CN111476783B - 基于人工智能的图像处理方法、装置、设备及存储介质 - Google Patents
基于人工智能的图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111476783B CN111476783B CN202010286926.7A CN202010286926A CN111476783B CN 111476783 B CN111476783 B CN 111476783B CN 202010286926 A CN202010286926 A CN 202010286926A CN 111476783 B CN111476783 B CN 111476783B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- sample image
- sample
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
本申请公开了一种基于人工智能的图像处理方法、装置、设备及存储介质,属于计算机技术领域。本申请实施例根据两个领域的样本人体组织图像之间的图像分布差异,对源领域的人体组织图像进行图像转换,转换后得到的目标样本图像符合目标领域的人体组织图像的图像分布规律,且携带有对应的目标处理结果,则无需由人工再标注,从而省去了人工标注步骤,减少了人工成本,提高了模型训练的效率,进而提高了图像处理效率。通过获取目标领域的人体组织图像即可通过图像转换,自动获取到训练样本,该方法更具有通用性,适用性更高。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种基于人工智能的图像处理方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,图像处理技术应用越来越广泛,例如,医学图像处理、自然图像处理。对于医学图像,可以通过图像处理,对图像中的人体组织进行定位,来确定人体组织的具体位置。由于不同医院的医疗人员手法不同,使用设备的不同,产生的图像之间可能存在分布的差异,在进行图像处理时,如果直接使用通过其他医院的样本图像训练得到的图像处理模型进行图像处理,处理结果的准确性较差。
以息肉定位处理场景为例,目前的图像处理方法通常是:某个医院需要对人体组织图像进行处理时,收集该医院中医疗设备产生的人体组织图像作为样本图像,由人工对样本图像进行标注,以标注出样本图像中息肉的位置。使用标注后的样本图像对其他医院训练得到的图像处理模型重新进行训练,得到新的图像处理模型。通过该新的图像处理模型对该医院产生的人体组织图像进行息肉定位,输出息肉的位置信息。
上述处理方法中,收集到样本图像后需要重新进行标注,再进行模型训练,耗时较长,人工成本较高,如果多个不同医院需要进行图像处理,重复这样的过程会耗费大量人力、物力和时间,因而,该方法的通用性差、效率低。
发明内容
本申请实施例提供了一种基于人工智能的图像处理方法、装置、设备及存储介质,通用性好,处理效率高。该技术方案如下:
一方面,提供了一种基于人工智能的图像处理方法,该方法包括:
获取源领域的第一样本图像和目标领域的第二样本图像,所述源领域的第一样本图像携带有对应的目标处理结果,所述第一样本图像和第二样本图像为样本人体组织图像;
根据所述第一样本图像和所述第二样本图像之间的图像分布差异,将所述第一样本图像转换为符合所述第二样本图像的图像分布规律的目标样本图像,所述目标样本图像携带有对应的目标处理结果;
基于所述目标样本图像和所述目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型;
响应于获取到目标领域的人体组织图像,将所述人体组织图像输入所述第二图像处理模型中,由所述第二图像处理模型对所述人体组织图像中目标人体组织进行定位,输出所述人体组织图像中所述目标人体组织的位置信息。
一方面,提供了一种基于人工智能的图像处理装置,该装置包括:
获取模块,用于获取源领域的第一样本图像和目标领域的第二样本图像,所述源领域的第一样本图像携带有对应的目标处理结果,所述第一样本图像和第二样本图像为样本人体组织图像;
转换模块,用于根据所述第一样本图像和所述第二样本图像之间的图像分布差异,将所述第一样本图像转换为符合所述第二样本图像的图像分布规律的目标样本图像,所述目标样本图像携带有对应的目标处理结果;
训练模块,用于基于所述目标样本图像和所述目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型;
定位模块,用于响应于获取到目标领域的人体组织图像,将所述人体组织图像输入所述第二图像处理模型中,由所述第二图像处理模型对所述人体组织图像中目标人体组织进行定位,输出所述人体组织图像中所述目标人体组织的位置信息。
在一种可能实现方式中,所述转换模块用于:
根据目标编码空间与所述第一样本图像在图像分布规律上的图像分布差异,对所述第一样本图像进行编码,得到第一样本图像编码;
根据所述第二样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码,生成符合所述第二样本图像分布规律的目标样本图像。
在一种可能实现方式中,所述转换模块用于将所述第一样本图像输入图像转换网络中,由所述图像转换网络执行编码和生成图像的步骤,得到所述目标样本图像。
在一种可能实现方式中,所述图像转换网络包括编码网络和生成网络;
所述转换模块用于:
将所述第一样本图像输入所述图像转换网络中的编码网络中,由所述编码网络根据目标编码空间与所述第一样本图像在图像分布规律上的图像分布差异,对所述第一样本图像进行编码,得到第一样本图像编码;
由所述生成网络根据所述第二样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码,生成符合所述第二样本图像分布规律的目标样本图像。
在一种可能实现方式中,所述图像转换网络的训练过程包括:
将所述第一样本图像和所述第二样本图像输入初始图像转换网络中,由所述初始图像转换网络,根据目标编码空间与所述第一样本图像在图像分布规律上的图像分布差异,对所述第一样本图像进行编码,得到第一样本图像编码;
根据所述目标编码空间与所述第二样本图像在图像分布规律上的图像分布差异,对所述第二样本图像进行编码,得到第二样本图像编码;
根据所述第一样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码和所述第二样本图像编码,生成第三样本图像和第四样本图像;
根据所述第二样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码和所述第二样本图像编码,生成第五样本图像和第六样本图像;
获取所述第一样本图像、第二样本图像、第三样本图像、第四样本图像、第五样本图像以及第六样本图像的图像分类结果,所述图像分类结果用于指示图像为原始图像或生成图像;
根据所述图像分类结果的准确率,对所述初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,得到所述图像转换网络。
在一种可能实现方式中,所述获取模块还用于分别获取所述第三样本图像和所述第四样本图像之间的第一相似度、所述第五样本图像和所述第六样本图像之间的第二相似度、所述第一样本图像与所述第三样本图像之间的第三相似度、所述第一样本图像与所述第五样本图像之间的第四相似度、所述第二样本图像与所述第四样本图像之间的第五相似度以及所述第二样本图像与所述第六样本图像之间的第六相似度;
所述根据所述图像分类结果的准确率,对所述初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,包括:
根据所述图像分类结果的准确率、所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度、所述第五相似度以及所述第六相似度,对所述图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
在一种可能实现方式中,所述转换模块还用于将所述第四样本图像和第六样本图像输入所述初始图像转换网络中,由所述图像转换网络对所述第四样本图像和所述第六样本图像进行编码得到的第三样本图像编码和第四样本图像编码;
所述获取模块还用于分别获取所述第三样本图像编码与所述第一样本图像编码之间的第七相似度、所述第四样本图像编码与所述第二样本图像编码之间的第八相似度;
所述根据所述图像分类结果的准确率,对所述图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,还包括:
根据所述第七相似度和所述第八相似度,对所述图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
在一种可能实现方式中,
所述第一目标条件为所述图像分类结果的准确率与目标准确率之间的差值小于差值阈值;或,
所述第一目标条件为所述图像分类结果的准确率与目标准确率之间的差值小于差值阈值,所述第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度收敛;或,
所述第一目标条件为所述图像分类结果的准确率与目标准确率之间的差值小于差值阈值,所述第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度、第七相似度和第八相似度收敛;
所述第一目标条件为迭代次数达到目标次数。
在一种可能实现方式中,所述目标准确率为50%。
在一种可能实现方式中,所述训练模块用于:
将所述目标样本图像输入所述第一图像处理模型中,由所述第一图像处理模型对所述目标样本图像中目标人体组织进行定位,输出所述目标样本图像中目标人体组织的预测位置信息;
基于所述预测位置信息与所述目标处理结果中所述目标人体组织的目标位置信息,获取所述预测位置信息的准确度;
基于所述准确度,对所述第一图像处理模型的模型参数进行调整,直至符合第二目标条件时停止,得到所述第二图像处理模型。
在一种可能实现方式中,所述定位模块用于:
由所述第二图像处理模型对所述人体组织图像进行特征提取,得到所述人体组织图像的图像特征;
根据所述图像特征,获取所述人体组织图像的特征图,所述特征图中每个像素用于指示所述人体组织图像中的一个区域中是否包括所述目标人体组织;
根据所述特征图以及目标偏移量,获取并输出所述目标人体组织的位置信息。
在一种可能实现方式中,所述人体组织图像为结直肠图像;所述目标人体组织为息肉。
一方面,提供了一种计算机设备,该计算机设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的基于人工智能的图像处理方法所执行的操作。
一方面,提供了一种存储介质,该存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的基于人工智能的图像处理方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例通过获取源领域和目标领域的样本人体组织图像,根据两个领域的样本人体组织图像之间的图像分布差异,对源领域的人体组织图像进行图像转换,得到训练样本对第一图像处理模型进行训练,即可得到适用于目标领域的第二图像处理模型,以对目标领域的人体组织图像进行处理。该过程中通过图像转换,转换后得到的目标样本图像符合目标领域的人体组织图像的图像分布规律,且携带有对应的目标处理结果,则无需由人工再标注,从而省去了人工标注步骤,减少了人工成本,提高了模型训练的效率,进而提高了图像处理效率。通过获取目标领域的人体组织图像即可通过图像转换,自动获取到训练样本,该方法更具有通用性,适用性更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于人工智能的图像处理方法的实施环境;
图2是本申请实施例提供的一种基于人工智能的图像处理方法的流程图;
图3是本申请实施例提供的一种图像处理模型训练方法的流程图;
图4是本申请实施例提供的一种图像转换网络的结构示意图;
图5是本申请实施例提供的一种基于人工智能的图像处理方法的流程图;
图6是本申请实施例提供的一种图像转换过程的示意图;
图7是本申请实施例提供的一种基于人工智能的图像处理方法的测试结果;
图8是本申请实施例提供的一种基于人工智能的图像处理装置的结构示意图;
图9是本申请实施例提供的一种终端900的结构示意图;
图10是本申请实施例提供的一种服务器1000的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或一个以上,“至少两个”是指两个或两个以上,例如,至少两个节点设备是指两个或两个以上的节点设备。
以下,对本申请涉及到的术语进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、三维物体重建、3D(3dimensional,三维)技术、虚拟现实、增强现实与地图构建等技术。
源领域:当前具有已收集的、具备良好标注的固定数据集的领域。
目标领域:数据与源领域的数据相关,但存在分布偏差,来源不同。
领域适应:在机器学习中,专门用于解决因为数据分布差异,导致模型性能下降的领域的技术。
领域映射:一种机器学习中,解决领域适应问题的方法。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习中人工神经网络、迁移学习等技术,涉及到计算机视觉技术中的图像处理、图像语义理解等技术,具体通过如下实施例进行说明:
图1是本申请实施例提供的一种基于人工智能的图像处理方法的实施环境,参见图1,该实施环境中可以包括多个计算机设备。其中,该多个计算机设备可以通过有线连接方式实现数据交互,也可以通过无线网络连接方式实现数据交互,本申请实施例对此不作限定。
在本申请实施例中,计算机设备101可以用于对图像进行处理,该图像可以是医学图像,也即是人体组织图像。该图像处理过程为对图像中目标人体组织进行定位的过程,例如,对结直肠图像中的息肉定位、对胆囊图像中的息肉定位、或者对脑部图像中的肿瘤定位等场景。当然,该图像分割方法也可以适用于其它人体组织图像进行处理的场景,本申请实施例在此不一一列举。
在一种可能实现方式中,该计算机设备101可以采集人体组织图像,并对采集到的人体组织图像进行处理。在另一种可能实现方式中,该计算机设备102可以用于采集人体组织图像,并将采集到的人体组织图像发送至计算机设备101,由计算机设备101提供图像处理服务。本申请实施例对具体采用哪种实现方式不作限定。
具体地,该计算机设备101和计算机设备102均可以被提供为终端,也可以被提供为服务器,本申请实施例对此不作限定。
图2是本申请实施例提供的一种基于人工智能的图像处理方法的流程图,参见图2,该方法可以包括以下步骤:
201、计算机设备获取源领域的第一样本图像和目标领域的第二样本图像,该源领域的第一样本图像携带有对应的目标处理结果,该第一样本图像和第二样本图像为样本人体组织图像。
其中,源领域是指产生的图像携带有对应的目标处理结果的领域,也即是,该源领域产生的图像已存在标注数据。具体的,该源领域可以为当前已用于训练图像处理模型的样本图像所在领域,例如,源领域可以为当前的第一图像处理模型的适用领域,也可以为一些开源数据库中的具有标注数据的图像的产生领域。
目标领域为当前未用于训练图像处理模型的样本图像所在领域,也即是,该目标领域产生的第二样本图像未携带有对应的目标处理结果,不存在标注数据。
其中,该目标处理结果用于指示图像中目标人体组织的位置信息。也即是,图像中目标人体组织真实的位置。
例如,两个领域可以为不同的医院,或者医院中不同的医疗设备,或者医院中不同的医疗人员,两个领域产生的图像为人体组织图像。由于不同医院的医疗人员手法不同,使用设备的不同,产生的图像之间可能存在分布的差异。以两个领域为不同的医院为例,源领域为医院A,目标领域为医院B,目前已经从医院A收集到样本图像,用样本图像训练得到了第一图像处理模型,该医院A的第一图像处理模型用于对该医院B产生的人体组织图像进行处理时,可能由于两个医院的图像存在分布的差异,导致处理结果不佳。
202、计算机设备根据该第一样本图像和该第二样本图像之间的图像分布差异,将该第一样本图像转换为符合该第二样本图像的图像分布规律的目标样本图像,该目标样本图像携带有对应的目标处理结果。
其中,第一样本图像和第二样本图像为不同领域产生的图像,因而二者可能存在图像分布差异,计算机设备通过获取两个领域的样本图像,来分析两个领域产生的图像之间的图像分布差异,从而可以根据该图像分布差异,将具有标注数据的源领域的第一样本图像转换为符合目标领域的图像分布规律的目标样本图像。
这样可以将源领域的样本转换为目标领域的样本,这样转换得到的样本即存在标注数据,将其作为训练样本即可。该过程中仅需要获取目标领域的第二样本图像,无需由人工为目标领域的第二样本图像进行标注来得到训练样本,减去了标注步骤,减少了人工成本,能够有效提高模型训练的效率,进而提高图像处理效率,也提高了图像处理方法的通用性。
203、计算机设备基于该目标样本图像和该目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型。
其中,该第一图像处理模型可以为基于源领域的第一样本图像训练得到,也可以基于其他领域的图像训练得到,还可以为初始图像处理模型,本申请实施例对此不作限定。
如果该第一图像处理模型为训练好的模型,由于不同领域产生的图像之间可能存在分布的差异,直接使用该第一图像处理模型对目标领域的图像进行图像处理的效果可能不佳,如果该第一图像处理模型为初始模型,该处理效果则更加无法确定。因此,计算机设备可以通过目标领域的训练样本来对第一图像处理模型进行训练,训练得到的第二图像处理模型则能够适用于目标领域。
上述步骤202中,计算机设备通过图像转换过程,将源领域携带有目标处理结果的第一样本图像转换为“目标领域”的目标样本图像,该目标样本图像的图像分布规律与目标领域产生图像的图像分布规律相同,因而,计算机设备可以用该目标样本图像来替代目标领域的第二样本图像,来作为训练样本,对第一图像处理模型进行训练。
该第二图像处理模型基于“目标领域”的目标样本图像训练得到,在训练过程中,第二图像处理模型已学习到如何对符合目标领域的图像分布规律的图像进行处理,能够准确对目标领域产生图像进行处理。且该训练过程所依赖的训练样本为通过图像转换得到,无需人工标注,大大减少了人工成本,避免标注带来大量的耗时,因而,该模型训练过程的效率得到了有效提高。
204、计算机设备响应于获取到目标领域的人体组织图像,将该人体组织图像输入该第二图像处理模型中,由该第二图像处理模型对该人体组织图像中目标人体组织进行定位,输出该人体组织图像中该目标人体组织的位置信息。
通过上述步骤201至步骤203,计算机设备训练得到适用于目标领域的第二图像处理模型,在目标领域产生人体组织图像,需要对该人体组织图像进行图像处理时,即可将其输入第二图像处理模型中,由第二图像处理模型根据已学习到的图像处理方式,对该人体组织图像进行处理,输出处理结果。
具体的,该第二图像处理模型能够对输入的图像进行特征提取,基于特征提取进行分类,确定该人体组织图像中各个区域是否包括有目标人体组织,从而针对包括目标人体组织的区域,进行进一步定位,得到精准的位置信息。
例如,在一个具体示例中,该人体组织图像可以为结直肠图像,该目标人体组织为息肉,则上述图像处理过程为结直肠图像中息肉的定位过程。具体的,现医院A的结直肠图像已具有标注数据,医院B并没有,想要对医院B产生的结直肠图像进行处理时,可以先收集医院B的结直肠图像,根据医院A和医院B产生图像之间的图像分布差异,将医院A的结直肠图像转换为与医院B产生的结直肠图像无差别的目标结直肠图像,该目标结直肠图像是基于具有标注数据的医院A的结直肠转换而来,因而也具有标注数据,这样通过该目标结直肠图像对第一图像处理模型进行训练,得到的第二图像处理模型能够准确地对医院B产生的结直肠图像中的息肉进行定位。
本申请实施例通过获取源领域和目标领域的样本人体组织图像,根据两个领域的样本人体组织图像之间的图像分布差异,对源领域的人体组织图像进行图像转换,得到训练样本对第一图像处理模型进行训练,即可得到适用于目标领域的第二图像处理模型,以对目标领域的人体组织图像进行处理。该过程中通过图像转换,转换后得到的目标样本图像符合目标领域的人体组织图像的图像分布规律,且携带有对应的目标处理结果,则无需由人工再标注,从而省去了人工标注步骤,减少了人工成本,提高了模型训练的效率,进而提高了图像处理效率。通过获取目标领域的人体组织图像即可通过图像转换,自动获取到训练样本,该方法更具有通用性,适用性更高。
上述图2所示实施例中,对基于人工智能的图像处理方法的流程进行了简单介绍,该方法中,通过领域适应技术中的领域映射技术,将源领域的样本转换为目标领域的样本,从而对第一图像处理模型训练得到第二图像处理模型,应用第二图像处理模型对目标领域产生的人体组织图像进行图像处理,下面通过图3所示实施例,对该第二图像处理模型的训练过程进行详细说明。图3是本申请实施例提供的一种图像处理模型的训练方法的流程图,参见图3,该方法可以包括:
301、计算机设备获取源领域的第一样本图像和目标领域的第二样本图像,该源领域的第一样本图像携带有对应的目标处理结果,该第一样本图像和第二样本图像为样本人体组织图像。
计算机设备可以收集源领域和目标领域的样本图像来作为模型训练的数据基础,来训练适用于目标领域的第二图像处理模型。目前,源领域已具备标注数据的第一样本图像,而目标领域的第二样本图像并没有标注数据,因而,通过目标领域的第二样本图像无法对第一图像处理模型进行模型训练。计算机设备可以通过下述步骤302至303,对上述两种图像进行处理,得到合适的训练样本。
对于目标处理结果,在模型训练过程中,可以通过对比目标处理结果和模型输出结果,来确定训练中的模型对图像的处理是否准确,以获知是否需要继续对模型进行训练,从而训练得到的模型对图像进行处理时可以得到该目标处理结果,或者非常接近该目标处理结果。
具体的,计算机设备获取第一样本图像和第二样本图像的过程可以通过多种方式实现。在一种可能实现方式中,第一样本图像和第二样本图像可以存储于图像数据库中,计算机设备可以从图像数据库中提取该第一样本图像和第二样本图像。
例如,第一样本图像可以存储于一种开源图像数据库中,计算机设备可以从该开源图像数据库中提取第一样本图像,第一样本图像还携带有对应的目标处理结果。该第二样本图像可以存储于目标领域所属的图像数据库中,计算机设备可以从该图像数据库中提取第二样本图像。比如,该目标领域为某个医院,该医院产生的第二样本图像均可以存储至该医院服务器的数据库中,计算机设备从中提取即可。
在另一种可能实现方式中,在该计算机设备中可以存储有上述第一样本图像和第二样本图像,在需要进行模型训练时,计算机设备从本地数据库中提取即可。本申请实施例对此不作限定。
302、计算机设备将该第一样本图像输入图像转换网络中,由该图像转换网络根据目标编码空间与该第一样本图像在图像分布规律上的图像分布差异,对该第一样本图像进行编码,得到第一样本图像编码。
该目标领域的第二样本图像不具备标注数据,如果使用该第二样本图像进行模型训练,还需要人工对其进行标注,这样耗时会很大,人工成本过高。因而,计算机设备可以对两个领域的样本图像之间的图像分布差异进行分析,将图像分布差异作为依据,进行图像转换,通过第二样本图像和携带有对应的目标处理结果的第一样本图像,来生成合适的训练样本。
具体的,该根据图像分布差异进行图像转换的过程可以通过图像转换网络实现。该图像转换网络可以对第一样本图像进行编码,将第一样本图像映射到目标编码空间中。通过该目标编码空间的图像分布规律,对第一样本图像进行描述,后续可以将其转换为符合目标领域的图像分布规律的目标样本图像。
在该编码过程中,计算机设备可以根据该目标编码空间与第一样本图像之间的映射关系,将第一样本图像转换为该第一样本图像编码,该映射关系可以为从该第一样本图像转换至该目标编码空间的转换关系。其中,该映射关系可以为预设的关系,也可以为通过第一样本图像训练得到。
在一种可能实现方式中,该图像分布规律可以为像素分布规律,例如,该图像分布规律为灰度分布规律,或者可以为亮度分布规律,相应的,上述图像分布差异可以为灰度分布差异,或者可以为亮度分布差异。
例如,该第一样本图像中灰度分布规律为:灰度分布范围为0-75,该目标编码空间中灰度分布规律为:灰度分布范围为180-255。计算机设备可以将第一样本图像中每个像素点的灰度增加180,从而得到第一图像编码。
其中,该图像转换网络可以为通过第一样本图像和第二样本图像训练好的网络,其训练过程可以参见下述步骤303,在此先不做赘述。
303、计算机设备基于该图像转换网络,根据该第二样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码,生成符合该第二样本图像分布规律的目标样本图像。
计算机设备在对第一样本图像进行编码后,还可以将该目标编码空间中的第一样本图像编码进行重构,生成目标样本图像。具体的,该生成过程可以基于第二样本图像与目标编码空间之间的映射关系实现,该映射关系可以为从目标编码空间转换为第二样本图像的转换关系。该目标样本图像符合第二样本图像的图像分布规律。
在一种可能实现方式中,该图像转换网络包括编码网络和生成网络,上述步骤302中的编码过程可以通过编码网络实现,步骤303中的生成过程由生成网络实现。
具体的,计算机设备将该第一样本图像输入该图像转换网络中的编码网络中,由该编码网络根据目标编码空间与该第一样本图像在图像分布规律上的图像分布差异,对该第一样本图像进行编码,得到第一样本图像编码,由该生成网络根据该第二样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码,生成符合该第二样本图像分布规律的目标样本图像。
对于上述图像转换网络,该图像转换网络可以基于第一样本图像和第二样本图像进行训练得到,该图像转换网络的训练过程可以通过下述步骤一至步骤六实现:
步骤一、计算机设备将该第一样本图像和该第二样本图像输入初始图像转换网络中,由该初始图像转换网络,根据目标编码空间与该第一样本图像在图像分布规律上的图像分布差异,对该第一样本图像进行编码,得到第一样本图像编码。
步骤二、计算机设备根据该目标编码空间与该第二样本图像在图像分布规律上的图像分布差异,对该第二样本图像进行编码,得到第二样本图像编码。
在该步骤一和步骤二中,该初始图像转换网络可以先将两个领域的样本图像通过编码映射到同一个编码空间中,也即是目标编码空间中。在该目标编码空间,使用同一种编码方式,同一种图像描述方式,对两个领域的样本图像进行描述。也即是,在该目标编码空间中,第一样本图像和第二样本图像的描述方式一致,从而减小了两个领域的样本图像之间的图像分布差异。
步骤三、计算机设备根据该第一样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码和该第二样本图像编码,生成第三样本图像和第四样本图像。
在步骤三中,计算机设备基于第一样本图像编码和第二样本图像编码生成了符合第一样本图像的图像分布规律的第三样本图像和第四样本图像。该过程也即是重构了源领域的第一样本图像得到第三样本图像,并将目标领域的第二样本图像转换到了源领域得到第四样本图像。
步骤四、计算机设备根据该第二样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码和该第二样本图像编码,生成第五样本图像和第六样本图像。
在步骤四中,计算机设备基于第一样本图像编码和第二样本图像编码生成了符合第二样本图像的图像分布规律的第五样本图像和第六样本图像,该过程也即是重构了目标领域的第二样本图像得到第六样本图像,并将源领域的第一样本图像转换到了目标领域得到第四样本图像。
通过步骤三和步骤四,可以根据生成的样本图像来判别生成的图像是否与原始图像相同,来确定样本图像的生成效果,在该初始图像转换网络的训练过程中可以提升该生成效果,进而通过这样方式得到的图像转换网络来对第一样本图像进行图像转换得到的目标样本图像更准确,更符合需求。
步骤五、计算机设备获取该第一样本图像、第二样本图像、第三样本图像、第四样本图像、第五样本图像以及第六样本图像的图像分类结果,该图像分类结果用于指示图像为原始图像或生成图像。
计算机设备生成了第三样本图像、第四样本图像、第五样本图像以及第六样本图像后,可以对生成的图像与原始图像(第一样本图像和第二样本图像)进行判别,来判别图像是原始图像还是生成图像,该生成图像为生成的图像。
通过生成、判别的过程,形成生成对抗结构,通过该生成对抗结构来对初始图像转换网络进行对抗训练,使得生成的样本图像与原始图像无差,无法判别,从而可以使用这样的图像转换网络,对第一样本图像进行转换,得到与目标领域的第二样本图像无差别的目标样本图像。目标样本图像能够吻合目标领域产生的图像的特点,符合目标领域产生图像的图像分布规律,通过这样的图像进行模型训练,得到的模型能够准确地对目标领域产生图像进行处理。
在一种可能实现方式中,上述判别步骤可以通过判别器实现,具体的,计算机设备可以将上述第一样本图像、第二样本图像、第三样本图像、第四样本图像、第五样本图像以及第六样本图像输入判别器中,由该判别器对样本图像进行判别,输出图像分类结果。
步骤六、计算机设备根据该图像分类结果的准确率,对该初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,得到该图像转换网络。
计算机设备获取到图像分类结果后,可以根据图像分类结果的准确率,来判断上述步骤五中生成的样本图像与原始图像的差别大小。可以理解的,如果生成的样本图像与原始图像的差别不大,对生成的样本图像和原始图像进行判别时,图像分类结果可以为:图像为生成图像的概率为50%,图像为原始图像的概率为50%。而如果生成的样本图像与原始图像的差别大,则图像分类结果可能为:图像为生成图像的概率为C,图像为原始图像的概率为D。其中,C远大于D,或者D远大于C。例如,C为95%,D为5%,或者C为5%,D为95%。
对于上述初始图像转换网络的网络参数为初始值,在该模型训练过程中,可以根据上述准确率,对该初始值进行调整,使得该初始图像转换网络在编码和生成样本图像时,编码后的样本图像编码更准确,生成的样本图像更逼真,进而提高该初始图像转换网络的性能,提高训练后的图像转换网络进行图像转换得到的目标样本图像的准确性。
对于上述第一目标条件,该第一目标条件可以由相关技术人员根据训练需求进行设置,本申请实施例对此不作限定。
在一种可能实现方式中,该第一目标条件可以为该图像分类结果的准确率与目标准确率之间的差值小于差值阈值。该目标准确率和该差异阈值可以由相关技术人员根据需求进行设置,本申请实施例对此不作具体限定。在一个具体的可能实施例中,该目标准确率为50%。该差异阈值可以为一个接近于0的数值。在图像分类结果的准确率接近50%时,该图像转换网络生成的样本图像与真实图像之间已无法判别,也即说明生成的样本图像与真实图像一致。
在一种可能实现方式中,上述训练过程中,还可以对计算机设备编码和生成样本图像的能力进行训练,具体的,计算机设备可以分别获取该第三样本图像和该第四样本图像之间的第一相似度、该第五样本图像和该第六样本图像之间的第二相似度、该第一样本图像与该第三样本图像之间的第三相似度、该第一样本图像与该第五样本图像之间的第四相似度、该第二样本图像与该第四样本图像之间的第五相似度以及该第二样本图像与该第六样本图像之间的第六相似度。
其中,该第一相似度和第二相似度用于体现一个领域的图像经过编码后转换为另一个领域的图像后,与该另一个领域的生成图像之间的相似度。该第三相似度和第四相似度用于体现一个领域的图像经过编码后再重新生成(重构)后与原始图像之间的相似度。该第五相似度和第六相似度用于体现一个领域的图像经过编码后转换为另一个领域的图像后,与该另一个领域的原始图像之间的相似度。
相应的,上述调整过程中,计算机设备还可以参考上述多个相似度进行调整,调整得到的网络参数能够提高编码和生成步骤的准确性。具体的,计算机设备可以根据该图像分类结果的准确率、该第一相似度、该第二相似度、该第三相似度、该第四相似度、该第五相似度以及该第六相似度,对该图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
在该实现方式中,第一目标条件可以为该图像分类结果的准确率与目标准确率之间的差值小于差值阈值,该第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度收敛。例如,该第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度接近于0或者达到最小值。
在一种可能实现方式中,计算机设备还可以提供一种循环验证方式,在上述过程中,将一个领域的图像编码生成为另一个领域后得到的图像重新进行编码,得到的图像编码应当与该领域之间映射到该目标编码空间中的图像编码一致。具体的,计算机设备可以将该第四样本图像和第六样本图像输入该初始图像转换网络中,由该图像转换网络对该第四样本图像和该第六样本图像进行编码得到的第三样本图像编码和第四样本图像编码。计算机设备可以分别获取该第三样本图像编码与该第一样本图像编码之间的第七相似度、该第四样本图像编码与该第二样本图像编码之间的第八相似度。
相应的,上述调整过程中,计算机设备也可以参考该第七相似度和第八相似度,也即是,计算机设备除了参考该图像分类结果的准确率、该第一相似度、该第二相似度、该第三相似度、该第四相似度、该第五相似度以及该第六相似度之外,还可以根据该第七相似度和该第八相似度,对该图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
在该实现方式中,该第一目标条件可以为该图像分类结果的准确率与目标准确率之间的差值小于差值阈值,该第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度、第七相似度和第八相似度收敛。
当然,上述仅提供了几种可能的第一目标条件,该第一目标条件还可以为其他条件,例如,该第一目标条件还可以为迭代次数达到目标次数。本申请实施例对此不作限定。
在一个具体示例中,该图像转换网络可以采用UNIT的网络结构,该图像转换网络的训练过程可以为:可以从源领域和目标领域的样本图像中挑选一对样本,x1代表源领域样本,x2代表目标领域样本,两者分别通过编码网络E1和E2映射到编码空间Z,为了保证编码空间的编码能包含足够的信息量恢复样本原本的形态,在样本到编码空间的映射关系中,可以通过变分自编码器(variational autoencoders,VAEs)进行编码,从而可以保证样本在映射至编码空间后还能有效的恢复成原始图像的样子。之后,可以将映射至编码空间的图像编码(也可以看做为图像特征)分别通过生成网络G1和G2重新生成为源领域和目标领域的样本,生成的样本与真实样本(也即是原始样本,输入至编码网络的样本x1和x2)可以通过判别器D1和D2进行判别,进而实现对抗训练。实际上,每个生成网络G与判别器D形成的网络对可以称为一个生成对抗网络(Generative Adversarial Networks,GAN),通过生成对抗训练的方式将编码空间中的编码生成为判别器无法判断的样本,达到样本的生成效果。
在该示例中,整个模型的约束函数可以如公式(1)所示:
其中,LVAE表示VAE的损失函数,其约束的目标为编码器E与生成器G。该LVAE的含义为一个领域的图像经过编码后重构得到的图像与原图像之间的相似度。LGAN表示对抗损失函数,约束的目标为编码器E1、生成器G2与判别器D2,其含义为源领域样本生成后的编码被目标领域生成器生成为目标样本后需要与真实的目标领域样本无法判别,同时目标领域样本生成的编码在生成为源领域样本后需要与真实的源领域样本无法判别。此外,还有循环损失函数Lcc,其约束目标为两个编码器和两个生成器,作用是对应领域样本编码后使用另外一个领域的生成器生成的样本再重复编码过程得到的编码应该与原始样本的编码相近。
对于LVAE,可以通过下述公式(2)获取得到:
对于LGAN,可以通过下述公式(3)获取得到:
对于LGAN,可以通过下述公式(4)获取得到:
其中,x1为源领域的第一样本图像,x2为目标领域的第二样本图像,其中,KL为KL(Kullback-Leibler divergence)距离,也称之为相对熵(relative entropy),又称为KL散度。
需要说明的是,上述步骤302和步骤303为根据该第一样本图像和该第二样本图像之间的图像分布差异,将该第一样本图像转换为符合该第二样本图像的图像分布规律的目标样本图像,该目标样本图像携带有对应的目标处理结果,上述过程中以图像转换网络实现编码和生成过程为例进行说明,当然,该上述过程也可以通过其他方式实现,例如,该计算机设备直接执行编码和生成步骤,本申请实施例对此不作限定。
304、计算机设备获取第一图像处理模型。
其中,该第一图像处理模型可以为基于源领域的第一样本图像训练得到,也可以基于其他领域的图像训练得到,还可以为初始图像处理模型,本申请实施例对此不作限定。
如果该第一图像处理模型基于源领域的第一样本图像训练得到,则本申请实施例中,将第一样本图像和第一样本图像转换后的目标样本图像作为训练样本,结合了两个领域的样本图像作为训练样本集,对初始模型进行训练,得到了处理效果更佳的第二图像处理模型。
305、计算机设备基于该目标样本图像和该目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型。
计算机设备获取到第一图像处理模型,也生成了目标样本图像作为训练样本,因而,可以通过训练样本对第一图像处理模型进行训练。通过图像转换后得到的目标样本图像,由于其来源于源领域的第一样本图像,源领域的第一样本图像所携带的标注信息(也即是目标处理结果)依然可以使用,通过这部分样本对第一样本图像训练得到的模型进行微调,最终可以得到适用于目标领域的模型。
在一种可能实现方式中,该训练过程具体可以为:计算机设备可以将该目标样本图像输入该第一图像处理模型中,由该第一图像处理模型对该目标样本图像中目标人体组织进行定位,输出该目标样本图像中目标人体组织的预测位置信息,基于该预测位置信息与该目标处理结果中该目标人体组织的目标位置信息,获取该预测位置信息的准确度,基于该准确度,对该第一图像处理模型的模型参数进行调整,直至符合第二目标条件时停止,得到该第二图像处理模型。
其中,该第二目标条件可以为该准确度收敛或者迭代次数达到目标次数,可以由相关技术人员根据需求进行设置,本申请实施例对此不作限定。
本申请实施例通过获取源领域和目标领域的样本人体组织图像,根据两个领域的样本人体组织图像之间的图像分布差异,对源领域的人体组织图像进行图像转换,得到训练样本对第一图像处理模型进行训练,即可得到适用于目标领域的第二图像处理模型,以对目标领域的人体组织图像进行处理。该过程中通过图像转换,转换后得到的目标样本图像符合目标领域的人体组织图像的图像分布规律,且携带有对应的目标处理结果,则无需由人工再标注,从而省去了人工标注步骤,减少了人工成本,提高了模型训练的效率,进而提高了图像处理效率。通过获取目标领域的人体组织图像即可通过图像转换,自动获取到训练样本,该方法更具有通用性,适用性更高。
图5是本申请实施例提供的一种基于人工智能的图像处理方法的流程图,参见图5,该方法可以包括以下步骤:
501、计算机设备获取目标领域的人体组织图像和第二图像处理模型。
上述目标领域的人体组织图像可以为该目标领域产生的待处理的图像,该第二图像处理模型的训练过程可以如上述图3所示实施例,在此不多做赘述。
在一个具体的可能实施例中,该人体组织图像为结直肠图像,该目标人体组织为息肉。本申请提供的图像处理方法用于对结直肠图像中的息肉进行定位。
502、计算机设备将该人体组织图像输入该第二图像处理模型中。
该计算机设备在有图像处理需求时,可以调用上述训练好的第二图像处理模型,由该第二图像处理模型基于训练好的模型参数,对人体组织图像进行处理。
503、计算机设备基于该第二图像处理模型,对该人体组织图像中目标人体组织进行定位,得到该人体组织图像中该目标人体组织的位置信息。
计算机设备将人体组织图像输入第二图像处理模型后,该第二图像处理模型可以基于训练得到的模型参数,对该人体组织图像进行处理。具体的,该图像处理过程可以为:由该第二图像处理模型对该人体组织图像进行特征提取,得到该人体组织图像的图像特征,根据该图像特征,获取该人体组织图像的特征图,该特征图中每个像素用于指示该人体组织图像中的一个区域中是否包括该目标人体组织,根据该特征图以及目标偏移量,获取并输出该目标人体组织的位置信息。该图像处理过程可以与上述图2所示实施例中步骤204同理,在此不多做赘述。
下面提供一个具体测试结果,图6中展示了将源领域的样本图像转换至目标领域后的形式,从图中可以看出,源领域的样本图像转换至目标领域后很好的保留了内容的完整性的同时,风格更接近于目标领域。对于测试结果,如图7所示,源域(也即是源领域)数据表示已收集的有标注数据,其中可以分出一部分作为源领域测试集。将上线息肉检测系统的医院数据作为目标域(也即是目标领域)数据,通过收集一定量的目标域数据,并进行了标注,来与本申请提供的方法进行效果对比。本申请提供的方式中,随机挑选其中的一部分作为目标域测试集。分别通过本申请的方式以及上述标注后的目标域数据进行模型训练,通过源域和目标域的测试集来评估训练得到的模型的检测效果。
可以看出,通过源域测试集得到的测试结果发现,第一图像处理模型、经过标注的目标域数据训练得到的第三图像处理模型以及第二图像处理模型的测试效果,准确率分别为96.23%、94.60%、95.63%,通过目标域测试集得到的测试结果发现,第一图像处理模型在目标领域测试集上的性能不佳,准确率仅为49.18%、55.81%和54.56%。使用标注好的目标域数据直接训练第一图像处理模型,在目标领域的测试集上取得了接近6%的性能提升。通过本申请提供的图像处理方法,在不需要对数据进行标注的前提下,在目标域测试集上取得了接近5%的性能提升。因此,使用本申请提供的方方式,模型训练的结果和直接使用标注后的目标域数据进行监督训练得到的结果接近,同时也减少了人工成本,提高了训练效率。
上述方法中,通过将源领域样本映射成和目标领域同分布的形式,使得“生成”目标领域的有标注数据,再利用这种生成的有标注数据微调模型,提高模型在目标领域上的泛化能力。在上述方法应用于不同医院中的场景中,由于无需人工标注,通用性好,在产品大规模铺设到目标医院的过程中,遇到目标医院产生数据与模型训练使用数据有较大分布差异时,可以快速迭代模型使得模型在对目标医院所产生的数据进行处理时处理效果显著提升。
本申请实施例通过获取源领域和目标领域的样本人体组织图像,根据两个领域的样本人体组织图像之间的图像分布差异,对源领域的人体组织图像进行图像转换,得到训练样本对第一样本图像处理模型进行训练,即可得到适用于目标领域的第二样本图像处理模型,以对目标领域的人体组织图像进行处理。该过程中通过图像转换,转换后得到的目标样本图像符合目标领域的人体组织图像的图像分布规律,且携带有对应的目标处理结果,则无需由人工再标注,从而省去了人工标注步骤,减少了人工成本,提高了模型训练的效率,进而提高了图像处理效率。通过获取目标领域的人体组织图像即可通过图像转换,自动获取到训练样本,该方法更具有通用性,适用性更高。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图8是本申请实施例提供的一种基于人工智能的图像处理装置的结构示意图,请参考图8,该装置包括:
获取模块801,用于获取源领域的第一样本图像和目标领域的第二样本图像,该源领域的第一样本图像携带有对应的目标处理结果,该第一样本图像和第二样本图像为样本人体组织图像;
转换模块802,用于根据该第一样本图像和该第二样本图像之间的图像分布差异,将该第一样本图像转换为符合该第二样本图像的图像分布规律的目标样本图像,该目标样本图像携带有对应的目标处理结果;
训练模块803,用于基于该目标样本图像和该目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型;
定位模块804,用于响应于获取到目标领域的人体组织图像,将该人体组织图像输入该第二图像处理模型中,由该第二图像处理模型对该人体组织图像中目标人体组织进行定位,输出该人体组织图像中该目标人体组织的位置信息。
在一种可能实现方式中,该转换模块802用于:
根据目标编码空间与该第一样本图像在图像分布规律上的图像分布差异,对该第一样本图像进行编码,得到第一样本图像编码;
根据该第二样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码,生成符合该第二样本图像分布规律的目标样本图像。
在一种可能实现方式中,该转换模块802用于将该第一样本图像输入图像转换网络中,由该图像转换网络执行编码和生成图像的步骤,得到该目标样本图像。
在一种可能实现方式中,该图像转换网络包括编码网络和生成网络;
该转换模块802用于:
将该第一样本图像输入该图像转换网络中的编码网络中,由该编码网络根据目标编码空间与该第一样本图像在图像分布规律上的图像分布差异,对该第一样本图像进行编码,得到第一样本图像编码;
由该生成网络根据该第二样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码,生成符合该第二样本图像分布规律的目标样本图像。
在一种可能实现方式中,该图像转换网络的训练过程包括:
将该第一样本图像和该第二样本图像输入初始图像转换网络中,由该初始图像转换网络,根据目标编码空间与该第一样本图像在图像分布规律上的图像分布差异,对该第一样本图像进行编码,得到第一样本图像编码;
根据该目标编码空间与该第二样本图像在图像分布规律上的图像分布差异,对该第二样本图像进行编码,得到第二样本图像编码;
根据该第一样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码和该第二样本图像编码,生成第三样本图像和第四样本图像;
根据该第二样本图像和该目标编码空间在图像分布规律上的图像分布差异,基于该第一样本图像编码和该第二样本图像编码,生成第五样本图像和第六样本图像;
获取该第一样本图像、第二样本图像、第三样本图像、第四样本图像、第五样本图像以及第六样本图像的图像分类结果,该图像分类结果用于指示图像为原始图像或生成图像;
根据该图像分类结果的准确率,对该初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,得到该图像转换网络。
在一种可能实现方式中,该获取模块801还用于分别获取该第三样本图像和该第四样本图像之间的第一相似度、该第五样本图像和该第六样本图像之间的第二相似度、该第一样本图像与该第三样本图像之间的第三相似度、该第一样本图像与该第五样本图像之间的第四相似度、该第二样本图像与该第四样本图像之间的第五相似度以及该第二样本图像与该第六样本图像之间的第六相似度;
该根据该图像分类结果的准确率,对该初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,包括:
根据该图像分类结果的准确率、该第一相似度、该第二相似度、该第三相似度、该第四相似度、该第五相似度以及该第六相似度,对该图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
在一种可能实现方式中,该转换模块802还用于将该第四样本图像和第六样本图像输入该初始图像转换网络中,由该图像转换网络对该第四样本图像和该第六样本图像进行编码得到的第三样本图像编码和第四样本图像编码;
该获取模块801还用于分别获取该第三样本图像编码与该第一样本图像编码之间的第七相似度、该第四样本图像编码与该第二样本图像编码之间的第八相似度;
该根据该图像分类结果的准确率,对该图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,还包括:
根据该第七相似度和该第八相似度,对该图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
在一种可能实现方式中,
该第一目标条件为该图像分类结果的准确率与目标准确率之间的差值小于差值阈值;或,
该第一目标条件为该图像分类结果的准确率与目标准确率之间的差值小于差值阈值,该第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度收敛;或,
该第一目标条件为该图像分类结果的准确率与目标准确率之间的差值小于差值阈值,该第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度、第七相似度和第八相似度收敛;
该第一目标条件为迭代次数达到目标次数。
在一种可能实现方式中,该目标准确率为50%。
在一种可能实现方式中,该训练模块803用于:
将该目标样本图像输入该第一图像处理模型中,由该第一图像处理模型对该目标样本图像中目标人体组织进行定位,输出该目标样本图像中目标人体组织的预测位置信息;
基于该预测位置信息与该目标处理结果中该目标人体组织的目标位置信息,获取该预测位置信息的准确度;
基于该准确度,对该第一图像处理模型的模型参数进行调整,直至符合第二目标条件时停止,得到该第二图像处理模型。
在一种可能实现方式中,该定位模块804用于:
由该第二图像处理模型对该人体组织图像进行特征提取,得到该人体组织图像的图像特征;
根据该图像特征,获取该人体组织图像的特征图,该特征图中每个像素用于指示该人体组织图像中的一个区域中是否包括该目标人体组织;
根据该特征图以及目标偏移量,获取并输出该目标人体组织的位置信息。
在一种可能实现方式中,该人体组织图像为结直肠图像;该目标人体组织为息肉。
本申请实施例通过获取源领域和目标领域的样本人体组织图像,根据两个领域的样本人体组织图像之间的图像分布差异,对源领域的人体组织图像进行图像转换,得到训练样本对第一图像处理模型进行训练,即可得到适用于目标领域的第二图像处理模型,以对目标领域的人体组织图像进行处理。该过程中通过图像转换,转换后得到的目标样本图像符合目标领域的人体组织图像的图像分布规律,且携带有对应的目标处理结果,则无需由人工再标注,从而省去了人工标注步骤,减少了人工成本,提高了模型训练的效率,进而提高了图像处理效率。通过获取目标领域的人体组织图像即可通过图像转换,自动获取到训练样本,该方法更具有通用性,适用性更高。
需要说明的是:上述实施例提供的基于人工智能的图像处理装置在进行图像处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于人工智能的图像处理装置与基于人工智能的图像处理方法实施例属于同一构思,其具体实现过程详见基于人工智能的图像处理方法实施例,这里不再赘述。
上述计算机设备可以被提供为下述图9所示的终端,也可以被提供为下述图10所示的服务器,本申请实施例对此不作限定。
图9是本申请实施例提供的一种终端900的结构示意图,该终端900可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现本申请中各个实施例提供的基于人工智能的图像处理方法。
在一些实施例中,终端900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、触摸显示屏905、摄像头组件906、音频电路907和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置终端900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在终端900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在终端900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时,可以检测用户对终端900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对终端900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图10是本申请实施例提供的一种服务器1000的结构示意图,该服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(CentralProcessing Units,CPU)1001和一个或一个以上的存储器1002,其中,该存储器1002中存储有至少一条程序代码,该至少一条程序代码由该处理器1001加载并执行以实现上述各个实施例提供的基于人工智能的图像处理方法。当然,该服务器1000还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器1000还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条程序代码的存储器,上述至少一条程序代码可由计算机设备中的处理器执行以完成上述实施例中基于人工智能的图像处理方法。例如,该计算机可读存储介质可以是ROM(Read-OnlyMemory,只读存储器)、RAM(Random-Access Memory,随机存取存储器)、CD-ROM(CompactDisc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种基于人工智能的图像处理方法,其特征在于,所述方法包括:
获取源领域的第一样本图像和目标领域的第二样本图像,所述源领域的第一样本图像携带有对应的目标处理结果,所述第一样本图像和第二样本图像为样本人体组织图像;
根据目标编码空间与所述第一样本图像之间的映射关系,将所述第一样本图像转换为第一样本图像编码,所述映射关系用于表示图像分布规律的差异,所述图像分布规律为灰度分布规律或亮度分布规律;
根据所述第二样本图像和所述目标编码空间之间的映射关系将所述第一样本图像编码转换为目标样本图像,所述目标样本图像携带有对应的目标处理结果,所述目标样本图像符合所述第二样本图像的图像分布规律;
基于所述目标样本图像和所述目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型;
响应于获取到目标领域的人体组织图像,将所述人体组织图像输入所述第二图像处理模型中,由所述第二图像处理模型对所述人体组织图像中目标人体组织进行定位,输出所述人体组织图像中所述目标人体组织的位置信息;
其中,所述源领域的图像和所述目标领域的图像之间的关系为下述至少一种:
在不同的图像生成场所中生成的同一类型的图像;
相同图像生成场所中同种类型的不同图像生成设备所生成的同一类型的图像;
相同图像生成场所中不同操作人员操作同一图像设备生成的同一类型的图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一样本图像和所述第二样本图像之间的图像分布差异,将所述第一样本图像转换为符合所述第二样本图像的图像分布规律的目标样本图像,包括:
将所述第一样本图像输入图像转换网络中,由所述图像转换网络执行编码和生成图像的步骤,得到所述目标样本图像。
3.根据权利要求2所述的方法,其特征在于,所述图像转换网络包括编码网络和生成网络;
所述将所述第一样本图像输入图像转换网络中,由所述图像转换网络执行编码和生成图像的步骤,得到所述目标样本图像,包括:
将所述第一样本图像输入所述图像转换网络中的编码网络中,由所述编码网络根据目标编码空间与所述第一样本图像在图像分布规律上的图像分布差异,对所述第一样本图像进行编码,得到第一样本图像编码;
由所述生成网络根据所述第二样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码,生成符合所述第二样本图像分布规律的目标样本图像。
4.根据权利要求3所述的方法,其特征在于,所述图像转换网络的训练过程包括:
将所述第一样本图像和所述第二样本图像输入初始图像转换网络中,由所述初始图像转换网络,根据目标编码空间与所述第一样本图像在图像分布规律上的图像分布差异,对所述第一样本图像进行编码,得到第一样本图像编码;
根据所述目标编码空间与所述第二样本图像在图像分布规律上的图像分布差异,对所述第二样本图像进行编码,得到第二样本图像编码;
根据所述第一样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码和所述第二样本图像编码,生成第三样本图像和第四样本图像;
根据所述第二样本图像和所述目标编码空间在图像分布规律上的图像分布差异,基于所述第一样本图像编码和所述第二样本图像编码,生成第五样本图像和第六样本图像;
获取所述第一样本图像、第二样本图像、第三样本图像、第四样本图像、第五样本图像以及第六样本图像的图像分类结果,所述图像分类结果用于指示图像为原始图像或生成图像;
根据所述图像分类结果的准确率,对所述初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,得到所述图像转换网络。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
分别获取所述第三样本图像和所述第四样本图像之间的第一相似度、所述第五样本图像和所述第六样本图像之间的第二相似度、所述第一样本图像与所述第三样本图像之间的第三相似度、所述第一样本图像与所述第五样本图像之间的第四相似度、所述第二样本图像与所述第四样本图像之间的第五相似度以及所述第二样本图像与所述第六样本图像之间的第六相似度;
所述根据所述图像分类结果的准确率,对所述初始图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,包括:
根据所述图像分类结果的准确率、所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度、所述第五相似度以及所述第六相似度,对所述图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述第四样本图像和第六样本图像输入所述初始图像转换网络中,由所述图像转换网络对所述第四样本图像和所述第六样本图像进行编码得到的第三样本图像编码和第四样本图像编码;
分别获取所述第三样本图像编码与所述第一样本图像编码之间的第七相似度、所述第四样本图像编码与所述第二样本图像编码之间的第八相似度;
所述根据所述图像分类结果的准确率,对所述图像转换网络的网络参数进行调整,直至符合第一目标条件时停止,还包括:
根据所述第七相似度和所述第八相似度,对所述图像转换网络的网络参数进行调整,直至符合第一目标条件时停止。
7.根据权利要求4-6任一项所述的方法,其特征在于,
所述第一目标条件为所述图像分类结果的准确率与目标准确率之间的差值小于差值阈值;或,
所述第一目标条件为所述图像分类结果的准确率与目标准确率之间的差值小于差值阈值,第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度收敛;或,
所述第一目标条件为所述图像分类结果的准确率与目标准确率之间的差值小于差值阈值,所述第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、第六相似度、第七相似度和第八相似度收敛;
所述第一目标条件为迭代次数达到目标次数。
8.根据权利要求7所述的方法,其特征在于,所述目标准确率为50%。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标样本图像和所述目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型,包括:
将所述目标样本图像输入所述第一图像处理模型中,由所述第一图像处理模型对所述目标样本图像中目标人体组织进行定位,输出所述目标样本图像中目标人体组织的预测位置信息;
基于所述预测位置信息与所述目标处理结果中所述目标人体组织的目标位置信息,获取所述预测位置信息的准确度;
基于所述准确度,对所述第一图像处理模型的模型参数进行调整,直至符合第二目标条件时停止,得到所述第二图像处理模型。
10.根据权利要求1所述的方法,其特征在于,所述由所述第二图像处理模型对所述人体组织图像中目标人体组织进行定位,输出所述人体组织图像中所述目标人体组织的位置信息,包括:
由所述第二图像处理模型对所述人体组织图像进行特征提取,得到所述人体组织图像的图像特征;
根据所述图像特征,获取所述人体组织图像的特征图,所述特征图中每个像素用于指示所述人体组织图像中的一个区域中是否包括所述目标人体组织;
根据所述特征图以及目标偏移量,获取并输出所述目标人体组织的位置信息。
11.根据权利要求1所述的方法,其特征在于,所述人体组织图像为结直肠图像;所述目标人体组织为息肉。
12.一种基于人工智能的图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取源领域的第一样本图像和目标领域的第二样本图像,所述源领域的第一样本图像携带有对应的目标处理结果,所述第一样本图像和第二样本图像为样本人体组织图像;
转换模块,用于根据目标编码空间与所述第一样本图像之间的映射关系,将所述第一样本图像转换为第一样本图像编码,所述映射关系用于表示图像分布规律的差异,所述图像分布规律为灰度分布规律或亮度分布规律;
转换模块,还用于根据所述第二样本图像和所述目标编码空间之间的映射关系将所述第一样本图像编码转换为目标样本图像,所述目标样本图像携带有对应的目标处理结果,所述目标样本图像符合所述第二样本图像的图像分布规律;
训练模块,用于基于所述目标样本图像和所述目标样本图像对应的目标处理结果,对第一图像处理模型进行训练,得到第二图像处理模型;
定位模块,用于响应于获取到目标领域的人体组织图像,将所述人体组织图像输入所述第二图像处理模型中,由所述第二图像处理模型对所述人体组织图像中目标人体组织进行定位,输出所述人体组织图像中所述目标人体组织的位置信息;
其中,所述源领域的图像和所述目标领域的图像之间的关系为下述至少一种:
在不同的图像生成场所中生成的同一类型的图像;
相同图像生成场所中同种类型的不同图像生成设备所生成的同一类型的图像;
相同图像生成场所中不同操作人员操作同一图像设备生成的同一类型的图像。
13.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求11任一项所述的基于人工智能的图像处理方法所执行的操作。
14.一种存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求11任一项或所述的基于人工智能的图像处理方法所执行的操作。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010286926.7A CN111476783B (zh) | 2020-04-13 | 2020-04-13 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
EP21787699.4A EP4030381A4 (en) | 2020-04-13 | 2021-02-24 | METHOD AND DEVICE FOR IMAGE PROCESSING BASED ON ARTIFICIAL INTELLIGENCE, AS WELL AS DEVICE AND STORAGE MEDIA |
PCT/CN2021/077685 WO2021208601A1 (zh) | 2020-04-13 | 2021-02-24 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
US17/710,254 US20220222925A1 (en) | 2020-04-13 | 2022-03-31 | Artificial intelligence-based image processing method and apparatus, device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010286926.7A CN111476783B (zh) | 2020-04-13 | 2020-04-13 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476783A CN111476783A (zh) | 2020-07-31 |
CN111476783B true CN111476783B (zh) | 2022-11-15 |
Family
ID=71752301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010286926.7A Active CN111476783B (zh) | 2020-04-13 | 2020-04-13 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220222925A1 (zh) |
EP (1) | EP4030381A4 (zh) |
CN (1) | CN111476783B (zh) |
WO (1) | WO2021208601A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476783B (zh) * | 2020-04-13 | 2022-11-15 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
CN112183727A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统 |
CN112488160B (zh) * | 2020-11-16 | 2023-02-07 | 浙江新再灵科技股份有限公司 | 图像分类任务的模型训练方法 |
US20220180203A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Generating data based on pre-trained models using generative adversarial models |
CN113205521A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 一种医学影像数据的图像分割方法 |
CN113705339B (zh) * | 2021-07-15 | 2023-05-23 | 电子科技大学 | 基于对抗性域适应策略的跨用户人体行为识别方法 |
CN114266937A (zh) * | 2021-12-20 | 2022-04-01 | 北京百度网讯科技有限公司 | 模型训练、图像处理方法,装置,设备以及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991516A (zh) * | 2019-11-28 | 2020-04-10 | 哈尔滨工程大学 | 一种基于风格迁移的侧扫声呐图像目标分类方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9595120B2 (en) * | 2015-04-27 | 2017-03-14 | Siemens Healthcare Gmbh | Method and system for medical image synthesis across image domain or modality using iterative sparse representation propagation |
US10482600B2 (en) * | 2018-01-16 | 2019-11-19 | Siemens Healthcare Gmbh | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks |
CN108985208A (zh) * | 2018-07-06 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 生成图像检测模型的方法和装置 |
CN109447966A (zh) * | 2018-10-26 | 2019-03-08 | 科大讯飞股份有限公司 | 医学图像的病灶定位识别方法、装置、设备及存储介质 |
CN110110811A (zh) * | 2019-05-17 | 2019-08-09 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置、用于预测信息的方法和装置 |
CN110504029B (zh) * | 2019-08-29 | 2022-08-19 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
CN110705625A (zh) * | 2019-09-26 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111476783B (zh) * | 2020-04-13 | 2022-11-15 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
-
2020
- 2020-04-13 CN CN202010286926.7A patent/CN111476783B/zh active Active
-
2021
- 2021-02-24 WO PCT/CN2021/077685 patent/WO2021208601A1/zh unknown
- 2021-02-24 EP EP21787699.4A patent/EP4030381A4/en active Pending
-
2022
- 2022-03-31 US US17/710,254 patent/US20220222925A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991516A (zh) * | 2019-11-28 | 2020-04-10 | 哈尔滨工程大学 | 一种基于风格迁移的侧扫声呐图像目标分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111476783A (zh) | 2020-07-31 |
EP4030381A4 (en) | 2023-01-11 |
EP4030381A1 (en) | 2022-07-20 |
WO2021208601A1 (zh) | 2021-10-21 |
US20220222925A1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476783B (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
JP7130057B2 (ja) | 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム | |
CN109086709B (zh) | 特征提取模型训练方法、装置及存储介质 | |
CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN113395542B (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
CN110135336B (zh) | 行人生成模型的训练方法、装置及存储介质 | |
CN112598686B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN111091166B (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
CN111368116B (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
CN111930964B (zh) | 内容处理方法、装置、设备及存储介质 | |
CN113610750A (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
CN114332530A (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
CN110675412A (zh) | 图像分割方法、图像分割模型的训练方法、装置及设备 | |
CN111507094B (zh) | 基于深度学习的文本处理模型训练方法、装置及设备 | |
CN113516143A (zh) | 文本图像匹配方法、装置、计算机设备及存储介质 | |
CN114359225A (zh) | 图像检测方法、装置、计算机设备及存储介质 | |
CN114677350A (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
CN113705302A (zh) | 图像生成模型的训练方法、装置、计算机设备及存储介质 | |
CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113822263A (zh) | 图像标注方法、装置、计算机设备及存储介质 | |
CN113395583A (zh) | 水印检测方法、装置、计算机设备及存储介质 | |
CN114511082A (zh) | 特征提取模型的训练方法、图像处理方法、装置及设备 | |
CN113763931B (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
CN111310701B (zh) | 手势识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40026347 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |