CN110232401A - 基于图片转换的病灶判断方法、装置、计算机设备 - Google Patents

基于图片转换的病灶判断方法、装置、计算机设备 Download PDF

Info

Publication number
CN110232401A
CN110232401A CN201910367767.0A CN201910367767A CN110232401A CN 110232401 A CN110232401 A CN 110232401A CN 201910367767 A CN201910367767 A CN 201910367767A CN 110232401 A CN110232401 A CN 110232401A
Authority
CN
China
Prior art keywords
picture
model
value
transformation model
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910367767.0A
Other languages
English (en)
Other versions
CN110232401B (zh
Inventor
杨苏辉
高鹏
谢国彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910367767.0A priority Critical patent/CN110232401B/zh
Priority to PCT/CN2019/103337 priority patent/WO2020224118A1/zh
Priority to JP2021500419A priority patent/JP7064050B2/ja
Publication of CN110232401A publication Critical patent/CN110232401A/zh
Application granted granted Critical
Publication of CN110232401B publication Critical patent/CN110232401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了基于图片转换的病灶判断方法、装置、计算机设备。方法包括:根据转换模板分别构建第一图片转换模型及第二图片转换模型,根据计算模板分别生成第一置信值计算模型及第二置信值计算模型,通过模型训练规则、图片库及第一图片转换模型对第二图片转换模型进行训练,并确定用户所输入的待判断图片的采集设备,根据图像判断规则及训练后的第二图片转换模型对待判断图片中是否包含病灶进行判断以得到病灶判断结果。本发明基于图像处理技术,能够使转换得到的目标图片与另一采集设备风格完全匹配,提高了对图片进行转换的效率和质量,从而大幅增加了对病灶进行判断的准确率,在实际应用过程中取得了良好的技术效果。

Description

基于图片转换的病灶判断方法、装置、计算机设备
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于图片转换的病灶判断方法、装置、计算机设备。
背景技术
在进行病灶判断过程中,需通过采集设备采集图片,然而不同设备所采集到的图片具有各自的风格,例如色彩分布、亮度、对比度、噪声等。部分重要信息无法直接从所采集到的图片中获取,需通过将图片转换为与某一采集设备风格相匹配的图片后才能获取部分重要信息,以方便对是否存在病灶进行判断。传统的病灶判断方法对图片进行风格转换后所得到的图片无法与所需风格完全匹配,进而导致无法对所采集到的图片中是否存在病灶进行准确判断。
发明内容
本发明实施例提供了一种基于图片转换的病灶判断方法、装置、计算机设备及存储介质,旨在解决现有技术方法中所存在的无法对所采集到的图片中是否存在病灶进行准确判断的问题。
第一方面,本发明实施例提供了一种基于图片转换的病灶判断方法,其包括:
根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片;
根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化;
根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型;
若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备;
若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
第二方面,本发明实施例提供了一种基于图片转换的病灶判断装置,其包括:
转换模型构建单元,用于根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片;
计算模型生成单元,用于根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化;
转换模型训练单元,用于根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型;
采集设备确定单元,用于若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备;
病灶判断结果获取单元,用于若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的基于图片转换的病灶判断方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于图片转换的病灶判断方法。
本发明实施例提供了一种基于图片转换的病灶判断方法、装置、计算机设备及存储介质。在本发明实施例所提供的基于图片转换的病灶判断方法中,根据转换模板分别构建第一图片转换模型及第二图片转换模型,根据计算模板分别生成第一置信值计算模型及第二置信值计算模型,通过模型训练规则、图片库及第一图片转换模型对第二图片转换模型进行训练,并确定用户所输入的待判断图片的采集设备,根据图像判断规则及训练后的第二图片转换模型对待判断图片中是否包含病灶进行判断以得到病灶判断结果,能够使转换得到的目标图片与另一采集设备风格完全匹配,提高了对图片进行转换的效率和质量,从而大幅增加了对病灶进行判断的准确率,在实际应用过程中取得了良好的技术效果。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图片转换的病灶判断方法的流程示意图;
图2为本发明实施例提供的基于图片转换的病灶判断方法的效果示意图;
图3为本发明实施例提供的基于图片转换的病灶判断方法的子流程示意图;
图4为本发明实施例提供的基于图片转换的病灶判断方法的另一子流程示意图;
图5为本发明实施例提供的基于图片转换的病灶判断方法的另一子流程示意图;
图6为本发明实施例提供的基于图片转换的病灶判断方法的另一子流程示意图;
图7为本发明实施例提供的基于图片转换的病灶判断装置的示意性框图;
图8为本发明实施例提供的基于图片转换的病灶判断装置的子单元示意性框图;
图9为本发明实施例提供的基于图片转换的病灶判断装置的另一子单元示意性框图;
图10为本发明实施例提供的基于图片转换的病灶判断装置的另一子单元示意性框图;
图11为本发明实施例提供的基于图片转换的病灶判断装置的另一子单元示意性框图;
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,图1是本发明实施例提供的基于图片转换的病灶判断方法的流程示意图。该基于图片转换的病灶判断方法应用于用户终端中,该方法通过安装于用户终端中的应用软件进行执行,用户终端即是用于执行基于图片转换的病灶判断方法以对病灶进行判断的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等。
如图1所示,该方法包括步骤S110~S150。
S110、根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片。
根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型。具体的,所述转换模板即是由若干带步长的卷积层和反卷积层所组成的模板,通过转换模板、第一采集设备及第二采集设备,即可构建得到第一图片转换模型及第二图片转换模型。第一采集设备及第二采集设备均是用于对图片进行采集的设备,不同采集设备所采集到的图片具有不同的风格,例如,上述风格包括但不限于图片中的色彩分布、亮度、对比度、噪声等。通过第一图片转换模型的卷积及反卷积作用即可将与第一采集设备风格相匹配的图片转换为与第二采集设备风格相匹配的图片,第二图片转换模型则可将与第二采集设备风格相匹配的图片转换为与第一采集设备风格相匹配的图片。
在一实施例中,如图3所示,步骤S110包括子步骤S111和S112。
S111、根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型,其中,所述第一格式信息用于表征所述第一采集设备所采集到的图片的格式。
根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型。获取第一采集设备的第一格式信息,不同采集设备所采集到的图片具有不同的格式,第一格式信息即是第一采集设备所采集到的图片的格式信息,也即是图片的具体尺寸信息。第一图片转换模型中包括一个缩放处理层、两个步长为2的卷积层及两个步长为0.5的反卷积层,其中,缩放处理层即是将第一格式信息的图片进行缩放处理以得到对应像素大小的图片,每一卷积层中包含一个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量,同样的一个反卷积层中也包含一个反卷积核,组成反卷积核的每个元素都对应一个权重系数和一个偏差量。
例如,若接收到第一设备所采集到的图片,先通过缩放处理层将该图片转换为256×256像素的图片,通过卷积处理将256×256像素的图片转换为一个多维向量,通过反卷积处理将多维向量转换为另一个256×256像素的图片。
S112、根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型,其中,所述第二格式信息用于表征所述第二采集设备所采集到的图片的格式。
根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型。第二格式信息即是第二采集设备所采集到的图片的格式信息,也即是图片的具体尺寸信息,第二图片转换模型中包括一个缩放处理层、两个步长为2的卷积层及两个步长为0.5的反卷积层,其中,缩放处理层即是将第二格式信息的图片进行缩放处理以得到对应像素大小的图片,每一卷积层中包含一个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量,同样的一个反卷积层中也包含一个反卷积核,组成反卷积核的每个元素都对应一个权重系数和一个偏差量。
S120、根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化。
根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型。将计算模板进行复制即可得到第一置信值计算模型及第二置信值计算模型,每一个计算模型中均包括两个步长为2的卷积层、一个全连接层、一个输出节点,每一个计算模型均可对输入计算模型的图片进行处理并计算得到该图片的置信值。具体的,若输入一张特定像素大小的图片至某一计算模型,通过该计算模型对输入的图片进行卷积处理以得到一个多维向量,多维向量中的每一个维度即是计算模型中的一个输入节点,每一维度的向量值也即是输入节点对应的输入节点值,全连接层中包含预设的若干个特征单元,每一个特征单元均与所有输入节点和输出节点进行关联,特征单元即可用于反映多维向量与输出节点之间的关系,特征单元值即是全连接隐层中的特征单元的计算值。
计算模型中还包括所有输入节点至所有特征单元的公式以及所有特征单元至输出节点的公式,输入节点至特征单元的公式即是以输入节点值x1作为输入值、特征单元值y1作为输出值的计算公式,例如,y1=i×x1+j,i及j均是该公式中的参数值;特征单元至输出节点的公式即是以特征单元值作为输入值、输出节点值作为输出值的计算公式,公式具体形式如上述示例所示,通过计算模型对所输入的图片进行计算处理,即可得到该计算模型的输出节点值,也即是该图片对应的置信值。置信值的具体数值范围为[0,1],通过第一置信值计算模型计算得到置信值即可用于对所输入的图片与第二采集设备所采集图片的风格之间的相似度进行量化,若输入第一置信值计算模型的图片为第一采集设备所采集并通过第一图片转换模型转换后的图片,则可通过第一置信值计算模型计算通过第一图片转换模型转换后的该图片与第二采集设备所采集图片的风格之间的相似度,相似度即可通过置信值进行表示。具体的,若第一置信值计算模型计算得到置信值为1,则表明所输入的图片与第二采集设备所采集图片的风格相似;若第一置信值计算模型计算得到置信值为0,则表明所输入的图片与第二采集设备所采集图片的风格不相似。第二置信值计算模型计算得到的置信值即可用于对所输入的图片与第一采集设备所采集图片的风格之间的相似度进行量化,具体的,若第二置信值计算模型计算得到置信值为1,则表明所输入的图片与第一采集设备所采集图片的风格相似;若第二置信值计算模型计算得到置信值为0,则表明所输入的图片与第一采集设备所采集图片的风格不相似。
在构建得到第一置信值计算模型及第二置信值计算模型后,还可通过预设的训练数据对第一置信值计算模型及第二置信值计算模型进行训练,以对第一置信值计算模型及第二置信值计算模型中公式的参数值进行调整,以使训练后的第一置信值计算模型及第二置信值计算模型满足实际使用需求。
S130、根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型。
根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型。具体的,图片库中包括第一图片集及第二图片集,第一图片集即为通过第一采集设备所采集到的图片所组成的图片集合,第二图片集即为通过第二采集设备所采集到的图片所组成的图片集合,第一图片集中包含多张第一图片,第二图片集中包含多张第二图片。模型训练规则即是用于对第一图片转换模型及第二图片转换模型进行训练的规则信息,模型训练规则中包括损失函数及参数调整规则。
在一实施例中,如图4所示,步骤S130包括子步骤S131、S132和S133。
S131、获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片,其中,所述第一图片集为通过所述第一采集设备所采集到的图片所组成的图片集合,所述第二图片集为通过第二采集设备所采集到的图片所组成的图片集合。
随机获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片。第一图片用a表示,第一图片也即是与第一采集设备风格相匹配的图片,第二图片用b表示,第二图片也即是与第二采集设备风格相匹配的图片。
S132、将所述第一图片、所述第二图片、所述第一置信值计算模型、所述第二置信值计算模型、所述第一图片转换模型及所述第二图片转换模型输入所述模型训练规则中的损失函数进行计算以得到训练损失值。
具体的,损失函数为L=λ×(||G_X(b)-b||1+||G_Y(a)-a||1+||G_Y(G_X(a))-a||1+||G_X(G_Y(b))-b||1)+logD_X(b)+log(1-D_X(G_X(a)))+logD_Y(a)+log(1-D_Y(G_Y(b)))。通过第一图片转换模型对第一图片进行转换后即可得到第一转换图片,通过第二图片转换模型对第二图片进行转换后即可得到第二转换图片,为使第二转换图片与第一采集设备风格匹配度更高且使第一转换图片与第二采集设备风格匹配度更高,需对第一图片转换模型及第二图片转换模型进行训练,可通过上述损失函数对第一图片转换模型及第二图片转换模型同时进行训练,以提高训练的速度。L即是所计算得到的训练损失值,第一图片用a表示,第二图片用b表示,第一置信值计算模型用D_X表示,第二置信值计算模型用D_Y表示,第一图片转换模型用G_X表示,第二图片转换模型用G_Y表示。第一转换图片用G_X(a)表示,第二转换图片用G_Y(b),λ为损失函数中的比重值,例如可设置比重值λ=0.1。此外,还可通过对图片a及图片b进行缩放处理后,使用第一图片转换模型对第二图片进行转换得到的图片用G_X(b)表示,使用第二图片转换模型对第一图片进行转换得到的图片用G_Y(a)表示,通过第一置信值计算模型计算得到第一图片的置信值采用G_X(a)表示、计算得到第二图片的置信值采用D_X(b)表示,通过第二置信值计算模型计算得到第一图片的置信值采用D_Y(a)表示、计算得到第二图片的置信值采用D_Y(b)表示。||G_X(b)-b||1即是图片G_X(b)与图片b之间的范数,计算范数的具体步骤为,将图片G_X(b)及图片b转换为unit8数据类型的数值,也即是得到图片中每一像素的像素值,将图片G_X(b)的数值与图片b的数值进行相减即可得到范数,范数越小则表明两张图片越相似。
S133、根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。
根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。计算得到的训练损失值后,即可根据参数调整规则及训练损失值确定参数更新梯度值,训练损失值越大,则对应的更新梯度值越大,训练损失值越小,则对应的更新梯度值越小。第二图片转换模型中的参数值也即是该模型中卷积核及反卷积核所包含的权重系数,参数调整规则中还包括调整方向,结合调整方向及更新梯度值即可对第二图片转换模型中所包含的权重系数进行调整,也即是完成对第二图片转换模型进行一次训练。
通过上述权重系数调整方法对第二图片转换模型进行迭代训练,迭代训练的次数可由用户设定,经过迭代训练后即可最终得到训练后的第二图片转换模型。
S140、若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备。
若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备。待判断图片即是用户所输入的需进行病灶判断的图片,具体的,待判断图片中包括采集源信息,通过采集源信息即可确定该待判断图片的采集设备是否为第一采集设备,其中,待判断图片的采集设备可以是第一采集设备或第二采集设备。
例如,用户所输入的待判断图片可能来源于海德堡设备或Optovue设备,若待判断图片的采集源信息为“H”,则该图片的采集设备为海德堡设备,也即是该待判断图片的采集设备为第一采集设备;若待判断图片的采集源信息为“O”,则该图片的采集设备为Optovue设备,也即是该待判断图片的采集设备不为第一采集设备。
S150、若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。图像判断规则即是用于对待判断图片进行判断的规则信息,图像判断规则中包括图像分割模型及病灶判断规则,图像分割处理模型只能适用于第一采集设备,而无法适用于其他采集设备。根据第二图片转换模型及图像分割模型对待判断图片进行处理以得到目标图片,即可从目标图片中获取得到待判断图片中所不包含的一些信息,这一技术尤其适用于对部分病灶的判断中,例如对是否存在网膜内积液这一病灶进行判断。
图2为本发明实施例提供的基于图片转换的病灶判断方法的效果示意图,如图2所示,其中的图(a)是上述第二采集设备所采集的图片;图(b)是根据图像判断规则中的图像分割模型对图(a)进行分割处理后的图片;图(c)是根据第二图片转换模型对图(a)进行转换后得到的图片;图(d)是根据图像判断规则中的图像分割模型对图(c)进行分割处理后的图片。
在一实施例中,如图5所示,步骤S150包括子步骤S151、S1523和S153。
S151、根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片。
根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片。通过训练后的第二图片转换模型即可将第二采集设备所采集到的待判断图片转换为与第一采集设备风格相匹配的待分割图片。不同采集设备所采集到的图片具有不同的风格,上述风格包括但不限于图片中的色彩分布、亮度、对比度、噪声等,由于待判断图片的采集设备不是第一采集设备,直接将待判定图片进行图像分割处理后,无法从分割处理后的图片中获取部分重要信息,如图2中的图(b)所示。为获取待判断图片中的部分重要信息,可通过第二图片转换模型将第二采集设备所采集到的图片转换为与第一采集设备风格相匹配的图片,如图2中的图(c)所示,之后再通过图像分割处理模型对已进行风格转换的图片进行分割处理得到目标图片。
S152、根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片。
根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片。通过图像分割处理模型对已进行风格转换的图片进行分割处理得到目标图片后,即可从目标图片中获取其所包含的部分重要信息。具体的,图像分割模型即是用于对图片进行分割处理的模型,可通过图像分割模型根据图片中像素的对比度、亮度、色彩分布等信息,从图片中分割出部分病灶的像素信息,如图2中的图(d)所示。
S153、根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。其中,病灶判断规则即是用于对目标图片进行判断分析的规则,通过病灶判断规则即可获取目标图片中是否包含病灶的病灶判断结果。
例如,病灶判断规则为图片中高亮区域大于50个像素则图片包含病灶,通过对目标图片进行对比度分析以获取目标图片中的高亮区域,若高亮区域大于50个像素则得到的病灶判断结果为该目标图片中包含病灶;否则得到的病灶判断结果为该目标图片中不包含病灶。
在一实施例中,如图6所示,步骤S140之后包括子步骤S141和S142。
S141、若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片。
若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片。由于图像分割处理模型只能适用于第一采集设备,而无法适用于其他采集设备,若待判断图片的采集设备为第一采集设备,则可直接通过图像分割模型对待判断图片进行分割处理,以获取目标图片。
S142、根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。通过病灶判断规则即可获取目标图片中是否包含病灶的病灶判断结果。
在本发明实施例所提供的基于图片转换的病灶判断方法中,根据转换模板分别构建第一图片转换模型及第二图片转换模型,根据计算模板分别生成第一置信值计算模型及第二置信值计算模型,通过模型训练规则及图片库及第一图片转换模型对第二图片转换模型进行训练,并根据训练后的第二图片转换模型及图像判断规则对用户所输入的待判断图片进行判断以得到是否包含病灶的病灶判断结果,能够使转换得到的目标图片与另一采集设备风格完全匹配,提高了对图片进行转换的效率和质量,从而大幅增加了对病灶进行判断的准确率,在实际应用过程中取得了良好的技术效果。
本发明实施例还提供一种基于图片转换的病灶判断装置,该基于图片转换的病灶判断装置用于执行前述基于图片转换的病灶判断方法的任一实施例。具体地,请参阅图7,图7是本发明实施例提供的基于图片转换的病灶判断装置的示意性框图。该基于图片转换的病灶判断装置可以配置于台式电脑、笔记本电脑、平板电脑或手机等用户终端中。
如图7所示,基于图片转换的病灶判断装置100包括转换模型构建单元110、计算模型生成单元120、转换模型训练单元130、采集设备确定单元140和病灶判断结果获取单元150。
转换模型构建单元110,用于根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片。
根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型。具体的,所述转换模板即是由若干带步长的卷积层和反卷积层所组成的模板,通过转换模板、第一采集设备及第二采集设备,即可构建得到第一图片转换模型及第二图片转换模型。第一采集设备及第二采集设备均是用于对图片进行采集的设备,不同采集设备所采集到的图片具有不同的风格,例如,上述风格包括但不限于图片中的色彩分布、亮度、对比度、噪声等。通过第一图片转换模型的卷积及反卷积作用即可将与第一采集设备风格相匹配的图片转换为与第二采集设备风格相匹配的图片,第二图片转换模型则可将与第二采集设备风格相匹配的图片转换为与第一采集设备风格相匹配的图片。
其他发明实施例中,如图8所示,所述转换模型构建单元110包括子单元:第一图片转换模型构建单元111和第二图片转换模型构建单元112。
第一图片转换模型构建单元111,用于根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型,其中,所述第一格式信息用于表征所述第一采集设备所采集到的图片的格式。
根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型。获取第一采集设备的第一格式信息,不同采集设备所采集到的图片具有不同的格式,第一格式信息即是第一采集设备所采集到的图片的格式信息,也即是图片的具体尺寸信息。第一图片转换模型中包括一个缩放处理层、两个步长为2的卷积层及两个步长为0.5的反卷积层,其中,缩放处理层即是将第一格式信息的图片进行缩放处理以得到对应像素大小的图片,每一卷积层中包含一个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量,同样的一个反卷积层中也包含一个反卷积核,组成反卷积核的每个元素都对应一个权重系数和一个偏差量。
第二图片转换模型构建单元112,用于根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型,其中,所述第二格式信息用于表征所述第二采集设备所采集到的图片的格式。
根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型。第二格式信息即是第二采集设备所采集到的图片的格式信息,也即是图片的具体尺寸信息,第二图片转换模型中包括一个缩放处理层、两个步长为2的卷积层及两个步长为0.5的反卷积层,其中,缩放处理层即是将第二格式信息的图片进行缩放处理以得到对应像素大小的图片,每一卷积层中包含一个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量,同样的一个反卷积层中也包含一个反卷积核,组成反卷积核的每个元素都对应一个权重系数和一个偏差量。
计算模型生成单元120,用于根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化。
根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型。将计算模板进行复制即可得到第一置信值计算模型及第二置信值计算模型,每一个计算模型中均包括两个步长为2的卷积层、一个全连接层、一个输出节点,每一个计算模型均可对输入计算模型的图片进行处理并计算得到该图片的置信值。具体的,若输入一张特定像素大小的图片至某一计算模型,通过该计算模型对输入的图片进行卷积处理以得到一个多维向量,多维向量中的每一个维度即是计算模型中的一个输入节点,每一维度的向量值也即是输入节点对应的输入节点值,全连接层中包含预设的若干个特征单元,每一个特征单元均与所有输入节点和输出节点进行关联,特征单元即可用于反映多维向量与输出节点之间的关系,特征单元值即是全连接隐层中的特征单元的计算值。
计算模型中还包括所有输入节点至所有特征单元的公式以及所有特征单元至输出节点的公式,输入节点至特征单元的公式即是以输入节点值x1作为输入值、特征单元值y1作为输出值的计算公式,例如,y1=i×x1+j,i及j均是该公式中的参数值;特征单元至输出节点的公式即是以特征单元值作为输入值、输出节点值作为输出值的计算公式,公式具体形式如上述示例所示,通过计算模型对所输入的图片进行计算处理,即可得到该计算模型的输出节点值,也即是该图片对应的置信值。置信值的具体数值范围为[0,1],通过第一置信值计算模型计算得到置信值即可用于对所输入的图片与第二采集设备所采集图片的风格之间的相似度进行量化,若输入第一置信值计算模型的图片为第一设备所采集并通过第一图片转换模型转换后的图片,则可通过第一置信值计算模型计算通过第一图片转换模型转换后的该图片与第二采集设备所采集图片的风格之间的相似度,相似度即可通过置信值进行表示。具体的,若第一置信值计算模型计算得到置信值为1,则表明所输入的图片与第二采集设备所采集图片的风格相似;若第一置信值计算模型计算得到置信值为0,则表明所输入的图片与第二采集设备所采集图片的风格不相似。第二置信值计算模型计算得到的置信值即可用于对所输入的图片与第一采集设备所采集图片的风格之间的相似度进行量化,具体的,若第二置信值计算模型计算得到置信值为1,则表明所输入的图片与第一采集设备所采集图片的风格相似;若第二置信值计算模型计算得到置信值为0,则表明所输入的图片与第一采集设备所采集图片的风格不相似。
在构建得到第一置信值计算模型及第二置信值计算模型后,还可通过预设的训练数据对第一置信值计算模型及第二置信值计算模型进行训练,以对第一置信值计算模型及第二置信值计算模型中公式的参数值进行调整,以使训练后的第一置信值计算模型及第二置信值计算模型满足实际使用需求。
转换模型训练单元130,用于根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型。
根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型。具体的,图片库中包括第一图片集及第二图片集,第一图片集即为通过第一采集设备所采集到的图片所组成的图片集合,第二图片集即为通过第二采集设备所采集到的图片所组成的图片集合,第一图片集中包含多张第一图片,第二图片集中包含多张第二图片。模型训练规则即是用于对第一图片转换模型及第二图片转换模型进行训练的规则信息,模型训练规则中包括损失函数及参数调整规则。
其他发明实施例中,如图9所示,所述转换模型训练单元130包括子单元:图片获取单元131、训练损失值计算单元132和参数值调整单元133。
图片获取单元131,用于获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片,其中,所述第一图片集为通过所述第一采集设备所采集到的图片所组成的图片集合,所述第二图片集为通过第二采集设备所采集到的图片所组成的图片集合。
随机获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片。第一图片用a表示,第一图片也即是与第一采集设备风格相匹配的图片,第二图片用b表示,第二图片也即是与第二采集设备风格相匹配的图片。
训练损失值计算单元132,用于将所述第一图片、所述第二图片、所述第一置信值计算模型、所述第二置信值计算模型、所述第一图片转换模型及所述第二图片转换模型输入所述模型训练规则中的损失函数进行计算以得到训练损失值。
具体的,损失函数为L=λ×(||G_X(b)-b||1+||G_Y(a)-a||1+||G_Y(G_X(a))-a||1+
||G_X(G_Y(b))-b||1)+logD_X(b)+log(1-D_X(G_X(a)))+logD_Y(a)+log(1-D_Y(G_Y(b)))。通过第一图片转换模型对第一图片进行转换后即可得到第一转换图片,通过第二图片转换模型对第二图片进行转换后即可得到第二转换图片,为使第二转换图片与第一采集设备风格匹配度更高且使第一转换图片与第二采集设备风格匹配度更高,需对第一图片转换模型及第二图片转换模型进行训练,可通过上述损失函数对第一图片转换模型及第二图片转换模型同时进行训练,以提高训练的速度。L即是所计算得到的训练损失值,第一图片用a表示,第二图片用b表示,第一置信值计算模型用D_X表示,第二置信值计算模型用D_Y表示,第一图片转换模型用G_X表示,第二图片转换模型用G_Y表示。第一转换图片用G_X(a)表示,第二转换图片用G_Y(b),λ为损失函数中的比重值,例如可设置比重值λ=0.1。此外,还可通过对图片a及图片b进行缩放处理后,使用第一图片转换模型对第二图片进行转换得到的图片用G_X(b)表示,使用第二图片转换模型对第一图片进行转换得到的图片用G_Y(a)表示,通过第一置信值计算模型计算得到第一图片的置信值采用G_X(a)表示、计算得到第二图片的置信值采用D_X(b)表示,通过第二置信值计算模型计算得到第一图片的置信值采用D_Y(a)表示、计算得到第二图片的置信值采用D_Y(b)表示。||G_X(b)-b||1即是图片G_X(b)与图片b之间的范数,计算范数的具体步骤为,将图片G_X(b)及图片b转换为unit8数据类型的数值,也即是得到图片中每一像素的像素值,将图片G_X(b)的数值与图片b的数值进行相减即可得到范数,范数越小则表明两张图片越相似。
参数值调整单元133,用于根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。
根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。计算得到的训练损失值后,即可根据参数调整规则及训练损失值确定参数更新梯度值,训练损失值越大,则对应的更新梯度值越大,训练损失值越小,则对应的更新梯度值越小。第二图片转换模型中的参数值也即是该模型中卷积核及反卷积核所包含的权重系数,参数调整规则中还包括调整方向,结合调整方向及更新梯度值即可对第二图片转换模型中所包含的权重系数进行调整,也即是完成对第二图片转换模型进行一次训练。
通过上述权重系数调整方法对第二图片转换模型进行迭代训练,迭代训练的次数可由用户设定,经过迭代训练后即可最终得到训练后的第二图片转换模型。
采集设备确定单元140,用于若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备。
若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备。待判断图片即是用户所输入的需进行病灶判断的图片,具体的,待判断图片中包括采集源信息,通过采集源信息即可确定该待判断图片的采集设备是否为第一采集设备,其中,待判断图片的采集设备可以是第一采集设备或第二采集设备。
病灶判断结果获取单元150,用于若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。图像判断规则即是用于对待判断图片进行判断的规则信息,图像判断规则中包括图像分割模型及病灶判断规则,图像分割处理模型只能适用于第一采集设备,而无法适用于其他采集设备。根据第二图片转换模型及图像分割模型对待判断图片进行处理以得到目标图片,即可从目标图片中获取得到待判断图片中所不包含的一些信息,这一技术尤其适用于对部分病灶的判断中,例如对是否存在网膜内积液这一病灶进行判断。
其他发明实施例中,如图10所示,所述病灶判断结果获取单元150包括子单元:图片转换单元151、第一分割处理单元152和第一病灶判断单元153。
图片转换单元151,用于根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片。
根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片。通过训练后的第二图片转换模型即可将第二采集设备所采集到的待判断图片转换为与第一采集设备风格相匹配的待分割图片。不同采集设备所采集到的图片具有不同的风格,上述风格包括但不限于图片中的色彩分布、亮度、对比度、噪声等,由于待判断图片的采集设备不是第一采集设备,直接将待判定图片进行图像分割处理后,无法从分割处理后的图片中获取部分重要信息,如图2中的图(b)所示。为获取待判断图片中的部分重要信息,可通过第二图片转换模型将第二采集设备所采集到的图片转换为与第一采集设备风格相匹配的图片,如图2中的图(c)所示,之后再通过图像分割处理模型对已进行风格转换的图片进行分割处理得到目标图片。
第一分割处理单元152,用于根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片。
根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片。通过图像分割处理模型对已进行风格转换的图片进行分割处理得到目标图片后,即可从目标图片中获取其所包含的部分重要信息。具体的,图像分割模型即是用于对图片进行分割处理的模型,可通过图像分割模型根据图片中像素的对比度、亮度、色彩分布等信息,从图片中分割出部分病灶的像素信息,如图2中的图(d)所示。
第一病灶判断单元153,用于根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。其中,病灶判断规则即是用于对目标图片进行判断分析的规则,通过病灶判断规则即可获取目标图片中是否包含病灶的病灶判断结果。
其他发明实施例中,如图11所示,所述基于图片转换的病灶判断装置100还包括子单元:第二分割处理单元141和第二病灶判断单元142。
第二分割处理单元141,用于若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片。
若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片。由于图像分割处理模型只能适用于第一采集设备,而无法适用于其他采集设备,若待判断图片的采集设备为第一采集设备,则可直接通过图像分割模型对待判断图片进行分割处理,以获取目标图片。
第二病灶判断单元142,用于根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。通过病灶判断规则即可获取目标图片中是否包含病灶的病灶判断结果。
在本发明实施例所提供的基于图片转换的病灶判断装置应用上述基于图片转换的病灶判断方法,根据转换模板分别构建第一图片转换模型及第二图片转换模型,根据计算模板分别生成第一置信值计算模型及第二置信值计算模型,通过模型训练规则、图片库及第一图片转换模型对第二图片转换模型进行训练,并确定用户所输入的待判断图片的采集设备,根据图像判断规则及训练后的第二图片转换模型对待判断图片中是否包含病灶进行判断以得到病灶判断结果,能够使转换得到的目标图片与另一采集设备风格完全匹配,提高了对图片进行转换的效率和质量,从而大幅增加了对病灶进行判断的准确率,在实际应用过程中取得了良好的技术效果。
上述基于图片转换的病灶判断装置可以实现为计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12,图12是本发明实施例提供的计算机设备的示意性框图。
参阅图12,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行基于图片转换的病灶判断方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行基于图片转换的病灶判断方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图12中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下功能:根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片;根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化;根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型;若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备;若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
在一实施例中,处理器502在执行根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型的步骤时,执行如下操作:根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型,其中,所述第一格式信息用于表征所述第一采集设备所采集到的图片的格式;根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型,其中,所述第二格式信息用于表征所述第二采集设备所采集到的图片的格式。
在一实施例中,处理器502在执行根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型的步骤时,执行如下操作:获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片,其中,所述第一图片集为通过所述第一采集设备所采集到的图片所组成的图片集合,所述第二图片集为通过第二采集设备所采集到的图片所组成的图片集合;将所述第一图片、所述第二图片、所述第一置信值计算模型、所述第二置信值计算模型、所述第一图片转换模型及所述第二图片转换模型输入所述模型训练规则中的损失函数进行计算以得到训练损失值;根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。
在一实施例中,处理器502在执行若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果的步骤时,执行如下操作:根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片;根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片;根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
在一实施例中,处理器502在执行若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备的步骤之后,还执行如下操作:若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片;根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
本领域技术人员可以理解,图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图12所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现以下步骤:根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片;根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化;根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型;若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备;若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
在一实施例中,所述根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型的步骤,包括:根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型,其中,所述第一格式信息用于表征所述第一采集设备所采集到的图片的格式;根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型,其中,所述第二格式信息用于表征所述第二采集设备所采集到的图片的格式。
在一实施例中,所述根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型的步骤,包括:获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片,其中,所述第一图片集为通过所述第一采集设备所采集到的图片所组成的图片集合,所述第二图片集为通过第二采集设备所采集到的图片所组成的图片集合;将所述第一图片、所述第二图片、所述第一置信值计算模型、所述第二置信值计算模型、所述第一图片转换模型及所述第二图片转换模型输入所述模型训练规则中的损失函数进行计算以得到训练损失值;根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。
在一实施例中,所述若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果的步骤,包括:根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片;根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片;根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
在一实施例中,所述若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备的步骤之后,包括:若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片;根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于图片转换的病灶判断方法,其特征在于,包括:
根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片;
根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化;
根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型;
若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备;
若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
2.根据权利要求1所述的基于图片转换的病灶判断方法,其特征在于,所述根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,包括:
根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型,其中,所述第一格式信息用于表征所述第一采集设备所采集到的图片的格式;
根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型,其中,所述第二格式信息用于表征所述第二采集设备所采集到的图片的格式。
3.根据权利要求1所述的基于图片转换的病灶判断方法,其特征在于,所述根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型,包括:
获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片,其中,所述第一图片集为通过所述第一采集设备所采集到的图片所组成的图片集合,所述第二图片集为通过第二采集设备所采集到的图片所组成的图片集合;
将所述第一图片、所述第二图片、所述第一置信值计算模型、所述第二置信值计算模型、所述第一图片转换模型及所述第二图片转换模型输入所述模型训练规则中的损失函数进行计算以得到训练损失值;
根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。
4.根据权利要求1所述的基于图片转换的病灶判断方法,其特征在于,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果,包括:
根据所述第二图片转换模型对所述待判断图片进行转换以得到待分割图片;
根据所述图像判断规则中的图像分割模型对所述待分割图片进行分割处理以得到目标图片;
根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
5.根据权利要求4所述的基于图片转换的病灶判断方法,其特征在于,所述根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备之后,还包括:
若所述待判断图片的采集设备为所述第一采集设备,根据所述图像判断规则中的图像分割模型对所述待判断图片进行分割处理以得到目标图片;
根据所述图像判断规则中的病灶判断规则对所述目标图片中是否包含病灶进行判断以得到病灶判断结果。
6.一种基于图片转换的病灶判断装置,其特征在于,包括:
转换模型构建单元,用于根据预设的转换模板分别构建第一图片转换模型及第二图片转换模型,其中,所述第一图片转换模型用于将第一采集设备所采集的图片转换为与第二采集设备所采集图片风格相匹配的图片,所述第二图片转换模型用于将第二采集设备所采集的图片转换为与第一采集设备所采集图片风格相匹配的图片;
计算模型生成单元,用于根据预设的计算模板生成第一置信值计算模型及第二置信值计算模型,其中,所述第一置信值计算模型用于对输入所述第一置信值计算模型的图片与所述第二采集设备所采集图片之间风格的相似度进行量化,所述第二置信值计算模型用于对输入所述第二置信值计算模型的图片与所述第一采集设备所采集图片之间风格的相似度进行量化;
转换模型训练单元,用于根据预设的模型训练规则及预设的图片库结合所述第一置信值计算模型、所述第二置信值计算模型及所述第一图片转换模型对所述第二图片转换模型进行训练,以得到训练后的第二图片转换模型;
采集设备确定单元,用于若接收到用户所输入的待判断图片,根据所述待判断图片的采集源信息确定所述待判断图片的采集设备是否为第一采集设备;
病灶判断结果获取单元,用于若所述待判断图片的采集设备不为所述第一采集设备,根据预设的图像判断规则及训练后的所述第二图片转换模型对所述待判断图片中是否包含病灶进行判断以得到病灶判断结果。
7.根据权利要求6所述的基于图片转换的病灶判断装置,其特征在于,所述转换模型构建单元,包括:
第一图片转换模型构建单元,用于根据所述转换模板及所述第一采集设备的第一格式信息构建得到第一图片转换模型,其中,所述第一格式信息用于表征所述第一采集设备所采集到的图片的格式;
第二图片转换模型构建单元,用于根据所述转换模板及所述第二采集设备的第二格式信息构建得到第二图片转换模型,其中,所述第二格式信息用于表征所述第二采集设备所采集到的图片的格式。
8.根据权利要求6所述的基于图片转换的病灶判断装置,其特征在于,所述转换模型训练单元,包括:
图片获取单元,用于获取所述图片库中第一图片集的一张第一图片以及所述图片库中第二图片集的一张第二图片,其中,所述第一图片集为通过所述第一采集设备所采集到的图片所组成的图片集合,所述第二图片集为通过第二采集设备所采集到的图片所组成的图片集合;
训练损失值计算单元,用于将所述第一图片、所述第二图片、所述第一置信值计算模型、所述第二置信值计算模型、所述第一图片转换模型及所述第二图片转换模型输入所述模型训练规则中的损失函数进行计算以得到训练损失值;
参数值调整单元,用于根据所述模型训练规则中的参数调整规则结合所述训练损失值对所述第二图片转换模型中的参数值进行调整以完成对所述第二图片转换模型进行一次训练。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于图片转换的病灶判断方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至5任一项所述的基于图片转换的病灶判断方法。
CN201910367767.0A 2019-05-05 2019-05-05 基于图片转换的病灶判断方法、装置、计算机设备 Active CN110232401B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910367767.0A CN110232401B (zh) 2019-05-05 2019-05-05 基于图片转换的病灶判断方法、装置、计算机设备
PCT/CN2019/103337 WO2020224118A1 (zh) 2019-05-05 2019-08-29 基于图片转换的病灶判断方法、装置、计算机设备
JP2021500419A JP7064050B2 (ja) 2019-05-05 2019-08-29 画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910367767.0A CN110232401B (zh) 2019-05-05 2019-05-05 基于图片转换的病灶判断方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
CN110232401A true CN110232401A (zh) 2019-09-13
CN110232401B CN110232401B (zh) 2023-08-04

Family

ID=67860610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367767.0A Active CN110232401B (zh) 2019-05-05 2019-05-05 基于图片转换的病灶判断方法、装置、计算机设备

Country Status (3)

Country Link
JP (1) JP7064050B2 (zh)
CN (1) CN110232401B (zh)
WO (1) WO2020224118A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766277A (zh) * 2021-02-07 2021-05-07 普联技术有限公司 卷积神经网络模型的通道调整方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN109241318A (zh) * 2018-09-21 2019-01-18 平安科技(深圳)有限公司 图片推荐方法、装置、计算机设备及存储介质
WO2019041406A1 (zh) * 2017-08-28 2019-03-07 平安科技(深圳)有限公司 不雅图片识别方法、终端、设备及计算机可读存储介质
CN109685102A (zh) * 2018-11-13 2019-04-26 平安科技(深圳)有限公司 胸部病灶图像分类方法、装置、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258044A (ja) 2000-03-14 2001-09-21 Matsushita Research Institute Tokyo Inc 医療用画像処理装置
JP4169954B2 (ja) 2000-09-18 2008-10-22 富士フイルム株式会社 異常陰影候補の検出方法
US7680312B2 (en) * 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
CN109389135B (zh) * 2017-08-03 2020-11-13 杭州海康威视数字技术股份有限公司 一种图像筛选方法及装置
CN108596180A (zh) * 2018-04-09 2018-09-28 深圳市腾讯网络信息技术有限公司 图像中的参数识别、参数识别模型的训练方法及装置
CN109308679B (zh) 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
CN109189973B (zh) * 2018-08-30 2021-07-30 清华大学 基于策略梯度的大规模图像检索方法及装置
CN109166087A (zh) 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041406A1 (zh) * 2017-08-28 2019-03-07 平安科技(深圳)有限公司 不雅图片识别方法、终端、设备及计算机可读存储介质
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN109241318A (zh) * 2018-09-21 2019-01-18 平安科技(深圳)有限公司 图片推荐方法、装置、计算机设备及存储介质
CN109685102A (zh) * 2018-11-13 2019-04-26 平安科技(深圳)有限公司 胸部病灶图像分类方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766277A (zh) * 2021-02-07 2021-05-07 普联技术有限公司 卷积神经网络模型的通道调整方法、装置和设备

Also Published As

Publication number Publication date
WO2020224118A1 (zh) 2020-11-12
JP2021530780A (ja) 2021-11-11
JP7064050B2 (ja) 2022-05-09
CN110232401B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
CN108986891A (zh) 医疗影像处理方法及装置、电子设备及存储介质
CN115456160A (zh) 一种数据处理方法和数据处理设备
CN109448090A (zh) 图像处理方法、装置、电子设备及存储介质
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN107133946A (zh) 医学图像处理方法、装置及设备
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
WO2018112137A1 (en) System and method for image segmentation using a joint deep learning model
US11941738B2 (en) Systems and methods for personalized patient body modeling
CN109857893A (zh) 图片检索方法、装置、计算机设备及存储介质
CN114387317A (zh) Ct图像和mri三维图像的配准方法、装置
Wang et al. BLSM: A bone-level skinned model of the human mesh
Saeed et al. A granular level feature extraction approach to construct hr image for forensic biometrics using small training dataset
CN112419342A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN110232401A (zh) 基于图片转换的病灶判断方法、装置、计算机设备
CN111369662A (zh) Ct图像中血管的三维模型重建方法及系统
WO2024183454A1 (zh) 虚拟对象动画生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品
EP4432245A1 (en) Virtual dress-up method and apparatus, electronic device, and readable medium
CN110852939A (zh) 一种基于二维对象和相关关系的三维布局预测方法及系统
EP3270308B1 (en) Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product
CN115311430A (zh) 人体重建模型的训练方法、系统及计算机设备
CN115829947A (zh) 模型处理设备及方法
CN114119861A (zh) 人体重构网络的训练、人体重构、试衣方法及相关装置
CN112861699A (zh) 一种基于单张深度图像和多阶段神经网络的任意姿势人体身高估计方法
CN109523547A (zh) 一种影像结节检出的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant