CN111161132A - 用于图像风格转换的系统和方法 - Google Patents
用于图像风格转换的系统和方法 Download PDFInfo
- Publication number
- CN111161132A CN111161132A CN201911366151.8A CN201911366151A CN111161132A CN 111161132 A CN111161132 A CN 111161132A CN 201911366151 A CN201911366151 A CN 201911366151A CN 111161132 A CN111161132 A CN 111161132A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- style
- model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000003384 imaging method Methods 0.000 claims abstract description 299
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 197
- 230000009466 transformation Effects 0.000 claims description 175
- 238000003860 storage Methods 0.000 claims description 107
- 230000008569 process Effects 0.000 claims description 88
- 238000012549 training Methods 0.000 claims description 54
- 230000004044 response Effects 0.000 claims description 5
- 230000002650 habitual effect Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 64
- 230000006870 function Effects 0.000 description 61
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 230000002441 reversible effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000036039 immunity Effects 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000003437 trachea Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000000232 gallbladder Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000003101 oviduct Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000626 ureter Anatomy 0.000 description 2
- 210000003932 urinary bladder Anatomy 0.000 description 2
- 210000004291 uterus Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像处理方法。该方法可以包括:获取第一风格的原始图像,所述原始图像是由第一成像设备生成的;获取目标转换模型;并利用所述目标转换模型转换所述原始图像的第一风格,以生成第二风格的转换图像。所述第二风格可以与第二成像设备生成的其他图像的目标风格基本相似。所述第二风格与所述第一风格不同。
Description
交叉引用
本申请要求于2019年11月15日提交的美国申请号为US 16/685,802的优先权,其全部内容通过引用的方式并入本文。
技术领域
本申请通常涉及图像处理,具体涉及用于图像风格转换的系统和方法。
背景技术
随着成像技术的飞速发展,成像设备的升级变得越来越频繁。与用户习惯的先前已有的设备生成的图像风格相比,新采用的成像设备生成的图像风格可能具有差异,例如,感知差异。由于新采用的成像设备与先前已有的设备之间的图像风格不同,用户可能需要花费更多的时间和精力来理解由新采用的成像设备生成的图像,来接受新采用的成像设备生成的图像风格,从而阻碍了新成像设备的广泛采用。因此,期望提供一种能够自动转换图像感知风格的系统和方法,以帮助用户在适应新的成像设备时有更顺畅的过渡。
发明内容
在本申请的一方面,提供了一种图像处理方法。该方法可以在至少一台机器上执行,至少一台机器中的每台机器都具有至少一个处理器和至少一个存储设备。该方法可以包括:获取第一风格的原始图像,所述原始图像由第一成像设备生成;获取目标转换模型;以及利用所述目标转换模型,转换所述原始图像的所述第一风格,以生成第二风格的转换图像。所述第二风格可以与第二成像设备生成的其他图像的目标风格基本相似。所述第二风格可以不同于所述第一风格。
在一些实施例中,获取所述原始图像可以包括:基于用户的第一指令,获取所述原始图像,所述第一指令包括所述用户通过用户界面指定的所述目标风格的信息。
在一些实施例中,获取目标转换模型可以包括:通过用户界面获取所述第二成像设备的信息;根据所述第二成像设备的信息,从两个或以上的训练后的转换模型中选择与所述目标风格相对应的所述目标转换模型。
在一些实施例中,所述方法进一步可以包括:获取用户的登录信息。
在一些实施例中,获取目标转换模型可以包括:根据所述用户的所述登录信息,从两个或以上训练后的转换模型中识别出对应于所述用户的训练后的转换模型,将其作为所述目标转换模型。
在一些实施例中,获取目标转换模型可以包括:基于用户的第二指令确定所述目标转换模型。所述第二指令可以与所述用户通过用户界面提供或选择的一个或以上训练后的转换模型相关联。
在一些实施例中,所述方法可以进一步包括:确定所述原始图像的扫描协议。
在一些实施例中,获取目标转换模型可以包括:根据所述原始图像的所述扫描协议,从两个或以上训练后的转换模型中识别出对应于所述扫描协议的扫描区域的所述目标转换模型。
在一些实施例中,获取目标转换模型可以包括:识别所述原始图像的扫描区域;根据所述扫描区域,从两个或以上训练后的转换模型中识别出对应于所述扫描区域的所述目标转换模型。
在一些实施例中,可以根据第一处理过程生成目标转换模型,所述第一处理过程可以包括:获取与生成所述原始图像的所述第一成像设备相关的第一信息;获取与至少一个第二成像设备相关的第二信息,其中,所述至少一个第二成像设备生成用户习惯的图像;基于所述第一信息的至少一部分或所述第二信息的至少一部分,确定预训练的转换模型;获取一个或以上参考图像;并基于所述第一信息的至少一部分或所述第二信息的至少一部分,利用所述一个或以上参考图像训练所述预训练的转换模型,以生成所述目标转换模型。
在一些实施例中,可以根据第二处理过程生成预训练的转换模型。所述第二处理过程可以包括:获取所述第一成像设备生成的第一组图像;获取由所述至少一个第二成像设备中的一个或以上生成的第二组图像;获取初始转换模型;以及利用所述第一组图像和所述第二组图像训练所述初始转换模型,以生成所述预训练的转换模型。
在一些实施例中,所述第一信息可以包括以下至少之一:所述第一成像设备的型号标识号;由所述用户提供的与图像风格有关的一个或以上设置,所述图像风格与所述第一成像设备相关联。
在一些实施例中,所述一个或以上设置可以包括从所述第一风格到所述目标风格或到所述第二风格的图像风格转换的程度或范围。
在一些实施例中,所述第二信息可以包括以下至少之一:所述至少一个第二成像设备中的每一个的型号标识号;所述用户已使用所述至少一个第二成像设备中的每一个的时间长度;所述至少一个第二成像设备基于所述用户的偏好的排名。
在一些实施例中,可以根据第三处理过程生成目标转换模型。所述第三处理过程可以包括:获取一个或以上参考图像;获取由生成所述原始图像的所述第一成像设备生成的第一组图像;获取由至少一个第二成像设备生成的第二组图像,其中,所述至少一个第二成像设备生成用户习惯的图像;获取初始转换模型;利用所述第一组图像、所述第二组图像,和所述一个或以上参考图像,训练所述初始转换模型,以生成所述目标转换模型。
在一些实施例中,所述第三处理过程还可以包括:获取所述第一成像设备的第一信息;获取所述至少一个第二成像设备的第二信息;基于所述第一信息或所述第二信息,训练所述初始转换模型。
在一些实施例中,获取目标转换模型可以包括:获取所述第一风格的样本图像;利用所述目标转换模型转换所述样本图像的所述第一风格,以生成所述第二风格的转换后的样本图像;通过用户界面向用户提供所述转换后的样本图像;通过所述用户界面接收来自所述用户的反馈;基于所述反馈,确定所述转换后的样本图像是否由所述用户验证;响应于确定出所述转换后的样本图像已由所述用户验证,则最终确定所述目标转换模型;响应于确定出所述转换后的样本图像被所述用户拒绝,则更新、重新训练或替换所述目标转换模型。
在一些实施例中,所述目标转换模型可以是生成对抗网络(GAN)模型或循环GAN模型。
在本申请的另一方面,提供了一种图像处理系统。所述系统可以包括:至少一个存储设备存储一组指令;至少一个处理器,与所述至少一个存储设备通信。当执行所述一组指令时,所述至少一个处理器被配置为使所述系统执行以下操作:获取第一风格的原始图像,所述原始图像是由第一成像设备生成的;获取目标转换模型;利用所述目标转换模型,转换所述原始图像的所述第一风格,以生成第二风格的转换图像,所述第二风格与由第二成像设备生成的其他图像的目标风格基本相似,所述第二风格与所述第一风格不同。
在本申请的另一方面,提供了一种存储指令的非暂时性计算机可读介质。所述指令由至少一个所述处理器执行时,可以使所述至少一个处理器实现一种方法,所述方法包括:获取第一风格的原始图像,所述原始图像是由第一成像设备生成的;获取目标转换模型;利用所述目标转换模型,转换所述原始图像的所述第一风格,以生成第二风格的转换图像,所述第二风格与由第二成像设备生成的其他图像的目标风格基本相似,所述第二风格与所述第一风格不同。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解,本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例,在这些实施例中,各图中相同的编号表示相似的结构,其中:
图1是根据本申请的一些实施例所示的示例性成像系统的示意图;
图2是根据本申请的一些实施例所示的计算设备的示例性硬件和软件组件的示意图;
图3是根据本申请的一些实施例所示的配置为运行特定系统的示例性移动设备的示例性硬件和/或软件组件的示意图;
图4A和图4B是根据本申请的一些实施例所示的示例性处理设备的框图;
图5是根据本申请的一些实施例所示的执行图像风格转换的示例性操作的流程图;
图6是根据本申请的一些实施例所示的训练预训练的转换模型从而确定目标转换模型的示例性操作的流程图;
图7是根据本申请的一些实施例所示的生成预训练的转换模型的示例性操作的流程图;
图8是根据本申请的一些实施例所示的训练初始转换模型从而确定目标转换模型的示例性操作的流程图;
图9是根据本申请的一些实施例所示的示例性生成对抗网络(GAN)模型的框图;
图10A至图10C是根据本申请的一些实施例所示的循环一致对抗网络(cycle-GAN)模型的机制的示意图;
图11A和图11B是根据本申请的一些实施例所示的示例性循环一致对抗网络(cycle-GAN)模型的框图;以及
图12是根据本申请的一些实施例所示的基于用户反馈确定目标转换模型的示例性操作的流程图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。然而,本领域技术人员应该明白,可以在没有这些细节的情况下实施本申请。在其他情况下,为了避免不必要地模糊本申请的一些方面,本申请已经以较高层次概略地描述了众所周知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来讲,显然可以对所披露的实施例作出各种改变,并且在不偏离本申请的原则和范围的情况下,本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此,本申请不被限制于所示的实施例,而是与本申请专利适应的最广泛的范围一致。
本申请中所使用的术语仅用于描述特定的示例性实施例,并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“所述”可以同样包括复数形式,除非上下文明确提示例外情形。还应当理解,如在本申请说明书中,术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件,但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。还应当理解的是,术语“目标”和“对象”可以互换地用作指代本申请的放射系统中被治疗的对象/或成像操作。
能够被理解的是,这里使用的术语“系统”、“引擎”、“单元”、“模块”和/或“区块”只是区分不同级别的不同组件、元件、零件、部分或部件的方法。但是,如果这些术语达到相同的目的,则可能会被其他表达式替换。
通常,本文所用的词“模块”、“单元”或“区块”是指体现在硬件或固件中的逻辑,或指代软件指令的集合。本文描述的组件、单元或模块可以被实现为软件和/或硬件,并且可以被存储在任何类型的非暂时性计算机可读介质或另一存储设备中。在一些实施例中,可以编译软件模块/单元/区块并将其链接到可执行程序中。可以明确的是,响应于检测到的事件或中断,软件模块可以被其他模块/单元/区块或它们自身调用和/或激活。可以在计算机可读介质上提供被配置为在计算设备(例如,如图2所示的处理器210)上执行的软件模块/单元/区块,例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质,或被下载(并且可以最初以压缩或可安装的格式存储,需要在执行之前进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中,并应用在计算设备的操作之中。软件指令可以嵌入在诸如EPROM的固件中。还将进一步意识到是,硬件模块/单元/区块可以被包括在连接的逻辑组件中,例如门和触发器,和/或可以包括在可编程单元中,例如可编程门阵列或处理器。本文描述的模块/单元/区块或计算设备功能可以被实现为模块/单元/区块,但是可以以硬件或固件来表示。通常,本文描述的模块/单元/区块是指尽管其物理组织或存储也可以与其他模块/单元/区块或划分子模块/子单元/子区块组合的逻辑模块/单元/区块。该描述可以适用于系统、引擎或其一部分。
应当理解的是,当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接至”或“耦合至”另一单元、引擎、模块或块时,它可以直接在其他单元、引擎、模块或块上,与之连接或与之通信,或者可以存在中间单元、引擎、模块或块,除非上下文另有明确说明。在本申请中,术语“和/或”可包括任何一个或以上相关所列条目或其组合。
在考虑了作为本申请一部分的附图的描述内容后,本申请的特征和特点以及操作方法、结构的相关元素的功能、各部分的组合、制造的经济性变得显而易见。然而,应当理解,附图仅仅是为了说明和描述的目的,并不旨在限制本申请的范围。应当理解的是,附图并不是按比例绘制的。
本申请中使用了流程图用来说明根据本申请的一些实施例的系统所执行的操作。应当理解的是,流程图中的操作可以不按顺序执行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
市场上能够买到的成像设备可以生成用户习惯的某种风格的图像。如果新的成像设备供应商推出了新的成像设备,有一个或以上的原因(例如,在重建、增强和/或其他后期处理技术中的算法不同)使新的成像设备生成的图像与用户习惯的先前存在的成像设备生成的图像相比可能会有一个或以上的差异。因为用户可能不自在或在感觉上不适应于阅览由新成像设备生成的图像,所以这可能阻碍新成像设备的广泛使用。为了使用户更顺畅地过渡到适应新的成像设备,本申请提供一种能够自动转换由新成像设备生成的图像的感知风格的系统和方法,使转换后的图像看起来类似于用户习惯的成像设备生成的图像。在一些实施例中,成像设备制造商可以为用户提供在图像重建、增强和/或后处理操作中调整某些参数的选项,以便可以相应地更改新成像设备生成的图像的感知风格。但是,调整参数以匹配用户习惯的特定模型的成像设备生成的特定图像风格可能比较复杂且费时,尤其是在缺少由用户习惯的成像设备的模型生成的参考图像(例如,图6)时。
本申请涉及图像风格转换的系统和方法,可以获取原始图像,确定目标转换模型,生成转换后图像和/或向用户提供转换后图像。在本申请中,基于目标转换模型,可以获取与用户习惯的成像设备生成的图像具有相同或相似风格的转换后图像。该系统和方法可以作为任何新成像设备的附加组件提供,成像设备制造商和/或用户可以方便地采用本申请所述的系统和方法,而无需对新成像设备的设计或配置进行重大更改。
图1是根据本申请的一些实施例所示的示例性成像系统的示意图。如图1所示,成像系统100可以包括扫描仪110、网络120、一个或以上终端130、处理设备140和存储设备150。成像系统100中的组件可以以一种或多种各种方式连接。仅作为示例,扫描仪110可以通过网络120连接到处理设备140。又例如,扫描仪110可以直接连接到处理设备140,如连接扫描仪110和处理设备140的虚线双向箭头所示。作为又一个示例,存储设备150可以直接或通过网络120连接到处理设备140。作为又一个示例,终端130可以直接连接到处理设备140(如连接终端130和处理设备140的虚线双向箭头所示),也可以通过网络120连接到处理设备140。
扫描仪110可以扫描物体和/或生成与该物体有关的扫描数据。在一些实施例中,扫描仪110可以是单模态医学成像设备(例如,磁共振成像(MRI)设备、正电子发射断层扫描(PET)设备、单光子发射计算机断层成像(SPECT)设备、计算机断层扫描(CT)设备等)或多模态医学成像设备(例如,PET-MRI设备、SPECT-MRI设备或PET-CT设备)。在一些实施例中,扫描仪110可以包括在扫描操作中对扫描对象成像的机架,放置扫描对象的扫描区域,和/或在成像过程中支撑扫描对象的扫描床。扫描床可以在成像过程中支撑扫描对象。例如,扫描床可以支撑和/或传送对象到机架的扫描区域。在一些实施例中,扫描仪110可以通过网络120将图像传输给处理设备140,存储设备150和/或终端130。例如,图像可以被发送到处理设备140以进行进一步处理,或者可以被存储在存储设备150中。
在一些实施例中,扫描对象可以是生物的或非生物的。仅作为示例,扫描对象可以包括患者、器官、组织、标本、人造对象、模体等。在一些实施例中,待扫描的对象(也称为成像对象)可以包括身体、物质等,或其任何组合。在一些实施例中,扫描对象可以包括身体的特定部分,例如头部、胸部、腹部等,或其任意组合。在一些实施例中,扫描对象可以包括特定器官,例如乳房、食道、气管、支气管、胃、胆囊、小肠、结肠、膀胱、输尿管、子宫、输卵管等。在本申请中,“扫描对象”和“扫描客体”可互换使用。
网络120可以包括能够方便成像系统100的信息和/或数据交换的任何合适的网络。在一些实施例中,一个或以上成像系统100的组件(例如,扫描仪110、终端130、处理设备140、存储设备150等)可以通过网络120与成像系统100的一个或以上其他组件交流信息和/或数据。例如,处理设备140可以经由网络120从扫描仪110获取图像数据。又例如,处理设备140可以经由网络120从终端130获取用户指令。网络120可以是和/或包括公共网络(例如,Internet)、私有网络(例如,局部区域网络(LAN)、广域网(WAN))等)、有线网络(例如,以太网)、无线网络(例如802.11网络、Wi-Fi网络等)、蜂窝网络(例如长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络(WLAN)、城域网(MAN)、公用交换电话网络(PSTN)、蓝牙网络、ZigBee TM网络、近场通信(NFC)网络等,或其任意组合。在一些实施例中,网络120可以包括一个或以上网络接入点。例如,网络120可以包括有线和/或无线网络接入点,例如基站和/或互联网交换点,通过它们可以将成像系统100的一个或以上组件连接到网络120以交换数据和/或信息。
终端130可以包括移动设备131、平板计算机132、笔记本电脑133等,或其任意组合。在一些实施例中,移动设备131可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等,或其任意组合。在一些实施例中,可穿戴设备可以包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能配饰等或其任意组合。在一些实施例中,移动设备可以包括手机、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等,或其任何组合。在一些实施例中,虚拟现实设备和/或增强现实设备包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等,或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括Google GlassTM、Oculus RiftTM、HololensTM、Gear VRTM等。在一些实施例中,终端130可以是处理设备140的一部分。
处理设备140可以处理从扫描仪110、终端130和/或存储设备150获取的数据和/或信息。在一些实施例中,处理设备140可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。在一些实施例中,处理设备140可以是本地的或远程的。例如,处理设备140可以经由网络120访问存储在扫描仪110、终端130和/或存储设备150中的信息和/或数据。又例如,处理设备140可以转换图像的风格。在一些实施例中,处理设备140可以在云平台上实现。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中,处理设备140可以由具有如图2所示的一个或以上组件的计算设备200来实现。在一些实施例中,处理设备140或处理设备140的一部分可以集成到扫描仪110中。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从终端130和/或处理设备140获取的数据。在一些实施例中,存储设备150可以存储处理设备140可以执行或用于执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中,存储设备150可以包括大容量存储设备、可移动存储、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可以包括磁盘、光盘、固态磁盘等。示例性可移动存储设备可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性的易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDR SDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性ROM可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中,所述存储设备150可在云端平台上执行。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,存储设备150可以连接到网络120以与成像系统100中的一个或以上其他组件(例如,处理设备140、终端130等)通信。成像系统100的一个或以上组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中,存储设备150可以直接连接到成像系统100的一个或以上其他组件(例如,处理设备140、终端130等)或与之通信。在一些实施例中,存储设备150可以是处理设备140的一部分。
图2是根据本申请的一些实施例所示的计算设备的示例性硬件和软件组件的示意图。计算设备200可以是通用计算机或专用计算机;两者都可以用于实现本申请的成像系统100。在一些实施例中,处理设备140可以通过其硬件、软件程序、固件或其组合在计算设备200上实现。方便起见,尽管只画出了一台计算机,为了实现负载分担,本文所述的计算机功能可以在多个相似的平台上以分布式方式来实现。如图2所示,计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210可以根据本文描述的技术执行计算机指令(例如,程序代码)并执行处理器的功能。所述计算机指令可以包括例如执行特定功能的程序、项目、对象、组件、数据结构、操作、模块和功能。例如,处理器210可以获取由成像设备(例如,扫描仪110)生成的原始图像。在一些实施例中,处理器210可以确定目标转换模型。在一些实施例中,处理器210可以利用目标转换模型转换原始图像的第一风格以生成转换图像。在一些实施例中,处理器210可以向用户提供转换后图像。
在一些实施例中,处理器210可以包括一个或以上硬件处理器,诸如微控制器、微处理器、精简指令集计算机(RISC)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高阶RISC机器(ARM)、可编程逻辑器件(PLD)、能够执行一个或以上功能的任何电路或处理器等,或其任何组合。
仅仅为了说明,在计算设备200中仅描述了一个处理器。然而,应该注意的是,本申请中的计算设备200还可以包括多个处理器,因此本申请中所描述的操作和/或方法步骤可以由一个处理器也可以由多个处理器联合地或单独地执行。例如,如果在本申请中计算设备200的处理器同时执行操作A和操作B,则应该理解,操作A和操作B也可以由计算设备200中的两个或以上不同的处理器共同地或单独地执行(例如,第一处理器执行操作A并且第二处理器执行操作B,或者第一处理器和第二处理器共同执行操作A和B)。
存储器220可以存储从扫描仪110、终端130、存储设备150和/或成像系统100的任何其他组件获取的数据/信息。在一些实施例中,存储装置220可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。例如,大容量存储器可以包括磁盘、光盘、固态硬盘等。可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘和磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用盘ROM等。在一些实施例中,存储器220可以存储一个或以上程序和/或指令以执行在本申请中描述的示例性方法。例如,存储器220可以存储用于执行图像风格转换的程序。
I/O 230可以输入和/或输出信号、数据、信息等。在一些实施例中,I/O 230可以实现用户与处理设备140的交互。在一些实施例中,I/O 230可以包括输入设备和输出设备。示例性的输入设备可以包括键盘、鼠标、触控屏幕、麦克风等,或其任何组合。示例性的输出设备可以包括显示设备、扬声器、打印机、投影机等,或其任何组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、弯曲屏幕、电视设备、阴极射线管(CRT)、触摸屏幕等,或其任何组合。
通信端口240可以连接到网络(例如,网络120)以促进数据通信。通信端口240可以在处理设备140与扫描仪110、终端130和/或存储设备150之间建立连接。连接可以是有线连接、无线连接、可以启用数据转换为和/或接收的任何其他通信连接,和/或这些连接的任何组合。有线连接可以包括例如电缆、光缆、电话线等或其任意组合。无线连接可以包括例如蓝牙链路、Wi-Fi链路、WiMax链路、WLAN链路、ZigBee链路、移动网络链路(例如3G、4G、5G等)等或其组合。在一些实施例中,通信端口240可以是和/或包括标准化通信端口,诸如RS232、RS485等。在一些实施例中,通信端口240可以是专门设计的通信端口。例如,通信端口240可以根据医学数字成像和通信(DICOM)协议来设计。
图3是根据本申请的一些实施例所示的配置为运行特定系统的示例性移动设备的示例性硬件和/或软件组件的示意图。如图3所示,移动设备300可以包括通信单元310、显示器320、图形处理单元(GPU)330、CPU 340、I/O 350、存储器390和内存360。在一些实施例中,任何其他合适的组件,包括但不限于系统总线或控制器(未示出),也可包括在移动设备300内。在一些实施例中,移动操作系统370(例如,IOSTM、AndroidTM、Windows PhoneTM等)和一个或以上应用程序380可从存储器390下载至内存360以及由CPU 340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序,用于从处理设备140接收和渲染与图像处理有关的信息或其他信息。可以通过I/O 350实现与信息流的用户交互,并通过网络120将其提供给处理设备140和/或成像系统100的其他组件。在一些实施例中,用户可以通过移动设备300向成像系统100输入参数。
为了实现上述各种模块,单元及其功能,计算机硬件平台可以作为图1中描述的一个或以上组件(例如,处理设备140和/或成像系统100的其他组件)的硬件平台。由于这些硬件组件,操作系统和程序语言是通用的;可以假定,本领域的技术人员可能熟悉这些技术,并且他们能够根据本申请中描述的技术提供成像所需的信息。具有用户界面的计算机可以用作个人计算机(PC)或其他风格的工作站或终端设备。经过正确编程后,带有用户界面的计算机可以用作服务器。可以认为本领域普通技术人员也可以熟悉这种风格的计算设备的这种结构、程序或一般操作。
图4A和图4B是根据本申请的一些实施例的示例性处理设备的框图。在图4A中,处理设备140a可以包括获取模块402、确定模块404、生成模块406和传输模块408。在图4B中,处理设备140b可以包括获取模块412,确定模块414和训练模块416。
在一些实施例中,获取模块402可以被配置为获取一个或以上原始图像,与第一成像设备相关的第一信息,与至少一个第二型号的第二成像设备相关的第二信息,一个或以上参考图像,第一成像设备生成的第一组图像,一个或以上第二成像设备生成的第二组图像,初始转换模型,一个或以上样本图像,或一个目标转换模型等,或其组合。
在一些实施例中,确定模块404可以被配置为确定目标转换模型和/或预训练的转换模型。确定模块404可以根据用户反馈确定一个或多个转换后的样本图像是否得到用户的验证。
在一些实施例中,生成模块406可以被配置为生成转换图像,一个或以上转换后的样本图像,或一个目标转换模型等,或其组合。
在一些实施例中,传输模块408可以被配置为向用户提供一个或以上转换图像用于展示。在一些实施例中,传输模块408可以向用户提供一个或以上样本图像。在一些实施例中,传输模块408可以接收用户的一个或以上反馈。
在一些实施例中,获取模块412可以被配置为获取一个或以上原始图像,与第一成像设备相关的第一信息,与至少一个第二型号的第二成像设备相关的第二信息,一个或以上参考图像,第一成像设备生成的第一组图像,一个或以上第二成像设备生成的第二组图像,初始转换模型,一个或以上样本图像,或目标转换模型等,或其组合。
在一些实施例中,确定模块414可以被配置为确定目标转换模型和/或预训练的转换模型。在一些实施例中,确定模块414可以根据用户反馈确定一个或以上转换后的样本图像是否得到用户的验证。
在一些实施例中,训练模块416可以被配置为训练预训练的转换模型或初始转换模型以生成目标转换模型。在一些实施例中,训练模块416可以通过训练初始转换模型生成预训练的转换模型。
需要注意的是,关于处理设备140a和处理设备140b的描述仅出于说明的目的而提供,而无意于限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不会背离本申请的范围。例如,图4A和4B中模块的任何一个可以被划分两个或以上的单元。在一些实施例中,处理设备140a和处理设备140b可以共享上述一个或以上模块。例如,处理设备140a和140b可以是同一系统的一部分,并共享相同的获取模块;即获取模块402和获取模块412是同一模块。在一些实施例中,处理设备140a和处理设备140b可以属于不同机构的不同设备。例如,处理设备140b可以离线训练一个或以上转换模型。又例如,处理设备140a可以使用一个或以上训练后的转换模型来在线转换一个或以上图像。
图5是根据本申请的一些实施例所示的执行图像风格转换的示例性操作的流程图。在一些实施例中,操作500可以由成像系统100执行。例如,操作500可以是存储在一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)中的一组指令(例如,应用程序)并由处理设备140a(例如,在计算设备200的处理器210和移动设备300的CPU 340上实现)调用和/或执行。操作500的操作仅出于说明的目的。在一些实施例中,所述操作可以通过一个或以上未描述的附加操作和/或没有论述的一个或以上操作来完成。另外,图5所示的操作的顺序并非旨在限制本申请。
在操作502中可以获取原始图像。在一些实施例中,处理设备140a(例如,获取模块402)可以执行操作502。所述原始图像可以是需要转换风格的图像。在一些实施例中,所述原始图像可以是所述第一风格的。在一些实施例中,所述原始图像可以是医学图像。在一些实施例中,所述医学图像可以包括与治疗对象相对应的数据或信息。例如,所述医学图像可以包括与患者的特定部位(例如头部、胸部、腹部等)或患者的特定器官(例如食道、气管、支气管、胃、胆囊、小肠、结肠、膀胱、输尿管、子宫、输卵管等)相对应的数据或信息。
如本文所使用的,为了简洁起见,可以将扫描图像中的对象(例如,患者或其一部分)简称为对象。例如,为了简洁起见,可以将扫描图像中的器官或组织(例如,患者的心脏、肝脏、肺等)简称为器官或组织。如本文所使用的,为了简洁起见,可以将对扫描图像中的对象所做的操作简称为对对象的操作。例如,为了简洁起见,可以将对图像中包括了器官或组织的部分的分割称为对“器官或组织(例如,患者的心脏、肝脏、肺等)的分割”。
在一些实施例中,所述原始图像可以由第一型号的第一成像设备生成。在一些实施例中,所述第一成像设备可以包括X射线探测器、计算机断层摄影(CT)设备、磁共振图像(MRI)设备、正电子发射断层扫描(PET)设备等。示例性的所述第一成像设备可以包括扫描仪110(见图1)。可以基于型号标识号来识别所述第一成像设备的所述第一型号。所述成像设备的型号标识号可以指相同类型或型号的成像设备的标识号。所述型号标识号可以对应于或可以关联到与所述第一成像设备具有相同或相似的型号(或类型)的至少两个成像设备。在一些实施例中,所述型号标识号可以由所述第一成像设备的制造商设置。在一些实施例中,例如,所述第一成像设备的制造商可以在所述第一成像设备上标记所述型号标识号。在一些实施例中,可以基于第一预定规则来设置所述型号标识号。例如,所述第一预定规则可以指定所述型号标识号包括表示所述第一成像设备信息的一个或以上字母、一个或以上符号,和/或一个或以上数字,例如其制造商、功能、性能参数、制造时间、生产批次信息等,或其任意组合。
在一些实施例中,所述原始图像在生成后,可以存储在所述成像系统100的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源中。因此,所述处理设备140a可以从所述存储设备或外部数据源获取所述原始图像。在一些实施例中,当执行操作500时可以自动获取所述原始图像。例如,所述原始图像可以被存储在所述存储设备上的默认文件夹中,并且所述处理设备140a可以从默认文件夹中自动检索所述原始图像。所述默认文件夹可以由所述成像系统100确定,或者可以由所述用户或操作员经由例如终端130来预设。在一些实施例中,可以基于所述用户(例如,医生、放射线医师、成像设备的操作员、成像设备的专家等)的第一指令获取所述原始图像。所述第一指令可以包括所述用户通过用户界面指定的第一风格的信息。所述第一指令可以与所述用户通过用户界面提供或选择的一个或以上图像相关联。所述用户界面可以是实现与本申请的一个或以上操作相关联的指令的接收和/或执行的交互式界面。在一些实施例中,所述用户可以通过所述用户界面提供或选择一个或以上图像。例如,所述用户界面可以显示一个按钮,如果所述用户在触摸屏或通过鼠标点击该按钮,所述用户界面可以显示一个或以上文件存储路径给所述用户,所述用户可以选择所述原始图像的文件存储路径(或进一步从在文件存储路径中存储的至少两个图像中选择所述原始图像),所述处理设备140a可以从选择的文件存储路径中获取所述原始图像。又例如,所述用户可以可操作地连接存储原始图像的存储设备与所述计算设备200,从而提供原始图像,然后所述用户界面可以向所述用户呈现存储在存储设备中的内容,和/或所述用户可以通过所述用户界面选择或确定所述原始图像。
在操作504中,可以获取目标转换模型。在一些实施例中,所述处理设备140a(例如,确定模块404)可以执行操作504。所述目标转换模型可以被配置为转换图像(例如,在操作502中获取的原始图像)的风格。图像的风格可以与图像的一个或以上形式(或感知)特征有关,例如纹理、颜色、形状、空间关系、亮度、对比度、清晰度等。相同风格的图像可以具有相同或相似的形式特征。在一些实施例中,具有相同型号标识号的不同成像设备生成的图像可以具有相同的风格。在一些实施例中,具有不同型号标识号的不同成像设备生成的图像可以具有不同的风格。图像风格转换可以指将图像的风格转换为另一种风格(例如,理想的目标风格)。在本申请中,“风格转移”和“风格转换”可互换使用。在一些实施例中,目标风格可以指用户偏好的风格和/或用户习惯的风格。在一些实施例中,所述目标风格可能与第二成像设备相关。所述第二成像设备和所述第一成像设备可以具有相同或相似的功能(例如,CT成像、MRI成像、PET成像等)。所述第二成像设备和所述第一成像设备可以具有不同型号标识号。在一些实施例中,所述第二成像设备和所述第一成像设备可以来自相同或不同的制造商。
在一些实施例中,所述第二成像设备生成的图像和所述第一成像设备生成的图像可以具有不同的风格。例如,如果所述第二成像设备和所述第一成像设备具有相同的模态(例如CT成像),但是不同的型号和/或制造商,则第二成像设备生成的图像和第一成像设备生成的图像可以具有不同的风格。又例如,如果所述第二成像设备和所述第一成像设备来自同一制造商,但具有不同的产品型号和/或模态(例如,第二成像设备用于CT成像,而第一成像设备用于MRI成像),那么第二成像设备生成的图像和第一成像设备生成的图像可以具有不同的风格。在一些实施例中,所述目标转换模型可以使用原始图像的风格作为输入(也称为输入图像),处理该图像,并输出具有目标风格的转换图像(也称为输出图像)。所述输入图像的原始风格和所述输出图像的目标风格可以不同。例如,输入图像的原始风格可以与第一成像设备生成的图像的风格相同或相似,而输出图像的目标风格可以与第二成像设备生成的图像的风格相同或相似。
在一些实施例中,目标转换模型可以是人工智能模型。在一些实施例中,目标转换模型可以是无监督学习模型。在一些实施例中,目标转换模型可以是监督学习模型。在一些实施例中,目标转换模型可以是强化学习模型。示例性的用于图像风格转换的目标转换模型可以包括预期学习模型,未配对图像-图像转换模型或用于图像风格转换的任何其他模型。示例性的预期学习模型可以包括生成对抗网络(GAN)、条件生成对抗网络(cGAN)、循环一致对抗网络(cycle-GAN)、耦合生成对抗网络(coGAN)等,或其任意组合。示例性的未配对图像-图像转换模型可以包括贝叶斯框架、交叉模式场景网络、与变分自编码器(VAE)结合的GAN等,或其任意组合。用于图像风格转换的其他模型可以包括非参数纹理模型,“pix2pix”框架,卷积神经网络(CNN)等,或其任意组合。在一些实施例中,一个用户(例如,每个)可以具有一个或以上自定义的目标转换模型。在一些实施例中,一个扫描区域(例如,每个)可以具有一个或以上对应的目标转换模型。在一些实施例中,一个目标风格(例如,每个目标风格)可以具有一个或以上对应的目标转换模型。在一些实施例中,从第一风格到目标风格的图像风格转换的特定范围或程度可以对应于一个或以上目标转换模型。例如,对于相同的扫描区域(例如,头部),第一用户可以对应于第一自定义目标转换模型,而第二用户可以对应于第二自定义目标转换模型。又例如,第一用户可以对应于用于第一扫描区域(例如,食道)的第三自定义目标转换模型,以及用于第二扫描区域(例如,胃部)的第四自定义目标转换模型。再例如,对于相同的扫描区域和相同的用户,可以使用第五目标转换模型将图像风格转换为第一目标风格(例如,与第三成像设备关联),而使用第六目标转换模型将图像风格转换为第二目标风格(例如,与第四成像设备关联)。
在一些实施例中,目标转换模型可以是已经离线训练过的转换模型。在一些实施例中,可以将已训练的一个或以上转换模型存储在成像系统100的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源中。在一些实施例中,可以获取第二成像设备的信息(例如,通过用户界面)。在一些实施例中,可以从两个或以上训练后的转换模型(例如,基于第二成像设备的信息)中选择与目标风格相对应的目标转换模型。在一些实施例中,可以基于与原始图像有关的信息和/或与用户有关的信息自动识别目标转换模型。
与原始图像有关的示例性信息可以包括原始图像中扫描对象的扫描区域、原始图像的模态(例如,CT、MRI、PET等)、生成原始图像的第一成像设备的型号标识号等。在一些实施例中,与原始图像有关的信息的至少一部分(例如,原始图像的扫描区域)可以包括在原始图像的扫描协议中,因此,处理设备140a可以自动分析扫描协议并获取相应的信息。在一些实施例中,处理设备140a可以根据原始图像的扫描协议,从两个或多个训练后的转换模型中识别与扫描协议的扫描区域相对应的目标转换模型。在一些实施例中,处理设备140a可以利用一个或以上图像识别技术(例如,分割算法、模板匹配算法等)自动检测或识别与原始图像(例如原始图像的扫描区域)有关的信息的至少一部分。例如,处理设备140a可以分割原始图像并识别扫描区域。在一些实施例中,处理设备140a可以根据扫描区域从两个或以上训练后的转换模型中识别与扫描区域相对应的目标转换模型。
与用户有关的示例性信息可以包括用户的用户标识(或用户帐户)、用户的登录状态、用户指定或偏好的目标风格(或第二成像设备的信息)等。第二成像设备的信息可以包括第二成像设备的型号标识号、第二成像设备的制造商、第二成像设备的模态等,或其任意组合。在一些实施例中,与用户(例如,用户标识(或用户帐户))有关的信息的至少一部分可以记录在与成像系统相关联的一个或以上存储设备中,并且处理设备140a可以从存储设备获取信息。在一些实施例中,与用户有关的信息的至少一部分(例如,第二成像设备的型号标识号)可以由用户通过用户界面输入,并且处理设备140a可以通过用户界面获取信息。在一些实施例中,因为不同的用户、不同的扫描区域和/或不同的目标风格可能对应于不同的目标转换模型,处理设备140a可以通过对用户、原始图像的扫描区域和/或目标风格相关的信息与一个或以上训练后的转换模型进行匹配来直接确定目标转换模型。例如,处理设备140a可以根据用户的登录信息,从两个或以上训练后的转换模型中确定与用户相对应的训练后的转换模型作为目标转换模型。可以基于用户对目标转换模型的事先选择,用户对目标转换模型的事先使用等来确定与用户相对应的目标转换模型。
在一些实施例中,可以基于用户的第二指令来确定目标转换模型。所述第二指令可以与用户通过用户界面提供或选择的一个或以上训练后的转换模型相关联。在一些实施例中,用户可以通过用户界面提供或选择目标转换模型。例如,用户界面可以显示一个按钮,如果用户通过在触摸屏或鼠标点击该按钮,则用户界面可以为用户显示一个或以上的文件存储路径,用户可以选择存储了目标转换模型的文件的存储路径(或进一步从存储在文件存储路径中的至少两个训练过的转换模型中选择目标转换模型),处理设备140a可以从选择的文件存储路径中获取目标转换模型。又例如,用户可以可操作地连接存储目标转换模型的存储设备与计算设备200,从而提供目标转换模型,然后用户界面可以向用户呈现存储在存储设备中的内容,和/或用户可以通过用户界面选择或确定目标转换模型。
在一些实施例中,可以通过训练转换模型来确定目标转换模型。在一些实施例中,处理设备140a可以训练转换模型以获取目标转换模型。在一些实施例中,处理设备140b或成像系统100外部的处理设备可以训练转换模型以获取目标转换模型,处理设备140a可以通过网络120从处理设备140b或成像系统100之外的外部处理设备获取目标转换模型。
在一些实施例中,转换模型的训练和/或更新可以离线进行。在一些实施例中,可以获取一个预训练的转换模型,然后可以利用一个或以上参考图像训练预训练的转换模型来确定目标转换模型。在一些实施例中,预训练的转换模型可以由第一成像设备的制造商生成和/或存储在一个或以上存储设备(例如,与第一成像设备关联的存储设备)中。关于参考图像和目标转换模型的确定的更多描述可以在本申请的其他地方(例如,图6及其描述)找到。关于预训练的转换模型的更多描述可以在本申请的其他地方(例如,图6和7及其描述)找到。可替代地,在一些实施例中,可以通过训练初始转换模型来确定目标转换模型。所述初始转换模型可以指需要训练的具有初始参数的转换模型。关于初始转换模型和确定目标转换模型的更多描述可以在本申请的其他地方(例如,图8及其描述)找到。
在操作506中,可以利用目标转换模型转换原始图像的第一风格(也被称为原始风格)生成转换图像。在一些施例中,处理设备140a(例如,生成模块406)可以执行操作506。原始图像的第一风格可以指原始图像被转换之前的风格。所述转换图像可以是第二风格的。所述第二风格可以与目标风格基本相同或相似。所述目标风格可以与第二成像设备生成的一个或以上其他图像相关联。所述第二成像设备可以是用户已经使用和/或习惯的设备。所述第二成像设备可以具有型号标识号。所述型号标识号可以对应于或关联于多个与第二成像设备具有相同或相似型号(或类型)的成像设备。类似于第一成像设备的型号标识号,第二成像设备的型号标识号可以由第二成像设备的制造商基于第二预定规则来设置。在一些实施例中,所述第二预定规则可以与所述第一预定规则相同或相似。在一些实施例中,所述第二预定规则可以不同于所述第一预定规则。在一些实施例中,所述第一成像设备和所述第二成像设备可以由不同的制造商生产。在一些实施例中,所述第一成像设备和所述第二成像设备可以由同一制造商的不同批次生产。在一些实施例中,所述第一成像设备和所述第二成像设备可以具有相同的模态(例如,CT、MRI、PET等)。在一些实施例中,所述第一成像设备和所述第二成像设备可以具有不同的模态。
在一些实施例中,可以基于目标转换模型和用户的第三指令生成转换图像,或者可以基于用户的第三指令来修改或调整基于目标转换模型生成的转换图像。所述第三指令可以与所述转换图像的生成的个性化定制相关,例如,从第一风格到目标风格的图像风格转换的范围或程度。在一些实施例中,用户可以与用户界面交互,处理设备140a可以通过用户界面获取用户的第三指令。例如,用户界面可以显示供用户操作的滑动条。滑动条可以表示转换图像的第二风格和目标风格之间的相似性。滑动条的一端可以表示转换图像的第二风格与目标风格相同或近似,而滑动条的另一端可以表示转换图像的第二风格仍然保持第一风格(即原始图像未被转换)。在一些实施例中,用户可以指定(例如,通过拖动滑动条进行调整)从第一风格到目标风格的图像风格转换的范围或程度。应该注意的是,在一些实施例中,有关转换图像的生成的个性化定制信息可以作为在操作504中确定目标转换模型的基础,并且在操作506中生成的转换图像可以直接具有自定义效果。例如,在操作504中,用户可以拖动滑动条以调整从第一风格向目标风格的图像风格转换的范围或程度,根据图像风格转换的范围或程度可以确定实现定制效果的可用的目标转换模型。转换图像的风格(或称为第二风格)可以与目标风格相同或相似。又例如,在操作504中,用户可以指定(例如,通过拖动滑动条进行调整)从第一风格到目标风格的图像风格转换的范围或程度,并且图像风格转换的范围或程度可以作为训练目标转换模型的输入。
在操作508中,可以将转换图像提供给用户用于展示。在一些实施例中,处理设备140a(例如,传输模块408)可以执行操作508。在一些实施例中,可以通过用户界面将转换图像提供给用户进行展示。例如,转换图像可以被提供给用户(例如,经由网络120)并显示在终端130上。在一些实施例中,用户可以评估转换图像。如果转换图像不满足用户的需求,则用户可以使用另一目标转换模型再次处理原始图像,即,可以重复操作504-508。可选地,用户可以向处理设备140a提供反馈,处理设备140a可以基于该反馈使用另一目标转换模型自动处理原始图像。在一些实施例中,转换图像可以存储在成像系统100的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源中,以供用户进一步使用。
关于上述操作500的描述仅出于说明的目的,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不会背离本申请的范围。例如,操作502和504可以被集成为单一的操作。又例如,操作504可以在操作502之前或与之同时执行。再例如,可以省略操作508。在一些实施例中,可以将这些方法作为任何新的成像设备的附加组件提供,为成像设备制造商和/或用户提供灵活性,以方便地采用本申请所述的方法,而无需对新的成像设备的设计或配置进行重大更改。
图6是根据本申请的一些实施例所示的训练预训练的转换模型从而确定目标转换模型的示例性操作的流程图。在一些实施例中,处理过程600可以由成像系统100执行。例如,处理过程600可以是存储在一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)中的一组指令(例如,应用程序),并由处理设备140b(例如,在计算设备200的处理器210和移动设备300的CPU 340上实现)调用和/或执行。下面描述的处理过程600的操作仅出于说明的目的。在一些实施例中,处理过程可以通过未描述的一个或以上附加操作,和/或没有讨论的一个或以上操作来完成。另外,如图6所示和以下描述的处理过程600的操作的顺序并不能限制本申请。在一些实施例中,可以根据处理过程600来执行图5所示的操作504。在一些实施例中,可以根据处理过程600来生成504中确定的目标转换模型。在一些实施例中,处理过程600中的一个或以上操作(例如,操作608和/或610)可以由处理设备140a执行。在一些实施例中,处理过程600中的一个或以上操作(例如,操作602-606)可以由处理设备140b或成像系统100的外部处理设备执行。例如,处理过程600中的一个或以上操作可以由第一成像设备的制造商的处理设备(在成像系统100之外)执行。在下面的描述中,由处理设备140b执行处理过程600的一个或以上操作,仅出于说明的目的而提供,而无意于限制本申请的范围。
在602中,可以获取与第一成像设备(例如,生成原始图像的第一成像设备)相关的第一信息。在一些实施例中,处理设备140a(例如,获取模块402)或处理设备140b(例如,获取模块412)可以执行操作602。所述第一信息可以包括与所述第一成像设备有关的信息,与使用或需要使用所述第一成像设备和/或阅览由第一成像设备生成的图像的用户(例如,医生、放射科医生、成像设备的操作员、成像设备的专家等)有关的信息,和/或由该用户提供的关于第一成像设备的图像风格的一个或以上设置。与第一成像设备有关的信息可以包括所述第一成像设备的型号标识号、模态、制造商、生产日期、批次信息、序列号、功能、操作参数等,或其任意组合。与用户有关的信息可以包括用户的基本信息(例如,标识信息、用户名、年龄、性别、工作经验、用户的专长、用户通常检测的扫描区域),用户是否使用过第一成像设备,用户是否使用过与第一成像设备相同型号的成像设备,用户是否使用过与第一成像设备相同制造商的不同型号的成像设备,用户使用过的成像设备的信息等。在一些实施例中,一个或以上设置可以包括从与第一成像设备相关联的第一风格转换到与第二成像设备相关联的目标风格或转换到第二风格的程度或范围,一个或以上扫描对象的一个或以上扫描区域等,或其任意组合。
在一些实施例中,第一信息的至少一部分可以由用户通过用户界面提供。在一些实施例中,处理设备140a或140b可以通过用户界面提供第一设置向导、第一调查问卷等。所述第一设置向导可以用于指导用户提供第一信息的至少一部分。所述第一设置向导可以包括关于所述第一信息的一个或以上问题和/或一个或以上选项,并且用户可以通过I/O设备(例如,I/O 230)输入或选择相应的信息。在一些实施例中,第一设置向导可以在至少两个显示页面(例如,在安装或调试(校准)第一成像设备时,或在第一成像设备中安装图像处理应用程序时)中为用户提供问题和/或选项。显示页面可以包括至少一个问题和/或至少一个选项。在一些实施例中,所述第一调查问卷可以包括关于至少部分第一信息的一个或以上问题和/或一个或以上选项,以供用户选择,或提示/方便用户输入所需信息。第一调查问卷可以记录在文档中。用户可以通过I/O设备填写第一调查问卷。
在一些实施例中,用户界面可以显示供用户操作的滑动条。所述滑动条可以指示从第一风格到目标风格的图像风格转换的范围或程度。可以操作滑动条(例如,在不同位置之间滑动滑动条,每个位置对应于图像风格转换的某个范围或程度)指定所需要的图像风格转换的范围或程度。所述滑动条的一端可以表示从第一风格到目标风格的图像风格转换的最大程度,所述滑动条的另一端可以表示从第一风格到目标风格的图像风格转换的最小程度。在一些实施例中,从第一风格到目标风格的图像风格转换的范围或程度可以用百分比表示。从第一风格到目标风格的图像风格转换的最大程度可以是100%或0%到100%之间的值。如果从第一风格到目标风格的图像风格转换的最大程度是100%,从第一风格进行的最大程度的图像风格转换得到的转换图像(或转换后的图像风格)可以具有目标风格。从第一风格到目标风格的图像风格转换的最小程度可以是0%,或介于0%和100%之间的值。如果从第一风格到目标风格的图像风格转换的最小程度是0%,从第一风格进行的最小程度的图像风格转换得到的转换图像(或转换后的图像风格)可能仍为第一风格。
在一些实施例中,当安装或调试(校准)第一成像设备时,当图像处理应用程序被安装在第一成像设备中时,当新用户被注册时,当原始图像需要被转换时,或者在需要新的目标转换模型时,或者在至少部分第一信息需要被更新的一个或以上其他情况下,可以获取第一成像设备的第一信息。
在604中,可以获取与第二型号的至少一个第二成像设备相关联的第二信息。在一些实施例中,处理设备140a(例如,获取模块402)或处理设备140b(例如,获取模块412)可以执行操作604。在一些实施例中,所述至少一个第二成像设备可以生成用户习惯的图像。所述至少一个第二成像设备可以与一个或以上目标风格相关联(即,至少一个第二成像设备生成的图像可以具有一个或以上目标风格)。所述第二信息可以包括与至少一个第二成像设备有关的信息,和/或与使用所述至少一个第二成像设备的用户有关的信息。所述与至少一个第二成像设备有关的信息可以包括至少一个所述第二成像设备的型号标识号、模态、制造商、制造日期、批次信息、序列号、功能等,或其任意组合。在一些实施例中,与使用所述至少一个第二成像设备的用户有关的信息可以包括用户一直在使用的每一个第二成像设备的时间长度,基于用户的偏好的至少一个第二成像设备的排名,至少一个第二成像设备的一个或以上操作参数,至少一个第二成像设备的一个或以上偏好设置等。在一些实施例中,第一成像设备和至少一个第二成像设备可以由不同的制造商生产。在一些实施例中,第一成像设备和至少一个第二成像设备可以由同一制造商的不同批次生产。关于第一成像设备和第二成像设备的更多描述可以在本申请的其他地方找到(例如,图5及其描述)。
在一些实施例中,所述第二信息的至少一部分可以由用户通过用户界面提供。在一些实施例中,处理设备140a或140b可以通过用户界面提供第二设置向导、第二调查问卷等。所述第二设置向导可用于指导用户提供第二信息的至少一部分。所述第二设置向导可以包括关于第二信息的一个或以上问题和/或一个或以上选项,并且用户可以通过I/O设备(例如,I/O 230)输入或选择相应的信息。在一些实施例中,所述第二设置向导可以在至少两个显示页面中为用户提供问题和/或选项(例如,在安装或调试(校准)第一成像设备时,或在第一成像设备中安装图像处理应用程序时)。所述显示页面可以包括至少一个问题和/或至少一个选项。在一些实施例中,所述第二调查问卷可以包括关于第二信息的至少一部分的一个或以上问题和/或一个或以上选项,以供用户选择,或提示/方便用户输入所需信息。所述第二调查问卷可以被记录在文档中。所述用户可以通过I/O设备填写所述第二调查问卷。
在一些实施例中,当安装或调试(校准)第一成像设备时,当第一成像设备中安装图像处理应用程序时,当注册新用户时,当原始图像需要被转换时,或者当需要新的目标转换模型时,或者在至少部分第二信息需要被更新的一个或以上其他情况下,可以获取第二成像设备的第二信息。需要说明的是,在一些实施例中,可以将操作602和604集成为一个操作,在一个信息获取操作中,可以通过用户界面同时获取第一信息和第二信息。例如,可以通过单个设置向导或调查问卷来获取第一信息和第二信息。即,第一设置向导和第二设置向导可以是同一个设置向导的不同部分,或者第一调查问卷和第二调查问卷可以是同一个调查问卷的不同部分。
在606中,可以基于第一信息的至少一部分和/或第二信息的至少一部分来确定预训练的转换模型。在一些实施例中,处理设备140a(例如,确定模块404)或处理设备140b(例如,确定模块414)可以执行操作606。所述预训练的转换模型可以指利用第一成像设备(或具有与第一成像设备相同的型号标识号的一个或以上成像设备)和第二成像设备(或具有与第二成像设备相同的型号标识号的一个或以上成像设备)生成的至少两个训练图像训练的非定制的转换模型。如本文所使用的,“非定制”指转换模型不是基于用户指定的信息(例如,用户提供的图像)训练得到的。在一些实施例中,所述预训练的转换模型可以具有一个或以上在一个或以上训练过程中至少部分被优化的参数。在一些实施例中,用于图像风格转换的示例性的预训练的转换模型可以包括预期学习模型,未配对图像-图像转换模型或任何其他用于图像风格转换的模型。关于转换模型的更多描述可以在本申请的其他地方找到(例如,图5及其描述)。在一些实施例中,过程504确定的目标转换模型与过程606确定的预训练的转换模型可以具有相同或相似的模型结构。
在一些实施例中,一个或以上预训练的转换模型可以存储在与成像系统100相关的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或成像系统100可通过例如网络120访问的外部数据源中。在一些实施例中,一个用户(例如,每个)可以对应一个或以上预训练的转换模型。在一些实施例中,一个扫描区域(例如,每个)可以对应于一个或以上相应的预训练的转换模型。在一些实施例中,一个目标风格(例如,每个目标风格)可能对应一个或以上相应的预训练的转换模型。在一些实施例中,从第一风格到目标风格的图像风格转换的特定范围或程度可以对应于一个或以上预训练的转换模型。在一些实施例中,预训练的转换模型可以是通用的转换模型,适用于至少两个用户,至少两个扫描区域和/或至少两种图像风格。在一些实施例中,一个或以上预训练的转换模型可以存储在成像系统100的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源中。在一些实施例中,可以在一个或以上候选的预训练的转换模型中确定一个预训练的转换模型。在一些实施例中,可以基于第一信息的至少一部分和/或第二信息的至少一部分来自动确定预训练的转换模型。在一些实施例中,可以基于用户的第四指令来确定预训练的转换模型。所述第四指令可以与用户通过用户界面提供或选择一个或以上预训练的转换模型相关联。在一些实施例中,可以基于第一成像设备的图像和第二成像设备的图像来训练初始转换模型,进而生成预训练的转换模型。关于预训练的转换模型的更多描述可以在本申请的其他地方(例如,图7及其描述)找到。
在608中,可以获取一个或以上参考图像。在一些实施例中,处理设备140a(例如,获取模块402)或处理设备140b(例如,获取模块412)可以执行操作608。所述参考图像可以是具有用户偏好风格的图像(关于特定扫描区域),也可以是用户习惯的目标风格的图像(关于特定扫描区域)。所述特定扫描区域可以是用户感兴趣的扫描区域。例如,如果用户是呼吸科的医生,则特定扫描区域可以是患者的胸部或其一部分。在一些实施例中,所述参考图像可以由至少一个第二成像设备生成。在一些实施例中,所述参考图像可以从与成像系统100相关联的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源获取。在一些实施例中,当执行处理过程600时可以自动获取参考图像。例如,参考图像可以被存储在存储设备上的默认文件夹中,并且处理设备140a或140b可以从所述默认文件夹中自动获取所述参考图像。又例如,成像系统100可以记住用户已经阅览或习惯了哪些图像,并自动获取这些图像作为参考图像。在一些实施例中,所述参考图像可以由用户通过用户界面提供或选择。例如,用户界面可以显示一个按钮,如果用户通过在触摸屏或鼠标点击按钮来单击该按钮,则用户界面可以向用户显示一个或以上文件存储路径,进而用户可以选择存储参考图像的文件存储路径(或进一步在文件存储路径中存储的至少两个图像中选择参考图像),处理设备140a或140b可以从选择的文件存储路径中获取参考图像。又例如,用户可以可操作地连接存储参考图像的存储设备与计算设备200,从而提供参考图像,然后用户界面可以向用户呈现存储在存储设备中的内容,和/或用户可以通过用户界面选择或确定参考图像。
在610中,可以基于第一信息的至少一部分和/或第二信息的至少一部分,利用一个或以上参考图像训练预训练的转换模型,以生成目标转换模型。在一些实施例中,处理设备140a(例如,生成模块406)或处理设备140b(例如,训练模块416)可以执行操作610。在一些实施例中,在目标转换模型的训练过程中,一个或以上参考图像,第一信息的至少一部分(例如,第一成像设备的型号标识号、用户的标识信息等),和/或第二信息的至少一部分(例如,第二成像设备的型号标识号)可以输入到预训练的转换模型中,进而生成一个或以上处理后的图像(例如,基于(随机)原始图像生成的处理图像、基于第一成像设备的图像生成的处理图像)作为所述预训练的转换模型的输出。在一些实施例中,可以由处理设备140a或140b基于预训练的转换模型的输出和参考图像来确定一个或多个损失函数值。所述损失函数可以与处理后图像的风格与参考图像的风格之间的相似程度有关。可以将所述损失函数值与一个或以上阈值进行比较。当所述损失函数值小于阈值时,训练可以终止,并且可以确定目标转换模型。在一些实施例中,目标转换模型可以离线确定,并存储在一个或以上存储设备(例如存储设备150、存储器220和/或存储器390)和/或外部数据源中,以备将来使用。在一些实施例中,可以在线确定目标转换模型并将其用于在线风格转换操作中。如果损失函数值大于阈值,训练过程可以继续进行,可以在下一迭代中进一步调整预训练的转换模型的一个或以上参数,直到损失函数值降至阈值以下。阈值可以由成像系统100确定,或者可以由用户或操作员经由终端130预先设置。关于示例性目标转换模型的训练过程的更多描述可以在本申请的其他地方(例如,图9-11及其描述)找到。
关于上述处理过程600的描述仅出于说明的目的而提供,而无意于限制本申请的适应范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不会背离本申请的范围。例如,操作602和604可以集成为一个操作。又例如,操作608可以在操作602-606中的一个或以上操作之前或同时执行。在一些实施例中,目标转换模型可以定期(例如一周、一个月、一个季度、一年等)更新。在一些实施例中,可以将这些方法作为任何新的成像设备的附加组件提供,为成像设备制造商和/或用户提供灵活性,以方便地采用本申请所述的方法,而无需对新的成像设备的设计或配置进行重大更改。
图7是根据本申请的一些实施例所示的生成预训练的转换模型的示例性操作的流程图。在一些实施例中,处理过程700可以由成像系统100执行。例如,处理过程700可以是存储在一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)中的一组指令(例如,应用程序),并由处理设备140b(例如,在计算设备200的处理器210和移动设备300的CPU 340上实现)调用和/或执行。下面描述的处理过程700的操作仅出于说明的目的。在一些实施例中,操作可以通过一个或以上未描述的附加操作完成,和/或通过一个或以上没有被讨论的操作来完成。另外,如图7所示和以下描述的处理过程700的操作的顺序并不能限制本申请的范围。在一些实施例中,图6所示的操作606可以根据处理过程700来执行。在一些实施例中,操作606中确定的预训练的转换模型可以根据处理过程700来生成。在一些实施例中,处理过程700中的一个或以上操作可以由处理设备140a执行。在一些实施例中,一个或以上处理过程700中的操作可以由处理设备140b或成像系统100之外的外部处理设备执行。例如,处理过程700中的一个或以上操作可以由成像系统100之外的第一成像设备的制造商的处理设备来执行。在下面的描述中,由处理设备140b执行处理过程700的一个或以上操作,仅出于说明的目的而提供,而无意于限制本申请的范围。
应当注意,在一些实施例中,可以根据图6中的处理过程600和/或图7中的处理过程700来执行操作504。例如,可以离线训练预训练的转换模型,可以基于预训练的转换模型在线训练目标转换模型。可替代地,可以根据图8中的处理过程800来执行操作504。例如,可以基于初始转换模型在线训练目标转换模型。
在702中,可以获取由第一成像设备生成的第一组图像。在一些实施例中,处理设备140b(例如,获取模块412)可以执行操作702。在一些实施例中,第一组图像可以包括医学图像。在一些实施例中,医学图像可以包括与一个或以上扫描区域有关的信息,例如乳房、食道、气管、支气管、胃等。在一些实施例中,第一组图像可以包括一个或以上物体的图像,例如一个或以上的孩子,一个或以上的青少年,一个或以上的中年人,一个或以上的老人。在一些实施例中,可以经由例如网络120从成像系统100的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源获取第一组图像。示例性的外部数据源可以包括OsiriX数据库、Cancer Imaging Archive数据库、Beamandrew医学数据库、国际生物医学成像研讨会(ISBI)的数据库等,或其组合。在一些实施例中,第一组图像可以由处理设备140b自动获取,或者由用户(例如,第一成像设备制造商的工程师、医生、放射线医师、第一成像设备的操作员、第一成像设备的专家等)提供或选择。
在704中,可以获取由一个或以上至少一个第二成像设备生成的第二组图像。在一些实施例中,处理设备140b(例如,获取模块412)可以执行操作704。在一些实施例中,第二组图像可以包括医学图像。在一些实施例中,第二组图像可以包括一个或以上物体的图像,例如一个或以上的孩子、一个或以上的青少年、一个或以上的中年人、一个或以上的老人。在一些实施例中,第二组图像可以通过例如网络120从成像系统100的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源获取。示例性的外部数据源与过程702描述的相似。在一些实施例中,第二组图像可以由处理设备140b自动获取,或者由用户(例如,第一成像设备制造商的工程师、第二成像设备制造商的工程师、医生、放射科医生、第一或第二成像设备的操作员、第一或第二成像设备的专家等)提供或选择。第一组图像中表示的扫描区域和第二组图像中表示的扫描区域可以相同,部分重叠(至少一个扫描区域在第一组图像中显示也在第二组图像中显示),或完全不同(第一组图像中显示的扫描区域与第二组图像中显示的扫描区域不重叠)。第一组图像中显示的对象(例如,患者)和第二组图像中显示的对象可以相同,部分重叠(至少一个对象在第一组图像中显示也在第二组图像中显示),或完全不同(第一组图像中显示的对象没有在第二组图像中显示)。
在706,可以获取初始转换模型。在一些实施例中,处理设备140b(例如,获取模块412)可以执行操作706。初始转换模型可以是未经训练的转换模型。在一些实施例中,处理设备140b可以执行至少两个迭代来迭代更新初始转换模型的一个或以上参数值。在至少两个迭代之前,处理设备140b可以初始化初始转换模型的参数值。初始转换模型的示例性参数可以包括图层内核的大小、层的总数(或层数)、每层中的节点的数目(或层数)、学习率、批处理大小、时期、两个连接的节点之间的连接权值、与节点有关的偏差向量等。在一些实施例中,一个或以上参数可以被随机设置。在一些实施例中,可以将一个或以上参数设置为一个或以上特定值,例如0、1等。例如,可以通过在一个范围内分配初始转换模型的节点的连接权重和/或节点的偏差向量的随机值,例如范围-1到1,来初始化所述初始转换模型。又例如,可以在范围-1到1内给所述初始转换模型的所有连接的权重分配相同的值,例如0。作为一个示例,可以通过分配0到1范围内的随机值给初始转换模型中节点的偏差向量来初始化所述初始转换模型。在一些实施例中,可以基于高斯随机算法、Xavier算法等对初始转换模型的参数值进行初始化。
在一些实施例中,示例性初始转换模型可以包括预期学习模型,未配对图像-图像转换模型或任何其他用于图像风格转换的模型。关于初始转换模型的更多描述可以在本申请的其他地方(例如,图5及其描述)找到。在一些实施例中,初始转换模型可以存储在与成像系统100关联的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源中。在一些实施例中,初始转换模型可以从存储设备中自动获取。在一些实施例中,可以基于用户的第五指令来确定初始转换模型。所述第五指令可以与用户通过用户界面提供或选择的初始转换模型相关联。
在708,可以利用第一组图像和第二组图像训练初始转换模型,以生成预训练的转换模型。在一些实施例中,处理设备140b(例如,训练模块416)可以执行操作708。在一些实施例中,在训练过程中,第一组图像和第二组图像可以被输入到初始转换模型中,并且初始转换模型的输出可以包括一个或以上处理后的图像(例如,基于第一组图像生成处理后的图像)。在一些实施例中,处理设备140b可以基于初始转换模型的输出和第二组图像来确定一个或多个损失函数值。损失函数可以与处理图像的风格和第二组图像的风格之间的相似程度有关。可以将损失函数值与一个或以上阈值进行比较。如果损失函数值小于阈值,则训练可以终止,并且可以确定预训练的转换模型。在一些实施例中,预训练的转换模型可以存储于一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或成像系统100可以经由例如网络120访问的外部数据源中。如果损失函数值大于阈值,训练过程可以继续进行,可以在下一次迭代中进一步调整初始转换模型的一个或以上参数,直到损失函数值降至阈值以下。阈值可以由成像系统100确定,或者可以由用户或操作员经由终端130预先设置。关于损失函数和预训练的转换模型的训练过程的更多描述可以在本申请的其他地方(例如,图9-11及其描述)找到。
在一些实施例中,经过训练后,可以将预训练的转换模型存储在与成像系统100相关联的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源(例如,与第一成像设备的制造商相关联或由其指定的数据库)中。在一些实施例中,预训练的转换模型可以定期(例如一周、一个月、一个季度、一年等)自动更新。在一些实施例中,用户可以触发对预训练的转换模型的更新。例如,用户界面可以呈现按钮,如果用户通过在触摸屏上按下按钮或使用鼠标来单击按钮,则可以指示处理设备140b更新预训练的转换模型。在一些实施例中,可以基于一个或以上训练图像,通过迭代处理来更新预训练的转换模型。在一些实施例中,训练图像可以包括从第一成像设备和/或第二成像设备新生成的图像。在一些实施例中,训练图像可以包括在第一组图像和/或第二组图像中未显示的扫描区域。训练图像可以由用户提供或者从预设的文件存储路径获取。更新完成的预训练的转换模型可以存储在与成像系统100相关联的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或成像系统100可以经由例如网络120访问的外部数据源(例如,与第一成像设备的制造商关联或由其指定的数据库)中。
关于处理过程700的以上描述仅出于说明的目的而提供,而无意于限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不会背离本申请的范围。例如,操作702和704可以被集成为一个操作。又例如,操作706可以在操作702和704中的一个或以上操作之前或同时执行。在一些实施例中,可以将这些方法作为任何新的成像设备的附加组件提供,为成像设备制造商和/或用户提供灵活性,以方便地采用本申请所述的方法,而无需对新的成像设备的设计或配置进行重大更改。
图8是根据本申请的一些实施例所示的训练初始转换模型从而确定目标转换模型的示例性操作的流程图。在一些实施例中,处理过程800可以由成像系统100执行。例如,处理过程800可以是存储在一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)中的一组指令(例如,一个应用程序),并由处理设备140b(例如,在计算设备200的处理器210和移动设备300的CPU 340上实现)调用和/或执行。下面描述的处理过程800的操作仅出于说明的目的。在一些实施例中,操作可以利用未描述的一个或以上附加操作,和/或没有被讨论的一个或以上操作来完成。另外,如图8所示和以下描述的处理过程800的操作顺序并非旨在限制本申请的范围。在一些实施例中,可以根据处理过程800来执行图5所示的操作504。在一些实施例中,可以根据处理过程800来生成504中确定的目标转换模型。在一些实施例中,在处理过程800中的一个或以上操作可以由处理设备140a执行。在一些实施例中,一个或以上的处理可以由处理设备140b或成像系统100外部的外部处理设备执行。在下面的描述中,由处理设备140a执行处理过程800的一个或以上操作,仅出于说明的目的而提供,而无意于限制本申请的范围。在一些实施例中,处理过程800中的一个或以上操作以及处理500中的一个或以上操作可以由相同的处理设备(例如,处理设备140a)执行。
在802中,可以获取一个或以上参考图像。在一些实施例中,处理设备140a(例如,获取模块402)可以执行操作802。在一些实施例中,可以从与成像系统100相关联的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或成像系统100可以经由例如网络120访问的外部数据源获取参考图像。在一些实施例中,参考图像可以由用户(例如医生、放射线医师等)通过用户界面提供或选择。关于参考图像的更多描述和参考图像的获取的内容可以在本申请的其他地方(例如,图6及其描述)找到。
在804中,可以获取由第一成像设备(例如,生成原始图像的第一成像设备)生成的第一组图像。在一些实施例中,处理设备140a(例如,获取模块402)可以执行操作804。关于第一组图像的更多描述和对第一组图像的获取的内容可以在本申请的其他地方(例如,图7及其描述)找到。
在806,可以获取一个或以上第二成像设备生成的第二组图像。在一些实施例中,处理设备140a(例如,获取模块402)可以执行操作806。关于第二组图像的更多描述和第二组图像的获取的内容可以在本申请的其他地方(例如,图7及其描述)找到。
在808,可以获取初始转换模型。在一些实施例中,处理设备140a(例如,获取模块402)可以执行操作808。关于初始转换模型的更多描述和初始转换模型的获取的内容可以在本申请的其他地方(例如,图7及其描述)找到。
在810中,可以利用第一组图像、第二组图像和/或一个或以上参考图像训练初始转换模型,以生成目标转换模型。在一些实施例中,处理设备140a(例如,生成模块406)可以执行操作810。在一些实施例中,可以使用第一组图像和第二组图像来训练初始转换模型,以获取预训练的转换模型(如708所示),然后可以使用参考图像进一步训练预训练的转换模型,以获取目标转换模型(如610所示)。在一些实施例中,可以使用第一组图像和参考图像(和/或第二组图像)训练初始转换模型,以直接获取目标转换模型。例如,在训练过程中,可以将第一组图像和参考图像(和/或第二组图像)输入到初始转换模型中,以生成一个或以上经处理的图像(例如,基于第一组图像生成的经处理的图像)作为初始转换模型的输出。
在一些实施例中,可以由处理设备140a基于初始转换模型和参考图像(和/或第二组图像)的输出来确定一个或以上损失函数值。如果将第一组图像和参考图像(不包括第二组图像)输入到初始转换模型中,损失函数值可以基于输出和参考图像来确定。如果将第一组图像、参考图像和第二组图像输入到初始转换模型中,损失函数值可以基于输出、参考图像和第二组图像来确定。在确定一个或以上损失函数值时,参考图像和第二组图像可以具有不同的权重。例如,参考图像可以具有比第二组图像更高的权重值。损失函数可以与经处理的图像的风格和参考图像(和/或第二组图像)的风格之间的相似程度有关。可以将损失函数值与一个或以上阈值进行比较。如果损失函数值小于阈值,则训练可以终止,并且可以确定目标转换模型。在一些实施例中,目标转换模型可以存储在一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或成像系统100可以通过例如网络120访问的外部数据源中。如果损失函数值大于阈值,训练过程可以继续进行,可以在下一次迭代中进一步调整初始转换模型的一个或以上参数,直到损失函数值降至阈值以下。阈值可以由成像系统100确定,或者可以由用户或操作员经由终端130预设。关于目标转换模型训练的更多描述可以在本申请的其他地方(例如,图6、7和9-12及其描述)找到。
在一些实施例中,处理设备140a可以获取第一成像设备的第一信息和/或至少一个第二成像设备的第二信息。在一些实施例中,处理设备140a可以基于第一组图像、第二组图像、一个或以上参考图像、第一信息和/或第二信息来训练初始转换模型。在一些实施例中,处理设备140a可以将目标转换模型与第一信息的至少一部分和/或第二信息的至少一部分相关联。
关于上述处理过程800的描述仅是出于说明的目的,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不会背离本申请的范围。例如,操作804和806可以集成为一个操作。又例如,操作808可以在操作802-806中的一个或以上操作之前或同时执行。再例如,可以省略操作806。在一些实施例中,所述方法可以作为任何新的成像设备的附加组件提供,为成像设备制造商和/或用户提供灵活性,以方便地采用本申请所述的方法,而无需对新的成像设备的设计或配置进行重大更改。
图9是根据本申请的一些实施例所示的示例性生成对抗网络(GAN)模型的框图。在一些实施例中,图5中的目标转换模型可以是图9中所示的GAN模型。在一些实施例中,GAN模型可以包括生成模型(也称为生成器)和/或判别模型(也称为判别器)。生成器可以被配置为生成转换后的图像。判别器可以被配置为估计图像来自(或属于)样本图像而不是由生成器生成的转换后的图像的概率。在一些实施例中,样本图像可以是由第一成像设备或第二成像设备生成的图像,或者是从存储设备获取的图像,而不是由生成器生成的图像。在一些实施例中,可以将原始图像输入到生成器中,并且生成器可以基于原始图像生成图像。判别器可以区分生成的图像与样本图像,并可确定生成的图像来自样本图像的概率,并输出判定。
在GAN模型的训练过程中,可以执行至少两次迭代以更新生成器的生成参数和判别器的判别参数。在一些实施例中,在训练之前,可以给生成参数和/或判别参数分配初始值(例如,随机值、由成像系统100设置的初始值或由用户或操作员经由终端130预设的初始值、或根据预训练过程获取的初始值)。在至少两次迭代的一次(例如,每次)迭代中,可以将图像A 902(例如,随机噪声图像、由第一成像设备生成的(第一风格的)样本图像)输入到生成器AtoB 904中,并且生成器AtoB 904可以基于图像A 902来生成图像B(称为生成的图像B906)。判别器914可以区分出图像B 912(例如,由第二成像设备生成的(第二风格的)样本图像)和生成的图像B 906,并且可以确定所生成的图像B 906来自样本图像的第一概率,和/或图像B 912来自样本图像的第二概率,并输出判定916。与判定916有关的概率可以是在[0,1]之内的值。在一些实施例中,处理设备140可以基于生成的图像B 906和图像B 912来确定判别器914的第一损失函数的值。在一些实施例中,第一损失函数可以根据下面所示的等式(1)确定:
其中,J(D)可以表示判别器914的第一损失函数,θ(D)可表示判别器914的判别参数,θ(G)可以表示生成器AtoB 904的生成参数,b可以表示样本图像(例如,由第二成像设备生成的图像(例如,图像B 912)),D(b)可以表示图像B 912来自样本图像的概率,b~pdata可以是图像B 912的分布,a可以表示图像A 902,G(a)可以表示生成的图像B 906(由生成器AtoB 904生成),D(G(a))可以表示生成的图像B 906来自样本图像的概率,Eb~pdata可以表示样本图像的平均期望值(默认情况下,样本图像的期望值近似为“1”),Ea可以表示由生成器AtoB 904生成的生成图像的平均期望值(默认情况下,生成图像的期望值近似为“0”)。
在一些实施例中,处理设备140可以确定第一损失函数的值是否小于第一阈值。第一阈值可以是用于确定判别器914是否符合要求的值,即,是否可以对生成的图像B 906与图像B 912(例如,由第二成像设备生成的样本图像)进行区分。在一些实施例中,第一阈值可以根据成像系统100的默认设置来设置(例如,0.5),或者可以在不同情况下进行调整(例如,第一阈值可以根据预定规则来设置)。如果确定出第一损失函数的值小于第一阈值,处理设备140可以确定和/或存储判别模型。如果确定出第一损失函数的值大于第一阈值,则处理设备140可以执行下一次迭代以更新判别器914的判别参数。例如,处理设备140可以进一步更新判别模型的判别参数,直到第一损失函数的值降至第一阈值以下。应当注意,如果确定出第一损失函数的值等于第一阈值,处理设备140可以确定判别模型或执行下一次迭代以更新判别器914的判别参数。
在一些实施例中,处理设备140可以进一步确定生成器AtoB 904的第二损失函数的值。在一些实施例中,第二损失函数可以根据下面所示的等式(2)确定:
其中,J(G)可以表示生成模型的第二损失函数。
在一些实施例中,处理设备140可以确定第二损失函数的值是否小于第二阈值。第二阈值可以是用于确定生成模型是否符合要求的值,即,所生成的图像B 906是否看起来与图像B 912足够相似从而使得判别器914不能区分出生成的图像B 906和图像B 912。在一些实施例中,第二阈值可以根据成像系统100的默认设置来设置(例如,0.5),或者可以在不同情况下进行调整。在一些实施例中,第二阈值可以与第一阈值相同。在一些实施例中,第二阈值可以与第一阈值不同。如果确定出第二损失函数的值小于第二阈值,处理设备140可以确定和/或存储生成模型。如果确定出第二损失函数的值大于第二阈值,处理设备140可执行下一次迭代以进一步更新生成器AtoB 904的生成参数。例如,处理设备140可以更新生成器AtoB 904的生成参数,直到第二损失函数的值低于第二阈值。应当注意,如果确定出第二损失函数的值等于第二阈值,处理设备140可以确定生成模型或执行下一次迭代以更新生成器AtoB 904的生成参数。
在一些实施例中,如果第一损失函数的值小于第一阈值并且第二损失函数的值小于第二阈值,处理设备140可以终止训练过程并最终确定GAN模型。所获取的GAN模型可以被存储。在一些实施例中,如果第一损失函数的值超过第一阈值,和/或第二损失函数的值超过第二阈值,处理设备140可以执行下一次迭代,以进一步更新判别模型的判别参数和/或生成模型的生成参数。在一些实施例中,可以根据图9中所描述的训练过程来执行操作610、708和/或810。例如,第一组图像中的每个都可以用作图像A 902,第二组图像中的每个(或每个参考图像)都可以用作图像B 912。
图10A至图10C是根据本申请的一些实施例所示的循环一致对抗网络(cycle-GAN)模型的机制的示意图。
cycle-GAN模型可以学习两个域A和B之间的映射函数。域A可以指图像的初始或原始域,而域B可以指目标域。例如,由第一成像设备生成的(第一风格的)图像可以在域A中,而由第二成像设备生成的(第二风格的)图像可以在域B中。在一些实施例中,cycle-GAN模型可以包括两个GAN模型。如图10A-10C所示,cycle-GAN模型可以包括两个映射函数,即,第一映射函数G:A→B和第二映射函数F:B→A。映射函数也可以被称为生成器。生成器G可以被配置为将域A中的图像转换为域B中的图像。生成器F可以被配置为从域B中的图像转换为域A中的图像。如图10A-10C所示,cycle-GAN模型可以进一步包括两个判别器,即DA和DB。判别器DA可以被配置为在图像a和转换后的图像F(b)(即,)之间进行区分。判别器DB可以被配置为在图像b和转换后的图像G(a)(即,)之间进行区分。
在学习(或训练)过程中,学习(或训练)的目标可以为两项。第一项可以涉及用于使转换后的图像的分布与目标域中的样本图像的分布匹配的对抗损失。第二项可以涉及用于防止映射函数G和F彼此冲突的周期一致性损失。对于第一映射函数G:A→B和判别器DB,第一对抗损失可以表示为:
LGAN(G,DB,A,B)=Eb~pdata(b)[log DB(b)]+Ea~pdata(a)[log(1-DB(G(a)))], (3)
其中,Eb~pdata(b)可以表示图像b的平均期望值(默认情况下,图像b的期望值近似为“1”),Ea~pdata(a)可以表示转换后的图像G(a)(即,)的平均期望值(默认情况下,转换后的图像G(a)的期望值近似为“0”),生成器G可以被配置为生成与域B中的图像相似的图像G(a),而判别器DB可以被配置为区分转换后的图像G(a)和域B中的样本图像b。
对于第二映射函数F:B→A和判别器DA,第二对抗损失可以表示为:
LGAN(F,DA,B,A)=E′a~pdata(a)[log DA(a)]+E′b~pdata(b)[log(1-DA(F(b)))], (4)
其中,E′a~pdata(a)可以表示图像a的平均期望值(默认情况下,图像a的期望值近似为“1”),E′b~pdata(b)可以表示转换后的图像F(b)(即,)的平均期望值(默认情况下,转换后的图像F(b)的期望值近似为“0”),生成器F可以被配置为生成与域A中的图像相似的图像F(b),而判别器DA可以被配置为区分转换后的图像F(b)和域A中的样本图像a。
在一些实施例中,在学习(或训练)过程中,映射函数G和F可以是循环一致的。如图10B所示,对于来自域A的图像a,图像转换循环可能需要能够将a返回到原始图像,即,a→G(a)→F(G(a))≈a,这可以被称为正向循环一致性。如图10C所示,对于来自域B的图像b,映射函数F和G可能需要满足反向循环一致性,即b→F(b)→G(F(b))≈b。在学习(或训练)过程中,可以考虑正向循环一致性损失和反向循环一致性损失。可以基于图像a和转换后的图像F(G(a))之间的差来确定正向循环一致性损失。可以基于图像b和转换后的图像G(F(b))之间的差来确定反向循环一致性损失。在一些实施例中,可以分别确定正向循环一致性损失和反向循环一致性损失。在一些实施例中,正向循环一致性损失和反向循环一致性损失之间的关系可以用一个等式来描述,例如,
Lcyc(G,F)=Ea~pdata(a)[||F(G(a))-a||1]+Eb~pdata(b)[||G(F(b))-b||1]. (5)
关于cycle-GAN模型的学习(或训练)过程的更多描述可以在本申请的其他地方(例如,图11A-11B及其描述)找到。
图11A和图11B是根据本申请的一些实施例所示的示例性循环一致对抗网络(cycle-GAN)模型的框图。如图10A-10C所示,在一些实施例中,cycle-GAN模型可以包括两个GAN模型。在一些实施例中,如图11A和11B所示,两个GAN模型(例如,第一GAN模型1100a、第二GAN模型1100b)可以是镜像对称的。在一些实施例中,这两个GAN模型可以共享两个生成器(例如,生成器AtoB 1108、生成器BtoA 1116)。在一些实施例中,两个GAN模型可以分别具有对应的判别器(例如,第二GAN模型1100b的判别器A 1104、第一GAN模型1100a的判别器B 1112)。生成器AtoB 1108可以基于域A中的图像生成与域B中的样本图像相似的转换后的图像(在域B中)。判别器A 1104可以被配置为区分在域A中的转换后的图像和域A中的样本图像。生成器BtoA 1116可以基于域B中的图像生成与域A中的样本图像相似的转换后的图像(在域A中)。判别器B 1112可以被配置为区分在区域B中的转换后的图像与域B中的样本图像。样本图像可以是由第一成像设备或第二成像设备生成的图像,或者是从存储设备获取的图像,而不是由生成器AtoB 1108或生成器BtoA 1116生成的图像。
在cycle-GAN模型的训练过程中,可以执行至少两次迭代以更新生成器的生成参数和判别器的判别参数。在一些实施例中,在训练之前,可以为生成参数和/或判别参数分配初始值(例如,随机值、由成像系统100设置的初始值或由用户或操作员经由终端130预设的初始值,或根据预训练过程获取的初始值)。在至少两次迭代中的一次(例如,每次)中,可以将图像A 1102(例如,随机噪声图像、由第一成像设备生成的(第一风格的)样本图像)(在域A中)输入到生成器AtoB 1108中,并且生成器AtoB 1108可以基于图像A 1102得到生成的图像B 1110a(在域B中)。判别器B 1112可以对图像B 1120(例如,由第二成像设备生成的(第二风格的)样本图像)和生成的图像B 1110a进行判别,并且可以确定生成的图像B来自样本图像的第一概率,和/或图像B 1120来自样本图像的第二概率,并输出判定B 1114a。与判定B 1114a有关的概率可以是在[0,1]内的值。在一些实施例中,处理设备140可以基于生成的图像B 1110a和图像B 1120来确定判别器B 1112的第一对抗损失(参见式(3))。在一些实施例中,可以将生成的图像B 1110a输入到生成器BtoA 1116中,并且可以获取(域A中的)生成的图像A 1118a。在一些实施例中,处理设备140可以基于生成的图像A 1118a和图像A1102来确定正向循环一致性损失(参见等式(5))。
类似地,可以将图像B 1120(例如,随机噪声图像,由第二成像设备生成的(第二风格的)样本图像)(在域B中)输入到生成器BtoA 1116中,并且生成器BtoA 1116可以基于图像B 1120得到生成的图像A 1118b(在域A中)。判别器A 1104可以对图像A 1102(例如,由第一成像设备生成的(第一风格的)样本图像)和生成的图像A 1118b进行判别,并且可以确定生成的图像A 1118b来自样本图像的第一概率,和/或图像A 1102来自样本图像的第二概率,并输出判定A 1106b。与判定A 1106b有关的概率可以是在[0,1]内的值。在一些实施例中,处理设备140可以基于生成的图像A 1118b和图像A 1102来确定判别器A 1104的第二对抗损失(参见式(4))。在一些实施例中,可以将生成的图像A 1118b输入到生成器AtoB 1108中,并且可以获取生成的图像B 1110b(在域B中)。在一些实施例中,处理设备140可以基于生成的图像B 1110b和图像B 1120来确定反向循环一致性损失(参见等式(5))。
在一些实施例中,处理设备140可以确定第一对抗损失是否小于第一阈值。第一阈值可以是用于确定判别器B 1112是否符合要求的值,即,是否可以对生成的图像B 1110a与图像B 1120(例如,由第二成像设备生成的样本图像)进行区分。在一些实施例中,第一阈值可以是成像系统100的默认设置(例如,0.5),或者可以在不同情况下进行调整。如果确定出第一对抗损失小于第一阈值,处理设备140可以确定和/或存储判别器B 1112。如果确定出第一对抗损失大于第一阈值,处理设备140可以执行下一次迭代以更新判别器B 1112的判别参数。例如,处理设备140可以进一步更新判别器B 1112的判别参数,直到第一对抗损失降到第一阈值以下。应当注意,如果确定出第一对抗损失等于第一阈值,处理设备140可以确定判别器B 1112,或者执行下一次迭代以更新判别器B 1112的判别参数。
在一些实施例中,处理设备140可以确定第二对抗损失是否小于第二阈值。第二阈值可以是用于确定判别器A 1104是否符合要求的值,即,是否可以对生成的图像A 1118b与图像A 1102(例如,由第一成像设备生成的样本图像)进行区分。在一些实施例中,第二阈值可以是成像系统100的默认设置(例如,0.5),或者可以在不同情况下进行调整。如果确定出第二对抗损失小于第二阈值,处理设备140可以确定和/或存储判别器A 1104。如果确定出第二对抗损失大于第二阈值,处理设备140可以执行下一次迭代以更新判别器A 1104的判别参数。例如,处理设备140可以更新判别器A 1104的判别参数,直到第二对抗损失降到第二阈值以下。应该注意的是,如果确定出第二对抗损失等于第二阈值,处理设备140可以最终确定判别器A 1104或执行下一次迭代以更新判别器A 1104的判别参数。
在一些实施例中,处理设备140可以确定正向循环一致性损失是否小于第三阈值。在一些实施例中,处理设备140可以确定反向循环一致性损失是否小于第四阈值。可替代地,在一些实施例中,处理设备140可以确定循环一致性损失(例如,正向循环一致性损失和反向循环一致性损失之和)是否小于第五阈值。第三阈值可以是用于确定生成器AtoB 1108是否符合要求的值,也就是说,生成的图像B 1110a是否与图像B 1120足够相似,从而使得判别器B 1112无法区分图像B 1120与生成的图像B 1110a。第四阈值可以是用于确定生成器BtoA 1116是否符合要求的值,也就是说,生成的图像A 1118b是否与图像A 1102足够相似,从而使得判别器A 1104无法区分图像A 1102与生成的图像A 1118b。第五阈值可以是用于确定生成器AtoB 1108和生成器BtoA 1116是否都符合要求的值。在一些实施例中,可以根据成像系统100的默认设置来设置(例如,0.5)第三、第四和/或第五阈值,或者可以在不同情况下对其进行调整。如果确定出正向循环一致性损失小于第三阈值,则处理设备140可以确定和/或存储生成器AtoB 1108。如果确定出反向循环一致性损失小于第四阈值,则处理设备140可以确定和/或存储生成器BtoA 1116。可选地,如果确定出正向循环一致性损失和反向循环一致性损失之和小于第五阈值,处理设备140可以确定和/或存储生成器AtoB1108和生成器BtoA 1116。如果确定出正向循环一致性损失大于第三阈值(或者反向循环一致性损失大于第四阈值,或者正向循环一致性损失与反向循环一致性损失之和大于第五阈值),处理设备140可以执行下一次迭代以更新生成器AtoB 1108和生成器BtoA 1116的生成参数。例如,处理设备140可以更新生成器AtoB 1108和生成器BtoA 1116的生成参数,直到正向循环一致性损失低于第三阈值,并且反向循环一致性损失小于第四阈值(或者正向循环一致性损失和反向循环一致性损失之和小于第五阈值)。应该注意的是,如果确定正向循环一致性损失等于第三阈值(或者反向循环一致性损失等于第四阈值,或者正向循环一致性损失与反向循环一致性损失之和等于第五阈值),处理设备140可以确定生成器AtoB1108(和/或生成器BtoA 1116),或者执行下一次迭代以更新生成器AtoB 1108(和/或生成器BtoA 1116)的生成参数。
在一些实施例中,可以同时训练第一GAN模型1100a和第二GAN模型1100b。例如,图像A 1102和图像B 1120可以分别并同时输入到生成器AtoB 1108和生成器BtoA 1116中。在一些实施例中,可以根据图11A和11B所示的训练过程来执行操作610、708和/或810。例如,每个第一组图像都可以用作图像A 1102,并且每个第二组图像(或每个参考图像)都可以用作图像B 1120。
图12是根据本申请的一些实施例所示的基于用户反馈确定目标转换模型的示例性操作的流程图。在一些实施例中,处理过程1200可以由成像系统100执行。例如,处理过程1200可以是存储在一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)中的一组指令(例如,应用程序),并由处理设备140(例如在计算设备200的处理器210和移动设备300的CPU 340上实现)调用和/或执行。下面描述的处理过程1200的操作仅出于说明的目的。在一些实施例中,操作可以利用未描述的一个或以上附加操作,和/或没有讨论的一个或以上操作来完成。另外,如图12所示和以下描述的处理过程1200的操作的顺序并非旨在限制本申请的范围。在一些实施例中,处理过程1200中的一个或以上操作可以由处理设备140a执行。在一些实施例中,处理过程1200中的一个或以上操作可以由处理设备140b或成像系统100外部的外部处理设备执行。在下面的描述中,由处理设备140a执行过程1200的一个或以上操作,仅出于说明的目的而提供,而无意于限制本申请的范围。在一些实施例中,处理过程1200中的一个或以上操作和处理过程500中的一个或以上操作可以由相同的处理设备(例如,处理设备140a)执行。在一些实施例中,过程1200中一个或以上操作可以在处理过程500之前执行。
在1202中,可以获取一个或以上样本图像。在一些实施例中,处理设备140a(例如,获取模块402)可以执行操作1202。样本图像可用于测试目标转换模型是否满足用户的需求。在一些实施例中,样本图像可以由第一型号的第一成像设备生成。在一些实施例中,样本图像可以有相同的风格。在一些实施例中,样本图像可以属于第一风格。在一些实施例中,在502获取的样本图像可以和原始图像具有相同的风格。在一些实施例中,样本图像和原始图像可以对应于相同的扫描区域或不同的扫描区域。在一些实施例中,样本图像可以包括原始图像。可以类似于502所描述的获取原始图像的方式获取样本图像,在此不再重复其相关描述。
在1204中,可以利用目标转换模型转换样本图像的第一风格,以生成一个或以上转换后的样本图像。在一些实施例中,处理设备140a(例如,生成模块406)可以执行操作1204。样本图像的第一风格可以指样本图像被转换之前的风格。转换后的样本图像可以具有第二风格。在1204中使用的目标转换模型可以与504中确定的目标转换模型相同或相似。在一些实施例中,1204中使用的目标转换模型可以与504中确定的目标转换模型具有相同的结构。在一些实施例中,与504中确定的目标转换模型相比,1204中使用的目标转换模型可以具有一个或以上不同的参数。例如,在504中确定的目标转换模型可以比在1204中使用的目标转换模型更加个性化(例如,与1204中使用的目标转换模型相比,504中的目标转换模型可以基于用户指定的更多信息来确定)。在一些实施例中,转换后的样本图像可以具有与目标风格基本相同或相似的风格。关于目标风格的更多描述可以在本申请的其他地方(例如,图5及其描述)找到。在一些实施例中,处理设备140a可以在转换样本图像的第一风格之前确定目标转换模型,如504中所述。样本图像的第一风格的转换可以类似于506所描述的原始图像的第一风格的转换,在此不再重复其相关描述。
在1206中,可以将转换后的样本图像提供给用户。在一些实施例中,处理设备140a(例如,传输模块408)可以执行操作1206。在一些实施例中,可以通过用户界面将转换后的样本图像提供给用户。可以类似于508所描述的方式提供(一个或以上)转换后的样本图像,在此不再重复其相关描述。
在1208中,可以接收用户的一个或以上反馈。在一些实施例中,处理设备140a(例如,传输模块408)可以执行操作1208。在一些实施例中,用户可以对每个转换后的样本图像提供反馈。在一些实施例中,反馈可以由用户通过用户界面提供并由处理设备140a接收。反馈可以包括用户对转换后的样本图像的验证结果。例如,用户界面可以为用户呈现一个或以上选项(例如“非常满意”、“满意”、“可接受”、“不满意”和“非常不满意”)。仅作为示例,用户可以根据他/她对转换后的图像的满意程度,通过用户界面选择一个选项。又例如,用户界面可以向用户提出评分请求。在一些实施例中,用户可以通过在触摸屏上输入或使用键盘输入分数(例如,一个百分制的80分),在触摸屏上拖动或使用鼠标拖动滑动条,选择星号数量来对每个转换后的样本图像进行评分(例如,一颗星可以表示“非常不满意”,而五颗星可以表示“非常满意”)等。在一些实施例中,可以将反馈发送到处理设备140a,并且处理设备140a可以执行一个或以上后续操作。
在1210中,处理设备140a(例如,确定模块404)可以基于反馈,确定转换后的样本图像是否经过用户验证。如果转换后的样本图像经过用户验证,则处理过程1200可以进行到1212。在1212中,处理设备140a(例如,确定模块404)可以最终确定目标转换模型。如果用户拒绝的转换后图像的计数或比例超过阈值,则处理过程1200可以进行到1214。在1214中,处理设备140a(例如,确定模块404)可以进一步更新,重新训练或替换目标转换模型。例如,如果转换后的图像(被用户反馈为“非常不满意”)的数量或比例超过阈值,处理设备140a可以重复操作602-610以更新第一信息的至少一部分、第二信息的至少一部分、预训练的转换模型、至少一部分参考图像,和/或更新目标转换模型。又例如,如果转换后的图像(被用户反馈为“不满意”)的数量或比例超过阈值,处理设备140a可以重复操作602-610中的一个或以上步骤,以替换预训练的转换模型和/或目标转换模型。再例如,如果转换后的图像(被用户反馈为“可接受”)的数量或比例超过阈值,处理设备140a可以重复操作608-610中的一个或以上步骤,以更新参考图像的至少一部分,和/或重新训练目标转换模型。
在一些实施例中,训练后,目标转换模型可以存储在与成像系统100关联的一个或以上存储设备(例如,存储设备150、存储器220和/或存储器390)和/或外部数据源(例如,与第一成像设备的制造商关联或指定的数据库)中。在一些实施例中,目标转换模型可以定期(例如一周、一个月、一个季度、一年等)自动更新。在一些实施例中,目标转换模型的更新可以由用户触发。
关于上述处理过程1200的描述仅出于说明的目的而提供,而无意于限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不会背离本申请的范围。例如,操作1208和1210可以集成为一个操作。又例如,操作1214可以根据用户的反馈划分为对目标转换模型进行更新、替换和重新训练等三个操作。
上文已对基本概念做了描述,显然,对于阅读此申请后的本领域的普通技术人员来说,上述发明披露仅作为示例,并不构成对本申请的限制。虽然此处并未明确说明,但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域的普通技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的操作、机器、产品或物质的组合,或对其任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外,本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式,其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号,例如在基带上或作为载波的一部分。此类传播信号可以有多种形式,包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或转换为供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF等,或任何上述介质的组合。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写,包括面向对象程序设计语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化程序设计语言如C程序设计语言、Visual Basic、Fortran2103、Perl、COBOL 2102、PHP、ABAP,动态程序设计语言如Python、Ruby,和Groovy,或其他程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,尽管上述各种组件的实现可以体现在硬件设备中,但是也可以实现为仅软件的解决方案,例如,在现有服务器或移动设备上的安装。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请的实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反,发明的主体应具备比上述单一实施例更少的特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的,与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说,如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突,则描述、定义和/或在本文件中使用的术语以本文件为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。
Claims (10)
1.一种方法,所述方法在至少一台机器上执行,所述至少一台机器中的每台机器都具有至少一个处理器和至少一个存储设备,用于图像处理,所述方法包括:
获取第一风格的原始图像,所述原始图像是由第一成像设备生成的;
获取目标转换模型;以及
利用所述目标转换模型,转换所述原始图像的所述第一风格,以生成第二风格的转换图像,所述第二风格与由第二成像设备生成的其他图像的目标风格基本相似,所述第二风格与所述第一风格不同。
2.根据权利要求1所述的方法,其特征在于,所述获取原始图像,包括:
基于用户的第一指令,获取所述原始图像,所述第一指令包括所述用户通过用户界面指定的所述目标风格的信息。
3.根据权利要求1所述的方法,其特征在于,所述获取目标转换模型,包括以下至少之一:
通过用户界面获取所述第二成像设备的信息,并根据所述第二成像设备的信息,从两个或以上训练后的转换模型中选择与所述目标风格相对应的所述目标转换模型;
基于用户的第二指令确定所述目标转换模型,所述第二指令与所述用户通过用户界面提供或选择的一个或以上训练后的转换模型相关联;以及
识别所述原始图像的扫描区域,并根据所述扫描区域,从两个或以上训练后的转换模型中识别出对应于所述扫描区域的所述目标转换模型。
4.根据权利要求1所述的方法,其特征在于,还包括:获取用户的登录信息,其中,所述获取目标转换模型,包括:
根据所述用户的所述登录信息,从两个或以上训练后的转换模型中识别出对应于所述用户的训练后的转换模型,将其作为所述目标转换模型。
5.根据权利要求1所述的方法,其特征在于,还包括:确定所述原始图像的扫描协议,其中,所述获取目标转换模型,包括:
根据所述原始图像的所述扫描协议,从两个或以上训练后的转换模型中识别出对应于所述扫描协议的扫描区域的所述目标转换模型。
6.根据权利要求1所述的方法,其特征在于,所述目标转换模型是根据第一处理过程或第三处理过程生成的,所述第一处理过程包括:
获取与生成所述原始图像的所述第一成像设备相关的第一信息;
获取与至少一个第二成像设备相关的第二信息,其中,所述至少一个第二成像设备生成用户习惯的图像;
基于所述第一信息的至少一部分或所述第二信息的至少一部分,确定预训练的转换模型;
获取一个或以上参考图像;以及
基于所述第一信息的至少一部分或所述第二信息的至少一部分,利用所述一个或以上参考图像训练所述预训练的转换模型,以生成所述目标转换模型;
其中,所述预训练的转换模型是根据第二处理过程生成的,所述第二处理过程包括:
获取所述第一成像设备生成的第一组图像;
获取由所述至少一个第二成像设备中的一个或以上生成的第二组图像;
获取初始转换模型;以及
利用所述第一组图像和所述第二组图像训练所述初始转换模型,以生成所述预训练的转换模型;所述第三处理过程包括:
获取一个或以上参考图像;
获取由生成所述原始图像的所述第一成像设备生成的第一组图像;
获取由至少一个第二成像设备生成的第二组图像,其中,所述至少一个第二成像设备生成用户习惯的图像;
获取所述第一成像设备的第一信息;
获取所述至少一个第二成像设备的第二信息;
获取初始转换模型;以及
利用所述第一组图像、所述第二组图像、所述第一信息、所述第二信息,和所述一个或以上参考图像,训练所述初始转换模型,以生成所述目标转换模型。
7.根据权利要求6所述的方法,其特征在于,所述第一信息包括以下至少之一:
所述第一成像设备的型号标识号;以及
由所述用户提供的与图像风格有关的一个或以上设置,所述图像风格与所述第一成像设备相关联,所述一个或以上设置包括从所述第一风格到所述目标风格或到所述第二风格的图像风格转换的程度或范围;
所述第二信息包括以下至少之一:
所述至少一个第二成像设备中的每一个的型号标识号;
所述用户已使用所述至少一个第二成像设备中的每一个的时间长度;以及
所述至少一个第二成像设备基于所述用户的偏好的排名。
8.根据权利要求1所述的方法,其特征在于,所述获取目标转换模型,包括:
获取所述第一风格的样本图像;
利用所述目标转换模型转换所述样本图像的所述第一风格,以生成所述第二风格的转换后的样本图像;
通过用户界面向用户提供所述转换后的样本图像;
通过所述用户界面接收来自所述用户的反馈;
基于所述反馈,确定所述转换后的样本图像是否由所述用户验证;以及
响应于确定出所述转换后的样本图像已由所述用户验证,则最终确定所述目标转换模型;或
响应于确定出所述转换后的样本图像被所述用户拒绝,则更新、重新训练或替换所述目标转换模型。
9.一种图像处理系统,其特征在于,包括至少一个存储介质以及至少一个处理器,所述至少一个存储介质用于存储计算机指令,所述至少一个处理器用于执行所述计算机指令以实现权利要求1~8中任一项所述的图像处理方法。
10.一种计算机可读存储介质,所述存储介质存储有计算机指令,当所述计算机指令被处理器执行时,实现如权利要求1~8任一项所述的图像处理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/685,802 | 2019-11-15 | ||
US16/685,802 US11625576B2 (en) | 2019-11-15 | 2019-11-15 | Systems and methods for image style transformation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111161132A true CN111161132A (zh) | 2020-05-15 |
CN111161132B CN111161132B (zh) | 2024-03-05 |
Family
ID=70558376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911366151.8A Active CN111161132B (zh) | 2019-11-15 | 2019-12-26 | 用于图像风格转换的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11625576B2 (zh) |
CN (1) | CN111161132B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784567A (zh) * | 2020-07-03 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 用于转换图像的方法、装置、电子设备和计算机可读介质 |
CN112241729A (zh) * | 2020-11-04 | 2021-01-19 | 深兰科技(上海)有限公司 | 智能眼镜和基于智能眼镜的场景风格迁移方法 |
CN112561814A (zh) * | 2020-06-16 | 2021-03-26 | 上海联影智能医疗科技有限公司 | 图像转换设备及方法 |
CN112633113A (zh) * | 2020-12-17 | 2021-04-09 | 厦门大学 | 跨摄像头的人脸活体检测方法及系统 |
CN114429420A (zh) * | 2022-01-29 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 图像的生成方法、装置、可读介质和电子设备 |
CN116258720A (zh) * | 2023-05-16 | 2023-06-13 | 联仁健康医疗大数据科技股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN117336453A (zh) * | 2023-11-27 | 2024-01-02 | 湖南苏科智能科技有限公司 | 一种安检图像转换方法、系统、设备及存储介质 |
CN117472257A (zh) * | 2023-12-28 | 2024-01-30 | 广东德远科技股份有限公司 | 一种基于ai算法的自动转正楷的方法及系统 |
CN112561814B (zh) * | 2020-06-16 | 2024-06-07 | 上海联影智能医疗科技有限公司 | 图像转换设备及方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11348243B2 (en) * | 2020-01-24 | 2022-05-31 | GE Precision Healthcare LLC | Systems and methods for medical image style transfer using deep neural networks |
KR20210101571A (ko) * | 2020-02-10 | 2021-08-19 | 삼성전자주식회사 | 이미지의 생성 방법 및 그 전자 장치 |
US11567783B2 (en) | 2021-03-23 | 2023-01-31 | Rockwell Automation Technologies, Inc. | Data format transformation for downstream processing in a data pipeline |
CN113256750B (zh) * | 2021-05-26 | 2023-06-23 | 武汉中科医疗科技工业技术研究院有限公司 | 医疗图像风格重建方法、装置、计算机设备和存储介质 |
US20220108431A1 (en) * | 2021-12-17 | 2022-04-07 | Intel Corporation | Systems and methods for applying style transfer functions in multi-camera systems and multi-microphone systems |
CN114331820A (zh) * | 2021-12-29 | 2022-04-12 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN115099293B (zh) * | 2022-03-09 | 2023-04-18 | 北京安德医智科技有限公司 | 一种模型训练方法及装置、电子设备和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014090462A (ja) * | 2010-08-31 | 2014-05-15 | Casio Comput Co Ltd | 画像処理システム、サーバー、画像処理方法並びに画像処理プログラム |
US20180122147A1 (en) * | 2016-10-31 | 2018-05-03 | Dg Holdings, Inc. | Transferrable between styles virtual identity systems and methods |
CN108564127A (zh) * | 2018-04-19 | 2018-09-21 | 腾讯科技(深圳)有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
CN109124764A (zh) * | 2018-09-29 | 2019-01-04 | 上海联影医疗科技有限公司 | 手术引导装置以及手术系统 |
CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
CN109215099A (zh) * | 2018-08-27 | 2019-01-15 | 北京奇虎科技有限公司 | 一种制作漫画的方法及装置 |
CN109308679A (zh) * | 2018-08-13 | 2019-02-05 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技(深圳)有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
CN110246198A (zh) * | 2019-05-21 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 选字验证码生成方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
US10650495B2 (en) * | 2018-06-04 | 2020-05-12 | Adobe Inc. | High resolution style transfer |
-
2019
- 2019-11-15 US US16/685,802 patent/US11625576B2/en active Active
- 2019-12-26 CN CN201911366151.8A patent/CN111161132B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014090462A (ja) * | 2010-08-31 | 2014-05-15 | Casio Comput Co Ltd | 画像処理システム、サーバー、画像処理方法並びに画像処理プログラム |
US20180122147A1 (en) * | 2016-10-31 | 2018-05-03 | Dg Holdings, Inc. | Transferrable between styles virtual identity systems and methods |
CN108564127A (zh) * | 2018-04-19 | 2018-09-21 | 腾讯科技(深圳)有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
CN109308679A (zh) * | 2018-08-13 | 2019-02-05 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
CN109215099A (zh) * | 2018-08-27 | 2019-01-15 | 北京奇虎科技有限公司 | 一种制作漫画的方法及装置 |
CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技(深圳)有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
CN109124764A (zh) * | 2018-09-29 | 2019-01-04 | 上海联影医疗科技有限公司 | 手术引导装置以及手术系统 |
CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
CN110246198A (zh) * | 2019-05-21 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 选字验证码生成方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
ZHANG YEXUN 等: "Separating Style and Content for Generalized Style Transfer", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 16 December 2018 (2018-12-16) * |
许哲豪;陈玮;: "基于生成对抗网络的图片风格迁移", 软件导刊, no. 06, 29 May 2018 (2018-05-29) * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561814A (zh) * | 2020-06-16 | 2021-03-26 | 上海联影智能医疗科技有限公司 | 图像转换设备及方法 |
CN112561814B (zh) * | 2020-06-16 | 2024-06-07 | 上海联影智能医疗科技有限公司 | 图像转换设备及方法 |
CN111784567A (zh) * | 2020-07-03 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 用于转换图像的方法、装置、电子设备和计算机可读介质 |
CN112241729A (zh) * | 2020-11-04 | 2021-01-19 | 深兰科技(上海)有限公司 | 智能眼镜和基于智能眼镜的场景风格迁移方法 |
CN112633113A (zh) * | 2020-12-17 | 2021-04-09 | 厦门大学 | 跨摄像头的人脸活体检测方法及系统 |
CN114429420B (zh) * | 2022-01-29 | 2023-11-28 | 抖音视界有限公司 | 图像的生成方法、装置、可读介质和电子设备 |
CN114429420A (zh) * | 2022-01-29 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 图像的生成方法、装置、可读介质和电子设备 |
CN116258720B (zh) * | 2023-05-16 | 2023-08-18 | 联仁健康医疗大数据科技股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN116258720A (zh) * | 2023-05-16 | 2023-06-13 | 联仁健康医疗大数据科技股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN117336453A (zh) * | 2023-11-27 | 2024-01-02 | 湖南苏科智能科技有限公司 | 一种安检图像转换方法、系统、设备及存储介质 |
CN117336453B (zh) * | 2023-11-27 | 2024-01-30 | 湖南苏科智能科技有限公司 | 一种安检图像转换方法、系统、设备及存储介质 |
CN117472257A (zh) * | 2023-12-28 | 2024-01-30 | 广东德远科技股份有限公司 | 一种基于ai算法的自动转正楷的方法及系统 |
CN117472257B (zh) * | 2023-12-28 | 2024-04-26 | 广东德远科技股份有限公司 | 一种基于ai算法的自动转正楷的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US11625576B2 (en) | 2023-04-11 |
CN111161132B (zh) | 2024-03-05 |
US20210150310A1 (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111161132B (zh) | 用于图像风格转换的系统和方法 | |
US11348233B2 (en) | Systems and methods for image processing | |
US11501473B2 (en) | Systems and methods for image correction in positron emission tomography | |
CN112368738B (zh) | 用于图像优化的系统和方法 | |
US20190139641A1 (en) | Artificial intelligence for physiological quantification in medical imaging | |
US11436720B2 (en) | Systems and methods for generating image metric | |
CN112424835B (zh) | 用于图像重建的系统和方法 | |
Sun et al. | Dual-glow: Conditional flow-based generative model for modality transfer | |
US11227390B2 (en) | Systems and methods for image processing | |
US20230104945A1 (en) | Systems and methods for image processing | |
US11989881B2 (en) | Systems and methods for imaging device | |
US20230083657A1 (en) | Systems and methods for image evaluation | |
CN106462974B (zh) | 用于分割图像的参数优化 | |
US10950343B2 (en) | Highlighting best-matching choices of acquisition and reconstruction parameters | |
US20220351372A1 (en) | Systems and methods for image processing | |
Eschenburg et al. | Learning cortical parcellations using graph neural networks | |
US20240005508A1 (en) | Systems and methods for image segmentation | |
CN111768462B (zh) | 图像生成系统和方法 | |
CN111161371B (zh) | 成像系统和方法 | |
US11308610B2 (en) | Systems and methods for machine learning based automatic bullseye plot generation | |
US20220138957A1 (en) | Methods and systems for medical image segmentation | |
EP3869460A1 (en) | Systems and methods for determining position of region of interest | |
WO2023123361A1 (en) | Systems and methods for motion correction for a medical image | |
US20230206459A1 (en) | Systems and methods for image processing | |
WO2024067829A1 (en) | Methods, systems, and storage medium for image registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |