CN109658354B - 一种图像增强方法和系统 - Google Patents
一种图像增强方法和系统 Download PDFInfo
- Publication number
- CN109658354B CN109658354B CN201811564078.0A CN201811564078A CN109658354B CN 109658354 B CN109658354 B CN 109658354B CN 201811564078 A CN201811564078 A CN 201811564078A CN 109658354 B CN109658354 B CN 109658354B
- Authority
- CN
- China
- Prior art keywords
- image
- enhancement
- decomposition
- sample
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 202
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 64
- 230000015654 memory Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000013136 deep learning model Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical group CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 208000022211 Arteriovenous Malformations Diseases 0.000 description 1
- 201000006474 Brain Ischemia Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010053942 Cerebral haematoma Diseases 0.000 description 1
- 206010008120 Cerebral ischaemia Diseases 0.000 description 1
- 206010018852 Haematoma Diseases 0.000 description 1
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 description 1
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 1
- 201000008450 Intracranial aneurysm Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 235000009413 Ratibida columnifera Nutrition 0.000 description 1
- 241000510442 Ratibida peduncularis Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010042928 Syringomyelia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005744 arteriovenous malformation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 208000003906 hydrocephalus Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 210000005067 joint tissue Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 201000011096 spinal cancer Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像增强方法。所述方法包括：获取原始图像；对所述原始图像进行分解，得到所述原始图像的多个分解系数；利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数；将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像。
Description
技术领域
本申请涉及图像处理领域，特别涉及一种图像增强方法和系统。
背景技术
随着图像信息处理技术的快速发展，图像增强技术在生物医学工程、航天和航空技术、通信工程等领域得到了广泛的应用。在图像增强处理过程中，通常采用多分辨率分析方法进行图像的分解处理。常用的增强方法包括高斯-拉普拉斯金字塔分解、小波分解等。但是上述方法都是通过设计一些公式和参数来分别调节每个分解层的系数，最后重构为增强后的图像，这些调节参数非常繁多，需要调节的分解层也是非常的多，并且参数调节方面都是人工调节，处理过程复杂并且繁琐。因此，有必要提出一种图像增强方法，降低处理复杂度并提高处理效率。
发明内容
本申请实施例之一提供一种图像增强方法。所述方法包括：获取原始图像；对所述原始图像进行分解，得到所述原始图像的多个分解系数；利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数；将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像。
在一些实施例中，所述机器学习模型为系数增强模型；所述系数增强模型基于以下训练方法获得：获取训练集，所述训练集中包括多个样本对；其中，样本对包括样本图像和所述样本图像对应的增强图像；利用所述训练集对初始模型进行训练，获得系数增强模型。
在一些实施例中，所述获取训练集还包括：对所述样本图像和与其对应的增强图像分别进行分解，得到所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数；将所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数作为所述训练集中的一个样本对。在一些实施例中，所述样本图像对应的增强图像通过对所述样本图像进行增强处理得到，所述增强处理包括：直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理。
在一些实施例中，所述机器学习模型为深度学习模型。
在一些实施例中，所述对所述原始图像进行分解，得到所述原始图像的多个分解系数，还包括：采用多分辨率分析方法对所述原始图像进行分解，得到所述原始图像的多个分解系数。
在一些实施例中，所述多分辨率分析方法包括：高斯-拉普拉斯金字塔分解方法或小波分解方法。
本申请实施例之一提供一种图像增强系统。所述系统包括：获取模块，用于获取原始图像；分解模块，用于对所述原始图像进行分解，得到所述原始图像的多个分解系数；增强模块，用于利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数；重构模块，用于将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像。
在一些实施例中，所述机器学习模型为系数增强模型；所述系统进一步包括训练模块；所述训练模块用于获取训练集，所述训练集中包括样本对；其中，样本对包括多个样本图像和所述样本图像对应的增强图像；以及用于利用所述训练集对初始模型进行训练，获得系数增强模型。
在一些实施例中，所述训练模块还用于对所述样本图像和与其对应的增强图像分别进行分解，得到所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数；将所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数作为所述训练集中的一个样本对。
在一些实施例中，所述样本图像对应的增强图像通过对所述样本图像进行增强处理得到，所述增强处理包括直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理。
在一些实施例中，所述机器学习模型为深度学习模型。
在一些实施例中，所述分解模块还用于采用多分辨率分析方法对所述原始图像进行分解，得到所述原始图像的多个分解系数。
在一些实施例中，所述多分辨率分析方法包括：高斯-拉普拉斯金字塔分解方法或小波分解方法。
本申请实施例之一提供一种图像增强装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以执行图像增强方法。
本申请实施例之一提供一种计算机可存储介质，所述存储介质存储有计算机指令，当所述计算机指令中的至少部分指令被处理器执行时，执行图像增强方法。
附图说明
本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1所示为根据本申请一些实施例所示的图像增强系统100的应用场景示意图；
图2是根据本申请一些实施例所示的图像增强系统的模块图；
图3是根据本申请一些实施例所示的图像增强方法的示例性流程图；
图4为根据本申请一些实施例所示的获取训练集的方法的示例性流程图；
图5根据本申请一些实施例所示的获取训练集的方法的示例性流程图；
图6是根据本申请一些实施例所示的高斯-金字塔分解方法的示意图；
图7是根据本申请一些实施例所示的小波分解方法的示意图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1所示为根据本申请一些实施例所示的图像增强系统100的应用场景示意图。
例如，图像增强系统100可以是用于进行图像增强处理的平台。在一些实施例中，该图像增强系统100可以用于医学诊断中的图像增强处理，例如，红细胞、白细胞分类诊断，染色体分析，癌细胞识别诊断，骨关节与软组织病变诊断，脑内血肿、脑外血肿、脑肿瘤、颅内动脉瘤、动静脉血管畸形、脑缺血、椎管内肿瘤、脊髓空洞症和脊髓积水诊断，腰椎椎间盘后突、原发性肝癌诊断等。在一些实施例中，该图像增强系统100也可以用于医学诊断中的图像增强处理以外的场景，例如，遥感领域的自然灾害预测预报、环境污染监测、气象卫星云图处理、地面军事目标的识别、安防系统中的图像识别等。图像增强系统100可以包括服务器110、网络120、存储设备130、一个或一个以上图像采集终端140。服务器110可以包括处理引擎112。
在一些实施例中，服务器110可以是一个单个的服务器或者一个服务器群组。所述服务器群可以是集中式的或分布式的(例如，服务器110可以是一个分布式的系统)。在一些实施例中，服务器110可以是本地的或远程的。例如，服务器110可以通过网络120访问存储在存储设备130、图像采集终端140上的数据和/或信息。再例如，服务器110可以直接连接到存储设备130、图像采集终端140以访问存储的信息和/或数据，例如图像数据。在一些实施例中，服务器110可以在一个云平台上实现。仅仅举个例子，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、云之间、多重云等或上述举例的任意组合。以医学图像诊断操作为例，处理引擎112可以基于图像采集终端140获取医学图像，对医学图像进行处理。或者处理引擎112可以从图像采集终端140获取医学图像，基于图2所示的系统对该医学图像进行增强处理。
在一些实施例中，图像采集终端140可以是图像或视频的采集设备。在一些实施例中，图像采集终端140可以包括但不限于各种医学成像设备140-1、摄像头140-2、笔记本电脑140-3，车载内置设备140-4、移动设备140-5等或其任意组合。在一些实施例中，医学成像设备可以包括但不限于数字X线机、CT扫描设备、磁共振设备、超声成像设备、核医学成像设备等。在一些实施例中，摄像头140-1可以包括但不限于超市、商场、住宅、办公区的监控摄像头等或其任意组合。在一些实施例中，车载内置设备140-3可以包括但不限于个车载电脑、车载抬头显示(HUD)、车载自动诊断系统(OBD)、行车记录仪、车载导航等或其任意组合。在一些实施例中，移动设备140-4可以包括但不限于智能手机、个人数码助理(PersonalDigital Assistance，PDA)、平板电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备、显示增强设备等或其任意组合。在一些实施例中，图像采集终端140可以自行采集图像信息并将图像信息发送至图像增强系统100中的一个或多个设备中。在一些实施例中，图像采集终端140可以接收图像增强系统100中的一个或多个设备发送的图像信息采集指令，基于图像信息采集指令进行图像采集。
存储设备130可以存储数据和/或指令。在一些实施例中，存储设备130可以存储从图像采集终端140获得的数据。所述数据可以包括实时采集的图像信息，或者包括过去一段时间获取的图像，或者包括经过图像处理算法处理后图像。在一些实施例中，存储设备130还可以存储各类机器学习模型，例如不同机器学习模型的参数。在一些实施例中，存储设备130可以存储供服务器110执行或使用的数据和/或指令，服务器110可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性方法。在一些实施例中，存储设备130可以包括大容量存储器、可移动存储器、挥发性读写存储器、只读存储器(ROM)等或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态硬盘等。示例性的可移动存储器可以包括闪存盘、软盘、光盘、记忆卡、压缩硬盘、磁带等。示例性的挥发性只读存储器可以包括随机存储器(RAM)。示例性的随机存储器可以包括动态随机存储器(DRAM)、双数据率同步动态随机存储器(DDRSDRAM)、静态随机存储器(SRAM)、可控硅随机存储器(T-RAM)和零电容存储器(Z-RAM)等。示例性的只读存储器可以包括掩蔽型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、压缩硬盘只读存储器(CD-ROM)和数字多功能硬盘只读存储器等。在一些实施例中，存储设备130可以在一个云平台上实现。仅仅举个例子，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、云之间、多重云等或上述举例的任意组合。
在一些实施例中，存储设备130可以与网络120连接以实现与图像增强系统100中的一个或多个部件(例如，服务器110、图像采集终端140等)之间的通信。图像增强系统100的一个或多个部件可以通过网络120访问存储在存储设备130中的数据或指令。在一些实施例中，存储设备130可以直接与图像增强系统100的一个或多个部件(例如，服务器110、图像采集终端140等)连接或通信。在一些实施例中，存储设备130可以是服务器110的一部分。
网络120可以促进信息和/或数据的交换。在一些实施例中，图像增强系统100中的一个或多个部件(例如，服务器110、存储设备130、和图像采集终端140等)可以通过网络120向图像增强系统100中的其他部件发送信息和/或数据。例如，服务器110可以通过网络120从图像采集终端140获取/得到数据信息。在一些实施例中，网络120可以是有线网络或无线网络中的任意一种，或其组合。例如，网络120可以包括电缆网络、有线网络、光纤网络、远程通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、公共开关电话网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或上述举例的任意组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可能包括有线或无线网络接入点，如基站和/或互联网交换点120-1、120-2等等。通过接入点，图像增强系统100的一个或多个部件可能连接到网络120以交换数据和/或信息。
需要说明的是，在其他一些实施例中，图像采集终端140也可以集成处理引擎，此时图像采集终端140无需将图像或视频上传到服务器110，而是直接处理其获取的图像或视频，以实现本申请描述的示例性方法。
图2是根据本申请一些实施例所示的图像增强系统200的模块图。
如图2所示，该图像增强系统200可以包括获取模块210、分解模块220、增强模块230、重构模块240。在一些实施例中，获取模块210、分解模块220、增强模块230、重构模块240可以包含在图1所示的处理引擎112中。
获取模块210可以用于获取原始图像。
在一些实施例中，获取模块210可以通过获取来自于存储设备130、图像采集终端140的数据获取原始图像。在一些实施例中，原始图像可以是三维图像和/或二维图像。
分解模块220可以用于对所述原始图像进行分解，得到所述原始图像的多个分解系数。
在一些实施例中，所述分解模块220还用于采用多分辨率分析方法对所述原始图像进行分解，得到所述原始图像的多个分解系数。
在一些实施例中，所述多分辨率分析方法包括：高斯-拉普拉斯金字塔分解方法或小波分解方法。
增强模块230可以用于利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数。
在一些实施例中，可以对原始图像的一个分解系数或多个分解系数进行增强处理，得到分解系数对应的增强系数。
在一些实施例中，所述机器学习模型为深度学习模型。深度学习模型可以包括：深度信念网络模型、VGG卷积神经网络、OverFeat，R-CNN，SPP-Net，Fast R-CNN，Faster R-CNN，R-FCN，DSOD等。所述初始模型可以具有多个初始模型参数，例如，学习率，超参数等。所述初始模型参数可以是系统的默认值，也可以根据实际应用情况进行调整修改。所述初始模型的训练过程可以从现有技术中找到，在此不再赘述。当满足某一预设条件时，例如，训练样本数达到预定的数量，模型的检测正确率大于某一预定准确率阈值，或损失函数(LossFunction)的值小于某一预设值，训练过程停止，训练完成后获取到系数增强模型。
在一些实施例中，所述系统进一步包括训练模块；所述训练模块用于获取训练集，所述训练集中包括多个样本对；其中，样本对包括样本图像和所述样本图像对应的增强图像；利用所述训练集对初始模型进行训练，获得系数增强模型。
所述训练模块还用于对所述样本图像和其对应的增强图像分别进行分解，得到所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数；将所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数作为所述训练集中的一个样本对。
在一些实施例中，训练模块还用于对所述样本图像进行分解，得到所述样本图像的多个分解系数。对分解系数进行增强处理，得到增强系数；所述训练集包括分解系数及其对应的增强系数。例如，一个分解系数及其对应的增强系数可以作为训练集中的一个样本对。
在一些实施例中，训练模块可以通过获取到来自于存储设备130、图像采集终端140的数据获取样本图像。
在一些实施例中，可以通过多分辨率分析方法对所述样本图像进行分解，得到所述样本图像的多个分解系数。在一些实施例中，多分辨率分析方法可以包括高斯-拉普拉斯金字塔分解方法或小波分解方法。
在一些实施例中，可以通过对所述样本图像进行增强处理，得到所述样本图像对应的增强图像。
在一些实施例中，可以对所述样本图像的一个或多个分解系数进行增强处理，得到对应的增强系数。
在一些实施例中，增强处理可以包括直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理。
重构模块240可以用于将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像。
在一些实施例中，当对每个分解系数都进行了增强处理，得到对应的增强系数时，对所有的增强系数进行重构处理，得到原始图像对应的增强图像。在一些实施例中，当对多个分解系数进行增强处理，得到对应的增强系数时，对增强系数和未经过增强处理的分解系数进行重构处理，得到原始图像对应的增强图像。例如，将原始图像P分解为t(t为正整数)个分解系数ps(1<＝s<＝t)，对应的增强系数为ps’(1<＝s<＝t)，当只对分解系数p3进行增强处理，得到增强系数p3’时，对分解系数ps(1<＝s<＝t，s≠3)和增强系数p3’进行重构处理，得到原始图像P对应的增强图像P’。
应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，例如，图2中披露的获取模块210、分解模块220、增强模块230、重构模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，获取模块210、分解模块220可以是两个模块，也可以是一个模块同时具有获取和分解图像的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。
图3为根据本申请一些实施例所示的图像增强方法的示例性流程图。
在一些实施例中，流程300可以通过处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图3所示的用于图像增强的流程300中的一个或多个操作可以通过图1所示的图像增强系统100实现。例如，流程300可以以指令的形式存储在存储设备150中，并由处理引擎112执行调用和/或执行。如图3所示，该图像增强方法可以包括：
步骤301，获取原始图像。
在一些实施例中，可以通过获取模块210获取原始图像。
在一些实施中，原始图像可以是三维图像和/或二维图像。在一些实施例中，所述多个原始图像可以包括至少一种器官或组织的图像。所述器官包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述组织包括但不限于上皮组织、结缔组织、神经组织、肌肉组织等。在一些实施例中，所述多个原始图像可以为同一类型的图像，例如都为MR图像、CT图像、PET-CT图像、PET-MR图像等。在一些实施例中，所述多个图像可以为不同类型的图像。以脑部MR样本图像为例，包括但不限于脑部的T1加权图像、T2加权图像、FLAIR序列图像等。
在一些实施例中，可以对原始图像进行预处理操作。预处理操作可以包括：通过预设的取值条件调整原始图像的参数。图像的参数是指图像所携带的可以用于调整图像的显示效果的数值信息。在一些实施例中，图像的参数可以包括分辨率、尺寸、图像的方向、亮度、对比度、长宽比例、颜色等。取值条件是指针对对应的参数而分别预设的数值范围，该数值范围可以根据实际的应用情况预先进行设置，例如，将图像的尺寸设置为512×512。通过对原始图像进行预处理，可以提高用于图像增强处理的图像质量，加快增强处理速度和提高准确率。
步骤303，对所述原始图像进行分解，得到所述原始图像的多个分解系数。
在一些实施例中，可以通过分解模块220对原始图像进行分解处理。
在一些实施例中，可以采用多分辨率分析方法对所述原始图像进行分解，得到所述原始图像的多个分解系数。多分辨率分析方法可以包括高斯-拉普拉斯金字塔分解方法、小波分解方法等。
在一些实施例中，可以采用高斯-拉普拉斯金字塔分解方法对原始图像进行分解处理。
图6是根据本申请一些实施例所示的高斯-金字塔分解方法的示意图。
如图6所示，高斯-拉普拉斯金字塔分解方法包括：对原始图像进行高斯分解，形成原始图像的多层高斯子图像Gj的高斯金字塔和多层拉普拉斯子图像Lj的拉普拉斯金字塔。
在一些实施例中，获得高斯金字塔包括：以原始图像作为高斯金字塔的第0层G0，对原始图像进行低通滤波处理，经过下采样后形成第1层子图像G1，再以第1层子图像为基准图像，经过低通滤波和下采样后，得到的2层子图像G2，按照上述方法依次进行操作，直至获得第n层子图像Gn，获得具有多层高斯子图像Gj(0<＝j<＝n)的高斯金字塔。分解层数n即为高斯金字塔的层数，是可以预先进行设定。在一些实施例中，可以根据原始图像的特征获取进行图像分解层数n。在一些实施例中，分解的层数n取决于需要增强的部位信息，当原始图像为医学图像时，对于密度较大的器官等部位，分解的层数可以选择5-7层，对于密度较小的器官或组织，例如软组织等部位，分解的层数可以选择7-10层。在一些实施例中，对图像进行低通滤波处理可以包括使用5*5的高斯卷积核对图像进行滤波。在一些实施例中，对图像进行下采样处理包括以2为步长对图像进行抽样处理。
在一些实施例中，获得拉普拉斯金字塔包括：从高斯金字塔的顶端，即第n层高斯子图像Gn开始，对位于这一层的高斯子图像Gn进行上采样，并进行低通滤波处理，形成的高斯子图像Gn-1’与原来位于第(n-1)层的高斯子图像Gn-1层子图像具有相同的分辨率，Gn-1与Gn-1’的差值就是第(n-1)层的拉普拉斯子图像Ln-1，对第(n-1)层的高斯子图像Gn-1进行上采样，并进行低通滤波处理，形成的高斯子图像Gn-2’与原来位于第(n-2)层的高斯子图像Gn-2层子图像具有相同的分辨率，Gn-2与Gn-2’的差值就是第(n-2)层的拉普拉斯子图像Ln-2，以此类推，直至得到第0层的拉普拉斯子图像L0，获得具有多层拉普拉斯子图像Lj(0<＝j<＝(n-1))的拉普拉斯金字塔。在一些实施例中，对图像进行上采样处理包括在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法可以包括传统插值、基于边缘图像的插值、基于区域的图像插值等方法。在一些实施例中，对图像的上采样处理可以包括以2为步长对图像进行内插处理。
在一些实施例中，高斯子图像Gj(0<＝j<＝n)、拉普拉斯子图像Lj(0<＝j<＝(n-1))即是经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。
在一些实施例中，可以采用小波分解方法对原始图像进行分解。
图7是根据本申请一些实施例所示的小波分解方法的示意图。
如图7所示，小波分解方法包括：首先利用离散小波变换方法对原始图像进行行分解处理，获得原始图像在水平方向上的低频分量L和高频分量H，然后利用离散小波变换方法对变换所得数据进行列分解处理，获得原始图像的子图像LL1、LH1、HL1以及HH1。对图像进行一次行分解和列分解即为经过一级分解。子图像LL1为水平和垂直方向的低频分量，子图像LH1为水平方向的低频和垂直方向的高频分量，子图像HL1为水平方向的高频和垂直方向的低频分量，子图像HH1为水平和垂直方向的高频分量。在一些实施例中，可以对低频分量LL1进行二级分解处理，即利用离散小波变换方法对低频分量LL1进行行分解和列分解处理，得到子图像LL2、HL2、LH2以及HH2。以此类推，可以对子图像LLk(1<＝k)进行第(k+1)次分解处理，得到子图像LL(k+1)、HL(k+1)、LH(k+1)以及HH(k+1)。在一些实施例中，可以根据实际应用情况，对分解级数m进行预先设定，例如，将分解级数m设置为2。在一些实施例中，小波变换方法采用的小波函数可以包括Moret小波函数、Mexican Hat小波函数、Meyer小波函数、Haar小波函数、db6小波函数、sym6小波函数等。
在一些实施例中，子图像LLk、HLk、LHk以及HHk(1<＝k)等为经过小波分解方法后获得的分解系数。
步骤305，利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数。
在一些实施例中，可以通过增强模块230对原始图像进行增强处理。具体的，使用系数增强模型对原始图像的分解系数进行处理得到至少一个增强系数。在一些实施例中，可以对原始图像的部分分解系数进行处理获得其对应的增强系数，也可以对原始图像的全部分解系数进行处理获取全部分解系数对应的增强系数。可以理解为，在一些实施例中，可以将分解系数逐一输入系数增强模型，得到相应的增强系数，也可以将全部分解系数一起输入系数增强模组，得到全部分解系数对应的增强系数。
在一些实施例中，所述机器学习模型为经训练的深度学习模型。神经网络模块可以包括：深度信念网络模型、VGG卷积神经网络、OverFeat，R-CNN，SPP-Net，Fast R-CNN，Faster R-CNN，R-FCN，DSOD等。
在一些实施例中，所述机器学习模型为系数增强模型；所述系数增强模型基于以下训练方法获得：获取训练集，所述训练集中包括多个样本图像和所述样本图像对应的增强图像；利用所述训练集对初始模型进行训练，获得系数增强模型。关于模型训练的更多描述可以参见图4的相关说明。
在一些实施例中，当使用的训练集中的样本图像是利用高斯-拉普拉斯金字塔分解方法进行分解时，所述系数增强模型对分解系数中的拉普拉斯子图像Lj(0<＝j<＝(n-1))进行增强处理，得到增强系数Lj’(0<＝j<＝(n-1))。在一些实施例中，也可以利用所述系数增强模型对分解系数中的高斯子图像Gj(0<＝j<＝n)进行增强处理。在一些实施例中，也可以利用所述系数增强模型对分解系数中的拉布拉斯子图像Lj(0<＝j<＝(n-1))以及高斯子图像Gj(0<＝j<＝n)均进行增强处理。
在一些实施例中，当使用的训练集中的样本图像是利用小波分解方法进行分解时，所述系数增强模型对分解系数LLk、HLk、LHk、HHk的一个或者多个进行增强处理，得到对应的增强系数LLk’、HLk’、LHk’、HHk’的中的一个或多个。
步骤307，将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像。
在一些实施例中，可以通过重构模块240对经过增强处理后的分解系数进行重构处理。在一些实施例中，进行重构处理的分解系数都是经过增强处理的，或者进行重构处理的分解系数中部分是经过增强处理的。
在一些实施例中，当利用高斯-拉普拉斯金字塔分解方法对原始图像进行分解时，图像重构可以包括利用经过增强后的拉普拉斯子图像和/或经过增强后的高斯子图像进行重构，获得原始图像对应的增强图像。可以理解为，将原始图像经过高斯-拉普拉斯金字塔分解方法分解获得的分解系数中的一部分或全部替换为其增强后的子图像，进行图像重构，获得原始图像对应的增强图像。
在一些实施例中，当利用小波分解对原始图像进行分解时，图像重构可以包括首先对增强系数LLk’、HLk’、LHk’、HHk’等组成的图像数据的每一列进行离散小波逆变换，再对图像数据的每一行进行离散小波逆变换，即可获得原始图像对应的增强图像。
需要注意的是，以上描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可以在不背离这一原理的情况下，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。
图4为根据本申请一些实施例所示的获取训练集的方法的示例性流程图。
如图4所示，所述获取训练集的方法400包括：
步骤402，对所述样本图像和与其对应的增强图像分别进行分解，得到所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数。
在一些实施例中，所述样本图像可以是三维图像和/或二维图像。在一些实施例中，所述多个样本图像包括至少一种器官或组织的图像。所述器官包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述组织包括但不限于上皮组织、结缔组织、神经组织、肌肉组织等。在一些实施例中，所述多个样本图像可以为同一类型的图像，例如都为MR图像、CT图像、PET-CT图像、PET-MR图像等。在一些实施例中，所述多个图像可以为不同类型的图像。以脑部MR样本图像为例，包括但不限于脑部的T1加权图像、T2加权图像、FLAIR序列图像等。
在一些实施例中，可以对样本图像进行预处理操作。预处理操作可以包括：通过预设的取值条件调整样本图像的显示参数、对样本图像的显示参数进行变换获得新的样本图像。图像的显示参数是指图像所携带的可以用于调整图像的显示效果的数值信息。在一些实施例中，显示参数可以包括分辨率、尺寸、图像的方向、亮度、对比度、长宽比例、颜色等。取值条件是指针对对应的显示参数而分别预设的数值范围，该数值范围可以根据实际的应用情况预先进行设置。通过调整样本图像的显示参数满足相应的预设的数值范围，可以提高用于训练神经网络模型的图像质量，加快训练速度和提高准确率。分布条件是指针对不同的显示参数预先设置的需要满足的条件，例如，平均分布、随机分布和高斯分布等。在一些实施例中，可以根据显示参数的预设分布条件，对样本图像的显示参数进行处理得到新的样本图像，从而获得更多的样本图像，实现数据扩增，增加了用于训练神经网络模型的训练数据。
在一些实施例中，所述增强图像可以理解为对原始图像进行的任何一种图像算法之后获得的图像，所述图像算法包括但不限于去噪、放缩、二值化、灰度化、亮度调整、模糊化、均衡、滤波、图像分割等等。在一些实施例中，增强处理可以进一步理解为通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。可以对样本图像进行直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理，得到所述样本图像对应的增强图像。本发明对增强处理的类型不做任何限制，对原始图像进行的任何一种能改变其呈现效果的处理获得的图像均可作为所述增强图像。
在一些实施例中，可以利用多分辨率分析方法对样本图像和所述样本图像的增强图像进行分解，得到所述样本图像的多个分解系数和增强图像的多个分解系数。多分辨率分析方法可以包括高斯-拉普拉斯金字塔分解方法、小波分解方法等。
在一些实施例中，可以采用高斯-拉普拉斯金字塔分解方法对样本图像和样本图像对应的增强图像进行分解处理。高斯-拉普拉高斯金字塔分解的方法在图6中已经进行了详细介绍，在此不再赘述。
在一些实施例中，对样本图像G1进行高斯分解，形成样本图像的多层高斯子图像G1 j的高斯金字塔和多层拉普拉斯子图像L1 j的拉普拉斯金字塔。在一些实施例中，对样本图像对应的增强图像G1’进行高斯分解，形成样本图像的多层高斯子图像G1 j’的高斯金字塔和多层拉普拉斯子图像L1 j’的拉普拉斯金字塔。
在一些实施例中，可以根据样本图像的特征获取进行图像分解层数n，例如，将分解层数n设置为3。
在一些实施例中，将高斯子图像G1 j(0<＝j<＝n)、拉普拉斯子图像L1 j(0<＝j<＝(n-1))都作为样本图像G1经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。又或者，仅将拉普拉斯子图像L1 j(0<＝j<＝(n-1))作为样本图像G1经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。在一些实施例中，将高斯子图像G1 j’(0<＝j<＝n)、拉普拉斯子图像L1 j’(0<＝j<＝(n-1))都作为样本图像对应的增强图像G1’经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。又或者，仅将拉普拉斯子图像L1 j’(0<＝j<＝(n-1))作为是样本图像对应的增强图像G1’经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。在一些实施例中，可以采用小波分解分解方法对样本图像进行分解处理。小波分解的方法在图7中已经进行了详细介绍，在此不再赘述。
在一些实施例中，对样本图像G2进行小波分解处理，得到子图像LL(2 k+1)、HL2 (k+1)、LH2 (k+1)以及HH2 (k+1)。在一些实施例中，可以根据实际应用情况，对分解级数m进行预先设定，例如，将分解级数m设置为2。
在一些实施例中，对样本图像对应的增强图像G2’进行小波分解处理，得到子图像LL2’(k+1)、HL2’(k+1)、LH2’(k+1)以及HH2’(k+1)。在一些实施例中，可以根据实际应用情况，对分解级数m进行预先设定，例如，将分解级数m设置为2。
在一些实施例中，子图像LL2 k、HL2 k、LH2 k以及HH2 k(1<＝k)等为样本图像G2经过小波分解方法后获得的分解系数。在一些实施例中，子图像LL2’(k+1)、HL2’(k+1)、LH2’(k+1)以及HH2’(k+1)等为样本图像对应的增强图像G2’经过小波分解方法后获得的分解系数。
步骤404，将所述样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数作为所述训练集中的一个样本对。
在一些实施例中，一个样本对可以包括：一个样本图像和所述样本图像对应的增强图像的组合，或可以包括：一个样本图像的多个分解系数以及所述样本图像对应的增强图像的多个分解系数。例如，一个样本对可以包括样本图像G1的高斯子图像G1 j(0<＝j<＝n)、拉普拉斯子图像L1 j(0<＝j<＝(n-1))、该样本图像G1对应的增强图像的高斯子图像G1 j’(0<＝j<＝n)、拉普拉斯子图像L1 j’(0<＝j<＝(n-1))。又例如，一个样本对可以包括样本图像G1的拉普拉斯子图像L1 j(0<＝j<＝(n-1))、该样本图像G1对应的增强图像的拉普拉斯子图像L1 j’(0<＝j<＝(n-1))。
图5为根据本申请一些实施例所示的获取训练集的方法的示例性流程图。如图5所示，所述获取训练集的方法500还可以包括：
步骤502，获取样本图像。
在一些实施例中，所述样本图像可以是三维图像和/或二维图像。在一些实施例中，所述多个样本图像包括至少一种器官或组织的图像。对样本图像的描述可以参考图4中对于样本图像的描述，在此不再赘述。
在一些实施例中，可以对样本图像进行预处理操作。预处理操作可以参考图4中对于样本图像的预处理操作的具体描述，在此不再赘述。步骤504，对所述样本图像进行分解，得到所述样本图像的多个分解系数。
在一些实施例中，可以利用多分辨率分析方法对所述样本图像进行分解，得到所述样本的多个分解系数。多分辨率分析方法可以包括高斯-拉普拉斯金字塔分解方法、小波分解方法等。
在一些实施例中，可以采用高斯-拉普拉斯金字塔分解方法对样本图像进行分解处理。高斯-拉普拉高斯金字塔分解的方法在图6中已经进行了详细介绍，在此不再赘述。
在一些实施例中，对样本图像G3进行高斯分解，形成样本图像G3的多层高斯子图像G3 j的高斯金字塔和多层拉普拉斯子图像L3 j的拉普拉斯金字塔。
在一些实施例中，可以根据样本图像的特征获取进行图像分解层数n，例如，将分解层数n设置为3。
在一些实施例中，高斯子图像G3 j(0<＝j<＝n)、拉普拉斯子图像L3 j(0<＝j<＝(n-1))即是样本图像G3经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。
在一些实施例中，可以仅将拉普拉斯子图像L3 j(0<＝j<＝(n-1))作为样本图像G3经过高斯-拉普拉斯金字塔分解方法后获得的分解系数。
在一些实施例中，可以采用小波分解分解方法对样本图像进行分解处理。小波分解的方法在图7中已经进行了详细介绍，在此不再赘述。
在一些实施例中，对样本图像G4进行小波分解处理，得到子图像LL4 (k+1)、HL4 (k+1)、LH4 (k+1)以及HH4 (k+1)。在一些实施例中，可以根据实际应用情况，对分解级数m进行预先设定，例如，将分解级数m设置为2。
在一些实施例中，子图像LL4 k、HL4 k、LH4 k以及HH4 k(1<＝k)等为样本图像G4经过小波分解方法后获得的分解系数。
步骤506，对分解系数进行增强处理，得到增强系数；所述训练集包括分解系数及其对应的增强系数。
在一些实施例中，所述增强处理可以理解为对图像进行的任何一种图像算法，包括但不限于去噪、放缩、二值化、灰度化、亮度调整、模糊化、均衡、滤波、图像分割等等。在一些实施例中，增强处理可以进一步理解为通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。在一些实施例中，可以对分解系数进行直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理，得到增强系数。在一些实施例中，可以对分解系数进行单阈值增强方法、双阈值增强方法、自适应增强方法中的一种或多种组合的处理，得到增强系数。例如，可以对分解系数的灰度值进行归一化处理，得到归一化后的分解系数，并对所述归一化后的分解系数进行幂函数变换，即进行对比度均衡处理，得到经过均衡化处理后的增强系数，该幂函数可以根据实际应用情况进行设定，作为一种可选的示例，该幂函数可以为平方函数。在一些实施例中，可以对分解系数进行小波去噪处理，得到增强系数，小波去噪处理可以包括小波变换模极大值去噪方法、小波系数相关性去噪方法、小波变换阈值去噪方法等。在一些实施例中，可以对样本图像对应的一个或者多个分解系数进行增强处理，得到一个或者多个增强系数。关于更多增强处理的内容，可以参见现有技术：(1)基于小波变换的图像增强处理算法的研究，项聪，陶永鹏，计算机与数字工程，2017年第8期；(2)基于金字塔法的数字医学图像增强，陈晓龙，陈刚，王义，2015年第5期；(3)基于二进小波与PDE的乳腺X线图像增强，唐泉，黄允浒，电子设计工程，2018年第5期。应当理解，本发明对增强处理算法的类型不做任何限制，任何一种能够引起图像呈现效果变化的图像处理方法均可以纳入本发明中增强处理的范畴。
在一些实施例中，训练集可以包括分解系数及其对应的增强系数、或者样本图像及其对应的增强后的图像。
在一些实施例中，当高斯子图像G3 j(0<＝j<＝n)、拉普拉斯子图像L3 j(0<＝j<＝(n-1))为样本图像G3的分解系数时，对拉普拉斯子图像L3 j进行增强处理，得到增强系数L3 j’(0<＝j<＝(n-1))和G3 j’(0<＝j<＝n)。训练集可以包括高斯子图像G3 j(0<＝j<＝n)、拉普拉斯子图像L3 j(0<＝j<＝(n-1))、增强系数L3 j’(0<＝j<＝(n-1))和G3 j’(0<＝j<＝n)。
在一些实施例中，当拉普拉斯子图像L3 j(0<＝j<＝(n-1))为样本图像G3的分解系数时，对拉普拉斯子图像L3 j进行增强处理，得到增强系数L3 j’(0<＝j<＝(n-1))。训练集可以包括拉普拉斯子图像L3 j(0<＝j<＝(n-1))、增强系数L3 j’(0<＝j<＝(n-1))。
在一些实施例中，当子图像LL4 k、HL4 k、LH4 k以及HH4 k(1<＝k)等为样本图像G4的分解系数时，对子图像LL4 k、HL4 k、LH4 k以及HH4 k的一个或者多个进行增强处理，得到对应的增强系数LL4 k’、HL4 k’、LH4 k’、HH4 k’。训练集可以包括子图像LL4 k、HL4 k、LH4 k以及HH4 k(1<＝k)对应的增强系数LL4 k’、HL4 k’、LH4 k’、HH4 k’。
需要注意的是，以上描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可以在不背离这一原理的情况下，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。
本申请实施例可能带来的有益效果包括但不限于：(1)通过对样本图像和经过图像增强处理的样本图像进行机器学习，获得系统增强模型，从而可以通过系统增强模型对每张图片进行单独的自适应增强处理，降低了调节增强效果的难度，提高了图像质量。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。
Claims (12)
1.一种图像增强方法，其特征在于，所述方法包括：
获取原始图像；
对所述原始图像进行分解，得到所述原始图像的多个分解系数；
利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数；
将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像；
所述机器学习模型基于以下训练方法获得：
获取训练集，所述训练集中包括多个样本对；其中，样本对包括样本图像的多个分解系数和所述样本图像对应的增强图像的多个分解系数；
利用所述训练集对初始机器学习模型进行训练，获得所述机器学习模型。
2.如权利要求1所述的方法，其特征在于，所述样本图像对应的增强图像通过对所述样本图像进行增强处理得到，所述增强处理包括：
直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理。
3.如权利要求1所述的方法，其特征在于，所述机器学习模型为深度学习模型。
4.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行分解，得到所述原始图像的多个分解系数，还包括：
采用多分辨率分析方法对所述原始图像进行分解，得到所述原始图像的多个分解系数。
5.如权利要求4所述的方法，其特征在于，所述多分辨率分析方法包括：
高斯-拉普拉斯金字塔分解方法或小波分解方法。
6.一种图像增强系统，其特征在于，所述系统包括：
获取模块，用于获取原始图像；
分解模块，用于对所述原始图像进行分解，得到所述原始图像的多个分解系数；
增强模块，用于利用机器学习模型对所述多个分解系数中的至少一个进行增强处理，获得至少一个增强系数；
重构模块，用于将包括至少一个增强系数的多个分解系数进行重构，获得所述原始图像对应的增强图像；
训练模块，用于获取训练集，所述训练集中包括多个样本对；其中，样本对包括样本图像的多个分解系数和所述样本图像对应的增强图像的多个分解系数；利用所述训练集对初始机器学习模型进行训练，获得所述机器学习模型。
7.如权利要求6所述的系统，其特征在于，所述样本图像对应的增强图像通过对所述样本图像进行增强处理得到，所述增强处理包括直方图均衡化方法、伽马变换方法、指数图像增强方法、对数图像增强方法中的一种或多种组合的处理。
8.如权利要求6所述的系统，其特征在于，所述机器学习模型为深度学习模型。
9.如权利要求6所述的系统，其特征在于，所述分解模块还用于采用多分辨率分析方法对所述原始图像进行分解，得到所述原始图像的多个分解系数。
10.如权利要求9所述的系统，其特征在于，所述多分辨率分析方法包括：高斯-拉普拉斯金字塔分解方法或小波分解方法。
11.一种图像增强装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；
所述至少一个存储器用于存储计算机指令；
所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～5中任意一项所述的方法 。
12.一种计算机可存储介质，其特征在于，所述存储介质存储有计算机指令，当所述计算机指令中的至少部分指令被处理器执行时，实现如权利要求1～5中任意一项所述的方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811564078.0A CN109658354B (zh) | 2018-12-20 | 2018-12-20 | 一种图像增强方法和系统 |
| PCT/CN2019/089388 WO2019228482A1 (en) | 2018-05-30 | 2019-05-30 | Systems and methods for image processing |
| EP19810381.4A EP3785222B1 (en) | 2018-05-30 | 2019-05-30 | Systems and methods for image processing |
| US17/106,176 US11475569B2 (en) | 2018-05-30 | 2020-11-29 | Systems and methods for image processing |
| US18/047,267 US12100157B2 (en) | 2018-05-30 | 2022-10-17 | Systems and methods for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811564078.0A CN109658354B (zh) | 2018-12-20 | 2018-12-20 | 一种图像增强方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658354A CN109658354A (zh) | 2019-04-19 |
| CN109658354B true CN109658354B (zh) | 2022-02-08 |
Family
ID=66115575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811564078.0A Active CN109658354B (zh) | 2018-05-30 | 2018-12-20 | 一种图像增强方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658354B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019228482A1 (en) * | 2018-05-30 | 2019-12-05 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
| CN110379414B (zh) * | 2019-07-22 | 2021-12-03 | 出门问问(苏州)信息科技有限公司 | 声学模型增强训练方法、装置、可读存储介质及计算设备 |
| CN111192224B (zh) * | 2020-01-13 | 2024-03-19 | 北京联合大学 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
| CN111311704B (zh) * | 2020-01-21 | 2024-07-26 | 上海联影智能医疗科技有限公司 | 图像重建方法、装置、计算机设备和存储介质 |
| CN112991236B (zh) * | 2021-05-20 | 2021-08-13 | 南京甄视智能科技有限公司 | 一种基于模板的图像增强方法及装置 |
| CN113822818B (zh) * | 2021-09-28 | 2022-08-12 | 合肥的卢深视科技有限公司 | 散斑提取方法、装置、电子设备及存储介质 |
| CN113660444A (zh) * | 2021-10-19 | 2021-11-16 | 杭州太美星程医药科技有限公司 | 图像生成方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345732A (zh) * | 2013-07-26 | 2013-10-09 | 电子科技大学 | 基于Contourlet变换的PCNN图像增强算法及装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4837365B2 (ja) * | 2005-11-16 | 2011-12-14 | オリンパス株式会社 | 画像処理システム、画像処理プログラム |
| US8144153B1 (en) * | 2007-11-20 | 2012-03-27 | Lucasfilm Entertainment Company Ltd. | Model production for animation libraries |
| CN101609549B (zh) * | 2009-07-24 | 2011-08-10 | 河海大学常州校区 | 视频模糊图像的多尺度几何分析超分辨处理方法 |
| JP6303816B2 (ja) * | 2014-05-28 | 2018-04-04 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| CN104616249B (zh) * | 2014-11-24 | 2018-01-30 | 南京信息工程大学 | 一种基于曲率变分的小波变换图像去噪方法 |
| CN105574820A (zh) * | 2015-12-04 | 2016-05-11 | 南京云石医疗科技有限公司 | 一种基于深度学习的自适应超声图像增强方法 |
| CN106991648B (zh) * | 2017-04-10 | 2024-01-02 | 中国石油大学(华东) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 |
| CN108198147B (zh) * | 2018-01-02 | 2021-09-14 | 昆明理工大学 | 一种基于判别字典学习的多源图像融合去噪的方法 |
| CN108830813B (zh) * | 2018-06-12 | 2021-11-09 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN108876741B (zh) * | 2018-06-22 | 2021-08-24 | 中国矿业大学(北京) | 一种复杂光照条件下的图像增强方法 |
| CN108830816B (zh) * | 2018-06-27 | 2020-12-04 | 厦门美图之家科技有限公司 | 图像增强方法及装置 |
-
2018
- 2018-12-20 CN CN201811564078.0A patent/CN109658354B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345732A (zh) * | 2013-07-26 | 2013-10-09 | 电子科技大学 | 基于Contourlet变换的PCNN图像增强算法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度卷积神经网络的低照度图像增强;马红强 等;《光学学报》;20181007;第39卷(第2期);第0210004-1-0210004-10页，正文摘要、第3.1-3.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658354A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658354B (zh) | 一种图像增强方法和系统 | |
| Zou et al. | Sdwnet: A straight dilated network with wavelet transformation for image deblurring | |
| CN110033003B (zh) | 图像分割方法和图像处理装置 | |
| CN110060313B (zh) | 一种图像伪影校正方法和系统 | |
| US10319076B2 (en) | Producing higher-quality samples of natural images | |
| McDonagh et al. | Context-sensitive super-resolution for fast fetal magnetic resonance imaging | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| Kudo et al. | Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval | |
| Tian et al. | Improving in vivo human cerebral cortical surface reconstruction using data-driven super-resolution | |
| US20240161251A1 (en) | Image denoising method and apparatus based on wavelet high-frequency channel synthesis | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| Li et al. | Multi-scale residual denoising GAN model for producing super-resolution CTA images | |
| Dinh | A novel approach using the local energy function and its variations for medical image fusion | |
| El-Shafai et al. | Improving traditional method used for medical image fusion by deep learning approach-based convolution neural network | |
| Rousseau et al. | A groupwise super-resolution approach: application to brain MRI | |
| Zhang et al. | 3d cross-scale feature transformer network for brain mr image super-resolution | |
| CN109949321A (zh) | 基于三维Unet网络的脑部核磁共振图像组织分割方法 | |
| CN117541475A (zh) | 一种图像超分辨率方法、装置、系统及介质 | |
| CN111462004B (zh) | 图像增强方法和装置、计算机设备、存储介质 | |
| Zeng et al. | MG-CNFNet: A multiple grained channel normalized fusion networks for medical image deblurring | |
| Tumakov et al. | Elimination of defects in mammograms caused by a malfunction of the device matrix | |
| Liu et al. | CNN-Enhanced graph attention network for hyperspectral image super-resolution using non-local self-similarity | |
| Chiu et al. | Integrating DeblurGAN and CNN to improve the accuracy of motion blur X-Ray image classification | |
| CN112561802B (zh) | 连续序列图像的插值方法、插值模型训练方法及其系统 | |
| Dumitrescu et al. | Methods for improving image quality for contour and textures analysis using new wavelet methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co., Ltd Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |