CN105447824B - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN105447824B CN105447824B CN201410426198.XA CN201410426198A CN105447824B CN 105447824 B CN105447824 B CN 105447824B CN 201410426198 A CN201410426198 A CN 201410426198A CN 105447824 B CN105447824 B CN 105447824B
- Authority
- CN
- China
- Prior art keywords
- resolution
- edge
- dictionary
- image block
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 5
- 239000012141 concentrate Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理方法及装置。该方法包括：依据图片集生成通用字典，将图片集分成显著训练集和边缘训练集，依据显著训练集生成显著字典，依据所述边缘训练集生成边缘字典，所述图片集包括同一物体的多张图片；将所述同一物体的待处理图像分成显著区域、边缘区域和剩余区域；依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域，且所述高分辨率显著区域、所述高分辨率边缘区域和所述高分辨率剩余区域构成目标高分辨率图像。本发明实施例对图片的各个区域都进行了相应的高分辨率处理，使得处理后的图片的分辨率显著提高。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法及装置。
背景技术
在图像处理技术中，经常需要将低分辨率图像重建出对应的高分辨率图像。
现有技术将同一图像的多张图片分别划分成大小相同的多个图像块，从多个图像块中随机选取部分图像块构成样本集，每个图像块是样本集中的一个样本，通过样本集最小化目标函数得到低分辨率字典Dl和高分辨率字典Dh；将待处理的低分辨率图像同样分成大小相同的多个目标图像块，依据一个目标图像块和低分辨率字典Dl得到稀疏系数α,由α和Dh得到该目标图像块对应的高分辨率目标图像块，由每个目标图像块对应的高分辨率目标图像块构成高分辨率目标图，实现低分辨率图像重建出对应的高分辨率图像。
但是从多个图像块中随机选取部分图像块构成样本集，会造成样本集具有很大随机性，可能有些区域的特征不能被较好地表达，导致重建出的高分辨率图像的分辨率没有显著提高。
发明内容
本发明实施例提供一种图像处理方法及装置，以使重建出的高分辨率图像的分辨率显著提高。
本发明实施例的一个方面是提供一种图像处理方法，包括：
依据图片集生成通用字典，将所述图片集分成显著训练集和边缘训练集，依据所述显著训练集生成显著字典，依据所述边缘训练集生成边缘字典,所述图片集包括同一物体的多张图片；
将所述同一物体的待处理图像分成显著区域、边缘区域和剩余区域；
依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域，且所述高分辨率显著区域、所述高分辨率边缘区域和所述高分辨率剩余区域构成目标高分辨率图像。
本发明实施例的另一个方面是提供一种图像处理装置，包括：
训练模块，用于依据图片集生成通用字典，将所述图片集分成显著训练集和边缘训练集，依据所述显著训练集生成显著字典，依据所述边缘训练集生成边缘字典，所述图片集包括同一物体的多张图片；
图像分割模块，用于将所述同一物体的待处理图像分成显著区域、边缘区域和剩余区域；
处理模块，用于依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域，且所述高分辨率显著区域、所述高分辨率边缘区域和所述高分辨率剩余区域构成目标高分辨率图像。本发明实施例提供的图像处理方法及装置，通过将图片集分成显著训练集和边缘训练集，利用字典学习方法依据图片集生成通用字典，依据显著训练集生成显著字典，依据边缘训练集生成边缘字典，并将待处理图像分成显著区域、边缘区域和剩余区域，通过显著区域与显著字典生成高分辨率显著区域，通过边缘区域与边缘字典生成高分辨率边缘区域，通过剩余区域与通用字典生成高分辨率剩余区域，由高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成目标高分辨率图像，即将图片集进行区域划分以得到不同区域的字典，将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高，即采用本实施例的图像处理方法，由于对图片的各个区域都进行了相应的高分辨率处理，使得处理后的图片的分辨率显著提高。
附图说明
图1为本发明实施例提供的图像处理方法流程图；
图2为本发明另一实施例提供的图像处理方法流程图；
图3为本发明实施例提供的图像处理装置结构图；
图4为本发明另一实施例提供的图像处理装置结构图；
图5为本发明另一实施例提供的图像处理装置结构图。
具体实施方式
图1为本发明实施例提供的图像处理方法流程图。本发明实施例针对低分辨率图像进行处理以重建对应的高分辨率图像，具体的图像处理方法步骤如下：
步骤S101、依据图片集生成通用字典，将图片集分成显著训练集和边缘训练集，依据显著训练集生成显著字典，依据边缘训练集生成边缘字典；
图片集包括同一物体不同角度的图片，即图片集包括同一物体的多张图片，利用字典学习方法依据图片集生成通用字典；另外，针对每张图片识别出显著区域和边缘区域，图片集中各图片分别对应的显著区域构成显著训练集，图片集中各图片分别对应的边缘区域构成边缘训练集；利用字典学习方法依据显著训练集生成显著字典，依据边缘训练集生成边缘字典。
步骤S102、将待处理图像分成显著区域、边缘区域和剩余区域；
对于待处理图像，将其分成显著区域、边缘区域和剩余区域，显著区域是显著度超过阈值的像素点构成的区域，边缘区域是依据边缘检测算法检测出的图像边缘周围预定宽度的区域，剩余区域是待处理图像中除显著区域、边缘区域之外的区域。
步骤S103、依据显著区域与显著字典生成高分辨率显著区域，依据边缘区域与边缘字典生成高分辨率边缘区域，依据剩余区域与通用字典生成高分辨率剩余区域，且高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成目标高分辨率图像。
针对待处理图像中的显著区域，利用显著字典生成高分辨率显著区域；针对待处理图像中的边缘区域，利用边缘字典生成高分辨率边缘区域；针对待处理图像中的剩余区域，利用通用字典生成高分辨率剩余区域；高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成最终重建的目标高分辨率图像。
该待处理图像是图片集外该物体对应的新的图片。
本发明实施例通过将图片集分成显著训练集和边缘训练集，利用字典学习方法依据图片集生成通用字典，依据显著训练集生成显著字典，依据边缘训练集生成边缘字典，并将待处理图像分成显著区域、边缘区域和剩余区域，通过显著区域与显著字典生成高分辨率显著区域，通过边缘区域与边缘字典生成高分辨率边缘区域，通过剩余区域与通用字典生成高分辨率剩余区域，由高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成目标高分辨率图像，即将图片集进行区域划分以得到不同区域的字典，将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高，即采用本实施例的图像处理方法，由于对图片的各个区域都进行了相应的高分辨率处理，使得处理后的图片的分辨率显著提高。
在上述实施例的基础上，通用字典包括通用低分辨率字典和通用高分辨率字典，显著字典包括显著低分辨率字典和显著高分辨率字典，边缘字典包括边缘低分辨率字典和边缘高分辨率字典。
依据图片集生成通用字典包括：将图片集中的各图片分成多个相同大小的图像块，各图片分别对应的多个图像块构成图像块集；从图像块集中选取n个图像块构成第一样本集XG，n＞1，从第一样本集XG中选取m个图像块生成矩阵n≥m≥1，依据矩阵通过第一目标函数获得通用高分辨率字典其中αG表示第一稀疏系数，λ表示初始系数；将m个图像块分别进行放大处理生成矩阵依据矩阵通过第一目标函数获得通用低分辨率字典
通用字典包括通用低分辨率字典和通用高分辨率字典，则依据图片集生成通用字典的目的就是要得出通用低分辨率字典和通用高分辨率字典，具体过程为将图片集中的各图片分成多个图像块，例如图像块大小为3×3，各图片分别对应的多个3×3大小的图像块构成图像块集，从图像块集中选取n个图像块构成第一样本集XG，n＞1，是XG的n个样本，每个样本对应一个列向量，列向量的元素值与图像块中像素点的像素值对应，由于图像块大小为3×3,则每个样本表示的列向量包括9个元素值。
从中随机选取m个样本即m个列向量，m小于等于n，由m个列向量组成矩阵矩阵大小为9×m，将带到第一目标函数中求得第一稀疏系数αG，αG是m×1的列向量，将αG带到第一目标函数中求得新的依据新的求出新的αG，依次迭代直到的值收敛，收敛的就是通用高分辨率字典其中λ是已知的初始系数。
将m个图像块分别进行放大处理，例如图像块大小为3×3，进行放大处理后变成6×6，每个图像块对应的列向量将包括36个元素值，则放大处理后由m个图像块分别对应的列向量构成的矩阵大小为36×m，将带到第一目标函数中求得第一稀疏系数αG，αG是m×1的列向量，将αG带到第一目标函数中求得新的依据新的求出新的αG，依次迭代直到的值收敛，收敛的就是通用低分辨率字典其中λ是已知的初始系数。
依据显著训练集生成显著字典包括：将显著训练集中的各显著区域分成多个显著图像块，各显著区域分别对应的多个显著图像块构成显著图像块集；从显著图像块集中选取n个显著图像块构成显著样本集XS，n＞1，从显著样本集XS中选取m个显著图像块生成矩阵n≥m≥1，依据矩阵通过第二目标函数获得显著高分辨率字典其中αS表示第二稀疏系数，λ表示初始系数；将m个显著图像块分别进行放大处理生成矩阵依据矩阵通过第二目标函数获得显著低分辨率字典
显著字典包括显著低分辨率字典和显著高分辨率字典，则依据显著训练集生成显著字典的目的就是要得出著低分辨率字典和显著高分辨率字典，具体计算著低分辨率字典和显著高分辨率字典的过程与计算通用低分辨率字典和通用高分辨率字典同理，此处不再赘述。
依据边缘训练集生成边缘字典包括：将边缘训练集中的各边缘区域分成多个边缘图像块，各边缘区域分别对应的多个边缘图像块构成边缘图像块集；从边缘图像块集中选取n个边缘图像块构成边缘样本集XE，n＞1，从边缘样本集XE中选取m个边缘图像块生成矩阵n≥m≥1，依据矩阵通过第三目标函数获得边缘高分辨率字典其中αE表示第三稀疏系数，λ表示初始系数；将m个边缘图像块分别进行放大处理生成矩阵依据矩阵通过第三目标函数获得边缘低分辨率字典
边缘字典包括边缘低分辨率字典和边缘高分辨率字典，则依据边缘训练集生成边缘字典的目的就是要得出边缘分辨率字典和边缘高分辨率字典，具体计算边缘分辨率字典和边缘高分辨率字典的过程与计算通用低分辨率字典和通用高分辨率字典同理，此处不再赘述。
本发明实施例将图片集进行区域划分以得到不同区域的字典，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高。
在上述实施例的基础上，图像块、显著图像块和边缘图像块的大小相同；若图像块大小为3×3，则显著图像块和边缘图像块的大小也是3×3。
依据显著区域与显著字典生成高分辨率显著区域，依据边缘区域与边缘字典生成高分辨率边缘区域，依据剩余区域与通用字典生成高分辨率剩余区域包括：依据显著区域与显著低分辨率字典获得第一稀疏系数，通过第一稀疏系数与显著高分辨率字典获得高分辨率显著区域；依据边缘区域与边缘低分辨率字典获得第二稀疏系数，通过第二稀疏系数与边缘高分辨率字典获得高分辨率边缘区域；依据剩余区域与剩余低分辨率字典获得第三稀疏系数，通过第三稀疏系数与剩余高分辨率字典获得高分辨率剩余区域。
通过步骤S102已将待处理图像分成显著区域、边缘区域和剩余区域，则依据显著区域与显著字典生成高分辨率显著区域，依据边缘区域与边缘字典生成高分辨率边缘区域，依据剩余区域与通用字典生成高分辨率剩余区域，具体实现过程为将显著区域划分为3×3大小的待处理显著图像块，此处待处理显著图像块的划分要与上述实施例中显著图像块的划分保持一致，并将3×3大小的待处理显著图像块进行放大处理获得6×6大小的待处理显著图像块,由6×6大小的待处理显著图像块中像素点的像素值构成列向量X1，依据计算获得第一稀疏系数值αS，通过上述的显著高分辨率字典与αS相乘获得列向量通过像素值是的元素值的像素点获得高分辨率显著图像块，显著区域对应的多个高分辨率显著图像块构成高分辨率显著区域。
将边缘区域划分为3×3大小的待处理边缘图像块，此处待处理边缘图像块的划分要与上述实施例中边缘图像块的划分保持一致，并将3×3大小的待处理边缘图像块进行放大处理获得6×6大小的待处理边缘图像块，由6×6大小的待处理边缘图像块中像素点的像素值构成列向量X2，依据计算获得第二稀疏系数值αE，通过上述的边缘分辨率字典与αE相乘获得列向量通过像素值是的元素值的像素点获得高分辨率边缘图像块，边缘区域对应的多个高分辨率边缘图像块构成高分辨率边缘区域。
将剩余区域划分为3×3大小的待处理剩余图像块，此处待处理剩余图像块的划分要与上述实施例中图像块的划分保持一致，并将3×3大小的待处理剩余图像块进行放大处理获得6×6大小的待处理剩余图像块，由6×6大小的待处理剩余图像块中像素点的像素值构成列向量X3，依据计算获得第三稀疏系数值αG，通过上述的通用高分辨率字典与αG相乘获得列向量通过像素值是的元素值的像素点获得高分辨率剩余图像块，剩余区域对应的多个高分辨率剩余图像块构成高分辨率剩余区域。
将图片集分成显著训练集和边缘训练集包括：将图片集中各图片上显著度超过阈值的像素点分别构成的区域作为显著训练集；依据边缘检测算法分别检测图片集中各图片的图像边缘，选取图像边缘周围预定宽度的区域作为边缘区域，各图片分别对应的边缘区域构成边缘训练集。
本发明实施例还提供另外一种对待处理图像的处理方式，具体为将待处理图像直接分成多个3×3大小的图像块，针对每个图像块判断该图像块属于显著区域、边缘区域或剩余区域，若判断获知该图像块属于显著区域，则将该图像块进行放大处理获得6×6大小的待处理显著图像块X1，依据计算获得第一稀疏系数值αS，并通过获得高分辨率显著图像块；若判断获知该图像块属于边缘区域，则将该图像块进行放大处理获得6×6大小的待处理边缘图像块X2，依据计算获得第二稀疏系数值αE，并通过获得高分辨率边缘图像块；若判断获知该图像块属于剩余区域，则将该图像块进行放大处理获得6×6大小的待处理剩余图像块X3，依据计算获得第三稀疏系数值αG，并通过获得高分辨率剩余图像块；若判断获知该图像块既属于边缘区域又属于显著区域，则以边缘区域的处理方式为准。
本发明实施例将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高。
图2为本发明另一实施例提供的图像处理方法流程图；本发明实施例提供的图像处理方法步骤如下：
步骤S201、输入图片集；
图片集包括同一物体不同角度的图片。
步骤S202、将图片集中的各图片分成多个图像块构成图像块集,从图像块集中选取n个图像块构成样本集；
步骤S203、依据样本集进行通用字典学习，生成通用字典；
步骤S204、从图片集分出显著训练集，将显著训练集中的各显著图片分成多个显著图像块构成显著图像块集，从显著图像块集中选取n个显著图像块构成显著样本集；
步骤S205、依据显著样本集进行显著字典学习，生成显著字典；
步骤S206、从图片集分出边缘训练集，将边缘训练集中的各边缘图片分成多个边缘图像块构成边缘图像块集，从边缘图像块集中选取n个边缘图像块构成边缘样本集；
步骤S207、依据边缘样本集进行边缘字典学习，生成边缘字典；
步骤S202-S207与上述实施例中通用字典、显著字典和边缘字典的生成过程一致，此处不再赘述。
步骤S208、将待处理图像分成显著区域、边缘区域和剩余区域；依据显著区域与显著低分辨率字典获得第一稀疏系数，通过第一稀疏系数与显著高分辨率字典获得高分辨率显著区域；依据边缘区域与边缘低分辨率字典获得第二稀疏系数，通过第二稀疏系数与边缘高分辨率字典获得高分辨率边缘区域；依据剩余区域与剩余低分辨率字典获得第三稀疏系数，通过第三稀疏系数与剩余高分辨率字典获得高分辨率剩余区域；
将待处理图像进行显著区域划分和边缘检测得出显著区域、边缘区域，利用显著字典对显著区域的处理、边缘字典对边缘区域的处理和通用字典对剩余区域的处理过程与上述实施例保证一致，此处不再赘述。
步骤S209、将高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域组合构成目标高分辨率图像。
最终由高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域组合构成目标高分辨率图像。
本发明实施例通过将图片集分成显著训练集和边缘训练集，利用字典学习方法依据图片集生成通用字典，依据显著训练集生成显著字典，依据边缘训练集生成边缘字典，并将待处理图像分成显著区域、边缘区域和剩余区域，通过显著区域与显著字典生成高分辨率显著区域，通过边缘区域与边缘字典生成高分辨率边缘区域，通过剩余区域与通用字典生成高分辨率剩余区域，由高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成目标高分辨率图像，即将图片集进行区域划分以得到不同区域的字典，将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高，即采用本实施例的图像处理方法，由于对图片的各个区域都进行了相应的高分辨率处理，使得处理后的图片的分辨率显著提高。
图3为本发明实施例提供的图像处理装置结构图。本发明实施例提供的图像处理装置可以执行图像处理方法实施例提供的处理流程，如图3所示，图像处理装置40包括训练模块41、图像分割模块42和处理模块43，其中，训练模块41用于依据图片集生成通用字典，将所述图片集分成显著训练集和边缘训练集，依据所述显著训练集生成显著字典，依据所述边缘训练集生成边缘字典，所述图片集包括同一物体的多张图片；图像分割模块42用于将所述同一物体的待处理图像分成显著区域、边缘区域和剩余区域；处理模块43用于依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域，且所述高分辨率显著区域、所述高分辨率边缘区域和所述高分辨率剩余区域构成目标高分辨率图像。
本发明实施例通过将图片集分成显著训练集和边缘训练集，利用字典学习方法依据图片集生成通用字典，依据显著训练集生成显著字典，依据边缘训练集生成边缘字典，并将待处理图像分成显著区域、边缘区域和剩余区域，通过显著区域与显著字典生成高分辨率显著区域，通过边缘区域与边缘字典生成高分辨率边缘区域，通过剩余区域与通用字典生成高分辨率剩余区域，由高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成目标高分辨率图像，即将图片集进行区域划分以得到不同区域的字典，将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高，即采用本实施例的图像处理方法，由于对图片的各个区域都进行了相应的高分辨率处理，使得处理后的图片的分辨率显著提高。
图4为本发明另一实施例提供的图像处理装置结构图。本发明实施例提供的图像处理装置可以执行图像处理方法实施例提供的处理流程，在图3的基础上，所述通用字典包括通用低分辨率字典和通用高分辨率字典，所述显著字典包括显著低分辨率字典和显著高分辨率字典，所述边缘字典包括边缘低分辨率字典和边缘高分辨率字典。
训练模块41包括第一分割单元411、通用高分辨率字典生成单元412和通用低分辨率字典生成单元413，其中，第一分割单元411用于将所述图片集中的各图片分成多个相同大小的图像块，所述各图片分别对应的多个图像块构成图像块集；通用高分辨率字典生成单元412用于从所述图像块集中选取n个图像块构成样本集XG，n＞1，从所述样本集XG中选取m个图像块生成矩阵n≥m≥1，依据矩阵通过第一目标函数获得通用高分辨率字典其中αG表示第一稀疏系数，λ表示初始系数；通用低分辨率字典生成单元413用于将所述m个图像块分别进行放大处理生成矩阵依据矩阵通过所述第一目标函数获得通用低分辨率字典
训练模块41包括第二分割单元414、显著高分辨率字典生成单元415和显著低分辨率字典生成模块416，其中，第二分割单元414用于将所述显著训练集中的各显著区域分成多个显著图像块，所述各显著区域分别对应的多个显著图像块构成显著图像块集；显著高分辨率字典生成单元415用于从所述显著图像块集中选取n个显著图像块构成显著样本集XS，n＞1，从所述显著样本集XS中选取m个显著图像块生成矩阵n≥m≥1，依据矩阵通过第二目标函数获得显著高分辨率字典其中αS表示第二稀疏系数，λ表示初始系数；显著低分辨率字典生成模块416用于将所述m个显著图像块分别进行放大处理生成矩阵依据矩阵通过所述第二目标函数获得显著低分辨率字典
训练模块41包括第三分割单元417、边缘高分辨率字典生成单元418和边缘低分辨率字典生成单元419，其中，第三分割单元417用于将所述边缘训练集中的各边缘区域分成多个边缘图像块，所述各边缘区域分别对应的多个边缘图像块构成边缘图像块集；边缘高分辨率字典生成单元418从所述边缘图像块集中选取n个边缘图像块构成边缘样本集XE，n＞1，从所述边缘样本集XE中选取m个边缘图像块生成矩阵n≥m≥1，依据矩阵通过第三目标函数获得边缘高分辨率字典其中αE表示第三稀疏系数，λ表示初始系数；边缘低分辨率字典生成单元419用于将所述m个边缘图像块分别进行放大处理生成矩阵依据矩阵通过所述第三目标函数获得边缘低分辨率字典
本发明实施例将图片集进行区域划分以得到不同区域的字典，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高。
图5为本发明另一实施例提供的图像处理装置结构图。本发明实施例提供的图像处理装置可以执行图像处理方法实施例提供的处理流程，在图4的基础上，所述图像块、所述显著图像块和所述边缘图像块的大小相同；处理模块43包括高分辨率显著区域生成单元431、高分辨率边缘区域生成单元432和高分辨率剩余区域生成单元433，其中，高分辨率显著区域生成单元431用于依据所述显著区域与所述显著低分辨率字典获得所述第一稀疏系数，通过所述第一稀疏系数与所述显著高分辨率字典获得所述高分辨率显著区域；高分辨率边缘区域生成单元432用于依据所述边缘区域与所述边缘低分辨率字典获得所述第二稀疏系数，通过所述第二稀疏系数与所述边缘高分辨率字典获得所述高分辨率边缘区域；高分辨率剩余区域生成单元433用于依据所述剩余区域与所述剩余低分辨率字典获得所述第三稀疏系数，通过所述第三稀疏系数与所述剩余高分辨率字典获得所述高分辨率剩余区域。
训练模块41还包括显著训练集生成单元420和边缘训练集生成单元421，其中，显著训练集生成单元420用于将所述图片集中所述各图片上显著度超过阈值的像素点分别构成的区域作为所述显著训练集；边缘训练集生成单元421用于依据边缘检测算法分别检测所述图片集中所述各图片的图像边缘，选取所述图像边缘周围预定宽度的区域作为边缘区域，所述各图片分别对应的边缘区域构成所述边缘训练集。
本发明实施例将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高。
综上所述，本发明实施例通过将图片集分成显著训练集和边缘训练集，利用字典学习方法依据图片集生成通用字典，依据显著训练集生成显著字典，依据边缘训练集生成边缘字典，并将待处理图像分成显著区域、边缘区域和剩余区域，通过显著区域与显著字典生成高分辨率显著区域，通过边缘区域与边缘字典生成高分辨率边缘区域，通过剩余区域与通用字典生成高分辨率剩余区域，由高分辨率显著区域、高分辨率边缘区域和高分辨率剩余区域构成目标高分辨率图像，即将图片集进行区域划分以得到不同区域的字典，将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高，即采用本实施例的图像处理方法，由于对图片的各个区域都进行了相应的高分辨率处理，使得处理后的图片的分辨率显著提高；将图片集进行区域划分以得到不同区域的字典，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高；将待处理图像进行分区，针对不同区域利用对应区域的字典进行高分辨率区域重建，相对于不划分区域随机选取部分图像块构成样本集进行字典学习得出字典，且对待处理图像不同的区域均利用该字典进行高分辨率重建，使重建出的高分辨率图像的分辨率显著提高。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
依据图片集生成通用字典，将所述图片集分成显著训练集和边缘训练集，依据所述显著训练集生成显著字典，依据所述边缘训练集生成边缘字典，所述图片集包括同一物体的多张图片；
将所述同一物体的待处理图像分成显著区域、边缘区域和剩余区域；
依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域，且所述高分辨率显著区域、所述高分辨率边缘区域和所述高分辨率剩余区域构成目标高分辨率图像；
所述依据图片集生成通用字典包括：
将所述图片集中的各图片分成多个相同大小的图像块，所述各图片分别对应的多个图像块构成图像块集；
从所述图像块集中选取n个图像块构成样本集XG，n＞1，从所述样本集XG中选取m个图像块生成矩阵n≥m≥1，依据矩阵通过第一目标函数获得通用高分辨率字典其中αG表示第一稀疏系数，λ表示初始系数；
将所述m个图像块分别进行放大处理生成矩阵依据矩阵通过所述第一目标函数获得通用低分辨率字典
2.根据权利要求1所述的方法，其特征在于，所述依据所述显著训练集生成显著字典包括：
将所述显著训练集中的各显著区域分成多个显著图像块，所述各显著区域分别对应的多个显著图像块构成显著图像块集；
从所述显著图像块集中选取n个显著图像块构成显著样本集XS，n＞1，从所述显著样本集XS中选取m个显著图像块生成矩阵n≥m≥1，依据矩阵通过第二目标函数获得显著高分辨率字典其中αS表示第二稀疏系数，λ表示初始系数；
将所述m个显著图像块分别进行放大处理生成矩阵依据矩阵通过所述第二目标函数获得显著低分辨率字典
3.根据权利要求2所述的方法，其特征在于，所述依据所述边缘训练集生成边缘字典包括：
将所述边缘训练集中的各边缘区域分成多个边缘图像块，所述各边缘区域分别对应的多个边缘图像块构成边缘图像块集；
从所述边缘图像块集中选取n个边缘图像块构成边缘样本集XE，n＞1，从所述边缘样本集XE中选取m个边缘图像块生成矩阵n≥m≥1，依据矩阵通过第三目标函数获得边缘高分辨率字典其中αE表示第三稀疏系数，λ表示初始系数；
将所述m个边缘图像块分别进行放大处理生成矩阵依据矩阵通过所述第三目标函数获得边缘低分辨率字典
4.根据权利要求3所述的方法，其特征在于，所述图像块、所述显著图像块和所述边缘图像块的大小相同；
所述依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域包括：
依据所述显著区域与所述显著低分辨率字典获得所述第一稀疏系数，通过所述第一稀疏系数与所述显著高分辨率字典获得所述高分辨率显著区域；
依据所述边缘区域与所述边缘低分辨率字典获得所述第二稀疏系数，通过所述第二稀疏系数与所述边缘高分辨率字典获得所述高分辨率边缘区域；
依据所述剩余区域与剩余低分辨率字典获得所述第三稀疏系数，通过所述第三稀疏系数与剩余高分辨率字典获得所述高分辨率剩余区域。
5.根据权利要求4所述的方法，其特征在于，所述将所述图片集分成显著训练集和边缘训练集包括：
将所述图片集中所述各图片上显著度超过阈值的像素点分别构成的区域作为所述显著训练集；
依据边缘检测算法分别检测所述图片集中所述各图片的图像边缘，选取所述图像边缘周围预定宽度的区域作为边缘区域，所述各图片分别对应的边缘区域构成所述边缘训练集。
6.一种图像处理装置，其特征在于，包括：
训练模块，用于依据图片集生成通用字典，将所述图片集分成显著训练集和边缘训练集，依据所述显著训练集生成显著字典，依据所述边缘训练集生成边缘字典，所述图片集包括同一物体的多张图片；
图像分割模块，用于将所述同一物体的待处理图像分成显著区域、边缘区域和剩余区域；
处理模块，用于依据所述显著区域与所述显著字典生成高分辨率显著区域，依据所述边缘区域与所述边缘字典生成高分辨率边缘区域，依据所述剩余区域与所述通用字典生成高分辨率剩余区域，且所述高分辨率显著区域、所述高分辨率边缘区域和所述高分辨率剩余区域构成目标高分辨率图像；
所述训练模块包括：
第一分割单元，用于将所述图片集中的各图片分成多个相同大小的图像块，所述各图片分别对应的多个图像块构成图像块集；
通用高分辨率字典生成单元，用于从所述图像块集中选取n个图像块构成样本集XG，n＞1，从所述样本集XG中选取m个图像块生成矩阵n≥m≥1，依据矩阵通过第一目标函数获得通用高分辨率字典其中αG表示第一稀疏系数，λ表示初始系数；
通用低分辨率字典生成单元，用于将所述m个图像块分别进行放大处理生成矩阵依据矩阵通过所述第一目标函数获得通用低分辨率字典
7.根据权利要求6所述的图像处理装置，其特征在于，所述训练模块包括：
第二分割单元，用于将所述显著训练集中的各显著区域分成多个显著图像块，所述各显著区域分别对应的多个显著图像块构成显著图像块集；
显著高分辨率字典生成单元，用于从所述显著图像块集中选取n个显著图像块构成显著样本集XS，n＞1，从所述显著样本集XS中选取m个显著图像块生成矩阵n≥m≥1，依据矩阵通过第二目标函数获得显著高分辨率字典其中αS表示第二稀疏系数，λ表示初始系数；
显著低分辨率字典生成模块，用于将所述m个显著图像块分别进行放大处理生成矩阵依据矩阵通过所述第二目标函数获得显著低分辨率字典
8.根据权利要求7所述的图像处理装置，其特征在于，所述训练模块包括：
第三分割单元，用于将所述边缘训练集中的各边缘区域分成多个边缘图像块，所述各边缘区域分别对应的多个边缘图像块构成边缘图像块集；
边缘高分辨率字典生成单元，从所述边缘图像块集中选取n个边缘图像块构成边缘样本集XE，n＞1，从所述边缘样本集XE中选取m个边缘图像块生成矩阵n≥m≥1，依据矩阵通过第三目标函数获得边缘高分辨率字典其中αE表示第三稀疏系数，λ表示初始系数；
边缘低分辨率字典生成单元，用于将所述m个边缘图像块分别进行放大处理生成矩阵依据矩阵通过所述第三目标函数获得边缘低分辨率字典
9.根据权利要求8所述的图像处理装置，其特征在于，所述图像块、所述显著图像块和所述边缘图像块的大小相同；所述处理模块包括：
高分辨率显著区域生成单元，用于依据所述显著区域与所述显著低分辨率字典获得所述第一稀疏系数，通过所述第一稀疏系数与所述显著高分辨率字典获得所述高分辨率显著区域；
高分辨率边缘区域生成单元，用于依据所述边缘区域与所述边缘低分辨率字典获得所述第二稀疏系数，通过所述第二稀疏系数与所述边缘高分辨率字典获得所述高分辨率边缘区域；
高分辨率剩余区域生成单元，用于依据所述剩余区域与剩余低分辨率字典获得所述第三稀疏系数，通过所述第三稀疏系数与剩余高分辨率字典获得所述高分辨率剩余区域。
10.根据权利要求9所述的图像处理装置，其特征在于，所述训练模块还包括：
显著训练集生成单元，用于将所述图片集中所述各图片上显著度超过阈值的像素点分别构成的区域作为所述显著训练集；
边缘训练集生成单元，用于依据边缘检测算法分别检测所述图片集中所述各图片的图像边缘，选取所述图像边缘周围预定宽度的区域作为边缘区域，所述各图片分别对应的边缘区域构成所述边缘训练集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410426198.XA CN105447824B (zh) | 2014-08-26 | 2014-08-26 | 图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410426198.XA CN105447824B (zh) | 2014-08-26 | 2014-08-26 | 图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105447824A CN105447824A (zh) | 2016-03-30 |
| CN105447824B true CN105447824B (zh) | 2018-05-15 |
Family
ID=55557958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410426198.XA Expired - Fee Related CN105447824B (zh) | 2014-08-26 | 2014-08-26 | 图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105447824B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
| CN112733682B (zh) * | 2020-12-31 | 2025-01-07 | 平安科技（深圳）有限公司 | 人流量的统计方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243711A (zh) * | 2011-06-24 | 2011-11-16 | 南京航空航天大学 | 一种基于邻域嵌套的图像超分辨率重建方法 |
| CN103617607A (zh) * | 2013-11-28 | 2014-03-05 | 天津大学 | 一种单幅图像超分辨率重建方法 |
| CN103700065A (zh) * | 2013-12-03 | 2014-04-02 | 杭州电子科技大学 | 一种特征分类学习的结构稀疏传播图像修复方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009087641A2 (en) * | 2008-01-10 | 2009-07-16 | Ramot At Tel-Aviv University Ltd. | System and method for real-time super-resolution |
-
2014
- 2014-08-26 CN CN201410426198.XA patent/CN105447824B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243711A (zh) * | 2011-06-24 | 2011-11-16 | 南京航空航天大学 | 一种基于邻域嵌套的图像超分辨率重建方法 |
| CN103617607A (zh) * | 2013-11-28 | 2014-03-05 | 天津大学 | 一种单幅图像超分辨率重建方法 |
| CN103700065A (zh) * | 2013-12-03 | 2014-04-02 | 杭州电子科技大学 | 一种特征分类学习的结构稀疏传播图像修复方法 |
Non-Patent Citations (3)
| Title |
|---|
| Context-Aware Single Image Rain Removal;De-An Huang 等;《2012 IEEE International Conference on Multimedia and Expo》;20120713;164-169 * |
| Image Super-Resolution Via Sparse Representation;Jianchao Yang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20101130;第19卷(第11期);2861-2873 * |
| 基于显著性稀疏表示的图像超分辨率算法;白蔚 等;《中国科技论文》;20140131;第9卷(第1期);摘要，第1，1.1节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105447824A (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803554B2 (en) | Image processing method and device | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| JP6266656B2 (ja) | 画像をサイズ変更するためのシステム及び方法 | |
| CN103235949B (zh) | 图像兴趣点检测方法和装置 | |
| JP2015513151A (ja) | 入力画像の階層的超解像を実行する方法及び装置 | |
| Zhu et al. | Image interpolation based on non-local geometric similarities and directional gradients | |
| CN110060286A (zh) | 一种单目深度估计方法 | |
| CN112101373B (zh) | 基于深度学习网络的对象检测方法、装置和电子设备 | |
| WO2017070841A1 (zh) | 图像处理方法和装置 | |
| CN105809182B (zh) | 一种图像分类的方法及装置 | |
| CN104680190B (zh) | 目标检测方法及装置 | |
| CN112001923B (zh) | 一种视网膜图像分割方法及装置 | |
| Wen et al. | Progressive representation recalibration for lightweight super-resolution | |
| CN101650824B (zh) | 基于共形能量的内容敏感图像缩放方法 | |
| CN105447824B (zh) | 图像处理方法及装置 | |
| KR20150099964A (ko) | 이미지 특징 추출 장치 및 방법 | |
| CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| CN104063855B (zh) | 一种基于分类字典库的超分辨率图像重构方法及装置 | |
| Liu et al. | Gradient prior dilated convolution network for remote sensing image super-resolution | |
| JP6460520B2 (ja) | 特徴記述装置、方法及びプログラム | |
| Wu et al. | Fast and improved seam carving with strip partition and neighboring probability constraints | |
| CN106651864A (zh) | 一种面向高分辨率遥感图像的分割方法 | |
| JP6361195B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
| Ahn et al. | Texture enhancement via high-resolution style transfer for single-image super-resolution | |
| CN103077396A (zh) | 一种彩色图像的向量空间特征点提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220620 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230406 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: New founder holdings development Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180515 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |