CN106778811A - 一种图像字典生成方法、图像处理方法及装置 - Google Patents
一种图像字典生成方法、图像处理方法及装置 Download PDFInfo
- Publication number
- CN106778811A CN106778811A CN201611039163.6A CN201611039163A CN106778811A CN 106778811 A CN106778811 A CN 106778811A CN 201611039163 A CN201611039163 A CN 201611039163A CN 106778811 A CN106778811 A CN 106778811A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- processed
- image block
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 404
- 239000011159 matrix material Substances 0.000 claims description 104
- 238000012545 processing Methods 0.000 claims description 87
- 230000009467 reduction Effects 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000003709 image segmentation Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 description 26
- 239000002184 metal Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像字典生成方法、图像处理方法及装置,该图像字典生成方法包括:将每一个训练图像切分成至少两个训练图像块;根据所述至少两个训练图像块在所属训练图像中的位置,确定至少两个样本位置;针对每一个样本位置,均执行:从切分成的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;将确定的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典。本发明能提高近邻训练图像块的查找效率。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种图像字典生成方法、图像处理方法及装置。
图像处理一般是指将数字图像转换为其他风格或者其他分辨率的图像,例如:将拍摄设备(相机和摄像机等)拍摄的照片中的图像(人脸或风景等)转换为素描图像,或者将低分辨率的图像转换为比较清晰的高分辨率的图像等,以满足不同用户的需求。
目前,在进行图像处理之前,往往需要将大量的训练图像切分成各个训练图像块,并将大量的训练图像切分出的各个训练图像块存储到数据库中。在图像处理过程中,对于待处理图像中每个位置的待处理图像块,都需要遍历数据库存储的训练图像块,以查找每一个待处理图像块对应的近邻训练图像块。例如:在数据库中存储有106个训练图像块,对图像A进行处理时,对于图像A中四个位置的图像块(分别为图像块a、图像块b、图像块c以及图像块d),需分别为图像块a、图像块b、图像块c以及图像块d遍历106个训练图像块,以查找其分别对应的近邻训练图像块,最后,基于近邻训练图像块,进行图像处理。
对于现有的这种图像处理方式来说,由于遍历数据库查找近邻训练图像块的过程中,有大量无关的训练图像块的干扰,造成近邻训练图像块的查找效率较低。
发明内容
本发明实施例提供了一种图像字典生成方法、图像处理方法及装置,能提高近邻训练图像块的查找效率。
第一方面,本发明实施例提供了一种图像字典生成方法,包括:
将每一个训练图像切分成至少两个训练图像块;
根据所述至少两个训练图像块在所属训练图像中的位置,确定至少两个样本位置;
针对每一个样本位置,均执行:
从切分成的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;
将确定的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典。
优选地,
该字典生成方法进一步包括:设置近邻区域;
所述确定所述样本位置对应的至少一个近邻训练图像块,包括:
以所述样本位置为中心,确定位于所述样本位置的所述近邻区域中的至少一个训练图像块;
在位于所述近邻区域中的所述至少一个训练图像块中,选择出所述至少一个近邻训练图像块。
优选地,
在所述确定所述样本位置对应的至少一个近邻训练图像块之后,在所述将确定的所述至少一个近邻训练图像块进行组合之前,进一步包括:
确定所述样本位置对应的投影矩阵;
利用所述样本位置对应的所述投影矩阵,对所述至少一个近邻训练图像块进行降维处理;
所述将确定的所述至少一个近邻训练图像块进行组合,包括:
将所述样本位置对应的降维处理后的所述至少一个训练图像块进行组合。
优选地,
所述图像字典为第一图像字典;
在所述生成与所述样本位置相对应的图像字典之后,进一步包括:
确定所述样本位置对应的投影矩阵;
利用所述样本位置对应的所述投影矩阵,对所述至少一个近邻训练图像块进行降维处理;
将所述样本位置对应的降维处理后的所述至少一个训练图像块进行组合,生成所述样本位置对应的第二图像字典。
优选地,
所述训练图像包括:照片格式的训练图像,或者素描格式的训练图像。
第二方面,本发明实施例提供了一种图像处理方法,包括:利用本发明任一实施例提供的字典生成方法形成至少一个样本位置对应的至少一个图像字典;还包括:
将待处理图像切分为至少两个待处理图像块;
确定每一个所述待处理图像块在所述待处理图像中的位置;
对于每一个所述待处理图像块,均执行:
根据所述待处理图像块的位置,为所述待处理图像块选定至少一个图像字典;
根据所述至少一个图像字典,对所述待处理图像块进行转换处理;
对转换处理后的至少一个待处理图像块进行拼接,生成合成图像。
优选地,
所述根据所述至少一个图像字典,对所述待处理图像块进行转换处理,包括:
从所述至少一个图像字典中,获取至少两个训练图像块;
计算所述待处理图像块与每一个所述训练图像块之间的欧式距离;
根据计算出的每一个所述欧式距离,确定所述待处理图像块对应的表示系数矩阵;
利用所述待处理图像块对应的表示系数矩阵进行运算,获得转换处理后的所述待处理图像块。
优选地,
所述根据计算出的每一个所述欧式距离确定所述待处理图像块对应的表示系数矩阵,包括:
以计算出的各个所述欧式距离作为对角线元素创建对角矩阵;
根据所述待处理图像块的灰度值,获取所述待处理图像块对应的待处理图像块矩阵;
根据所述至少两个训练图像块的灰度值,获取相对应的训练图像块集合矩阵;
根据所述对角矩阵、所述待处理图像块矩阵及所述训练图像块集合矩阵,通过如下公式一计算所述待处理图像块对应的表示系数矩阵;
所述公式一包括:
其中,所述(i,j)用于表示所述待处理图像块(i,j)在所述待处理图像中的位置信息,其中i为所述待处理图像块(i,j)在切分后所述待处理图像中所处的行,j为所述待处理图像块(i,j)在切分后所述待处理图像中所处的列;所述t(i,j)为所述待处理图像块(i,j)对应的所述待处理图像块矩阵;所述为所述待处理图像块(i,j)对应的所述训练图像块集合矩阵;所述w(i,j)为所述待处理图像块(i,j)对应的所述表示系数矩阵,其中所述表示系数矩阵为列矩阵;所述E(i,j)为所述待处理图像块(i,j)对应的所述对角矩阵;所述λ为常数形式的平衡系数;所述为所述表示系数矩阵中第k行的元素;所述K为所述表示系数矩阵所包括的行数。
第三方面,本发明实施例提供了一种图像字典生成装置,包括:图像切分单元、位置确定单元、图像块确定单元和字典生成单元;其中,
所述图像切分单元,用于将每一个训练图像切分成至少两个训练图像块;
所述位置确定单元,用于根据所述图像切分单元切分出的至少两个训练图像块中,每一个所述训练图像块在所属训练图像中的位置,确定至少两个样本位置;
所述图像块确定单元,用于针对所述位置确定单元确定的每一个样本位置,均执行:从所述切分单元切分出的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;
所述字典生成单元,用于将所述图像块确定单元确定出的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典。
优选地,
该字典生成装置进一步包括:设置单元;其中,
所述设置单元,用于设置近邻区域;
所述图像块确定单元,用于针对所述位置确定单元确定出的每一个样本位置,均执行:以所述样本位置为中心,确定位于所述样本位置的所述近邻区域中的至少一个训练图像块,并在位于所述近邻区域中的所述至少一个训练图像块中,选择出所述至少一个近邻训练图像块。
本发明实施例提供了一种字典生成方法、图像处理方法及装置,通过将每一个训练图像切分成至少两个训练图像块,并根据切分出的至少两个训练图像块在所属训练图像中的位置,确定至少两个样本位置,对于每一个样本位置,均从切分成的至少两个训练图像块中,确定样本位置对应的至少一个近邻训练图像块,并将确定的至少一个近邻训练图像块进行组合,生成与样本位置相对应的图像字典。由于根据确定的样本位置,搜索对应的近邻训练图像块,利用样本位置对应的近邻训练图像块,生成样本位置对应的字典,使得该字典与样本位置对应的图像块的相似度最大。那么,在进行图像处理过程中,可以直接从该实施例提供的字典中获取近邻训练图像块,从而有效地提高了近邻训练图像块的查找效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种图像字典生成方法的流程图;
图2是本发明另一个实施例提供的一种图像字典生成方法的流程图;
图3是本发明一个实施例提供的一种图像处理方法的流程图;
图4是本发明另一个实施例提供的一种图像处理方法的流程图;
图5是本发明一个实施例提供的一种图像字典生成装置的结构示意图;
图6是本发明一个实施例提供的一种图像处理装置的结构示意图;
图7是本发明一个实施例提供的一种图像处理装置的使用方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明一个实施例提供了一种图像字典生成方法,该方法可以包括以下步骤:
步骤101,将每一个训练图像切分成至少两个训练图像块;
步骤102,根据所述至少两个训练图像块在所属训练图像中的位置,确定至少两个样本位置;
步骤103,针对每一个样本位置,均执行:从切分成的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;
步骤104,将确定的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典;
在上述实施例中,由于根据确定的样本位置,搜索对应的近邻训练图像块,利用样本位置对应的近邻训练图像块,生成样本位置对应的字典,使得该字典与样本位置对应的图像块的相似度最大。那么,在进行图像处理过程中,可以直接从该实施例提供的字典中获取近邻训练图像块,从而有效地提高了近邻训练图像块的查找效率。
为了进一步提高近邻训练图像块的查找效率,同时使生成的图像字典在图像处理过程中能更准确的表示待处理图像块的特征,本发明一个实施例中,该字典生成方法进一步包括:设置近邻区域;
步骤103的具体实施方式,可以包括:
以所述样本位置为中心,确定位于所述样本位置的所述近邻区域中的至少一个训练图像块;
在位于所述近邻区域中的所述至少一个训练图像块中,选择出所述至少一个近邻训练图像块。
上述实施例中,通过设置近邻区域,在近邻区域中初步选取训练图像块,再从各个训练图像块中选择至少一个目标训练图像块作为近邻训练图像块,例如,在当前训练图像块所属图像中,以当前训练图像块为中心,在其上下左右方向分别扩展大小为5像素的区域的中,所有训练图像块组成一个集合P(i,j),处于边缘或邻近边缘的图像块扩展区域时扩展到边界。这样,对于非近边缘的位置,其训练图像块集合中含有(2*5+1)^2=121个图像块,当所述近邻区域的边缘处于训练图像的边缘时,边缘位置对应含有的图像则少于121个。在设定选择区域中选择训练图像块,这一方面避免在查找近邻训练图像块时,以当前训练图像块为中心,向边缘逐一查找近邻图像块,从而提高近邻训练图像块的查找效率,另一方面,近邻训练图像块是从近邻区域中选出,从而使在图像处理时,选择出的近邻训练图像块能较为准确的表示待处理图像块的特征。
为了能够使图像字典在后续使用过程中,提高图像处理的效率,本发明一个实施例中,在步骤103之后,在步骤104之前,可以进一步包括:确定所述样本位置对应的投影矩阵;利用所述样本位置对应的所述投影矩阵,对所述至少一个近邻训练图像块进行降维处理;步骤104的具体实施方式,可以包括:将所述样本位置对应的降维处理后的所述至少一个训练图像块进行组合。
例如,查找到的近邻训练图像块的维度为400*20,投影矩阵为20*1矩阵,则降维后的近邻训练图像块的维度为400*1,根据降维处理后的近邻训练图像块构成字典,使根据字典进行图像处理时,运算量减少,从而提高了图像处理的效率。
另外,为了既能够使字典在后续使用过程中,提高图像处理的效率,同时保持图像的真实性,本发明另一个实施例中,所述图像字典为第一图像字典;
在所述生成与所述样本位置相对应的图像字典之后,进一步包括:
确定所述样本位置对应的投影矩阵;
利用所述样本位置对应的所述投影矩阵,对所述至少一个近邻训练图像块进行降维处理;
将所述样本位置对应的降维处理后的所述至少一个训练图像块进行组合,生成所述样本位置对应的第二图像字典。
上述实施例中,在生成第一图像字典后(例如图像字典A),在将第一图像字典中的训练图像块进行降维处理,生成另一个降维后的图像字典(例如图像字典A’),在后期使用字典对待处理图像进行处理时,可以先用图像字典A’求取待处理图像的表示系数,由于图像字典A’中为降维后的训练图像块经过降维处理,因此求取表示系数时,运算量较小,能提高图像处理效率。再利用求得的表示系数分别与图像字典A中对应的训练图像块结合,获取处理后的图像,从而保证了图像的真实性。
本发明一实施例中,所述训练图像包括:照片格式的训练图像,或者素描格式的训练图像。
若分别生成照片格式的图像字典和素描格式的图像字典,可利用两种字典,完成图像在照片格式与素描格式的相互转换。
另外,为了方便样本位置的定位,在步骤101具体实施过程中,使用同样的切分策略对每一个训练图像进行切分。
下面以在10个训练图像(每个图像均切分成6*6块大小相同的图像块)中选取近邻训练图像块,并生成对应的字典为例,对本发明实施例提供的图像字典生成方法进行详细说明,如图2所示,该方法可以包括以下步骤:
步骤201,确定10个训练图像,并将每一个所述训练图像切分成36个大小相同的训练图像块,并确定每一个所述训练图像块在所属训练图像中的位置。
具体的,将每一个训练画像切分成6*6个训练图像块,则每个训练图像块在所属图像中的位置可以对应一个6行6列的矩阵,例如,训练图像A中的36个训练图像块分别为A11、A12…A33…A66,则A11的位置对应矩阵的第一行第一列元素,记为A11(1,1),相应的,A12的位置可记为A12(1,2),A33的位置可记为A33(3,3),A66的位置可记为A66(6,6)。
步骤202,选定样本位置,并确定所述样本位置对应的每一个所述训练图像块。
例如,选定(3,3)为样本位置,则每一个训练图像中均有此样本位置对应的图像块,则(3,3)对应有10个训练图像块。
步骤203,设置近邻区域,将所述样本位置对应的每一个所述训练图像块作为当前训练图像块,在所述当前训练图像块所属训练图像中,以所述当前训练图像块为中心,确定位于所述近邻区域中的训练图像块。
例如,上述目标位置(3,3)在每一个训练图像中都有对应的训练图像块,如在训练图像A中,(3,3)对应的训练图像块为A33。在该步骤中,设置的近邻区域为2*2,将训练图像块A33作为当前训练图像块时,在训练图像A中,以A33为中心,确定出近邻区域中的训练图像块共(2*2+1)=25个,分别为A12-A55,将样本位置对应的其他训练图像块作为当前图像块时,确定近邻区域中的训练图像块的方法与A33相同,则目标位置(3,3)对应的在近邻区域中的训练图像块共有250个。
步骤204,在所述位于所述近邻区域中的训练图像块中,任意选择至少一个目标训练图像块作为所述近邻训练图像块。
例如,在步骤203中确定出的近邻区域中的250个训练图像块中,随机选择100个作为近邻训练图像块。
步骤205,根据所述样本位置,确定所述样本位置对应的投影矩阵。
步骤206,利用所述投影矩阵对每一个所述近邻训练图像块进行降维处理。
步骤205和步骤206中,利用样本位置对应的投影矩阵对每一个近邻训练图像块进行降维处理,例如,查找到的近邻训练图像块的维度为400*20,投影矩阵为20*1矩阵,则降维后的近邻训练图像块的维度为400*1,根据降维处理后的近邻训练图像块构成字典,使根据字典进行图像处理时,运算量减少,从而提高了图像处理的效率。
步骤207,将所述样本位置对应的降维处理后的每一个训练图像块以及对应的降维处理后的每一个所述近邻训练图像块组合,构成所述样本位置对应的字典。
上述实施例中,通过确定多个训练图像,将每一个训练图像切分成多个训练图像块,并确定每一个所述训练图像块在所属训练图像中的位置,然后选定样本位置,并设置近邻区域,以选定的目标位置对应的训练图像块为中心,分别在各个训练图像中确定近邻区域内的近邻训练图像块,然后在确定出的近邻训练图像块中任意选择至少一个近邻训练图像块,并利用投影矩阵对各个近邻训练图像进行降维处理,最后将降维处理后的样本位置对应的每一个训练图像块以及对应的近邻训练图像块组合,构成目标位置对应的字典;由于根据确定的样本位置,在每一个训练图像中搜索对应的近邻训练图像块,根据近邻训练图像块,构成样本位置对应的字典,而无需在图像处理时,遍历数据库查找近邻图像块,从而提高了近邻训练图像块的查找效率,同时,对各个近邻训练图像块进行降维处理,使根据字典进行图像处理时,运算量减少,从而进一步提高图像处理的过程。
如图3所示,本发明一个实施例提供了一种图像处理方法,该方法可以包括以下步骤:
步骤301,形成至少一个样本位置对应的至少一个图像字典;
步骤302,将待处理图像切分为至少两个待处理图像块;
步骤303,确定每一个所述待处理图像块在所述待处理图像中的位置;
步骤304,对于每一个所述待处理图像块,均执行:根据所述待处理图像块的位置,为所述待处理图像块选定至少一个图像字典;
步骤305,根据所述至少一个图像字典,对所述待处理图像块进行转换处理;
步骤306,对转换处理后的至少一个待处理图像块进行拼接,生成合成图像。
在上述实施例中,步骤301中图像字典的生成方法为本发明任一实施例提供的字典生成方法,由于根据对应的图像字典直接处理每个待处理图像块,避免了在图像处理过程中,先遍历数据库去查找近邻训练图像块,从而提高了近邻训练图像块的查找效率,进而提高了图像处理效率。
为了提高图像处理的效率,同时提高合成图像的质量,本发明一个实施例中,在步骤304之后,在步骤305之前,可以进一步包括:在所述至少一个图像字典中,选定与所述待处理图像块类型一致的第一图像字典;计算所述待处理图像块与所述第一图像字典中的每一个训练图像块的欧式距离;根据所述待处理图像块与所述第一图像字典中的每一个训练图像块的欧式距离,在所述第一图像字典中选定至少一个目标第一训练图像块;步骤305的具体实施方式,可以包括:根据所述至少一个目标第一训练图像块,对所述待处理图像块进行转换处理。
一般说来,在图像处理时,与待处理图像块的欧式距离小的训练图像块,越能准确表示待处理图像的特征,由此,根据待处理图像块与选定的图像字典中每一个训练图像块的欧式距离,选定目标训练图像块,例如,图像字典中共有训练照片块800个,选择欧式距离最小的200个,使得处理待处理图像块时,能更准确的表示待处理图像块的特征,进而提高处理得到的合成图像的质量,同时,根据欧式距离选取目标训练图像块,减少了图像处理过程中训练照片块的用量,从而提高了图像处理效率。
本发明一个实施中,所述在所述第一图像字典中选定至少一个目标第一训练图像块,可以包括:选定低于设定距离阈值的欧式距离对应的目标训练图像块。
例如,将训练图像块与图像字典中每一个训练图像块的欧式距离的平均值设定为距离阈值,将与待处理图像块之间的欧式距离低于此平均值的训练图像块,作为目标训练图像块,从而在处理待处理图像块时,能更准确的表示待处理图像的特征,从而提高处理后的目标图像的质量。
另外,所述在所述第一图像字典中选定至少一个目标第一训练图像块,也可以包括:将所述待处理图像块与每一个所述训练图像块的欧式距离进行排序;利用所述排序,按照由小到大的顺序选定设定数量的目标训练图像块。
例如,目标字典中有训练图像块400个,需选定150个目标训练图像块,则将400个训练图像块与待处理图像块之间的欧式距离进行排序,然后按照排序结果,按照由小到大的顺序,选定欧式距离最小的前150个作为目标图像块,也能使在处理待处理图像块时,能更准确的表示待处理图像的特征,从而提高处理后的合成图像的质量。
本发明一个实施例中,步骤305的具体实施方式,可以包括:
从所述至少一个图像字典中,获取至少两个训练图像块;
计算所述待处理图像块与每一个所述训练图像块之间的欧式距离;
根据计算出的每一个所述欧式距离,确定所述待处理图像块对应的表示系数矩阵;
利用所述待处理图像块对应的表示系数矩阵进行运算,获得转换处理后的所述待处理图像块。
由于根据欧式距离,形成表示系数矩阵,使在运算过程中利用距离较近的训练图像块表示待处理图像块,从而使在处理待处理图像块时,能更准确的表示待处理图像的特征,从而提高处理后的合成图像的质量。
本发明一个实施例中,所述根据计算出的每一个所述欧式距离确定所述待处理图像块对应的表示系数矩阵,包括:
以计算出的各个所述欧式距离作为对角线元素创建对角矩阵;
根据所述待处理图像块的灰度值,获取所述待处理图像块对应的待处理图像块矩阵;
根据所述至少两个训练图像块的灰度值,获取相对应的训练图像块集合矩阵;
根据所述对角矩阵、所述待处理图像块矩阵及所述训练图像块集合矩阵,通过如下公式计算所述待处理图像块对应的表示系数矩阵;
所述公式包括:
其中,所述(i,j)用于表示所述待处理图像块(i,j)在所述待处理图像中的位置信息,其中i为所述待处理图像块(i,j)在切分后所述待处理图像中所处的行,j为所述待处理图像块(i,j)在切分后所述待处理图像中所处的列;所述t(i,j)为所述待处理图像块(i,j)对应的所述待处理图像块矩阵;所述为所述待处理图像块(i,j)对应的所述训练图像块集合矩阵;所述w(i,j)为所述待处理图像块(i,j)对应的所述表示系数矩阵,其中所述表示系数矩阵为列矩阵;所述E(i,j)为所述待处理图像块(i,j)对应的所述对角矩阵;所述λ为常数形式的平衡系数;所述为所述表示系数矩阵中第k行的元素;所述K为所述表示系数矩阵所包括的行数。
例如,在将用拍摄设备(相机和摄像机等)拍摄的照片中的图像(人脸或风景等)转换为素描图像时,先选取照片格式的第一图像字典和素描格式的第二图像字典,处理过程中,求得公式的计算结果为 w(i,j)=w′(i,j)/(1T·w′(i,j)),这里“\”和“/”分别表示矩阵的左除法和右除法,1表示全部为1的列向量或者矩阵(具体可以根据公式环境判断),表示全为1的列向量1与行向量的乘积(结果为一矩阵),1T·w′(i,j)表示全为1的行向量1T与列向量w′(i,j)的乘积(结果为一数值),即对列向量w′(i,j)中的元素求和,公式w(i,j)=w′(i,j)/(1T·w′(i,j))的作用是将列向量归一化(即w(i,j)向量元素和为1),根据求得的转换矩阵w(i,j)进行图像处理,即利用求得的转换矩阵w(i,j)对第二图像字典进行线性组合得到处理后的画像块yi,其中,表示第二图像字典。
这种转化方式可利用在多个领域,例如在社交网络中,用户选择用肖像素描来当做头像以彰显其个性,在此过程中,即需将肖像素描画像转化为照片;另外,在公共安全中,由于犯罪嫌疑人刻意的隐藏躲避等使得拍摄到的监控视频中人脸呈现侧面、遮挡、分辨率低等特征,或者不能得到有效的视频图像资料,这种情况下,我们往往根据有限的视频图像资料和目击证人的描述来先绘制一副犯罪嫌疑人的模拟画像,使用计算机对模拟画像与数据库中预存的照片进行对比时,也需将数据库中的照片转换为素描,或者将素描转化为照片,进而执行模拟画像与照片之间的匹配识别。
下面以将照片B转化为素描画像C为例,对本发明实施例提供的图像处理方法进行详细说明,如图4所示,该方法可以包括以下步骤:
步骤401,将照片B切分为36个大小相同的待处理照片块,并确定每一个待处理照片块在所述待处理照片中的位置;
具体地,将照片B切分为36个待处理照片块,则每个待处理照片块在照片B中的位置可以对应一个6行6列的矩阵,将照片B中的36个待处理照片块分别记为B11、B12…B33…B66,则B11的位置对应6行6列矩阵的第一行第一列元素,记为B11(1,1),相应的,B12的位置可记为B12(1,2),B33的位置可记为A33(3,3),B66的位置可记为B66(6,6)。
步骤402,将每一个所述待处理照片块作为当前待处理照片块,执行:根据所述当前待处理照片块的位置,为所述当前待处理照片块选定训练照片块字典和训练画像块字典,其中,训练照片块字典中的各个训练照片块与训练画像块字典中的各个训练画像块一一对应。
例如,将B11作为当前待处理照片块,根据其位置B11(1,1),为其选择两个目标字典,分别为训练照片块字典和训练画像块字典。
步骤403,计算当前待处理照片块与训练照片块字典中每一个训练照片块的欧式距离。
具体地,利用公式计算欧式距离,其中,yj表征所述当前待处理照片块与第j个所述训练照片块的欧式距离,ai0表征所述当前训练照片块的位置的第i个像素坐标的灰度值,bij表征所述当前目标字典中第j个训练照片块的位置的第i个像素坐标的灰度值。
步骤404,将所述当前待处理照片块与每一个所述训练照片块的欧式距离进行排序;
步骤405,利用排序结果,按照由小到大的顺序选定设定数量的目标训练照片块;
步骤406,将目标训练照片块组合,构成当前待处理图像块的位置对应的当前目标照片块集合;
步骤404至步骤406中,根据欧式距离的排序结果选择目标照片块,例如,训练照片块字典中共有800个训练照片块,需选定200个目标训练照片块,构成目标集合,则将800个训练照片块与当前待处理照片块之间的欧式距离进行排序,然后按照排序结果,按照由小到大的顺序,选定欧式距离最小的前200个作为目标照片块,构成当前目标照片块集合。
另外,步骤404和步骤405还可以通过选定低于设定距离阈值的欧式距离对应的目标训练图像块实现。
步骤407,在训练画像字典中,选择与当前目标照片块集合中的目标照片块对应的目标画像块,构成当前目标画像块集合。
步骤408,根据当前目标照片块集合,计算当前待处理照片块对应的表示系数矩阵。
具体地,利用公式 计算待处理图像块对应的表示系数矩阵,其计算结果为w(i,j)=w′(i,j)/(1T·w(i,j)′,其中,w(i,j)表征所述转换矩阵,ti,j表征所述当前待处理图像块,D(i,j)表征所述第一目标字典,λ为常数,“\”和“/”分别表示矩阵的左除法和右除法,1表示全部为1的列向量或者矩阵(具体可以根据公式环境判断),表示全为1的列向量1与行向量的乘积(结果为一矩阵),1T·w′(i,j)表示全为1的行向量1T与列向量w′(i,j)的乘积(结果为一数值),即对列向量w′(i,j)中的元素求和,公式w(i,j)=w′(i,j)/(1T·w′(i,j))的作用是将列向量归一化(即w(i,j)向量元素和为1)。
步骤409,根据当前待处理照片块对应的表示系数矩阵,将当前待处理照片块转化为目标画像块。
具体地,利用求得的转换矩阵w(i,j)对目标画像块集合进行线性组合得到目标画像块Ci,其中,表示当前目标画像块集合,例如,根据求得的转换矩阵,分别将B11、B12…B33…B66转化为C11、C12…C33…C66。
步骤410,根据每一个目标画像块的位置,将各个目标画像块拼接成目标图像。
具体地,将C11、C12…C33…C66根据其各自的位置,拼接为目标画像C。
上述实施例中,将待处理照片切分为多个待处理照片块,并根据各个待处理图像块的位置,为每个待处理照片块选定训练照片块字典和训练画像块字典,在训练照片块字典和训练画像块字典中,选取与待处理照片块欧式距离较小的设定数量个训练照片块和训练画像块,组成目标照片块集合和目标画像块集合,利用目标照片块集合与目标画像块集合,将待处理照片转化为目标画像,将各个目标画像根据位置拼接即得目标画像;由于根据对应的目标字典直接处理每个待处理图像块,避免了在图像处理过程中,先遍历数据库去查找近邻训练图像块,从而提高了近邻训练图像块的查找效率,进而提高了图像处理效率,并且,利用目标照片块集合与目标画像块集合,将待处理照片转化为目标画像,使在图像处理过程中,选择出的训练照片块能更准确的表示待处理照片块的特征,进而使得到的训练画像的质量更高。
如图5所示,本发明实施例提供了一种图像字典生成装置,包括:图像切分单元501、位置确定单元502、图像块确定单元503和字典生成单元504;其中,
所述图像切分单元501,用于将每一个训练图像切分成至少两个训练图像块;;
所述位置确定单元502,用于根据所述图像切分单元501切分出的至少两个训练图像块中,每一个所述训练图像块在所属训练图像中的位置,确定至少两个样本位置;
所述图像块确定单元503,用于针对所述位置确定单元502确定的每一个样本位置,均执行:从所述切分单元501切分出的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;
所述字典生成单元504,用于将所述图像块确定单元503确定出的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典。
在上述实施例中,由于根据确定的样本位置,搜索对应的近邻训练图像块,利用样本位置对应的近邻训练图像块,生成样本位置对应的字典,使得该字典与样本位置对应的图像块的相似度最大。那么,在进行图像处理过程中,可以直接从该实施例提供的字典中获取近邻训练图像块,从而有效地提高了近邻训练图像块的查找效率。
为了进一步提高近邻训练图像块的查找效率,同时使生成的字典在图像处理过程中能更准确的表示待处理图像块的特征,本发明一个实施例中,该字典生成装置进一步包括:设置单元(图中未示出);其中,
所述设置单元,用于设置近邻区域;
所述图像块确定单元,用于针对所述位置确定单元确定出的每一个样本位置,均执行:以所述样本位置为中心,确定位于所述样本位置的所述近邻区域中的至少一个训练图像块,并在位于所述近邻区域中的所述至少一个训练图像块中,选择出所述至少一个近邻训练图像块。
上述实施例中,通过设置近邻区域,在近邻区域中初步选取训练图像块,再从各个训练图像块中选择至少一个目标训练图像块作为近邻训练图像块,例如,在当前训练图像块所属图像中,以当前训练图像块为中心,在其上下左右方向分别扩展大小为5像素的区域的中,所有训练图像块组成一个集合P(i,j),处于边缘或邻近边缘的图像块扩展区域时扩展到边界。这样,对于非近边缘的位置,其训练图像块集合中含有(2*5+1)^2=121个图像块,当所述近邻区域的边缘处于训练图像的边缘时,边缘位置对应含有的图像则少于121个。在设定选择区域中选择训练图像块,这一方面避免在查找近邻训练图像块时,以当前训练图像块为中心,向边缘逐一查找近邻图像块,从而提高近邻训练图像块的查找效率,另一方面,近邻训练图像块是从近邻区域中选出,从而使在图像处理时,选择出的近邻训练图像块能较为准确的表示待处理图像块的特征。
如图6所示,本发明一个实施例提供了一种图像处理装置,包括:字典生成单元601,待处理图像切分单元602、字典选定单元603和图像处理单元604;其中,
所述字典生成单元601,用于利用本发明任一实施例提供的图像字典生成方法生成至少一个样本位置对应的至少一个图像字典;
所述待处理图像切分单元602,用于将待处理图像切分为至少两个待处理图像块,并确定每一个所述待处理图像块在所述待处理图像中的位置;
所述字典选定单元603,用于将将所述待处理图像切分单元602切分出的每一个所述待处理图像块,均执行:根据所述待处理图像块的位置,为所述待处理图像块选定至少一个图像字典;
所述图像处理单元604,用于根据所述字典选定单元603选定的至少一个图像字典,对所述待处理图像块进行转换处理,并对转换处理后的至少一个待处理图像块进行拼接,生成合成图像。
在上述实施例中,字典生成单元601还可以与本发明实施例提供的图像字典生成装置的处理过程相同。由于根据对应的图像字典直接处理每个待处理图像块,避免了在图像处理过程中,先遍历数据库去查找近邻训练图像块,从而提高了近邻训练图像块的查找效率,进而提高了图像处理效率。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
如图7所示,本发明实施例提供了一种图像处理装置的使用方法,该方法可以包括以下步骤:
步骤701,确定10个训练照片和10个训练画像,其中,各个训练照片和各个训练画像一一对应,将每一个所述训练照片和画像切分成36个训练图像块,并确定每一个所述训练照片块在所属训练照片中的位置,以及确定每一个所述训练画像块在所属训练画像中的位置。
例如,将每一个训练照片切分成6*6个训练图像块,则每个训练照片块在所属照片中的位置可以对应一个6行6列的矩阵,例如,训练照片A中的36个训练照片块分别为A11、A12…A33…A66,则A11的位置对应矩阵的第一行第一列元素,记为A11(1,1),相应的,A12的位置可记为A12(1,2),A33的位置可记为A33(3,3),A66的位置可记为A66(6,6)。
步骤702,选定样本位置,并确定所述样本位置对应的每一个所述训练照片块。
例如,选定(3,3)为样本位置,则每一个训练照片中均有此样本位置对应的照片块,则(3,3)对应有10个训练照片块。
步骤703,设置近邻区域,将所述样本位置对应的每一个所述训练照片块作为当前训练照片块,在所述当前训练图像块所属训练照片中,以所述当前训练照片块为中心,确定位于所述近邻区域中的训练照片块。
例如,设置的近邻区域为2*2,将训练照片块A33作为当前训练照片块时,在训练照片A中,以A33为中心,确定出近邻区域中的训练照片块共(2*2+1)=25个,分别为A12-A55,将样本位置对应的其他训练照片块作为当前照片块时,确定近邻区域中的训练照片块的方法与A33相同,则样本位置(3,3)对应的在近邻区域中的训练照片块共有250个。
步骤704,在所述位于所述近邻区域中的训练照片块中,任意选择至少一个目标训练照片块作为所述近邻训练照片块。
例如,在步骤703中确定出的近邻区域中的250个训练照片块中,随机选择100个作为近邻训练照片块。
步骤705,根据所述样本位置,确定所述样本位置对应的投影矩阵。
步骤706,利用所述投影矩阵对每一个所述近邻训练照片块进行降维处理。
步骤705和步骤706中,利用样本位置对应的投影矩阵对每一个近邻训练照片块进行降维处理,例如,查找到的近邻训练照片块的维度为400*20,投影矩阵为20*1矩阵,则降维后的近邻照片图像块的维度为400*1,根据降维处理后的近邻训练照片块构成字典,使根据字典进行图像处理时,运算量减少,从而提高了图像处理的效率。
步骤707,将所述样本位置对应的降维处理后的每一个训练照片块以及对应的降维处理后的每一个所述近邻训练照片块组合,构成训练照片块字典。
步骤708,查找与训练照片块字典中的每一个训练照片块对应的训练画像块,将各个训练画像块组成训练画像块字典。
步骤709,将照片B切分为36个待处理照片块,并确定每一个待处理照片块在所述待处理照片中的位置;
具体地,将照片B切分为36个待处理照片块,则每个待处理照片块在照片B中的位置可以对应一个6行6列的矩阵,将照片B中的36个待处理照片块分别记为B11、B12…B33…B66,则B11的位置对应6行6列矩阵的第一行第一列元素,记为B11(1,1),相应的,B12的位置可记为B12(1,2),B33的位置可记为A33(3,3),B66的位置可记为B66(6,6)。
步骤710,将每一个所述待处理照片块作为当前待处理照片块,执行:根据所述当前待处理照片块的位置,为所述当前待处理照片块选定训练照片块字典和训练画像块字典,其中,训练照片块字典中的各个训练照片块与训练画像块字典中的各个训练画像块一一对应。
例如,将B11作为当前待处理照片块,根据其位置B11(1,1),为其选择两个目标字典,分别为训练照片块字典和训练画像块字典。
步骤711,计算当前待处理照片块与训练照片块字典中每一个训练照片块的欧式距离。
具体地,利用公式计算欧式距离,其中,yj表征所述当前待处理照片块与第j个所述训练照片块的欧式距离,ai0表征所述当前训练照片块的位置的第i个像素坐标的灰度值,bij表征所述当前目标字典中第j个训练照片块的位置的第i个像素坐标的灰度值。
步骤712,将所述当前待处理照片块与每一个所述训练照片块的欧式距离进行排序;
步骤713,利用排序结果,按照由小到大的顺序选定设定数量的目标训练照片块;
步骤714,将目标训练照片块组合,构成当前待处理图像块的位置对应的当前目标照片块集合;
步骤712至步骤714中,根据欧式距离的排序结果选择目标照片块,例如,训练照片块字典中共有100个训练照片块,需选定20个目标训练照片块,构成目标集合,则将100个训练照片块与当前待处理照片块之间的欧式距离进行排序,然后按照排序结果,按照由小到大的顺序,选定欧式距离最小的前20个作为目标照片块,构成当前目标照片块集合。
步骤715,在训练画像字典中,选择与当前目标照片块集合中的目标照片块对应的目标画像块,构成当前目标画像块集合。
步骤716,根据当前目标照片块集合,计算当前待处理照片块对应的表示系数矩阵。
具体地,利用公式 计算待处理图像块对应的表示系数矩阵,其计算结果为w(i,j)=w′(i,j)/(1T·w(i,j)′,其中,“\”和“/”分别表示矩阵的左除法和右除法,1表示全部为1的列向量或者矩阵(具体可以根据公式环境判断),表示全为1的列向量1与行向量的乘积(结果为一矩阵),表示全为1的行向量1T与列向量w′(i,j)的乘积(结果为一数值),即对列向量w′(i,j)中的元素求和,公式w(i,j)=w′(i,j)/(1T·w′(i,j))的作用是将列向量归一化(即w(i,j)向量元素和为1)。
步骤717,根据当前待处理照片块对应的表示系数矩阵,将当前待处理照片块转化为目标画像块。
具体地,利用求得的转换矩阵w(i,j)对目标画像块集合进行线性组合得到目标画像块Ci,其中,表示当前目标画像块集合,例如,根据求得的转换矩阵,分别将B11、B12…B33…B66转化为C11、C12…C33…C66。
步骤718,根据每一个目标画像块的位置,将各个目标画像块拼接成合成图像。
具体地,将C11、C12…C33…C66根据其各自的位置,拼接为目标画像C。
上述实施例中,首先生成各个位置对应的训练图像字典,在获取到的待处理图像后,为其选定目标字典,利用目标字典,处理待处理图像,由于根据对应的目标字典直接处理待处理图像,避免了在图像处理过程中,先遍历数据库去查找待处理图像中每个待处理图像块的近邻训练图像块,从而提高了近邻训练图像块的查找效率,进而提高了图像处理效率。
例如,在中央处理器为Inter(R)Core(TM)i7-4790 3.60GHz、内存32G、WINDOWS 7操作系统上,运用美国Mathworks公司开发的MATLAB 2015a进行仿真,数据库分别采用香港中文大学CUFSF数据库和CUFS数据库(其中,CUFS数据库包括三个子数据库:CUHK Student、AR和XM2VTS),分别采用A、B、C和本发明提供的图像处理方法,处理相同的待处理图像,需要的处理时间(s)如表1所示;
表1
由实验结果可见,本发明大大减少了图像处理所需要的时间,提高了图像处理效率。
本发明还提供了一种计算机存储介质,存储用于使一机器执行如本文所述的程序代码的审核方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
综上所述,本发明的各个实施例至少具有如下有益效果:
1、由于本发明实施例在字典生成过程中,根据确定的样本位置,在每一个训练图像中搜索对应的近邻训练图像块,利用样本位置对应的训练图像块以及对应的近邻训练图像块,构成样本位置对应的字典,使得该字典与样本位置对应的图像块的相似度最大。那么,在进行图像处理过程中,可以直接从该实施例提供的字典中获取近邻训练图像块,从而有效地提高了近邻训练图像块的查找效率。
2、通过设置近邻区域,在近邻区域中初步选取训练图像块,再从各个训练图像块中选择至少一个目标训练图像块作为近邻训练图像块,在设定选择区域中选择训练图像块,这一方面避免在查找近邻训练图像块时,以当前训练图像块为中心,向边缘逐一查找近邻图像块,从而提高近邻训练图像块的查找效率,另一方面,近邻训练图像块是从近邻区域中选出,从而使在图像处理时,选择出的近邻训练图像块能较为准确的表示待处理图像块的特征。
3、本发明实施例中,利用投影矩阵对查找到的当前训练图像块对应的近邻训练图像块进行降维,根据降维处理后的近邻训练图像块构成字典,使根据字典进行图像处理时,运算量减少,从而提高了图像处理的效率。
4、在图像处理过程中,基于字典生成方法生成的字典直接处理每个待处理图像块,避免了在图像处理过程中,先遍历数据库去查找近邻训练图像块,从而提高了近邻训练图像块的查找效率,进而提高了图像处理效率。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种图像字典生成方法,其特征在于,包括:
将每一个训练图像切分成至少两个训练图像块;
根据所述至少两个训练图像块在所属训练图像中的位置,确定至少两个样本位置;
针对每一个样本位置,均执行:
从切分成的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;
将确定的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典。
2.根据权利要求1所述的字典生成方法,其特征在于,进一步包括:设置近邻区域;
所述确定所述样本位置对应的至少一个近邻训练图像块,包括:
以所述样本位置为中心,确定位于所述样本位置的所述近邻区域中的至少一个训练图像块;
在位于所述近邻区域中的所述至少一个训练图像块中,选择出所述至少一个近邻训练图像块。
3.根据权利要求1或2所述的字典生成方法,其特征在于,
在所述确定所述样本位置对应的至少一个近邻训练图像块之后,在所述将确定的所述至少一个近邻训练图像块进行组合之前,进一步包括:
确定所述样本位置对应的投影矩阵;
利用所述样本位置对应的所述投影矩阵,对所述至少一个近邻训练图像块进行降维处理;
所述将确定的所述至少一个近邻训练图像块进行组合,包括:
将所述样本位置对应的降维处理后的所述至少一个训练图像块进行组合。
4.根据权利要求1或2所述的字典生成方法,其特征在于,所述图像字典为第一图像字典;
在所述生成与所述样本位置相对应的图像字典之后,进一步包括:
确定所述样本位置对应的投影矩阵;
利用所述样本位置对应的所述投影矩阵,对所述至少一个近邻训练图像块进行降维处理;
将所述样本位置对应的降维处理后的所述至少一个训练图像块进行组合,生成所述样本位置对应的第二图像字典。
5.根据权利要求1至4中任一所述的图像字典生成方法,其特征在于,所述训练图像包括:照片格式的训练图像,或者素描格式的训练图像。
6.一种图像处理方法,其特征在于,利用权利要求1至5中任一所述的方法形成至少一个样本位置对应的至少一个图像字典;还包括:
将待处理图像切分为至少两个待处理图像块;
确定每一个所述待处理图像块在所述待处理图像中的位置;
对于每一个所述待处理图像块,均执行:
根据所述待处理图像块的位置,为所述待处理图像块选定至少一个图像字典;
根据所述至少一个图像字典,对所述待处理图像块进行转换处理;
对转换处理后的至少一个待处理图像块进行拼接,生成合成图像。
7.根据权利要求6所述的图像处理方法,其特征在于,
所述根据所述至少一个图像字典,对所述待处理图像块进行转换处理,包括:
从所述至少一个图像字典中,获取至少两个训练图像块;
计算所述待处理图像块与每一个所述训练图像块之间的欧式距离;
根据计算出的每一个所述欧式距离,确定所述待处理图像块对应的表示系数矩阵;
利用所述待处理图像块对应的表示系数矩阵进行运算,获得转换处理后的所述待处理图像块。
8.根据权利要求7所述的方法,其特征在于,
所述根据计算出的每一个所述欧式距离确定所述待处理图像块对应的表示系数矩阵,包括:
以计算出的各个所述欧式距离作为对角线元素创建对角矩阵;
根据所述待处理图像块的灰度值,获取所述待处理图像块对应的待处理图像块矩阵;
根据所述至少两个训练图像块的灰度值,获取相对应的训练图像块集合矩阵;
根据所述对角矩阵、所述待处理图像块矩阵及所述训练图像块集合矩阵,通过如下公式计算所述待处理图像块对应的表示系数矩阵;
所述公式包括:
其中,所述(i,j)用于表示所述待处理图像块(i,j)在所述待处理图像中的位置信息,其中i为所述待处理图像块(i,j)在切分后所述待处理图像中所处的行,j为所述待处理图像块(i,j)在切分后所述待处理图像中所处的列;所述t(i,j)为所述待处理图像块(i,j)对应的所述待处理图像块矩阵;所述为所述待处理图像块(i,j)对应的所述训练图像块集合矩阵;所述w(i,j)为所述待处理图像块(i,j)对应的所述表示系数矩阵,其中所述表示系数矩阵为列矩阵;所述E(i,j)为所述待处理图像块(i,j)对应的所述对角矩阵;所述λ为常数形式的平衡系数;所述为所述表示系数矩阵中第k行的元素;所述K为所述表示系数矩阵所包括的行数。
9.一种图像字典生成装置,其特征在于,包括:图像切分单元、位置确定单元、图像块确定单元和字典生成单元;其中,
所述图像切分单元,用于将每一个训练图像切分成至少两个训练图像块;
所述位置确定单元,用于根据所述图像切分单元切分出的至少两个训练图像块中,每一个所述训练图像块在所属训练图像中的位置,确定至少两个样本位置;
所述图像块确定单元,用于针对所述位置确定单元确定的每一个样本位置,均执行:从所述切分单元切分出的所述至少两个训练图像块中,确定所述样本位置对应的至少一个近邻训练图像块;
所述字典生成单元,用于将所述图像块确定单元确定出的所述至少一个近邻训练图像块进行组合,生成与所述样本位置相对应的图像字典。
10.根据权利要求9所述的图像字典生成装置,其特征在于,进一步包括:设置单元;其中,
所述设置单元,用于设置近邻区域;
所述图像块确定单元,用于针对所述位置确定单元确定出的每一个样本位置,均执行:以所述样本位置为中心,确定位于所述样本位置的所述近邻区域中的至少一个训练图像块,并在位于所述近邻区域中的所述至少一个训练图像块中,选择出所述至少一个近邻训练图像块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611039163.6A CN106778811B (zh) | 2016-11-21 | 2016-11-21 | 一种图像字典生成方法、图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611039163.6A CN106778811B (zh) | 2016-11-21 | 2016-11-21 | 一种图像字典生成方法、图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106778811A true CN106778811A (zh) | 2017-05-31 |
CN106778811B CN106778811B (zh) | 2020-12-25 |
Family
ID=58973908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611039163.6A Active CN106778811B (zh) | 2016-11-21 | 2016-11-21 | 一种图像字典生成方法、图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106778811B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688821A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于视觉显著性与语义属性跨模态图像自然语言描述方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958000A (zh) * | 2010-09-24 | 2011-01-26 | 西安电子科技大学 | 基于稀疏表示的人脸画像-照片生成方法 |
CN103839075A (zh) * | 2014-02-24 | 2014-06-04 | 西安电子科技大学 | 一种基于联合稀疏表示的sar图像分类方法 |
CN104517274A (zh) * | 2014-12-25 | 2015-04-15 | 西安电子科技大学 | 基于贪婪搜索的人脸画像合成方法 |
CN104700380A (zh) * | 2015-03-12 | 2015-06-10 | 陕西炬云信息科技有限公司 | 基于单照片与画像对的人脸画像合成方法 |
US20150227819A1 (en) * | 2014-02-07 | 2015-08-13 | Canon Kabushiki Kaisha | Image processing method and apparatus using trained dictionary |
CN106023120A (zh) * | 2016-04-12 | 2016-10-12 | 西安电子科技大学 | 基于耦合近邻索引的人脸画像合成方法 |
-
2016
- 2016-11-21 CN CN201611039163.6A patent/CN106778811B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958000A (zh) * | 2010-09-24 | 2011-01-26 | 西安电子科技大学 | 基于稀疏表示的人脸画像-照片生成方法 |
US20150227819A1 (en) * | 2014-02-07 | 2015-08-13 | Canon Kabushiki Kaisha | Image processing method and apparatus using trained dictionary |
CN103839075A (zh) * | 2014-02-24 | 2014-06-04 | 西安电子科技大学 | 一种基于联合稀疏表示的sar图像分类方法 |
CN104517274A (zh) * | 2014-12-25 | 2015-04-15 | 西安电子科技大学 | 基于贪婪搜索的人脸画像合成方法 |
CN104700380A (zh) * | 2015-03-12 | 2015-06-10 | 陕西炬云信息科技有限公司 | 基于单照片与画像对的人脸画像合成方法 |
CN106023120A (zh) * | 2016-04-12 | 2016-10-12 | 西安电子科技大学 | 基于耦合近邻索引的人脸画像合成方法 |
Non-Patent Citations (5)
Title |
---|
NANNAN WANG 等: "Face Sketch-photo Synthesis under Multi-dictionary Sparse Representation Framework", 《2011 SIXTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
XIAOGANG WANG 等: "Face Photo-Sketch Synthesis and Recognition", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
王楠楠: "异质人脸图像合成及其应用研究", 《中国博士学位论文全文数据库信息科技辑》 * |
胡彦婷 等: "基于局部约束邻域嵌入的人脸画像-照片合成", 《计算机应用》 * |
黄克斌 等: "基于K近邻稀疏编码均值约束的人脸超分辨率算法", 《计算机科学》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688821A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于视觉显著性与语义属性跨模态图像自然语言描述方法 |
CN107688821B (zh) * | 2017-07-11 | 2021-08-06 | 西安电子科技大学 | 基于视觉显著性与语义属性跨模态图像自然语言描述方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106778811B (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
JP4545641B2 (ja) | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 | |
Li et al. | Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks | |
JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
JP4588575B2 (ja) | デジタル画像の複数対象物検出方法および装置並びにプログラム | |
US20130088645A1 (en) | Method of Processing Moving Picture and Apparatus Thereof | |
CN110347868B (zh) | 用于图像搜索的方法和系统 | |
CN111144314A (zh) | 一种篡改人脸视频检测方法 | |
Zhang et al. | An objective quality of experience (QoE) assessment index for retargeted images | |
CN104517274A (zh) | 基于贪婪搜索的人脸画像合成方法 | |
CN112215780A (zh) | 基于类特征修复融合的图像取证对抗性攻击防御方法 | |
CN117830537B (zh) | 一种弱监督的3d场景图生成方法、装置、设备及介质 | |
JP5192437B2 (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
JPH10301948A (ja) | 画像および映像検索方法 | |
Wang et al. | Hole-filling for DIBR based on depth and gradient information | |
CN106778811B (zh) | 一种图像字典生成方法、图像处理方法及装置 | |
CN110942062B (zh) | 图像验证码生成方法、介质、装置和计算设备 | |
Zheng et al. | Template‐Aware Transformer for Person Reidentification | |
JPH06318256A (ja) | 画像検索装置 | |
JP2006060796A (ja) | 映像検索装置,方法及びプログラム並びにプログラムを記録した記録媒体 | |
CN109523478B (zh) | 图像去网格方法、存储介质 | |
US8938118B1 (en) | Method of neighbor embedding for OCR enhancement | |
CN113591657B (zh) | Ocr版面识别的方法、装置、电子设备及介质 | |
JP2017138743A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Kumar et al. | Encoder–decoder-based CNN model for detection of object removal by image inpainting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220708 Address after: 518057 2304, block a, building 2, Shenzhen International Innovation Valley, Dashi 1st Road, Xili community, Xili street, Nanshan District, Shenzhen, Guangdong Province Patentee after: SHENZHEN AIMO TECHNOLOGY Co.,Ltd. Address before: 710071 Taibai South Road, Yanta District, Xi'an, Shaanxi Province, No. 2 Patentee before: XIDIAN University |
|
TR01 | Transfer of patent right |