CN113744364A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN113744364A
CN113744364A CN202110178127.2A CN202110178127A CN113744364A CN 113744364 A CN113744364 A CN 113744364A CN 202110178127 A CN202110178127 A CN 202110178127A CN 113744364 A CN113744364 A CN 113744364A
Authority
CN
China
Prior art keywords
image
pixel
value
illumination
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110178127.2A
Other languages
English (en)
Other versions
CN113744364B (zh
Inventor
周芳汝
杨玫
安山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110178127.2A priority Critical patent/CN113744364B/zh
Publication of CN113744364A publication Critical patent/CN113744364A/zh
Priority to PCT/CN2022/070038 priority patent/WO2022170890A1/zh
Priority to US18/264,739 priority patent/US20240127507A1/en
Application granted granted Critical
Publication of CN113744364B publication Critical patent/CN113744364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

本公开提供一种图像处理方法和装置。图像处理方法包括：利用预设模板图像替换场景图像中的目标，以生成虚拟图像；将场景图像划分为多个具有预定大小的图像块；根据每个图像块中落入目标区域的像素点的像素值均值与场景图像中的目标区域内的像素点的像素值均值确定场景图像的像素残差；根据像素残差确定光照偏移量；根据光照偏移量对虚拟图像中的像素点的像素值进行更新，以实现光照迁移。

Description

图像处理方法和装置
技术领域
本公开涉及信息处理领域，特别涉及一种图像处理方法和装置。
背景技术
目前，将图像展示作为宣传手段以得到了广泛应用，通过展示在不同装修场景下的地板、地毯等物品，可有效提升宣传效果。例如，通过将场景图像中的原地板更换为用户所选择的模板图像以生成虚拟图像，并采用虚拟光源对虚拟图像中的新地标进行渲染，以使得虚拟图像看起来像是在真实场景中拍摄的。
发明内容
发明人注意到，在相关技术中，被渲染的图像不够平滑，有突兀感，从而降低了用户体验。
据此，本公开提供一种图像处理方案，能够通过光照迁移使得虚拟图像更加自然。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：利用预设模板图像替换场景图像中的目标，以生成虚拟图像；将所述场景图像划分为多个具有预定大小的图像块；根据所述每个图像块中落入所述目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差；根据所述像素残差确定光照偏移量；根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新，以实现光照迁移。
在一些实施例中，利用预设模板图像替换场景图像中的目标包括：将所述模板图像映射到所述场景图像的像素坐标系中，以生成转换图像；将所述场景图像中的目标更换为所述转换图像，以生成所述虚拟图像。
在一些实施例中，将所述模板图像映射到所述场景图像的像素坐标系中包括：在所述场景图像中生成所述目标的最小外接矩形；将所述最小外接矩形从所述像素坐标系映射到所述预设平面坐标系中以得到第一图形；将所述第一图形变换为正方形以得到第二图形；计算将所述模板图像映射为所述第二图形的第一变换子矩阵；计算将所述第一图形映射为所述最小外接矩形的第二变换子矩阵；根据所述第一变换子矩阵和所述第二变换子矩阵得到所述变换矩阵；根据所述变换矩阵将所述模板图像映射到所述像素坐标系中。
在一些实施例中，所述变换矩阵为所述第二变换子矩阵和所述第一变换子矩阵的乘积。
在一些实施例中，确定所述场景图像的像素残差包括：计算所述场景图像中的目标区域内的像素点的像素值均值以作为参照均值；计算所述每个图像块中落入所述目标区域的像素点的像素值均值以作为所述每个图像块的像素值均值；根据所述每个图像块的像素值均值与所述参照均值之差确定所述场景图像的像素残差。
在一些实施例中，根据所述像素残差确定光照偏移量包括：将所述像素残差进行插值处理以得到所述光照偏移量，其中所述光照偏移量对应的可视化图像和所述虚拟图像的大小相同。
在一些实施例中，根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新包括：计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积；计算所述像素点Pi,j的红色通道的像素值
Figure BDA0002941364160000021
与所述第一乘积的第一和值，所述像素点Pi,j的绿色通道的像素值
Figure BDA0002941364160000022
与所述第一乘积的第二和值，以及所述像素点Pi,j的蓝色通道的像素值
Figure BDA0002941364160000023
与所述第一乘积的第三和值；分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为所述第一变换图像中第i行、第j列的像素点的红色通道的像素值
Figure BDA0002941364160000024
绿色通道的像素值
Figure BDA0002941364160000025
和蓝色通道的像素值
Figure BDA0002941364160000026
在一些实施例中，在根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新以生成第一变换图像后，利用所述光照偏移量调节所述第一变换图像的饱和度，以生成第二变换图像；将所述第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。
在一些实施例中，利用所述光照偏移量调节所述第一变换图像的饱和度包括：对所述光照偏移量进行归一化处理；计算经过归一化处理的光照偏移量中与所述第一变换图像中第i行、第j列的像素点Pi,j对应的偏移量为
Figure BDA0002941364160000031
与饱和度调节参数α的第二乘积；计算第三参数与所述第二乘积的差值；将第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值
Figure BDA0002941364160000032
与所述差值的第三乘积与第四参数中的最大值作为所述第二变换图像中第i行、第j列的像素点的饱和度通道的像素值
Figure BDA0002941364160000033
根据本公开实施例的第二方面，提供一种图像处理装置，包括：第一处理模块，被配置为利用预设模板图像替换场景图像中的目标，以生成虚拟图像；第二处理模块，被配置为将所述场景图像划分为多个具有预定大小的图像块，根据所述每个图像块中落入所述目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差；第三处理模块，被配置为根据所述像素残差确定光照偏移量；光照迁移模块，被配置为根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新，以实现光照迁移。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的图像处理方法的流程示意图；
图2为本公开一个实施例的场景图像示意图；
图3为本公开一个实施例的模板图像示意图；
图4为本公开一个实施例的变换图像示意图；
图5A和图5B为本公开一些实施例的场景图像及掩码图像示意图；
图6为本公开一个实施例的虚拟图像示意图；
图7A至图7C为本公开一些实施例的场景图像及光照偏移量示意图；
图8A至图8C为本公开一些实施例的场景图像、虚拟图像和变换图像示意图；
图9为本公开一个实施例的图像处理装置的结构示意图；
图10为本公开另一个实施例的图像处理装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本公开一个实施例的图像处理方法的流程示意图。在一些实施例中，下列的图像处理方法步骤由图像处理装置执行。
在步骤101，利用预设模板图像替换场景图像中的目标，以生成虚拟图像。
在一些实施例中，将模板图像映射到场景图像的像素坐标系中，以生成转换图像。将场景图像中的目标更换为转换图像，以生成虚拟图像。
例如，如图2所示，场景图像中的目标为地板。
首先，在场景图像I1中生成目标的最小外接矩形，如图2中的白色线框所示。例如，通过在场景图像中找到包括地板区域的四个顶点，通过这四个顶点形成目标的最小外接矩形Reg。
然后，将最小外接矩形Reg从场景图像I1的像素坐标系映射到预设平面坐标系中以得到第一图形Box。由于模板图像I0为正方形，如图3所示，为避免在将模板图像I0映射到场景图像中I1中产生形变，还需要将第一图形Box变换为正方形以得到第二图形Squ。
接下来，计算将模板图像I0映射为第二图形Squ的第一变换子矩阵T1，以及将第一图形Box映射为最小外接矩形Reg的第二变换子矩阵T2。根据第一变换子矩阵和第二变换子矩阵得到变换矩阵。
在一些实施例中，变换矩阵为第二变换子矩阵和第一变换子矩阵的乘积，即变换矩阵为T2T1。
最后根据变换矩阵将模板图像I0映射到像素坐标系中。
例如，最小外接矩形Reg的四个顶点坐标为：
Figure BDA0002941364160000061
其中
Figure BDA0002941364160000062
平面坐标系下的第一图形Box的顶点坐标为：
Figure BDA0002941364160000063
设：
Figure BDA0002941364160000064
Figure BDA0002941364160000065
as＝max(wb,hb) (5)
则上述公式(2)可表示为：
Figure BDA0002941364160000066
平面坐标系下的第二图形Squ的顶点坐标为：
VSquare＝{(0,0),(as,0),(as,as),(0,as)} (7)
设模板图像I0的大小为
Figure BDA0002941364160000067
则模板图像I0的顶点坐标为：
Figure BDA0002941364160000068
通过计算将模板图像I0的顶点坐标
Figure BDA0002941364160000069
映射到第二图形Squ的顶点坐标VSquare的第一变换子矩阵T1，以及将第一图形Box的顶点坐标VBox映射到最小外接矩形Reg的顶点坐标VReg的第二变换子矩阵T2。利用变换矩阵T2T1将模板图像I0映射到场景图像I1的坐标系中以生成转换图像I3，如图4所示。
在一些实施例中，为了将场景图像I1中的目标更换为转换图像I3，针对如图5A所示的场景图像I1，标注出相应的目标掩码图像M，如图5B所示。
接下来，通过利用公式(9)将场景图像I1中的目标更换为转换图像I3，以生成虚拟图像I2。
Figure BDA0002941364160000071
其中Mi,j表示掩码图像M中的第i行、第j列的像素点的像素值。若Mi,j>0，则表明场景图像I1中的第i行、第j列的像素点属于目标区域，在这种情况下用转换图像I3中的第i行、第j列的像素点的像素值替代场景图像I1中的第i行、第j列的像素点的像素值。若Mi,j＝0，则表明场景图像I1中的第i行、第j列的像素点不属于目标区域，在这种情况下不对场景图像I1中的第i行、第j列的像素点的像素值进行调整。由此实现将场景图像I1中的目标更换为转换图像I3，如图6所示。
在步骤102，将场景图像划分为多个具有预定大小的图像块。
例如，将场景图像I1划分成h×w个图像块，每个图形块的大小为b×b。设场景图像I1的大小为H×W，则h和w满足：
Figure BDA0002941364160000072
Figure BDA0002941364160000073
其中ceil为向上取整函数。
在步骤103，根据每个图像块中落入目标区域的像素点的像素值均值与场景图像中的目标区域内的像素点的像素值均值确定场景图像的像素残差。
在一些实施例中，通过计算场景图像中的目标区域内的像素点的像素值均值以作为参照均值，计算每个图像块中落入目标区域的像素点的像素值均值以作为每个图像块的像素值均值，根据每个图像块的像素值均值与参照均值之差确定场景图像的像素残差。
例如，场景图像I1中的第i行、第j列的像素点的红色通道、绿色通道和蓝色通道的像素值分别为
Figure BDA0002941364160000074
则场景图像I1中的目标区域内的像素点的像素值均值u为：
Figure BDA0002941364160000075
其中couyt(Mi,j>0)表示掩码图像M中像素值大于0的像素个数，也就是场景图像I1中的目标区域的像素个数。
针对场景图像I1中的每个图形块，按照上述公式(12)，落入目标区域的像素点的像素值均值us,t，0≤s<h，0≤t<w。则像素残差
Figure BDA0002941364160000081
的第s行，第t列的值
Figure BDA0002941364160000082
为：
Figure BDA0002941364160000083
这里需要说明的是，像素残差D1中大于0的区域为光照区域，数值越大则光照越强。像素残差D1中小于0的区域为阴影区域，数值越小则阴影越明显。
在步骤104，根据像素残差确定光照偏移量。
在一些实施例中，将像素残差进行插值处理以得到光照偏移量，其中光照偏移量对应的可视化图像和虚拟图像的大小相同。
为了能够将像素残差D1融合到虚拟图像I2中，对D1进行插值以得到光照偏移量D∈Rd×W，其中光照偏移量D对应的可视化图像和虚拟图像的大小相同。
例如，图7A为场景图像I1，图7B为光照偏移量D中大于0部分的可视化图像，图7C为光照偏移量D中小于0部分的可视化图像。图7B明显地呈现出光照区域，图7C明显地呈现出因椅子遮挡而形成的阴影区域。
在步骤105，根据光照偏移量对虚拟图像中的像素点的像素值进行更新，以实现光照迁移。
在一些实施例中，根据光照偏移量对虚拟图像中的像素点的像素值进行更新包括：计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积。计算所述像素点Pi,j的红色通道的像素值
Figure BDA0002941364160000084
与所述第一乘积的第一和值，所述像素点Pi,j的绿色通道的像素值
Figure BDA0002941364160000085
与所述第一乘积的第二和值，以及所述像素点Pi,j的蓝色通道的像素值
Figure BDA0002941364160000086
与所述第一乘积的第三和值。分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为所述第一变换图像中第i行、第j列的像素点的红色通道的像素值
Figure BDA0002941364160000091
绿色通道的像素值
Figure BDA0002941364160000092
和蓝色通道的像素值
Figure BDA0002941364160000093
例如，第一参数为255，第二参数为0。
在一些实施例中，利用下列公式对虚拟图像中的每个像素点的像素值进行更新以生成第一变换图像。
Figure BDA0002941364160000094
Figure BDA0002941364160000095
Figure BDA0002941364160000096
虚拟图像I2中第i行、第j列的像素点Pi,j的红色通道、绿色通道和蓝色通道的像素值分别为
Figure BDA0002941364160000097
和
Figure BDA0002941364160000098
光照偏移量中与像素点Pi,j对应的偏移量为Di,j，第一变换图像中第i行、第j列的像素点的红色通道、绿色通道和蓝色通道的像素值分别为
Figure BDA0002941364160000099
和
Figure BDA00029413641600000910
σ为光照迁移调节参数，例如σ＝0.7。max为取最大值函数，min为取最小值函数。
在一些实施例中，通过利用光照偏移量来调节第一变换图像的饱和度，能够使所生成的图像更加自然。
在根据光照偏移量对虚拟图像中的像素点的像素值进行更新以生成第一变换图像后，利用光照偏移量调节第一变换图像的饱和度，以生成第二变换图像。
在一些实施例中，利用所述光照偏移量调节所述第一变换图像的饱和度包括：首先对所述光照偏移量进行归一化处理。接下来计算经过归一化处理的光照偏移量中与所述第一变换图像中第i行、第j列的像素点Pi,j对应的偏移量为
Figure BDA00029413641600000911
与饱和度调节参数α的第二乘积。计算第三参数与所述第二乘积的差值。最后将第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值
Figure BDA00029413641600000912
与所述差值的第三乘积与第四参数中的最大值作为所述第二变换图像中第i行、第j列的像素点的饱和度通道的像素值
Figure BDA00029413641600000913
例如，第三参数为1，第四参数为0。
例如，在对光照偏移量D进行归一化处理以得到Dn后，利用下列公式对第一变换图像中的每个像素点的像素值进行更新以生成第二变换图像。
Figure BDA0002941364160000101
第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值为
Figure BDA0002941364160000102
经过归一化处理的光照偏移量Dn中与像素点Pi,j对应的偏移量为
Figure BDA0002941364160000103
第二变换图像中第i行、第j列的像素点的饱和度通道的像素值为
Figure BDA0002941364160000104
α为饱和度调节参数，例如α＝0.5。
接下来，将第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。
例如，图8A为场景图像I1，图8B为生成的虚拟图像I2，图8C为经过光照迁移和饱和度调节后的图像。相比于图8B，图8C所呈现的图像更加自然。
图9为本公开一个实施例的图像处理装置的结构示意图。如图9所示，图像处理装置包括第一处理模块901、第二处理模块902、第三处理模块903和光照迁移模块904。
第一处理模块901被配置为利用预设模板图像替换场景图像中的目标，以生成虚拟图像。
在一些实施例中，将模板图像映射到场景图像的像素坐标系中，以生成转换图像。将场景图像中的目标更换为转换图像，以生成虚拟图像。
例如，如图2所示，场景图像中的目标为地板。
首先，在场景图像I1中生成目标的最小外接矩形，如图2中的白色线框所示。例如，通过在场景图像中找到包括地板区域的四个顶点，通过这四个顶点形成目标的最小外接矩形Reg。
然后，将最小外接矩形Reg从场景图像I1的像素坐标系映射到预设平面坐标系中以得到第一图形Box。由于模板图像I0为正方形，如图3所示，为避免在将模板图像I0映射到场景图像中I1中产生形变，还需要将第一图形Box变换为正方形以得到第二图形Squ。
接下来，计算将模板图像I0映射为第二图形Squ的第一变换子矩阵T1，以及将第一图形Box映射为最小外接矩形Reg的第二变换子矩阵T2。根据第一变换子矩阵和第二变换子矩阵得到变换矩阵。
在一些实施例中，变换矩阵为第二变换子矩阵和第一变换子矩阵的乘积，即变换矩阵为T2T1。根据变换矩阵将模板图像I0映射到像素坐标系中。
第二处理模块902被配置为将场景图像划分为多个具有预定大小的图像块，根据每个图像块中落入目标区域的像素点的像素值均值与场景图像中的目标区域内的像素点的像素值均值确定场景图像的像素残差。
在一些实施例中，通过计算场景图像中的目标区域内的像素点的像素值均值以作为参照均值，计算每个图像块中落入目标区域的像素点的像素值均值以作为每个图像块的像素值均值，根据每个图像块的像素值均值与参照均值之差确定场景图像的像素残差。
第三处理模块903被配置为根据像素残差确定光照偏移量。
在一些实施例中，将像素残差进行插值处理以得到光照偏移量，其中光照偏移量对应的可视化图像和虚拟图像的大小相同。
光照迁移模块904被配置为根据光照偏移量对虚拟图像中的像素点的像素值进行更新，以实现光照迁移。
在一些实施例中，通过利用上述公式(14)至公式(16)对虚拟图像中的每个像素点的像素值进行更新以生成第一变换图像。
在一些实施例中，为了能够使所生成的图像更加自然，在根据光照偏移量对虚拟图像中的像素点的像素值进行更新以生成第一变换图像后，利用光照偏移量调节第一变换图像的饱和度，以生成第二变换图像。例如利用上述公式(17)进行饱和度调整。
接下来，将第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。从而确保所生成的图像更加自然。
图10为本公开另一个实施例的图像处理装置的结构示意图。如图10所示，图像处理装置包括存储器1001和处理器1002。
存储器1001用于存储指令，处理器1002耦合到存储器1001，处理器1002被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。
如图10所示，该图像处理装置还包括通信接口1003，用于与其它设备进行信息交互。同时，该图像处理装置还包括总线1004，处理器1002、通信接口1003、以及存储器1001通过总线1004完成相互间的通信。
存储器1001可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1001也可以是存储器阵列。存储器1001还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器1002可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。
在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(Field-ProgrammableGate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种图像处理方法，包括：
利用预设模板图像替换场景图像中的目标，以生成虚拟图像；
将所述场景图像划分为多个具有预定大小的图像块；
根据所述每个图像块中落入所述目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差；
根据所述像素残差确定光照偏移量；
根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新，以实现光照迁移。
2.根据权利要求1所述的方法，其中，利用预设模板图像替换场景图像中的目标包括：
将所述模板图像映射到所述场景图像的像素坐标系中，以生成转换图像；
将所述场景图像中的目标更换为所述转换图像，以生成所述虚拟图像。
3.根据权利要求2所述的方法，其中，将所述模板图像映射到所述场景图像的像素坐标系中包括：
在所述场景图像中生成所述目标的最小外接矩形；
将所述最小外接矩形从所述像素坐标系映射到所述预设平面坐标系中以得到第一图形；
将所述第一图形变换为正方形以得到第二图形；
计算将所述模板图像映射为所述第二图形的第一变换子矩阵；
计算将所述第一图形映射为所述最小外接矩形的第二变换子矩阵；
根据所述第一变换子矩阵和所述第二变换子矩阵得到所述变换矩阵；
根据所述变换矩阵将所述模板图像映射到所述像素坐标系中。
4.根据权利要求3所述的方法，其中，
所述变换矩阵为所述第二变换子矩阵和所述第一变换子矩阵的乘积。
5.根据权利要求1所述的方法，其中，确定所述场景图像的像素残差包括：
计算所述场景图像中的目标区域内的像素点的像素值均值以作为参照均值；
计算所述每个图像块中落入所述目标区域的像素点的像素值均值以作为所述每个图像块的像素值均值；
根据所述每个图像块的像素值均值与所述参照均值之差确定所述场景图像的像素残差。
6.根据权利要求5所述的方法，其中，根据所述像素残差确定光照偏移量包括：
将所述像素残差进行插值处理以得到所述光照偏移量，其中所述光照偏移量对应的可视化图像和所述虚拟图像的大小相同。
7.根据权利要求1所述的方法，其中，根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新包括：
计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积；
计算所述像素点Pi,j的红色通道的像素值
Figure FDA0002941364150000021
与所述第一乘积的第一和值，所述像素点Pi,j的绿色通道的像素值
Figure FDA0002941364150000022
与所述第一乘积的第二和值，以及所述像素点Pi,j的蓝色通道的像素值
Figure FDA0002941364150000023
与所述第一乘积的第三和值；
分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为所述第一变换图像中第i行、第j列的像素点的红色通道的像素值
Figure FDA0002941364150000024
绿色通道的像素值
Figure FDA0002941364150000031
和蓝色通道的像素值
Figure FDA0002941364150000032
8.根据权利要求1-7中任一项所述的方法，还包括：
在根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新以生成第一变换图像后，利用所述光照偏移量调节所述第一变换图像的饱和度，以生成第二变换图像；
将所述第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。
9.根据权利要求8所述的方法，其中，利用所述光照偏移量调节所述第一变换图像的饱和度包括：
对所述光照偏移量进行归一化处理；
计算经过归一化处理的光照偏移量中与所述第一变换图像中第i行、第j列的像素点Pi,j对应的偏移量为
Figure FDA0002941364150000033
与饱和度调节参数α的第二乘积；
计算第三参数与所述第二乘积的差值；
将第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值
Figure FDA0002941364150000034
与所述差值的第三乘积与第四参数中的最大值作为所述第二变换图像中第i行、第j列的像素点的饱和度通道的像素值
Figure FDA0002941364150000035
10.一种图像处理装置，包括：
第一处理模块，被配置为利用预设模板图像替换场景图像中的目标，以生成虚拟图像；
第二处理模块，被配置为将所述场景图像划分为多个具有预定大小的图像块，根据所述每个图像块中落入所述目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差；
第三处理模块，被配置为根据所述像素残差确定光照偏移量；
光照迁移模块，被配置为根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新，以实现光照迁移。
11.一种图像处理装置，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN202110178127.2A 2021-02-09 2021-02-09 图像处理方法和装置 Active CN113744364B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110178127.2A CN113744364B (zh) 2021-02-09 2021-02-09 图像处理方法和装置
PCT/CN2022/070038 WO2022170890A1 (zh) 2021-02-09 2022-01-04 图像处理方法和装置
US18/264,739 US20240127507A1 (en) 2021-02-09 2022-01-04 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110178127.2A CN113744364B (zh) 2021-02-09 2021-02-09 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN113744364A true CN113744364A (zh) 2021-12-03
CN113744364B CN113744364B (zh) 2024-04-05

Family

ID=78728167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110178127.2A Active CN113744364B (zh) 2021-02-09 2021-02-09 图像处理方法和装置

Country Status (3)

Country Link
US (1) US20240127507A1 (zh)
CN (1) CN113744364B (zh)
WO (1) WO2022170890A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022170890A1 (zh) * 2021-02-09 2022-08-18 北京沃东天骏信息技术有限公司 图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177109A1 (en) * 2009-01-09 2010-07-15 Dinsney Enterprises, Inc. System and method for monochromatic tinting using saturation maps
CN106851090A (zh) * 2016-12-20 2017-06-13 广东欧珀移动通信有限公司 图像处理方法与装置、控制方法与装置、成像与电子装置
CN107205142A (zh) * 2017-06-30 2017-09-26 青岛海信电器股份有限公司 一种图像色彩偏移的方法、装置及显示设备
CN110473176A (zh) * 2019-07-29 2019-11-19 腾讯医疗健康(深圳)有限公司 图像处理方法及装置、眼底图像处理方法、电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881011B (zh) * 2012-08-31 2015-04-29 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN104065859B (zh) * 2014-06-12 2017-06-06 青岛海信电器股份有限公司 一种全景深图像的获取方法及摄像装置
CN106251286B (zh) * 2015-12-30 2019-11-22 深圳超多维科技有限公司 图像处理方法、装置及设备
CN106780707B (zh) * 2016-11-17 2019-08-06 腾讯科技（深圳）有限公司 模拟场景中全局光照的方法和装置
CN113744364B (zh) * 2021-02-09 2024-04-05 北京沃东天骏信息技术有限公司 图像处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177109A1 (en) * 2009-01-09 2010-07-15 Dinsney Enterprises, Inc. System and method for monochromatic tinting using saturation maps
CN106851090A (zh) * 2016-12-20 2017-06-13 广东欧珀移动通信有限公司 图像处理方法与装置、控制方法与装置、成像与电子装置
CN107205142A (zh) * 2017-06-30 2017-09-26 青岛海信电器股份有限公司 一种图像色彩偏移的方法、装置及显示设备
CN110473176A (zh) * 2019-07-29 2019-11-19 腾讯医疗健康(深圳)有限公司 图像处理方法及装置、眼底图像处理方法、电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022170890A1 (zh) * 2021-02-09 2022-08-18 北京沃东天骏信息技术有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
US20240127507A1 (en) 2024-04-18
CN113744364B (zh) 2024-04-05
WO2022170890A1 (zh) 2022-08-18

Similar Documents

Publication Publication Date Title
US7557812B2 (en) Multilevel texture processing method for mapping multiple images onto 3D models
JP6793281B2 (ja) 色域マッピング方法及び色域マッピング装置
JP2002183761A (ja) 画像生成の方法および装置
JP6222939B2 (ja) ムラ補正装置及びその制御方法
JP2012104114A (ja) 二次元画像の透視変換
JP3126046B2 (ja) カラー画像の色調整方法及び色調整装置
JP2023552538A (ja) 画像処理方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN113744364A (zh) 图像处理方法和装置
US20220138840A1 (en) Systems and methods for visualizing wall coverings in an image of a scene
WO2020093653A1 (zh) 色彩调整方法、色彩调整装置、电子设备及计算机可读存储介质
CN113781571A (zh) 图像处理方法和装置
EP3588449A1 (en) Devices, systems, and methods for color correcting digital images
CN113763439A (zh) 图像处理方法和装置
KR101893793B1 (ko) 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
CN110969675A (zh) 一种模拟相机不同形状光圈虚化的方法
JP5178933B1 (ja) 画像処理装置
JP2010278680A (ja) 特定色検出回路
JP2591189B2 (ja) カラー画像処理方法及び装置
JP2005149439A (ja) 画像処理装置及び画像処理方法
Wang et al. An image-based texture mapping technique for apparel products exhibition and interior design
US11893706B2 (en) Image correction device
JP2020507100A (ja) 曲面投影領域へのイメージ投影方法およびそのための投影システム
CN111354064B (zh) 一种纹理图像的生成方法和装置
JP6135274B2 (ja) カラーチャートの表示方法、カラーチャートの表示装置、及び、カラーチャートの表示プログラム
US20220132087A1 (en) Setting support method, setting support system for projection region, and non-transitory computer - readable storage medium storing a program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant