CN113781571A - 图像处理方法和装置 - Google Patents

Abstract

本公开提供一种图像处理方法和装置。图像处理方法包括：提取场景图像中目标的第一掩码图像和目标在相机坐标系下的法线；根据第一掩码图像获取目标在像素坐标系下的第一边界线段集；根据法线及相机预设参数，将第一掩码图像和第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集；在平面坐标系中，根据第二掩码图像和第二边界线段集生成目标的最小外接矩形；将预设模板图像映射到目标的最小外接矩形中以生成变换图像；将场景图像中的目标更换为转换图像，以生成虚拟图像。

Description

图像处理方法和装置

技术领域

本公开涉及信息处理领域，特别涉及一种图像处理方法和装置。

背景技术

目前，将图像展示作为宣传手段以得到了广泛应用，通过展示在不同装修场景下的地板、地毯等物品，可有效提升宣传效果。例如，通过将地板模板图像通过透视变换粘贴到场景图像中的地板区域，以使得虚拟图像看起来像是在真实场景中拍摄的。

发明内容

发明人注意到，在相关技术中，通过人工方式选择地板的贴图位置，人力成本高且耗时长，用户体验较差。

据此，本公开提供一种图像处理方案，能够方便快捷地更换场景图像中的指定目标，有效提升用户体验。

根据本公开实施例的第一方面，提供一种图像处理方法，包括：提取场景图像中目标的第一掩码图像和所述目标在相机坐标系下的法线；根据所述第一掩码图像获取所述目标在像素坐标系下的第一边界线段集；根据所述法线及相机预设参数，将所述第一掩码图像和所述第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集；在所述平面坐标系中，根据所述第二掩码图像和所述第二边界线段集生成所述目标的最小外接矩形；将预设模板图像映射到所述目标的最小外接矩形中以生成变换图像；将所述场景图像中的目标更换为所述转换图像，以生成虚拟图像。

在一些实施例中，根据所述第一掩码图像获取所述目标在像素坐标系下的第一边界线段集包括：对所述第一掩码图像进行直线检测，以生成第一候选线段集；删除所述第一候选线段集中的所述场景图像的边界线段，以生成第二候选线段集；删除所述第二候选线段集中的位于目标区域中的物体的边界线段，以生成所述第一边界线段集。

在一些实施例中，删除所述第一候选线段集中的所述场景图像的边界线段包括：判断所述第一候选线段集中的第i条线段是否满足第一条件或第二条件，其中所述第一条件为|x₁-x₂|＜β且|x₁+x₂-W|＞αW，所述第二条件为|y₁-y₂|＜β且|y₁+y₂-H|＞αH，所述第i条线段的两个端点的坐标分别为x₁、y₁和x₁、y₂，所述第一掩码图像的大小为H×W，α、β为预设参数，1≤i≤n₁，n₁为所述第一候选线段集中的候选线段数；若所述第i条线段满足所述第一条件或所述第二条件，则从所述第一候选线段集中删除所述第i条线段。

在一些实施例中，删除所述第二候选线段集中的位于目标区域中的物体的边界线段包括：判断所述第二候选线段集中的第j条线段是否满足第三条件，其中所述第三条件为abs(mean(reg₁)-mean(reg₂))＜γ，mean(reg₁)为在所述第一掩码图像的最小外接凸多边形中位于所述第j条线一侧的第一区域内的像素点的像素值均值，mean(reg₂)为在所述第一掩码图像的最小外接凸多边形中位于所述第j条线另一侧的第二区域内的像素点的像素值均值，abs为取绝对值函数，γ为预设参数，1≤j≤n₂，n₂为所述第二候选线段集中的候选线段数；若所述第j条线段满足第三条件，则从所述第二候选线段集中删除所述第j条线段。

在一些实施例中，根据所述法线及相机预设参数，将所述第一掩码图像和所述第一边界线段集中的每条边界线段映射到相机平面坐标系中包括：根据所述法线及相机预设参数，将所述第一掩码图像中的前景像素点的第一坐标映射到所述相机坐标系中，以得到对应的第二坐标；将所述第二坐标映射到所述平面坐标系中，以得到对应的第三坐标；计算从所述第一坐标到所述第三坐标的第一变换子矩阵；利用所述第一变换子矩阵，将所述第一掩码图像映射到所述平面坐标系中，以生成第二掩码图像；利用所述第一变换子矩阵，将所述第一边界线段集中的每条线段映射到所述平面坐标系中，以生成第二边界线段集。

在一些实施例中，在所述平面坐标系中，根据所述第二掩码图像和所述第二边界线段集生成所述目标的最小外接矩形包括：在所述第二边界线段集中选择长度最大的线段以作为参照线段；计算所述参照线段与水平方向的夹角θ；将所述第二掩码图像沿第一方向旋转θ角以生成第三掩码图像，使得旋转后的参照线段与水平方向平行；在所述第三掩码图像中生成前景区域的最小外接矩形；将在所述第三掩码图像中生成的前景区域的最小外接矩形沿与第一方向相反的第二方向旋转θ角，以得到所述目标的最小外接矩形。

在一些实施例中，将预设模板图像映射到所述目标的最小外接矩形中以生成变换图像包括：将所述目标的最小外接矩形变换为正方形；计算将所述模板图像映射为所述正方形的第二变换子矩阵；根据所述第一变换子矩阵和所述第二变换子矩阵得到变换矩阵；根据所述变换矩阵将所述模板图像映射到所述像素坐标系中，以生成所述变换图像。

在一些实施例中，所述变换矩阵为所述第一变换子矩阵的逆矩阵和所述第二变换子矩阵的乘积。

在一些实施例中，将所述场景图像中的目标更换为所述转换图像包括：在所述第一掩码图像中第i行、第j列的像素点的像素值大于0的情况下，将所述场景图像中第i行、第j列的像素点的像素值更换为所述转换图像中第i行、第j列的像素点的像素值。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：第一处理模块，被配置为提取场景图像中目标的第一掩码图像和所述目标在相机坐标系下的法线；第二处理模块，被配置为根据所述第一掩码图像获取所述目标在像素坐标系下的第一边界线段集；第三处理模块，被配置为根据所述法线及相机预设参数，将所述第一掩码图像和所述第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集；第四处理模块，被配置为在所述平面坐标系中，根据所述第二掩码图像和所述第二边界线段集生成所述目标的最小外接矩形；第五处理模块，被配置为将预设模板图像映射到所述目标的最小外接矩形中以生成变换图像；图像更新模块，被配置为将所述场景图像中的目标更换为所述转换图像，以生成虚拟图像。

根据本公开实施例的第三方面，提供一种图像处理装置，包括：

存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一个实施例的图像处理方法的流程示意图；

图2A至图2C为本公开一些实施例的场景图像和掩码图像的示意图；

图3A和图3B为本公开一些实施例的掩码图像的示意图；

图4为本公开另一个实施例的掩码图像的示意图；

图5为本公开又一个实施例的掩码图像的示意图；

图6为本公开又一个实施例的掩码图像的示意图；

图7为本公开又一个实施例的掩码图像的示意图；

图8为本公开一个实施例的模板图像的示意图；

图9为本公开另一实施例的模板图像的示意图；

图10为本公开一个实施例的虚拟图像的示意图；

图11为本公开一个实施例的图像处理装置的结构示意图；

图12为本公开另一个实施例的图像处理装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本公开一个实施例的图像处理方法的流程示意图。在一些实施例中，下列的图像处理方法步骤由图像处理装置执行。

在步骤101，提取场景图像中目标的第一掩码图像和目标在相机坐标系下的法线。

在一些实施例中，利用LiteSeg网络来提取场景图像I⁰中目标的第一掩码图像M1。此外，通过提取出LiteSeg网络的中间层特征f，经过卷积运算后再进行全局池化(pooling)操作，以得到具有预定大小(例如1×1×1024)的特征图，最后通过全连接层得到目标在相机坐标系下的法线N。例如，场景图像I⁰中为图2A所示，第一掩码图像M1如图2B所示。

例如，如图2A所示，场景图像I⁰中的目标是地板。

例如，法线N可表示为：

N＝{a，b，c，d} (1)

在公式(1)中，(a，b，c)表示平面的单位法线。若相机坐标系下目标平面上一点的坐标为(x，y，z)，则：

ax+by+cx+d＝0 (2)

这里需要说明的是，由于LiteSeg网络本身并不是本公开的发明点所在，因此这里不展开描述。

在步骤102，根据第一掩码图像获取目标在像素坐标系下的第一边界线段集。

在一些实施例中，首先对第一掩码图像进行直线检测，以生成第一候选线段集。

例如，通过使用霍夫直线检测，得到第一掩码图像M1中的n₁个边界线段，以得到第一候选线段集

接下来，删除第一候选线段集中的场景图像的边界线段，以生成第二候选线段集。

例如，判断第一候选线段集L1中的第i条线段是否满足第一条件或第二条件，其中第一条件为|x₁-x₂|＜β且|x₁+x₂-W|＞αW，第二条件为|y₁-y₂|＜β且|y₁+y₂-H|＞αH，第i条线段的两个端点的坐标分别为x₁、y₁和x₁、y₂，第一掩码图像的大小为H×W，α、β为预设参数，1≤i≤n₁，n₁为第一候选线段集中的候选线段数。若第i条线段满足第一条件或第二条件，则从第一候选线段集中删除第i条线段。

即利用下列公式(3)、(4)从第一候选线段L1集中删除场景图像1⁰的边界线段，以生成第二候选线段集L²。

然后，删除第二候选线段集中的位于目标区域中的物体的边界线段，以生成第一边界线段集。

例如，判断第二候选线段集中的第j条线段是否满足第三条件，其中第三条件为abs(mean(reg₁)-mean(reg₂))＜γ，mean(reg₁)为在第一掩码图像的最小外接凸多边形中位于第j条线一侧的第一区域内的像素点的像素值均值，mean(reg₂)为在第一掩码图像的最小外接凸多边形中位于第j条线另一侧的第二区域内的像素点的像素值均值，abs为取绝对值函数，γ为预设参数，1≤j≤n₂，n₂为第二候选线段集中的候选线段数。若第j条线段满足第三条件，则从第二候选线段集中删除第j条线段。第一掩码图像的最小外接凸多边形如图2C所示。

即利用下列公式(5)、(6)从第二候选线段集L²集中删除位于目标区域中的物体的边界线段，以生成第一边界线段集L³。

在步骤103，根据法线及相机预设参数，将第一掩码图像和第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集。

在一些实施例中，首先根据法线及相机预设参数，将第一掩码图像中的前景像素点的第一坐标映射到相机坐标系中，以得到对应的第二坐标。

例如，法线N＝{a，b，c，d}，相机预设参数如下：

若第一掩码图像M1中所有的前景像素点的坐标为

其中

将P¹映射到相机坐标系下所得到的坐标

其中：

接下来，将第二坐标映射到相机平面坐标系中，以得到对应的第三坐标。相机平面坐标系为相机坐标系下的XOY平面。

例如，利用下列公式，将第二坐标P²映射到相机平面坐标系中以得到第三坐标

在上述公式(13)，变换矩阵B用于确保变换后的点坐标中的Z轴坐标为0。

接下来，计算从第一坐标P¹到第三坐标P³的第一变换子矩阵。利用第一变换子矩阵，将第一掩码图像映射到平面坐标系中，以生成第二掩码图像。例如，第一掩码图像M1如图3A所示，第二掩码图像M2如图3B所示。

接下来，利用第一变换子矩阵，将第一边界线段集中的每条线段映射到平面坐标系中，以生成第二边界线段集。

例如，将L³中每条线段的端点坐标p映射到相机平面坐标系中，以得到坐标p′，则

[p′，1]^T＝A[p，1]^T (15)

将L³中的每条线段映射到相机平面坐标系中得到第二边界线段集

在步骤104，在平面坐标系中，根据第二掩码图像和第二边界线段集生成目标的最小外接矩形。

在一些实施例中，如图4所示，首先在第二边界线段集L⁴中选择长度最大的线段4以作为参照线段，然后计算参照线段4与水平方向的夹角θ。

接下来，将第二掩码图像M2沿第一方向旋转θ角以生成第三掩码图像M3，使得旋转后的参照线段与水平方向平行。

例如，通过对图4所示的第二掩码图像顺时针旋转θ角，以得到第三掩码图像M3，如图5所示。

接下来，在第三掩码图像中生成前景区域的最小外接矩形。如图5中的B1所示。

接下来，将在第三掩码图像中生成的前景区域的最小外接矩形沿与第一方向相反的第二方向旋转θ角，以得到目标的最小外接矩形。

例如，将图5中的矩形B1逆时针旋转θ角，以得到目标的最小外接矩形，如图6中的矩形B2所示。

在步骤105，将预设模板图像映射到目标的最小外接矩形中以生成变换图像。

在一些实施例中，首先将目标的最小外接矩形变换为正方形。如图7所示，将目标的最小外接矩形B2变换为正方形B3。

接下来，计算将模板图像映射到正方形的第二变换子矩阵，并根据第一变换子矩阵和第二变换子矩阵得到变换矩阵。

接下来，根据变换矩阵将模板图像映射到像素坐标系中，以生成变换图像。例如，变换矩阵为第一变换子矩阵的逆矩阵和第二变换子矩阵的乘积。

若第一变换子矩阵为A，第二变换子矩阵为D，则变换矩阵为A^-1D。

若模板图像I¹中的某一点的坐标为

则其在变换图像I²中的坐标

为：

例如，模板图像I¹如图8所示，相应的变换图像I²如图9所示。

在步骤106，将场景图像中的目标更换为转换图像，以生成虚拟图像。

在一些实施例中，在第一掩码图像中第i行、第j列的像素点的像素值大于0的情况下，将场景图像中第i行、第j列的像素点的像素值更换为转换图像中第i行、第j列的像素点的像素值。

即利用下列公式将场景图像I⁰中的目标更为转换图像I²，以得到虚拟图像I³，如图10所示。

图11为本公开一个实施例的图像处理装置的结构示意图。如图11所示，图像处理装置包括第一处理模块1101、第二处理模块1102、第三处理模块1103、第四处理模块1104、第五处理模块1105和图像更新模块1106。

第一处理模块1101被配置为提取场景图像中目标的第一掩码图像和目标在相机坐标系下的法线。

在一些实施例中，利用LiteSeg网络来提取场景图像I⁰中目标的第一掩码图像M1。此外，通过提取出LiteSeg网络的中间层特征f，经过卷积运算后再进行全局池化(pooling)操作，以得到具有预定大小(例如1×1×1024)的特征图，最后通过全连接层得到目标在相机坐标系下的法线N。

第二处理模块1102被配置为根据第一掩码图像获取目标在像素坐标系下的第一边界线段集。

在一些实施例中，第二处理模块1102首先对第一掩码图像进行直线检测，以生成第一候选线段集。

接下来，第二处理模块1102删除第一候选线段集中的场景图像的边界线段，以生成第二候选线段集。

例如，通过判断第一候选线段集L¹中的第i条线段是否满足第一条件或第二条件，其中第一条件为|x₁-x₂|＜β且|x₁+x₂-W|＞αW，第二条件为|y₁-y₂|＜β且|y₁+y₂-H|＞αH，第i条线段的两个端点的坐标分别为x₁、y₁和x₁、y₂，第一掩码图像的大小为H×W，α、β为预设参数，1≤i≤n₁，n₁为第一候选线段集中的候选线段数。若第i条线段满足第一条件或第二条件，则从第一候选线段集中删除第i条线段。

然后，删除第二候选线段集中的位于目标区域中的物体的边界线段，以生成第一边界线段集。

例如，第二处理模块1102判断第二候选线段集中的第j条线段是否满足第三条件，其中第三条件为abs(mean(reg₁)-mean(reg₂))＜γ，mean(reg₁)为在第一掩码图像的最小外接凸多边形中位于第j条线一侧的第一区域内的像素点的像素值均值，mean(reg₂)为在第一掩码图像的最小外接凸多边形中位于第j条线另一侧的第二区域内的像素点的像素值均值，abs为取绝对值函数，γ为预设参数，1≤j≤n₂，n₂为第二候选线段集中的候选线段数。若第j条线段满足第三条件，则从第二候选线段集中删除第j条线段。

第三处理模块1103被配置为根据法线及相机预设参数，将第一掩码图像和第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集。

在一些实施例中，第三处理模块1103首先根据法线及相机预设参数，将第一掩码图像中的前景像素点的第一坐标映射到相机坐标系中，以得到对应的第二坐标。

接下来，第三处理模块1103将第二坐标映射到相机平面坐标系中，以得到对应的第三坐标。相机平面坐标系为相机坐标系下的XOY平面。

接下来，第三处理模块1103计算从第一坐标到第三坐标的第一变换子矩阵。利用第一变换子矩阵，将第一掩码图像映射到平面坐标系中，以生成第二掩码图像。

接下来，第三处理模块1103利用第一变换子矩阵，将第一边界线段集中的每条线段映射到平面坐标系中，以生成第二边界线段集。

第四处理模块1104被配置为在平面坐标系中，根据第二掩码图像和第二边界线段集生成目标的最小外接矩形。

在一些实施例中，第四处理模块1104首先在第二边界线段集中选择长度最大的线段以作为参照线段，然后计算参照线段与水平方向的夹角θ。

接下来，第四处理模块1104将第二掩码图像沿第一方向旋转θ角以生成第三掩码图像M3，使得旋转后的参照线段与水平方向平行。

接下来，第四处理模块1104在第三掩码图像中生成前景区域的最小外接矩形。

接下来，第四处理模块1104将在第三掩码图像中生成的前景区域的最小外接矩形沿与第一方向相反的第二方向旋转θ角，以得到目标的最小外接矩形。

第五处理模块1105被配置为将预设模板图像映射到目标的最小外接矩形中以生成变换图像。

在一些实施例中，第五处理模块1105首先将目标的最小外接矩形变换为正方形。

接下来，第五处理模块1105计算将模板图像映射到正方形的第二变换子矩阵，并根据第一变换子矩阵和第二变换子矩阵得到变换矩阵。

接下来，根据变换矩阵将模板图像映射到像素坐标系中，以生成变换图像。例如，变换矩阵为第一变换子矩阵的逆矩阵和第二变换子矩阵的乘积。

图像更新模块1106被配置为将场景图像中的目标更换为转换图像，以生成虚拟图像。

在一些实施例中，在第一掩码图像中第i行、第j列的像素点的像素值大于0的情况下，将场景图像中第i行、第j列的像素点的像素值更换为转换图像中第i行、第j列的像素点的像素值。

图12为本公开另一个实施例的图像处理装置的结构示意图。如图12所示，图像处理装置包括存储器1201和处理器1202。

存储器1201用于存储指令，处理器1202耦合到存储器1201，处理器1202被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。

如图12所示，该图像处理装置还包括通信接口1203，用于与其它设备进行信息交互。同时，该图像处理装置还包括总线1204，处理器1202、通信接口1203、以及存储器1201通过总线1204完成相互间的通信。

存储器1201可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1201也可以是存储器阵列。存储器1201还可能被分块，并且块可按一定的规则组合成虚拟卷。

此外，处理器1202可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。

本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。

在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(Field-ProgrammableGate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种图像处理方法，包括：

提取场景图像中目标的第一掩码图像和所述目标在相机坐标系下的法线；

根据所述第一掩码图像获取所述目标在像素坐标系下的第一边界线段集；

根据所述法线及相机预设参数，将所述第一掩码图像和所述第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集；

在所述平面坐标系中，根据所述第二掩码图像和所述第二边界线段集生成所述目标的最小外接矩形；

将预设模板图像映射到所述目标的最小外接矩形中以生成变换图像；

将所述场景图像中的目标更换为所述转换图像，以生成虚拟图像。

2.根据权利要求1所述的方法，其中，根据所述第一掩码图像获取所述目标在像素坐标系下的第一边界线段集包括：

对所述第一掩码图像进行直线检测，以生成第一候选线段集；

删除所述第一候选线段集中的所述场景图像的边界线段，以生成第二候选线段集；

删除所述第二候选线段集中的位于目标区域中的物体的边界线段，以生成所述第一边界线段集。

3.根据权利要求2所述的方法，其中，删除所述第一候选线段集中的所述场景图像的边界线段包括：

判断所述第一候选线段集中的第i条线段是否满足第一条件或第二条件，其中所述第一条件为|x₁-x₂|＜β且|x₁+x₂-W|＞αW，所述第二条件为|y₁-y₂|＜β且|y₁+y₂-H|＞αH，所述第i条线段的两个端点的坐标分别为x₁、y₁和x₁、y₂，所述第一掩码图像的大小为H×W，α、β为预设参数，1≤i≤n₁，n₁为所述第一候选线段集中的候选线段数；

若所述第i条线段满足所述第一条件或所述第二条件，则从所述第一候选线段集中删除所述第i条线段。

4.根据权利要求3所述的方法，其中，删除所述第二候选线段集中的位于目标区域中的物体的边界线段包括：

判断所述第二候选线段集中的第j条线段是否满足第三条件，其中所述第三条件为abs(mean(reg₁)-mean(reg₂))＜γ，mean(reg₁)为在所述第一掩码图像的最小外接凸多边形中位于所述第j条线一侧的第一区域内的像素点的像素值均值，mean(reg₂)为在所述第一掩码图像的最小外接凸多边形中位于所述第j条线另一侧的第二区域内的像素点的像素值均值，abs为取绝对值函数，γ为预设参数，1≤j≤n₂，n₂为所述第二候选线段集中的候选线段数；

若所述第j条线段满足第三条件，则从所述第二候选线段集中删除所述第j条线段。

5.根据权利要求1所述的方法，其中，根据所述法线及相机预设参数，将所述第一掩码图像和所述第一边界线段集中的每条边界线段映射到相机平面坐标系中包括：

根据所述法线及相机预设参数，将所述第一掩码图像中的前景像素点的第一坐标映射到所述相机坐标系中，以得到对应的第二坐标；

将所述第二坐标映射到所述平面坐标系中，以得到对应的第三坐标；

计算从所述第一坐标到所述第三坐标的第一变换子矩阵；

利用所述第一变换子矩阵，将所述第一掩码图像映射到所述平面坐标系中，以生成第二掩码图像；

利用所述第一变换子矩阵，将所述第一边界线段集中的每条线段映射到所述平面坐标系中，以生成第二边界线段集。

6.根据权利要求5所述的方法，其中，在所述平面坐标系中，根据所述第二掩码图像和所述第二边界线段集生成所述目标的最小外接矩形包括：

在所述第二边界线段集中选择长度最大的线段以作为参照线段；

计算所述参照线段与水平方向的夹角θ；

将所述第二掩码图像沿第一方向旋转θ角以生成第三掩码图像，使得旋转后的参照线段与水平方向平行；

在所述第三掩码图像中生成前景区域的最小外接矩形；

将在所述第三掩码图像中生成的前景区域的最小外接矩形沿与第一方向相反的第二方向旋转θ角，以得到所述目标的最小外接矩形。

7.根据权利要求5所述的方法，其中，将预设模板图像映射到所述目标的最小外接矩形中以生成变换图像包括：

将所述目标的最小外接矩形变换为正方形；

计算将所述模板图像映射为所述正方形的第二变换子矩阵；

根据所述第一变换子矩阵和所述第二变换子矩阵得到变换矩阵；

根据所述变换矩阵将所述模板图像映射到所述像素坐标系中，以生成所述变换图像。

8.根据权利要求7所述的方法，其中，

所述变换矩阵为所述第一变换子矩阵的逆矩阵和所述第二变换子矩阵的乘积。

9.根据权利要求1-8中任一项所述的方法，其中，将所述场景图像中的目标更换为所述转换图像包括：

在所述第一掩码图像中第i行、第j列的像素点的像素值大于0的情况下，将所述场景图像中第i行、第j列的像素点的像素值更换为所述转换图像中第i行、第j列的像素点的像素值。

10.一种图像处理装置，包括：

第一处理模块，被配置为提取场景图像中目标的第一掩码图像和所述目标在相机坐标系下的法线；

第二处理模块，被配置为根据所述第一掩码图像获取所述目标在像素坐标系下的第一边界线段集；

第三处理模块，被配置为根据所述法线及相机预设参数，将所述第一掩码图像和所述第一边界线段集中的每条边界线段映射到相机平面坐标系中，以生成第二掩码图像和第二边界线段集；

第四处理模块，被配置为在所述平面坐标系中，根据所述第二掩码图像和所述第二边界线段集生成所述目标的最小外接矩形；

第五处理模块，被配置为将预设模板图像映射到所述目标的最小外接矩形中以生成变换图像；

图像更新模块，被配置为将所述场景图像中的目标更换为所述转换图像，以生成虚拟图像。

11.一种图像处理装置，包括：

存储器，被配置为存储指令；

处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-9中任一项所述的方法。

Images