CN115147262A - 一种图像生成方法和装置 - Google Patents
一种图像生成方法和装置 Download PDFInfo
- Publication number
- CN115147262A CN115147262A CN202210662274.1A CN202210662274A CN115147262A CN 115147262 A CN115147262 A CN 115147262A CN 202210662274 A CN202210662274 A CN 202210662274A CN 115147262 A CN115147262 A CN 115147262A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- coordinate
- target scene
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012544 monitoring process Methods 0.000 claims abstract description 186
- 230000000007 visual effect Effects 0.000 claims abstract description 74
- 238000006243 chemical reaction Methods 0.000 claims abstract description 61
- 238000012937 correction Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 28
- 238000003709 image segmentation Methods 0.000 claims description 17
- 230000004075 alteration Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 17
- 230000003068 static effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G06T3/08—
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Abstract
本申请实施例提供了一种图像生成方法和装置，获取待处理图像；基于待处理图像中前景对象所占的前景图像区域，待处理图像的图像坐标与目标场景的空间坐标之间的第一转换关系，确定前景对象的三维位姿平面；基于指定的前景图像区域中的图像坐标与三维位姿平面中的三维坐标之间的第二转换关系，以及指定监测视角下成像的图像坐标与三维位姿平面中的三维坐标之间的第三转换关系，确定前景对象的指定的前景图像区域在指定监测视角下的待投影图像；依次将包含目标场景中的背景的背景图像在指定监测视角下的图像和待投影图像投影至目标场景的三维场景模型，得到目标场景在指定监测视角下的目标图像，可以提高生成的图像的质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像生成方法和装置。
背景技术
相关技术中，可以在目标场景中的不同位置架设多个相机，通过该多个相机拍摄目标场景在不同拍摄视角下的图像(可以称为待处理图像)。然后，获取目标场景的三维场景模型，并将待处理图像映射至上述三维场景模型。基于映射结果，用户可以观看到不同监测视角下目标场景的图像。
然而，相关技术中，只会对目标场景中静态的对象(例如，建筑物)进行建模，并不会对目标场景中运动的对象(例如，行人)进行建模，在将待处理图像映射至三维场景模型时，会将待处理图像中运动的对象对应的部分，映射至三维场景模型中该运动的对象在目标场景中的背景对应的模型部分，使得用户浏览到的图像中该运动的对象会发生畸变。即，相关技术中，生成的图像的质量较低。
发明内容
本申请实施例的目的在于提供一种图像生成方法和装置，以提高生成的图像的质量。具体技术方案如下：
第一方面，为了达到上述目的，本申请实施例公开了一种图像生成方法，所述方法包括：
获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；
基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
可选的，所述基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面，包括：
确定对应的待处理图像包含所述前景对象的两个架设相机，作为指定架设相机；
针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含所述前景对象的检测框；
基于该指定架设相机对应的图像坐标与所述空间坐标之间的第一转换关系，确定所述检测框中的指定点在所述目标场景中对应的三维点；
确定包含该指定架设相机的光心和对应的三维点的平面，作为该指定架设相机对应的参考平面；
确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面。
可选的，所述确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面，包括：
以各参考平面的交线为旋转轴，按照所述指定角度，对经过所述旋转轴，且与水平面平行的初始物平面进行旋转，得到所述前景对象在所述目标场景中的三维位姿平面。
可选的，在所述针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：
确定所述前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点；
针对每一边缘像素点，基于所述第二转换关系和所述第三转换关系，确定该边缘像素点在所述指定监测视角下的对应的像素坐标，作为边缘像素坐标；
确定以所述边缘像素坐标为边缘的区域包含的像素坐标，作为所述前景对象在所述指定监测视角下的像素坐标。
可选的，在所述针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：
从各前景图像区域中，确定包含的所述前景对象的完整度最大的图像区域，作为指定的前景图像区域。
可选的，所述基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域，包括：
基于对各待处理图像进行图像分割，得到各待处理图像中各前景对象所占的图像区域，作为待处理图像区域；
基于各待处理图区域之间的图像相似度，确定属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
可选的，所述获取目标场景中各架设相机对应的待处理图像，包括：
获取各架设相机采集的所述目标场景的图像，作为初始图像；
按照指定色差校正参数分别对各初始图像进行色差校正，和/或，按照各架设相机的畸变类型分别对各初始图像进行畸变校正，得到各待处理图像。
可选的，所述获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像，包括：
获取待填充图像；其中，所述待填充图像为：将所述指定的前景图像区域从所属的待处理图像中删除得到的；
将预设图像中与所述指定的前景图像区域对应的部分，填充至所述待填充图像中所述指定的前景图像区域对应的位置，得到指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像；其中，所述预设图像为预先采集的包含所述目标场景中的背景的图像。
可选的，在任一时刻，针对所述目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象。
第二方面，为了达到上述目的，本申请实施例公开了一种图像生成装置，所述装置包括：
待处理图像获取模块，用于获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；
前景图像区域确定模块，用于基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
三维位姿平面确定模块，用于基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
待投影图像生成模块，用于针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
背景图像获取模块，用于获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
目标图像生成模块，用于依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
可选的，所述三维位姿平面确定模块，具体用于确定对应的待处理图像包含所述前景对象的两个架设相机，作为指定架设相机；
针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含所述前景对象的检测框；
基于该指定架设相机对应的图像坐标与所述空间坐标之间的第一转换关系，确定所述检测框中的指定点在所述目标场景中对应的三维点；
确定包含该指定架设相机的光心和对应的三维点的平面，作为该指定架设相机对应的参考平面；
确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面。
可选的，所述三维位姿平面确定模块，具体用于以各参考平面的交线为旋转轴，按照所述指定角度，对经过所述旋转轴，且与水平面平行的初始物平面进行旋转，得到所述前景对象在所述目标场景中的三维位姿平面。
可选的，所述装置还包括：
边缘像素点确定模块，用于在所述待投影图像生成模块执行针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，执行确定所述前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点；
边缘像素点映射模块，用于针对每一边缘像素点，基于所述第二转换关系和所述第三转换关系，确定该边缘像素点在所述指定监测视角下的对应的像素坐标，作为边缘像素坐标；
像素坐标确定模块，用于确定以所述边缘像素坐标为边缘的区域包含的像素坐标，作为所述前景对象在所述指定监测视角下的像素坐标。
可选的，所述装置还包括：
前景图像区域选择模块，用于在所述待投影图像生成模块执行针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，执行从各前景图像区域中，确定包含的所述前景对象的完整度最大的图像区域，作为指定的前景图像区域。
可选的，所述前景图像区域确定模块，具体用于基于对各待处理图像进行图像分割，得到各待处理图像中各前景对象所占的图像区域，作为待处理图像区域；
基于各待处理图区域之间的图像相似度，确定属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
可选的，所述待处理图像获取模块，具体用于获取各架设相机采集的所述目标场景的图像，作为初始图像；
按照指定色差校正参数分别对各初始图像进行色差校正，和/或，按照各架设相机的畸变类型分别对各初始图像进行畸变校正，得到各待处理图像。
可选的，所述背景图像获取模块，具体用于获取待填充图像；其中，所述待填充图像为：将所述指定的前景图像区域从所属的待处理图像中删除得到的；
将预设图像中与所述指定的前景图像区域对应的部分，填充至所述待填充图像中所述指定的前景图像区域对应的位置，得到指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像；其中，所述预设图像为预先采集的包含所述目标场景中的背景的图像。
可选的，在任一时刻，针对所述目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像生成方法步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像生成方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像生成方法。
本申请实施例提供的一种图像生成方法，获取目标场景中各架设相机对应的待处理图像；一个架设相机对应的待处理图像为基于该架设相机采集的目标场景的图像得到的；基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为前景对象对应的前景图像区域；基于各前景图像区域，以及各待处理图像的图像坐标与目标场景的空间坐标之间的各第一转换关系，确定前景对象在目标场景中的三维位姿平面；针对前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与三维位姿平面中的三维坐标之间的第二转换关系，以及指定监测视角下成像的图像坐标与三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到前景对象在指定监测视角下的待投影图像；获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；依次将背景图像在指定监测视角下的图像和待投影图像，投影至目标场景的三维场景模型，得到目标场景在指定监测视角下的目标图像。
基于上述处理，三维位姿平面为前景对象在目标场景中所在的平面。通过前景对象的三维位姿平面将指定的前景图像区域投影至指定监测视角，得到前景对象在指定监测视角下的待投影图像。进而，将指定监测视角下的背景图像和待投影图像映射至目标场景的三维场景模型。也就是，将前景对象映射至其在目标场景中所在的三维位姿平面，也就能够体现前景对象在目标场景中的位置，可以在一定程度上避免生成的图像中的前景对象发生畸变的情况，进而，提高生成的图像的质量。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1a为本申请实施例提供的一种目标场景的图像；
图1b为本申请实施例提供的另一种目标场景的图像；
图2为本申请实施例提供的一种图像生成方法的流程图；
图3为本申请实施例提供的另一种图像生成方法的流程图；
图4为本申请实施例提供的一种初始图像与待处理图像的对比图；
图5为本申请实施例提供的另一种图像生成方法的流程图；
图6为本申请实施例提供的一种前景图像区域提取的原理示意图；
图7为本申请实施例提供的一种前景图像区域匹配的原理示意图；
图8为本申请实施例提供的另一种图像生成方法的流程图；
图9为本申请实施例提供的一种确定三维位姿平面的原理示意图；
图10为本申请实施例提供的另一种图像生成方法的流程图；
图11为本申请实施例提供的一种指定的前景图像区域映射至指定监测视角的原理示意图；
图12为本申请实施例提供的另一种图像生成方法的流程图；
图13为本申请实施例提供的一种待处理图像、待填充图像和背景图像的对比图；
图14为本申请实施例提供的一种背景图像映射至指定监测视角的原理示意图；
图15为本申请实施例提供的一种三维场景模型和目标场景在指定监测视角下的目标图像的对比图；
图16为本申请实施例提供的一种三维场景模型的对比图；
图17为本申请实施例提供的一种三维场景模型获取方法的流程图；
图18为本申请实施例提供的一种相机架设方式的示意图；
图19为本申请实施例提供的另一种相机架设方式的示意图；
图20为本申请实施例提供的另一种图像生成方法的流程图；
图21为本申请实施例提供的另一种图像生成方法的流程图；
图22为本申请实施例提供的一种目标场景在指定监测视角下的目标图像的对比图；
图23为本申请实施例提供的一种图像生成装置的结构图；
图24为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，在生成目标场景在各个监测视角下的图像时，只会对目标场景中静态的对象(例如，建筑物)进行建模，并不会对目标场景中运动的对象(例如，行人)进行建模，在将架设相机拍摄的图像映射至三维场景模型时，会将该图像中运动的对象对应的部分，映射至三维场景模型中该运动的对象在目标场景中的背景对应的模型部分，使得用户浏览到的图像中该运动的对象会发生畸变。即，相关技术中，生成的图像的质量较低。
示例性的，参见图1a，图1a为本申请实施例提供的一种目标场景的图像。目标场景为停车场，其中的建筑物为静态的对象。由于相关技术中会对目标场景中静态的对象进行建模，在将架设相机拍摄的图像映射至三维场景模型时，可以将该图像中静态的对象对应的部分，映射至三维场景模型中该静态的对象的三维模型，因此，该图像对于静态的对象具有很好的配准效果，将该图像映射至三维场景模型得到的图像基本不会发生畸变。
参见图1b，图1b为本申请实施例提供的另一种目标场景的图像。目标场景为工厂，其中的桌椅、天花板、地面墙柱，以及工作人员的工作台为静态的对象，工作人员为运动的对象。由于相关技术中只会对目标场景中静态的对象进行建模，在将架设相机拍摄的图像映射至三维场景模型时，可以将该图像中静态的对象对应的部分，映射至三维场景模型中该静态的对象的三维模型，因此，该图像对于静态的对象具有很好的配准效果，将该图像映射至三维场景模型得到的图像基本不会发生畸变。
但是相关技术中不会对目标场景中运动的对象进行建模，在将架设相机拍摄的图像映射至三维场景模型时，会将该图像中运动的对象对应的部分，映射至三维场景模型中该运动的对象在目标场景中的背景对应的模型部分，使得用户浏览到的图像中该运动的对象会发生畸变。即，相关技术中，生成的图像的质量较低。
为了解决上述问题，本申请实施例提供了一种图像生成方法，应用于电子设备。电子设备可以获取目标场景中各架设相机对应的待处理图像，基于本申请实施例提供的方法，对待处理图像进行处理，得到目标场景在指定监测视角下的目标图像。后续，用户可以观看到指定监测视角下目标场景的图像。例如，针对监控视频场景，可以得到包含指定监测视角下的目标场景的监控视频，用户可以通过电子设备观看到指定监测视角下的目标场景的监控视频，实现全方位监测的效果。
参见图2，图2为本申请实施例提供的一种图像生成方法的流程图，该方法可以包括以下步骤：
S201：获取目标场景中各架设相机对应的待处理图像。
其中，一个架设相机对应的待处理图像为基于该架设相机采集的目标场景的图像得到的。
S202：基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为前景对象对应的前景图像区域。
S203：基于各前景图像区域，以及各待处理图像的图像坐标与目标场景的空间坐标之间的各第一转换关系，确定前景对象在目标场景中的三维位姿平面。
S204：针对前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与三维位姿平面中的三维坐标之间的第二转换关系，以及指定监测视角下成像的图像坐标与三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到前景对象在指定监测视角下的待投影图像。
S205：获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像。
S206：依次将背景图像在指定监测视角下的图像和待投影图像，投影至目标场景的三维场景模型，得到目标场景在指定监测视角下的目标图像。
基于本申请实施例提供的图像生成方法，三维位姿平面为前景对象在目标场景中所在的平面。通过前景对象的三维位姿平面将指定的前景图像区域投影至指定监测视角，得到前景对象在指定监测视角下的待投影图像。进而，将指定监测视角下的背景图像和待投影图像映射至目标场景的三维场景模型。也就是，将前景对象映射至其在目标场景中所在的三维位姿平面，也就能够体现前景对象在目标场景中的位置，可以在一定程度上避免生成的图像中的前景对象发生畸变的情况，进而，提高生成的图像的质量。
在本申请的至少一个实施例中，通过多个架设相机拍摄的视频流中的图像均可通过上述方式处理得到目标图像，在一个连续时间段拍摄的视频流中的图像，经过上述处理，得到的目标图像可以形成更加完整并且清晰高质量的视频流。
针对步骤S201，目标场景可以为工厂、街道等场景。目标场景中安装了多个架设相机，每一架设相机用于拍摄目标场景在不同拍摄视角下的图像。针对监控视频场景，针对每一架设相机，电子设备可以获取该架设相机当前时刻采集到的视频图像，基于该视频图像得到待处理图像。
各架设相机为与指定监测视角相匹配的架设相机，一个架设相机与指定监测视角相匹配，表示该架设相机的拍摄视角与指定监测视角存在重合区域。
指定监测视角可以为用户在观看目标场景的图像时选择的任一监测视角，当指定监测视角发生变化时，例如，用户切换监测视角时，电子设备可以确定与切换后的监测视角相匹配的架设相机，后续，可以基于本申请实施例提供的方法，确定切换后的监测视角下的目标场景的图像。
一种实现方式中，针对每一架设相机，电子设备可以直接获取该架设相机采集的目标场景的图像(即初始图像)，作为该架设相机对应的待处理图像。
另一种实现方式中，针对每一架设相机，该架设相机拍摄的初始图像可能存在畸变，且各架设相机拍摄的初始图像之间可能存在色差，为了提高生成的目标场景在指定监测视角下的目标图像的质量，电子设备可以对架设相机拍摄的初始图像进行图像校正，得到待处理图像。
相应的，在图2的基础上，参见图3，步骤S201可以包括以下步骤：
S2011：获取各架设相机采集的目标场景的图像，作为初始图像。
S2012：按照指定色差校正参数分别对各初始图像进行色差校正，和/或，按照各架设相机的畸变类型分别对各初始图像进行畸变校正，得到各待处理图像。
电子设备可以获取各架设相机采集的目标场景的初始图像，针对初始图像中的每一像素点，计算该像素点的像素值与色差矫正矩阵(英文：Color Correction Matrix，简称：CCM)的乘积，得到该像素点的校正后的像素值，也就可以得到进行色差校正后的图像(即待处理图像)。
示例性的，电子设备可以按照如下公式对初始图像进行色差矫正：
P2＝C×P1 (1)
C表示色差校正矩阵，P2表示包含初始图像中的各像素点的像素值的矩阵，P1表示包含待处理图像中的各像素点的像素值的矩阵。
一种实现方式中，
P可以为P1或者P2。R表示对应的图像中的像素点的红色通道的像素值，G表示对应的图像中的像素点的绿色通道的像素值，B表示对应的图像中的像素点的蓝色通道的像素值。
另一种实现方式中，
P可以为P1或者P2。R表示对应的图像中的像素点的红色通道的像素值，G表示对应的图像中的像素点的绿色通道的像素值，B表示对应的图像中的像素点的蓝色通道的像素值。
色差校正矩阵中的各数值可以由技术人员根据需求设置，例如，当需要使得图像偏向红色时，可以将r1至r3设置为较大的数值，或者，当需要使得图像偏向绿色时，可以将g1至g3设置为较大的数值。
或者，电子设备可以预先获取任意两个架设相机拍摄的图像的像素值，基于该两个架设相机拍摄的图像的像素值，计算得到色差校正矩阵中的数值。
针对每一架设相机，如果该架设相机为针孔相机，该架设相机对应的畸变类型的畸变系数包括：K1，K2，P1和P2，针孔相机对应的畸变类型中，K1和K2表示径向畸变，径向畸变是在架设相机的相机坐标系转换为初始图像的图像坐标系的过程中产生的，P1和P2表示切向畸变，切向畸变是架设相机的透镜不完全平行于初始图像导致的。如果该架设相机为鱼眼相机，该架设相机对应的畸变类型的畸变系数包括：K1，K2，K3和K4。
针对初始图像中的每一像素点，电子设备可以按照该架设相机对应的畸变类型的畸变系数和该像素点在初始图像中的坐标，计算得到该像素点的校正后的坐标，也就可以得到进行畸变校正后的待处理图像。
参见图4，图4中左侧的图像为架设相机拍摄到的初始图像，该初始图像中地板产生了畸变，右侧的图像为进行畸变校正得到的待处理图像，待处理图像中的地板则不存在畸变。
基于上述处理，电子设备对架设相机拍摄的初始图像进行畸变校正和/或色差校正，可以在一定程度上避免最终生成的目标图像中存在畸变或色差，可以进一步提高生成的图像的质量。
针对步骤S202，前景对象为目标场景中可能运动的对象，例如，前景对象可以为车辆、行人等。电子设备可以确定待处理图像中属于预设前景对象类型的对象为前景对象。预设前景对象类型可以包括车辆、行人等。
针对监控视频场景，在基于架设相机当前时刻采集到的初始图像得到待处理图像后，电子设备可以确定各对象在当前时刻得到的待处理图像中的位置(可以称为第一位置)，以及各对象在前一时刻得到的待处理图像中的位置(可以称为第二位置)，并确定第一位置与第二位置不同的对象，确定出的对象为当前目标场景中运动的对象，作为前景对象。
在一个实施例中，在图2的基础上，参见图5，步骤S202可以包括以下步骤：
S2021：基于对各待处理图像进行图像分割，得到各待处理图像中各前景对象所占的图像区域，作为待处理图像区域。
S2022：基于各待处理图区域之间的图像相似度，确定属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
针对每一待处理图像，电子设备可以基于目标检测算法，对该待处理图像进行图像分割，得到该待处理图像中的各前景对象各自所占的图像区域，并提取确定出图像区域，得到待处理图像区域。
目标检测算法可以为Mask-RCNN(Mask Regions with Convolutional NeuralNetwork，区域检测卷积神经网络模型)，或者，目标检测算法也可以为YOLOv3(You onlylook once-v3，基于深度学习的端到端的目标检测算法)，但并不限于此。
示例性的，参见图6，图6中左侧的图像为待处理图像，右侧的图像表示从待处理图像中提取得到的待处理图像区域。待处理图像中的行人为待处理图像中包含的前景对象。待处理图像中，针对每一个前景对象，包含该前景对象的黑色矩形为该前景对象的检测框，该矩形可以为该前景对象的最小外接矩形。电子设备可以按照前景对象的边缘进行实例分割，得到图6中右侧的图像所示的3个待处理图像区域。
然后，电子设备可以提取各待处理图像区域各自的图像特征，基于每两个待处理图像区域的图像特征之间的相似度，对各待处理图像区域进行聚类处理，得到属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
例如，电子设备可以计算每两个待处理图像区域的图像特征的相似度，得到包含各个相似度的相似度矩阵，然后，电子设备可以基于RNMF(Robust Nonnegative MatrixFactorization，稳健的非负矩阵分解)算法，对该相似度矩阵进行分解处理，得到属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
示例性的，参见图7，图7所示的为基于不同的架设相机得到的待处理图像，基于图7中左侧的图像可以得到包含ID1表示的前景对象的待处理图像区域(可以称为图像区域1)，以及包含ID2表示的前景对象的待处理图像区域(可以称为图像区域2)。基于图7中右侧的图像可以得到包含ID1表示的前景对象的待处理图像区域(可以称为图像区域3)，以及包含ID2表示的前景对象的待处理图像区域(可以称为图像区域4)。
进而，基于该4个待处理图像区域之间的图像相似度，可以得到不同实例的匹配关系，匹配关系包括：图像区域1和图像区域3为ID1表示的前景对象的前景图像区域，图像区域2和图像区域4为ID2表示的前景对象的前景图像区域。
基于上述处理，可以从待处理图像中提取出包含前景对象的前景图像区域，则可以确定前景对象的三维位姿平面，进而通过前景对象的三维位姿平面将指定的前景图像区域投影至指定监测视角，得到前景对象在指定监测视角下的待投影图像。进而，将指定监测视角下的背景图像和待投影图像映射至目标场景的三维场景模型。也就是，将前景对象映射至其在目标场景中所在的三维位姿平面，也就能够体现前景对象在目标场景中的位置，可以在一定程度上避免生成的图像中的前景对象发生畸变的情况，进而，提高生成的图像的质量。
针对步骤S203，针对每一前景对象，该前景对象的三维位姿平面表示该前景对象在目标场景中所在的平面，该前景对象的三维位姿平面能够体现前景对象在目标场景中的位置。
在一个实施例中，在图2的基础上，参见图8，步骤S203可以包括以下步骤：
S2031：确定对应的待处理图像包含前景对象的两个架设相机，作为指定架设相机。
S2032：针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含前景对象的检测框。
S2033：基于该指定架设相机对应的图像坐标与空间坐标之间的第一转换关系，确定检测框中的指定点在目标场景中对应的三维点。
S2034：确定包含该指定架设相机的光心和对应的三维点的平面，作为该指定架设相机对应的参考平面。
S2035：确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为前景对象在目标场景中的三维位姿平面。
针对每一前景对象，架设相机对应的待处理图像包含该前景对象表示：该架设相机能够拍摄到该前景对象。电子设备可以确定对应的待处理图像包含该前景对象的两个架设相机，作为指定架设相机。例如，电子设备可以确定相邻的两个能够拍摄到该前景对象的架设相机，作为指定架设相机。
针对每一指定架设相机，电子设备可以确定该指定架设相机对应的待处理图像中包含前景对象的检测框。例如，针对图6的实施例，包含一个前景对象的黑色矩形为该前景对象的检测框。检测框的指定点可以包括：该检测框的下边缘中的两个点(例如，顶点)。该检测框的下边缘表示该前景对象在目标场景中与地面接触的位置，例如，该前景对象为行人，该检测框的下边缘表示行人的脚在目标场景中所在的位置。
然后，电子设备可以按照该指定架设相机对应的图像坐标与目标场景的空间坐标之间的第一转换关系，对该检测框中的指定点进行坐标转换，得到其在目标场景中对应的三维点的坐标。电子设备可以确定包含确定出的三维点与该指定架设相机的光心的平面(即参考平面)。指定架设相机对应的图像坐标为：基于该指定架设相机得到的待处理图像的图像坐标。
当两个指定架设相机同时拍摄到空间中的点时，根据多视图几何原理，则可以准确恢复出该点在空间中的坐标。该两个参考平面沿该两个指定架设相机的视角的方向进行延伸，就可以得到该两个参考平面的交线。该交线表示该前景对象在目标场景中与地面接触的位置，例如，该前景对象为行人，该检测框的下边缘表示行人的脚在目标场景中所在的位置。电子设备可以确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为前景对象在目标场景中的三维位姿平面。
指定角度可以为0度至90度之间的任一角度，指定角度的具体值可以基于实际需求确定，例如，前景对象为行人时，行人通常垂直站立于地面，则指定角度可以为90度。
在一个实施例中，步骤S2035可以包括以下步骤：以各参考平面的交线为旋转轴，按照指定角度，对经过旋转轴，且与水平面平行的初始物平面进行旋转，得到前景对象在目标场景中的三维位姿平面。
示例性的，参见图9，图9中的相机1和相机2为指定架设相机，相机1的光心与相机1对应的检测框下边缘的两个顶点组成一个参考平面，相机2的光心与相机2对应的检测框下边缘的两个顶点组成另一个参考平面，各参考平面的交线(即物平面旋转轴)中的两点表示为A(x1，y1，z1)，B(x2，y2，z2)，基于A点的坐标和B点坐标，可以得到该交线(即AB)的直线方程为：
基于该直线方程，可以得到该交线中的任意一点的坐标，记为M(x0，y0，z0)，以及该交线的方向向量，记为S＝[m，n，p]。
基于该交线的方向向量和点M的坐标，可以得到经过该交线，且与水平面平行的初始物平面的平面方程为：ax+by+c＝0，其中a＝n，b＝-m，c＝-(nx0-my0)。
该前景对象的三维位姿平面的平面方程可以表示为：a′x+b′y+c′z+d′＝0。
其中，
R(s(θ))表示绕该旋转轴旋转指定角度的罗德里格斯变换，θ表示指定角度，S表示该旋转轴的直线方程，
表示零向量。
基于上述处理，可以确定前景对象的三维位姿平面，进而则可以通过前景对象的三维位姿平面将指定的前景图像区域投影至指定监测视角，得到前景对象在指定监测视角下的待投影图像。进而，将指定监测视角下的背景图像和待投影图像映射至目标场景的三维场景模型。也就是，将前景对象映射至其在目标场景中所在的三维位姿平面，也就能够体现前景对象在目标场景中的位置，可以在一定程度上避免生成的图像中的前景对象发生畸变的情况，进而，提高生成的图像的质量。
针对每一前景对象，在得到该前景对象的三维位姿平面之后，电子设备可以通过该前景对象的三维位姿平面，将该前景对象的前景图像区域映射至指定监测视角，得到该前景对象在指定监测视角下的待投影图像。
由于电子设备获取到的待处理图像为多个，则该前景对象的前景图像区域也可能为多个。一种实现方式中，针对每一前景对象，电子设备可以从该前景对象的多个前景图像区域中选择一个前景图像区域，得到该前景对象的指定的前景图像区域。
另一种实现方式中，在步骤S204之前，该方法还可以包括以下步骤：从各前景图像区域中，确定包含的前景对象的完整度最大的图像区域，作为指定的前景图像区域。
由于前景对象为运动的对象，针对每一前景对象，在该前景对象的运动过程中，可能从一个架设相机的拍摄视角运动至另一个架设相机的拍摄视角下，则基于不同的架设相机得到的各前景图像区域中该前景对象的完整度可能不同，为了在一定程度上避免生成的目标图像中的该前景对象存在错位、缺失等问题，提高生成的目标图像的质量，电子设备可以从该前景对象的各前景图像区域中，确定包含的该前景对象的完整度最大的图像区域，作为该前景对象的指定的前景图像区域。
针对步骤S204，一种实现方式中，针对每一前景对象，电子设备可以获取该前景对象的指定的前景图像区域包含的各像素点(可以称为第一像素点)各自在指定的前景图像区域中的坐标。
然后，针对指定的前景图像区域中的每一第一像素点，电子设备基于指定的前景图像区域中的图像坐标与三维位姿平面中的三维坐标之间的第二转换关系，对该第一像素点进行坐标转换，得到该第一像素点在该前景对象的三维位姿平面中对应的三维点的坐标。
进而，电子设备可以基于指定监测视角成像的图像坐标与三维位姿平面中的三维坐标之间的第三转换关系，对确定出的三维点进行坐标转换，得到该三维点在指定监测视角下对应的像素坐标(可以称为第一像素坐标)，也就是该第一像素点在指定监测视角下对应的第一像素坐标。电子设备可以将该第一像素点的像素值，作为对应的第一像素坐标的像素值，可以得到该前景对象在指定监测视角下的待投影图像。
针对每一前景对象，指定监测视角下成像的图像区域与该前景对象的指定的前景图像区域的大小可能不同，例如，指定监测视角下成像的图像区域大于该前景对象的指定的前景图像区域，直接将该前景对象的指定的前景图像区域投影至指定监测视角下，可能会导致指定监测视角下成像的图像区域中的一部分像素坐标，无法在指定的前景图像区域中匹配到对应的像素点，则无法确定该类像素坐标的像素值，进而导致生成的目标图像中存在像素缺失的问题。
另一种实现方式中，为了在一定程度避免指定监测视角下成像的图像区域中的一部分像素坐标，无法在指定的前景图像区域中匹配到对应的像素点，导致生成的目标图像中存在像素缺失的问题，提高生成的目标图像的质量，在图2的基础上，参见图10，在步骤S204之前，该方法还可以包括以下步骤：
S207：确定前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点。
S208：针对每一边缘像素点，基于第二转换关系和第三转换关系，确定该边缘像素点在指定监测视角下的对应的像素坐标，作为边缘像素坐标。
S209：确定以边缘像素坐标为边缘的区域包含的像素坐标，作为前景对象在指定监测视角下的像素坐标。
针对每一前景对象，电子设备可以确定该前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点，确定出的边缘像素点可以表示该前景对象的轮廓。
针对每一边缘像素点，电子设备基于指定的前景图像区域中的图像坐标与三维位姿平面中的三维坐标之间的第二转换关系，对该边缘像素点进行坐标转换，得到该边缘像素点在该前景对象的三维位姿平面中对应的三维点的坐标。然后，电子设备可以基于指定监测视角下成像的图像坐标与三维位姿平面中的三维坐标之间的第三转换关系，对确定出的三维点进行坐标转换，得到该三维点在指定监测视角下对应的像素坐标，也就是得到该边缘像素点在指定监测视角下的边缘像素坐标，确定出的各边缘像素坐标所组成的区域可以表示该前景对象在指定监测视角下的轮廓。
进而，电子设备可以确定以边缘像素坐标为边缘的区域，该区域为该前景对象在指定监测视角下所占的区域，则该区域内的像素坐标为该前景对象在指定监测视角下的像素坐标。
针对该前景对象在指定监测视角下的每一像素坐标(可以称为第二像素坐标)，电子设备可以基于第三转换关系，对该第二像素坐标进行坐标转换，得到该第二像素坐标在该前景对象的三维位姿平面中对应的三维点的坐标。该前景对象在指定监测视角下的各第二像素坐标也就是以边缘像素坐标为边缘的区域中的各像素坐标。
然后，电子设备可以基于第二转换关系，对确定出的三维点进行坐标转换，得到该三维点在指定的前景图像区域中对应的像素点(可以称为第二像素点)，也就是该第二像素坐标在指定的前景图像区域中对应的第二像素点。电子设备可以将确定出的第二像素点的像素值，作为该第二像素坐标的像素值，可以得到该前景对象在指定监测视角下的待投影图像。
示例性的，参见图11，估计物平面为该前景对象的三维位姿平面。架设相机为该前景对象的指定的前景图像区域所属的待处理图像对应的架设相机。监测相机为虚拟相机，监测相机表示的视角为指定监测视角。
针对该前景对象在指定监测视角下的每一第二像素坐标，该第二像素坐标可以记为
该第二像素坐标的空间深度值记为g1，空间深度值表示监测相机与该第二像素坐标在目标场景中对应的三维点之间的距离。
监测相机的内参记为K，外参记为[R|t]，架设相机的内参记为K′，外参记为[R′|t′]。电子设备可以基于监测相机的内参、外参和如下公式，得到该第二像素坐标在该前景对象的三维位姿平面中对应的三维点(图11中五角星所表示的点)的坐标，记为
然后，电子设备可以基于架设相机的内参、外参和如下公式，得到该第二像素坐标在指定的前景图像区域中对应的第二像素点，记为
该第二像素点的空间深度值记为g′1，空间深度值表示架设相机与该第二像素点在目标场景中对应的三维点之间的距离。
电子设备可以获取指定的前景图像区域中的第二像素点
的像素值，作为指定监测视角下的第二像素坐标
的像素值，可以得到该前景对象在指定监测视角下的待投影图像。
针对步骤S205，一种实现方式中，电子设备可以获取指定的前景图像区域对应的架设相机预先采集的包含目标场景中的背景的图像，作为背景图像。
由于预先采集的图像与指定的前景图像区域不是同一时刻采集的，不同时刻目标场景中的光照不同，则预先采集的图像与指定的前景图像区域可能存在色差，直接获取预先采集的图像作为背景图像，可能会导致最终生成的目标图像中背景和前景对象存在色差。
另一种实现方式中，为了在一定程度上避免最终生成的目标图像中背景和前景对象存在色差，提高生成的目标图像的质量，在图2的基础上，参见图12，步骤S205可以包括以下步骤：
S2051：获取待填充图像。
其中，待填充图像为：将指定的前景图像区域从所属的待处理图像中删除得到的。
S2052：将预设图像中与指定的前景图像区域对应的部分，填充至待填充图像中指定的前景图像区域对应的位置，得到指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像。
其中，预设图像为预先采集的包含目标场景中的背景的图像。
电子设备可以确定从待处理图像中删除指定的前景图像后的图像，作为待填充图像，待填充图像中指定的前景图像区域对应的位置为待填充区域。指定的前景图像区域与待填充图像属于同一个待处理图像，指定的前景图像区域与待填充图像不存在由于光照不同导致的色差。
然后，电子设备可以获取预先采集的包含目标场景中的背景的预设图像，并确定预设图像中与指定的前景图像区域对应的部分。电子设备可以基于泊松填充算法，将预设图像中与指定的前景图像区域对应的部分填充至待填充图像中待填充区域，可以得到背景图像，得到背景图像与指定的前景图像区域不存在由于光照不同导致的色差，可以在一定程度上避免最终生成的目标图像中背景和前景对象存在色差，提高生成的目标图像的质量。
参见图13，图13中左侧的图像为待处理图像，中间的图像为提取指定的前景图像区域之后得到的待填充图像，右侧的图像为填充得到的背景图像。
电子设备从图13中左侧的待处理图像中提取指定的前景图像区域后，得到图13中间的图像所示的待填充图像，其中黑色区域为待填充区域。电子设备基于预设图像和泊松填充算法，对待填充图像中的待填充区域进行填充，得到图13中右侧的图像所示的背景图像。
在得到背景图像之后，电子设备还可以将背景图像映射至指定监测视角，得到目标场景中的背景在指定监测视角下的图像。
一种实现方式中，针对指定监测视角下成像的图像区域内的每一像素坐标，电子设备可以基于指定监测视角下成像的图像坐标与目标场景的空间坐标之间的转换关系，确定该像素坐标在目标场景中对应的三维点。然后，电子设备可以基于背景图像的图像坐标与目标场景的空间坐标之间的转换关系，确定该三维点在背景图像中对应的像素点，得到该像素坐标在背景图像中对应的像素点。电子设备可以将该像素坐标在背景图像中对应的像素点的像素值，作为该像素坐标的像素值，得到背景图像在指定监测视角下的图像。
示例性的，参见图14，架设相机为采集背景图像的架设相机，监测相机为虚拟相机，监测相机表示的视角为指定监测视角。监测相机的内参记为K，外参记为[R|t]，架设相机的内参记为K′，外参记为[R′|t′]。
针对指定监测视角下的每一像素坐标，该像素坐标记为
g2表示该像素坐标的空间深度值，电子设备可以基于监测相机的内参、外参和如下公式，得到该像素坐标在目标场景中对应的三维点(图14中五角星所表示的模型点)的坐标，记为
然后，电子设备可以基于架设相机的内参、外参和如下公式，得到该三维点在背景图像中对应的像素点的坐标，记为
g′2表示该像素点的空间深度值。
针对步骤S206，电子设备可以先将背景图像在指定监测视角下的图像投影至目标场景的三维场景模型，再将各前景对象各自的待投影图像投影至三维场景模型，得到目标场景在指定监测视角下的目标图像，先将背景图像投影至三维场景模型，可以在一定程度上避免背景图像遮挡待投影图像，导致生成的目标图像中的前景对象存在错位、缺失的问题，提高生成的目标图像的质量。
一种实现方式中，电子设备可以将背景图像作为纹理，按照纹理贴图的方式，将背景图像添加至三维场景模型中对应的位置。然后，电子设备可以将待投影图像作为纹理，按照纹理贴图的方式，将各待投影图像添加至三维场景模型中对应的位置，得到目标场景在指定监测视角下的目标图像。
另外，在得到目标场景在指定监测视角下的目标图像之后，电子设备还可以按照目标图像进行渲染，以显示目标图像，用户可以观看目标场景在指定监测视角下的目标图像。
示例性的，参见图15，图15中左侧的图像为目标场景的三维场景模型，右侧的图像中左侧的检测框内为目标场景的三维模型的背景部分，右侧的检测框为目标场景在指定监测视角下的目标图像。可见，基于本申请实施例提供的图像生成方法得到的目标图像中运动的前景对象不存在畸变、缺失和错位等问题，即可以提高生成的图像的质量。
在一个实施例中，电子设备还可以获取目标场景的三维场景模型。三维场景模型可以为osgb格式、s3c格式、max格式、fbx格式和obj格式等格式的文件。三维场景模型包含点云、网格和纹理等数据。点云表示目标场景中的各位置对应的三维点，每个三维点可以用三维坐标表示。基于各三维点在目标场景中对应的位置之间的空间关系，对各三维点进行连接，得到各三维点组成的多个网格。基于目标场景中的对象的材料，对各三维点组成的各个网格进行纹理贴图，得到目标场景的三维场景模型。
参见图16，图16中左侧图像为三维点云模型，中间的图像表示对三维点云模型中的各三维点进行连接组成的三维网格模型，右侧的图像表示对三维网格模型中的各网格进行纹理贴图，得到的三维场景模型。
参见图17，图17为本申请实施例提供的一种三维场景模型获取方法的流程图。
技术人员可以对目标场景进行现场勘测，以获取目标场景的场景数据，例如，目标场景的大小，目标场景包含的静态的对象，静态的各对象的位置，以及静态的各对象的位置之间的距离等。
然后，进行建模方案选型，也就是确定进行三维建模的方式，例如，NURBS(Non-Uniform Rational B-Splines，非均匀有理B样条)建模，多边形建模等。进而，进行三维扫描，也就是通过三维扫描设备(例如，雷达扫描设备、激光扫描设备等)，对目标场景进行三维扫描，得到目标场景的三维点云模型。
进而，由技术人员进行人工建模，也就是由技术人员基于各三维点在目标场景中对应的位置之间的空间关系，对三维点云模型中的各三维点进行连接，得到三维网格模型。基于目标场景中的对象的材料，对三维网格模型中的各个网格进行纹理贴图，得到目标场景的三维场景模型。技术人员还可以进行模型校验，也就是检测三维场景模型与目标场景是否相符合，例如，检测静态的各对象之间的位置关系是否正确等。
在一个实施例中，在目标场景中安装多个架设相机时，在安装多个架设相机时，可以调整架设相机的架设参数，使得多个架设相机满足以下约束条件：
在任一时刻，针对目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象。
基于此，可以获取前景对象的完整图像，提高生成的目标图像中前景对象的完整度，进而提高生成的图像的质量。
示例性的，参见图18，图18为本申请实施例提供的一种相机架设方式的示意图。其中，不同的三角形表示不同的架设相机。一个三角形对应虚线区域表示该架设相机的视场的范围，各架设相机可以沿监视方向，按照直线(即图18中上面的直线)排列的方式进行架设。
各架设相机包括朝向左侧的架设相机，以及朝向右侧的架设相机。当指定监测视角包含目标场景中左侧区域时，启用朝向左侧的架设相机获取图像；当指定监测视角包含目标场景中右侧区域时，启用朝向右侧的架设相机获取图像。
架设相机的架设高度为目标场景中的前景对象的高度的2至6倍，以保证该架设相机可以拍摄到目标场景中的前景对象的完整且清晰的图像。当架设相机安装于目标场景中的天花板或者支撑架上时，可以由技术人员通过手动测量的方式，确定架设相机的架设高度。由于不同的前景对象的高度不同，前景对象的高度可以基于实际需求设置，例如，前景对象为人物时，前景对象的高度可以设置为2米，但并不限于此。
架设相机的初始姿态(例如，相机的俯仰角)不能超出该架设相机自身的可调节范围。并且，该架设相机的视场要覆盖其在目标场景中拍摄的区域，以使该架设相机可以拍摄到目标场景中的前景对象的完整图像，且不存在无法拍摄的死角。
针对朝向相同方向的相邻的两个架设相机，该两个架设相机的视场重合区域，占单个架设相机的视场的10％至30％，并且该两个架设相机的光轴的夹角较小，例如，该两个架设相机的光轴的夹角小于30度。
参见图19，图19中C1和C2表示朝向相同方向的相邻的两个架设相机，该两个架设相机的架设高度、视场角和俯仰角相同，该两个架设相机之间的距离，需要满足以下公式：
b≤(H-h)cot(α-θ)-Hcot(α+θ) (7)
b表示该两个架设相机之间的距离，H表示架设相机C1的架设高度，h表示目标场景中的前景对象的高度，2θ表示架设相机C1的视场角，α表示架设相机C1的俯仰角。
按照上述方式进行架设，可以使得在每一时刻目标场景中运动的前景对象被至少一个架设相机拍摄到完整的图像，进而，使得生成的目标图像中前景对象的完整度也较高，可以进一步提高生成的图像的质量。
在一个实施例中，架设相机可以通过控制设备安装于目标场景中，控制设备可以与电子设备进行通信。
电子设备可以获取目标场景中各架设相机当前的架设参数，并判断基于当前的架设参数，各架设相机是否满足预设的约束条件。架设相机的架设参数可以包括：架设相机的架设高度、俯仰角、视场角，目标场景中前景对象的高度，以及架设相机之间的距离等。
例如，针对朝向相同方向的相邻的两个架设相机，判断该两个架设相机的视场重合区域是否占单个架设相机的视场的10％至30％，以及该两个架设相机的架设高度、俯仰角、视场角，目标场景中前景对象的高度，该两个架设相机之间的距离是否满足上述公式(7)。
如果基于各架设相机当前的架设参数满足上述约束条件时，电子设备可以获取各架设相机采集到的目标场景的初始图像，进而基于获取到的初始图像，得到待处理图像。
如果基于各架设相机当前的架设参数不满足上述约束条件，电子设备可以向控制设备发送控制指令。控制设备在接收到该控制指令时，可以调整架设相机的架设参数，例如，控制设备可以控制架设相机进行移动，以调整架设相机的架设高度，或者控制设备可以控制架设相机进行转动，以调整架设相机的俯仰角等，以使得基于调整后的各架设相机的架设参数，各架设相机满足约束条件。
在各架设相机满足约束条件时，电子设备可以获取各架设相机采集到的目标场景的初始图像，进而基于获取到的初始图像，得到待处理图像。
参见图20，图20为本申请实施例提供的一种图像生成方法的流程图。
针对监控视频场景，电子设备可以获取视频解码后图像，也就是电子设备获取当前时刻架设相机采集的包含目标场景的初始图像。电子设备可以校正图像畸变和颜色，也就是电子设备按照指定色差校正参数分别对各初始图像进行色差校正，和/或，按照各架设相机的畸变类型分别对各初始图像进行畸变校正，得到各待处理图像。
电子设备可以检测图像中的运动物体(即前述实施例中的前景对象)，并分割对应实例，得到架设相机前景图层和架设相机背景图层。也就是电子设备基于对各待处理图像进行图像分割，获取包含前景对象的待处理图像区域，并确定待填充图像。
针对架设相机前景图层，电子设备可以匹配相机间的物体实例，并建立匹配关系，匹配关系包含物体ID和检测框，具有相同ID的前景对象为同一前景对象。也就是电子设备基于各待处理图像区域之间的图像相似度，确定属于同一前景对象的各前景图像区域。
电子设备估计物体的三维姿态平面，得到平面参数。也就是针对每一前景对象，电子设备基于该前景对象的各前景图像区域，以及各待处理图像的图像坐标与目标场景的空间坐标之间的各第一转换关系，确定该前景对象在目标场景中的三维位姿平面，平面参数为三维位姿平面的平面方程。
电子设备可以选择分割完整度最高的物体，并使用三维姿态平面将其映射到监测相机视角下，得到监测相机校正后前景图层。也就是针对每一前景对象，电子设备选择该前景对象的完整度最大的图像，得到该前景对象的指定的前景图像区域，通过该前景对象的三维位姿平面，将该前景对象的指定的前景图像区域映射至指定监测视角，得到该前景对象在指定监测视角下的待投影图像。
针对架设相机背景图层，电子设备可以进行背景空洞填充，得到监测相机校正后背景图层。也就是电子设备将预设图像中与指定的前景图像区域对应的部分，填充至待填充图像中指定的前景图像区域对应的位置，得到指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的背景图像。
电子设备可以将监测相机校正后前景图层和架设相机校正后背景图层映射至目标场景的三维场景模型，得到待处理的二维底图，也就是电子设备依次将背景图像在指定监测视角下的图像和待投影图像，投影至目标场景的三维场景模型，得到目标场景在指定监测视角下的目标图像。
基于上述处理，三维位姿平面为前景对象在目标场景中所在的平面。通过前景对象的三维位姿平面将指定的前景图像区域投影至指定监测视角，得到前景对象在指定监测视角下的待投影图像。进而，将指定监测视角下的背景图像和待投影图像映射至目标场景的三维场景模型。也就是，将前景对象映射至其在目标场景中所在的三维位姿平面，也就能够体现前景对象在目标场景中的位置，可以在一定程度上避免生成的图像中的前景对象发生畸变的情况，进而，提高生成的图像的质量。
参见图21，图21为本申请实施例提供的一种图像生成方法的流程图。相机架设是指按照指定的相机架设方式在目标场景中安装多个架设相机。通过架设相机进行相机码流获取，也就是通过架设相机拍摄目标场景当前时刻的初始图像，基于获取的初始图像得到待处理图像，并基于待处理图像中，得到前景对象的指定的前景图像区域。
三维场景建模是指对目标场景进行三维建模，得到目标场景的三维场景模型。
电子设备可以获取系统内外标定参数，并融合参数。系统内外标定参数是指架设相机的内参和外参，以及监测相机的内参和外参等。融合参数也就是电子设备基于架设相机的内参、外参，以及监测相机的内参和外参等参数，对基于架设相机得到的待处理图像与监测相机进行图像融合，得到融合后画面。也就是电子设备基于架设相机的内参、外参，以及监测相机的内参和外参等参数，将前景对象的指定的前景图像区域通过前景对象的三维位姿平面映射至监测相机的指定监测视角下得到待投影图像。电子设备依次将包含目标场景中的背景的背景图像在指定监测视角下的图像和待投影图像映射至三维场景模型，得到目标场景在指定监测视角下的目标图像(即架设相机+监测相机融合后画面)。
然后，电子设备可以进行渲染显示，得到监测相机融合后画面。也就是按照目标场景在指定监测视角下的目标图像进行渲染，以显示目标图像。
针对监控视频场景，架设相机实时的采集包含目标场景的初始图像，并将采集到的初始图像存储至指定的存储位置，监测相机视角视频流地址为初始图像的存储位置的地址。电子设备可以在每一时刻获取架设相机采集的初始图像，基于本申请实施例提供的方法，对初始图像进行处理得到目标场景在不同的监测视角下的图像，可以实现对目标场景进行实时的，全方位的监测。
参见图22，图22为本申请实施例提供的一种目标图像的对比图。图22中左侧的图像为基于相关技术生成的目标场景在指定监测视角下的目标图像，右侧的图像为基于本申请实施例提供的方法生成的目标场景在指定监测视角下的目标图像。图22左侧的图像中行人存在明显的畸变、错位和缺失问题，图22中右侧的图像中行人则不存在畸变、错位和缺失的问题。可见，本申请实施例提供的图像方法可以提高生成的图像的质量。
在本申请的至少一个实施例中，通过多个架设相机拍摄的视频流中的图像均可通过上述方式处理得到目标图像，在一个连续时间段拍摄的视频流中的图像，经过上述处理，得到的目标图像可以形成更加完整并且清晰高质量的视频流。
与图2的方法实施例相对应，参见图23，图23为本申请实施例提供的一种图像生成装置的结构图，所述装置包括：
待处理图像获取模块2301，用于获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；
前景图像区域确定模块2302，用于基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
三维位姿平面确定模块2303，用于基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
待投影图像生成模块2304，用于针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
背景图像获取模块2305，用于获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
目标图像生成模块2306，用于依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
可选的，所述三维位姿平面确定模块2303，具体用于确定对应的待处理图像包含所述前景对象的两个架设相机，作为指定架设相机；
针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含所述前景对象的检测框；
基于该指定架设相机对应的图像坐标与所述空间坐标之间的第一转换关系，确定所述检测框中的指定点在所述目标场景中对应的三维点；
确定包含该指定架设相机的光心和对应的三维点的平面，作为该指定架设相机对应的参考平面；
确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面。
可选的，所述三维位姿平面确定模块2303，具体用于以各参考平面的交线为旋转轴，按照所述指定角度，对经过所述旋转轴，且与水平面平行的初始物平面进行旋转，得到所述前景对象在所述目标场景中的三维位姿平面。
可选的，所述装置还包括：
边缘像素点确定模块，用于在所述待投影图像生成模块2304执行针对所述前景对象在所述指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，执行确定所述前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点；
边缘像素点映射模块，用于针对每一边缘像素点，基于所述第二转换关系和所述第三转换关系，确定该边缘像素点在所述指定监测视角下的对应的像素坐标，作为边缘像素坐标；
像素坐标确定模块，用于确定以所述边缘像素坐标为边缘的区域包含的像素坐标，作为所述前景对象在所述指定监测视角下的像素坐标。
可选的，所述装置还包括：
前景图像区域选择模块，用于在所述待投影图像生成模块2304执行针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，执行从各前景图像区域中，确定包含的所述前景对象的完整度最大的图像区域，作为指定的前景图像区域。
可选的，所述前景图像区域确定模块2302，具体用于基于对各待处理图像进行图像分割，得到各待处理图像中各前景对象所占的图像区域，作为待处理图像区域；
基于各待处理图区域之间的图像相似度，确定属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
可选的，所述待处理图像获取模块2301，具体用于获取各架设相机采集的所述目标场景的图像，作为初始图像；
按照指定色差校正参数分别对各初始图像进行色差校正，和/或，按照各架设相机的畸变类型分别对各初始图像进行畸变校正，得到各待处理图像。
可选的，所述背景图像获取模块2305，具体用于获取待填充图像；其中，所述待填充图像为：将所述指定的前景图像区域从所属的待处理图像中删除得到的；
将预设图像中与所述指定的前景图像区域对应的部分，填充至所述待填充图像中所述指定的前景图像区域对应的位置，得到指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像；其中，所述预设图像为预先采集的包含所述目标场景中的背景的图像。
可选的，在任一时刻，针对所述目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象。
基于本申请实施例提供的图像生成装置，三维位姿平面为前景对象在目标场景中所在的平面。通过前景对象的三维位姿平面将指定的前景图像区域投影至指定监测视角，得到前景对象在指定监测视角下的待投影图像。进而，将指定监测视角下的背景图像和待投影图像映射至目标场景的三维场景模型。也就是，将前景对象映射至其在目标场景中所在的三维位姿平面，也就能够体现前景对象在目标场景中的位置，可以在一定程度上避免生成的图像中的前景对象发生畸变的情况，进而，提高生成的图像的质量。
本申请实施例还提供了一种电子设备，如图24所示，包括处理器2401、通信接口2402、存储器2403和通信总线2404，其中，处理器2401，通信接口2402，存储器2403通过通信总线2404完成相互间的通信，
存储器2403，用于存放计算机程序；
处理器2401，用于执行存储器2403上所存放的程序时，实现如下步骤：
获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；
基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像生成方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (10)
1.一种图像生成方法，其特征在于，所述方法包括：
获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；
基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面，包括：
确定对应的待处理图像包含所述前景对象的两个架设相机，作为指定架设相机；
针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含所述前景对象的检测框；
基于该指定架设相机对应的图像坐标与所述空间坐标之间的第一转换关系，确定所述检测框中的指定点在所述目标场景中对应的三维点；
确定包含该指定架设相机的光心和对应的三维点的平面，作为该指定架设相机对应的参考平面；
确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面。
3.根据权利要求2所述的方法，其特征在于，所述确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面，包括：
以各参考平面的交线为旋转轴，按照所述指定角度，对经过所述旋转轴，且与水平面平行的初始物平面进行旋转，得到所述前景对象在所述目标场景中的三维位姿平面。
4.根据权利要求1所述的方法，其特征在于，在所述针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：
确定所述前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点；
针对每一边缘像素点，基于所述第二转换关系和所述第三转换关系，确定该边缘像素点在所述指定监测视角下的对应的像素坐标，作为边缘像素坐标；
确定以所述边缘像素坐标为边缘的区域包含的像素坐标，作为所述前景对象在所述指定监测视角下的像素坐标。
5.根据权利要求1所述的方法，其特征在于，在所述针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：
从各前景图像区域中，确定包含的所述前景对象的完整度最大的图像区域，作为指定的前景图像区域。
6.根据权利要求5所述的方法，其特征在于，所述基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域，包括：
基于对各待处理图像进行图像分割，得到各待处理图像中各前景对象所占的图像区域，作为待处理图像区域；
基于各待处理图区域之间的图像相似度，确定属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
7.根据权利要求1所述的方法，其特征在于，所述获取目标场景中各架设相机对应的待处理图像，包括：
获取各架设相机采集的所述目标场景的图像，作为初始图像；
按照指定色差校正参数分别对各初始图像进行色差校正，和/或，按照各架设相机的畸变类型分别对各初始图像进行畸变校正，得到各待处理图像。
8.根据权利要求1所述的方法，其特征在于，所述获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像，包括：
获取待填充图像；其中，所述待填充图像为：将所述指定的前景图像区域从所属的待处理图像中删除得到的；
将预设图像中与所述指定的前景图像区域对应的部分，填充至所述待填充图像中所述指定的前景图像区域对应的位置，得到指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像；其中，所述预设图像为预先采集的包含所述目标场景中的背景的图像。
9.根据权利要求1所述的方法，其特征在于，在任一时刻，针对所述目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象。
10.一种图像生成装置，其特征在于，所述装置包括：
待处理图像获取模块，用于获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；
前景图像区域确定模块，用于基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
三维位姿平面确定模块，用于基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第一转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
待投影图像生成模块，用于针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第二转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
背景图像获取模块，用于获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
目标图像生成模块，用于依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210662274.1A CN115147262A (zh) | 2022-06-13 | 2022-06-13 | 一种图像生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210662274.1A CN115147262A (zh) | 2022-06-13 | 2022-06-13 | 一种图像生成方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115147262A true CN115147262A (zh) | 2022-10-04 |
Family
ID=83408324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210662274.1A Pending CN115147262A (zh) | 2022-06-13 | 2022-06-13 | 一种图像生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147262A (zh) |
-
2022
- 2022-06-13 CN CN202210662274.1A patent/CN115147262A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
| US11915368B2 (en) | Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs | |
| US10846844B1 (en) | Collaborative disparity decomposition | |
| CN110009561B (zh) | 一种监控视频目标映射到三维地理场景模型的方法及系统 | |
| JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
| CN112793564A (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统 | |
| JP2002157576A (ja) | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| JP2000020728A (ja) | 画像処理装置及び方法 | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| CN109064533B (zh) | 一种3d漫游方法及系统 | |
| CN113345084B (zh) | 三维建模系统及三维建模方法 | |
| KR102389762B1 (ko) | 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법 | |
| CN108734666B (zh) | 一种鱼眼图像校正方法及装置 | |
| CN109978997A (zh) | 一种基于倾斜影像的输电线路三维建模方法和系统 | |
| Zhu et al. | Interactive correction of a distorted street-view panorama for efficient 3-D Façade modeling | |
| Zhao et al. | Alignment of continuous video onto 3D point clouds | |
| JP3791186B2 (ja) | 景観モデリング装置 | |
| CN107784666B (zh) | 基于立体影像的地形地物三维变化检测和更新方法 | |
| CN115147262A (zh) | 一种图像生成方法和装置 | |
| Nakagawa | Point cloud clustering using panoramic layered range image | |
| CN115049539A (zh) | 一种图像生成方法和装置 | |
| JP2004038514A (ja) | 建物３次元形状復元方法と装置、及び建物３次元形状復元プログラムと該プログラムを記録した記録媒体 | |
| CN117115274B (zh) | 三维信息的确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |