CN111353934B - 一种视频合成的方法及装置 - Google Patents

一种视频合成的方法及装置 Download PDF

Info

Publication number
CN111353934B
CN111353934B CN201811583037.6A CN201811583037A CN111353934B CN 111353934 B CN111353934 B CN 111353934B CN 201811583037 A CN201811583037 A CN 201811583037A CN 111353934 B CN111353934 B CN 111353934B
Authority
CN
China
Prior art keywords
target
pictures
picture
pixel point
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811583037.6A
Other languages
English (en)
Other versions
CN111353934A (zh
Inventor
马强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811583037.6A priority Critical patent/CN111353934B/zh
Publication of CN111353934A publication Critical patent/CN111353934A/zh
Application granted granted Critical
Publication of CN111353934B publication Critical patent/CN111353934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请是关于一种视频合成的方法，属于计算机领域。所述方法包括：获取N个目标图片和每个目标图片对应的彩色图片，N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数；根据第一目标图片和M个第二目标图片，生成第一目标图片的深度图，第一目标图片为N个目标图片中的任一个，M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，第一摄像机为拍摄第一目标图片的摄像机，M为大于或等于2的整数；根据每个目标图片对应的彩色图片和每个目标图片的深度图生成全景图片。本申请能够减少全景图片中的瑕疵。

Description

一种视频合成的方法及装置
技术领域
本申请涉及计算机领域，特别涉及一种视频合成的方法及装置。
背景技术
视频合成技术，即通过多个摄像机对同一场景进行拍摄，获得多张图像后将该多张图像拼接为一张图像的技术，该拼接后的图像即为全景图，全景图在全景监控、车载环视、虚拟现实等领域均有应用。
现有技术中通过N个摄像机拍摄同一场景得到N原始图片，N为大于1的整数，将每个原始图片经过颜色矫正后获得每个原图图像的彩色图片，根据第一原始图片的彩色图片和第二原始图片的彩色图片，生成第一原始图片的深度图，第一原始图片是N个原始图片中的任一个原始图片，拍摄第一原始图片的摄像机和拍摄第二原始图片的摄像机位置相邻；按上述方式获取每个原始图片的深度图，根据每个原始图片的深度图和每个原始图片的彩色图片生成全景图像。
发明人在实现本申请的过程中，发现上述方式至少存在如下缺陷：
由于经过颜色矫正后的彩色图片可能会损失原始图片中的信息，又由于相邻两个摄像机拍摄的原始图片的彩色图片中包括的图像信息较少，使得相邻两个摄像机拍摄的原始图片的彩色图片生成的深度图像存在较大误差，导致生成的全景图产生瑕疵。
发明内容
为了减少全景图片中的瑕疵，本申请实施例提供了一种视频合成的方法，所述技术方案如下：
根据本申请实施例的第一方面，提供一种视频合成的方法，所述方法包括：
获取N个目标图片和每个目标图片对应的彩色图片，所述N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数；
根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图，所述第一目标图片为所述N个目标图片中的任一个，所述M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，所述第一摄像机为拍摄所述第一目标图片的摄像机，M为大于或等于2的整数；
根据所述每个目标图片对应的彩色图片和所述每个目标图片的深度图生成全景图片。
可选的，所述获取N个目标图片，包括：
根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定所述原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，所述目标摄像机是N个摄像机中的任一个摄像机；
通过第一滤波器对所述原始图片中的第一像素点进行滤波以及通过第二滤波器对所述原始图片中的第二像素点进行滤波，得到所述原始图片对应的目标图片，所述第一滤波器的滤波强度小于所述第二滤波器的滤波强度。
可选的，所述根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定所述原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，包括：
根据第一目标像素点的灰度值，从灰度值与噪声阈值的对应关系中获取对应的噪声阈值，所述第一目标像素点是所述原始图片中的任一像素点；
在所述第一目标像素点的梯度值超过所述噪声阈值时，确定所述第一目标像素点为属于高纹理图像的第一像素点，在所述第一目标像素点的梯度值未超过所述噪声阈值时，确定所述第一目标像素点为属于低纹理图像的第二像素点。
可选的，所述获取N个目标图片之前，还包括：
获取多个测试图片的光照强度，所述多个测试图片是通过摄像机对测试环境进行多次拍摄得到的图片，所述测试环境的光照强度等于与一个灰度值匹配的光照强度；
根据多个测试图片的光照强度计算方差值，将所述方差值确定为所述灰度值对应的噪声阈值；
将所述灰度值和所述噪声阈值对应保存在灰度值与噪声阈值的对应关系中。
可选的，所述根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图，包括：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，第二目标像素点为所述第一目标图片中的任一个像素点，所述深度值集合包括多个预设深度值；
选择综合相似度最大的预设深度值作为所述第二目标像素点的深度值。
可选的，所述根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，包括：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和目标深度值，确定第二目标像素点分别在每个第二目标图片中的第一映射点，目标深度值是深度值集合中的任一预设深度值；
根据所述第二目标像素点的像素值和每个第一映射点的像素值，分别计算所述第二目标像素点与所述每个第一映射点之间的相似度；
根据所述第二目标像素点与所述每个第一映射点之间的相似度，获取目标深度值的综合相似度。
可选的，所述根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图之后，还包括：
根据所述第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正所述第一目标图片的深度图。
可选的，所述根据所述第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正所述第一目标图片的深度图，包括：
确定所述第一目标图片中的第三目标像素点，所述第三目标像素点的深度值与所述第三目标像素点在任一个第二目标图片中对应的第一映射点的深度值不同；
根据所述第一目标图片对应的彩色图片确定所述第三目标像素点所在的图像区域；
根据所述图像区域内的像素点的深度值设置所述第三目标像素点的深度值。
可选的，所述根据所述每个目标图片对应的彩色图片和所述每个目标图片的深度图生成全景图片，包括：
根据所述第一摄像机的内外参数、所述每个第二摄像机的内外参数和深度值集合，获取所述每个目标图片的深度图，所述深度图集合包括多个预设深度值；
根据所述每个目标图片的深度图，生成X个虚拟图片的深度图，X为大于或等于1的整数；
根据所述N个目标图片对应的彩色图片和所述X个虚拟图片的深度图，生成所述X个虚拟图片对应的彩色图片；
根据所述N个目标图片对应的彩色图片和所述X个虚拟图片对应的彩色图片，生成所述全景图片。
根据本申请实施例的第二方面，提供一种视频合成的装置，所述装置包括：
第一获取模块，用于获取N个目标图片和每个目标图片对应的彩色图片，所述N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数；
第一生成模块，用于根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图，所述第一目标图片为所述N个目标图片中的任一个，所述M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，所述第一摄像机为拍摄所述第一目标图片的摄像机，M为大于或等于2的整数；
第二生成模块，用于根据所述每个目标图片对应的彩色图片和所述每个目标图片的深度图生成全景图片。
可选的，所述第一获取模块包括：
第一确定单元，用于根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定所述原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，所述目标摄像机是N个摄像机中的任一个摄像机；
滤波单元，用于通过第一滤波器对所述原始图片中的第一像素点进行滤波以及通过第二滤波器对所述原始图片中的第二像素点进行滤波，得到所述原始图片对应的目标图片，所述第一滤波器的滤波强度小于所述第二滤波器的滤波强度。
可选的，所述第一确定单元，用于：
根据第一目标像素点的灰度值，从灰度值与噪声阈值的对应关系中获取对应的噪声阈值，所述第一目标像素点是所述原始图片中的任一像素点；
在所述第一目标像素点的梯度值超过所述噪声阈值时，确定所述第一目标像素点为属于高纹理图像的第一像素点，在所述第一目标像素点的梯度值未超过所述噪声阈值时，确定所述第一目标像素点为属于低纹理图像的第二像素点。
可选的，所述装置还包括：
第二获取模块，用于获取多个测试图片的光照强度，所述多个测试图片是通过摄像机对测试环境进行多次拍摄得到的图片，所述测试环境的光照强度等于与一个灰度值匹配的光照强度；
计算模块，用于根据多个测试图片的光照强度计算方差值，将所述方差值确定为所述灰度值对应的噪声阈值；
保存模块，用于将所述灰度值和所述噪声阈值对应保存在灰度值与噪声阈值的对应关系中。
可选的，所述第一生成模块包括：
第一获取单元，用于根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，第二目标像素点为所述第一目标图片中的任一个像素点，所述深度值集合包括多个预设深度值；
选择单元，用于选择综合相似度最大的预设深度值作为所述第二目标像素点的深度值。
可选的，所述第一获取单元，还用于：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和目标深度值，确定第二目标像素点分别在每个第二目标图片中的第一映射点，目标深度值是深度值集合中的任一预设深度值；
根据所述第二目标像素点的像素值和每个第一映射点的像素值，分别计算所述第二目标像素点与所述每个第一映射点之间的相似度；
根据所述第二目标像素点与所述每个第一映射点之间的相似度，获取目标深度值的综合相似度。
可选的，所述装置还包括：
矫正模块，用于根据所述第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正所述第一目标图片的深度图。
可选的，所述矫正模块，还用于：
第二确定单元，用于确定所述第一目标图片中的第三目标像素点，所述第三目标像素点的深度值与所述第三目标像素点在任一个第二目标图片中对应的第一映射点的深度值不同；根据所述第一目标图片对应的彩色图片确定所述第三目标像素点所在的图像区域；
设置单元，用于根据所述图像区域内的像素点的深度值设置所述第三目标像素点的深度值。
可选的，所述第二生成模块，用于：
第二获取单元，用于根据所述第一摄像机的内外参数、所述每个第二摄像机的内外参数和深度值集合，获取所述每个目标图片的深度图，所述深度图集合包括多个预设深度值；
生成单元，用于根据所述每个目标图片的深度图，生成X个虚拟图片的深度图，X为大于或等于1的整数；根据所述N个目标图片对应的彩色图片和所述X个虚拟图片的深度图，生成所述X个虚拟图片对应的彩色图片；根据所述N个目标图片对应的彩色图片和所述X个虚拟图片对应的彩色图片，生成所述全景图片。
本申请实施例提供的技术方案可以包括以下有益效果：
通过通过N个摄像机同时拍摄同一场景，获得N个目标图片和每个目标图片对应的彩色图片，根据一个摄像机第一目标图片与该摄像机距离最近的M个摄像机的第二目标图片获得该第一目标图片的深度图，由于M的取值大于或等于2，所以第一目标图片的深度图根据至少三个目标图片获得，该至少三个目标图片包括的图像信息较多，且该至少三个目标图片并不是矫正后的彩色图片，所以第一目标图片的深度图通过较多的图像信息获得的，从而减少该深度图中的误差，这样根据该深度图生成全景图，可以减少该全景图中的瑕疵。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1A是本申请实施例提供的一种视频合成系统；
图1B是本申请实施例提供的另一种视频合成系统；
图2是本申请实施例提供的一种视频合成的方法流程图；
图3是本申请实施例提供的一种视频合成的方法装置结构示意图；
图4是本申请实施例提供的一种视频合成的装置结构示意图。
图5是本申请实施例提供的一种终端的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
参见图1A，本申请实施例提供了一种视频合成系统包括：
处理设备和N个摄像机，该N摄像机中的每个摄像机可以与处理设备连接，N为大于或等于3的整数。
可选的，N个摄像机围绕同一场景设置为环形，N个摄像机之间中的任意相邻摄像机之间的间隔可以相等，也可以不相等。
N个摄像机可以对同一场景同时进行拍摄，得到N个原始图片，并将该N个原始图片发送至处理设备，处理设备存储该N个原始图片。
处理设备可以将该N个摄像机每次采集的N个原始图片存储在本地，后续可以获取每次采集的N个原始图片，并将该N个原始图片合成为一个全景图片。
可选的，参见图1B，该视频合成系统还包括：数据采集设备，数据采集设备分别与N个摄像机连接，数据采集设备与处理设备连接。
数据采集设备用于向N个摄像机同时发送采集信号，使N个摄像机同时拍摄同一场景，并接收N个摄像机采集的原始图片，即得到N个原始图片，将该N个原始图片发送至处理设备。
可选的，参见图1B，该视频合成系统还包括：移动存储设备，该移动存储设备可为移动硬盘、移动磁盘、移动高速硬盘、移动高速磁盘等。
移动存储设备与处理设备连接，处理设备可将上述N个原始图片存储至移动存储设备中。
参见图2，本申请实施例提供了一种视频合成的方法，该方法包括：
步骤201：获取N个目标图片和每个目标图片对应的彩色图片，N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数。
步骤202：根据第一目标图片和M个第二目标图片，生成第一目标图片的深度图，第一目标图片为N个目标图片中的任一个，M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，第一摄像机为拍摄第一目标图片的摄像机，M为大于或等于2的整数。
步骤203：每个目标图片对应的彩色图片和每个目标图片的深度图生成全景图片。
在本申请实施例中：通过N个摄像机同时拍摄同一场景，获得N个目标图片和每个目标图片对应的彩色图片，根据一个摄像机第一目标图片与该摄像机距离最近的M个摄像机的第二目标图片获得该第一目标图片的深度图，由于M的取值大于或等于2，所以第一目标图片的深度图根据至少三个目标图片获得，该至少三个目标图片包括的图像信息较多，且该至少三个目标图片并不是矫正后的彩色图片，所以第一目标图片的深度图通过较多的图像信息获得的，从而减少该深度图中的误差，这样根据该深度图生成全景图，可以减少该全景图中的瑕疵。
参见图3，本申请实施例提供了一种视频合成的方法，该方法可以应用于图1所示的系统中，该方法包括：
步骤301：获取N个目标图片，N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数。
N个摄像机对同一场景同时拍摄，获得N个原始图片，处理设备可以获取到该N个原始图片后，将该N个原始图片作为N个目标图片。或者，处理设备可以获取该N个原始图片中的每个原始图片对应的多位宽图，将每个原始图片对应的多位宽图作为目标图片，原始图片对应的多位宽图的信噪比高于的该原始图片，这样通过该多位宽图可以最大程度地保留有效信息。
可选的，当目标图片为多位宽图时，本步骤可分为3011至3012的操作来获取N个目标图片，分别为：
步骤3011：根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，目标摄像机是N个摄像机中的任一个摄像机。
像素点的灰度值用于表示图像的亮度，像素点的灰度值共有256个，例如灰度值可以为：0、1、2、……、255，灰度值越大，则像素点的颜色越接近白色，灰度值越小，则像素点的颜色越接近黑色；像素点的亮度值也用于表示光源的亮度，亮度值共有256个，例如亮度值可以为：0、1、2、……、255，亮度值越大，则光源越亮，亮度值越小，则光源越暗。
原始图片中，根据像素点的光源亮度和梯度值确定原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，高纹理图像的第一像素点的灰度值比低纹理图像的第二像素点的灰度值高，高纹理图像比低纹理图像的图像质量好。
可选的，可通过如下第一和第二两步骤确定原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，分别为：
第一步：根据第一目标像素点的灰度值，从灰度值与噪声阈值的对应关系中获取对应的噪声阈值，第一目标像素点是原始图片中的任一像素点。
噪声阈值根据摄像机在测试环境中的不同光照亮度下拍摄的图片获得，噪声阈值为噪声在上述图片中的灰度。噪声为在目标摄像机拍摄原始图片的过程中产生的干扰信息。在同一光照亮度下，噪点的灰度值按一定规律变化，影响原始图片质量。
第一目标像素点为原始图片中的任一像素点，当处理设备接收到目标摄像机拍摄的一个原始图片后，获得该原始图片的第一目标像素点的灰度值与梯度值，并根据该灰度值从预先存储的像素点的灰度值与噪声阈值的对应关系中获取第一目标像素点的噪声阈值。
第二步：在第一目标像素点的梯度值超过噪声阈值时，确定第一目标像素点为属于高纹理图像的第一像素点，在第一目标像素点的梯度值未超过噪声阈值时，确定第一目标像素点为属于低纹理图像的第二像素点。
第一像素点为该原始图片中梯度值超过噪声阈值的像素点，第一像素点受噪点的影响较少，故第一像素点属于高纹理图像；第二像素点为该原始图片中梯度值未超过噪声阈值的像素点，第二像素点受噪点的影响较大，故第二像素点属于低纹理图像。
对于该原始图片中除第一目标像素点以外的其他每个像素点，同第一目标像素点一样执行上述第一步和第二步，确定其他每个像素点是属于高纹理图像的第一像素点，还是属于低纹理图像的第二像素点。
步骤3012：通过第一滤波器对原始图片中的第一像素点进行滤波以及通过第二滤波器对原始图片中的第二像素点进行滤波，得到原始图片对应的目标图片，第一滤波器的滤波强度小于第二滤波器的滤波强度。
第一滤波器比第二滤波器的窗口尺寸小，且第一滤波器比第二滤波器的滤波强度大。
由于高纹理图像的第一像素点的梯度值超过其灰度值对应的噪声阈值，因此噪点对高纹理图像的影响较小，可使用滤波强度较小的第一滤波器对第一像素点进行滤波，使得滤波处理后高纹理图像的图像信息保留更加完全；由于低纹理图像的第二像素点的梯度值未超过其灰度值对应的噪声阈值，因此噪点对低纹理图像的影响较大，可使用滤波强度较大的第二滤波器对第二像素点进行滤波，使得滤波处理后低纹理图像中图像更加平滑。
可选的，在获取N个目标图片之前，还包括预先建立噪声阈值与灰度值之间的对应关系，该建立操作的过程可以包括如下3001至3003三个步骤，分别为：
步骤3001：获取多个测试图片的光照强度，该多个测试图片是通过摄像机对测试环境进行多次拍摄得到的图片，该测试环境的光照强度等于与一个灰度值匹配的光照强度。
测试环境为封闭无外界干扰的空间，该测试环境的光照强度是可控的。在该测试环境中设置一个摄像机，从0至255的灰度值中选择一个灰度值，设置该测试环境的光照强度为与该灰度值相匹配的光照强度。然后控制该摄像机对该测试环境进行多次拍摄，得到多个测试图片。
步骤3002：根据多个测试图片的光照强度计算方差值，将方差值确定为所述灰度值对应的噪声阈值。
可选的，计算该多个测试图片的光照强度的平均值，该平均值即为方差值。
步骤3003：将灰度值和噪声阈值对应保存在灰度值与噪声阈值的对应关系中。
对于0至255的灰度值中的其他每个灰度值，均按上述3001至3003的步骤，获取其他每个灰度值对应的噪声阀值并将其他每个灰度值和其对应的噪声阀值对应保存在灰度值与噪声阈值的对应关系中。所以灰度值与噪声阈值的对应关系中中包括256个灰度值和该256个灰度值中的每个灰度值对应的噪声阀值。
步骤302：获取该N个目标图片中的每个目标图片对应的彩色图片。
N个彩色图片为处理设备将N个原始图片色彩矫正后得到颜色真实的彩色图片，但经过色彩矫正的色彩真实的图片会损失原始图片的有效信息。
原始图片中像素点的颜色可能与真实颜色不符，需要通过色彩矫正获得颜色真实的彩色图片。
在原始图片的每个像素点，将原始图片中每个像素点的色彩替换为标准色彩，每个像素点的色彩替换结束后即获得色彩真实的彩色图片。
步骤303：根据第一目标图片和M个第二目标图片，生成第一目标图片的深度图，第一目标图片为N个目标图片中的任一个，M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，第一摄像机为拍摄第一目标图片的摄像机，M为大于或等于2的整数。
M个第二摄像机是在N个目标摄像机中与第一摄像机距离最近的多个摄像机，M个第二摄像机为N个目标摄像机中能够与第一摄像机共视的M个目标摄像机，即第一摄像机拍摄的第一目标图片能在该M个第二摄像机拍摄的任一一个第二目标图片中找到第一映射点。
可选的，可以3031至3032的操作来生成第一目标图片的深度图，分别为：
步骤3031：根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，第二目标像素点为第一目标图片中的任一个像素点，深度值集合包括多个预设深度值。
N个摄像机中，多个摄像机以环形环绕场景进行拍摄，摄像机的内参数包括摄像机的焦距和摄像机拍摄的图像大小等，摄像机的外参数包括摄像机之间的位置关系，例如相邻两个摄像机之间的夹角等。
可选的，多个摄像机以环形环绕场景进行拍摄时，多个摄像机中相邻摄像机的夹角可以相等，也可以不等。
预先确定一个距离，该距离可以是该N个摄像机所拍摄场景的最大深度，根据该距离非线性设置Q个深度值并组成深度值集合，深度值越小，该深度值与其相邻的深度值之间的间隔越小，反之该深度值越大，该深度值与其相邻的深度值之间的间隔越大。例如：确定距离为50m，可将50m非线性分为200个深度值，该200个深度值可预设为0.01m、0.03m、0.06m、0.15m、……50m，一共200个深度值。
可选的，可通过如下第一至第三三步骤获取深度值集合中的每个预设深度值的综合相似度，分别为：
第一步：根据第一摄像机的内外参数、每个第二摄像机的内外参数和目标深度值，确定第二目标像素点分别在每个第二目标图片中的第一映射点，目标深度值是深度值集合中的任一预设深度值。
根据目标深度值、第一摄像机的焦距和图像大小、第二摄像机的焦距和图像大小以及第一摄像机和第二摄像机之间的位置关系确定第二目标像素点在第二目标图片中的第一映射点。
第一目标图片中的第一目标像素点对应场景中的一个物理点，该物理点也是第一目标像素点在每个第二目标图片中的第一映射点对应的物理点。
第二步：根据第二目标像素点的像素值和每个第一映射点的像素值，分别计算第二目标像素点与每个第一映射点之间的相似度。
根据第二目标像素点的特征向量与一个第二目标图片中的第一映射点的特征向量，计算得到第二目标像素点与该第一映射点之间相似度LK1，第二目标像素点依次与其他M-1个第二目标图片中的第一映射点计算相似度，得到第二目标像素点与M个第一映射点的相似度，分别为：LK1、LK2、……、LKM。
可选的，第二目标像素点的特征向量包括第二目标像素点的R通道像素值R1、G通道像素值G1和B通道像素值B1，第一映射点的特征向量包括第一映射点的R通道像素值R2、G通道像素值G2和B通道像素值B2。所以第二目标像素点与第一映射点的相似度可以为
第三步：根据第二目标像素点与每个第一映射点之间的相似度，获取目标深度值的综合相似度。
可选的，融合相似度的方法可以选取相似度中的最大值，最小值，或者将上述相似度从大到小排列，选取中间值为融合后的综合相似度LK。
在Q个深度值，按上述第一至第三步骤获得的每个深度值的综合相似度，为L1、LK、……、LQ。
步骤3032：选择综合相似度最大的预设深度值作为第二目标像素点的深度值。可选的，按上述步骤3031至3032获取第一目标图片中的每个像素点的深度值，根据每个像素点的深度值生成第一目标图片的深度图。
可选的，生成每个目标图片的深度图后，对于任一个目标图片的深度图，为了便于说明称为第一目标图片的深度图，还根据第一目标图片对应的彩色图片和每个第二目标图片的深度图，矫正第一目标图片的深度图。
第一目标图片中任一可能的一个像素点，该像素点的深度值与在第二目标图片中的该像素点对应的映射点的深度值不同，由于该像素点和该映射点对应同一个物理点，所以该像素点的深度值应与该映射点的深度值相同，如果不同，该像素点的深度值存在的误差，需要对其矫正。
可选的，可通过如下第一至第三三步骤矫正第一目标图片的深度图，分别为：
第一步：确定第一目标图片中的第三目标像素点，第三目标像素点的深度值与第三目标像素点在任一个第二目标图片中对应的第一映射点的深度值不同。
在获得第一目标图片中所有像素点的深度值后，将该像素点的深度值与在任一个第二目标图片中的该像素点对应的第一映射点的深度值进行比对，若两者不同，将在该像素点标记为第三目标像素点，由于第三目标像素点的深度值存在误差，需要通过彩色图片对第三目标像素点的深度值进行矫正。
第二步：根据第一目标图片对应的彩色图片确定第三目标像素点所在的图像区域。
图像区域为在彩色图片中颜色相同的连续多个像素点组成的区域。根据彩色图片中与第三目标像素点对应的第二映射点，处理设备将与该第二映射点颜色相同或相近的像素点组成图像区域，该图像区域内由于颜色相同或相近，表示该图像区域对应场景中一个物体的一个部件，该图像区域内所有像素点的深度值相等或差别不大。
第三步：根据图像区域内的像素点的深度值设置第三目标像素点的深度值。
可选的，从从第一目标图片的彩色图片中获取该图像区域内的每个像素点的位置，根据该图像区域内的每个像素点的位置，在第一目标图片的深度图中获取每个像素点的深度值，可从该每个像素点的深度值中选取最大值、最小值、或将每个像素点的深度值从大到小依次排列，选取中间值，将选择的值作为第二映射点的深度值。
步骤304：根据每个目标图片的深度图，生成X个虚拟图片的深度图。
可选的，n*(X+N)等于全景图片的横向分辨率，n为大于0的整数，*为乘法运算。根据全景图片的横向分辨率设置X个虚拟视点，每个虚拟视点可以认为是一个虚拟摄像机，从而得到每个虚拟摄像机的位置，全景图片的横向分辨率等于n倍的真实摄像机个数与虚拟摄像机个数之和，每个虚拟摄像机生成一张虚拟图片，在N个摄像机之间均匀插入X个虚拟摄像机，全景图片的横向分辨率为n*(X+N)。
在本步骤中，对于该X个虚拟图片中的任一个虚拟图片，称为第一虚拟图片，从该N个目标图片中获取与第一虚拟图片的虚拟摄像机最近的一个目标摄像机的目标图片，称该目标图片为第三目标图片，根据第一虚拟图片和第三目标图片获取第一虚拟图片中的每个像素点的深度值，得到第一虚拟图片的深度图。
对于第一虚拟图片中的任一个像素点，为了便于说明称该像素点为第三像素点，通过如下第一至第三三个步骤获取第三像素点的深度值，分别为：
第一步：根据目标深度值、第一虚拟图片对应的虚拟摄像机和第三目标图片对应的目标摄像机的内外参数，确定第三像素点在第三目标图片中对应的第二映射点，第三像素点是第一虚拟图片中的任一个像素点，目标深度值为深度值集合中的任一深度值。
可选的，第二映射点与第三目标图片中的某个像素点重合，第二映射点的深度值与该像素点的深度值相等。
可选的，在第三目标图片中的第二映射点的坐标(x,y)可能为小数，即第二映射点不与第三目标图片中的像素点重合。当第二映射点的坐标(x,y)为小数时，通过距离第二映射点最近的四个整数坐标的像素点计算该第二映射点的深度值，该四个整数坐标的像素点可以构成一个正方形，包括左上角像素点、右上角像素点、左下角像素点和右下角像素点，左上角像素点的坐标为(x1,y1)深度值为K1，右上角像素点的坐标为(x2,y2)，深度值为K2，左下角像素点的坐标为(x3,y3)，深度值为K3，以及右下角像素点的坐标为(x4,y4)，深度值为K4，该第二映射点的深度值Ka具体计算过程如下：
根据左上角像素点的横坐标x1与第二映射点的横坐标x之间的距离赋予权值b1，以及根据右上角像素点的横坐标x2与第二映射点的横坐标x之间的距离赋予权值b2，权值b1和b2为0至1内的数值，当该横坐标的距离越大，则权值越小，该横坐标距离越小，则权值越大，且b1+b2＝1，根据如下第一公式计算第二映射点的第一深度值KA：
K1*b1+K2*b2＝KA
根据左下角像素点的横坐标x3与第二映射点的横坐标x之间的距离赋予权值b3，以及根据右下角像素点的横坐标x4与第二映射点的横坐标x之间的距离赋予权值b4，权值b3和b4为0至1内的数值，当该横坐标的距离越大，则权值越小，该横坐标距离越小，则权值越大，且b3+b4＝1，根据如下第二公式计算第二映射点的第二深度值KB：
K3*b3+K4*b4＝KB
根据左上角像素点的纵坐标y1与第二映射点的纵坐标y之间的距离赋予权值b5，根据右上角像素点的纵坐标y2与第二映射点的纵坐标y之间的距离赋予权值b6，权值b5和b6为0至1内的数值，当该纵坐标的距离越大，则权值越小，该纵坐标距离越小，则权值越大，且b5+b6＝1，根据如下第三公式计算第二映射点的深度值Ka：
KA*b5+KB*b6＝Ka
第二步：根据该第二映射点的目标深度K，第一虚拟图片对应的虚拟摄像机和第三目标图片对应的目标摄像机的内外参数在第一虚拟图片中确定第二映射点对应的第三映射点。
第三映射点表示在第一虚拟图片中根据第二映射点的目标深度K和第一虚拟摄像机和该真实摄像机的内外参数获得的与第二映射点对应的像素点。
第三步：在该第三像素点和第三映射点之间的距离小于预设距离阈值时，将第三像素点的深度值设置为目标深度值。
其中，第三映射点表示场景中一个物体的一个物理点应该和该第二映射点表示的物理点为同一物理点，也就是说第三映射点与第三像素点应该为同一点，因此可以在该第三像素点和第三映射点之间的距离小于预设距离阈值时，认为第三映射点与第三像素点为同一点。
在该第三像素点和第三映射点之间的距离大于或等于预设距离阈值时，从深度值集合中重新选择一个深度值作为目标深度值，再执行上述第一到第三的步骤。按上述第一至第三的步骤获取第一虚拟图片中的每个像素点的深度值，根据每个像素点的深度值生成第一虚拟图片的深度图。
步骤305：根据N个目标图片对应的彩色图片和X个虚拟图片的深度图，生成X个虚拟图片对应的彩色图片。
对于每个虚拟图片，从该N个摄像机中确定与该虚拟图片的虚拟摄像机最近的一个摄像机，获取该摄像机对应的目标图片的彩色图片。根据该彩色图片生成该虚拟图片对应的彩色图片。在实现时：
对于该虚拟图片中的任一个像素点，根据该像素点的深度值、该虚拟摄像机的内外参数和该目标摄像机的内外参数，在该彩色图片中确定该像素点对应的第四映射点，将该第四映射点的像素值设置为该像素点的像素值。按上述方式设置该虚拟图片中的其他每个像素点的像素值，使该虚拟图片变成彩色图片。
步骤306：根据N个目标图片对应的彩色图片和X个虚拟图片对应的彩色图片，生成全景图片。
获得N个真实图片对应的彩色图片和X个虚拟图片对应的彩色图片后，得到N+X个彩色图片，从每个彩色图片中选取n列的像素点，得到n*(N+X)列像素点，n为大于0的整数，将该n*(N+X)列像素点顺序拼接，即获得全景图片。
可选的，当n＝1时，可以从每个彩色图片中选取中间一列的像素点。
本申请实施例的有益效果为：通过N个摄像机同时拍摄同一场景，并分别获得保留较多原始图片信息的第一目标图片和色彩真实的彩色图片，并根据一个摄像机第一目标图片与该摄像机距离最近的M个摄像机的第二目标图片获得该第一目标图片的深度图，根据与该第一目标图片对应的彩色图片对该第一目标图片进行矫正，获得深度值更为准确的深度图；在虚拟视点中确定一个虚拟像素点，并映射到真实摄像机中的第二映射点后，通过双差值计算该第二映射点的深度值，再将该第二映射点反向映射到虚拟视图中，获得第三映射点，根据第三映射点与虚拟像素点之间的距离是否超过预设阈值来确定虚拟像素点的深度值，获得瑕疵少的全景图。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
本申请实施例提供了一种视频合成的装置，参见图4，装置400包括：
第一获取模块401，用于获取N个目标图片和每个目标图片对应的彩色图片，N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数；
第一生成模块402，用于根据第一目标图片和M个第二目标图片，生成第一目标图片的深度图，第一目标图片为N个目标图片中的任一个，M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，第一摄像机为拍摄第一目标图片的摄像机，M为大于或等于2的整数；
第二生成模块403，用于根据每个目标图片对应的彩色图片和每个目标图片的深度图生成全景图片。
可选的，第一获取模块401包括：
第一确定单元，用于根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，目标摄像机是N个摄像机中的任一个摄像机；
滤波单元，用于通过第一滤波器对原始图片中的第一像素点进行滤波以及通过第二滤波器对原始图片中的第二像素点进行滤波，得到原始图片对应的目标图片，第一滤波器的滤波强度小于第二滤波器的滤波强度。
可选的，第一确定单元，用于：
根据第一目标像素点的灰度值，从灰度值与噪声阈值的对应关系中获取对应的噪声阈值，第一目标像素点是原始图片中的任一像素点；
在第一目标像素点的梯度值超过噪声阈值时，确定第一目标像素点为属于高纹理图像的第一像素点，在第一目标像素点的梯度值未超过噪声阈值时，确定第一目标像素点为属于低纹理图像的第二像素点。
可选的，所述装置400还包括：
第二获取模块，用于获取多个测试图片的光照强度，多个测试图片是通过摄像机对测试环境进行多次拍摄得到的图片，测试环境的光照强度等于与一个灰度值匹配的光照强度；
计算模块，用于根据多个测试图片的光照强度计算方差值，将方差值确定为灰度值对应的噪声阈值；
保存模块，用于将灰度值和噪声阈值对应保存在灰度值与噪声阈值的对应关系中。
可选的，第一生成模块402包括：
第一获取单元，用于根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，第二目标像素点为第一目标图片中的任一个像素点，深度值集合包括多个预设深度值；
选择单元，用于选择综合相似度最大的预设深度值作为第二目标像素点的深度值。
可选的，第一获取单元，还用于：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和目标深度值，确定第二目标像素点分别在每个第二目标图片中的第一映射点，目标深度值是深度值集合中的任一预设深度值；
根据第二目标像素点的像素值和每个第一映射点的像素值，分别计算第二目标像素点与每个第一映射点之间的相似度；
根据第二目标像素点与每个第一映射点之间的相似度，获取目标深度值的综合相似度。
可选的，所述装置400还包括：
矫正模块，用于根据第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正第一目标图片的深度图。
可选的，矫正模块包括：
第二确定单元，用于确定第一目标图片中的第三目标像素点，第三目标像素点的深度值与第三目标像素点在任一个第二目标图片中对应的第一映射点的深度值不同；根据第一目标图片对应的彩色图片确定第三目标像素点所在的图像区域；
设置单元，用于根据图像区域内的像素点的深度值设置第三目标像素点的深度值。
可选的，第二生成模块403，用于：
第二获取单元，用于根据所述第一摄像机的内外参数、所述每个第二摄像机的内外参数和深度值集合，获取所述每个目标图片的深度图，所述深度图集合包括多个预设深度值；
生成单元，用于根据所述每个目标图片的深度图，生成X个虚拟图片的深度图，X为大于或等于1的整数；根据所述N个目标图片对应的彩色图片和所述X个虚拟图片的深度图，生成所述X个虚拟图片对应的彩色图片；根据所述N个目标图片对应的彩色图片和所述X个虚拟图片对应的彩色图片，生成所述全景图片。
本申请实施例的有益效果为：获取模块通过N个摄像机同时拍摄同一场景，并分别获得保留较多原始图片信息的第一目标图片和色彩真实的彩色图片，第一生成模块根据一个摄像机第一目标图片与该摄像机距离最近的M个摄像机的第二目标图片获得该第一目标图片的深度图，根据与该第一目标图片对应的彩色图片对该第一目标图片进行矫正，获得深度值更为准确的深度图；第二生成模块在虚拟视点中确定一个虚拟像素点，并映射到真实摄像机中的第二映射点后，通过双差值计算该第二映射点的深度值，再将该第二映射点反向映射到虚拟视图中，获得第三映射点，根据第三映射点与虚拟像素点之间的距离是否超过预设阈值来确定虚拟像素点的深度值，获得瑕疵少的全景图。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是便携式移动终端，比如：平板电脑、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的一种视频合成的方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头组件506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种视频合成的方法，其特征在于，所述方法包括：
获取N个目标图片和每个目标图片对应的彩色图片，所述N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数；
根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图，所述第一目标图片为所述N个目标图片中的任一个，所述M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，所述第一摄像机为拍摄所述第一目标图片的摄像机，M为大于或等于2的整数；
根据所述每个目标图片对应的彩色图片和所述每个目标图片的深度图生成全景图片；
其中，生成所述第一目标图片的深度图，包括：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，第二目标像素点为所述第一目标图片中的任一个像素点，所述深度值集合包括多个预设深度值；
选择综合相似度最大的预设深度值作为所述第二目标像素点的深度值；
其中，获取深度值集合中的每个预设深度值的综合相似度，包括：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和目标深度值，确定第二目标像素点分别在每个第二目标图片中的第一映射点，目标深度值是深度值集合中的任一预设深度值；
根据所述第二目标像素点的像素值和每个第一映射点的像素值，分别计算所述第二目标像素点与所述每个第一映射点之间的相似度；
根据所述第二目标像素点与所述每个第一映射点之间的相似度，获取目标深度值的综合相似度。
2.如权利要求1所述的方法，其特征在于，所述获取N个目标图片，包括：
根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定所述原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，所述目标摄像机是N个摄像机中的任一个摄像机；
通过第一滤波器对所述原始图片中的第一像素点进行滤波以及通过第二滤波器对所述原始图片中的第二像素点进行滤波，得到所述原始图片对应的目标图片，所述第一滤波器的滤波强度小于所述第二滤波器的滤波强度。
3.如权利要求2所述的方法，其特征在于，所述根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定所述原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，包括：
根据第一目标像素点的灰度值，从灰度值与噪声阈值的对应关系中获取对应的噪声阈值，所述第一目标像素点是所述原始图片中的任一像素点；
在所述第一目标像素点的梯度值超过所述噪声阈值时，确定所述第一目标像素点为属于高纹理图像的第一像素点，在所述第一目标像素点的梯度值未超过所述噪声阈值时，确定所述第一目标像素点为属于低纹理图像的第二像素点。
4.如权利要求1所述的方法，其特征在于，所述获取N个目标图片之前，还包括：
获取多个测试图片的光照强度，所述多个测试图片是通过摄像机对测试环境进行多次拍摄得到的图片，所述测试环境的光照强度等于与一个灰度值匹配的光照强度；
根据多个测试图片的光照强度计算方差值，将所述方差值确定为所述灰度值对应的噪声阈值；
将所述灰度值和所述噪声阈值对应保存在灰度值与噪声阈值的对应关系中。
5.如权利要求1所述的方法，其特征在于，所述根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图之后，还包括：
根据所述第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正所述第一目标图片的深度图。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正所述第一目标图片的深度图，包括：
确定所述第一目标图片中的第三目标像素点，所述第三目标像素点的深度值与所述第三目标像素点在任一个第二目标图片中对应的第一映射点的深度值不同；
根据所述第一目标图片对应的彩色图片确定所述第三目标像素点所在的图像区域；
根据所述图像区域内的像素点的深度值设置所述第三目标像素点的深度值。
7.如权利要求1所述的方法，其特征在于，所述根据所述每个目标图片对应的彩色图片和所述每个目标图片的深度图生成全景图片，包括：
根据所述第一摄像机的内外参数、所述每个第二摄像机的内外参数和深度值集合，获取所述每个目标图片的深度图，所述深度值集合包括多个预设深度值；
根据所述每个目标图片的深度图，生成X个虚拟图片的深度图，X为大于或等于1的整数；
根据所述N个目标图片对应的彩色图片和所述X个虚拟图片的深度图，生成所述X个虚拟图片对应的彩色图片；
根据所述N个目标图片对应的彩色图片和所述X个虚拟图片对应的彩色图片，生成所述全景图片。
8.一种视频合成的装置，其特征在于，所述装置包括：
第一获取模块，用于获取N个目标图片和每个目标图片对应的彩色图片，所述N个目标图片是N个摄像机对同一场景进行拍摄得到的图片，N为大于或等于3的整数；
第一生成模块，用于根据第一目标图片和M个第二目标图片，生成所述第一目标图片的深度图，所述第一目标图片为所述N个目标图片中的任一个，所述M个第二目标图片是距离第一摄像机最近的M个第二摄像机拍摄的图片，所述第一摄像机为拍摄所述第一目标图片的摄像机，M为大于或等于2的整数；
第二生成模块，用于根据所述每个目标图片对应的彩色图片和所述每个目标图片的深度图生成全景图片；
其中，所述第一生成模块包括：
第一获取单元，用于根据第一摄像机的内外参数、每个第二摄像机的内外参数和第二目标像素点，获取深度值集合中的每个预设深度值的综合相似度，第二目标像素点为所述第一目标图片中的任一个像素点，所述深度值集合包括多个预设深度值；
选择单元，用于选择综合相似度最大的预设深度值作为所述第二目标像素点的深度值；
其中，所述第一获取单元，用于：
根据第一摄像机的内外参数、每个第二摄像机的内外参数和目标深度值，确定第二目标像素点分别在每个第二目标图片中的第一映射点，目标深度值是深度值集合中的任一预设深度值；
根据所述第二目标像素点的像素值和每个第一映射点的像素值，分别计算所述第二目标像素点与所述每个第一映射点之间的相似度；
根据所述第二目标像素点与所述每个第一映射点之间的相似度，获取目标深度值的综合相似度。
9.如权利要求8所述的装置，其特征在于，所述第一获取模块包括：
第一确定单元，用于根据目标摄像机拍摄的原始图片中的每个像素点的灰度值和梯度值，确定所述原始图片中属于高纹理图像的第一像素点和属于低纹理图像的第二像素点，所述目标摄像机是N个摄像机中的任一个摄像机；
滤波单元，用于通过第一滤波器对所述原始图片中的第一像素点进行滤波以及通过第二滤波器对所述原始图片中的第二像素点进行滤波，得到所述原始图片对应的目标图片，所述第一滤波器的滤波强度小于所述第二滤波器的滤波强度。
10.如权利要求9所述的装置，其特征在于，所述第一确定单元，用于：
根据第一目标像素点的灰度值，从灰度值与噪声阈值的对应关系中获取对应的噪声阈值，所述第一目标像素点是所述原始图片中的任一像素点；
在所述第一目标像素点的梯度值超过所述噪声阈值时，确定所述第一目标像素点为属于高纹理图像的第一像素点，在所述第一目标像素点的梯度值未超过所述噪声阈值时，确定所述第一目标像素点为属于低纹理图像的第二像素点。
11.如权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取多个测试图片的光照强度，所述多个测试图片是通过摄像机对测试环境进行多次拍摄得到的图片，所述测试环境的光照强度等于与一个灰度值匹配的光照强度；
计算模块，用于根据多个测试图片的光照强度计算方差值，将所述方差值确定为所述灰度值对应的噪声阈值；
保存模块，用于将所述灰度值和所述噪声阈值对应保存在灰度值与噪声阈值的对应关系中。
12.如权利要求8所述的装置，其特征在于，所述装置还包括：
矫正模块，用于根据所述第一目标图片对应的彩色图片和每个第二目标图片对应的深度图，矫正所述第一目标图片的深度图。
13.如权利要求12所述的装置，其特征在于，所述矫正模块包括：
第二确定单元，用于确定所述第一目标图片中的第三目标像素点，所述第三目标像素点的深度值与所述第三目标像素点在任一个第二目标图片中对应的第一映射点的深度值不同；根据所述第一目标图片对应的彩色图片确定所述第三目标像素点所在的图像区域；
设置单元，用于根据所述图像区域内的像素点的深度值设置所述第三目标像素点的深度值。
14.如权利要求8所述的装置，其特征在于，所述第二生成模块包括：
第二获取单元，用于根据所述第一摄像机的内外参数、所述每个第二摄像机的内外参数和深度值集合，获取所述每个目标图片的深度图，所述深度值集合包括多个预设深度值；
生成单元，用于根据所述每个目标图片的深度图，生成X个虚拟图片的深度图，X为大于或等于1的整数；根据所述N个目标图片对应的彩色图片和所述X个虚拟图片的深度图，生成所述X个虚拟图片对应的彩色图片；根据所述N个目标图片对应的彩色图片和所述X个虚拟图片对应的彩色图片，生成所述全景图片。
CN201811583037.6A 2018-12-24 2018-12-24 一种视频合成的方法及装置 Active CN111353934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811583037.6A CN111353934B (zh) 2018-12-24 2018-12-24 一种视频合成的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811583037.6A CN111353934B (zh) 2018-12-24 2018-12-24 一种视频合成的方法及装置

Publications (2)

Publication Number Publication Date
CN111353934A CN111353934A (zh) 2020-06-30
CN111353934B true CN111353934B (zh) 2023-05-16

Family

ID=71196793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811583037.6A Active CN111353934B (zh) 2018-12-24 2018-12-24 一种视频合成的方法及装置

Country Status (1)

Country Link
CN (1) CN111353934B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398939A (zh) * 2007-09-25 2009-04-01 株式会社东芝 多视点数据生成装置和方法
EP2061005A2 (en) * 2007-11-16 2009-05-20 Gwangju Institute of Science and Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN101582171A (zh) * 2009-06-10 2009-11-18 清华大学 一种创建深度图的方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN105374019A (zh) * 2015-09-30 2016-03-02 华为技术有限公司 一种多深度图融合方法及装置
WO2018141414A1 (en) * 2017-02-06 2018-08-09 Photonic Sensors & Algorithms, S.L. Device and method for obtaining depth information from a scene
CN108460368A (zh) * 2018-03-30 2018-08-28 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398939A (zh) * 2007-09-25 2009-04-01 株式会社东芝 多视点数据生成装置和方法
EP2061005A2 (en) * 2007-11-16 2009-05-20 Gwangju Institute of Science and Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN101582171A (zh) * 2009-06-10 2009-11-18 清华大学 一种创建深度图的方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN105374019A (zh) * 2015-09-30 2016-03-02 华为技术有限公司 一种多深度图融合方法及装置
WO2018141414A1 (en) * 2017-02-06 2018-08-09 Photonic Sensors & Algorithms, S.L. Device and method for obtaining depth information from a scene
CN108460368A (zh) * 2018-03-30 2018-08-28 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周杰 ; 安平 ; 郑帅 ; 严徐乐 ; 左一帆 ; .飞行时间深度相机和彩色相机的联合标定.信号处理.2017,(第01期),全文. *

Also Published As

Publication number Publication date
CN111353934A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN110502954B (zh) 视频分析的方法和装置
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN108305236B (zh) 图像增强处理方法及装置
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN113763228B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021238564A1 (zh) 显示设备及其畸变参数确定方法、装置、系统及存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN109754439B (zh) 标定方法、装置、电子设备及介质
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN110414448B (zh) 图像处理方法、装置、电子设备及存储介质
CN112241987B (zh) 确定防区的系统、方法、装置及存储介质
CN111369684A (zh) 目标跟踪方法、装置、设备及存储介质
CN115798417A (zh) 背光亮度的确定方法、装置、设备及计算机可读存储介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN112243083B (zh) 抓拍方法、装置及计算机存储介质
CN111369434B (zh) 拼接视频封面生成的方法、装置、设备和存储介质
CN110443841B (zh) 地面深度的测量方法、装置及系统
CN111353934B (zh) 一种视频合成的方法及装置
CN111127539B (zh) 视差确定方法、装置、计算机设备及存储介质
CN110517188B (zh) 确定鸟瞰图像的方法和装置
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN112399080A (zh) 视频处理方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant