CN113225484B - 快速获取屏蔽非目标前景的高清图片的方法及装置 - Google Patents

快速获取屏蔽非目标前景的高清图片的方法及装置 Download PDF

Info

Publication number
CN113225484B
CN113225484B CN202110655284.8A CN202110655284A CN113225484B CN 113225484 B CN113225484 B CN 113225484B CN 202110655284 A CN202110655284 A CN 202110655284A CN 113225484 B CN113225484 B CN 113225484B
Authority
CN
China
Prior art keywords
target
foreground
depth map
picture
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110655284.8A
Other languages
English (en)
Other versions
CN113225484A (zh
Inventor
陈冠宇
王磊
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fangtian Shenghua Beijing Digital Technology Co ltd
Original Assignee
方天圣华(北京)数字科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 方天圣华(北京)数字科技有限公司 filed Critical 方天圣华(北京)数字科技有限公司
Publication of CN113225484A publication Critical patent/CN113225484A/zh
Application granted granted Critical
Publication of CN113225484B publication Critical patent/CN113225484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

一种快速获取屏蔽非目标前景的高清图片的方法及装置，通过实时计算，在基本保留某一时刻背景图原始分辨率的基础上，通过深度图和目标轮廓提取，将非目标前景屏蔽，得到只含有目标对象的高清目标前景图，将高清目标前景图与高清背景图合成，得到屏蔽非目标前景的高清图片。解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。

Description

快速获取屏蔽非目标前景的高清图片的方法及装置
技术领域
本发明涉及图像实时处理技术领域，特别是一种快速获取屏蔽非目标前景的高清图片的方法及装置。
背景技术
在某些场所如景区或网红打卡地拍照时，往往会因为存在大量的游客而无法得到只包含指定目标对象全部信息的目标照片，进而无法独享美景。目前常用的解决办法是后期通过制图软件将路人等非目标对象去除，这样带来的时间和人力成本大大提升。且就算后期采用制图软件将路人等非目标对象去除，也存在图片分辨率下降、指定目标对象失真等问题，使最终得到的图像存在明显的处理痕迹。
发明内容
本发明提供一种快速获取屏蔽非目标前景的高清图片的方法及装置，通过实时计算，在基本保留某一时刻背景图原始分辨率的基础上，通过深度图和目标轮廓提取，将非目标前景屏蔽，得到只含有目标前景的前景图，将只含有目标前景的前景图与背景图合成，得到屏蔽非目标前景的高清图片。
本发明技术方案如下：
一种快速获取屏蔽非目标前景的高清图片的方法，包括如下步骤：
S1，实时获取原始图像组；所述原始图像组中至少包括存在视差的第一原始图像组和第二原始图像组，所述第一原始图像组中的图片均是由相同摄像机在同一位置拍摄的或拍摄后预处理得到的图片；
从所述第一原始图像组中取带有目标前景的图片作为目标处理图片，从所述第二原始图像组中取与所述目标处理图片同一时刻拍摄的图片作为辅助处理图片；
S2，通过对实时获取的所述第一原始图像组进行实时计算，得到目标处理图片的高清背景图，所述高清背景图为补全所有背景信息的纯景图；
S3，将所述目标处理图片与所述辅助处理图片输入深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；
S4，根据所述目标对象所在的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；
S5，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；
S6，对所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清目标前景图；
S7，将所述高清目标前景图与所述高清背景图合成，得到屏蔽非目标前景的高清图片。
作为优选，所述目标对象包括目标物体以及与目标物体直接接触的所有物体。
作为优选，所述S5中，所述轮廓边缘计算包括识别所述前景深度层面图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓，每个特征点集即为一个前景轮廓。
作为优选，所述S6中，所述目标轮廓提取包括根据目标对象占据面积和/或指目标对象所在的区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取出目标对象的前景轮廓。
作为优选，所述S2中，通过对实时获取的所述第一原始图像组进行实时计算，得到目标处理图片的背景图，具体包括，对所述第一原始图像组通过高斯混合模型或改进的高斯混合模型进行实时计算，得到目标处理图片的背景图。
作为优选，所述S1中，所述原始图像组包括双目摄像机拍摄的双目图像组，或经过预处理的所述双目摄像机拍摄的双目图像组，或多个存在视差的摄像机拍摄的多组图像组成的图像组，或对多个存在视差的摄像机拍摄的多组图像经过预处理后得到的图像组。
作为优选，所述预处理包括图片矫正，所述图片矫正包括轮廓检测矫正和/或旋转角度矫正和/或图像匹配的对应相似处连线矫正和/或灰度矫正和/或二值化矫正和/或直方图均衡化矫正。
作为优选，所述S3中所述的深度神经网络模型经过多次训练并测试得到，包括如下步骤：
S3.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
S3.2，对所述特征提取原图进行若干次二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
S3.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
S3.4，将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，，得到一组第三特征数据集；
S3.5，将所述第三特征数据集进行三维卷积，得到一组初始深度图；
S3.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；损失函数L＝ΣAkLk(k＝1,2,3,4……)，Lk代表每个分辨率下初始深度图的损失，其中，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，Ak代表损失系数，是固定值，且Ak>Ak+1；
S3.7，将大量的不同时刻拍摄的原始图像组的特征提取原图重复步骤S3.2-S3.6，通过反向传播不断优化网络权重值，得到尽可能小的损失函数L；得到深度神经网络模型；
一种快速获取屏蔽非目标前景的高清图像的设备，包括摄像模块、图像背景实时处理模块、图像前景实时处理模块和图像合成模块；
所述摄像模块至少能够实时获取原始图像组；所述原始图像组包括存在视差的第一原始图像组和第二原始图像组；
所述图像背景实时处理模块将输入的第一原始图像组进行实时处理得到目标处理图片的高清背景图；
所述图像前景实时处理模块包括深度图获取分模块、前景层面深度图获取分模块、前景轮廓深度图获取分模块和目标前景图获取分模块；所述深度图获取分模块内设有深度神经网络模型；所述深度图获取分模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型处理后得到深度图，所述深度图依次经过前景层面深度图获取分模块、前景轮廓深度图获取分模块和目标前景图获取分模块处理后得到高清目标前景图；
所述图像合成模块将所述高清目标前景图与所述高清背景图合成，得到屏蔽非目标前景的高清图片。
作为优选，所述前景层面深度图获取分模块，根据目标对象所占据的最大景深层面和最小景深层面，对输入的深度图进行处理，截取所述最大景深层面和最小景深层面之间的深度点集，得到前景层面深度图；
所述前景轮廓深度图获取分模块，对输入的前景层面深度图进行轮廓边缘计算，将其内的所有前景轮廓标定并划分，得到前景轮廓深度图；
所述目标前景图获取分模块，将输入的前景轮廓深度图进行目标轮廓提取，得到目标前景轮廓所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为高清目标前景图，所述高清目标前景图只含有目标前景，将非目标前景完全屏蔽；所述目标前景轮廓是指含有目标对象以及与目标对象相接触的所有物体的轮廓。
作为优选，所述深度图获取分模块还包括神经网络模型训练子模块；
所述神经网络模型训练子模块包括训练集输入单元模块、特征提取单元模块、特征融合单元模块、深度计算单元模块、深度信息比对单元模块和损失函数调整单元模块；
所述训练集输入单元模块将所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；
所述特征提取单元模块将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
所述特征融合单元模块将每个所述第二特征数据集中的分属于目标处理图片的数据信息与其内分属于辅助处理图片的数据信息进行特征融合和归一化处理，将每个所述第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行关联，得到一组第三特征数据集；
所述深度计算单元模块将所述第三特征数据集进行三维卷积，得到一组初始深度图；
所述深度信息比对单元模块将每个初始深度图分别与真实标定的深度图进行比对，得到损失函数；
所述损失函数调整单元模块根据大量原始图像组最终计算得到的损失函数，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到深度神经网络模型。
作为优选，所述摄像模块包括双目摄像机。
作为优选，快速获取屏蔽非目标前景的高清图像的设备还包括图片传输模块，所述图片传输模块将所述屏蔽非目标前景的高清图片发送到图片存储单元或通过云端发送给指定接收者。
本发明相对于现有技术优势在于：
1、本发明所述快速获取屏蔽非目标前景的高清图片的方法及装置，通过实时计算，在基本保留某一时刻背景图原始分辨率的基础上，通过深度图和目标轮廓提取，将非目标前景屏蔽，得到只含有目标前景的前景图，将只含有目标前景的前景图与背景图合成，得到屏蔽非目标前景的高清图片。解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。
2、本发明所述快速获取屏蔽非目标前景的高清图片的方法及装置，通过深度神经网络获取的深度图，能够尽可能的保留图像信息，使获得的只含有目标前景的前景图分辨率与背景图保持一致。
3、本发明所述快速获取屏蔽非目标前景的高清图片的方法及装置，通过轮廓边缘计算和目标轮廓提取得到的目标前景轮廓，不仅包括指定目标对象的轮廓，还包括与指定目标对象相接触所有前景物体的轮廓，比如某位或某些目标拍摄者的影子和/或身上佩戴的各种物品，特别是目标拍摄者的影子，能够最大程度上保证只含有目标前景的前景图与背景图合成后，不会使屏蔽非目标前景的高清图片失真。
附图说明
图1是本发明一种快速获取屏蔽非目标前景的高清图片方法的流程图；
图2是本发明一种快速获取屏蔽非目标前景的高清图片的装置的模块化框图；
图3是本发明一种快速获取屏蔽非目标前景的高清图片的装置的工作流程图；
图4是本发明一种快速获取屏蔽非目标前景的高清图片的装置的深度神经网络模型的工作流程图；
图5是本发明一种快速获取屏蔽非目标前景的高清图片的装置的深度神经网络模型的特征提取单元模块的工作流程图；
图6是本发明一种快速获取屏蔽非目标前景的高清图片的装置的深度计算单元模块的工作流程图。
具体实施方式
为了便于理解本发明，下面结合附图1-6和具体实施例，对本发明进行更详细的说明。
实施例1
一种快速获取屏蔽非目标前景的高清图片的方法，其流程图如图1所示，包括如下步骤：
S1，通过双目摄像机实时获取存在视差的双目图像组，双目图像组的左视图像组即为第一原始图像组，右视图像即为第二原始图像组；从所述第一原始图像组中取带有目标对象的图片作为目标处理图片，从所述第二原始图像组中取与所述目标处理图片同一时刻拍摄的图片作为辅助处理图片；目标对像可以为在景区进行拍照的游客，所述目标处理图片为需获取的含有指定游客的原始图像，也即为需屏蔽非目标前景的高清图片的图片。所述目标处理图片也可为通过其他摄像机摄取，并经过轮廓检测矫正和/或旋转角度矫正和/或图像匹配的对应相似处连线矫正和/或灰度矫正和/或二值化矫正和/或直方图均衡化矫正等预处理步骤得到的图片。
S2，通过对实时获取的所述第一原始图像组进行实时计算，得到目标处理图片的高清背景图，所述高清背景图为消除所有前景信息的纯景图，不包含任何游客或路人或短时间内出现在镜头下的所有物体。
S3，将所述目标处理图片与所述辅助处理图片输入深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；所述深度图的每一个像素值均表示场景中某点与摄像机的距离。
S4，根据目标对象与摄像机镜头之间的最小距离和最大距离，确定所述目标对象所占据的最大景深和最小景深，进而得到最大景深层面和最小景深层面，在所述深度图截取并保留最大景深层面和最小景深层面之间的像素点集，得到前景层面深度图；此时，目标对象可以包括指定游客甲以及该指定游客甲的影子，甚至与该游客甲直接接触的友人乙等。
S5，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；所述轮廓边缘计算包括识别所述前景层面深度图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓。该特征点集即为在拍摄范围内的所有游客和/或路人和/或短时间内停留的非背景物体在前景深度图中留下的像素点集。
S6，在所述前景轮廓深度图，根据目标对象所占据面积和/或指目标对象所在的区域景深，提取出目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清目标前景图，所述高清目标前景图，将非目标对象的前景完全屏蔽；所述目标前景轮廓只含有目标对象轮廓；当游客甲没有其他人与其接触时，目标对象可以为游客甲以及与其相接触的配饰(如挎包、手机等)、影子等的轮廓。目标对象也可以同时包括友人乙，当然，如果友人乙接触到指定游客甲，则甲与乙均为同时作为目标对象，只需要进行一次目标轮廓提取，所述目标轮廓提取包括根据指定目标对象占据面积和/或指定目标对象所在的中心区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取指定目标对象的轮廓。该提取过程中仅保留目标前景，如指定游客及与其相接触的影子、配饰等。如果友人乙没有接触到指定游客甲，可经过两次目标轮廓提取或改变目标轮廓提取方法，进行一次目标轮廓提取即可。
S7，将所述高清目标前景图与所述高清背景图合成，得到屏蔽非目标前景的高清图片，所述屏蔽非目标前景的高清图片除了背景图，只含有目标对象的目标前景。解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。且通过轮廓边缘计算和目标轮廓提取得到的目标前景轮廓，不仅包括指定目标对象的轮廓，还包括与指定目标对象相接触所有前景物体的轮廓，比如某位或某些目标拍摄者的影子和/或身上佩戴的各种物品，特别是目标拍摄者的影子，能够最大程度上保证只含有目标前景的前景图与背景图合成后，不会使屏蔽非目标前景的高清图片失真。
优选地，所述步骤S3中深度神经网络模型经过多次训练并测试得到，其工作流程图如图4所示，包括如下步骤：
S3.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
S3.2，对所述特征提取原图进行二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
S3.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
S3.4，将每个所述第二特征数据集中的分属于目标处理图片的数据信息分别与其他第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，得到一组第三特征数据集；
S3.5，将所述第三特征数据集进行三维卷积，得到一组初始深度图；
S3.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；损失函数L＝ΣAkLk(k＝1,2,3,4……)，Lk代表每个分辨率下初始深度图的损失，其中，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，Ak代表损失系数,是固定常数，且Ak>Ak+1；所述真实标定的深度图可以为通过摄像机的镜头与其所在位置等相关信息，计算出来的景深信息图；也可为人为在真实地点进行提前标定后输入的深度信息。
S3.7，将大量的不同时刻拍摄的原始图像组的特征提取原图重复步骤S3.2-S3.6，根据获得的各个损失函数，调整S3.2中的二维卷积和S3.5中的三维卷积参数，通过反向传播不断优化网络权重值，得到尽可能小的损失函数L；得到深度神经网络模型。
实施例2
一种快速获取屏蔽非目标前景的高清图像的设备，其模块化框图如图2所示，包括摄像模块、图像背景实时处理模块、图像前景实时处理模块和图像合成模块。
所述图像前景实时处理模块包括深度图获取分模块、前景层面深度图获取分模块、前景轮廓深度图获取分模块和目标前景图获取分模块；所述深度图获取分模块内设有深度神经网络模型；所述深度图获取分模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型处理后得到深度图，所述深度图依次经过前景层面深度图获取分模块、前景轮廓深度图获取分模块和目标前景图获取分模块处理后得到高清目标前景图所述深度图获取分模块包括神经网络模型训练子模块和神经网络模型测试子模块；所述神经网络模型训练子模块包括训练集输入单元模块、特征提取单元模块、特征融合单元模块、深度计算单元模块、深度信息比对单元模块和损失函数调整单元模块。该过程中的图片处理流程如图3所示。
所述摄像模块包括双目摄像机。所述双目摄像机能够在同一时刻拍摄包含视差信息的两张原始图像组成一个原始图像组，即左视图像和右视图像；所述图像背景实时处理模块将实时输入的多张左视图像实时处理得到目标处理图片的高清背景图；所述图像前景实时处理模块通过深度神经网络模型得到目标处理图片的深度图后，对深度图进行识别和目标轮廓提取，得到只含有目标对象的高清目标前景图；所述图像合成模块将所述高清目标前景图与所述高清背景图合成，得到屏蔽非目标前景的高清图片。由于高清背景图和高清目标前景图均可以实时获取，故而可以快速得到将高清背景图和高清目标前景图合成后的屏蔽非目标前景的高清图片。
具体地，本发明所述方法和装置能够获取高清图像，是由于所述图像背景实时处理模块，通过高斯混合分布实时计算得到所述目标图像的背景图。且所述图像前景实时处理模块通过深度图获取只含有目标前景的前景图。
所述深度图获取分模块，将输入的所述目标处理图片与所述辅助处理图片或经过预处理后的所述目标处理图片与所述辅助处理图片通过深度神经网络模型进行处理，获取其视差信息，进而得到目标处理图片的深度图。
所述前景深度图获取分模块，根据目标对象与摄像机之间的最小距离和最大距离，截取目标对象所占据的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图。所述前景层面深度图包含最大景深层面和最小景深层面之间的所有深度点集。所述最大景深层面是指距离摄像机最远的一个属于所述目标对象的像素点所在的距离层面，所述最小景深层面是指距离摄像机最近的一个属于所述目标对象的像素点所在的距离层面。
所述前景轮廓深度图获取分模块，对输入的前景深度图进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图。
所述目标前景图获取分模块对输入的所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清目标前景图，所述高清目标前景图，将非目标对象的前景完全屏蔽；
优选地，如图5所示，所述训练集输入单元模块将深度图训练集中的所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；所述特征提取单元模块如图5所示，将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络层进行残差网络运算、经空间金字塔池化层进行空间金字塔池化运算，提取由高到低4个分辨率下的一组第二特征数据集；每个分辨率下均有一个第二特征数据集。
所述特征融合单元模块将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，，得到4个第三特征数据集；每个分辨率下均有一个第三特征数据集。所述第三特征数据集将其内的分属于目标处理图片和辅助处理图片的数据信息进行关联。
所述深度计算单元模块如图6所示，将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；所述深度信息比对单元模块将初始深度图分别与真实标定的深度图进行比对，得到损失函数。
所述损失函数调整单元模块根据大量原始图像组最终计算得到的损失函数，通过反向传播，不断调整所述特征提取单元模块、特征融合单元模块、深度计算单元模块和深度信息比对单元模块中的各个网络权重值，得到尽可能小的损失函数L；得到深度神经网络模型。所述损失函数L＝A1L1+A2L2+A3L3+A4L4，其中，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，A1、A2、A3、A4、代表不同分辨率下的损失系数,是固定常数，且A1>A2>A3>A4。其中，损失函数值L越小，则得到的深度图分辨率就越高。
一种快速获取屏蔽非目标前景的高清图像的设备还包括图片传输模块，所述图片传输模块将3秒内得到的或能够实时得到的所述屏蔽非目标前景的高清图片在发送到图片存储单元或通过云端发送给指定接收者。至于能够获取所述屏蔽非目标前景的高清图片的时间长短根据设备的计算速度而定，目前主流的运算芯片能够做到实时或3秒内通过本方法或设备将所述屏蔽非目标前景的高清图片输出。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，尽管本说明书参照附图和实施例对本发明已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换，总之，一切不脱离本发明的精神和范围的技术方案及其改变，其均应涵盖在本发明专利的保护范围当中。

Claims (12)

1.一种快速获取屏蔽非目标前景的高清图片的方法，其特征在于，包括如下步骤：
S1，实时获取原始图像组；所述原始图像组中至少包括存在视差的第一原始图像组和第二原始图像组，所述第一原始图像组中的图片均是由相同摄像机在同一位置拍摄的或拍摄后预处理得到的图片；
从所述第一原始图像组中取带有目标前景的图片作为目标处理图片，从所述第二原始图像组中取与所述目标处理图片同一时刻拍摄的图片作为辅助处理图片；
S2，通过对实时获取的所述第一原始图像组进行实时计算，得到目标处理图片的高清背景图，所述高清背景图为补全所有背景信息的纯景图；
S3，将所述目标处理图片与所述辅助处理图片输入深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；
S4，根据所述目标对象所占据的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；
S5，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；
S6，对所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清目标前景图；
S7，将所述高清目标前景图与所述高清背景图合成，得到屏蔽非目标前景的高清图片。
2.根据权利要求1所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述目标对象包括目标物体以及与目标物体直接接触的所有物体。
3.根据权利要求1或2所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述S5中，所述轮廓边缘计算包括识别所述前景层面深度图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景轮廓深度图上的所有特征点集的轮廓，每个特征点集即为一个前景轮廓。
4.根据权利要求1或2所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述S6中，所述目标轮廓提取包括根据目标对象占据面积和/或指目标对象所在的区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取出目标对象的目标前景轮廓。
5.根据权利要求1或2所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述S2中，通过对实时获取的所述第一原始图像组进行实时计算，得到目标处理图片的高清背景图，具体包括，对所述第一原始图像组通过高斯混合模型或改进的高斯混合模型进行实时计算，得到目标处理图片的高清背景图。
6.根据权利要求1或2所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述S1中，所述原始图像组包括双目摄像机拍摄的双目图像组，或经过预处理的所述双目摄像机拍摄的双目图像组，或多个存在视差的摄像机拍摄的多组图像组成的图像组，或对多个存在视差的摄像机拍摄的多组图像经过预处理后得到的图像组。
7.根据权利要求1或2所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述预处理包括图片矫正，所述图片矫正包括轮廓检测矫正和/或旋转角度矫正和/或图像匹配的对应相似处连线矫正和/或灰度矫正和/或二值化矫正和/或直方图均衡化矫正。
8.根据权利要求1或2所述快速获取屏蔽非目标前景的高清图片的方法，其特征在于，所述S3中所述的深度神经网络模型经过多次训练并测试得到，所述多次训练并测试包括如下步骤：
S3.1，将所述目标处理图片和所述辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
S3.2，对所述特征提取原图进行若干次二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
S3.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
S3.4，将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，得到一组第三特征数据集；
S3.5，将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；
S3.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；损失函数L＝ΣAkLk(k＝1,2,3,4……)，Lk代表每个分辨率下初始深度图的损失，其中，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，Ak代表损失系数,是固定常数，且Ak>Ak+1；
S3.7，将不同时刻拍摄的原始图像组的特征提取原图重复步骤S3.2-S3.6，通过反向传播不断优化网络权重值，得到尽可能小的损失函数L；得到深度神经网络模型。
9.一种快速获取屏蔽非目标前景的高清图片的设备，其特征在于，包括摄像模块、图像背景实时处理模块、图像前景实时处理模块和图像合成模块；
所述摄像模块至少能够实时获取原始图像组；所述原始图像组包括存在视差的第一原始图像组和第二原始图像组；从所述第一原始图像组中取带有目标前景的图片作为目标处理图片，从所述第二原始图像组中取与所述目标处理图片同一时刻拍摄的图片作为辅助处理图片；
所述图像背景实时处理模块将输入的第一原始图像组进行实时处理得到目标处理图片的高清背景图；
所述图像前景实时处理模块包括深度图获取分模块、前景层面深度图获取分模块、前景轮廓深度图获取分模块和目标前景图获取分模块；所述深度图获取分模块内设有深度神经网络模型；所述深度图获取分模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型处理后得到深度图，所述前景层面深度图获取分模块将所述深度图处理成前景层面深度图，所述前景轮廓深度图获取分模块将所述前景层面深度图处理成前景轮廓深度图，所述目标前景图获取分模块将所述前景轮廓深度图处理成高清目标前景图；
所述图像合成模块将所述高清目标前景图与所述高清背景图合成，得到屏蔽非目标前景的高清图片；
所述前景层面深度图获取分模块，根据目标对象所占据的最大景深层面和最小景深层面，对输入的深度图进行处理，截取所述最大景深层面和最小景深层面之间的深度点集，得到前景层面深度图；
所述前景轮廓深度图获取分模块，对输入的前景层面深度图进行轮廓边缘计算，将其内的所有前景轮廓标定并划分，得到前景轮廓深度图；
所述目标前景图获取分模块，将输入的前景轮廓深度图进行目标轮廓提取，得到目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为高清目标前景图。
10.根据权利要求9所述快速获取屏蔽非目标前景的高清图片的设备，其特征在于，所述深度图获取分模块还包括神经网络模型训练子模块；
所述神经网络模型训练子模块包括训练集输入单元模块、特征提取单元模块、特征融合单元模块、深度计算单元模块、深度信息比对单元模块和损失函数调整单元模块；
所述训练集输入单元模块将所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；
所述特征提取单元模块将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
所述特征融合单元模块将每个所述第二特征数据集中的分属于目标处理图片的数据信息与其内分属于辅助处理图片的数据信息进行特征融合和归一化处理，将每个所述第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行关联，得到一组第三特征数据集；
所述深度计算单元模块将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；
所述深度信息比对单元模块将每个初始深度图分别与真实标定的深度图进行比对，得到损失函数；
所述损失函数调整单元模块根据原始图像组最终计算得到的损失函数，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到深度神经网络模型。
11.根据权利要求9所述快速获取屏蔽非目标前景的高清图片的设备，其特征在于，所述摄像模块包括双目摄像机。
12.根据权利要求9所述快速获取屏蔽非目标前景的高清图片的设备，其特征在于，还包括图片传输模块，所述图片传输模块将所述屏蔽非目标前景的高清图片发送到图片存储单元或通过云端发送给指定接收者。
CN202110655284.8A 2020-12-21 2021-06-11 快速获取屏蔽非目标前景的高清图片的方法及装置 Active CN113225484B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020115162076 2020-12-21
CN202011516207.6A CN112672048A (zh) 2020-12-21 2020-12-21 一种基于双目图像和神经网络算法的图像处理方法

Publications (2)

Publication Number Publication Date
CN113225484A CN113225484A (zh) 2021-08-06
CN113225484B true CN113225484B (zh) 2022-04-22

Family

ID=75406665

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011516207.6A Withdrawn CN112672048A (zh) 2020-12-21 2020-12-21 一种基于双目图像和神经网络算法的图像处理方法
CN202110655284.8A Active CN113225484B (zh) 2020-12-21 2021-06-11 快速获取屏蔽非目标前景的高清图片的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011516207.6A Withdrawn CN112672048A (zh) 2020-12-21 2020-12-21 一种基于双目图像和神经网络算法的图像处理方法

Country Status (1)

Country Link
CN (2) CN112672048A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344997B (zh) * 2021-06-11 2022-07-26 方天圣华(北京)数字科技有限公司 快速获取只含有目标对象的高清前景图的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395982A (zh) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 拍照方法和装置
CN108259770A (zh) * 2018-03-30 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109829850A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读介质
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147923B (zh) * 2010-11-19 2012-12-12 李新全 一种动画图像的遮挡显示方法
JP5842306B2 (ja) * 2011-12-16 2016-01-13 中央電子株式会社 マスキング処理装置、処理方法、処理プログラム、および所持物検出装置
HUP1400600A2 (hu) * 2014-12-17 2016-06-28 Pi Holding Zrt Eljárás képszegmens tartalmának lecserélésére
CN110458939B (zh) * 2019-07-24 2022-11-18 大连理工大学 基于视角生成的室内场景建模方法
CN110443842B (zh) * 2019-07-24 2022-02-15 大连理工大学 基于视角融合的深度图预测方法
CN110728628B (zh) * 2019-08-30 2022-06-17 南京航空航天大学 一种基于条件生成对抗网络的人脸去遮挡方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395982A (zh) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 拍照方法和装置
CN108259770A (zh) * 2018-03-30 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109829850A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读介质
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法

Also Published As

Publication number Publication date
CN112672048A (zh) 2021-04-16
CN113225484A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN105279372B (zh) 一种确定建筑物高度的方法和装置
CN110223377A (zh) 一种基于立体视觉系统高精度的三维重建方法
WO2018171008A1 (zh) 一种基于光场图像的高光区域修复方法
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN110956114A (zh) 人脸活体检测方法、装置、检测系统及存储介质
AU2020203790B2 (en) Transformed multi-source content aware fill
US20160335523A1 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN112085802A (zh) 一种基于双目摄像头获取三维指静脉图像的方法
CN115115611B (zh) 车辆损伤识别方法、装置、电子设备和存储介质
CN110120013A (zh) 一种点云拼接方法及装置
CN108109148A (zh) 图像立体分配方法、移动终端
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN111105370A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN113344997B (zh) 快速获取只含有目标对象的高清前景图的方法及系统
CN113538315B (zh) 图像处理方法及装置
JP7275583B2 (ja) 背景モデル生成装置、背景モデル生成方法及び背景モデル生成プログラム
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN116452776B (zh) 基于视觉同步定位与建图系统的低碳变电站场景重建方法
CN111010558B (zh) 一种基于短视频图像的立木深度图生成方法
CN116205952B (zh) 人脸识别与跟踪的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211215

Address after: 101125 404-c37, zone B, No. a 560, Luyuan South Street, Tongzhou District, Beijing

Applicant after: Fangtian Shenghua (Beijing) Digital Technology Co.,Ltd.

Address before: 030000 floor 20, Hongfu complex building, Xiaodian District, Taiyuan City, Shanxi Province

Applicant before: Shanxi Fangtian Shenghua Digital Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant