CN114862934B - 十亿像素成像的场景深度估计方法及装置 - Google Patents

十亿像素成像的场景深度估计方法及装置 Download PDF

Info

Publication number
CN114862934B
CN114862934B CN202210447365.3A CN202210447365A CN114862934B CN 114862934 B CN114862934 B CN 114862934B CN 202210447365 A CN202210447365 A CN 202210447365A CN 114862934 B CN114862934 B CN 114862934B
Authority
CN
China
Prior art keywords
depth map
image acquisition
image
global
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210447365.3A
Other languages
English (en)
Other versions
CN114862934A (zh
Inventor
袁潮
邓迪旻
温建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210447365.3A priority Critical patent/CN114862934B/zh
Publication of CN114862934A publication Critical patent/CN114862934A/zh
Application granted granted Critical
Publication of CN114862934B publication Critical patent/CN114862934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供的一种十亿像素成像的场景深度估计方法及装置,涉及计算机技术领域,该方法包括:对图像采集设备组进行标定,所述图像采集设备组包括至少一个全局图像采集设备和至少一个局部图像采集设备;对所述图像采集设备组获取的全局图像和局部图像进行预处理;分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图;将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图;根据所述第一深度图和所述第二深度图的成本量的比较结果,得到目标深度图。本申请实施例能够实现从十亿像素成像中恢复可靠的深度。

Description

十亿像素成像的场景深度估计方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种十亿像素成像的场景深度估计方法及系统。
背景技术
场景的三维信息获取是计算机视觉领域的重点问题,随着信息时代的到来,各种信息的载体向着更大容量和更高精度的方向不断发展,高分辨率显示屏和更高带宽的信息传输使得人们越来越追求高清的图像和视频带来的精细的观感。十亿像素视频的提出使得人们可以从多尺度的角度观察世界,使得大场景的安防监控和演出、赛事的直播能够获得质量的飞升。全景深度估计是十亿像素成像场景理解的重要一环,能为如虚拟现实、增强现实和视点渲染等任务提供可靠信息。
然而,目前缺少针对十亿像素高质量成像的场景深度估计方法,如何从跨尺度十亿像素成像中恢复可靠的深度是目前需要攻克的研究问题和难点。
发明内容
本发明实施例的目的在于提供一种十亿像素成像的场景深度估计方法及系统,本申请实施例能够实现从十亿像素成像中恢复可靠的深度。具体技术方案如下:
在本发明实施例的第一方面,提供一种十亿像素成像的场景深度估计方法,包括:对图像采集设备组进行标定,所述图像采集设备组包括至少一个全局图像采集设备和至少一个局部图像采集设备;
对所述图像采集设备组获取的全局图像和局部图像进行预处理;
分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图;
将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图;
根据所述第一深度图和所述第二深度图的成本量的比较结果,得到目标深度图。
可选地,所述对图像采集设备组进行标定,包括:获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参。
可选地,所述获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参,包括:
响应于所述图像采集设备组中各图像采集设备在对应的工作焦段下对标定板姿态进行拍摄,并对所述图像采集设备组进行标定以获取其内参矩阵;
响应于将所述图像采集设备组中的所述全局图像采集设备变焦至短焦段,对所述标定板姿态进行拍摄,并对所述图像采集设备组进行标定以获取其外参矩阵。
可选地,所述对所述图像采集设备组获取的全局图像和局部图像进行预处理,包括:
获取所述至少一个全局图像采集设备和所述至少一个局部图像采集设备在不同视点下采集的多张全局图像和局部图像;
通过颜色矫正算法将所述多张全局图像和所述局部图像的图像特征相统一。
可选地,所述将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图,包括:基于所述第一中间深度图,结合MRF框架、成本量和邻域平滑约束对所述第二中间深度图进行优化,得到所述第二深度图。
可选地,所述方法还包括:
对所述第一中间深度图进行第一优化操作,所述第一优化操作至少包括绝对深度更新和微视差深度优化;
根据所述第二深度图的引导滤波,对所述第一优化操作后的第一中间深度图进行优化,得到所述第一深度图。
在本发明实施例的又一方面,提供一种十亿像素成像的场景深度估计装置,所述系统包括:
标定模块,用于对图像采集设备组进行标定,所述图像采集设备组包括至少一个全局图像采集设备和至少一个局部图像采集设备;
预处理模块,用于对所述图像采集设备组获取的全局图像和局部图像进行预处理;
中间深度图获取模块,用于分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图;
深度图获取模块,用于将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图;
目标深度图获取模块,用于根据所述第一深度图和所述第二深度图的成本量的比较结果,得到目标深度图。
可选地,所述标定模块进一步用于:获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参。
在本发明实施例的又一方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现如上所述方法的步骤。
在本发明实施例的又一方面,提供一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
由上可知,本申请实施例通过图像采集设备组在不同视点下获取该场景的全局图像和局部图像,并根据全局图像和局部图像各自进行深度估计方面的优势进行交叉优化,从而最终能够提升对全局图像深度估计的准确性和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的十亿像素成像的场景深度估计装置的应用场景示意图;
图2是本申请实施例提供的十亿像素成像的场景深度估计方法的流程示意图;
图3是本申请实施例提供的十亿像素成像的场景深度估计装置的结构示意图;
图4是本申请实施例提供的计算机设备的内部结构图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本申请一些实施例所示的十亿像素成像的场景深度估计装置的应用场景示意图。如图1所示,十亿像素成像的场景深度估计装置100可以包括服务器110、网络120、图像采集设备组130、和存储器140。
服务器110可以处理从十亿像素成像的场景深度估计装置100的至少一个组件(例如,图像采集设备组130和存储器140)或外部数据源(例如,云数据中心)获取的数据和/或信息。例如,服务器110可以从图像采集设备组130获取交互指令。又例如,服务器110还可以从存储器140获取历史数据。
在一些实施例中,服务器110可以包括处理设备112。处理设备112可以处理与人机交互系统相关的信息和/或数据以执行本说明书中描述的一个或多个功能。例如,处理设备112可以基于交互指令和/或历史数据确定成像控制策略。在一些实施例中,处理设备112可包括至少一个处理单元(例如,单核处理引擎或多核处理引擎)。在一些实施例中,处理设备112可以为图像采集设备组130的一部分。
网络120可以提供信息交换的渠道。在一些实施例中,网络120可以包括一个或多个网络接入点。十亿像素成像的场景深度估计装置100的一个或多个部件可以通过接入点连接到网络120以交换数据和/或信息。在一些实施例中,十亿像素成像的场景深度估计装置100中的至少一个组件可以经由网络120访问存储在存储器140中的数据或指令。
图像采集设备组130可以由多个图像采集设备组成,图像采集设备的种类不做限制,例如可以是摄像头、光场相机或具有图像采集功能的移动终端等。
在一些实施例中,存储器140可以存储处理设备112可以执行或使用以完成本说明书描述的示例性方法的数据和/或指令。例如,存储器140可以存储历史数据。在一些实施例中,存储器140可以作为后端存储器直接连接到服务器110。在一些实施例中,存储器140可以是服务器110、图像采集设备组130一部分。
图2示出了本申请实施例提供的一种十亿像素成像的场景深度估计方法的流程示意图,如图2所示,一种十亿像素成像的场景深度估计方法包括如下步骤:
步骤210、对图像采集设备组进行标定。
其中,所述图像采集设备组可以包括至少一个全局图像采集设备和至少一个局部图像采集设备。
可选地,步骤210还可以包括:获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参。
可选地,步骤“所述获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参”,还可以包括:
响应于所述图像采集设备组中各图像采集设备在对应的工作焦段下对标定板姿态进行拍摄,并对所述图像采集设备组进行标定以获取其内参矩阵;
响应于将所述图像采集设备组中的所述全局图像采集设备变焦至短焦段,对所述标定板姿态进行拍摄,并对所述图像采集设备组进行标定以获取其外参矩阵。
其中,全局图像采集设备可以配有短焦镜头,局部图像采集设备可以配有长焦镜头,在初步获取目标场景的全局图像和局部图像的过程中可以完成视点配准融合。
其中,内参是指相机坐标系下三维点投影到图像平面过程的参数,外参是指全局图像设备和局部图像设备在世界坐标系下的位置和朝向。
具体地,对于内参估计,可以先将各图像采集设备调整到工作焦段,然后利用图像采集设备的相机系统在室内对多个棋盘格标定板姿态进行拍摄,最后利用张正友标定算法对各相机的内参进行初步标定,获得各相机的初始内参矩阵
Figure BDA0003615960190000081
其中N为十亿像素成像系统中的图像采集设备的个数,即相机个数。对于外参估计,可以将将局部图像采集设备的镜头变焦到短焦段,使得全局相机和局部相机的视场角尽量一致,同样利用室内采集一组棋盘格标定板序列,相机阵列外参的初始估计
Figure BDA0003615960190000091
由于室外采集过程中的对焦等操作会影响室内标定的内外参数估计,故需利用工作场景进一步对十亿像素成像阵列的标定进行修正。该步骤具体为将局部镜头变换回工作焦段,并对焦到室外工作距离,对室外工作场景采集一段视点不同的序列{Ii}i=0,...N,利用预先标定的内外参数
Figure BDA0003615960190000092
使用Struct ure-from-Motion的方法估计相机之间的匹配点以及对应的拍摄序列场景的三维点估计(p2D,P3D),再用光束平差法进一步修正更改对焦的局部相机内参及联合优化各视点的姿态,获得较为准确的标定信息{Ki,Ri,ti}i=0,...N。该过程表示如下:
Figure BDA0003615960190000093
Figure BDA0003615960190000094
可选地,可以先构建出后续深度估计的成本量,定义均值成本量如下:
Figure BDA0003615960190000095
其中,M(v)为光场图像的所有视点数目,p为,a为预设参数,p代表图像空间坐标(x,y),v代表图像角度坐标(s,t),P代表中心视角图像,则重聚焦图像记为Id(p,v),中心视角图像记为P(p)。
步骤220、对所述图像采集设备组获取的全局图像和局部图像进行预处理。
可选地,步骤220还可以包括:获取所述至少一个全局图像采集设备和所述至少一个局部图像采集设备在不同视点下采集的多张全局图像和局部图像;
通过颜色矫正算法将所述多张全局图像和所述局部图像的图像特征相统一。具体地,可以表示如下:
Figure BDA0003615960190000101
可选地,构建中值成本的公式为:
C3(p,d)=12(Cmax+Cmin)Cmax=max(|Id(p,v)-P(p)|,v∈V)Cmin=min(|Id(p,v)-P(p)|,v∈V)
其中,在全景场景下可能会出现多个遮挡场景,例如行人遮挡车辆或车辆遮挡了行人,这对全景图像的深度估计是十分不利的。多视点像素点与中心视角像素点偏差的平均中值作为成本量,即最大偏差Cmax与最小偏Cmi n的平均值,Cmax反映了遮挡视角的极限偏差情况,Cmi n反映了非遮挡视角的极限偏差情况,通过求二者平均值即可抑制遮挡视角偏差、增强非遮挡视角偏差。
然后,通过成本最小原则,自适应选择最佳成本量为:
C(p,d)=min{C1(p,d),C2(p,d),C3(p,d)}
步骤230、分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图。
可选地,步骤230还可以包括:基于所述第一中间深度图,结合MRF框架、成本量和邻域平滑约束对所述第二中间深度图进行优化,得到所述第二深度图。
可选地,本申请实施例还可以包括:
对所述第一中间深度图进行第一优化操作,所述第一优化操作至少包括绝对深度更新和微视差深度优化;
根据所述第二深度图的引导滤波,对所述第一优化操作后的第一中间深度图进行优化,得到所述第一深度图。
首先,算法基于多尺度残差模块的全局图像初始单图像深度估计模型,完成快速高效的单图像深度信息估计。该网络基于多尺度的残差网络结构,可以基于彩色图像生成系列不同尺度的特征结果,通过充分逐级融合不同层级的特征学习图像中蕴藏的深度信息,即第一中间深度图所表示的深度为:
Figure BDA0003615960190000111
然后,为了实现适应多变的采集环境和内容的全局深度估计,本专利采用多样化数据集训练策略,利用能适应多种数据集深度特点的损失函数,实现具有高泛化性能的零样本学习的可跨数据集迁移的单图像深度估计模型。损失函数设计如下:
Figure BDA0003615960190000112
其中,Ll为损失函数值,Lreg为面损失,b为第二预设参数。
提取每个空间点最小成本所对应的深度值d,从而获得局部图像的第二中间深度图,记为dl,则有:
dl(p)=argd minC(p,d)
步骤240、将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图。
对于第一深度图,首先该匹配网络以局部图像和对应经过上采样的全局的图像区域图像作为输入,由于视点的微小差异,要求网络能够在跨分辨率不同视点的图像中提取出包含细节的深度图{Dabs}local,作为全局深度估计优化的引导,该部分以残差的形式引入到联合优化模块中去:
Figure BDA0003615960190000121
最后,局部图像所包含的丰富边缘特征能够进一步对全局图像深度初始估计进行优化,故添加基于图像的引导滤波优化能够使深度边缘更加清晰。最终我们获得经过优化后的高分辨率高质量的十亿像素成像场景全局深度,即完成第一优化操作后并基于第二深度图引导滤波优化的第一深度图可以表示为:
Figure BDA0003615960190000122
对于第二深度图,由于基于成本量的局部深度估计没有考虑空间点邻域信息,导致局部初始深度图不准确。为此,本文利用MRF框架,结合成本量和邻域平滑约束,将深度估计问题转变为能量泛函最小化过程即:
dg(p)=argminp|-P(p)|Edata(p,dl(p))+λ∑p∑q∈N(p)Esmooth(p,q,dl(p),dl(q))
并利用GC算法进行求解表示如下:
Figure BDA0003615960190000132
其中,p代表像素点的空间坐标(x,y),q代表像素点p的邻域像素点坐标,dl(p)代表空间点深度值,即局部深度信息(式(7))。Edata代表数据项,表示像素点p局部深度信息的可靠性,Esmooth代表平滑项,用于约束邻域像素的一致性,当两个相邻像素点颜色接近时,则两点平滑约束较强,否则平滑约束较弱。λ是加权系数,
Figure BDA0003615960190000131
代表像素点间梯度,τ为阈值。
步骤250、根据所述第一深度图和所述第二深度图的成本量的比较结果,得到目标深度图。
可以理解,深度图的成本量越高,则表示该深度图中反映出的图像深度估计越不准确,则可以通过比较全局图像对全局场景深度估计的第一深度图和所述第二深度图的成本量的比较结果,选取成本量低的深度图作为目标深度图。
由上可知,本申请实施例通过图像采集设备组在不同视点下获取该场景的全局图像和局部图像,并根据全局图像和局部图像各自进行深度估计方面的优势进行交叉优化,从而最终能够提升对全局图像深度估计的准确性和效率。
为实现上述方法类实施例,本申请实施例还提供一种十亿像素成像的场景深度估计装置,图3示出了本申请实施例提供的一种十亿像素成像的场景深度估计装置的结构示意图,所述系统包括:
采集设备信息获取模块301,用于获取第一图像采集设备组和第二图像采集设备组的信息;其中,所述第一图像采集设备组和所述第二图像采集设备组均至少包括多个图像采集设备;
分析结果获取模块302,响应于所述第一图像采集设备组获取到目标的初始图像,用于对所述初始图像数据进行分析,得到分析结果;
拍摄参数调整模块303,响应于所述第一图像采集设备组将所述分析结果发送至所述第二图像采集设备组,用于控制所述第二图像采集设备组基于所述分析结果的成像控制策略对拍摄参数进行调整;其中,所述拍摄参数包括拍摄位置、拍摄亮度、拍摄时刻中的至少一种;
目标图像获取模块304,用于基于所述调整后的第二图像采集设备组对所述目标进行拍摄,获取目标图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置中模块/单元/子单元/组件的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
由上可知,本申请实施例通过图像采集设备组在不同视点下获取该场景的全局图像和局部图像,并根据全局图像和局部图像各自进行深度估计方面的优势进行交叉优化,从而最终能够提升对全局图像深度估计的准确性和效率。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像采集设备的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种十亿像素成像的场景深度估计方法及系统。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现十亿像素成像的场景深度估计方法及系统。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SR AM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
综上所述,本申请提供的一种十亿像素成像的场景深度估计方法,包括:
对图像采集设备组进行标定,所述图像采集设备组包括至少一个全局图像采集设备和至少一个局部图像采集设备;
对所述图像采集设备组获取的全局图像和局部图像进行预处理;
分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图;
将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图;
根据所述第一深度图和所述第二深度图的成本量的比较结果,得到目标深度图。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种十亿像素成像的场景深度估计方法,其特征在于,包括:
对图像采集设备组进行标定,所述图像采集设备组包括至少一个全局图像采集设备和至少一个局部图像采集设备;
对所述图像采集设备组获取的全局图像和局部图像进行预处理;
分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图;
将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图;
根据所述第一深度图的成本量和所述第二深度图的成本量的比较结果,得到目标深度图;
其中,所述将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图包括:
基于所述第一中间深度图,结合MRF框架、成本量和邻域平滑约束对所述第二中间深度图进行优化,得到所述第二深度图;
对所述第一中间深度图进行第一优化操作,所述第一优化操作至少包括绝对深度更新和微视差深度优化;
根据所述第二深度图的引导滤波,对所述第一优化操作后的第一中间深度图进行优化,得到所述第一深度图。
2.如权利要求1所述的方法,其特征在于,所述对图像采集设备组进行标定,包括:获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参。
3.如权利要求2所述的方法,其特征在于,所述获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参,包括:
响应于所述图像采集设备组中各图像采集设备在对应的工作焦段下对标定板姿态进行拍摄,并对所述图像采集设备组进行标定以获取其内参矩阵;
响应于将所述图像采集设备组中的所述全局图像采集设备变焦至短焦段,对所述标定板姿态进行拍摄,并对所述图像采集设备组进行标定以获取其外参矩阵。
4.如权利要求1所述的方法,其特征在于,所述对所述图像采集设备组获取的全局图像和局部图像进行预处理,包括:
获取所述至少一个全局图像采集设备和所述至少一个局部图像采集设备在不同视点下采集的多张全局图像和局部图像;
通过颜色矫正算法将所述多张全局图像和所述局部图像的图像特征相统一。
5.一种十亿像素成像的场景深度估计装置,其特征在于,包括:
标定模块,用于对图像采集设备组进行标定,所述图像采集设备组包括至少一个全局图像采集设备和至少一个局部图像采集设备;
预处理模块,用于对所述图像采集设备组获取的全局图像和局部图像进行预处理;
中间深度图获取模块,用于分别对所述全局图像和所述局部图像进行深度估计,得到第一中间深度图和第二中间深度图;
深度图获取模块,用于将所述第一中间深度图和所述第二中间深度图进行交叉优化,得到所述全局图像的第一深度图和第二深度图;
目标深度图获取模块,用于根据所述第一深度图的成本量和所述第二深度图的成本量的比较结果,得到目标深度图;
其中,所述深度图获取模块还具体用于:
基于所述第一中间深度图,结合MRF框架、成本量和邻域平滑约束对所述第二中间深度图进行优化,得到所述第二深度图;
对所述第一中间深度图进行第一优化操作,所述第一优化操作至少包括绝对深度更新和微视差深度优化;
根据所述第二深度图的引导滤波,对所述第一优化操作后的第一中间深度图进行优化,得到所述第一深度图。
6.如权利要求5所述的装置,其特征在于,所述标定模块进一步用于:获取所述图像采集设备组中每个所述全局图像采集设备和所述局部图像采集设备的内参和外参。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1~4中任意一项所述方法的步骤。
8.一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-4中任意一项所述方法的步骤。
CN202210447365.3A 2022-04-26 2022-04-26 十亿像素成像的场景深度估计方法及装置 Active CN114862934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210447365.3A CN114862934B (zh) 2022-04-26 2022-04-26 十亿像素成像的场景深度估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210447365.3A CN114862934B (zh) 2022-04-26 2022-04-26 十亿像素成像的场景深度估计方法及装置

Publications (2)

Publication Number Publication Date
CN114862934A CN114862934A (zh) 2022-08-05
CN114862934B true CN114862934B (zh) 2023-02-07

Family

ID=82633415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210447365.3A Active CN114862934B (zh) 2022-04-26 2022-04-26 十亿像素成像的场景深度估计方法及装置

Country Status (1)

Country Link
CN (1) CN114862934B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038893A (zh) * 2017-12-06 2018-05-15 深圳市未来媒体技术研究院 一种基于混合相机阵列的十亿像素视频的生成方法
CN111343367A (zh) * 2020-02-17 2020-06-26 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN112203023A (zh) * 2020-09-18 2021-01-08 西安拙河安见信息科技有限公司 一种十亿像素视频生成方法及装置、设备、介质
CN113079325A (zh) * 2021-03-18 2021-07-06 北京拙河科技有限公司 暗光条件下的十亿级像素成像方法、装置、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038893A (zh) * 2017-12-06 2018-05-15 深圳市未来媒体技术研究院 一种基于混合相机阵列的十亿像素视频的生成方法
CN111343367A (zh) * 2020-02-17 2020-06-26 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN112203023A (zh) * 2020-09-18 2021-01-08 西安拙河安见信息科技有限公司 一种十亿像素视频生成方法及装置、设备、介质
CN113079325A (zh) * 2021-03-18 2021-07-06 北京拙河科技有限公司 暗光条件下的十亿级像素成像方法、装置、介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multiscale-VR: Multiscale Gigapixel 3D Panoramic Videography for Virtual Reality;Jianing Zhang 等;《IEEE》;20201231;第1-12页 *
自适应成本量的抗遮挡光场深度估计算法;熊伟等;《中国图象图形学报》;20171216(第12期);全文 *
遮挡场景的光场图像深度估计方法;张旭东 等;《控制与决策》;20181231;第33卷(第12期);全文 *

Also Published As

Publication number Publication date
CN114862934A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
CN111052176B (zh) 无缝图像拼接
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
US8345961B2 (en) Image stitching method and apparatus
JP5725975B2 (ja) 撮像装置及び撮像方法
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN111343367A (zh) 一种十亿像素虚拟现实视频采集装置、系统与方法
CN112215880B (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN110868541A (zh) 视场融合方法及装置、存储介质、终端
CN115150561B (zh) 一种高动态成像系统和方法
CN111815517A (zh) 一种基于球机抓拍图片的自适应全景拼接方法
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
US20100013857A1 (en) Scene Independent Method for Image Formation in Lenslet Array Imagers
CN113436130A (zh) 一种非结构光场智能感知系统与装置
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
WO2020196520A1 (en) Method, system and computer readable media for object detection coverage estimation
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114862934B (zh) 十亿像素成像的场景深度估计方法及装置
CN116347056A (zh) 图像对焦方法、装置、计算机设备和存储介质
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant