CN113674335A - 深度成像方法、电子设备及存储介质 - Google Patents

深度成像方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113674335A
CN113674335A CN202110954201.5A CN202110954201A CN113674335A CN 113674335 A CN113674335 A CN 113674335A CN 202110954201 A CN202110954201 A CN 202110954201A CN 113674335 A CN113674335 A CN 113674335A
Authority
CN
China
Prior art keywords
training
image
depth information
random forest
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110954201.5A
Other languages
English (en)
Other versions
CN113674335B (zh
Inventor
户磊
曹天宇
王海彬
王亚运
化雪诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110954201.5A priority Critical patent/CN113674335B/zh
Publication of CN113674335A publication Critical patent/CN113674335A/zh
Application granted granted Critical
Publication of CN113674335B publication Critical patent/CN113674335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及数据处理领域,公开了一种深度成像方法、电子设备及存储介质。本申请部分实施例中,深度成像方法包括:获取散斑图像;根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息;其中,随机森林中包括基于训练样本生成的决策树,决策树的输入数据包括散斑图像的像素的窗口图像,决策树的输出数据包括像素的深度信息;根据各像素的深度信息,进行深度成像。本申请实施例提供的技术方案可以快速估计深度信息,进行深度成像,使得可以在高分辨下达到高帧率。

Description

深度成像方法、电子设备及存储介质
技术领域
本发明实施例涉及数据处理领域,特别涉及一种深度成像方法、电子设备及存储介质。
背景技术
深度恢复技术相关主流的相机有主动式结构光单目相机、被动式双目相机等。其中,基于空间编码结构光的单目相机,广泛应用于消费电子、安防中。而目前结构光相机的深度成像方法主要有基于块匹配的单目结构光深度成像方法和基于卷积神经网络的单目结构光深度成像方法。
在基于块匹配的单目结构光深度成像方法中,有计算量较小的区域生长方案,即在种子点像素处做完整视差范围内的块匹配,再在种子点邻域做生长遍历,做较小视差范围内的块匹配,也有计算量较大的全局方案,即在每个像素处做完整视差的块匹配。然而,计算量较小的区域生长方案,很难并行,计算量较大的全局方案容易实现并行,但它们都是基于块匹配的方法,在做匹配程度计算时都需要进行高强度地计算。常见的用于计算匹配程度的算法有零均值归一化(Zero-Normalized Cross-Correlation,ZNCC)算法、灰度差绝对值的和(Sum of Absolute Differences,SAD)等,其匹配准确性与块的大小有关。块越大,越准确,但块越大,计算量越大,计算量与块边长的平方成正比。
基于卷积神经网络的单目结构光深度成像方法一般设计为端到端结构,输入场景的散斑图,输出场景的视差图。卷积神经网络由多种卷积层、池化层、激活函数等组成。计算量一般比传统基于块匹配的方法更大,很难在高分辨高精度下做到实时。
由上可知,由于传统的基于块匹配的单目结构光深度成像方法需要进行视差范围数量的块与块之间的匹配计算;基于卷积神经网络的单目结构光深度成像方法如果追求高精度,需要层数很多的网络模型。因此,上述方法都很难在高分辨下达到高帧率。
发明内容
本发明实施方式的目的在于提供一种深度成像方法、电子设备及存储介质,可以快速估计深度信息,进行深度成像,使得可以在高分辨下达到高帧率。
为解决上述技术问题,第一方面,本发明实施例提供了一种深度成像方法,包括:获取散斑图像;根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息;其中,随机森林中包括基于训练样本生成的决策树,决策树的输入数据包括散斑图像的像素的窗口图像,决策树的输出数据包括像素的深度信息;根据各像素的深度信息,进行深度成像。
第二方面,本发明实施例提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上述实施方式提及的深度成像方法。
第三方面,本发明实施例提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,实现如上述实施方式提及的深度成像方法。
本发明实施例提供的深度成像方法、电子设备及存储介质中,相对于基于卷积神经网络等深度成像方法,通过随机森林模型来估计散斑图像的深度信息,以实现深度成像,其通过随机森林估计深度信息的过程更为简单,更易判断,计算量更小,可以更快地估计散斑图像的深度信息,进而在高分辨率下达到高帧率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例中深度成像方法的流程图;
图2是本发明另一个实施例中深度成像方法的流程图;
图3是本发明又一个实施例中深度成像方法的流程图;
图4是本发明再一个实施例中深度成像方法的流程图;
图5是本发明还一个实施例中深度成像方法的流程图;
图6是本发明实施例中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
在本发明公开的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例中,深度信息估计方法可以用于分析单目结构光相机拍摄的散斑图像的深度信息。单目空间编码结构光相机主要包括散斑投射器、图像传感器以及计算芯片。其主要原理是将特殊的图像样式(如随机散斑,条纹等等)投射到场景中,赋予场景中被测物体丰富的纹理信息,并通过图像传感器采集该幅场景图像,与事先标定时存储的特定位置平面的参考散斑图进行匹配,再根据视差关系,计算场景中被测物体的三维深度信息。以下以单目结构光相机为例,进行举例说明。
本发明的实施例提供了一种如图1所示的深度成像方法,应用于电子设备,该电子设备可以是单目结构光相机、终端、服务器或云端服务器等。深度成像方法包括如下步骤。
步骤101:获取散斑图像。
步骤102:根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息。其中,随机森林中包括基于训练样本生成的决策树,决策树的输入数据包括散斑图像的像素的窗口图像,决策树的输出数据包括像素的深度信息。
步骤103:根据各像素的深度信息,进行深度成像。
本发明实施例提供的深度成像方法、电子设备及存储介质中,相对于基于卷积神经网络等深度成像方法,通过随机森林模型来估计散斑图像的深度信息,以实现深度成像,其通过随机森林估计深度信息的过程更为简单,更易判断,计算量更小,可以更快地估计散斑图像的深度信息,进而在高分辨率下达到高帧率。
在一个实施例中,随机森林的训练过程包括:获取T个训练图像,以及T个训练图像的深度信息;其中,T为正整数;针对训练图像,在训练图像中提取至少一个窗口图像,并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为一组训练样本;利用各训练样本,对随机森林进行训练。其中,随机森林中的决策树的节点的决策条件包括窗口图像中的任意两个像素的亮度大小的比较结果。
值得一提的是,基于随机森林进行深度信息的估计,并将窗口图像中的任意两个像素的亮度大小的比较结果作为决策树的决策条件,使得决策条件更为简单,更易判断,计算量更小,可以更快地估计散斑图像的深度信息,进而在高分辨下达到高帧率。
在一个实施例中,训练图像是通过单目结构光相机拍摄得到的散斑图,训练图像的深度信息可以采用传统的基于块匹配的单目结构光深度成像方法和基于卷积神经网络的单目结构光深度成像方法获得,此处不再详述。
在另一个实施例中,利用计算机模拟在工作距离中尽可能多的场景的散斑图,作为训练图像,同时记录场景的散斑图深度值。
可选择的,对于存在过多无斑内容的窗口图像的深度信息作0处理。
需要说明的是,本领域技术人员可以理解,训练图像和训练图像的深度信息还可以通过其他方式获得,本实施例不一一列举。
在一个实施例中,在训练图像中提取至少一个窗口图像,并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为一组训练样本,包括:针对训练图像中的每一行,以位于行的像素为中心,使用预设尺寸的窗口,提取窗口图像;并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为行的一组训练样本。利用各训练样本,对随机森林进行训练,包括:针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练。例如,训练图像的尺寸为M*N,则构建M个随机森林,每个随机森林与训练图像的每一行一一对应。通过训练图像训练M个随机森林,训练后的第i个随机森林用于估计散斑图像的第i行像素的深度信息。
例如,训练图像为散斑图像,通过w*w大小的窗口提取窗口图像。其中,w可以为散斑直径的若干倍,例如,w=15。
该实施例中,针对训练图像的每一行分别构建随机森林,可以使得训练后的随机森林估计的深度信息更准确。
需要说明的是,本领域技术人员可以理解,还可以整个训练图像共用一个随机森林,本实施例仅为举例,不做限制。
可选择的,行对应的随机森林包括至少2棵决策树;针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练,包括:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。其中,决策树可以是二叉树。
值得一提的是,在随机森林中构建多个决策树,使得可以根据多个决策树估计的深度信息来确定散斑图像最终的深度信息,使得最终的深度信息更准确。
需要说明的是,本领域技术人员可以理解,预设百分比可以根据项目对随机森林的准确度的要求等设置,例如,可以设置为50%-100%,如80%,本实施例不做限制。
可选择的,针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练,包括:调用不同的处理线程分别执行:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
值得一提的是,对随机森林中的决策树进行并行训练,可以提高整个随机森林的训练速度。
在一个实施例中,根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息,包括:针对散斑图像的各行的每个像素,使用行对应的随机森林中的每个决策树判断的像素的深度信息;根据每个决策树得到的像素的深度信息,确定像素最终的深度信息。
在一个例子中,若每个决策树估计的深度信息之间的差值较小,如,差值小于预设阈值,电子设备根据每个决策树估计的像素的深度信息,确定像素最终的深度信息的方式包括但不限于:
方式1:电子设备分析各个决策树估计的该像素的深度信息,确定各个决策树估计的该像素的深度信息出现的次数,选择出现次数最多的深度信息,作为该像素的深度信息。若各个决策树估计的深度信息出现的次数相同,可以选取所有决策树估计的深度信息中的中位数或最大值或最小值,作为该像素最终的深度信息。
方式2:电子设备计算每个决策树得到的像素的深度信息的加权平均值,将计算的加权平均值作为像素最终的深度信息。
需要说明的是,本领域技术人员可以理解,电子设备还可以基于其他策略,根据每个决策树得到的像素的深度信息,确定像素最终的深度信息,本实施方式不一一列举。
可选择的,根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息,包括:调用不同的线程,分别获取至少一个随机森林,以及散斑图像中与获取的随机森林对应的行的像素的窗口图像,以估计散斑图像中与获取的随机森林对应的行的像素的深度信息。
值得一提的是,并行估计散斑图像中各行像素的深度信息,可以更快地获得散斑图像整体的深度信息,有利于实现高分辨下的高帧率,进而在高分辨下达到高帧率。
在一个例子中,用于提取窗口图像的窗口大小为15*15,随机森林由4棵树组成,从所有训练样本中,随机抽取80%训练1棵树,决策树的深度为L。在决策树训练过程中,在决策树中每一个节点(分支节点),在窗口内取欧氏距离大于亮斑直径的任意两点(p1和p2),以这两点的像素亮度大小比较作为森林中决策树的节点的决策条件。针对每个节点,可以随机选取20000次p1和p2训练该节点的决策。决策树的节点包括叶子节点和非叶子节点,训练时,非叶子节点至少需要存储2字节(Bytes)的数据,1棵树需要2LBytes的数据。使用时,做4L次像素亮度的大小比较即可以得到深度信息。相较于传统基于块匹配的方法和基于卷积神经网络的方法,计算量得到了极大地精简。
在一个实施例中,训练图像通过单目结构光相机拍摄得到;在利用各训练样本,对随机森林进行训练之前,深度成像方法还包括:获取单目结构光相机的相机焦距和相机基线;获取单目结构光相机拍摄训练图像的工作距离,以及目标精度;根据训练图像对应的相机焦距、相机基线、工作距离,以及目标精度,确定决策树的深度的范围。
例如,拍摄训练图像时,工作距离为[dmin,dmax],目标精度为视差精度,设置为q,按照公式a计算决策树的深度的范围。
公式a:L≥log2{fx·b·[(1/dmin)-(1/dmax)]/q};
公式a中,L表示决策树的深度,fx表示相机焦距,b表示相机基线,dmin表示工作距离最小值,dmax表示工作距离最大值,q表示目标精度。
值得一提的是,基于单目结构光相机的参数确定决策树的深度的范围,可以加快决策树的训练速度,基于目标精度确定决策树的深度的范围,可以在训练过程中更为关注决策树的平衡问题,使得训练得到的决策树更平衡。
在一个实施例中,训练图像通过单目结构光相机拍摄得到,窗口图像中的任意两个像素的欧氏距离大于训练图像中亮斑的直径。
以图2所示的训练图像为例,散斑在训练图像上呈现出直径为2~4像素的亮斑,且亮斑与暗部区域有较大的差异。以斑直径若干倍作为窗口大小w,图2中窗口大小w取15。在决策树中每一个节点,在窗口内取欧氏距离大于亮斑直径的任意两点(p1和p2),以这两点的像素亮度大小比较作为森林中决策树节点的决策条件。
在一个实施例中,在利用各训练样本,对随机森林进行训练之前,深度成像方法还包括:确定用于判断决策树分裂的叶子节点是否保留的样本数量阈值和信息熵阈值。其中,样本数量阈值和信息熵阈值可以根据经验设置,例如,样本数量阈值可以设置为10-20中的任意数值,如15,信息熵阈值可以设置为0.8-1.2中的任意数值,如1.0。
上述实施例中,深度成像方法基于随机森林模型和散斑图像,根据散斑特点使用极简的节点决策方法,配合足量样本训练,可以快速得到散斑图每个像素对应的高精度深度值,单点计算量很小且适合像素单位的并行。上述实施例可用于实现中远距离大分辨率的实时深度成像系统;或者用于在普通分辨率下,有着高帧率需求的跟踪、检测应用中。
以上各实施例可以相互结合相互引用,例如下面是各实施例结合后的例子,然并不以此为限;各实施例在不矛盾的前提下可以任意结合成为一个新的实施例。
在一个实施例中,如图3所示为深度成像方法,包括如下步骤。
步骤301:获取T个训练图像,以及T个训练图像的深度信息。其中,T为正整数。
步骤302:针对训练图像中的每一行,以位于行的像素为中心,使用预设尺寸的窗口,提取窗口图像;并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为行的一组训练样本。
步骤303:获取单目结构光相机的相机焦距和相机基线。
步骤304:获取单目结构光相机拍摄训练图像的工作距离,以及目标精度。
步骤305:根据训练图像对应的相机焦距、相机基线、工作距离,以及目标精度,确定决策树的深度的范围。
步骤306:针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练。其中,随机森林中的决策树的节点的决策条件包括窗口图像中的任意两个像素的亮度大小的比较结果。
步骤307:获取散斑图像;根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息;根据各像素的深度信息,进行深度成像。
需要说明的是,为阐述清楚,本实施例中,将步骤303至步骤305作为步骤306的前一步骤,步骤302的后续步骤,实际应用中,步骤303至步骤305可以作为步骤306前的任一步骤,本实施例不做限制。
可选择的,行对应的随机森林包括至少2棵决策树;针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练,包括:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
可选择的,针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练,包括:调用不同的处理线程分别执行:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
可选择的,根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息,包括:针对散斑图像的各行的每个像素,使用行对应的随机森林中的每个决策树判断的像素的深度信息;根据每个决策树得到的像素的深度信息,确定像素最终的深度信息。
可选择的,训练图像通过单目结构光相机拍摄得到,窗口图像中的任意两个像素的欧氏距离大于训练图像中亮斑的直径。
在一个实施例中,如图4所示为深度成像方法,包括如下步骤。
步骤401:获取T个训练图像,以及T个训练图像的深度信息。其中,T为正整数。
步骤402:针对训练图像,在训练图像中提取至少一个窗口图像,并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为一组训练样本。
步骤403:确定用于判断决策树分裂的叶子节点是否保留的样本数量阈值和信息熵阈值。
步骤404:利用各训练样本,对随机森林进行训练。其中,随机森林中的决策树的节点的决策条件包括窗口图像中的任意两个像素的亮度大小的比较结果。
步骤405:获取散斑图像;根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息;根据各像素的深度信息,进行深度成像。
可选择的,在训练图像中提取至少一个窗口图像,并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为一组训练样本,包括:针对训练图像中的每一行,以位于行的像素为中心,使用预设尺寸的窗口,提取窗口图像;并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为行的一组训练样本;利用各训练样本,对随机森林进行训练,包括:针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练。
可选择的,行对应的随机森林包括至少2棵决策树;针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练,包括:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
可选择的,针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练,包括:调用不同的处理线程分别执行:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
可选择的,根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息,包括:针对散斑图像的各行的每个像素,使用行对应的随机森林中的每个决策树判断的像素的深度信息;根据每个决策树得到的像素的深度信息,确定像素最终的深度信息。
可选择的,训练图像通过单目结构光相机拍摄得到,窗口图像中的任意两个像素的欧氏距离大于训练图像中亮斑的直径。
在一个实施例中,如图5所示为深度成像方法,包括如下步骤。
步骤501:获取T个训练图像,以及T个训练图像的深度信息。其中,T为正整数。
步骤502:针对训练图像中的每一行,以位于行的像素为中心,使用预设尺寸的窗口,提取窗口图像;并根据训练图像的深度信息,确定窗口图像的深度信息;将窗口图像和窗口图像的深度信息作为行的一组训练样本。
步骤503:获取单目结构光相机的相机焦距和相机基线。
步骤504:获取单目结构光相机拍摄训练图像的工作距离,以及目标精度。
步骤505:根据训练图像对应的相机焦距、相机基线、工作距离,以及目标精度,确定决策树的深度的范围。
步骤506:确定用于判断决策树分裂的叶子节点是否保留的样本数量阈值和信息熵阈值。
步骤507:针对训练图像的每一行对应的随机森林,利用行的所有训练样本,对行对应的随机森林进行训练。其中,随机森林中的决策树的节点的决策条件包括窗口图像中的任意两个像素的亮度大小的比较结果。
步骤508:获取散斑图像;根据散斑图像和预训练的随机森林,得到散斑图像中各像素的深度信息;根据各像素的深度信息,进行深度成像。
需要说明的是,为阐述清楚,本实施例中,将步骤503至步骤505作为步骤506的前一步骤,步骤502的后续步骤,实际应用中,步骤503至步骤305可以作为步骤507前的任一步骤,本实施例不做限制。
可选择的,行对应的随机森林包括至少2棵决策树;针对训练图像的每一行对应的随机森林,将行的所有训练样本,输入行对应的随机森林,对行对应的随机森林进行训练,包括:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
可选择的,针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练,包括:调用不同的处理线程分别执行:针对训练图像的每一行对应的随机森林的每个决策树,从行的所有训练样本中,随机抽取预设百分比的训练样本,对决策树进行训练。
可选择的,将散斑图像输入训练后的随机森林,得到散斑图像中像素的深度信息,包括:将散斑图像输入每个决策树;针对散斑图像的每个像素,获取每个决策树判断的像素的深度信息;根据每个决策树得到的像素的深度信息,确定像素最终的深度信息。
可选择的,训练图像通过单目结构光相机拍摄得到,窗口图像中的任意两个像素的欧氏距离大于训练图像中亮斑的直径。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请实施例还提供一种电子设备,如图6所示,包括:至少一个处理器601;以及与所述至少一个处理器601通信连接的存储器602;其中,所述存储器存储有可被所述至少一个处理器601执行的指令,所述指令被所述至少一个处理器601执行,以使所述至少一个处理器601能够执行上述方法实施例。
其中,存储器602和处理器601采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器601。
处理器601负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
本申请实施例还提供一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (10)

1.一种深度成像方法,其特征在于,包括:
获取散斑图像;
根据所述散斑图像和预训练的随机森林,得到所述散斑图像中各像素的深度信息;其中,所述随机森林中包括基于训练样本生成的决策树,所述决策树的输入数据包括所述散斑图像的像素的窗口图像,所述决策树的输出数据包括所述像素的深度信息;
根据所述各像素的深度信息,进行深度成像。
2.根据权利要求1所述的深度成像方法,其特征在于,所述随机森林的训练过程包括:
获取T个训练图像,以及T个所述训练图像的深度信息;T为正整数;
针对所述训练图像,在所述训练图像中提取至少一个窗口图像,并根据所述训练图像的深度信息,确定所述窗口图像的深度信息;将所述窗口图像和所述窗口图像的深度信息作为一组训练样本;
利用各所述训练样本,对所述随机森林进行训练;其中,所述随机森林中的决策树的节点的决策条件包括所述窗口图像中的任意两个像素的亮度大小的比较结果。
3.根据权利要求2所述的深度成像方法,其特征在于,所述在所述训练图像中提取至少一个窗口图像,并根据所述训练图像的深度信息,确定所述窗口图像的深度信息;将所述窗口图像和所述窗口图像的深度信息作为一组训练样本,包括:
针对所述训练图像中的每一行,以位于所述行的像素为中心,使用预设尺寸的窗口,提取所述窗口图像;并根据所述训练图像的深度信息,确定所述窗口图像的深度信息;将所述窗口图像和所述窗口图像的深度信息作为所述行的一组训练样本;
所述利用各所述训练样本,对所述随机森林进行训练,包括:
针对所述训练图像的每一行对应的随机森林,利用所述行的所有训练样本,对所述行对应的随机森林进行训练。
4.根据权利要求3所述的深度成像方法,其特征在于,所述行对应的随机森林包括至少2棵决策树;
所述针对所述训练图像的每一行对应的随机森林,利用所述行的所有训练样本,对所述行对应的随机森林进行训练,包括:
针对所述训练图像的每一行对应的随机森林的每个所述决策树,从所述行的所有训练样本中,随机抽取预设百分比的训练样本,对所述决策树进行训练。
5.根据权利要求4所述的深度成像方法,其特征在于,所述针对所述训练图像的每一行对应的随机森林的每个所述决策树,从所述行的所有训练样本中,随机抽取预设百分比的训练样本,对所述决策树进行训练,包括:
调用不同的处理线程分别执行:针对所述训练图像的每一行对应的随机森林的每个所述决策树,从所述行的所有训练样本中,随机抽取预设百分比的训练样本,对所述决策树进行训练。
6.根据权利要求4所述的深度成像方法,其特征在于,所述根据所述散斑图像和预训练的随机森林,得到所述散斑图像中各像素的深度信息,包括:
针对所述散斑图像的各行的每个像素,使用所述行对应的随机森林中的每个所述决策树判断的所述像素的深度信息;根据每个所述决策树得到的所述像素的深度信息,确定所述像素最终的深度信息。
7.根据权利要求2至6中任一项所述的深度成像方法,其特征在于,所述训练图像通过单目结构光相机拍摄得到;
在所述利用各所述训练样本,对所述随机森林进行训练之前,所述深度成像方法还包括:
获取所述单目结构光相机的相机焦距和相机基线;
获取所述单目结构光相机拍摄所述训练图像的工作距离,以及目标精度;
根据所述训练图像对应的相机焦距、相机基线、工作距离,以及目标精度,确定所述决策树的深度的范围。
8.根据权利要求2至6中任一项所述的深度成像方法,其特征在于,所述训练图像通过单目结构光相机拍摄得到,所述窗口图像中的任意两个像素的欧氏距离大于所述训练图像中亮斑的直径。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的深度成像方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至8中任一项所述的深度成像方法。
CN202110954201.5A 2021-08-19 2021-08-19 深度成像方法、电子设备及存储介质 Active CN113674335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110954201.5A CN113674335B (zh) 2021-08-19 2021-08-19 深度成像方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110954201.5A CN113674335B (zh) 2021-08-19 2021-08-19 深度成像方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113674335A true CN113674335A (zh) 2021-11-19
CN113674335B CN113674335B (zh) 2022-05-31

Family

ID=78543938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110954201.5A Active CN113674335B (zh) 2021-08-19 2021-08-19 深度成像方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113674335B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283089A (zh) * 2021-12-24 2022-04-05 北京的卢深视科技有限公司 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN114299129A (zh) * 2021-12-31 2022-04-08 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN115294375A (zh) * 2022-10-10 2022-11-04 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、系统、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030069652A1 (en) * 2001-10-05 2003-04-10 Lee Shih-Jong J. Regulation of hierarchic decisions in intelligent systems
US20140122381A1 (en) * 2012-10-25 2014-05-01 Microsoft Corporation Decision tree training in machine learning
WO2014209746A1 (en) * 2013-06-27 2014-12-31 Intel Corporation Depth camera system with machine learning for recognition of patches within a structured light pattern
JP2016157188A (ja) * 2015-02-23 2016-09-01 株式会社デンソーアイティーラボラトリ 姿勢推定モデル生成装置及び姿勢推定装置
CN106981043A (zh) * 2016-11-23 2017-07-25 四川大学 一种基于随机森林的高精度三维信息快速获取方法
WO2017206144A1 (en) * 2016-06-02 2017-12-07 Intel Corporation Estimation of human orientation in images using depth information
CN109741255A (zh) * 2018-12-12 2019-05-10 深圳先进技术研究院 基于决策树的pet图像超分辨重建方法、装置、设备及介质
US20190188874A1 (en) * 2017-12-18 2019-06-20 Ningbo YX Information Technology Co., Ltd. Self-correction Method and Device for Structured Light Depth Camera of Smart Phone
CN111596767A (zh) * 2020-05-27 2020-08-28 广州市大湾区虚拟现实研究院 一种基于虚拟现实的姿态捕获方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030069652A1 (en) * 2001-10-05 2003-04-10 Lee Shih-Jong J. Regulation of hierarchic decisions in intelligent systems
US20140122381A1 (en) * 2012-10-25 2014-05-01 Microsoft Corporation Decision tree training in machine learning
WO2014209746A1 (en) * 2013-06-27 2014-12-31 Intel Corporation Depth camera system with machine learning for recognition of patches within a structured light pattern
JP2016157188A (ja) * 2015-02-23 2016-09-01 株式会社デンソーアイティーラボラトリ 姿勢推定モデル生成装置及び姿勢推定装置
WO2017206144A1 (en) * 2016-06-02 2017-12-07 Intel Corporation Estimation of human orientation in images using depth information
CN106981043A (zh) * 2016-11-23 2017-07-25 四川大学 一种基于随机森林的高精度三维信息快速获取方法
US20190188874A1 (en) * 2017-12-18 2019-06-20 Ningbo YX Information Technology Co., Ltd. Self-correction Method and Device for Structured Light Depth Camera of Smart Phone
CN109741255A (zh) * 2018-12-12 2019-05-10 深圳先进技术研究院 基于决策树的pet图像超分辨重建方法、装置、设备及介质
CN111596767A (zh) * 2020-05-27 2020-08-28 广州市大湾区虚拟现实研究院 一种基于虚拟现实的姿态捕获方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SEAN RYAN FANELLO ET AL: "HyperDepth: Learning Depth from Structured Light Without Matching", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
TOBIASKOCH ET AL: "Comparison of monocular depth estimation methods using geometrically relevant metrics on the IBims-1 dataset", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 *
古家威等: "基于激光散斑的半稠密深度图获取算法", 《中国激光》 *
张绍阳等: "利用激光散斑获取深度图", 《中国光学》 *
赵浩然: "基于自学习的深度数据恢复", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283089A (zh) * 2021-12-24 2022-04-05 北京的卢深视科技有限公司 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN114299129A (zh) * 2021-12-31 2022-04-08 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN114299129B (zh) * 2021-12-31 2023-01-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN115294375A (zh) * 2022-10-10 2022-11-04 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、系统、电子设备及存储介质
CN115294375B (zh) * 2022-10-10 2022-12-13 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113674335B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN113674335B (zh) 深度成像方法、电子设备及存储介质
CN111222395B (zh) 目标检测方法、装置与电子设备
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
KR101601263B1 (ko) 비동기 센서들에 요구하는 씬의 3d 재구성 방법
CN103516983A (zh) 图像处理装置、摄像装置以及图像处理方法
CN112580434B (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112367474A (zh) 一种自适应光场成像方法、装置及设备
CN108257165A (zh) 图像立体匹配方法、双目视觉设备
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN114283089B (zh) 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN109544584B (zh) 一种实现巡检稳像精度测量的方法及系统
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN115834859B (zh) 一种四目立体视觉摄像机5g软件标定方法及系统
CN114331919B (zh) 深度恢复方法、电子设备及存储介质
CN114283081B (zh) 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN113936316B (zh) Doe脱落检测方法、电子设备和计算机可读存储介质
CN112950709B (zh) 一种位姿预测方法、位姿预测装置及机器人
CN116704111A (zh) 图像处理方法和设备
CN110473246B (zh) 一种基于双目视觉的多重遮挡目标的测距方法
CN109389629B (zh) 立体匹配自适应视差等级的确定方法
CN115049822B (zh) 三维成像方法及装置
AU2017300877B2 (en) Method and device for aiding the navigation of a vehicle
CN111369612A (zh) 一种三维点云图像生成方法及设备
CN114783041B (zh) 目标对象识别方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220421

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant