CN114937071B - 一种深度测量方法、装置、设备及存储介质 - Google Patents

一种深度测量方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114937071B
CN114937071B CN202210881552.2A CN202210881552A CN114937071B CN 114937071 B CN114937071 B CN 114937071B CN 202210881552 A CN202210881552 A CN 202210881552A CN 114937071 B CN114937071 B CN 114937071B
Authority
CN
China
Prior art keywords
depth
image
region
target
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210881552.2A
Other languages
English (en)
Other versions
CN114937071A (zh
Inventor
王抒昂
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Silicon Integrated Co Ltd
Original Assignee
Wuhan Silicon Integrated Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Silicon Integrated Co Ltd filed Critical Wuhan Silicon Integrated Co Ltd
Priority to CN202210881552.2A priority Critical patent/CN114937071B/zh
Publication of CN114937071A publication Critical patent/CN114937071A/zh
Application granted granted Critical
Publication of CN114937071B publication Critical patent/CN114937071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请公开了一种深度测量方法、装置、设备及存储介质，包括：接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度。

Description

一种深度测量方法、装置、设备及存储介质
技术领域
本申请涉及信息处理技术领域，涉及但不限于一种深度测量方法、装置、设备及存储介质。
背景技术
飞行时间（Time of flight，ToF）是一种利用主动光源发射具有一定频率的调制信号光，信号光经过场景反射回来再被接端接收，通过计算发射信号和接收信号的相位差得到信号光的飞行时间，从而计算出场景的深度。
为了兼顾更大的测量范围，需要用至少两个频率或者更多频率来实现无歧义测量，但是依然存在测量结果与真实距离存在较大误差的情况。
发明内容
本申请实施例提供一种深度测量方法、装置、设备及存储介质，能够减小测量结果与真实距离之间的误差。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种深度测量方法，所述方法包括：
接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；
基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；
将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度。
本申请实施例提供了一种深度测量装置，所述装置包括：
接收模块，用于接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；
获取模块，用于基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；
确定模块，用于将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度。
本申请实施例提供了一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述深度测量方法中的步骤。
本申请实施例提供了一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述深度测量方法。
本申请实施例提供一种深度测量方法、装置、设备及存储介质，接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度，从而在深度模型中设置有电子设备的图像中各像素对应的深度门限值，并在测量某一像素即目标像素的深度时，将深度模型中该像素对应的深度门限值作为约束条件进行距离的测量，从而减小测量结果与真实距离之间的误差，提高距离的测量准确度。
附图说明
图1为本申请实施例提供的电子设备的一种可选的结构示意图一；
图2为本申请实施例提供的深度测量方法的一种可选的流程示意图一；
图3为本申请实施例提供的第二图像的区域划分示意图；
图4为本申请实施例提供的第二图像的分割线示意图；
图5为本申请实施例提供的第二图像的点的映射示意图；
图6为本申请实施例提供的图像坐标系与空间坐标系的关系示意图；
图7为本申请实施例提供的双频测距的一种可选的测距示意图；
图8为本申请实施例提供的深度模型建立方法的一种可选的流程示意图一；
图9为本申请实施例提供的深度模型的一种可选的示意图；
图10为本申请实施例提供的测距结果的一种可选的示意图一；
图11为本申请实施例提供的测距结果的一种可选的结构示意图二；
图12为本申请实施例提供的深度模型建立方法的一种可选的流程示意图二；
图13为本申请实施例提供的深度模型建立方法的一种可选的流程示意图三；
图14为本申请实施例提供的深度测量装置的一种可选的结构示意图；
图15为本申请实施例提供的电子设备的一种可选的结构示意图二。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请实施例，但不用来限制本申请实施例的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本文中在本申请实施例的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请实施例。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅是为例区别不同的对象，不代表针对对象的特定排序，不具有先后顺序的限定。可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
本申请实施例提供的深度测量方法中，接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度。
本申请实施例提供的深度测量方法可应用于如图1所示的电子设备100，如图1所示，电子设备100包括：空间距离采集组件101，空间距离采集组件101能够发射信号，并接收针对发射信号的反射信号，使得电子设备100基于发射信号和反射信号之间的时间差来进行测量距离的计算。本申请实施例中，空间距离采集组件101还用于采集目标空间的图像，并确定图像中各像素的测量距离。可选地，空间距离采集组件101可为TOF相机。
本申请实施例提供的深度测量方法可应用与包括但不限于集装箱、房间、仓库等需要进行测距的场景。
下面通过附图及具体实施例对本申请实施例作进一步的详细说明。
图2为本申请实施例提供的一种深度测量方法的实现流程示意图，应用于电子设备，如图2所示，该方法可以包括如下步骤：
S201、电子设备接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象。
目标空间为电子设备的空间距离采集组件的采集范围内的空间，这里的目标对象可为目标空间中任一对象，比如：桌子、箱子等物体，还可为人物、动物等具有生命的对象。本申请实施例中，目标对象是相对深度模型所针对的目标空间所容纳的对象确定的。这里，第一图像的采集范围与深度模型所对应的空间范围相同，但在采集第一图像时，该空间范围中可容纳更多的对象，该更多的对象可以理解为目标对象。
本申请实施例中，电子设备在接收第一图像的同时，还可接收第一图像中各像素的深度测量值。
这里，在空间距离采集组件为TOF相机的情况下，第一图像为深度图像，电子设备得到第一图像中各像素的深度即距离测量值。本申请实施例中，TOF相机通过发射调制信号以及接收经过场景反射回来的调制信号这二者的相位差来得到深度测量值，由于深度测量值与实际场景深度之间存在噪声以及深度混叠的情况，因此，电子设备得到的深度测量值并非各像素的真实深度。
S202、电子设备基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值。
电子设备在接收到第一图像后，基于第一图像确定目标像素，其中，目标像素为待确定深度的像素。在一示例中，第一图像中的所有的像素都为目标像素。在一示例中，第一图像中第一区域中的像素为目标像素，其中，第一区域可为基于用户的输入操作框选的，也可为通过图像检测算法检测到的某一对象所在的区域。本申请实施例对目标像素的选取不进行任何的限定。
对于一目标像素，电子设备基于深度模型获取该目标像素对应的目标深度门限值。深度模型可包括第一图像中各像素点对应的深度门限值。可理解的，深度模型包括有所有像素的位置信息与深度门限值之间的关联关系，电子设备确定目标像素在第一图像中的位置信息即目标像素在图像坐标系中的坐标，并将深度模型中该位置信息对应的深度门限值确定为目标门限值。其中，像素的位置信息可为像素在图像坐标系中的坐标，图像坐标系为电子设备采集的图像的坐标系，对于电子设备采集的不同的图像，其图像坐标系为同一坐标系，图像坐标系的粒度可为像素即不同的坐标点对应不同的像素。
在一示例中，深度模型包括以下关联关系：（1，1）对应深度门限值1，（1，2）对应深度门限值1，……，（x，y）对应深度门限值n，……，（M，N）对应深度门限值m。其中，x的取值小于M，y的取值小于N，M和N分别为第一图像中像素的位置信息在图像坐标系中的X轴的最大值和Y轴的最大值。
本申请实施例中，深度模型中的深度门限值为目标空间未容纳有目标对象情况下各像素点对应的深度，可理解为，深度门限值为目标空间容纳目标对象的情况下的第一图像中各像素可能的最大的深度，则目标深度门限值为对应的目标像素的可能的最大的深度。
S203、电子设备将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度。
电子设备确定目标像素对应的目标深度门限值后，将目标深度值作为约束条件来确定目标像素的深度，此时，目标像素的深度小于或等于该目标像素对应的目标深度门限值。
本申请实施例中，接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度，从而在深度模型中设置有电子设备的图像中各像素对应的深度门限值，并在测量某一像素即目标像素的深度时，将深度模型中该像素对应的深度门限值作为约束条件进行距离的测量，从而减小测量结果与真实距离之间的误差，提高测量准确度。
在一些实施例中，电子设备还实施以下步骤：采集第二图像，所述第二图像为所述目标空间未容纳所述目标对象情况下采集的图像；基于所述第二图像所包括的边缘，将所述第二图像划分为至少一个区域；针对所述至少一个区域中各区域，确定所述区域中各像素对应的深度，并基于各像素对应的深度得到所述区域对应的子深度模型，所述至少一个区域中各区域对应的子深度模型构成所述深度模型。
本申请实施例中，电子设备通过采集第二图像来建立深度模型，其中，第二图像的采集范围与第一图像的采集范围相同，都是目标空间，且电子设备在采集第一图像时的位置与采集第二图像时的位置相同，从而保证深度模型的有效性。
电子设备在采集第二图像后，基于第二图像所包括的边缘将第二图像划分为至少一个区域，不同的区域在目标空间中对应不同的曲面，曲面可理解为具有曲率的面，其中，曲率为0的情况下，该曲面可理解为平面。边缘可理解为图像中不同对象的分割线。在第二图像中不包括边缘的情况下，第二图像为一个区域。在第二图像包括边缘的情况下，第二图像可包括多个区域。
在一示例中，如图3所示，在集装箱场景下的第二图像可划分为区域301、区域302、区域303、区域304和区域305。
本申请实施例中，电子设备可基于接收到的用户的操作来进行区域的划分，也可通过图像分割算法来检测第二图像所包括的分割线，基于检测到的分割线进行区域的划分，还可通过图像分割算法对第二图像的灰度图像进行检测，得到多个区域。
可选地，电子设备基于接收到的用户的操作来进行区域的划分的情况下，电子设备将第二图像输出至显示屏幕上，使得用户进行区域分割点的选择，并基于分割点确定分割线，基于确定的分割线进行区域的划分。
在一示例中，如图4所示，电子设备输出第二图像，并接收到用户输入的分割点401至分割点408、电子设备基于分割点401至分割点408确定分割线411至分割线418，并基于分割线411至分割线418得到图3所示的区域划分。
电子设备对第二图像进行区域划分后，针对每一个区域，确定该区域所包括的各像素的深度，并基于各像素的深度确定各像素对应的深度门限值，从而基于该区域中各像素的门限值构成该区域对应的子深度模型。多个区域中各区域对应的子深度模型构成深度模型。其中，对于一个像素，基于第二图像中一个像素的深度确定该像素对应的深度门限值，以作为第一图像中对应像素的深度门限值，其中，基于第二图像中一个像素的深度确定该像素对应的深度门限值的方式可包括以下之一：方式1、将像素的深度值作为深度门限值；方式2、基于深度值和噪声水平确定深度门限值，噪声水平用于表征深度的测量设备的深度误差；方式3、基于深度值和设定的深度误差确定深度门限值。本申请实施例中，深度门限值可大于或等于深度值，比如：深度为3800mm，则深度门限值为4000mm，从而减小测量噪声对深度门限值的影响。这里，第一图像和第二图像为电子设备通过空间距离采集组件采集的不同情况下的图像，第一图像和第二图像的图像坐标系相同，因此，第一图像中的像素在第二图像中存在对应的像素。
本申请实施例中，基于边缘将第二图像划分为多个区域，从而以区域为粒度进行深度模型的建立，保证深度模型所包括的深度门限值的准确性。
在一些实施例中，所述确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型，包括：基于所述区域选择至少三个参考点，所述至少三个参考点分散分布；基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，所述空间曲面表达式用于表征所述区域对应的子空间中参考面中各点的空间坐标，所述参考面为基于所述至少三个参考点确定为位于所述子空间的面；基于所述空间曲面表达式，确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型。
本申请实施例中，对于第二图像中的一个区域，电子设备基于分散分布的至少三个参考点的测量信息建立参考面的空间曲面表达式即空间曲面方程，该空间曲面表达式用于表征该参考面中各点的空间坐标，其中，空间坐标所在的坐标系为空间坐标系。可理解的，电子设备基于图像坐标系中的至少三个参考点的测量信息确定空间坐标系中的参考面中各点的坐标。参考点可为该区域对应的子空间中的空间点，也可为第二图像中该区域中的参考像素。
在参考点为该区域对应的子空间中的空间点的情况下，参考点的测量信息为参考点的空间坐标，参考面为至少三个参考点所构成的曲面，其中，至少三个参考点中的全部或部分位于参考面上。
在参考点可为第二图像中该区域中的参考像素的情况下，参考点的测量信息包括：参考点在第二图像中的位置信息和深度。参考面为至少三个参考点映射至该区域对应的子空间后的参考映射点所构成的曲面。在至少三个参考点包括三个参考点的情况下，三个参考点对应的三个参考映射点构成的参考面为一个平面，且三个参考映射点位于该参考面上。至少三个参考点包括三个以上参考点的情况下，至少三个参考点对应的至少三个参考映射点构成的参考面为一个曲面，且至少三个参考映射点中的全部或部分参考映射点位于该参考面上。
本申请实施例中，空间曲面表达式可表示为公式（1）：
Figure 480505DEST_PATH_IMAGE001
公式（1）；
其中，参考面中各点的空间坐标可表示为（X，Y，Z），p0、p1、p2分别为X、Y和Z对应的多项式系数。
如图5所示，对于第二图像中的某一点501（x1，y1），其映射至映射点502（X1，Y1，Z1），点501的坐标系为图像坐标系500，映射点502（X1，Y1，Z1）的坐标系为空间坐标系503，X1、Y1、Z1分别为映射点502在空间坐标系503的X轴、Y轴和Z轴上的位置，点501的深度dist1可以表示为公式（2）：
Figure 98568DEST_PATH_IMAGE002
公式（2）；
其中，
Figure 447641DEST_PATH_IMAGE003
表示开根号运算。
在一些实施例中，所述参考点为所述区域对应的子空间中的空间坐标点的情况下，所述基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，包括：基于所述至少三个参考点的空间坐标，建立所述区域对应的空间曲面表达式。
当参考点为所述区域对应的子空间中的空间坐标点，参考点的测量信息为参考点的空间坐标，其中，空间坐标的坐标系为空间坐标系；可直接基于参考点的空间坐标进行空间曲面表达式的构建。
本申请实施例中，对于一个区域，电子设备可对该区域的至少三个参考点的空间坐标进行拟合，得到该区域对应的空间曲面表达式。
这里，电子设备可直接获取多个空间点的空间坐标，将这些坐标点作为参考点。参考点的空间坐标可借助电子设备以外的其他设备比如：三维空间建模设备来得到。本申请实施例中，对各参考点的空间坐标的测量方式不进行任何限定。
在一些实施例中，所述参考点为述第二图像中的参考像素的情况下，所述基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，包括：
对于所述至少三个参考点中各参考点，基于空间距离采集组件的内参和所述参考点在所述第二图像中的位置信息和深度，确定所述参考点映射至所述区域对应的子空间中的参考映射点的空间坐标；基于所述至少三个参考点中各参考点映射至所述区域对应的子空间中的参考映射点的空间坐标，建立所述区域对应的参考面的空间曲面表达式。
在参考点为述第二图像中的参考像素的情况下，参考点的测量信息为参考点在第二图像中的坐标即位置信息以及参考点的深度，参考点的测量信息的坐标系为图像坐标系；此时，可以将测量信息从图像坐标系转换到空间坐标系，基于转换后的测量信息进行空间曲面表达式的构建。
将测量信息从图像坐标系转换到空间坐标系时，可通过空间距离采集组件的内参将参考点在第二图像中的坐标即位置信息以及参考点的深度转化为参考点映射至子空间中的参考映射点的空间坐标。其中，空间距离采集组件的内参可包括：光心、焦距，这里，可利用小孔成像原理将参考点在第二图像中的坐标即位置信息以及参考点的深度转换为参考映射点的空间坐标。
如图6所示，参考点601的坐标为（x，y），其深度为dist，则存在有公式（3）至公式（5）所示的关系，从而基于公式（3）至公式（5），确定参考点601对应的参考映射点602的空间坐标（X，Y，Z）：
Figure 416734DEST_PATH_IMAGE004
公式（3）；
Figure 493143DEST_PATH_IMAGE005
公式（4）；
Figure 168975DEST_PATH_IMAGE006
公式（5）；
其中，
Figure 813583DEST_PATH_IMAGE007
表示光心603，f0为焦距。
电子设备确定至少三个参考映射点中各参考映射点的空间坐标后，可基于参考映射点的空间坐标进行空间曲面表达式的构建。其中，对于一个区域，电子设备可对该区域的至少三个参考映射点的空间坐标进行拟合，得到该区域对应的参考面的空间曲面表达式。
在一些实施例中，所述基于所述空间曲面表达式，确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型，包括：
针对所述区域中各像素，执行以下处理，以得到所述区域对应的子深度模型：基于空间距离采集组件的内参、所述像素在所述第二图像中的位置信息和所述空间曲面表达式，确定所述像素映射至所述参考面上的映射点的空间坐标；基于所述映射点的空间坐标，确定所述像素对应的深度。
电子设备在确定各区域对应的参考面的空间曲面表达式后，可基于第二图像中各像素的位置来确定各像素点和各参考面的空间曲面表达式得到第二图像中各像素对应的深度。这里，第二图像中各像素的坐标系为图像坐标系，空间曲面表达式的坐标系为空间坐标系，因此，将第二图像中各像素从图像坐标系转换为空间坐标系上，即确定各像素映射至对应的区域的参考面上的映射点的空间坐标。
电子设备借助空间距离采集组件的内参和空间曲面表达式对第二图像中的各像素进行空间坐标系的转换，得到各像素对应的映射点的空间坐标。其中，空间距离采集组件的内参可包括：光心、焦距，这里，可利用小孔成像原理将第二图像中的像素的坐标转换为映射点的空间坐标。
在实际应用中，对于不同的区域，其对应的空间曲面表达式不同，则对于不同区域的像素，在进行坐标系的转换时，所采用的空间曲面表达式不同。
本申请实施例中，在深度模型建立阶段，将各像素从图像坐标系转换为空间坐标系，得到第二图像中各像素的深度，并基于第二图像中各像素的深度得到第一图像中各像素的深度门限值，使得深度模型的内容为像素的坐标和深度门限值之间的关联关系，通过深度模型可直接得到某一像素的深度门限值，从而简化目标像素的目标深度门限值的获取过程，提高测距效率。
在一些实施例中，S203所述将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度，包括：将所述目标深度门限值作为约束条件，通过至少两个频率确定所述目标像素的深度。
本申请实施例中，通过多频融合测距的方案来确定目标像素的深度，将目标深度门限值作为约束条件，即将目标深度门限值作为目标像素可能的最大深度来确定目标像素的深度。
在一些实施例中，所述至少两个频率包括：第一频率和第二频率，将所述目标深度门限值作为约束条件，通过至少两个频率确定所述目标像素的深度，包括：通过所述第一频率测量得到所述目标像素对应的第一测量距离；通过所述第二频率测量得到所述目标像素对应的第二测量距离；基于所述第一测量距离和第一频率对应的最大量程确定第一距离序列；基于所述第二测量距离和第二频率对应的最大量程确定第二距离序列；基于所述第一距离序列和所述目标深度门限值确定第三距离序列；基于所述第二距离序列和所述目标深度门限值确定第四距离序列；将所述第三距离序列中，和所述第四距离序列距离差距最小的距离，确定为所述目标像素的深度。
第一测量信息为基于第一频率的第一测量信号得到的测量距离d1，第二测量信息为基于第二频率的第二测量信号得到的测量距离d2，第一距离和第二距离并非测得的最终距离。
实际场景深度
Figure 221754DEST_PATH_IMAGE008
与测量距离d的关系可表示为公式（6）：
Figure 977221DEST_PATH_IMAGE009
公式（6）；
其中，D=c/2f为测量信号的最大量程，c为光速，f为测量信号的频率，n为非负整数，表示测量周期的模糊次数。
对于f1，实际场景深度d1`可表示为
Figure 445242DEST_PATH_IMAGE010
，对于f2，实际场景深度d2`可表示为
Figure 995172DEST_PATH_IMAGE011
，n1表示频率为f1的光信号所对应的混叠周期数，n2表示频率为f2的光信号所对应的混叠周期数，D1为频率为f1的光信号的最大量程，D2为频率为f2的光信号的最大量程。
对于f1和f2，基于n1和n2的取值不同，分别得到对应的距离序列：第一距离序列和第二距离序列，将第一距离序列中的各个第一距离和目标深度门限值进行比较，由小于目标深度门限值的第一距离构成第三距离序列，并将第二距离序列中的各个第二距离和目标深度门限值进行比较，由小于目标深度门限值的第二距离构成第四距离序列。电子设备查找第三距离序列和第四距离序列中差异最小的两个距离，且将查找的两个距离中属于第三距离序列的距离作为目标像素的深度。
在一示例中，f1=100MHz，f2=60MHz，假设d1=1200mm，d2=500mm，目标深度门限值为3200mm，则如表1所示，第三距离序列包括：1200mm、2700mm，n1的取值范围为[0，1]，第四距离序列包括：500mm、3000mm，n2的取值范围为[0，1]，当n1=1、n2=1时，融合误差取得最小值为300mm，此时d1`=2700mm，d2`=3000mm；可将目标像素的深度确定为2700mm。
表1、f1和f2的测距示例
Figure 63491DEST_PATH_IMAGE012
本申请实施例提供的深度测量方法，通过目标像素的目标深度门限值对深度的取值进行约束，融合后的深度值更接近场景真实距离，减小测量结果与真实距离之间的误差，提高距离的测量准确度。
下面，对本申请实施例提供的深度测量方法进行进一步说明。
ToF是一种利用主动光源发射具有一定频率的调制信号光，信号光经过场景反射后再被接收端接收，通过计算发射信号和接收信号的相位差得到信号光的飞行时间，从而计算出场景的深度。
测量距离d的计算公式如下述公式（7）所示：
Figure 29173DEST_PATH_IMAGE013
公式（7）；
其中，c为光速，t为飞行时间，f为调制频率，
Figure 663286DEST_PATH_IMAGE014
为接收信号和发射信号的相位差，
Figure 118538DEST_PATH_IMAGE014
的取值范围为[0，2π）。
由上述公式（7）可知，当
Figure 690465DEST_PATH_IMAGE015
的取值为2π时，对应的最大量程D=c/2f。
若调制频率f为100兆赫兹（MHz），则最大量程为1500mm；若调制频率f为60MHz，则最大量程为2500mm。
实际场景深度
Figure 522154DEST_PATH_IMAGE008
与测量距离d的关系为下述公式（6）所示：
Figure 479615DEST_PATH_IMAGE009
公式（6）；
其中，n为非负整数，表示测量周期的模糊次数；D为最大量程；nD表示测量距离与实际场景深度之间相差n个D的关系。
在实际应用中，为了兼顾更大的测量范围，通常需要使用至少两个频率或者更多频率以实现无歧义测量，即确定n值。
在使用两个频率进行测量的情况下，如图7所示，双频测距的原理如下述公式（8）所示：
Figure 371348DEST_PATH_IMAGE016
公式（8）；
其中，
Figure 164991DEST_PATH_IMAGE008
为实际场景深度，d1为n1取值为0时的深度d1，d2为n1取值为1时的深度，d3为n1取值为2时的深度，d1和d2之间的深度差为D1。d4为n2取值为0时的深度d2，d5为n2取值为1时的深度，d4和d5之间的深度差为D2，D1为频率为f1的光信号的最大量程，D2为频率为f2的光信号的最大量程。其中，基于去混叠后测量的目标深度误差最小的原则，可以采用穷举法、中国剩余定理法等确定n1和n2的取值。
以双频f1=100MHz和f2=60MHz为例，假设d1=1200mm，d2=500mm，则f1和f2基于n1和n2的取值不同，最大无歧义测量距离能够提升至7500mm。
相关技术中，由于通过多频进行测量时，每个频率的测量值实际上存在各种误差，即时经过校正误差也难以完全消除，因此，在实际测量中无论n1和n2的取值如何，
Figure 990252DEST_PATH_IMAGE017
和
Figure 412006DEST_PATH_IMAGE018
都会存在误差。
目前的双频融合方法，大多都是基于融合误差最小方法以实现双频融合，即确定一组n1和n2的值，满足误差
Figure 350006DEST_PATH_IMAGE019
的取值最小。虽然部分双频融合的方案中对最大测量值进行了限定，其中，对最大测量值进行了限定相当于限制了n1和n2的取值范围，但是并没有结合场景进行单独限制。由于没有结合场景进行单独限制，因此，基于融合误差最小方法，在实际使用中，往往存在一种情况是，融合误差取得最小时并不代表融合后的测量值更接近场景的真实距离。
以双频f1=100MHz和f2=60MHz为例，假设d1=1200mm，d2=500mm，最大测量距离为6000mm，则n1的取值范围为[0，3]，n2的取值范围为[0，2]，当n1=3，n2=2时，融合误差取得最小值为200mm，此时，d1`=5700mm，d2`=5500mm；而场景真实距离在2700mm附近，如上表1所示，对应的融合误差为300mm，由此可以得出，融合误差最小并不代表融合后的测量值更接近场景真实距离。
本申请实施例提供的深度测量方法，能够针对使用场景，对双频融合的条件建立约束条件，从而可以有效减少双频深度融合错误的情形。
下面以集装箱使用场景为例，对本申请提供的深度测量方法进行描述。
在使用集装箱之前，针对该集装箱场景进行建模，ToF相机安装在集装箱尾部，在集装箱未装载货物时进行建模，其中，建模步骤如图8所示，包括：
S801、将ToF成像区域划分为多个区域。
在进行区域划分时，可以采用人工手段进行划分，或者，采用图像技术自动检测识别的方式进行划分，本申请实施例对此不进行任何限定。
在一示例中，可将ToF成像区域划分为如图3所示的5个区域，该5个区域包括：左侧面的区域301、上侧面的区域302、右侧面的区域303、下侧面的区域304和前面区域305。
S802、针对每个区域，选择离散分布的至少三个测量值点。
对于每个区域，通过人工干预的方式在ToF的深度图上点选至少3个分散的测量值点，且选择的点接近真实的场景深度值。其中，在判断选择的点是否接近真实的场景深度值时，可以利用其他手段进行辅助判断，比如：激光尺等辅助手段。
S803、针对每个区域，基于选择的测量值点和TOF相机的内参对各个区域建模。
结合ToF相机的内参数，以及每个区域上选择的至少3个测量值点，分别对5个区域中的每个区域进行建模，以得到集装箱在成像面上所有像素点的真实深度值。
在使用集装箱的过程中，由于步骤803中已经建立了集装箱模型的真实深度图，因此，在集装箱装载了货物时，成像面上每个像素点的测量值应该不大于集装箱未装载货物时所对应的像素点的真值，所以可以对成像区域的每个像素点建立最大测量值约束条件，即，某一像素点融合后的深度值不能大于真实深度图上该像素点的值。
本申请实施例提供的深度测量方法，与相关技术相比，本申请与相关技术中的最大测量距离的限制条件不同，本申请中在对场景建模后，得到的是每个像素的最大测量距离，即各个像素的最大测量距离不同，从而可以建立每个像素双频融合的约束条件；而相关技术中得到的是所有像素的最大测量距离的限制条件，即所有像素都是用同一个最大测量距离进行限制，这样，将造成测量的距离与场景真实距离相差较大的问题。
以双频f1=100MHz和f2=60MHz为例，假设d1=1200mm，d2=500mm，假设限制最大测量距离为6000mm，若对场景完成了建模分析，假设某一像素点在真值图中的最大值为3200mm，则n1的取值范围为[0，1]，n2的取值范围为[0，1]，当n1=1、n2=1时，融合误差取得最小值为300mm，此时d1`=2700mm，d2`=3000mm；而场景真实的距离在2700mm附近，可以看出，针对场景建模建立融合约束条件，融合后的深度值更接近场景真实距离。
在一示例中，建立的各个区域的深度模型如图9所示，未将图9所示的深度模型做约束条件的情况下，得到图10所示的测距结果。对于与图10所述的测距结果相同的测量对象，将图9所示的深度模型作为约束条件的情况下，得到图11所示的测距结果。
本申请实施例中，深度模型的建立包括以下两种方案：
方案1、通过深度图像中的像素建立深度模型。
如图12所示，包括：
S1201、采集深度图像。
通过TOF相机采集一帧深度图像或者多帧深度图像计算均值；其中，TOF相机自身采集的深度图像由于噪声或者测量误差，该深度图没有第二种方式效果好，但是仍然可以用于建模。
S1202、将深度图像划分为多个区域。
对深度图像运用图像分割的手段，可以得到多个像素划分区域，所述多个像素划分区域对应多个场景划分区域。
S1203、在每个区域中确定至少三个点。
在所述多个像素划分区域，在每个像素划分区域上找深度测量值平滑的点，认为是测量值可信度高且接近场景真实距离的点，且所选择的点分布在所述像素划分区域的不同位置，这样得到每个像素划分区域上的至少三个像素点坐标（x，y），以及对应的场景距离信息dist。
S1204、将所述至少三个点的坐标转换为空间坐标系上的空间坐标点。
根据TOF相机的内参数，可以将上述坐标（x，y），以及对应的距离信息dist转换成一组以TOF相机为原点的空间直角坐标点（X，Y，Z）；这样所述多个场景划分区域对应多组所述空间坐标点。
S1205、基于各组空间坐标点建立空间曲面表达式。
根据上述多组空间坐标点，可以建立所述多个场景划分区域的空间曲面表达式；这样可以得到与所述多个像素划分区域一一对应的场景划分区域的空间曲面表达式。
S1206、基于空间曲面表达式、TOF相机的内参数确定深度图像中各像素的深度。
对每个像素点，先判断其属于哪个像素划分区域，然后调用该像素划分区域所对应的场景划分区域的空间曲面表达式即空间曲面方程，并结合TOF相机的内参数，得到每个像素点所对应的场景距离信息即深度，得到深度模型。
方案2、通过空间坐标点建立深度模型。
如图13所示，包括：
S1301、采集深度图像。
通过TOF相机采集一帧深度图像或者多帧深度图像计算均值；其中，TOF相机自身采集的深度图像由于噪声或者测量误差，该深度图没有第二种方式效果好，但是仍然可以用于建模。
S1302、将深度图像划分为多个区域。
对深度图像运用图像分割的手段，可以得到多个像素划分区域，所述多个像素划分区域对应多个场景划分区域。
S1303、基于各区域对应的各组空间坐标点建立空间曲面表达式。
根据各组空间坐标点，可以建立各区域的空间曲面表达式；这样可以得到与所述多个像素划分区域一一对应的场景划分区域的空间曲面表达式。
S1304、基于空间曲面表达式、TOF相机的内参数确定深度图像中各像素的深度。
对每个像素点，先判断其属于哪个像素划分区域，然后调用该像素划分区域所对应的场景划分区域的空间曲面表达式即空间曲面方程，并结合TOF相机的内参数，得到每个像素点所对应的场景距离信息即深度，得到深度模型。
本申请实施例提供一种深度测量装置1400，应用于电子设备，如图14所示，深度测量装置1400包括：
接收模块1401，用于接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；
获取模块1402，用于基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；
确定模块1403，用于将所述目标深度门限值作为约束条件，确定所述第一图像中所述目标像素的深度。
在一些实施例中，装置1400还包括：建模模块，用于：
采集第二图像，所述第二图像为所述目标空间未容纳所述目标对象情况下采集的图像；
基于所述第二图像所包括的边缘，将所述第二图像划分为至少一个区域；
针对所述至少一个区域中各区域，确定所述区域中各像素对应的深度，并基于各像素对应的深度得到所述区域对应的子深度模型，所述至少一个区域中各区域对应的子深度模型构成所述深度模型。
在一些实施例中，建模模块，还用于：
基于所述区域选择至少三个参考点，所述至少三个参考点分散分布；
基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，所述空间曲面表达式用于表征所述区域对应的子空间中参考面中各点的空间坐标，所述参考面为基于所述至少三个参考点确定为位于所述子空间的面；
基于所述空间曲面表达式，确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型。
在一些实施例中，建模模块，还用于：
所述参考点为所述区域对应的子空间中的空间坐标点的情况下，基于所述至少三个参考点中各参考点的空间坐标，建立所述区域对应的空间曲面表达式。
在一些实施例中，建模模块，还用于：
所述参考点为所述第二图像中参考像素的情况下，对于所述至少三个参考点中各参考点，基于空间距离采集组件的内参和所述参考点在所述第二图像中的位置信息和深度，确定所述参考点映射至所述区域对应的子空间中的参考映射点的空间坐标；
基于所述至少三个参考点中各参考点映射至所述区域对应的子空间中的参考映射点的空间坐标，建立所述区域对应的空间曲面表达式。
在一些实施例中，建模模块，还用于：
针对所述区域中各像素，执行以下处理，以得到所述区域对应的子深度模型：
基于空间距离采集组件的内参、所述像素在所述第二图像中的位置信息和所述空间曲面表达式，确定所述像素映射至所述参考面上的映射点的空间坐标；
基于所述映射点的空间坐标，确定所述像素对应的深度。
在一些实施例中，确定模块1403，还用于：
将所述目标深度门限值作为约束条件，通过至少两个频率确定所述目标像素的深度。
在一些实施例中，确定模块1403，还用于：
通过所述至少两个频率包括的第一频率测量得到所述目标像素对应的第一测量距离；
通过所述至少两个频率包括的第二频率测量得到所述目标像素对应的第二测量距离；
基于所述第一测量距离和第一频率对应的最大量程确定第一距离序列；
基于所述第二测量距离和第二频率对应的最大量程确定第二距离序列；
基于所述第一距离序列和所述目标深度门限值确定第三距离序列；
基于所述第二距离序列和所述目标深度门限值确定第四距离序列；
将所述第三距离序列中，和所述第四距离序列距离差距最小的距离，确定为所述目标像素的深度。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的无线通信方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read OnlyMemory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的无线通信方法中的步骤。
对应地，本申请实施例提供一种存储介质，也就是计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的无线通信方法。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，图15为本申请实施例电子设备（终端设备或网络设备）的一种硬件实体示意图，如图15所示，所述电子设备1500包括：一个处理器1501、至少一个通信总线1502、用户接口1503、至少一个外部通信接口1504和存储器1505。其中，通信总线1502配置为实现这些组件之间的连接通信。其中，用户接口1503可以包括显示屏，外部通信接口1504可以包括标准的有线接口和无线接口。
存储器1505配置为存储由处理器1501可执行的指令和应用，还可以缓存待处理器1501以及电子设备中各模块待处理或已经处理的数据（例如，图像数据、音频数据、语音通信数据和视频通信数据），可以通过闪存（FLASH）或随机访问存储器（Random AccessMemory，RAM）实现。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种深度测量方法，其特征在于，所述方法包括：
接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；
基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；
将所述目标深度门限值作为约束条件，通过至少两个频率确定所述第一图像中所述目标像素的深度；
其中，所述方法还包括：
基于第二图像所包括的边缘，将所述第二图像划分为至少一个区域，所述第二图像为所述目标空间未容纳所述目标对象情况下采集的图像；
针对所述至少一个区域中各区域，确定所述区域中各像素对应的深度，并基于各像素对应的深度得到所述区域对应的子深度模型，所述至少一个区域中各区域对应的子深度模型构成所述深度模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采集所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型，包括：
基于所述区域选择至少三个参考点，所述至少三个参考点分散分布；
基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，所述空间曲面表达式用于表征所述区域对应的子空间中参考面中各点的空间坐标，所述参考面为基于所述至少三个参考点确定为位于所述子空间的面；
基于所述空间曲面表达式，确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型。
4.根据权利要求3所述的方法，其特征在于，所述参考点为所述区域对应的子空间中的空间坐标点的情况下，所述基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，包括：
基于所述至少三个参考点中各参考点的空间坐标，建立所述区域对应的空间曲面表达式。
5.根据权利要求3所述的方法，其特征在于，所述参考点为所述第二图像中参考像素的情况下，所述基于所述至少三个参考点中各参考点的测量信息，建立所述区域对应的空间曲面表达式，包括：
对于所述至少三个参考点中各参考点，基于空间距离采集组件的内参和所述参考点在所述第二图像中的位置信息和深度，确定所述参考点映射至所述区域对应的子空间中的参考映射点的空间坐标；
基于所述至少三个参考点中各参考点映射至所述区域对应的子空间中的参考映射点的空间坐标，建立所述区域对应的空间曲面表达式。
6.根据权利要求3所述的方法，其特征在于，所述基于所述空间曲面表达式，确定所述区域中各像素对应的深度，得到所述区域对应的子深度模型，包括：
针对所述区域中各像素，执行以下处理，以得到所述区域对应的子深度模型：
基于空间距离采集组件的内参、所述像素在所述第二图像中的位置信息和所述空间曲面表达式，确定所述像素映射至所述参考面上的映射点的空间坐标；
基于所述映射点的空间坐标，确定所述像素对应的深度。
7.根据权利要求1所述的方法，其特征在于，所述至少两个频率包括：第一频率和第二频率，将所述目标深度门限值作为约束条件，通过至少两个频率确定所述目标像素的深度，包括：
通过所述第一频率测量得到所述目标像素对应的第一测量距离；
通过所述第二频率测量得到所述目标像素对应的第二测量距离；
基于所述第一测量距离和第一频率对应的最大量程确定第一距离序列；
基于所述第二测量距离和第二频率对应的最大量程确定第二距离序列；
基于所述第一距离序列和所述目标深度门限值确定第三距离序列；
基于所述第二距离序列和所述目标深度门限值确定第四距离序列；
将所述第三距离序列中，和所述第四距离序列距离差距最小的距离，确定为所述目标像素的深度。
8.一种深度测量装置，其特征在于，所述装置包括：
接收模块，用于接收目标空间容纳有目标对象情况下的第一图像，所述第一图像的内容包括有所述目标对象；
获取模块，用于基于针对未容纳有所述目标对象的所述目标空间的深度模型，获取所述第一图像中目标像素对应的目标深度门限值，所述深度模型包括所述第一图像中各像素对应的深度门限值；
确定模块，用于将所述目标深度门限值作为约束条件，通过至少两个频率确定所述第一图像中所述目标像素的深度；
其中，所述装置还包括：建模模块，用于：
基于第二图像所包括的边缘，将所述第二图像划分为至少一个区域，所述第二图像为所述目标空间未容纳所述目标对象情况下采集的图像；
针对所述至少一个区域中各区域，确定所述区域中各像素对应的深度，并基于各像素对应的深度得到所述区域对应的子深度模型，所述至少一个区域中各区域对应的子深度模型构成所述深度模型。
9.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7任一项所述深度测量方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至7任一项所述深度测量方法。
CN202210881552.2A 2022-07-26 2022-07-26 一种深度测量方法、装置、设备及存储介质 Active CN114937071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881552.2A CN114937071B (zh) 2022-07-26 2022-07-26 一种深度测量方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881552.2A CN114937071B (zh) 2022-07-26 2022-07-26 一种深度测量方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114937071A CN114937071A (zh) 2022-08-23
CN114937071B true CN114937071B (zh) 2022-10-21

Family

ID=82868023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881552.2A Active CN114937071B (zh) 2022-07-26 2022-07-26 一种深度测量方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114937071B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888459B1 (ko) * 2007-03-14 2009-03-19 전자부품연구원 피사체의 깊이 정보 검출 방법 및 시스템
JP5132754B2 (ja) * 2010-11-10 2013-01-30 株式会社東芝 画像処理装置、方法およびそのプログラム
US9036936B2 (en) * 2011-06-20 2015-05-19 Fujifilm Corporation Image processing device, image processing method, and image processing program
CN104333758B (zh) * 2014-10-11 2019-07-19 华为技术有限公司 深度图的预测方法和检测像素点的方法及相关装置
CN110770794A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 图像深度估计方法、装置、可读存储介质及电子设备
CN110728717B (zh) * 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111045029B (zh) * 2019-12-18 2022-06-28 奥比中光科技集团股份有限公司 一种融合的深度测量装置及测量方法
CN112819878B (zh) * 2021-01-28 2023-01-31 北京市商汤科技开发有限公司 一种深度检测方法、装置、计算机设备和存储介质
CN113538551B (zh) * 2021-07-12 2023-08-15 Oppo广东移动通信有限公司 深度图生成方法、装置、电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN114937071A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US10880541B2 (en) Stereo correspondence and depth sensors
US9426444B2 (en) Depth measurement quality enhancement
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US11436748B2 (en) Volume measurement method and system, apparatus and computer-readable storage medium
US9251399B2 (en) Method of separating object in three dimension point cloud
US10091491B2 (en) Depth image generating method and apparatus and depth image processing method and apparatus
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
CN111563950B (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
US20230245443A1 (en) Reducing scale estimate errors in shelf images
US11170510B2 (en) Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium
KR20230072510A (ko) 물리적 객체 경계 검출 기술들 및 시스템들
CN112700552A (zh) 三维物体检测方法、装置、电子设备及介质
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
US11933884B2 (en) Radar image processing device, radar image processing method, and storage medium
CN114937071B (zh) 一种深度测量方法、装置、设备及存储介质
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
US20170150110A1 (en) Projecting an image on an irregularly shaped display surface
US20220262026A1 (en) Depth image generation method and apparatus, reference image generation method and apparatus, electronic device, and computer-readable storage medium
KR102547333B1 (ko) 깊이 영상 기반 실시간 바닥 검출방법
CN112218098A (zh) 数据压缩方法、装置、电子设备及存储介质
WO2024057904A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11967019B1 (en) Depth maps and 3D reconstruction with segmentation masks
US20230213371A1 (en) Filling rate measurement method, information processing device, and recording medium
US20240135637A1 (en) Depth maps and 3d reconstruction with segmentation masks
US20230260143A1 (en) Using energy model to enhance depth estimation with brightness image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant