CN117146770A - 全景图像测距方法、装置、设备、存储介质和程序产品 - Google Patents

全景图像测距方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN117146770A
CN117146770A CN202311031861.1A CN202311031861A CN117146770A CN 117146770 A CN117146770 A CN 117146770A CN 202311031861 A CN202311031861 A CN 202311031861A CN 117146770 A CN117146770 A CN 117146770A
Authority
CN
China
Prior art keywords
target
determining
vertex
coordinates
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311031861.1A
Other languages
English (en)
Inventor
许睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202311031861.1A priority Critical patent/CN117146770A/zh
Publication of CN117146770A publication Critical patent/CN117146770A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种全景图像测距方法、装置、设备、存储介质和程序产品。方法包括：确定目标平面图像中目标物的目标框，根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定相机和目标物之间的距离。采用本方法能够解决无法利用透视投影关系确定全景相机和目标物之间的距离的问题。

Description

全景图像测距方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及图像处理技术领域，特别是涉及一种全景图像测距方法、装置、设备、存储介质和程序产品。
背景技术
视觉测距是根据相机所拍摄的目标物的图像，确定相机和目标物之间的距离，其在机器人和无人驾驶领域的应用中占有重要的地位，广泛应用于机器视觉定位、视觉避障等。
传统技术中，主要根据目标物体和相机拍摄的目标物体的平面图像之间构成的透视投影关系以及相机内外参数，确定相机和目标物体之间距离；然而，由于全景相机所拍摄的全景图像无法满足透视投影关系，对于全景图像则无法直接利用透视投影关系对目标物和全景相机之间的距离进行计算，因此，通过透视投影关系进行视觉测距的方法具有一定的局限性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够测量全景相机和目标物体之间的全景图像测距方法、装置、设备、存储介质和程序产品。
第一方面，本申请提供了一种全景图像测距方法。该方法包括：
确定目标平面图像中目标物的目标框，该目标平面图像基于目标全景图像确定；
根据该目标框的两个目标顶点在该目标平面图像中的像素坐标，确定各该目标顶点在该目标全景图像的球坐标系下的单位坐标；
根据各该目标顶点的单位坐标以及该两个目标顶点之间的实际长度，确定相机和该目标物之间的距离。
在其中一个实施例中，该根据各该目标顶点的单位坐标以及该两个目标顶点之间的实际长度，确定相机和该目标物之间的距离，包括：
根据各该目标顶点的单位坐标，确定该目标顶点对应的单位向量；该目标顶点对应的该单位向量为三维坐标系下从三维坐标系原点指向各该目标顶点的单位向量；
根据各该目标顶点对应的该单位向量和该实际长度，确定该全景相机和该目标物之间的距离。
在其中一个实施例中，该两个目标顶点包括第一顶点和第二顶点，该根据各该目标顶点对应的该单位向量和该实际长度，确定该全景相机和该目标物之间的距离，包括：
根据该第一顶点对应的第一单位向量和该第二顶点对应的第二单位向量，确定该第一单位向量和该第二单位向量之间的第一夹角；
确定该第二单位向量和目标方向的第二夹角；该目标方向为垂直于该第一顶点和第二顶点之间的连线的方向；
根据该第一夹角、该第二夹角和该实际长度，确定该全景相机和该目标物之间的距离。
在其中一个实施例中，该根据该第一夹角、该第二夹角和该实际长度，确定该全景相机和该目标物之间的距离，包括：
确定第一夹角和第二夹角的求和结果；
确定该求和结果的正切值和该第二夹角的正切值的差值；
根据该实际长度和该差值的比值，确定该全景相机和该目标物之间的距离。
在其中一个实施例中，该方法还包括：
根据预设视场角、目标平面图像的长度和高度，确定该全景图像中各第一像素点的第一坐标与该目标平面图像中各第二像素点的第二坐标之间的映射关系；
根据该映射关系确定各该第二坐标；
根据各该第一像素点的像素值，确定各该第二坐标对应的第二像素点的像素值；
根据各该第二坐标对应的第二像素点的像素值，确定该目标平面图像。
在其中一个实施例中，该根据该目标框的两个目标顶点的像素坐标，确定各该目标顶点在球坐标系下的单位坐标，包括：
根据该两个目标顶点的像素坐标，确定各该目标顶点在经纬坐标系下的经纬坐标；
根据各该目标顶点的经纬坐标，确定各该目标顶点在球坐标系下的单位坐标。
第二方面，本申请还提供了一种全景图像测距装置。该装置包括：
第一确定模块，用于确定目标平面图像中目标物的目标框，该目标平面图像基于目标全景图像确定；
第二确定模块，用于根据该目标框的两个目标顶点在该目标平面图像中的像素坐标，确定各该目标顶点在该目标全景图像的球坐标系下的单位坐标；
第三确定模块，用于根据各该目标顶点的单位坐标以及该两个目标顶点之间的实际长度，确定相机和该目标物之间的距离。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
确定目标平面图像中目标物的目标框，该目标平面图像基于目标全景图像确定；
根据该目标框的两个目标顶点在该目标平面图像中的像素坐标，确定各该目标顶点在该目标全景图像的球坐标系下的单位坐标；
根据各该目标顶点的单位坐标以及该两个目标顶点之间的实际长度，确定相机和该目标物之间的距离。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
确定目标平面图像中目标物的目标框，该目标平面图像基于目标全景图像确定；
根据该目标框的两个目标顶点在该目标平面图像中的像素坐标，确定各该目标顶点在该目标全景图像的球坐标系下的单位坐标；
根据各该目标顶点的单位坐标以及该两个目标顶点之间的实际长度，确定相机和该目标物之间的距离。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
确定目标平面图像中目标物的目标框，该目标平面图像基于目标全景图像确定；
根据该目标框的两个目标顶点在该目标平面图像中的像素坐标，确定各该目标顶点在该目标全景图像的球坐标系下的单位坐标；
根据各该目标顶点的单位坐标以及该两个目标顶点之间的实际长度，确定相机和该目标物之间的距离。
上述全景图像测距方法、装置、设备、存储介质和程序产品，通过确定目标物的目标平面图像中目标物的目标框；根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定全景相机和目标物之间的距离；其中，目标平面图像基于全景相机获取的目标物的全景图像确定。传统技术中，主要根据目标物和平面图像之间构成的透视投影关系以及相机内外参数，确定相机和目标物之间距离；然而，由于全景相机所拍摄的全景图像无法满足透视投影关系，对于全景图像则无法直接利用透视投影关系对目标物和全景相机之间的距离进行计算。本申请实施例中，通过将目标物的全景图像转换为目标平面图像，通过坐标转换确定目标平面图像中目标物对应的两个目标顶点在球坐标系下的单位坐标，进而根据单位坐标和两个目标顶点之间的实际长度，确定了全景相机和目标物之间的距离，解决了无法利用透视投影关系确定全景相机和目标物之间的距离的问题。
附图说明
图1是本申请实施例提供的一种基于平面图像的物体测距方法的应用场景图；
图2是本申请实施例提供的全景图像测距方法的应用环境图；
图3是本申请实施例提供的一种全景图像测距方法的流程示意图；
图4是本申请实施例提供的一种目标平面图像和目标物之间的投影关系示意图；
图5是本申请实施例提供的一种球坐标系下的单位坐标确定方法的流程示意图；
图6是本申请实施例提供的一种球坐标系和经纬坐标系示意图；
图7是本申请实施例提供的全景相机和目标物之间的距离确定方法的流程示意图之一；
图8是本申请实施例提供的全景相机和目标物之间的距离确定方法的流程示意图之二；
图9是本申请实施例提供的全景相机和目标物之间的距离确定方法的流程示意图之三；
图10是本申请实施例提供的一种目标平面图像确定方法的流程示意图；
图11是本申请实施例提供的一种全景图像测距装置的结构框图；
图12是本申请实施例提供的计算机设备的内部结构图。
附图标记说明：
11、相机；
12、目标物；
13、平面图像；
131、第一端点；
132、第二端点；
21、全景相机；
22、计算机设备；
41、全景相机；
42、目标物；
43、目标平面图像；
431、第一顶点；
432、第二顶点。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，在具体介绍本申请实施例的技术方案之前，先对本申请实施例基于的技术背景或者技术演进脉络进行介绍。图1是本申请实施例提供的一种基于平面图像的物体测距方法的应用场景图，如图1所示，传统技术中，若需要测量相机11和目标物12之间的距离，需要确定相机11到平面图像13中的第一端点131的第一向量和相机11到平面图像13中的第二端点132的第二向量，由于相机11、第一端点131、第二端点132和目标物12之间满足透视投影关系，则可以根据第一向量、第二向量和目标物的高度h，利用相机11、第一端点131、第二端点132和目标物12之间所呈现的三角关系，确定相机11和目标物之间的距离d0。然而，由于全景相机所拍摄的全景图像无法满足透视投影关系，对于全景图像则无法直接利用透视投影关系对目标物和全景相机之间的距离进行计算。
基于此，本申请提供了一种全景图像测距方法，图2是本申请实施例提供的全景图像测距方法的应用环境图，全景相机21通过无线网络和计算机设备22之间进行通信，全景相机21对目标物进行拍摄得到目标物对应的全景图像，得到目标物对应的全景图像之后，将目标物对应的全景图像发送给计算机设备22，计算机设备22对全景图像进行处理，确定目标物和全景相机21之间的距离。其中，计算机设备22可以是服务器、个人计算机、笔记本电脑、智能手机、平板电脑等。
在一个实施例中，如图3所示，图3是本申请实施例提供的一种全景图像测距方法的流程示意图，以该方法应用于图2中的计算机设备22为例进行说明，包括以下步骤：
S301，确定目标平面图像中目标物的目标框；目标平面图像基于目标全景相机获取的目标物的全景图像确定。
其中，目标框为目标平面图像中标定目标物的矩形框。
本实施例中，计算机设备可以采集全景相机拍摄的包含目标物的目标全景图像，进而对目标全景图像进行处理，确定目标全景图像中目标物所在的区域的目标平面图像，使用物体检测算法从目标平面图像中确定目标物的目标框，物体检测算法可以包括物体分割算法、显著性检测算法等。
S302，根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；两个目标顶点为目标框的四个顶点中的任意两个顶点。
图4是本申请实施例提供的一种目标平面图像和目标物之间的投影关系示意图，如图4所示，目标平面图像43是从全景相机41所拍摄的全景图像中确定的平面图像，目标平面图像43中的目标顶点为431和432，目标物为42，两个目标顶点之间的实际长度为目标物42的高度L，目标物42和全景相机41之间的距离为d，目标框的两个目标顶点之间的长度对应目标物的实际长度，目标框的目标顶点431和目标顶点432对应目标物的高度L；设目标顶点431在目标平面图像中的像素坐标为(u1，v1)，球坐标为(θ1，r1)，目标顶点432在目标平面图像中的像素坐标为(u2，v2)，球坐标为(/>θ2，r2)。已知目标顶点的像素坐标的情况下，根据预设视场角、预设焦距、目标平面图像的宽度和高度等参数，确定目标顶点球坐标，如以下关系式所示：
z＝f
其中，(u，v)为目标顶点的像素坐标，W为平面图像的宽度、H为平面图像的高度、FOV为预设视场角、(x，y，z)为目标顶点在三维坐标系下的三维坐标，为目标顶点在目标全景图像的球坐标系下的方位角，θ为目标顶点在目标全景图像的球坐标系下的仰角。
通过以上关系式，可以确定θ1、/>θ2，将r1和r2取1，即可得到目标顶点431在目标全景图像的球坐标系下的单位坐标(/>θ1，1)和目标顶点432在目标全景图像的球坐标系下的单位坐标(/>θ2，1)。
S303，根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定全景相机和目标物之间的距离。
本实施例中，可以根据各目标顶点的单位坐标确定两个目标顶点在三维直角坐标系下的单位向量，根据目标顶点的单位向量和两个目标顶点之间的实际长度，确定全景相机和目标物之间的距离，结合上述举例进行介绍，可以根据目标顶点431的单位坐标和目标顶点432的单位坐标，确定目标顶点431的单位向量和目标顶点432的单位向量，根据目标顶点431的单位向量和目标顶点432的单位向量，确定目标顶点431的单位向量和目标顶点432的单位向量之间的夹角α1，根据目标顶点431的单位向量和水平方向的单位向量，确定目标顶点431的单位向量和水平方向的夹角α2，根据α1、α2和实际长度L，确定全景相机41和目标物42之间的距离d。
上述全景图像测距方法，通过确定目标物的目标平面图像中目标物的目标框；根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定全景相机和目标物之间的距离；其中，目标平面图像基于全景相机获取的目标物的全景图像确定。传统技术中，主要根据目标物和平面图像之间构成的透视投影关系以及相机内外参数，确定相机和目标物之间距离；然而，由于全景相机所拍摄的全景图像无法满足透视投影关系，对于全景图像则无法直接利用透视投影关系对目标物和全景相机之间的距离进行计算。本申请实施例中，通过将目标物的全景图像转换为目标平面图像，通过坐标转换确定目标平面图像中目标物对应的两个目标顶点在球坐标系下的单位坐标，进而根据单位坐标和两个目标顶点之间的实际长度，确定了全景相机和目标物之间的距离，解决了无法利用透视投影关系确定全景相机和目标物之间的距离的问题。
图5是本申请实施例提供的一种球坐标系下的单位坐标确定方法的流程示意图，本实施例涉及的是如何根据目标框的两个目标顶点的像素坐标，确定各目标顶点在球坐标系下的单位坐标的一种可能的实现方式，在上述实施例的基础上，如图5所示，上述S302可以包括以下步骤：
S501，根据两个目标顶点的像素坐标，确定各目标顶点在经纬坐标系下的经纬坐标。
S502，根据各目标顶点的经纬坐标，确定各目标顶点在球坐标系下的单位坐标。
本实施例中，可以根据目标顶点的像素坐标，确定各目标顶点在经纬坐标系下的经纬坐标。结合上述举例进行介绍，可以根据目标顶点431的像素坐标(u1，v1)确定目标顶点431的经纬坐标(N1，S1)，根据目标顶点432的像素坐标(u2，v2)确定目标顶点432的经纬坐标(N2，S2)，已知目标顶点的像素坐标的情况下，根据预设视场角、预设焦距、目标平面图像的宽度和高度等参数，确定目标顶点的经纬坐标，确定各目标顶点的经纬坐标之后，若N1和N2的范围为0到2Π，S1和S2的范围为0到Π，可以将各目标顶点的经纬坐标中的经度作为目标顶点的球坐标的方位角，将各目标顶点的经纬坐标中的纬度作为各目标顶点的球坐标的仰角，以此确定目标顶点的单位坐标。则可以通过以下关系式表示：
θ1＝S1
θ2＝S2
若目标平面图像的宽度为W，目标平面图像的长度为H，N1和N2的范围为0到W，S1和S2的范围为H，则可以通过以下关系式表示球坐标和经纬坐标的关系：
其中，为目标顶点431在球坐标系下的方位角，θ1为目标顶点431在球坐标系下的仰角，/>为目标顶点432在球坐标系下的方位角，θ2为目标顶点432在球坐标系下的仰角；则目标顶点431在球坐标系下的单位坐标为(/>θ1，1)，目标顶点432在球坐标系下的单位坐标为(/>θ2，1)。图6是本申请实施例提供的一种球坐标系和经纬坐标系示意图，图6中虚线的左侧为球坐标系，示出了P点在球坐标系下的位置，P点在球坐标系下的坐标为(θ，r)，图6中虚线的右侧为经纬坐标图，示出了P点在经纬坐标图中的位置，P点在经纬坐标系下的坐标为(N，S)，P点的球坐标中的θ对应P点在经纬坐标中的经度N，/>对应P点在经纬坐标中的维度S。
可选地，也可以将各目标顶点的经纬坐标中的经度乘以第一预设系数得到的乘积结果作为各目标顶点的球坐标的方位角，将各目标顶点的经纬坐标中的纬度乘以第二预设系数得到的乘积结果作为各目标顶点的球坐标的仰角。
本申请实施例中，通过根据两个目标顶点的像素坐标，确定各目标顶点在经纬坐标系下的经纬坐标，进而根据各目标顶点的经纬坐标，确定各目标顶点在球坐标系下的单位坐标，实现了由像素坐标到球坐标的转换，为确定全景相机和目标物之间的距离提供了前提条件。
图7是本申请实施例提供的全景相机和目标物之间的距离确定方法的流程示意图之一，本实施例涉及的是如何根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定全景相机和目标物之间的距离的一种可能的实现方式，在上述实施例的基础上，如图7所示，上述S303可以包括：
S701，根据各目标顶点的单位坐标，确定目标顶点对应的单位向量；目标顶点对应的单位向量为三维坐标系下从三维坐标系原点指向各目标顶点的单位向量。
S702，根据各目标顶点对应的单位向量和实际长度，确定全景相机和目标物之间的距离。
示例性地，将目标顶点431的单位向量设为e1＝(x1，y1，z1)，将目标顶点432的单位向量设为e2＝(x2，y2，z2)球坐标和三维直角坐标系下的坐标之间的转换关系如下：
通过以上关系式，根据各目标顶点在球坐标系下的单位坐标，确定从三维坐标系原点指向目标顶点431的单位向量e1和指向目标顶点432的单位向量e2。
可以根据单位向量e1和e2，确定e1与水平方向的夹角γ以及e1和e2之间的夹角α，根据e1与水平方向的夹角γ以及e1和e2之间的夹角α确定e2与水平方向夹角β，根据β、α和目标物52的实际长度L，可以得到全景相机和目标物之间的距离d。
本申请实施例中，通过根据各目标顶点的单位坐标，确定三维坐标系下从三维坐标系原点指向各目标顶点的单位向量，进而根据各目标顶点对应的单位向量和实际长度，确定全景相机和目标物之间的距离，解决了无法利用透视投影关系确定目标物和全景相机之间的距离的问题。
图8是本申请实施例提供的全景相机和目标物之间的距离确定方法的流程示意图之二，本实施例涉及的是如何根据各目标顶点的单位向量和实际长度，确定全景相机和目标物之间的距离的一种可能的实现方式，在上述实施例的基础上，如图8所示，上述S702可以包括以下步骤：
S801，根据第一顶点对应的第一单位向量和第二顶点对应的第二单位向量，确定第一单位向量和第二单位向量之间的第一夹角。
S802，确定第二单位向量和目标方向的第二夹角；目标方向为垂直于第一顶点和第二顶点之间的连线的方向。
S803，根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离。
结合上述举例进行介绍，将目标顶点431作为第一顶点，将目标顶点432作为第二顶点，根据第一顶点431对应的单位向量e1和第二顶点432对应的单位向量e2，确定e1和e2之间的第一夹角α，确定第二单位向量e2和目标方向的第二夹角β，目标方向为垂直于第一顶点和第二顶点之间的连线并指向目标物42的方向，根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离。具体地，可以通过以下方式实现，确定第一夹角和第二夹角夹角和的余弦值cos(α+β)，确定第二夹角的余弦值cosβ，确定第一夹角的正弦值sinα，根据cos(α+β)、cosβ、sinα和目标物的实际长度L，确定全景相机和目标物之间的距离d，可以通过以下关系式表示：
在另外一些实施例中，可选地，第二夹角β也可以通过以下方式确定：根据第二单位向量的坐标确定第二单位向量e2和目标方向的相反方向的第三夹角β1，此时，β可以通过以下关系式确定：
β＝π-β1
本申请实施例中，通过根据第一顶点对应的第一单位向量和第二顶点对应的第二单位向量，确定第一单位向量和第二单位向量之间的第一夹角，进而确定第二单位向量和目标方向的第二夹角；目标方向为垂直于第一顶点和第二顶点之间的连线的方向，根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离，解决了无法利用透视投影关系确定目标物和全景相机之间的距离的问题。
图9是本申请实施例提供的全景相机和目标物之间的距离确定方法的流程示意图之三，本实施例涉及的是如何根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离的一种可能的实现方式，在上述实施例的基础上，如图9所示，上述S803可以包括：
S901，确定第一夹角和第二夹角的求和结果。
S902，确定求和结果的正切值和第二夹角的正切值的差值。
S903，根据实际长度和差值的比值，确定全景相机和目标物之间的距离。
示例性地，以图4为例进行说明，确定第一夹角α和第二夹角β的求和结果，根据求和结果的正切值tan(α+β)、第二夹角的正切值tanβ以及实际长度L，确定全景相机41和目标物42之间的距离，具体地，可以通过以下关系式表示：
其中，d表示全景相机41和目标物42之间的距离。tan(α+β)和tanβ可以通过单位向量e1的坐标值和单位向量e2的坐标值进行表示：
本申请实施例中，通过确定第一夹角和第二夹角的求和结果，确定求和结果的正切值和第二夹角的正切值的差值，进而根据实际长度和差值的比值，确定全景相机和目标物之间的距离，，解决了无法利用透视投影关系确定目标物和全景相机之间的距离的问题。
图10是本申请实施例提供的一种目标平面图像确定方法的流程示意图，本实施例涉及的是如何确定目标平面图像的一种可能的实现方式，包括以下步骤：
S1001，根据预设视场角、目标平面图像的长度和高度，确定全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的第二坐标之间的映射关系。
S1002，根据映射关系确定各第二坐标。
S1003，根据各第一像素点的像素值，确定各第二坐标对应的第二像素点的像素值。
S1004，根据各第二坐标对应的第二像素点的像素值，确定目标平面图像。
其中，第二坐标可以包括目标平面图像中与第一像素点对应的第二像素点的坐标。
本实施例中，可以根据预设视场角FOV、目标平面的长度W和高度H，确定焦距f，根据焦距f和第二像素点的第二坐标(u，v)，确定第二像素点对应的三维坐标(x，y，z)，如以下关系式所示：
z＝f
根据第二像素点对应的三维坐标(x，y，z)确定第二像素点对应的球坐标(φ，θ)，根据第二像素点对应的球坐标(φ，θ)，确定第二像素点对应的第一像素点的第一坐标(U，V)，关系式如下
其中，W1为全景相机拍摄的全景图像的长度，H1为全景相机拍摄的全景图像的高度。
通过以上关系式，建立全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的第二坐标之间的映射关系，此时，可以根据第一像素点的第一坐标(U，V)确定第一坐标对应的第二坐标(u，v)，将第一像素点的像素值作为第二坐标对应的第二像素点的像素值，得到目标平面图像。或者，将第一像素点的像素值作为第二坐标对应的第二像素点的像素值，再利用双线性插值算法，补充第二像素点周围的各像素点的像素值，得到目标平面图像。
本申请实施例中，通过根据预设视场角、目标平面图像的长度和高度，确定全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的第一坐标对应的第二坐标之间的映射关系；根据映射关系确定各第二坐标；根据各第一像素点的像素值，确定各第二坐标对应的第二像素点的像素值；根据各第二坐标对应的第二像素点的像素值，确定目标平面图像，实现了由全景图像向平面图像的转化。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的全景图像测距方法的全景图像测距装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个全景图像测距装置实施例中的具体限定可以参见上文中对于全景图像测距方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种全景图像测距装置1100，包括：第一确定模块1101、第二确定模块1102和第三确定模块1103，其中：
第一确定模块1101，用于确定目标平面图像中目标物的目标框，目标平面图像基于目标全景图像确定；
第二确定模块1102，用于根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；
第三确定模块1103，用于根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定全景相机和目标物之间的距离。
在其中一个实施例中，第三确定模块1103包括：
第三确定单元，根据各目标顶点的单位坐标，确定目标顶点对应的单位向量；目标顶点对应的单位向量为三维坐标系下从三维坐标系原点指向各目标顶点的单位向量；
第四确定单元，根据各目标顶点对应的单位向量和实际长度，确定全景相机和目标物之间的距离。
在其中一个实施例中，第四确定单元，具体用于根据第一顶点对应的第一单位向量和第二顶点对应的第二单位向量，确定第一单位向量和第二单位向量之间的第一夹角，确定第二单位向量和目标方向的第二夹角；目标方向为垂直于第一顶点和第二顶点之间的连线的方向，根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离。
在其中一个实施例中，第四确定单元，具体用于确定第一夹角和第二夹角的求和结果；确定求和结果的正切值和第二夹角的正切值的差值；根据实际长度和差值的比值，确定全景相机和目标物之间的距离。
在其中一个实施例中，全景图像测距装置1100还包括：
第四确定模块，用于根据预设视场角、目标平面图像的长度和高度，确定全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的的第二坐标之间的映射关系；
第五确定模块，用于根据映射关系确定各第二坐标；
第六确定模块，用于根据各第一像素点的像素值，确定各第二坐标对应的第二像素点的像素值；
第七确定模块，用于根据各第二坐标对应的第二像素点的像素值，确定目标平面图像。
在其中一个实施例中，第二确定模块1102包括：
第一确定单元，用于确定各目标顶点在经纬坐标系下的经纬坐标；
第二确定单元，用于根据各目标顶点的经纬坐标，确定各目标顶点在球坐标系下的单位坐标。
上述全景图像测距装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种全景图像测距方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
确定目标平面图像中目标物的目标框，目标平面图像基于目标全景图像确定；
根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；
根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定相机和目标物之间的距离。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据各目标顶点的单位坐标，确定目标顶点对应的单位向量；目标顶点对应的单位向量为三维坐标系下从三维坐标系原点指向各目标顶点的单位向量；
根据各目标顶点对应的单位向量和实际长度，确定全景相机和目标物之间的距离。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据第一顶点对应的第一单位向量和第二顶点对应的第二单位向量，确定第一单位向量和第二单位向量之间的第一夹角；
确定第二单位向量和目标方向的第二夹角；目标方向为垂直于第一顶点和第二顶点之间的连线的方向；
根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定第一夹角和第二夹角的求和结果；
确定求和结果的正切值和第二夹角的正切值的差值；
根据实际长度和差值的比值，确定全景相机和目标物之间的距离。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据预设视场角、目标平面图像的长度和高度，确定全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的第二坐标之间的映射关系；
根据映射关系确定各第二坐标；
根据各第一像素点的像素值，确定各第二坐标对应的第二像素点的像素值；
根据各第二坐标对应的第二像素点的像素值，确定目标平面图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据两个目标顶点的像素坐标，确定各目标顶点在经纬坐标系下的经纬坐标；
根据各目标顶点的经纬坐标，确定各目标顶点在球坐标系下的单位坐标。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
确定目标平面图像中目标物的目标框，目标平面图像基于目标全景图像确定；
根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；
根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各目标顶点的单位坐标，确定目标顶点对应的单位向量；目标顶点对应的单位向量为三维坐标系下从三维坐标系原点指向各目标顶点的单位向量；
根据各目标顶点对应的单位向量和实际长度，确定全景相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一顶点对应的第一单位向量和第二顶点对应的第二单位向量，确定第一单位向量和第二单位向量之间的第一夹角；
确定第二单位向量和目标方向的第二夹角；目标方向为垂直于第一顶点和第二顶点之间的连线的方向；
根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定第一夹角和第二夹角的求和结果；
确定求和结果的正切值和第二夹角的正切值的差值；
根据实际长度和差值的比值，确定全景相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设视场角、目标平面图像的长度和高度，确定全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的第二坐标之间的映射关系；
根据映射关系确定各第二坐标；
根据各第一像素点的像素值，确定各第二坐标对应的第二像素点的像素值；
根据各第二坐标对应的第二像素点的像素值，确定目标平面图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据两个目标顶点的像素坐标，确定各目标顶点在经纬坐标系下的经纬坐标；
根据各目标顶点的经纬坐标，确定各目标顶点在球坐标系下的单位坐标。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
确定目标平面图像中目标物的目标框，目标平面图像基于目标全景图像确定；
根据目标框的两个目标顶点在目标平面图像中的像素坐标，确定各目标顶点在目标全景图像的球坐标系下的单位坐标；
根据各目标顶点的单位坐标以及两个目标顶点之间的实际长度，确定相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各目标顶点的单位坐标，确定目标顶点对应的单位向量；目标顶点对应的单位向量为三维坐标系下从三维坐标系原点指向各目标顶点的单位向量；
根据各目标顶点对应的单位向量和实际长度，确定全景相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一顶点对应的第一单位向量和第二顶点对应的第二单位向量，确定第一单位向量和第二单位向量之间的第一夹角；
确定第二单位向量和目标方向的第二夹角；目标方向为垂直于第一顶点和第二顶点之间的连线的方向；
根据第一夹角、第二夹角和实际长度，确定全景相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定第一夹角和第二夹角的求和结果；
确定求和结果的正切值和第二夹角的正切值的差值；
根据实际长度和差值的比值，确定全景相机和目标物之间的距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设视场角、目标平面图像的长度和高度，确定全景图像中各第一像素点的第一坐标与目标平面图像中各第二像素点的第二坐标之间的映射关系；
根据映射关系确定各第二坐标；
根据各第一像素点的像素值，确定各第二坐标对应的第二像素点的像素值；
根据各第二坐标对应的第二像素点的像素值，确定目标平面图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据两个目标顶点的像素坐标，确定各目标顶点在经纬坐标系下的经纬坐标；
根据各目标顶点的经纬坐标，确定各目标顶点在球坐标系下的单位坐标。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景图像测距方法，其特征在于，所述方法包括：
确定目标平面图像中目标物的目标框，所述目标平面图像基于目标全景图像确定；
根据所述目标框的两个目标顶点在所述目标平面图像中的像素坐标，确定各所述目标顶点在所述目标全景图像的球坐标系下的单位坐标；
根据各所述目标顶点的单位坐标以及所述两个目标顶点之间的实际长度，确定相机和所述目标物之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述目标顶点的单位坐标以及所述两个目标顶点之间的实际长度，确定相机和所述目标物之间的距离，包括：
根据各所述目标顶点的单位坐标，确定所述目标顶点对应的单位向量；所述目标顶点对应的所述单位向量为三维坐标系下从三维坐标系原点指向各所述目标顶点的单位向量；
根据各所述目标顶点对应的所述单位向量和所述实际长度，确定所述全景相机和所述目标物之间的距离。
3.根据权利要求2所述的方法，其特征在于，所述两个目标顶点包括第一顶点和第二顶点，所述根据各所述目标顶点对应的所述单位向量和所述实际长度，确定所述全景相机和所述目标物之间的距离，包括：
根据所述第一顶点对应的第一单位向量和所述第二顶点对应的第二单位向量，确定所述第一单位向量和所述第二单位向量之间的第一夹角；
确定所述第二单位向量和目标方向的第二夹角；所述目标方向为垂直于所述第一顶点和第二顶点之间的连线的方向；
根据所述第一夹角、所述第二夹角和所述实际长度，确定所述全景相机和所述目标物之间的距离。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一夹角、所述第二夹角和所述实际长度，确定所述全景相机和所述目标物之间的距离，包括：
确定第一夹角和第二夹角的求和结果；
确定所述求和结果的正切值和所述第二夹角的正切值的差值；
根据所述实际长度和所述差值的比值，确定所述全景相机和所述目标物之间的距离。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据预设视场角、目标平面图像的长度和高度，确定所述全景图像中各第一像素点的第一坐标与所述目标平面图像中各第二像素点的第二坐标之间的映射关系；
根据所述映射关系确定各所述第二坐标；
根据各所述第一像素点的像素值，确定各所述第二坐标对应的第二像素点的像素值；
根据各所述第二坐标对应的第二像素点的像素值，确定所述目标平面图像。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标框的两个目标顶点的像素坐标，确定各所述目标顶点在球坐标系下的单位坐标，包括：
根据所述两个目标顶点的像素坐标，确定各所述目标顶点在经纬坐标系下的经纬坐标；
根据各所述目标顶点的经纬坐标，确定各所述目标顶点在球坐标系下的单位坐标。
7.一种全景图像测距装置，其特征在于，所述装置包括：
第一确定模块，用于确定目标平面图像中目标物的目标框，所述目标平面图像基于目标全景图像确定；
第二确定模块，用于根据所述目标框的两个目标顶点在所述目标平面图像中的像素坐标，确定各所述目标顶点在所述目标全景图像的球坐标系下的单位坐标；
第三确定模块，用于根据各所述目标顶点的单位坐标以及所述两个目标顶点之间的实际长度，确定相机和所述目标物之间的距离。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311031861.1A 2023-08-15 2023-08-15 全景图像测距方法、装置、设备、存储介质和程序产品 Pending CN117146770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311031861.1A CN117146770A (zh) 2023-08-15 2023-08-15 全景图像测距方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311031861.1A CN117146770A (zh) 2023-08-15 2023-08-15 全景图像测距方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN117146770A true CN117146770A (zh) 2023-12-01

Family

ID=88903646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311031861.1A Pending CN117146770A (zh) 2023-08-15 2023-08-15 全景图像测距方法、装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN117146770A (zh)

Similar Documents

Publication Publication Date Title
US11593654B2 (en) System for performing convolutional image transformation estimation
US10565803B2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
EP3523777A1 (en) System and method for rectifying a wide-angle image
CN113963072B (zh) 双目摄像头标定方法、装置、计算机设备和存储介质
CN112991429B (zh) 箱体体积测量方法、装置、计算机设备和存储介质
CN108074250B (zh) 匹配代价计算方法和装置
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
CN112184662B (zh) 应用于无人机图像拼接中的相机外参数初始方法及系统
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
US20230169755A1 (en) Apparatus and method with image processing
CN117146770A (zh) 全景图像测距方法、装置、设备、存储介质和程序产品
CN116109799A (zh) 调整模型训练方法、装置、计算机设备及存储介质
KR20100072843A (ko) 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
CN113436256A (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN114750147B (zh) 机器人的空间位姿确定方法、装置和机器人
CN117576645B (zh) 基于bev视角的车位检测方法、装置和计算机设备
CN116664682A (zh) 机器人、地图生成方法和存储介质
CN116295031B (zh) 弧垂的测量方法、装置、计算机设备和存储介质
CN115223110B (zh) 目标检测方法、装置、计算机设备和存储介质
CN117830372A (zh) 三维场景构建方法、装置、计算机设备和存储介质
CN116977386A (zh) 房屋点云数据的处理方法和装置
CN116805329A (zh) 配准关系确定方法、装置、计算机设备和存储介质
Reategui et al. Fast omni-image unwarping using pano-mapping pointers array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination