CN111457886A - 距离确定方法、装置及系统 - Google Patents

距离确定方法、装置及系统 Download PDF

Info

Publication number
CN111457886A
CN111457886A CN202010252906.8A CN202010252906A CN111457886A CN 111457886 A CN111457886 A CN 111457886A CN 202010252906 A CN202010252906 A CN 202010252906A CN 111457886 A CN111457886 A CN 111457886A
Authority
CN
China
Prior art keywords
visual image
initial
main
camera
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010252906.8A
Other languages
English (en)
Other versions
CN111457886B (zh
Inventor
胡刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010252906.8A priority Critical patent/CN111457886B/zh
Publication of CN111457886A publication Critical patent/CN111457886A/zh
Priority to PCT/CN2020/119625 priority patent/WO2021196548A1/zh
Priority to US17/758,370 priority patent/US20230027389A1/en
Application granted granted Critical
Publication of CN111457886B publication Critical patent/CN111457886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0221—Testing optical properties by determining the optical axis or position of lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供了一种距离确定方法、装置及系统，涉及图像处理技术领域，该方法包括：获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像；通过特征提取和特征匹配获取主视觉图像和原始副视觉图像之间的初始匹配点对；基于初始匹配点对和不同的约束条件依次对原始副视觉图像进行校正，得到目标副视觉图像；其中，不同的约束条件包括：最小旋转角度的约束条件和最小视差的约束条件；根据主视觉图像和目标副视觉图像确定对焦距离。本发明能够更为准确地确定对焦距离。

Description

距离确定方法、装置及系统
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种距离确定方法、装置及系统。
背景技术
多摄像头(可称为多摄)是指包括一个主摄像头和至少一个副摄像头的组合设计，多应用于诸如手机等拍照设备中，以模拟单反镜头的成像效果。出于便携性的考虑，现有应用多摄的拍照设备的尺寸较小，受限于此，多摄的基距和焦距都不够大，使得拍照需要在一定的有效距离内才能够取得较好效果；基于此，拍照设备通常需要检测对焦距离以向用户提示当前拍照是否超过限制的有效距离。
上述拍照设备可以采用常见的双摄像头测距技术进行测距，在该测距方式中，利用出厂时设定的标定数据对双目图像进行校正，再基于校正后的图像确定对焦距离。然而，随着拍摄设备在使用过程中的碰摔、老化等问题，双摄像头之间的结构参数发生变化，导致标定数据不再准确，而且，摄像头本身是变焦的，也会对测距产生一定影响，从而降低了测距的准确性。
发明内容
有鉴于此，本发明的目的在于提供一种距离确定方法、装置及系统，能够更为准确地确定对焦距离。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种距离确定方法，所述方法包括：获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像；通过特征提取和特征匹配获取所述主视觉图像和所述原始副视觉图像之间的初始匹配点对；基于所述初始匹配点对和不同的约束条件依次对所述原始副视觉图像进行校正，得到目标副视觉图像；其中，不同的所述约束条件包括：最小旋转角度的约束条件和最小视差的约束条件；根据所述主视觉图像和所述目标副视觉图像确定对焦距离。
进一步，通过特征提取和特征匹配获取所述主视觉图像和所述原始副视觉图像之间的初始匹配点对的步骤，包括：提取所述主视觉图像中的初始主特征点和所述原始副视觉图像中的初始副特征点；计算任意特征点对之间的相似度；其中，所述特征点对包括一个初始主特征点和一个初始副特征点；根据所述相似度确定候选匹配点对；根据抽样一致性算法对所述候选匹配点进行筛选，得到初始匹配点对；其中，所述初始匹配点对包括具有匹配关系的所述初始主特征点和所述初始副特征点。
进一步，基于所述初始匹配点对和预设的约束条件对所述原始副视觉图像进行校正，得到目标副视觉图像的步骤，包括：根据预设的立体校正模型对所述初始匹配点对中的初始副特征点进行校正，得到目标副特征点；其中，所述立体校正模型表示由副摄像头的坐标系到主摄像头的坐标系的转换关系；基于所述最小旋转角度的约束条件，以及所述初始匹配点对中具有匹配关系的所述初始主特征点和所述目标副特征点对所述原始副视觉图像进行校正，得到第一副视觉图像；基于所述最小视差的约束条件，以及具有匹配关系的所述初始主特征点和所述目标副特征点对所述第一副视觉图像进行校正，得到目标副视觉图像。
进一步，基于所述最小旋转角度的约束条件，以及具有匹配关系的所述初始主特征点和所述目标副特征点对所述原始副视觉图像进行校正，得到第一副视觉图像的步骤，包括：基于所述主摄像头的坐标系，获取所述初始主特征点和所述目标副特征点分别在第一坐标轴上的坐标值；其中，所述主摄像头的坐标系是以所述主摄像头的光心为原点，以所述主摄像头的光心指向所述副摄像头的光心的方向为第二坐标轴，以及以所述主摄像头的光轴方向为第三坐标轴而建立的空间三维坐标系；所述第一坐标轴为垂直于所述第二坐标轴和所述第三坐标轴的坐标轴；根据获取的坐标值和列文伯格马夸尔特LM算法对旋转角度的校正成本进行优化，得到最小旋转角度；其中，所述旋转角度为将所述原始副视觉图像旋转至与所述主视觉图像对齐的过程中产生的；按照所述最小旋转角度对所述原始副视觉图像进行校正，得到第一副视觉图像。
进一步，所述旋转角度的校正成本为：
Figure BDA0002435923510000031
其中，costFunction(R)表示旋转角度的校正成本，R表示旋转角度，Rx表示绕所述第二坐标轴旋转的俯仰角，Ry表示绕所述第一坐标轴旋转的偏航角，Rz表示绕所述第三坐标轴旋转的滚动角，PL i-y表示所述主视觉图像中第i个初始主特征点在第一坐标轴上的坐标值，PR i-y表示所述副视觉图像中第i个目标副特征点在第一坐标轴上的坐标值。
进一步，所述立体校正模型的构建过程包括：将所述主摄像头的坐标系确定为参考坐标系；根据双目相机的预设标定参数，构建所述参考坐标系下的立体校正模型；其中，所述双目相机包括所述主摄像头和所述副摄像头。
进一步，所述立体校正模型为：
HL＝KL*KL -1
HR＝KL*R-1*KR -1
其中，HL表示由所述主摄像头的坐标系到所述参考坐标系的转换关系，KL表示所述主摄像头的预设的内参数矩阵，HR表示由所述副摄像头的坐标系到所述参考坐标系的转换关系，KR表示所述副摄像头的预设的内参数矩阵，R表示由所述副摄像头的坐标系到所述主摄像头的坐标系的旋转矩阵。
进一步，基于所述最小视差的约束条件，以及具有匹配关系的所述初始主特征点和所述目标副特征点对所述第一副视觉图像进行校正，得到目标副视觉图像的步骤，包括：基于所述主摄像头的坐标系，获取所述初始主特征点和所述目标副特征点分别在所述第二坐标轴上的坐标值；根据获取的坐标值确定具有匹配关系的所述初始主特征点和所述目标副特征点之间的特征点视差值；选取特征点视差值最小的多对所述初始匹配点对，并将选取的多对初始匹配点对作为目标匹配点对；其中，所述目标匹配点对包括具有匹配关系的所述初始主特征点和所述目标副特征点；根据所述目标匹配点对的特征点视差值和LM算法对偏航角的校正成本进行优化，得到最小偏航角；其中，所述偏航角为将所述原始副视觉图像沿着所述第一坐标轴旋转至与所述主视觉图像对齐的过程中产生的；按照所述最小偏航角对所述第一副视觉图像进行校正，得到目标副视觉图像。
第二方面，本发明实施例还提供一种距离确定装置，所述装置包括：图像获取模块，用于获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像；特征匹配模块，用于通过特征提取和特征匹配获取所述主视觉图像和所述原始副视觉图像之间的初始匹配点对；图像校正模块，用于基于所述初始匹配点对和不同的约束条件依次对所述原始副视觉图像进行校正，得到目标副视觉图像；其中，不同的所述约束条件包括：最小旋转角度的约束条件和最小视差的约束条件；距离确定模块，用于根据所述主视觉图像和所述目标副视觉图像确定对焦距离。
第三方面，本发明实施例提供了一种距离确定系统，所述系统包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种距离确定方法、装置及系统，首先获取主视觉图像和原始副视觉图像之间的初始匹配点对；然后基于初始匹配点对和最小旋转角度的约束条件、最小视差的约束条件依次对原始副视觉图像进行校正，得到目标副视觉图像；最后根据主视觉图像和目标副视觉图像确定双目摄像头的对焦距离。本实施例提供的上述方式中，先在最小旋转角度的约束条件的限制下，提高校正后副视觉图像的旋转角度与主视觉图像对齐的准确性；然后考虑到，当特征点视差趋近于0时，表示该点在无穷远处，那么可以利用视差值最小的匹配点对(也即最小视差的约束条件的限制)，提高再次校正后副视觉图像在竖直方向与主视觉图像对齐的准确性；基于上述校正过程能够有效提高图像的校正结果的准确性，从而由此确定的对焦距离也能够具有较高的准确性。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图；
图2示出了本发明实施例所提供的一种距离确定方法的流程图；
图3示出了本发明实施例所提供的一种双目模型的示意图；
图4示出了本发明实施例所提供的一种三角测距模型的示意图；
图5示出了本发明实施例所提供的一种距离确定装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有应用多摄的拍照设备，随着使用过程中的碰摔、老化等问题，出厂时设定的标定数据不再准确，利用该标定数据无法准确的校正图像，从而距离检测产生一定影响，降低了测距的准确性。基于此，为改善以上问题至少之一，本发明实施例提供了一种距离确定方法、装置及系统，该技术不仅可以应用于诸如手机、平板电脑等具有多摄像头的拍照设备中，实现图像校正和距离检测等功能，为便于理解，以下对本发明实施例进行详细介绍。
实施例一：
首先，参照图1来描述用于实现本发明实施例的距离确定方法、装置及系统的示例电子设备100。
如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的一种距离确定方法、装置及系统的示例电子设备可以被实现为诸如智能手机和平板电脑等智能终端上。
实施例二：
本实施例提供一种距离确定方法，该方法可通过上述实施例中的电子设备执行。参照图2所示的一种距离确定方法的流程图，该方法具体包括如下步骤：
步骤S202，获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像。
当拍照设备开始测量距离时，通过主摄像头和副摄像头对远视场景同步拍摄一组图像：主视觉图像和原始副视觉图像。其中，该远视场景一般为大于10米的场景；上述同步可以为主摄像头和副摄像头的拍摄间隔在指定时间之内(如<10ms)。
通常情况下，拍照设备安装的多摄像头中，主摄像头负责拍摄取景，其余的至少一个副摄像头负责测算景深范围、变焦、增大进光量、色彩调节或细节调校等辅助成像。当实际使用的拍照设备所安装的副摄像头有两个以上时，上述原始副视觉图像可以为多个副摄像头拍摄的辅助图像中的任意一张。为了便于描述，可以将本实施例中使用的主摄像头和副摄像头称为双目相机。
步骤S204，通过特征提取和特征匹配获取主视觉图像和原始副视觉图像之间的初始匹配点对。
首先提取主视觉图像和原始副视觉图像的特征点，然后基于两张图像中特征点之间的匹配度确定多对初始匹配点对，该初始匹配点对包括具有匹配关系的主视觉图像的特征点和原始副视觉图像的特征点；比如，在包含有目标人脸的场景下，主视觉图像的鼻子特征点和原始副视觉图像的鼻子特征点组成一对初始匹配点对。
步骤S206，基于初始匹配点对和不同的约束条件依次对原始副视觉图像进行校正，得到目标副视觉图像。
其中，不同的约束条件包括：最小旋转角度的约束条件和最小视差的约束条件。最小旋转角度的约束条件可以理解为：根据多对匹配点对中特征点的坐标值，确定能够将原始副视觉图像旋转至与主视觉图像对齐的最小旋转角度，该旋转角度为欧拉角，包括绕x轴旋转的俯仰角、绕y轴旋转的偏航角和绕z轴旋转的滚动角。最小视差的约束条件可以理解为：利用视差值最小的多对匹配点对中特征点的坐标值，确定能够将原始副视觉图像旋转至与主视觉图像对齐的最小偏航角；可以理解的是，根据光学三角法可知，当特征点视差值趋近于0时，表示该特征点在无穷远处，那么基于视差值最小的匹配点对计算最小偏航角，可以得到较为准确的图像校正结果，并提高由此测得的距离的准确性。
在本实施例中，先利用最小旋转角度的约束条件对原始副视觉图像进行初次校正，得到第一副视觉图像，然后再利用最小视差的约束条件对第一副视觉图像进行再次校正，得到目标副视觉图像。相比于现有技术中，同时旋转主视觉图像和副视觉图像的校正方式，本实施例提供的该校正方式保持主视觉图像不变，旋转原始副视觉图像旋转以使其与主视觉图像对齐，减少了矫正过程中的未知参数，增加了鲁棒性；同时，在约束条件的限制下，提高了图像校正结果的准确性。
步骤S208，根据主视觉图像和目标副视觉图像确定对焦距离。
在得到完成立体校正的主视觉图像和目标副视觉图像之后，可以先使用BM算法(Block Matching)算法或SGBM(Semi-Global Block matching)算法计算视差图像，然后根据视差与深度的转换关系将视差图像转换为深度图像，深度图像中记录有场景中被拍摄对象与摄像头之间的距离，也即通过深度图像确定对焦距离。
本发明实施例提供的距离确定方法，首先获取主视觉图像和原始副视觉图像之间的初始匹配点对；然后基于初始匹配点对和最小旋转角度的约束条件、最小视差的约束条件依次对原始副视觉图像进行校正，得到目标副视觉图像；最后根据主视觉图像和目标副视觉图像确定双目摄像头的对焦距离。本实施例提供的上述方式中，先在最小旋转角度的约束条件的限制下，提高校正后副视觉图像的旋转角度与主视觉图像对齐的准确性；然后考虑到，当特征点视差趋近于0时，表示该点在无穷远处，那么可以利用视差值最小的匹配点对(也即最小视差的约束条件的限制)，提高再次校正后副视觉图像在竖直方向与主视觉图像对齐的准确性；基于上述校正过程能够有效提高图像校正结果的准确性，从而由此确定的对焦距离也能够具有较高的准确性。
针对上述步骤S204，本实施例提供一种主视觉图像和原始副视觉图像之间的初始匹配点对的获取方法，参照如下步骤1至步骤4：
步骤1，提取主视觉图像中的初始主特征点和原始副视觉图像中的初始副特征点；具体的诸如可以采用SURF(Speeded Up Robust Features，加速稳健特征)算法提取主视觉图像中的初始主特征点和原始副视觉图像中的初始副特征点。
步骤2，计算任意特征点对之间的相似度；其中，特征点对包括一个初始主特征点和一个初始副特征点。其中，相似度可以通过初始主特征点和初始副特征点之间的距离(如欧几里得距离、余弦相似度等)表征。
步骤3，根据相似度确定候选匹配点对；其中，候选匹配点对包括具有匹配关系的初始主特征点和初始副特征点。初始主特征点和初始副特征点之间的相似度越高，表示这两个特征点对应于空间上同一个点的可能性越大，从而基于相似度确定具有匹配关系的初始主特征点和初始副特征点。
步骤4，根据RANSAC(RANdom SAmple Consensus，随机抽样一致)算法对候选匹配点进行筛选，得到初始匹配点对。
候选匹配点对中可能存在数据噪声，比如匹配错误的特征点对，初始主特征点与多个初始副特征点均具有匹配关系等等；为了消除数据噪声，本实施例根据RANSAC算法对候选匹配点进行筛选，以筛选出匹配准确性更高的初始匹配点对，该初始匹配点对包括具有匹配关系的初始主特征点和初始副特征点。
基于筛选得到初始匹配点对，本实施例提供一种基于该初始匹配点对和不同的约束条件的图像校正方法，主要包括以下三个步骤：
特征点校正步骤：根据预设的立体校正模型对初始副特征点进行校正，得到目标副特征点；其中，立体校正模型表示由副摄像头的坐标系到主摄像头的坐标系的转换关系；
图像初次校正步骤：基于最小旋转角度的约束条件，以及具有匹配关系的初始主特征点和目标副特征点对原始副视觉图像进行校正，得到第一副视觉图像；
图像二次校正步骤：基于最小视差的约束条件，以及具有匹配关系的初始主特征点和目标副特征点对第一副视觉图像进行校正，得到目标副视觉图像。
为了更好的理解上述图像校正方法，接下来对上述三个步骤分别展开描述。
在特征点校正步骤中，需要首先获取预先构建的立体校正模型，该立体校正模型的构建过程包括：将主摄像头的坐标系确定为参考坐标系；以及根据双目相机的预设标定参数，构建参考坐标系下的立体校正模型。
在一种具体的实现方式中，可参照图3所示的双目模型的示意图，构建包含主摄像头和副摄像头的平行双目模型，定义平行双目模型中主摄像头的坐标系和拍照设备中主摄像头的坐标系一致，具体而言，该坐标系是以平行双目模型中主摄像头的光心为原点，以主摄像头的光心指向副摄像头的光心的方向为第二坐标轴(x轴)，以主摄像头的光轴方向为第三坐标轴(z轴)，以及以垂直于第二坐标轴和第三坐标轴的方向为第一坐标轴(y轴)而建立的空间三维坐标系。在此情况下，定义绕x轴旋转为俯仰角(pitch)、绕y轴旋转为偏航角(yaw)，绕z轴旋转为滚动角(roll)。基于此可以得到立体校正模型为：
HL＝KL*KL -1 (1)
HR＝KL*R-1*KR -1 (2)
其中，HL表示由主摄像头的坐标系到参考坐标系(也即平行双目模型中主摄像头的坐标系)的转换关系，KL表示主摄像头的预设的内参数矩阵，HR表示由副摄像头的坐标系到参考坐标系的转换关系，KR表示副摄像头的预设的内参数矩阵，R表示由副摄像头的坐标系到主摄像头的坐标系的旋转矩阵，该旋转矩阵通过欧拉角表示，且欧拉角包括俯仰角、偏航角和滚动角。上述标定参数KL、KR、R是在拍照设备出厂前完成标定并保存的。
根据上述公式(1)所示的立体校正模型可以看出，主摄像头的坐标系与参考坐标系一致，并没有对初始主特征点进行校正。也即初始主特征点保持不变。根据上述公式(2)所示的立体校正模型，将初始副特征点由副摄像头的坐标系转换到主摄像头的坐标系，以得到目标副特征点。
接下来，图像初次校正步骤在具体实现时，可参照如下步骤(I)至(III)所示：
(I)基于拍照设备中主摄像头的坐标系(也即参考坐标系或平行双目模型中主摄像头的坐标系)，获取初始主特征点和目标副特征点分别在第一坐标轴上的坐标值；参照图3，该第一坐标轴为y轴。主视觉图像中第i个初始主特征点在y轴上的坐标值可表示为PL i-y，相匹配的，副视觉图像中第i个目标副特征点在y轴上的坐标值可表示PR i-y，且参照上述公式(2)所示的立体校正模型可以确定：
Figure BDA0002435923510000131
(II)根据获取的坐标值和LM(Levenberg-Marquardt，列文伯格马夸尔特)算法对旋转角度的校正成本进行优化，得到最小旋转角度；其中，旋转角度为将原始副视觉图像旋转至与主视觉图像对齐的过程中产生的。
在该步骤中，主摄像头的内参数矩阵KL和副摄像头的内参数矩阵KR为常量，以欧拉角R＝(Rx,Ry,Rz)作为未知参数，以行对齐作为旋转角度的校正成本(如公式(3)所示)，利用LM算法对旋转角度的校正成本进行优化，以取得最小旋转角度：
Figure BDA0002435923510000132
公式(3)中，costFunction(R)表示旋转角度的校正成本，R表示在原始副视觉图像的校正过程中，其相对于主视觉图像的旋转角度(或欧拉角)，其中的Rx表示绕x轴旋转的俯仰角，Ry表示绕y轴旋转的偏航角，Rz表示绕z轴旋转的滚动角，i＝1、2、……n。
(III)按照最小旋转角度对原始副视觉图像进行校正，得到第一副视觉图像。
本实施例提供的图像初次校正方式中，主摄像头坐标系和主视觉图像不动，将副摄像头坐标系和原始副视觉图像旋转对齐，减少了未知参数，增加了鲁棒性。
当完成图像初次校正时，可以得到平行双目模型，平行双目模型包括两个完全相同的摄像头，两个摄像头共面共线排列，该两个摄像头的内参数矩阵相同，且它们之间的旋转矩阵为单位矩阵，从而平行双目模型可表示为如下公式(4)：
PKL＝KL, PR＝[Rx Ry Rz], PKR＝KL (4)
公式(4)表示，在平行双目模型的坐标系下，平行双目模型中主摄像头的内参数矩阵PKL与双目相机中主摄像机的内参数矩阵KL相同，平行双目模型中的旋转矩阵PR与双目相机中的旋转矩阵[Rx Ry Rz]相同，平行双目模型中副摄像头的内参数矩阵PKR与平行双目模型中主摄像头的内参数矩阵PKL相同，也为KL。
根据上述平行双目模型以及最小旋转角度的约束条件可以确定，Rx、Rz是准确的，而Ry存在不确定性，基于此，本实施例在执行图像二次校正步骤时，可以首先通过最小视差的约束条件来约束Ry，具体可以包括如下步骤1)至步骤5)：
步骤1)，基于主摄像头的坐标系，获取初始主特征点和目标副特征点分别在第二坐标轴上的坐标值；参照图3，该第二坐标轴为x轴。主视觉图像中第i个初始主特征点在x轴上的坐标值可表示为PL i-x，相匹配的，副视觉图像中第i个目标副特征点在x轴上的坐标值可表示PR i-x，且参照上述公式(2)所示的立体校正模型可以确定：
Figure BDA0002435923510000141
步骤2)，根据获取的坐标值确定具有匹配关系的初始主特征点和目标副特征点之间的特征点视差值；特征点视差值例如可以为
Figure BDA0002435923510000142
步骤3)，选取特征点视差值最小的多对目标匹配点对；目标匹配点对包括具有匹配关系的初始主特征点和目标副特征点。
根据如下测距公式(5)和图4所示的三角测距模型的示意图可知，当特征点视差值xi趋近于0时，表示该特征点处于无穷远处(可以将大于10米的距离认为无穷远)，那么根据该特征点计算Ry值达到绝对最小值。
Figure BDA0002435923510000143
其中，b表示主摄像头与副摄像头之间的基距，f为主摄像头像素焦距，xi为特征点视差值，d为特征点的对焦距离。
步骤4)，根据目标匹配点对的特征点视差值和LM算法对偏航角的校正成本进行优化，得到最小偏航角；其中，偏航角为将原始副视觉图像沿着第一坐标轴(也即y轴)旋转至与主视觉图像对齐的过程中产生的。
在该步骤中，主摄像头的内参数矩阵KL、副摄像头的内参数矩阵KR以及Rx、Rz为常量，偏航角Ry作为未知参数，利用LM算法对公式(6)所示的偏航角的校正成本进行优化，以取得最小偏航角：
Figure BDA0002435923510000151
公式(6)中，costFunction(Ry)表示偏航角Ry的校正成本。
在实际应用中发现，当选取特征点视差最小的3至5对目标匹配点对(也即n取3至5)时，就能够具有较高的鲁棒性。
步骤5)，按照最小偏航角对第一副视觉图像进行校正，得到目标副视觉图像。
本实施例提供的图像二次校正方式中，根据无穷远视差值趋于0的准则，将无穷远场景特有的视差性质和旋转参数Ry联系在一起，同时每个摄像头的内参数矩阵不变，从而实现了图像校正过程的双重约束，有效提高了图像校正结果的准确性。
根据上述立体校正后的主视觉图像和目标副视觉图像生成深度图像，获取深度图像中的感兴趣区域，并计算感兴趣区域的对焦距离，从而完成了距离的检测。
综上，上述发明实施例提供的距离确定方法，先在最小旋转角度的约束条件的限制下，提高校正后副视觉图像的旋转角度与主视觉图像对齐的准确性；然后考虑到，当特征点视差趋近于0时，表示该点在无穷远处，那么可以利用最小视差的约束条件的限制，提高再次校正后副视觉图像在竖直方向与主视觉图像对齐的准确性；基于上述校正过程能够有效提高图像校正结果的准确性，从而由此确定的对焦距离也能够具有较高的准确性。
实施例三：
参照上述实施例提供的距离确定方法，本实施例提供了一种距离确定装置。参见图5所示的一种距离确定装置的结构框图，该装置包括：
图像获取模块502，用于获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像；
特征匹配模块504，用于通过特征提取和特征匹配获取主视觉图像和原始副视觉图像之间的初始匹配点对；
图像校正模块506，用于基于初始匹配点对和不同的约束条件依次对原始副视觉图像进行校正，得到目标副视觉图像；其中，不同的约束条件包括：最小旋转角度的约束条件和最小视差的约束条件；
距离确定模块508，用于根据主视觉图像和目标副视觉图像确定对焦距离。
本发明实施例提供的上述距离确定装置，先在最小旋转角度的约束条件的限制下，提高校正后副视觉图像的旋转角度与主视觉图像对齐的准确性；然后考虑到，当特征点视差趋近于0时，表示该点在无穷远处，那么可以利用视差值最小的匹配点对(也即最小视差的约束条件的限制)，提高再次校正后副视觉图像在竖直方向与主视觉图像对齐的准确性；基于上述校正过程能够有效提高图像的校正结果的准确性，从而由此确定的对焦距离也能够具有较高的准确性。
在一些实施方式中，上述特征匹配模块504还用于：提取主视觉图像中的初始主特征点和原始副视觉图像中的初始副特征点；计算任意特征点对之间的相似度；其中，特征点对包括一个初始主特征点和一个初始副特征点；根据相似度确定候选匹配点对；根据抽样一致性算法对候选匹配点进行筛选，得到初始匹配点对；其中，初始匹配点对包括具有匹配关系的初始主特征点和初始副特征点。
在一些实施方式中，上述图像校正模块506还用于：根据预设的立体校正模型对初始副特征点进行校正，得到目标副特征点；其中，立体校正模型表示由副摄像头的坐标系到主摄像头的坐标系的转换关系；基于最小旋转角度的约束条件，以及具有匹配关系的初始主特征点和目标副特征点对原始副视觉图像进行校正，得到第一副视觉图像；基于最小视差的约束条件，以及具有匹配关系的初始主特征点和目标副特征点对第一副视觉图像进行校正，得到目标副视觉图像。
在一些实施方式中，上述图像校正模块506还用于：基于主摄像头的坐标系，获取初始主特征点和目标副特征点分别在第一坐标轴上的坐标值；其中，主摄像头的坐标系是以主摄像头的光心为原点，以主摄像头的光心指向副摄像头的光心的方向为第二坐标轴，以及以主摄像头的光轴方向为第三坐标轴而建立的空间三维坐标系；第一坐标轴为垂直于第二坐标轴和所述第三坐标轴的坐标轴；根据获取的坐标值和LM算法对旋转角度的校正成本进行优化，得到最小旋转角度；其中，旋转角度为将原始副视觉图像旋转至与主视觉图像对齐的过程中产生的；按照最小旋转角度对原始副视觉图像进行校正，得到第一副视觉图像。
在一些实施方式中，上述立体校正模型的构建过程包括：将主摄像头的坐标系确定为参考坐标系；根据双目相机的预设标定参数，构建参考坐标系下的立体校正模型；其中，双目相机包括主摄像头和副摄像头。
在一些实施方式中，上述图像校正模块506还用于：基于主摄像头的坐标系，获取初始主特征点和目标副特征点分别在第二坐标轴上的坐标值；根据获取的坐标值确定具有匹配关系的初始主特征点和目标副特征点之间的特征点视差值；选取特征点视差值最小的多对初始匹配点对，并将选取的多对初始匹配点对作为目标匹配点对；目标匹配点对包括具有匹配关系的初始主特征点和目标副特征点；根据目标匹配点对的特征点视差值和LM算法对偏航角的校正成本进行优化，得到最小偏航角；其中，偏航角为将原始副视觉图像沿着第一坐标轴旋转至与主视觉图像对齐的过程中产生的；按照最小偏航角对第一副视觉图像进行校正，得到目标副视觉图像。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例二相同，为简要描述，本实施例部分未提及之处，可参考前述实施例二中相应内容。
实施例四：
基于前述实施例，本实施例给出了一种距离确定系统，该系统包括：处理器和存储设备；其中，存储设备上存储有计算机程序，计算机程序在被处理器运行时执行如实施例二所提供的任一项距离确定方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述实施例二提供的任一项距离确定方法的步骤。
本发明实施例所提供的一种距离确定方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的距离确定方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种距离确定方法，其特征在于，所述方法包括：
获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像；
通过特征提取和特征匹配获取所述主视觉图像和所述原始副视觉图像之间的初始匹配点对；
基于所述初始匹配点对和不同的约束条件依次对所述原始副视觉图像进行校正，得到目标副视觉图像；其中，不同的所述约束条件包括：最小旋转角度的约束条件和最小视差的约束条件；
根据所述主视觉图像和所述目标副视觉图像确定对焦距离。
2.根据权利要求1所述的方法，其特征在于，通过特征提取和特征匹配获取所述主视觉图像和所述原始副视觉图像之间的初始匹配点对的步骤，包括：
提取所述主视觉图像中的初始主特征点和所述原始副视觉图像中的初始副特征点；
计算任意特征点对之间的相似度；其中，所述特征点对包括一个所述初始主特征点和一个所述初始副特征点；
根据所述相似度确定候选匹配点对；
根据抽样一致性算法对所述候选匹配点进行筛选，得到初始匹配点对；其中，所述初始匹配点对包括具有匹配关系的所述初始主特征点和所述初始副特征点。
3.根据权利要求1所述的方法，其特征在于，基于所述初始匹配点对和预设的约束条件对所述原始副视觉图像进行校正，得到目标副视觉图像的步骤，包括：
根据预设的立体校正模型对所述初始匹配点对中的初始副特征点进行校正，得到目标副特征点；其中，所述立体校正模型表示由副摄像头的坐标系到主摄像头的坐标系的转换关系；
基于所述最小旋转角度的约束条件，以及所述初始匹配点对中具有匹配关系的初始主特征点和所述目标副特征点对所述原始副视觉图像进行校正，得到第一副视觉图像；
基于所述最小视差的约束条件，以及具有匹配关系的所述初始主特征点和所述目标副特征点对所述第一副视觉图像进行校正，得到目标副视觉图像。
4.根据权利要求3所述的方法，其特征在于，基于所述最小旋转角度的约束条件，以及具有匹配关系的所述初始主特征点和所述目标副特征点对所述原始副视觉图像进行校正，得到第一副视觉图像的步骤，包括：
基于所述主摄像头的坐标系，获取所述初始主特征点和所述目标副特征点分别在第一坐标轴上的坐标值；其中，所述主摄像头的坐标系是以所述主摄像头的光心为原点，以所述主摄像头的光心指向所述副摄像头的光心的方向为第二坐标轴，以及以所述主摄像头的光轴方向为第三坐标轴而建立的空间三维坐标系；所述第一坐标轴为垂直于所述第二坐标轴和所述第三坐标轴的坐标轴；
根据获取的坐标值和列文伯格马夸尔特LM算法对旋转角度的校正成本进行优化，得到最小旋转角度；其中，所述旋转角度为将所述原始副视觉图像旋转至与所述主视觉图像对齐的过程中产生的；
按照所述最小旋转角度对所述原始副视觉图像进行校正，得到第一副视觉图像。
5.根据权利要求4所述的方法，其特征在于，所述旋转角度的校正成本为：
Figure FDA0002435923500000031
其中，costFunction(R)表示旋转角度的校正成本，R表示旋转角度，Rx表示绕所述第二坐标轴旋转的俯仰角，Ry表示绕所述第一坐标轴旋转的偏航角，Rz表示绕所述第三坐标轴旋转的滚动角，PL i-y表示所述主视觉图像中第i个初始主特征点在第一坐标轴上的坐标值，PR i-y表示所述副视觉图像中第i个目标副特征点在第一坐标轴上的坐标值。
6.根据权利要求3所述的方法，其特征在于，所述立体校正模型的构建过程包括：
将所述主摄像头的坐标系确定为参考坐标系；
根据双目相机的预设标定参数，构建所述参考坐标系下的立体校正模型；其中，所述双目相机包括所述主摄像头和所述副摄像头。
7.根据权利要求6所述的方法，其特征在于，所述立体校正模型为：
HL＝KL*KL -1
HR＝KL*R-1*KR -1
其中，HL表示由所述主摄像头的坐标系到所述参考坐标系的转换关系，KL表示所述主摄像头的预设的内参数矩阵，HR表示由所述副摄像头的坐标系到所述参考坐标系的转换关系，KR表示所述副摄像头的预设的内参数矩阵，R表示由所述副摄像头的坐标系到所述主摄像头的坐标系的旋转矩阵。
8.根据权利要求4所述的方法，其特征在于，基于所述最小视差的约束条件，以及具有匹配关系的所述初始主特征点和所述目标副特征点对所述第一副视觉图像进行校正，得到目标副视觉图像的步骤，包括：
基于所述主摄像头的坐标系，获取所述初始主特征点和所述目标副特征点分别在所述第二坐标轴上的坐标值；
根据获取的坐标值确定具有匹配关系的所述初始主特征点和所述目标副特征点之间的特征点视差值；
选取特征点视差值最小的多对所述初始匹配点对，并将选取的多对初始匹配点对作为目标匹配点对；其中，所述目标匹配点对包括具有匹配关系的所述初始主特征点和所述目标副特征点；
根据所述目标匹配点对的特征点视差值和LM算法对偏航角的校正成本进行优化，得到最小偏航角；其中，所述偏航角为将所述原始副视觉图像沿着所述第一坐标轴旋转至与所述主视觉图像对齐的过程中产生的；
按照所述最小偏航角对所述第一副视觉图像进行校正，得到目标副视觉图像。
9.一种距离确定装置，其特征在于，所述装置包括：
图像获取模块，用于获取主摄像头拍摄的主视觉图像和副摄像头拍摄的原始副视觉图像；
特征匹配模块，用于通过特征提取和特征匹配获取所述主视觉图像和所述原始副视觉图像之间的初始匹配点对；
图像校正模块，用于基于所述初始匹配点对和不同的约束条件依次对所述原始副视觉图像进行校正，得到目标副视觉图像；其中，不同的所述约束条件包括：最小旋转角度的约束条件和最小视差的约束条件；
距离确定模块，用于根据所述主视觉图像和所述目标副视觉图像确定对焦距离。
10.一种距离确定系统，其特征在于，所述系统包括：处理器和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。
CN202010252906.8A 2020-04-01 2020-04-01 距离确定方法、装置及系统 Active CN111457886B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010252906.8A CN111457886B (zh) 2020-04-01 2020-04-01 距离确定方法、装置及系统
PCT/CN2020/119625 WO2021196548A1 (zh) 2020-04-01 2020-09-30 距离确定方法、装置及系统
US17/758,370 US20230027389A1 (en) 2020-04-01 2020-09-30 Distance determination method, apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010252906.8A CN111457886B (zh) 2020-04-01 2020-04-01 距离确定方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111457886A true CN111457886A (zh) 2020-07-28
CN111457886B CN111457886B (zh) 2022-06-21

Family

ID=71677049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010252906.8A Active CN111457886B (zh) 2020-04-01 2020-04-01 距离确定方法、装置及系统

Country Status (3)

Country Link
US (1) US20230027389A1 (zh)
CN (1) CN111457886B (zh)
WO (1) WO2021196548A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767455A (zh) * 2021-01-08 2021-05-07 北京的卢深视科技有限公司 一种双目结构光的校准方法及系统
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
CN113348464A (zh) * 2021-04-30 2021-09-03 华为技术有限公司 一种图像处理方法以及装置
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统
CN113793380A (zh) * 2021-08-27 2021-12-14 之江实验室 一种基于单目相机的头部三维坐标的摔倒检测方法
CN114500849A (zh) * 2022-02-21 2022-05-13 上海东方传媒技术有限公司 一种多视角环绕拍摄矫正方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037814B (zh) * 2021-11-11 2022-12-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114638896B (zh) * 2022-05-18 2022-08-05 南京航空航天大学 一种基于不变特征的锥套位姿解算方法
CN114792327B (zh) * 2022-06-23 2022-11-04 中国科学院空天信息创新研究院 图像处理方法及系统
CN115076049A (zh) * 2022-07-04 2022-09-20 无锡海纳智能科技有限公司 一种风机偏航角的确定方法、装置、存储介质及电子设备
CN117170501B (zh) * 2023-08-24 2024-05-03 北京自动化控制设备研究所 基于点线融合特征的视觉跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153127A1 (ja) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba 被測定物の検査測定装置
CN102905147A (zh) * 2012-09-03 2013-01-30 上海立体数码科技发展有限公司 立体图像校正方法及装置
CN103414910A (zh) * 2013-08-20 2013-11-27 浙江大学 一种低失真的立体图像外极线校正方法
CN104915965A (zh) * 2014-03-14 2015-09-16 华为技术有限公司 一种摄像机跟踪方法及装置
CN105043350A (zh) * 2015-06-25 2015-11-11 闽江学院 一种双目视觉测量方法
CN108108748A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108876835A (zh) * 2018-03-28 2018-11-23 北京旷视科技有限公司 深度信息检测方法、装置和系统及存储介质
CN110335211A (zh) * 2019-06-24 2019-10-15 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066113A (ja) * 1998-08-20 2000-03-03 Canon Inc 双眼鏡
JP2011228983A (ja) * 2010-04-21 2011-11-10 Panasonic Corp 撮像装置
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN104700414B (zh) * 2015-03-23 2017-10-03 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
US9953403B2 (en) * 2016-06-10 2018-04-24 The Boeing Company Stereoscopic camera and associated method of varying a scale of a stereoscopic image pair
CN106060399A (zh) * 2016-07-01 2016-10-26 信利光电股份有限公司 一种双摄像头自动aa的方法及装置
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
CN109990756B (zh) * 2019-04-11 2021-07-27 武汉纺织大学 一种双目测距方法及系统
CN111457886B (zh) * 2020-04-01 2022-06-21 北京迈格威科技有限公司 距离确定方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153127A1 (ja) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba 被測定物の検査測定装置
CN102905147A (zh) * 2012-09-03 2013-01-30 上海立体数码科技发展有限公司 立体图像校正方法及装置
CN103414910A (zh) * 2013-08-20 2013-11-27 浙江大学 一种低失真的立体图像外极线校正方法
CN104915965A (zh) * 2014-03-14 2015-09-16 华为技术有限公司 一种摄像机跟踪方法及装置
CN105043350A (zh) * 2015-06-25 2015-11-11 闽江学院 一种双目视觉测量方法
CN108108748A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108876835A (zh) * 2018-03-28 2018-11-23 北京旷视科技有限公司 深度信息检测方法、装置和系统及存储介质
CN110335211A (zh) * 2019-06-24 2019-10-15 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁欢欢: "双目立体视觉测距系统关键技术研究", 《信息科技辑》 *
戴宗贤: "基于双目视觉的三维重建与测量技术研究", 《信息科技辑》 *
林国余、张为公等: "一种无需基础矩阵的鲁棒性极线校正算法", 《中国图象图形学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统
CN112767455A (zh) * 2021-01-08 2021-05-07 北京的卢深视科技有限公司 一种双目结构光的校准方法及系统
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
CN113348464A (zh) * 2021-04-30 2021-09-03 华为技术有限公司 一种图像处理方法以及装置
CN113793380A (zh) * 2021-08-27 2021-12-14 之江实验室 一种基于单目相机的头部三维坐标的摔倒检测方法
CN113793380B (zh) * 2021-08-27 2024-04-26 之江实验室 一种基于单目相机的头部三维坐标的摔倒检测方法
CN114500849A (zh) * 2022-02-21 2022-05-13 上海东方传媒技术有限公司 一种多视角环绕拍摄矫正方法及系统
CN114500849B (zh) * 2022-02-21 2023-11-24 上海东方传媒技术有限公司 一种多视角环绕拍摄矫正方法及系统

Also Published As

Publication number Publication date
CN111457886B (zh) 2022-06-21
US20230027389A1 (en) 2023-01-26
WO2021196548A1 (zh) 2021-10-07

Similar Documents

Publication Publication Date Title
CN111457886B (zh) 距离确定方法、装置及系统
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111091063B (zh) 活体检测方法、装置及系统
EP3252715A1 (en) Two-camera relative position calculation system, device and apparatus
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
US20150124059A1 (en) Multi-frame image calibrator
US8538198B2 (en) Method and apparatus for determining misalignment
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN111445537B (zh) 一种摄像机的标定方法及系统
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN109584312B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN107026979A (zh) 双摄像头拍照方法及装置
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN112184811A (zh) 单目空间结构光系统结构校准方法及装置
CN114494388A (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN111432117B (zh) 图像矫正方法、装置和电子系统
CN113344789A (zh) 图像拼接方法及装置、电子设备、计算机可读存储介质
CN111292380B (zh) 图像处理方法及装置
Liu et al. Camera self-calibration with lens distortion from a single image
CN109658459B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN104811688B (zh) 图像获取装置及其图像形变检测方法
CN108921902B (zh) 一种修正结构光相机偏差的方法及装置
CN114754695B (zh) 多视场桥梁挠度测量装置、方法及存储介质
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN112396117A (zh) 图像的检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant