CN112634379A - 一种基于混合视域光场的三维定位测量方法 - Google Patents

一种基于混合视域光场的三维定位测量方法 Download PDF

Info

Publication number
CN112634379A
CN112634379A CN202110023529.5A CN202110023529A CN112634379A CN 112634379 A CN112634379 A CN 112634379A CN 202110023529 A CN202110023529 A CN 202110023529A CN 112634379 A CN112634379 A CN 112634379A
Authority
CN
China
Prior art keywords
arm
light field
field
dimensional
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110023529.5A
Other languages
English (en)
Other versions
CN112634379B (zh
Inventor
金欣
康今世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110023529.5A priority Critical patent/CN112634379B/zh
Publication of CN112634379A publication Critical patent/CN112634379A/zh
Application granted granted Critical
Publication of CN112634379B publication Critical patent/CN112634379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于混合视域光场的三维定位测量方法，包括：A1：搭建光场传感器系统，所述光场传感器系统包括设置在机械臂臂端的臂端相机组和设置在机械臂以外的臂外相机组，所述臂外相机组的视场区域包含所述臂端相机组的视场区域；A2：分别对所述臂端相机组和所述臂外相机组进行标定，以分别获取臂端光场和臂外光场的内部参数；A3：结合所述臂端光场和所述臂外光场的内部参数进行双视域标定配准，生成混合视域光场；A4：提取所述混合视域光场的光场特征点，逆投影反演所述混合视域光场的空间三维坐标，以进行三维定位和测量。本发明的基于混合视域光场的三维定位测量方法，在遮挡鲁棒的前提下实现高精度的三维测量和环境感知。

Description

一种基于混合视域光场的三维定位测量方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于混合视域光场的三维定位测量方法。
背景技术
三维定位视觉测量是以光学传感器捕获的图像作为输入，通过计算机视觉处理，结合任务需要获取图像中感兴趣目标的位置、姿态信息的技术。该技术是机器视觉系统认知三维客观世界的核心技术，在工业机器人、自动驾驶以及安防监控等多个产业领域中，尤其是在对安全性和精度要求较高的人机协作机器人领域具有重要意义。然而，传统的视觉测量技术在传感器层面多依赖于二维成像传感器，无法提供场景的深度信息；基于多目视觉的相机阵列往往体积较大，不便于安装在机器人臂端以提供工作区域内的视觉反馈，且对纹理稀疏的物体测量效果不佳。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提供一种基于混合视域光场的三维定位测量方法，在遮挡鲁棒的前提下实现高精度的三维测量和环境感知。
为了达到上述目的，本发明采用以下技术方案：
本发明的一个实施例公开了一种基于混合视域光场的三维定位测量方法，包括以下步骤：
A1：搭建光场传感器系统，所述光场传感器系统包括设置在机械臂臂端的臂端相机组和设置在机械臂以外的臂外相机组，所述臂外相机组的视场区域包含所述臂端相机组的视场区域；
A2：分别对所述臂端相机组和所述臂外相机组进行标定，以分别获取臂端光场和臂外光场的内部参数；
A3：结合所述臂端光场和所述臂外光场的内部参数进行双视域标定配准，生成混合视域光场；
A4：提取所述混合视域光场的光场特征点，逆投影反演所述混合视域光场的空间三维坐标，以进行三维定位和测量。
优选地，所述臂端相机组包括多个立体相机，所述臂外相机组包括多个普通相机。
优选地，步骤A2中对所述臂端相机组进行标定以获取臂端光场的内部参数具体包括：对多个所述立体相机分别进行标定以获取对应的四维特征点，再进行下述操作以计算得到多个所述立体相机的内部参数：
Figure BDA0002889574280000021
其中：
H—臂端光场的光场单应性矩阵；
R—相机坐标系到标定物所指定的局部坐标系之间的旋转矩阵；
t—相机坐标系到标定物所指定的局部坐标系之间的平移向量；
d—描述光场相机径向畸变参数的一组畸变向量；
E(·)—在每个子孔径图像下反投影像点与实际像点间的误差函数；
(XW,YW,ZW)—转换前世界坐标系下观察到的三维先验点坐标；
i,j—光场相机的子孔径图像索引值；
#viewx,#viewy—光场相机x、y两方向上的子孔径图像总数；
pt,#pt—四维光场特征点的索引值以及特征点总数；
p,#pose—位姿估计输入的姿态索引以及姿态总数。
优选地，其中光场单应性矩阵的初始值Hinit为：
Figure BDA0002889574280000031
其中：
Hinit—臂端光场的光场单应性矩阵的初始值；
Figure BDA0002889574280000032
—使用张氏标定法对不同子孔径进行标定得到的焦距的平均值；
Δt—不同子孔径对应的虚拟光心之间的相对平移量；
i0,j0,u0,v0—对应齐次坐标系下四维光场偏移量的内部参数。
优选地，步骤A3中具体包括：将标定物置于所述臂外相机组和所述臂端相机组中的所有相机的公共视场区域内，采用所述臂端光场和所述臂外光场的内部参数经光束法平差联合求解外部参数后获得所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系；再根据所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系将所述臂端光场的数据转换所述臂外光场下，获得混合视域光场。
优选地，采用所述臂端光场和所述臂外光场的内部参数经光束法平差联合求解外部参数后获得所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系具体为：
Figure BDA0002889574280000033
其中：
RC—表示臂端光场坐标系与臂外光场坐标系之间的旋转矩阵；
tC—表示臂端光场坐标系与臂外光场坐标系之间的平移向量；
E(·)—在每个子孔径图像下反投影像点与实际像点间的误差函数；
(XW,YW,ZW)—转换前世界坐标系下观察到的三维先验点坐标；
i,j—光场相机的子孔径图像索引值；
#viewx,#viewy—光场相机x、y两方向上的子孔径图像总数；
pt,#pt—四维光场特征点的索引值以及特征点总数；
p,#pose—位姿估计输入的姿态索引以及姿态总数。
优选地，根据所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系将所述臂端光场的数据转换所述臂外光场下，获得混合视域光场具体包括：
将所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系代入到下式的Trans(·)函数中：
(i,j,u,v)′＝H′Trans[H-1(i,j,u,v)]
其中，H表示臂端光场的光场单应性矩阵，H′表示臂外光场的光场单应性矩阵，Trans(·)表示臂端光场与臂外光场之间的外参转换关系；(i,j,u,v)是一束特征光线在臂端光场下的四维参数化表达，(i,j,u,v)′是一束特征光线在臂外光场下的四维参数化表达；
再采用加权方法将(i,j,u,v)′与臂外光场下观察到的对应同一特征点的另一束特征光线进行融合，得到混合视域光场。
优选地，步骤A4中提取所述混合视域光场的光场特征点，逆投影反演所述混合视域光场的空间三维坐标具体包括：采用下式得到臂端光场坐标系与世界坐标系的转换关系：
Figure BDA0002889574280000041
其中：
RRefine—表示臂端光场坐标系与世界坐标系之间的旋转矩阵；
tRefine—表示臂端光场坐标系与世界坐标系之间的平移向量；
pt,#pt—四维光场特征点的索引值以及特征点总数；
tC—表示臂端光场坐标系与臂外光场坐标系之间的平移向量；
再将臂端光场坐标系与世界坐标系的转换关系式代入到下式的Trans(·)函数中以得到所述混合视域光场的特征点三维位置信息：
(i,j,u,v)′＝H′Trans[H-1(i,j,u,v)]
其中，H表示臂端光场的光场单应性矩阵，H′表示臂外光场的光场单应性矩阵，Trans(·)表示臂端光场与臂外光场之间的外参转换关系；(i,j,u,v)是一束特征光线在臂端光场下的四维参数化表达，(i,j,u,v)′是一束特征光线在臂外光场下的四维参数化表达。
优选地，步骤A4中进行三维定位和测量具体包括：通过三维建模或者实际测量获取带有目标物特征点与图像特征点间对应关系的先验信息，对先验信息与特征点三维位置信息在特征空间下进行匹配，得到目标物当前的六自由度位姿信息；计算特征点空间坐标之间的欧几里得范数距离，得到特征点间的实际物理距离。
本发明的另一实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的三维定位测量方法的步骤A2～A4。
与现有技术相比，本发明的有益效果在于：本发明提出的基于混合视域光场的三维定位测量方法，构建臂端光场与臂外多目光场联合的三维定位系统，融合光场成像模型和传统相机模型构建混合视域，提供在大视场与近景环境下的混合感知能力，实现面向复杂应用环境的精准三维定位。
附图说明
图1是本发明优选实施例的基于混合视域光场的三维定位测量方法流程图；
图2是本发明优选实施例搭建的光场传感器系统。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
光场成像技术是计算摄像学领域的一项关键技术，通过特殊的光路结构设计同时捕获包含空间维和角度维的四维光线信息，实现了重聚焦、深度图获取、精准三维重建以及遮挡预测等传统相机无法实现的功能。相机阵列式光场相机通过空间维度的多重采样实现了光场采样，但其体积一般较大；手持式光场相机通过在传统相机的主透镜和传感器间加入微透镜阵列，实现了传感器带宽资源的多路复用，在保留传统相机的体积优势的前提下实现了光场成像，但其视场一般较小。此外，在传感器排布层面，基于臂端相机的方法无法解决目标物被遮挡或不在相机视野区域内的问题，而基于臂外相机的方法又无法提供高精度的近景视觉测量。因此，如何兼顾这两种排布方式的优点，在遮挡鲁棒的前提下实现高精度的三维测量和环境感知，是本系统的主要目的。
本发明提出一种基于混合视域光场的三维定位测量系统，其主要创新点为，同时使用臂端与臂外两套光场采样系统，臂端使用高精度立体相机，在较近的工作距离上实现对工作区域的高精度光场重建；臂外采用多目视觉系统构建一组阵列式光场相机，实现大视场区域下的环境感知与重建测量，并通过计算摄像学方法实现两视域的配准融合，进一步提高系统的定位精度，服务机器人系统任务需求。与现有方法相比，该方法能够在遮挡鲁棒的前提下，实现远距离的风险监测预警以及近距离的联合高精度三维感知，对协作机器人系统的发展具有重要意义。
如图1所示，本发明优选实施例公开了一种基于混合视域光场的三维定位测量方法，包括：
A1：构建基于机械臂臂端立体相机组和臂外普通相机组的光场传感器系统；
具体地，系统包含基于机械臂臂端深度相机组和臂外普通相机组的两组光场传感器系统。在机械臂臂端法兰位置固定一至多台具备高精度立体成像功能的相机，包括但不限于光场相机、结构光相机、双目深度相机等，称为臂端相机组；在工作区域的周围固定一组由多台非立体相机组成的相机阵列，包括但不限于可见光相机、红外相机等，称为臂外相机组。臂端相机组中的相机与机械臂间为刚性连接，负责在较小的工作距离上精准捕获包含目标物位姿信息的三维图像；臂外相机组中的相机与工作环境中的世界坐标系刚性连接，负责持续地在机械臂工作过程中构建大视场的光场视觉反馈，同时为机械臂工作区提供多角度、大范围的环境感知。系统结构图如图2所示，其中1为机械臂臂外普通相机组，2为机械臂臂端立体相机组。
A2：对两组相机分别进行立体标定和传统标定，获取臂端高精度光场和臂外大视野光场的内部参数。
对于臂外相机组，使用张氏标定法即可获得其内外参数估计值，进而可使用传统计算机视觉中的多视几何方法生成臂外光场。
对于臂端相机组，根据对应相机的成像原理解码得到臂端高精度光场，使用光场成像模型标定相机内外参数。此处使用的相机包括但不限于基于多路复用技术的光场相机、阵列式光场相机以及其他结构的立体成像设备。标定过程所采用的原始图像是棋盘格图像或其他拍摄已知三维先验信息的标定物图像。对于光场相机，在解码后的光场图像中可直接提取已知局部坐标系三维坐标的空间先验点所对应的一系列四维特征点；对于其他原理的立体成像设备，可将其传感器原始数据重新投影到虚拟光场像空间以获得对应的四维光场特征点，再根据光场成像模型即可解算出光场相机的内外参数值。
在获得四维特征点后，针对两种光场可以分别进行如下操作：
Figure BDA0002889574280000071
Figure BDA0002889574280000072
其中：
Hinit—臂端光场的光场单应性矩阵优化初始值；
Figure BDA0002889574280000073
—使用张氏标定法对不同子孔径进行标定得到的焦距的平均值；
Δt—不同子孔径对应的虚拟光心之间的相对平移量；
i0,j0,u0,v0—对应齐次坐标系下四维光场偏移量的内部参数；
H—臂端光场的光场单应性矩阵；
R—相机坐标系到标定物所指定的局部坐标系之间的旋转矩阵；
t—相机坐标系到标定物所指定的局部坐标系之间的平移向量；
d—描述光场相机径向畸变参数的一组畸变向量；
E(·)—在每个子孔径图像下反投影像点与实际像点间的误差函数；
(XW,YW,ZW)—转换前世界坐标系下观察到的三维先验点坐标；
i,j—光场相机的子孔径图像索引值；
#viewx,#viewy—光场相机x、y两方向上的子孔径图像总数；
pt,#pt—四维光场特征点的索引值以及特征点总数；
p,#pose—位姿估计输入的姿态索引以及姿态总数。
输入一系列先验点信息即可构建关于H、R、t、d的超定方程组，使用优化方法求解即可获得对光场相机内外参数的估计。需要说明的是，此处H的表达式式(1)仅为举例，本发明的核心内容是双视域标定配准，因此实际计算当中使用其他
Figure BDA0002889574280000081
空间下的光场内参矩阵表达式进行双视域标定也属于本发明的方法范畴。
A3：联合两光场数据进行双视域标定配准，生成混合视域光场；
获得全部相机的内部参数(包括畸变参数)后，将标定物置于全部相机的公共视场区域内，使用已知的内参经光束法平差联合优化求解外部参数后，即可获得臂端光场与臂外组内任意一台相机之间的位姿转换关系。具体操作如下：
Figure BDA0002889574280000082
其中RC,tC代表臂端光场坐标系与臂外光场坐标系之间的位姿转换关系。使用两光场内外参数关系，将臂端光场数据转换到臂外光场下即可获得混合视域光场。具体操作如下：
(i,j,u,v)′＝H′Trans[H-1(i,j,u,v)] (4)
其中，H表示臂端光场的光场单应性矩阵(也即臂端光场的内参矩阵)，H′表示臂外光场的光场单应性矩阵(也即臂外光场的内参矩阵)，Trans(·)代表臂端光场与臂外光场之间的外参转换关系，可以通过任意的六自由度位姿转换关系(R,t)进行构建，(i,j,u,v)与(i,j,u,v)′分别对应一束特征光线在两光场下的四维参数化表达。选择合适的加权方案(线性、非线性、自适应等)将(i,j,u,v)′与臂外光场下观察到的对应同一特征点的另一束特征光线进行融合，即可得到混合视域光场。具体地，(i,j,u,v)是一束特征光线在臂端光场下的四维参数化表达，而(i,j,u,v)′是这束光线通过标定出的H和H′计算得到的这束光线在臂外光场的四维参数化表达，是不存在的；生成混合视域光场的过程就是用计算得到的(i,j,u,v)′和臂外光场本来对应的光线进行加权融合。
A4：提取光场特征点，逆投影反演其空间三维坐标，进行定位测量。
取机械臂运动过程中的某一时刻，对于输入的光场图像和普通图像融合后的混合视域光场进行特征点检测，使用同样的特征描述子，如SIFT、SURF等，提取各子孔径图像中对应同一特征点的四维光场特征点(i,j,u,v)Blend，经光束法平差优化后可得混合视域下的三维位置估计。具体操作如下：
Figure BDA0002889574280000091
其中RRefine,tRefine为优化后的实时臂端—世界坐标系转换关系。将这一关系代入式(4)中的Trans(·)函数，进行双视域光场融合后即可得到混合光场视域下的特征点三维位姿信息。
通过三维建模、实际测量等方式获取带有目标物特征点与图像特征点间对应关系的先验信息，对先验信息与特征点三维位置信息在特征空间下进行匹配，即可得到目标物当前的六自由度位姿位置信息，即实现定位功能；计算特征点空间坐标之间的欧几里得范数距离，即可得到特征点间的实际物理距离，即为混合视域下的光场视觉测量结果，即实现测量功能。
本发明优选实施例所公开的基于混合视域光场的三维定位测量方法，结合传统相机与光场相机、臂端伺服与臂外伺服，构建臂端光场与臂外多目光场联合的三维定位系统，融合光场成像模型和传统相机模型构建混合视域，提供在大视场与近景环境下的混合感知能力，实现面向复杂应用环境的精准三维定位。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的三维定位测量方法的步骤A2～A4，具体实现可参见方法实施例，在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于混合视域光场的三维定位测量方法，其特征在于，包括以下步骤：
A1：搭建光场传感器系统，所述光场传感器系统包括设置在机械臂臂端的臂端相机组和设置在机械臂以外的臂外相机组，所述臂外相机组的视场区域包含所述臂端相机组的视场区域；
A2：分别对所述臂端相机组和所述臂外相机组进行标定，以分别获取臂端光场和臂外光场的内部参数；
A3：结合所述臂端光场和所述臂外光场的内部参数进行双视域标定配准，生成混合视域光场；
A4：提取所述混合视域光场的光场特征点，逆投影反演所述混合视域光场的空间三维坐标，以进行三维定位和测量。
2.根据权利要求1所述的三维定位测量方法，其特征在于，所述臂端相机组包括多个立体相机，所述臂外相机组包括多个普通相机。
3.根据权利要求2所述的三维定位测量方法，其特征在于，步骤A2中对所述臂端相机组进行标定以获取臂端光场的内部参数具体包括：对多个所述立体相机分别进行标定以获取对应的四维特征点，再进行下述操作以计算得到多个所述立体相机的内部参数：
Figure FDA0002889574270000011
其中：
H—臂端光场的光场单应性矩阵；
R—相机坐标系到标定物所指定的局部坐标系之间的旋转矩阵；
t—相机坐标系到标定物所指定的局部坐标系之间的平移向量；
d—描述光场相机径向畸变参数的一组畸变向量；
E(·)—在每个子孔径图像下反投影像点与实际像点间的误差函数；
(XW,YW,ZW)—转换前世界坐标系下观察到的三维先验点坐标；
i,j—光场相机的子孔径图像索引值；
#viewx,#viewy—光场相机x、y两方向上的子孔径图像总数；
pt,#pt—四维光场特征点的索引值以及特征点总数；
p,#pose—位姿估计输入的姿态索引以及姿态总数。
4.根据权利要求3所述的三维定位测量方法，其特征在于，其中光场单应性矩阵的初始值Hinit为：
Figure FDA0002889574270000021
其中：
Hinit—臂端光场的光场单应性矩阵的初始值；
Figure FDA0002889574270000022
—使用张氏标定法对不同子孔径进行标定得到的焦距的平均值；
Δt—不同子孔径对应的虚拟光心之间的相对平移量；
i0,j0,u0,v0—对应齐次坐标系下四维光场偏移量的内部参数。
5.根据权利要求1所述的三维定位测量方法，其特征在于，步骤A3中具体包括：将标定物置于所述臂外相机组和所述臂端相机组中的所有相机的公共视场区域内，采用所述臂端光场和所述臂外光场的内部参数经光束法平差联合求解外部参数后获得所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系；再根据所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系将所述臂端光场的数据转换所述臂外光场下，获得混合视域光场。
6.根据权利要求5所述的三维定位测量方法，其特征在于，采用所述臂端光场和所述臂外光场的内部参数经光束法平差联合求解外部参数后获得所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系具体为：
Figure FDA0002889574270000023
其中：
RC—表示臂端光场坐标系与臂外光场坐标系之间的旋转矩阵；
tC—表示臂端光场坐标系与臂外光场坐标系之间的平移向量；
E(·)—在每个子孔径图像下反投影像点与实际像点间的误差函数；
(XW,YW,ZW)—转换前世界坐标系下观察到的三维先验点坐标；
i,j—光场相机的子孔径图像索引值；
#viewx,#viewy—光场相机x、y两方向上的子孔径图像总数；
pt,#pt—四维光场特征点的索引值以及特征点总数；
p,#pose—位姿估计输入的姿态索引以及姿态总数。
7.根据权利要求5所述的三维定位测量方法，其特征在于，根据所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系将所述臂端光场的数据转换所述臂外光场下，获得混合视域光场具体包括：
将所述臂端光场与所述臂外相机组中任意一台相机之间的位姿转换关系代入到下式的Trans(·)函数中：
(i,j,u,v)′＝H′Trans[H-1(i,j,u,v)]
其中，H表示臂端光场的光场单应性矩阵，H′表示臂外光场的光场单应性矩阵，Trans(·)表示臂端光场与臂外光场之间的外参转换关系；(i,j,u,v)是一束特征光线在臂端光场下的四维参数化表达，(i,j,u,v)′是一束特征光线在臂外光场下的四维参数化表达；
再采用加权方法将(i,j,u,v)′与臂外光场下观察到的对应同一特征点的另一束特征光线进行融合，得到混合视域光场。
8.根据权利要求1所述的三维定位测量方法，其特征在于，步骤A4中提取所述混合视域光场的光场特征点，逆投影反演所述混合视域光场的空间三维坐标具体包括：采用下式得到臂端光场坐标系与世界坐标系的转换关系：
Figure FDA0002889574270000031
其中：
RRefine—表示臂端光场坐标系与世界坐标系之间的旋转矩阵；
tRefine—表示臂端光场坐标系与世界坐标系之间的平移向量；
pt,#pt—四维光场特征点的索引值以及特征点总数；
tC—表示臂端光场坐标系与臂外光场坐标系之间的平移向量；
再将臂端光场坐标系与世界坐标系的转换关系式代入到下式的Trans(·)函数中以得到所述混合视域光场的特征点三维位置信息：
(i,j,u,v)′＝H′Trans[H-1(i,j,u,v)]
其中，H表示臂端光场的光场单应性矩阵，H′表示臂外光场的光场单应性矩阵，Trans(·)表示臂端光场与臂外光场之间的外参转换关系；(i,j,u,v)是一束特征光线在臂端光场下的四维参数化表达，(i,j,u,v)′是一束特征光线在臂外光场下的四维参数化表达。
9.根据权利要求8所述的三维定位测量方法，其特征在于，步骤A4中进行三维定位和测量具体包括：通过三维建模或者实际测量获取带有目标物特征点与图像特征点间对应关系的先验信息，对先验信息与特征点三维位置信息在特征空间下进行匹配，得到目标物当前的六自由度位姿信息；计算特征点空间坐标之间的欧几里得范数距离，得到特征点间的实际物理距离。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至9任一项所述的三维定位测量方法的步骤A2～A4。
CN202110023529.5A 2021-01-08 2021-01-08 一种基于混合视域光场的三维定位测量方法 Active CN112634379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023529.5A CN112634379B (zh) 2021-01-08 2021-01-08 一种基于混合视域光场的三维定位测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023529.5A CN112634379B (zh) 2021-01-08 2021-01-08 一种基于混合视域光场的三维定位测量方法

Publications (2)

Publication Number Publication Date
CN112634379A true CN112634379A (zh) 2021-04-09
CN112634379B CN112634379B (zh) 2022-09-20

Family

ID=75293720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023529.5A Active CN112634379B (zh) 2021-01-08 2021-01-08 一种基于混合视域光场的三维定位测量方法

Country Status (1)

Country Link
CN (1) CN112634379B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677429A (zh) * 2022-05-27 2022-06-28 深圳广成创新技术有限公司 一种机械手的定位方法、装置、计算机设备和存储介质
CN115147437A (zh) * 2022-07-04 2022-10-04 中国民用航空飞行学院 机器人智能引导加工方法与系统
CN116630443A (zh) * 2023-07-24 2023-08-22 长春工程学院 基于四维动态光场的增强现实系统标定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805921A (zh) * 2018-04-09 2018-11-13 深圳奥比中光科技有限公司 图像获取系统及方法
US20180374186A1 (en) * 2017-06-23 2018-12-27 Cloud 9 Perception, LP System and Method for Sensing and Computing of Perceptual Data in Industrial Environments
US20190364206A1 (en) * 2018-05-25 2019-11-28 Aquifi, Inc. Systems and methods for multi-camera placement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374186A1 (en) * 2017-06-23 2018-12-27 Cloud 9 Perception, LP System and Method for Sensing and Computing of Perceptual Data in Industrial Environments
CN108805921A (zh) * 2018-04-09 2018-11-13 深圳奥比中光科技有限公司 图像获取系统及方法
US20190364206A1 (en) * 2018-05-25 2019-11-28 Aquifi, Inc. Systems and methods for multi-camera placement

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SIYAO ZHOU等: "LIGHT FIELD STITCHING BASED ON CONCENTRIC SPHERICAL MODELING", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP)》 *
刘欣城: "基于光场测量的成像技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 *
张韶辉等: "光场成像原理及应用技术", 《兵器装备工程学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677429A (zh) * 2022-05-27 2022-06-28 深圳广成创新技术有限公司 一种机械手的定位方法、装置、计算机设备和存储介质
CN115147437A (zh) * 2022-07-04 2022-10-04 中国民用航空飞行学院 机器人智能引导加工方法与系统
CN116630443A (zh) * 2023-07-24 2023-08-22 长春工程学院 基于四维动态光场的增强现实系统标定方法
CN116630443B (zh) * 2023-07-24 2023-10-03 长春工程学院 基于四维动态光场的增强现实系统标定方法

Also Published As

Publication number Publication date
CN112634379B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
TWI569229B (zh) 資料之登錄方法
CN112894832A (zh) 三维建模方法、装置、电子设备和存储介质
JP4825980B2 (ja) 魚眼カメラの校正方法。
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
Ruchay et al. Fusion of information from multiple Kinect sensors for 3D object reconstruction
EP3144879A1 (en) A method and an apparatus for generating data representative of a light field
GB2580691A (en) Depth estimation
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
Zhou et al. A two-step calibration method of lenslet-based light field cameras
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN114022798A (zh) 一种基于数字孪生技术的变电站巡检机器人避障方法
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
EP4073756A1 (en) A method for measuring the topography of an environment
CN110728745B (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
Neumann et al. Eyes from eyes: analysis of camera design using plenoptic video geometry
CN110298890A (zh) 一种基于普朗克参数化的光场相机标定方法
CN113781573B (zh) 一种基于双目折反射全景相机的视觉里程计方法
Nguyen et al. Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras
CN116630389A (zh) 一种基于光场相机的三维定位方法
CN109089100B (zh) 一种双目立体视频的合成方法
CN113269857A (zh) 坐标系关系获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant