CN117830371A - 基于双目鱼眼相机畸变光路获得相对运动物体深度的方法 - Google Patents

Abstract

本发明涉及智能家居技术领域，具体涉及一种基于双目鱼眼相机畸变光路获得相对运动物体深度的方法。本发明包括如下步骤：通过双目鱼眼相机的精确标定，确保光心位置和倾角的准确性；利用图像识别技术处理双目鱼眼相机捕获的图像，分离出同时出现在左右两张图像上的动态物体；对目标物体对应的像素点进行优化，仅选取同时出现在左右两张图像上的像素点；通过反向求解，利用同名点确定各自的光路；光路交汇为相对深度信息。本发明先获取目标物体再简化为同名点，显著降低了每帧图像的计算量，提高实时获取速度；通过畸变光路直接获取深度数值，将畸变效应从缺点转化为优点，保留了图像中心区域像素点的密集特性，显著提高了中心区域深度数值的精度。

Description

基于双目鱼眼相机畸变光路获得相对运动物体深度的方法

技术领域

本发明涉及智能家居技术领域，具体涉及一种基于双目鱼眼相机畸变光路获得相对运动物体深度的方法。

背景技术

鱼眼相机在智能家居领域的应用非常广泛，它具有广阔的视角，因此经常被用来捕获室内的运动物体。然而，鱼眼相机所获取的图像存在畸变问题，即中心区域像素点密集，而周围像素点相对稀疏。传统的处理方式是对图像的所有像素点进行校正，然后通过像素点匹配来获得所有像素点的深度数值。最后，根据需要选择对应物体所在的深度数值。尽管这种方法在理论上是可行的，但存在一些局限性。需要探索一种更方法来获取和处理深度数据。如中国专利CN201811468765.2，其公开了一种基于长基线双目鱼眼相机的定位及车载终端，其单目里程计方法获得距离的估计值。尽管这个方案在理论上可行，但在实际操作中存在一些问题。首先，校正过程中的中心区域像素点舍弃导致大量原始像素信息的丢失，这可能影响到深度数据的准确性和细节呈现。其次，每一帧图像都需要进行校正和匹配计算，然而，大部分参与计算的像素点并未被有效利用，这不仅增加了计算量，还造成了资源的浪费。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种基于双目鱼眼相机畸变光路获得相对运动物体深度的方法。

本发明的技术方案为：

一种基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，包括如下步骤：

S1：鱼眼相机的标定：通过双目鱼眼相机的精确标定，确保光心位置和倾角的准确性；

S2：目标物体的获取：利用图像识别技术处理双目鱼眼相机捕获的图像，分离出同时出现在左右两张图像上的动态物体，此物体与双目鱼眼相机保持相对运动，所选物体称为目标物体；

S3：同名点的获取：通过一定的规则找出目标物体上的一个特定点，来代表其物理空间的位置，在左右两张图像中以同样规则选取此特定点对应的像素点，所选像素点称为同名点；

S4：畸变光路的获取：基于已知的鱼眼相机投影模型，通过反向求解，利用左右两张图像上的同名点确定各自的光路；由于鱼眼相机的畸变特性，中心区域的像素精度得以保留，所得光路称为畸变光路；

S5：畸变光路的交汇：两条畸变光路在物理空间中延伸并交汇于同一物理空间点，该交汇点对应的三维坐标揭示了目标物体与双目鱼眼相机的相对深度信息。

相较于传统方法对整幅图像所有像素点进行计算，本技术方案仅针对单个像素点进行计算。首先，通过步骤S2仅获取目标物体的一处区域，然后通过步骤S3进一步简化该区域的若干像素点，最终得到一个同名点。这种处理方式显著降低了每帧图像的计算量，使得能够优先处理包含关键信息的像素点，再进行有针对性的计算，从而避免了传统方法中因对所有像素点进行计算后丢弃而造成的资源浪费。

此外，由于鱼眼相机的特性，其图像中心区域的像素点较为密集，而周围区域则相对稀疏。本技术方案充分利用了这一特点，通过畸变光路直接获取深度数值。这不仅将畸变效应从缺点转化为优点，还保留了像素点的密集特性，显著提高了中心区域深度数值的精度。相较于传统方法，由于没有损失中心区域的像素密度，因此能够更准确地捕捉到小范围的移动。通过采用畸变光路获取深度信息，由于其高精度特性，能够捕捉到这些微小的移动。

在其中一些实施例中，所述S2中，图像识别技术包括帧差法或深度学习法。

在其中一些实施例中，所述S2中，帧差法通过比较前后两帧图像的像素点差异，将非零像素视为相对运动的目标物体，从而精确地识别出目标物体。

在其中一些实施例中，所述S2中，深度学习法通过单帧图像进行特征匹配，直接识别出与特定特征相匹配的目标物体，从而提高识别的准确性和效率。

在其中一些实施例中，所述S3中，同名点由目标物体的若干像素简化而来；每帧图像仅重复S2至S5即可得到深度数值，降低每帧图像的计算量，提高深度数值获取的速度，保留中心区域深度数值的精度。

在其中一些实施例中，所述S4中，鱼眼相机已知的投影模型根据投影对视角的压缩情况不同，分为：

直线投影，R＝f*tan(θ)；等距投影，R＝f*θ；等积投影，R＝2*f*sin(θ/2)；

正交投影，R＝f*sin(θ)；体现投影，R＝2*f*tan(θ/2)；

其中，R代表同名点在图像上对应的半径，f代表光心到光学传感器的距离为焦距，θ代表物理空间点与光轴的夹角；

投影模型根据实际S1的标定情况进行角度补偿。

在其中一些实施例中，所述S5中，目标物体与双目鱼眼相机的相对深度包含两种情况：

情况一、目标物体运动，双目鱼眼相机静止；

情况二、目标物体静止，双目鱼眼相机运动。

本技术方案中，情况一：当目标物体运动，而双目鱼眼相机静止时，可以通过分析目标物体在连续帧图像中的位置变化，利用双目鱼眼相机畸变光路原理，计算出目标物体的深度信息，进一步还可以推测物体运动的运动轨迹，推断运动轨迹代表的指令。情况二：当目标物体静止，而双目鱼眼相机运动时，同样利用双目鱼眼相机畸变光路原理，计算出目标物体的深度信息，进一步还可以过目标物体在图像中的位置变化，推断双目鱼眼相机的速度。

在其中一些实施例中，所述S5的情况一中，目标物体选择为用户的手势，双目鱼眼相机安装于房间固定位置；手势包括手指活动特定动作或者手臂运动的特定动作，该特定动作定义为与控制智能家居设备的指令；通过双目鱼眼相机获取手指或者手臂的实时深度数据，通过连续多帧图像构成手指或者手臂的运动轨迹，运动轨迹与特定动作相匹配，指令启动，控制智能家居设备进行动作。

本技术方案中，通过双目鱼眼相机实时获取手指或手臂的深度数据，并利用连续多帧图像构建其运动轨迹。一旦运动轨迹与预定义的特定动作相匹配，相应的指令将触发，从而控制智能家居设备执行相应的动作。这种方式实现了直观、自然的人机交互过程，提升了智能家居设备的便捷性和用户体验。

在其中一些实施例中，所述S5的情况二中，目标物体选择为位置固定的智能家居设备，双目鱼眼相机安装于移动机器人上；通过双目鱼眼相机获取相对于静止目标物体的实时深度数据，即移动机器人与智能家居设备的相对距离信息；通过已知的移动机器人的运动时长，计算得到移动机器人的速度。

本技术方案中，利用双目鱼眼相机和移动机器人技术来获取并利用移动机器人与智能家居设备之间的距离和速度信息的方法，可以帮助智能家居系统更准确地了解移动机器人的位置和运动状态，从而实现更智能、更自动化的家居服务。例如，通过获取移动机器人与智能家居设备之间的距离和速度信息，智能家居系统可以预测移动机器人的运动轨迹，从而提前为其规划最佳的路径和任务安排。此外，这种技术也有助于提高智能家居系统的安全性和可靠性，因为通过实时监测移动机器人的位置和速度，可以预防可能的碰撞和意外事件的发生。

在其中一些实施例中，所述S5的情况二中，目标物体与第三运动物体同时出现在图像上，通过双目鱼眼相机获取第三运动物体相对静止目标物体的实时深度数据，根据已知的移动机器人的速度，计算得到第三运动物体的速度，用于预测第三运动物体的运动轨迹，为移动机器人避障提供数据支持。

本技术方案中，利用双目鱼眼相机和移动机器人技术来获取并预测第三运动物体的速度和运动轨迹的方法，可以帮助移动机器人更准确地理解和预测周围环境中的动态变化，从而提高机器人的自主性和适应性。此外，通过预测第三运动物体的轨迹，可以预防可能的碰撞，从而确保移动机器人的安全运行。同时，这种技术也有助于提高机器人在复杂环境中的工作效率和响应速度。

本发明与现有技术相比，具有以下有益效果：

(1)先获取目标物体再简化为同名点，由于仅针对单个像素点进行计算，显著降低了每帧图像的计算量，使得能够优先处理包含关键信息的像素点，再进行有针对性的计算，从而避免了传统方法中因对所有像素点进行计算后丢弃而造成的资源浪费；

(2)通过畸变光路直接获取深度数值，将畸变效应从缺点转化为优点，保留了图像中心区域像素点的密集特性，显著提高了中心区域深度数值的精度；甚至由于中心区域精度较高，可以实现传统方法无法捕捉到的微小的移动；避免了中心区域的像素密度的损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程原理框图。

图2是帧差法识别出目标物体的示意图。

图3是投影模型的举例示意图。

图4是投影模型反向求解光路的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例1

如图1所示，本实施例提供一种基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，包括如下步骤：

S1：鱼眼相机的标定：通过双目鱼眼相机的精确标定，确保光心位置和倾角的准确性；

S2：目标物体的获取：利用图像识别技术处理双目鱼眼相机捕获的图像，分离出同时出现在左右两张图像上的动态物体，如图2所示，此物体与双目鱼眼相机保持相对运动，所选物体称为目标物体；

S3：同名点的获取：通过一定的规则找出目标物体上的一个特定点，来代表其物理空间的位置，在左右两张图像中以同样规则选取此特定点对应的像素点，所选像素点称为同名点；

S4：畸变光路的获取：基于已知的鱼眼相机投影模型，如图3所示，通过反向求解，利用左右两张图像上的同名点确定各自的光路，如图4所示；由于鱼眼相机的畸变特性，中心区域的像素精度得以保留，所得光路称为畸变光路；

S5：畸变光路的交汇：两条畸变光路在物理空间中延伸并交汇于同一物理空间点，该交汇点对应的三维坐标揭示了目标物体与双目鱼眼相机的相对深度信息。

相较于传统方法对整幅图像所有像素点进行计算，本技术方案仅针对单个像素点进行计算。首先，通过步骤S2仅获取目标物体的一处区域，然后通过步骤S3进一步简化该区域的若干像素点，最终得到一个同名点。这种处理方式显著降低了每帧图像的计算量，使得能够优先处理包含关键信息的像素点，再进行有针对性的计算，从而避免了传统方法中因对所有像素点进行计算后丢弃而造成的资源浪费。

此外，由于鱼眼相机的特性，其图像中心区域的像素点较为密集，而周围区域则相对稀疏。本技术方案充分利用了这一特点，通过畸变光路直接获取深度数值；不仅将畸变效应从缺点转化为优点，还保留了像素点的密集特性，显著提高了中心区域深度数值的精度。相较于传统方法，由于没有损失中心区域的像素密度，因此能够更准确地捕捉到小范围的移动。通过采用畸变光路获取深度信息，由于其高精度特性，能够捕捉到这些微小的移动。

在其中一些实施例中，所述S2中，图像识别技术包括帧差法或深度学习法。

如图2所示，所述S2中，帧差法通过比较前后两帧图像的像素点差异，将非零像素视为相对运动的目标物体，从而精确地识别出目标物体。

在其中一些实施例中，所述S2中，深度学习法通过单帧图像进行特征匹配，直接识别出与特定特征相匹配的目标物体，从而提高识别的准确性和效率。

在其中一些实施例中，所述S3中，同名点由目标物体的若干像素简化而来；每帧图像仅重复S2至S5即可得到深度数值，降低每帧图像的计算量，提高深度数值获取的速度，保留中心区域深度数值的精度。

需要说明的是，S3中提及的一定的规则，指的是识别目标物体的特征，例如识别手势，则将手部指尖作为规则；例如移动机器人，则将移动机器人的重心作为规则。

如图3所示，所述S4中，鱼眼相机已知的投影模型根据投影对视角的压缩情况不同，分为：

体现投影，R＝f*tan(θ)；等距投影，R＝f*θ；等积投影，R＝2*f*sin(θ/2)；

正交投影，R＝f*sin(θ)；体现投影，R＝2*f*tan(θ/2)；

其中，R代表同名点在图像上对应的半径，f代表光心到光学传感器的距离为焦距，θ代表物理空间点与光轴的夹角；

投影模型根据实际S1的标定情况进行角度补偿。

如图3所示，以等距模型为例，举例解释反向求解的计算方法：

假设j为图像的像素对应的同名点，像素坐标为x_p，y_p,；J为同名点j在物理空间所对应光路上一点。

由r_p＝(x_p^2+y_p^2)^0.5求得r_p，则可反推得到θ_d＝r/f。

然后，反推鱼眼相机入射光线畸变前的入射角θ；

θ与θd的关系为：θ≈θ*(1+k₁*θ^2+k₂*θ^4+k₃*θ^6+k₄*θ^8)

以θ_d为优化初值，设立优化问题求解得θ，φ＝arctan(y_p/x_p)。

则θ与φ定义一条以相机坐标系圆点为起点的射线，即畸变光路。

实施例2

本实施例中，给出目标物体与双目鱼眼相机的相对深度包含两种情况：

情况一、目标物体运动，双目鱼眼相机静止；

情况二、目标物体静止，双目鱼眼相机运动。

本技术方案中，情况一：当目标物体运动，而双目鱼眼相机静止时，可以通过分析目标物体在连续帧图像中的位置变化，利用双目鱼眼相机畸变光路原理，计算出目标物体的深度信息，进一步还可以推测物体运动的运动轨迹，推断运动轨迹代表的指令。

情况二：当目标物体静止，而双目鱼眼相机运动时，同样利用双目鱼眼相机畸变光路原理，计算出目标物体的深度信息，进一步还可以过目标物体在图像中的位置变化，推断双目鱼眼相机的速度。

实施例3

本实施例3给出具体应用场景。假设目标物体选择为用户的手势，双目鱼眼相机安装于房间固定位置。

手势包括手指活动特定动作或者手臂运动的特定动作，该特定动作定义为与控制智能家居设备的指令；通过双目鱼眼相机获取手指或者手臂的实时深度数据，通过连续多帧图像构成手指或者手臂的运动轨迹，运动轨迹与特定动作相匹配，指令启动，控制智能家居设备进行动作。

本实施例3中，通过双目鱼眼相机实时获取手指或手臂的深度数据，并利用连续多帧图像构建其运动轨迹。一旦运动轨迹与预定义的特定动作相匹配，相应的指令将触发，从而控制智能家居设备执行相应的动作。这种方式实现了直观、自然的人机交互过程，提升了智能家居设备的便捷性和用户体验。

实施例4

本实施例4给出具体应用场景。假设目标物体选择为位置固定的智能家居设备，双目鱼眼相机安装于移动机器人上。

通过双目鱼眼相机获取相对于静止目标物体的实时深度数据，即移动机器人与智能家居设备的相对距离信息；通过已知的移动机器人的运动时长，计算得到移动机器人的速度。

本实施例4中，利用双目鱼眼相机和移动机器人技术来获取并利用移动机器人与智能家居设备之间的距离和速度信息的方法，可以帮助智能家居系统更准确地了解移动机器人的位置和运动状态，从而实现更智能、更自动化的家居服务。例如，通过获取移动机器人与智能家居设备之间的距离和速度信息，智能家居系统可以预测移动机器人的运动轨迹，从而提前为其规划最佳的路径和任务安排。此外，这种技术也有助于提高智能家居系统的安全性和可靠性，因为通过实时监测移动机器人的位置和速度，可以预防可能的碰撞和意外事件的发生。

优选地，所述S5的情况二中，目标物体与第三运动物体同时出现在图像上，通过双目鱼眼相机获取第三运动物体相对静止目标物体的实时深度数据，根据已知的移动机器人的速度，计算得到第三运动物体的速度，用于预测第三运动物体的运动轨迹，为移动机器人避障提供数据支持。

本技术方案中，利用双目鱼眼相机和移动机器人技术来获取并预测第三运动物体的速度和运动轨迹的方法，可以帮助移动机器人更准确地理解和预测周围环境中的动态变化，从而提高机器人的自主性和适应性。此外，通过预测第三运动物体的轨迹，可以预防可能的碰撞，从而确保移动机器人的安全运行。同时，这种技术也有助于提高机器人在复杂环境中的工作效率和响应速度。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，包括如下步骤：

S1：鱼眼相机的标定：通过双目鱼眼相机的精确标定，确保光心位置和倾角的准确性；

S2：目标物体的获取：利用图像识别技术处理双目鱼眼相机捕获的图像，分离出同时出现在左右两张图像上的动态物体，此物体与双目鱼眼相机保持相对运动，所选物体称为目标物体；

S3：同名点的获取：通过一定的规则找出目标物体上的一个特定点，来代表其物理空间的位置，在左右两张图像中以同样规则选取此特定点对应的像素点，所选像素点称为同名点；

S4：畸变光路的获取：基于已知的鱼眼相机投影模型，通过反向求解，利用左右两张图像上的同名点确定各自的光路；由于鱼眼相机的畸变特性，中心区域的像素精度得以保留，所得光路称为畸变光路；

S5：畸变光路的交汇：两条畸变光路在物理空间中延伸并交汇于同一物理空间点，该交汇点对应的三维坐标揭示了目标物体与双目鱼眼相机的相对深度信息。

2.如权利要求1所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S2中，图像识别技术包括帧差法或深度学习法。

3.如权利要求2所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S2中，帧差法通过比较前后两帧图像的像素点差异，将非零像素视为相对运动的目标物体，从而精确地识别出目标物体。

4.如权利要求2所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S2中，深度学习法通过单帧图像进行特征匹配，直接识别出与特定特征相匹配的目标物体，从而提高识别的准确性和效率。

5.如权利要求1所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S3中，同名点由目标物体的若干像素简化而来；每帧图像仅重复S2至S5即可得到深度数值，降低每帧图像的计算量，提高深度数值获取的速度，保留中心区域深度数值的精度。

6.如权利要求1所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S4中，鱼眼相机已知的投影模型根据投影对视角的压缩情况不同，分为：

直线投影，R＝f*tan(θ)；等距投影，R＝f*θ；等积投影，R＝2*f*sin(θ/2)；

正交投影，R＝f*sin(θ)；体现投影，R＝2*f*tan(θ/2)；

其中，R代表同名点在图像上对应的半径，f代表光心到光学传感器的距离为焦距，θ代表物理空间点与光轴的夹角；

投影模型根据实际S1的标定情况进行角度补偿。

7.如权利要求1所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S5中，目标物体与双目鱼眼相机的相对深度包含两种情况：

情况一、目标物体运动，双目鱼眼相机静止；

情况二、目标物体静止，双目鱼眼相机运动。

8.如权利要求7所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S5的情况一中，目标物体选择为用户的手势，双目鱼眼相机安装于房间固定位置；手势包括手指活动特定动作或者手臂运动的特定动作，该特定动作定义为与控制智能家居设备的指令；通过双目鱼眼相机获取手指或者手臂的实时深度数据，通过连续多帧图像构成手指或者手臂的运动轨迹，运动轨迹与特定动作相匹配，指令启动，控制智能家居设备进行动作。

9.如权利要求7所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S5的情况二中，目标物体选择为位置固定的智能家居设备，双目鱼眼相机安装于移动机器人上；通过双目鱼眼相机获取相对于静止目标物体的实时深度数据，即移动机器人与智能家居设备的相对距离信息；通过已知的移动机器人的运动时长，计算得到移动机器人的速度。

10.如权利要求9所述的基于双目鱼眼相机畸变光路获得相对运动物体深度的方法，其特征在于，所述S5的情况二中，目标物体与第三运动物体同时出现在图像上，通过双目鱼眼相机获取第三运动物体相对静止目标物体的实时深度数据，根据已知的移动机器人的速度，计算得到第三运动物体的速度，用于预测第三运动物体的运动轨迹，为移动机器人避障提供数据支持。