CN115713565A - 一种双目伺服相机目标定位方法 - Google Patents

一种双目伺服相机目标定位方法 Download PDF

Info

Publication number
CN115713565A
CN115713565A CN202211620910.0A CN202211620910A CN115713565A CN 115713565 A CN115713565 A CN 115713565A CN 202211620910 A CN202211620910 A CN 202211620910A CN 115713565 A CN115713565 A CN 115713565A
Authority
CN
China
Prior art keywords
camera
binocular
target
cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211620910.0A
Other languages
English (en)
Inventor
罗鑫
琚午阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Ruishuan Electronic Technology Co ltd
Original Assignee
Yancheng Ruishuan Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Ruishuan Electronic Technology Co ltd filed Critical Yancheng Ruishuan Electronic Technology Co ltd
Priority to CN202211620910.0A priority Critical patent/CN115713565A/zh
Publication of CN115713565A publication Critical patent/CN115713565A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开一种双目伺服相机目标定位方法，通过双目球形摄像机及云端AI服务器实现，包括：S1：对双目球形摄像机进行标定；S2：将定位系统初始化，两个相机朝向为完全平行；S3：启动系统，上传拍摄到的当前图像；S4：云端AI服务器对图像进行ORB特征提取并匹配，计算得出世界坐标系下的对应特征点的坐标；S5：云端AI服务器采用SOLOv2实例分割模型对图像进行实例分割并对目标区域场景中的物体进行像素级的分类与识别；S6：若目标区域重心偏离图像中心，则下发跟踪指令调整相机姿态，并更新两个相机坐标系的转换矩阵；S7：上传图像再进行ORB特征提取并匹配，计算出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图。

Description

一种双目伺服相机目标定位方法
技术领域
本发明涉及相机目标定位技术领域，具体而言，涉及一种双目伺服相机目标定位方法。
背景技术
面对越来越复杂多样的工业与服务业应用场景，使用机器人实现自动化运作已经成为必然趋势，而视觉又是机器人感知外界最重要的感官，使用双目相机对环境目标进行定位和场景识别可以实现机器人对环境的感知和目标信息的获取。
申请号为202110883403.5的发明公开了一种双目视觉引导的机器人智能装配方法、系统及装置，其系统流程图请见图1，该案的双目视觉单元固定在工作台上，获取工作区域的图像；其图像处理及计算单元负责图像的采集及处理，然后进行标定，首先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；通过以太网的方案将结果发送给机器人；机器人根据收到的数据调整装配的位姿。但是此案采用光轴平行固定的双目相机，视野范围较小，且没有自主识别场景的模块，因此其使用存在一定的局限性。
申请号为202110861361.5的发明公开了一种双目视觉检测缺陷的移动机器人标记装置，其装置示意图如图2所示，该装置包括：设置有机械臂的AGV智能小车；用于标记缺陷位置的喷涂装置，且喷涂装置安装在AGV智能小车上；安装在机械臂的末端的摄像头模块；与AGV智能小车、喷涂装置、摄像头模块分别连接的控制器模块，且控制器模块安装在AGV智能小车上。然而，其采用的也是固定平行的双目相机进行目标定位，视野范围较小，并且由于该发明使用自带的装在小车上的图像识别网络进行缺陷检测，而车载的AI计算单元受到设备本身的限制，计算速度慢且精度不如更大的模型系统，因而运算能力和使用场景也存在一定的局限性。
因此，本领域亟需一种能够具备更广泛的视野范围、更优的精度、更强的运算能力的双目伺服相机目标定位方法。
发明内容
为解决上述问题，本发明提供一种双目伺服相机目标定位方法，通过采用双目独立转动的相机对目标进行跟踪，视野范围更大，且对于较远目标定位更加精确，并加入了云端实例分割模型对场景进行像素级识别，使机器人能够脱离需要人工手动指定目标在图像中位置的限制，且对目标检测具有更高的灵活性。
为达到上述目的，本发明提供了一种双目伺服相机目标定位方法，其通过一定位系统实现，所述定位系统包括：
双目球形摄像机，用于拍摄场景画面，其中所述双目球形摄像机包括两个相机，每个相机均为球形相机；
一云端AI服务器，通过无线网络与所述双目球形摄像机连接；
所述方法包括以下步骤：
步骤S1：对所述双目球形摄像机进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵M1和M2，并据此计算两个相机坐标系的转换矩阵（R，t），其中R为旋转分量，t为平移分量；
步骤S2：将所述定位系统初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；
步骤S3：启动所述定位系统，所述双目球形摄像机将拍摄到的当前图像上传至所述云端AI服务器；
步骤S4：所述云端AI服务器对当前图像进行ORB特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（R，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；
步骤S5：所述云端AI服务器采用SOLOv2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；
步骤S6：若目标区域重心偏离图像中心，则所述云端AI服务器下发跟踪指令调整所述双目球形摄像机的姿态，使目标区域重心向拍摄图像中心移动，所述云端AI服务器记录所述双目球形摄像机的实时姿态，并更新两个相机坐标系的转换矩阵（R，t）；
步骤S7：所述双目球形摄像机再将拍摄到的当前图像上传至所述云端AI服务器，所述云端AI服务器再对当前图像进行ORB特征提取并匹配，通过两个相机的内参与更新后的两个相机坐标系的转换矩阵（R，t）计算出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图。
在本发明一实施例中，其中，步骤S6具体包括：
步骤S601：当目标区域重心偏离图像中心时，所述云端AI服务器向所述双目球形摄像机下发跟踪指令，其中跟踪所采用的算法为基于卡尔曼滤波的算法，其目标预设方程为：
Figure 100002_DEST_PATH_IMAGE001
式中，F为状态转移矩阵，P为状态协方差矩阵，Q为过程噪声矩阵，
Figure 784518DEST_PATH_IMAGE002
表示k时 刻的目标状态向量，
Figure 100002_DEST_PATH_IMAGE003
表示k时刻的目标状态预测向量更新值，
Figure 128911DEST_PATH_IMAGE004
表示预测 出的状态协方差矩阵更新值；
步骤S602：所述双目球形摄像机根据指令调整后，计算此时的状态方程为：
Figure 100002_DEST_PATH_IMAGE005
式中，K为卡尔曼增益，H为测量矩阵，R为测量噪声矩阵，Y（k）表示观测向量，
Figure 954785DEST_PATH_IMAGE006
为k+1时刻的状态协方差矩阵，
Figure 100002_DEST_PATH_IMAGE007
为k+1时刻的目标状态向量；
步骤S603：重复步骤S601~S602，使目标区域重心达到拍摄图像中心，并计算出两个相机当前的姿态；
步骤S604：更新两个相机坐标系的转换矩阵（R，t）。
在本发明一实施例中，其中，步骤S604具体为：
设任一相机的水平旋转角度为
Figure 992011DEST_PATH_IMAGE008
，俯仰旋转角度为
Figure 100002_DEST_PATH_IMAGE009
，其中i为相 机编号，t为目标状态向量维度索引，则更新后的旋转矩阵为
Figure 473808DEST_PATH_IMAGE010
其中，平移分量t不变。
在本发明一实施例中，其中，所述无线网络包括4G、5G及WIFI网络。
本发明提供的双目伺服相机目标定位方法，与现有技术至少具备以下优势：
1）相比传统的固定平行双目相机，球形双目相机具有更高的灵活性和适应性，观测的视野范围更大，且对于较远目标定位更加精确；
2）将相机采集到的实时画面采用发送到云端识别的方式进行场景识别，无论是安装在机器人上或者应用于其他场景下，都具备较强的计算能力，可以实现对目标的精确定位、跟踪和场景的识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术的双目视觉引导的机器人智能装配方法流程图；
图2为现有技术的双目视觉检测缺陷的移动机器人标记装置示意图；
图3为本发明一实施例系统架构示意图；
图4为本发明一实施例的定位方法的流程图；
图5为本发明一实施例中双目数学模型示意图。
附图标记说明：10-定位系统；101-双目球形摄像机；102-云端AI服务器；103-无线网络；S1~S6-步骤。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图3为本发明一实施例系统架构示意图，图4为本发明一实施例的定位方法的流程图，如图3和图4所示，本实施例提供一种双目伺服相机目标定位方法，其通过一定位系统10实现，定位系统10包括：
双目球形摄像机101，用于拍摄场景画面，其中双目球形摄像机包括两个相机，每个相机均为球形相机；本实施例不对相机的型号进行限定；
一云端AI服务器102，通过无线网络103与双目球形摄像机101连接；
在本实施例中，其中，无线网络103可以为4G、5G、WIFI网络，未来还可以为6G，现阶段无线网络传输速率已经可以满足数据传输的需求，且不会像常规以太网一样需要网线连接，更适用于各种场景。
其中，云端AI服务器102接收双目球形摄像机101上传的实时图像得到双目图像，并在双目图像中提取ORB特征（Oriented FAST and Rotated BRIEF特征，是由关键点和描述子组成）进行匹配，生成点云拟合场景深度图，然后通过实例分割模型，对图像中的目标进行实例分割，如需要跟踪目标，则下发指令对双目相机姿态进行调整，最终实现对目标的定位与跟踪和场景的识别。本发明采用双目球形摄像机相比传统的固定平行双目相机具有更高的灵活性和适应性，对双目球形摄像机采集到的实时画面采用发送到云端识别的方式进行场景识别，可以应用云端AI服务器强大的运算能力，当该系统安装在机器人上或者其他场景下使用时均可以实现对目标的精确定位、跟踪和场景的识别，以下将通过具体步骤对所述定位方法进行详细说明。
所述方法包括以下步骤：
步骤S1：对双目球形摄像机101进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵M1和M2，并据此计算两个相机坐标系的转换矩阵（R，t），其中R为旋转分量，t为平移分量；
步骤S2：将定位系统10初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；
步骤S3：启动系统，使双目球形摄像机101与云端AI服务器102之间通过无线网络103建立连接，双目球形摄像机101将拍摄到的当前图像上传至云端AI服务器102；
步骤S4：云端AI服务器102对当前图像进行ORB特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（R，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；
图5为本发明一实施例中双目数学模型示意图，如图5所示，其中，分别设两个相机为左相机和右相机，左相机和右相机图像先进行ORB特征提取并匹配，然后通过两个相机的内参与两个相机坐标系的转换矩阵（R，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，其中，两个相机的光心分别为c0和c1，两个相机对应的图像坐标系中匹配上的一个ORB特征点分别为x0和x1，其中，c0和x0为左相机参数，c1和x1为右相机参数，（R，t）为两个相机坐标系的转换矩阵。
通过相机内参和外参矩阵计算出目标像素对应实体坐标与该相机光心所连直线方程，将右相机的该方程转换至左相机坐标系，再求出两条直线最小距离处对应的垂线，以垂线段中点坐标作为该目标像素对应实体坐标位置的估计，实现对目标的定位，由此算出真实点p在场景中的世界坐标（xp，yp，zp），此为一般双目相机进行世界坐标转换的常规算法，因此不再赘述。
步骤S5：云端AI服务器102采用SOLOv2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；其中SOLO为Structure of theObserved Learning Outcome的缩写；
步骤S6：若目标区域重心偏离图像中心，则云端AI服务器102下发跟踪指令调整双目球形摄像机101的姿态，使目标区域重心向拍摄图像中心移动，云端AI服务器102记录双目球形摄像机101的实时姿态，并更新两个相机坐标系的转换矩阵（R，t）；
在本实施例中，其中，步骤S6具体包括：
步骤S601：当目标区域重心偏离图像中心时，云端AI服务器102向双目球形摄像机101下发跟踪指令，其中跟踪所采用的算法为基于卡尔曼滤波的算法，其目标预设方程为：
Figure 380147DEST_PATH_IMAGE001
式中，F为状态转移矩阵，P为状态协方差矩阵，Q为过程噪声矩阵，
Figure 529369DEST_PATH_IMAGE002
表示k时 刻的目标状态向量，
Figure 206338DEST_PATH_IMAGE003
表示k时刻的目标状态预测向量更新值，
Figure 175431DEST_PATH_IMAGE004
表示预测 出的状态协方差矩阵更新值；
步骤S602：双目球形摄像机101根据指令调整后，计算此时的状态方程为：
Figure 392786DEST_PATH_IMAGE005
式中，K为卡尔曼增益，H为测量矩阵，R为测量噪声矩阵，Y（k）表示观测向量，
Figure 599776DEST_PATH_IMAGE006
为k+1时刻的状态协方差矩阵，
Figure 244384DEST_PATH_IMAGE007
为k+1时刻的目标状态向量；
由于目标状态向量包括目标的x，y 坐标以及在两个方向的速度x’和y’，那么观测向量就是两个坐标转换的速度x’和y’；
步骤S603：重复步骤S601~S602，使目标区域重心达到拍摄图像中心，并计算出两个相机当前的姿态；
步骤S604：更新两个相机坐标系的转换矩阵（R，t）。
为使算法预测准确，在具体实施时例如先使两个相机在前2.5秒钟不动作，初始的 目标状态向量为
Figure DEST_PATH_IMAGE011
，然后每隔0.5秒定位一次运动目标的坐标，获得5组观测数据Y1、 Y2、...、Y5，对这5组数据进行分析并确定目标运动状态，然后根据正交投影结论求出最小 方差估计值从初始状态开始跟踪，假设系统噪声和观测噪声均为零均值高斯白噪声，其协 方差分别用Q和R表示，则根据经验值设定参数如下：
Figure 497511DEST_PATH_IMAGE012
根据步骤S601的目标预设方程可以预测出1时刻的
Figure DEST_PATH_IMAGE013
为
Figure 252977DEST_PATH_IMAGE014
（6.1）
根据（6.1）式计算出偏移量（6.2）
Figure DEST_PATH_IMAGE015
（6.2）
根据计算的偏移量，云端AI服务器102向双目球形摄像机101下发跟踪指令，即让 双目球形摄像机101转动，设俯仰转动速度为V y ，水平转动速度为V x ，双目球形摄像机101先 俯仰转动
Figure 81518DEST_PATH_IMAGE016
秒，然后水平转动
Figure DEST_PATH_IMAGE017
秒，使双目球形摄像机101提前运转到预定位置，以 等待下次采集图像；
此时得出卡尔曼预测的误差方差
Figure 693765DEST_PATH_IMAGE018
，如（6.3）；
Figure DEST_PATH_IMAGE019
（6.3）
将
Figure 371871DEST_PATH_IMAGE018
带入可以获得增益K（1）（6.4）；
Figure 196608DEST_PATH_IMAGE020
（6.4）
为进行下一时刻的递推，计算出估计误差方差（6.5）
Figure DEST_PATH_IMAGE021
（6.5）
根据1时刻的图像位置与0时刻的位置差，再加上云端AI服务器102下发的转动量， 获得当前时刻的观测值Y（1），将其带入对
Figure 643770DEST_PATH_IMAGE013
进行修正，从而可以预测
Figure 630180DEST_PATH_IMAGE022
（6.6），
Figure DEST_PATH_IMAGE023
（6.6）
依此类推，根据上述过程可以估计出
Figure 795582DEST_PATH_IMAGE024
，继而修正
Figure 391387DEST_PATH_IMAGE024
，以实现对目标的跟 踪，故不再赘述。
记录两个相机当前旋转指令的参数和执行时间，根据时序参数叠加计算出两个相机当前的姿态，作为后续帧计算深度图的（R，t）矩阵更新。
在本实施例中，其中，步骤S604具体为：
设任一相机的水平旋转角度为
Figure 489793DEST_PATH_IMAGE008
，俯仰旋转角度为
Figure 584787DEST_PATH_IMAGE009
，其中i为相 机编号，t为目标状态向量维度索引，则更新后的旋转矩阵为
Figure 503065DEST_PATH_IMAGE010
其中，由于两相机相对固定，因此平移分量t不变，这样就完成了两各相机坐标系转换矩阵的更新。
步骤S7：双目球形摄像机101再将拍摄到的当前图像上传至云端AI服务器102，云端AI服务器102再对当前图像进行ORB特征提取并匹配，通过两个相机的内参与更新后的两个相机坐标系的转换矩阵（R，t）计算出世界坐标系下的对应特征点的坐标，并计算所有特征点点云并生成场景深度图。
本发明提供的双目伺服相机目标定位方法，相比传统的固定平行双目相机，球形双目相机具有更高的灵活性和适应性，观测的视野范围更大，且对于较远目标定位更加精确；同时将相机采集到的实时画面采用发送到云端识别的方式进行场景识别，无论是安装在机器人上或者应用于其他场景下，都具备较强的计算能力，可以实现对目标的精确定位、跟踪和场景的识别。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (4)

1.一种双目伺服相机目标定位方法，其通过一定位系统实现，其特征在于，所述定位系统包括：
双目球形摄像机，用于拍摄场景画面，其中所述双目球形摄像机包括两个相机，每个相机均为球形相机；
一云端AI服务器，通过无线网络与所述双目球形摄像机连接；
所述方法包括以下步骤：
步骤S1：对所述双目球形摄像机进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵M1和M2，并据此计算两个相机坐标系的转换矩阵（R，t），其中R为旋转分量，t为平移分量；
步骤S2：将所述定位系统初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；
步骤S3：启动所述定位系统，所述双目球形摄像机将拍摄到的当前图像上传至所述云端AI服务器；
步骤S4：所述云端AI服务器对当前图像进行ORB特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（R，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；
步骤S5：所述云端AI服务器采用SOLOv2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；
步骤S6：若目标区域重心偏离图像中心，则所述云端AI服务器下发跟踪指令调整所述双目球形摄像机的姿态，使目标区域重心向拍摄图像中心移动，所述云端AI服务器记录所述双目球形摄像机的实时姿态，并更新两个相机坐标系的转换矩阵（R，t）；
步骤S7：所述双目球形摄像机再将拍摄到的当前图像上传至所述云端AI服务器，所述云端AI服务器再对当前图像进行ORB特征提取并匹配，通过两个相机的内参与更新后的两个相机坐标系的转换矩阵（R，t）计算出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图。
2.根据权利要求1所述的双目伺服相机目标定位方法，其特征在于，步骤S6具体包括：
步骤S601：当目标区域重心偏离图像中心时，所述云端AI服务器向所述双目球形摄像机下发跟踪指令，其中跟踪所采用的算法为基于卡尔曼滤波的算法，其目标预设方程为：
Figure DEST_PATH_IMAGE001
式中，F为状态转移矩阵，P为状态协方差矩阵，Q为过程噪声矩阵，
Figure 541243DEST_PATH_IMAGE002
表示k时刻的 目标状态向量，
Figure DEST_PATH_IMAGE003
表示k时刻的目标状态预测向量更新值，
Figure 615159DEST_PATH_IMAGE004
表示预测出的 状态协方差矩阵更新值；
步骤S602：所述双目球形摄像机根据指令调整后，计算此时的状态方程为：
Figure DEST_PATH_IMAGE005
式中，K为卡尔曼增益，H为测量矩阵，R为测量噪声矩阵，Y（k）表示观测向量，
Figure 155862DEST_PATH_IMAGE006
为k+1时刻的状态协方差矩阵，
Figure DEST_PATH_IMAGE007
为k+1时刻的目标状态向量；
步骤S603：重复步骤S601~S602，使目标区域重心达到拍摄图像中心，并计算出两个相机当前的姿态；
步骤S604：更新两个相机坐标系的转换矩阵（R，t）。
3.根据权利要求2所述的双目伺服相机目标定位方法，其特征在于，步骤S604具体为：
设任一相机的水平旋转角度为
Figure 127229DEST_PATH_IMAGE008
，俯仰旋转角度为
Figure DEST_PATH_IMAGE009
，其中i为相机编 号，t为目标状态向量维度索引，则更新后的旋转矩阵为
Figure 727975DEST_PATH_IMAGE010
其中，平移分量t不变。
4.根据权利要求1所述的双目伺服相机目标定位方法，其特征在于，所述无线网络包括4G、5G及WIFI网络。
CN202211620910.0A 2022-12-16 2022-12-16 一种双目伺服相机目标定位方法 Pending CN115713565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211620910.0A CN115713565A (zh) 2022-12-16 2022-12-16 一种双目伺服相机目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211620910.0A CN115713565A (zh) 2022-12-16 2022-12-16 一种双目伺服相机目标定位方法

Publications (1)

Publication Number Publication Date
CN115713565A true CN115713565A (zh) 2023-02-24

Family

ID=85236026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211620910.0A Pending CN115713565A (zh) 2022-12-16 2022-12-16 一种双目伺服相机目标定位方法

Country Status (1)

Country Link
CN (1) CN115713565A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN103024350A (zh) * 2012-11-13 2013-04-03 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
CN107292906A (zh) * 2017-08-11 2017-10-24 阔地教育科技有限公司 一种目标跟踪方法、存储设备及目标跟踪装置
CN107507243A (zh) * 2016-06-14 2017-12-22 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
CN107948946A (zh) * 2017-11-09 2018-04-20 南京南自信息技术有限公司 一种工业场所高精度人员定位球型摄像机跟踪方法
CN110415278A (zh) * 2019-07-30 2019-11-05 中国人民解放军火箭军工程大学 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN113379848A (zh) * 2021-06-09 2021-09-10 中国人民解放军陆军军事交通学院军事交通运输研究所 基于双目ptz相机的目标定位方法
CN113487683A (zh) * 2021-07-15 2021-10-08 中国人民解放军火箭军工程大学 一种基于三目视觉的目标跟踪系统
CN113538596A (zh) * 2021-07-15 2021-10-22 中国人民解放军火箭军工程大学 一种基于三目视觉的运动目标跟踪系统
CN113534737A (zh) * 2021-07-15 2021-10-22 中国人民解放军火箭军工程大学 一种基于多目视觉的ptz球机控制参数获取系统
WO2022042184A1 (zh) * 2020-08-31 2022-03-03 深圳市道通智能航空技术股份有限公司 一种跟踪目标的位置估计方法、装置及无人飞行器

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN103024350A (zh) * 2012-11-13 2013-04-03 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN107507243A (zh) * 2016-06-14 2017-12-22 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
CN107292906A (zh) * 2017-08-11 2017-10-24 阔地教育科技有限公司 一种目标跟踪方法、存储设备及目标跟踪装置
CN107948946A (zh) * 2017-11-09 2018-04-20 南京南自信息技术有限公司 一种工业场所高精度人员定位球型摄像机跟踪方法
CN110415278A (zh) * 2019-07-30 2019-11-05 中国人民解放军火箭军工程大学 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
WO2022042184A1 (zh) * 2020-08-31 2022-03-03 深圳市道通智能航空技术股份有限公司 一种跟踪目标的位置估计方法、装置及无人飞行器
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN113379848A (zh) * 2021-06-09 2021-09-10 中国人民解放军陆军军事交通学院军事交通运输研究所 基于双目ptz相机的目标定位方法
CN113487683A (zh) * 2021-07-15 2021-10-08 中国人民解放军火箭军工程大学 一种基于三目视觉的目标跟踪系统
CN113538596A (zh) * 2021-07-15 2021-10-22 中国人民解放军火箭军工程大学 一种基于三目视觉的运动目标跟踪系统
CN113534737A (zh) * 2021-07-15 2021-10-22 中国人民解放军火箭军工程大学 一种基于多目视觉的ptz球机控制参数获取系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONG-CHAN CHO ET AL.: "Long Range Eye Gaze Tracking System for a Large Screen", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》, vol. 58, no. 4, pages 1119 - 1128, XP011488723, DOI: 10.1109/TCE.2012.6414976 *
刘治湘 等: "基于仿生双目机械云台的图像跟踪技术研究", 《制造业信息化》, pages 56 - 58 *
崔智高 等: "双目协同多分辨率主动跟踪方法", 《红外与激光工程》, vol. 42, no. 12, pages 3509 - 3516 *
纳鹏宇: "平行双目视觉系统研究与实现", 《中国优秀硕士学位论文全文数据库》, pages 6 *
龚声民: "运动目标识别与跟踪系统研究", 《中国优秀硕士学位论文全文数据库》, pages 31 - 32 *

Similar Documents

Publication Publication Date Title
Koller et al. Model-based object tracking in traffic scenes
CN108416428B (zh) 一种基于卷积神经网络的机器人视觉定位方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN110520694A (zh) 一种视觉里程计及其实现方法
Meilland et al. Dense visual mapping of large scale environments for real-time localisation
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
CN109483507B (zh) 一种多个轮式机器人行走的室内视觉定位方法
WO2020063058A1 (zh) 一种多自由度可动视觉系统的标定方法
CN114022560A (zh) 标定方法及相关装置、设备
WO2022228391A1 (zh) 一种终端设备定位方法及其相关设备
CN113077519A (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN114667541A (zh) 使用人体关节校准无人驾驶飞行器上的摄影机
CN114758011B (zh) 融合离线标定结果的变焦相机在线标定方法
CN112767480A (zh) 一种基于深度学习的单目视觉slam定位方法
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN116091625A (zh) 一种基于双目视觉的基准标记位姿估计方法
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
CN110991306A (zh) 自适应的宽视场高分辨率智能传感方法和系统
CN112747749B (zh) 一种基于双目视觉和激光融合定位导航系统
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN111627048B (zh) 多摄像机的协同目标搜索方法
CN115713565A (zh) 一种双目伺服相机目标定位方法
CN116047440A (zh) 一种端到端的毫米波雷达与摄像头外参标定方法
Faion et al. Recursive bayesian calibration of depth sensors with non-overlapping views

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination