CN112085770A - 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法 - Google Patents

一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法 Download PDF

Info

Publication number
CN112085770A
CN112085770A CN202010945812.9A CN202010945812A CN112085770A CN 112085770 A CN112085770 A CN 112085770A CN 202010945812 A CN202010945812 A CN 202010945812A CN 112085770 A CN112085770 A CN 112085770A
Authority
CN
China
Prior art keywords
coordinate point
coordinate
coordinate points
binocular
left camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010945812.9A
Other languages
English (en)
Other versions
CN112085770B (zh
Inventor
贺琪欲
张海波
杨跞
许楠
张文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pont Technology Co Ltd
Original Assignee
Shanghai Pont Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pont Technology Co Ltd filed Critical Shanghai Pont Technology Co Ltd
Priority to CN202010945812.9A priority Critical patent/CN112085770B/zh
Publication of CN112085770A publication Critical patent/CN112085770A/zh
Application granted granted Critical
Publication of CN112085770B publication Critical patent/CN112085770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其包括以下步骤：对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。本申请用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法通过对目标进行匹配、重建和多目标筛选，能够在复杂的多乒乓球场景中定位和筛选出有效运动目标，可以同时适用于普通的单球对打场景以及乒乓球多球训练场景。

Description

一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法
技术领域
本申请属于机器视觉技术领域，具体涉及一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
背景技术
双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
现有的乒乓球轨迹捕捉中使用的双目立体视觉系统大多用于乒乓球机器人的回球场景。在乒乓球机器人的回球场景中，只能在视野中只有单个乒乓球的情况下使用，而无法用于多乒乓球的情况。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
根据本申请实施例的第一方面，本申请提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其包括以下步骤：
对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；
对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；
利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。
上述用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中，所述步骤对双目多目标图像进行匹配的具体过程为：
利用双目立体视觉系统采集某一帧图像对，该图像对包括左相机图像和右相机图像；并分别在左相机图像和右相机图像中检测乒乓球的坐标点；
利用双目立体视觉系统的标定参数，分别对应将检测到的左相机图像和右相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点和右相机校正图中的坐标点；
遍历搜索所有左相机校正图中的坐标点与右相机校正图中的坐标点的组合；
计算每对组合中坐标点之间的极线距离；
判断极线距离是否满足极线约束，并记录满足极线约束的组合中的坐标点；
遍历记录的满足极线约束的坐标点匹配对的组合，通过唯一性约束和次序约束从该坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合。
进一步地，所述将检测到的左相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点的具体过程为：
假设左相机图像中的乒乓球的坐标点PL[i],i＝1,2,3,L,m的坐标为(u0,v0)，左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m的坐标为(u,v)，则：
Figure BDA0002675238800000021
式中，
Figure BDA0002675238800000022
ML表示左相机的3*3内参数矩阵，ProjL表示左相机的3*4校正图投影矩阵，ML-1表示矩阵ML的逆矩阵，u1,v1,z1,u2,v2,u3,v3,z3均为中间计算数值。
进一步地，所述步骤计算每对组合中坐标点之间的极线距离的具体过程为：
假设左相机校正图中的坐标点PRL[i]的坐标为(xl[i],yl[i])，右相机校正图中的坐标点PRR[j]的坐标为(xr[j],yr[j])，则坐标点PRL[i]与PRR[j]之间的极线距离PE为：
PE＝|yr[j]-yl[i]|。
进一步地，所述步骤判断极线距离是否满足极线约束的具体过程为：
预设极线约束阈值thresh1；
将坐标点PRL[i]与PRR[j]之间的极线距离PE与极线约束阈值thresh1进行比较，如果坐标点PRL[i]与PRR[j]之间的极线距离PE小于极线约束阈值thresh1，则判定坐标点PRL[i]与PRR[j]之间的极线距离PE满足极线约束。
进一步地，所述通过唯一性约束和次序约束从满足极线约束的坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合的具体过程为：
所述唯一性约束为：左相机校正图中的每个坐标点最多只存在一个右相机校正图中的坐标点与之有效匹配对应；
所述次序约束为：同一根极线附近的坐标点匹配对在左相机校正图中的出现顺序与在右相机校正图中的出现顺序相同；
依次筛选记录的满足极线约束的坐标点匹配对的组合Record中的左相机校正图中的坐标点，如果仅存在一个右相机校正图中的坐标点与之匹配，则将该坐标点匹配对的组合作为有效组合并记录，同时在组合Record中删除该坐标点匹配对的组合中的两个坐标点；
依次筛选剩下的组合Record中的左相机校正图中的坐标点，对每个左相机校正图中的坐标点PRL[i]，找出所有与之匹配的右相机校正图中的坐标点的集合{PRRjm}，然后对坐标点集合{PRRjm}中的每个右相机校正图坐标点PRRjm，找到所有与之匹配的左相机校正图中坐标点的集合{PRLin}；
按照左相机校正图中坐标点的x轴坐标的大小，对左相机校正图中坐标点集合{PRLin}中的坐标点进行排序；按照右相机校正图中坐标点的x轴坐标的大小，对右相机校正图中坐标点集合{PRRjm}中的坐标点进行排序；
按顺序遍历搜索排序后的坐标点集合{PRLin}和{PRRjm}，对每一个左相机校正图中的坐标点PRLin，将找到的第一个与之满足极线约束的右相机校正图中的坐标点PRRjm与该坐标点PRLin作为有效组合，记录该有效组合，并在组合Record中删除该有效组合中的两个坐标点；
遍历完毕后，找到并记录所有k个有效坐标点匹配对的组合。
上述用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中，对得到的有效坐标点匹配对的组合进行三维重建的具体过程为：
假设有效坐标点匹配对的组合(PRLin[k],PRRjm[k])中坐标点PRLin[k]的坐标为(ul,vl)，坐标点PRRjm[k]的坐标为(ur,vr)，则乒乓球的空间坐标点Pk(xk,yk,zk)为：
Figure BDA0002675238800000041
式中，
Figure BDA0002675238800000042
Figure BDA0002675238800000043
Figure BDA0002675238800000044
ML表示左相机的3*3内参数矩阵，PLR表示右相机相对于左相机的4*4外参数矩阵，x0,y0,z0,w0,xc,yc,zc均为中间计算数值，Htable表示在左相机坐标系下球桌坐标系的4*4变换矩阵，Htable-1为矩阵Htable的逆矩阵。
上述用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中，所述利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选的具体过程为：
遍历本帧图像中k个同时出现在双目立体视觉系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉系统中的乒乓球的空间坐标点Pj1(xj′1,yj′1,z′j1)(j1＝1,2,L,k′)之间的最小距离dis；
Figure BDA0002675238800000051
找出最小距离dis的最大值dismax及其对应的序号i1，
Figure BDA0002675238800000052
如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标。
根据本申请实施例的第二方面，本申请还提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选装置，其包括：
存储器和处理器，
所述处理器被配置为基于存储在存储器中的指令，执行上述任一项所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
根据本申请实施例的第三方面，本申请还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法通过对目标进行匹配、重建和多目标筛选，能够在复杂的多乒乓球场景中定位和筛选出有效运动目标，可以同时适用于普通的单球对打场景以及乒乓球多球训练场景。
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。
附图说明
下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。
图1为本申请实施例提供的一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法的流程图。
图2为本申请实施例提供的一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中双目多目标图像匹配方法的流程图。
图3为本申请实施例提供的一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中多目标筛选的方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。
本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以细微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的细微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
图1为本申请实施例提供的一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法的流程图。
如图1所示，本申请提供的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法包括以下步骤：
S1、如图2所示，对双目多目标图像进行匹配，得到有效坐标点匹配对的组合，其具体过程为：
S11、利用双目立体视觉系统采集某一帧图像对，该图像对包括左相机图像和右相机图像；并在左相机图像中检测到m个乒乓球的坐标点PL[i],i＝1,2,3,L,m，在右相机图像中检测到n个乒乓球的坐标点PR[j],j＝1,2,3,L,n。
S12、利用双目立体视觉系统的标定参数将坐标点PL[i],i＝1,2,3,L,m]转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m，将坐标点PR[j],j＝1,2,3,L,n转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n。
通过事先标定双目立体视觉系统，可以得到转换过程中需用到的左相机的3*3内参数矩阵ML、左相机的3*4校正图投影矩阵ProjL、右相机的3*3内参数矩阵MR、右相机的3*4校正图投影矩阵ProjR以及右相机相对于左相机的4*4外参数矩阵PLR。
利用左相机的3*3内参数矩阵ML和左相机的3*4校正图投影矩阵ProjL，将坐标点PL[i],i＝1,2,3,L,m]转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m的具体过程为：
假设坐标点PL[i]的坐标为(u0,v0)，坐标点PRL[i]的坐标为(u,v)，则通过以下公式将(u0,v0)转换为(u,v)。
Figure BDA0002675238800000071
式(1)中，
Figure BDA0002675238800000081
式(2)中，
Figure BDA0002675238800000082
Figure BDA0002675238800000083
式(3)中，
Figure BDA0002675238800000084
式(5)中，ML-1表示矩阵ML的逆矩阵，u1,v1,z1,u2,v2,u3,v3,z3均为中间计算数值。
同理，可以利用右相机的3*3内参数矩阵MR和右相机的3*4校正图投影矩阵ProjR，将坐标点PR[j],j＝1,2,3,L,n]转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n。
S13、遍历搜索所有左相机校正图中的坐标点PRL[i]与右相机校正图中的坐标点PRR[j]的组合。
S14、计算每对组合中坐标点PRL[i]与PRR[j]之间的极线距离PE。
假设左相机校正图中的坐标点PRL[i]的坐标为(xl[i],yl[i])，右相机校正图中的坐标点PRR[j]的坐标为(xr[j],yr[j])，则坐标点PRL[i]与PRR[j]之间的极线距离PE为：
PE＝|yr[j]-yl[i]| (6)
S15、判断极线距离PE是否满足极线约束。
如果满足极线约束，则记录满足极线约束的组合中的坐标点PRL[i]与PRR[j]；否则，进一步判断是否遍历完毕，如果是，则进入步骤S16；否则，返回步骤S13。
如果坐标点PRL[i]与PRR[j]之间的极线距离PE小于极线约束阈值thresh1，则判定坐标点PRL[i]与PRR[j]之间的极线距离PE满足极线约束。其中，极线约束阈值thresh1可以在(0,30)内取值，例如，极线约束阈值thresh1可以为thresh1＝2。
S16、遍历步骤S15中记录的满足极线约束的坐标点匹配对(PRL[i]，PRR[j])的组合Record，通过唯一性约束和次序约束从组合Record中筛选出k个有效的坐标点匹配对的组合。
其中，唯一性约束为：左相机校正图中的每个坐标点最多只存在一个右相机校正图中的坐标点与之有效匹配对应。
次序约束为：同一根极线附近的坐标点匹配对在左相机校正图中的出现顺序与在右相机校正图中的出现顺序相同。
从组合Record中筛选出k个有效的坐标点匹配对的组合的具体过程为：
首先，依次筛选步骤S14中记录的满足极线约束的坐标点匹配对的组合Record中的左相机校正图中的坐标点，如果仅存在一个右相机校正图中的坐标点与之匹配，则将该坐标点匹配对的组合作为有效组合并记录，同时在组合Record中删除该坐标点匹配对的组合中的两个坐标点；
其次，依次筛选剩下的组合Record中的左相机校正图中的坐标点，对每个左相机校正图中的坐标点PRL[i]，找出所有与之匹配的右相机校正图中的坐标点的集合{PRRjm}，然后对坐标点集合{PRRjm}中的每个右相机校正图坐标点PRRjm，找到所有与之匹配的左相机校正图中坐标点的集合{PRLin}。
再次，按照左相机校正图中坐标点的x轴坐标的大小，对左相机校正图中坐标点集合{PRLin}中的坐标点进行排序；按照右相机校正图中坐标点的x轴坐标的大小，对右相机校正图中坐标点集合{PRRjm}中的坐标点进行排序。
按顺序遍历搜索排序后的坐标点集合{PRLin}和{PRRjm}，对每一个左相机校正图中的坐标点PRLin，将找到的第一个与之满足极线约束的右相机校正图中的坐标点PRRjm与该坐标点PRLin作为有效组合，记录该有效组合，并在组合Record中删除该有效组合中的两个坐标点。
遍历完毕后，所有k个有效坐标点匹配对的组合均被找到并记录。
S2、对步骤S16中得到的k个有效坐标点匹配对的组合进行三维重建，得到k个同时出现在双目立体视觉系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)。
下面以其中一个有效坐标点匹配对的组合(PRLin[k],PRRjm[k])为例，说明三维重建得到乒乓球的空间坐标点Pk(xk,yk,zk)的具体过程。
假设坐标点PRLin[k]的坐标为(ul,vl)，坐标点PRRjm[k]的坐标为(ur,vr)，则通过以下公式得到乒乓球的空间坐标点Pk(xk,yk,zk)。
Figure BDA0002675238800000101
式(7)中，
Figure BDA0002675238800000102
式(8)中，
Figure BDA0002675238800000103
式(7)中，H的表达式如式(4)所示，式(9)中，ML表示左相机的3*3内参数矩阵，PLR表示右相机相对于左相机的4*4外参数矩阵，x0,y0,z0,w0,xc,yc,zc均为中间计算数值，Htable表示在左相机坐标系下球桌坐标系的4*4变换矩阵，Htable-1为矩阵Htable的逆矩阵。
S3、利用三维重建得到的k个同时出现在双目立体视觉系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)进行多目标筛选，得到有效运动目标乒乓球的空间坐标点，如图3所示，其具体包括以下步骤：
S31、遍历本帧图像中k个同时出现在双目立体视觉系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉系统中的乒乓球的空间坐标点Pj1(xj′1,yj′1,z′j1)(j1＝1,2,L,k′)之间的最小距离dis。
Figure BDA0002675238800000111
S32、找出最小距离dis的最大值dismax及其对应的序号i1。
Figure BDA0002675238800000112
S33、判断最大值dismax是否大于预设的阈值thresh2。
如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标；否则，判定本帧图像中没有有效运动目标。
其中，预设的阈值thresh2的取值范围为(0，0.2)，具体地，thresh2可以为thresh2＝0.03。
假设有效运动目标的坐标为T(x,y,z)，则
Figure BDA0002675238800000113
本申请用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法通过对双目多目标图像进行匹配和重建，能够为双目立体视觉系统中多个具有相同特征的目标建立一一对应的匹配关系，并计算出相应的三维坐标；通过对三维重建得到的乒乓球的空间坐标点进行多目标筛选，能够在复杂的多乒乓球场景中定位和筛选出有效运动目标，可以同时适用于普通的单球对打场景以及乒乓球多球训练场景。
在示例性实施例中，本申请实施例还提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选装置，其包括存储器和处理器，处理器被配置为基于存储在存储器中的指令，执行本申请中任一个实施例中的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
其中，存储器可以为系统存储器或固定非易失性存储介质等，系统存储器可以存储有操作系统、应用程序、引导装载程序、数据库以及其他程序等。
在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成本申请中任一个实施例中的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
以上所述仅表示本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。

Claims (10)

1.一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，包括以下步骤：
对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；
对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；
利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。
2.如权利要求1所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述步骤对双目多目标图像进行匹配的具体过程为：
利用双目立体视觉系统采集某一帧图像对，该图像对包括左相机图像和右相机图像；并分别在左相机图像和右相机图像中检测乒乓球的坐标点；
利用双目立体视觉系统的标定参数，分别对应将检测到的左相机图像和右相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点和右相机校正图中的坐标点；
遍历搜索所有左相机校正图中的坐标点与右相机校正图中的坐标点的组合；
计算每对组合中坐标点之间的极线距离；
判断极线距离是否满足极线约束，并记录满足极线约束的组合中的坐标点；
遍历记录的满足极线约束的坐标点匹配对的组合，通过唯一性约束和次序约束从该坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合。
3.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述将检测到的左相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点的具体过程为：
假设左相机图像中的乒乓球的坐标点PL[i],i＝1,2,3,L,m的坐标为(u0,v0)，左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m的坐标为(u,v)，则：
Figure FDA0002675238790000021
式中，
Figure FDA0002675238790000022
ML表示左相机的3*3内参数矩阵，ProjL表示左相机的3*4校正图投影矩阵，ML-1表示矩阵ML的逆矩阵，u1,v1,z1,u2,v2,u3,v3,z3均为中间计算数值。
4.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述步骤计算每对组合中坐标点之间的极线距离的具体过程为：
假设左相机校正图中的坐标点PRL[i]的坐标为(xl[i],yl[i])，右相机校正图中的坐标点PRR[j]的坐标为(xr[j],yr[j])，则坐标点PRL[i]与PRR[j]之间的极线距离PE为：
PE＝|yr[j]-yl[i]|。
5.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述步骤判断极线距离是否满足极线约束的具体过程为：
预设极线约束阈值thresh1；
将坐标点PRL[i]与PRR[j]之间的极线距离PE与极线约束阈值thresh1进行比较，如果坐标点PRL[i]与PRR[j]之间的极线距离PE小于极线约束阈值thresh1，则判定坐标点PRL[i]与PRR[j]之间的极线距离PE满足极线约束。
6.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述通过唯一性约束和次序约束从满足极线约束的坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合的具体过程为：
所述唯一性约束为：左相机校正图中的每个坐标点最多只存在一个右相机校正图中的坐标点与之有效匹配对应；
所述次序约束为：同一根极线附近的坐标点匹配对在左相机校正图中的出现顺序与在右相机校正图中的出现顺序相同；
依次筛选记录的满足极线约束的坐标点匹配对的组合Record中的左相机校正图中的坐标点，如果仅存在一个右相机校正图中的坐标点与之匹配，则将该坐标点匹配对的组合作为有效组合并记录，同时在组合Record中删除该坐标点匹配对的组合中的两个坐标点；
依次筛选剩下的组合Record中的左相机校正图中的坐标点，对每个左相机校正图中的坐标点PRL[i]，找出所有与之匹配的右相机校正图中的坐标点的集合{PRRjm}，然后对坐标点集合{PRRjm}中的每个右相机校正图坐标点PRRjm，找到所有与之匹配的左相机校正图中坐标点的集合{PRLin}；
按照左相机校正图中坐标点的x轴坐标的大小，对左相机校正图中坐标点集合{PRLin}中的坐标点进行排序；按照右相机校正图中坐标点的x轴坐标的大小，对右相机校正图中坐标点集合{PRRjm}中的坐标点进行排序；
按顺序遍历搜索排序后的坐标点集合{PRLin}和{PRRjm}，对每一个左相机校正图中的坐标点PRLin，将找到的第一个与之满足极线约束的右相机校正图中的坐标点PRRjm与该坐标点PRLin作为有效组合，记录该有效组合，并在组合Record中删除该有效组合中的两个坐标点；
遍历完毕后，找到并记录所有k个有效坐标点匹配对的组合。
7.根据权利要求1所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，对得到的有效坐标点匹配对的组合进行三维重建的具体过程为：
假设有效坐标点匹配对的组合(PRLin[k],PRRjm[k])中坐标点PRLin[k]的坐标为(ul,vl)，坐标点PRRjm[k]的坐标为(ur,vr)，则乒乓球的空间坐标点Pk(xk,yk,zk)为：
Figure FDA0002675238790000031
式中，
Figure FDA0002675238790000041
Figure FDA0002675238790000042
Figure FDA0002675238790000043
ML表示左相机的3*3内参数矩阵，PLR表示右相机相对于左相机的4*4外参数矩阵，x0,y0,z0,w0,xc,yc,zc均为中间计算数值，Htable表示在左相机坐标系下球桌坐标系的4*4变换矩阵，Htable-1为矩阵Htable的逆矩阵。
8.根据权利要求1所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选的具体过程为：
遍历本帧图像中k个同时出现在双目立体视觉系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉系统中的乒乓球的空间坐标点Pj1(x′j1,y′j1,z′j1)(j1＝1,2,L,k′)之间的最小距离dis；
Figure FDA0002675238790000044
找出最小距离dis的最大值dismax及其对应的序号i1，
Figure FDA0002675238790000045
如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标。
9.一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选装置，其特征在于，包括：
存储器和处理器，
所述处理器被配置为基于存储在存储器中的指令，执行权利要求1～8任一项所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～8任一项所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
CN202010945812.9A 2020-09-10 2020-09-10 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法 Active CN112085770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010945812.9A CN112085770B (zh) 2020-09-10 2020-09-10 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010945812.9A CN112085770B (zh) 2020-09-10 2020-09-10 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法

Publications (2)

Publication Number Publication Date
CN112085770A true CN112085770A (zh) 2020-12-15
CN112085770B CN112085770B (zh) 2024-07-05

Family

ID=73732425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010945812.9A Active CN112085770B (zh) 2020-09-10 2020-09-10 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法

Country Status (1)

Country Link
CN (1) CN112085770B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758239A (zh) * 2022-04-22 2022-07-15 安徽工业大学科技园有限公司 基于机器视觉的物品飞离预定行进线路的监测方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110129143A1 (en) * 2009-11-27 2011-06-02 Sony Corporation Method and apparatus and computer program for generating a 3 dimensional image from a 2 dimensional image
KR20120060657A (ko) * 2010-12-02 2012-06-12 엘지전자 주식회사 전자 장치 및 입체감 조정 방법
JP2012194751A (ja) * 2011-03-16 2012-10-11 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム
CN103389738A (zh) * 2013-06-25 2013-11-13 北京理工大学 一种用于乒乓球机器人预测乒乓球轨迹的方法和装置
US20140300745A1 (en) * 2013-04-03 2014-10-09 Adidas Ag Method of measuring a property of a trajectory of a ball with a mobile computer device
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109345568A (zh) * 2018-09-19 2019-02-15 深圳市赢世体育科技有限公司 基于计算机视觉算法的运动场智能化实现方法及系统
CN110648362A (zh) * 2019-09-11 2020-01-03 商丘师范学院 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN110941795A (zh) * 2019-12-16 2020-03-31 中科新松有限公司 乒乓球旋转角度获取方法、获取装置及存储介质
CN111283700A (zh) * 2020-05-11 2020-06-16 上海庞勃特科技有限公司 一种乒乓球发球机器人、乒乓球发球方法和计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110129143A1 (en) * 2009-11-27 2011-06-02 Sony Corporation Method and apparatus and computer program for generating a 3 dimensional image from a 2 dimensional image
KR20120060657A (ko) * 2010-12-02 2012-06-12 엘지전자 주식회사 전자 장치 및 입체감 조정 방법
JP2012194751A (ja) * 2011-03-16 2012-10-11 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム
US20140300745A1 (en) * 2013-04-03 2014-10-09 Adidas Ag Method of measuring a property of a trajectory of a ball with a mobile computer device
CN103389738A (zh) * 2013-06-25 2013-11-13 北京理工大学 一种用于乒乓球机器人预测乒乓球轨迹的方法和装置
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109345568A (zh) * 2018-09-19 2019-02-15 深圳市赢世体育科技有限公司 基于计算机视觉算法的运动场智能化实现方法及系统
CN110648362A (zh) * 2019-09-11 2020-01-03 商丘师范学院 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN110941795A (zh) * 2019-12-16 2020-03-31 中科新松有限公司 乒乓球旋转角度获取方法、获取装置及存储介质
CN111283700A (zh) * 2020-05-11 2020-06-16 上海庞勃特科技有限公司 一种乒乓球发球机器人、乒乓球发球方法和计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
K. ZHANG等: ""Real-Time Visual Measurement With Opponent Hitting Behavior for Table Tennis Robot"", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 67, no. 4, 24 January 2018 (2018-01-24), pages 811 - 820 *
KOÇ, OKAN等: ""Online optimal trajectory generation for robot table tennis"", 《ROBOTICS AND AUTONOMOUS SYSTEMS》, vol. 105, 24 April 2018 (2018-04-24), pages 121 - 137 *
周旭等: ""基于双目视觉的机械手捡球机器人设计"", 《机床与液压》, vol. 48, no. 3, 15 February 2020 (2020-02-15), pages 34 - 40 *
崔梦丹: ""基于三目视觉的旋转乒乓球轨迹跟踪系统研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, 15 March 2018 (2018-03-15), pages 138 - 1436 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758239A (zh) * 2022-04-22 2022-07-15 安徽工业大学科技园有限公司 基于机器视觉的物品飞离预定行进线路的监测方法和系统
CN114758239B (zh) * 2022-04-22 2024-06-04 安徽工业大学科技园有限公司 基于机器视觉的物品飞离预定行进线路的监测方法和系统

Also Published As

Publication number Publication date
CN112085770B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN105792353B (zh) 群智感知式WiFi信号指纹辅助的图像匹配室内定位方法
CN109712172A (zh) 一种初始位姿测量结合目标追踪的位姿测量方法
CN111951201B (zh) 一种无人机航拍图像拼接方法、装置和存储介质
CN115187658B (zh) 多相机视觉的大目标定位方法、系统及设备
CN109165680A (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN104715479A (zh) 基于增强虚拟的场景复现检测方法
TWI785588B (zh) 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
CN110487274B (zh) 用于弱纹理场景的slam方法、系统、导航车及存储介质
CN112752028B (zh) 移动平台的位姿确定方法、装置、设备和存储介质
CN102521816A (zh) 一种云数据中心机房实时宽场景监控合成方法
JP6860620B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112085761B (zh) 乒乓球轨迹捕捉分析方法及分析系统
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN110009687A (zh) 基于三相机的彩色三维成像系统及其标定方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN114022560A (zh) 标定方法及相关装置、设备
CN116912333B (zh) 一种基于作业围栏标定杆的相机姿态自标定方法
CN113223078A (zh) 标志点的匹配方法、装置、计算机设备和存储介质
CN112085770B (zh) 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN109544584B (zh) 一种实现巡检稳像精度测量的方法及系统
CN114723811A (zh) 一种非结构化环境四足机器人立体视觉定位建图方法
CN117197241B (zh) 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法
CN116051658B (zh) 基于双目视觉进行目标检测的相机手眼标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201206 No. 257, jinzang Road, Pudong New Area, Shanghai

Applicant after: Shanghai Chuangyi Technology Co.,Ltd.

Address before: 201206 No. 257, jinzang Road, Pudong New Area, Shanghai

Applicant before: Shanghai pont Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant