CN114589719B - 一种乒乓球发球机器人实时标定与校准系统及方法 - Google Patents

一种乒乓球发球机器人实时标定与校准系统及方法 Download PDF

Info

Publication number
CN114589719B
CN114589719B CN202210398750.3A CN202210398750A CN114589719B CN 114589719 B CN114589719 B CN 114589719B CN 202210398750 A CN202210398750 A CN 202210398750A CN 114589719 B CN114589719 B CN 114589719B
Authority
CN
China
Prior art keywords
calibration
ball
service robot
video
table tennis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210398750.3A
Other languages
English (en)
Other versions
CN114589719A (zh
Inventor
毛臻
丁涛杰
潘晗
周军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 58 Research Institute
Original Assignee
CETC 58 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 58 Research Institute filed Critical CETC 58 Research Institute
Priority to CN202210398750.3A priority Critical patent/CN114589719B/zh
Publication of CN114589719A publication Critical patent/CN114589719A/zh
Application granted granted Critical
Publication of CN114589719B publication Critical patent/CN114589719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/40Stationarily-arranged devices for projecting balls or other bodies
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于机器视觉的乒乓球发球机器人实时标定与校准系统,所述标定与校准系统实现包括单目摄像头,视频与图像信号处理AI计算电路板,发球机控制模块,单目摄像头通过mipi接口与视频与图像信号处理AI计算电路板中摄像头接口电路之间相连,视频与图像信号处理AI计算电路板内集成包括RV1126AI主控芯片及外围电路、DC‑DC电源转换、摄像头接口电路、发球机驱动控制模块接口电路,该实现方法主要是在现有发球机器人上增加单目视频捕捉摄像头和信号处理模块及接口,把发球时的落点进行实时捕捉并通过算法计算落点偏差和发球速度,把偏差数据通过串口或其他接口发送到发球机器人控制模块进行实时校准,达到发球机器人在装配出厂时的落点标定和校准。

Description

一种乒乓球发球机器人实时标定与校准系统及方法
技术领域
本发明涉及机器人自动化技术领域,尤其是指一种乒乓球发球机器人实时标定与校准系统及方法。
背景技术
乒乓球发球机机器人是将电子、机械和计算机技术集成为一体的现代化高科技产品,适用于社会、家庭、校园、专业练习场馆等场景。发球机按照形态不同可分为落地型、桌上型和携带型,可发各种性质的球,既可用于娱乐健身,又适合于专业练习,性价比较高。目前市面上的发球机器人智能化程度不高,一般需要手动调节发球机的出球角度来控制落点位置,或者只能自动调节左右位置,上下角度需要手动调节。随着电子与计算机技术的发展,采用全自动机头、全自由编程、可练习多点组合球智能乒乓球发球机已经初露端倪,但这种发球机由于自动化程度高,内部机械结构多,多路步进电机、直流电机控制配合复杂,导致每台机器出厂时都需要进行标定和校准,且由于出厂后运输和长期运行磨损和老化,发球落点会逐步偏移标定范围。
本发明实现方法主要是在现有发球机器人机头上增加单目视频捕捉摄像头和信号处理模块及接口,把发球时的落点进行实时捕捉并通过算法计算落点偏差和发球速度,把偏差数据通过串口或其他接口发送到发球机器人控制模块进行实时校准,达到发球机器人在装配出厂时的落点标定和校准,以及在长期运行过程中的实时按需校准和定期校准,使发球机器人更加智能化。
发明内容
为此,为解决上述技术问题,本发明的一种基于机器视觉的乒乓球发球机器人实时标定与校准系统,所述标定与校准系统实现包括单目摄像头,视频与图像信号处理AI计算电路板,发球机驱动控制模块接口,所述单目摄像头通过mipi接口与视频与图像信号处理AI计算电路板中摄像头接口电路之间相连,所述的视频与图像信号处理AI计算电路板内集成包括RV1126 AI主控芯片及外围电路、DC-DC电源转换、摄像头接口电路、发球机驱动控制模块接口电路,所述的RV1126 AI主控芯片内部含可同编同解VPU的AI视觉处理器和多核arm处理器,除控制整个系统的初始化配置及视频与图像算法执行外,同时RV1126 AI主控芯片将计算结果通过UART串口与发球机驱动控制模块之间进行接口通讯。
在本发明的一个实施例中,所述的单目摄像头、视频与图像信号处理AI计算电路板均集成安装在发球机器人吐球机头上,在乒乓球从发球机吐出后,实时捕获乒乓球的方向角和俯仰角以及速度,对离散的轨迹点进行拟合,从而对乒乓球飞行的整个运行轨迹进行建模。
在本发明的一个实施例中,所述的发球机器人吐球机头通过连接底座固定水平面,且发球机器人吐球机头表面设有单目摄像头的固定开口,与乒乓球的吐球口在同一垂直线上。
在本发明的一个实施例中,所述的视频与图像信号处理AI计算电路板通过多次视频捕获和计算,通过串口或其他和发球机控制模块把偏差数据发送到发球机器人控制模块进行实时交互和校准,达到发球机器人在装配出厂时的落点标定和校准,以及在长期运行过程中的按需校准和定期校准。
本发明的另一方面还提供一种基于机器视觉的乒乓球发球机器人实时标定与校准方法,所述的视频与图像信号处理AI计算电路板上通过运行内部算法对多次发球后的速度、落点、姿态进行实时捕捉,计算落点偏差和发球速度,支持偏差范围为正负50cm,发球速度需小于30m/s,其中的内部算法包括如下步骤:
步骤S1:系统上电,主控SOC初始化,摄像头初始化,接口初始化;
步骤S2:接收到控制板校准指令,否则等待;
步骤S3:场景坐标系设定;
步骤S4:球位置实时锁定算法运动建模,融合算法轨迹预测落点判定;
步骤S5:落点在预设区域阈值内,后发送标定完毕指令,否则发送偏差数据;
步骤S6:接收到驱动控制板再次发球指令,后重复步骤S4,否则等待。
本发明的上述技术方案相比现有技术具有以下优点:本发明所述的乒乓球发球机器人实时标定与校准系统及方法,在已有智能乒乓球发球机的机头上,安装带有视频捕获功能的摄像头和嵌入式AI图像处理板卡并实时与发球机驱动控制板交互,摄像头相当于给发球机器人装上了“眼睛”,嵌入式AI图像处理板卡相当于给发球机装上了“脑袋”。对发球时发球轨迹进行建模,计算发球落点并进行实时捕捉,通过算法计算发球速度和落点偏差,全过程无需人工参与,达到智能乒乓球发球机更加智能化、人性化。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明。
图1是本发明所述基于机器视觉的乒乓球发球机器人实时标定与校准系统的原理示意图;
图2是本发明所述摄像头和嵌入式AI图像处理板卡整机与发球机器人吐球机头的安装示意图;
图3是本发明所述实时标定与校准方法中的软件算法流程图;
图4是本发明所述归一化坐标系建立的平面图;
图5是本发明所述发球机器人校准后的乒乓球轨迹融合示意图。
如图所示,1、单目摄像头,2、视频与图像信号处理AI计算电路板,3、发球机控制模块,4、吐球口,5、连接底座。
具体实施方式
如图1所示,本实施例提供一种基于机器视觉的乒乓球发球机器人实时标定与校准系统,所述标定与校准系统实现包括单目摄像头,视频与图像信号处理AI计算电路板,发球机控制模块,所述单目摄像头通过mipi接口与视频与图像信号处理AI计算电路板中摄像头接口电路之间相连,所述的视频与图像信号处理AI计算电路板内集成包括RV1126 AI主控芯片及外围电路、DC-DC电源转换、摄像头接口电路、发球机驱动控制模块接口电路,所述的RV1126 AI主控芯片内部含可同编同解VPU的AI视觉处理器和多核arm处理器,除控制整个系统的初始化配置及视频与图像算法执行外,同时RV1126 AI主控芯片将计算结果通过UART串口与发球机驱动控制模块之间进行接口通讯。
所述的单目摄像头、视频与图像信号处理AI计算电路板均集成安装在发球机器人吐球机头上,在乒乓球从发球机吐出后,实时捕获乒乓球的方向角和俯仰角以及速度,对离散的轨迹点进行拟合,从而对乒乓球飞行的整个运行轨迹进行建模。
如图2所示,所述的发球机器人吐球机头通过连接底座固定水平面,且发球机器人吐球机头表面设有单目摄像头的固定开口,与乒乓球的吐球口在同一垂直线上,便于单目摄像头工作捕捉。
所述的视频与图像信号处理AI计算电路板通过多次视频捕获和计算,通过串口或其他和发球机控制模块把偏差数据发送到发球机器人控制模块进行实时交互和校准,达到发球机器人在装配出厂时的落点标定和校准,以及在长期运行过程中的按需校准和定期校准。
本发明还提供一种基于机器视觉的乒乓球发球机器人实时标定与校准方法,所述的视频与图像信号处理AI计算电路板上通过运行内部算法对多次发球后的速度、落点、姿态进行实时捕捉,计算落点偏差和发球速度,支持偏差范围为正负50cm,发球速度需小于30m/s,如图3所示,其中的内部算法包括如下步骤:
步骤S1:系统上电,主控SOC初始化,摄像头初始化,接口初始化;
步骤S2:接收到控制板校准指令,否则等待;
步骤S3:场景坐标系设定;
步骤S4:球位置实时锁定算法运动建模,融合算法轨迹预测落点判定;
步骤S5:落点在预设区域阈值内,后发送标定完毕指令,否则发送偏差数据;
步骤S6:接收到驱动控制板再次发球指令,后重复步骤S4,否则等待。
其中进一步地,发球机上电后,电机驱动控制板初始化后先运行找零点算法,即控制吐球方向的电机通过限位开关或传感器找到上下左右行程极限,同时计算水平位置和左右位置的相对中间值,数据收集完成进入标定校准状态。视频与图像信号处理AI计算电路板系统初始化完毕后,初始化摄像头并对其进行校准,初始化通讯接口外设并通过通讯协议与发球机驱动控制板进行同步,同步结束后进行待机状态,等待发球机给出的发球指令。
接收到发球机给出的发球指令和目标落点设定坐标,板卡开始采集摄像头数据,对采集到的数据按帧进行处理,通过边缘检测、颜色提取、阈值判断来确定乒乓桌位置和大小,并以乒乓桌的四个角为基准对整体图像进行归一化变换,建立坐标系,如附图4所示。对首帧图像中的每个像素点使用3-5个高斯模型进行混合高斯建模,并将其作为背景模型,对于非首帧图像,通过比较当前像素点的值与高斯分布中心位置来判断该像素点属于前景还是背景,并选择一定的加权系数对当前高斯分布的中心位置进行更新,将得到的前景像素点闭运算处理,得到该帧中完整的前景图像即运动物体,根据乒乓球的实际尺寸对上述操作后得到的所有运动物体进行筛选,由此锁定到乒乓球位置,锁定后对乒乓球的运动轨迹进行物理建模,建立运动模型,如附图5所示,通过卡尔曼滤波算法将通过运动模型得到的预测位置和通过高斯背景模型得到的位置进行融合,得到融合后的乒乓球坐标,并由此得到乒乓球运动轨迹。上述计算过程循环进行,直到乒乓球轨迹与乒乓球桌相交,记录交点坐标位置,将坐标位置与发球机给出的设定坐标进行对比,将偏差通过通讯接口发送给发球机,然后进入待机状态。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (2)

1.一种基于机器视觉的乒乓球发球机器人实时标定与校准系统,所述标定与校准系统实现包括单目摄像头(1),视频与图像信号处理AI计算电路板(2),发球机控制模块接口(3),其特征在于,所述单目摄像头(1)通过mipi接口与视频与图像信号处理AI计算电路板(2)中摄像头接口电路之间相连,所述的视频与图像信号处理AI计算电路板(2)内集成包括RV1126 AI主控芯片及外围电路、DC-DC电源转换、摄像头接口电路、发球机驱动控制模块接口电路,所述的RV1126 AI主控芯片内部含可同编同解VPU的AI视觉处理器和多核arm处理器,除控制整个系统的初始化配置及视频与图像算法执行外,同时RV1126 AI主控芯片将计算结果通过发球机控制模块接口(3),采用的是UART串口或USB口与发球机驱动板之间进行接口通讯;
所述的单目摄像头(1)、视频与图像信号处理AI计算电路板(2)均集成安装在发球机器人吐球机头上,在乒乓球从发球机吐出后,实时捕获乒乓球的方向角和俯仰角以及速度,对离散的轨迹点进行拟合,从而对乒乓球飞行的整个运行轨迹进行建模;
其特征在于:所述的发球机器人吐球机头通过连接底座(5)固定水平面,且发球机器人吐球机头表面设有单目摄像头(1)的固定开口,与乒乓球的吐球口(4)在同一垂直线上;
所述的视频与图像信号处理AI计算电路板(2)通过多次视频捕获和计算,通过发球机控制模块接口(3)把偏差数据发送到发球机器人控制模块进行实时交互和校准,达到发球机器人在装配出厂时的落点标定和校准,以及在长期运行过程中的按需校准和定期校准。
2.根据权利要求 1 所述的乒乓球发球机器人实时标定与校准系统,其特征在于:基于所述标定与校准系统,同时设计有一种基于机器视觉的乒乓球发球机器人实时标定与校准方法,所述的视频与图像信号处理AI计算电路板(2)上通过运行内部算法对多次发球后的速度、落点、姿态进行实时捕捉,计算落点偏差和发球速度,支持偏差范围为正负50cm,发球速度需小于30m/s,其特征在于:其中的内部算法包括如下步骤:
步骤S1:系统上电,主控SOC初始化,摄像头初始化,接口初始化;
步骤S2:接收到控制板校准指令,否则等待;
步骤S3:场景坐标系设定;
步骤S4: 球位置实时锁定算法运动建模,融合算法轨迹预测落点判定;
步骤S5:落点在预设区域阈值内,后发送标定完毕指令,否则发送偏差数据;
步骤S6:接收到驱动控制板再次发球指令,后重复步骤S4,否则等待。
CN202210398750.3A 2022-04-02 2022-04-02 一种乒乓球发球机器人实时标定与校准系统及方法 Active CN114589719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398750.3A CN114589719B (zh) 2022-04-02 2022-04-02 一种乒乓球发球机器人实时标定与校准系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398750.3A CN114589719B (zh) 2022-04-02 2022-04-02 一种乒乓球发球机器人实时标定与校准系统及方法

Publications (2)

Publication Number Publication Date
CN114589719A CN114589719A (zh) 2022-06-07
CN114589719B true CN114589719B (zh) 2024-03-08

Family

ID=81821604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398750.3A Active CN114589719B (zh) 2022-04-02 2022-04-02 一种乒乓球发球机器人实时标定与校准系统及方法

Country Status (1)

Country Link
CN (1) CN114589719B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481270A (zh) * 2017-08-10 2017-12-15 上海体育学院 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN108846864A (zh) * 2018-05-29 2018-11-20 珠海全志科技股份有限公司 一种运动物体的位置捕捉系统、方法及装置
CN108970075A (zh) * 2018-07-30 2018-12-11 蚌埠惊涛精密机械有限公司 一种基于图像的乒乓球发球机控制装置与方法
CN109589580A (zh) * 2018-11-08 2019-04-09 哈尔滨工程大学 基于视觉识别和全向移动的智能网球训练机器人及训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643741B2 (en) * 2016-11-03 2020-05-05 RightEye, LLC Systems and methods for a web platform hosting multiple assessments of human visual performance
US11842572B2 (en) * 2018-06-21 2023-12-12 Baseline Vision Ltd. Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481270A (zh) * 2017-08-10 2017-12-15 上海体育学院 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN108846864A (zh) * 2018-05-29 2018-11-20 珠海全志科技股份有限公司 一种运动物体的位置捕捉系统、方法及装置
CN108970075A (zh) * 2018-07-30 2018-12-11 蚌埠惊涛精密机械有限公司 一种基于图像的乒乓球发球机控制装置与方法
CN109589580A (zh) * 2018-11-08 2019-04-09 哈尔滨工程大学 基于视觉识别和全向移动的智能网球训练机器人及训练方法

Also Published As

Publication number Publication date
CN114589719A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN100551048C (zh) 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
US10379545B2 (en) Detecting optical discrepancies in captured images
US11455895B2 (en) Roof scan using unmanned aerial vehicle
WO2021228181A1 (zh) 一种3d打印方法和装置
CN108549489A (zh) 一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统
CN108875683A (zh) 一种机器人视觉跟踪方法及其系统
CN109948423B (zh) 应用人脸及姿态识别的无人机旅游伴随服务方法及无人机
CN205378888U (zh) 一种高精度便捷式三维人体扫描仪
WO2018014420A1 (zh) 一种基于发光目标识别的无人机跟踪控制系统及方法
CN105759650A (zh) 一种用于智能机器人系统实时跟踪人脸的方法
Hagiwara et al. Real-time image processing system by using FPGA for service robots
CN114589719B (zh) 一种乒乓球发球机器人实时标定与校准系统及方法
Zheng et al. Binocular intelligent following robot based on YOLO-LITE
CN111832379A (zh) 基于卷积神经网络的无人机实时视频检测系统
CN112634362B (zh) 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法
CN108122260B (zh) 内置摄像头调整方法和装置
CN111757021B (zh) 面向移动机器人远程接管场景的多传感器实时融合方法
CN109949343A (zh) 基于双目视觉的足球拦截装置及方法
CN115157286A (zh) 基于光视觉的自动挂摘接地线机器人及其远程控制方法
RU2735196C1 (ru) Способ управления посадкой малого беспилотного летательного аппарата
WO2022021028A1 (zh) 目标检测方法、装置、无人机及计算机可读存储介质
CN106413280A (zh) 基于图像处理的贴片机喂料器元件位置自动矫正装置及自动矫正方法
CN112866583A (zh) 数据采集系统、方法、装置、电子设备及存储介质
CN114617397A (zh) 产品展示系统
CN112050814A (zh) 一种室内变电站无人机视觉导航系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Mao Zhen

Inventor after: Ding Taojie

Inventor after: Pan Han

Inventor after: Zhou Jun

Inventor before: Mao Zhen

Inventor before: Zhou Jun

Inventor before: Ding Taojie

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant