CN117061876B - 基于飞拍机器人的飞拍控制方法和系统 - Google Patents
基于飞拍机器人的飞拍控制方法和系统 Download PDFInfo
- Publication number
- CN117061876B CN117061876B CN202311308646.1A CN202311308646A CN117061876B CN 117061876 B CN117061876 B CN 117061876B CN 202311308646 A CN202311308646 A CN 202311308646A CN 117061876 B CN117061876 B CN 117061876B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- coordinate system
- fly
- axis
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 description 11
- 239000000463 material Substances 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Abstract
本发明提供了一种基于飞拍机器人的飞拍控制方法和系统，其中，该方法包括：对待检测产品进行点云采集，以获取待检测产品的三维几何模型的外表面的点云信息，对待检测产品进行产品定位；根据点云信息对三维几何模型的外表面区域进行区域分割以获取待检测区域；对待检测区域进行区域划分以获取多个拍照子区域，并获取每个拍照子区域对应的成像中心点位姿；根据成像中心点位姿获取相应的拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿；根据各拍摄点在机械臂坐标系下的TCP位姿规划机械臂的飞拍轨迹；根据飞拍轨迹控制机械臂带动2D相机对待检测产品进行飞拍。由此，通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
Description
技术领域
本发明涉及视觉检测技术领域，具体涉及一种基于飞拍机器人的飞拍控制方法和一种基于飞拍机器人的飞拍控制系统。
背景技术
在工业视觉检测任务中，需要对待测工件进行多角度拍摄。如果采用多相机对固定工件进行拍摄的方式，那么需要配置多台相机，成本高昂。如果将一台相机部署于机械臂末端，通过机械臂携相机运动到各个拍摄点位进行静态拍摄（即机械臂末端到达拍摄点后静止，然后采图），那么由于机械臂需要停下来才进行拍摄，导致整个拍摄周期较长，工作效率低，并且，目前尚缺少合适的相机移动路径智能规划策略。
发明内容
本发明为解决上述技术问题，提供了一种基于飞拍机器人的飞拍控制方法，根据待检测产品的三维几何模型自动生成飞拍轨迹，并通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
本发明采用的技术方案如下：
一种基于飞拍机器人的飞拍控制方法，所述飞拍机器人包括机器人台架、设置在机器人台架上的载物架和机械臂以及设置在机械臂末端的前端光学模组，其中，所述前端光学模组包括3D相机和2D相机，所述飞拍控制方法包括以下步骤：在待检测产品放置在所述载物架上后，通过所述3D相机对所述待检测产品进行点云采集，以获取所述待检测产品的三维几何模型的外表面的点云信息，并根据所述点云信息对所述待检测产品进行产品定位；根据所述点云信息对所述三维几何模型的外表面区域进行区域分割以获取待检测区域；对所述待检测区域进行区域划分以获取多个拍照子区域，并获取每个所述拍照子区域对应的成像中心点位姿；根据所述成像中心点位姿获取相应的所述拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿；根据各所述拍摄点在所述机械臂坐标系下的TCP位姿规划所述机械臂的飞拍轨迹；根据所述飞拍轨迹控制所述机械臂带动所述2D相机对所述待检测产品进行飞拍。
在本发明的一个实施例中，根据各所述拍摄点在所述机械臂坐标系下的所述TCP位姿规划所述机械臂的所述飞拍轨迹，包括：根据各所述拍摄点在所述机械臂坐标系下的所述TCP位姿获取路径权重函数；将所述路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM算法对求解结果进行排序，以获取所述飞拍轨迹。
在本发明的一个实施例中，通过以下公式获取所述路径权重函数：
，
其中，为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量；/>为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量对应的系数，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量对应的系数，为路径权重。
一种基于飞拍机器人的飞拍控制系统，所述飞拍机器人包括机器人台架、设置在机器人台架上的载物架和机械臂以及设置在机械臂末端的前端光学模组，其中，所述前端光学模组包括3D相机和2D相机，所述飞拍控制系统包括：第一获取模块，所述第一获取模块用于在待检测产品放置在所述载物架上后，通过所述3D相机对所述待检测产品进行点云采集，以获取所述待检测产品的三维几何模型的外表面的点云信息，并根据所述点云信息对所述待检测产品进行产品定位；第二获取模块，所述第二获取模块用于根据所述点云信息对所述三维几何模型的外表面区域进行区域分割以获取待检测区域；第三获取模块，所述第三获取模块用于对所述待检测区域进行区域划分以获取多个拍照子区域，并获取每个所述拍照子区域对应的成像中心点位姿；第四获取模块，所述第四获取模块用于根据所述成像中心点位姿获取相应的所述拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿；规划模块，所述规划模块用于根据各所述拍摄点在所述机械臂坐标系下的TCP位姿规划所述机械臂的飞拍轨迹；飞拍控制模块，所述飞拍控制模块用于根据所述飞拍轨迹控制所述机械臂带动所述2D相机对所述待检测产品进行飞拍。
在本发明的一个实施例中，所述规划模块具体用于：根据各所述拍摄点在所述机械臂坐标系下的所述TCP位姿获取路径权重函数；将所述路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM算法对求解结果进行排序，以获取所述飞拍轨迹。
在本发明的一个实施例中，所述规划模块具体用于通过以下公式获取所述路径权重函数：
，
其中，为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量；/>为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量对应的系数，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量对应的系数，/>为路径权重。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于飞拍机器人的飞拍控制方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于飞拍机器人的飞拍控制方法。
本发明的有益效果：
本发明根据待检测产品的三维几何模型自动生成飞拍轨迹，并通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
附图说明
图1为本发明实施例的基于飞拍机器人的飞拍控制方法的流程图；
图2为本发明实施例的基于飞拍机器人的飞拍控制系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的基于飞拍机器人的飞拍控制方法的流程图。
需要说明的是，飞拍机器人包括机器人台架、设置在机器人台架上的载物架和机械臂以及设置在机械臂末端的前端光学模组，其中，前端光学模组包括3D相机和2D相机。
如图1所示，本发明实施例的基于飞拍机器人的飞拍控制方法可包括以下步骤：
S1，在待检测产品放置在载物架上后，通过3D相机对待检测产品进行点云采集，以获取待检测产品的三维几何模型的外表面的点云信息，并根据点云信息对待检测产品进行产品定位。
需要说明的是，在本发明的一个实施例中，在执行步骤S1之前，还可获取待检测产品的产品信息，其中，产品信息可包括材质、待检测缺陷类型以及尺寸等信息，并根据产品信息进行前端光学模组的选型，具体包括机械支架、3D相机、2D相机、镜头以及光源等前端光学模组的选型。
另外，还包括对装置进行系统标定，具体包括：前端光学模组中3D相机与机械臂的手眼标定、2D相机关键成像参数标定、2D相机成像偏差标定、机台旋转及直线模组实际安装位置标定等。
在完成上述步骤后，执行步骤S1，即通过3D相机对待检测产品进行点云采集，以获取待检测产品的三维几何模型的外表面的点云信息，并根据点云信息对待检测产品进行产品定位。具体地，可将采集到的点云信息与三维几何模型进行匹配，以获取3D相机的坐标系与三维几何模型的坐标系的转换关系，从而实现对待检测产品进行产品定位。
可以立即的是，为了提高准确度，在采集到点云信息后，还可对点云信息进行噪点滤波处理。
S2，根据点云信息对三维几何模型的外表面区域进行区域分割以获取待检测区域。
具体地，根据点云信息通过区域生长算法，并结合点云曲率、法向特征值进行外表面区域的区域分割，用户确认待检测区域。
S3，对待检测区域进行区域划分以获取多个拍照子区域，并获取每个拍照子区域对应的成像中心点位姿。
其中，可根据各分割点云的平均法向、2D相机成像fov（field of view，视场角）宽高以及景深特征参数进行区域划分以获取多个拍照子区域。其中，每个拍照子区域中心坐标的位置和法向即为拍照子区域对应的成像中心点位姿。
S4，根据成像中心点位姿获取相应的拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿。
具体而言，根据成像中心点位姿，通过2D相机工作距离、相机光心与机械臂第六轴法兰盘中心TCP（Tool Center Point，工具中心点）各方向分量的位置关系进行坐标空间转换，以得到相应的拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿，进而通过机械臂运动学逆解获取机械臂对应关节值。
S5，根据各拍摄点在机械臂坐标系下的TCP位姿规划机械臂的飞拍轨迹。
在本发明的一个实施例中，根据各拍摄点在机械臂坐标系下的TCP位姿规划机械臂的飞拍轨迹，包括：根据各拍摄点在机械臂坐标系下的TCP位姿获取路径权重函数；将路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM算法对求解结果进行排序，以获取飞拍轨迹。具体而言，首先可根据各拍摄点在机械臂坐标系下的TCP位姿通过以下公式获取路径权重函数：
，
其中，为拍摄点在机械臂坐标系各坐标轴上的位置分量，其中，/>为拍摄点在机械臂坐标系x轴上的位置分量，/>为拍摄点在机械臂坐标系y轴上的位置分量，/>为拍摄点在机械臂坐标系z轴上的位置分量；/>为拍摄点在机械臂坐标系各坐标轴上的位置分量对应的系数，其中，/>为拍摄点在机械臂坐标系x轴上的位置分量对应的系数，/>为拍摄点在机械臂坐标系y轴上的位置分量对应的系数，/>为拍摄点在机械臂坐标系z轴上的位置分量对应的系数，/>为拍摄点在机械臂坐标系各坐标轴上的姿态分量，其中，/>为拍摄点在机械臂坐标系x轴上的姿态分量，/>为拍摄点在机械臂坐标系y轴上的姿态分量，/>为拍摄点在机械臂坐标系z轴上的姿态分量，/>为拍摄点在机械臂坐标系各坐标轴上的姿态分量对应的系数，/>为拍摄点在机械臂坐标系x轴上的姿态分量对应的系数，/>为拍摄点在机械臂坐标系y轴上的姿态分量对应的系数，/>为拍摄点在机械臂坐标系z轴上的姿态分量对应的系数， />为路径权重。
然后，将路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM（Self-organizing map，自组织映射）算法对求解结果进行排序，以获取飞拍轨迹。
需要说明的是，为了提高飞拍轨迹的准确性和可靠性，可根据路径规划对拍照点的排序结果，通过对飞拍系统各部件的环境建模，对机械臂本体和环境三维凸包络几何进行连续碰撞检测，添加运动过程中必要的避障点，并通过机械臂逆解求得对应的各轴关节值。其中，若出现关节值超限则自动进行产品位置调整（如平移、自转），并生成多条轨迹（每条轨迹对应一个产品位置）。将经过可行性检查的拍照点、避障点各轴关节值以及机械臂各轴速度、加速度、加加速度作为动力学约束进行轨迹规划，以固定时间间隔进行规划结果的离散，并对拍照点关节值进行IO触发标识。由此，得到更加准确的飞拍轨迹。
S6，根据飞拍轨迹控制机械臂带动2D相机对待检测产品进行飞拍。
具体而言，根据待检测产品材质、待检测缺陷类型以及光学硬件类型，基于光学参数配方数据库进行2D相关键成像参数选择，如曝光、增益、Gamma、频闪光源亮度等。然后，通过实时控制系统及高速IO驱动机械臂根据飞拍轨迹高速运行，并在目标点进行IO触发，控制频闪光源开启及相机取图。
综上所述，根据本发明实施例的基于飞拍机器人的飞拍控制方法，在待检测产品放置在载物架上后，通过3D相机对待检测产品进行点云采集，以获取待检测产品的三维几何模型的外表面的点云信息，并根据点云信息对待检测产品进行产品定位，以及根据点云信息对三维几何模型的外表面区域进行区域分割以获取待检测区域，并对待检测区域进行区域划分以获取多个拍照子区域，以及获取每个拍照子区域对应的成像中心点位姿，并根据成像中心点位姿获取相应的拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿，以及根据各拍摄点在机械臂坐标系下的TCP位姿规划机械臂的飞拍轨迹，并根据飞拍轨迹控制机械臂带动2D相机对待检测产品进行飞拍。由此，根据待检测产品的三维几何模型自动生成飞拍轨迹，并通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
对应上述实施例的基于飞拍机器人的飞拍控制方法，本发明还提出了一种基于飞拍机器人的飞拍控制系统。
需要说明的是，飞拍机器人包括机器人台架、设置在机器人台架上的载物架和机械臂以及设置在机械臂末端的前端光学模组，其中，前端光学模组包括3D相机和2D相机。
如图2所示，本发明实施例的基于飞拍机器人的飞拍控制系统可包括：第一获取模块100、第二获取模块200、第三获取模块300、第四获取模块400、规划模块500和飞拍控制模块600。
其中，第一获取模块100用于在待检测产品放置在载物架上后，通过3D相机对待检测产品进行点云采集，以获取待检测产品的三维几何模型的外表面的点云信息，并根据点云信息对待检测产品进行产品定位；第二获取模块200用于根据点云信息对三维几何模型的外表面区域进行区域分割以获取待检测区域；第三获取模块300用于对待检测区域进行区域划分以获取多个拍照子区域，并获取每个拍照子区域对应的成像中心点位姿；第四获取模块400用于根据成像中心点位姿获取相应的拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿；规划模块500用于根据各拍摄点在机械臂坐标系下的TCP位姿规划机械臂的飞拍轨迹；飞拍控制模块600用于根据飞拍轨迹控制机械臂带动2D相机对待检测产品进行飞拍。
在本发明的一个实施例中，规划模块500具体用于：根据各拍摄点在机械臂坐标系下的TCP位姿获取路径权重函数；将路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM算法对求解结果进行排序，以获取飞拍轨迹。
在本发明的一个实施例中，规划模块500具体用于通过以下公式获取路径权重函数：
，
其中，为拍摄点在机械臂坐标系各坐标轴上的位置分量，其中，/>为拍摄点在机械臂坐标系x轴上的位置分量，/>为拍摄点在机械臂坐标系y轴上的位置分量，/>为拍摄点在机械臂坐标系z轴上的位置分量；/>为拍摄点在机械臂坐标系各坐标轴上的位置分量对应的系数，其中，/>为拍摄点在机械臂坐标系x轴上的位置分量对应的系数，/>为拍摄点在机械臂坐标系y轴上的位置分量对应的系数，/>为拍摄点在机械臂坐标系z轴上的位置分量对应的系数，/>为拍摄点在机械臂坐标系各坐标轴上的姿态分量，其中，/>为拍摄点在机械臂坐标系x轴上的姿态分量，/>为拍摄点在机械臂坐标系y轴上的姿态分量，/>为拍摄点在机械臂坐标系z轴上的姿态分量，/>为拍摄点在机械臂坐标系各坐标轴上的姿态分量对应的系数，/>为拍摄点在机械臂坐标系x轴上的姿态分量对应的系数，/>为拍摄点在机械臂坐标系y轴上的姿态分量对应的系数，/>为拍摄点在机械臂坐标系z轴上的姿态分量对应的系数， />为路径权重。
需要说明的是，本发明的基于飞拍机器人的飞拍控制系统更具体的实施例可参照上述的基于飞拍机器人的飞拍控制方法的实施例，为避免冗余，在此不再阐述。
根据本发明实施例的基于飞拍机器人的飞拍控制系统，通过第一获取模块在待检测产品放置在载物架上后，通过3D相机对待检测产品进行点云采集，以获取待检测产品的三维几何模型的外表面的点云信息，并根据点云信息对待检测产品进行产品定位，以及通过第二获取模块根据点云信息对三维几何模型的外表面区域进行区域分割以获取待检测区域，并通过第三获取模块对待检测区域进行区域划分以获取多个拍照子区域，以及获取每个拍照子区域对应的成像中心点位姿，并通过第四获取模块根据成像中心点位姿获取相应的拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿，以及通过规划模块根据各拍摄点在机械臂坐标系下的TCP位姿规划机械臂的飞拍轨迹，并通过飞拍控制模块根据飞拍轨迹控制机械臂带动2D相机对待检测产品进行飞拍。由此，根据待检测产品的三维几何模型自动生成飞拍轨迹，并通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
对应上述实施例，本发明还提出了一种计算机设备。
本发明实施例的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于飞拍机器人的飞拍控制方法。
根据本发明实施例的基于飞拍机器人的飞拍控制方法，根据待检测产品的三维几何模型自动生成飞拍轨迹，并通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
对应上述实施例，本发明还提出了一种非临时性计算机可读存储介质。
根据本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于飞拍机器人的飞拍控制方法。
根据本发明实施例的非临时性计算机可读存储介质，根据待检测产品的三维几何模型自动生成飞拍轨迹，并通过飞拍轨迹实现在高速运动过程中精准取图，大大提高了工作效率。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种基于飞拍机器人的飞拍控制方法，其特征在于，所述飞拍机器人包括机器人台架、设置在机器人台架上的载物架和机械臂以及设置在机械臂末端的前端光学模组，其中，所述前端光学模组包括3D相机和2D相机，所述飞拍控制方法包括以下步骤：
在待检测产品放置在所述载物架上后，通过所述3D相机对所述待检测产品进行点云采集，以获取所述待检测产品的三维几何模型的外表面的点云信息，并根据所述点云信息对所述待检测产品进行产品定位；
根据所述点云信息对所述三维几何模型的外表面区域进行区域分割以获取待检测区域；
对所述待检测区域进行区域划分以获取多个拍照子区域，并获取每个所述拍照子区域对应的成像中心点位姿；
根据所述成像中心点位姿获取相应的所述拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿；
根据各所述拍摄点在所述机械臂坐标系下的TCP位姿规划所述机械臂的飞拍轨迹；其中，根据各所述拍摄点在所述机械臂坐标系下的所述TCP位姿规划所述机械臂的所述飞拍轨迹，包括：根据各所述拍摄点在所述机械臂坐标系下的所述TCP位姿获取路径权重函数；将所述路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM算法对求解结果进行排序，以获取所述飞拍轨迹；其中，通过以下公式获取所述路径权重函数：
，
其中，为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量；/>为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量对应的系数，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量对应的系数， />为路径权重；
根据所述飞拍轨迹控制所述机械臂带动所述2D相机对所述待检测产品进行飞拍。
2.一种基于飞拍机器人的飞拍控制系统，其特征在于，所述飞拍机器人包括机器人台架、设置在机器人台架上的载物架和机械臂以及设置在机械臂末端的前端光学模组，其中，所述前端光学模组包括3D相机和2D相机，所述飞拍控制系统包括：
第一获取模块，所述第一获取模块用于在待检测产品放置在所述载物架上后，通过所述3D相机对所述待检测产品进行点云采集，以获取所述待检测产品的三维几何模型的外表面的点云信息，并根据所述点云信息对所述待检测产品进行产品定位；
第二获取模块，所述第二获取模块用于根据所述点云信息对所述三维几何模型的外表面区域进行区域分割以获取待检测区域；
第三获取模块，所述第三获取模块用于对所述待检测区域进行区域划分以获取多个拍照子区域，并获取每个所述拍照子区域对应的成像中心点位姿；
第四获取模块，所述第四获取模块用于根据所述成像中心点位姿获取相应的所述拍照子区域对应的2D相机的拍摄点在机械臂坐标系下的TCP位姿；
规划模块，所述规划模块用于根据各所述拍摄点在所述机械臂坐标系下的TCP位姿规划所述机械臂的飞拍轨迹；其中，所述规划模块具体用于：根据各所述拍摄点在所述机械臂坐标系下的所述TCP位姿获取路径权重函数；将所述路径权重函数作为优化目标，采用旅行商问题求解法进行求解，并通过SOM算法对求解结果进行排序，以获取所述飞拍轨迹；其中，所述规划模块具体用于通过以下公式获取所述路径权重函数：
，
其中，为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量；/>为所述拍摄点在所述机械臂坐标系各坐标轴上的位置分量对应的系数，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的位置分量对应的系数，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量，其中，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量，/>为所述拍摄点在所述机械臂坐标系各坐标轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系x轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系y轴上的姿态分量对应的系数，/>为所述拍摄点在所述机械臂坐标系z轴上的姿态分量对应的系数， />为路径权重，
飞拍控制模块，所述飞拍控制模块用于根据所述飞拍轨迹控制所述机械臂带动所述2D相机对所述待检测产品进行飞拍。
3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1所述的基于飞拍机器人的飞拍控制方法。
4.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1所述的基于飞拍机器人的飞拍控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308646.1A CN117061876B (zh) | 2023-10-11 | 2023-10-11 | 基于飞拍机器人的飞拍控制方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308646.1A CN117061876B (zh) | 2023-10-11 | 2023-10-11 | 基于飞拍机器人的飞拍控制方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117061876A CN117061876A (zh) | 2023-11-14 |
| CN117061876B true CN117061876B (zh) | 2024-02-27 |
Family
ID=88659367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311308646.1A Active CN117061876B (zh) | 2023-10-11 | 2023-10-11 | 基于飞拍机器人的飞拍控制方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117061876B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376900A (zh) * | 2018-09-07 | 2019-02-22 | 北京航空航天大学青岛研究院 | 基于点云的无人机轨迹生成方法 |
| CN111898219A (zh) * | 2020-07-29 | 2020-11-06 | 华中科技大学 | 大型复杂构件机器人化表面加工的区域划分方法及设备 |
| CN112511759A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 飞拍控制方法和装置 |
| CN112621766A (zh) * | 2021-03-09 | 2021-04-09 | 常州微亿智造科技有限公司 | 一种基于机器学习的飞拍图像误差预测方法 |
| CN113014816A (zh) * | 2021-03-03 | 2021-06-22 | 常州微亿智造科技有限公司 | 飞拍拍摄触发点的确定方法和装置 |
| CN113510712A (zh) * | 2021-08-04 | 2021-10-19 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的机械臂路径规划方法 |
| WO2023280326A1 (zh) * | 2021-07-07 | 2023-01-12 | 南开大学深圳研究院 | 一种外科手术的主动导航系统及其控制方法 |
-
2023
- 2023-10-11 CN CN202311308646.1A patent/CN117061876B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376900A (zh) * | 2018-09-07 | 2019-02-22 | 北京航空航天大学青岛研究院 | 基于点云的无人机轨迹生成方法 |
| CN111898219A (zh) * | 2020-07-29 | 2020-11-06 | 华中科技大学 | 大型复杂构件机器人化表面加工的区域划分方法及设备 |
| CN112511759A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 飞拍控制方法和装置 |
| CN113014816A (zh) * | 2021-03-03 | 2021-06-22 | 常州微亿智造科技有限公司 | 飞拍拍摄触发点的确定方法和装置 |
| CN112621766A (zh) * | 2021-03-09 | 2021-04-09 | 常州微亿智造科技有限公司 | 一种基于机器学习的飞拍图像误差预测方法 |
| WO2023280326A1 (zh) * | 2021-07-07 | 2023-01-12 | 南开大学深圳研究院 | 一种外科手术的主动导航系统及其控制方法 |
| CN113510712A (zh) * | 2021-08-04 | 2021-10-19 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的机械臂路径规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117061876A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
| US11237572B2 (en) | Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof | |
| CN109079799B (zh) | 一种基于仿生的机器人感知控制系统及控制方法 | |
| JP6426725B2 (ja) | 移動可能な対象物体の場所を追跡するためのシステム及び方法 | |
| KR20180044279A (ko) | 깊이 맵 샘플링을 위한 시스템 및 방법 | |
| JP2018013337A (ja) | 飛行物体の誘導位置決め装置および方法 | |
| CN108072880A (zh) | 激光雷达视场中心指向的调整方法、介质、激光雷达系统 | |
| CN113311873B (zh) | 一种基于视觉的无人机伺服跟踪方法 | |
| Yang et al. | Precise quadrotor autonomous landing with SRUKF vision perception | |
| EP3903298A1 (en) | Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof | |
| CN102374860A (zh) | 三维视觉定位方法及系统 | |
| CN113848931B (zh) | 农机自动驾驶障碍物识别方法、系统、设备和存储介质 | |
| CN107941167B (zh) | 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法 | |
| CN109754420B (zh) | 一种目标距离估计方法、装置及无人机 | |
| CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取系统和方法 | |
| CN117061876B (zh) | 基于飞拍机器人的飞拍控制方法和系统 | |
| JP2020149186A (ja) | 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 | |
| CN110039520B (zh) | 一种基于图像对比的示教、加工系统 | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| JP7229719B2 (ja) | 画像処理システム | |
| KR20090047145A (ko) | 로봇의 비시인성 장애물 탐지방법 | |
| Gabdullin et al. | Analysis of onboard sensor-based odometry for a quadrotor uav in outdoor environment | |
| CN110969652B (zh) | 基于机械手单目相机充当双目立体视觉的拍摄方法及系统 | |
| JP2019212203A (ja) | ３ｄモデル作成システム | |
| CN111736622B (zh) | 基于双目视觉与imu相结合的无人机避障方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |