CN110509275A - 物品夹取方法及机器人 - Google Patents
物品夹取方法及机器人 Download PDFInfo
- Publication number
- CN110509275A CN110509275A CN201910792004.0A CN201910792004A CN110509275A CN 110509275 A CN110509275 A CN 110509275A CN 201910792004 A CN201910792004 A CN 201910792004A CN 110509275 A CN110509275 A CN 110509275A
- Authority
- CN
- China
- Prior art keywords
- straight line
- clamped
- information
- profile information
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于计算机应用技术领域，提供了物品夹取方法及机器人，包括：通过获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；根据所述夹取位置和姿态夹取所述待夹取物体。通过根据待夹取物体的轮廓信息确定该物体的重心和物体方向，进而根据重心和物体方向确定待夹取物体的夹取位置和姿态，最后根据夹取位置和姿态夹取该物体，提高了物体夹取的精确度，尤其是在重型垃圾的视觉分选中，提高了重型垃圾夹取的成功率和效率。
Description
技术领域
本申请属于计算机应用技术领域，尤其涉及一种物品夹取方法及机器人。
背景技术
在垃圾视觉分选中，较重或者体积较大的物体，如在垃圾中，石块、金属、塑料罐等都属于这一种，如果使用机器人分选的话，一种较优的方案就是使用夹爪来夹取重型垃圾。那么此时就必须针对各种不同的垃圾的形状，位置和姿态等得出一个最优夹取方案。
现有技术中从深度学习预测结果里面获取到的表面信息，即mask信息，将获取到的mask信息通过像素信息获取到其上下左右的极限值，绘制矩形框。然而当物体的上下两边距比左右两边距的要短时，夹取的位置为矩形框的中心，张开的角度为上下边距长度，机器人的旋转角度为0度。这种方式忽略了mask信息本身所带的像素信息，角度只有90度和0度，且该方法完全依赖于机器人自己通过阻力判断是否夹取到物体，尤其是在物体的形状不规则的情况下，容易出现对物体抓取不稳定或者抓不到的情况，降低了抓取成功的概率。
发明内容
本申请实施例提供了物品夹取方法及机器人，可以解决现有技术中对物体抓取不稳定或者抓不到，物体抓取成功的概率较低的问题。
第一方面，本申请实施例提供了一种物品夹取方法，包括：
获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
根据所述夹取位置和姿态夹取所述待夹取物体。
其中，所述根据所述轮廓信息，确定所述待夹取物体的重心和物体方向，包括：
根据所述轮廓信息，确定所述待夹取物体的重心；
根据所述轮廓信息确定所述待夹取物体的所述物体方向；所述确定所述待夹取物体的所述物体方向的方法包括：霍夫变换、直线拟合、最小外接矩形方法或最小外接椭圆方法。
其中，所述根据所述轮廓信息确定所述待夹取物体的所述物体方向，包括：
对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向。
其中，所述对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向，包括：
对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息；
根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数；
将所述直线参数大于预设阈值的直线识别为目标直线；
根据每个所述目标直线的角度计算所述物体方向。
其中，所述对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息，包括：
对所述轮廓信息进行霍夫变换，将极坐标下的轮廓信息转换为霍夫空间中的直线信息；
将所述直线中最长直线的长度识别为单位长度，将所述最长直线的角度识别为单位角度；
将除所述最长直线之外的其他直线的长度与所述单位长度的绝对值比识别为所述其他直线的长度基准比，将所述其他直线的角度与所述单位角度的绝对值比识别为所述其他直线的角度基准比。
其中，所述根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数，包括：
通过如下公式计算所述直线参数：ξ＝x*σ1+y*σ2；
其中，ξ表示所述直线参数；x表示所述直线信息中的长度基准比；y表示所述直线信息中的角度基准比；σ1、σ2都表示预设的加权因子。
其中，所述根据每个所述目标直线的角度计算所述物体方向，包括：
计算所有所述目标直线角度的平均角度作为所述物体角度。
其中，所述根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态，包括：
过所述重心做所述物体方向的垂线；
将在所述垂线预设距离范围内对应的区域识别为重心领域；
在所述重心区域中识别出预设长度的两个线段作为所述夹取位置、所述线段的方向为夹取方向；所述线段满足的条件包括：不在所述待夹取物体的轮廓内、不与所述轮廓相交、与所述轮廓相切位置处的斜率相等。
第二方面，本申请实施例提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
根据所述夹取位置和姿态夹取所述待夹取物体。
第三方面，本申请实施例提供了一种机器人，包括：
获取单元，用于获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
确定单元，用于根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
位置单元，用于根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
夹取单元，用于根据所述夹取位置和姿态夹取所述待夹取物体。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的物品夹取方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：通过获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；根据所述夹取位置和姿态夹取所述待夹取物体。通过根据待夹取物体的轮廓信息确定该物体的重心和物体方向，进而根据重心和物体方向确定待夹取物体的夹取位置和姿态，最后根据夹取位置和姿态夹取该物体提高了物体夹取的精确度，尤其是在重型垃圾的视觉分选中，提高了重型垃圾夹取的成功率和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的物品夹取方法的流程图；
图2为本实施例提供的砖块的夹取方案示意图；
图3为本实施例提供的表面信息示意图；
图4为本实施例提供的矩形绘制示意图；
图5为本实施例提供的物体夹取示意图；
图6是本实施例提供的水管垃圾实物图；
图7是本实施例提供的水管夹取示意图；
图8是本实施例提供的重心和物体方向确定的示意图；
图9是本实施例提供的重心确定示意图；
图10是本实施例提供的物体方向确定示意图；
图11是本实施例提供的霍夫变换示意图；
图12中的本实施例提供的直线识别示意图；
图13是本实施例提供的物体方向示意图；
图14是本实施例提供的夹取位置示意图；
图15是本实施例提供的物品夹取方法的流程图；
图16是本申请实施例提供的一种机器人的示意图；
图17是本申请实施例提供的一种机器人的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
参见图1，图1是本申请实施例一提供的一种物品夹取方法的流程图。本实施例中物品夹取方法的执行主体为机器人。如图所示的物品夹取方法可以包括以下步骤：
S101：获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息。
在垃圾视觉分选中，较重或者体积较大的垃圾如：石块、金属、塑料罐等，如果使用机器人分选的话，一种较优的方案就是使用夹爪来夹取重型垃圾。那么此时就必须针对各种不同的垃圾的形状，位置和姿态等得出一个最优夹取方案。
请一并参阅图2，图2为本实施例提供的砖块的夹取方案示意图，其中两条白色虚线的平行线表示该砖块的最佳夹取方案。所以，针对该应用场合，必须通过一套算法方案，得出该物体的最优夹取方案，主要包括待夹取垃圾的位置、待夹取垃圾的姿态，即方向或者角度，以及夹爪所需要的张开角度。
请一并参阅图3，图3为本实施例提供的表面信息示意图，现有技术中的做法是从深度学习预测结果里面获取到的表面信息，即mask信息。
请一并参阅图4，图4为本实施例提供的矩形绘制示意图，将获取到的mask信息通过像素信息获取到其上下左右的极限值，绘制矩形框。
请一并参阅图5，图5为本实施例提供的物体夹取示意图，可以得出上下两边距比左右两边距的要短，因而夹抓夹取的位置为矩形框的中心，张开的角度为上下边距长度，机器人的旋转角度为0度。该方法主要有以下两个大问题：第一是忽略了mask本身所带的像素信息，角度只有90°和0°，并非最优方案。最优的方案应该是一中图里所示；第二是该方法完全依赖于机器人自己通过阻力判断是否夹取到物体，但是针对于图6所示的垃圾那就会出现很大的问题。
请一并参阅图6，图6是本实施例提供的水管垃圾实物图，从深度学习预测结果里获取到的塑料水管的mask信息，结合上面的方法，得出的夹取方案。
请一并参阅图7，图7是本实施例提供的水管夹取示意图。利用夹抓自己收缩的形式最终夹取到塑料。但水管收缩的过程会压住石头，最终的结果就会是水管和石头一起被夹起来或者都漏空。无论哪种问题，都能说明这种方案并非最佳的方案，需要寻找更好更优的方案。
本实施例中，在机器人扫描确定了待夹取物体之后，获取待夹取物体的表面信息，即mask信息，并根据表面信息从中提取出轮廓信息。
进一步的，还可以对预测结果的mask信息进行滤波去燥处理，防止噪声等对结果产生较大的干扰。并将提取得到的轮廓信息，并写入预设的集合A中。
S102：根据所述轮廓信息，确定所述待夹取物体的重心和物体方向。
本实施例中的轮廓信息用于表示待夹取物体在光照下的表面信息；重心用于表示是在重力场中，物体处于任何方位时所有各组成支点的重力的合力都通过的那一点。
进一步的，步骤S102包括步骤：S201～S202：
S201：根据所述轮廓信息，确定所述待夹取物体的重心。
请一并参阅图9，图9是本实施例提供的重心确定示意图，通过集合A的轮廓信息，找到物体重心，如图所示。物体的重心位置，质量均匀分布的物体，重心的位置只跟物体的形状有关。有规则形状的物体，它的重心就在几何中心上，例如，均匀细直棒的中心在棒的中点，均匀球体的重心在球心，均匀圆柱的重心在轴线的中点。不规则物体的重心。
S202：根据所述轮廓信息确定所述待夹取物体的所述物体方向；所述确定所述待夹取物体的所述物体方向的方法包括：霍夫变换、直线拟合、最小外接矩形方法或最小外接椭圆方法。
本实施例中确定待夹取物体的物体方向的方法包括但不限于：通过霍夫变换、直线拟合、最小外接矩形、最小外接椭圆等方法，这些方法均属于本实施例的方法之一，此处不做限定。
示例性的，在进行直线拟合时，设x和y都是被观测的量，且y是x的函数：y＝f(x；b)，通过x，y的观测值来寻求参数b的最佳估计值，及寻求最佳的理论直线y＝f(x；b)。当函数y＝f(x；b)为关于b的i直线线性函数时，即实现了直线拟合。最小外接矩形是指以二维坐标表示的若干二维形状，例如点、直线、多边形的最大范围，即以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的矩形。这样的一个矩形包含给定的二维形状，且边与坐标轴平行。最小外接矩形是最小外接框的二维形式。
具体的，步骤S202包括：S2021：对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向。
进一步的，步骤S2021包括步骤S301～S304：
S301：对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息。
请一并参阅图11，图11是本实施例提供的霍夫变换示意图，通过轮廓以及霍夫变换寻找直线，所谓霍夫变换是指将笛卡尔坐标系，或极坐标系下的点转换成霍夫空间上的线。考虑到笛卡尔坐标系的直线方程存在斜率不存在的情形，所以霍夫变换一般是指将极坐标系下的点P(r，θ)，转换成霍夫空间的线r＝x cosθ+y sinθ。从而将找多点共线问题转换成找多线共点问题，将图9通过霍夫变换找出其中的直线，如图12中的两条横线和两条竖线。
本实施例通过对所述轮廓信息进行霍夫变换，将极坐标下的轮廓信息转换为霍夫空间中的直线信息；将所述直线中最长直线的长度识别为单位长度，将所述最长直线的角度识别为单位角度；将除所述最长直线之外的其他直线的长度与所述单位长度的绝对值比识别为所述其他直线的长度基准比，将所述其他直线的角度与所述单位角度的绝对值比识别为所述其他直线的角度基准比。
在找出直线后，对所求直线做约束，也就是过滤掉误差较大的直线，从直线中取出最长直线，其长度设为1，角度设为1。其他直线与该直线的长度的绝对值比设为x，即长度基准比；角度比值的绝对值设为y，即角度基准比。
需要说明的是，在计算角度基准比时，若直线角度与最长直线的角度之间的比值大于1时，则将计算得到的比值取倒数，得到小于1的角度基准比。
S302：根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数。
通过如下公式计算所述直线参数：ξ＝x*σ1+y*σ2；其中，ξ表示所述直线参数；x表示所述直线信息中的长度基准比；y表示所述直线信息中的角度基准比；σ1、σ2都表示预设的加权因子。
S303：将所述直线参数大于预设阈值的直线识别为目标直线。
本实施例中预设有阈值，用于衡量计算得到的直线参数，当直线参数大于该阈值时，则将该阈值识别为目标直线。本实施例的目标直线用于作为待夹取物体的物体信息的代表，体现待夹取物体的无力特质，进而根据目标直线的信息得到待夹取物体的位置信息。
S304：根据每个所述目标直线的角度计算所述物体方向。
计算所有所述目标直线角度的平均角度作为所述物体角度。
在得到目标直线之后，将目标直线构建为一个集合B，取该集合中所有目标直线的平均角度为所求物体的旋转角度。
S103：根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态。
进一步的，步骤S103包括：过所述重心做所述物体方向的垂线；将在所述垂线预设距离范围内对应的区域识别为重心领域；在所述重心区域中识别出预设长度的两个线段作为所述夹取位置、所述线段的方向为夹取方向；所述线段满足的条件包括：不在所述待夹取物体的轮廓内、不与所述轮廓相交、与所述轮廓相切位置处的斜率相等。
具体的，获取到物体的旋转角度，即物体方向之后，我们开始寻找最优夹取方案。本实施例就是通过先确定待夹取物体的物体方向，再结合待夹取物体的重心，将这两个待夹取物体的信息结合起来，确定待夹取物体的最优的夹取位置和姿态，其中夹取位置为预设长度的两个线段，本实施例中的姿态通过夹取方向来体现，夹取方向为这两个线段的方向，通过这种方式更加精确、全方位的确定了待夹取物体的夹取位置和姿态，可以非常稳定的夹取住待夹取物体，尤其是当待夹取物体较重的情况下，可以非常明显的提高待夹取物体夹取的成功率和夹取效率。
请一并参阅图13，图13是本实施例提供的物体方向示意图，示例性的，为了方便解释寻找原理，将步骤3中的图片旋转30度，并且通过霍夫变换求出物体方向。
请一并参阅图14，图14是本实施例提供的夹取位置示意图，过重心方向做物体方向的垂线，求出重心领域内已知两段已知定长、不与轮廓相交、不在轮廓内、与轮廓相切的两斜率相等的线段，该两条直线为所求直线，即夹取位置，如图中灰色线段所示。
S104：根据所述夹取位置和姿态夹取所述待夹取物体。
本实施例中的机器人上安装有用于夹取物体的机械臂，以在确定了夹取位置之后，根据夹取位置夹取物体。解决了重型垃圾视觉分选中，机器人最优的夹取方案。
请一并参阅图15，图15是本实施例提供的物品夹取方法的流程图。先对mask信息进行滤波、去燥处理，防止噪声等对结果产生较大的干扰。提取mask的轮廓信息，并写入集合A。通过集合A的轮廓信息，找到物体重心，通过霍夫变换求出mask信息中所有直线数据并压入集合A，并遍历集合A以寻找目标直线。找出直线后，需对所求直线做约束，也就是过滤掉误差较大的直线，从直线中取出最长直线，其长度设为1，角度设为1。其他直线与该直线的长度的绝对值比设为x，即长度基准比；角度比值的绝对值设为y，即角度基准比。将的x和y设置加权因子σ1，σ2，设ξ＝x*σ1+y*σ2，比较所有直线的该值，求出比所设阈值ξ’大的直线作为目标直线，并压入集合B，取该集合B的平均角度为所求物体的物体方向θ，即旋转角度，在获取到物体的旋转角度之后，求出θ垂直方向上的中心领域内的最佳夹取数据，即通过霍夫变换求出物体方向，过重心方向做物体方向的垂线，求出重心领域内已知两段已知定长、不与轮廓相交、不在轮廓内、与轮廓相切的两斜率相等的线段，该两条直线为所求直线即夹取位置。
上述方案，通过获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；根据所述夹取位置和姿态夹取所述待夹取物体。通过根据待夹取物体的轮廓信息确定该物体的重心和物体方向，进而根据重心和物体方向确定待夹取物体的夹取位置和姿态，最后根据夹取位置和姿态夹取该物体提高了物体夹取的精确度，尤其是在重型垃圾的视觉分选中，提高了重型垃圾夹取的成功率和效率。
参见图16，图16是本申请实施例提供的一种机器人的示意图。本实施例的机器人1600包括的各单元用于执行图1对应的实施例中的各步骤，具体请参阅图1及图1对应的实施例中的相关描述，此处不赘述。本实施例的机器人1600包括：
获取单元1601，用于获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
确定单元1602，用于根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
位置单元1603，用于根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
夹取单元1604，用于根据所述夹取位置和姿态夹取所述待夹取物体。
进一步的，所述确定单元1602包括：
第一确定单元，用于根据所述轮廓信息，确定所述待夹取物体的重心；
第二确定单元，根据所述轮廓信息确定所述待夹取物体的所述物体方向；所述确定所述待夹取物体的所述物体方向的方法包括：霍夫变换、直线拟合、最小外接矩形方法或最小外接椭圆方法。
进一步的，所述第二确定单元包括：
第三确定单元，用于对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向。
进一步的，所述第三确定单元包括：
变换单元，用于对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息；
第一计算单元，用于根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数；
第一识别单元，用于将所述直线参数大于预设阈值的直线识别为目标直线；
第二计算单元，用于根据每个所述目标直线的角度计算所述物体方向。
进一步的，所述变换单元包括：
第一变换单元，用于对所述轮廓信息进行霍夫变换，将极坐标下的轮廓信息转换为霍夫空间中的直线信息；
第二识别单元，用于将所述直线中最长直线的长度识别为单位长度，将所述最长直线的角度识别为单位角度；
第三识别单元，用于将除所述最长直线之外的其他直线的长度与所述单位长度的绝对值比识别为所述其他直线的长度基准比，将所述其他直线的角度与所述单位角度的绝对值比识别为所述其他直线的角度基准比。
进一步的，所述第一计算单元用于：
通过如下公式计算所述直线参数：ξ＝x*σ1+y*σ2；
其中，ξ表示所述直线参数；x表示所述直线信息中的长度基准比；y表示所述直线信息中的角度基准比；σ1、σ2都表示预设的加权因子。
进一步的，所述第二计算单元用于：
计算所有所述目标直线角度的平均角度作为所述物体角度。
进一步的，所述夹取单元1604包括：
垂线单元，用于过所述重心做所述物体方向的垂线；
第四识别单元，用于将在所述垂线预设距离范围内对应的区域识别为重心领域；
第五识别单元，用于在所述重心区域中识别出预设长度的两个线段作为所述夹取位置、所述线段的方向为夹取方向；所述线段满足的条件包括：不在所述待夹取物体的轮廓内、不与所述轮廓相交、与所述轮廓相切位置处的斜率相等。
上述方案，通过获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；根据所述夹取位置和姿态夹取所述待夹取物体。通过根据待夹取物体的轮廓信息确定该物体的重心和物体方向，进而根据重心和物体方向确定待夹取物体的夹取位置和姿态，最后根据夹取位置和姿态夹取该物体提高了物体夹取的精确度，尤其是在重型垃圾的视觉分选中，提高了重型垃圾夹取的成功率和效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
参见图17，图17是本申请实施例提供的一种机器人的示意图。如图17所示的本实施例中的机器人1700可以包括：处理器1701、存储器1702以及存储在存储器1702中并可在处理器1701上运行的计算机程序1703。处理器1701执行计算机程序1703时实现上述各个物品夹取方法实施例中的步骤。存储器1702用于存储计算机程序，所述计算机程序包括程序指令。处理器1701用于执行存储器1702存储的程序指令。其中，处理器1701被配置用于调用所述程序指令执行以下操作：
处理器1701用于：
获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
根据所述夹取位置和姿态夹取所述待夹取物体。
进一步的，处理器1701具体用于：
根据所述轮廓信息，确定所述待夹取物体的重心；
根据所述轮廓信息确定所述待夹取物体的所述物体方向；所述确定所述待夹取物体的所述物体方向的方法包括：霍夫变换、直线拟合、最小外接矩形方法或最小外接椭圆方法
进一步的，处理器1701具体用于：
对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向。
进一步的，处理器1701具体用于：
对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息；
根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数；
将所述直线参数大于预设阈值的直线识别为目标直线；
根据每个所述目标直线的角度计算所述物体方向。
进一步的，处理器1701具体用于：
对所述轮廓信息进行霍夫变换，将极坐标下的轮廓信息转换为霍夫空间中的直线信息；
将所述直线中最长直线的长度识别为单位长度，将所述最长直线的角度识别为单位角度；
将除所述最长直线之外的其他直线的长度与所述单位长度的绝对值比识别为所述其他直线的长度基准比，将所述其他直线的角度与所述单位角度的绝对值比识别为所述其他直线的角度基准比。
进一步的，处理器1701具体用于：
通过如下公式计算所述直线参数：ξ＝x*σ1+y*σ2；
其中，ξ表示所述直线参数；x表示所述直线信息中的长度基准比；y表示所述直线信息中的角度基准比；σ1、σ2都表示预设的加权因子。
进一步的，处理器1701具体用于：
计算所有所述目标直线角度的平均角度作为所述物体角度。
进一步的，处理器1701具体用于：
过所述重心做所述物体方向的垂线；
将在所述垂线预设距离范围内对应的区域识别为重心领域；
在所述重心区域中识别出预设长度的两个线段作为所述夹取位置、所述线段的方向为夹取方向；所述线段满足的条件包括：不在所述待夹取物体的轮廓内、不与所述轮廓相交、与所述轮廓相切位置处的斜率相等。
上述方案，通过获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；根据所述夹取位置和姿态夹取所述待夹取物体。通过根据待夹取物体的轮廓信息确定该物体的重心和物体方向，进而根据重心和物体方向确定待夹取物体的夹取位置和姿态，最后根据夹取位置和姿态夹取该物体提高了物体夹取的精确度，尤其是在重型垃圾的视觉分选中，提高了重型垃圾夹取的成功率和效率。
应当理解，在本申请实施例中，所称处理器1701可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1702可以包括只读存储器和随机存取存储器，并向处理器1701提供指令和数据。存储器1702的一部分还可以包括非易失性随机存取存储器。例如，存储器1702还可以存储设备类型的信息。
具体实现中，本申请实施例中所描述的处理器1701、存储器1702、计算机程序1703可执行本申请实施例提供的物品夹取方法的第一实施例和第二实施例中所描述的实现方式，也可执行本申请实施例所描述的终端的实现方式，在此不再赘述。
在本申请的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：
获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
根据所述夹取位置和姿态夹取所述待夹取物体。
进一步的，所述计算机程序被处理器执行时还实现：
根据所述轮廓信息，确定所述待夹取物体的重心；
根据所述轮廓信息确定所述待夹取物体的所述物体方向；所述确定所述待夹取物体的所述物体方向的方法包括：霍夫变换、直线拟合、最小外接矩形方法或最小外接椭圆方法。
进一步的，所述计算机程序被处理器执行时还实现：
对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向。
进一步的，所述计算机程序被处理器执行时还实现：
对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息；
根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数；
将所述直线参数大于预设阈值的直线识别为目标直线；
根据每个所述目标直线的角度计算所述物体方向。
进一步的，所述计算机程序被处理器执行时还实现：
对所述轮廓信息进行霍夫变换，将极坐标下的轮廓信息转换为霍夫空间中的直线信息；
将所述直线中最长直线的长度识别为单位长度，将所述最长直线的角度识别为单位角度；
将除所述最长直线之外的其他直线的长度与所述单位长度的绝对值比识别为所述其他直线的长度基准比，将所述其他直线的角度与所述单位角度的绝对值比识别为所述其他直线的角度基准比。
进一步的，所述计算机程序被处理器执行时还实现：
通过如下公式计算所述直线参数：ξ＝x*σ1+y*σ2；
其中，ξ表示所述直线参数；x表示所述直线信息中的长度基准比；y表示所述直线信息中的角度基准比；σ1、σ2都表示预设的加权因子。
进一步的，所述计算机程序被处理器执行时还实现：
计算所有所述目标直线角度的平均角度作为所述物体角度。
进一步的，所述计算机程序被处理器执行时还实现：
过所述重心做所述物体方向的垂线；
将在所述垂线预设距离范围内对应的区域识别为重心领域；
在所述重心区域中识别出预设长度的两个线段作为所述夹取位置、所述线段的方向为夹取方向；所述线段满足的条件包括：不在所述待夹取物体的轮廓内、不与所述轮廓相交、与所述轮廓相切位置处的斜率相等。
上述方案，通过获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；根据所述夹取位置和姿态夹取所述待夹取物体。通过根据待夹取物体的轮廓信息确定该物体的重心和物体方向，进而根据重心和物体方向确定待夹取物体的夹取位置和姿态，最后根据夹取位置和姿态夹取该物体提高了物体夹取的精确度，尤其是在重型垃圾的视觉分选中，提高了重型垃圾夹取的成功率和效率。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种物品夹取方法，其特征在于，包括：
获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
根据所述夹取位置和姿态夹取所述待夹取物体。
2.如权利要求1所述的物品夹取方法，其特征在于，所述根据所述轮廓信息，确定所述待夹取物体的重心和物体方向，包括：
根据所述轮廓信息，确定所述待夹取物体的重心；
根据所述轮廓信息确定所述待夹取物体的所述物体方向；所述确定所述待夹取物体的所述物体方向的方法包括：霍夫变换、直线拟合、最小外接矩形方法或最小外接椭圆方法。
3.如权利要求2所述的物品夹取方法，其特征在于，所述根据所述轮廓信息确定所述待夹取物体的所述物体方向，包括：
对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向。
4.如权利要求3所述的物品夹取方法，其特征在于，所述对所述轮廓信息进行霍夫变换得到直线信息，根据所述直线信息确定所述物体方向，包括：
对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息；
根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数；
将所述直线参数大于预设阈值的直线识别为目标直线；
根据每个所述目标直线的角度计算所述物体方向。
5.如权利要求4所述的物品夹取方法，其特征在于，所述对所述轮廓信息进行霍夫变换得到所述轮廓信息中各直线的直线信息，包括：
对所述轮廓信息进行霍夫变换，将极坐标下的轮廓信息转换为霍夫空间中的直线信息；
将所述直线中最长直线的长度识别为单位长度，将所述最长直线的角度识别为单位角度；
将除所述最长直线之外的其他直线的长度与所述单位长度的绝对值比识别为所述其他直线的长度基准比，将所述其他直线的角度与所述单位角度的绝对值比识别为所述其他直线的角度基准比。
6.如权利要求4所述的物品夹取方法，其特征在于，所述根据所述直线信息以及预设的直线参数计算方法，计算每条所述直线对应的直线参数，包括：
通过如下公式计算所述直线参数：ξ＝x*σ1+y*σ2；
其中，ξ表示所述直线参数；x表示所述直线信息中的长度基准比；y表示所述直线信息中的角度基准比；σ1、σ2都表示预设的加权因子。
7.如权利要求4所述的物品夹取方法，其特征在于，所述根据每个所述目标直线的角度计算所述物体方向，包括：
计算所有所述目标直线角度的平均角度作为所述物体角度。
8.如权利要求1-7任一项所述的物品夹取方法，其特征在于，所述根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态，包括：
过所述重心做所述物体方向的垂线；
将在所述垂线预设距离范围内对应的区域识别为重心领域；
在所述重心区域中识别出预设长度的两个线段作为所述夹取位置、所述线段的方向为夹取方向；所述线段满足的条件包括：不在所述待夹取物体的轮廓内、不与所述轮廓相交、与所述轮廓相切位置处的斜率相等。
9.一种机器人，其特征在于，包括：
获取单元，用于获取待夹取物体的表面信息，并从所述表面信息中提取出轮廓信息；
确定单元，用于根据所述轮廓信息，确定所述待夹取物体的重心和物体方向；
位置单元，用于根据所述重心和所述物体方向确定所述待夹取物体的夹取位置和姿态；
夹取单元，用于根据所述夹取位置和姿态夹取所述待夹取物体。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910792004.0A CN110509275B (zh) | 2019-08-26 | 2019-08-26 | 物品夹取方法及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910792004.0A CN110509275B (zh) | 2019-08-26 | 2019-08-26 | 物品夹取方法及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110509275A true CN110509275A (zh) | 2019-11-29 |
| CN110509275B CN110509275B (zh) | 2022-11-15 |
Family
ID=68626922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910792004.0A Active CN110509275B (zh) | 2019-08-26 | 2019-08-26 | 物品夹取方法及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110509275B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111687839A (zh) * | 2020-06-03 | 2020-09-22 | 北京如影智能科技有限公司 | 一种夹取物品的方法及装置 |
| CN113012800A (zh) * | 2021-04-19 | 2021-06-22 | 联仁健康医疗大数据科技股份有限公司 | 多用途夹取方法、系统、医疗机器人及存储介质 |
| CN114734448A (zh) * | 2022-05-11 | 2022-07-12 | 上海交通大学 | 一种用于船舶理料装备的板材零件抓取方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4707647A (en) * | 1986-05-19 | 1987-11-17 | Gmf Robotics Corporation | Gray scale vision method and system utilizing same |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN108668637A (zh) * | 2018-04-25 | 2018-10-19 | 江苏大学 | 一种机器视觉自然放置葡萄串抓取点定位方法 |
| CN109032125A (zh) * | 2018-05-31 | 2018-12-18 | 上海工程技术大学 | 一种视觉agv的导航方法 |
| CN109955244A (zh) * | 2017-12-26 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
-
2019
- 2019-08-26 CN CN201910792004.0A patent/CN110509275B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4707647A (en) * | 1986-05-19 | 1987-11-17 | Gmf Robotics Corporation | Gray scale vision method and system utilizing same |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN109955244A (zh) * | 2017-12-26 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN108668637A (zh) * | 2018-04-25 | 2018-10-19 | 江苏大学 | 一种机器视觉自然放置葡萄串抓取点定位方法 |
| CN109032125A (zh) * | 2018-05-31 | 2018-12-18 | 上海工程技术大学 | 一种视觉agv的导航方法 |
Non-Patent Citations (1)
| Title |
|---|
| 宋西平: "基于双目立体视觉的水果识别与定位的研究", 《中国优秀博硕士学位论文全文数据库(硕士) 农业科技辑》, 15 July 2016 (2016-07-15), pages 18 - 23 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111687839A (zh) * | 2020-06-03 | 2020-09-22 | 北京如影智能科技有限公司 | 一种夹取物品的方法及装置 |
| CN111687839B (zh) * | 2020-06-03 | 2021-11-30 | 北京如影智能科技有限公司 | 一种夹取物品的方法及装置 |
| CN113012800A (zh) * | 2021-04-19 | 2021-06-22 | 联仁健康医疗大数据科技股份有限公司 | 多用途夹取方法、系统、医疗机器人及存储介质 |
| CN114734448A (zh) * | 2022-05-11 | 2022-07-12 | 上海交通大学 | 一种用于船舶理料装备的板材零件抓取方法及装置 |
| CN114734448B (zh) * | 2022-05-11 | 2023-11-07 | 上海交通大学 | 一种用于船舶理料装备的板材零件抓取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110509275B (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110509275A (zh) | 物品夹取方法及机器人 | |
| CN108983978B (zh) | 虚拟手控制方法及装置 | |
| CN105608448B (zh) | 一种基于脸部关键点的lbp特征提取方法和装置 | |
| CN108198141B (zh) | 实现瘦脸特效的图像处理方法、装置及计算设备 | |
| WO2018028649A1 (zh) | 一种移动装置及其定位方法、计算机存储介质 | |
| Ye et al. | A new method based on hough transform for quick line and circle detection | |
| CN108636830A (zh) | 基于机器视觉的胶囊缺陷检测分拣的方法、装置及设备 | |
| CN107944435A (zh) | 一种三维人脸识别方法、装置及处理终端 | |
| CN105160344B (zh) | 一种三维点云的局部特征提取方法及装置 | |
| CN104167003A (zh) | 一种遥感影像的快速配准方法 | |
| CN110458863A (zh) | 一种基于rgbd与编码器融合的动态slam系统 | |
| JP2003346162A (ja) | 手の画像認識による入力システム | |
| CN114998578B (zh) | 一种动态多物品定位抓取包装方法及系统 | |
| CN107452028B (zh) | 一种确定目标图像位置信息的方法及装置 | |
| CN108942916A (zh) | 工件取出系统 | |
| CN110633749A (zh) | 基于改进视点特征直方图的三维点云识别方法 | |
| CN113538576A (zh) | 基于双臂机器人的抓取方法、装置及双臂机器人 | |
| WO2007134172A2 (en) | Characterization and classification of pose in low dimension | |
| CN104598873A (zh) | 一种门锁三维人脸识别方法 | |
| CN104462239B (zh) | 一种基于数据矢量化空间分析的客户关系发现方法 | |
| CN113158912B (zh) | 手势识别方法及装置、存储介质及电子设备 | |
| CN108009576A (zh) | 一种目标匹配的物体识别方法、设备及存储设备 | |
| JP2008269121A5 (zh) | ||
| Yu et al. | Shape analysis and recognition based on skeleton and morphological structure | |
| JP2011248757A (ja) | ピッキングシステムおよびピッキング方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 523000 room 325, building 15, No. 1, Xuefu Road, Songshanhu Park, Dongguan City, Guangdong Province Applicant after: Guangdong Gongye Technology Co.,Ltd. Address before: Room 123, room 124, room 125, room 126, room 127, room 128, building 1, No. 1, RD fifth road, Songshan Lake Park, Dongguan City, Guangdong Province 523000 Applicant before: Dongguan Gongye Interconnection Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |