CN111652248B - 一种柔性布料的定位方法和装置 - Google Patents

一种柔性布料的定位方法和装置 Download PDF

Info

Publication number
CN111652248B
CN111652248B CN202010490401.5A CN202010490401A CN111652248B CN 111652248 B CN111652248 B CN 111652248B CN 202010490401 A CN202010490401 A CN 202010490401A CN 111652248 B CN111652248 B CN 111652248B
Authority
CN
China
Prior art keywords
marking
information
points
flexible cloth
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010490401.5A
Other languages
English (en)
Other versions
CN111652248A (zh
Inventor
熊欣欣
张戬杰
赵仕勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingxian Robotics Technology Co ltd
Original Assignee
Shanghai Lingxian Robotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingxian Robotics Technology Co ltd filed Critical Shanghai Lingxian Robotics Technology Co ltd
Priority to CN202010490401.5A priority Critical patent/CN111652248B/zh
Publication of CN111652248A publication Critical patent/CN111652248A/zh
Application granted granted Critical
Publication of CN111652248B publication Critical patent/CN111652248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

本发明属于人工智能领域,公开了一种柔性布料的定位方法和装置,其方法包括步骤:定义关键点:根据柔性布料的设计资料,提取至少一个特征位置作为关键点所在位置,并赋予关键点定义信息;标记关键点:将关键点转化为标记到柔性布料上的标记点,生成标记设备用于标记的标记点组合文件,将标记点通过标记设备标记到处于标准标记状态的柔性布料上;识别关键点:在操作柔性布料时,通过识别柔性布料上的标记点,获得标记点的空间位置;定位布料:根据标记点的空间位置对柔性布料的形状进行判断,根据判断结果定位柔性布料。通过本发明实现了对柔性布料全自动、快速、精准的定位以表示柔性布料布在空间中的位姿,使得机器人可以操作柔性布料。

Description

一种柔性布料的定位方法和装置
技术领域
本发明涉及人工智能领域,尤指一种柔性布料的定位方法和装置。
背景技术
在机器人和人工智能领域,当机器人需要操作一个物体时,首先要回答的问题是被操作物体的位姿(位置、姿态)。这个位姿通常定义在世界坐标系下,进而通过一系列的坐标变换,传递到机器人的关节空间中,再令机器人运动到达。
目前,被操作物体通常是刚体,通过在刚体上固连一个物体的坐标系并描述这个坐标系在另一个坐标系(例如世界坐标系,操作坐标系)中的位姿,可以定位物体。
然而,这种方法并无适合定位柔性布料,这是因为,无法在柔性布料上选定可以表述整块布所处位置的坐标系,而当无法通过一个与布料固连的坐标系来表述布料的空间位姿时,传统的机器人是无法完成操作布料的任务的。因此,如何有效的表述一块柔性布料在空间中的位姿,是机器人和人工智能操作布料的前提条件。
发明内容
本发明的目的是提供一种柔性布料的定位方法和装置,实现了对柔性布料全自动、快速、精准的定位以表示柔性布料布在空间中的位姿,使得机器人可以操作柔性布料。
一方面,本发明提供了一种柔性布料的定位方法,包括步骤:
定义关键点:根据柔性布料的设计资料,提取至少一个特征位置作为关键点所在位置,并赋予关键点定义信息。
标记关键点:将所述关键点转化为标记到所述柔性布料上的标记点,生成标记设备用于标记的标记点组合文件,将所述标记点通过所述标记设备标记到处于标准标记状态的所述柔性布料上。
识别关键点:在操作所述柔性布料时,通过识别所述柔性布料上的标记点,获得所述标记点的空间位置。
定位布料:根据所述标记点的空间位置对所述柔性布料的形状进行判断,根据判断结果定位所述柔性布料。
进一步优选地,所述定义关键点,包括步骤:
输入柔性布料的设计资料,所述设计资料包括设计图纸、布料CAM软件生成的驱动代码、自动裁剪设备的代码。
通过计算机软件识别输入的所述设计资料,自动找到至少一个特征位置,通过人工指定方式,定义为关键点。
进一步优选地,所述关键点定义信息包括:对应的标记点的形态、空间位置信息、语义信息和管理信息。
进一步优选地,所述标记关键点,还包括步骤:
从所述特征位置中选取至少一个关键点作为标记点。
将各标记点之间的相对位置、标记点和布料的相对位置均记录在标记点组合文件中。
所述标记点组合文件用于驱动标记设备在所述柔性布料上标记所述标记点。
进一步优选地,所述的标准标记状态为待标记的柔性布料被固定在已知形状和边界位置的表面上,所述表面包括:平面,圆柱面、球面、各种曲面。
进一步优选地,所述标记点的信息,包括:所述标记点的唯一标识、所述标记点的空间位置。
进一步优选地,所述识别标记点,包括步骤:
利用机器视觉以及识别标记点的算法,通过分析摄像头拍摄到的图片像素信息,完成对所述标记点的识别。
所述识别标记点的算法包括:计算机视觉算法、神经网络算法、深度学习算法。
进一步优选地,所述定位布料包括:根据识别的关键点信息,还原出柔性布料的定位信息,具体包括步骤:
将标记点的位置信息,标记点的可见性信息,标记点的编号信息编制为一个矩阵;
通过所述矩阵表示所述柔性布料的空间位姿。
所述可见性信息包括用于标记出现在被识别图像中与否的二值化评判指标。
进一步优选地,所述定位布料包括:根据识别的关键点信息,还原出柔性布料的定位信息,具体包括步骤:
将所述标记点的位置信息和可见性信息整合,获取所述柔性布料的折叠位置信息,将所述折叠位置信息编制为数据类或结构体,通过所述数据类或结构体表示所述柔性布料的空间位姿。
所述可见性信息包括用于标记出现在被识别图像中与否的二值化评判指标。
另一方面,一种柔性布料的定位装置,用于实现所述柔性布料的定位方法,包括:
关键点及标记点生成模块,用于产生关键点,以及结合所述标记设备生成标记点,所述关键点及标记点生成模块的输入为柔性布料的设计资料,输出为关键点及关键点信息,标记点及标记点信息。
信息存储模块,用于将关键点及标记点生成模块、识别模块、位姿重建模块产生的信息结构化,并存储到存储器中,所述信息存储模块的输入为关键点及关键点信息,标记点及标记点信息,识别到的标记点信息;所述信息存储模块的输出为数据存储文件,所述数据存储文件包括数据库文件或数据表单。
标记模块,用于将所述关键点及标记点生成模块生成的关键点,标记到所述柔性布料上,所述标记模块的输入为标记点及标记点信息;所述标记模块的输出为已标记的柔性布料。
识别模块,用于识别标记点以及标记点信息,将识别到的所述标记点信息输出至所述信息存储模块和\或所述位姿重建模块;所述识别模块的输入为摄像头数据;所述识别模块的输出为标记点的空间位置、摄像头移动机械装置的驱动信息。
位姿重建模块,用于将识别模块输出的所述标记点信息还原成所述柔性布料的空间位姿;所述位姿重建模块的输入为所述标记点的空间位置;所述位姿重建模块的的输出为所述柔性布料的空间位姿。
本发明提供的一种柔性布料的定位方法和装置,至少具有以下有益效果:
1)本发明提供的一种柔性布料的定位方法和装置,能够实现对柔性布料全自动、快速、精准的定位以表示柔性布料布在空间中的位姿,使得机器人可以操作柔性布料。
2)当柔性布料的空间构型发生变化时,无法定位布料的空间位置,本发明通过预先标记的标记点定位柔性布料在褶皱后的空间位置。
3)通过标记点包含的坐标数组信息得到标记点的当前空间位置,基于所述当前空间位置利用机器人将柔性布料进行定位。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明:
图1是本发明的一种柔性布料的定位方法的一种实施例的流程示意图;
图2是本发明的一种柔性布料的定位装置的一种实施例的结构示意图;
图3是本发明的一种电子设备的结构示意图;
图4是本发明的一种存储介质的结构示意图;
图5是理想状态下柔性布料的示意图;
图6是褶皱状态下柔性布料的示意图;
图7是本发明中柔性布料的定位装置对柔性布料进行标记的示意图;
图8是本发明中柔性布料的定位装置对柔性布料进行识别定位的示意图;
附图标号说明:1、机械臂;2、笔;3、裁片;4、柔性布料;5、摄像头;6、计算存储终端;7、末端执行器;201、关键点及标记点生成模块;202、信息存储模块;203、标记模块;204、识别模块;205、位姿重建模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
在本文中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
如图1所示,本发明提供一种柔性布料的定位方法的一个实施例,包括步骤:
S110定义关键点:根据柔性布料的设计资料,提取至少一个特征位置作为关键点所在位置,并赋予关键点定义信息。
具体的,所述的特征位置,包括边角点,2个或多个边角点的中点、比例分割点。所述关键点定义信息,包括:对应的标记点的形态、空间位置信息、语义信息和管理信息;所述管理信息包括标记这个点的作者,标记时间,标记的版本号等可以用于管理的信息。
示例性的,关于如何表达空间中的柔性布料:一些关键点,这些关键点包括:(a)可以表示布料的特征形状,例如:多边形布料的每一个脚点,在理想空间中,顺序连接这些脚点,就完成了对一块多边形布料的再现;(b)可以用于操作布料,例如:铺平布料时,可以选择的抓取点,通过抓取这些点,并施加一定的载荷或者运动,布料就会变成某种形态,或者缝纫时,需要缝合到一起的点等;(c)可以展现布料畸变的点,由于布料是柔软的,则仅标记边角时,中间可能有皱褶,需要有一些点来体现这种畸变。
S120标记关键点:将所述关键点转化为标记到所述柔性布料上的标记点,生成标记设备用于标记的标记点组合文件,将所述标记点通过所述标记设备标记到处于标准标记状态的所述柔性布料上。
具体的,还可以包括将各标记点之间的相对位置,标记点和布料的相对位置均记录在标记点组合文件中,该文件可以用于驱动标记设备在布料的合适位置标记所述标记点。
示例性的,所述标记点可以包括:可标记到布料上的确实可见的唯一标识,所述标记点的表达形式包括数字、字母、不同颜色、二维码、条形码、几何形状。
示例性的,所述的标记点组合文件,可以是位图文件、矢量图文件、直接驱动文件等。
示例性的,将标记点组合文件中所载的标记点,标记到处于标准标记状态的布料上的标记方式可以包括:打印机打印、印章印刷、激光印制、笔式绘制、机械臂夹持快速打印。
具体的,由于有了这些关键点,那么我们需要将关键点标记到布料上,由于本发明拟采用的方案中,关键点是唯一的,每个关键点有独特的编号,以体现这个关键点与其他关键点的不同;因此,需要在布料上标记这些关键点。
S130识别关键点:在操作所述柔性布料时,通过识别所述柔性布料上的标记点,获得所述标记点的空间位置。
在标记了这些点后,我们需要通过摄像头和机器视觉来还原这些关键点在空间中的位姿,从而可以再现布料的状态。通过读取上述关键点中的一个、多个或者全部,就可以再现布料。例如:当摄像头看到图6中表示的一些标记点,可以识别出其空间位置,从而还原一块理想布料,经过折叠,变成当前在空间中的这种形状,再如:如果摄像头看到的图6中,有标记点的缺失,也反应出布料有褶皱,挡住了其中的某个或某些标记点,也是完成了对布料的空间定位。
S140定位布料:根据所述标记点的空间位置对所述柔性布料的形状进行判断,根据判断结果定位所述柔性布料。
具体的,如图5和图6,图5定义的点在实际空间中的位置通过识别方式已经获取,可能出现的情况是:
(1)所有8个点都能识别到:则8个点的坐标就可以表示出布料的空间位姿和状态。
(2)有0~7个点被识别到:则说明布料有折叠,与原来设想的布料形状差别较大,则可以通过识别到的点坐标,并反馈哪些点没有识别到来表征布料的空间位姿和状态。
此外,值得一提的是,在反馈柔性布料的空间位姿的时候,也会同时说明柔性布料是否折叠,是否褶皱之类的信息。
关于关键点的一些技术特征:
(1)关键点是逻辑(算法)中要用到的点,而标记点是实际上能看到的点。标记点的形态各异,可以是多种形式,比如数字、字母、不同颜色、二维码、条形码、形状等等。
(2)关键点中的数据,包括:(a)标记点的形态:什么形态对应哪个关键点要知道,所以这个信息是必须的,例如:二维码,对应的二维码图片需要存储,并作为机器视觉需要识别的内容;(b)在理想状态中的坐标:想让这个点所处的位置,显然也是需要的;(c)一些语义信息:例如:机器人操作的一种方式,是给出语义指令,如:把口袋缝到衣服上;这是,口袋和衣服都是语义信息,是执行语义指令时必须要包含的要素;(d)其他附加信息。
(3)生成打印的图:需要将标记点生成到将要打印的图上,这张图将是标记装置打印的图,图的形式可以是位图、矢量图等可以用于打印的数据格式。
进一步优选地,所述定义关键点,包括步骤:
输入柔性布料的设计资料,所述设计资料包括设计图纸、布料CAM软件生成的驱动代码、自动裁剪设备的代码;
通过计算机软件识别输入的所述设计资料,自动找到至少一个特征位置,通过人工指定方式,定义为关键点。
进一步优选地,所述关键点定义信息包括:对应的标记点的形态、空间位置信息、语义信息和管理信息。
进一步优选地,所述标记关键点,还包括步骤:
从所述特征位置中选取至少一个关键点作为标记点。
将各标记点之间的相对位置、标记点和布料的相对位置均记录在标记点组合文件中。
所述标记点组合文件用于驱动标记设备在所述柔性布料上标记所述标记点。
进一步优选地,所述的标准标记状态为待标记的柔性布料被固定在已知形状和边界位置的表面上,所述表面包括:平面,圆柱面、球面、各种曲面。
进一步优选地,所述标记点的信息,包括:所述标记点的唯一标识、所述标记点的空间位置。
进一步优选地,所述识别标记点,包括步骤:
利用机器视觉以及识别标记点的算法,通过分析摄像头拍摄到的图片像素信息,完成对所述标记点的识别。
所述识别标记点的算法包括:计算机视觉算法、神经网络算法、深度学习算法。
进一步优选地,所述定位布料包括:根据识别的关键点信息,还原出柔性布料的定位信息,具体包括步骤:
将标记点的位置信息,标记点的可见性信息,标记点的编号信息编制为一个矩阵。
通过所述矩阵表示所述柔性布料的空间位姿。
所述可见性信息包括用于标记出现在被识别图像中与否的二值化评判指标。
进一步优选地,所述定位布料包括:根据识别的关键点信息,还原出柔性布料的定位信息,具体包括步骤:
将所述标记点的位置信息和可见性信息整合,获取所述柔性布料的折叠位置信息,将所述折叠位置信息编制为数据类或结构体,通过所述数据类或结构体表示所述柔性布料的空间位姿。
所述可见性信息包括用于标记出现在被识别图像中与否的二值化评判指标。
进一步优选地,还可以包括:抓取所述柔性布料的标记点,将所述标记点从所述当前空间位置还原至所述原始空间位置以进行定位,具体包括步骤:
抓取所述柔性布料的标记点,根据已规划的所述空间轨迹,将所述标记点从所述当前空间位置移动至所述原始空间位置以进行定位。
具体的,将预先定义的各不相同的标记点标记到柔性布料上,这些标记点固化到柔性布料上,以表征柔性布料的位置,用以柔性布料的定位;所述预先定义是指在已知的设计模板上,选定一些点,表达在理想状态下柔性布料的位置。所述理想状态是指设计时确定的柔性布料在确定表面的位置,比如在平面上,人体模特的曲面上等。
如图5所示,将柔性布料平铺在到水平面上以绘制裁片的形状,对所述裁片的多个端点进行标记,所述裁片的端点为所述标记点。图5中的黑色圆点以及黑色圆点一侧的带圈数字为标记点,特征信息包括黑色圆点及黑色圆点一侧的带圈数字标记,黑色圆点对应到设计图纸中的位置信息,标记圆点的作者,标记点的标记时间,也可以用字母、几何形状、二维码来表示标记点。
所述预先定义的标记点,记录了对应的一些信息,包括:空间理论位置(x,y,z),语义位置信息(如:衣服领子起点,袖管终点等),标记点唯一的特征信息(如:标记点为数字、字母、特殊形状等)。所述信息存储在计算存储终端中。
所述标记点标记到柔性布料上,在标记时,柔性布料处于与理想状态一致的位置;所述标记可以是用打印机打印,印章印制,激光印制,机械臂夹持笔绘制等方法对柔性布料进行标记点的标记。
操作时,通过寻找在柔性布料上的对应标记点,并移动到操作空间中相应的位置,来完成对柔性布料的操作。
如图6所示,当所述柔性布料的标记点的原始空间位置发生变化时即柔性布料处于褶皱状态下时,虽然柔性布料上的标记点在空间中的位置发生了变化,但标记点相对与柔性布料的位置是固定不变的。由于操作布料是为了在特定位置缝制柔性布料,因此可以通过标记点定位柔性布料在空间中的位置。定位好柔性布料后,就可以对柔性布料进行其他操作了。
在标记点中包含了坐标数组信息,坐标数组信息更适用于机器人来操作柔性布料,本方案中的定位是要将柔性布料的对应标记点运动到空间刚性的操作空间中的某个点,因此,在标记点中记录了这部分信息;这些信息对于人来说,是没有意义的,只是便于机器人运动规划即规划机器人的空间轨迹。
示例性的,在服装设计中,会将柔性布料平铺到工具平面上,绘制裁片形状;通过记录裁片端点、缝合线端点在理论上的平面笛卡尔坐标,即x,y坐标,则可以表达裁片在空间中的位置。
示例性的,在服装设计中,另一种裁剪方式为立体裁剪,即将柔性面料铺设到人体模特上,在空间中直接裁剪出所需的裁片;通过记录裁片端点、缝合线端点在理论上的空间笛卡尔坐标,即x,y,z坐标,则可以表达裁片在空间中的位置。
示例性的,一些特殊的服饰类型,会在一个圆柱面上定义裁片位置,一种示例为棒球帽的帽檐,在圆柱面上记录裁片端点、缝合线端点在理论上的圆柱坐标,即theta,z坐标,则可以表达裁片在空间中的位置。
当用机器人操作时即受到外力时,柔性布料因为柔性会发生变形,传统的技术方案中,是没有办法有效表达这种变形的。
本方案通过在柔性布料上标记这些标记点,通过机器视觉识别这些标记点在操作空间中的位置,用机器人抓取到其中的一个标记点,移动到原始记录的坐标位置,并固定柔性布料,固定的方法可以包括利用机械装置压住、气动吸盘吸住等。
本方案还可以拾取柔性布料上的各个标记点的位置,并将这些位置移动到操作空间中的特定点。据此,机器人完成柔性布料操作。这个前提是,机器人需要在柔性布料上做标记,这些标记中,记录下了理论上标记点的空间位置信息;接下来,机器人用空间轨迹规划就可以操作布料了。
通过本实施例提供的一种柔性布料的定位方法能够实现对柔性布料的全自动、快速、精准的定位。当柔性布料的空间构型发生变化时,无法定位布料的空间位置,通过本实施例预先标记的标记点定位柔性布料在褶皱后的空间位置。通过标记点包含的坐标数组信息得到标记点的当前空间位置,基于所述当前空间位置利用机器人将柔性布料进行定位。
另一方面,如图2所示,一种柔性布料的定位装置,用于实现所述柔性布料的定位方法,包括:
关键点及标记点生成模块201,用于产生关键点,以及结合所述标记设备生成标记点,所述关键点及标记点生成模块的输入为柔性布料的设计资料,输出为关键点及关键点信息,标记点及标记点信息。
信息存储模块202,用于将关键点及标记点生成模块、识别模块、位姿重建模块产生的信息结构化,并存储到存储器中,所述信息存储模块的输入为关键点及关键点信息,标记点及标记点信息,识别到的标记点信息;所述信息存储模块的输出为数据存储文件,所述数据存储文件包括数据库文件或数据表单。
标记模块203,用于将所述关键点及标记点生成模块生成的关键点,标记到所述柔性布料上,所述标记模块的输入为标记点及标记点信息;所述标记模块的输出为已标记的柔性布料。
识别模块204,用于识别标记点以及标记点信息,将识别到的所述标记点信息输出至所述信息存储模块和\或所述位姿重建模块;所述识别模块的输入为摄像头数据;所述识别模块的输出为标记点的空间位置、摄像头移动机械装置的驱动信息。
位姿重建模块205,用于将识别模块输出的所述标记点信息还原成所述柔性布料的空间位姿;所述位姿重建模块的输入为所述标记点的空间位置;所述位姿重建模块的输出为所述柔性布料的空间位姿。
示例性的,所述柔性布料的定位装置可以包括:
(1)关键点及标记点生成模块:
输入:布料的设计图纸;输出:需要标记的点,以及点的信息(信息内容,见第2项)。
(2)信息存储模块:
输入:需要标记的点以及点的信息;输出:数据库文件或是数据表单等数据存储内容。
(3)标记模块:
输入:需要标记的点;输出:打印好的裁片。
(4)识别模块:
输入:摄像头数据;输出:标记点的空间位置(预先定义好的摄像头坐标系,且\或操作空间坐标系)可能存在的摄像头移动机械装置的驱动信息(例如:要求摄像头换一个角度拍摄的指令信息等)。
(5)位姿重建模块:
输入:标记点的空间位置;输出:重建之后的柔性布料的空间位姿(例如:如图6所示的,关键点1~8在操作空间中的8个位置表示出的布料空间位姿)。
如图7所示,通过所述柔性布料的定位装置对柔性布料进行标记:输入标记组合文件,控制用于标记的机械臂1夹持笔2在柔性布料4对应的裁片3上绘制标记点,摄像头5识别标记点的信息,并传输至计算存储终端6进行信息存储,为后续的识别过程提供资料。
如图8所示,通过所述柔性布料的定位装置对标记点进行识别和定位,所述对标记点进行识别包括识别标记点以及标记点信息。
示例性的,通过摄像头5识别标记点的信息,并传输至计算存储终端6进行信息存储,将识别到的所述标记点信息输出至计算存储终端6;输入摄像头5数据,输出为标记点的空间位置、摄像头移动机械装置的驱动信息。将识别模块输出的所述标记点信息还原成所述柔性布料的空间位姿;所述位姿重建模块的输入为所述标记点的空间位姿;所述位姿重建模块的的输出为所述柔性布料的空间位姿。通过用于操作的机械臂1夹持末端执行器7对所述柔性布料4对应的裁片3进行操作。
通过本实施例提供的一种柔性布料的定位装置能够实现对柔性布料全自动、快速、精准的定位以表示柔性布料布在空间中的位姿,使得机器人可以操作柔性布料。当柔性布料的空间构型发生变化时,无法定位布料的空间位置,通过本实施例预先标记的标记点定位柔性布料在褶皱后的空间位置。通过标记点包含的坐标数组信息得到标记点的当前空间位置,基于所述当前空间位置利用机器人将柔性布料进行定位。
另一方面,如图3所示,本发明提供一种电子设备100的一个实施例,包括处理器110、存储器120,其中,存储器120,用于存放计算机程序121;处理器110,用于执行存储器120上所存放的计算机程序121,实现上述所对应方法实施例中的方法。
所述电子设备100可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述电子设备100可包括,但不仅限于处理器110、存储器120。本领域技术人员可以理解,图3仅仅是电子设备100的示例,并不构成对电子设备100的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,示例性的:电子设备100还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线,还可以包括输入/输出接口,其中,处理器110、存储器120、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器120存储有计算机程序121,该处理器110用于执行存储器120上所存放的计算机程序121,实现上述实施例中的方法。
所述处理器110可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器120可以是所述电子设备100的内部存储单元,示例性的:电子设备的硬盘或内存。所述存储器也可以是所述电子设备的外部存储设备,示例性的:所述电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器120还可以既包括所述电子设备100的内部存储单元也包括外部存储设备。所述存储器120用于存储所述计算机程序121以及所述电子设备100所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。示例性的,处理器110通过通信总线从其它元素接收到命令,解密接收到的命令,根据解密的命令执行计算或数据处理。存储器120可以包括程序模块,示例性的,内核(kernel),中间件(middleware),应用程序编程接口(Application Programming Interface,API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(示例性的,感应器、键盘、触摸屏)输入的命令或数据。通信接口将所述电子设备100与其它网络设备、用户设备、网络进行连接。示例性的,通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种:无线保真(WiFi),蓝牙(BT),近距离无线通信技术(NFC),全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种:通用串行总线(USB),高清晰度多媒体接口(HDMI),异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。电子设备100可以通过通信接口连接网络,电子设备100和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。
另一方面,如图4所示,本发明提供一种存储介质,所述存储介质中存储有至少一条指令,指令由处理器加载并执行以实现上述方法对应实施例所执行的操作。示例性的,存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。
它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述或记载的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其他的方式实现。示例性的,以上所描述的装置/电子设备实施例仅仅是示意性的,示例性的,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,示例性的,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可能集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序121发送指令给相关的硬件完成,所述的计算机程序121可存储于一存储介质中,该计算机程序121在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序121可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括:能够携带所述计算机程序121的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,示例性的,在某些司法管辖区,根据立法和专利实践,计算机可读的存储介质不包括电载波信号和电信信号。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种柔性布料的定位方法,其特征在于,包括步骤:
定义关键点:根据柔性布料的设计资料,提取至少一个特征位置作为关键点所在位置,并赋予关键点定义信息;通过计算机软件识别输入的所述设计资料,自动找到至少一个特征位置,通过人工指定方式,定义为关键点;所述关键点定义信息包括:对应的标记点的形态、空间位置信息、语义信息和管理信息;
标记关键点:将所述关键点转化为标记到所述柔性布料上的标记点,生成标记设备用于标记的标记点组合文件,将所述标记点通过所述标记设备标记到处于标准标记状态的所述柔性布料上;从所述特征位置中选取至少一个关键点作为标记点;所述的标准标记状态为待标记的柔性布料被固定在已知形状和边界位置的表面上,所述表面包括:平面,圆柱面、球面、各种曲面;
识别关键点:在操作所述柔性布料时,通过识别所述柔性布料上的标记点,获得所述标记点的空间位置;
定位布料:根据所述标记点的空间位置对所述柔性布料的形状进行判断,根据判断结果定位所述柔性布料,包括:根据识别的关键点信息,还原出柔性布料的定位信息。
2.根据权利要求1所述柔性布料的定位方法,其特征在于,所述定义关键点,包括步骤:
输入柔性布料的设计资料,所述设计资料包括设计图纸、布料CAM软件生成的驱动代码、自动裁剪设备的代码。
3.根据权利要求1所述柔性布料的定位方法,其特征在于,所述标记关键点,还包括步骤:
将各标记点之间的相对位置、标记点和布料的相对位置均记录在标记点组合文件中;
所述标记点组合文件用于驱动标记设备在所述柔性布料上标记所述标记点。
4.根据权利要求1所述柔性布料的定位方法,其特征在于,所述标记点的信息,包括:所述标记点的唯一标识、所述标记点的空间位置。
5.根据权利要求1所述柔性布料的定位方法,其特征在于,所述识别标记点,包括步骤:
利用机器视觉以及识别标记点的算法,通过分析摄像头拍摄到的图片像素信息,完成对所述标记点的识别;
所述识别标记点的算法包括:计算机视觉算法、神经网络算法、深度学习算法。
6.根据权利要求1所述柔性布料的定位方法,其特征在于,所述根据识别的关键点信息,还原出柔性布料的定位信息,具体包括步骤:
将标记点的位置信息,标记点的可见性信息,标记点的编号信息编制为一个矩阵;
通过所述矩阵表示所述柔性布料的空间位姿;
所述可见性信息包括用于标记出现在被识别图像中与否的二值化评判指标。
7.根据权利要求1所述柔性布料的定位方法,其特征在于,所述定位布料包括:根据识别的关键点信息,还原出柔性布料的定位信息,具体包括步骤:
将所述标记点的位置信息和可见性信息整合,获取所述柔性布料的折叠位置信息,将所述折叠位置信息编制为数据类或结构体,通过所述数据类或结构体表示所述柔性布料的空间位姿;
所述可见性信息包括用于标记出现在被识别图像中与否的二值化评判指标。
8.一种柔性布料的定位装置,其特征在于,用于实现权利要求1~7任一项所述柔性布料的定位方法,包括:
关键点及标记点生成模块,用于产生关键点,以及结合所述标记设备生成标记点,所述关键点及标记点生成模块的输入为柔性布料的设计资料,输出为关键点及关键点信息,标记点及标记点信息;
信息存储模块,用于将关键点及标记点生成模块、识别模块、位姿重建模块产生的信息结构化,并存储到存储器中,所述信息存储模块的输入为关键点及关键点信息,标记点及标记点信息,识别到的标记点信息;所述信息存储模块的输出为数据存储文件,所述数据存储文件包括数据库文件或数据表单;
标记模块,用于将所述关键点及标记点生成模块生成的关键点,标记到所述柔性布料上,所述标记模块的输入为标记点及标记点信息;所述标记模块的输出为已标记的柔性布料;
识别模块,用于识别标记点以及标记点信息,将识别到的所述标记点信息输出至所述信息存储模块和\或所述位姿重建模块;所述识别模块的输入为摄像头数据;所述识别模块的输出为标记点的空间位置、摄像头移动机械装置的驱动信息;
位姿重建模块,用于将识别模块输出的所述标记点信息还原成所述柔性布料的空间位姿;所述位姿重建模块的输入为所述标记点的空间位置;所述位姿重建模块的输出为所述柔性布料的空间位姿。
CN202010490401.5A 2020-06-02 2020-06-02 一种柔性布料的定位方法和装置 Active CN111652248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010490401.5A CN111652248B (zh) 2020-06-02 2020-06-02 一种柔性布料的定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010490401.5A CN111652248B (zh) 2020-06-02 2020-06-02 一种柔性布料的定位方法和装置

Publications (2)

Publication Number Publication Date
CN111652248A CN111652248A (zh) 2020-09-11
CN111652248B true CN111652248B (zh) 2023-08-08

Family

ID=72351105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010490401.5A Active CN111652248B (zh) 2020-06-02 2020-06-02 一种柔性布料的定位方法和装置

Country Status (1)

Country Link
CN (1) CN111652248B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723831A (zh) * 2022-03-25 2022-07-08 山东大学 基于启发式的机器人柔性织物展平方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105019147A (zh) * 2015-07-15 2015-11-04 宁波天星机电科技有限公司 自动缝纫模板缝制加工设备及其控制系统
CN109470250A (zh) * 2018-11-06 2019-03-15 上海航天电子通讯设备研究所 一种室内导航方法及系统
CN109556617A (zh) * 2018-11-09 2019-04-02 同济大学 一种自动建图机器人的地图要素提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105052773B (zh) * 2015-07-24 2017-10-31 刘孝刚 牛羊防治蜱虫、信息储存、定位和标记多功能项圈及应用
CN105430877B (zh) * 2015-12-29 2018-06-29 广东欧珀移动通信有限公司 柔性电路板、终端及柔性电路板的制备方法
US20170249561A1 (en) * 2016-02-29 2017-08-31 GM Global Technology Operations LLC Robot learning via human-demonstration of tasks with force and position objectives
CN108154645B (zh) * 2016-12-06 2020-12-25 清华大学 一种柔性定位电路及其制造方法与定位系统
CN106825939A (zh) * 2016-12-11 2017-06-13 肇庆市宏华电子科技有限公司 一种柔性显示用激光切割设备
CN110378959A (zh) * 2019-07-15 2019-10-25 杭州恢弘科技有限公司 一种服装辅助印烫定位设置方法、定位方法及辅助印烫方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105019147A (zh) * 2015-07-15 2015-11-04 宁波天星机电科技有限公司 自动缝纫模板缝制加工设备及其控制系统
CN109470250A (zh) * 2018-11-06 2019-03-15 上海航天电子通讯设备研究所 一种室内导航方法及系统
CN109556617A (zh) * 2018-11-09 2019-04-02 同济大学 一种自动建图机器人的地图要素提取方法

Also Published As

Publication number Publication date
CN111652248A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
US10853903B1 (en) Detection of encoded signals and icons
US9429418B2 (en) Information processing method and information processing apparatus
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
KR102347623B1 (ko) 컴퓨터 프로그램 생성 장치 및 컴퓨터 프로그램 생성 방법
JP2018116599A (ja) 情報処理装置、情報処理方法およびプログラム
US10803272B1 (en) Detection of encoded signals and icons
WO2022174605A1 (zh) 一种手势识别方法、手势识别装置及智能设备
US11620813B2 (en) Electronic-device interaction via a remote user interface
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
WO2018167843A1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN111652248B (zh) 一种柔性布料的定位方法和装置
US20210166393A1 (en) Pixel-wise Hand Segmentation of Multi-modal Hand Activity Video Dataset
JP5215328B2 (ja) ラベル表示装置、ラベル表示方法、およびそのプログラム
CN111771227A (zh) 用于识别三维物体的程序、系统、电子装置和方法
US8232964B2 (en) Apparatus for operating objects and a method for identifying markers from digital image frame data
JP4871226B2 (ja) 認識装置および認識方法
CN111913564B (zh) 虚拟内容的操控方法、装置、系统、终端设备及存储介质
CN111768507A (zh) 图像融合方法、装置、计算机设备及存储介质
JP2018181243A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN111639735A (zh) 一种用于定位的装置以及基于其的定位方法
CN112417904B (zh) 用于呈现与光通信装置有关的信息的方法和电子设备
US20230237820A1 (en) Method and electronic device for obtaining tag through human computer interaction and performing command on object
CN106873923A (zh) 基于移动设备的自助打印方法及应用该方法的打印设备
JP7299478B2 (ja) オブジェクト姿勢制御プログラムおよび情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant