CN114055483A - 一种基于机械臂书写汉字的方法、装置、设备及介质 - Google Patents
一种基于机械臂书写汉字的方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114055483A CN114055483A CN202111162917.8A CN202111162917A CN114055483A CN 114055483 A CN114055483 A CN 114055483A CN 202111162917 A CN202111162917 A CN 202111162917A CN 114055483 A CN114055483 A CN 114055483A
- Authority
- CN
- China
- Prior art keywords
- stroke
- chinese character
- chinese
- track
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Character Discrimination (AREA)
Abstract
本申请涉及一种基于机械臂书写汉字的方法、装置、设备及介质。获取汉字图片；对所述汉字图片进行二值化处理；将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图；将所述汉字对应的笔画轨迹图发送给机械臂；所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。本发明提供的方法与装置通过训练好的汉字轨迹模型输出汉字对应的全部笔画轨迹图，机械臂根据汉字对应的全部笔画轨迹图书写编码该汉字，使得机械臂能按照正确的汉字笔顺进行书写，从而写出正确、精准、漂亮的汉字，减少了对人工书写汉字的依赖，提升了汉字书写的效率。
Description
技术领域
本申请涉及深度学习与汉字书写技术领域，更为具体来说，本申请涉及一种基于机械臂书写汉字的方法、装置、设备及介质。
背景技术
随着科技的发展进步,计算机技术和人工智能技术得到飞速发展，智能机器人的运用领域越来越广泛，在生活中也广泛地运用了智能机器人，通过机械臂控制笔进行汉字书写的机器人在社会上受到了极大的关注，也受到人们的普遍欢迎。
目前机器人书写汉字，多是实现有人工示教实现的。在进行书写前，由工作人员拖动机械臂书写指定的汉字，由机械臂记录下机械臂末端位置运动序列，然后在书写时按照记录的末端位置序列依次移动，从而实现书写汉字的功能。这种方式只能简单重复示教过的汉字，没有示教过的汉字无法书写。
另外一种用机械臂书写汉字的方法，是将汉字图片通过计算机视觉的方法提取汉字的骨架轮廓线，然后有机械臂依次画出这些轮廓线，从而实现画出汉字的方法。这种方法可以书写任意的汉字，但实际上是机械臂画出汉字的外形，并没有按照正确的汉字笔顺进行书写。
发明内容
基于上述技术缺陷，本发明旨在通过机械臂按照人类的书写汉字的笔顺，正确地书写汉字，使得机器人书写轨迹高度逼近人类的下笔顺序。
为实现上述技术目的，本申请提供了一种基于机械臂书写汉字的方法，包括以下步骤：
获取汉字图片；
对所述汉字图片进行二值化处理；
将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
将所述汉字对应的笔画轨迹图发送给机械臂；
所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。
具体地，所述汉字轨迹模型包括Transformer编码器、Transformer解码器、笔画编码器和笔画解码器。
进一步地，将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中，得到所述汉字图片中该汉字对应的全部笔画轨迹图，包括：
根据二值化处理后的汉字图片生成位置编码；
将二值化处理后的汉字图片和所述位置编码同时输入Transformer编码器，得到表征所述汉字图片中该汉字隐含信息的特征向量；
将所述该汉字隐含信息的特征向量和笔画起始符号输入所述Transformer解码器；
所述Transformer解码器将解码后结果输入到所述笔画编码器，所述笔画编码器将编码后信息传给笔画解码器，所述笔画解码器输出该汉字笔画顺序中第一笔对应的第一笔画轨迹图；
基于所述第一笔画轨迹图生成该汉字对应的全部笔画轨迹图。
再进一步地，基于所述第一笔画轨迹图生成该汉字对应的全部笔画轨迹图，包括：
将所述第一笔画轨迹图和所述该汉字隐含信息的特征向量输入到所述Transformer解码器；
所述Transformer解码器将解码后结果输入到所述笔画编码器，所述笔画编码器将编码后信息传给笔画解码器，所述笔画解码器输出该汉字笔画顺序中第二笔对应的第二笔画轨迹图；
按照所述第二笔画轨迹图的获得方式得到所述汉字图片中该汉字对应的全部笔画轨迹图。
进一步优选地，将所述第一笔画轨迹图和所述该汉字隐含信息的特征向量输入到所述Transformer解码器之前还包括：将所述第一笔画轨迹图输入到所述笔画解码器进行解码。
进一步优选地，所述第一笔画轨迹图、所述第二笔画轨迹图及所述汉字图片中该汉字对应的全部笔画轨迹图为笔画编码矩阵。
进一步优选地，所述笔画编码矩阵包含时序信息。
本发明第二方面提供了一种基于机械臂书写汉字的装置，所述装置包括：
获取模块，用于获取汉字图片；
预处理模块，用于对所述汉字图片进行二值化处理；
输入模块，用于将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
汉字轨迹模块，用于按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
发送模块，用于将所述汉字对应的笔画轨迹图发送给机械臂；
机械臂模块，用于根据所述笔画轨迹图书写所述汉字图片中该汉字。
本发明第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤：
获取汉字图片；
对所述汉字图片进行二值化处理；
将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
将所述汉字对应的笔画轨迹图发送给机械臂；
所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。
本发明第四方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如下步骤：
获取汉字图片；
对所述汉字图片进行二值化处理；
将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
将所述汉字对应的笔画轨迹图发送给机械臂；
所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。
本申请的有益效果为：本发明提供的方法通过训练好的汉字轨迹模型输出汉字对应的全部笔画轨迹图，通过Transformer编解码器与笔画编解码器的有机结合实现了笔画轨迹图的输出，即所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图，机械臂根据汉字对应的全部笔画轨迹图书写编码该汉字，使得机械臂能按照正确的汉字笔顺进行书写，从而写出正确、精准、漂亮的汉字，减少了对人工书写汉字的依赖，提升了汉字书写的效率。
附图说明
图1示出了本申请实施例1的方法流程示意图；
图2示出了本申请实施例2中方法局部过程示意图；
图3示出了本申请实施例2中汉字轨迹模型结构及工作示意图；
图4示出了本申请实施例2中另一种实施方式流程示意图；
图5示出了本申请实施例3的装置结构示意图；
图6示出了本申请一实施例所提供的一种电子设备的结构示意图；
图7示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
实施例1：
本实施例实施了一种基于机械臂书写汉字的方法，如图1所示，包括以下步骤：
S1、获取汉字图片；
S2、对所述汉字图片进行二值化处理；
S3、将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
S4、所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
S5、将所述汉字对应的笔画轨迹图发送给机械臂；
S6、所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。
本实施方式提供的方法通过训练好的汉字轨迹模型输出汉字对应的全部笔画轨迹图，机械臂根据汉字对应的全部笔画轨迹图书写编码该汉字，使得机械臂能按照正确的汉字笔顺进行书写，从而写出正确、精准、漂亮的汉字，减少了对人工书写汉字的依赖，提升了汉字书写的效率。
实施例2：
本实施例实施了一种基于机械臂书写汉字的方法，具体步骤包括：第一步，获取汉字图片；第二步，对所述汉字图片进行二值化处理；第三步，将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；第四步，所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；第五步，将所述汉字对应的笔画轨迹图发送给机械臂；第六步，所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。图2示出了基于机械臂书写汉字的方法部分过程，即示出了在机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字之前的将二值化处理后的汉字图片输入到训练好的汉字轨迹模型最后得到所述汉字图片中该汉字对应的全部笔画轨迹图的过程，这里输入的是“石”字，输出的是石这个字的笔画(笔顺)轨迹图，机械臂收到笔画轨迹图，将根据所述笔画轨迹图书写所述汉字图片中“石”这一汉字。
具体地，再如图3所示，汉字轨迹模型包括Transformer编码器、Transformer解码器、笔画编码器和笔画解码器。
进一步地，可参考图3，所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图，包括：根据二值化处理后的汉字图片生成位置编码；将二值化处理后的汉字图片和位置编码同时输入Transformer编码器，得到表征汉字图片中该汉字隐含信息的特征向量；将该汉字隐含信息的特征向量和笔画起始符号输入Transformer解码器；Transformer解码器将解码后结果输入到笔画编码器，所述笔画编码器将编码后信息传给笔画解码器，所述笔画解码器输出该汉字笔画顺序中第一笔对应的第一笔画轨迹图；基于第一笔画轨迹图生成汉字对应的全部笔画轨迹图。
再进一步地，基于第一笔画轨迹图生成汉字对应的全部笔画轨迹图，包括：将第一笔画轨迹图和该汉字隐含信息的特征向量输入到Transformer解码器；Transformer解码器将解码后结果输入到笔画编码器，所述笔画编码器将编码后信息传给笔画解码器，笔画解码器在用笔画编码器的输出信息来计算当前解码应该输出什么，也就是所述笔画解码器输出该汉字笔画顺序中第一笔对应的第二笔画轨迹图；按照第二笔画轨迹图的获得方式得到汉字图片中该汉字对应的全部笔画轨迹图。具体而言，此处的第一笔画轨迹图和第二轨迹图分别是汉字的第一笔和第二笔，按同样的获得方式，可得到第三笔、第四笔，等等，直到获得该汉字对应的全部笔画轨迹为止。
进一步优选地，将第一笔画轨迹图和该汉字隐含信息的特征向量输入到Transformer解码器之前还包括：将第一笔画轨迹图输入到笔画解码器进行解码。其中，第一笔画轨迹图、第二笔画轨迹图及汉字图片中该汉字对应的全部笔画轨迹图为笔画编码矩阵，笔画编码矩阵包含时序信息。在如图3所示，输出笔画编码矩阵，其中笔画编码为38x40x3的矩阵。其中38表示汉字的最大笔画数，40表示一个笔画包含的最多坐标点，3表示坐标点(x，y)与点的置信度(c)。其中一个汉字对应的每个笔画，按照顺序排列为笔画编码矩阵(最大38笔画，不够38笔画的编码全置为0)。笔画矩阵实际是带时序信息的编码矩阵，因此本文设计的神经网络模型能够在每次输出一个笔画，模型在上次输出的基础上再次输出新的笔画，类似于NLP模型，Seq2seq模型，此处我们采用Img2seq方式。其中笔画编码器和笔画解码器是一对自编码器，在训练时额外加入对应的损失函数。
需要说明的是，以上的第几步只是为了说明技术实施时所具有的逻辑步骤才标识的步骤顺序号，而在具体的实施过程中上述每一步都可能通过许多步实现或转换。另外其中有些步骤表述方式也可以不同，如图4所示，作为可变换的实施方式，本实施例还可表述为图4所示的相应步骤：输入汉字图片，然后进行图片二值化，将结果接着输入到汉字轨迹模型，最后再将模型输出结果发送给机械臂，机械臂执行轨迹书写汉字。
实施例3：
本实施例实施了一种基于机械臂书写汉字的装置，如图5所示，包括以下模块：
获取模块501，用于获取汉字图片；
预处理模块502，用于对所述汉字图片进行二值化处理；
输入模块503，用于将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
汉字轨迹模块504，用于按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
发送模块505，用于将所述汉字对应的笔画轨迹图发送给机械臂；
机械臂模块506，用于根据所述笔画轨迹图书写所述汉字图片中该汉字。
接下来请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图6所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于机械臂书写汉字的方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于机械臂书写汉字的方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于机械臂书写汉字的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于机械臂书写汉字的方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于机械臂书写汉字的方法。
所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任意实施方式所提供的基于机械臂书写汉字的方法的步骤，所述方法的步骤包括：获取汉字图片；对所述汉字图片进行二值化处理；将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；将所述汉字对应的笔画轨迹图发送给机械臂；所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。
还需要强调的是，本申请实施例中提供的基于机械臂书写汉字的方法可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于机械臂书写汉字的方法，其特征在于，包括以下步骤：
获取汉字图片；
对所述汉字图片进行二值化处理；
将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
将所述汉字对应的笔画轨迹图发送给机械臂；
所述机械臂根据所述笔画轨迹图书写所述汉字图片中该汉字。
2.根据权利要求1所述的基于机械臂书写汉字的方法，其特征在于，所述汉字轨迹模型包括Transformer编码器、Transformer解码器、笔画编码器和笔画解码器。
3.根据权利要求2所述的基于机械臂书写汉字的方法，其特征在于，所述训练好的汉字轨迹模型按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图，包括：
根据二值化处理后的汉字图片生成位置编码；
将二值化处理后的汉字图片和所述位置编码同时输入Transformer编码器，得到表征所述汉字图片中该汉字隐含信息的特征向量；
将所述该汉字隐含信息的特征向量和笔画起始符号输入所述Transformer解码器；
所述Transformer解码器将解码后结果输入到所述笔画编码器，所述笔画编码器将编码后信息传给笔画解码器，所述笔画解码器输出该汉字笔画顺序中第一笔对应的第一笔画轨迹图；
基于所述第一笔画轨迹图生成该汉字对应的全部笔画轨迹图。
4.根据权利要求3所述的基于机械臂书写汉字的方法，其特征在于，基于所述第一笔画轨迹图生成该汉字对应的全部笔画轨迹图，包括：
将所述第一笔画轨迹图和所述该汉字隐含信息的特征向量输入到所述Transformer解码器；
所述Transformer解码器将解码后结果输入到所述笔画编码器，所述笔画编码器将编码后信息传给笔画解码器，所述笔画解码器输出该汉字笔画顺序中第二笔对应的第二笔画轨迹图；
按照所述第二笔画轨迹图的获得方式得到所述汉字图片中该汉字对应的全部笔画轨迹图。
5.根据权利要求4所述的基于机械臂书写汉字的方法，其特征在于，将所述第一笔画轨迹图和所述该汉字隐含信息的特征向量输入到所述Transformer解码器之前还包括：将所述第一笔画轨迹图输入到所述笔画解码器进行解码。
6.根据权利要求4所述的基于机械臂书写汉字的方法，其特征在于，所述第一笔画轨迹图、所述第二笔画轨迹图及所述汉字图片中该汉字对应的全部笔画轨迹图为笔画编码矩阵。
7.根据权利要求6所述的基于机械臂书写汉字的方法，其特征在于，所述笔画编码矩阵包含时序信息。
8.一种基于机械臂书写汉字的装置，其特征在于，所述装置包括：
获取模块，用于获取汉字图片；
预处理模块，用于对所述汉字图片进行二值化处理；
输入模块，用于将二值化处理后的汉字图片输入到训练好的汉字轨迹模型中；
汉字轨迹模块，用于按汉字的笔画顺序生成第一笔画轨迹图，再基于所述第一笔画轨迹图得到所述汉字图片中该汉字对应的全部笔画轨迹图；
发送模块，用于将所述汉字对应的笔画轨迹图发送给机械臂；
机械臂模块，用于根据所述笔画轨迹图书写所述汉字图片中该汉字。
9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至7中任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111162917.8A CN114055483A (zh) | 2021-09-30 | 2021-09-30 | 一种基于机械臂书写汉字的方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111162917.8A CN114055483A (zh) | 2021-09-30 | 2021-09-30 | 一种基于机械臂书写汉字的方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114055483A true CN114055483A (zh) | 2022-02-18 |
Family
ID=80234037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111162917.8A Pending CN114055483A (zh) | 2021-09-30 | 2021-09-30 | 一种基于机械臂书写汉字的方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114055483A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804397A (zh) * | 2018-06-12 | 2018-11-13 | 华南理工大学 | 一种基于少量目标字体的汉字字体转换生成的方法 |
| US20190087734A1 (en) * | 2016-03-28 | 2019-03-21 | Sony Corporation | Information processing apparatus and information processing method |
| CN109746916A (zh) * | 2019-01-28 | 2019-05-14 | 武汉科技大学 | 一种机器人书写书法的方法及系统 |
| CN110992441A (zh) * | 2019-12-03 | 2020-04-10 | 上海眼控科技股份有限公司 | 书写轨迹处理方法及装置 |
| CN111046771A (zh) * | 2019-12-05 | 2020-04-21 | 上海眼控科技股份有限公司 | 用于恢复书写轨迹的网络模型的训练方法 |
| CN112036137A (zh) * | 2020-08-27 | 2020-12-04 | 哈尔滨工业大学（深圳） | 一种基于深度学习的多风格书法数字墨水仿真方法和系统 |
| CN112192576A (zh) * | 2020-10-29 | 2021-01-08 | 哈工大机器人湖州国际创新研究院 | 机械臂汉字书写控制方法 |
| CN113269189A (zh) * | 2021-07-20 | 2021-08-17 | 北京世纪好未来教育科技有限公司 | 文本识别模型的构建方法、文本识别方法、装置及设备 |
-
2021
- 2021-09-30 CN CN202111162917.8A patent/CN114055483A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087734A1 (en) * | 2016-03-28 | 2019-03-21 | Sony Corporation | Information processing apparatus and information processing method |
| CN108804397A (zh) * | 2018-06-12 | 2018-11-13 | 华南理工大学 | 一种基于少量目标字体的汉字字体转换生成的方法 |
| CN109746916A (zh) * | 2019-01-28 | 2019-05-14 | 武汉科技大学 | 一种机器人书写书法的方法及系统 |
| CN110992441A (zh) * | 2019-12-03 | 2020-04-10 | 上海眼控科技股份有限公司 | 书写轨迹处理方法及装置 |
| CN111046771A (zh) * | 2019-12-05 | 2020-04-21 | 上海眼控科技股份有限公司 | 用于恢复书写轨迹的网络模型的训练方法 |
| CN112036137A (zh) * | 2020-08-27 | 2020-12-04 | 哈尔滨工业大学（深圳） | 一种基于深度学习的多风格书法数字墨水仿真方法和系统 |
| CN112192576A (zh) * | 2020-10-29 | 2021-01-08 | 哈工大机器人湖州国际创新研究院 | 机械臂汉字书写控制方法 |
| CN113269189A (zh) * | 2021-07-20 | 2021-08-17 | 北京世纪好未来教育科技有限公司 | 文本识别模型的构建方法、文本识别方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Neural scene de-rendering | |
| CN110288665B (zh) | 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备 | |
| CN107293296B (zh) | 语音识别结果纠正方法、装置、设备及存储介质 | |
| CN107871014A (zh) | 一种基于深度融合哈希的大数据跨模态检索方法及系统 | |
| CN111325664B (zh) | 风格迁移方法、装置、存储介质及电子设备 | |
| CN111401406A (zh) | 一种神经网络训练方法、视频帧处理方法以及相关设备 | |
| RU2665273C2 (ru) | Обучаемые визуальные маркеры и способ их продуцирования | |
| CN111553246A (zh) | 基于多任务对抗学习网络的汉字风格迁移方法及系统 | |
| CN114266945B (zh) | 一种目标检测模型的训练方法、目标检测方法及相关装置 | |
| CN114863539A (zh) | 一种基于特征融合的人像关键点检测方法及系统 | |
| CN110688897A (zh) | 一种基于联合判断与生成学习的行人重识别方法及装置 | |
| US20230186590A1 (en) | Method for omnidirectional dense regression for machine perception tasks via distortion-free cnn and spherical self-attention | |
| Liu et al. | Real-time robotic mirrored behavior of facial expressions and head motions based on lightweight networks | |
| CN103544468A (zh) | 3d人脸表情识别方法和装置 | |
| CN114283347A (zh) | 目标检测方法、系统、智能终端及计算机可读存储介质 | |
| CN114055483A (zh) | 一种基于机械臂书写汉字的方法、装置、设备及介质 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN113219854A (zh) | 机器人仿真控制平台、方法及计算机存储介质 | |
| CN117113270A (zh) | 一种基于改进对齐方法的知识融合多模态交互方法及装置 | |
| CN114092931B (zh) | 场景文字识别方法、装置、电子设备及存储介质 | |
| CN114782592A (zh) | 基于图像的卡通动画生成方法、装置、设备及存储介质 | |
| Si et al. | Image semantic segmentation based on improved DeepLab V3 model | |
| CN112528016B (zh) | 一种基于低维球面投影的文本分类方法 | |
| CN117351575B (zh) | 基于文生图数据增强模型的非言语行为识别方法和装置 | |
| CN110796075B (zh) | 人脸多样性数据获取方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220218 |
|
| RJ01 | Rejection of invention patent application after publication |