CN111185902A - 基于视觉识别的机器人文字书写方法、装置和书写系统 - Google Patents

基于视觉识别的机器人文字书写方法、装置和书写系统 Download PDF

Info

Publication number
CN111185902A
CN111185902A CN201911405441.9A CN201911405441A CN111185902A CN 111185902 A CN111185902 A CN 111185902A CN 201911405441 A CN201911405441 A CN 201911405441A CN 111185902 A CN111185902 A CN 111185902A
Authority
CN
China
Prior art keywords
information
writing
character
font
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911405441.9A
Other languages
English (en)
Other versions
CN111185902B (zh
Inventor
刘培超
邢淑敏
刘主福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuejiang Technology Co Ltd
Original Assignee
Shenzhen Yuejiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuejiang Technology Co Ltd filed Critical Shenzhen Yuejiang Technology Co Ltd
Priority to CN201911405441.9A priority Critical patent/CN111185902B/zh
Publication of CN111185902A publication Critical patent/CN111185902A/zh
Application granted granted Critical
Publication of CN111185902B publication Critical patent/CN111185902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Toys (AREA)

Abstract

本申请实施例提供了一种基于视觉识别的机器人文字书写方法、装置和书写系统,涉及机器人控制技术领域。该方法首先根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;书写信息的内容与文字信息匹配。接着,根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息。然后,根据每个文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息。最后,将三维运动轨迹指令信息发送至机器人。使得机器人根据三维运动轨迹指令信息进行书写,从而使得机器人的书写过程和结果更加智能化和个性化,提高了书写效率。

Description

基于视觉识别的机器人文字书写方法、装置和书写系统
技术领域
本申请涉及机器人控制技术领域,具体而言,涉及基于视觉识别的机器人文字书写方法、装置和书写系统。
背景技术
在生活中经常会遇到一些需要重复书写的场合,如书写邀请函、请贴等,此时打印或复印一般都无法操作,通过手写又费时费力,因此需要一个能自动写字的机器人来代替人的书写。
目前,机器人的运动控制可通过离线编程和在线编程两种方式来实现。离线编程在机器人作业之前制定好运动的轨迹,然后机器人作业时按照指定的轨迹运动;在线编程则是在操作人员制定运动轨迹的同时,机器人就沿着当前轨迹绘制写字,然而,上述这两种通过预设程序执行固定书写内容和书写方式的方法,使得写字机器人的书写过程和结果较为呆板,缺乏个性化和智能化。
发明内容
有鉴于此,本申请提供了一种基于视觉识别的机器人文字书写方法、装置和书写系统,以解决上述问题。
第一方面,实施例提供一种基于视觉识别的机器人文字书写方法,包括:
根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;所述书写信息的内容与所述文字信息匹配;
根据所述书写信息和所述字体信息,确定所述书写信息中每个文字对应的运笔轨迹信息;
根据每个所述文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息;
将所述三维运动轨迹指令信息发送至所述机器人。
在可选的实施方式中,所述书写内容库包含多条文字内容;所述字库包含每个文字对应的至少一种字体信息;所述根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息的步骤,包括:
根据所述文字信息查询所述书写内容库,若存在任意一条所述文字内容包含所述文字信息时,将所述文字内容的至少部分文字作为所述书写信息,其中,所述文字内容的至少部分文字与所述文字信息具有对应文本关联;
根据所述文字信息查询所述字库,确定与所述文字信息的字体匹配的字体信息作为所述字体信息。
在可选的实施方式中,还包括:
接收字体更新信息,所述字体更新信息包含至少一个文字对应的更新字体信息;
将所述至少一个文字对应的更新字体信息更新至所述字库。
在可选的实施方式中,还包括:
接收内容更新信息,所述内容更新信息包含至少一条文字更新内容;
将所述至少一条文字更新内容更新至所述书写内容库。
第二方面,实施例提供一种基于视觉识别的机器人文字书写装置,包括获取模块、处理模块以及发送模块:
所述获取模块用于根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;所述书写信息的内容与所述文字信息匹配;
所述处理模块用于根据所述书写信息和所述字体信息,确定所述书写信息中每个文字对应的运笔轨迹信息,并根据每个所述文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息;
所述发送模块用于将所述三维运动轨迹指令信息发送至所述机器人。
在可选的实施方式中,所述书写内容库包含多条文字内容;所述字库包含每个文字对应的至少一种字体信息;
所述处理模块具体用于根据所述文字信息查询所述书写内容库,若存在任意一条所述文字内容包含所述文字信息时,将所述文字内容的至少部分文字作为所述书写信息;所述文字内容的至少部分文字与所述文字信息具有对应文本关联;并根据所述文字信息查询所述字库,确定与所述文字信息的字体匹配的字体信息作为所述字体信息。
在可选的实施方式中,还包括字体更新模块;
所述字体更新模块用于接收字体更新信息,所述字体更新信息包含至少一个文字对应的更新字体信息,并将所述至少一个文字对应的更新字体信息更新至所述字库。
在可选的实施方式中,还包括内容更新模块;
所述内容更新模块用于接收内容更新信息,所述内容更新信息包含至少一条文字更新内容,并将所述至少一条文字更新内容更新至所述书写内容库。
第三方面,实施例提供一种书写系统,包括视觉识别装置、机器人以及处理设备;
所述视觉识别装置用于识别目标物具有的文字信息;
所述处理设备用于根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;所述书写信息的内容与所述文字信息匹配;
根据所述书写信息和所述字体信息,确定所述书写信息中每个文字对应的运笔轨迹信息;
根据每个所述文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息;
将所述三维运动轨迹指令信息发送至所述机器人;
所述机器人用于根据所述三维运动轨迹指令信息进行书写。
第四方面,实施例提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被执行时实现前述实施方式中任意一项所述的基于视觉识别的机器人文字书写方法。
相对于现有技术而言,本申请具有以下有益效果:
本申请实施例提供的基于视觉识别的机器人文字书写方法,通过根据被识别目标物具有的文字信息,确定与该文字信息匹配的书写信息和字体信息,并根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息,根据每个文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息,使得机器人根据三维运动轨迹指令信息进行书写,进而使得机器人的书写过程和结果更加智能化和个性化,提高了书写效率。
为使本申请实施例的上述目的、特征和优点能更明显易懂,下面将结合实施例,并配合所附附图,作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的书写系统的结构示意图之一。
图2为本申请实施例提供的机器人的结构示意图。
图3为本申请实施例提供的处理设备的结构示意图之一。
图4为本申请实施例所提供的基于视觉识别的机器人文字书写方法的流程示意图之一。
图5为本申请实施例提供的图4中步骤100的子步骤流程示意图。
图6为本申请实施例提供的书写系统的结构示意图之二。
图7为本申请实施例提供的基于视觉识别的机器人文字书写方法的流程示意图之二。
图8为本申请实施例提供的基于视觉识别的机器人文字书写方法的流程示意图之三。
图9为本申请实施例提供的基于视觉识别的机器人文字书写装置的功能模块示意图。
图标:1-书写系统;10-视觉识别装置;20-机器人;21-底座;22-第一机械臂;23-第二机械臂;24-执笔设备;30-处理设备;31-书写装置;311-获取模块;312-处理模块;313-发送模块;314-字体更新模块;315-内容更新模块;32-存储器;33-处理器;34-通信设备;40-输入设备。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
如背景技术所介绍,在生活中经常会遇到一些需要重复书写的场合,如书写邀请函、请贴等,此时打印或复印一般都无法操作,通过手写又费时费力,因此需要一个能自动写字的机器人来代替人的书写。
目前,写字机器人的运动控制可通过离线编程和在线编程两种方式来实现。离线编程在机器人作业之前制定好运动的轨迹,然后作业时按照指定的轨迹运动;在线编程则是在操作人员制定运动轨迹的同时,机器人就沿着当前轨迹绘制写字,然而,上述两种通过预设程序执行固定书写内容和书写方式的方法,使得机器人的书写过程和结果较为呆板,缺乏个性化和智能化。
有鉴于此,本申请实施例提供了一种基于视觉识别的机器人文字书写方法、装置和书写系统,该方法通过获取目标物具有的文字信息,确定与该文字信息匹配的书写信息和字体信息,并根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息,根据每个文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息,使得机器人根据三维运动轨迹指令信息进行书写,从而使得机器人的书写过程和结果更加智能化和个性化。下面结合附图针对上述技术方案做详细阐述。
请结合参阅图1,图1为本申请实施例提供的书写系统1的结构示意图之一。本申请实施例提供的基于视觉识别的机器人文字书写方法应用于书写系统1中的处理设备30,由图1中的处理设备30执行该方法。
书写系统1包括视觉识别装置10、机器人20以及处理设备30,其中,视觉识别装置10和机器人20分别与处理设备30有线或无线连接。其中,有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。
作为一种实施方式,本申请实施例提供的视觉识别装置10、机器人20以及处理设备30可以集成为一个设备,又或者,处理设备30可以和视觉识别装置10集成至同一设备上,该设备可以是智能手机、平板电脑或笔记本电脑等。
本申请实施例中,视觉识别装置10用于识别目标物具有的文字信息。
处理设备30用于根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;书写信息的内容与文字信息匹配。根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息。根据每个文字对应的运笔轨迹信息,生成控制机器人20运笔的三维运动轨迹指令信息。并将三维运动轨迹指令信息发送至机器人20。
机器人20用于根据三维运动轨迹指令信息进行书写。
其中,视觉识别装置10可以为摄像设备,当摄像设备为普通摄像设备时,摄像设备可以与处理设备30通过信号线实现电性连接。当摄像设备为网络摄像机(IP Camera,IPC)时,摄像设备通过网络与处理设备30无线连接。
请结合参阅图2,图2为本申请实施例提供的机器人20的结构示意图。机器人20包括底座21、第一机械臂22、第二机械臂23以及执笔设备24等组件。其中,底座21设置于工作平台,用于支撑第一机械臂22、第二机械臂23及执笔设备24,第一机械臂22一端与底座21连接、另一端与第二机械臂23连接,执笔设备24与第二机械臂23连接,并远离第一机械臂22。
可选的,在本实施例中,第一机械臂22的长度为135mm,转动角度为0°~85°,第二机械臂23的长度为147mm,转动角度为-10°~+90°,底座21的转动角度为-90°~+90°。因此,本申请实施例所提供的机器人20具有多个自由度,能够控制执笔设备24在沿多个方向上的运动,如图2所示,执笔设备24在能够在第二机械臂23的带动下,沿X、Y、Z方向进行移动以及沿Z方向进行转动。
进一步地,执笔设备24用于夹持书写笔,在书写文字时,处理设备30通过控制第一机械臂22及第二机械臂23的运动,带动夹持有书写笔的执笔设备24在书写纸上书写文字。其中,书写笔可以是,但不限于毛笔、铅笔、钢笔或圆珠笔等。
在本实施例中,处理设备30可以是,但不限于,智能手机、个人电脑(personalcomputer,PC)、平板电脑等具有数据处理能力的设备。
请结合参阅图3,图3为本申请实施例提供的处理设备30的结构示意图。处理设备30包括基于视觉识别的机器人文字书写装置31(以下简称书写装置31)、存储器32、处理器33及通信设备34。
存储器32、处理器33及通信设备34各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
书写装置31包括至少一个可以软件或固件(firmware)的形式存储于存储器32中或固化在处理设备30的操作系统(operating system,OS)中的软件功能模块。处理器33用于执行存储器32中存储的可执行模块,例如书写装置31所包括的软件功能模块及计算机程序等。
其中,存储器32可以是,但不限于,随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM)或电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器32用于存储程序或者数据。
处理器33可以是一种集成电路芯片,具有信号的处理能力。上述的处理器33可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等。
还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
通信设备34用于通过网络建立处理设备30与其他电子设备之间的通信连接。
可以理解,图3所示的结构仅为示意,处理设备30还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
基于上述书写系统1的实现架构,作为一种可能的实现方式,请结合参阅图4,图4为本申请实施例所提供的基于视觉识别的机器人文字书写方法的流程示意图之一,下面对图4所示的流程示意图进行详细阐述。
步骤100,根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;书写信息的内容与文字信息匹配。
步骤200,根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息。
步骤300,根据每个文字对应的运笔轨迹信息,生成控制机器人20运笔的三维运动轨迹指令信息。
步骤400,将三维运动轨迹指令信息发送至机器人20。
其中,目标物可以是书本、纸张、墙体或显示设备等任何含有文字的物体。
在一种可能的实施场景中,该被识别目标物中的文字信息可以是一段文字内容,例如“床前明月光”。当通过上述视觉识别装置10识别文字信息后,可根据获取到的文字信息获得书写内容库中与文字信息匹配的书写信息,例如,与目标物中的文字信息对应的书写信息可以是“疑是地上霜”或“床前明月光,疑是地上霜。”
又例如,该被识别目标物中的文字信息为“轻轻的我走了”,当通过视觉识别装置10识别文字信息后,可根据获取到的文字信息获得书写内容库中与文字信息匹配的书写信息,例如,与目标物中的文字信息对应的书写信息可以是“正如我轻轻的来”或“轻轻的我走了,正如我轻轻的来。”
同时,作为一种可选的实施方式,根据文字信息,得到的字库中的字体信息所表示的字体风格,可以是与被识别目标物具有的文字信息相同的字体风格。例如,被识别目标物具有的文字信息的字体风格为“宋体”,则根据文字信息得到的字库中的字体信息所表示的字体风格可以同样为“宋体”。
作为另一种可选的实施方式,根据文字信息得到的字库中的字体信息所表示的字体风格,还可以根据用户的选择确定,例如,目标物具有的文字信息的字体风格为“宋体”,而用户可选择字体风格为“瘦金体”的字体信息,作为文字信息对应的字体信息。
处理设备30在获得书写信息和字体信息后,确定书写信息中每个文字对应的运笔轨迹信息。并根据每个文字对应的运笔轨迹信息,生成控制机器人20运笔的三维运动轨迹指令信息。最后,将三维运动轨迹指令信息发送至机器人20。进而使得机器人20根据三维运动轨迹指令信息,实现文字的书写。其中,运笔轨迹信息可以包括文字的笔画书写顺序、书写时的轻重、粗细、快慢等信息。
本申请实施例提供的基于视觉识别的机器人文字书写方法,通过获取目标物具有的文字信息,确定与该文字信息匹配的书写信息和字体信息,并根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息,根据每个文字对应的运笔轨迹信息,生成控制机器人20运笔的三维运动轨迹指令信息,使得机器人20根据三维运动轨迹指令信息进行书写,使得书写过程和结果更加智能化和个性化。
在一种可能的实现方式中,为了基于识别到的文字进行补全,上述书写内容库可以包含多条文字内容,每条文字内容都可以是一篇文章、诗或者其他文体形式的内容。例如,唐诗、宋词、元曲、散文、杂文等内容。字库包含每个文字对应的至少一种字体信息,例如,文字“你”,可分别对应楷体、宋体、隶书、瘦金体等不同字体信息。
可选地,在图4的基础上,图5为本申请实施例提供的图4中步骤100的子步骤流程示意图。请结合参阅图5,步骤100的一种可能的实现方式为:
步骤100-1,根据文字信息查询书写内容库,若存在任意一条文字内容包含文字信息时,将文字内容的至少部分文字作为书写信息,其中,文字内容的至少部分文字与文字信息具有对应文本关联。
步骤100-2,根据文字信息查询字库,确定与文字信息的字体匹配的字体信息作为字体信息。
例如,若文字信息为“床前明月光”,则可以在书写内容库中查找是否存在任意一条文字内容包含“床前明月光”,若存在,则将文字内容的至少部分文字作为书写信息,例如,可以是将“疑是地上霜”作为书写信息。又例如,还可以是将“床前明月光,疑是地上霜。”作为书写信息。又例如,还可以是将“床前明月光,疑是地上霜,举头望明月,低头思故乡。”作为书写信息。
同时,作为一种可能的实施场景,若文字信息的字体风格为“宋体”,则可以在字库中查询,将字库中与字体风格为“宋体”对应的字体信息作为文字信息对应的字体信息。
需要说明的是,上述步骤100-1及步骤100-2并不限定先后顺序,也就是说,确定书写信息和字体信息的步骤不分先后。
作为另一种可能的实施场景,若文字信息的字体风格为“宋体”,但用户选择的字体风格为“瘦金体”,则可以在字库中查询,将字库中与字体风格为“瘦金体”对应的字体信息作为文字信息对应的字体信息。
本申请实施例中,一方面,可根据被识别目标物具有的部分文字信息,自动补全文字信息的另一部分内容,有效提高了书写效率,实现了书写过程的智能化。另一方面,还可根据文字信息或用户配置的字体信息确定书写信息的字体风格,实现了文字书写的个性化。
进一步地,在另一种可能的实现方式中,用户可通过输入设备40,输入自己的字体或者描绘背景中提供的书法家字体,将定制化的字存储在字库中,书写时可直接调用。因此,本申请实施例还提供另一种可能的书写系统1架构,请结合参阅图6,图6为本申请实施例提供的书写系统1的结构示意图之二,在上述书写系统1的基础上,该书写系统1还可以包括输入设备40。输入设备40可以是平板或数位板。
输入设备40用于接收用户输入的字体,例如,用户自己的字体或者描绘背景中提供的书法家的字体。
基于上述书写系统1结构,下面提供一种录入用户的手写字体或其他目标字体的可能的实现方式。请结合参阅图7,图7为本申请实施例提供的基于视觉识别的机器人文字书写方法的流程示意图之二。
步骤500,接收字体更新信息,字体更新信息包含至少一个文字对应的更新字体信息。
步骤600,将至少一个文字对应的更新字体信息更新至字库。
作为一种可选的实施方式,字体更新信息可以是标准的字体包。
作为另一种可选的实施方式,字体更新信息也可以是用户通过平板或数位板等输入设备40输入的手写字体。通过输入设备40可对用户手写运动过程中的时间与空间变化进行跟踪和记录,能够获取一系列的运动学和动力学参数,体现手下运动过程特征的细微变化,例如,字迹形状、字间空隙、线条粗细等静态信息,以及书写速度、书写加速度、书写力度等动态信息。
同时,该手写字体可以是用户自己的字体也可以是用户描绘背景中提供的书法家字体。输入设备40中可预先设置文字或图形的临摹样本,例如不同书法家的字体,用于指导用户根据临摹样本进行描红。如此,将至少一个文字对应的更新字体信息更新至字库,从而使得书写结果更加个性化。
在另一种可能的实现方式中,用户还可通过输入设备40,输入新的内容信息,例如一首新诗、一篇新的文章等。请结合参阅图8,图8为本申请实施例提供的基于视觉识别的机器人文字书写方法的流程示意图之二。
步骤700,接收内容更新信息,内容更新信息包含至少一条文字更新内容。
步骤800,将至少一条文字更新内容更新至书写内容库。
文字更新内容可以是上述书写内容库中不包括的文字内容,例如,新的诗歌、新的散文、新的论文等。同时,用户同样可通过手写的方式将文字内容通过输入设备40添加至书写内容库,也可以是通过输入设备40经过搜索或下载得到的文档,将文档中的文字内容添加至书写内容库,使得书写内容库中的文字内容更加丰富,进一步使得书写过程和结果更加的智能化。
基于同一发明构思,本申请实施例中还提供了与基于视觉识别的机器人文字书写方法对应的基于视觉识别的机器人文字书写装置31。
请结合参阅图9,本申请实施例还提供了一种基于视觉识别的机器人文字书写装置31,包括获取模块311、处理模块312以及发送模块313。
获取模块311用于根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;书写信息的内容与文字信息匹配。
处理模块312用于根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息,并根据每个文字对应的运笔轨迹信息,生成控制机器人20运笔的三维运动轨迹指令信息。
发送模块313用于将三维运动轨迹指令信息发送至机器人20。
书写内容库包含多条文字内容,字库包含每个文字对应的至少一种字体信息。处理模块312具体用于根据文字信息查询书写内容库,若存在任意一条文字内容包含文字信息时,将文字内容的至少部分文字作为书写信息;文字内容的至少部分文字与文字信息具有对应文本关联;并根据文字信息查询字库,确定与文字信息的字体匹配的字体信息作为字体信息。
进一步地,书写装置31还包括字体更新模块314。
字体更新模块314用于接收字体更新信息,字体更新信息包含至少一个文字对应的更新字体信息,并将至少一个文字对应的更新字体信息更新至字库。
进一步地,书写装置31还包括内容更新模块315。
内容更新模块315用于接收内容更新信息,内容更新信息包含至少一条文字更新内容,并将至少一条文字更新内容更新至书写内容库。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本申请实施例还提供了一种存储介质,存储介质中存储有计算机程序,计算机程序被执行时实现上述的基于视觉识别的机器人文字书写方法。
具体地,该可读存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述基于视觉识别的机器人文字书写方法,从而提高了机器人20书写过程和书写结果的智能化和个性化。
综上,本申请实施例提供了一种基于视觉识别的机器人文字书写方法、装置和书写系统1,该方法首先根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;书写信息的内容与文字信息匹配。接着,根据书写信息和字体信息,确定书写信息中每个文字对应的运笔轨迹信息。然后,根据每个文字对应的运笔轨迹信息,生成控制机器人20运笔的三维运动轨迹指令信息。最后,将三维运动轨迹指令信息发送至机器人20。使得机器人20根据三维运动轨迹指令信息进行书写,从而使得机器人20的书写过程和结果更加智能化和个性化。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于视觉识别的机器人文字书写方法,其特征在于,包括:
根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;所述书写信息的内容与所述文字信息匹配;
根据所述书写信息和所述字体信息,确定所述书写信息中每个文字对应的运笔轨迹信息;
根据每个所述文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息;
将所述三维运动轨迹指令信息发送至所述机器人。
2.根据权利要求1所述的基于视觉识别的机器人文字书写方法,其特征在于,所述书写内容库包含多条文字内容;所述字库包含每个文字对应的至少一种字体信息;所述根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息的步骤,包括:
根据所述文字信息查询所述书写内容库,若存在任意一条所述文字内容包含所述文字信息时,将所述文字内容的至少部分文字作为所述书写信息,其中,所述文字内容的至少部分文字与所述文字信息具有对应文本关联;
根据所述文字信息查询所述字库,确定与所述文字信息的字体匹配的字体信息作为所述字体信息。
3.根据权利要求1所述的基于视觉识别的机器人文字书写方法,其特征在于,还包括:
接收字体更新信息,所述字体更新信息包含至少一个文字对应的更新字体信息;
将所述至少一个文字对应的更新字体信息更新至所述字库。
4.根据权利要求1所述的基于视觉识别的机器人文字书写方法,其特征在于,还包括:
接收内容更新信息,所述内容更新信息包含至少一条文字更新内容;
将所述至少一条文字更新内容更新至所述书写内容库。
5.一种基于视觉识别的机器人文字书写装置,其特征在于,包括获取模块、处理模块以及发送模块:
所述获取模块用于根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;所述书写信息的内容与所述文字信息匹配;
所述处理模块用于根据所述书写信息和所述字体信息,确定所述书写信息中每个文字对应的运笔轨迹信息,并根据每个所述文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息;
所述发送模块用于将所述三维运动轨迹指令信息发送至所述机器人。
6.根据权利要求5所述的基于视觉识别的机器人文字书写装置,其特征在于,所述书写内容库包含多条文字内容;所述字库包含每个文字对应的至少一种字体信息;
所述处理模块具体用于根据所述文字信息查询所述书写内容库,若存在任意一条所述文字内容包含所述文字信息时,将所述文字内容的至少部分文字作为所述书写信息;所述文字内容的至少部分文字与所述文字信息具有对应文本关联;并根据所述文字信息查询所述字库,确定与所述文字信息的字体匹配的字体信息作为所述字体信息。
7.根据权利要求5所述的基于视觉识别的机器人文字书写装置,其特征在于,还包括字体更新模块;
所述字体更新模块用于接收字体更新信息,所述字体更新信息包含至少一个文字对应的更新字体信息,并将所述至少一个文字对应的更新字体信息更新至所述字库。
8.根据权利要求5所述的基于视觉识别的机器人文字书写装置,其特征在于,还包括内容更新模块;
所述内容更新模块用于接收内容更新信息,所述内容更新信息包含至少一条文字更新内容,并将所述至少一条文字更新内容更新至所述书写内容库。
9.一种书写系统,其特征在于,包括视觉识别装置、机器人以及处理设备;
所述视觉识别装置用于识别目标物具有的文字信息;
所述处理设备用于根据被识别目标物具有的文字信息,获得书写内容库中的书写信息和字库中的字体信息;所述书写信息的内容与所述文字信息匹配;
根据所述书写信息和所述字体信息,确定所述书写信息中每个文字对应的运笔轨迹信息;
根据每个所述文字对应的运笔轨迹信息,生成控制机器人运笔的三维运动轨迹指令信息;
将所述三维运动轨迹指令信息发送至所述机器人;
所述机器人用于根据所述三维运动轨迹指令信息进行书写。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-4中任意一项所述的基于视觉识别的机器人文字书写方法。
CN201911405441.9A 2019-12-30 2019-12-30 基于视觉识别的机器人文字书写方法、装置和书写系统 Active CN111185902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911405441.9A CN111185902B (zh) 2019-12-30 2019-12-30 基于视觉识别的机器人文字书写方法、装置和书写系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911405441.9A CN111185902B (zh) 2019-12-30 2019-12-30 基于视觉识别的机器人文字书写方法、装置和书写系统

Publications (2)

Publication Number Publication Date
CN111185902A true CN111185902A (zh) 2020-05-22
CN111185902B CN111185902B (zh) 2021-05-28

Family

ID=70684468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911405441.9A Active CN111185902B (zh) 2019-12-30 2019-12-30 基于视觉识别的机器人文字书写方法、装置和书写系统

Country Status (1)

Country Link
CN (1) CN111185902B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI758828B (zh) * 2020-08-19 2022-03-21 國立臺灣師範大學 具有自我學習能力的智慧型驅動裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271140A (zh) * 1999-04-21 2000-10-25 中国科学院自动化研究所 基于纹理分析的字体和笔迹识别方法
CN104851333A (zh) * 2015-04-13 2015-08-19 武汉光谷百桥国际生物科技有限公司 字帖生成装置及字帖临摹装置
US20170285742A1 (en) * 2016-03-29 2017-10-05 Google Inc. System and method for generating virtual marks based on gaze tracking
CN108237544A (zh) * 2018-03-15 2018-07-03 北京化工大学 一种人工智能的书法机器人
CN108460369A (zh) * 2018-04-04 2018-08-28 南京阿凡达机器人科技有限公司 一种基于机器视觉的绘图方法及系统
CN109664300A (zh) * 2019-01-09 2019-04-23 湘潭大学 一种基于力觉学习的机器人多风格书法临摹方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271140A (zh) * 1999-04-21 2000-10-25 中国科学院自动化研究所 基于纹理分析的字体和笔迹识别方法
CN104851333A (zh) * 2015-04-13 2015-08-19 武汉光谷百桥国际生物科技有限公司 字帖生成装置及字帖临摹装置
US20170285742A1 (en) * 2016-03-29 2017-10-05 Google Inc. System and method for generating virtual marks based on gaze tracking
CN108237544A (zh) * 2018-03-15 2018-07-03 北京化工大学 一种人工智能的书法机器人
CN108460369A (zh) * 2018-04-04 2018-08-28 南京阿凡达机器人科技有限公司 一种基于机器视觉的绘图方法及系统
CN109664300A (zh) * 2019-01-09 2019-04-23 湘潭大学 一种基于力觉学习的机器人多风格书法临摹方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI758828B (zh) * 2020-08-19 2022-03-21 國立臺灣師範大學 具有自我學習能力的智慧型驅動裝置

Also Published As

Publication number Publication date
CN111185902B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN110832450B (zh) 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统
US20220129060A1 (en) Three-dimensional object tracking to augment display area
US11663784B2 (en) Content creation in augmented reality environment
JP2015516624A (ja) 有効インターフェース要素の強調のための方式
US10417491B2 (en) System and method for recognition of handwritten diagram connectors
CN111695628A (zh) 关键点标注方法、装置、电子设备及存储介质
US20180173688A1 (en) System and method for management of handwritten diagram connectors
US9600094B2 (en) Apparatus, method, and program product for directing motion of a writing device
CN109732593B (zh) 一种机器人的远端控制方法、装置及终端设备
US11087560B2 (en) Normalization of objects for a 3D environment within an authoring application
WO2021173147A1 (en) System and method for playback of augmented reality content triggered by image recognition
US10409478B2 (en) Method, apparatus, and recording medium for scrapping content
CN111185902B (zh) 基于视觉识别的机器人文字书写方法、装置和书写系统
CN105247463A (zh) 增强的画布环境
CN110235097B (zh) 用于着墨应用用户界面的可反转数字墨水
CN110908568B (zh) 一种虚拟对象的控制方法和装置
US10860088B2 (en) Method and system for initiating application and system modal control based on hand locations
EP3951563A1 (en) Systems and methods for collaborating physical-virtual interfaces
CN111178019A (zh) 基于语音控制的机器人文字书写方法、装置和系统
CN111813366A (zh) 通过语音输入对文字进行编辑的方法和装置
CN104137099A (zh) 方法、装置、计算机程序和用户接口
Bansal et al. Hand Gesture Controlled Smart Car using Image Processing
US20230298283A1 (en) Gesture based tactile interaction in extended reality using form factor of a physical object
CN109804341B (zh) 用于使用计算装置浏览网页的方法、计算装置和可读介质
WO2019186203A1 (en) Device operation control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant