CN108673525A - 一种基于服务机器人的自动书写系统 - Google Patents

Abstract

本发明公开了一种基于服务机器人的自动书写系统，它包括服务机器人、AI云服务器、编辑APP、麦克风单元、灵巧手。服务机器人包括机身、全向移动车底、控制主机、单双目视觉、机械强手臂、腰间小手臂；麦克风单元实时采集语音并上传至AI云服务器，AI云服务器对语音文件转换为文本文件并形成摘要大纲，然后将摘要大纲下发至服务机器人；编辑APP为在智能手机上人工手动编辑图文并发至服务机器人的功能模块；机械强手臂灵巧手握住书写笔一行一行书写，需要时机械强手臂握住擦子擦除已有板书，腰间小手臂将低处书写笔及擦子放置桌面；本发明技术方案提出了教师演讲人集中精力演讲及观察听众，由服务机器人独自完成板书书写及擦除板书的新模式。

Description

一种基于服务机器人的自动书写系统

技术领域

本发明涉及一种基于服务机器人的自动书写系统，更具体说是涉及一种运用服务机器人、灵巧手、自动控制技术措施实现的自动书写系统。

背景技术

服务机器人是机器人重要组成。

如图1所示，服务机器人与老人对弈象棋，服务机器人关注从棋盘哪个位置拿取象棋及将象棋放回棋盘哪个位置，也包括机械强手臂从棋盘上拿取象棋及把象棋再放回棋盘上的细节过程。

如图2所示，服务机器人与运动员教练员对打羽毛球。自对方发球或我方发球，双方来来回回击球，直至羽毛球落地，依羽毛球规则判定一方得一分。在这一分球过程中服务机器人机械强手臂必须不间断地动作，这些动作包括低位挑球、平位推球、高位杀球、高位吊球、高位远球、网前搓球等。

如图3所示，服务机器人主要包括机身、控制主机、全向移动车底、电源模块、双目视觉、单目视觉、机械强手臂、腰间小手臂；全向移动车底在平坡面自由移动行走，双目视觉单目视觉跟踪目标，机械强手臂腰间小手臂互相配合以完成动作行为；服务机器人末端配置不同夹持器及控制主机运行不同的功能模块才实现如服务机器人与老人对弈象棋、服务机器人与运动员教练员对打羽毛球等情景应用。

服务机器人灵巧手夹握书写笔，在黑板上白板上书写一个字、一行字、一面板书，在示范演示静态条件下、在实验室条件下已经实现。

学校教室上课及公司研讨培训的主要特点是一人主讲，其他人倾听做记录，辅助以互动交流讨论。教师及演讲人通过投影仪播放PPT是目前流行模式，然而在电脑大屏幕出现之前，现代教育经历了百年以上，“板书、讲解、问答”模式有其深远作用与积极意义；板书具备一个字一个字、一行字一行字、一面板书一面板书步步呈现特点，这个特点有助于倾听者边观看、边思考、边做笔录。

即兴演讲，提问后的解答会超出了演讲PPT预设内容；离开讲台走近听众、观察听众、倾听听众，是教育及培训的新方向。

如何保留板书一个字一个字、一行字一行字步步呈现特点，如何拓展服务机器人的应用范围，如何利用服务机器人在教室固定位置黑板上固定书写、在会议室固定位置白板上固定书写的基础，独立地完整地自动地完成一节课一次培训的板书书写，是目前迫切需要解决的问题。

发明内容

鉴于上述现有技术的不足之处，本发明涉及一种基于服务机器人的自动书写系统，更具体说是涉及一种运用服务机器人、灵巧手、自动控制技术措施实现的自动书写系统。

为了达到上述目的，本发明采取了以下技术方案：

一种基于服务机器人的自动书写系统,它包括

服务机器人，由机身、全向移动车底、双目视觉、单目视觉、机械强手臂、腰间小手臂组成；

AI云服务器，对语音文件转换为文本文件并形成摘要大纲；

编辑APP，为智能手机功能模块，由人工手动编辑图文并发至AI云服务器；

它还包括麦克风单元、灵巧手、控制主机；

所述麦克风单元包括麦克风本体、电源、4G模块、主控模块、书写指令按钮及指示灯；

所述书写指令按钮与主控模块输入回路连接、指示灯与主控模块输出回路连接；

所述主控模块经由4G模块与AI云服务器无线连接；

所述灵巧配备五个手指14个关节，与机械强手臂末端固定连接；

所述控制主机安装于服务机器人机身，

所述控制主机为工业控制计算机，配置WIFI模块及4G模块，多回路串行及USB接口，支持TCP\IP通讯；

所述控制主机通过串行线与全向移动车底、双目视觉、单目视觉、机械强手臂、腰间小手臂、灵巧手连接；

所述控制主机与AI云服务器无线连接；

所述控制主机配置为执行如下操作：

接收实时书写文件并传递至当前页；

接收段落文件并传递至当前页；

当前页内容转换为位图文件下载至机械强手臂。

作为优选，所述书写指令按钮触动后，麦克风单元指示灯闪亮，麦克风单元主控模块上传特别报文EB 90 EB 90 EB 90，告知AI云服务器所上传语音内容为书写请求命令。

作为优选，所述机械强手臂书写当前页的措施为：在书写板区内自左而右、自上而下书写，当一个书写板区书写完毕后转至下一个板区，当板面书写完毕则转入擦除板面任务，等待板面空白后，继续书写直至当前页全部内容书写完毕。

作为优选，所述机械强手臂擦除版面的措施为：在板面书写完满之后，从左至右、从上至下擦除全部板面。

作为优选，所述AI云服务器调用预设书写文件中段落文件的措施为：首先按动书写指令按钮，然后朗读“书写第22段”语句；AI云服务器对此语音文件解析出“书写”行为及“22”数字，从预设书写文件中调出文件名为22的段落文件。

作为优选，所述书写笔状态判定措施为：将控制主机给出当前页每行呈现字符数设为当前行设定值，单目视觉扫描书写板区当前行，当书写板区当前行实际书写字符数小于当前行设定值时，判定为书写笔损坏。

本发明具有的优点和积极效果是：服务机器人走进学校走进办公楼越来越普遍，配置电梯残疾道的学校办公楼，服务机器人可自由行走至各处，服务机器人可以被多个教室会议室共享。通过灵巧手夹握书写笔夹握擦子，自动书写自动擦除。本发明开创教师及演讲人教学培训新模式。

附图说明

图1为服务机器人与老人对弈示意图

图2为服务机器人与运动员实战示意图

图3为服务机器人组成示意图

图4为机械强手臂灵巧手结合示意图

图5为自动书写擦除控制系统组成图

图6为书写板区及服务机器人移动示意图

图中：100-AI云服务器、200-控制主机、300-麦克风单元、301-书写指令按钮、400-编辑APP、 6-全向移动车底、8-双单目视觉、9-机械强手臂、12-腰间小手臂、13-第一关节、14-第二关节、 15-第三关节、16-灵巧手。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了更充分描述本发明实施例，专门给本发明涉及的名称概念进行定义与解释。

实时书写文件：是指针对演讲讲内容而延时产生的文件，是2-3分钟演讲内容的摘要大纲，由AI云服务器生成或编辑APP人工手动编写完成。实时书写文件具有随机、即兴特点。

预设书写文件：一节课一次培训限制99段段落内容，段落内容可以是一个词语解释、一个概念定义、一个题目解答、一个句子、一段描写，以方括号内二位数字开头引导相应段落内容，二位数字加段落内容称为段落文件。全部段落文件组成整体为预设书写文件，预设书写文件由教师演讲人事前编辑。

板面：教室内整个黑板或会议室整个白板称为板面，板写从左至右，从上至下一行行书写直到版面全部书写完毕。

书写板区：板面的三分之一、二分之一宽度与板面高度所形成的区域称为书写板区。版面划分为左、中、右，或左、右书写板区，在一个书写板区内书写完毕后，才移至下一个书写板区继续书写。

当前页：是控制主机缓存的一个文件，转换为位图格式并传至机械强手臂。机械强手臂仅书写当前页内容。当前页转换位图文件下载后，具体书写擦除行为由机械强手臂及灵巧手独立完成。

请参阅图1-图6，一种基于服务机器人的自动书写系统，是在如图5所示的自动书写擦除控制系统中实现的，该自动书写控制系统由三部分组成。

第一部分是AI云服务器，存储文件，汇总统计；对语音文件转换为文本文件并形成摘要大纲；

第二部分是服务机器人、控制主机、灵巧手及支撑部件；

第三部分是编辑APP与麦克风单元。编辑APP提供人工手动编辑图文并发至AI云服务器的功能模块；麦克风单元实时采集演讲人讲话语音并上传至AI云服务器。

编辑APP及麦克风单元为AI云服务器成书写文件提供支撑，服务机器人、控制主机、灵巧手及支撑部件在AI服务器调度指挥下完成书写擦除过程。首先形成书写文件，然后启动实际书写行为。

一节课一个培训演讲，当书写笔、擦子预备完好后，独立地自动地进行板书是本发明技术方案实现目标。

以下对本发明技术方案实施例进行一一介绍。

一、配置机械强手臂灵巧手实现静态书写及擦除行为

如图3所示，服务机器人主要包括机身、控制主机、全向移动车底、单双目视觉、机械强手臂、腰间小手臂；全向移动车底、单双目视觉、机械强手臂、腰间小手臂都是相对独立的智能机电模块，都带有自已嵌入控制器，以串行数据接口与控制主机连接。DOBOT四自由度机械手臂为是市销主流桌面机械手臂，书写内容按照指定位图格式传至DOBOT机械手臂嵌入控制器后，夹握书写笔的DOBOT机械手臂可在黑板白板上书写指定内容，实现静态书写行为。

DOBOT机械手臂书写过程中需要更换书写笔，需要擦除板面，为此，专门配置灵巧手为末端机构，如图4所示，末端更换为灵巧手，由灵巧手握住书写笔，由灵巧手握住擦子擦除版面。

灵巧手配备五个手指14个关节，与机械强手臂末端固定安装；随机械强手臂协同动作的同时，灵巧手与服务机器人控制主机串行数据线连接，在机械强手臂带动下，灵巧手在桌面上自动完成握拿书写笔、放下书写笔、握取擦子、放下擦子。

依据黑板白板大小，在书写擦除过程中，全向移动车底处于最多三个固定位置。与书写板区保持一一对应。每个书写板区对应一个固定位置，当左、中、右三个书写板区时设置三个全向移动车底固定位置，当左右两个板区时设置二个全向移动车底固定位置。在一个书写板区书写完毕后，控制主机操作全向移动车底移至下一个固定位置停顿。

二、配置服务机器人书写格式

服务机器人来到教室来到会议室后，单双目视觉扫描黑板白板，以黑板白板左右两侧边框为参照系，依据黑板白板宽度大小，黑板白板从左至右划分为二至三个书写板区。

如图6所示，版面划分为三份，设置了三个书写板区。

服务机器人单双目视觉通过左上角、左下角两个点到固定位置距离确定全向移动车底在左书写板区固定位置，过右上角、右下角两个点到固定位置距离确定全向移动车底在右书写板区固定位置，通过到左书写板区固定位置的距离及到右书写板区固定位置的距离确定中书写板区固定位置。

全向移动车底自左书写板区固定位置向中书写板区固定位置移动，再向右书写板区固定位置移动，然后自右书写板区固定位置返回到左书写板区固定位置，循环往复。

在一个固定位置处，机械强手臂及灵巧手依据当前页位图文件内容完成一行一行书写。

三、腰间小手臂把低处书写笔与擦子放置桌面

如图3所示，腰间小手臂12固定于服务机器人腰间，腰间小手臂末端机构能接触地面小物品。

服务机器人机身是刚性的，不可弯曲；在机械强手臂9下至膝盖、上过头顶的背景下，当书写笔擦子因误动掉至地面时，由服务机器人通过单双目视觉扫描地面，当出现书写笔或擦子时确定书写笔擦子方位，由腰间小手臂夹持器夹握书写笔或夹握擦子，移至桌面后松放。

机械强手臂带动灵巧手在桌面自行更换书写笔及擦子。

腰间小手臂所具备把低处小物品如乒乓球、羽毛球、书写笔、擦子捡起并移至高处的功能，是普适性功能配置，是本发明服务机器人配置腰间小手臂的重要原则与基础。

四、书写内容的形成

书写内容的形成是本发明核心技术方案之一。

(1)预设书写文件：预设书写文件由教师演讲人事前编辑。

一节课一次培训限制99段段落内容。

段落内容可以是一个词语解释、一个概念定义、一个题目解答、一个句子、一段描写。

以方括号内二位数字开头引导相应段落内容，二位数字加段落内容称为段落文件。

如【19】一道压轴题

1.(12分)(2013·白银)如图，在直角坐标系xOy中，二次函数y＝x²+(2k-1)x+k+1的图象与x轴相交于O、A两点.

(1)求这个二次函数的解析式；

(2)在这条抛物线的对称轴右边的图象上有一点B，使ΔAOB的面积等于6，求点B的坐标；

(3)对于(2)中的点B，在此抛物线上是否存在点P，使∠POB＝90°？若存在，求出点P的坐标，并求出ΔPOB的面积；若不存在，请说明理由.

预设书写文件是全部段落文件组成的整体，相当于文件夹。段落文件分别存储，归于一个预设书写文件之下。编辑预设书写文件后，上传至AI云服务器。段落文件由二位数字命名如12.doc，19.doc；在AI 云服务器定位段落文件需先定位预设书写文件，然后直接告知二位数字。

(2)实时书写文件：根据现场演讲2-3分钟内容，AI云服务器通过对语音文件转换为文本文件再提取一个摘要大纲，此为AI云服务器生成实时书写文件。

演讲现场辅助人员如课代表如志愿者，边听演讲同时，在编辑APP上人工手动直接编写摘要大纲完成并上传至AI云服务器。如演讲人在介绍演讲青少年创新规则过程中，演讲现场辅助人员在编辑APP功能模块界面人工手写“青少年所选发明创新课题，至少每月与课题对象亲自接触一次，最好每周接触一次”，点击发布，该段文字上传至AI云服务器。

实时书写文件具有随机、即兴特点。

在AI云服务器存储系统，预设书写文件是一个文件夹，其内存放了段落文件。实时书写文件则是单一文件，随时间推进；AI云服务器不断产生实时书写文件，每经一个时间间隔，AI云服务器将实时书写文件下载至控制主机。当同时出现AI云服务器件提取一个摘要大纲及编辑APP上传了摘要大纲，AI云服务器优选下载编辑APP摘要大纲至控制主机。

(3)实时书写文件与预设书写文件区别

实时书写文件跟踪教师演讲人现场具体情境，一旦产生，直接下载至控制主机驱动机器强手臂灵巧手书写。预设书写文件则是教师演讲人提前精心编辑的，只有经请求，才下载至控制主机。

(4)麦克风单元

配置由麦克风本体、电源、4G模块、主控模块、书写指令按钮及指示灯组成的麦克风单元。

麦克风单元主控模块经由4G模块与AI云服务器无线连接，向AI云服务器上传语音文件。书写指令按钮与主控模块输入回路连接、指示灯与主控模块输出回路连接。

麦克风单元由教师演讲人在现场佩戴。

五、自动书写全流程实施

如图5所示，AI云服务器处于本发明核心部位，生成管理书写文件，协调管理服务机器人。

当前页是AI云服务器与服务机器人控制主机数据传输交互的重要内容。

实时书写文件、预设书写文件存储在AI云服务器，由AI云服务器确定哪个文件作为当前页文件下载至控制主机。

(1)实时书写文件、预设书写文件、当前页之间调度机制

实时书写文件是随时间流动的，是摘要大纲，由AI云服务器生成或编辑APP上人工手动直接编写生成，编辑APP生成的实时书写文件具优先级，实时书写文件一旦产生后AI云服务器就下载至控制主机。机械强手臂灵巧手书写实时书写文件摘要大纲具体内容，听众可由此做笔记。

实时书写文件是教师依据就此情此景随机、即兴的讲解。

一节课一次培训大部分内容还是围绕主题，还是需要精心预备的。

教师演讲人回归主题，可以调出预设书写文件由机械强手臂灵巧手板书。

教师演讲人第一步需要按动麦克风单元书写指令按钮，麦克风单元指示灯闪亮，麦克风单元主控模块上传特别报文EB 90 EB 90 EB 90，告知AI云服务器所上传语音内容为书写请求命令。

教师演讲人为了调出预设书写文件由机械强手臂灵巧手板书，第二步需要朗读如“书写第22段”语句；AI服务器对此语音文件解析出“书写”行为及“22”数字，AI云服务器从预设书写文件中调出文件名为22的段落文件下发至控制主机。

作为可替代技术方案，可配置无线书写选段器。该无线书写选段器由电池、主控制器、4G模块、两个八字型数码管、三个按键组成，教师演讲人通过按键输入两位数字如22，通过OK按键发送至AI云服务器，所达到的技术效果与朗读“书写第22段”语句一致。

至此，给出了实时书写文件、预设书写文件、当前页之间调度机制。

在机械强手臂灵巧手书写预设书写文件时，教师演讲人可走进听众、观察听众、并与之听众进行一对一或小范围个性化交流；此过程教师演讲人可关闭麦克风单元。

(3)机械强手臂响应当前页

如图5所示麦克风单元、编辑APP，服务机器人都与AI云服务器无线连接，在初始配置阶段，

麦克风单元、编辑APP，服务机器人都要与服务机器人链接绑定，以保障数据文件上传下达目标地正确。服务机器人还包括自身初始化阶段：服务机器人自动擦除黑板白板已有内容，然后移动至左书写板区固定位置待令。

控制主机接收实时书写文件并传递至当前页、接收段落文件并传递至当前页，将当前页内容转换为位图文件下载至机械强手臂。当前页来自段落文件如一道题目解题过程，内容也许很多，超出一个书写板区乃至整个版面。控制主机接收到当前页及机械强手臂接收到位图文件后，转入服务机器人静态书写擦除任务流程直至当前页任务执行完毕。该当前页静态书写擦除任务由书写、书写板区切换、擦除版面各子任务组成。

(4)异常状态检测

书写笔状态判定措施为：将控制主机给出当前页每行呈现字符数设为当前行设定值，单目视觉扫描书写板区当前行，当书写板区当前行实际书写字符数小于当前行设定值时，判定为书写笔损坏。

机械强手臂灵巧手可将损坏书写笔放置垃圾桶，再从桌面拿握完好书写笔。

机械强手臂灵巧手可将损坏擦子放置垃圾桶，再从桌面拿握完好擦子。

本发明一种基于服务机器人的自动书写系统，通过灵巧手夹握书写笔、夹握擦子，自动书写、自动擦除，实现教师演讲人不必亲自板书而是将注意力转向观察与交流，开创了教师及演讲人教学培训新局面。

尽管上面结合附图对本发明的优选实施进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意的，并不是限制性的，本领域的普通技术人员在本发明的启发下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出许多形式，这些均属于本发明保护范围之内。

Claims (6)

1.一种基于服务机器人的自动书写系统,它包括

服务机器人，由机身、全向移动车底、双目视觉、单目视觉、机械强手臂、腰间小手臂组成；

AI云服务器，对语音文件转换为文本文件并形成摘要大纲；

编辑APP，为智能手机功能模块，由人工手动编辑图文并发至AI云服务器；

其特征在于，它还包括麦克风单元、灵巧手、控制主机；

所述麦克风单元包括麦克风本体、电源、4G模块、主控模块、书写指令按钮及指示灯；

所述书写指令按钮与主控模块输入回路连接、指示灯与主控模块输出回路连接；

所述主控模块经由4G模块与AI云服务器无线连接；

所述灵巧配备五个手指14个关节，与机械强手臂末端固定连接；

所述控制主机安装于服务机器人机身，

所述控制主机为工业控制计算机，配置WIFI模块及4G模块，多回路串行及USB接口，支持TCP\IP通讯；

所述控制主机通过串行线与全向移动车底、双目视觉、单目视觉、机械强手臂、腰间小手臂、灵巧手连接；

所述控制主机与AI云服务器无线连接；

所述控制主机配置为执行如下操作：

接收实时书写文件并传递至当前页；

接收段落文件并传递至当前页；

当前页内容转换为位图文件下载至机械强手臂。

2.根据权利要求1所述基于服务机器人的自动书写系统，其特征在于：所述书写指令按钮触动后，麦克风单元指示灯闪亮，麦克风单元主控模块上传特别报文EB 90EB 90EB 90，告知AI云服务器所上传语音内容为书写请求命令。

3.根据权利要求1所述基于服务机器人的自动书写系统，其特征在于：所述机械强手臂书写当前页的措施为：在书写板区内自左而右、自上而下书写，当一个书写板区书写完毕后转至下一个板区，当板面书写完毕则转入擦除板面任务，等待板面空白后，继续书写直至当前页全部内容书写完毕。

4.根据权利要求1或3所述基于服务机器人的自动书写系统，其特征在于：所述机械强手臂擦除版面的措施为：在板面书写完满之后，从左至右、从上至下擦除全部板面。

5.根据权利要求1或2所述基于服务机器人的自动书写系统，其特征在于：所述AI云服务器调用预设书写文件中段落文件的措施为：首先按动书写指令按钮，然后朗读“书写第22段”语句；AI云服务器对此语音文件解析出“书写”行为及“22”数字，从预设书写文件中调出文件名为22的段落文件。

6.根据权利要求1所述基于服务机器人的自动书写系统，其特征在于：所述书写笔状态判定措施为：将控制主机给出当前页每行呈现字符数设为当前行设定值，单目视觉扫描书写板区当前行，当书写板区当前行实际书写字符数小于当前行设定值时，判定为书写笔损坏。