CN109254663B - 一种儿童图书辅助阅读机器人的使用方法 - Google Patents

一种儿童图书辅助阅读机器人的使用方法 Download PDF

Info

Publication number
CN109254663B
CN109254663B CN201811041313.6A CN201811041313A CN109254663B CN 109254663 B CN109254663 B CN 109254663B CN 201811041313 A CN201811041313 A CN 201811041313A CN 109254663 B CN109254663 B CN 109254663B
Authority
CN
China
Prior art keywords
book
page
robot
gesture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811041313.6A
Other languages
English (en)
Other versions
CN109254663A (zh
Inventor
朱晓明
徐翠丽
赵宏勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Yuanhong Electric Co ltd
Original Assignee
Xuchang Tebote Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuchang Tebote Technology Co ltd filed Critical Xuchang Tebote Technology Co ltd
Priority to CN201811041313.6A priority Critical patent/CN109254663B/zh
Publication of CN109254663A publication Critical patent/CN109254663A/zh
Application granted granted Critical
Publication of CN109254663B publication Critical patent/CN109254663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种儿童图书辅助阅读机器人的使用方法，包括以下步骤：根据内置的三轴加速度计传感器，根据重力加速度在机器人参考坐标系中的变化轨迹，检测机器人所处的姿态状态；若在直立状态下，进行图书对应音频内容的搜索和内容的逐页自动播放；若在倾斜状态下，通过图像轮廓的提取，以获取书本出现的位置处的图像；对图像进行书页内容的识别，获得书页序号；根据书页序号进行音频资源的检索，并播放当前书页内容；通过摄像头识别用户手势，判断手势轨迹，当向右滑动手势出现时，识别下一页；当向左滑动手势出现时，识别上一页。上述发明可为儿童图书的阅读提供辅助播放的功能，提高儿童阅读的兴趣，弥补教育资源的分配不足。

Description

一种儿童图书辅助阅读机器人的使用方法
技术领域
本发明涉及一种儿童图书辅助阅读机器人的使用方法，特别是一种涉及自动化装置领域的儿童图书辅助阅读机器人的使用方法。
背景技术
儿童的早期教育在很大程度上依赖于阅读能力的训练，通过机器人的形式辅助儿童进行图书的阅读，对图书进行内容的讲解和提问，有利于儿童阅读兴趣的培养，是一种新型的辅助教育手段。
通过图书页面内容的识别，能够获取图像的特征，进而在数据资源库中搜索图书相关的音频资源、教育资源，辅助儿童阅读图书。在图像的识别中，依赖于特征的准确提取和快速搜索；在儿童的阅读过程中，要求对书页进行精准和快速的识别。目前的机器人在儿童图书的阅读方面面临较大的技术挑战，在图书的识别和内容的呈中存在一定的技术瓶颈。
在传统的阅读器中，书本和摄像设备的几何关系是确定的，对图像的获取较为简单。在机器人形式的图书辅助阅读中，摄像设备和图书没有固定的位置关系，对图像的处理和识别带来了一定的挑战。
发明内容
本发明为了解决上述问题而提供的一种儿童图书辅助阅读机器人的使用方法，包括以下步骤：
步骤1、根据内置的三轴加速度计传感器，检测机器人所处的状态，若处于直立状态，则进行步骤2；若处于倾斜状态，则进行步骤3至步骤6。
步骤1.1、读取以机器人为参照系X-Y-Z中的重力加速度值，X轴为机器人外壳的前后方向，Y轴为机器人外壳的左右方向，Z轴为机器人外壳的上下方向，获得重力加速度的变化曲线；
步骤1.2、采用RANSAC算法进行轨迹的滤波，获得平滑的轨迹；
步骤1.3、计算轨迹在XZ平面内的投影，判断重力加速度发生逆时针轨迹旋转时，即为机器人前倾姿态。
步骤2、进行图书对应音频内容的搜索和内容的逐页自动播放。
步骤3、通过图像轮廓的提取，检测书本矩形边缘出现的位置，自动调整拍摄范围，以获取书本出现的位置处的图像。
步骤4、在获取步骤3中所述的书本出现的位置处的图像后，进行书页内容的识别，并进行书页模板库的匹配，获得书页序号。
步骤4.1、拍摄书本出现位置出的图像，将拍摄到的图像进行轮廓的提取；
步骤4.2、把闭合的轮廓进行矩形形状的检测，当形状大小符合先验的书本大小的经验值时，完成书本位置检测；
步骤4.3、根据书本所在位置，调整摄像头的拍摄范围，使其更准确的拍摄书页图像。
步骤5、根据书页序号进行音频资源的检索，并播放当前书页内容给用户。
步骤6、通过摄像头识别用户手势，当向右滑动手势出现时，识别下一页；当向左滑动手势出现时，识别上一页。
步骤6.1、通过四个颜色空间，即RGB、TSL、HSV、YCbCr空间进行肤色模型的联合判断，采用混合高斯模型对肤色的像素值进行建模；
步骤6.2、将非肤色像素点的值置零，将符合肤色模型的像素点的值置一，获得二值图像帧的序列；
步骤6.3、对二值图像帧序列进行若干次的腐蚀操作，再进行若干次的膨胀操作，去掉噪点的干扰，获得手势图像；
步骤6.4、提取图像帧序列中每帧的手势区域的中心点坐标，构成中心点坐标序列；
步骤6.5、根据重力加速度的法线方向，进行步骤6.4中所述的中心点坐标的投影转换，构成一维的数值序列，通过阈值判断手势方向。
本发明的有益效果在于：通过机器人自身直立状态的检测进行书页阅读模式的自适应调整，实现了流畅的阅读播放体验和分页的书页内容阅读。为儿童图书的阅读提供辅助播放的功能，提高儿童阅读的兴趣，弥补教育资源的分配不足。
附图说明
图1为本发明涉及的书页阅读流程图；
图2为本发明涉及的书本位置检测流程图；
图3为本发明涉及的重力加速度旋转轨迹判断图；
图4为本发明涉及的肤色和形态学手势判断流程图。
具体实施方式
下面结合附图对本发明作进一步阐述：
本发明的整体实施流程，如附图1所示，根据内置的三轴加速度计或者外置的传感装置判断机器人的直立状态和倾斜状态。若处于直立状态下直接按照页码顺序播放图书的音频资源，跳过书页识别流程。在倾斜状态下，首先，判断书页所处的位置，根据位置信息的反馈调整摄像头拍摄角度，获取更加准确的图像。对书页内容进行识别，根据图像特征与预存的书页模型的匹配，判断当前书页的序号。检索音频数据库，找到对应书页的音频资源，播放给用户。判断手势识别结果，根据摄像头捕捉到的灰度图像，比较相邻帧之间的灰度关系，从而获得手势的开始位置和结束位置。当向右划动手势时，阅读下一页，当向左划动手势时，阅读上一页。
检测书本位置的过程，如附图2所示，通过拍摄到的图像，进行轮廓的提取，将闭合的轮廓进行矩形形状的检测，当形状大小符合先验的书本大小的经验值时，完成书本位置检测。根据书本所在位置，调整摄像头的拍摄范围，使其更准确的拍摄书页图像。
如附图3所示，将重力加速度的旋转轨迹投影到ZX平面内，其中g1和g2分别是前后两个时刻的重力加速度矢量，当重力加速度的轨迹发生逆时针旋转的时候，则判断机器人处于向前倾斜的姿态，可以激活书页图像的拍摄和识别模式。重力加速度轨迹的获得，需要进行RANSAC算法的平滑处理，以去除因为加速度计的测量精度误差带来的影响。RANSAC算法的处理步骤如下：首先，选取最少的采样点集合S进行轨迹的弧线方程M的拟合；其次，采用M来判定误差在阈值E之内的采样点集合S*，使用S*重新估计弧线方程M*；最后，重复上述步骤，随机选取其实的集合S，直到获得最大的子集S*为止。
如附图4所示，在四种颜色空间中对肤色样本的像素点的取值进行统计建模，采用高斯混合模型，通过16到32个高斯分布的叠加进行肤色模型的拟合，高斯混合模型的参数估计采用EM算法进行,并且保存模型。在处理实时输入的图像帧时，采用高斯混合模型建模的肤色模型进行像素点的过滤，采用后验概率的阈值来判断每一个像素点是否符合肤色模型。对获取的手势图像区域，进行2到3次的腐蚀操作，以去除噪点干扰。再进行2到3次的膨胀操作，以合并被腐蚀操作割裂的手部局部区域，以获得整个手部区域的轮廓。对手势区域的中心点坐标序列进行投影处理，投影到水平方向观察手势的种类，水平方向由重力加速度的法线方向确定。
以上所述实施例，只是本发明的较佳实例，并非来限制本发明的实施范围，故凡依发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

Claims (4)

1.一种儿童图书辅助阅读机器人的使用方法，其特征在于，包括以下步骤：
步骤1、根据内置的三轴加速度计传感器，检测机器人所处的姿态，若处于直立状态，则进行步骤2；若处于倾斜状态，则进行步骤3至步骤6；
步骤2、进行图书对应音频内容的搜索和内容的逐页自动播放；
步骤3、通过图像轮廓的提取，检测书本矩形边缘出现的位置，自动调整拍摄范围，以获取书本出现的位置处的图像；
步骤4、在获取所述的书本出现的位置处的图像后，进行书页内容的识别，并进行书页模板库的匹配，获得书页序号；
步骤5、根据书页序号进行音频资源的检索，并播放当前书页内容给用户；
步骤6、通过摄像头识别用户手势，当向右滑动手势出现时，识别下一页；当向左滑动手势出现时，识别上一页。
2.根据权利要求1所述的儿童图书辅助阅读机器人的使用方法，其特征在于，在所述步骤1中，通过以下步骤判断机器人所处姿态：
步骤1.1、读取以机器人为参照系X-Y-Z中的重力加速度值，X轴为机器人外壳的前后方向，Y轴为机器人外壳的左右方向，Z轴为机器人外壳的上下方向，获得重力加速度的变化曲线；
步骤1.2、采用RANSAC算法进行轨迹的滤波，获得平滑的轨迹；
步骤1.3、计算轨迹在XZ平面内的投影，判断重力加速度发生逆时针轨迹旋转时，即为机器人前倾姿态。
3.根据权利要求1所述的儿童图书辅助阅读机器人的使用方法，其特征在于，在所述步骤4中，通过以下步骤检测书本位置：
步骤4.1、拍摄书本出现位置出的图像，将拍摄到的图像进行轮廓的提取；
步骤4.2、把闭合的轮廓进行矩形形状的检测，当形状大小符合先验的书本大小的经验值时，完成书本位置检测；
步骤4.3、根据书本所在位置，调整摄像头的拍摄范围，使其更准确的拍摄书页图像。
4.根据权利要求1所述的儿童图书辅助阅读机器人的使用方法，其特征在于，在所述步骤6中，通过以下步骤判断手势方向：
步骤6.1、通过四个颜色空间，即RGB、TSL、HSV、YCbCr空间进行肤色模型的联合判断，采用混合高斯模型对肤色的像素值进行建模；
步骤6.2、将非肤色像素点的值置零，将符合肤色模型的像素点的值置一，获得二值图像帧的序列；
步骤6.3、对二值图像帧序列进行若干次的腐蚀操作，再进行若干次的膨胀操作，去掉噪点的干扰，获得手势图像；
步骤6.4、提取图像帧序列中每帧的手势区域的中心点坐标，构成中心点坐标序列；
步骤6.5、根据重力加速度的法线方向，进行步骤6.4中所述的中心点坐标的投影转换，构成一维的数值序列，通过阈值判断手势方向。
CN201811041313.6A 2018-09-07 2018-09-07 一种儿童图书辅助阅读机器人的使用方法 Active CN109254663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811041313.6A CN109254663B (zh) 2018-09-07 2018-09-07 一种儿童图书辅助阅读机器人的使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811041313.6A CN109254663B (zh) 2018-09-07 2018-09-07 一种儿童图书辅助阅读机器人的使用方法

Publications (2)

Publication Number Publication Date
CN109254663A CN109254663A (zh) 2019-01-22
CN109254663B true CN109254663B (zh) 2021-04-09

Family

ID=65047187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811041313.6A Active CN109254663B (zh) 2018-09-07 2018-09-07 一种儿童图书辅助阅读机器人的使用方法

Country Status (1)

Country Link
CN (1) CN109254663B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209759B (zh) * 2019-05-30 2021-10-22 北京网梯科技发展有限公司 自动识别书页的方法及装置
CN113393480B (zh) * 2021-06-09 2023-01-06 华南理工大学 一种基于书本位置实时投影笔记的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691753A (zh) * 2004-04-26 2005-11-02 卡西欧计算机株式会社 数码相机
CN105427687A (zh) * 2015-11-23 2016-03-23 东莞市凡豆信息科技有限公司 一种幼儿自助阅读系统
CN205621029U (zh) * 2016-04-20 2016-10-05 华南理工大学 一种用户感兴趣区域的图像和文字扫描笔
CN107742446A (zh) * 2013-01-25 2018-02-27 陈旭 图书阅读器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140273716A1 (en) * 2013-03-14 2014-09-18 Robert Annis Perceived Opacity Smart Toy
US10474947B2 (en) * 2016-05-26 2019-11-12 Asustek Computer Inc. Control method, electronic device and non-transitory computer readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691753A (zh) * 2004-04-26 2005-11-02 卡西欧计算机株式会社 数码相机
CN107742446A (zh) * 2013-01-25 2018-02-27 陈旭 图书阅读器
CN105427687A (zh) * 2015-11-23 2016-03-23 东莞市凡豆信息科技有限公司 一种幼儿自助阅读系统
CN205621029U (zh) * 2016-04-20 2016-10-05 华南理工大学 一种用户感兴趣区域的图像和文字扫描笔

Also Published As

Publication number Publication date
CN109254663A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
CN105930767B (zh) 一种基于人体骨架的动作识别方法
EP2819098B1 (en) Methods and systems for generating a three dimentional representation of a subject
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
CN105740780B (zh) 人脸活体检测的方法和装置
CN105335725B (zh) 一种基于特征融合的步态识别身份认证方法
CN107609489B (zh) 书法书写路径评价装置、方法及电子设备
CN105740779B (zh) 人脸活体检测的方法和装置
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
KR101510798B1 (ko) 휴대용 얼굴 표정 연습 장치와 그 방법.
KR20110139694A (ko) 제스쳐 인식 방법 및 시스템
EP2980728A1 (en) Procedure for identifying a hand gesture
JP2007538318A5 (zh)
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
CN108447094B (zh) 一种单目彩色相机的姿态估算方法及系统
CN111178170B (zh) 一种手势识别方法和一种电子设备
Wang et al. Real-time hand posture recognition based on hand dominant line using kinect
CN112287865B (zh) 一种人体姿态识别的方法及装置
CN109614892A (zh) 一种疲劳驾驶检测方法、装置和电子设备
CN109254663B (zh) 一种儿童图书辅助阅读机器人的使用方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
Kerdvibulvech Hand tracking by extending distance transform and hand model in real-time
CN112329663A (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN106406507B (zh) 图像处理方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230518

Address after: 461000 Zhongyuan Electric Valley industrial incubator, Xuchang, Henan

Patentee after: Henan Yuanhong Electric Co.,Ltd.

Address before: 5 / F, building 7, Zhongyuan Electric Valley Management Committee, Xuchang City, Henan Province, 461000

Patentee before: XUCHANG TEBOTE TECHNOLOGY Co.,Ltd.