CN112200230A - 一种训练板的识别方法、装置及机器人 - Google Patents

一种训练板的识别方法、装置及机器人 Download PDF

Info

Publication number
CN112200230A
CN112200230A CN202011049563.1A CN202011049563A CN112200230A CN 112200230 A CN112200230 A CN 112200230A CN 202011049563 A CN202011049563 A CN 202011049563A CN 112200230 A CN112200230 A CN 112200230A
Authority
CN
China
Prior art keywords
image
page
answer
training board
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011049563.1A
Other languages
English (en)
Other versions
CN112200230B (zh
Inventor
顾景
王玥
程骏
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Youbijie Education Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN202011049563.1A priority Critical patent/CN112200230B/zh
Publication of CN112200230A publication Critical patent/CN112200230A/zh
Application granted granted Critical
Publication of CN112200230B publication Critical patent/CN112200230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0023—Colour matching, recognition, analysis, mixture or the like
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于计算机视觉技术领域，提供了一种训练板的识别方法、装置及机器人，所述方法包括：获取所述训练板的待识别图像，所述待识别图像包括当前绘本中任一页的页面图像和答题区域图像；对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像；播放与所述目标参考图像相关联的音频数据，所述音频数据包括所述答题结果的提示信息，所述提示信息用于提示用户答题结果是否正确。通过本申请实施例，可以实现机器人对用户使用训练板过程的自动识别与提醒，提高用户使用训练板的便捷性。

Description

一种训练板的识别方法、装置及机器人
技术领域
本申请属于计算机视觉技术领域，尤其涉及一种训练板的识别方法、装置及机器人。
背景技术
逻辑思维训练板(以下简称训练板)是一种针对儿童逻辑能力开发的教育产品，包括绘本和放置绘本的卡板；在卡板右侧存在多种颜色的圆片，圆片可以在卡板右侧的凹槽内移动。通过移动圆片的位置，完成训练板的颜色匹配等任务，以锻炼儿童的逻辑思维能力。然而，在年龄较小、认知能力有限的儿童使用该训练板时，无法获知训练板的任务类型或者是否正确完成任务，而需要大人陪伴才能完成任务，使得用户使用过程中存在诸多不便。
发明内容
本申请实施例提供了一种训练板的识别方法、装置及机器人，可以解决儿童需要大人陪伴才能完成训练板的任务而使得在使用训练板过程中存在诸多不便的问题。
第一方面，本申请实施例提供了一种训练板的识别方法，应用于机器人，所述方法包括：获取所述训练板的待识别图像，所述待识别图像包括当前绘本中任一页的页面图像和答题区域图像；对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像；播放与所述目标参考图像相关联的音频数据，所述音频数据包括所述答题结果的提示信息，所述提示信息用于提示用户答题结果是否正确。
在第一方面的一种可能的实现方式中，所述对所述页面图像和所述答题区域图像分别进行特征识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果，包括：
提取所述页面图像的页面特征点，将所述页面图像的页面特征点与内页模型的页面特征点进行匹配，得到匹配结果；将所述内页模型中匹配结果满足预设匹配阈值的参考图像作为所述目标参考图像；其中，所述参考图像为内页模型中对应所述当前绘本任一页的页面扫描图。
示例性的，若所述匹配结果不满足所述预设匹配阈值，则停止识别所述页面图像，播放与所述匹配结果相关联的音频数据，与所述匹配结果相关联的音频数据包括用于提示用户重新摆放或请勿遮挡的语音提示信息。
可理解的，在播放音频数据后，重新获取当前绘本的页面图像，执行将当前绘本的页面图像的页面特征与所述内页模型的页面特征进行匹配的动作。
在第一方面的一种可能的实现方式中，在所述将所述内页模型中匹配结果满足预设匹配阈值的参考图像作为所述目标参考图像之前，包括：
计算所述页面图像的属性信息，所述属性信息用于表示所述当前绘本的摆放姿态；若所述属性信息满足预设属性阈值，则判定所述当前绘本的摆放姿态合理，将所述内页模型中匹配结果满足预设匹配阈值的参考图像作为所述目标参考图像。
示例性的，若属性信息不满足预设属性阈值，则判定所述当前绘本的摆放姿态不合理，播放与所述属性信息关联的音频数据，与所述属性信息关联的音频数据包括用于提示用户重新摆放或请勿遮挡的语音提示信息。
可理解的，所述属性信息包括所述页面图像的边长、边长比以及四个角的角度信息。
在第一方面的一种可能的实现方式中，所述对所述页面图像和所述答题区域图像分别进行特征识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果，包括：
根据所述页面图像的页面特征点与内页模型的页面特征点的匹配关系，计算所述页面图像与所述目标参考图像的页面扫描图之间的单应矩阵；将所述答题结果区域图像按所述单应矩阵进行映射处理，得到所述答题区域图像对应的扫描图像；识别所述扫描图像中目标标识的位置信息和颜色，得到所述答题结果。
在第一方面的一种可能的实现方式中，所述识别所述扫描图像中的目标标识的位置信息和颜色，得到所述答题结果，包括：
根据所述目标标识与类别的预设标注关系，标注所述扫描图像中的所述目标标识的类别和所述位置信息；根据所述目标标识的类别和所述位置信息，输出所述目标标识的颜色序列，将所述目标标识的颜色序列作为所述答题结果。
示例性的，所述目标标识包括多种不同颜色的标识，所述类别包括多种颜色和空位的类别。
例如，在不同的光线下，通过神经网络模型对采集的目标标识的进行识别并标注，得到训练后的神经网络模型；将采集到的目标标识的信息输出训练后的神经网络模型，得到训练后的神经网络模型输出的对应目标标识的类型，其中目标标识的类型包括颜色或空位。
示例性的，根据目标标识的像素坐标，确定目标标识的位置信息，从而根据位置信息以及类别确定目标标识的颜色序列，得到答题结果。
在第一方面的一种可能的实现方式中，在所述获取所述训练板的待识别图像之前，包括：
获取预设时间段内的所述训练板的视频数据，所述视频数据包括预设数量的图片帧；根据翻页识别算法，将第一数量的相邻两个所述图片帧进行特征比对，得到第一对比值；若所述第一对比值大于第一预设对比阈值，则继续将第二数量的相邻两个图片帧进行特征对比，得到第二对比值；若所述第二对比值小于第二预设对比阈值且当前帧图像的质量得分最高，则将所述当前帧图像作为所述待识别图像；其中，所述第一数量的相邻两个所述图片帧和所述第二数量的相邻两个图片帧为所述预设数量中按时序先后连续的两部分图片帧；所述当前帧图像为所述第二数量的图片帧中的图像。
通过上述进行翻页识别，降低后须对图像进行页面识别的计算量，若针对获取的每一帧图像均进行识别，则需要耗费大量的计算量和时间，通过上述的翻页识别，可以确定待进行页面识别的页面，降低页面识别的运算量，可以缩短图像处理时间，提高机器人的响应效率。
在第一方面的一种可能的实现方式中，在所述获取预设时间段内的所述训练板的视频数据之前，包括：
获取所述训练板的初始图像，所述初始图像包括所述当前绘本的页面图像；向服务器发送所述初始图像，以指示所述服务器识别所述初始图像中的页面图像；获取所述服务器反馈的所述初始图像中的页面图像的第一识别结果，所述第一识别结果为服务器识别所述初始图像中的页面图像的结果；根据所述第一识别结果，下载所述当前绘本对应的所述内页模型和所述音频数据。
可理解的，所述当前绘本的所述内页模型和所述音频数据可以存储在服务器中，当服务器识别出初始图像中的页面图像并确定页面图像所属的当前绘本后，服务器将识别结果反馈至机器人；或当机器人发送请求下载的数据后，获取服务器反馈的内页模型与音频数据的下载地址，根据地址下载当前绘本的内页模型和音频数据。
第二方面，本申请实施例提供了一种训练板的识别装置，包括：
获取单元，用于获取所述训练板的待识别图像，所述待识别图像包括当前绘本中任一页的页面图像和答题区域图像；
处理单元，用于对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像；
输出单元，用于播放与所述目标参考图像相关联的音频数据，所述音频数据包括所述答题结果的提示信息，所述提示信息用于提示用户答题结果是否正确。
第三方面，本申请实施例提供了一种机器人，包括：摄像装置、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面及第一方面的可能实现方式所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面及第一方面的可能实现方式所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的训练板的识别方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：通过本申请实施例，机器人可以获取训练板的待识别图像，对待识别图像中的页面图像和答题区域图像分别进行识别，得到内页模型中与页面图像对应的目标参考图像，以及与答题区域图像对应的答题结果，通过播放与目标参考图像对应的音频数据，结合答题结果，提示用户答题结果是否正确；机器人实现对用户使用训练板过程的自动识别与提醒，使得儿童在使用训练板时，无需大人陪伴即可完成训练板的任务；具有较强的易用性与实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的系统应用场景的架构示意图；
图2是本申请一实施例提供的训练板的识别方法的流程示意图；
图3是本申请一实施例提供的采集待识别图像的俯视示意图；
图4是本申请另一实施例提供的翻页识别的示意图；
图5是本申请一实施例提供的待识别图像的界面显示示意图；
图6是本申请另一实施例提供的页面识别的示意图；
图7是本申请实施例提供的识别目标标识的示意图；
图8是本申请实施例提供的训练板的识别装置的结构示意图；
图9是本申请实施例提供的机器人的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的训练板的识别方法可以应用于机器人、平板电脑、可穿戴设备等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
训练板是针对儿童的逻辑思维能力开发的教育产品，包括可以放入绘本的板子以及板子右侧的可放置带颜色圆片的凹槽。绘本上设置有让使用者对画面中图像的相关颜色配对的任务，使用者根据绘本内容将相应颜色的圆片移动到右侧凹槽相应的位置，以完成绘本页面上的逻辑思维训练任务。
其中，当绘本页面的任务以文字形式给出时，年龄较小的儿童认知能力有限，而无法理解任务内容，且任务是否正确完成也需要大人的及时反馈，从而在用户使用过程中存在诸多不便。
下面针对训练板提出一种训练板的识别方法的应用场景、图像的识别及数据的处理流程进行介绍。
请参见图1，是本申请实施例提供的系统应用场景的架构示意图。如图1所示，本申请实施例的执行终端以机器人为例，该系统包括机器人，机器人上设置有摄像装置，训练板放置于机器人的摄像装置的拍摄视角内，从而可以采集训练板的图像。
应理解，为降低机器人的运算功耗及存储能力，系统还可以包括服务器，服务器与机器人之间建立有线或无线的通信连接。服务器中可以存储训练板的多种绘本的内页模型以及音频数据，并具有识别图像的能力。在机器人开始工作，获取的训练板的初始图像，其中初始图像中包括绘本的页面图像。机器人向服务器发送初始图像。服务器接收到初始图像后，对初始图像中的页面图像进行识别，得到该页面图像的识别结果，并判定出该页面图像所属的绘本。
具体的，服务器接收到训练板的初始图像后，提取初始图像中页面图像的特征点，将提取的特征点与预先存储的所有绘本的页面扫描图进行特征匹配，确定是页面图像与哪一页的页面扫描图对应匹配，进一步确认页面图像所属的绘本。
一方面，机器人发送初始图像至服务器后，获取服务器反馈的识别结果，并向服务器发送下载绘本的请求，根据服务器反馈的下载链接，下载当前识别出的绘本的内页模型和音频数据。
另一方面，机器人发送初始图像至服务器后，直接获取服务器反馈的当前绘本的下载链接，并根据下载链接下载当前绘本的内页模型和音频数据。
其中，内页模型为当前绘本的所有页面的扫描图；音频数据包括当前绘本每一页的音频数据，例如每一页的任务提示信息以及答题结果的提示信息等。
可理解的，在机器人下载当前绘本对应的内页模型和音频数据后，机器人按预设时间段周期性的获取训练板连续的视频数据或图像数据，对训练板的当前状态进行识别及判定。
在一些实施例中，为了降低机器人的计算功耗，根据获取的视频数据或图像数据，机器人对训练板的状态先进行翻页识别，确定翻页后质量可靠的图像，并将质量可靠的图像作为待识别图像。
具体的，机器人对采集的视频数据或图像数据，进行相邻前后两针图像的属性进行对比，得到对比值；当对比值大于预设对比属性阈值，则机器人初步判定发生翻页事件，继续对比后续的视频数据或图像数据中的相邻的图像帧属性，若后续视频数据或图像数据的前后帧对比值连续低于预设对比属性阈值，且当前帧图像质量分数最高，则将当前帧图像作为翻页事件后的质量可靠的待识别图像。
在确定训练板待识别图像后，机器人对待识别图像中的页面图像进行页面识别。机器人提取页面图像中的特征点，将特征点与下载的当前绘本的内页模型的特征点进行匹配，按匹配到的特征点的数量有多至少，将内页模型中的扫描图进行排序，并在内页模型中确定匹配数量大于预设阈值的扫描图。
在确定扫描图后，机器人结合摄像装置的拍摄参数，计算页面图像的边长、边长比值，进而根据边长比得到页面图像的四个角的角度信息。机器人将四个角度信息与预设角度阈值范围对比，判定四个角度信息是否合理，若四个角度信息均合理，则识别出该页面图像，将扫描图作为与页面图像对应的目标参考图像，并调用与该目标参考图像相关联的音频数据。
另外，若页面图像的四个角度信息不在预设角度阈值范围内，则判定四个角度信息不合理，机器人输出重新摆放或不要遮挡的语音提示。针对后续获取的图像重新提取特征点，与内页模型的扫描图重新匹配，识别页面图像。
其中，若页面图像中的特征点与下载的当前绘本的内页模型的特征点进行匹配后，内页模型中的扫描图与页面图像相匹配的特征点数量均小于预设阈值，则机器人停止识别页面图像的流程，并输出重新摆放或不要遮挡的语音提示。
在一些实施例中，机器人识别出页面图像，确定与页面图像对应的目标参考图像后，根据页面图像中与目标参考图像中相匹配的特征点属性，计算得到页面图像与目标参考图像之间的单应矩阵。其中，目标参考图像为当前绘本的扫描图像。
可理解的，单应矩阵为将两幅图像中相对应点进行射影变换的变换矩阵。例如通过单应矩阵，调用射影变换函数，将一图像中的像素坐标(u1,v1)变换到另一图像中对应的位置上(u2,v2)，从而实现将一幅图像变换到另一幅图像的视角中。
而在本申请实施例中，还可以根据页面图像与目标参考图像中相对应特征点的像素坐标关系，进行逆运算得到进行影射变换的单应矩阵。
机器人根据单应矩阵，将待识别图像再次影射变换为扫描图，同时将待识别图像中的答题区域图像也影射变换为相对应的扫描图像。机器人通过轻量的深度学习检测网络对答题区域图像对应的扫描图像中的目标标识进行位置和颜色的识别及标注，得到目标标识的颜色序列；并将识别目标标识的颜色序列作为用户的答题结果。其中，目标标识可以为训练板上的可移动的圆片。
示例性的，本申请实施例在识别出目标标识的颜色序列后，将颜色序列与内页模型中页面图像对应的扫描图的答案数据进行对比，判定答题结果是否正确，若答题结果不正确则输出答题错误的语音提示，若答题结果正确则输出答题正确的语音提示。
通过本申请实施例，机器人可以获取训练板的待识别图像，对待识别图像中的页面图像和答题区域图像分别进行识别，得到内页模型中与页面图像对应的目标参考图像，以及与答题区域图像对应的答题结果，通过播放与目标参考图像对应的音频数据，结合答题结果，提示用户答题结果是否正确；机器人实现对用户使用训练板过程的自动识别与提醒，使得儿童在使用训练板时，无需大人陪伴即可完成训练板的任务。
下面基于计算机视觉技术，对本申请实施例提供的训练板的识别方法进行详细介绍。图2示出了本申请提供的训练板的识别方法的示意性流程图，作为示例而非限定，该方法可以应用于上述机器人中。
步骤S201，获取训练板的待识别图像，待识别图像包括当前绘本中任一页的页面图像和答题区域图像。
在一种可能的实现方式中，机器人通过摄像装置采集训练板的待识别图像，待识别图像为经过翻页识别后确定的质量可靠的图像。
如图3所示的，本申请实施例提供的采集待识别图像的俯视示意图，在待识别图像中包括绘本的页面图像和答题区域图像。其中，页面图像为当前绘本的任一页的页面图像，答题区域图像为在训练板的右侧可移动圆片位置处的图像。训练板的位置位于机器人的摄像装置的拍摄视角范围内。
需要说明的是，图3的方向仅做示例性说明，并不构成对本申请实施例中机器人拍摄方向的限定。页面图像及答题区域图像也仅做示例性说明，页面图像中还可以是其他形状或类型的图案，在此不做具体限定。
在一些实施例中，获取训练板的待识别图像之前，包括：
A1、获取预设时间段内的训练板的视频数据，视频数据包括预设数量的图片帧。
在一种可能的实现方式中，预设时间可以是机器人开机后开始执行识别动作前的一段时间，例如可以设置为1分钟，以每秒5帧的速率采集训练板的状态的图像，得到训练板视频数据。
如图4所示的，本申请实施例提供的翻页识别的示意图。机器人获取训练板在预设时间段内的视频数据，例如图4中所示的，视频数据包括2N帧绘本的页面图像。
A2、根据翻页识别算法，将第一数量的相邻两个所述图片帧进行特征比对，得到第一对比值。
在一种可能的实现方式中，第一数量的图片帧可以为视频数据中时间靠前的一定数量的图片帧。例如图4中所示的前N帧图像，将前后相邻两帧图像进行特征对比，得到第一对比值。
其中，特征对比可以包括将两图像中相同位置处的像素点的灰度值或亮度值进行对比，例如将第N帧图像与第N-1帧图像的相同位置处的像素点进行对比，得到灰度值与亮度值相同的像素点坐标以及灰度值或亮度值不同的像素点坐标，以初步确定对比结果，得到第一对比值。例如图4中所示的，确定在页面图像中页面A区域和页面B区域的像素点变化趋势。
可理解的，上述实施例仅示例性说明翻页识别算法，并不构成对翻页识别的限定，还可以根据图像中像素点的其他特征作为判定是否翻页的基准，例如为提高对比效率，设置区域半径，计算区域半径内的像素点的亮度均值或灰度均值，将前后相邻两图像的相同位置处的区域半径内的亮度均值或灰度均值进行对比，得到相应的对比结果。
A3、若第一对比值大于第一预设对比阈值，则继续将第二数量的相邻两个图片帧进行特征对比，得到第二对比值。
在一种可能的实现方式中，第一预设对比阈值可以为页面B区域的像素点数量的变化阈值，如图4所示，在第一对比值中页面B区域的变化趋势大于第一预设对比阈值时，则机器人初步判定发生翻页事件。继续对比后续帧的图像，如图4中所示的，将第2N-1帧图像和第2N帧图像进行特征比对，得到第二对比结果。上述进行对比的前后相邻的两图片帧仅示例性说明，并不局限于所示的第2N-1帧图像和第2N帧图像，也可能是第2N-4帧图像和第2N-3帧图像的对比，具体根据对比结果确定。
A4、若第二对比值小于第二预设对比阈值，且当前帧图像的质量得分最高，则将当前帧图像作为所述待识别图像。
其中，第一数量的相邻两个图片帧和第二数量的相邻两个图片帧为所述预设数量中按时序先后连续的两部分图片帧；当前帧图像为第二数量的图片帧中的图像。
在一种可能的实现方式中，第二对比值为相邻两帧图像的前后对比的差异值，对比的特征可以为相同位置处的像素点的灰度值或亮度值，或者为区域半径内的像素点的灰度均值或亮度均值。对比结果为灰度值或亮度值不同的像素点的数量，或者灰度均值或亮度均值不同的区域的数量。
可理解的，在机器人的摄像装置拍摄图像的过程中，可能发生抖动，或者由于环境影响所拍摄到的照片存在模糊的情况；例如在翻页的动作过程中，机器人所获取的动态的照片存在失真、失焦或者拖影的情况，因此需要将前后相邻两帧图像进行对比后，继续判断哪一帧图像的最清晰，质量最好。通过信噪比、信号的线性漂移情况、图像的不均一性等量化指标对图像质量进行评估，得到质量评分最高的当前帧图像，将当前帧图像作为待识别图像，例如可以是图4中的第2N-1帧图像，也可以是第2N帧图像。
通过上述实施例，根据获取的视频数据或图像数据，机器人对训练板的状态先进行翻页识别，确定翻页后质量可靠的图像，并将质量可靠的图像作为待识别图像，降低了机器人的计算功耗。
在一些实施例中，获取预设时间段内的训练板的视频数据之前，包括：
获取训练板的初始图像，初始图像包括当前绘本的页面图像；向服务器发送初始图像，以指示服务器识别所述初始图像中的页面图像；获取服务器反馈的初始图像中的页面图像的第一识别结果，第一识别结果为服务器识别初始图像中的页面图像的结果；根据第一识别结果，下载当前绘本对应的内页模型和音频数据。
在一种可能的实现方式中，机器人开机后首先获取训练板的初始图像，初始图像中包括放置在训练板上的当前绘本的页面图像。为降低机器人的运算负载，机器人向服务器发送初始图像，由服务器对初始图像进行识别，以确定当前页面所属的绘本。
可理解的，为降低机器人的存储对数据处理的影响，绘本的内页模型以及对应绘本内页模型的音频数据存储在服务器中。当服务器识别出初始图像中的页面图像并确定页面图像所属的当前绘本后，服务器将识别结果反馈至机器人；或当机器人发送请求下载的数据后，获取服务器反馈的内页模型与音频数据的下载地址，根据地址下载当前绘本的内页模型和音频数据。
步骤S202，对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像。
在一种可能的实现方式中，待识别图像包括页面图像和答题区域图像。如图5所示，本申请实施例提供的待识别图像的界面显示示意图。页面图像包括不同的分区，例如1、2、3、4、5和6，每个分区上标识有相应的颜色，例如分区1对应颜色a，分区2对应颜色b等，分区3对应颜色c等。
需要说明的是，以上分区及颜色还可以是其他形式，本申请实施例提供的页面示意图仅示例性说明，不做具体限定，例如颜色a、颜色b等通过具体的颜色标识出，而非文字形式等。在页面图像的右侧，标识有对应的分区1、2、3、4、5和6。在答题区域图像中的可移动圆片与页面图像中标识分区的位置相对应。其中圆片是带有颜色的，将对应颜色a的圆片移动至与分区1相对应的位置处，则答题正确。
在本申请实施例中，机器人分别对页面图像和答题区域图像进行识别，根据当前绘本的内页模型，确定与页面图像对应的目标参考图。其中，目标参考图为内页模型中与页面图像满足匹配条件的参考图。
在一些实施例中，对页面图像和答题区域图像分别进行特征识别，得到与页面图像对应的目标参考图像和答题区域图像对应的答题结果，包括：
提取页面图像的页面特征点，将页面图像的页面特征点与内页模型的页面特征点进行匹配，得到匹配结果；将内页模型中匹配结果满足预设匹配阈值的参考图像作为目标参考图像；其中，参考图像为内页模型中对应所述当前绘本任一页的页面扫描图。
在一种可能的实现方式中，通过尺度不变特征变换算法，提取页面图像中的特征点，例如图6所示的，本申请实施例提供的页面识别的示意图，将页面图像和扫描图像中的角特征点、边缘特征点、暗区的亮点以及亮区的暗点等进行匹配。
示例性的，通过高斯微分函数识别并提取页面图像中尺度和旋转不变的特征点。在待识别图像上，机器人通过算法模型确定页面图像的位置和尺度，基于页面图像的局部梯度方向，分配特征点位置处的一个或多个方向的特征向量，对特征点进行描述，得到待匹配的目标特征点集合。通过各个特征点的特征向量，将页面图像与当前绘本的内页模型的扫描图进行匹配，并建立对应关系。
其中，预设匹配阈值可设置为百分比。例如将进行待匹配的特征点设置为100个，页面图像中与扫描图中能相互匹配的特征点的数量达到85％，则匹配结果满足预设匹配阈值；或者在特征点中标记指定特征点，在页面图像和扫描图像中的指定特征点相互匹配，则匹配结果满足预设匹配阈值，例如在页面图像中标记页码处的指定特征点，根据对页码处指定特征点的匹配，确定与页面图像的页码相匹配扫描图像的页码，将该页码的扫描图像作为与页面图像对应的目标参考图像。
需要说明的是，预设匹配阈值可根据实际场景需要进行设定，数值范围不做具体限定。
可理解的，当前绘本的内页模型包括每一页的扫描图，将页面图像的特征点依次与每一页的扫描图的特征点进行匹配，得到对应每一页的扫描图的匹配结果，再根据匹配结果确定满足预设匹配阈值的扫描图，将满足预设匹配阈值的扫描图作为目标参考图。
通过本申请实施例，采用尺度不变特征变换算法识别并提取图像特征点，将页面图像与内页模型的扫描图进行匹配，具有良好的稳定性和不变性，可以针对旋转、尺度缩放或亮度变化的页面图像进行特征点的识别和提取；在一定程度上不受视角变化或噪声的干扰；能够在大量的特征点数据库中进行快速准确的区分以及信息的匹配；同时针对特征点可以产生多个方向的特征向量，能够与其他形式的特征向量进行结合，从而能够快速的进行特征向量的匹配；提高机器人的数据处理效率。
在一些实施例中，将内页模型中匹配结果满足预设匹配阈值的参考图像作为目标参考图像之前，包括：
计算页面图像的属性信息，属性信息用于表示当前绘本的摆放姿态；若属性信息满足预设属性阈值，则判定当前绘本的摆放姿态合理，将内页模型中匹配结果满足预设匹配阈值的参考图像作为目标参考图像。
在一种可能的实现方式中，结合拍摄装置的拍摄参数计算页面图像的属性信息。其中，拍摄装置的拍摄参数包括分辨率和像素数量，页面图像的属性信息包括绘本页面的边长、边长比以及四个角的角度信息。机器人根据拍摄装置的分辨率以及像素点数量计算页面图像的边长，根据边长比计算四个角角度信息，根据四个角度信息判定当前绘本的摆放姿态是否合理；若当前绘本的摆放姿态合理则继续后续数据处理；若摆放姿态不合理，则输出重新摆放或请勿遮挡的语音提示。
其中，预设属性阈值包括页面图像四个角的角度取值范围，例如可以设置为45度至135度，当当根据边长比计算的某一角度超出该范围后，则判定当前绘本的摆放姿态可能存在问题，则发出一次语音提示。
应理解，机器人还可以根据边长以及边长比判断当前绘本的摆放姿态，通过计算边长可以判定是否存在部分遮挡等，进一步发出相应的语音提示信息。
在一些实施例中，对页面图像和所述答题区域图像分别进行特征识别，得到与页面图像对应的目标参考图像和答题区域图像对应的答题结果，包括：
根据所述页面图像的页面特征点与内页模型的页面特征点的匹配关系，计算所述页面图像与所述目标参考图像的页面扫描图之间的单应矩阵；将所述答题结果区域图像按所述单应矩阵进行映射处理，得到所述答题区域图像对应的扫描图像；识别所述扫描图像中目标标识的位置信息和颜色，得到所述答题结果。
在一种可能的实现方式中，页面图像的特征点在页面图像所在的空间坐标系中有相应的位置坐标，内页模型的页面特征点在内页模型的扫描图所在的空间坐标系中有相应的位置坐标；相互匹配的两个特征点的位置坐标存在一定的匹配关系，根据互相匹配的特征点的位置坐标，可以计算用于表示匹配关系换算矩阵。
如图6所示，页面图像所在的以o1为原点的空间坐标系，在页面图像中的特征点A(x1,y1,1)；目标参考图像所在的以o2为原点的空间坐标系，在目标参考图像中的特征点A′(x2,y2,1)。特征点A与特征点A′为互相匹配的两个特征点。通过如下公式一表示特征点A与特征点A′的位置坐标的关系：
Figure BDA0002709131130000171
其中，H为页面图像映射到目标参考图像的单应矩阵。
需要说明的是，上述特征点A特征点A′的位置坐标关系仅示例性说明，还应该包括其他相互匹配的特征点的位置坐标，从根据多个相互匹配的特征点的位置坐标关系可以计算得到单应矩阵H。
例如单应矩阵H可以通过公式二进行表示：
Figure BDA0002709131130000172
其中，H11、H12、H13、H21、H22、H23、H31、H32和H33为单应矩阵的元素，可以通过四对或六对相互匹配的特征点的位置坐标计算得到。
可理解的，单应矩阵为两个图像之间对应特征点的坐标换算的函数，通过单应矩阵的映射，将一幅图像变换到另一幅图像的视角。例如本实施例中拍摄得到的页面图像与扫描图像之间的对应特征点的变换关系。
在一种可能的实现方式中，机器人根据匹配关系计算得到单应矩阵后，按照单应矩阵将答题区域图像的特征点进行映射处理，得到答题区域图像对应的扫描图像。
如图7所示，本申请实施例提供的识别目标标识的示意图。将答题区域图像中的特征点B(u1,v1,1)，按照单应矩阵映射处理，得到答题区域图像对应的扫描图像中的特征点B′(u2,v2,1)，如公式三所示：
Figure BDA0002709131130000173
可理解的，根据答题区域图像中的多个特征点的位置坐标以及单应矩阵，机器人可以计算得到答题区域图像对应的扫描图像，如图7所示的答题区域图像对应的扫描图像。
在一些实施例中，得到答题区域图像对应的扫描图像后，机器人根据轻量的深度学习检测网络识别并标记扫描图像中的目标标识，如图7所示，目标标识可以是答题区域的圆片，每个圆片具有一种颜色，图7中通过文字表示各个圆片具有不同颜色，并不对圆片的具体呈现形式进行限定。
其中，轻量的深度学习检测网络可以为用于图像处理的卷积神经网络模型(CNNs)，例如，加速模型性能网络(Performance Vs Accuracy net，PVANET)模型，用于目标检测的轻量级特征提取网络体系结构，在不降低精度的前提下，实现实时的目标检测性能。
示例性的，通过在不同光照情况下获取的答题区域图像对应的扫描图像中的圆片的类别的识别及标注，训练轻量的深度学习检测网络模型，得到训练后的处理图像的轻量的深度学习检测网络模型。其中，标记圆片的类型可以包括多种不同颜色或空位，即可放置圆片的位置处不存在带有颜色的圆片。
在一些实施例中，识别扫描图像中的目标标识的位置信息和颜色，得到答题结果，包括：
根据目标标识与类别的标注关系，标注扫描图像中的目标标识的类别和位置信息；根据目标标识的类别和位置信息，输出目标标识的颜色序列，将目标标识的颜色序列作为答题结果。
在一种可能的实现方式中，机器人通过训练后的轻量的深度学习检测网络模型对扫描图像进行识别和标记，标记出每个圆片的位置及类型(其中类型包括圆片的颜色和是否空位)。机器人根据每个圆片的位置及类型确定目标标识序列，根据目标标识序列对应的颜色序列得出答题结果，如图7所示的目标标识序列依次对应的颜色a、颜色b、颜色c、颜色d、颜色e、颜色f。
需要说明的是，图7中所显示的图像的大小并不用于限定图像本身大小关系，仅作示例性说明，且机器人是针对答题区域图像对应的扫描图像执行的标记动作。
通过上述实施例，通过采用轻量的深度学习检测网络，提高了机器人视觉识别的效率的同时，提高了对目标标识的识别精度，在不降低精度的前提下，实现了实时检测目标标识的性能；提高了机器人的响应速度。
步骤S203，播放与目标参考图像相关联的音频数据，音频数据包括答题结果的提示信息，提示信息用于提示用户答题结果是否正确。
在一种可能的实现方式中，当前绘本的内页模型还包括对应绘本每一页的答案信息，答案信息包括对应每一页目标标识的颜色序列信息。
需要说明的是，机器人将得到的答题区域的目标标识的颜色序列与下载的内页模型中目标参考图像对应的答案信息进行对比，若答题区域的目标标识的颜色序列与答案信息中目标标识的颜色序列相同，则机器人输出答题正确的语音提示，若不同，则机器人输出答题错误的语音提示。
作为示例而非限定，机器人在将答题区域的目标标识的颜色序列与答案信息中目标标识的颜色序列进行对比后，若存在不同，还可以针对颜色不对应的目标标识进行语音提示，例如图7中从上至下，第三个圆片的颜色不对，则机器人输出第三个圆片颜色有误的语音提示。
通过本申请实施例，机器人可以获取训练板的待识别图像，对待识别图像中的页面图像和答题区域图像分别进行识别，得到内页模型中与页面图像对应的目标参考图像，以及与答题区域图像对应的答题结果，通过播放与目标参考图像对应的音频数据，结合答题结果，提示用户答题结果是否正确。通过结合云端能力和嵌入式机器人本地算力，采用传统关键点匹配算法与深度神经网络结合的方法，自动识别逻辑训练板的状态，以实现机器人陪伴儿童做题的目的。机器人实现对用户使用训练板过程的自动识别与提醒，使得儿童在使用训练板时，无需大人陪伴即可完成训练板的任务。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的训练板的识别方法，图8示出了本申请实施例提供的训练板的识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图8，该装置包括：
获取单元81，用于获取所述训练板的待识别图像，所述待识别图像包括当前绘本中任一页的页面图像和答题区域图像；
处理单元82，用于对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像；
输出单元83，用于播放与所述目标参考图像相关联的音频数据，所述音频数据包括所述答题结果的提示信息，所述提示信息用于提示用户答题结果是否正确。
通过本申请实施例，机器人可以获取训练板的待识别图像，对待识别图像中的页面图像和答题区域图像分别进行识别，得到内页模型中与页面图像对应的目标参考图像，以及与答题区域图像对应的答题结果，通过播放与目标参考图像对应的音频数据，结合答题结果，提示用户答题结果是否正确；机器人实现对用户使用训练板过程的自动识别与提醒，使得儿童在使用训练板时，无需大人陪伴即可完成训练板的任务。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图9为本申请一实施例提供的机器人的结构示意图。如图9所示，该实施例的机器人9包括：至少一个处理器90(图9中仅示出一个)处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意各个训练板的识别方法实施例中的步骤。
该机器人9可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是机器人9的举例，并不构成对机器人9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，该处理器90还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述机器人9的内部存储单元，例如机器人9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述机器人9的外部存储设备，例如所述机器人9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述机器人9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种训练板的识别方法，应用于机器人，其特征在于，包括：
获取所述训练板的待识别图像，所述待识别图像包括当前绘本中任一页的页面图像和答题区域图像；
对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像；
播放与所述目标参考图像相关联的音频数据，所述音频数据包括所述答题结果的提示信息，所述提示信息用于提示用户答题结果是否正确。
2.如权利要求1所述的识别方法，其特征在于，所述对所述页面图像和所述答题区域图像分别进行特征识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果，包括：
提取所述页面图像的页面特征点，将所述页面图像的页面特征点与内页模型的页面特征点进行匹配，得到匹配结果；
将所述内页模型中匹配结果满足预设匹配阈值的参考图像作为所述目标参考图像；其中，所述参考图像为内页模型中对应所述当前绘本任一页的页面扫描图。
3.如权利要求2所述的识别方法，其特征在于，在所述将所述内页模型中匹配结果满足预设匹配阈值的参考图像作为所述目标参考图像之前，包括：
计算所述页面图像的属性信息，所述属性信息用于表示所述当前绘本的摆放姿态；
若所述属性信息满足预设属性阈值，则判定所述当前绘本的摆放姿态合理，将所述内页模型中匹配结果满足预设匹配阈值的参考图像作为所述目标参考图像。
4.如权利要求2所述的识别方法，其特征在于，所述对所述页面图像和所述答题区域图像分别进行特征识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果，包括：
根据所述页面图像的页面特征点与内页模型的页面特征点的匹配关系，计算所述页面图像与所述目标参考图像的页面扫描图之间的单应矩阵；
将所述答题结果区域图像按所述单应矩阵进行映射处理，得到所述答题区域图像对应的扫描图像；
识别所述扫描图像中目标标识的位置信息和颜色，得到所述答题结果。
5.如权利要求4所述的识别方法，其特征在于，所述识别所述扫描图像中的目标标识的位置信息和颜色，得到所述答题结果，包括：
根据所述目标标识与类别的预设标注关系，标注所述扫描图像中的所述目标标识的类别和所述位置信息；
根据所述目标标识的类别和所述位置信息，输出所述目标标识的颜色序列，将所述目标标识的颜色序列作为所述答题结果。
6.如权利要求1所述的识别方法，其特征在于，在所述获取所述训练板的待识别图像之前，包括：
获取预设时间段内的所述训练板的视频数据，所述视频数据包括预设数量的图片帧；
根据翻页识别算法，将第一数量的相邻两个所述图片帧进行特征比对，得到第一对比值；
若所述第一对比值大于第一预设对比阈值，则继续将第二数量的相邻两个图片帧进行特征对比，得到第二对比值；
若所述第二对比值小于第二预设对比阈值且当前帧图像的质量得分最高，则将所述当前帧图像作为所述待识别图像；
其中，所述第一数量的相邻两个所述图片帧和所述第二数量的相邻两个图片帧为所述预设数量中按时序先后连续的两部分图片帧；所述当前帧图像为所述第二数量的图片帧中的图像。
7.如权利要求6所述的识别方法，其特征在于，在所述获取预设时间段内的所述训练板的视频数据之前，包括：
获取所述训练板的初始图像，所述初始图像包括所述当前绘本的页面图像；
向服务器发送所述初始图像，以指示所述服务器识别所述初始图像中的页面图像；
获取所述服务器反馈的所述初始图像中的页面图像的第一识别结果，所述第一识别结果为服务器识别所述初始图像中的页面图像的结果；
根据所述第一识别结果，下载所述当前绘本对应的所述内页模型和所述音频数据。
8.一种训练板的识别装置，其特征在于，包括：
获取单元，用于获取所述训练板的待识别图像，所述待识别图像包括当前绘本中任一页的页面图像和答题区域图像；
处理单元，用于对所述页面图像和所述答题区域图像分别进行识别，得到与所述页面图像对应的目标参考图像和所述答题区域图像对应的答题结果；其中，所述目标参考图像为所述当前绘本的内页模型中与所述页面图像匹配的图像；
输出单元，用于播放与所述目标参考图像相关联的音频数据，所述音频数据包括所述答题结果的提示信息，所述提示信息用于提示用户答题结果是否正确。
9.一种机器人，其特征在于，包括摄像装置、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202011049563.1A 2020-09-29 2020-09-29 一种训练板的识别方法、装置及机器人 Active CN112200230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049563.1A CN112200230B (zh) 2020-09-29 2020-09-29 一种训练板的识别方法、装置及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049563.1A CN112200230B (zh) 2020-09-29 2020-09-29 一种训练板的识别方法、装置及机器人

Publications (2)

Publication Number Publication Date
CN112200230A true CN112200230A (zh) 2021-01-08
CN112200230B CN112200230B (zh) 2023-10-13

Family

ID=74006702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049563.1A Active CN112200230B (zh) 2020-09-29 2020-09-29 一种训练板的识别方法、装置及机器人

Country Status (1)

Country Link
CN (1) CN112200230B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033711A (zh) * 2021-05-21 2021-06-25 北京世纪好未来教育科技有限公司 题目批改方法、装置、电子设备及计算机存储介质
CN113112511A (zh) * 2021-04-19 2021-07-13 新东方教育科技集团有限公司 试卷批改的方法、装置、存储介质及电子设备
CN113392756A (zh) * 2021-06-11 2021-09-14 北京猿力未来科技有限公司 图本识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040239A (zh) * 2017-12-06 2018-05-15 重庆欧派信息科技有限责任公司 基于图像识别的知识训练系统及方法
CN108460124A (zh) * 2018-02-26 2018-08-28 北京物灵智能科技有限公司 基于图形识别的交互方法及电子设备
KR101956714B1 (ko) * 2018-06-12 2019-03-11 (주)아나키 정답체크 방법 및 시스템
CN109684980A (zh) * 2018-09-19 2019-04-26 腾讯科技（深圳）有限公司 自动阅卷方法及装置
CN111126486A (zh) * 2019-12-24 2020-05-08 科大讯飞股份有限公司 一种测验统计方法、装置、设备及存储介质
CN111222397A (zh) * 2019-10-25 2020-06-02 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及机器人
CN111242045A (zh) * 2020-01-15 2020-06-05 西安汇永软件科技有限公司 自动化作业习题对错指示方法及系统
KR20200074786A (ko) * 2018-12-17 2020-06-25 주식회사 에릭씨앤씨 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법
CN111695453A (zh) * 2020-05-27 2020-09-22 深圳市优必选科技股份有限公司 绘本识别方法、装置及机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040239A (zh) * 2017-12-06 2018-05-15 重庆欧派信息科技有限责任公司 基于图像识别的知识训练系统及方法
CN108460124A (zh) * 2018-02-26 2018-08-28 北京物灵智能科技有限公司 基于图形识别的交互方法及电子设备
KR101956714B1 (ko) * 2018-06-12 2019-03-11 (주)아나키 정답체크 방법 및 시스템
CN109684980A (zh) * 2018-09-19 2019-04-26 腾讯科技（深圳）有限公司 自动阅卷方法及装置
KR20200074786A (ko) * 2018-12-17 2020-06-25 주식회사 에릭씨앤씨 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법
CN111222397A (zh) * 2019-10-25 2020-06-02 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及机器人
CN111126486A (zh) * 2019-12-24 2020-05-08 科大讯飞股份有限公司 一种测验统计方法、装置、设备及存储介质
CN111242045A (zh) * 2020-01-15 2020-06-05 西安汇永软件科技有限公司 自动化作业习题对错指示方法及系统
CN111695453A (zh) * 2020-05-27 2020-09-22 深圳市优必选科技股份有限公司 绘本识别方法、装置及机器人

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112511A (zh) * 2021-04-19 2021-07-13 新东方教育科技集团有限公司 试卷批改的方法、装置、存储介质及电子设备
CN113112511B (zh) * 2021-04-19 2024-01-05 新东方教育科技集团有限公司 试卷批改的方法、装置、存储介质及电子设备
CN113033711A (zh) * 2021-05-21 2021-06-25 北京世纪好未来教育科技有限公司 题目批改方法、装置、电子设备及计算机存储介质
CN113392756A (zh) * 2021-06-11 2021-09-14 北京猿力未来科技有限公司 图本识别方法及装置

Also Published As

Publication number Publication date
CN112200230B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US10719954B2 (en) Method and electronic device for extracting a center position of an infrared spot
CN112330526B (zh) 一种人脸转换模型的训练方法、存储介质及终端设备
CN102411854B (zh) 基于增强现实的课堂教学混合技术应用系统及方法
CN112200230A (zh) 一种训练板的识别方法、装置及机器人
US8126264B2 (en) Device and method for identification of objects using color coding
WO2019080229A1 (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN109754427A (zh) 一种用于标定的方法和装置
KR101700120B1 (ko) 사물 인식 장치 및 방법, 이를 포함하는 시스템
CN111738769A (zh) 视频处理方法及装置
Rose et al. Word recognition incorporating augmented reality for linguistic e-conversion
CN110069996A (zh) 头部动作识别方法、装置和电子设备
CN113989831A (zh) 近视防控方法、装置、终端设备及存储介质
CN117253022A (zh) 一种对象识别方法、装置及查验设备
CN112749664A (zh) 一种手势识别方法、装置、设备、系统及存储介质
CN116434253A (zh) 图像处理方法、装置、设备、存储介质及产品
CN111507139A (zh) 图像效果生成方法、装置和电子设备
Saman et al. Image Processing Algorithm for Appearance-Based Gesture Recognition
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端
CN111126279A (zh) 一种手势互动方法及手势互动装置
CN111028290A (zh) 一种用于绘本阅读机器人的图形处理方法及装置
CN111079472A (zh) 图像对比方法和装置
CN112201117B (zh) 一种逻辑板识别方法、装置及终端设备
CN112201116B (zh) 一种逻辑板识别方法、装置及终端设备
CN112201118B (zh) 一种逻辑板识别方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240903

Address after: No. 60, Guohe Road, Yangpu District, Shanghai 200082

Patentee after: Shanghai youbijie Education Technology Co.,Ltd.

Country or region after: China

Address before: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen UBTECH Technology Co.,Ltd.

Country or region before: China