CN112201118B - 一种逻辑板识别方法、装置及终端设备 - Google Patents

一种逻辑板识别方法、装置及终端设备 Download PDF

Info

Publication number
CN112201118B
CN112201118B CN202011046767.XA CN202011046767A CN112201118B CN 112201118 B CN112201118 B CN 112201118B CN 202011046767 A CN202011046767 A CN 202011046767A CN 112201118 B CN112201118 B CN 112201118B
Authority
CN
China
Prior art keywords
target
color
page
movable member
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011046767.XA
Other languages
English (en)
Other versions
CN112201118A (zh
Inventor
王玥
顾景
程骏
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youbixuan Intelligent Robot Co ltd
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202011046767.XA priority Critical patent/CN112201118B/zh
Publication of CN112201118A publication Critical patent/CN112201118A/zh
Application granted granted Critical
Publication of CN112201118B publication Critical patent/CN112201118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0023—Colour matching, recognition, analysis, mixture or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于人工智能技术领域，提供了一种逻辑板识别方法、装置及终端设备，通过获取逻辑板的图像并输入已训练的神经网络模型，获取已训练的神经网络模型输出的检测结果，识别检测结果中的目标绘本页面、目标定位标记、目标定位标记的位置、目标可移动件、目标可移动件的颜色、目标可移动件的位置、目标答题位及目标答题位的位置；根据目标可移动件的颜色、目标可移动件的位置及目标答题位的位置，获取使用者执行目标绘本页面中的逻辑训练任务的执行结果并输出，可以通过人工智能技术代替人工利用图像识别和基于神经网络模型的机器学习方法，识别使用者是否正确执行放置于逻辑板的绘本页面中的逻辑训练任务，可以有效提高识别效率且节省人力。

Description

一种逻辑板识别方法、装置及终端设备
技术领域
本发明属于人工智能技术领域，尤其涉及一种逻辑板识别方法、装置及终端设备。
背景技术
逻辑板是一种用于锻炼婴幼儿逻辑思维能力的教具，设置有用于放置绘本页面及若干可移动件的区域，绘本页面中有让使用者将绘本页面中的图像与相关颜色的可移动件进行配对的逻辑训练任务，使用者需要将相关颜色的可移动件移动至逻辑板的指定位置以执行逻辑训练任务任务。目前，婴幼儿在使用逻辑板时通常需要家长陪同，由家长来帮助判断逻辑训练任务是否正确执行，效率低下且浪费人力。
发明内容
有鉴于此，本发明实施例提供了一种逻辑板识别方法、装置及终端设备，以解决现有技术中婴幼儿在使用逻辑板时通常需要家长陪同，由家长来帮助判断配对任务是否正确执行，效率低下且浪费人力的问题。
本发明实施例的第一方面提供了一种逻辑板识别方法，所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件，所述第一区域用于放置绘本页面，所述第二区域设置有定位标记和2×K个放置位，每个所述放置位用于放置一个所述可移动件，所述逻辑板识别方法包括：
获取所述逻辑板的图像，将所述图像输入已训练的神经网络模型检测所述图像中的绘本页面、定位标记、可移动件及答题位，获取所述已训练的神经网络模型输出的检测结果；其中，所述答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位；
识别所述检测结果中的目标绘本页面；
当所述目标绘本页面识别成功时，识别所述检测结果中的目标定位标记及所述目标定位标记的位置；
识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件的位置；
根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置；
根据所述目标可移动件的颜色、所述目标可移动件的位置及所述目标答题位的位置，获取使用者执行所述目标绘本页面中的逻辑训练任务的执行结果并输出。
本发明实施例的第二方面提供了一种逻辑板识别装置，所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件，所述第一区域用于放置绘本页面，所述第二区域设置有定位标记和2×K个放置位，每个所述放置位用于放置一个所述可移动件，所述逻辑板识别装置包括：
图像检测模块，用于获取所述逻辑板的图像，将所述图像输入已训练的神经网络模型检测所述图像中的绘本页面、定位标记、可移动件及答题位，获取所述已训练的神经网络模型输出的检测结果；其中，所述答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位；
第一识别模块，用于识别所述检测结果中的目标绘本页面；
第二识别模块，用于当所述目标绘本页面识别成功时，识别所述检测结果中的目标定位标记及所述目标定位标记的位置；
第三识别模块，用于识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件的位置；
第四识别模块，用于根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置；
结果输出模块，用于根据所述目标可移动件的颜色、所述目标可移动件的位置及所述目标答题位的位置，获取使用者执行所述目标绘本页面中的逻辑训练任务的执行结果并输出。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，还包括摄像头或与摄像头通信连接，所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述的逻辑板识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述的逻辑板识别方法的步骤。
本发明实施例的第一方面提供一种逻辑板识别方法，通过获取逻辑板的图像，将图像输入已训练的神经网络模型检测图像中的绘本页面、定位标记、可移动件及答题位，获取已训练的神经网络模型输出的检测结果；然后识别检测结果中的目标绘本页面；当目标绘本页面识别成功时，识别检测结果中的目标定位标记及目标定位标记的位置；识别检测结果中的目标可移动件、目标可移动件的颜色及目标可移动件的位置；根据目标定位标记的位置，识别检测结果中的目标答题位及目标答题位的位置；最后根据目标可移动件的颜色、目标可移动件的位置及目标答题位的位置，获取使用者执行目标绘本页面中的逻辑训练任务的执行结果并输出，可以通过人工智能技术代替人工利用图像识别和基于神经网络模型的机器学习方法，识别使用者是否正确执行放置于逻辑板的绘本页面中的逻辑训练任务，可以有效提高识别效率且节省人力。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的逻辑板的结构示意图；
图2是本发明实施例提供的逻辑板识别方法的第一种流程示意图；
图3和图4是本发明实施例提供的终端设备与逻辑板之间的相对位置关系的示意图；
图5是本发明实施例提供的终端设备输出的执行结果的示意图；
图6是本发明实施例提供的逻辑板识别方法的第二种流程示意图；
图7是本发明实施例提供的标注之后的一张逻辑板的图像的示意图；
图8是本发明实施例提供的逻辑板识别方法的第三种流程示意图；
图9是本发明实施例提供的逻辑板识别方法的第四种流程示意图；
图10是本发明实施例提供的逻辑板识别方法的第五种流程示意图；
图11是本发明实施例提供的逻辑板识别装置的结构示意图；
图12是本发明实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供一种逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件，第一区域用于放置绘本页面，第二区域设置有定位标记和2×K个放置位，每个放置位用于放置一个可移动件，其中，K为正整数。
在应用中，逻辑板、第一区域和第二区域的形状和尺寸可以根据实际需要进行设置，逻辑板需足够放置并限位所有可移动件和至少一页绘本页面，第一区域需足够放置并限位至少一页绘本页面，第二区域需足够放置并限位所有可移动件。
在应用中，逻辑板可以是矩形、圆形、椭圆形、卡通造型或符合人体工学设计的规则形状，第一区域包括用于放置并限位至少一页绘本页面的凹槽或限位结构，凹槽的形状与至少一页绘本页面的形状相同且尺寸大于或等于至少一页绘本页面的尺寸。
在应用中，放置位固定设置于第二区域中且不可移动。放置位可以是用于放置并限位可移动件的凹槽、凸点、凸棱或限位结构，可移动件底部的结构与放置位的结构相配合，例如，可以采用积木式配合结构。
在应用中，定位标记固定设置于第二区域中除放置位之外的任意位置、不可移动。定位标记的形状和尺寸区别于放置位和可移动件的任意形状和尺寸，以便于识别。定位标记的作用是方面根据定位标记的位置和定位标记与放置位之间的相对位置关系，确定放置位的位置。定位标记的数量可以为1个，也可以根据实际需要设置至少两个定位标记，定位标记的数量越多，根据定位标记的位置确定的放置位的位置越准确。
在应用中，每个可移动件都可移动并放置于任一放置位。可移动件的形状可以是矩形、三角形、圆形、椭圆形、卡通造型或其他任意规则形状。K的数量可以根据实际需要设置为任意正整数，也即逻辑板应当包括至少1个可移动件和至少2个放置位。K种颜色可以是任意能够明显区分、便于识别的不同颜色，例如，K为6时，6种颜色可以为红、橙、黄、绿、青、蓝、紫。可移动件的形状为多边形时，其尺寸包括每条边的边长，还可以包括面积；可移动件的形状为圆形或椭圆形等由一条曲线段构成的形状时，其尺寸包括直径，还可以包括周长或面积。
在一个实施例中，第二区域设置有滑轨及可沿滑轨移动的K种颜色的K个可移动件，滑轨包括在第一方向上间隔设置的K段第一滑轨及沿垂直于第一方向的第二方向设置的第二滑轨，第二滑轨用于连通K段第一滑轨的中点，每个第一滑轨的两个端点都为放置位。
在应用中，第一滑轨和第二滑轨可以为滑杆或滑槽。第一方向可以为绘本放置于第一区域时平行于绘本页面的第一边的方向，第二方向则为平行于绘本页面的第二边的方向。
如图1所示，示例性的示出了一种逻辑板1的结构，包括矩形的第一区域10、矩形的第二区域20和6个圆形的颜色分别为红、橙、黄、绿、青、蓝、紫的可移动件30，第二区域20设置有12个放置位21、在第一方向上间隔设置的6段第一滑轨22、沿第二方向设置的1段第二滑轨23以及1个定位标记24；其中，逻辑板1为矩形，第一方向为平行于第一区域10的第一边的方向，第二方向平行于第一区域10的第二边的方向，第一滑轨22和第二滑轨23均为滑槽，每段第一滑轨22的一个端点作为一个放置位21，定位标记24为带有对勾“√”图标的圆角矩形，第一方向为垂直于第二方向，箭头“→”方向为第一方向。
应当理解的是，图1中分别用不同的填充图案来表示不同颜色的可移动件；滑轨的端点形状也可以根据实际需要设置，不局限于是U形，也可以是矩形、圆形或其他便于与可移动件的底部相配合的形状。
在应用中，绘本页面是用于对使用者进行逻辑思维能力训练的绘本中的绘本页面。第二区域为“答题区域”，使用者在阅读放置于第一区域的一页绘本页面之后，需要根据绘本页面中的逻辑训练任务进行答题，答题方式为根据逻辑训练任务的要求将可移动件移动至相应的放置位(即答题位)，执行逻辑训练任务。使用者可以是婴幼儿、智力低下或任意需要进行逻辑思维能力训练的人，或者，需要进行逻辑思维能力训练的人群的监护人。对于阅读能力低下的使用者，可以通过终端设备所支持的任意人机交互方式，启动终端设备的语音播报功能，使得终端设备可以识别放置于第一区域的一页绘本页面，并语音播报绘本页面中的内容和逻辑训练任务。使用者执行逻辑训练任务任务之后，可以通过终端设备所支持的任意人机交互方式，启动终端设备的逻辑板识别功能，以识别使用者是否正确执行逻辑训练任务任务并输出执行结果。终端设备可以支持语音控制、手势控制、实体按键或触控按键控制等人机交互方式。
本申请实施例提供一种用于对上述逻辑板进行识别的逻辑板识别方法，可以应用于机器人、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)设备、桌上型计算机、掌上电脑、笔记本电脑、上网本、个人数字助理(personal digitalassistant，PDA)等包括摄像头或可与摄像头通信连接的终端设备，具体由终端设备的处理器在运行具有相应功能的计算机程序时执行。机器人具体可以是教育机器人，机器人的大小和外观可以根据实际需要进行设置，例如，机器人可以是与实物等高或小型化的人形机器人、机器猫、机器狗等仿生机器人。本申请实施例对终端设备的具体类型不作任何限制。
如图2所示，本申请实施例提供的逻辑板识别方法包括如下步骤S201～S207：
步骤S201、获取所述逻辑板的图像，将所述图像输入已训练的神经网络模型检测所述图像中的绘本页面、定位标记、可移动件及答题位，获取所述已训练的神经网络模型输出的检测结果。
在应用中，终端设备通过摄像头获取逻辑板的图像，需要合理设置摄像头的位置，以使得逻辑板位于摄像头的视角范围内，摄像头的视角需完全覆盖逻辑板所在区域。答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位。可以事先获得与绘本页面对应的多张图像，对神经网络模型进行训练，训练神经网络模型检测每张图像中绘本页面、定位标记、可移动件及答题位的能力，直到神经网络模型收敛，得到已训练的神经网络模型。
图3中示例性的示出位于终端设备2的摄像头201在逻辑板1的第一方向上的视角θ1完全覆盖逻辑板1的第一边。
图4中示例性的示出位于终端设备2的摄像头201在逻辑板1的第二方向上的视角θ2完全覆盖逻辑板1的第二边。
步骤S202、识别所述检测结果中的目标绘本页面。
在应用中，目标绘本页面为使用者放置于逻辑板的第一区域的一页绘本页面在逻辑板图像中的图像区域。由于神经网络模型可检测的绘本页面中可能存在相似绘本页面，因此，神经网络模型可能检测出至少两个绘本页面，此时需要从检测结果中筛选出目标绘本页面；神经网络模型仅检测出一个绘本页面时，可直接确定检测结果中的一个绘本页面为目标绘本页面；神经网络模型也可能未检测出任何绘本页面。
在应用中，检测结果包括至少两个绘本页面时，终端设备可以采用图像识别方法，提取逻辑板的图像中第一区域的图像分别与检测结果中的每个绘本页面进行匹配，将与逻辑板的图像中第一区域的图像之间的匹配度最大的绘本页面确定为目标绘本页面。
在一个实施例中，步骤S201之后，包括：
当所述检测结果不包括绘本页面时，输出表征目标绘本页面检测失败的第一提示信息；
在等待第一预设时间之后，返回步骤S201；
当目标绘本页面检测失败的次数达到第一预设次数时，将所述图像上传至服务器，以通过所述服务器检测所述图像中的目标绘本页面；
获取所述服务器的检测结果；
当所述服务器的检测结果不包括绘本页面时，输出表征目标绘本页面检测失败的第一提示信息，返回步骤S201。
在应用中，检测结果不包括绘本页面，表明使用者未将绘本页面正确的放置于第一区域或停止遮挡绘本页面，此时，终端设备可以输出第一提示信息，用于提示使用者将绘本页面正确的放置于第一区域或停止遮挡绘本页面。输出第一提示信息之后，等待第一预设时间以供使用者将绘本页面正确的放置于第一区域或停止遮挡绘本页面，然后再次获取逻辑板的图像并输入已训练的神经网络模型进行检测，如此反复第一预设次数之后，若检测结果仍不包括绘本页面，则将逻辑板的图像上传至服务器。通过服务器中的已训练的神经网络模型检测逻辑板的图像中的绘本页面、定位标记、可移动件及答题位，并将检测结果发送给终端设备。服务器中包括事先利用与大量绘本页面对应的多张图像进行训练得到的至少一个已训练的神经网络模型。第一预设时间和第一预设次数可以根据实际需要进行设置，例如，第一预设时间为30S，第一预设次数为3次。
步骤S203、当所述目标绘本页面识别成功时，识别所述检测结果中的目标定位标记及所述目标定位标记的位置。
在应用中，在识别出目标绘本页面之后，可以进一步的识别检测结果中的目标定位标记。目标定位标记是设置于逻辑板的第二区域的定位标记在逻辑板的图像中的图像区域。由于逻辑板的图像中可能存在与定位标记类似的其他图像区域，因此，神经网络模型可能检测出至少两个定位标记，此时需要从检测结果中筛选出目标定位标记；神经网络模型仅检测出一个定位标记时，可直接确定检测结果中的一个定位标记为目标定位标记；神经网络模型也可能未检测出任何定位标记。在识别出目标定位标记之后，终端设备可以采用图像识别方法，进一步识别出目标定位标记在逻辑板的图像中的位置。可以以逻辑板的图像所在平面为坐标系平面，建立直角坐标系，直角坐标系的X轴可以为逻辑板的图像中逻辑板的第一边，坐标原点为第一边上的任一点(例如，第一边的一个端点)，与目标定位标记的位置相关的参数可以包括目标定位标记的几何中心点和顶点在直角坐标系中的坐标。
在应用中，检测结果包括至少两个定位标记时，终端设备可以采用图像识别方法，提取逻辑板的图像中定位标记的图像分别与检测结果中的每个定位标记进行匹配，将与逻辑板的图像中定位标记的图像之间的匹配度最大的定位标记确定为目标定位标记。
在一个实施例中，步骤S202之后，包括：
当所述检测结果不包括定位标记时，输出表征目标定位标记检测失败的第二提示信息；
在等待第二预设时间之后，返回步骤S201；
当目标定位标记检测失败的次数达到第二预设次数时，将所述图像上传至服务器，以通过所述服务器检测所述图像中的目标定位标记；
获取所述服务器的检测结果；
当所述服务器的检测结果不包括定位标记时，输出表征目标定位标记检测失败的第二提示信息，返回步骤S201。
在应用中，检测结果不包括定位标记，表明使用者未将逻辑板正确的放置于摄像头的视野范围内或定位标记被遮挡，此时，终端设备可以输出第二提示信息，用于提示使用者将逻辑板正确的放置于摄像头的视野范围内或停止遮挡目标定位标记。输出第二提示信息之后，等待第二预设时间以供使用者将逻辑板正确的放置于摄像头的视野范围内或停止遮挡目标定位标记，然后再次获取逻辑板的图像并输入已训练的神经网络模型进行检测，如此反复第二预设次数之后，若检测结果仍不包括定位标记，则将逻辑板的图像上传至服务器。通过服务器中的已训练的神经网络模型检测逻辑板的图像中的绘本页面、定位标记、可移动件及答题位，并将检测结果发送给终端设备。第二预设时间和第二预设次数可以根据实际需要进行设置，例如，第二预设时间为30S，第二预设次数为3次。
步骤S204、识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件所处的放置位。
在应用中，在识别出目标绘本页面之后，可以进一步的识别目标可移动件。目标可移动件是使用者放置于第二区域的可移动件在逻辑板的图像中的图像区域。受环境光线影响，神经网络模型可能检测出同一种颜色的可移动件的数量大于1个，此时需要从检测结果中筛选出目标可移动件；神经网络模型仅检测出每种颜色的可移动件的数量为一个时，可直接确定检测结果中的可移动件为目标可移动件；神经网络模型也可能未检测出任何可移动件。
在一个实施例中，步骤S203之后，包括：
当检测结果不包括可移动件时，输出表征目标可移动件检测失败的第三提示信息；
在等待第三预设时间之后，返回步骤S201；
当目标可移动件检测失败的次数达到第三预设次数时，进入待机模式，或者，等待第四预设时间之后，返回步骤S201。
在应用中，检测结果不包括可移动件时，表明使用者未将任何可移动件放置于第二区域或第二区域被遮挡，此时，终端设备可以输出第三提示信息。第三提示信息用于提示使用者重新按照逻辑训练任务的要求将可移动件放置于第二区域或停止遮挡第二区域。输出第三提示信息之后，等待第三预设时间以供使用者将可移动件放置于第二区域或停止遮挡第二区域，然后再次再次获取逻辑板的图像并输入已训练的神经网络模型进行检测，如此反复第三预设次数之后，若检测结果仍不包括可移动件，则表明使用者暂时离开或逻辑能力较差，此时可以进入待机模式等待使用者再次启动终端设备的逻辑识别功能，或者，等待较长的第四预设时间之后再次执行步骤S201以检测可移动件。第三预设时间、第三预设次数和第四预设时间可以根据实际需要进行设置，例如，第三预设时间为5分钟，第三预设次数为3次，第四预设时间为10分钟。第一预设时间、第二预设时间、第三预设时间和第四预设时间之间的关系可以为第一预设时间≤第二预设时间＜第三预设时间＜第四预设时间。
步骤S205、根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置。
在应用中，在识别出目标定位标记的位置之后，可以进一步的根据目标定位标记的位置以及已知的目标定位标记与目标答题位之间的相对位置关系，识别出目标答题位的位置。目标答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位在逻辑板图像中的图像区域。
步骤S206、根据所述目标可移动件的颜色、所述目标可移动件的位置及所述目标答题位的位置，获取使用者执行所述目标绘本页面中的逻辑训练任务的执行结果并输出。
在应用中，由于使用者正确执行绘本页面中的逻辑训练任务时，所要求的放置于每个目标答题位的可移动件的颜色是已知的，因此，通过将目标可移动件的颜色和目标可移动件的位置与已知的放置于每个目标答题位的可移动件的颜色和目标答题位的位置进行比对，可以确定使用者是否按照逻辑训练任务的要求将指定颜色的可移动件正确放置于指定答题位，从而可以获得使用者执行逻辑训练任务任务的执行结果并输出。
在应用中，执行结果可以以语音播报或显示的形式输出，若逻辑训练任务正确执行，则语音播报或显示用于表征逻辑训练任务正确执行的第四提示信息，例如，欢快的音乐，含义为“正确执行”的语音、文字、图形、图像或动画等；若逻辑训练任务未正确执行，则语音播报或显示用于表征逻辑训练任务未正确执行的第四提示信息，例如，表示遗憾的音乐，含义为“未正确执行”的语音、文字、图形、图像或动画等，在此基础上，还可以包括用于告知使用者正确的可移动件的颜色和所处的放置位的语音、文字、图形、图像或动画等。
如图5所示，示例性的示出了终端设备输出的执行结果；其中，左图为正确执行逻辑训练任务时的目标可移动件30的颜色和目标答题位40的位置，右图为终端设备识别出的目标可移动件30的颜色、目标可移动件的位置及目标答题位40的位置，目标答题位40的位置示意为虚线框。
如图6所示，在一个实施例，步骤S201之前包括如下步骤S601～S603：
步骤S601、当至少一本绘本中每一绘本页面放置于所述第一区域且所述K个可移动件放置于所述2×K个放置位的位置不断变化时，获取不同的拍摄角度下的所述逻辑板的图像，得到所述每一绘本页面的第一数量张不同的图像时为止；
步骤S602、分别对所述每一绘本页面的每一张图像中的绘本页面、定位标记、可移动件及答题位进行标注；
步骤S603、分别将标注之后的所述每一绘本页面的第一数量张图像输入神经网络模型进行训练，直到所述神经网络模型收敛时为止，所述神经网络模型的目标值为标注之后的所述每一绘本页面的每一张图像中的绘本页面、定位标记、可移动件及答题位。
在应用中，可以事先在一页绘本页面放置于第一区域且K个可移动件放置于K个放置位时，获取不同的拍摄角度下的逻辑板的图像；然后在K个可移动件放置于放置位的位置发生改变时，再次获取不同的拍摄角度下的逻辑板的图像；如此，不断改变可移动件的放置位置，以获得与一页绘本页面对应的尽可能多数量的不同图像，例如，100张图像。与一页绘本页面对应的不同图像的数量越多，训练得到的神经网络模型的检测结果就越准确。理论上，K个可移动件放置于2×K个放置位的放置方式一共有
Figure BDA0002708235970000091
种。
在应用中，在获得同与一页绘本页面对应的多张图像之后，进一步采用相同方法获得与其他绘本页面对应的多张图像。然后对每一张图像中的绘本页面、定位标记、可移动件及答题位进行标注，并利用标注之后的与每一页绘本页面对应的多张图像对神经网络模型进行训练，训练神经网络模型检测每张图像中标注的绘本页面、定位标记、可移动件及答题位的能力，直到神经网络模型收敛，得到已训练的神经网络模型。可以利用与一本绘本的所有绘本页面对应的所有图像来训练一个神经网络模型，得到与一本绘本对应的一个神经网络模型，也即一个已训练的神经网络模型可以用于检测与一本绘本的每一绘本页面对应的逻辑板图像中的绘本页面、定位标记、可移动件及答题位；也可以利用与至少两本绘本的所有绘本页面对应的所有图像来训练一个神经网络模型，得到与至少两本绘本对应的一个神经网络模型，也即一个已训练的神经网络模型可以用于检测与至少两本绘本的每一绘本页面对应的逻辑板图像中的绘本页面、定位标记、可移动件及答题位。
在一个实施例中，步骤S602包括：
分别通过与所述每一绘本页面对应的每一张图像中的绘本页面的内接矩形，对与所述每一绘本页面对应的每一张图像中的绘本页面进行标注；
分别通过与所述每一绘本页面对应的每一张图像中的定位标记的外接矩形，对与所述每一绘本页面对应的每一张图像中的定位标记进行标注；
分别通过与所述每一绘本页面对应的每一张图像中的可移动件的外接矩形，对与所述每一绘本页面对应的每一张图像中的可移动件进行标注；
分别通过与所述每一绘本页面对应的每一张图像中的答题位的外接矩形，对与所述每一绘本页面对应的每一张图像中的答题位进行标注；其中，所述答题位的外接矩形为假设所述答题位放置有可移动件时，放置于所述答题位的可移动件的外接矩形。
在应用中，标注每一张图像中绘本页面的方法为：通过图像中绘本页面的内接矩形对图像中的绘本页面进行标注。标注每一张图像中的定位标记的方法为：通过图像中定位标记的外接矩形对图像中的定位标记进行标注。标注每一张图像中的可移动件的方法为：通过图像中可移动件的外接矩形对图像中的可移动件进行标注。标注每一张图像中的答题位的方法为：假设答题位放置有可移动件，通过图像中放置于答题位的可移动件外接矩形对图像中的答题位进行标注。可以采用其他易于检测的方式进行标注，本实施例中对标注方式不作特别限定。
如图7所示，示例性的示出了采用上述方式进行标注之后的一张图像的示意图；其中，标注框示意为虚线框。
如图8所示，在一个实施例中，步骤S204包括如下步骤S801～S803：
步骤S801、识别所述检测结果中的可移动件的颜色；
步骤S802、当所述检测结果中同一种颜色的可移动件的数量大于1个时，获取所述同一种颜色的可移动件中颜色准确度最大的可移动件的颜色及位置，得到目标可移动件的颜色及所述目标可移动件的位置；
步骤S803、当所述检测结果中同一种颜色的可移动件的数量为1个时，获取所述同一种颜色的可移动件的颜色及位置，得到目标可移动件的颜色及所述目标可移动件的位置。
在应用中，终端设备可以采用图像识别方法，识别检测结果中的可移动件的颜色。检测到的可移动件中可能存在与目标可移动件的颜色相同但不是目标可移动件的可移动件，为了进一步的从检测到的可移动件中筛选出目标可移动件，可以分别计算颜色相同的每个可移动件的颜色的准确度，然后取颜色准确度最大的可移动件，作为目标可移动件。颜色的准确度可以用概率来衡量，例如，检测到两个红色的可移动件，其中一个可移动件是红色的概率为A，另一个可移动件是红色的概率为B，A＜B，则将是红色概率较高的可移动件作为目标可移动件。检测结果中同一种颜色的可移动件仅有一个时，该可移动件即为目标可移动件。
如图9所示，在一个实施例，步骤S204之后包括如下步骤S901～S904：
S901、分别获取每个所述目标可移动件的中心坐标与其他所述目标可移动件的中心坐标之间的距离；
S902、当两个所述目标可移动件中心坐标之间的距离小于距离阈值时，保留所述两个目标可移动件中的一个；
S903、分别计算被保留的每个所述目标可移动件的中心区域的颜色值与所述K个可移动件的标准颜色值之间的距离；
S904、分别获取与被保留的每个所述目标可移动件的中心区域的颜色值之间的距离最小的标准颜色值，得到修正后的被保留的每个所述目标可移动件的颜色。
在应用中，识别到的目标可移动件中可能会存在重复识别、颜色识别错误的情况。重复识别是指同一个目标可移动件既被识别为一种颜色又被识别为其他颜色，而且位置几乎相同，对于这种情况，可以分别获取每个目标可移动件的中心坐标与其他目标可移动件的中心坐标之间的距离，当两个目标可移动件的中心坐标之间的距离小于距离阈值时，可以确定这两个目标可移动件被重复检测，仅保留其中一个，删除另外一个，然后继续针对剩余的目标可移动件执行相同的操作，直到所有被重复识别的目标可移动件都只保留一个。例如，当目标可移动件a与目标可移动件b的中心坐标之间的距离小于距离阈值时，仅保留a；当被保留的目标可移动件a又与目标可移动件c的中心坐标之间的距离小于距离阈值时，仅保留a或c中的一个。中心坐标具体可以是目标可移动件的几何中心的坐标，距离阈值可以根据实际需要设置，例如，距离阈值等于目标可移动件的直径。通过步骤S901和S902可以删除颜色被重复识别的目标可移动件中的多余目标可移动件。
在应用中，目标可移动件的颜色也可能识别错误，因此需要进一步的分别获取被保留的每个目标可移动件的中心区域的颜色值与K个可移动件的标准颜色值之间的距离，当被保留的目标可移动件的中心区域与一个可移动件的标准颜色值之间的距离最小，即可将该可移动件的标准颜色值作为该被保留的目标可移动件的颜色值。中心区域的大小可以根据实际需要设置为任意像素大小，例如，10×10个像素大小。颜色之间的距离的大小反应了颜色差异的大小，颜色之间的距离的大小与颜色差异的大小正相关。
在一个实施例中，步骤S903之前包括：
分别获取所述K个可移动件的所有像素点在不同光照环境下的YUV值；
分别根据每个所述可移动件的所有像素点的Y值，获取每个所述可移动件在N个依次相邻的Y值区间中的每个Y值区间的平均U值和平均V值，得到每个所述可移动件在所述每个Y值区间的标准U值和标准V值，N≥2；
步骤S903包括：
分别根据被保留的每个所述目标可移动件的Y值所处的Y值区间，获取被保留的每个所述目标可移动件的中心区域的U值和V值与每个所述可移动件在相同的Y值区间的标准U值和标准V值之间的距离。
在应用中，YUV值中Y表示明亮度(Luminance或Luma)，也就是灰阶值，U和V表示色度(Chrominance或Chroma)，YUV值中的Y值与光照环境的亮度有关，每个可移动件的所有像素点在不同的光照环境下的Y值不同，在相同的光照环境下的Y值相同。
在应用中，对于每个可移动件，获取其在不同光照环境下的所有像素点的YUV值之后，按照Y值所处的Y值区间，获取可移动件在每个Y值区间的所有像素点的U值的平均值(即平均U值)和V值的平均值(即平均V值)，将平均U值作为标准U值，平均V值作为标准V值。Y值区间可以根据实际需要进行划分，例如，N＝10，10个依次相邻的Y值区间分别为[40,80)，[80,100)，[100,120)，[120,140)，[140,160)，[160,180)，[180,200)，[200,220)，[220,245)，[245,255]，这些区间为灰度区间。在获得每个可移动件在每个Y值区间的标准U值和标准V值之后，则可根据被保留的每个目标可移动件的中心区域的Y值所处的Y值区间，计算中心区域的U值和V值与每个可移动件在相同的Y值区域的标准U值和标准V值之间的距离。
在一个实施例中，步骤S903中距离的计算公式为：
dis＝a×abs(U-Ustd)+b×abs(V-Vstd)；
a+b＝1；
其中，dis表示所述任一被保留的目标可移动件的中心区域的颜色值与任一可移动件标准颜色值之间的距离，a和b表示权重系数，abs()表示求绝对值函数，U表示所述任一被保留的目标可移动件的中心区域的U值，V表示所述任一被保留的目标可移动件的中心区域的V值，Ustd表示任一可移动件在所述任一被保留的目标可移动件的中心区域的Y值所处的Y值区间的标准U值，Vstd表示所述任一可移动件在所述任一被保留的目标可移动件的中心区域的Y值所处的Y值区间的标准V值。
在应用中，通过上述方法确定被保留的每个目标可移动件的中心区域的颜色值，然后根据被保留的每个目标可移动件的中心区域的颜色值，确定被保留的每个目标可移动件的中心区域的颜色，即可得到修正后的被保留的每个所述目标可移动件的颜色。
在一个实施例中，步骤S904之后，包括：
当修正后的所有所述目标可移动件的颜色中包括类似色时，根据所述类似色中每种颜色的标准U值的大小，对所述类似色中的所有颜色进行排序，得到目标排序结果；
当所述目标排序结果与理想排序结果不匹配时，根据所述理想排序结果重新确定所述类似色对应的每个目标可移动件的颜色；其中，所述理想排序结果是根据所述类似色中每种颜色的理想U值的大小，对所述类似色中的所有颜色进行排序得到。
在应用中，对被保留的每个目标可移动件的颜色之后，依然可能会产生颜色识别错误的情况。通过大量实验得出结论，颜色识别错误的情况主要发生在相近颜色之间，例如，紫色、红色和橙色容易被相互检测错误。对于颜色分别为紫色、红色和橙色的三个目标可移动件，可以比较这三个目标可移动件的标准U值，并按照标准U值的大小对这三个目标可移动件进行排序，得到目标排序结果，然后与根据紫色、红色和橙色的理想U值对紫色、红色和橙色进行排序得到的理想排序结果进行比较，理想排序结果为紫色＞红色＞橙色，倘若目标排序结果与理想排序结果不同，则说明两者不匹配，需要重新确定三个目标可移动件的颜色，例如，假设颜色分别为紫色、红色和橙色的三个目标可移动件的目标排序结果为红色＞橙色＞紫色，则红色实际上为紫色、橙色实际上为红色、紫色实际上为橙色。
如图10所示，在一个实施例中，步骤S205包括如下步骤S1001～S1002：
步骤S1001、根据所述目标定位标记的位置以及所述定位标记与第1个答题位之间的第1相对位置关系，确定第1个目标答题位及所述第1个目标答题位的位置；
步骤S1002、根据第i个目标答题位的位置以及第i个答题位与第i+1个答题位之间的第i+1相对位置关系，确定第i+1个目标答题位及所述第i+1个目标答题位的位置；
其中，1≤i≤M，M为所有所述目标答题位的总数量。
在应用中，定位标记与任一个答题位之间的相对位置关系是已知的，任意两个答题位之间的相对位置关系也是已知的，因此，在识别出图像中目标定位标记的位置之后，即可根据目标定位标记的位置以及定位标记与第1个答题位之间的第1相对位置关系确定第1个目标答题位的位置；然后根据第1个目标答题位的位置以及第1个答题位与第2个答题为之间的第2相对位置关系确定第2个目标答题位的位置；依此类推，直到获得所有目标答题位的位置为止。
在应用中，以逻辑板的图像所在平面为坐标系平面，建立直角坐标系，目标定位标记和目标答题位的坐标为该直角坐标系中的坐标，识别目标答题位的位置的具体实现方式如下：
1、假设目标定位标记的中心坐标为(x0，y0)，第1个目标答题位的中心坐标为(x1，y1)，则第1相对位置关系为：
a)x1＞x0；
b)y0＜y1＜y0+t1；
其中，t1是通过大量统计结果得出的目标定位图标的中心坐标与第1个目标答题位的中心坐标之间的Y轴坐标的最大差值，若检测结果中存在符合第1相对位置关系的至少两个答题位，则取X轴坐标最大的答题位作为第1个目标答题位并获取其坐标作为第1个目标答题位的位置；若检测结果中不存在符合第1相对位置关系的答题位，则将第1个目标答题位的中心坐标设置为(x0+dx1，y0+dy1)，也即令x1＝x0+dx1，y1＝y0+dy1，dx1和dy1分别是通过大量统计结果得出的目标定位图标的中心坐标与第1个目标答题位的中心坐标之间的X轴坐标的平均差值和Y轴坐标的平均差值；
2、假设第2个目标答题位的中心坐标为(x2，y2)，则第2相对位置关系为：
a)x2＜x1；
b)y1＜y2＜y1+t2；
其中，t2是通过大量统计结果得出的第1个目标答题位的中心坐标与第2个目标答题位的中心坐标之间的Y轴坐标的最大差值，若检测结果中存在符合第2相对位置关系的至少两个答题位，则取X轴坐标最大的答题位作为第2个目标答题位并获取其坐标作为第2个目标答题位的位置；若检测结果中不存在符合第2相对位置关系的答题位，则将第2个目标答题位的中心坐标设置为(x1+dx2，y1+dy2)，也即令x2＝x1+dx2，y2＝y1+dy2，dx2和dy2分别是通过大量统计结果得出的第1个目标答题位的中心坐标与第2个目标答题位的中心坐标之间的X轴坐标的平均差值和Y轴坐标的平均差值；
3、假设第i+1个目标答题位的中心坐标为(xi+1，yi+1)，则第i+1相对位置关系为：
a)xi+1＜xi；
b)yi＜yi+1＜yi+ti+1；
其中，ti+1是通过大量统计结果得出的第i个目标答题位的中心坐标与第i+1个目标答题位的中心坐标之间的Y轴坐标的最大差值，若检测结果中存在符合第i+1相对位置关系的至少两个答题位，则取X轴坐标最大的答题位作为第i+1个目标答题位并获取其坐标作为第i+1个目标答题位的位置；若检测结果中不存在符合第i+1相对位置关系的答题位，则将第i+1个目标答题位的中心坐标设置为(xi+dxi+1，yi+dyi+1)，也即令xi+1＝xi+dxi+1，yi+1＝yi+dyi+1，dxi+1和dyi+1分别是通过大量统计结果得出的第i个目标答题位的中心坐标与第i+1个目标答题位的中心坐标之间的X轴坐标的平均差值和Y轴坐标的平均差值；
依此类推，即可得到所有目标答题位及其位置。
本发明实施例提供的逻辑板识别方法，可以通过人工智能技术代替人工利用利用图像识别和基于神经网络模型的机器学习方法，识别使用者是否正确执行放置于逻辑板的绘本页面中的逻辑训练任务，可以有效提高识别效率且节省人力，尤其适用于在无监护人陪同的情况下对婴幼儿或智力低下的人群进行逻辑思维能力训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供一种逻辑板识别装置，用于执行上述逻辑板识别方法实施例中的步骤。逻辑板识别装置可以是终端设备中的虚拟装置(virtual appliance)，由终端设备的处理器运行，也可以是终端设备本身。
如图11所示，本申请实施例提供的逻辑板识别装置11包括：
图像检测模块111，用于获取所述逻辑板的图像，将所述图像输入已训练的神经网络模型检测所述图像中的绘本页面、定位标记、可移动件及答题位，获取所述已训练的神经网络模型输出的检测结果；其中，所述答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位；
第一识别模块112，用于识别所述检测结果中的目标绘本页面；
第二识别模块113，用于当所述目标绘本页面识别成功时，识别所述检测结果中的目标定位标记及所述目标定位标记的位置；
第三识别模块114，用于识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件的位置；
第四识别模块115，用于根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置；
结果输出模块116，用于根据所述目标可移动件的颜色、所述目标可移动件的位置及所述目标答题位的位置，获取使用者执行所述目标绘本页面中的逻辑训练任务的执行结果并输出。
在一个实施例中，所述逻辑板识别装置还包括启动模块，用于启动终端设备的语音播报功能。
在一个实施例中，所述启动模块，还用于启动终端设备的逻辑板识别功能。
在一个实施例中，所述逻辑板识别装置还包括：
提示模块，用于当所述检测结果不包括绘本页面时，输出表征目标绘本页面检测失败的第一提示信息；
定时模块，用于在等待第一预设时间之后，返回图像检测模块；
通信模块，用于：
当目标绘本页面检测失败的次数达到第一预设次数时，将所述图像上传至服务器，以通过所述服务器检测所述图像中的目标绘本页面；
获取所述服务器的检测结果；
所述提示模块，还用于当所述服务器的检测结果不包括绘本页面时，输出表征目标绘本页面检测失败的第一提示信息，返回图像检测模块。
在一个实施例中，所述提示模块，还用于当所述检测结果不包括定位标记时，输出表征目标定位标记检测失败的第二提示信息；
所述定时模块，还用于在等待第二预设时间之后，返回图像检测模块；
所述通信模块，还用于：
当目标定位标记检测失败的次数达到第二预设次数时，将所述图像上传至服务器，以通过所述服务器检测所述图像中的目标定位标记；
获取所述服务器的检测结果；
所述提示模块，还用于当所述服务器的检测结果不包括定位标记时，输出表征目标定位标记检测失败的第二提示信息，返回图像检测模块。
在一个实施例中，所述提示模块，还用于当检测结果不包括可移动件时，输出表征目标可移动件检测失败的第三提示信息；
所述定时模块，还用于在等待第三预设时间之后，返回图像检测模块；
所述逻辑板识别装置还包括：
计数模块，用于当目标可移动件检测失败的次数达到第三预设次数时，进入待机模式；
所述定时模块，还用于等待第四预设时间之后，返回图像检测模块。
在一个实施例中，所述逻辑板识别装置还包括神经网络训练模块，用于：
当至少一本绘本中每一绘本页面放置于所述第一区域且所述K个可移动件放置于所述2×K个放置位的位置不断变化时，获取不同的拍摄角度下的所述逻辑板的图像，得到所述每一绘本页面的第一数量张不同的图像时为止；
分别对所述每一绘本页面的每一张图像中的绘本页面、定位标记、可移动件及答题位进行标注；
分别将标注之后的所述每一绘本页面的第一数量张图像输入神经网络模型进行训练，直到所述神经网络模型收敛时为止，所述神经网络模型的目标值为标注之后的所述每一绘本页面的每一张图像中的绘本页面、定位标记、可移动件及答题位。
在一个实施例中，所述逻辑板识别装置还包括第一颜色修正模块，用于：
分别获取每个所述目标可移动件的中心坐标与其他所述目标可移动件的中心坐标之间的距离；
当两个所述目标可移动件中心坐标之间的距离小于距离阈值时，保留所述两个目标可移动件中的一个；
分别计算被保留的每个所述目标可移动件的中心区域的颜色值与所述K个可移动件的标准颜色值之间的距离；
分别获取与被保留的每个所述目标可移动件的中心区域的颜色值之间的距离最小的标准颜色值，得到修正后的被保留的每个所述目标可移动件的颜色。
在一个实施例中，所述逻辑板识别装置还包括第二颜色修正模块，用于：
当修正后的所有所述目标可移动件的颜色中包括类似色时，根据所述类似色中每种颜色的标准U值的大小，对所述类似色中的所有颜色进行排序，得到目标排序结果；
当所述目标排序结果与理想排序结果不匹配时，根据所述理想排序结果重新确定所述类似色对应的每个目标可移动件的颜色；其中，所述理想排序结果是根据所述类似色中每种颜色的理想U值的大小，对所述类似色中的所有颜色进行排序得到。
在应用中，逻辑板识别装置中的各模块可以为软件程序模块，也可以通过处理器中集成的不同逻辑电路实现，还可以通过多个分布式处理器实现。
如图12所示，本申请实施例还提供一种终端设备12，包括：摄像头120、至少一个处理器121(图12中仅示出一个处理器)、存储器122以及存储在所述存储器122中并可在所述至少一个处理器121上运行的计算机程序123，所述处理器121执行所述计算机程序123时实现上述任意逻辑板识别方法实施例中的步骤。
在应用中，终端设备可以是机器人、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图12仅仅是终端设备的举例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
在应用中，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在应用中，存储器在一些实施例中可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器在另一些实施例中也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的逻辑板识别方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述任一实施例所述的逻辑板识别方法。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置、终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置、终端设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种逻辑板识别方法，其特征在于，所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件，所述第一区域用于放置绘本页面，所述第二区域设置有定位标记和2×K个放置位，每个所述放置位用于放置一个所述可移动件，所述逻辑板识别方法包括：
获取所述逻辑板的图像，将所述图像输入已训练的神经网络模型检测所述图像中的绘本页面、定位标记、可移动件及答题位，获取所述已训练的神经网络模型输出的检测结果；其中，所述答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位；
识别所述检测结果中的目标绘本页面；
当所述目标绘本页面识别成功时，识别所述检测结果中的目标定位标记及所述目标定位标记的位置；
识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件的位置；
根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置；
根据所述目标可移动件的颜色、所述目标可移动件的位置及所述目标答题位的位置，获取使用者执行所述目标绘本页面中的逻辑训练任务的执行结果并输出。
2.如权利要求1所述的逻辑板识别方法，其特征在于，所述获取所述逻辑板的图像之前，包括：
当至少一本绘本中每一绘本页面放置于所述第一区域且所述K个可移动件放置于所述2×K个放置位的位置不断变化时，获取不同的拍摄角度下的所述逻辑板的图像，得到所述每一绘本页面的第一数量张不同的图像时为止；
分别对所述每一绘本页面的每一张图像中的绘本页面、定位标记、可移动件及答题位进行标注；
将标注之后的所述每一绘本页面的第一数量张图像输入神经网络模型进行训练，直到所述神经网络模型收敛时为止，所述神经网络模型的目标值为标注之后的所述每一绘本页面的每一张图像中的绘本页面、定位标记、可移动件及答题位。
3.如权利要求2所述的逻辑板识别方法，其特征在于，所述分别对与所述每一绘本页面对应的每一张图像中的绘本页面、定位标记、可移动件及答题位进行标注，包括：
分别通过与所述每一绘本页面对应的每一张图像中的绘本页面的内接矩形，对与所述每一绘本页面对应的每一张图像中的绘本页面进行标注；
分别通过与所述每一绘本页面对应的每一张图像中的定位标记的外接矩形，对与所述每一绘本页面对应的每一张图像中的定位标记进行标注；
分别通过与所述每一绘本页面对应的每一张图像中的可移动件的外接矩形，对与所述每一绘本页面对应的每一张图像中的可移动件进行标注；
分别通过与所述每一绘本页面对应的每一张图像中的答题位的外接矩形，对与所述每一绘本页面对应的每一张图像中的答题位进行标注；其中，所述答题位的外接矩形为假设所述答题位放置有可移动件时，放置于所述答题位的可移动件的外接矩形。
4.如权利要求1所述的逻辑板识别方法，其特征在于，所述识别所述检测结果中的目标可移动件的颜色及所述目标可移动件的位置，包括：
识别所述检测结果中的可移动件的颜色；
当所述检测结果中同一种颜色的可移动件的数量大于1个时，获取所述同一种颜色的可移动件中颜色准确度最大的可移动件的颜色及位置，得到目标可移动件的颜色及所述目标可移动件的位置；
当所述检测结果中同一种颜色的可移动件的数量为1个时，获取所述同一种颜色的可移动件的颜色及位置，得到目标可移动件的颜色及所述目标可移动件的位置。
5.如权利要求1所述的逻辑板识别方法，其特征在于，所述根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置，包括：
根据所述目标定位标记的位置以及所述定位标记与第1个答题位之间的第1相对位置关系，确定第1个目标答题位及所述第1个目标答题位的位置；
根据第i个目标答题位的位置以及第i个答题位与第i+1个答题位之间的第i+1相对位置关系，确定第i+1个目标答题位及所述第i+1个目标答题位的位置；
其中，1≤i≤M，M为所有所述目标答题位的总数量。
6.如权利要求1至5任一项所述的逻辑板识别方法，其特征在于，所述识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件的位置之后，包括：
分别获取每个所述目标可移动件的中心坐标与其他所述目标可移动件的中心坐标之间的距离；
当两个所述目标可移动件中心坐标之间的距离小于距离阈值时，保留所述两个目标可移动件中的一个；
分别获取被保留的每个所述目标可移动件的中心区域的颜色值与所述K个可移动件的标准颜色值之间的距离；
分别获取与被保留的每个所述目标可移动件的中心区域的颜色值之间的距离最小的标准颜色值，得到修正后的被保留的每个所述目标可移动件的颜色。
7.如权利要求6所述的逻辑板识别方法，其特征在于，所述分别获取被保留的每个所述目标可移动件的中心区域的颜色值与所述K个可移动件的标准颜色值之间的距离之前，包括：
分别获取所述K个可移动件的所有像素点在不同光照环境下的YUV值；
分别根据每个所述可移动件的所有像素点的Y值，获取每个所述可移动件在N个依次相邻的Y值区间中的每个Y值区间的平均U值和平均V值，得到每个所述可移动件在所述每个Y值区间的标准U值和标准V值，N≥2；
所述分别获取被保留的每个所述目标可移动件的中心区域的颜色值与所述K个可移动件的标准颜色值之间的距离，包括：
分别根据被保留的每个所述目标可移动件的Y值所处的Y值区间，获取被保留的每个所述目标可移动件的中心区域的U值和V值与每个所述可移动件在相同的Y值区间的标准U值和标准V值之间的距离。
8.如权利要求6所述的逻辑板识别方法，其特征在于，所述分别获取与被保留的每个所述目标可移动件的中心区域的颜色值之间的距离最小的标准颜色值，得到修正后的被保留的每个所述目标可移动件的颜色之后，包括：
当修正后的所有所述目标可移动件的颜色中包括类似色时，根据所述类似色中每种颜色的标准U值的大小，对所述类似色中的所有颜色进行排序，得到目标排序结果；
当所述目标排序结果与理想排序结果不匹配时，根据所述理想排序结果重新确定所述类似色对应的每个目标可移动件的颜色；其中，所述理想排序结果是根据所述类似色中每种颜色的理想U值的大小，对所述类似色中的所有颜色进行排序得到。
9.一种逻辑板识别装置，其特征在于，所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件，所述第一区域用于放置绘本页面，所述第二区域设置有定位标记和2×K个放置位，每个所述放置位用于放置一个所述可移动件，所述逻辑板识别装置包括：
图像检测模块，用于获取所述逻辑板的图像，将所述图像输入已训练的神经网络模型检测所述图像中的绘本页面、定位标记、可移动件及答题位，获取所述已训练的神经网络模型输出的检测结果；其中，所述答题位为使用者正确执行绘本页面中的逻辑训练任务时可移动件所处的放置位；
第一识别模块，用于识别所述检测结果中的目标绘本页面；
第二识别模块，用于当所述目标绘本页面识别成功时，识别所述检测结果中的目标定位标记及所述目标定位标记的位置；
第三识别模块，用于识别所述检测结果中的目标可移动件、所述目标可移动件的颜色及所述目标可移动件的位置；
第四识别模块，用于根据所述目标定位标记的位置，识别所述检测结果中的目标答题位及所述目标答题位的位置；
结果输出模块，用于根据所述目标可移动件的颜色、所述目标可移动件的位置及所述目标答题位的位置，获取使用者执行所述目标绘本页面中的逻辑训练任务的执行结果并输出。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，还包括摄像头或与摄像头通信连接，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述逻辑板识别方法的步骤。
CN202011046767.XA 2020-09-29 2020-09-29 一种逻辑板识别方法、装置及终端设备 Active CN112201118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046767.XA CN112201118B (zh) 2020-09-29 2020-09-29 一种逻辑板识别方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046767.XA CN112201118B (zh) 2020-09-29 2020-09-29 一种逻辑板识别方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112201118A CN112201118A (zh) 2021-01-08
CN112201118B true CN112201118B (zh) 2022-08-05

Family

ID=74008453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046767.XA Active CN112201118B (zh) 2020-09-29 2020-09-29 一种逻辑板识别方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112201118B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
CN105184226A (zh) * 2015-08-11 2015-12-23 北京新晨阳光科技有限公司 数字识别方法和装置及神经网络训练方法和装置
CN110659634A (zh) * 2019-08-23 2020-01-07 上海撬动网络科技有限公司 一种基于颜色定位和字符分割的集装箱箱号定位方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0532053A2 (en) * 1991-09-12 1993-03-17 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
US8175394B2 (en) * 2006-09-08 2012-05-08 Google Inc. Shape clustering in post optical character recognition processing
CN101882219B (zh) * 2009-05-08 2013-09-11 财团法人工业技术研究院 图像辨识以及输出方法及其系统
CN101889921A (zh) * 2009-05-19 2010-11-24 北京保益互动科技发展有限公司 一种视力残障人士辅助颜色识别方法及其系统
CN104992184B (zh) * 2015-07-02 2018-03-09 东南大学 一种基于半监督极限学习机的多类图像分类方法
CN106156310A (zh) * 2016-06-30 2016-11-23 努比亚技术有限公司 一种图片处理装置和方法
CN110232842A (zh) * 2018-05-25 2019-09-13 袁幸福 一种逻辑思维训练机及其算法步骤
DE102018117938A1 (de) * 2018-07-25 2020-01-30 Ifm Electronic Gmbh Verfahren und Bildverarbeitungssystem zum automatischen Erkennen und/oder Korrigierenvon Bildartefakten in Bildern von einer Laufzeitkamera
CN109190639A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种车辆颜色识别方法、装置及系统
CN109858376A (zh) * 2019-01-02 2019-06-07 武汉大学 一种具有儿童健康学习监督功能的智能台灯
CN111191067A (zh) * 2019-12-25 2020-05-22 深圳市优必选科技股份有限公司 绘本识别方法、终端设备及计算机可读存储介质
CN111136648B (zh) * 2019-12-27 2021-08-27 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111612855B (zh) * 2020-04-09 2024-06-14 北京旷视科技有限公司 物体颜色识别方法、装置及电子设备
CN111695453B (zh) * 2020-05-27 2024-02-09 深圳市优必选科技股份有限公司 绘本识别方法、装置及机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
CN105184226A (zh) * 2015-08-11 2015-12-23 北京新晨阳光科技有限公司 数字识别方法和装置及神经网络训练方法和装置
CN110659634A (zh) * 2019-08-23 2020-01-07 上海撬动网络科技有限公司 一种基于颜色定位和字符分割的集装箱箱号定位方法

Also Published As

Publication number Publication date
CN112201118A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN108765278B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN109948590B (zh) 姿态问题检测方法及装置
US10175845B2 (en) Organizing digital notes on a user interface
US8368781B2 (en) Imaging object
CN109684980B (zh) 自动阅卷方法及装置
CN111178355B (zh) 印章识别方法、装置和存储介质
US20140294236A1 (en) Systems and methods for note recognition
CN103597500A (zh) 用于辨识对象中的文本信息的系统和方法
US9542756B2 (en) Note recognition and management using multi-color channel non-marker detection
EP3922232B1 (en) Medicine identification system, medicine identification device, medicine identification method, and program
CN115239683A (zh) 电路板的检测方法、模型训练方法、装置和电子设备
CN112200230A (zh) 一种训练板的识别方法、装置及机器人
CN112201118B (zh) 一种逻辑板识别方法、装置及终端设备
CN111027533B (zh) 一种点读坐标的变换方法、系统、终端设备及存储介质
US8767099B2 (en) Image processing system and imaging object used for same
CN112201116B (zh) 一种逻辑板识别方法、装置及终端设备
CN104933430B (zh) 一种用于移动终端的交互式图像处理方法及系统
CN111259888A (zh) 基于图像的信息比对方法、装置及计算机可读存储介质
CN112201117B (zh) 一种逻辑板识别方法、装置及终端设备
CN111428721A (zh) 词语释义的确定方法、装置、设备及存储介质
CN113747076A (zh) 拍摄方法、装置及电子设备
CN113391779A (zh) 类纸屏幕的参数调节方法、装置及设备
CN108052525B (zh) 获取音频信息的方法、装置、存储介质及电子设备
WO2023040514A1 (zh) 临摹信息确定方法、装置、计算机设备及存储介质
EP4144076A1 (en) Systems and methods for managing digital notes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231211

Address after: Room 601, 6th Floor, Building 13, No. 3 Jinghai Fifth Road, Beijing Economic and Technological Development Zone (Tongzhou), Tongzhou District, Beijing, 100176

Patentee after: Beijing Youbixuan Intelligent Robot Co.,Ltd.

Address before: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Youbixuan Technology Co.,Ltd.

TR01 Transfer of patent right