CN112201117A - 一种逻辑板识别方法、装置及终端设备 - Google Patents
一种逻辑板识别方法、装置及终端设备 Download PDFInfo
- Publication number
- CN112201117A CN112201117A CN202011046766.5A CN202011046766A CN112201117A CN 112201117 A CN112201117 A CN 112201117A CN 202011046766 A CN202011046766 A CN 202011046766A CN 112201117 A CN112201117 A CN 112201117A
- Authority
- CN
- China
- Prior art keywords
- cluster
- value
- image
- area
- logic board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000007621 cluster analysis Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0023—Colour matching, recognition, analysis, mixture or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于人工智能技术领域,提供了一种逻辑板识别方法、装置及终端设备,通过获取逻辑板的图像,识别逻辑板的第一区域的图像中的目标页面;当目标页面识别成功时,检测逻辑板的第二区域的图像中与可移动件的形状之间的相似度大于第一阈值的目标物;对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;根据每个簇的中心点的颜色及所处的放置位,获取使用者执行目标页面中的逻辑训练任务的执行结果并输出,可以通过人工智能技术代替人工利用图像识别和聚类分析方法,识别使用者是否正确执行放置于逻辑板的绘本页面中逻辑训练任务,可以有效提高识别效率且节省人力。
Description
技术领域
本发明属于人工智能技术领域,尤其涉及一种逻辑板识别方法、装置及终端设备。
背景技术
逻辑板是一种用于锻炼婴幼儿逻辑思维能力的教具,设置有用于放置绘本页面及若干可移动件的区域,绘本页面中有让使用者将绘本页面中的图像与相关颜色的可移动件进行配对的逻辑训练任务,使用者需要将相关颜色的可移动件移动至逻辑板的指定位置以执行逻辑训练任务任务。目前,婴幼儿在使用逻辑板时通常需要家长陪同,由家长来帮助判断逻辑训练任务是否正确执行,效率低下且浪费人力。
发明内容
有鉴于此,本发明实施例提供了一种逻辑板识别方法、装置及终端设备,以解决现有技术中婴幼儿在使用逻辑板时通常需要家长陪同,由家长来帮助判断配对任务是否正确执行,效率低下且浪费人力的问题。
本发明实施例的第一方面提供了一种逻辑板识别方法,所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件,所述第一区域用于放置绘本页面,所述第二区域设置有2×K个放置位,每个所述放置位用于放置一个所述可移动件,所述逻辑板识别方法包括:
获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面;
当所述目标页面识别成功时,检测所述逻辑板的第二区域的图像中与所述可移动件的形状之间的相似度大于第一阈值的目标物;
对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;
根据所述每个簇的中心点的颜色及所处的放置位,获取使用者执行所述目标页面中的逻辑训练任务的执行结果并输出。
本发明实施例的第二方面提供了一种逻辑板识别装置,所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件,所述第一区域用于放置绘本页面,所述第二区域设置有2×K个放置位,每个所述放置位用于放置一个所述可移动件,所述逻辑板识别装置包括:
图像获取模块,用于获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面;
图像识别模块,用于当所述目标页面识别成功时,检测所述逻辑板的第二区域的图像中与所述可移动件的形状之间的相似度大于第一阈值的目标物;
聚类分析模块,用于对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;
结果输出模块,用于根据所述每个簇的中心点的颜色及所处的放置位,获取使用者执行所述目标页面中的逻辑训练任务的执行结果并输出。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,还包括摄像头或与摄像头通信连接,所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述的逻辑板识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述的逻辑板识别方法的步骤。
本发明实施例的第一方面提供一种逻辑板识别方法,逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件,第一区域用于放置绘本页面,第二区域设置有2×K个放置位,每个放置位用于放置一个可移动件,通过获取逻辑板的图像,识别逻辑板的第一区域的图像中的目标页面;当目标页面识别成功时,检测逻辑板的第二区域的图像中与可移动件的形状之间的相似度大于第一阈值的目标物;对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;根据每个簇的中心点的颜色及所处的放置位,获取使用者执行目标页面中的逻辑训练任务的执行结果并输出,可以通过人工智能技术代替人工利用图像识别和聚类分析方法,识别使用者是否正确执行放置于逻辑板的绘本页面中逻辑训练任务,可以有效提高识别效率且节省人力。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的逻辑板的结构示意图;
图2是本发明实施例提供的逻辑板识别方法的第一种流程示意图;
图3和图4是本发明实施例提供的终端设备与逻辑板之间的相对位置关系的示意图;
图5是本发明实施例提供的终端设备输出的执行结果的示意图;
图6是本发明实施例提供的逻辑板识别方法的第二种流程示意图;
图7是本发明实施例提供的逻辑板识别方法的第三种流程示意图;
图8是本发明实施例提供的逻辑板识别方法的第四种流程示意图;
图9是本发明实施例提供的逻辑板识别方法的第五种流程示意图;
图10是本发明实施例提供的逻辑板识别装置的结构示意图;
图11是本发明实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供一种逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件,第一区域用于放置绘本页面,第二区域设置有2×K个放置位,每个放置位用于放置一个可移动件,其中,K为正整数。
在应用中,逻辑板、第一区域和第二区域的形状和尺寸可以根据实际需要进行设置,逻辑板需足够放置并限位所有可移动件和至少一页绘本页面,第一区域需足够放置并限位至少一页绘本页面,第二区域需足够放置并限位所有可移动件。
在应用中,逻辑板可以是矩形、圆形、椭圆形、卡通造型或符合人体工学设计的规则形状,第一区域包括用于放置并限位至少一页绘本页面的凹槽或限位结构,凹槽的形状与至少一页绘本页面的形状相同且尺寸大于或等于至少一页绘本页面的尺寸。
在应用中,放置位固定设置于第二区域中且不可移动。放置位可以是用于放置并限位可移动件的凹槽、凸点、凸棱或限位结构,可移动件底部的结构与放置位的结构相配合,例如,可以采用积木式配合结构。
在应用中,每个可移动件都可移动并放置于任一放置位。可移动件的形状可以是矩形、三角形、圆形、椭圆形、卡通造型或其他任意规则形状。K的数量可以根据实际需要设置为任意正整数,也即逻辑板应当包括至少1个可移动件和至少2个放置位。K种颜色可以是任意能够明显区分、便于识别的不同颜色,例如,K为6时,6种颜色可以为红、橙、黄、绿、青、蓝、紫。可移动件的形状为多边形时,其尺寸包括每条边的边长,还可以包括面积;可移动件的形状为圆形或椭圆形等由一条曲线段构成的形状时,其尺寸包括直径,还可以包括周长或面积。
在一个实施例中,第二区域设置有滑轨及可沿滑轨移动的K种颜色的K个可移动件,滑轨包括在第一方向上间隔设置的K段第一滑轨及沿垂直于第一方向的第二方向设置的第二滑轨,第二滑轨用于连通K段第一滑轨的中点,每个第一滑轨的两个端点都为放置位。
在应用中,第一滑轨和第二滑轨可以为滑杆或滑槽。第一方向可以为绘本放置于第一区域时平行于绘本页面的第一边的方向,第二方向则为平行于绘本页面的第二边的方向。
如图1所示,示例性的示出了一种逻辑板1的结构,包括矩形的第一区域10、矩形的第二区域20和6个圆形的颜色分别为红、橙、黄、绿、青、蓝、紫的可移动件30,第二区域20设置有12个放置位21、在第一方向上间隔设置的6段第一滑轨22以及沿第二方向设置的1段第二滑轨23;其中,逻辑板1为矩形,第一方向为平行于第一区域10的第一边的方向,第二方向平行于第一区域10的第二边的方向,第一滑轨22和第二滑轨23均为滑槽,每段第一滑轨22的一个端点作为一个放置位21,第一方向为垂直于第二方向,箭头“→”方向为第一方向。
应当理解的是,图1中分别用不同的填充图案来表示不同颜色的可移动件;滑轨的端点形状也可以根据实际需要设置,不局限于是U形,也可以是矩形、圆形或其他便于与可移动件的底部相配合的形状。
在应用中,绘本页面是用于对使用者进行逻辑思维能力训练的绘本中的绘本页面。第二区域为“答题区域”,使用者在阅读放置于第一区域的一页绘本页面之后,需要根据绘本页面中的逻辑训练任务进行答题,答题方式为根据逻辑训练任务的要求将可移动件移动至相应的放置位(即答题位),执行逻辑训练任务。使用者可以是婴幼儿、智力低下或任意需要进行逻辑思维能力训练的人,或者,需要进行逻辑思维能力训练的人群的监护人。对于阅读能力低下的使用者,可以通过终端设备所支持的任意人机交互方式,启动终端设备的语音播报功能,使得终端设备可以识别放置于第一区域的一页绘本页面,并语音播报绘本页面中的内容和逻辑训练任务。使用者执行逻辑训练任务任务之后,可以通过终端设备所支持的任意人机交互方式,启动终端设备的逻辑板识别功能,以识别使用者是否正确执行逻辑训练任务任务并输出执行结果。终端设备可以支持语音控制、手势控制、实体按键或触控按键控制等人机交互方式。
本申请实施例提供一种用于对上述逻辑板进行识别的逻辑板识别方法,可以应用于机器人、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)设备、桌上型计算机、掌上电脑、笔记本电脑、上网本、个人数字助理(personal digitalassistant,PDA)等包括摄像头或可与摄像头通信连接的终端设备,具体由终端设备的处理器在运行具有相应功能的计算机程序时执行。机器人具体可以是教育机器人,机器人的大小和外观可以根据实际需要进行设置,例如,机器人可以是与实物等高或小型化的人形机器人、机器猫、机器狗等仿生机器人。本申请实施例对终端设备的具体类型不作任何限制。
如图2所示,本申请实施例提供的逻辑板识别方法包括如下步骤S201~S204:
步骤S201、获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面。
在应用中,终端设备通过摄像头获取逻辑板的图像,需要合理设置摄像头的位置,以使得逻辑板位于摄像头的视角范围内,摄像头的视角需完全覆盖逻辑板所在区域。
图3中示例性的示出位于终端设备2的摄像头201在逻辑板1的第一方向上的视角θ1完全覆盖逻辑板1的第一边。
图4中示例性的示出位于终端设备2的摄像头201在逻辑板1的第二方向上的视角θ2完全覆盖逻辑板1的第二边。
在应用中,在获取逻辑板的图像之后,终端设备可以采用基于机器视觉的图像识别方法来识别逻辑板的第一区域的图像中的目标页面,目标页面为使用者放置于逻辑板的第一区域的一页绘本页面。具体的,终端设备可以提取逻辑板的图像中第一区域的图像与已下载的所有绘本页面的图像进行匹配,若匹配到与第一区域的图像之间的相似度大于第二阈值的绘本页面的图像,则确定目标页面识别成功,否则确定目标页面识别失败。
在一个实施例中,步骤S201之后,包括:
当所述目标页面识别失败时,输出表征目标页面识别失败的第一提示信息;
在等待第一预设时间之后,返回步骤S201;
当所述目标页面识别失败的次数达到第一预设次数时,将所述逻辑板的图像上传至服务器,以通过所述服务器识别所述目标页面;
获取所述服务器的识别结果;
当所述服务器的识别结果为所述目标页面识别失败时,输出表征所述目标页面识别失败的第一提示信息,返回步骤S201。
在应用中,第一提示信息用于提示使用者将目标页面正确的放置于第一区域或停止遮挡目标页面。输出第一提示信息之后,等待第一预设时间以供使用者将目标页面正确的放置于第一区域或停止遮挡目标页面,然后再次获取逻辑板的图像并提取第一区域的图像与已下载的所有绘本页面的图像进行匹配,如此反复第一预设次数之后,若目标页面仍未识别成功,则将第一区域的图像上传至服务器。服务器在其事先存储的所有绘本页面的图像中匹配与第一区域的图像之间的相似度大于第二阈值的绘本页面的图像,并将识别结果发送给终端设备,终端设备根据识别结果输出第一提示信息。第二阈值、第一预设时间和第一预设次数可以根据实际需要进行设置,例如,第二阈值为90%,第一预设时间为30S,第一预设次数为3次。
步骤S202、当所述目标页面识别成功时,检测所述逻辑板的第二区域的图像中与所述可移动件的形状之间的相似度大于第一阈值的目标物。
在应用中,在目标页面识别成功之后,终端设备可以采用基于机器视觉的图像识别方法来识别逻辑板图像的第二区域的图像中的可移动件。具体的,终端设备可以提取逻辑板的图像中第二区域的图像,然后检测第二区域的图像中与可移动件的形状之间相似度大于第一阈值的目标物,可以初步判断检测到的目标物为可移动件。当可移动件的形状为圆形、椭圆形等类圆形时,可以通过胚胎自动识别算法(EDcircles算法),来检测第二区域的图像中的目标物。
在一个实施例中,步骤S202之后,包括:
若未检测到目标物,则输出表征目标物检测失败的第二提示信息;
在等待第二预设时间之后,返回步骤S202;
当所述目标物检测失败的次数达到第二预设次数时,进入待机模式,或者,等待第三预设时间之后,返回步骤S202。
在应用中,若未检测到目标物,则表明使用者未将任何可移动件放置于第二区域,或者,第二区域被遮挡,此时,可以输出表征目标物检测失败的第二提示信息。第二提示信息用于提示使用者重新按照逻辑训练任务的要求将可移动件放置于第二区域或停止遮挡第二区域。输出第二提示信息之后,等待第二预设时间以供使用者将可移动件放置于第二区域或停止遮挡第二区域,然后再次提取第二区域的图像以检测与可移动件的相似度大于第一阈值的目标物,如此反复第二预设次数之后,若仍未检测到目标物,则表明使用者暂时离开或逻辑能力较差,此时可以进入待机模式等待使用者再次启动终端设备的逻辑识别功能,或者,等待较长的第三预设时间之后再次执行步骤S202以检测目标物。第一阈值、第二预设时间、第二预设次数和第三预设时间可以根据实际需要进行设置,例如,第一阈值为90%,第二预设时间为2分钟,第一预设次数为3次,第三预设时间为10分钟。第一预设时间、第二预设时间和第三预设时间之间的关系可以为第一预设时间<第二预设时间<第三预设时间。
步骤S203、对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;
步骤S204、根据所述每个簇的中心点的颜色及所处的放置位,获取使用者执行所述目标页面中的逻辑训练任务的执行结果并输出。
在应用中,检测到的目标物中可能存在与可移动件的形状高度相似但不是可移动件的目标物,为了进一步的从检测到的目标物中筛选出可移动件,可以采用k-平均(kmeans)聚类算法、k-中心(kmedoids)聚类算法等聚类算法,对检测到的目标物进行聚类分析。聚类分析结果中每个簇的中心点的位置即为放置于第二区域的每个可移动件的中心点的位置,由此可以确定放置于第二区域的每个可移动件所处的放置位,再进一步的获取放置于第二区域的每个可移动件的颜色,即可确定放置于第二区域的每个可移动件的颜色和所处的放置位,通过与逻辑训练任务所要求的可移动件的颜色及放置位进行比对,可以确定使用者是否按照要求将指定颜色的可移动件放置于指定放置位,从而可以获得使用者执行逻辑训练任务任务的执行结果并输出。
在应用中,执行结果可以以语音播报或显示的形式输出,若逻辑训练任务正确执行,则语音播报或显示用于表征逻辑训练任务正确执行的第三提示信息,例如,欢快的音乐,含义为“正确执行”的语音、文字、图形、图像或动画等;若逻辑训练任务未正确执行,则语音播报或显示用于表征逻辑训练任务未正确执行的第四提示信息,例如,表示遗憾的音乐,含义为“未正确执行”的语音、文字、图形、图像或动画等,在此基础上,还可以包括用于告知使用者正确的可移动件的颜色和所处的放置位的语音、文字、图形、图像或动画等。
如图5所示,示例性的示出了终端设备输出的执行结果;其中,左图为正确执行逻辑训练任务时第二区域20中可移动件30的颜色和所处的放置位,右图为终端设备识别出的第二区域20中可移动件30的颜色和所处的放置位。
如图6所示,在一个实施例,步骤S201包括如下步骤S601~S607:
步骤S601、获取所述逻辑板的图像;
步骤S602、提取所述逻辑板的第一区域的图像的SIFI特征与已下载的所有绘本模型中每一页面的图像的SIFI特进行匹配,每个所述绘本模型包括一本绘本中每一页面的图像的SIFI特征及对应的可移动件的位置;
步骤S603、分别获取所述绘本模型中每一页面的图像与所述第一区域的图像中相匹配的SIFI特征的数量;
步骤S604、当所述绘本模型中任一页面的图像与所述第一区域的图像中相匹配的SIFI特征的数量大于预设数量时,获取所述第一区域的图像的尺寸信息与预设尺度信息进行匹配;
步骤S605、当所述尺寸信息与预设尺寸信息相匹配时,确定目标页面识别成功;
步骤S606、当所述绘本模型中每一页面的图像与所述第一区域的图像相匹配的SIFI特征的数量都小于或等于预设数量,或者,所述尺寸信息与预设尺寸信息不匹配时,确定所述目标页面识别失败;
步骤S607、输出表征所述目标页面识别失败的第一提示信息,返回步骤S601。
在应用中,可以通过尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法来提取第一区域的图像的SIFI特征,然后与已从服务器下载并存储于本地的所有绘本模型中的每一页面的图像的SIFI特征进行匹配。每个绘本模型包括一本绘本中每一页面的图像的SIFI特征及每一页面中要求使用者执行的逻辑训练任务。匹配方法具体可以为将第一区域的图像的每个SIFI特征与已下载的每一页面的图像的相同类型的SIFI特征进行一对一匹配,在所有类型的SIFI特征都进行一对一匹配之后,获取绘本模型中每一页面的图像与所述第一区域的图像中相匹配的SIFI特征的数量。
在应用中,当绘本模型中任一页面的图像与第一区域的图像中相匹配的SIFI特征的数量大于预设数量时,可以初步判定放置于第一区域的目标页面即为该任一页面,否则,判定目标页面识别失败,输出表征目标页面识别失败的第一提示信息,并返回步骤S601重新获取逻辑板的图像。
在应用中,为了进一步确定放置于第一区域的目标页面是否是该任一页面,还需要获取第一区域的图像的尺寸信息与预先设置的绘本页面的尺寸信息进行匹配,若匹配成功,则确定目标页面识别成功,否则,判定目标页面识别失败,输出表征目标页面识别失败的第一提示信息,并返回步骤S601重新获取逻辑板的图像。尺寸信息包括边长、边长比值、面积、顶角角度等信息。
在一个实施例中,步骤S604中获取所述第一区域的图像的尺寸信息的步骤,包括:
获取所述第一区域的图像的边长、边长比值和每个顶角的角度;
步骤S605,包括:
当所述第一区域的图像的边长、边长比值和每个顶角的角度分别处于预设边长范围、预设边长比值范围和预设角度范围时,确定目标页面识别成功。
在应用中,预设边长范围包括绘本页面的第一边长度±第一误差值和第二边长度±第二误差值,预设边长比值范围为绘本页面的第一边长度与第二边长度的比值±第三误差值,由于绘本页面的顶角为直角,因此,预设角度范围为绘本页面的任一顶角的角度±第四误差值。第一误差值~第四误差值的具体数值可以根据对误差大小的实际需要进行设置。
在一个实施例中,步骤S607之后,包括:
当确定所述目标页面识别失败的次数达到第一预设次数时,将所述逻辑板的图像上传至服务器,以通过所述服务器识别所述目标页面;
获取所述服务器的识别结果;
当所述服务器的识别结果为所述目标页面识别成功时,从所述服务器下载包括所述目标页面的SIFI特征及逻辑训练任务的绘本模型;
当所述服务器的识别结果为所述目标页面识别失败时,输出表征所述目标页面识别失败的第一提示信息,返回获取所述逻辑板的图像。
在应用中,当终端设备对目标页面识别失败时,可能是由于终端设备中事先并未下载并存储包括目标页面的SIFI特征及逻辑训练任务的绘本模型,此时可以将逻辑板的图像上传至服务器对目标页面进行识别。服务器识别目标页面的方法与终端设备识别目标页面的方法相同,此处不再赘述。当服务器对目标页面识别成功时,终端设备可以从服务器下载包括目标页面的SIFI特征及逻辑训练任务的绘本模型,以待下一次识别时使用。
如图7所示,在一个实施例,步骤S203包括如下步骤S701~S703:
步骤S701、对检测到的目标物进行类别数分别为1~K的K次聚类分析,得到K个聚类分析结果,每次聚类分析选取的初始中心点之间的距离都大于目标距离,所述目标距离为所述第二区域中距离最小的两个放置位之间的距离;
步骤S702、获取最大类间方差最小的聚类分析结果中每个簇的中心点的颜色;
步骤S703、根据最大类间方差最小的聚类分析结果中每个簇的中心点的位置,确定所述每个簇的中心点所处的放置位。
在应用中,利用逻辑板进行逻辑思维能力训练时,执行目标页面中的逻辑训练任务所需的可移动件的数量可能小于K,当逻辑训练任务所需的可移动件的数量为K时,也可能存在用户并未按照要求将K个可移动件全部都放置在第二区域的情况,因此需要进行类别数分别为1~K的K次聚类,以覆盖可移动件的数量发生变化时所有情况。
在应用中,在初始化聚类分析的初始中心点时,要求任意两个初始中心点之间的距离大于距离最小的两个放置位之间的距离,加上这一限制条件之后,某次聚类分析可能会初始化失败,若初始化失败则直接跳过该次聚类分析,继续进行其他类别数的聚类分析。类别数为1时,所有目标物聚类为1类,最大类间方差为a1;类别数为2时,所有目标物聚类为2类,最大类间方差为a2;……;依此类推;类别数为K时,所有目标物聚类为K类,最大类间方差为aK。
在应用中,在K次聚类分析完成之后,获取最大类间方差最小的聚类分析结果中每个簇的中心点的颜色及位置,然后根据中心点的位置,确定中心点落入哪个放置位的坐标范围内,即可认为该中心点处于哪个放置位。最大类间方差最小的聚类分析结果中每个簇的中心点即为使用者放置于第二区域的每个可移动件的中心点,由此,可以确定使用者放置于第二区域的每个可移动件的中心点的颜色及所处的放置位。
如图8所示,在一个实施例,步骤S702包括如下步骤S801~S803:
步骤S801、获取最大类间方差最小的聚类分析结果中每个簇的中心点中预设区域的颜色值;
步骤S802、分别计算所述每个簇的中心点中预设区域的颜色值与所述K个可移动件的标准颜色值之间的距离;
步骤S803、将与所述每个簇的中心点中预设区域的颜色值之间的距离最小的标准颜色值,作为所述每个簇的中心点的颜色值。
在应用中,获取最大类间方差最小的聚类分析结果中每个簇的中心点的颜色的方法具体为,获取该聚类分析结果中每个簇的中心点中预设区域的颜色值,然后分别计算每个簇的中心点中预设区域的颜色值与K个可移动件的标准颜色值之间的距离,当任一簇的中心点中预设区域的颜色值与一个可移动件的标准颜色值之间的距离最小,即可将该可移动件的标准颜色值作为该任一簇的中心点的颜色值。预设区域的大小可以根据实际需要设置为任意像素大小,例如,10×10个像素大小。颜色之间的距离的大小反应了颜色差异的大小,距离的大小与颜色差异的大小正相关。
如图9所示,在一个实施例,步骤S801之前包括如下步骤S901和S902:
步骤S901、分别获取所述K个可移动件的所有像素点在不同光照环境下的YUV值;
步骤S902、分别根据每个所述可移动件的所有像素点的Y值,获取每个所述可移动件在N个依次相邻的Y值区间中的每个Y值区间的平均U值和平均V值,得到每个所述可移动件在所述每个Y值区间的标准U值和标准V值,N≥2;
步骤S802,包括:
步骤S903、分别根据所述每个簇的中心点中预设区域的Y值所处的Y值区间,计算所述每个簇的中心点中预设区域的U值和V值与每个所述可移动件在相同的Y值区间的标准U值和标准V值之间的距离。
在应用中,YUV值中Y表示明亮度(Luminance或Luma),也就是灰阶值,U和V表示色度(Chrominance或Chroma),YUV值中的Y值与光照环境的亮度有关,每个可移动件的所有像素点在不同的光照环境下的Y值不同,在相同的光照环境下的Y值相同。
在应用中,对于每个可移动件,获取其在不同光照环境下的所有像素点的YUV值之后,按照Y值所处的Y值区间,获取可移动件在每个Y值区间的所有像素点的U值的平均值(即平均U值)和V值的平均值(即平均V值),将平均U值作为标准U值,平均V值作为标准V值。Y值区间可以根据实际需要进行划分,例如,N=10,10个依次相邻的Y值区间分别为[40,80),[80,100),[100,120),[120,140),[140,160),[160,180),[180,200),[200,220),[220,245),[245,255],这些区间为灰度区间。在获得每个可移动件在每个Y值区间的标准U值和标准V值之后,则可根据每个簇的中心点中预设区域的Y值所处的Y值区间,计算预设区域的U值和V值与每个可移动件在相同的Y值区域的标准U值和标准V值之间的距离。
在一个实施例中,步骤S903中距离的计算公式为:
dis=a×abs(U-Ustd)+b×abs(V-Vstd);
a+b=1;
其中,dis表示任一簇的中心点中预设区域的颜色值与任一可移动件标准颜色值之间的距离,a和b表示权重系数,abs()表示求绝对值函数,U表示所述任一簇的中心点中预设区域的U值,V表示所述任一簇的中心点中预设区域的V值,Ustd表示任一可移动件在所述任一簇的中心点中预设区域的Y值所处的Y值区间的标准U值,Vstd表示所述任一可移动件在所述任一簇的中心点中预设区域的Y值所处的Y值区间的标准V值。
在应用中,通过上述方法确定每个簇的中心点的颜色值,然后根据每个簇的中心点的颜色值确定每个簇的中心点的颜色,即可得到使用者放置于第二区域的每个可移动件的中心点的颜色,这种方式可能会产生颜色检测错误的情况。通过大量实验得出结论,颜色检测错误的情况主要发生在相近颜色之间,例如,红色和橙色之间,容易将橙色识别为红色,出现两个红色;或者实际只有一个橙色时,将橙色识别为红色。对于中心点的颜色分别为红色和橙色的两个簇,可以比对这两个簇的中心点的YUV值中的U值,将U值较大的一个簇的中心点的颜色确定为是红色,另一个簇的中心点的颜色确定为是橙色。对于中心点的颜色为红色的簇,比较该簇的中心点的YUV值中的U值与预设U值之间的大小,该簇的中心点的YUV值中的U值大于或等于预设U值时,确定该簇的中心点的颜色为红色,否则为橙色。预设U值是根据大量实验获得在不同光照环境下的红色U值和橙色U值之间的临界值,具体为110。
本发明实施例提供的逻辑板识别方法通过获取逻辑板的图像,识别逻辑板的第一区域的图像中的目标页面;当目标页面识别成功时,检测逻辑板的第二区域的图像中与可移动件的形状之间的相似度大于第一阈值的目标物;对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;根据每个簇的中心点的颜色及所处的放置位,获取使用者执行目标页面中的逻辑训练任务的执行结果并输出,可以通过人工智能技术代替人工利用图像识别和聚类分析方法,识别使用者是否正确执行放置于逻辑板的绘本页面中逻辑训练任务,可以有效提高识别效率且节省人力,尤其适用于在无监护人陪同的情况下对婴幼儿或智力低下的人群进行逻辑思维能力训练。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供一种逻辑板识别装置,用于执行上述逻辑板识别方法实施例中的步骤。逻辑板识别装置可以是终端设备中的虚拟装置(virtual appliance),由终端设备的处理器运行,也可以是终端设备本身。
如图10所示,本申请实施例提供的逻辑板识别装置10包括:
图像获取模块101,用于获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面;
图像识别模块102,用于当所述目标页面识别成功时,检测所述逻辑板的第二区域的图像中与所述可移动件的形状之间的相似度大于第一阈值的目标物;
聚类分析模块103,用于对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;
结果输出模块104,用于根据所述每个簇的中心点的颜色及所处的放置位,获取使用者执行所述目标页面中的逻辑训练任务的执行结果并输出。
在一个实施例中,所述逻辑板识别装置还包括启动模块,用于启动终端设备的语音播报功能。
在一个实施例中,所述启动模块,还用于启动终端设备的逻辑板识别功能。
在一个实施例中,所述逻辑板识别装置还包括:
提示模块,用于当所述目标页面识别失败时,输出表征目标页面识别失败的第一提示信息;
定时模块,用于在等待第一预设时间之后,返回图像获取模块;
通信模块,用于:
当所述目标页面识别失败的次数达到第一预设次数时,将所述逻辑板的图像上传至服务器,以通过所述服务器识别所述目标页面;
获取所述服务器的识别结果;
当所述服务器的识别结果为所述目标页面识别成功时,从所述服务器下载包括所述目标页面的SIFI特征及逻辑训练任务的绘本模型;
所述提示模块,还用于当所述服务器的识别结果为所述目标页面识别失败时,输出表征所述目标页面识别失败的第一提示信息,返回图像获取模块。
在一个实施例中,所述提示模块,还用于若未检测到目标物,则输出表征目标物检测失败的第二提示信息;
所述定时模块,还用于在等待第二预设时间之后,返回图像识别模块;
所述逻辑板识别装置还包括:
待机模块,用于当所述目标物检测失败的次数达到第二预设次数时,进入待机模式;
所述定时模块,还用于当所述目标物检测失败的次数达到第二预设次数时,等待第三预设时间之后,返回图像识别模块。
在应用中,逻辑板识别装置中的各模块可以为软件程序模块,也可以通过处理器中集成的不同逻辑电路实现,还可以通过多个分布式处理器实现。
如图11所示,本申请实施例还提供一种终端设备11,包括:摄像头110、至少一个处理器111(图11中仅示出一个处理器)、存储器112以及存储在所述存储器112中并可在所述至少一个处理器111上运行的计算机程序113,所述处理器111执行所述计算机程序113时实现上述任意逻辑板识别方法实施例中的步骤。
在应用中,终端设备可以是机器人、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图11仅仅是终端设备的举例,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
在应用中,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在应用中,存储器在一些实施例中可以是终端设备的内部存储单元,例如终端设备的硬盘或内存。存储器在另一些实施例中也可以是终端设备的外部存储设备,例如终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将所述装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的逻辑板识别方法。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述任一实施例所述的逻辑板识别方法。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置、终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置、终端设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或模块的间接耦合或通讯连接,可以是电性,机械或其它的形式。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种逻辑板识别方法,其特征在于,所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件,所述第一区域用于放置绘本页面,所述第二区域设置有2×K个放置位,每个所述放置位用于放置一个所述可移动件,所述逻辑板识别方法包括:
获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面;
当所述目标页面识别成功时,检测所述逻辑板的第二区域的图像中与所述可移动件的形状之间的相似度大于第一阈值的目标物;
对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;
根据所述每个簇的中心点的颜色及所处的放置位,获取使用者执行所述目标页面中的逻辑训练任务的执行结果并输出。
2.如权利要求1所述的逻辑板识别方法,其特征在于,所述对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位,包括:
对检测到的目标物进行类别数分别为1~K的K次聚类分析,得到K个聚类分析结果,每次聚类分析选取的初始中心点之间的距离都大于目标距离,所述目标距离为所述第二区域中距离最小的两个放置位之间的距离;
获取最大类间方差最小的聚类分析结果中每个簇的中心点的颜色;
根据最大类间方差最小的聚类分析结果中每个簇的中心点的位置,确定所述每个簇的中心点所处的放置位。
3.如权利要求2所述的逻辑板识别方法,其特征在于,所述获取最大类间方差最小的聚类分析结果中每个簇的中心点的颜色,包括:
获取最大类间方差最小的聚类分析结果中每个簇的中心点中预设区域的颜色值;
分别计算所述每个簇的中心点中预设区域的颜色值与所述K个可移动件的标准颜色值之间的距离;
将与所述每个簇的中心点中预设区域的颜色值之间的距离最小的标准颜色值,作为所述每个簇的中心点的颜色值。
4.如权利要求3所述的逻辑板识别方法,其特征在于,所述分别计算所述每个簇的中心点中预设区域的颜色值与所述K个可移动件的标准颜色值之间的距离之前,包括:
分别获取所述K个可移动件的所有像素点在不同光照环境下的YUV值;
分别根据每个所述可移动件的所有像素点的Y值,获取每个所述可移动件在N个依次相邻的Y值区间中的每个Y值区间的平均U值和平均V值,得到每个所述可移动件在所述每个Y值区间的标准U值和标准V值,N≥2;
所述分别计算所述每个簇的中心点中预设区域的颜色值与所述K个可移动件的标准颜色值之间的距离,包括:
分别根据所述每个簇的中心点中预设区域的Y值所处的Y值区间,计算所述每个簇的中心点中预设区域的U值和V值与每个所述可移动件在相同的Y值区间的标准U值和标准V值之间的距离。
5.如权利要求4所述的逻辑板识别方法,其特征在于,所述分别根据所述每个簇的中心点中预设区域的Y值所处的Y值区间,计算所述每个簇的中心点中预设区域的U值和V值与每个所述可移动件在相同的Y值区间的标准U值和标准V值之间的距离的计算公式为:
dis=a×abs(U-Ustd)+b×abs(V-Vstd);
a+b=1;
其中,dis表示任一簇的中心点中预设区域的颜色值与任一可移动件标准颜色值之间的距离,a和b表示权重系数,abs()表示求绝对值函数,U表示所述任一簇的中心点中预设区域的U值,V表示所述任一簇的中心点中预设区域的V值,Ustd表示任一可移动件在所述任一簇的中心点中预设区域的Y值所处的Y值区间的标准U值,Vstd表示所述任一可移动件在所述任一簇的中心点中预设区域的Y值所处的Y值区间的标准V值。
6.如权利要求1至5任一项所述的逻辑板识别方法,其特征在于,所述获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面,包括:
获取所述逻辑板的图像;
提取所述逻辑板的第一区域的图像的SIFI特征与已下载的所有绘本模型中每一页面的图像的SIFI特进行匹配,每个所述绘本模型包括一本绘本中每一页面的图像的SIFI特征及逻辑训练任务;
分别获取所述绘本模型中每一页面的图像与所述第一区域的图像中相匹配的SIFI特征的数量;
当所述绘本模型中任一页面的图像与所述第一区域的图像中相匹配的SIFI特征的数量大于预设数量时,获取所述第一区域的图像的尺寸信息与预设尺度信息进行匹配;
当所述尺寸信息与预设尺度信息相匹配时,确定目标页面识别成功;
当所述绘本模型中每一页面的图像与所述第一区域的图像相匹配的SIFI特征的数量都小于或等于预设数量,或者,所述尺寸信息与预设尺寸信息不匹配时,确定所述目标页面识别失败;
输出表征所述目标页面识别失败的第一提示信息,返回获取所述逻辑板的图像。
7.如权利要求6所述的逻辑板识别方法,其特征在于,所述获取所述第一区域的图像的尺寸信息,包括:
获取所述第一区域的图像的边长、边长比值和每个顶角的角度;
所述当所述尺寸信息与预设尺度信息相匹配时,确定目标页面识别成功,包括:
当所述第一区域的图像的边长、边长比值和每个顶角的角度分别处于预设边长范围、预设边长比值范围和预设角度范围时,确定目标页面识别成功。
8.如权利要求6所述的逻辑板识别方法,其特征在于,所述输出表征所述目标页面识别失败的第一提示信息,返回获取所述逻辑板的图像之后,包括:
当所述目标页面识别失败的次数达到第一预设次数时,将所述逻辑板的图像上传至服务器,以通过所述服务器识别所述目标页面;
获取所述服务器的识别结果;
当所述服务器的识别结果为所述目标页面识别成功时,从所述服务器下载包括所述目标页面的SIFI特征及逻辑训练任务的绘本模型;
当所述服务器的识别结果为所述目标页面识别失败时,输出表征所述目标页面识别失败的第一提示信息,返回获取所述逻辑板的图像。
9.一种逻辑板识别装置,其特征在于,所述逻辑板包括第一区域、第二区域和K个形状相同且颜色不同的可移动件,所述第一区域用于放置绘本页面,所述第二区域设置有2×K个放置位,每个所述放置位用于放置一个所述可移动件,所述逻辑板识别装置包括:
图像获取模块,用于获取所述逻辑板的图像,识别所述逻辑板的第一区域的图像中的目标页面;
图像识别模块,用于当所述目标页面识别成功时,检测所述逻辑板的第二区域的图像中与所述可移动件的形状之间的相似度大于第一阈值的目标物;
聚类分析模块,用于对检测到的目标物进行聚类分析,获取聚类分析结果中每个簇的中心点的颜色及所处的放置位;
结果输出模块,用于根据所述每个簇的中心点的颜色及所处的放置位,获取使用者执行所述目标页面中的逻辑训练任务的执行结果并输出。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,还包括摄像头或与摄像头通信连接,所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述逻辑板识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011046766.5A CN112201117B (zh) | 2020-09-29 | 2020-09-29 | 一种逻辑板识别方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011046766.5A CN112201117B (zh) | 2020-09-29 | 2020-09-29 | 一种逻辑板识别方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112201117A true CN112201117A (zh) | 2021-01-08 |
CN112201117B CN112201117B (zh) | 2022-08-02 |
Family
ID=74007043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011046766.5A Active CN112201117B (zh) | 2020-09-29 | 2020-09-29 | 一种逻辑板识别方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112201117B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09293142A (ja) * | 1996-04-25 | 1997-11-11 | Tec Corp | 物品の認識方法 |
EP1555804A2 (en) * | 2004-01-19 | 2005-07-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing program and storage medium |
US20100232719A1 (en) * | 2006-09-08 | 2010-09-16 | Google Inc. | Shape Clustering in Post Optical Character Recognition Processing |
CN101889921A (zh) * | 2009-05-19 | 2010-11-24 | 北京保益互动科技发展有限公司 | 一种视力残障人士辅助颜色识别方法及其系统 |
CN107784301A (zh) * | 2016-08-31 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于识别图像中文字区域的方法和装置 |
CN107886033A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 识别圆形交通灯的方法、装置及车辆 |
CN108229500A (zh) * | 2017-12-12 | 2018-06-29 | 西安工程大学 | 一种基于函数拟合的sift误匹配点剔除法 |
US20180260974A1 (en) * | 2017-03-09 | 2018-09-13 | Hewlett Packard Enterprise Development Lp | Color recognition through learned color clusters |
CN109887383A (zh) * | 2019-04-18 | 2019-06-14 | 孔祥明 | 一种逻辑块、逻辑板、拼版式逻辑编程系统及方法 |
CN110111648A (zh) * | 2019-04-17 | 2019-08-09 | 吉林大学珠海学院 | 一种编程训练系统及方法 |
CN209946922U (zh) * | 2019-08-06 | 2020-01-14 | 深圳聆听智能教育有限公司 | 一种ai机器学习训练板机 |
CN110751037A (zh) * | 2019-09-17 | 2020-02-04 | 中控智慧科技股份有限公司 | 车身颜色识别的方法及终端设备 |
CN111027533A (zh) * | 2019-12-12 | 2020-04-17 | 广东小天才科技有限公司 | 一种点读坐标的变换方法、系统、终端设备及存储介质 |
CN111177450A (zh) * | 2019-12-31 | 2020-05-19 | 视辰信息科技(上海)有限公司 | 一种图像检索云识别方法、系统及计算机可读存储介质 |
CN111191067A (zh) * | 2019-12-25 | 2020-05-22 | 深圳市优必选科技股份有限公司 | 绘本识别方法、终端设备及计算机可读存储介质 |
CN111222397A (zh) * | 2019-10-25 | 2020-06-02 | 深圳市优必选科技股份有限公司 | 一种绘本识别方法、装置及机器人 |
CN111639158A (zh) * | 2020-05-15 | 2020-09-08 | 广东小天才科技有限公司 | 一种学习内容的显示方法及电子设备 |
CN111695453A (zh) * | 2020-05-27 | 2020-09-22 | 深圳市优必选科技股份有限公司 | 绘本识别方法、装置及机器人 |
-
2020
- 2020-09-29 CN CN202011046766.5A patent/CN112201117B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09293142A (ja) * | 1996-04-25 | 1997-11-11 | Tec Corp | 物品の認識方法 |
EP1555804A2 (en) * | 2004-01-19 | 2005-07-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing program and storage medium |
US20100232719A1 (en) * | 2006-09-08 | 2010-09-16 | Google Inc. | Shape Clustering in Post Optical Character Recognition Processing |
CN101889921A (zh) * | 2009-05-19 | 2010-11-24 | 北京保益互动科技发展有限公司 | 一种视力残障人士辅助颜色识别方法及其系统 |
US20190050662A1 (en) * | 2016-08-31 | 2019-02-14 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method and Device For Recognizing the Character Area in a Image |
CN107784301A (zh) * | 2016-08-31 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于识别图像中文字区域的方法和装置 |
CN107886033A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 识别圆形交通灯的方法、装置及车辆 |
US20180260974A1 (en) * | 2017-03-09 | 2018-09-13 | Hewlett Packard Enterprise Development Lp | Color recognition through learned color clusters |
CN108229500A (zh) * | 2017-12-12 | 2018-06-29 | 西安工程大学 | 一种基于函数拟合的sift误匹配点剔除法 |
CN110111648A (zh) * | 2019-04-17 | 2019-08-09 | 吉林大学珠海学院 | 一种编程训练系统及方法 |
CN109887383A (zh) * | 2019-04-18 | 2019-06-14 | 孔祥明 | 一种逻辑块、逻辑板、拼版式逻辑编程系统及方法 |
CN209946922U (zh) * | 2019-08-06 | 2020-01-14 | 深圳聆听智能教育有限公司 | 一种ai机器学习训练板机 |
CN110751037A (zh) * | 2019-09-17 | 2020-02-04 | 中控智慧科技股份有限公司 | 车身颜色识别的方法及终端设备 |
CN111222397A (zh) * | 2019-10-25 | 2020-06-02 | 深圳市优必选科技股份有限公司 | 一种绘本识别方法、装置及机器人 |
CN111027533A (zh) * | 2019-12-12 | 2020-04-17 | 广东小天才科技有限公司 | 一种点读坐标的变换方法、系统、终端设备及存储介质 |
CN111191067A (zh) * | 2019-12-25 | 2020-05-22 | 深圳市优必选科技股份有限公司 | 绘本识别方法、终端设备及计算机可读存储介质 |
CN111177450A (zh) * | 2019-12-31 | 2020-05-19 | 视辰信息科技(上海)有限公司 | 一种图像检索云识别方法、系统及计算机可读存储介质 |
CN111639158A (zh) * | 2020-05-15 | 2020-09-08 | 广东小天才科技有限公司 | 一种学习内容的显示方法及电子设备 |
CN111695453A (zh) * | 2020-05-27 | 2020-09-22 | 深圳市优必选科技股份有限公司 | 绘本识别方法、装置及机器人 |
Non-Patent Citations (2)
Title |
---|
B. HEISELE,ETC: "Motion-Based Recognition of Pedestrians", 《INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
吴笑鑫: "彩色图像分割技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112201117B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948590B (zh) | 姿态问题检测方法及装置 | |
CN111178355B (zh) | 印章识别方法、装置和存储介质 | |
CN112241714B (zh) | 图像中指定区域的识别方法、装置、可读介质和电子设备 | |
US8515164B2 (en) | Non-product image identification | |
US11636779B2 (en) | Method, apparatus and terminal device for constructing parts together | |
CN109408058B (zh) | 基于机器学习的前端辅助开发方法和装置 | |
CN112052186A (zh) | 目标检测方法、装置、设备以及存储介质 | |
CN111061933A (zh) | 图片样本库构建方法、装置、可读存储介质及终端设备 | |
CN111191582A (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
CN111223065A (zh) | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 | |
CN112016346A (zh) | 手势的识别方法、装置、系统以及信息的处理方法 | |
CN112750162A (zh) | 一种目标识别定位方法和装置 | |
CN112200230B (zh) | 一种训练板的识别方法、装置及机器人 | |
CN112201117B (zh) | 一种逻辑板识别方法、装置及终端设备 | |
CN111027533B (zh) | 一种点读坐标的变换方法、系统、终端设备及存储介质 | |
CN112488054A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
CN109919164B (zh) | 用户界面对象的识别方法及装置 | |
CN111950469A (zh) | 一种道路标识检测方法、系统、设备和介质 | |
CN112201116B (zh) | 一种逻辑板识别方法、装置及终端设备 | |
CN112201118B (zh) | 一种逻辑板识别方法、装置及终端设备 | |
CN117333892A (zh) | 题干和答案的识别方法、装置、可读存储介质及终端设备 | |
CN113901053A (zh) | 一种基于大数据的教材索引管理系统 | |
CN116434253A (zh) | 图像处理方法、装置、设备、存储介质及产品 | |
CN113391779A (zh) | 类纸屏幕的参数调节方法、装置及设备 | |
CN112989924A (zh) | 目标检测方法、目标检测装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231210 Address after: Room 601, 6th Floor, Building 13, No. 3 Jinghai Fifth Road, Beijing Economic and Technological Development Zone (Tongzhou), Tongzhou District, Beijing, 100176 Patentee after: Beijing Youbixuan Intelligent Robot Co.,Ltd. Address before: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province Patentee before: Shenzhen Youbixuan Technology Co.,Ltd. |