CN114530076A - 一种儿童编程结果反馈系统以及方法 - Google Patents

Abstract

本发明公开了一种儿童编程结果反馈系统及方法，包括载体、算力单元、光学识别单元、执行单元和终端设备；载体上具有特定图形，特定图形用于表征执行命令；光学识别单元包括图像采集模块，图像采集模块用于采集载体图像，并记录图像序列，图像序列由多个特定图形组合而成；算力单元用于对载体图像进行预处理、识别图像序列的执行程序或执行命令，并下发至执行单元；执行程序由多个执行命令按照图像序列包含的顺序组合而成；执行单元根据执行程序或执行命令完成指定动作并将执行结果反馈至终端设备。本发明实现了执行单元与环境、用户的交互，避免儿童编程过程缺乏互动感和准确性；提高儿童编程产品的互动性，提供编程学习的沉浸式的交互体验。

Description

一种儿童编程结果反馈系统以及方法

技术领域

本发明涉及人工智能领域，特别是一种儿童编程结果反馈系统以及方法。

背景技术

目前，人工智能已经成为国际竞争的新焦点，引领着未来科技发展的潮流，大多数国家已经将人工智能提升为国家战略层面，力图在新一轮国际科技竞争中掌握话语权。如今的信息时代，编程作为和计算机沟通最有效的语言方式而备受推崇。

并且，《新一代人工智能发展规划》发布，明确指出在中小学阶段设置人工智能相关课程，逐步推广编程教育。因此，少儿编程教育、儿童编程产品也不断涌现。

但是，目前市面上的儿童编程产品缺乏实体执行机构，导致儿童只能盯着屏幕上的执行反馈结果，缺乏沉浸式的交互体验；并且，无法根据实体执行机构确定自己的编程结果，导致儿童无法提升编程过程的互动感和准确性。

发明内容

本发明的主要目的在于提供了一种儿童编程结果反馈系统以及方法，旨在解决现有的儿童编程产品编程过程缺乏互动感，导致儿童编程学习缺乏沉浸式的交互体验的技术问题。

为实现上述目的，本发明提供了一种儿童编程结果反馈系统，包括载体、算力单元、光学识别单元、执行单元和终端设备；载体上具有特定图形，所述特定图形用于表征执行命令；光学识别单元包括图像采集模块，所述图像采集模块用于采集载体图像，并记录图像序列，所述图像序列由多个特定图形组合而成；算力单元用于对载体图像进行预处理、识别所述图像序列的执行程序或执行命令，并下发至执行单元；所述执行程序由多个执行命令按照所述图像序列包含的顺序组合而成；执行单元根据执行程序或执行命令完成指定动作并将执行结果反馈至终端设备。

可选的，所述载体上还具有可识别特征，所述可识别特征用于表征特定图形的识别方向，光学识别单元通过识别方向确定特定图形在载体上的位置。

可选的，所述可识别特征由识别起点、图形窗口和识别窗口组成；所述识别起点用于算力单元确定识别点，所述图形窗口用于限制特定图形的大小，所述识别窗口用于限制算力单元的识别范围，所述识别窗口大于所述图形窗口。

可选的，所述多个特定图形位于同一个载体上，所述图像采集模块采集载体图像、记录载体图像上的图像序列；或者，所述多个特定图形分别位于不同的载体上，所述图像采集模块逐个采集载体图像，形成并记录图像序列。

可选的，所述图像采集模块为照相机，所述算力单元根据照相机的参数对载体图像进行矫正和预处理。

可选的，所述预处理包括二值化、平滑、滤波、动态范围压缩、插值或对比度拉伸。

可选的，所述终端设备包括控制模块和交互模块，所述控制模块用于供用户确定执行命令，所述交互模块用于显示执行结果。

可选的，所述执行单元包括辅材模块、光学辨识模块、运算与存储模块、传动模块和多媒体模块；所述光学辨识模块与辅材模块进行交互识别，根据执行程序或执行命令在辅材模块的指定位置执行预设功能；所述运算与存储模块对执行程序或执行命令进行处理与判断后，下发至传动模块和/或多媒体模块；所述传动模块接收执行程序或执行命令，并完成对应的指定动作；所述多媒体模块接收执行程序或执行命令，并完成对应的声、光和动态效果。

可选的，所述载体为纸质或固体实体；所述辅材模块为纸质或固体实体，且包含印刷、冲压或雕刻在表面的光学辨识特征；或者，所述辅材模块为纸质或固体实体，且包含嵌入在不同区域的天线。

与所述儿童编程结果反馈系统相对应的，本发明提供一种儿童编程结果反馈方法，其包括如下步骤：采集载体图像，并记录图像序列，载体上具有特定图形，特定图形用于表征执行命令；所述图像序列由多个特定图形组合而成；对载体图像进行预处理、识别所述图像序列的执行程序或执行命令，并下发至执行单元；所述执行程序由多个执行命令按照所述图像序列包含的顺序组合而成；根据执行程序或执行命令完成指定动作并将执行结果进行反馈。

本发明的有益效果是：

(1)通过算力单元、执行单元、辅材和终端设备，实现执行单元与环境、用户的多维度交互，避免儿童编程过程缺乏互动感和准确性；提高儿童编程产品的互动性，提供编程学习的沉浸式的交互体验；

(2)通过执行单元将执行结果进行反馈，儿童用户可以确定自己的编程结果，培养儿童的闭环反馈逻辑；

(3)通过可识别特征，光学识别单元能够确定载体图像的拍摄位置，提高图像采集效率；

(4)通过光学识别单元和算力单元，可以识别塑料、金属实体或印刷品上的特定图形，同时将对应的执行程序或执行命令发送给指定的一个或多个执行单元。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明多个特定图形位于不同的载体上一实施例图像序列；

图2为本发明多个特定图形位于不同的载体上另一实施例图像序列；

图3为本发明多个特定图形分别位于同一个载体上一实施例图像序列；

图4为本发明载体上的可识别特征的一实施例示意图；

图5为本发明载体上的可识别特征的另一实施例示意图；

图6为本发明光学识别单元的一实施例示意图；

图7为本发明执行单元的一实施例示意图。

附图标记：1-识别起点，2-图形窗口，3-识别窗口，4-图像采集模块，5-辅助设备；6-执行单元，60-辅材模块，61-光学辨识模块，62-运算与存储模块；63-传动模块，64-多媒体模块；65-可替换角色模块，66-收发装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种儿童编程结果反馈系统，包括载体、算力单元、光学识别单元、执行单元6和终端设备；载体上具有特定图形，特定图形用于表征执行命令；光学识别单元包括图像采集模块4，图像采集模块4用于采集载体图像，并记录图像序列，图像序列由多个特定图形组合而成；算力单元用于对载体图像进行预处理、识别图像序列的执行程序或执行命令，并将执行程序或执行命令下发至执行单元6；执行程序由多个执行命令按照图像序列包含的顺序组合而成；执行单元6根据执行程序或执行命令完成指定动作并将执行结果反馈至终端设备。

本发明通过算力单元、执行单元6、辅材和终端设备，实现执行单元6与环境、用户的多维度交互，避免儿童编程过程缺乏互动感和准确性；提高儿童编程产品的互动性，提供编程学习的沉浸式的交互体验。

优选的，特定图形为箭头、舞蹈小人、音符等图形，请参考图1。具体而言，箭头表示执行运动方向，舞蹈小人表示执行舞蹈，音符表示执行音乐播放。

在本实施例中，多个特定图形位于同一个载体上，图像采集模块4采集载体图像、记录载体图像上的图像序列；或者，多个特定图形分别位于不同的载体上，图像采集模块4逐个采集载体图像，形成并记录图像序列。

载体上还具有可识别特征，可识别特征用于表征特定图形的识别方向，光学识别单元通过识别方向确定特定图形在载体上的位置。本发明通过可识别特征，光学识别单元能够确定载体图像的拍摄位置，提高图像采集效率。

优选的，可识别特征是根据载体材质的特性设置的。具体而言，在本实施例中，载体为纸质载体时，特定图形的选择可以在移动终端或电脑网页端中完成，并通过互联网、局域网或个域网传输给热敏打印机，将特定图形打印于纸质上，并采用如图4所示可识别特征。

在本实施例中，如图1所示，载体为纸质载体，多个特定图形分别位于不同的载体上，图像采集模块4逐个采集载体图像，形成并记录图像序列。在图1中，图像序列表征的执行程序为：向左直行-向左直行-执行舞蹈-向右直行-向前直行-先向前直行再向右转-播放音乐-向后倒退。

或者，如图3所示，载体为纸质载体，多个特定图形位于同一个载体上，图像采集模块4采集载体图像、记录载体图像上的图像序列。

在另一实施例中，请结合参考图2和图5所示，载体为固体实体，优选为塑料、金属。此时，特定图形冲压或雕刻在载体表面，可采用载体本身的特征作为可识别特征，优选为不对称的凹陷，用以识别出特定图形的识别方向。

优选的，可识别特征由识别起点1、图形窗口2和识别窗口3组成；识别起点1用于算力单元确定识别点，图形窗口2用于限制特定图形的大小，识别窗口3用于限制算力单元的识别范围，识别窗口3大于图形窗口2。

在本实施例中，图像采集模块4为照相机，算力单元根据照相机的参数对载体图像进行矫正和预处理。

优选的，预处理包括二值化、平滑、滤波、动态范围压缩、插值或对比度拉伸。

在本实施例中，光学识别单元请参考图6，图像采集工作基于固定位置的照相机与固定位置的辅助设备5进行图像采集，优选的，辅助设备5为载体放置台。照相机拍摄载体图像并记录图像序列后，算力单元在图形窗口2和识别起点1执行特征识别算法，识别载体图像表征的执行命令。

本发明通过光学识别单元和算力单元，可以识别塑料、金属实体或印刷品上的特定图形，同时将对应的执行命令发送给指定的一个或多个执行单元6。

在另一种实例中，算力单元可以基于网络的机器学习图像识别算法，基于ImageNet，RCNN等神经网络或深度学习网络对载体图像中的内容。

请参考图7，在本实施例中，执行单元6包括辅材模块60、光学辨识模块61、运算与存储模块62、传动模块63和多媒体模块64；光学辨识模块61与辅材模块60进行交互识别，根据执行程序或执行命令在辅材模块60的指定位置执行执行程序的预设功能；运算与存储模块62对执行程序或执行命令进行处理与判断后，将执行程序或执行命令下发至传动模块63和/或多媒体模块64；传动模块63接收执行程序或执行命令，并完成执行程序或执行命令对应的指定动作；多媒体模块64接收执行程序或执行命令，并完成执行程序或执行命令对应的声、光和动态效果。

本发明通过执行单元6将执行结果进行反馈，儿童用户可以确定自己的编程结果，培养儿童的闭环反馈逻辑。

优选的，光学辨识模块61与辅材模块60(如棋盘)上的特征点进行交互识别，一实例是光学辨识模块61基于OID(Optical Identification)技术，对印刷品上的OID点阵进行交互，在指定位置执行预设功能。

在另一种实例中，光学辨识模块61是对雕刻或冲压于特定材质表面的识别码(如二维码，条形码)进行拍照和图片识别，并处理后在指定位置执行预设功能。

在本实施例中，算力单元的特征识别算法可以通过对特定图形与传动模块63的执行命令进行相关匹配，例如传动模块63采用小车完成执行程序对应的指定动作时，图1所示“向左直行”与“小车进行90°左转并持续行进6cm”的动作相匹配，或“向前直行”与“小车前进6cm”的动作相匹配。

优选的，在执行过程中，传动模块63下一个的指定动作是在上一个指定动作的完成基础上进行的。

在本实施例中，执行单元6还包括可替换角色模块65，用于辅助执行单元6完成指定动作，用户可以根据自己的喜好对可替换角色模块65进行更换，增添编程学习过程中的趣味性。

在本实施例中，载体为纸质、塑料或金属材质；辅材模块60为纸质、塑料或金属材质，且包含印刷、冲压或雕刻在表面的光学辨识特征；或者，辅材模块60为纸质、塑料或金属材质，且包含嵌入在不同区域的天线。

优选的，执行单元6可以内置或者外置具备射频识别(RFID或NFC)收发装置66，该收发装置可以与辅材模块60中的无源天线进行交互。

在本实施例中，终端设备包括控制模块和交互模块，控制模块用于供用户确定执行命令，交互模块用于显示执行结果。以及，终端设备具备网络模块，并至少包含数据转发、加解密和路由寻址等最基本的数据处理功能，可以通过局域、个域或移动网络收发指令或图片。

与儿童编程结果反馈系统相对应的，本发明还提供一种儿童编程结果反馈方法，其包括如下步骤：采集载体图像，并记录图像序列，载体上具有特定图形，特定图形用于表征执行命令；图像序列由多个特定图形组合而成；对载体图像进行预处理、识别图像序列的执行程序或执行命令，并将执行程序或执行命令下发至执行单元6；执行程序由多个执行命令按照图像序列包含的顺序组合而成；根据执行程序或执行命令完成指定动作并将执行结果进行反馈。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例、设备实施例及存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种儿童编程结果反馈系统，其特征在于，包括载体、算力单元、光学识别单元、执行单元和终端设备；

载体上具有特定图形，所述特定图形用于表征执行命令；

光学识别单元包括图像采集模块，所述图像采集模块用于采集载体图像，并记录图像序列，所述图像序列由多个特定图形组合而成；

算力单元用于对载体图像进行预处理、识别所述图像序列的执行程序或执行命令，并下发至执行单元；所述执行程序由多个执行命令按照所述图像序列包含的顺序组合而成；

执行单元根据执行程序或执行命令完成指定动作并将执行结果反馈至终端设备。

2.根据权利要求1所述的一种儿童编程结果反馈系统，其特征在于：所述载体上还具有可识别特征，所述可识别特征用于表征特定图形的识别方向，光学识别单元通过识别方向确定特定图形在载体上的位置。

3.根据权利要求2所述的一种儿童编程结果反馈系统，其特征在于：所述可识别特征由识别起点、图形窗口和识别窗口组成；

所述识别起点用于算力单元确定识别点，所述图形窗口用于限制特定图形的大小，所述识别窗口用于限制算力单元的识别范围，所述识别窗口大于所述图形窗口。

4.根据权利要求1所述的一种儿童编程结果反馈系统，其特征在于：所述多个特定图形位于同一个载体上，所述图像采集模块采集载体图像、记录载体图像上的图像序列；

或者，所述多个特定图形分别位于不同的载体上，所述图像采集模块逐个采集载体图像，形成并记录图像序列。

5.根据权利要求1所述的一种儿童编程结果反馈系统，其特征在于：所述图像采集模块为照相机，所述算力单元根据照相机的参数对载体图像进行矫正和预处理。

6.根据权利要求5所述的一种儿童编程结果反馈系统，其特征在于：所述预处理包括二值化、平滑、滤波、动态范围压缩、插值或对比度拉伸。

7.根据权利要求1所述的一种儿童编程结果反馈系统，其特征在于：所述终端设备包括控制模块和交互模块，所述控制模块用于供用户确定执行命令，所述交互模块用于显示执行结果。

8.根据权利要求1所述的一种儿童编程结果反馈系统，其特征在于：所述执行单元包括辅材模块、光学辨识模块、运算与存储模块、传动模块和多媒体模块；

所述光学辨识模块与辅材模块进行交互识别，根据执行程序或执行命令在辅材模块的指定位置执行预设功能；所述运算与存储模块对执行程序或执行命令进行处理与判断后，下发至传动模块和/或多媒体模块；所述传动模块接收执行程序或执行命令，并完成对应的指定动作；所述多媒体模块接收执行程序或执行命令，并完成对应的声、光和动态效果。

9.根据权利要求8所述的一种儿童编程结果反馈系统，其特征在于：所述载体为纸质或固体实体；

所述辅材模块为纸质或固体实体，且包含印刷、冲压或雕刻在表面的光学辨识特征；或者，所述辅材模块为纸质或固体实体，且包含嵌入在不同区域的天线。

10.一种儿童编程结果反馈方法，其特征在于，包括以下步骤：

采集载体图像，并记录图像序列，载体上具有特定图形，特定图形用于表征执行命令；所述图像序列由多个特定图形组合而成；

对载体图像进行预处理、识别所述图像序列的执行程序或执行命令，并将下发至执行单元；所述执行程序由多个执行命令按照所述图像序列包含的顺序组合而成；

根据执行程序或执行命令完成指定动作并将执行结果进行反馈。

Images