CN117453338B - 基于图像识别的实体积木编程提示方法和系统 - Google Patents

Abstract

本发明涉及图像处理分析技术领域，具体是基于图像识别的实体积木编程提示方法和系统，包括通过图像获取拼接过程的手部骨骼关节点形成抓握姿态，及时判断积木块的特征判断是否属于目标积木块，同时实时监测用户的用户手部骨骼关节点未接触实体积木时间和面部表情，及时给予智能化提示；通过图像识别生成全景三维图像重构，帮助用户尽快找到正确的积木块。本发明通过智能化通过图像监测用户拼接过程的快慢、表情进行智能化提示，减少人工带教的负担；通过图像重新三维全景图像，帮助用户较快寻找目标实体积木块的位置。

Description

基于图像识别的实体积木编程提示方法和系统

技术领域

本发明涉及图像处理分析技术领域，具体是基于图像识别的实体积木编程提示方法和系统。

背景技术

具有编程功能的实体积木是传统积木玩具的升级版本，本质上是让传统的积木组装后的玩具具有可控制的运动、显示或者触发功能。在积木玩具的趣味性的提升下，大部分积木玩具具备简单的功能，比如部件之间的相互运动如旋转、前进后退等，也有智能显示功能，还有根据传感器触发各式的预设功能。而不管是相互运动、智能显示还是传感器触发预设功能，对于增加趣味性的玩具设计者而言，实体积木块的拼接即硬件积木拼接，而若把控制软件的拼接也设计成积木块的思维即软件积木拼接，同时用户根据控制软件调试过程的硬件的动作反馈，调整修改控制软件，直到能够实现预设功能。实体积木玩具，根据积木的组装难易程度适用于不同年龄的儿童，年龄较小的儿童比如3~4岁，该年龄阶段自控性差，一般需要带教老师全程带教指导；而年龄达到6岁以上的儿童，该年龄已经具备一定的认知能力和控制能力，基本能看懂一些简单的图像示意图，甚至包括一些简单的文字。当实体积木玩具在为后者设计时，除了积木和嵌入积木的电子元件被合理拆分，还设计一套运行于手机、PAD或者电脑等具备可视化交互界面的软件系统，通过软件系统来编程。需要注意的是，此处的编程并非是直接编写代码，而是将代码设计成虚拟的积木块，儿童能通过可视化交互界面进行拖拽，从而组合成控制代码。现有的针对此种类型的实体积木编程玩具，一般是按照整个实体积木编程玩具拼接的顺序，先硬件后控制软件，为了便于在没有带教老师的情况下也能完成教学功能，可视化交互界面会提示各个阶段该寻找的积木和拼接方法，但是整个过程是提前录制或者制作的视频，缺乏根据实际情况智能化提示的功能。

发明内容

（1）要解决的技术问题

本发明的目的在于提供基于图像识别的实体积木编程提示方法和系统，以解决实体积木编程人工提示的问题。

（2）技术方案

为实现上述目的，一方面，本发明提供了基于图像识别的实体积木编程提示方法，所述方法包括：

当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；

当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过YOLO算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过YOLO算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；

当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；

当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；

期间，当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过YOLO算法提取到的用户脸部表情图像输入到预先通过SVM算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。

进一步地，所述方法还包括：

当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过YOLO算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为/>轴，垂直于平面全局图的平面为/>轴，观察坐标为/>，其中/>为摄像头测量的到用户眼睛的距离，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头到平面全局图的投影距离；当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。

进一步地，所述方法还包括：

当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。

进一步地，所述方法还包括：

当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入YOLO算法实时跟踪识别对象池。

进一步地，所述方法还包括：

在YOLO算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从YOLO算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从YOLO算法实时跟踪识别对象池剔除对应剩余的实体积木块。

基于同一发明构思，另一方面，本发明还提供了基于图像识别的实体积木编程提示系统，所述系统包括：

积木特征获取模块，用于当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；

图像获取处理模块，用于当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过YOLO算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过YOLO算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；

实体积木提示模块，用于当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；

软件积木提示模块，用于当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；

答案提示模块，用于期间当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过YOLO算法提取到的用户脸部表情图像输入到预先通过SVM算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。

进一步地，所述系统还包括：

全景重构模块，用于当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过YOLO算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为/>轴，垂直于平面全局图的平面为/>轴，观察坐标为/>，其中为摄像头测量的到用户眼睛的距离，/>为摄像头和用户眼睛连线在/>平面的投影夹角，为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头到平面全局图的投影距离；当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。

进一步地，所述系统还包括：

第一优化模块，用于当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。

进一步地，所述系统还包括：

第二优化模块，用于当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入YOLO算法实时跟踪识别对象池。

进一步地，所述系统还包括：

第三优化模块，用于在YOLO算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从YOLO算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从YOLO算法实时跟踪识别对象池剔除对应剩余的实体积木块。

（3）有益效果

与现有技术相比，本发明的有益效果是：

1、通过智能化通过图像监测用户拼接过程的快慢、表情进行智能化提示，减少人工带教的负担；

2、通过图像重新三维全景图像，帮助用户较快寻找目标实体积木块的位置。

附图说明

图1为本发明实施例1的基于图像识别的实体积木编程提示方法的流程框图；

图2为本发明实施例1的实体积木之间的连接关系举例示意图；

图3为本发明实施例1的软件积木块拼接前形状示意图；

图4为本发明实施例1的软件积木块拼接后形状示意图；

图5为本发明实施例1的人眼观察坐标示意图；

图6为本发明实施例1的相似实体积木块差异区分示意图；

图7为本发明实施例2的基于图像识别的实体积木编程提示系统的模块框图；

1、平面全局图；2、可视化交互界面终端；3、摄像头；4、用户眼睛。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在举例之前，需要针对本发明构思的应用场景予以阐述，儿童在积木拼接过程，更多的是锻炼动手能力和完成积木玩具的乐趣，因此有必要在积木拼接过程设计一个智能化提示的系统，当儿童面对复杂的积木玩具如积木块有数以百计时，能够先进行智能化的提示，防止儿童由于过于复杂而产生畏难或者放弃的情绪。当适龄儿童在拼接实体积木编程玩具过程中，家长监护人不一定是熟悉该实体积木玩具或者具备编程思维，所以智能化提示系统是起到带教老师的功能，能够让实体积木玩具的玩耍不限于场合和时间，增加其广泛性。积木玩具根据设计的拼接难度的不同，往往硬件积木被分割成数百块，儿童需要挨个拼接直到形成预设的形状，要对整个硬件拼接过程提示，具有一定难度。软件积木的提示稍微容易一些，只需要将不同的程序代码种类分为不同的形状，控制各类形状的嵌套关系即可。

实施例1：如图1所示，本实施例提供了基于图像识别的实体积木编程提示方法，所述方法包括：

S1、当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；这里的用户指的是实体积木编程玩具的使用者，这里为了方便叙述，有时将该玩具较多使用场景下的用户设定为儿童。实体积木信息是记录各个实体积木块编号、形状和拼接关系，用于判断用户是否是正确拼接，这里的拼接关系不仅仅是记录两个实体积木块连接关系，还要获取具体是哪些三维形状进行接触拼接，用于判断是否拼接正确，以解决部分实体积木块可能存在多个面拼接不同实体积木块的情形。为了方便理解本发明构思，如图2所示，比如积木块2和积木块1、积木块3、积木块5有连接关系，而积木块4只和积木块3有连接关系。需要注意的是，用户在拼接时，并不一定会从积木块1的顺序来拼接，他实际可能从任何一个积木块开始拼接，我们关注的是用户在某个积木块开始拼接后，接下来可以拼接的积木块作为提示。另外，拼接关系除了连接关系外，还包括三维形状接触关系，比如积木块1和积木块2有若干接触面，仍可能存在从物理层面能拼接但却不是正确的三维形状接触关系。若积木块存在多个三维形状相同时，实际上它们的功能是一样且可替代时，将其标记为同样的实体积木块编号，但是即使实体积木块三维形状相同但是内嵌实现其运动控制功能的电路如果不能相互替代，则仍需要赋予不同的编号。在设计上为了区分开来，积木块背面会印刷该积木块的局部电路元件简图。

S2、当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过YOLO算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过YOLO算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；实体积木编程活动分为两个步骤，首先完成实体积木拼接活动，随后再完成软件积木拼接和调试活动。实体积木编程要实现智能化提示，必不可少的是需要结合儿童通过积木玩具学习探索的规律，比如本实施例智能化提示出现的时机是需要结合儿童的表情，因此摄像头需要位于儿童的正前方，以捕捉更加完整的表情行为。摄像头的载体，本实施例是以客户现有的一些具备摄像头功能的电子产品，该电子产品安装配套的应用程序、依附于其他程序内的小程序或者其他可以产生交互功能的网页，便于运行和实体编程积木产生控制的软件积木功能。YOLO算法模型主要用于对象的检测、分割和分类，本实例中是使用YOLO算法模型中的yolov8n-pose模型，其可以对人体部位进行更精确的跟踪识别。当识别到用户手部骨骼关节点之间的角度具有相关范围的夹角，那么会认为在抓握实体积木，相关的角度参数可根据儿童在抓握时的手部特征进行提取，再根据训练好的分类器进行特征匹配。同时YOLO算法在满足抓握姿态识别后，再进行积木块的识别。需要注意的是，个别积木块通过单帧图像的识别并不精准，因为可能存在死角，比如刚好积木块只有1个或者2个面被摄像头捕捉，而往往通过3个面的捕捉对三维形状的判断更准确，因此通过多帧图像抓取来解决这个问题，多帧图像的抓取是依赖YOLO算法对同一积木块对象持续跟踪定位。

S3、当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；首次拼接时，用户两只手拿不同积木块，期间也可能随时更换，因此两个积木块都是变化的，因此需要实时查看两个积木块是否具有拼接关系。不具有拼接关系则提示积木块选择错误，能拼接但是拼接错误则会提示拼接错误，用户需要拆掉重新找其他拼接位拼接。而用户一旦完成首次拼接，那么后续的拼接是在此基础上进行拼接，那么后续要找的实体积木块就是已拼实体积木还能够产生拼接关系的实体积木，也就是可选实体积木块池。一旦用户选的积木块编号不在可选实体积木块池内，那就可以判断出是积木块选择错误，若积木块有数百个以上时，可以缩小查找比对范围，图像处理比对过程也大大降低数据处理量。

S4、当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；为了方便理解，如图3、图4是一个小车软件积木的简单示例，其中图3是未拼接时散乱形态，图4是按照运行逻辑拼接完成后的形态。可以看到图3的软件积木块将程序语法分类按照分类制作为不同形状，如左边的软件积木块是将程序中的”if（如果）……，do（那么）……”做出具有两个空插槽，空插槽都设有类似三角形或者半圆形的插槽特征限位形状，目的是只允许符合语法的软件积木块插入；右边的软件积木块有判断类型语句如“碰到障碍物？”，也有执行类型语句如“后退”、“右转弯”等。可以看到，只有判断类型语句的软件积木块形状能够适配左边的软件积木块的if（如果）的插槽位。图4是完成拼接后的结果，可以看到当不符合程序语法连接关系的软件积木块进行组合时是没法组合的，同时可视化交互界面终端提示软件积木块选择错误；只有当用户完成软件积木拼接后，可视化交互界面终端连接硬件积木并开启调试功能，此时的软件积木块背后形成的控制代码才是可以执行控制实体积木程序的。需要注意的是，调试功能就需要详细再对功能进行进一步逻辑调试，比如假设儿童将小车软件积木拼接成“如果碰到障碍物，那么前进、右转弯”，很显然此程序有问题，儿童根据实际运行行为进行进一步调试，让其体会各个控制软件和实体积木玩具的运行行为之间的关系。

S5、期间，当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过YOLO算法提取到的用户脸部表情图像输入到预先通过SVM算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。当儿童长时间没有下手选择积木块说明选择存在困难，而儿童表情存在特定的如不耐烦、生气、气恼等状态时，这两种情形都及时降低难度，防止超过儿童本身能接受的难度从而导致其产生厌恶逆反情绪。其中SVM算法是一种监督学习算法，通过创建一个分离数据点的超平面来实现。本实施例SVM算法通过将给定数据以4:1的比例拆分为训练和测试数据，核函数可选地使用径向基函数或RBF，将用户表情输入训练好的表情分类器则可以最大近似找到符合的表情分类，从而把握儿童的心理状态。在降低难度过程中，实体积木以在可视化交互界面推送作为提示，而软件积木则直接通过在可视化交互界面进行突出显示即可如放大、变色或者闪烁等方式均可。

进一步地，所述方法还包括：

如图5所示，当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过YOLO算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为/>轴，垂直于平面全局图的平面为/>轴，观察坐标为/>，其中/>为摄像头测量的到用户眼睛的距离，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头到平面全局图的投影距离；测距的算法有多种，常见的单摄像头测距有单目摄像机测距，测量精度误差可控制在5%内。摄像头测量对象的角度则通过提前在摄像头标定基准坐标轴，坐标轴形成坐标平面，将对象方向和坐标平面之间的夹角作为测量计算结果。当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。儿童的空间想象能力并不是一开始就建立的，而是在摸索过程逐步建立的，因此当儿童需要去重新找实体积木时，除了给予提示实体积木块选择错误，为了增加提示信息的有效性，可以在可视化交互界面终端以儿童的观察视角进行实时显示，当儿童的位置发生变化时，全景三维图像实时生成，若需要提示具体的实体积木块，则在全景三维图像上突出显示如增加指向箭头、变色、闪烁等方式均可。

进一步地，所述方法还包括：

当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。在某些角度的原因，某些实体积木块并不能被识别，因为可能只有一个面或者两个面正对摄像头，因此在积木信息里面录入的信息可能有较多相似的，因此需要提醒用户拾起实体积木块转动一个角度方便识别。当只有一个面有差异而容易混淆的，采集其形状信息；当三维形状完全相同但印刷内嵌电路符号特征不同时，采集其印刷内嵌电路符号特征，根据积木信息来区别其差别。因为可视化交互界面终端一般是手机、Pad或者其他电子设备，摄像头不具有转向功能，因此当摄像头无法识别实体积木块时，提醒用户将实体积木块拾起转动，方便摄像头补充扫描。需要注意的是，全景三维图像是用户触发了提示实体积木块时才会触发，因此当用户没有触发，本发明实施例的系统并不会主动去参与采集和数据运算，便于节约算力资源。

进一步地，所述方法还包括：

当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入YOLO算法实时跟踪识别对象池。当实体积木块容易混淆的情形只有两种情形，第一种是部分实体积木块只有一个面有区别，也就是需要特定的角度观测范围才能捕捉到差异，另一种是三维形状且相互内嵌的电路功能不同的实体积木块，需要根据其某一个面的印刷内嵌电路符号特征来进行区分；此时就应该把容易混淆的加入实时跟踪识别，因为如果不加入跟踪，后续若实体积木块位置发生变化，还需要用户再次拾起转动进行补充采集特征，再次增加过程时间从而降低体验感。YOLO算法一般完全胜任跟踪几十个目标。

进一步地，所述方法还包括：

在YOLO算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从YOLO算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从YOLO算法实时跟踪识别对象池剔除对应剩余的实体积木块。如果YOLO算法实时跟踪识别对象池的实体积木块被使用后，一定要从中剔除从而不再跟踪；还有需要注意的是，若剔除部分实体积木块后，部分不再产生混淆的也进行剔除，降低算力负担。如图6所示，比如积木块1和积木块2除了某个面不一样，其他面都相似易混淆，而积木块2和积木块3除了某个面不一样，其他面都相似易混淆。当积木块2被使用后，积木块1和积木块3可能有2个区别从而变得容易识别。

实施例2：基于同一发明构思，如图7所示，本实施例还提供了基于图像识别的实体积木编程提示系统，所述系统包括：

积木特征获取模块，用于当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；

图像获取处理模块，用于当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过YOLO算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过YOLO算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；

实体积木提示模块，用于当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；

软件积木提示模块，用于当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；

答案提示模块，用于期间当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过YOLO算法提取到的用户脸部表情图像输入到预先通过SVM算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。

进一步地，所述系统还包括：

全景重构模块，用于当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过YOLO算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为/>轴，垂直于平面全局图的平面为/>轴，观察坐标为/>，其中/>为摄像头测量的到用户眼睛的距离，/>为摄像头和用户眼睛连线在/>平面的投影夹角，为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头到平面全局图的投影距离；当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。

进一步地，所述系统还包括：

第一优化模块，用于当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。

进一步地，所述系统还包括：

第二优化模块，用于当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入YOLO算法实时跟踪识别对象池。

进一步地，所述系统还包括：

第三优化模块，用于在YOLO算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从YOLO算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从YOLO算法实时跟踪识别对象池剔除对应剩余的实体积木块。

需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

最后应说明的是：尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于图像识别的实体积木编程提示方法，其特征在于，所述方法包括：

当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；

当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过YOLO算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过YOLO算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；

当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；

当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；

期间，当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过YOLO算法提取到的用户脸部表情图像输入到预先通过SVM算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。

2.如权利要求1所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：

当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过YOLO算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为/>轴，垂直于平面全局图的平面为/>轴，观察坐标为/>，其中/>为摄像头测量的到用户眼睛的距离，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头到平面全局图的投影距离；当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。

3.如权利要求2所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：

当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。

4.如权利要求3所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：

当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入YOLO算法实时跟踪识别对象池。

5.如权利要求4所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：

在YOLO算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从YOLO算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从YOLO算法实时跟踪识别对象池剔除对应剩余的实体积木块。

6.基于图像识别的实体积木编程提示系统，其特征在于，所述系统包括：

积木特征获取模块，用于当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；

图像获取处理模块，用于当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过YOLO算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过YOLO算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；

实体积木提示模块，用于当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；

软件积木提示模块，用于当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；

答案提示模块，用于期间当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过YOLO算法提取到的用户脸部表情图像输入到预先通过SVM算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。

7.如权利要求6所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：

全景重构模块，用于当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过YOLO算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为/>轴，垂直于平面全局图的平面为/>轴，观察坐标为/>，其中/>为摄像头测量的到用户眼睛的距离，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头和用户眼睛连线在/>平面的投影夹角，/>为摄像头到平面全局图的投影距离；当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。

8.如权利要求7所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：

第一优化模块，用于当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。

9.如权利要求8所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：

第二优化模块，用于当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入YOLO算法实时跟踪识别对象池。

10.如权利要求9所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：

第三优化模块，用于在YOLO算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从YOLO算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从YOLO算法实时跟踪识别对象池剔除对应剩余的实体积木块。