CN115760501A - 一种基于图形化编程平台的ai仿真教学系统 - Google Patents

Abstract

本发明实施例提供一种基于图形化编程平台的AI仿真教学系统，采用整体和局部两种方式结合的仿真，优于现有的只进行整体仿真的机器人仿真器，但又区别于现有的同类型的仿真。整体和局部两种方式结合的仿真可以给中小学生提供直观的整体展示的同时，采用视觉仿真展示局部硬件的工作效果，方便学生更全面地了解机器人每一个硬件工作时给机器人带来的影响。此仿真所展示的工作状态和数据信息仅满足人工智能教育课堂的需要，即展示硬件设施接口信息和工作得到的数据，而不展示不必要的硬件工作原理层次上的精细数据和实际硬件之间的信息交流。故可以解决目前硬件仿真器的仿真模式不适合用于人工智能教育课堂的问题。

Description

一种基于图形化编程平台的AI仿真教学系统

技术领域

本发明实施例涉及硬件仿真技术领域，尤其涉及一种基于图形化编程平台的AI仿真教学系统。

背景技术

人工智能、互联网、大数据、云计算等技术正在助推人类社会迈入发展的新阶段，未来的时代必将是智能化的时代。在教育、医疗等多个垂直领域，人工智能已经展现了其重要的应用价值和影响力，并逐渐成为这些领域发展和变革的新动力。随着人工智能与各个垂直领域的不断深入融合，普通群众也越来越需要具备人工智能的基本知识和应用能力，人工智能教育开始受到广泛关注。

现有的课程多为基于图形化编程软件的编程教育或是不可拆卸、无法应用在其他案例的机器人教育。要实现人工智能教育从零到一的突破，一种新颖的方法就是将两者结合起来。即通过在图形化编程软件中编写AI 案例程序，由教具机器人进行实体演示，使学生对AI产生更直观的体验，从而提高学生学习兴趣的方法。但目前此方法在没有教具机器人的时候，如下课后，无法通过教具机器人进行演示。所以在上述基础上，此方法提出了一种基于此方法的硬件仿真器，即同样的AI案例程序，在没有教具机器人的情况下，可以通过图形化编程软件中的仿真运行来实现仿真调试，观察案例现象等功能。

但从技术层面而言，上述人工智能硬件仿真技术存在以下问题：在已有仿真方法中，对代码进行逐一转换的技术存在的主要技术问题是转换操作过于繁杂和冗余，致使系统启动缓慢，维护和更新存在不便；系统运行的核心程序由多线程组成，存在的技术问题是过于依赖多线程，对多线程进行控制的程序语句较为繁琐，且各线程运行速度不稳定，导致程序运行过程中出现卡顿中断、计算速度较难控制等情况；局限于对硬件的仿真，没有实现对场景的仿真，且仿真方法不能加入游戏化机制，使得仿真的作用效果受限；局限于没有对场景的仿真，在包含AI视觉模块案例的仿真时，实现视觉仿真采用的方案依赖于现实的硬件——摄像头而非仿真虚拟摄像头，没有在人工智能教育中的仿真领域体现出AI视觉的应用。

从应用层面而言，上述人工智能硬件仿真系统存在以下问题：没有适合于人工智能教育的自定义仿真场景；没有提供可选的适用于人工智能教育的教学机制或手段；没有提供技术方法以帮助教师进行自主教学设计，不便于提高教师的教学灵活性；没有考虑到中学生的学习体验和检查学习成果的问题。

发明内容

本发明实施例提供一种基于图形化编程平台的AI仿真教学系统，具有相对独立性，即使在没有智能机器人教具和专门的人工智能应用教学场地的情况下，也能凭借本发明实现人工智能知识的传授。

本发明实施例提供一种基于图形化编程平台的AI仿真教学系统，包括运行控制模块、整合运行模块、仿真硬件控制模块和配置与资源管理模块：

所述仿真硬件控制模块，用于对教学系统中的各硬件进行仿真，建立各硬件的仿真硬件；

所述配置与资源管理模块，用于存储场景配置文件和场景资源库；

所述整合运行模块，用于将程序案例中调用现实硬件控制模块的语句改写为调用仿真硬件控制模块的语句，得到仿真程序案例；将仿真程序案例写入运行控制模块中，启动运行控制模块，展示出仿真画面；

所述运行控制模块，用于循环执行预设的画面刷新程序，以更新仿真参数，并循环执行预设的仿真演示程序，以存放并执行所述仿真程序案例，基于所述画面刷新程序调用所述场景资源库，以刷新至仿真画面。

作为优选的，还包括视觉仿真模块，所述视觉仿真模块包括虚拟拍摄单元和可选式转换单元；

所述虚拟拍摄单元用于基于仿真摄像头对所述仿真画面进行虚拟拍摄，通过截取仿真画面获取指定位置和大小的图像；

所述可选式转换单元用于对获取的图像的数据结构进行可选式转换，并向第三方视觉处理模块提供转换数据结构后的图像。

作为优选的，所述虚拟拍摄单元中，所述仿真摄像头固定在仿真教具机器人上，所述仿真摄像头可调整拍摄视角与拍摄范围，且所述仿真摄像头随仿真教具机器人移动实时进行虚拟拍摄；所述虚拟拍摄方法包括：

实时对仿真画面中指定位置和大小的区域进行截图，获得仿真拍摄图像并替代所述仿真摄像头中的拍摄画面。

作为优选的，所述可选式转换单元具体用于将获取的图像的数据结构描述统一转换成预先指定编码模式的字符串格式描述，并由预先设定的图像数据解码器对所述字符串格式描述进行数据解码，得到指定编码格式的图像对象；

对所述图像对象进行二次数据结构转换，将转换结构发送至预设的视觉处理模块进行读取。

作为优选的，所述仿真硬件控制模块具体用于，在图形化编程软件中的硬件控制类编程块对应调用有python第三方现实硬件控制模块，将仿真硬件的类名、方法名、类中方法的传递参数数量及类型设计为与所述现实硬件仿真模块中对应硬件一致，类和方法的内容不使用现实硬件控制模块中的程序。

作为优选的，所述配置与资源管理模块中，所述场景资源库存储的资源包括仿真场景图像、硬件图像、字体、音频，所述场景资源库中的资源可由所述运行控制模块和所述仿真硬件控制模块调用；

所述场景配置文件用于设置场景中的元素信息，所述元素信息包括位置信息、调用的图像名称、元素类型。

作为优选的，所述运行控制模块中，所述画面刷新程序基于循环刷新机制，通过循环更新draw方法和update方法，实现仿真画面、仿真参数和仿真硬件演示效果的更新；所述仿真演示程序为独立的空子线程，所述空子线程用于接收所述整合运行模块写入的仿真程序案例；

所述运行控制模块接收整合运行模块的启动命令时，先执行所述画面刷新程序，再运行所述仿真演示程序，以逐一执行所述仿真程序案例的语句。

本发明实施例提供的一种基于图形化编程平台的AI仿真教学系统，其整合运行模块对程序案例进行改写后得到仿真程序案例，并将其整合进所述运行控制模块，运行控制模块根据所述仿真程序案例逐条语句运行，并通过所述配置与资源管理模块调用仿真场景图像，将运行结果实时展示至仿真画面；所述仿真程序案例调用所述仿真硬件控制模块中的仿真硬件，实现硬件功能的仿真；仿真硬件控制模块通过所述配置与资源管理模块调用仿真图像，所述仿真程序案例需要使用虚拟摄像头时，从所述视觉仿真模块调用虚拟摄像头；具有相对独立性，即使在没有智能机器人教具和专门的人工智能应用教学场地的情况下，也能凭借本发明实现人工智能知识的传授；具有较低的系统维护成本，能减低普及人工智能教育的成本和减少中小学生参与人工智能课程的学习成本；可以进行远程教学，或结合线下课程实现线上线下结合教学。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的用于中小学人工智能教育图形化编程软件的硬件仿真器结构框图；

图2为根据本发明实施例的用于中小学人工智能教育图形化编程软件的硬件仿真器具体使用流程示意图；

图3为根据本发明实施例的图形化编程软件和仿真器运作关系示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

现有的课程多为基于图形化编程软件的编程教育或是不可拆卸、无法应用在其他案例的机器人教育。要实现人工智能教育从零到一的突破，一种新颖的方法就是将两者结合起来。即通过在图形化编程软件中编写AI 案例程序，由教具机器人进行实体演示，使学生对AI产生更直观的体验，从而提高学生学习兴趣的方法。但目前此方法在没有教具机器人的时候，如下课后，无法通过教具机器人进行演示。所以在上述基础上，此方法提出了一种基于此方法的硬件仿真器，即同样的AI案例程序，在没有教具机器人的情况下，可以通过图形化编程软件中的仿真运行来实现仿真调试，观察案例现象等功能。

但从技术层面而言，上述人工智能硬件仿真技术存在以下问题：在已有仿真方法中，对代码进行逐一转换的技术存在的主要技术问题是转换操作过于繁杂和冗余，致使系统启动缓慢，维护和更新存在不便；系统运行的核心程序由多线程组成，存在的技术问题是过于依赖多线程，对多线程进行控制的程序语句较为繁琐，且各线程运行速度不稳定，导致程序运行过程中出现卡顿中断、计算速度较难控制等情况；局限于对硬件的仿真，没有实现对场景的仿真，且仿真方法不能加入游戏化机制，使得仿真的作用效果受限；没有涉及对人工智能教育中的视觉技术的仿真应用。

从应用层面而言，上述人工智能硬件仿真系统存在以下问题：没有适合于人工智能教育的仿真场景；没有提供可选的适用于人工智能教育的教学机制或手段；没有提供技术方法以帮助教师进行自主教学设计，不便于提高教师的教学灵活性；没有考虑到中学生的学习体验和检查学习成果的问题。

因此，本发明实施例提供一种基于图形化编程平台的AI仿真教学系统，具有相对独立性，即使在没有智能机器人教具和专门的人工智能应用教学场地的情况下，也能凭借本发明实现人工智能知识的传授；具有较低的系统维护成本，能减低普及人工智能教育的成本和减少中小学生参与人工智能课程的学习成本；可以进行远程教学，或结合线下课程实现线上线下结合教学。以下将通过多个实施例进行展开说明和介绍。

图1为本发明实施例提供一种基于图形化编程平台的AI仿真教学系统，包括运行控制模块、整合运行模块、仿真硬件控制模块和配置与资源管理模块：本发明实施例各模块的关系如下：所述整合运行模块对程序案例进行改写后得到仿真程序案例，并将其整合进所述运行控制模块，并启动所述运行控制模块。所述运行控制模块根据所述仿真程序案例逐条语句运行，并通过所述配置与资源管理模块调用仿真场景图像，将运行结果实时展示至仿真画面。所述仿真程序案例调用所述仿真硬件控制模块中的仿真硬件类，实现硬件功能的仿真。所述仿真硬件控制模块通过所述配置与资源管理模块调用仿真图像。所述仿真程序案例需要使用虚拟摄像头时，从所述视觉仿真模块调用虚拟摄像头。

在上述实施例的基础上，作为一种优选的实施方式，所述仿真硬件控制模块，用于对教学系统中的各硬件进行仿真，建立各硬件的仿真硬件；

在本实施例中，仿真硬件控制模块，主要功能为提供可调用的仿真硬件类和与所述运行控制模块实现信息传输。仿真硬件类中所涉的仿真硬件图像由所述配置与资源管理模块提供。在图形化编程软件中的硬件控制类编程块对应调用有python第三方现实硬件控制模块，将仿真硬件的类名、方法名、类中方法的传递参数数量及类型设计为与所述现实硬件仿真模块中对应硬件一致，类和方法的内容不使用现实硬件控制模块中的程序。

具体的，仿真硬件控制模块的设计方法为：将所述仿真硬件控制模块中的仿真硬件类的类名、方法名、类中方法的传递参数数量及类型与所述现实硬件控制模块中的硬件类保持一致，并根据情况对方法内容进行适当调整，实现与图形化编程软件的结合，利用图形化编程块进行编程，对类和方法的程序内容进行仿真化设计，实现对现实硬件功能的仿真化；保存仿真程序案例在调用并执行所述仿真硬件类内的方法后得到的各类信息，并送至所述运行控制模块，最终将需要展示的信息刷新到仿真画面上。

本实施例中的仿真程序案例可直接编程设计得到，也可使用图形化编程软件的编程块进行图形化编程得到。其编程特点是：调用所述现实硬件控制模块中的硬件类进行程序设计，以最终解决某些实际应用问题为目标，该实际应用问题基于人工智能教育课堂需求，如智能小车的红外巡线运动、超声波控制小车避障等。得到的程序案例，将在本发明实施例启动运行后，由所述整合运行模块改写成仿真程序案例。

各个仿真硬件类的功能与现实中相对应的硬件的功能是一样的，如LED 的功能是亮灭灯、舵机的功能是旋转机械臂的角度、温湿度传感器的功能是获取环境温湿度等。仿真硬件类需要调用所述配置与资源管理模块中的硬件图像资源。仿真硬件控制模块主要用于提供仿真硬件类给仿真程序案例调用，由其调用并执行所述仿真硬件类内的方法后得到的各类信息，将以列表或字典存储数据的方式传送至所述运行控制模块，包括需要展示的仿真硬件及其展示位置、仿真教具机器人的运动数据、需要使用的硬件图像名称、仿真硬件运行得到的结果数据等，最终，这些信息被更新到仿真画面上。

通过利用直接编程得到需要仿真的程序以实现仿真，在与图形化编程软件的结合后，即可进行直接编程，也可进行图形化编程，实现双模式编程。

在上述实施例的基础上，作为一种优选的实施方式，所述配置与资源管理模块，用于存储场景配置文件和场景资源库；所述配置与资源管理模块中，所述场景资源库存储的资源包括仿真场景图像、硬件图像、字体、音频，所述场景资源库中的资源可由所述运行控制模块和所述仿真硬件控制模块调用；

所述场景配置文件用于设置场景中的元素信息，所述元素信息包括位置信息、调用的图像名称、元素类型。

本实施例中，所述配置与资源管理模块，配置与资源管理模块在图形化编程软件中创建有固定路径，用于存储仿真场景图像、硬件图像、字体、音频等资源的场景资源库和用于进行场景设置的场景配置文件。主要用于仿真场景的配置和仿真场景资源的存储和读取，相对应的有场景配置文件和资源存储库，可向本系统中的其他模块提供资源及其资源获取路径，资源包含图像、字体、音频等；并支持仿真场景的自主设计和仿真硬件可任意安装和调整。场景配置文件中有场景类，用于设置场景中的元素信息，包括位置信息、调用的图像名称、元素类型等。

具体的，本实施例中，通过存储场景资源到场景资源库，包含图像、字体、音频等资源，并在场景配置文件中新建一个示例场景类，在类中修改或添加场景中各个元素的名称、坐标位置和元素类型，即可实现自定义创建新场景。

通过自主选择仿真硬件的限定安装位置与朝向，可在仿真教具机器人上实现对不同的仿真硬件的组合，得到一个新的仿真教具机器人，并保存以供系统调用此机器人。

在上述实施例的基础上，作为一种优选的实施方式，本实施例中的所述配置与资源管理模块可提供一种面向教师的仿真场景自主设计方法，具体实施示例如下：

收集需要的所有场景资源，包含图像、字体、音频等资源，将其存入场景资源库，并规范命名；参考场景配置文件中的场景类，新建一个示例场景类，在类中根据已有的元素分类，在其对应的字典或列表对象中分别增添场景中的元素的名称、坐标位置，其中的仿真场景的名称修改成自行保存的仿真场景图像的名称。由此，教师便可实现自定义创建新场景，配合自主教学设计，实施教学。

在上述实施例的基础上，作为一种优选的实施方式，本实施例中的所述配置与资源管理模块可提供一种仿真硬件可任意调整的安装方法，以图形化编程软件的编程块为例，具体实施方案一如下：

在图形化编程软件中新增一个用于在仿真教具机器人上进行硬件安装的编程块，编程块中的设置包含有可供选择的硬件名称、对应的安装位置、对应的安装朝向，可用多个编程块实现对多个不同硬件的安装调整，再用一个编程块实现对该仿真教具机器人形象地规范命名并保存。待运行这些编程块时，可实现该仿真教具机器人形象的保存，在下次使用此形象时，通过在特定编程块中输入该仿真教具机器人的名称，即可实现调用；

以单独的角色设计界面为例，具体实施方案二如下：

在所述配置与资源管理模块中设计一个角色设计类，用于单独启动角色设计界面，该界面中包含可用于仿真教具机器人的所有可供选择的仿真硬件、可选的安装位置及其安装朝向。用户通过拖拽仿真硬件图像到仿真教具机器人的特定位置并指定朝向，实现安装；再对仿真教具机器人命名并点击保存按钮进行保存；最后，在下次使用此仿真教具机器人时，通过在特定编程块中输入该仿真教具机器人的名称，即可实现调用。

本实施例的配置与资源管理模块，采用面向教师的仿真场景自主设计方法，可帮助教师进行自主教学设计，提高教师的教学灵活性；采用仿真硬件可任意调整的安装方法，注重中学生的学习体验，通过自主组合仿真教具机器人的仿真硬件以解决人工智能方面的应用问题，可提高学生的自主设计能力和培养学生的创新思维。

通过与图形化编程软件的结合，具有的应用优势为：与目前市面上主流使用的教学工具相结合，增加了可选的适用于人工智能教育的教学模式、机制或手段；采用直接和图形化双模式编程，可实现难易编程模式的结合，便于中小学生的人工智能入门学习和深入学习，实现能力的提升，也为教师提供可选的编程模式实施教学。

在上述实施例的基础上，作为一种优选的实施方式，所述整合运行模块，用于将程序案例中调用现实硬件控制模块的语句改写为调用仿真硬件控制模块的语句，得到仿真程序案例；将仿真程序案例写入运行控制模块中，启动运行控制模块，展示出仿真画面；

具体的，本实施例中，所述整合运行模块采用修改模块名并保留类与方法名的设计思路，将所述现实硬件控制模块名称改成所述仿真硬件控制模块名称，即可实现模块调用的切换；其他的语句基本不做改动，如模块中的类名和方法名，即可实现调用所述现实硬件控制模块的硬件类转换成调用所述仿真硬件控制模块的仿真硬件类。

对于所述整合运行模块的设计，采用修改模块名并保留类与方法名的设计思路，先将需要改写的内容和改写后的内容存储在字典对象中；主要包含的内容包括需要改写的所述现实硬件控制模块名称、改写后的所述仿真硬件控制模块名称、需要删除的语句等。待模块启动时，对程序案例中的特定模块名称进行修改，而其他的语句基本不做改动，如模块中的类名和方法名，即可实现调用所述现实硬件控制模块的硬件类转换成调用所述仿真硬件控制模块的仿真硬件类。此后，将得到的仿真程序案例，并将其写入到所述运行控制模块的仿真演示程序中，并启动所述运行控制模块。

为具体展示整合运行模块名称的修改过程，以下提供一种具体实施示例：

所述图形化编程软件调用的现实硬件控制模块名称为“gpio”；所述仿真硬件控制模块名称为“fzgpio”；导入前者的语句是“import gpio”，经所述整合运行模块修改后，语句变为导入后者的语句：“import fzgpio”。此后，凡是调用“gpio”模块中的方法的语句都将改为调用“fzgpio”模块中的方法的语句。

在上述实施例的基础上，作为一种优选的实施方式，所述运行控制模块，用于循环执行预设的画面刷新程序，以更新仿真参数，并循环执行预设的仿真演示程序，以存放并执行所述仿真程序案例，基于所述画面刷新程序调用所述场景资源库，以刷新至仿真画面。

所述运行控制模块中，所述画面刷新程序基于循环刷新机制，通过循环更新draw方法和update方法，实现仿真画面、仿真参数和仿真硬件演示效果的更新；所述仿真演示程序为独立的空子线程，所述空子线程用于接收所述整合运行模块写入的仿真程序案例；独立的空子线程和独立主刷新机制解决了已有AI教育中仿真技术的多线程卡顿问题。

所述运行控制模块接收整合运行模块的启动命令时，先执行所述画面刷新程序，再运行所述仿真演示程序，以逐一执行所述仿真程序案例的语句。

本实施例中，运行控制模块，主要功能为实现仿真画面刷新和仿真演示。模块运行时所需要的场景图像、字体等资源由所述配置与资源管理模块提供。运行控制模块的设计内容为：

采用游戏中循环刷新配合单一子线程的设计思路，将模块中的程序分为画面刷新程序和仿真演示程序。画面刷新程序是一个循环体，采用游戏的循环刷新结构进行设计，用于刷新仿真画面，更新仿真硬件的参数；仿真演示程序是唯一的子线程，用于存放并执行所述仿真程序案例，案例运行效果由画面刷新程序刷新到仿真画面上。

具体的，运行控制模块仿真硬件，设计内容包含画面刷新程序和仿真演示程序。画面刷新程序采用游戏的循环刷新机制，通过循环更新draw方法和 update方法，实现游戏画面的更新和游戏行为的更新，进而实现仿真画面、仿真参数、仿真硬件演示效果的更新，仿真画面和场景资源调用自所述配置与资源管理模块。仿真演示程序是单独开辟的空子线程，用于提供给所述整合运行模块写入仿真程序案例。该模块启动时，先执行画面刷新程序，再运行仿真演示程序，逐一执行仿真程序案例的语句。

在上述实施例的基础上，作为一种优选的实施方式，还包括视觉仿真模块，所述视觉仿真模块包括虚拟拍摄单元和可选式转换单元；

所述虚拟拍摄单元用于基于仿真摄像头对所述仿真画面进行虚拟拍摄，通过截取仿真画面获取指定位置和大小的图像；

所述可选式转换单元用于对获取的图像的数据结构进行可选式转换，并向第三方视觉处理模块提供转换数据结构后的图像。

所述虚拟拍摄单元中，所述仿真摄像头固定在仿真教具机器人上，所述仿真摄像头可调整拍摄视角与拍摄范围，且所述仿真摄像头随仿真教具机器人移动实时进行虚拟拍摄；所述虚拟拍摄方法包括：

实时对仿真画面中指定位置和大小的区域进行截图，获得仿真拍摄图像并替代所述仿真摄像头中的拍摄画面；采用实时截图代替摄像头拍摄画面的方法，实现对摄影设备的仿真化，解决了目前仿真系统没有涉及对人工智能教育中的视觉技术的仿真应用问题。

所述可选式转换单元具体用于将获取的图像的数据结构描述统一转换成预先指定编码模式的字符串格式描述，并由预先设定的图像数据解码器对所述字符串格式描述进行数据解码，得到指定编码格式的图像对象；

对所述图像对象进行二次数据结构转换，将转换结构发送至预设的视觉处理模块进行读取，采用先将图像转成字符串格式描述再解码成其他格式的方法，解决了各python视觉处理模块对载入图像数据结构不同而带来的图像传输与处理效率低下的问题。图像不再需要通过指定格式存储后再由视觉处理模块从存储位置读取，提高了图像传输和处理效率。

现实拍摄可实现现实与仿真场景的交互行为，虚拟拍摄可实现虚拟摄像头和仿真硬件的配合应用，使得智能机器人的仿真化更为全面。

由于图形化编程软件拥有视觉类的编程块，可实现各种图像处理，为使得这类编程块也能用于本系统，所述视觉仿真模块通过修改该类编程块的图像获取途径，继承该类中所有的有关视觉处理功能的类，实现视觉的仿真。具体地，通过使用虚拟摄像头截取仿真画面中的指定位置和大小的区域，再存到缓存区中，并通过转变图像数据结构，使其适用于第三方视觉处理模块的读取方式，实现实时截图代替摄像头拍摄画面的操作。

在图形化编程软件中创建视觉仿真类编程块，利用编程块的方式选择是否需要启动虚拟摄像头，以及调整所述虚拟摄像头的位置、拍摄角度、拍摄大小的参数。

为方便进一步地理解先转字符串格式描述再解码成其他格式的方法如何实现所述图像数据结构的方法，并实现可选式的转换，以下将以python的第三方numpy、pygame、PIL和opencv-python模块为例，提供一种具体实施方案，内容如下：

如图3所述，利用pygame模块的截图方法，对仿真画面的指定区域进行截图，得到的图像的数据结构为pygame的Surface类型；再通过pygame中的图像类，将图像数据结构转成“RGB”颜色模式的字符串格式描述的图像对象；再由PIL模块中的图像类，利用PIL默认的“raw”解码器对字符串格式描述的图像对象解码成“RGB”颜色模式的Image对象；可选择性地进行进一步操作的是，利用numpy模块进一步将Image对象转换成ndarray类型的多维数组描述对象；再利用opencv-python模块中以特定颜色模式读入图像的方法，将ndarray描述的对象转成“BGR”颜色模式的ndarray对象，凭此，可实现利用opencv-python模块对图像进行进一步的图像处理。若图形化编程软件中的视觉类只采用PIL模块处理图像，则只需将pygame的Surface类型图像转成PIL的Image对象即可。

本发明实施例的AI仿真教学系统可以应用于教学设计，便于进行备课、上课以及可外作业的布置、批改，具体包括：

备课，在已有人工智能课程的基础上，教师根据课程大纲，按照自己的想法，结合配置与资源管理模块和仿真硬件控制模块设计适用的教学案例、对应的教学仿真场景以及带有游戏闯关性质的仿真场景。在设计完仿真场景后，调试好教学案例后，教师可以将调试好的教学案例加入到自主设计的教材中(如幻灯片、视频等)。

上课，分为两种方式，分别是线上线下相结合的上课方式和线上上课方式，具体如下：

所述线上线下相结合的上课方式，是指在线下教学过程中，教师讲述对应课程中涉及到的知识点，并利用现实中的智能机器人，让学生们动手实践；在学生们完成实践后，教师可以根据自主设计的仿真场景，让学生们了解对应知识点在现实中的应用场景，并进一步巩固知识，加深印象。

所述线上方式，是指在线上教学过程中，教师讲述对应课程中涉及到的知识点，并通过自主设计的仿真场景，让学生们进行编程实践，通过仿真器运行程序并观察仿真结果，加深对该知识点的印象。

所述课外作业的布置与批改，是指教师将自主设计的带有游戏闯关性质的仿真场景发布给学生后，布置相关知识点的课后作业，让学生能够在课后通过仿真器，进行复习巩固。

根据上述本发明实施例中提及的运行控制相关机制、硬件仿真相关方法和场景资源管理方式的特点，本发明实施例还可以提供实现一种游戏化编程的实施方案，可实现仿真与游戏的结合，具体内容如下：

由于仿真的运行机制与游戏的运行机制高度相似，即采用了游戏的循环刷新方法进行仿真运行机制的设计。在保留所有功能模块的情况下，将仿真场景结合游戏闯关机制和计分机制，给仿真场景的配置文件增设游戏关卡场景的参数配置，实现仿真场景的游戏化。

游戏闯关机制的一种具体实施方案如下：

所述仿真场景一般是根据一种或多种传感器的组合应用方式开发的应用场景，源于现实的应用场景，而又理想化地排除了其他可能干扰硬件使用过程的不确定因素。若将所述仿真场景改成游戏关卡场景，需要增加一些不同与现实的应用规则，增设一些必要的元素对象，帮助搭建游戏关卡场景。为方便进一步理解，以下提供一种游戏关卡场景的具体实施方案：

以现实的足球比赛场景为例，首先，制作出足球场的仿真场景；其次，修改足球比赛的规则，具体为：将足球场边界设置为可反弹足球的隐藏墙壁；再次，根据规则修改仿真场景中的元素内容和限制措施；然后，增加球门对象和足球对象，并设计进球判别机制和足球运动机制；最后便可得到一个游戏关卡场景。

为方便进一步理解，以下提供一种计分机制的具体实施方案：

通过在游戏关卡场景中设置积分对象，如五角星图像，再通过程序设计以实现对仿真教具机器人的运动控制或视觉识别与检测，使机器人碰撞、抓取或利用视觉识别或检测到积分对象，系统将自动累加分数，直至机器人完成所有积分项目。最终获得满分，顺利完成此游戏关卡。若过程中，由于程序设计不当，未能完成该游戏关卡，系统会自动保存当前进度与分数。系统保存的数据可通过通信传输给第三方可管理用户数据的系统，如用于用户信息管理的自适应系统。为教师提供学生的学习数据，便于教师做出教学策略或方法上的调整。

采用游戏闯关式的教学，可使课堂教学趣味化，激发学生的学习兴趣和动机。加入计分机制可实现对闯关分数和学习进度数据的统计，便于教师根据数据信息，调整教学策略和方法。

综上所述，本发明实施例提供的一种基于图形化编程平台的AI仿真教学系统，其整合运行模块对程序案例进行改写后得到仿真程序案例，并将其整合进所述运行控制模块，运行控制模块根据所述仿真程序案例逐条语句运行，并通过所述配置与资源管理模块调用仿真场景图像，将运行结果实时展示至仿真画面；所述仿真程序案例调用所述仿真硬件控制模块中的仿真硬件，实现硬件功能的仿真；仿真硬件控制模块通过所述配置与资源管理模块调用仿真图像，所述仿真程序案例需要使用虚拟摄像头时，从所述视觉仿真模块调用虚拟摄像头；具有相对独立性，即使在没有智能机器人教具和专门的人工智能应用教学场地的情况下，也能凭借本发明实现人工智能知识的传授；具有较低的系统维护成本，能减低普及人工智能教育的成本和减少中小学生参与人工智能课程的学习成本；可以进行远程教学，或结合线下课程实现线上线下结合教学。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘 SolidStateDisk)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于图形化编程平台的AI仿真教学系统，其特征在于，包括运行控制模块、整合运行模块、仿真硬件控制模块和配置与资源管理模块：

所述仿真硬件控制模块，用于对教学系统中的各硬件进行仿真，建立各硬件的仿真硬件；

所述配置与资源管理模块，用于存储场景配置文件和场景资源库；

所述整合运行模块，用于将程序案例中调用现实硬件控制模块的语句改写为调用仿真硬件控制模块的语句，得到仿真程序案例；将仿真程序案例写入运行控制模块中，启动运行控制模块，展示出仿真画面；

所述运行控制模块，用于循环执行预设的画面刷新程序，以更新仿真参数，并循环执行预设的仿真演示程序，以存放并执行所述仿真程序案例，基于所述画面刷新程序调用所述场景资源库，以刷新至仿真画面。

2.根据权利要求1所述的基于图形化编程平台的AI仿真教学系统，其特征在于，还包括视觉仿真模块，所述视觉仿真模块包括虚拟拍摄单元和可选式转换单元；

所述虚拟拍摄单元用于基于仿真摄像头对所述仿真画面进行虚拟拍摄，通过截取仿真画面获取指定位置和大小的图像；

所述可选式转换单元用于对获取的图像的数据结构进行可选式转换，并向第三方视觉处理模块提供转换数据结构后的图像。

3.根据权利要求2所述的基于图形化编程平台的AI仿真教学系统，其特征在于，所述虚拟拍摄单元中，所述仿真摄像头固定在仿真教具机器人上，所述仿真摄像头可调整拍摄视角与拍摄范围，且所述仿真摄像头随仿真教具机器人移动实时进行虚拟拍摄；所述虚拟拍摄方法包括：

实时对仿真画面中指定位置和大小的区域进行截图，获得仿真拍摄图像并替代所述仿真摄像头中的拍摄画面。

4.根据权利要求2所述的基于图形化编程平台的AI仿真教学系统，其特征在于，所述可选式转换单元具体用于将获取的图像的数据结构描述统一转换成预先指定编码模式的字符串格式描述，并由预先设定的图像数据解码器对所述字符串格式描述进行数据解码，得到指定编码格式的图像对象；

对所述图像对象进行二次数据结构转换，将转换结构发送至预设的视觉处理模块进行读取。

5.根据权利要求1所述的基于图形化编程平台的AI仿真教学系统，其特征在于，所述仿真硬件控制模块具体用于，在图形化编程软件中的硬件控制类编程块对应调用有python第三方现实硬件控制模块，将仿真硬件的类名、方法名、类中方法的传递参数数量及类型设计为与所述现实硬件仿真模块中对应硬件一致，类和方法的内容不使用现实硬件控制模块中的程序。

6.根据权利要求1所述的基于图形化编程平台的AI仿真教学系统，其特征在于，所述配置与资源管理模块中，所述场景资源库存储的资源包括仿真场景图像、硬件图像、字体、音频，所述场景资源库中的资源可由所述运行控制模块和所述仿真硬件控制模块调用；

所述场景配置文件用于设置场景中的元素信息，所述元素信息包括位置信息、调用的图像名称、元素类型。

7.根据权利要求1所述的基于图形化编程平台的AI仿真教学系统，其特征在于，所述运行控制模块中，所述画面刷新程序基于循环刷新机制，通过循环更新draw方法和update方法，实现仿真画面、仿真参数和仿真硬件演示效果的更新；所述仿真演示程序为独立的空子线程，所述空子线程用于接收所述整合运行模块写入的仿真程序案例；

所述运行控制模块接收整合运行模块的启动命令时，先执行所述画面刷新程序，再运行所述仿真演示程序，以逐一执行所述仿真程序案例的语句。

Images