CN116360778B - 一种基于图像化编程平台的ai仿真教学方法及系统 - Google Patents
一种基于图像化编程平台的ai仿真教学方法及系统 Download PDFInfo
- Publication number
- CN116360778B CN116360778B CN202310626522.1A CN202310626522A CN116360778B CN 116360778 B CN116360778 B CN 116360778B CN 202310626522 A CN202310626522 A CN 202310626522A CN 116360778 B CN116360778 B CN 116360778B
- Authority
- CN
- China
- Prior art keywords
- user
- program
- teaching
- target
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000004088 simulation Methods 0.000 title claims abstract description 30
- 230000015654 memory Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 25
- 238000009434 installation Methods 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000001747 exhibiting effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 17
- 230000008451 emotion Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0053—Computers, e.g. programming
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于图像化编程平台的AI仿真教学方法及系统，该方法基于图像化编程平台的AI仿真教学系统，该系统除了能够通过教学程序辅助编程教学之外，还安装有功能程序，较大程度的扩展了系统的适用范围，使得系统除能够实现教学以外，还能够满足用户的其他需求。采用图像化编程平台的AI仿真教学系统接受编程教育的多为儿童，儿童通常对刻板的教学模式较为反感，甚至产生叛逆情绪，影响教学效果。无论用户使用的什么功能程序，无论功能程序实现的是何种功能，通过本说明书中的方法及系统，都能够将教学目的与功能程序相结合，基于功能程序提供的视觉效果对用户进行编程教学。
Description
技术领域
本申请涉及基于特定计算机平台的仿真教学技术领域，尤其涉及一种基于图像化编程平台的AI仿真教学方法及系统。
背景技术
图形化编程是一种全新的程序设计语言，适用于六岁以上孩子的认知水平，孩子用它可以轻松地创造交互式故事情节、动画、游戏。孩子即使不认识英文单词，也不会使用键盘，也能够通过类似搭积木的方式轻松地完成编程。避开了复杂的语法，却完美地保留了编程思维。
然而，即便是为儿童提供了图像化编程这样的直观的教学方式，也难免会让儿童出现抵触的情绪。如何提高编程教学过程的趣味性，成为亟待解决的问题。
发明内容
本申请实施例提供了一种基于图像化编程平台的AI仿真教学方法及系统，以至少部分的解决上述技术问题。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种基于图像化编程平台的AI仿真教学方法，所述方法基于图像化编程平台的AI仿真教学系统，所述系统中安装有教学程序，所述方法由所述教学程序执行，所述方法包括：
在检测到本地存储有待安装的功能程序的安装包时，运行所述安装包，对所述功能程序进行安装；
在检测到所述功能程序在前台运行时，将所述功能程序，确定为目标程序；
识别所述目标程序运行过程中向用户展示的画面中的各前景物；
在检测到所述用户针对所述目标程序的指定操作时，向所述用户展示教学界面；其中，所述教学界面包含舞台区、角色区、模块区、以及脚本区；
在所述角色区中展示所述各前景物；
在所述舞台区中展示针对所述用户当前所处环境的环境图像；
基于所述用户针对所述教学界面的操作，进行编程，得到目标动画。
在本说明书一个可选的实施例中，所述指定操作包括以下操作之一：
将所述目标程序切换至后台运行；
关闭所述目标程序。
在本说明书一个可选的实施例中，所述方法还包括：
在确定出所述目标程序之后，对所述目标程序运行过程中向所述用户展示的画面进行录制，得到待定视频；
针对每一个所述前景物，将所述待定视频中包含该前景物、且该前景物在其所属的帧的画面中相较于其他帧的画面所占的面积最大的帧，作为该前景物的关键帧；
基于所述关键帧对所述待定视频进行截取，分别得到所述各前景物各自对应的参照视频。
在本说明书一个可选的实施例中，基于所述关键帧对所述待定视频进行截取，包括：
确定所述目标动画的播放时长；
以所述参照视频中所述关键帧包含的前景物在所述参照视频的各个画面中所占的总面积最大为目标，将所述待定视频中所述关键帧之前的第一时长中包含的各个连续帧、以及所述待定视频中所述关键帧之后的第二时长中包含的各个连续帧构成的视频，作为所述关键帧对应的参照视频；其中，所述第一时长和所述第二时长之和等于所述目标动画的播放时长。
在本说明书一个可选的实施例中，所述方法还包括：
在得到所述目标动画之后，展示所述目标动画中包含的前景物对应的参照视频和所述目标动画。
在本说明书一个可选的实施例中，所述方法还包括：
在检测到所述用户针对所述目标程序的所述指定操作时，向所述用户展示提示信息，以向所述用户询问是否进入教学模式；
响应于所述用户确定进入所述教学模式的操作，对所述用户所处环境进行拍摄，得到所述环境图像。
在本说明书一个可选的实施例中，所述方法还包括：
响应于所述用户确定进入所述教学模式的操作，对所述用户进行拍摄，将得到的所述用户的用户图像，作为所述前景物之一。
第二方面，本申请实施例还提供一种基于图像化编程平台的AI仿真教学系统，所述系统包括：
安装单元，配置为：在检测到本地存储有待安装的功能程序的安装包时，运行所述安装包，对所述功能程序进行安装；
目标程序确定单元，配置为：在检测到所述功能程序在前台运行时，将所述功能程序，确定为目标程序；
前景物确定单元，配置为：识别所述目标程序运行过程中向用户展示的画面中的各前景物；
界面展示单元，配置为：在检测到所述用户针对所述目标程序的指定操作时，向所述用户展示教学界面；其中，所述教学界面包含舞台区、角色区、模块区、以及脚本区；
前景物展示单元，配置为：在所述角色区中展示所述各前景物；
环境图像展示单元，配置为：在所述舞台区中展示针对所述用户当前所处环境的环境图像；
目标动画生成单元，配置为：基于所述用户针对所述教学界面的操作，进行编程，得到目标动画。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述的方法步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述的方法步骤。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书中的方法基于图像化编程平台的AI仿真教学系统，该系统除了能够通过教学程序辅助编程教学之外，还安装有功能程序，较大程度的扩展了系统的适用范围，使得系统除能够实现教学以外，还能够满足用户的其他需求。采用图像化编程平台的AI仿真教学系统接受编程教育的多为儿童，儿童通常对刻板的教学模式较为反感，甚至产生叛逆情绪，影响教学效果。无论用户使用的什么功能程序，无论功能程序实现的是何种功能，通过本说明书中的方法及系统，都能够将教学目的与功能程序相结合，基于功能程序提供的视觉效果对用户进行编程教学。此外，本说明书中的方法及系统还基于用户所处环境的环境图像进行编程教学，使得用户能够通过编程得到的目标动画体验到身临其境的效果，提高教学过程的趣味性，进而改善教学效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种基于图像化编程平台的AI仿真教学方法的过程示意图；
图2为本说明书实施例提供的一种基于图像化编程平台的AI仿真教学系统的教学界面示意图；
图3为本说明书实施例中一种电子设备的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本说明书中的方法基于图像化编程平台的AI仿真教学系统，该系统用于管理基于图像化编程平台的AI仿真教学设备。该设备用于实现本说明书中的方法。本说明书中的系统用于对基于图像化编程平台的AI仿真教学设备以及该设备中安装的功能程序进行管理。也就是说，本说明书中的系统和教学程序在设备中共同发挥了操作系统的职能。本说明书中的系统中安装有教学程序和功能程序。本说明书中的功能程序是用于实现某种功能的应用程序，相关技术中的应用程序在条件允许的情况下，均可以作为本说明书中的应用程序。示例性地，相关技术中的视频播放程序、短视频播放、即时通讯程序、游戏程序等，均可以作为本说明书中的功能程序。本说明书中的方法由教学程序执行。本说明书中的教学程序即为实现图像化编程平台的功能的程序。教学程序可以是图像化编程平台在设备本地的代理，或者，教学程序也可以与图像化编程平台远程交互。
如图1所示，本说明书中的基于图像化编程平台的AI仿真教学方法包含以下步骤：
S100：在检测到本地存储有待安装的功能程序的安装包时，运行所述安装包，对所述功能程序进行安装。
本说明书的系统管理的设备设置有存储模块，存储模块具有存储功能，在检测到安装包时，系统向教学程序发送安装包检测结果信息。教学程序在安装包检测结果信息的触发下，执行对功能程序的安装。
本身说明书涉及的安装包可以是从设备自带的应用商店中下载的，也可以是设备出厂时自带的，还可以是从其他设备导入的。
对功能程序的安装可以发生在用户对设备进行使用的任何阶段。经本说明书中的方法，系统中安装的功能程序可能是一个或一个以上，不同的功能程序的功能可以不同或者相近。
运行有本说明书的系统的设备是智能设备，例如，手机、平板电脑、电脑、智能手表、学习机等。
S102：在检测到所述功能程序在前台运行时，将所述功能程序，确定为目标程序。
在前台运行的功能程序即为用户正在进行使用的程序，该目标程序能够较大程度的吸引用户的注意力，相应地，用户至少能够对目标程序展示出的图像、画面形成短期的记忆。此时，基于目标程序进行编程教学一方面能够使得用户较为扎实地学习到编程知识；另一方面，也能够一定程度地提高编程过程的趣味性，避免用户出现厌烦、抗拒的情绪。
此外，在某些应用场景中，可能存在多个用户共用同一台设备的情况，不同用户对功能程序的使用权限不同。例如，某一设备上安装有功能程序1和功能程序2，其中功能程序2是有使用权限限制的，用户在对其进行唤起时需要进行验证（例如指纹验证、面部识别等）。用户张三对应用程序2具有使用权限，张三能够对功能程序2进行唤起，则应用程序2有可能成为张三使用设备时的目标程序；而李四不能对应用程序2进行唤起，则应用程序2不可能成为李四使用设备时的目标程序，则李四使用设备时，应用程序2不可能处于前台运行的状态。由此，通过本说明书中的系统和方法，还能够通过功能程序的运行状态对用户进行权限验证。
S104：识别所述目标程序运行过程中向用户展示的画面中的各前景物。
在本说明书的设备上，目标程序在运行的过程中，通过在设备上展示画面（可以是单纯的画面展示，也可以是展示的交互画面）的方式，实现对用户的信息传达。画面中通常包含有前景和背景，构成前景的物体即为前景物，构成背景的物体即为背景物。
示例性地，在功能程序是视频播放程序时，倘若功能应用程序播放的是动画片，前景物可以是动画片中的人物、动物等，背景物可以是动画片中的草地、道路等。在功能程序是即时通讯程序时，前景物可以是聊天过程中的使用的表情包中的人物、动物等，也可以是聊天双方的头像中表现出的人物、动物等。
由于，用户对目标程序的使用要经历的是一个过程，而不是一个时间点，则识别出的前景物可能不止一个。在本说明书一个可选的实施例中，可能从不同的时间节点识别出了相同的前景物，则删除重复的前景物，使得每一个前景物仅保留一个即可。
在某些情况下，有可能存在基于目标应用和用户之间的交互无法识别出前景物的情况。在本说明书一个可选的实施例中，系统还维护有角色管理库，角色管理库中预先地存储有若干个预设的角色，可以从角色库的角色中，筛选出与从所述画面中截取的图像相似度最大的指定数量个角色，作为识别出的前景物。由于是按照相似度筛选的角色，则用户对目标应用的使用产生的记忆、印象仍然一定程度地会加深教学过程对用户的影响。
S106：在检测到用户针对所述目标程序的指定操作时，向用户展示教学界面。
本说明书中的教学界面包含舞台区、角色区、模块区、以及脚本区。教学界面示例性地如图2所示。
在本说明书一个可选的实施例中，指定操作包括以下操作之一：将所述目标程序切换至后台运行；关闭所述目标程序。当用户执行指定操作时，表明用户已经结束了对目标程序的使用，此时开展编程教学不会影响到用户对目标程序的使用。并且，此时用户刚刚结束了对目标程序的使用，目标程序对用户造成的记忆和印象都还较为深刻，此时基于目标程序的内容对用户展开教学，能够加深用户对教学的理解和记忆，有利于提高教学效果。
S108：在所述角色区中展示所述各前景物。
角色区是供用户进行前景物选择的区域，用户可以通过点选、拖拽等方式，将角色区中的至少部分前景物添加至舞台区。舞台区用于向用户展示编程得到的动画（即，本说明书中的目标动画）的效果。
S110：在所述舞台区中展示针对所述用户当前所处环境的环境图像。
示例性地，若用户当前处于室内，则环境图像即为对室内进行拍摄采集到的图像。
在本说明书进一步可选的实施例中，在检测到用户针对所述目标程序的指定操作时，向所述用户展示提示信息，以向用户询问是否进入教学模式。响应于所述用户确定进入所述教学模式的操作，唤起设备的图像采集模块，基于用户的操作，对所述用户所处环境进行拍摄，得到所述环境图像。
此后，基于环境图像进行编程得到的目标动画，能够使得目标动画展示出前景物在用户所处环境中活动的效果，增加目标动画的趣味性，有利于提高用户在教学过程中的关注度，进而有利于提高教学效果。
此外，可选地，响应于所述用户确定进入所述教学模式的操作，对所述用户进行拍摄，将得到的所述用户的用户图像，作为所述前景物之一。则用户在进行编程时可以对其自身的用户图像进行选择，则由此得到的目标动画中也有用户的相应内容，使得用户能够有身临其境的感觉，提高编程教学的趣味性。
进一步地，若拍摄到的用户图像仅含有用户的面部，则可以将其他前景物去除面部部分，得到待定物，并将用户图像中的用户面部部分添加至待定物的面部部分以进行合成，将得到的合成结果，作为前景物，展示给用户。
S112：基于所述用户针对所述教学界面的操作，进行编程，得到目标动画。
从专业的角度上，可以把图形化编程解释为一款可以制作动画、游戏、工具的编程语言，很像游戏。虽然图形化编程是一门适合入门的编程语言，但其内容却很完备。8个编程部件基本包含了常见的编程概念，如程序的三种基本结构：顺序结构、循环结构和选择结构，还有变量的定义和链表（数组）的使用等。相关技术中，与教学界面匹配的图形化（图像化）编程手段均适用于本说明书。
示例性地，得到目标动画的过程可以是。将用户选定的前景物作为目标物。将用户在模块区选定的程序模块添加至脚本区。响应于用户在脚本区中对程序模块的参数进行的修改，得到目标程序。响应于用户对所述目标程序的执行操作，运行所述目标程序，在所述舞台区中展示运行所述目标程序的效果，即目标动画。
本说明书中的方法基于图像化编程平台的AI仿真教学系统，该系统除了能够通过教学程序辅助编程教学之外，还安装有功能程序，较大程度的扩展了系统的适用范围，使得系统除能够实现教学以外，还能够满足用户的其他需求。采用图像化编程平台的AI仿真教学系统接受编程教育的多为儿童，儿童通常对刻板的教学模式较为反感，甚至产生叛逆情绪，影响教学效果。无论用户使用的什么功能程序，无论功能程序实现的是何种功能，通过本说明书中的方法及系统，都能够将教学目的与功能程序相结合，基于功能程序提供的视觉效果对用户进行编程教学。此外，本说明书中的方法及系统还基于用户所处环境的环境图像进行编程教学，使得用户能够通过编程得到的目标动画体验到身临其境的效果，提高教学过程的趣味性，进而改善教学效果。
某些情况下，用户得到目标动画之后，可能会对目标动画的展示效果不满意，但又无从修改。为便于用户分析得出其目标想要的动画效果，在本说明书一个可选地实施例中，在确定出目标程序之后，对所述目标程序运行过程中向用户展示的画面进行录制，得到待定视频。针对每一个所述前景物，将所述待定视频中包含该前景物、且该前景物在其所属的帧的画面中相较于其他帧的画面所占的面积最大的帧，作为关键帧，在关键帧中，该前景物所占画面的面积最大。关键帧与前景物一一对应。在前述的基于用户图像对前景物进行合成的示例中，关键帧与合成之前的前景物一一对应，后续也基于合成之前的前景物的对应关系得到参照视频。然后，基于所述关键帧对所述待定视频进行截取，得到所述各前景物各自对应的参照视频。之后，在得到所述目标动画之后，展示所述目标动画中包含的前景物对应的参照视频和所述目标动画。例如，可以对参照视频和目标动画进行分屏展示。这样用户可以同时观看参照视频和目标动画，观察两者的区别，进而有对目标动画进行修改的方向感。
示例性地，待定视频包含第1帧至第100帧。前景物1对应的关键帧是第62帧。保留待定视频中关键帧的前20帧和后20帧，得到的参照视频供41帧，关键帧是中间的一帧。该实施例较为简便，处理效率较高。
为使得前景物在参照动画中更加突出，便于用户确定自己需要的效果，在本说明书一个可选的实施例中，对待定视频进行截取的过程可以是：确定所述目标动画的播放时长；以参照视频中所述关键帧包含的前景物在所述参照视频的各个画面中所占的总面积最大为目标，将所述待定视频中所述关键帧之前的第一时长中包含的各个连续帧、所述待定视频中所述关键帧之后的第二时长中包含的各个连续帧构成的视频，作为所述关键帧对应的参照视频；其中，所述第一时长和所述第二时长之和等于所述目标动画的播放时长。
动画制作主要是展示前景物的运动，则参照动画中若能够将前景物的动作尽量突出出来，则能够便于用户将参照视频和目标动画进行对比。
该实施例中的方法较为适宜目标程序是视频播放程序、游戏程序的情况。若目标程序是即时通讯程序，在本说明书一个可选地实施例中，系统中预先地存储有动画模板。动画模板是未添加前景物和背景的程序。在生成目标动画之后，将用户选择的目标物添和环境图像加至动画模板中；在展示参照视频和目标视频时，对所述参照视频进行倍速播放，使得参照视频与目标动画的播放时长相同。
在实际应用过程中，有可能存在用户选定的目标物不止一个的情况，若目标物不止一个，则依次播放每个目标物的参照视频。播放次序与用户选定目标物的次序相同。
进一步地，本说明书还提供一种基于图像化编程平台的AI仿真教学系统，所述系统包括：
安装单元，配置为：在检测到本地存储有待安装的功能程序的安装包时，运行所述安装包，对所述功能程序进行安装；
目标程序确定单元，配置为：在检测到所述功能程序在前台运行时，将所述功能程序，确定为目标程序；
前景物确定单元，配置为：识别所述目标程序运行过程中向用户展示的画面中的各前景物；
界面展示单元，配置为：在检测到所述用户针对所述目标程序的指定操作时，向所述用户展示教学界面；其中，所述教学界面包含舞台区、角色区、模块区、以及脚本区；
前景物展示单元，配置为：在所述角色区中展示所述各前景物；
环境图像展示单元，配置为：在所述舞台区中展示针对所述用户当前所处环境的环境图像；
目标动画生成单元，配置为：基于所述用户针对所述教学界面的操作，进行编程，得到目标动画。
该装置能够执行前述任一实施例中的方法，并能够获得相同或相似的技术效果，此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成一种基于图像化编程平台的AI仿真教学装置。处理器，执行存储器所存放的程序，并具体用于执行前述任意一种基于图像化编程平台的AI仿真教学方法。
上述如本申请图1所示实施例揭示的一种基于图像化编程平台的AI仿真教学方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（CentralProcessing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中一种基于图像化编程平台的AI仿真教学方法，并实现图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，执行前述的任意一种基于图像化编程平台的AI仿真教学方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于图像化编程平台的AI仿真教学方法，其特征在于，所述方法基于图像化编程平台的AI仿真教学系统，所述系统中安装有教学程序，所述方法由所述教学程序执行，所述方法包括：
在检测到本地存储有待安装的功能程序的安装包时，运行所述安装包，对所述功能程序进行安装；
在检测到所述功能程序在前台运行时，将所述功能程序，确定为目标程序；
识别所述目标程序运行过程中向用户展示的画面中的各前景物；
在检测到所述用户针对所述目标程序的指定操作时，向所述用户展示教学界面；其中，所述教学界面包含舞台区、角色区、模块区、以及脚本区；
在所述角色区中展示所述各前景物；
在所述舞台区中展示针对所述用户当前所处环境的环境图像；
基于所述用户针对所述教学界面的操作，进行编程，得到目标动画。
2.如权利要求1所述方法，其特征在于，所述指定操作包括以下操作之一：
将所述目标程序切换至后台运行；
关闭所述目标程序。
3.如权利要求1所述方法，其特征在于，所述方法还包括：
在确定出所述目标程序之后，对所述目标程序运行过程中向所述用户展示的画面进行录制，得到待定视频；
针对每一个所述前景物，将所述待定视频中包含该前景物、且该前景物在其所属的帧的画面中相较于其他帧的画面所占的面积最大的帧，作为该前景物的关键帧；
基于所述关键帧对所述待定视频进行截取，分别得到所述各前景物各自对应的参照视频。
4.如权利要求3所述方法，其特征在于，基于所述关键帧对所述待定视频进行截取，包括：
确定所述目标动画的播放时长；
以所述参照视频中所述关键帧包含的前景物在所述参照视频的各个画面中所占的总面积最大为目标，将所述待定视频中所述关键帧之前的第一时长中包含的各个连续帧、以及所述待定视频中所述关键帧之后的第二时长中包含的各个连续帧构成的视频，作为所述关键帧对应的参照视频；其中，所述第一时长和所述第二时长之和等于所述目标动画的播放时长。
5.如权利要求3所述方法，其特征在于，所述方法还包括：
在得到所述目标动画之后，展示所述目标动画中包含的前景物对应的参照视频和所述目标动画。
6.如权利要求1所述方法，其特征在于，所述方法还包括：
在检测到所述用户针对所述目标程序的所述指定操作时，向所述用户展示提示信息，以向所述用户询问是否进入教学模式；
响应于所述用户确定进入所述教学模式的操作，对所述用户所处环境进行拍摄，得到所述环境图像。
7.如权利要求6所述方法，其特征在于，所述方法还包括：
响应于所述用户确定进入所述教学模式的操作，对所述用户进行拍摄，将得到的所述用户的用户图像，作为所述前景物之一。
8.一种基于图像化编程平台的AI仿真教学系统，其特征在于，所述系统包括：
安装单元，配置为：在检测到本地存储有待安装的功能程序的安装包时，运行所述安装包，对所述功能程序进行安装；
目标程序确定单元，配置为：在检测到所述功能程序在前台运行时，将所述功能程序，确定为目标程序；
前景物确定单元，配置为：识别所述目标程序运行过程中向用户展示的画面中的各前景物；
界面展示单元，配置为：在检测到所述用户针对所述目标程序的指定操作时，向所述用户展示教学界面；其中，所述教学界面包含舞台区、角色区、模块区、以及脚本区；
前景物展示单元，配置为：在所述角色区中展示所述各前景物；
环境图像展示单元，配置为：在所述舞台区中展示针对所述用户当前所处环境的环境图像；
目标动画生成单元，配置为：基于所述用户针对所述教学界面的操作，进行编程，得到目标动画。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1~7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~7之任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310626522.1A CN116360778B (zh) | 2023-05-31 | 2023-05-31 | 一种基于图像化编程平台的ai仿真教学方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310626522.1A CN116360778B (zh) | 2023-05-31 | 2023-05-31 | 一种基于图像化编程平台的ai仿真教学方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116360778A CN116360778A (zh) | 2023-06-30 |
| CN116360778B true CN116360778B (zh) | 2023-07-25 |
Family
ID=86922507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310626522.1A Active CN116360778B (zh) | 2023-05-31 | 2023-05-31 | 一种基于图像化编程平台的ai仿真教学方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116360778B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197929A (zh) * | 2013-03-25 | 2013-07-10 | 中国科学院软件研究所 | 一种面向儿童的图形化编程系统和方法 |
| CN103325134A (zh) * | 2012-03-23 | 2013-09-25 | 天津生态城动漫园投资开发有限公司 | 一种实时立体动画(2k)创作平台 |
| CN110570725A (zh) * | 2019-08-08 | 2019-12-13 | 华中师范大学 | 一种基于故事叙述的幼儿机器人教学系统 |
| CN111857697A (zh) * | 2020-05-29 | 2020-10-30 | 北京编程猫科技有限公司 | 一种基于认知ai的图形化编程实现方法及装置 |
| CN115239535A (zh) * | 2022-08-12 | 2022-10-25 | 北京思明启创科技有限公司 | 课程闯关教学方法、装置、电子设备及存储介质 |
| CN115760501A (zh) * | 2022-10-25 | 2023-03-07 | 华南师范大学 | 一种基于图形化编程平台的ai仿真教学系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11003422B2 (en) * | 2019-05-10 | 2021-05-11 | Fasility Llc | Methods and systems for visual programming using polymorphic, dynamic multi-dimensional structures |
-
2023
- 2023-05-31 CN CN202310626522.1A patent/CN116360778B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325134A (zh) * | 2012-03-23 | 2013-09-25 | 天津生态城动漫园投资开发有限公司 | 一种实时立体动画(2k)创作平台 |
| CN103197929A (zh) * | 2013-03-25 | 2013-07-10 | 中国科学院软件研究所 | 一种面向儿童的图形化编程系统和方法 |
| CN110570725A (zh) * | 2019-08-08 | 2019-12-13 | 华中师范大学 | 一种基于故事叙述的幼儿机器人教学系统 |
| CN111857697A (zh) * | 2020-05-29 | 2020-10-30 | 北京编程猫科技有限公司 | 一种基于认知ai的图形化编程实现方法及装置 |
| CN115239535A (zh) * | 2022-08-12 | 2022-10-25 | 北京思明启创科技有限公司 | 课程闯关教学方法、装置、电子设备及存储介质 |
| CN115760501A (zh) * | 2022-10-25 | 2023-03-07 | 华南师范大学 | 一种基于图形化编程平台的ai仿真教学系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116360778A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260545B (zh) | 生成图像的方法和装置 | |
| US11412153B2 (en) | Model-based method for capturing images, terminal, and storage medium | |
| KR101933558B1 (ko) | 동영상 내 하이라이트 댓글을 처리하기 위한 방법 및 시스템 | |
| CN106375696B (zh) | 一种屏幕录像方法及装置 | |
| US11481948B2 (en) | Method, device and storage medium for generating animation group by synthesizing animation layers based on tree structure relation between behavior information and sub-behavior information | |
| CN111539188A (zh) | 笔记生成方法、计算设备及计算机存储介质 | |
| CN112804582A (zh) | 弹幕处理方法、装置、电子设备及存储介质 | |
| CN112817790A (zh) | 模拟用户行为的方法 | |
| KR20190131074A (ko) | 가상 장면 디스플레이 방법 및 디바이스, 및 저장 매체 | |
| TW201826109A (zh) | 頁面展示方法及裝置 | |
| US11991470B2 (en) | Simulated photographing special effect generation method and apparatus, device, and medium | |
| CN116360778B (zh) | 一种基于图像化编程平台的ai仿真教学方法及系统 | |
| CN114444725B (zh) | 预训练服务系统及基于预训练服务系统的服务提供方法 | |
| CN116974676A (zh) | 一种页面内容发送方法、装置和设备 | |
| Ambardekar et al. | Ground truth verification tool (GTVT) for video surveillance systems | |
| CN109857478A (zh) | 目标应用程序的运行方法、装置及可读存储介质 | |
| CN109542775A (zh) | 一种测试脚本的生成和执行方法及装置 | |
| CN113559503A (zh) | 视频生成方法、设备及计算机可读介质 | |
| CN112597416A (zh) | 网页元素的显示方法、装置、服务器和存储介质 | |
| CN115640044B (zh) | 基于Unity的三维软件开发方法、装置、设备及介质 | |
| CN109819330A (zh) | 直播间跳转方法、装置、设备和存储介质 | |
| CN111079051B (zh) | 一种展示内容的播放方法及装置 | |
| KR102129691B1 (ko) | 이미지 기반 동영상 서비스 방법 및 시스템 | |
| CN117370602A (zh) | 视频处理方法、装置、设备与计算机存储介质 | |
| CN116089696A (zh) | 个性化推荐方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |