CN112287767A - 交互控制方法、装置、存储介质以及电子设备 - Google Patents
交互控制方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN112287767A CN112287767A CN202011069232.4A CN202011069232A CN112287767A CN 112287767 A CN112287767 A CN 112287767A CN 202011069232 A CN202011069232 A CN 202011069232A CN 112287767 A CN112287767 A CN 112287767A
- Authority
- CN
- China
- Prior art keywords
- image
- interaction
- user
- images
- limb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000009471 action Effects 0.000 claims abstract description 109
- 230000004044 response Effects 0.000 claims abstract description 51
- 210000003414 extremity Anatomy 0.000 claims description 125
- 230000002452 interceptive effect Effects 0.000 claims description 21
- 230000000977 initiatory effect Effects 0.000 claims description 15
- 210000000707 wrist Anatomy 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 210000003127 knee Anatomy 0.000 claims description 7
- 210000002414 leg Anatomy 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 16
- 230000006870 function Effects 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 description 12
- 210000004247 hand Anatomy 0.000 description 12
- 210000000245 forearm Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003423 ankle Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Tourism & Hospitality (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种交互控制方法、装置、存储介质以及电子设备。所述方法包括：获取来自一个或多个第一终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的第一终端发送交互响应指令。本申请通过上述方法，识别用户的肢体交互动作，比如举手、站立等动作，在一对多的线上平台的交互过程中实现抢答等功能，丰富了线上平台中的交互方式，也增加了交互的乐趣。
Description
技术领域
本申请涉及在线教育领域，尤其涉及一种交互控制方法、装置、存储介质以及电子设备。
背景技术
随着互联网的发展，在线教学受到越来越多人的欢迎，在线教学不限制时间和地点，可以灵活学习，教师和学生之间还可以随时进行互动。在一对多的教学场景下，教师和学生之间的互动受到限制，基本都是通过教师在教师终端上进行触控操作，学生在学生终端上进行触控操作从而进行相应的交互行为，使得在线教学课堂的趣味性较低，也可能会存在学生的课堂参与感较低的问题。
发明内容
本申请实施例提供了一种交互控制方法、装置、存储介质以及电子设备，旨在提高在线教学课堂的趣味性以及学生的课堂参与感的技术问题。所述技术方案如下：
第一方面，本申请实施例提供了一种交互控制方法，所述方法包括：
获取来自一个或多个第一终端的一个或多个图像；
对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作；
基于识别结果，将所述存在肢体交互动作的图像作为备选图像；
从所述备选图像中选择符合预设条件的图像作为目标图像；
向所述目标图像对应的第一终端发送交互响应指令。
可选地，所述一个或多个图像的分别包括一个用户；
所述对所述至少一个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作包括：
基于预先训练的神经网络确定各个图像中的用户肢体关键点的三维坐标；
基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作。
可选地，所述肢体交互动作为举手动作；
所述基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作包括：
基于用户左、右手腕和左、右手肘的三维坐标，计算用户左、右手小臂抬起的第一角度；
在所述第一角度大于第一角度阈值时，确定所述图像中的用户发起所述举手动作。
可选地，所述肢体交互动作为站立动作；
所述基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作包括：
基于用户躯干、脊柱中心、以及左、右膝盖的三维坐标，计算用户的躯干和腿部在竖直平面的第二角度；
在所述第二角度大于第二角度阈值时，确定所述图像中的用户发起所述站立动作。
可选地，所述从所述备选图像中选择符合预设条件的图像作为目标图像包括：
基于各个备选图像中的用户发起肢体交互动作的时间选择符合预设条件的图像作为目标图像；或
基于各个备选图像中的用户在预设时间段内发起肢体交互动作的次数选择符合预设条件的图像作为目标图像。
可选地，所述基于各个备选图像中的用户发起肢体交互动作的时间选择符合预设条件的图像作为目标图像包括：
将所述各个备选图像中的用户发起肢体交互动作时间最早的图像作为目标图像；或
将所述各个备选图像中的用户发起肢体交互动作时间最晚的图像作为目标图像。
可选地，所述基于各个备选图像中的用户在预设时间段内发起肢体交互动作的次数选择符合预设条件的图像作为目标图像包括：
将所述各个备选图像中的用户在预设时间段内发起肢体交互动作的次数最少的图像作为目标图像；或
将所述各个备选图像中的用户在预设时间段内发起肢体交互动作的次数最多的图像作为目标图像。
可选地，所述向所述目标图像对应的第一终端发送交互响应指令包括：
获取各个图像对应的第一终端的设备标识；
基于所述设备标识向所述目标图像对应的第一终端发送交互成功响应指令，向其他图像对应的第一终端发送交互失败响应指令。
可选地，所述方法由所述服务器执行，其特征在于，所述获取来自一个或多个第一终端的一个或多个图像之前，还包括：
接收来自第二终端的图像获取指令；
所述获取来自一个或多个第一终端的一个或多个图像，包括：
响应于所述图像获取指令，获取来自一个或多个第一终端的一个或多个图像。
可选地，所述方法由所述第二终端执行，其特征在于，所述获取来自一个或多个第二终端的一个或多个图像之前，还包括：
接收用户基于所述第二终端输入的图像获取指令；
所述获取来自一个或多个第一终端的一个或多个图像，包括：
响应于所述图像获取指令，获取来自一个或多个第一终端的一个或多个图像。
第二方面，本申请实施例提供了一种交互控制装置，所述装置包括：
图像获取模块，用于获取来自一个或多个第一终端的一个或多个图像；
图像识别模块，用于对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作；
图像选择模块，用于基于识别结果，将所述存在肢体交互动作的图像作为备选图像；
第二图像选择模块，用于从所述备选图像中选择符合预设条件的图像作为目标图像；
指令发送模块，用于向所述目标图像对应的第一终端发送交互响应指令。
第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供了一种电子设备，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例的方案在执行时，获取来自一个或多个学生终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的学生终端发送交互响应指令。本申请通过上述方法，识别学生的肢体交互动作，比如举手、站立等动作，在一对多的线上教学过程中实现抢答等功能，丰富了在线教学过程中的交互方式，也增加了在线教学的乐趣。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请显示模式的控制方法的系统架构示意图；
图2是本申请实施例提供的一种交互控制方法的流程示意图；
图3是本申请实施例提供的一种交互的控制方法的流程示意图；
图4是本申请实施例提供的一种交互的控制方法的流程示意图；
图5是本申请实施例提供的一种交互控制装置的结构示意图；
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参见图1，其示出了可以应用本申请实施例的交互控制方法或交互控制装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101和终端设备102通过网络104、服务器105和终端设备103之间进行通信，终端设备101或终端设备102向服务器105发送消息，服务器105将消息转发给终端设备103，终端设备103将消息发送给服务器105，服务器105将消息转发给终端设备101或终端设备102，由此实现终端设备101或终端设备102和终端设备103之间的通信，终端设备101或终端设备102和终端设备103之间交互的消息类型包括控制数据和业务数据。
其中，本申请的应用场景可以是线上教学系统，终端设备101为本申请中的第一终端，可以为学生上课的终端，终端设备102为本申请中的第一终端，可以为学生上课的终端，终端设备103为为本申请中的第二终端，可以为教师上课的终端；或终端设备101或终端设备102为本申请中的第二终端，可以为教师上课的终端，终端设备103为本申请中的第一终端，可以为学生上课的终端。例如：业务数据为视频流，终端设备101或终端设备102通过摄像头采集学生上课过程中的第一视频流，终端设备103通过摄像头采集教师上课过程中的第二视频流，终端设备101或终端设备102将第一视频流发送给服务器105，服务器105将第一视频流转发给终端设备103，终端设备103在界面上显示第一视频流和第二视频流；终端设备103将第二视频流发送给服务器105，服务器105将第二视频流转发给终端设备101，终端设备101显示第一视频流和第二视频流。
其中，本申请的上课方式可以是一对一或一对多在线直播课，即一个教师对应一个学生或一个教师对应多个学生。相应的，在一对一的教学方式中，一个用于教师上课的终端和一个用于学生上课的终端之间进行通信；在一对多的教学方式中，一个用于教师上课的终端和多个用于学生上课的终端之间进行通信。本申请的上课方式也可以是录播课，如单独上课、多人一起上课(如：小班课、大班课等)，相应的对于单独上课方式，是一个学生上课的终端与服务器和/或平台之间进行通信，而对于多人一起上课的方式，则是多个学生上课的终端与服务器和/或平台之间进行通信。此外，本申请也可以是直播课、录播课的结合，例如：部分时段是录播课、部分时段是直播课，等等。
终端设备101、终端设备102和终端设备103上可以安装有各种通信客户端应用，例如：视频录制应用、视频显示应用、语音交互应用、搜索类应用、及时通信工具、邮箱客户端、社交平台软件等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
本申请中的终端设备101、102、103可以为提供各种服务的终端设备。例如用户通过终端设备103(也可以是终端设备101或102)获取来自一个或多个第一终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的第一终端发送交互响应指令。
在此需要说明的是，本申请实施例所提供的交互控制方法可以由终端设备101、102、103中的一个或多个，和/或，服务器105执行，相应地，本申请实施例所提供的交互控制装置一般设置于对应终端设备中，和/或，服务器105中，但本申请不限于此。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为线上教学系统中的教师终端或服务器进行介绍说明。
请参见图2，为本申请实施例提供的一种交互控制方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：
S201，获取来自一个或多个第一终端的一个或多个图像。
其中，第一终端为学生终端，一个或多个图像中包括一个或多个学生。各个图像分别来自各个学生终端，每个图像中包括一个学生。可以理解的是，获取来自一个或多个学生终端的一个或多个图像是可以基于图像获取指令进行图像获取，图像获取指令是教师在教师终端发起的，教师终端发起图像获取指令之后，学生发起对应的交互动作，学生终端采集包括学生在内的图像，并将采集的图像发送给服务器或教师终端。在本申请实施例中，执行主体可以是线上教学系统中的教师终端，也可以是服务器，不管执行主体是教师终端还是服务器，在接收到图像获取指令时，可以获取来自一个或多个学生终端的一个或多个图像。
S202，对一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作。
其中，人体姿态估计是计算机视觉中一个相对基础的任务，是人体动作识别、行为分析、人机交互等的前置任务。一般情况下可以将人体关键点检测细分为单人/多人关键点检测、2D/3D关键点检测，同时有算法在完成关键点检测之后还会进行关键点的跟踪，也被称为人体姿态跟踪。不区分2D、3D的情况下，人体关键点检测可以分为单人关键点检测和多人关键点检测两类。在2D多人关键点检测(多人姿态估计)中，top-down方法先进行目标检测(人)，再对每个检测到的人进行单人的关键点检测(单人姿态估计)；bottm-up方法先检测所有人的关键点，然后再对关键点进行分组关联。一般来说，top-down方法精度更高，而bottom-up方法速度更快。本申请实施例中涉及的是单人姿态估计，一个图像中有一个学生，分别对各个图像进行人体姿态估计，判断各个图像中的学生是否发起肢体交互动作，肢体交互动作是学生在线上学习的过程中，与教师进行互动而发起的肢体动作，比如说举手、站立等肢体动作。
S203，基于识别结果，将存在肢体交互动作的图像作为备选图像。
一般的，基于S202的图像识别结果，将上述图像中存在肢体交互动作的图像作为备选图像。
S204，从备选图像中选择符合预设条件的图像作为目标图像。
其中，预设条件是指根据学生发起肢体交互动作的时间预设的条件，也可以是指根据学生在预设时间段内发起肢体交互动作的次数预设的条件。比如：
可选地，可以选择学生发起肢体交互动作的时间最早的备选图像作为目标图像。
可选地，可以选择学生发起肢体交互动作的时间最晚的备选图像作为目标图像。
具体地，教师终端获取的图像中携带时间和学生终端的设备标识，比较各个备选图像的时间，将时间最早的备选图像作为目标图像或将时间最晚的备选图像作为目标图像。
可选地，可以选择学生在预设时间段内发起肢体交互动作的次数最少的备选图像作为目标图像。
可选地，可以选择学生在预设时间段内发起肢体交互动作的次数最多的备选图像作为目标图像。
具体地，预设时间段可以根据实际应用场景任意设定，比如可以设置一节课的时间，可以设置一天的时间，还可以设置一周的时间等等，本申请实施例对此不作任何限制。根据获取的图像统计各个备选图像对应的学生在预设时间内发起肢体交互动作的次数，确定上述学生在预设时间内发起肢体交互动作次数最多的学生或最少的学生，进一步的，将次数最多的学生对应的备选图像作为目标图像或次数最少的学生对应的备选图像作为目标图像。
S205，向目标图像对应的第一终端发送交互响应指令。
其中，交互响应指令用于告知学生终端基于上述肢体交互动作的交互结果。教师终端或服务器可以向目标图像对应的学生终端发送交互成功指令，向其他各个图像对应的学生终端发送交互失败指令。交互成功指令用于告诉其对应的学生，其做出的肢体交互动作交互成功，交互失败指令用于告诉其对应的学生，其做出的肢体交互动作交互失败，各个学生可以根据交互成功指令或交互失败指令做出相应的响应事件。比如，本申请实施例的应用场景是在线教学的抢答环节中，在学生抢答成功时，学生可以对题目做出语音回答或文本回答；在抢答失败时，学生无需回答题目。
本申请实施例的方案在执行时，获取来自一个或多个学生终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的学生终端发送交互响应指令。本申请通过上述方法，识别学生的肢体交互动作，比如举手、站立等动作，在一对多的线上教学过程中实现抢答等功能，丰富了在线教学过程中的交互方式，也增加了在线教学的乐趣。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为服务器进行介绍说明。
请参见图3，为本申请实施例提供的一种交互控制方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤：
S301，接收来自第二终端的图像获取指令。
其中，第二终端为线上教学系统中的教师终端。用户在教师终端上执行图像获取指令，教师终端在接收到该图像获取指令时，将该图像获取指令发送给服务器。该图像获取指令可以是用户点击教师终端上的触控按钮生成的，也可以是用户在教师终端执行的键盘输入操作生成的，还可以是用户在教师终端执行的鼠标触控操作生成的，还可以是用户在教师终端执行的语音输入操作生成的。
S302，响应于图像获取指令，获取来自一个或多个第一终端的一个或多个图像。
其中，第一终端为线上教学系统中的学生终端。服务器接收图像获取指令，响应于该图像获取指令，服务器向学生终端发送图像采集指令，学生终端响应于该图像采集指令采集包括学生在内的图像，将图像发给服务器。进一步的，服务器接收来自学生终端的图像，各个图像中分别包括一个学生。
S303，基于预先训练的神经网络确定各个图像中的用户肢体关键点的三维坐标。
其中，预先训练的神经网络可以对RGB图像或视频进行人体姿态估计，得到人体肢体关键点的三维坐标。
一般的，基于获取的各个学生终端中的各个图像，通过预先训练的神经网络对各个图像进行处理，分别得到各个图像中的学生的肢体关键点的三维坐标，包括鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝、左右脚踝的三维坐标。
S304，基于用户肢体关键点的三维坐标确定用户是否发起肢体交互动作，将用户发起肢体交互动作的图像作为备选图像。
可能地，肢体交互动作为举手动作。
具体地，可以基于学生左、右手腕和左、右手肘的三维坐标，计算学生左、右手小臂抬起的第一角度；在第一角度大于第一角度阈值时，确定图像中的学生发起举手动作。其中，第一角度阈值用于判断学生左右手臂抬起的角度是否是做出举手动作的角度。可以理解的是，可以根据学生的左手腕和左手肘的三维坐标，计算学生的左小臂抬起的角度，根据学生的右手腕和右手肘的三维坐标，计算学生的右小臂抬起的角度，分别将左右手臂抬起的角度和第一角度阈值进行比较，在左手臂或右手臂抬起的角度大于角度阈值时，可以确定该图像中的学生发起了举手动作，并将该图像作为备选图像。
可能地，肢体交互动作为站立动作。
具体地，可以基于学生躯干、脊柱中心、以及左、右膝盖的三维坐标，计算学生的躯干和腿部在竖直平面的第二角度；在第二角度大于第二角度阈值时，确定图像中的学生发起站立动作。其中，第二角度阈值用于判断学生躯干和腿部在竖直平面的角度是否是做出站立动作的角度。比如第二角度阈值设置为30度，在所测得的第二角度小于第二角度阈值时，可以确定学生做出了站立的动作，并将该图像作为备选图像。
在本申请实施例中，肢体交互动作还可以是其他肢体动作，可以根据具体应用场景进行设定，本申请实施例对此不作任何限制。
S305，基于用户发起的肢体交互动作选择符合预设条件的备选图像作为目标图像。
可能地，预设条件可以是学生发起肢体交互动作的时间。
具体地，可以确定各个备选图像中的学生发起肢体交互动作的时间，教师终端获取的各个图像中携带有时间，可以选择学生发起肢体交互动作时间最早的备选图像作为目标图像，可以选择学生发起肢体交互动作时间最晚的备选图像作为目标图像。
可能地，预设条件可以是学生在预设时间段内发起肢体交互动作的次数。
具体地，可以确定各个备选图像中的学生在预设时间段内发起肢体交互动作的次数，预设时间段可以任意设定，可以是半小时、一小时、二小时等等，可以选择学生在预设时间段内发起肢体交互动作次数最少的备选图像作为目标图像，可以选择学生在预设时间段内发起肢体交互动作次数最多的备选图像作为目标图像。
在本申请实施例中，预设条件还可以是其他条件，可以根据具体应用场景进行设定，本申请实施例对此不作任何限制。
S306，获取各个图像对应的第一终端的设备标识。
S307，基于设备标识向目标图像对应的第一终端发送交互成功响应指令，向其他图像对应的第一终端发送交互失败响应指令。
在S306～S307中，设备标识是指用于标识学生终端的MAC地址，网络中每台设备都有一个唯一的网络标识，这个地址叫MAC地址或网卡地址，根据MAC地址来区分不同的学生终端。一般的，教师终端所获取的各个图像中分别携带有对应的终端的设备标识，也就是MAC地址，在确定了目标图像之后，获取各个图像对应的学生终端的MAC地址，向目标图像对应的学生终端发送交互成功响应指令，向其他图像对应的学生终端发送交互失败响应指令，交互成功响应指令用于告知学生终端显示交互成功画面，交互失败响应指令用于告知学生终端显示交互失败画面。
举例来说：本申请实施例可以应用在线上教学中，一对多的教学场景下的抢答环节中，教师在教师终端发出抢答的指令，学生可以作出相应的反应，包括举手或站立这样的动作，至于是发起举手动作还是站立动作可以由教师任意设定，根据学生发起的举手动作或站立动作，选出符合条件的目标学生，并向该学生所在的学生终端发送对应的交互成功响应指令，向其他学生所在的学生终端发送对应的交互失败响应指令，交互成功响应指令用于告知学生终端该学生抢答成功，交互失败响应指令用于告知学生终端该学生抢答失败。
本申请实施例的方案在执行时，获取来自一个或多个学生终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的学生终端发送交互响应指令。本申请通过上述方法，识别学生的肢体交互动作，比如举手、站立等动作，在一对多的线上教学过程中实现抢答等功能，丰富了在线教学过程中的交互方式，也增加了在线教学的乐趣。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为教师终端进行介绍说明。
请参见图4，为本申请实施例提供的一种交互控制方法的流程示意图。如图4所示，本申请实施例的所述方法可以包括以下步骤：
S401，接收用户基于第二终端输入的图像获取指令。
其中，第二终端为线上教学系统中的教师终端。用户在教师终端上执行图像获取指令，教师终端接收该图像获取指令，该图像获取指令可以是用户点击教师终端上的触控按钮生成的，也可以是用户在教师终端执行的键盘输入操作生成的，还可以是用户在教师终端执行的鼠标触控操作生成的，还可以是用户在教师终端执行的语音输入操作生成的。
S402，响应于图像获取指令，获取来自一个或多个第一终端的一个或多个图像。
其中，第一终端为线上教学系统中的学生终端。一般的，教师终端接收图像获取指令，响应于该图像获取指令，教师终端向学生终端发送图像采集指令，学生终端响应于该图像采集指令采集包括学生在内的图像，将图像发给教师终端，进一步的，教师终端接收来自学生终端的图像，各个图像中分别包括一个学生。
S403，基于预先训练的神经网络确定各个图像中的用户肢体关键点的三维坐标。
其中，预先训练的神经网络可以对RGB图像或视频进行人体姿态估计，得到人体肢体关键点的三维坐标。
一般的，基于获取的各个学生终端中的各个图像，通过预先训练的神经网络对各个图像进行处理，分别得到各个图像中的学生的肢体关键点的三维坐标，包括鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝、左右脚踝的三维坐标。
S404，基于用户肢体关键点的三维坐标确定用户是否发起肢体交互动作，将用户发起肢体交互动作的图像作为备选图像。
可能地，肢体交互动作为举手动作。
具体地，可以基于学生左、右手腕和左、右手肘的三维坐标，计算学生左、右手小臂抬起的第一角度；在第一角度大于第一角度阈值时，确定图像中的学生发起举手动作。其中，第一角度阈值用于判断学生左右手臂抬起的角度是否是做出举手动作的角度。可以理解的是，可以根据学生的左手腕和左手肘的三维坐标，计算学生的左小臂抬起的角度，根据学生的右手腕和右手肘的三维坐标，计算学生的右小臂抬起的角度，分别将左右手臂抬起的角度和第一角度阈值进行比较，在左手臂或右手臂抬起的角度大于角度阈值时，可以确定该图像中的学生发起了举手动作，并将该图像作为备选图像。
可能地，肢体交互动作为站立动作。
具体地，可以基于学生躯干、脊柱中心、以及左、右膝盖的三维坐标，计算学生的躯干和腿部在竖直平面的第二角度；在第二角度大于第二角度阈值时，确定图像中的学生发起站立动作。其中，第二角度阈值用于判断学生躯干和腿部在竖直平面的角度是否是做出站立动作的角度。比如第二角度阈值设置为30度，在所测得的第二角度小于第二角度阈值时，可以确定学生做出了站立的动作，并将该图像作为备选图像。
在本申请实施例中，肢体交互动作还可以是其他肢体动作，可以根据具体应用场景进行设定，本申请实施例对此不作任何限制。
S405，基于用户发起的肢体交互动作选择符合预设条件的备选图像作为目标图像。
可能地，预设条件可以是学生发起肢体交互动作的时间。
具体地，可以确定各个备选图像中的学生发起肢体交互动作的时间，教师终端获取的各个图像中携带有时间，可以选择学生发起肢体交互动作时间最早的备选图像作为目标图像，可以选择学生发起肢体交互动作时间最晚的备选图像作为目标图像。
可能地，预设条件可以是学生在预设时间段内发起肢体交互动作的次数。
具体地，可以确定各个备选图像中的学生在预设时间段内发起肢体交互动作的次数，预设时间段可以任意设定，可以是半小时、一小时、二小时等等，可以选择学生在预设时间段内发起肢体交互动作次数最少的备选图像作为目标图像，可以选择学生在预设时间段内发起肢体交互动作次数最多的备选图像作为目标图像。
在本申请实施例中，预设条件还可以是其他条件，可以根据具体应用场景进行设定，本申请实施例对此不作任何限制。
S406，获取各个图像对应的第一终端的设备标识。
S407，基于设备标识向目标图像对应的第一终端发送交互成功响应指令，向其他图像对应的第一终端发送交互失败响应指令。
在S406～S407中，设备标识是指用于标识学生终端的MAC地址，网络中每台设备都有一个唯一的网络标识，这个地址叫MAC地址或网卡地址，根据MAC地址来区分不同的学生终端。一般的，教师终端所获取的各个图像中分别携带有对应的终端的设备标识，也就是MAC地址，在确定了目标图像之后，获取各个图像对应的学生终端的MAC地址，向目标图像对应的学生终端发送交互成功响应指令，向其他图像对应的学生终端发送交互失败响应指令，交互成功响应指令用于告知学生终端显示交互成功画面，交互失败响应指令用于告知学生终端显示交互失败画面。
举例来说：本申请实施例可以应用在线上教学中，一对多的教学场景下的抢答环节中，教师在教师终端发出抢答的指令，学生可以作出相应的反应，包括举手或站立这样的动作，至于是发起举手动作还是站立动作可以由教师任意设定，根据学生发起的举手动作或站立动作，选出符合条件的目标学生，并向该学生所在的学生终端发送对应的交互成功响应指令，向其他学生所在的学生终端发送对应的交互失败响应指令，交互成功响应指令用于告知学生终端该学生抢答成功，交互失败响应指令用于告知学生终端该学生抢答失败。
本申请实施例的方案在执行时，获取来自一个或多个学生终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的学生终端发送交互响应指令。本申请通过上述方法，识别学生的肢体交互动作，比如举手、站立等动作，在一对多的线上教学过程中实现抢答等功能，丰富了在线教学过程中的交互方式，也增加了在线教学的乐趣。
请参见图5，为本申请实施例提供的一种交互控制装置的结构示意图。该交互控制装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置500包括：
图像获取模块510，用于获取来自一个或多个第一终端的一个或多个图像；
图像识别模块520，用于对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作；
图像选择模块530，用于基于识别结果，将所述存在肢体交互动作的图像作为备选图像；
第二图像选择模块540，用于从所述备选图像中选择符合预设条件的图像作为目标图像；
指令发送模块550，用于向所述目标图像对应的第一终端发送交互响应指令。
可选地，图像识别模块520包括：
第一确定模块，用于基于预先训练的神经网络确定各个图像中的用户肢体关键点的三维坐标；
第二确定模块，用于基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作。
可选地，第二确定模块包括：
第一单元，用于基于用户左、右手腕和左、右手肘的三维坐标，计算用户左、右手小臂抬起的第一角度；
第二单元，用于在所述第一角度大于第一角度阈值时，确定所述图像中的用户发起所述举手动作。
可选地，第二确定模块还包括：
第三单元，用于基于用户躯干、脊柱中心、以及左、右膝盖的三维坐标，计算用户的躯干和腿部在竖直平面的第二角度；
第四单元，用于在所述第二角度大于第二角度阈值时，确定所述图像中的用户发起所述站立动作。
可选地，第二图像选择模块540包括：
第一目标图像确定单元，用于基于各个备选图像中的用户发起肢体交互动作的时间选择符合预设条件的图像作为目标图像；或
第二目标图像确定单元，用于基于各个备选图像中的用户在预设时间段内发起肢体交互动作的次数选择符合预设条件的图像作为目标图像。
可选地，第一目标图像确定单元包括：
第三目标图像确定单元，用于将所述各个备选图像中的用户发起肢体交互动作的时间最早的图像作为目标图像；或
第四目标图像确定单元，用于将所述各个备选图像中的用户发起肢体交互动作的时间最晚的图像作为目标图像。
可选地，第二目标图像确定单元包括：
第五目标图像确定单元，用于将所述各个备选图像中的用户在预设时间段内发起肢体交互动作的次数最少的图像作为目标图像；或
第六目标图像确定单元，用于将所述各个备选图像中的用户在预设时间段内发起肢体交互动作的次数最多的图像作为目标图像。
可选地，指令发送模块550包括
设备标识获取单元，用于获取各个图像对应的第一终端的设备标识；
指令发送单元，用于基于所述设备标识向所述目标图像对应的第一终端发送交互成功响应指令，向其他图像对应的第一终端发送交互失败响应指令。
可选地，装置500还包括：
第一指令接收模块，用于接收来自第二终端的图像获取指令；或
第二指令获取模块，用于接收用户基于所述第二终端输入的图像获取指令。
本申请实施例的方案在执行时，获取来自一个或多个学生终端的一个或多个图像，对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作，基于识别结果，将所述存在肢体交互动作的图像作为备选图像，从所述备选图像中选择符合预设条件的图像作为目标图像，向所述目标图像对应的学生终端发送交互响应指令。本申请通过上述方法，识别学生的肢体交互动作，比如举手、站立等动作，在一对多的线上教学过程中实现抢答等功能，丰富了在线教学过程中的交互方式，也增加了在线教学的乐趣。
请参见图6，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施上述实施例中交互控制方法。具体来讲：
存储器620可用于存储软件程序以及模块，处理器690通过运行存储在存储器620的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器620还可以包括存储器控制器，以提供处理器690和输入单元630对存储器620的访问。
输入单元630可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元630可包括触敏表面631(例如：触摸屏、触摸板或触摸框)。触敏表面631，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面631上或在触敏表面631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器690，并能接收处理器690发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面631。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元640可包括显示面板641，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板641。进一步的，触敏表面631可覆盖显示面板641，当触敏表面631检测到在其上或附近的触摸操作后，传送给处理器690以确定触摸事件的类型，随后处理器690根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触敏表面631与显示面板641是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面631与显示面板641集成而实现输入和输出功能。
处理器690是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器690可包括一个或多个处理核心；其中，处理器690可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器690中。
具体在本实施例中，电子设备的显示单元是触摸屏显示器，电子设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含实现交互控制方法的步骤。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述的方法步骤，具体执行过程可以参见图2、图3和图4所示实施例的具体说明，在此不进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (13)
1.一种交互控制方法，其特征在于，所述方法包括：
获取来自一个或多个第一终端的一个或多个图像；
对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作；
基于识别结果，将所述存在肢体交互动作的图像作为备选图像；
从所述备选图像中选择符合预设条件的图像作为目标图像；
向所述目标图像对应的第一终端发送交互响应指令。
2.根据权利要求1所述的方法，其特征在于，所述一个或多个图像的分别包括一个用户；
所述对所述至少一个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作包括：
基于预先训练的神经网络确定各个图像中的用户肢体关键点的三维坐标；
基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作。
3.根据权利要求2所述的方法，其特征在于，所述肢体交互动作为举手动作；
所述基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作包括：
基于用户左、右手腕和左、右手肘的三维坐标，计算用户左、右手小臂抬起的第一角度；
在所述第一角度大于第一角度阈值时，确定所述图像中的用户发起所述举手动作。
4.根据权利要求2所述的方法，其特征在于，所述肢体交互动作为站立动作；
所述基于所述用户肢体关键点的三维坐标确定用户是否发起肢体交互动作包括：
基于用户躯干、脊柱中心、以及左、右膝盖的三维坐标，计算用户的躯干和腿部在竖直平面的第二角度；
在所述第二角度大于第二角度阈值时，确定所述图像中的用户发起所述站立动作。
5.根据权利要求1所述的方法，其特征在于，所述从所述备选图像中选择符合预设条件的图像作为目标图像包括：
基于各个备选图像中的用户发起肢体交互动作的时间选择符合预设条件的图像作为目标图像；或
基于各个备选图像中的用户在预设时间段内发起肢体交互动作的次数选择符合预设条件的图像作为目标图像。
6.根据权利要求5所述的方法，其特征在于，所述基于各个备选图像中的用户发起肢体交互动作的时间选择符合预设条件的图像作为目标图像包括：
将所述各个备选图像中的用户发起肢体交互动作时间最早的图像作为目标图像；或
将所述各个备选图像中的用户发起肢体交互动作时间最晚的图像作为目标图像。
7.根据权利要求5所述的方法，其特征在于，所述基于各个备选图像中的用户在预设时间段内发起肢体交互动作的次数选择符合预设条件的图像作为目标图像包括：
将所述各个备选图像中的用户在预设时间段内发起肢体交互动作的次数最少的图像作为目标图像；或
将所述各个备选图像中的用户在预设时间段内发起肢体交互动作的次数最多的图像作为目标图像。
8.根据权利要求5所述的方法，其特征在于，所述向所述目标图像对应的第一终端发送交互响应指令包括：
获取各个图像对应的第一终端的设备标识；
基于所述设备标识向所述目标图像对应的第一终端发送交互成功响应指令，向其他图像对应的第一终端发送交互失败响应指令。
9.根据权利要求1所述的方法，所述方法由所述服务器执行，其特征在于，所述获取来自一个或多个第一终端的一个或多个图像之前，还包括：
接收来自第二终端的图像获取指令；
所述获取来自一个或多个第一终端的一个或多个图像，包括：
响应于所述图像获取指令，获取来自一个或多个第一终端的一个或多个图像。
10.根据权利要求1所述的方法，所述方法由所述第二终端执行，其特征在于，所述获取来自一个或多个第一终端的一个或多个图像之前，还包括：
接收用户基于所述第二终端输入的图像获取指令；
所述获取来自一个或多个第一终端的一个或多个图像，包括：
响应于所述图像获取指令，获取来自一个或多个第一终端的一个或多个图像。
11.一种交互控制装置，其特征在于，所述装置包括：
图像获取模块，用于获取来自一个或多个第一终端的一个或多个图像；
图像识别模块，用于对所述一个或多个图像进行人体姿态估计，识别各个图像中是否存在肢体交互动作；
图像选择模块，用于基于识别结果，将所述存在肢体交互动作的图像作为备选图像；
第二图像选择模块，用于从所述备选图像中选择符合预设条件的图像作为目标图像；
指令发送模块，用于向所述目标图像对应的第一终端发送交互响应指令。
12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～10任意一项的方法步骤。
13.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～10任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069232.4A CN112287767A (zh) | 2020-09-30 | 2020-09-30 | 交互控制方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069232.4A CN112287767A (zh) | 2020-09-30 | 2020-09-30 | 交互控制方法、装置、存储介质以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112287767A true CN112287767A (zh) | 2021-01-29 |
Family
ID=74422756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011069232.4A Pending CN112287767A (zh) | 2020-09-30 | 2020-09-30 | 交互控制方法、装置、存储介质以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287767A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112987933A (zh) * | 2021-03-25 | 2021-06-18 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
| CN113190118A (zh) * | 2021-04-29 | 2021-07-30 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备及存储介质 |
| CN114397959A (zh) * | 2021-12-13 | 2022-04-26 | 北京大麦文化传播有限公司 | 互动提示方法、装置及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160180727A1 (en) * | 2014-12-18 | 2016-06-23 | Xerox Corporation | Student assessment grading engine |
| CN107316520A (zh) * | 2017-08-17 | 2017-11-03 | 广州视源电子科技股份有限公司 | 视频教学互动方法、装置、设备及存储介质 |
| CN109448470A (zh) * | 2018-11-09 | 2019-03-08 | 杭州赛鲁班网络科技有限公司 | 一种在线课堂智能互动装置 |
| CN110650368A (zh) * | 2019-09-25 | 2020-01-03 | 新东方教育科技集团有限公司 | 视频处理方法、装置和电子设备 |
| CN110796005A (zh) * | 2019-09-27 | 2020-02-14 | 北京大米科技有限公司 | 在线教学监控的方法、装置、电子设备及介质 |
| CN111275345A (zh) * | 2020-01-22 | 2020-06-12 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
-
2020
- 2020-09-30 CN CN202011069232.4A patent/CN112287767A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160180727A1 (en) * | 2014-12-18 | 2016-06-23 | Xerox Corporation | Student assessment grading engine |
| CN107316520A (zh) * | 2017-08-17 | 2017-11-03 | 广州视源电子科技股份有限公司 | 视频教学互动方法、装置、设备及存储介质 |
| CN109448470A (zh) * | 2018-11-09 | 2019-03-08 | 杭州赛鲁班网络科技有限公司 | 一种在线课堂智能互动装置 |
| CN110650368A (zh) * | 2019-09-25 | 2020-01-03 | 新东方教育科技集团有限公司 | 视频处理方法、装置和电子设备 |
| CN110796005A (zh) * | 2019-09-27 | 2020-02-14 | 北京大米科技有限公司 | 在线教学监控的方法、装置、电子设备及介质 |
| CN111275345A (zh) * | 2020-01-22 | 2020-06-12 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112987933A (zh) * | 2021-03-25 | 2021-06-18 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
| CN113190118A (zh) * | 2021-04-29 | 2021-07-30 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备及存储介质 |
| CN114397959A (zh) * | 2021-12-13 | 2022-04-26 | 北京大麦文化传播有限公司 | 互动提示方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287767A (zh) | 交互控制方法、装置、存储介质以及电子设备 | |
| CN111580661A (zh) | 交互方法和增强现实设备 | |
| US9690784B1 (en) | Culturally adaptive avatar simulator | |
| CN110992222A (zh) | 教学交互方法、装置、终端设备及存储介质 | |
| EP3828868A2 (en) | Method and apparatus for determining key learning content, device, storage medium, and computer program product | |
| CN111338481A (zh) | 基于全身动态捕捉的数据交互系统及方法 | |
| CN110618757A (zh) | 在线教学控制方法、装置和电子设备 | |
| CN112163491A (zh) | 一种在线学习方法、装置、设备和存储介质 | |
| JP6302381B2 (ja) | 操作支援装置、操作支援方法及び操作支援プログラム | |
| CN110609970B (zh) | 用户身份识别方法、装置、存储介质及电子设备 | |
| CN112286347A (zh) | 视力保护方法、装置、存储介质以及终端 | |
| JP2017117379A (ja) | 学習支援システム、情報処理装置、情報処理方法及びプログラム | |
| KR20220061384A (ko) | 학습자의 비대면 온라인수업 참여 탐지 장치 및 방법 | |
| CN111930971A (zh) | 在线教学交互方法、装置、存储介质以及电子设备 | |
| CN112668376A (zh) | 一种举手统计设备、举手人数统计方法和装置 | |
| CN111159379A (zh) | 一种自动出题方法、装置及系统 | |
| CN115272019A (zh) | 基于vr的教学评估方法及装置 | |
| CN111369848B (zh) | 基于课件内容互动的方法、装置、存储介质和电子设备 | |
| CN111651102B (zh) | 在线教学交互方法、装置、存储介质以及电子设备 | |
| JP2023120130A (ja) | 抽出質問応答を利用する会話型ａｉプラットフォーム | |
| CN111402651B (zh) | 一种基于vr技术的智能教学系统 | |
| JP2022058315A (ja) | アシストシステム、アシスト方法、およびアシストプログラム | |
| CN116113475A (zh) | 虚拟现实模拟活动调度 | |
| CN113240976A (zh) | 一种基于pbl的在线英语教学的智能辅助调整系统 | |
| Khoo et al. | Evaluating crowd sourced navigation for the visually impaired in a virtual environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |