CN112714328A - 一种直播课学生姿态提示方法、装置及电子设备 - Google Patents
一种直播课学生姿态提示方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112714328A CN112714328A CN202011539654.3A CN202011539654A CN112714328A CN 112714328 A CN112714328 A CN 112714328A CN 202011539654 A CN202011539654 A CN 202011539654A CN 112714328 A CN112714328 A CN 112714328A
- Authority
- CN
- China
- Prior art keywords
- posture
- mode
- student
- position information
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000036544 posture Effects 0.000 claims abstract description 236
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000013136 deep learning model Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims 1
- 230000036541 health Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 208000000875 Spinal Curvatures Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000001467 acupuncture Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
- G08B21/245—Reminder of hygiene compliance policies, e.g. of washing hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
Abstract
本发明属于直播课技术领域，提供一种直播课学生姿态提示方法、装置及电子设备，所述方法包括：当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；根据所述学生姿态打分值显示提示信息。本发明可以提高学生在教学各个环节的姿态正确率，减小不正确姿态对学生健康的影响。
Description
技术领域
本发明属于网络在线教育技术领域，特别适用于在线直播课技术，更具体的是涉及一种直播课学生姿态提示方法、装置、电子设备及计算机可读介质。
背景技术
随着互联网技术的发展以及人们对教育的重视，互联网直播课因有名师指导且价格相对于传统课程便宜的优势受到学生和家长的喜爱。
互联网直播课通常需要学生通过平板电脑或智能手机等可连接互联网的可视设备进行观看，完成听课、做习题的学习过程。直播课中老师需要通过网络视频来与多个学生进行互动，其无法实时关注到每个学生在直播课中各个环节的姿态是否正确。比如，眼保健操环节做眼保健操的姿态是否正确、课间操环节做课间操的姿态是否正确、上课环节坐姿是否正确等。若学生在漫长的学习过程中并没有养成维持正确姿态的习惯，很容易导致学生发生脊椎弯曲、近视等不同类型的健康问题，从而严重影响学生的正常学习生活，也会导致家长不再选择直播课，造成学生流失。
发明内容
(一)要解决的技术问题
本发明旨在解决现有直播课教学过程中老师无法关注到每个学生在各个教学环节的姿态是否正确，长此以往会影响学生健康，造成直播课学生流失的技术问题。
(二)技术方案
为解决上述技术问题，本发明的一方面提出一种直播课学生姿态提示方法，应用于学生参与直播课的过程中各个环节中，所述方法包括如下步骤：
当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；
将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；
将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；
根据所述学生姿态打分值显示提示信息。
根据本发明一种优选的实施方式，所述将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值包括：
将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行欧式距离测算，并将所述测算结果进行归一化处理；
根据归一化处理后的结果对学生姿态进行打分，得到学生姿态打分值。
根据本发明一种优选的实施方式，所述姿态数据包括视频帧图片，所述将所述姿态数据输入与所述姿态模式对应的深度学习模型中，得到与所述姿态模式对应的关键部位位置信息之前，所述方法还包括：
将各个姿态模式对应的人体部位图片作为样本集训练各个姿态模式对应的深度学习模型。
根据本发明一种优选的实施方式，所述姿态数据包括视频帧图片、所述视频图片的深度信息、学生部位的角度信息中的至少两种，所述将所述姿态数据输入与所述姿态模式对应的深度学习模型中，得到与所述姿态模式对应的关键部位位置信息之前，所述方法还包括：
根据各个姿态模式对应的人体部位图片、图片深度信息及人体部位角度信息中的至少两种训练各个姿态模式对应的多模态学习模型。
根据本发明一种优选的实施方式，所述方法还包括：
当接收到姿态模式检测指令时，显示所述姿态模式对应的标准姿态。
根据本发明一种优选的实施方式，所述方法还包括：
统计并显示不同班级在不同姿态模式中的学生打分值。
根据本发明一种优选的实施方式，所述姿态模式包括：眼保健操模式、课间操模式和坐姿模式。
根据本发明一种优选的实施方式，与所述眼保健操模式对应的学生部位为学生脸部，与所述课间操模式对应的学生部位为学生全身，与所述坐姿模式对应的学生部位为学生桌面以上部位。
根据本发明一种优选的实施方式，与所述眼保健操模式对应的关键部位包括：眼部关键点、手部关键点；与所述课间操模式对应的关键部位包括：人脸关键点、手部关键点、人体关键点；与所述坐姿模式对应的关键部位包括：人脸关键点、人体关键点。
本发明第二方面提出一种直播课学生姿态提示装置，应用于学生参与直播课的过程中各个环节中，所述装置包括：
采集模块，用于当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；
模型处理模块，用于将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；
比较模块，用于将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；
显示模块，用于根据所述学生姿态打分值显示提示信息。
本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的方法。
本发明第四方面还提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的方法。
(三)有益效果
本发明根据不同教学环节设置对应的姿态模式，并提前训练好与各个姿态模式对应的学习模型，其中，每个姿态模式对应不同的学生部位姿态数据和学生关键部位信息。通过将同一姿态模式中学生部位的姿态数据输入与所述姿态模式对应的学习模型中来检测该姿态模式中学生的关键部位信息，再将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到表示学生姿态正确程度的学生姿态打分值；最后根据学生姿态打分值对学生进行相应的提示，从而提高学生在教学各个环节的姿态正确率，减小不正确姿态对学生健康的影响。
本发明在接收到姿态模式检测指令时，显示该姿态模式对应的标准姿态，既能指导学生正确的姿态，也能增加与学生的趣味互动性，提高学生的参与积极性，活跃课堂气氛。
本发明通过统计并显示不同班级在不同姿态模式中的学生打分值，形成班级PK的气氛，有助于提升学生的班级意识、竞争意识。
附图说明
图1是本发明一种直播课学生姿态提示方法的流程示意图；
图2是本发明提示学生姿态需要纠正的示意图；
图3是本发明提示奖励信息的示意图；
图4是本发明显示不同班级在不同姿态模式中的学生打分值的示意图；
图5是本发明一种直播课学生姿态提示装置的结构示意图；
图6是本发明的一个实施例的电子设备的结构示意图；
图7是本发明的一个实施例的计算机可读记录介质的示意图。
具体实施方式
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
为解决上述技术问题，本发明提出一种直播课学生姿态提示方法，该方法应用于学生参与直播课的各个教学环节中，根据不同教学环节设置对应的姿态模式，并提前训练好与各个姿态模式对应的学习模型，其中，每个姿态模式对应不同的学生部位姿态数据和学生关键部位信息。当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；将同一姿态模式中学生部位的姿态数据输入与所述姿态模式对应的学习模型中来检测该姿态模式中学生的关键部位信息，再将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到表示学生姿态正确程度的学生姿态打分值；最后根据学生姿态打分值对学生进行相应的提示，从而提高学生在教学各个环节的姿态正确率，减小不正确姿态对学生健康的影响。
本发明中，根据教学环节的不同，所述姿态模式包括：与眼保健操环节对应的眼保健操模式、与课间操环节对应的课间操模式和与课堂环节对应的坐姿模式。其中，与所述眼保健操模式对应的学生部位为学生脸部，与所述课间操模式对应的学生部位为学生全身，与所述坐姿模式对应的学生部位为学生桌面以上部位。与所述眼保健操模式对应的关键部位包括：眼部关键点、手部关键点；与所述课间操模式对应的关键部位包括：人脸关键点、手部关键点、人体关键点；与所述坐姿模式对应的关键部位包括：人脸关键点、人体关键点。
在一种优选实施方式中，本发明通过将同一姿态模式下关键部位位置信息与标准的关键部位位置信息进行欧式距离测算，根据归一化处理后的测算结果对学生姿态进行打分，从而得到学生姿态打分值。
在一种关键部位位置信息检测方式中，将视频帧图片作为姿态数据输入训练好的与所述视频帧图片所在姿态模式对应的深度学习模型中。其中，不同姿态模式对应不同的深度学习模型，各个姿态模式的深度学习模型通过各个姿态模式对应的人体部位图片作为样本集训练得到。
在另一种关键部位位置信息检测方式中，为了提高模型的精确度，将视频帧图片、所述视频图片的深度信息、学生部位的角度信息中的至少两种多模态数据作为姿态数据输入训练好的与该多模态数据所在姿态模式对应的多模态学习模型中。其中，不同姿态模式对应不同的多模态学习模型，各个姿态模式的多模态学习模型通过各个姿态模式对应的人体部位图片、图片深度信息及人体部位角度信息中的至少两种作为样本集训练得到。
本发明在接收到姿态模式检测指令时，显示该姿态模式对应的标准姿态，既能指导学生正确的姿态，也能增加与学生的趣味互动性，提高学生的参与积极性，活跃课堂气氛。
本发明通过统计并显示不同班级在不同姿态模式中的学生打分值，形成班级PK的气氛，有助于提升学生的班级意识、竞争意识。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
图1是本发明一种直播课学生姿态提示方法的流程示意图，该方法应用于学生参与直播课的过程中各个环节中，如图1所示，所述方法包括如下步骤：
S1、当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；
本发明根据不同教学环节设置对应的姿态模式，其中，每个姿态模式对应不同的学生部位姿态数据和学生关键部位信息。示例性的，根据教学环节的不同，所述姿态模式包括：与眼保健操环节对应的眼保健操模式、与课间操环节对应的课间操模式和与课堂环节对应的坐姿模式。其中，与所述眼保健操模式对应的学生部位为学生脸部，由于学生在做眼保健操，此时的学生脸部也包含了学生手部；与所述课间操模式对应的学生部位为学生全身，与所述坐姿模式对应的学生部位为学生桌面以上部位。也就是说，在眼保健操环节，要采集学生脸部的姿态数据；在课间操环节要采集学生全身的姿态数据，在课堂环节要采集学生桌面以上部位的姿态数据。
本发明中，所述姿态数据作为学习模型的输入，通过学习模型来检测关键部位位置信息，因此，姿态数据根据学习模型的不同而不同。比如，采用深度学习模型来检测关键部位位置信息，则将视频帧图片作为姿态数据。采用多模态学习模型，则将将视频帧图片、所述视频图片的深度信息、学生部位的角度信息中的至少两种多模态数据作为姿态数据。
本发明中，所述姿态模式检测指令是启动检测某种姿态模式的指令，在一种示例中，可以根据配置定时发送。比如，在直播课过程中会定时进行课间操环节、眼保健操环节等，则通过预先配置进入各个教学环节的时间点，来发送对应教学环节的姿态模式检测指令。比如在一个具体实施方式中，可以配置直播课进行40分钟后发送课间操模式检测指令，则直播课进行40分钟后会采集学生全身的姿态数据，比如，学生全身的视频帧图片，或者，学生全身的视频帧图片，所述视频图片的深度信息、全身的角度信息中的至少两种。其中，所述视频帧图片可以通过直播设备，如PC、手机、Pad等移动设备的RGB摄像头来采集；所述深度信息可以通过直播设备的深度相机采集，所述角度信息可以通过直播设备的传感器，如陀螺仪来采集。
S2、将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；
本发明实施例中不同的姿态模式对应不同的关键部位位置信息，关键部位位置信息是指用于定位某个姿态模式下的姿态是否到位的一个或多个点的信息。比如，与所述眼保健操模式对应的关键部位包括：眼部关键点、手部关键点；其中，眼部关键点位置信息可以是眼保健操按摩穴位的坐标位置，手部关键点位置信息可以是各个手指中心位置的坐标。与所述课间操模式对应的关键部位包括：人脸关键点、手部关键点、人体关键点；其中，人脸关键点位置信息可以是人脸中心位置的坐标，手部关键点位置信息可以是各个手指中心位置的坐标，人体关键点位置信息可以是人体四肢各个关键坐标。与所述坐姿模式对应的关键部位包括：人脸关键点、人体关键点。其中，人脸关键点位置信息可以是人脸与直播设备屏幕之间的角度，人体关键点位置信息可以是人体与桌面之间的角度。
在执行本步骤之前，需要先通过样本数据来训练各个姿态模式对应的学习模型，使其能够从姿态数据中识别出关键部位位置信息。
在一种示例中，采用视频帧图片作为姿态数据，则将各个姿态模式对应的人体部位图片作为样本集训练各个姿态模式对应的深度学习模型，其中，不同姿态模式对应不同的深度学习模型。具体的，可以先从历史数据或者公开的数据集中获取各个姿态模式对应的人体部位图片作为样本集；标注所述样本集图片中与样本集的姿态模式对应的关键部位信息；根据所述样本集和标注的所述关键部位信息训练各个姿态模式对应的的深度学习模型。进一步，还可以将待验证视频帧图片输入到训练好的深度学习模型中，获得预测的关键部位位置信息，将待验证视频帧图片的实际关键部位位置信息和预测的关键部位位置信息进行比较，计算损失函数；若损失函数小于预设值，则将所述深度学习模型确定为最终训练好的深度学习模型。其中，所述深度学习模型具体可以采用CNN、Hourglass、Attention、Transform、LSTM等网络结构实现。
以眼保健操模式为例，会预先采集大量做眼保健操的脸部图片作为样本，在通过PRnet模型对脸部图片中的脸部中心位置坐标及各个手指中心位置坐标进行标注，再将样本及标注信息输入深度学习模型中进行训练，得到眼保健操模式对应的深度学习模型，还可以进一步对模型进行验证，得到最终的深度学习模型。
在另一种示例中，为了提高模型的精确度，将视频帧图片、所述视频图片的深度信息、学生部位的角度信息中的至少两种多模态数据作为姿态数据输入训练好的与该多模态数据所在姿态模式对应的多模态学习模型中。其中，不同姿态模式对应不同的多模态学习模型，各个姿态模式的多模态学习模型通过各个姿态模式对应的人体部位图片、图片深度信息及人体部位角度信息中的至少两种作为样本集训练得到。其中，所述多模态学习模型主要由多模态表示学习、模态转化、对齐、多模态融合、以及协同学习这五个模块组成。
S3、将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；
示例性的，对于眼保健操模式和课间操模式，可以将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行欧式距离测算，并将所述测算结果进行归一化处理；根据归一化处理后的结果对学生姿态进行打分，得到学生姿态打分值。
其中，各个姿态模式下标准的关键部位位置信息可以通过提前对该姿态模式对应的标准动作进行测试得到。所述欧式距离即欧几里得度量(euclidean metric)是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。本发明中，对于不同的姿态模式，可以设置不同的原点。比如，在眼保健操模式中可以将脸部中心坐标设置为原点，在课间操模式中可以将人体中心坐标设置为原点。在得到归一化的欧式距离后，根据各个关键部位欧式距离与标准关键部位欧式距离的差值来对学生姿态进行打分，优选的，二者的差值越小，打分值越高。
示例性的，对于坐姿模式，对应的关键部位位置信息包括：人脸与直播设备屏幕之间的角度，人体与桌面之间的角度。则可以将所述关键部位位置信息与所述坐姿模式中标准的关键部位位置信息进行比较，根据对应角度的差值来对学生姿态进行打分，优选的，二者的差值越小，打分值越高。
S4、根据所述学生姿态打分值显示提示信息。
具体的，当学生姿态打分值小于第一阈值时提示学生姿态需要纠正。具体的，可以通过语音、文字、动画图案、灯光等能够引起学生注意的方式提示学生坐姿需要纠正。如图2中，当学生姿态打分值小于阈值时，在直播课界面中，通过摆动的小熊图案提示姿态需要调整。
进一步的，本发明还可以统计并显示学生当前姿态打分值大于第二阈值(即学生姿态正确)的时长，并根据当前正确姿态时长提示奖励信息，从而激励学生上直播课时保持正确姿态。如图3所示，在一堂直播课结束后，直播界面10显示“xx小朋友，做眼保健操保持正确姿势3分钟，再坚持2分钟可获得正确坐姿奖励”等奖励信息。
此外，本发明在接收到姿态模式检测指令时，显示该姿态模式对应的标准姿态，即在进入某种姿态模式时，显示该姿态模式对应的标准姿态。既能指导学生正确的姿态，也能增加与学生的趣味互动性，提高学生的参与积极性，活跃课堂气氛。比如进入课间操模式后，在直播界面10的右上角会显示标准的课间操姿态。
进一步的，本发明还会统计并显示不同班级在不同姿态模式中的学生打分值，形成班级PK的气氛，有助于提升学生的班级意识、竞争意识。如图4中，在课间操模式结束后，直播界面10显示“xx小朋友，你的班级小朋友做课间操保持正确姿势累计123分，比XX班小朋友高xx分哦，加油！”。
进一步的，对于坐姿模式，本发明还可以包括以下步骤S5。
S5、根据所述关键部位位置信息与标准坐姿生成所述学生当前的坐姿调整方式，以便坐姿调整装置根据所述坐姿调整方式对学生坐姿进行调整。
其中，坐姿调整装置为应用在座椅上的第三方智能设备，具体地坐姿调整装置可以为设置于座椅中的部件，也可以单独作为坐垫、靠背等在座椅上使用，具体的也可以根据需求进行自定义设置，对此本发明实施例不作具体限定。
根据关键部位位置信息与标准坐姿之间的差距，可以得到为了尽可能地靠近标准坐姿，当前的坐姿需要的坐姿调整方式。具体的，可以先根据当前关键部位位置信息确定学生当前的坐姿类型，根据学生当前的坐姿类型与标准坐姿生成坐姿调整方式。其中，坐姿类型根据关系部位位置信息可以分为：向右侧坐、向右侧坐、爬着坐、脊柱弯曲坐等。标准坐姿可以是水平坐姿。
例如，根据当前关键部位位置信息确定学生当前的坐姿类型为向右侧坐，则此时的坐姿调整方式可以为向左侧调整。但此时并未考虑坐姿调整装置与学生的接触点，因此无法准确确定坐姿调整装置中每个部分的着力情况，不便于控制坐姿调整装置。因此，在本发明实施例中，可以发送接触点请求至所述坐姿调整装置，并获取所述坐姿调整装置返回的接触点信息，所述接触点信息为所述坐姿调整装置根据自身的受力情况获取得到。其中的接触点也可以为接触区域，而且如果坐姿调整装置中包括多个坐姿调整部件，那么此时也可以根据坐姿调整装置中每个坐姿调整部件当前的受力情况，获取所述坐姿调整装置中与所述学生存在接触的坐姿调整部件作为接触点；等等。其中的接触点信息可以为每个接触点在坐姿调整装置中的位置信息，控制路径，等等。而且，坐姿调整装置在接收到与其关联的客户端、服务器等用以控制进行坐姿调整的装置发送的接触点请求之后，可以获取当前的接触点信息并将其返回给接触点请求的发送方。
进一步的，为了保证在坐姿调整过程中学生的舒适性，可以预设不同坐姿调整方式中每个接触点的着力变化规则，根据当前坐姿调整方式及当前接触点信息从所述着力变化规则中确定所述接触点信息中每个接触点的着力变化趋势，得到所述学生当前的坐姿调整策略，进而控制所述坐姿调整装置根据所述坐姿调整策略运行，以调整所述学生的坐姿。
其中，不同坐姿调整方式中每个接触点的着力变化规则可以根据需求进行自定义设置。
例如，如果坐姿调整方式为向右侧调整，则可以控制坐姿调整装置中各个接触点的着力变化趋势为，从预设力度开始逐渐升高，且各个接触点的升高幅度按照从右向左的顺序逐渐降低。从而推动学生左侧肩部向右侧移动；等等。
图5是本发明一种直播课人像瘦身处理装置的结构示意图，应用于学生参与直播课的过程中各个环节中，如图5所示，所述装置包括：所述装置包括：
采集模块51，用于当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；
模型处理模块52，用于将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；
比较模块53，用于将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；
显示模块54，用于根据所述学生姿态打分值显示提示信息。
在一种具体实施方式中，所述比较模块53包括：
归一化模块，用于将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行欧式距离测算，并将所述测算结果进行归一化处理；
打分模块，用于根据归一化处理后的结果对学生姿态进行打分，得到学生姿态打分值。
在一种具体实施方式中，所述姿态数据包括视频帧图片，所述装置还包括：第一训练模块，用于将各个姿态模式对应的人体部位图片作为样本集训练各个姿态模式对应的深度学习模型。
在一种具体实施方式中，所述姿态数据包括视频帧图片、所述视频图片的深度信息、学生部位的角度信息中的至少两种，所述装置还包括：
第二训练模块，用于根据各个姿态模式对应的人体部位图片、图片深度信息及人体部位角度信息中的至少两种训练各个姿态模式对应的多模态学习模型。
进一步的，所述装置还包括：
第一显示模块55，用于当接收到姿态模式检测指令时，显示所述姿态模式对应的标准姿态。
第二显示模块56，用于统计并显示不同班级在不同姿态模式中的学生打分值。
本发明实施例中，所述姿态模式包括：眼保健操模式、课间操模式和坐姿模式。与所述眼保健操模式对应的学生部位为学生脸部，与所述课间操模式对应的学生部位为学生全身，与所述坐姿模式对应的学生部位为学生桌面以上部位。与所述眼保健操模式对应的关键部位包括：眼部关键点、手部关键点；与所述课间操模式对应的关键部位包括：人脸关键点、手部关键点、人体关键点；与所述坐姿模式对应的关键部位包括：人脸关键点、人体关键点。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
图6是本发明的一个实施例的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行直播课学生姿态提示方法。
如图6所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。
所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。
可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解，图6显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。
图7是本发明的一个实施例的计算机可读记录介质的示意图。如图7所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述的直播课学生姿态提示方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在学生计算设备上执行、部分地在学生设备上执行、作为一个独立的软件包执行、部分在学生计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到学生计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等，本发明也可以由包含上述系统或部件的至少一部分的车辆来实现。本发明也可以由执行本发明的方法的计算机软件来实现，例如由直播设备的微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现，对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种直播课学生姿态提示方法，应用于学生参与直播课的过程中各个环节中，其特征在于，所述方法包括如下步骤：
当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；
将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；
将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；
根据所述学生姿态打分值显示提示信息。
2.根据权利要求1所述的直播课学生姿态提示方法，其特征在于，所述将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值包括：
将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行欧式距离测算，并将所述测算结果进行归一化处理；
根据归一化处理后的结果对学生姿态进行打分，得到学生姿态打分值。
3.根据权利要求1或2所述的直播课学生姿态提示方法，其特征在于，所述姿态数据包括视频帧图片，所述将所述姿态数据输入与所述姿态模式对应的深度学习模型中，得到与所述姿态模式对应的关键部位位置信息之前，所述方法还包括：
将各个姿态模式对应的人体部位图片作为样本集训练各个姿态模式对应的深度学习模型。
4.根据权利要求1-3任一所述的直播课学生姿态提示方法，其特征在于，所述姿态数据包括视频帧图片、所述视频图片的深度信息、学生部位的角度信息中的至少两种，所述将所述姿态数据输入与所述姿态模式对应的深度学习模型中，得到与所述姿态模式对应的关键部位位置信息之前，所述方法还包括：
根据各个姿态模式对应的人体部位图片、图片深度信息及人体部位角度信息中的至少两种训练各个姿态模式对应的多模态学习模型。
5.根据权利要求1-4任一所述的直播课学生姿态提示方法，其特征在于，所述方法还包括：
当接收到姿态模式检测指令时，显示所述姿态模式对应的标准姿态；
可选地，所述方法还包括：统计并显示不同班级在不同姿态模式中的学生打分值；
可选地，所述姿态模式包括：眼保健操模式、课间操模式和坐姿模式。
6.根据权利要求1-5任一所述的直播课学生姿态提示方法，其特征在于，与所述眼保健操模式对应的学生部位为学生脸部，与所述课间操模式对应的学生部位为学生全身，与所述坐姿模式对应的学生部位为学生桌面以上部位。
7.根据权利要求1-6任一所述的直播课学生姿态提示方法，其特征在于，与所述眼保健操模式对应的关键部位包括：眼部关键点、手部关键点；与所述课间操模式对应的关键部位包括：人脸关键点、手部关键点、人体关键点；与所述坐姿模式对应的关键部位包括：人脸关键点、人体关键点。
8.一种直播课学生姿态提示装置，应用于学生参与直播课的过程中各个环节中，其特征在于，所述装置包括：
采集模块，用于当接收到姿态模式检测指令时，采集与所述姿态模式对应的学生部位的姿态数据；
模型处理模块，用于将所述姿态数据输入与所述姿态模式对应的学习模型中，得到与所述姿态模式对应的关键部位位置信息；
比较模块，用于将所述关键部位位置信息与所述姿态模式下标准的关键部位位置信息进行比较，得到学生姿态打分值；
显示模块，用于根据所述学生姿态打分值显示提示信息。
9.一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，其特征在于：
当所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读介质，存储有计算机可执行程序，其特征在于，所述计算机可执行程序被执行时，实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011539654.3A CN112714328A (zh) | 2020-12-23 | 2020-12-23 | 一种直播课学生姿态提示方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011539654.3A CN112714328A (zh) | 2020-12-23 | 2020-12-23 | 一种直播课学生姿态提示方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112714328A true CN112714328A (zh) | 2021-04-27 |
Family
ID=75543802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011539654.3A Pending CN112714328A (zh) | 2020-12-23 | 2020-12-23 | 一种直播课学生姿态提示方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112714328A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023279705A1 (zh) * | 2021-07-07 | 2023-01-12 | 上海商汤智能科技有限公司 | 直播方法、装置、系统、计算机设备、存储介质及程序 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
| CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
| CN108805068A (zh) * | 2018-06-01 | 2018-11-13 | 李泽善 | 一种基于学生运动的运动辅助系统、方法、装置及介质 |
| CN109978907A (zh) * | 2019-03-22 | 2019-07-05 | 南京邮电大学 | 一种面向家居场景的学生坐姿检测方法 |
| CN110148092A (zh) * | 2019-04-16 | 2019-08-20 | 无锡海鸿信息技术有限公司 | 基于机器视觉的青少年坐姿及情绪状态的分析方法 |
| CN110321786A (zh) * | 2019-05-10 | 2019-10-11 | 北京邮电大学 | 一种基于深度学习的人体坐姿实时监视方法和系统 |
| CN110619267A (zh) * | 2019-08-02 | 2019-12-27 | 河南科技学院 | 一种基于深度学习的学生表情识别的方法及系统 |
| CN110717392A (zh) * | 2019-09-05 | 2020-01-21 | 云知声智能科技股份有限公司 | 一种坐姿检测与纠正方法和装置 |
| CN111178313A (zh) * | 2020-01-02 | 2020-05-19 | 深圳数联天下智能科技有限公司 | 一种监督用户坐姿的方法及设备 |
-
2020
- 2020-12-23 CN CN202011539654.3A patent/CN112714328A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
| CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
| CN108805068A (zh) * | 2018-06-01 | 2018-11-13 | 李泽善 | 一种基于学生运动的运动辅助系统、方法、装置及介质 |
| CN109978907A (zh) * | 2019-03-22 | 2019-07-05 | 南京邮电大学 | 一种面向家居场景的学生坐姿检测方法 |
| CN110148092A (zh) * | 2019-04-16 | 2019-08-20 | 无锡海鸿信息技术有限公司 | 基于机器视觉的青少年坐姿及情绪状态的分析方法 |
| CN110321786A (zh) * | 2019-05-10 | 2019-10-11 | 北京邮电大学 | 一种基于深度学习的人体坐姿实时监视方法和系统 |
| CN110619267A (zh) * | 2019-08-02 | 2019-12-27 | 河南科技学院 | 一种基于深度学习的学生表情识别的方法及系统 |
| CN110717392A (zh) * | 2019-09-05 | 2020-01-21 | 云知声智能科技股份有限公司 | 一种坐姿检测与纠正方法和装置 |
| CN111178313A (zh) * | 2020-01-02 | 2020-05-19 | 深圳数联天下智能科技有限公司 | 一种监督用户坐姿的方法及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023279705A1 (zh) * | 2021-07-07 | 2023-01-12 | 上海商汤智能科技有限公司 | 直播方法、装置、系统、计算机设备、存储介质及程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI713000B (zh) | 線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體 | |
| CN108939532B (zh) | 一种自闭症康复训练导引游戏式人机互动系统及方法 | |
| Hochberg et al. | Reading as an intentional behavior | |
| CN111047947A (zh) | 一种基于ar技术的书写指导器及书写指导方法 | |
| US20100134408A1 (en) | Fine-motor execution using repetitive force-feedback | |
| US20190150819A1 (en) | Automated correlation of neuropsychiatric test data | |
| KR20170107229A (ko) | 아이 트랙킹을 이용한 인지 집중력 훈련 장치 및 방법 | |
| Rodrigues et al. | A serious game to practice stretches and exercises for a correct and healthy posture | |
| Kuswardhana et al. | The instructional thematic game for children with mild mental retardation: For enhancement of left-right recognition skill | |
| CN112714328A (zh) | 一种直播课学生姿态提示方法、装置及电子设备 | |
| JP2016045723A (ja) | 電子機器 | |
| CN113748449A (zh) | 评估和培训系统 | |
| JP2022032362A (ja) | システム、方法、情報処理装置 | |
| Barioni et al. | BalletVR: a Virtual Reality System for Ballet Arm Positions Training | |
| CN112272333B (zh) | 一种学生直播课坐姿纠正方法、装置及电子设备 | |
| JP2020086075A (ja) | 学習支援システム、プログラム | |
| JP6980883B1 (ja) | アシストシステム、アシスト方法、およびアシストプログラム | |
| US20220327956A1 (en) | Language teaching machine | |
| Yang et al. | Ccesk: A chinese character educational system based on kinect | |
| Hong et al. | A ballet posture education using IT techniques: a comparative study | |
| Hsieh et al. | The Effects of concept map-oriented gesture-based teaching system on learners’ learning performance and cognitive load in earth science course | |
| Fernández-Valls et al. | Getting-up rehabilitation therapy supported by movement based interaction techniques | |
| CN110781734A (zh) | 一种基于纸笔交互的儿童认知游戏系统 | |
| JP2016045724A (ja) | 電子機器 | |
| KR102645679B1 (ko) | 게이미피케이션이 적용된 발달장애인의 훈련방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210427 |
|
| RJ01 | Rejection of invention patent application after publication |