CN113656624B - 一种基于增强现实的教学设备控制方法、系统和存储介质 - Google Patents

一种基于增强现实的教学设备控制方法、系统和存储介质 Download PDF

Info

Publication number
CN113656624B
CN113656624B CN202111207581.2A CN202111207581A CN113656624B CN 113656624 B CN113656624 B CN 113656624B CN 202111207581 A CN202111207581 A CN 202111207581A CN 113656624 B CN113656624 B CN 113656624B
Authority
CN
China
Prior art keywords
information
user
hand
acquiring
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111207581.2A
Other languages
English (en)
Other versions
CN113656624A (zh
Inventor
林岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiangcai Education Technology Co ltd
Original Assignee
Shenzhen Jiangcai Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiangcai Education Technology Co ltd filed Critical Shenzhen Jiangcai Education Technology Co ltd
Priority to CN202111207581.2A priority Critical patent/CN113656624B/zh
Publication of CN113656624A publication Critical patent/CN113656624A/zh
Application granted granted Critical
Publication of CN113656624B publication Critical patent/CN113656624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开的一种基于增强现实的教学设备控制方法、系统和可读存储介质，通过获取当前的模式，确定显示的方案，并且能够根据用户的特征信息和操作的手部信息确定显示的大小，将增强现实的图案进行显示。本发明还能够根据权限信息显示预设的图像文件，并且还能够对当前的行为和操作进行录制，进行存储，通过提取码进行提取。本发明能够适配不同的使用场景，提高用户使用体验感。

Description

一种基于增强现实的教学设备控制方法、系统和存储介质
技术领域
本发明涉及教学设备控制领域，更具体的，涉及一种基于增强现实的教学设备控制方法、系统和可读存储介质。
背景技术
远程教育是采取多种媒体方式进行系统教学和通信联系的教育形式，是将课程传送给校园外的一处或多处学生的教育。现代远程教育则是指通过音频、视频（直播或录像）以及包括实时和非实时在内的计算机技术把课程传送的教育。现代远程教育是随着现代信息技术的发展而产生的一种新型教育方式。计算机技术、多媒体技术、通信技术的发展，特别是因特网的迅猛发展，使远程教育的手段有了质的飞跃，成为高新技术条件下的远程教育。
但是远程教学中也存在很大的局限性，尤其是缺乏教学互动，这一致命的弱点使远程教学受限于特定的专业和场合。提高远程教学的场景化和互动性是目前亟不可待要解决的问题。
发明内容
鉴于上述问题，本发明的目的是提供一种基于增强现实的教学设备控制方法、系统和可读存储介质，利用了增强现实（AR）技术，解决远程教学中场景化的问题，增加了使用体验感。
本发明第一方面提供了一种基于增强现实的教学设备控制方法，包括：
获取当前模式信息；
根据当前模式信息确定显示方案；
获取用户手部信息和用户特征信息；
根据所述用户手部信息和用户特征信息生成虚拟显示信息；
将所述虚拟显示信息进行显示。
本方案中，所述获取用户手部信息和用户特征信息，包括：
获取当前摄像特征信息；
获取用户手部图像信息；
根据所述摄像特征信息和手部图像信息得到用户手部信息；
根据所述用户特征信息，得到实际用户手部信息；
将所述实际用户手部信息与用户手部信息进行比较，得到手部差值；
比较所述差值是否大于预设的差值阈值；
若大于，则获取环境中其他参考物图像信息，得到第一图像信息；
根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。
本方案中，所述根据所述用户手部信息和用户特征信息生成虚拟显示信息，具体为：
根据用户手部信息得到手部大小信息；
获取预设的比例信息；
根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。
本方案中，还包括：
获取远程控制信息的权限信息；
判断所述权限信息的权限是否达到预设权限等级；
若达到，则获取远程控制信息；
根据所述远程控制信息对教学设备进行显示控制。
本方案中，还包括：
获取用户等级信息；
根据当前模式信息确定所述用户等级信息是否符合预设等级；
若符合，则获取图像文件；
将所述图像文件进行显示。
本方案中，还包括：
获取录制控制指令；
根据所述录制控制指令进行视频录制，生成视频文件；
根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码；
将所述提取码发送至预设的用户端；
接收预设的用户端的下载请求；
比较所述下载请求与提取码是否匹配；
若匹配，则将所述视频文件发送至预设的用户端。
本发明第二方面提供了一种基于增强现实的教学设备控制系统，包括存储器和处理器，所述存储器中包括一种基于增强现实的教学设备控制方法程序，所述一种基于增强现实的教学设备控制方法程序被所述处理器执行时实现如下步骤：
获取当前模式信息；
根据当前模式信息确定显示方案；
获取用户手部信息和用户特征信息；
根据所述用户手部信息和用户特征信息生成虚拟显示信息；
将所述虚拟显示信息进行显示。
本方案中，所述获取用户手部信息和用户特征信息，包括：
获取当前摄像特征信息；
获取用户手部图像信息；
根据所述摄像特征信息和手部图像信息得到用户手部信息；
根据所述用户特征信息，得到实际用户手部信息；
将所述实际用户手部信息与用户手部信息进行比较，得到手部差值；
比较所述差值是否大于预设的差值阈值；
若大于，则获取环境中其他参考物图像信息，得到第一图像信息；
根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。
本方案中，所述根据所述用户手部信息和用户特征信息生成虚拟显示信息，具体为：
根据用户手部信息得到手部大小信息；
获取预设的比例信息；
根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。
本方案中，还包括：
获取远程控制信息的权限信息；
判断所述权限信息的权限是否达到预设权限等级；
若达到，则获取远程控制信息；
根据所述远程控制信息对教学设备进行显示控制。
本方案中，还包括：
获取用户等级信息；
根据当前模式信息确定所述用户等级信息是否符合预设等级；
若符合，则获取图像文件；
将所述图像文件进行显示。
本方案中，还包括：
获取录制控制指令；
根据所述录制控制指令进行视频录制，生成视频文件；
根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码；
将所述提取码发送至预设的用户端；
接收预设的用户端的下载请求；
比较所述下载请求与提取码是否匹配；
若匹配，则将所述视频文件发送至预设的用户端。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于增强现实的教学设备控制方法程序，所述一种基于增强现实的教学设备控制方法程序被处理器执行时，实现如上述任一项所述的一种基于增强现实的教学设备控制方法的步骤。
本发明公开的一种基于增强现实的教学设备控制方法、系统和可读存储介质，通过获取当前的模式，确定显示的方案，并且能够根据用户的特征信息和操作的手部信息确定显示的大小，将增强现实的图案进行显示。本发明还能够根据权限信息显示预设的图像文件，并且还能够对当前的行为和操作进行录制，进行存储，通过提取码进行提取。本发明能够适配不同的使用场景，提高用户使用体验感。
附图说明
图1示出了本发明一种基于增强现实的教学设备控制方法；
图2示出了本发明教学设备的实施例示意图；
图3示出了本发明一实施例的示意图；
图4示出了本发明一种基于增强现实的教学设备控制系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于增强现实的教学设备控制方法。
如图1所示，本发明公开了一种基于增强现实的教学设备控制方法，包括：
S102，获取当前模式信息；
S104，根据当前模式信息确定显示方案；
S106，获取用户手部信息和用户特征信息；
S108，根据所述用户手部信息和用户特征信息生成虚拟显示信息；
S110，将所述虚拟显示信息进行显示。
需要说明的是，教学设备可以是穿戴式的头盔或者眼镜，如图2所示，教学设备2穿戴在用户1的头部，设备中包括无线通信模块、显示模块、控制模块、传感模块、摄像模块等，无线通信模块用于接收指令和数据；显示模块内置于设备内部，用于显示现实的图像和虚拟的图像；控制模块用于对显示模块和各个传感模块装置进行控制和计算。
先获取当前的模式信息，其中模式信息可以为考试模式、学习模式、课堂模式等，每种模式都对应着不同的显示方案。获取到了模式信息之后，则根据当前模式信息确定教学设备的显示方案。在一般教学中，多数用户会用手进行操作，为了在实际教学中更好的根据用户的手部大小等比例的显示对应的虚拟画面，需要获取用户的手部大小信息。通过获取用户手部信息和用户特征信息，可以分析得到用户的手部大小信息，其中用户特征信息为预先设置的用户的身体特征、成绩特征、性格特征等信息。本发明中通过教学设备的摄像模块装置获取用户手部信息，结合用户特征信息可以得到用户的手部大小信息，然后根据用户的手部大小信息生成对应的虚拟显示信息，将所述虚拟显示信息通过显示模块进行显示。
根据本发明实施例，所述获取用户手部信息和用户特征信息，包括：
获取当前摄像特征信息；
获取用户手部图像信息；
根据所述摄像特征信息和手部图像信息得到用户手部信息；
根据所述用户特征信息，得到实际用户手部信息；
将所述实际用户手部信息与用户手部信息进行比较，得到手部差值；
比较所述差值是否大于预设的差值阈值；
若大于，则获取环境中其他参考物图像信息，得到第一图像信息；
根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。
需要说明的是，教学设备的摄像模块在进行图像采集时会有相关的摄像特征，例如，焦距、光圈、分辨率等参数，通过摄像特征信息可以通过数学计算得到画面中物体的实际大小值。本发明首先获取当前摄像特征信息，然后获取用户手部图像信息，根据所述摄像特征信息和手部图像信息得到用户手部信息，也就是得到计算出来的手部大小信息。然后再根据用户特征信息，分析得到实际用户手部大小信息。将所述实际用户手部信息与用户手部信息进行比较，得到手部差值，如果差值过大，说明通过摄像特征信息计算的手部大小和实际的手部大小存在较大的差距，所以需要对计算得到的手部信息进行修正。本领域技术人员可以根据实际需要设置差值阈值。比较所述差值是否大于预设的差值阈值；若大于，则获取环境中其他参考物图像信息，得到第一图像信息；根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。其中环境中的其他参考物可以为系统中已知大小的物体，例如，杯子，黑板，桌子等参考物，通过已知大小的参考物，可以反推出来修正值，通过修正值进行手部信息的修正。通过修正，可以使得后面进行虚拟画面显示时，能够一直保持对应的比例，提高了用户使用体验感。
根据本发明实施例，所述根据所述用户手部信息和用户特征信息生成虚拟显示信息，具体为：
根据用户手部信息得到手部大小信息；
获取预设的比例信息；
根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。
需要说明的是，在获得用户手部信息之后，能够确定手部大小。获取预设的比例信息，所述的比例信息指的是显示的内容与手部大小的比例，以确保在教学设备中显示的大小内容不失真，还原度高。其中预设的比例可以是本领域技术人员根据实际的手部大小预设在系统中的，也就是说，每个手部大小都可以对应显示内容的比例，可以采用映射表的方式，采用查表法的方式通过手部大小查找预设比例信息。最后根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。本发明可以通过简单的乘法关系确定显示的画面信息。如图3所示，图中文字显示框为虚拟的画面，其他画面为真实画面，在进行实体教学时，根据手部大小和预设的比例信息确定好显示框的大小，然后在对应的位置显示虚拟的画面信息。
根据本发明实施例，还包括：
获取远程控制信息的权限信息；
判断所述权限信息的权限是否达到预设权限等级；
若达到，则获取远程控制信息；
根据所述远程控制信息对教学设备进行显示控制。
需要说明的是，本发明还可以实现远程的教学场景，在远程教学中，一般需要远端老师对本地的用户进行控制，显示相关的教学内容，在进行显示时会判断控制权限，只有预设权限等级的人才能进行显示控制。本发明首先获取远程控制信息的权限信息，然后判断所述权限信息的权限是否达到预设权限等级。如果达到，则获取远程控制信息，然后根据所述远程控制信息对教学设备进行显示控制。例如，远程的老师端可以对本地的学生端的教学设备进行控制，播放老师的教案或者图像。
根据本发明实施例，还包括：
获取用户等级信息；
根据当前模式信息确定所述用户等级信息是否符合预设等级；
若符合，则获取图像文件；
将所述图像文件进行显示。
需要说明的是，本发明的教学设备还可以下载文件进行显示，所述的文件存储在服务器中，在不同的模式下，可以允许下载文件，例如，考试模式下，只有高等级的老师才可以下载文件，以获取操作的答案或者试题答案，以防止学生误下载之后导致答案泄漏；学习模式下，预设等级的学生可以下载文件进行显示和学习。首先，获取用户等级信息，所述的等级信息为预先设置的，可以为高级别、中级别和低级别，例如，低级别的用户不能下载等级高的文件，具体等级数量可以由本领域技术人员根据实际需要设定。根据当前模式信息确定所述用户等级信息是否符合预设等级，例如，考试模式下，当前用户等级为高等级，对应着教师用户，符合预设等级。在符合的情况下，获取图像文件，然后将图像文件进行显示。值得说明的是，图像文件可以是虚拟的图像信息也可以是文字信息。
根据本发明实施例，还包括：
获取录制控制指令；
根据所述录制控制指令进行视频录制，生成视频文件；
根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码；
将所述提取码发送至预设的用户端；
接收预设的用户端的下载请求；
比较所述下载请求与提取码是否匹配；
若匹配，则将所述视频文件发送至预设的用户端。
需要说明的是，本发明还能够对在用户使用教学设备时的操作过程和学习过程进行录制，以方便后续的再次查看，并且可以针对用户特征信息等信息设定提取码，防止其他人查看录制的文件。首先，获取录制控制指令，所述的录制控制指令可以由预设的人员通过远程控制，也可以是本地用户自己设定，例如，教师端远程发送控制指令以控制教学设备进行录制。然后根据所述录制控制指令进行视频录制，生成视频文件。再生成视频文件之后，根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码。通过本发明的提取码生成方式，可以使得提取码唯一，防止其他人恶意获取。将所述提取码发送至预设的用户端，预设的用户端可以是教师端，也可以是学生端，如果为考试模式，则将提取码发送至教师端，以方便教师进行文件提取。在获取了提取码之后，接收预设的用户端的下载请求；比较所述下载请求与提取码是否匹配；若匹配，则将所述视频文件发送至预设的用户端。
根据本发明实施例，还包括：
获取课程信息；
根据所述课程信息确定教学设备ID信息和课程内容信息；
根据所述课程内容信息获取课程文件；
将所述课程文件按照预设时间发送至教学设备ID信息对应的多个教学设备中。
需要说明的是，在教学过程中，为了方便学生进行课程的预习，可以提前将课程文件发送至学生拥有的教学设备中，以方便学生预习。首先，获取课程信息，课程信息中包含有课程内容、课程时间、参与学生、课程文件等信息。然后，根据所述课程信息确定教学设备ID信息和课程内容信息，其中教学设备ID信息通过课程信息中参与学生信息可以获得，每个学生可以对应一个教学设备ID信息。再根据所述课程内容信息获取课程文件，然后将所述课程文件按照预设时间发送至教学设备ID信息对应的多个教学设备中。
根据本发明实施例，还包括：
获取用户操作行为，生成操作行为文件；
将所述操作行为文件输入预设的行为打分神经网络模型中；
输出操作行为分数，发送至预设用户端。
需要说明的是，本发明还预设有打分神经网络模型，此模型能够快速自动得到当前用户的行为分数，方便在考试模式下自动进行评分，提高用户使用体验感。首先，获取用户操作行为，生成操作行为文件，可以通过教学设备中的摄像模块获取用户操作行为，然后生成操作行为视频，并进行存储。然后将操作行为文件发送至预设的行为打分神经网络模型中，经过打分神经网络模型的分析，得到操作行为分数，发送到预设的用户端。值得一提的是，本领域技术人员可以根据实际需要设置预设的用户端，可以是教师端，也可以是特定的学生端。
根据本发明实施例，所述预设的行为打分神经网络模型生成具体为：
获取历史状态数据；对所述历史状态数据进行预处理，得到训练数组；将所述训练数组发送至初始化的神经网络模型中进行训练；获取训练后的神经网络模型的误差率；若所述误差率小于预设的误差率阈值，则停止训练，得到预设的行为打分神经网络模型。
需要说明的是，历史状态数据为操作行为的数据，获取的历史数据数量越多，则训练的神经网络模型就越准确。首先，获取了历史文本特征值后，需要进行预处理，例如，对数据进行归一化处理或者进行格式转换处理，以方便进行神经网络的训练，预处理之后，得到训练数据集。然后将训练数据集输入至初始化的神经网络模型中进行训练，所述的训练是自动化的训练，最终得到行为打分神经网络模型。然后输入测试数据，判断行为打分神经网络模型输出的预测结果的准确率。并且将预测准确率与预设的准确率阈值进行比较，如果超过了准确率阈值，则说明行为打分神经网络模型已经能够达到较好的预测效果，则可以停止训练。其中，所述准确率阈值可以为80-95%。
根据本发明实施例，还包括：
在当前模式信息为考试模式下，实时获取用户的人脸数据；
将获取的人脸数据与数据库中预设的考试用户的人脸数据进行比对；
若不匹配，则发送警示信息至预设用户端；
若匹配，则获取用户行为信息；
判断用户行为是否存在违规；
若违规，则发送警示信息至预设用户端。
需要说明的是，在考试时，为了防止替考和作弊的行为，本发明能够实时进行作弊判断，以防止用户作弊。首先，确定当前模式信息为考试模式，然后实时获取用户的人脸数据，获取人脸数据可以通过教学设备中的摄像模块获取。将获取的人脸数据与数据库中预设的考试用户的人脸数据进行比对；若不匹配，说明当前用户并不是预设的考试用户，则发送警示信息至预设用户端。如果匹配，则进一步检测用户的行为，看是否存在违规行为，所述的违规行为可以是用户查看其它书籍、查看其它电子设备、询问其它人员等行为，如果存在违规，则发送警示信息至预设用户端，以提醒当前的用户有作弊的可能性。
根据本发明实施例，还包括：
当前模式信息为交流模式时，检测当前发言的教学设备ID信息；
获取发言的教学设备ID信息对应终端的视频信息；
将所述视频信息在预设的位置进行显示。
需要说明的是，在课程学习中，进行交流时，可以实时显示当前发言人的视频画面和声音内容。首先，检测当前时刻谁在发言，也就是获取当前发言的教学设备ID信息，然后获取发言的教学设备ID信息对应终端的视频信息，显示在预设的位置中。预设的位置可以是显示屏的右上角或者左上角，具体可以根据每个使用的用户的喜好设定。
图4示出了本发明一种基于增强现实的教学设备控制系统的框图。
如图4所示，本发明公开了一种基于增强现实的教学设备控制系统4，包括存储器41和处理器42，所述存储器中包括一种基于增强现实的教学设备控制方法程序，所述一种基于增强现实的教学设备控制方法程序被所述处理器执行时实现如下步骤：
获取当前模式信息；
根据当前模式信息确定显示方案；
获取用户手部信息和用户特征信息；
根据所述用户手部信息和用户特征信息生成虚拟显示信息；
将所述虚拟显示信息进行显示。
需要说明的是，教学设备可以是穿戴式的头盔或者眼镜，如图2所示，教学设备2穿戴在用户1的头部，设备中包括无线通信模块、显示模块、控制模块、传感模块、摄像模块等，无线通信模块用于接收指令和数据；显示模块内置于设备内部，用于显示现实的图像和虚拟的图像；控制模块用于对显示模块和各个传感模块装置进行控制和计算。
先获取当前的模式信息，其中模式信息可以为考试模式、学习模式、课堂模式等，每种模式都对应着不同的显示方案。获取到了模式信息之后，则根据当前模式信息确定教学设备的显示方案。在一般教学中，多数用户会用手进行操作，为了在实际教学中更好的根据用户的手部大小等比例的显示对应的虚拟画面，需要获取用户的手部大小信息。通过获取用户手部信息和用户特征信息，可以分析得到用户的手部大小信息，其中用户特征信息为预先设置的用户的身体特征、成绩特征、性格特征等信息。本发明中通过教学设备的摄像模块装置获取用户手部信息，结合用户特征信息可以得到用户的手部大小信息，然后根据用户的手部大小信息生成对应的虚拟显示信息，将所述虚拟显示信息通过显示模块进行显示。
根据本发明实施例，所述获取用户手部信息和用户特征信息，包括：
获取当前摄像特征信息；
获取用户手部图像信息；
根据所述摄像特征信息和手部图像信息得到用户手部信息；
根据所述用户特征信息，得到实际用户手部信息；
将所述实际用户手部信息与用户手部信息进行比较，得到手部差值；
比较所述差值是否大于预设的差值阈值；
若大于，则获取环境中其他参考物图像信息，得到第一图像信息；
根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。
需要说明的是，教学设备的摄像模块在进行图像采集时会有相关的摄像特征，例如，焦距、光圈、分辨率等参数，通过摄像特征信息可以通过数学计算得到画面中物体的实际大小值。本发明首先获取当前摄像特征信息，然后获取用户手部图像信息，根据所述摄像特征信息和手部图像信息得到用户手部信息，也就是得到计算出来的手部大小信息。然后再根据用户特征信息，分析得到实际用户手部大小信息。将所述实际用户手部信息与用户手部信息进行比较，得到手部差值，如果差值过大，说明通过摄像特征信息计算的手部大小和实际的手部大小存在较大的差距，所以需要对计算得到的手部信息进行修正。本领域技术人员可以根据实际需要设置差值阈值。比较所述差值是否大于预设的差值阈值；若大于，则获取环境中其他参考物图像信息，得到第一图像信息；根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。其中环境中的其他参考物可以为系统中已知大小的物体，例如，杯子，黑板，桌子等参考物，通过已知大小的参考物，可以反推出来修正值，通过修正值进行手部信息的修正。通过修正，可以使得后面进行虚拟画面显示时，能够一直保持对应的比例，提高了用户使用体验感。
根据本发明实施例，所述根据所述用户手部信息和用户特征信息生成虚拟显示信息，具体为：
根据用户手部信息得到手部大小信息；
获取预设的比例信息；
根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。
需要说明的是，在获得用户手部信息之后，能够确定手部大小。获取预设的比例信息，所述的比例信息指的是显示的内容与手部大小的比例，以确保在教学设备中显示的大小内容不失真，还原度高。其中预设的比例可以是本领域技术人员根据实际的手部大小预设在系统中的，也就是说，每个手部大小都可以对应显示内容的比例，可以采用映射表的方式，采用查表法的方式通过手部大小查找预设比例信息。最后根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。本发明可以通过简单的乘法关系确定显示的画面信息。如图3所示，图中文字显示框为虚拟的画面，其他画面为真实画面，在进行实体教学时，根据手部大小和预设的比例信息确定好显示框的大小，然后在对应的位置显示虚拟的画面信息。
根据本发明实施例，还包括：
获取远程控制信息的权限信息；
判断所述权限信息的权限是否达到预设权限等级；
若达到，则获取远程控制信息；
根据所述远程控制信息对教学设备进行显示控制。
需要说明的是，本发明还可以实现远程的教学场景，在远程教学中，一般需要远端老师对本地的用户进行控制，显示相关的教学内容，在进行显示时会判断控制权限，只有预设权限等级的人才能进行显示控制。本发明首先获取远程控制信息的权限信息，然后判断所述权限信息的权限是否达到预设权限等级。如果达到，则获取远程控制信息，然后根据所述远程控制信息对教学设备进行显示控制。例如，远程的老师端可以对本地的学生端的教学设备进行控制，播放老师的教案或者图像。
根据本发明实施例，还包括：
获取用户等级信息；
根据当前模式信息确定所述用户等级信息是否符合预设等级；
若符合，则获取图像文件；
将所述图像文件进行显示。
需要说明的是，本发明的教学设备还可以下载文件进行显示，所述的文件存储在服务器中，在不同的模式下，可以允许下载文件，例如，考试模式下，只有高等级的老师才可以下载文件，以获取操作的答案或者试题答案，以防止学生误下载之后导致答案泄漏；学习模式下，预设等级的学生可以下载文件进行显示和学习。首先，获取用户等级信息，所述的等级信息为预先设置的，可以为高级别、中级别和低级别，例如，低级别的用户不能下载等级高的文件，具体等级数量可以由本领域技术人员根据实际需要设定。根据当前模式信息确定所述用户等级信息是否符合预设等级，例如，考试模式下，当前用户等级为高等级，对应着教师用户，符合预设等级。在符合的情况下，获取图像文件，然后将图像文件进行显示。值得说明的是，图像文件可以是虚拟的图像信息也可以是文字信息。
根据本发明实施例，还包括：
获取录制控制指令；
根据所述录制控制指令进行视频录制，生成视频文件；
根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码；
将所述提取码发送至预设的用户端；
接收预设的用户端的下载请求；
比较所述下载请求与提取码是否匹配；
若匹配，则将所述视频文件发送至预设的用户端。
需要说明的是，本发明还能够对在用户使用教学设备时的操作过程和学习过程进行录制，以方便后续的再次查看，并且可以针对用户特征信息等信息设定提取码，防止其他人查看录制的文件。首先，获取录制控制指令，所述的录制控制指令可以由预设的人员通过远程控制，也可以是本地用户自己设定，例如，教师端远程发送控制指令以控制教学设备进行录制。然后根据所述录制控制指令进行视频录制，生成视频文件。再生成视频文件之后，根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码。通过本发明的提取码生成方式，可以使得提取码唯一，防止其他人恶意获取。将所述提取码发送至预设的用户端，预设的用户端可以是教师端，也可以是学生端，如果为考试模式，则将提取码发送至教师端，以方便教师进行文件提取。在获取了提取码之后，接收预设的用户端的下载请求；比较所述下载请求与提取码是否匹配；若匹配，则将所述视频文件发送至预设的用户端。
根据本发明实施例，还包括：
获取课程信息；
根据所述课程信息确定教学设备ID信息和课程内容信息；
根据所述课程内容信息获取课程文件；
将所述课程文件按照预设时间发送至教学设备ID信息对应的多个教学设备中。
需要说明的是，在教学过程中，为了方便学生进行课程的预习，可以提前将课程文件发送至学生拥有的教学设备中，以方便学生预习。首先，获取课程信息，课程信息中包含有课程内容、课程时间、参与学生、课程文件等信息。然后，根据所述课程信息确定教学设备ID信息和课程内容信息，其中教学设备ID信息通过课程信息中参与学生信息可以获得，每个学生可以对应一个教学设备ID信息。再根据所述课程内容信息获取课程文件，然后将所述课程文件按照预设时间发送至教学设备ID信息对应的多个教学设备中。
根据本发明实施例，还包括：
获取用户操作行为，生成操作行为文件；
将所述操作行为文件输入预设的行为打分神经网络模型中；
输出操作行为分数，发送至预设用户端。
需要说明的是，本发明还预设有打分神经网络模型，此模型能够快速自动得到当前用户的行为分数，方便在考试模式下自动进行评分，提高用户使用体验感。首先，获取用户操作行为，生成操作行为文件，可以通过教学设备中的摄像模块获取用户操作行为，然后生成操作行为视频，并进行存储。然后将操作行为文件发送至预设的行为打分神经网络模型中，经过打分神经网络模型的分析，得到操作行为分数，发送到预设的用户端。值得一提的是，本领域技术人员可以根据实际需要设置预设的用户端，可以是教师端，也可以是特定的学生端。
根据本发明实施例，所述预设的行为打分神经网络模型生成具体为：
获取历史状态数据；对所述历史状态数据进行预处理，得到训练数组；将所述训练数组发送至初始化的神经网络模型中进行训练；获取训练后的神经网络模型的误差率；若所述误差率小于预设的误差率阈值，则停止训练，得到预设的行为打分神经网络模型。
需要说明的是，历史状态数据为操作行为的数据，获取的历史数据数量越多，则训练的神经网络模型就越准确。首先，获取了历史文本特征值后，需要进行预处理，例如，对数据进行归一化处理或者进行格式转换处理，以方便进行神经网络的训练，预处理之后，得到训练数据集。然后将训练数据集输入至初始化的神经网络模型中进行训练，所述的训练是自动化的训练，最终得到行为打分神经网络模型。然后输入测试数据，判断行为打分神经网络模型输出的预测结果的准确率。并且将预测准确率与预设的准确率阈值进行比较，如果超过了准确率阈值，则说明行为打分神经网络模型已经能够达到较好的预测效果，则可以停止训练。其中，所述准确率阈值可以为80-95%。
根据本发明实施例，还包括：
在当前模式信息为考试模式下，实时获取用户的人脸数据；
将获取的人脸数据与数据库中预设的考试用户的人脸数据进行比对；
若不匹配，则发送警示信息至预设用户端；
若匹配，则获取用户行为信息；
判断用户行为是否存在违规；
若违规，则发送警示信息至预设用户端。
需要说明的是，在考试时，为了防止替考和作弊的行为，本发明能够实时进行作弊判断，以防止用户作弊。首先，确定当前模式信息为考试模式，然后实时获取用户的人脸数据，获取人脸数据可以通过教学设备中的摄像模块获取。将获取的人脸数据与数据库中预设的考试用户的人脸数据进行比对；若不匹配，说明当前用户并不是预设的考试用户，则发送警示信息至预设用户端。如果匹配，则进一步检测用户的行为，看是否存在违规行为，所述的违规行为可以是用户查看其它书籍、查看其它电子设备、询问其它人员等行为，如果存在违规，则发送警示信息至预设用户端，以提醒当前的用户有作弊的可能性。
根据本发明实施例，还包括：
当前模式信息为交流模式时，检测当前发言的教学设备ID信息；
获取发言的教学设备ID信息对应终端的视频信息；
将所述视频信息在预设的位置进行显示。
需要说明的是，在课程学习中，进行交流时，可以实时显示当前发言人的视频画面和声音内容。首先，检测当前时刻谁在发言，也就是获取当前发言的教学设备ID信息，然后获取发言的教学设备ID信息对应终端的视频信息，显示在预设的位置中。预设的位置可以是显示屏的右上角或者左上角，具体可以根据每个使用的用户的喜好设定。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于增强现实的教学设备控制方法程序，所述一种基于增强现实的教学设备控制方法程序被处理器执行时，实现如上述任一项所述的一种基于增强现实的教学设备控制方法的步骤。
本发明公开的一种基于增强现实的教学设备控制方法、系统和可读存储介质，通过获取当前的模式，确定显示的方案，并且能够根据用户的特征信息和操作的手部信息确定显示的大小，将增强现实的图案进行显示。本发明还能够根据权限信息显示预设的图像文件，并且还能够对当前的行为和操作进行录制，进行存储，通过提取码进行提取。本发明能够适配不同的使用场景，提高用户使用体验感。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种基于增强现实的教学设备控制方法，其特征在于，包括：获取当前模式信息；
根据当前模式信息确定显示方案；
获取用户手部信息和用户特征信息；
根据所述用户手部信息和用户特征信息生成虚拟显示信息；
将所述虚拟显示信息进行显示；
所述获取用户手部信息和用户特征信息，包括：获取当前摄像特征信息；
获取用户手部图像信息；
根据所述摄像特征信息和手部图像信息得到用户手部信息；
根据所述用户特征信息，得到实际用户手部信息；
将所述实际用户手部信息与用户手部信息进行比较，得到手部差值；
比较所述差值是否大于预设的差值阈值；
若大于，则获取环境中其他参考物图像信息，得到第一图像信息；
根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。
2.根据权利要求1所述的一种基于增强现实的教学设备控制方法，其特征在于，所述根据所述用户手部信息和用户特征信息生成虚拟显示信息，具体为：根据用户手部信息得到手部大小信息；
获取预设的比例信息；
根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。
3.根据权利要求1所述的一种基于增强现实的教学设备控制方法，其特征在于，还包括：获取远程控制信息的权限信息；
判断所述权限信息的权限是否达到预设权限等级；
若达到，则获取远程控制信息；
根据所述远程控制信息对教学设备进行显示控制。
4.根据权利要求1所述的一种基于增强现实的教学设备控制方法，其特征在于，还包括：获取用户等级信息；
根据当前模式信息确定所述用户等级信息是否符合预设等级；
若符合，则获取图像文件；
将所述图像文件进行显示。
5.根据权利要求1所述的一种基于增强现实的教学设备控制方法，其特征在于，还包括：获取录制控制指令；
根据所述录制控制指令进行视频录制，生成视频文件；
根据所述用户特征信息、当前模式信息和当前时间信息生成视频文件提取码；
将所述提取码发送至预设的用户端；
接收预设的用户端的下载请求；
比较所述下载请求与提取码是否匹配；
若匹配，则将所述视频文件发送至预设的用户端。
6.一种基于增强现实的教学设备控制系统，其特征在于，包括存储器和处理器，所述存储器中包括一种基于增强现实的教学设备控制方法程序，所述一种基于增强现实的教学设备控制方法程序被所述处理器执行时实现如下步骤：获取当前模式信息；
根据当前模式信息确定显示方案；
获取用户手部信息和用户特征信息；
根据所述用户手部信息和用户特征信息生成虚拟显示信息；
将所述虚拟显示信息进行显示；
所述获取用户手部信息和用户特征信息，包括：获取当前摄像特征信息；
获取用户手部图像信息；
根据所述摄像特征信息和手部图像信息得到用户手部信息；
根据所述用户特征信息，得到实际用户手部信息；
将所述实际用户手部信息与用户手部信息进行比较，得到手部差值；
比较所述差值是否大于预设的差值阈值；
若大于，则获取环境中其他参考物图像信息，得到第一图像信息；
根据第一图像信息和当前摄像特征信息得到修正值，对所述手部信息进行修正。
7.根据权利要求6所述的一种基于增强现实的教学设备控制系统，其特征在于，所述根据所述用户手部信息和用户特征信息生成虚拟显示信息，具体为：根据用户手部信息得到手部大小信息；
获取预设的比例信息；
根据所述手部大小信息和预设的比例信息，确定显示的画面信息，作为虚拟显示信息。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于增强现实的教学设备控制方法程序，所述一种基于增强现实的教学设备控制方法程序被处理器执行时，实现如权利要求1至5中任一项所述的一种基于增强现实的教学设备控制方法的步骤。
CN202111207581.2A 2021-10-18 2021-10-18 一种基于增强现实的教学设备控制方法、系统和存储介质 Active CN113656624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207581.2A CN113656624B (zh) 2021-10-18 2021-10-18 一种基于增强现实的教学设备控制方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111207581.2A CN113656624B (zh) 2021-10-18 2021-10-18 一种基于增强现实的教学设备控制方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN113656624A CN113656624A (zh) 2021-11-16
CN113656624B true CN113656624B (zh) 2022-02-08

Family

ID=78494569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207581.2A Active CN113656624B (zh) 2021-10-18 2021-10-18 一种基于增强现实的教学设备控制方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113656624B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789568A (zh) * 2012-07-13 2012-11-21 浙江捷尚视觉科技有限公司 一种基于深度信息的手势识别方法
CN109214433A (zh) * 2018-08-20 2019-01-15 福建师范大学 一种卷积神经网络区分肝癌分化等级的方法
CN110347703A (zh) * 2019-07-01 2019-10-18 华南理工大学 一种基于ARCore的用户行为分析方法及系统
CN111631908A (zh) * 2020-05-31 2020-09-08 天津大学 基于脑机交互与深度学习的主动式手部训练系统及方法
CN112468970A (zh) * 2020-11-03 2021-03-09 广州理工学院 一种基于增强现实技术的校园导览方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156859B (zh) * 2011-04-21 2012-10-03 刘津甦 手部姿态与空间位置的感知方法
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法
CN104881128B (zh) * 2015-06-18 2018-01-16 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN106683528A (zh) * 2017-01-13 2017-05-17 北京黑晶科技有限公司 一种基于vr/ar教学方法及系统
CN106774937B (zh) * 2017-01-13 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种增强现实技术中的图像交互方法及其装置
CN109283997A (zh) * 2017-07-20 2019-01-29 中兴通讯股份有限公司 显示方法、装置和系统
CN109545003B (zh) * 2018-12-24 2022-05-03 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789568A (zh) * 2012-07-13 2012-11-21 浙江捷尚视觉科技有限公司 一种基于深度信息的手势识别方法
CN109214433A (zh) * 2018-08-20 2019-01-15 福建师范大学 一种卷积神经网络区分肝癌分化等级的方法
CN110347703A (zh) * 2019-07-01 2019-10-18 华南理工大学 一种基于ARCore的用户行为分析方法及系统
CN111631908A (zh) * 2020-05-31 2020-09-08 天津大学 基于脑机交互与深度学习的主动式手部训练系统及方法
CN112468970A (zh) * 2020-11-03 2021-03-09 广州理工学院 一种基于增强现实技术的校园导览方法

Also Published As

Publication number Publication date
CN113656624A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN109271945B (zh) 一种在线实现作业批改的方法和系统
CN107105310B (zh) 一种视频直播中人物形象替换方法、装置和一种录播系统
WO2018233398A1 (zh) 学习监控方法、装置及电子设备
CN112101123B (zh) 一种注意力检测方法及装置
CN108040203B (zh) 操作显示方法、装置、智能镜子及计算机可读存储介质
CN112862639B (zh) 一种基于大数据分析的在线教育平台的教育方法
CN110533987B (zh) 一种实景交互模拟驾驶系统及其方法
CN111368808A (zh) 答题数据的采集方法、装置、系统和教学设备
CN110490173B (zh) 一种基于3d体感模型的智能动作打分系统
CN110580470A (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN112861650A (zh) 一种行为评价方法、装置及系统
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN112331001A (zh) 一种基于虚拟现实技术的教学系统
CN111353439A (zh) 一种教学行为的分析方法、装置、系统及设备
CN115660909A (zh) 一种数字学校平台沉浸式数字化学习方法及系统
CN114267213A (zh) 实训的实时演示方法、装置、设备及存储介质
CN113656624B (zh) 一种基于增强现实的教学设备控制方法、系统和存储介质
CN117745494A (zh) 一种多端融合的3d视频数字化osce考站系统
CN112766130A (zh) 一种课堂教学质量监测方法、系统、终端及存储介质
CN114971975B (zh) 在线教育平台用的学习异常提醒方法及系统
CN114299777A (zh) 一种虚拟现实工业仿真训练系统
CN115063272A (zh) 一种3d护理教学系统
CN113837010A (zh) 一种教育评估系统及方法
JP7427906B2 (ja) 情報処理装置、制御方法及びプログラム
CN110991788A (zh) 一种获取直播课程学习反馈信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant