CN112558818A - 一种基于投影的远程直播的互动方法及系统 - Google Patents
一种基于投影的远程直播的互动方法及系统 Download PDFInfo
- Publication number
- CN112558818A CN112558818A CN202110189071.0A CN202110189071A CN112558818A CN 112558818 A CN112558818 A CN 112558818A CN 202110189071 A CN202110189071 A CN 202110189071A CN 112558818 A CN112558818 A CN 112558818A
- Authority
- CN
- China
- Prior art keywords
- teacher
- student
- user
- infrared
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Electrically Operated Instructional Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于投影的远程直播的互动方法及系统，该方法包括：投影交互装置进行初始化，在当前平面上投影出一个操作界面；学生用户使用红外触控笔或手势在操作界面上进行按压操作，获得学生用户的远程辅助请求并发送至教师端；教师用户进入教师端的系统后，确认当前的远程辅助请求以与学生端建立数据传输通道；调整学生端和教师端的屏幕为远程辅助界面，教师在资料区域上传教学资料，学生端的资料区域进行教学资料的同步显示；教师用户使用教师端的画板应用在桌面区域添加标记，学生端实时看到老师添加的标记，并通过扬声器听到老师的声音解释。在交互过程中，仅将老师的标记信息提取出来，发送至学生端，提高了数据传输效率，降低了时延。
Description
技术领域
本发明涉及数据处理技术领域，特别是一种基于投影的远程直播的互动方法及系统。
背景技术
现有技术中，远程直播教学等方式，虽然发挥了距离无限制的优势，但是无法模拟现场教学的灵活，例如实时的划重点、根据学生的疑惑进行文字+语音形式的指导等等，为了弥补这些漏洞。
现有技术中，教学直播中，老师标记的内容是将带标记内容的整个图片一帧一帧的传输至学生端，导致传输数据量大，学生网络不好的情况下导致加大的延迟，且现有技术中的标记仅仅是在做好的课件上进行标记，无法对学生传输过来的任何一个试题、试卷上做标记，导致讲解效率低下。
此外，现有技术中，学生将给老师展示的资料，比如拍摄的试卷，无法保证位置的精准对应，也无法做到对纸质资料等学生端展示实体的旋转、移动等行为做到兼容，导致学生或老师使用体验较差。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
1. 一种基于投影的远程直播的互动方法，其特征在于：该方法用于学生端与教师端之间，所述学生端包括投影交互装置和红外触控笔，所述投影交互装置包括红外触控笔、信号发射单元、红外摄像头、深度摄像头、广角摄像头、投影单元、计算板、扬声器和麦克风；该方法包括：
初始化步骤S1，所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用红外笔控方式，则无需进行额外操作；若使用深度判断方式来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面；
远程辅助请求步骤S2：学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作，在红外触控方式中，所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在红外笔控方式中，红外触控笔在所述按压操作处发射红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在深度判断方式中，所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；然后将远程辅助请求发送至教师端；
通道建立步骤S3：教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；
同步步骤S4：所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示；
标记步骤S5：所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。
更进一步地，步骤S2包括：
S21：在红外触控方式中，学生用户利用手指或其他遮光物体在所述操作界面上对需要进行交互的位置进行按压，遮挡红外光束形成光斑，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在红外笔控方式中，学生用户利用红外触控笔在所述操作界面上对需要进行交互的位置进行按压，在所述按压处产生红外光束，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在深度判断方式中，深度摄像头直接捕获范围内图像，识别得到用户的手部位置和动作信息，并传输至计算板进行处理。
S22：在红外触控方式中，所述计算板对光斑的位置和大小进行判断，分析出光斑为点击事件后便持续判断一段时间，当若干帧均为点击事件，则计算板计算出光斑的中心点位置；在红外笔控方式中，所述计算板对红外光束的位置和大小进行判断并将其视作点击事件，所述计算板计算出光束发出的中心点位置；在深度判断方式中，所述计算板对用户手部的位置和动作等信息进行分析，确定手部轨迹，进而计算板计算得到手部实际按压的中心位置；进而进行中心点位置对应功能的识别，实现了学生用户对学生端系统的控制，学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；
S23：学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；
S24：计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
更进一步地，步骤S3包括：
S31：教师用户打开教师端后进入教师端系统，在教师端的控制页面上点击远程辅助子功能以进入远程辅助子功能页面，教师端系统从云端数据库中下载所有的远程辅助请求显示在教师端系统中，所述教师用户选择一个学生用户的远程辅助请求查看后进行确认，教师用户确认后，教师端向学生端发送匹配成功的信息，准备进行虚拟通道的建立；
S32：学生端收到匹配成功的信息后，确认进行远程辅助后学生端和教师端均收到页面调整请求，同时在学生端和教师端之间建立起一个数据传输的虚拟通道；
S33：学生端利用投影单元刷新出新的远程辅助页面，教师端跳转至新的远程辅助页面，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；
S34：红外摄像头、深度摄像头、广角摄像头、麦克风及扬声器启动，教师用户和学生用户的影像和声音信息开始在虚拟通道中进行传送，学生端和教师端的远程辅助页面的三个区域加载出对应的影像内容。
更进一步地，步骤S4包括：
S41：教师用户在教师端的资料区域点击添加按钮，调用本地文件系统，教师用户选择一个教学资料进行添加，上传至云数据库；
S42：待资料上传完毕，教师端和学生端的资料区域均接收到上传的成功的消息和资料信息，进而显示出相应的资料内容；
S43：教师用户利用教师端系统对资料进行控制操作，学生端同步变化。
更进一步地，步骤S5包括：
S51：学生在广角摄像头捕获的桌面区域放置一张试卷，并利用学生端的摄像头和麦克风和老师进行交流，当学生端捕获到桌面影像和学生的视频后，将桌面影像和学生的视频发送至教师端，然后在教师端上进行相应影像的显示和视频的播放；
S52：教师了解学生的疑问后选择教师端的画板工具，将鼠标切换为画笔，在桌面区域进行标记信息的添加，同时利用教师端的麦克风进行讲解；
S53：教师端采集声音及影像后传输至学生端，然后对标记信息进行处理后，传输至学生端；学生端接收到声音、影像及处理后的标记信息后，利用扬声器播放教师的声音，利用投影单元显示出影像，并使用计算板将标记信息进行处理后传输给投影单元，投影单元对所述标记信息进行同步显示。
更进一步地，步骤S53包括：教师利用鼠标在教师端选中标记添加工具，并在学生端传输过来的桌面影像上按住鼠标滑动，准备画出一条标记信息，标记信息直接在教师端上显示出来，同时教师端向学生端发出建立一虚拟通道的信号，准备同步标记信息；当教师端的屏幕上有新的标记产生时，教师端在实时渲染教师端后，同时记录组成当前标记信息的若干点的属性信息，得到组成该标记信息的一系列点阵信息，基于捕获到新标记信息出现时建立的所述虚拟通道，利用网络将所述一系列点阵信息传输到学生端，学生端接收到所述一系列点阵信息后由计算板进行处理，将处理的一系列点阵信息传输给投影单元，投影单元实时的将教师在教师端添加的标记信息投影在学生端的桌面上，以进行标记信息的同步。
本发明还提出了一种基于投影的远程直播的互动系统，该系统包括学生端与教师端，所述学生端包括投影交互装置和红外触控笔，所述投影交互装置包括红外触控笔、信号发射单元、红外摄像头、深度摄像头、广角摄像头、投影单元、计算板、扬声器和麦克风；所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用红外笔控方式，则无需进行额外操作；若使用深度判断方式来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面；学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作；在红外触控方式中，所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在红外笔控方式中，红外触控笔在所述按压操作处发射红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在深度判断方式中，所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；然后将远程辅助请求发送至教师端；教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示；所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。
更进一步地，远程辅助请求的操作为：在红外触控方式中，学生用户利用手指或其他遮光物体在所述操作界面上对需要进行交互的位置进行按压，遮挡红外光束形成光斑，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在红外笔控方式中，学生用户利用红外触控笔在所述操作界面上对需要进行交互的位置进行按压，在所述按压处产生红外光束，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在深度判断方式中，学生用户利用手部动作对需要交互的位置进行按压，所述深度摄像头直接捕获范围内图像，识别得到用户的手部位置和动作信息并传输至计算板进行处理；所述计算板在红外触控方式中对光斑的位置和大小进行判断，分析出光斑为点击事件后便持续判断一段时间，当若干帧均为点击事件，则计算板计算出光斑的中心点位置；在红外笔控方式中，所述计算板对红外光束的位置和大小进行判断并将其视作点击事件，所述计算板计算出光束发出的中心点位置；在深度方式中则对用户手部的位置和动作等信息进行分析，确定手部轨迹，进而计算板计算得到手部实际按压的中心位置；进而进行中心点位置对应功能的识别，综上实现了学生用户对学生端系统的控制；进而学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
更进一步地，通道建立的操作为：教师用户打开教师端后进入教师端系统，在教师端的控制页面上点击远程辅助子功能以进入远程辅助子功能页面，教师端系统从云端数据库中下载所有的远程辅助请求显示在教师端系统中，所述教师用户选择一个学生用户的远程辅助请求查看后进行确认，教师用户确认后，教师端向学生端发送匹配成功的信息，准备进行虚拟通道的建立；学生端收到匹配成功的信息后，确认进行远程辅助后学生端和教师端均收到页面调整请求，同时在学生端和教师端之间建立起一个数据传输的虚拟通道；学生端利用投影单元刷新出新的远程辅助页面，教师端跳转至新的远程辅助页面，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；红外摄像头、深度摄像头、广角摄像头、麦克风及扬声器启动，教师用户和学生用户的影像和声音信息开始在虚拟通道中进行传送，学生端和教师端的远程辅助页面的三个区域加载出对应的影像内容。
更进一步地，同步操作的过程为：教师用户在教师端的资料区域点击添加按钮，调用本地文件系统，教师用户选择一个教学资料进行添加，上传至云数据库；待资料上传完毕，教师端和学生端的资料区域均接收到上传的成功的消息和资料信息，进而显示出相应的资料内容；教师用户利用教师端系统对资料进行控制操作，学生端同步变化。
更进一步地，标记的操作过程为：教师利用鼠标在教师端选中标记添加工具，并在学生端传输过来的桌面影像上按住鼠标滑动，准备画出一条标记信息，标记信息直接在教师端上显示出来，同时教师端向学生端发出建立一虚拟通道的信号，准备同步标记信息；当教师端的屏幕上有新的标记产生时，教师端在实时渲染教师端后，同时记录组成当前标记信息的若干点的属性信息，得到组成该标记信息的一系列点阵信息，基于捕获到新标记信息出现时建立的所述虚拟通道，利用网络将所述一系列点阵信息传输到学生端，学生端接收到所述一系列点阵信息后由计算板进行处理，将处理的一系列点阵信息传输给投影单元，投影单元实时的将教师在教师端添加的标记信息投影在学生端的桌面上，以进行标记信息的同步。
本发明的一种基于投影的远程直播的互动方法及系统，该方法包括：所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用红外笔控方式，则无需进行额外操作；若使用深度判断来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面；远程辅助请求步骤S2：学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作，红外触控中的所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；红外笔控中的所述按压操作会使红外触控笔发射红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；深度判断中的所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；进而将远程辅助请求发送至教师端；通道建立步骤S3：教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；同步步骤S4：所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示；标记步骤S5：所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。实现了投影单元的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在投影交互装置的底部，解决了现有技术中必须在交互平面上放置发射器导致投影单元形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，本发明中，基于分析代表用户在操作界面的上的光斑确定用户的操作，为了防止误操作，采用多帧验证处理的方式，即前后几帧都是点击操作才触发相应的功能，然后调出远程辅助页面供用户填写后发送至云端数据库，提高了操作的准确性，本发明中，所述远程辅助界面至少包括桌面区域、人物区域和资料区域，其中桌面区域为捕获的学生端桌面情况，显示有学生的资料；人物区域为捕获的人脸情况，用于双方的交流；资料区域为教师端控制的资料展示区域，一般用于展示教学PPT或其他内容。本发明中，在交互过程中，学生可以任意拍一张试卷发送给老师，让老师给讲解疑难问题，解决了现有技术中，需要提前拍照、上传的技术问题，老师在讲解过程中，在本地端可以进行标记，但是，发送至学生端时，仅将老师端添加的每一帧标记信息提取出来，发送至学生端，而不是将教师端的带标记的完整图像都发送至学生端，提高了数据传输效率，降低了时延。本发明还解决现有技术中的学生给老师展示的资料，老师标记后，如何将标记信息准确地对应到学生端的图像，即使学生端的后来的纸质资料等展示实体发生了旋转、移动等行为，老师的标记信息仍然可以准确地标记的学生端图像的精确位置上，提高了老师端、学生端图像一致性，从而可以减少手动调整位置而产生的时间浪费。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种基于投影的远程直播的互动方法的流程图。
图2是根据本发明的实施例的一种基于投影的远程直播的互动装置的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种基于投影的远程直播的互动方法，该方法用于学生端与教师端之间，所述学生端包括投影交互装置和红外触控笔，所述投影交互装置包括红外触控笔、信号发射单元、红外摄像头、深度摄像头、广角摄像头、投影单元、计算板、扬声器和麦克风；教师端可以是笔记本电脑、IPAD等，但本发明的学生端不是一个简单的电子设备，比如笔记本电脑、IPad等，它是一种投影交互装置，投影交互装置的上部安装有投影单元（即投影仪）、红外摄像头、深度摄像头、广角摄像头，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等。投影单元可以是投影仪，信号发射单元设置在投影交互装置的底部，这样，投影单元在桌面上投出一个操作界面，信号发射单元（比如是红外激光器）产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近，相邻近一般是指距离为1-2mm。
本发明的方法包括以下步骤。
初始化步骤S1，所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用深度判断方式来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面。
远程辅助请求步骤S2：学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作，在红外触控方式中，所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在红外笔控方式中，所述按压操作会使红外触控笔发射红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在深度判断方式中，所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；进而将远程辅助请求发送至教师端。
作为可以替代的方式，可以仅使用手势或触控笔在操作界面上进行操作，通过摄像头采集手势或触控笔在操作界面的上图像序列，以确定用户的操作，进而转换为学生用户的远程辅助请求。
通道建立步骤S3：教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域。
同步步骤S4：所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示。
标记步骤S5：所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。
在一个实施例中，步骤S1包括：
S11：所述投影交互装置进行初始化，所述投影单元初始化后，进行对焦，梯形校正，进行画面信号的重合和校准判断，直到投影清晰，显示加载中的用户操作界面。
S12：位于设备底端的红外激光器以散射方式将红外光束发射出，各光束距离平面的规定距离为1mm。
S13：红外摄像头拍摄光栅状态并处理得到光斑信息，如光斑信息被计算板判断为非平面则更新投影内容为错误状态，提醒用户调整位置直到成为正常的平面光栅。
S14：投影单元从计算板中获取当前用户的设置，并依据当前用户的设置投影出正式的用户操作界面。
通过上述步骤，实现了投影单元的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在投影交互装置的底部，解决了现有技术中必须在交互平面上放置发射器导致投影单元形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，这是本发明的重要发明点之一。
在一个实施例中，步骤S2包括：
S21：学生用户利用手指或其他遮光物体在所述操作界面上对需要进行交互的位置进行按压，遮挡红外光束形成光斑，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；
S22：所述计算板对光斑的位置和大小进行判断，分析出光斑为点击事件后便持续判断一段时间，当若干帧均为点击事件，则计算板计算出光斑的中心点位置，进行中心点位置对应功能的识别，实现了学生用户对学生端系统的控制，学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；
S23：学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；所需要辅助的信息，可以是年级、科目、难度等等，学生填写完整信息后点击请求按钮。
S24：计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
在另一个实施例中，步骤S21、S22可以使用以下步骤代替：
S21：在深度判断方式中，深度摄像头直接捕获范围内图像，识别得到用户的手部位置和动作信息，并传输至计算板进行处理。
S22：在深度判断方式中，所述计算板对用户手部的位置和动作等信息进行分析，确定手部轨迹，进而计算板计算得到手部实际按压的中心位置；进而进行中心点位置对应功能的识别，实现了学生用户对学生端系统的控制，学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面。
本发明中，基于分析代表用户在操作界面的上的光斑确定用户的操作，为了防止误操作，采用多帧验证处理的方式，即前后几帧都是点击操作才触发相应的功能，然后调出远程辅助页面供用户填写后发送至云端数据库，提高了操作的准确性，这是本发明的重要发明点之一。
在一个实施例中，步骤S3包括：
S31：教师用户打开教师端后进入教师端系统，在教师端的控制页面上点击远程辅助子功能以进入远程辅助子功能页面，教师端系统从云端数据库中下载所有的远程辅助请求显示在教师端系统中，所述教师用户选择一个学生用户的远程辅助请求查看后进行确认，教师用户确认后，教师端向学生端发送匹配成功的信息，准备进行虚拟通道的建立；
S32：学生端收到匹配成功的信息后，确认进行远程辅助后学生端和教师端均收到页面调整请求，同时在学生端和教师端之间建立起一个数据传输的虚拟通道；
S33：学生端利用投影单元刷新出新的远程辅助页面，教师端跳转至新的远程辅助页面，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；
S34：红外摄像头、深度摄像头、广角摄像头、麦克风及扬声器启动，教师用户和学生用户的影像和声音信息开始在虚拟通道中进行传送，学生端和教师端的远程辅助页面的三个区域加载出对应的影像内容。
本发明中，所述远程辅助界面至少包括桌面区域、人物区域和资料区域，其中桌面区域为捕获的学生端桌面情况，显示有学生的资料；人物区域为捕获的人脸情况，用于双方的交流；资料区域为教师端控制的资料展示区域，一般用于展示教学PPT或其他内容。
初始化为默认显示的位置和大小，后续学生和教师均可进行自由的调整，而对于具体内容，除了人物区域会显示对方的影像之外，其他两个区域一般情况下显示的均为同样的内容。桌面区域还有些特殊，在学生端仅会显示这一区域四周的边框，用于展示影像捕获的大体范围，摄像头便会基于这个范围进行学生桌面的实时影像捕获，进而传输并显示在教师端对应的这一桌面区域中。
本发明中，通过在学生端及教师端之间了建立了数据通道，使得学生端和教师端的页面进行同步调整，数据传输通道实现学生与教师交流时的数据实时传输，解决了现有技术中教师与学生端数据不同步的技术问题，这属于本发明的另一个重要发明点。
在一个实施例中，步骤S4包括：
S41：教师用户在教师端的资料区域点击添加按钮，调用本地文件系统，教师用户选择一个教学资料进行添加，上传至云数据库；
S42：待资料上传完毕，教师端和学生端的资料区域均接收到上传的成功的消息和资料信息，进而显示出相应的资料内容；
S43：教师用户利用教师端系统对资料进行控制操作，学生端同步变化。
在一个实施例，步骤S5包括：
S51：学生在广角摄像头捕获的桌面区域放置一张试卷，并利用学生端的摄像头和麦克风和老师进行交流，当学生端捕获到桌面影像和学生的视频后，将桌面影像和学生的视频发送至教师端，然后在教师端上进行相应影像的显示和视频的播放；
S52：教师了解学生的疑问后选择教师端的画板工具，将鼠标切换为画笔，在桌面区域进行标记信息的添加，同时利用教师端的麦克风进行讲解；
S53：教师端采集声音及影像后传输至学生端，然后对标记信息进行处理后，传输至学生端；学生端接收到声音、影像及处理后的标记信息后，利用扬声器播放教师的声音，利用投影单元显示出影像，并使用计算板将标记信息进行处理后传输给投影单元，投影单元对所述标记信息进行同步显示。
本发明中，在交互过程中，学生可以任意拍一张试卷发送给老师，让老师给讲解疑难问题，解决了现有技术中，需要提前拍照、上传的技术问题，老师在讲解过程中，在本地端可以进行标记，但是，发送至学生端时，仅将老师的标记信息提取出来，发送至学生端，而不是将教师端的带标记的一帧帧图像都发送至学生端，提高了数据传输效率，降低了时延，这是本发明的一个重要发明点。
在一个实施例中，步骤S53包括：教师利用鼠标在教师端选中标记添加工具，并在学生端传输过来的桌面影像上按住鼠标滑动，准备画出一条标记信息，标记信息直接在教师端上显示出来，同时教师端向学生端发出建立一虚拟通道的信号，准备同步标记信息；当教师端的屏幕上有新的标记产生时，教师端在实时渲染教师端后，同时记录组成当前标记信息的若干点的属性信息，得到组成该标记信息的一系列点阵信息，基于捕获到新标记信息出现时建立的所述虚拟通道，利用网络将所述一系列点阵信息传输到学生端，学生端接收到所述一系列点阵信息后由计算板进行处理，将处理的一系列点阵信息传输给投影单元，投影单元实时的将教师在教师端添加的标记信息投影在学生端的桌面上，以进行标记信息的同步。
本发明中，详细描述了仅仅将老师的标记的信息传输至学生端的操作，实现了少量数据传输的目的，提高了老师与学生端的同步的实时性，这是本发明的一个重要发明点。
为解决现有技术中的学生将给老师展示的资料，比如拍摄的试卷，无法保证位置的精准对应，也无法做到对纸质资料的旋转、移动等行为做到兼容，导致学生或老师体验差的技术问题，本发明提出了以下解决方案。
学生端使用广角摄像头获取初始时刻t0的学生端的桌面图像，用作教师端进行批注绘制的基准图像，对所述桌面图像进行特征点定位识别与特征信息的生成，其中所述特征点可以是rgb图像信息或者深度特征信息。
然后在学生端的桌面上确定一基准物体，将在其内部和边界的特征点确定为基准特征点，比如，这一物体一般是全部出现在摄像区域中的书本或者纸张。基准物体的选择以及物体内外边界的划分可以是系统自动检测，也可以是用户手动指定（也可以两者都有，但是一般作为基准的只有一个物体，并且在每次新旧数据的匹配后一般会对基准物体进行调整，以保证数据时刻处于最新状态）。
进而将初始桌面图象的特征信息和基准物体的基准特征点一起作为t0时刻的总基准数据，作为源数据用于与后续姿态变换后的情况进行对比和调整，以便可基于源数据来对需要调整的内容进行调整。
在t时刻（如果是实时检测则是实时进行对比）对学生端图像I(t)进行整体图像的特征点定位识别与特征信息的生成，并将新数据（即图像I(t)的特征点）与学生桌面的基准特征点数据进行匹配，但由于匹配后由于可能存在错误，因此，在匹配之前，需要先针对匹配的特征点进行粗精度姿态变换估计，以去除估计值和实际值差异较大的匹配点对。
匹配结束后，对于老师画的标记信息，则会根据图像空间中的距离，选择标记邻域内的基准特征点，对每个特征点根据匹配相似度和距离，设置不同置信度以提高准确性；再计算旋转和平移的数据进行调整，比如，可用于处理书本的非刚性变动，确定最后各个标记的更新方案后，便可基于这些方案进行投影内容实际的调整。
通过上述操作，解决现有技术中的学生给老师展示的资料，老师标记后，如何将标记信息准确地对应到学生端的图像，即使学生端的后来的纸质资料等展示实体发生了旋转、移动等行为，老师的标记信息仍然可以准确地标记的学生端图像的精确位置上，提高了老师端、学生端图像一致性，从而可以减少手动调整位置而产生的时间浪费，这是本发明的另一个重要发明点。
本发明还提出了一种基于投影的远程直播的互动系统，该系统包括学生端与教师端，所述学生端包括投影交互装置和红外触控笔，所述投影交互装置包括红外触控笔、信号发射单元、红外摄像头、深度摄像头、广角摄像头、投影单元、计算板、扬声器和麦克风；所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用红外笔控方式，则无需进行额外操作；若使用深度判断方式来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面；学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作，在红外触控方式中，所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在红外笔控方式中，红外触控笔在所述按压操作处发射红外信号并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在深度判断方式中，所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；然后将远程辅助请求发送至教师端；教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示；所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。
作为可以替代的方式，可以仅使用手势或触控笔在操作界面上进行操作，通过摄像头采集手势或触控笔在操作界面的上图像序列，以确定用户的操作，进而转换为学生用户的远程辅助请求。在一个实施例中，初始化的操作过程为：所述投影交互装置进行初始化，所述投影单元初始化后，进行对焦，梯形校正，进行画面信号的重合和校准判断，直到投影清晰，显示加载中的用户操作界面；位于设备底端的红外激光器以散射方式将红外光束发射出，各光束距离平面的规定距离为1mm；红外摄像头拍摄光栅状态并处理得到光斑信息，如光斑信息被计算板判断为非平面则更新投影内容为错误状态，提醒用户调整位置直到成为正常的平面光栅；投影单元从计算板中获取当前用户的设置，并依据当前用户的设置投影出正式的用户操作界面。
通过上述操作，实现了投影单元的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在投影交互装置的底部，解决了现有技术中必须在交互平面上放置发射器导致投影单元形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，这是本发明的重要发明点之一。
在一个实施例中，远程辅助请求的操作为：学生用户利用手指或其他遮光物体在所述操作界面上对需要进行交互的位置进行按压，遮挡红外光束形成光斑，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；所述计算板对光斑的位置和大小进行判断，分析出光斑为点击事件后便持续判断一段时间，当若干帧均为点击事件，则计算板计算出光斑的中心点位置，进行中心点位置对应功能的识别，实现了学生用户对学生端系统的控制，学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
在另一个实施例中，在深度判断方式中，深度摄像头直接捕获范围内图像，识别得到用户的手部位置和动作信息，并传输至计算板进行处理；所述计算板对用户手部的位置和动作等信息进行分析，确定手部轨迹，进而计算板计算得到手部实际按压的中心位置；进而进行中心点位置对应功能的识别，实现了学生用户对学生端系统的控制，学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
本发明中，基于分析代表用户在操作界面的上的光斑确定用户的操作，为了防止误操作，采用多帧验证处理的方式，即前后几帧都是点击操作才触发相应的功能，然后调出远程辅助页面供用户填写后发送至云端数据库，提高了操作的准确性，这是本发明的重要发明点之一。
在一个实施例中，通道建立的操作为：教师用户打开教师端后进入教师端系统，在教师端的控制页面上点击远程辅助子功能以进入远程辅助子功能页面，教师端系统从云端数据库中下载所有的远程辅助请求显示在教师端系统中，所述教师用户选择一个学生用户的远程辅助请求查看后进行确认，教师用户确认后，教师端向学生端发送匹配成功的信息，准备进行虚拟通道的建立；学生端收到匹配成功的信息后，确认进行远程辅助后学生端和教师端均收到页面调整请求，同时在学生端和教师端之间建立起一个数据传输的虚拟通道；学生端利用投影单元刷新出新的远程辅助页面，教师端跳转至新的远程辅助页面，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；红外摄像头、深度摄像头、广角摄像头、麦克风及扬声器启动，教师用户和学生用户的影像和声音信息开始在虚拟通道中进行传送，学生端和教师端的远程辅助页面的三个区域加载出对应的影像内容。
本发明中，所述远程辅助界面至少包括桌面区域、人物区域和资料区域，其中桌面区域为捕获的学生端桌面情况，显示有学生的资料；人物区域为捕获的人脸情况，用于双方的交流；资料区域为教师端控制的资料展示区域，一般用于展示教学PPT或其他内容。
初始化时为默认显示的位置和大小，后续学生和教师均可进行自由的调整，而对于具体内容，除了人物区域会显示对方的影像之外，其他两个区域一般情况下显示的均为同样的内容。桌面区域还有些特殊，在学生端仅会显示这一区域四周的边框，用于展示影像捕获的大体范围，摄像头便会基于这个范围进行学生桌面的实时影像捕获，进而传输并显示在教师端对应的这一桌面区域中。
本发明中，通过在学生端及教师端之间了建立了数据通道，使得学生端和教师端的页面进行同步调整，数据传输通道实现学生与教师交流时的数据实时传输，解决了现有技术中教师与学生端数据不同步的技术问题，这属于本发明的另一个重要发明点。
在一个实施例中，同步操作的过程为：教师用户在教师端的资料区域点击添加按钮，调用本地文件系统，教师用户选择一个教学资料进行添加，上传至云数据库；待资料上传完毕，教师端和学生端的资料区域均接收到上传的成功的消息和资料信息，进而显示出相应的资料内容；教师用户利用教师端系统对资料进行控制操作，学生端同步变化。
本发明中，在交互过程中，学生可以任意拍一张试卷发送给老师，让老师给讲解疑难问题，解决了现有技术中，需要提前拍照、上传的技术问题，老师在讲解过程中，在本地端可以进行标记，但是，发送至学生端时，仅将老师的标记信息提取出来，发送至学生端，而不是将教师端的带标记的一帧帧图像都发送至学生端，提高了数据传输效率，降低了时延，这是本发明的一个重要发明点。
本发明中，标记的操作过程为：教师利用鼠标在教师端选中标记添加工具，并在学生端传输过来的桌面影像上按住鼠标滑动，准备画出一条标记信息，标记信息直接在教师端上显示出来，同时教师端向学生端发出建立一虚拟通道的信号，准备同步标记信息；当教师端的屏幕上有新的标记产生时，教师端在实时渲染教师端后，同时记录组成当前标记信息的若干点的属性信息，得到组成该标记信息的一系列点阵信息，基于捕获到新标记信息出现时建立的所述虚拟通道，利用网络将所述一系列点阵信息传输到学生端，学生端接收到所述一系列点阵信息后由计算板进行处理，将处理的一系列点阵信息传输给投影单元，投影单元实时的将教师在教师端添加的标记信息投影在学生端的桌面上，以进行标记信息的同步。
本发明中，详细描述了仅仅将老师的标记的信息传输至学生端的操作，实现了少量数据传输的目的，提高了老师与学生端的同步的实时性，这是本发明的一个重要发明点。
为解决现有技术中的学生将给老师展示的资料，比如拍摄的试卷，无法保证位置的精准对应，也无法做到对纸质资料的旋转、移动等行为做到兼容，导致学生或老师体验差的技术问题，本发明提出了以下解决方案。
学生端使用广角摄像头获取初始时刻t0的学生端的桌面图像，用作教师端进行批注绘制的基准图像，对所述桌面图像进行特征点定位识别与特征信息的生成，其中所述特征点可以是rgb图像信息或者深度特征信息。
然后在学生端的桌面上确定一基准物体，将在其内部和边界的特征点确定为基准特征点，比如，这一物体一般是全部出现在摄像区域中的书本或者纸张。基准物体的选择以及物体内外边界的划分可以是系统自动检测，也可以是用户手动指定（也可以两者都有，但是一般作为基准的只有一个物体，并且在每次新旧数据的匹配后一般会对基准物体进行调整，以保证数据时刻处于最新状态）。
进而将初始桌面图象的特征信息和基准物体的基准特征点一起作为t0时刻的总基准数据，作为源数据用于与后续姿态变换后的情况进行对比和调整，以便可基于源数据来对需要调整的内容进行调整。
在t时刻（如果是实时检测则是实时进行对比）对学生端图像I(t)进行整体图像的特征点定位识别与特征信息的生成，并将新数据（即图像I(t)的特征点）与学生桌面的基准特征点数据进行匹配，但由于匹配后由于可能存在错误，因此，在匹配之前，需要先针对匹配的特征点进行粗精度姿态变换估计，以去除估计值和实际值差异较大的匹配点对。
匹配结束后，对于老师画的标记信息，则会根据图像空间中的距离，选择标记邻域内的基准特征点，对每个特征点根据匹配相似度和距离，设置不同置信度以提高准确性；再计算旋转和平移的数据进行调整，比如，可用于处理书本的非刚性变动，确定最后各个标记的更新方案后，便可基于这些方案进行投影内容实际的调整。
通过上述操作，解决现有技术中的学生给老师展示的资料，老师标记后，如何将标记信息准确地对应到学生端的图像，即使学生端的后来的纸质资料发生了旋转、移动等行为，老师的标记信息仍然可以准确地标记的学生端图像的精确位置上，提高了老师端、学生端图像一致性，从而可以减少手动调整位置而产生的时间浪费，这是本发明的另一个重要发明点。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的上述实施例中的应用场景仅以远程教学为例，本发明的方法还适用于远程工业培训、远程手术等需要远程进行实时操作的技术领域。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质 中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于投影的远程直播的互动方法，其特征在于：该方法用于学生端与教师端之间，所述学生端包括投影交互装置和红外触控笔，所述投影交互装置包括红外触控笔、信号发射单元、红外摄像头、深度摄像头、广角摄像头、投影单元、计算板、扬声器和麦克风；该方法包括：
初始化步骤S1，所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用红外笔控方式，则无需进行额外操作；若使用深度判断方式来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面；
远程辅助请求步骤S2：学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作，在红外触控方式中，所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在红外笔控方式中，红外触控笔在所述按压操作处发射红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在深度判断方式中，所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；然后将远程辅助请求发送至教师端；
通道建立步骤S3：教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；
同步步骤S4：所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示；
标记步骤S5：所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。
2.根据权利要求1所述的方法，其特征在于，步骤S2包括：
S21：在红外触控方式中，学生用户利用手指或其他遮光物体在所述操作界面上对需要进行交互的位置进行按压，遮挡红外光束形成光斑，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在红外笔控方式中，学生用户利用红外触控笔在所述操作界面上对需要进行交互的位置进行按压，在所述按压处产生红外光束，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在深度判断方式中，深度摄像头直接捕获范围内图像，识别得到用户的手部位置和动作信息，并传输至计算板进行处理；
S22：在红外触控方式中，所述计算板对光斑的位置和大小进行判断，分析出光斑为点击事件后便持续判断一段时间，当若干帧均为点击事件，则计算板计算出光斑的中心点位置；在红外笔控方式中，所述计算板对红外光束的位置和大小进行判断并将其视作点击事件，所述计算板计算出光束发出的中心点位置；在深度判断方式中，所述计算板对用户手部的位置和动作等信息进行分析，确定手部轨迹，进而计算板计算得到手部实际按压的中心位置；进而进行中心点位置对应功能的识别，实现了学生用户对学生端系统的控制，学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；
S23：学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；
S24：计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
3.根据权利要求2所述的方法，其特征在于，步骤S3包括：
S31：教师用户打开教师端后进入教师端系统，在教师端的控制页面上点击远程辅助子功能以进入远程辅助子功能页面，教师端系统从云端数据库中下载所有的远程辅助请求显示在教师端系统中，所述教师用户选择一个学生用户的远程辅助请求查看后进行确认，教师用户确认后，教师端向学生端发送匹配成功的信息，准备进行虚拟通道的建立；
S32：学生端收到匹配成功的信息后，确认进行远程辅助后学生端和教师端均收到页面调整请求，同时在学生端和教师端之间建立起一个数据传输的虚拟通道；
S33：学生端利用投影单元刷新出新的远程辅助页面，教师端跳转至新的远程辅助页面，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；
S34：红外摄像头、深度摄像头、广角摄像头、麦克风及扬声器启动，教师用户和学生用户的影像和声音信息开始在虚拟通道中进行传送，学生端和教师端的远程辅助页面的三个区域加载出对应的影像内容。
4.根据权利要求3所述的方法，其特征在于，步骤S4包括：
S41：教师用户在教师端的资料区域点击添加按钮，调用本地文件系统，教师用户选择一个教学资料进行添加，上传至云数据库；
S42：待资料上传完毕，教师端和学生端的资料区域均接收到上传的成功的消息和资料信息，进而显示出相应的资料内容；
S43：教师用户利用教师端系统对资料进行控制操作，学生端同步变化。
5.根据权利要求4所述的方法，步骤S5包括：
S51：学生在广角摄像头捕获的桌面区域放置一张试卷，并利用学生端的摄像头和麦克风和老师进行交流，当学生端捕获到桌面影像和学生的视频后，将桌面影像和学生的视频发送至教师端，然后在教师端上进行相应影像的显示和视频的播放；
S52：教师了解学生的疑问后选择教师端的画板工具，将鼠标切换为画笔，在桌面区域进行标记信息的添加，同时利用教师端的麦克风进行讲解；
S53：教师端采集声音及影像后传输至学生端，然后对标记信息进行处理后，传输至学生端；学生端接收到声音、影像及处理后的标记信息后，利用扬声器播放教师的声音，利用投影单元显示出影像，并使用计算板将标记信息进行处理后传输给投影单元，投影单元对所述标记信息进行同步显示。
6.根据权利要求5所述的方法，其特征在于，步骤S53包括：教师利用鼠标在教师端选中标记添加工具，并在学生端传输过来的桌面影像上按住鼠标滑动，准备画出一条标记信息，标记信息直接在教师端上显示出来，同时教师端向学生端发出建立一虚拟通道的信号，准备同步标记信息；当教师端的屏幕上有新的标记产生时，教师端在实时渲染教师端后，同时记录组成当前标记信息的若干点的属性信息，得到组成该标记信息的一系列点阵信息，基于捕获到新标记信息出现时建立的所述虚拟通道，利用网络将所述一系列点阵信息传输到学生端，学生端接收到所述一系列点阵信息后由计算板进行处理，将处理的一系列点阵信息传输给投影单元，投影单元实时的将教师在教师端添加的标记信息投影在学生端的桌面上，以进行标记信息的同步。
7.一种基于投影的远程直播的互动系统，其特征在于：该系统包括学生端与教师端，所述学生端包括投影交互装置和红外触控笔，所述投影交互装置包括红外触控笔、信号发射单元、红外摄像头、深度摄像头、广角摄像头、投影单元、计算板、扬声器和麦克风；所述投影交互装置进行初始化，若使用红外触控方式，则所述信号发射单元在当前平面发射数束与平面平行的红外光以形成基础红外光栅；若使用红外笔控方式来捕获红外光束，则无需进行额外操作；若使用深度判断方式来捕获手部动作的方式，则无需额外操作；所述投影单元在所述当前平面上投影出一个操作界面；学生用户使用所述红外触控笔或手势在所述操作界面上进行按压操作，在红外触控方式中，所述按压操作遮挡所述信号发射单元所发射的红外光束并被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在红外笔控方式中，所述红外触控笔发射的红外光书被所述红外摄像头捕获，所述计算板将所述红外摄像头捕获的位置进行处理后，获得学生用户的远程辅助请求；在深度判断方式中，所述按压操作由深度摄像头捕获，并确定实际的按压位置，获得学生用户的远程辅助请求；然后将远程辅助请求发送至教师端；教师用户进入教师端的系统后，确认当前的远程辅助请求以与所述学生端建立数据传输通道；在确认当前的远程辅助请求后，调整所述学生端和教师端的屏幕为远程辅助界面，同时启动广角摄像头，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；所述教师用户使用人物区域确认学生情况，并在资料区域上传教学资料，所述学生端的资料区域进行教学资料的同步显示；所述学生端使用所述人物区域向教师用户提出疑问，所述教师用户使用教师端的画板应用在所述桌面区域添加标记，同时使用声音进行解释，所述学生端实时通过所述桌面区域看到老师添加的标记，并通过所述扬声器听到老师的声音解释。
8.根据权利要求7所述的系统，其特征在于，远程辅助请求的操作为：在红外触控方式中，学生用户利用手指或其他遮光物体在所述操作界面上对需要进行交互的位置进行按压，遮挡红外光束形成光斑，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在红外笔控方式中，学生用户利用红外触控笔在所述操作界面上对需要进行交互的位置进行按压，在所述按压处产生红外光束，所述红外摄像头拍摄红外光分布情况，识别出所述光斑后将光斑的位置及形状传输至计算板进行处理；在深度判断方式中学生用户利用手部动作对需要交互的位置进行按压，所述深度摄像头直接捕获范围内图像，识别得到用户的手部位置和动作信息并传输至计算板进行处理；所述计算板在红外触控方式中对光斑的位置和大小进行判断，分析出光斑为点击事件后便持续判断一段时间，当若干帧均为点击事件，则计算板计算出光斑的中心点位置；在红外笔控方式中对红外光束的位置和大小进行判断并将其视作点击事件，所述计算板计算出光束发出的中心点位置；在深度判断方式中，则对用户手部的位置和动作信息进行分析，确定手部轨迹，进而计算板计算得到手部实际按压的中心位置；进而进行中心点位置对应功能的识别，从而实现了学生用户对学生端系统的控制；
学生点击操作界面上的远程辅助功能以进入远程辅助功能子页面；学生用户进入远程辅助功能子页面后，在弹出的信息窗口中输入所需要辅助的信息后点击请求按钮；计算板实时识别出学生用户输入的远程辅助请求后将其上传至云端数据库，等待处理。
9.根据权利要求8所述的系统，其特征在于，通道建立的操作为：教师用户打开教师端后进入教师端系统，在教师端的控制页面上点击远程辅助子功能以进入远程辅助子功能页面，教师端系统从云端数据库中下载所有的远程辅助请求显示在教师端系统中，所述教师用户选择一个学生用户的远程辅助请求查看后进行确认，教师用户确认后，教师端向学生端发送匹配成功的信息，准备进行虚拟通道的建立；学生端收到匹配成功的信息后，确认进行远程辅助后学生端和教师端均收到页面调整请求，同时在学生端和教师端之间建立起一个数据传输的虚拟通道；学生端利用投影单元刷新出新的远程辅助页面，教师端跳转至新的远程辅助页面，所述远程辅助界面包括人物区域、资料区域和桌面区域三个区域；红外摄像头、深度摄像头、广角摄像头、麦克风及扬声器启动，教师用户和学生用户的影像和声音信息开始在虚拟通道中进行传送，学生端和教师端的远程辅助页面的三个区域加载出对应的影像内容。
10.根据权利要求9所述的系统，其特征在于，同步操作的过程为：教师用户在教师端的资料区域点击添加按钮，调用本地文件系统，教师用户选择一个教学资料进行添加，上传至云数据库；待资料上传完毕，教师端和学生端的资料区域均接收到上传的成功的消息和资料信息，进而显示出相应的资料内容；教师用户利用教师端系统对资料进行控制操作，学生端同步变化。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110189071.0A CN112558818B (zh) | 2021-02-19 | 2021-02-19 | 一种基于投影的远程直播的互动方法及系统 |
| PCT/CN2022/072446 WO2022174706A1 (zh) | 2021-02-19 | 2022-01-18 | 一种基于投影的远程直播的互动方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110189071.0A CN112558818B (zh) | 2021-02-19 | 2021-02-19 | 一种基于投影的远程直播的互动方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112558818A true CN112558818A (zh) | 2021-03-26 |
| CN112558818B CN112558818B (zh) | 2021-06-08 |
Family
ID=75035989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110189071.0A Active CN112558818B (zh) | 2021-02-19 | 2021-02-19 | 一种基于投影的远程直播的互动方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112558818B (zh) |
| WO (1) | WO2022174706A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022174706A1 (zh) * | 2021-02-19 | 2022-08-25 | 北京深光科技有限公司 | 一种基于投影的远程直播的互动方法及系统 |
| CN115145512A (zh) * | 2021-03-30 | 2022-10-04 | 成都海普迪科技有限公司 | 一种基于多视窗的智慧教学方法及系统 |
| TWI789283B (zh) * | 2022-03-31 | 2023-01-01 | 群光電子股份有限公司 | 兒童輔助教學系統及其教學指令輸入裝置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280506A (ja) * | 2002-03-20 | 2003-10-02 | Ecc Co Ltd | 遠隔学習システムにおける生徒用画面の表示方法および表示装置 |
| CN104575120A (zh) * | 2015-01-09 | 2015-04-29 | 代四广 | 一种用于辅助教学的展示系统 |
| CN208126675U (zh) * | 2018-01-26 | 2018-11-20 | 深圳市中视同创科技有限公司 | 一种记忆智慧教学互动黑板 |
| CN110096209A (zh) * | 2019-04-01 | 2019-08-06 | 北京新界教育科技有限公司 | 书写轨迹显示方法及装置 |
| CN111258410A (zh) * | 2020-05-06 | 2020-06-09 | 北京深光科技有限公司 | 一种人机交互设备 |
| CN111258411A (zh) * | 2020-05-06 | 2020-06-09 | 北京深光科技有限公司 | 一种用户交互方法及设备 |
| CN111258408A (zh) * | 2020-05-06 | 2020-06-09 | 北京深光科技有限公司 | 一种用于人机交互的对象边界确定方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558818B (zh) * | 2021-02-19 | 2021-06-08 | 北京深光科技有限公司 | 一种基于投影的远程直播的互动方法及系统 |
-
2021
- 2021-02-19 CN CN202110189071.0A patent/CN112558818B/zh active Active
-
2022
- 2022-01-18 WO PCT/CN2022/072446 patent/WO2022174706A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280506A (ja) * | 2002-03-20 | 2003-10-02 | Ecc Co Ltd | 遠隔学習システムにおける生徒用画面の表示方法および表示装置 |
| CN104575120A (zh) * | 2015-01-09 | 2015-04-29 | 代四广 | 一种用于辅助教学的展示系统 |
| CN208126675U (zh) * | 2018-01-26 | 2018-11-20 | 深圳市中视同创科技有限公司 | 一种记忆智慧教学互动黑板 |
| CN110096209A (zh) * | 2019-04-01 | 2019-08-06 | 北京新界教育科技有限公司 | 书写轨迹显示方法及装置 |
| CN111258410A (zh) * | 2020-05-06 | 2020-06-09 | 北京深光科技有限公司 | 一种人机交互设备 |
| CN111258411A (zh) * | 2020-05-06 | 2020-06-09 | 北京深光科技有限公司 | 一种用户交互方法及设备 |
| CN111258408A (zh) * | 2020-05-06 | 2020-06-09 | 北京深光科技有限公司 | 一种用于人机交互的对象边界确定方法及设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022174706A1 (zh) * | 2021-02-19 | 2022-08-25 | 北京深光科技有限公司 | 一种基于投影的远程直播的互动方法及系统 |
| CN115145512A (zh) * | 2021-03-30 | 2022-10-04 | 成都海普迪科技有限公司 | 一种基于多视窗的智慧教学方法及系统 |
| TWI789283B (zh) * | 2022-03-31 | 2023-01-01 | 群光電子股份有限公司 | 兒童輔助教學系統及其教學指令輸入裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112558818B (zh) | 2021-06-08 |
| WO2022174706A1 (zh) | 2022-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112558818B (zh) | 一种基于投影的远程直播的互动方法及系统 | |
| US10599921B2 (en) | Visual language interpretation system and user interface | |
| CN106971635B (zh) | 一种教学培训方法及系统 | |
| CN111242962A (zh) | 远程培训视频的生成方法、装置、设备及存储介质 | |
| US11528535B2 (en) | Video file playing method and apparatus, and storage medium | |
| US9591149B2 (en) | Generation of a combined image of a presentation surface | |
| US11595615B2 (en) | Conference device, method of controlling conference device, and computer storage medium | |
| JP2001125738A (ja) | プレゼンテーション制御システム及びその制御方法 | |
| CN102194136A (zh) | 信息识别系统及其控制方法 | |
| CN111258411B (zh) | 一种用户交互方法及设备 | |
| CN113934297B (zh) | 一种基于增强现实的交互方法、装置、电子设备及介质 | |
| US7377650B2 (en) | Projection of synthetic information | |
| CN103365617A (zh) | 一种投影控制系统、装置及投影控制方法 | |
| KR20180032059A (ko) | 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| CN116781847A (zh) | 一种黑板板书导播方法、装置、设备及存储介质 | |
| CN109684623A (zh) | 辅助填表设备、系统、方法、装置及存储介质 | |
| CN111258410B (zh) | 一种人机交互设备 | |
| CN112463092A (zh) | 一种远程批注方法、智能手机和会议平板 | |
| CN102736378B (zh) | 投影装置及投影方法 | |
| CN114885140A (zh) | 一种多屏拼接沉浸式投影画面处理方法及系统 | |
| TW202016904A (zh) | 實物教學投影系統及方法 | |
| CN116363725A (zh) | 显示设备的人像追踪方法、系统、显示设备及存储介质 | |
| CN115033128A (zh) | 基于图像识别的电子白板控制方法、电子白板及可读介质 | |
| CN114615556A (zh) | 虚拟直播增强互动方法及装置、电子设备、存储介质 | |
| CN116828131A (zh) | 基于虚拟现实的拍摄处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |