CN113905003A - 一种智能交互的同频互动讲解方法及系统 - Google Patents

一种智能交互的同频互动讲解方法及系统 Download PDF

Info

Publication number
CN113905003A
CN113905003A CN202111187202.8A CN202111187202A CN113905003A CN 113905003 A CN113905003 A CN 113905003A CN 202111187202 A CN202111187202 A CN 202111187202A CN 113905003 A CN113905003 A CN 113905003A
Authority
CN
China
Prior art keywords
interactive
room
video
audio
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111187202.8A
Other languages
English (en)
Inventor
于鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mulan Information Technology Co ltd
Guangzhou Chuangbicheng Information Technology Co ltd
Original Assignee
Guangzhou Mulan Information Technology Co ltd
Guangzhou Chuangbicheng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mulan Information Technology Co ltd, Guangzhou Chuangbicheng Information Technology Co ltd filed Critical Guangzhou Mulan Information Technology Co ltd
Priority to CN202111187202.8A priority Critical patent/CN113905003A/zh
Publication of CN113905003A publication Critical patent/CN113905003A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种智能交互的同频互动讲解方法及系统,包括步骤1、远程同屏互动界面建立,步骤2、在远程同屏互动界面建立期间,启动im服务、白板服务、实时音视频服务和录制服务。本发明通过互动白板系统可实现涂鸦,且互动白板系统集成了即时通信IM系统与实时音视频TRTC系统,即时通信IM系统与实时音视频TRTC系统分别提供了实时通信和音视频记录,而且通信低延迟,白板与音视频同步录制,输出音视频文件,打破线上沟通信息传递障碍,具备比面谈板书更丰富、直观、多样的功能,包含互动涂鸦、轨迹实时同步、文档共享、文档转码、白板与音视频实同步录制、回放等,灵活易用,扩展性强。

Description

一种智能交互的同频互动讲解方法及系统
技术领域
本发明涉及同屏互动技术领域,具体为一种智能交互的同频互动讲解方法及系统。
背景技术
电子白板是一种汇集了尖端电子技术、软件技术等多种高科技手段的高新技术产品。结合计算机和投影机,电子白板可以实现无纸化办公及教学,它可以象普通白板或教学黑板一样直接用笔书写,然后输到电脑里去,相对于投影机、普通白板等,电子白板具有自身独特的优点。交互式电子白板可以与电脑进行信息通讯,将电子白板连接到计算机,并利用投影机将计算机上的内容投影到电子白板屏幕上。在专门的应用程序的支持下,可以构造一个大屏幕、交互式的协作会议或教学环境,从而可以在电子白板上直接对文件进行编辑、注释、保存等在计算机上可以实现的任何操作。目前,远程互动电子白板系统可广泛应用于多媒体网络会议、远程医疗、军事讲解指挥、车辆调度、教学、演讲、电子商务、工作汇报、产品展示会、培训、科研、工程、项目设计、证券评述、娱乐与演播、体育、地图、气象、天文、交互式简报、宾馆酒店、大中专院校、中小学的电化教学等需要远近程沟通的场所。
当下理财师与客户沟通主要依赖于电话语音和电脑屏幕分享的方式,通话记录能回溯,但是屏幕分享里的一些列操作却无法回溯,更无法与通话记录合成一个视频,而且理财师与客户的互动不够,与面谈相比,效果相差甚远。
发明内容
本发明目的在于提供一种智能交互的同频互动讲解方法及系统,以解决背景技术提到的问题。
为达成上述目的,本发明提出如下技术方案:一种智能交互的同频互动讲解方法,包括如下步骤:
步骤1、远程同屏互动界面建立;
1.1、用户一使用微信小程序获取用户一的授权信息,创建IM通信房间,通过web-view加载微前端,微前端层集成白板互动、通信、音视频录制sdk、以及双向交互监听等功能,用户一生成当前小程序的会话消息并发送给用户二;
1.2、用户二接受用户一当前小程序的会话消息,并打开进入房间,自动提交申请信息给用户一,用户一接受后能够选择是否同意用户二进入;
步骤2、在远程同屏互动界面建立期间,启动im服务、白板服务、实时音视频服务和录制服务,其中im服务的白板指令、白板服务的白板历史数据、实时音视频服务的音视频流均发送给录制服务,所述录制服务将录制结果存储于cos,业务后台服务对录制服务进行操作。
进一步的,在本发明中,web-view中的内容,使用rrweb实现web录制,rrweb录制产物使用rrweb player播放,所述rrweb player控制音视频同步播放、暂停操作,其中音视频为rrweb录制产物和实时音视频产物。
进一步的,在本发明中,步骤1.1中,用户一同时进入生成当前小程序的会话消息,此时自动创建报告讲解房间并进入。
进一步的,在本发明中,包括讲解模式和查阅模式,定义用户一为理财师,用户二为客户;
讲解模式包括:房间创建:理财师在企微打开小程序后,判断userid后创建房间;
房间销毁:理财师退出房间,包含主动点退出,小程序右上角关闭,销毁房间查阅模式包括:房间不存在时,其他理财师以及微信端进入程序的用户,都会直接进入查阅模式,方式为:小程序的webView的url不带roomID,h5端接受不到roomID时不创建实例。
进一步的,在本发明中,步骤1中具体的:
1、创建房间:理财师通过企微端登陆后进行userid校验,匹配则创建房间;
2、加入房间:客户通过微信端分享链接的方式加入房间;
3、退出房间:a.理财师、客户点击结束按钮的方式退出房间;
b.客户点击小程序关闭小程序的方式退出房间;
4、销毁房间:a.理财师点击销毁房间,此时房间解散;
b.理财师通过关闭小程序的方式解散房间。
一种智能交互的同频互动讲解系统,包括互动白板系统、即时通信IM和实时音视频TRTC,互动白板系统可实现涂鸦,即时通信IM提供了实时通信,实时音视频TRTC提供音视频记录,而且通信低延迟,白板与音视频同步录制,输出音视频文件。
进一步的,在本发明中,还包括业务客户端,用户利用业务客户端使用互动白板系统、即时通信IM和实时音视频TRTC,业务客户端包括微信小程序和微前端,微信小程序层用于获取用户授权信息,创建IM通信房间,web-view加载微前端,微前端层集成白板互动、通信、音视频录制sdk,以及双向交互监听等功能,有利于简化现有项目接入以上功能。
有益效果,本申请的技术方案具备如下技术效果:
本发明通过互动白板系统可实现涂鸦,且互动白板系统集成了即时通信IM系统与实时音视频TRTC系统,即时通信IM系统与实时音视频TRTC系统分别提供了实时通信和音视频记录,而且通信低延迟,白板与音视频同步录制,输出音视频文件,打破线上沟通信息传递障碍,具备比面谈板书更丰富、直观、多样的功能,包含互动涂鸦、轨迹实时同步、文档共享、文档转码、白板与音视频实同步录制、回放等,灵活易用,扩展性强。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1为本发明流程示意图。
图2为本发明接入流程示意图。
图3为本发明用户角色权限说明图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
一种智能交互的同频互动讲解方法,包括如下步骤:
步骤1、远程同屏互动界面建立;
1.1、用户一使用微信小程序获取用户一的授权信息,创建IM通信房间,通过web-view加载微前端,微前端层集成白板互动、通信、音视频录制sdk、以及双向交互监听等功能,用户一生成当前小程序的会话消息并发送给用户二;
1.2、用户二接受用户一当前小程序的会话消息,并打开进入房间,自动提交申请信息给用户一,用户一接受后能够选择是否同意用户二进入;
步骤2、在远程同屏互动界面建立期间,启动im服务、白板服务、实时音视频服务和录制服务,其中im服务的白板指令、白板服务的白板历史数据、实时音视频服务的音视频流均发送给录制服务,所述录制服务将录制结果存储于cos,业务后台服务对录制服务进行操作。
进一步的,在本发明中,web-view中的内容,使用rrweb实现web录制,rrweb录制产物使用rrweb player播放,所述rrweb player控制音视频同步播放、暂停操作,其中音视频为rrweb录制产物和实时音视频产物。
进一步的,在本发明中,步骤1.1中,用户一同时进入生成当前小程序的会话消息,此时自动创建报告讲解房间并进入。
进一步的,在本发明中,包括讲解模式和查阅模式,定义用户一为理财师,用户二为客户;
讲解模式包括:房间创建:理财师在企微打开小程序后,判断userid后创建房间;
房间销毁:理财师退出房间,包含主动点退出,小程序右上角关闭,销毁房间查阅模式包括:房间不存在时,其他理财师以及微信端进入程序的用户,都会直接进入查阅模式,方式为:小程序的webView的url不带roomID,h5端接受不到roomID时不创建实例。
进一步的,在本发明中,步骤1中具体的:
1、创建房间:理财师通过企微端登陆后进行userid校验,匹配则创建房间;
2、加入房间:客户通过微信端分享链接的方式加入房间;
3、退出房间:a.理财师、客户点击结束按钮的方式退出房间;
b.客户点击小程序关闭小程序的方式退出房间;
4、销毁房间:a.理财师点击销毁房间,此时房间解散;
b.理财师通过关闭小程序的方式解散房间。
一种智能交互的同频互动讲解系统,包括互动白板系统、即时通信IM和实时音视频TRTC,互动白板系统可实现涂鸦,即时通信IM提供了实时通信,实时音视频TRTC提供音视频记录,而且通信低延迟,白板与音视频同步录制,输出音视频文件。
各系统可采用如下系统:
互动白板系统:https://cloud.tencent.com/document/product/1137;
即时通信IM:https://cloud.tencent.com/document/product/269;
实时音视频TRTC:https://cloud.tencent.com/document/product/647。
进一步的,在本发明中,还包括业务客户端,用户利用业务客户端使用互动白板系统、即时通信IM和实时音视频TRTC,业务客户端包括微信小程序和微前端,微信小程序层用于获取用户授权信息,创建IM通信房间,web-view加载微前端,微前端层集成白板互动、通信、音视频录制sdk,以及双向交互监听等功能,有利于简化现有项目接入以上功能。
本发明通过互动白板系统可实现涂鸦,且互动白板系统集成了即时通信IM系统与实时音视频TRTC系统,即时通信IM系统与实时音视频TRTC系统分别提供了实时通信和音视频记录,而且通信低延迟,白板与音视频同步录制,输出音视频文件,打破线上沟通信息传递障碍,具备比面谈板书更丰富、直观、多样的功能,包含互动涂鸦、轨迹实时同步、文档共享、文档转码、白板与音视频实同步录制、回放等,灵活易用,扩展性强。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种智能交互的同频互动讲解方法,其特征在于:包括如下步骤:
步骤1、远程同屏互动界面建立;
1.1、用户一使用微信小程序获取用户一的授权信息,创建IM通信房间,通过web-view加载微前端,微前端层集成白板互动、通信、音视频录制sdk、以及双向交互监听等功能,用户一生成当前小程序的会话消息并发送给用户二;
1.2、用户二接受用户一当前小程序的会话消息,并打开进入房间,自动提交申请信息给用户一,用户一接受后能够选择是否同意用户二进入;
步骤2、在远程同屏互动界面建立期间,启动im服务、白板服务、实时音视频服务和录制服务,其中im服务的白板指令、白板服务的白板历史数据、实时音视频服务的音视频流均发送给录制服务,所述录制服务将录制结果存储于cos,业务后台服务对录制服务进行操作。
2.根据权利要求1所述的一种智能交互的同频互动讲解方法,其特征在于:web-view中的内容,使用rrweb实现web录制,rrweb录制产物使用rrweb player播放,所述rrwebplayer控制音视频同步播放、暂停操作,其中音视频为rrweb录制产物和实时音视频产物。
3.根据权利要求1所述的一种智能交互的同频互动讲解方法,其特征在于:步骤1.1中,用户一同时进入生成当前小程序的会话消息,此时自动创建报告讲解房间并进入。
4.根据权利要求1所述的一种智能交互的同频互动讲解方法,其特征在于:包括讲解模式和查阅模式,定义用户一为理财师,用户二为客户;
讲解模式包括:房间创建:理财师在企微打开小程序后,判断userid后创建房间;
房间销毁:理财师退出房间,包含主动点退出,小程序右上角关闭,销毁房间查阅模式包括:房间不存在时,其他理财师以及微信端进入程序的用户,都会直接进入查阅模式,方式为:小程序的webView的url不带roomID,h5端接受不到roomID时不创建实例。
5.根据权利要求4所述的一种智能交互的同频互动讲解方法,其特征在于:步骤1中具体的:
1、创建房间:理财师通过企微端登陆后进行userid校验,匹配则创建房间;
2、加入房间:客户通过微信端分享链接的方式加入房间;
3、退出房间:a.理财师、客户点击结束按钮的方式退出房间;
b.客户点击小程序关闭小程序的方式退出房间;
4、销毁房间:a.理财师点击销毁房间,此时房间解散;
b.理财师通过关闭小程序的方式解散房间。
6.一种智能交互的同频互动讲解系统,其特征在于:包括互动白板系统、即时通信IM和实时音视频TRTC,互动白板系统可实现涂鸦,即时通信IM提供了实时通信,实时音视频TRTC提供音视频记录,而且通信低延迟,白板与音视频同步录制,输出音视频文件。
7.根据权利要求6所述的一种智能交互的同频互动讲解系统,其特征在于:还包括业务客户端,用户利用业务客户端使用互动白板系统、即时通信IM和实时音视频TRTC,业务客户端包括微信小程序和微前端,微信小程序层用于获取用户授权信息,创建IM通信房间,web-view加载微前端,微前端层集成白板互动、通信、音视频录制sdk,以及双向交互监听等功能,有利于简化现有项目接入以上功能。
CN202111187202.8A 2021-10-12 2021-10-12 一种智能交互的同频互动讲解方法及系统 Pending CN113905003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111187202.8A CN113905003A (zh) 2021-10-12 2021-10-12 一种智能交互的同频互动讲解方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111187202.8A CN113905003A (zh) 2021-10-12 2021-10-12 一种智能交互的同频互动讲解方法及系统

Publications (1)

Publication Number Publication Date
CN113905003A true CN113905003A (zh) 2022-01-07

Family

ID=79191723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111187202.8A Pending CN113905003A (zh) 2021-10-12 2021-10-12 一种智能交互的同频互动讲解方法及系统

Country Status (1)

Country Link
CN (1) CN113905003A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584524A (zh) * 2022-03-09 2022-06-03 临感科技(杭州)有限公司 应用于微信小程序的对讲方法
CN117395231A (zh) * 2023-08-31 2024-01-12 国联人寿保险股份有限公司 一种多端同屏交互展示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203260218U (zh) * 2013-05-30 2013-10-30 深圳市金华联电子有限公司 一种课堂录制装置
CN104021507A (zh) * 2014-05-20 2014-09-03 武汉红树林科技有限公司 基于电子白板,屏幕录制编辑,手写板的微课制作方法及装置
CN104135484A (zh) * 2014-08-08 2014-11-05 北京博通佳信科技有限责任公司 一种集成交互式白板与视频会议的嵌入式系统及呼叫方法
CN106326343A (zh) * 2016-08-05 2017-01-11 重庆锐畅科技有限公司 一种基于音视频数据关联同步的电子白板数据共享系统
CN111479170A (zh) * 2020-03-13 2020-07-31 杭州火烧云科技有限公司 一种基于视频互动和屏幕共享直播的方法及系统
CN112235121A (zh) * 2020-10-27 2021-01-15 腾讯科技(深圳)有限公司 一种线上会议实现方法、装置、设备及存储介质
CN113099155A (zh) * 2021-02-22 2021-07-09 广州佰锐网络科技有限公司 一种适用于多场景的视频会议系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203260218U (zh) * 2013-05-30 2013-10-30 深圳市金华联电子有限公司 一种课堂录制装置
CN104021507A (zh) * 2014-05-20 2014-09-03 武汉红树林科技有限公司 基于电子白板,屏幕录制编辑,手写板的微课制作方法及装置
CN104135484A (zh) * 2014-08-08 2014-11-05 北京博通佳信科技有限责任公司 一种集成交互式白板与视频会议的嵌入式系统及呼叫方法
CN106326343A (zh) * 2016-08-05 2017-01-11 重庆锐畅科技有限公司 一种基于音视频数据关联同步的电子白板数据共享系统
CN111479170A (zh) * 2020-03-13 2020-07-31 杭州火烧云科技有限公司 一种基于视频互动和屏幕共享直播的方法及系统
CN112235121A (zh) * 2020-10-27 2021-01-15 腾讯科技(深圳)有限公司 一种线上会议实现方法、装置、设备及存储介质
CN113099155A (zh) * 2021-02-22 2021-07-09 广州佰锐网络科技有限公司 一种适用于多场景的视频会议系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZEGO即构科技: "即构互动白板音视频同步、多端协作技术实践", 《CSDN》 *
ZEGO即构科技: "即构互动白板音视频同步、多端协作技术实践", 《CSDN》, 1 September 2020 (2020-09-01) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584524A (zh) * 2022-03-09 2022-06-03 临感科技(杭州)有限公司 应用于微信小程序的对讲方法
CN117395231A (zh) * 2023-08-31 2024-01-12 国联人寿保险股份有限公司 一种多端同屏交互展示方法

Similar Documents

Publication Publication Date Title
JP3795772B2 (ja) マルチメディア情報通信サービスシステム
CN110099039B (zh) 一种在线协作会议的录制和回放的方法及系统
TWI263950B (en) System and method for providing educational service via communication network
CN109615961A (zh) 一种课堂教学师生互动网络系统与方法
CN107995456A (zh) 智慧园区视频会议系统
CN106448297A (zh) 一种云视声远程互动课堂系统
JP2007006444A (ja) マルチメディア製作制御システム
CN204887304U (zh) 一种录屏终端设备
CN113905003A (zh) 一种智能交互的同频互动讲解方法及系统
CN109327674A (zh) 一种会议控制系统
Snow et al. Network EducationWare: an open-source web-based system for synchronous distance education
Diethart et al. Guidelines for virtual conferencing–inspired by the COPERNICUS Alliance Online Conference 2019
Pishva et al. Smart Classrooms for Distance Education and their Adoption to Multiple Classroom Architecture.
CN201063761Y (zh) 多功能视频会议系统
Kouki et al. Telelearning via the Internet
Shah-Nelson Synchronous tools in support of teaching and learning
TWI270831B (en) A multimedia learning system with digital archives
Chunwijitra An advanced cloud-based e-learning platform for higher education for low speed internet
Lakhan et al. Mastering the Art of Video Conferencing: Remote Learning and Virtual Conferences
KR100451957B1 (ko) 실시간 쌍방향 원격교육시스템
TWI224292B (en) Interactive learning system
Huang et al. English Virtual Classroom Education---the Future of Distance English Education
Talati et al. Vartalaap: A Network Based Multimedia Presentation System
Prasolova-Førland Distance learning: Overview and design issues
JP2006174511A (ja) マルチメディア情報通信サービスシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220107