CN109327670B - 一种基于b/s模式的可视对讲系统及对讲方法 - Google Patents

一种基于b/s模式的可视对讲系统及对讲方法 Download PDF

Info

Publication number
CN109327670B
CN109327670B CN201811232177.9A CN201811232177A CN109327670B CN 109327670 B CN109327670 B CN 109327670B CN 201811232177 A CN201811232177 A CN 201811232177A CN 109327670 B CN109327670 B CN 109327670B
Authority
CN
China
Prior art keywords
module
audio
video
browser
poc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811232177.9A
Other languages
English (en)
Other versions
CN109327670A (zh
Inventor
李华松
陈尚武
邬文达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xujian Science And Technology Co ltd
Original Assignee
Hangzhou Xujian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xujian Science And Technology Co ltd filed Critical Hangzhou Xujian Science And Technology Co ltd
Priority to CN201811232177.9A priority Critical patent/CN109327670B/zh
Publication of CN109327670A publication Critical patent/CN109327670A/zh
Application granted granted Critical
Publication of CN109327670B publication Critical patent/CN109327670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种基于B/S模式的可视对讲系统及对讲方法,基于webrtc预呼叫的可视poc对讲方法,包括如下步骤:1、操作用户使用浏览器登录对讲管理模块,浏览器加入POC服务器加入POC频道流程;2、操作用户使用浏览器PTT按键,对讲喊话流程;3、操作用户停止浏览器PTT按键,结束对讲喊话流程;4、操作用户通过对讲机PTT按键,对讲喊话流程;5、操作用户通过对讲机结束PTT按键,结束对讲喊话流程。本发明为传统可视POC系统提供浏览器HTML5轻应用扩展,使PC电脑与智能手机简易接入到可视传统可视POC系统中。

Description

一种基于B/S模式的可视对讲系统及对讲方法
技术领域
本发明涉及可视对讲技术领域,具体为一种基于B/S模式的可视对讲系统及对讲方法。
背景技术
可视POC对讲系统是一个传统独立的以放射式的双向自动重复方式通讯系统,具有机动灵活,操作简便,语音传递快捷,使用经济之特点,实现生产调度自动化和管理现代化的基础手段。但在浏览器HMTL5轻应用接入点没有解决方案。
发明内容
本发明的目的在于提供一种基于B/S模式的可视对讲系统及对讲方法,解决了背景技术中所提出的问题。
为实现上述目的,本发明提供一种基于B/S模式的可视对讲系统,包括Webrtc对讲管理模块(1)、声音检测模块(2)、音频预接收模块(3)、音频分发模块(4)、视频分发模块(5)、视频预接收模块(6)、I帧控制模块(7)、POC客户端(8)、POC频道控制模块(9)、音频缓存发送模块(10)、视频缓存发送模块(11)、对讲机通讯模块(12)、对讲机(13);
Webrtc对讲管理模块(1),用于负责把浏览器加入POC服务器一个POC频道中;Webrtc对讲管理模块(1)提供向浏览器WEB接入服务,Webrtc对讲管理模块(1)与POC客户端(8)交换webrtc协议的SDP与ICE信息,从而控制音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)、视频缓存发送模块(11)和浏览器建立媒体传输通道;
POC客户端(8),是浏览器负责向POC服务器加入POC频道的模块;POC客户端(8)与Webrtc对讲管理模块(1)交换webrtc协议的SDP与ICE信息,从而建立浏览器音频与视频到POC服务器的双向通道;POC客户端(8)控制浏览器音频采集模块与视频采集模块暂停采集,音频播放模块与视频播放模块播放来自POC服务器的视频音频数据;POC客户端触发PTT(PushtoTalk)按键,直接触发音频采集模块与视频采集模块开始采集,发送音视频数据,同时向POC服务器的POC频道控制模块(9)发送PTT(PushtoTalk)事件申请发言权;
声音检测模块(2),是用于检测音频数据是否有声音;声音检测模块(2)接收音频预接收模块(3)的音频数据,声音检测模块(2)把检测结果发给声音检测模块(2);
音频预接收模块(3),是接收来浏览器的音频数据,通过声音检测模块(2)判断是否有声音的模块;如果有声音、但没有发言权则缓冲声音,如果有发言权则把音频数据转发给音频分发模块(4);
音频分发模块(4),是用于向POC频道的其他所有终端转发音频数据;音频分发模块(3)接收来自音频预接收模块(3)与对讲机通讯模块(12)的音频数据,同时向音频缓存发送模块(10)与对讲机通讯模块(12)发送音频数据;
音频缓存发送模块(10),用于向浏览器发送音频数据;在浏览器在发言时,缓存音频数据;如果浏览器无发言,则直接发送数据;音频缓存发送模块(10)接收音频分发模块(4)的数据,并发给浏览器;
视频预接收模块(6),用于接收来浏览器的视频数据,向视频分发模块(5)与I帧控制模块(7)转发视频数据;如果浏览器申请到发言权,I帧控制模块(7)判断已有I帧,视频预接收模块(6)则把视频数据转发给视频分发模块(5),否则只向I帧控制模块(7)转发数据,不向视频分发模块(5)转发数据;如果浏览器未申请到发言权,I帧控制模块(7)判断已有I帧,则缓冲视频数据,否则丢弃视频数据;
I帧控制模块(7),用于分析视频数据判断I帧,通知视频预接收模块(6)检测结果;I帧控制模块(7)接收频道控制器(9)发言权通知,如果视频预接收模块(6)没有缓冲I帧,则I帧控制模块(7)向浏览器发起I帧请求;;
视频分发模块(5),用于根据发言权向POC频道的所有终端转发视频数据;视频分发模块(5)接收来自视频预接收模块(6)与对讲机通讯模块(12)的视频数据,同时向视频缓存发送模块(11)与对讲机通讯模块(12)发送音频数据;
视频缓存发送模块(11),用于向浏览器发送音频数据;在浏览器发言时,缓存视频数据;如果浏览器无发言,则直接发送数据;视频缓存发送模块(11)接收视频分发模块(5)的数据,并发给浏览器;
对讲机通讯模块(12),用于负责POC服务器与对讲机联通;对讲机通讯模块(12)与对讲机(13)通过无线或IP网络连接;对讲机通讯模块(12)实现数据报文到无线或IP网络连接的转换;
对讲机(13),是无线音频对讲机或网络可视对讲机,该对讲机(13)与对讲机通讯模块(12)连接后接入本发明对讲系统中;
本发明还提供一种基于B/S模式的可视对讲方法,包括如下步骤:
步骤(1)、操作用户A使用浏览器登录对讲管理模块(1),浏览器加入POC服务器加入POC频道流程;
1.1、浏览器使用HTTP协议登录对讲管理模块(1),浏览器下载并运行POC客户端(8)的HTML5代码;
1.2、浏览器的POC客户端(8)与对讲管理模块(1)建立信令连接(协议可以采用websocket协议或restful协议);
1.3、浏览器的POC客户端(8)操作音频编码模块与视频编码模块生成浏览器的SDP媒体信息与ICE网络连接信息,并发送给Webrtc对讲管理模块(1);
1.4、Webrtc对讲管理模块(1)把接收POC客户端的浏览器的SDP媒体信息与ICE网络连接信息设置给音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)和视频缓存发送模块(11),同时让音频缓存发送模块(10)与视频缓存发送模块(11)生成服务器的SDP媒体信息与ICE网络连接信息;
1.5、POC客户端(8)接收到服务器的SDP媒体信息与ICE网络连接信息设置给音频编码模块、视频编码模块、音频解码模块和视频解码模块;POC客户端(8)建立音频采集模块到音频编码模块的连接、视频采集模块到视频编码模块的连接、音频解码模块到音频播放模块的连接以及视频解码模块到视频播放模块的连接,POC客户端(8)控制浏览器音频采集模块与视频采集模块暂停采集,音频播放模块与视频播放模块播放来自POC服务器的视频音频数据;
1.6、Webrtc对讲管理模块(1)把浏览器加入到POC频道控制模块(9)的POC频道中;
步骤(2)、操作用户A使用浏览器PTT按键,对讲喊话流程;
2.1、POC客户端接收触发PTT(PushtoTalk)按键,采用先发数据后申请发言,来减低延时、避免漏字;POC客户端触发音频采集模块与视频采集模块开始采集,音频编码模块和视频编码模块发送音视频数据后,Webrtc对讲管理模块(1)发送PTT(PushtoTalk)申请发言权;
2.2、Webrtc对讲管理模块(1)向POC频道控制模块(9)转送PTT申请发言权;
2.3、POC频道控制模块(9)把话权申请结果发送给Webrtc对讲管理模块(1);Webrtc对讲管理模块(1)申请结果反馈给POC客户端;POC频道控制模块(9)向对讲机与浏览器POC终端发送PTT事件;POC频道控制模块(9)向POC服务器的音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)、视频缓存发送模块(11)发送PTT事件通知;
2.4、POC客户端接收发言权申请结果反馈操作用户A;发言权申请成功操作用户A的音视频数据直接转发,如果发言权申请失败将被声音被缓存,等发言结束后再被转发;
2.5、音频预接收模块(3)接收来浏览器的音频数据,把音频数据发送声音检测模块(2),声音检测模块(2)判断有声音,如果有声音但没有发言权则缓冲声音,如果有发言权则把音频数据转发给音频分发模块(4);
2.6、声音检测模块(2)采用音频数据的一段时间(如30ms)绝对值累加值与门限值(如1000)进行判断,如果大于门限值有声音,小于门限值没有声音;
2.7、音频预接收模块(3)接收到POC频道控制模块(9)的POC发言权释放,如果存在缓存浏览器声音,则向POC频道控制模块(9)申请发言权,如果申请成功则发送音频分发模块(4);
2.8、音频分发模块(4)向POC频道的其他所有终端转发音频数据;有其他浏览器POC客户端则发给音频缓存发送模块(10),如是对讲机(13)则把音频数据发送给对讲机通讯模块(12);
2.9、视频预接收模块(6)接收来浏览器的视频数据,向I帧控制模块(7)转发视频数据进行I帧判断;
2.10、如果浏览器申请到发言权,I帧控制模块(7)判断已有I帧,视频预接收模块(6)则把视频数据转发给视频分发模块(5),否则只向I帧控制模块(7)转发数据,不向视频分发模块(5)转发数据;
2.11、如果浏览器未申请到发言权,I帧控制模块(7)判断已有I帧,则缓冲视频数据,否则丢弃视频数据;
2.12、视频预接收模块(6)接收POC频道控制模块(9)的浏览器PTT发言权通知,如果缓冲有视频数据,则开始向视频分发模块(5)发送视频数据;
2.13、视频分发模块(11)向POC频道的其他浏览器POC客户端与对讲机转发视频数据;有其他浏览器POC客户端则发给视频缓存发送模块(10),如是对讲机(13)则把视频数据发送给对讲机通讯模块(12);
2.14、对讲机通讯模块(12)把音视频数据转换无线或IP网络信号发送给对讲机(13);
步骤(3)、操作用户A停止浏览器PTT按键,结束对讲喊话流程;
3.1、POC客户端向Webrtc对讲管理模块(1)发送释放PTT发言权;POC客户端控制浏览器音频采集模块和视频采集模块暂停采集数据;
3.2、Webrtc对讲管理模块(1)转发释放发言权给POC频道控制模块(9);
3.3、POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送释放发言权;POC频道控制模块(9)向POC服务器的音频预接收模块(3)与视频预接收模块(6)与音频缓存发送模块(10)与视频缓存发送模块(11)发送释放发言权通知;
3.4、音频预接收模块(3)与视频预接收模块(6)接收释放发言权,清楚发言权状态,进入等待下一次的浏览器发言;
步骤(4)、操作用户B通过对讲机(2)PTT按键,对讲喊话流程;
4.1、对讲机通讯模块(12)检测到对讲机(12)PTT事件,向POC频道控制模块(9)发送PPT申请发言权;
4.2、POC频道控制模块(9)分配发言权后,放回对讲机通讯模块(12)成功标志;
4.3、对讲机通讯模块(12)接收到对讲机的无线或IP网络信号转化为音视频的数据报文,分别发送给音频分发模块(4)、视频分发模块(11);
4.4、音频分发模块(4)和视频分发模块(11)把音视频数据转发音频缓存发送模块(10)、视频缓存发送模块(11);
4.5、如果浏览器无发言,音频缓存发送模块(10)和视频缓存发送模块(11)直接向浏览器发送音视频数据;
4.6、浏览器在发言时,音频缓存发送模块(10)和视频缓存发送模块(11)缓存音频频数据;
4.7、浏览器在结束发言,音频缓存发送模块(10)和视频缓存发送模块(11)的缓存区有数据,则向浏览器发送音视频数据;
4.8、浏览器的音频解码模块和视频解码模块接收音视频数据后,解码发送给音频播放模块和视频播放模块;实现对讲机与浏览器的音视频对讲通讯;
步骤(5)、操作用户B通过对讲机(2)结束PTT按键,结束对讲喊话流程;
5.1、对讲机通讯模块(12)检测到对讲机(12)结束PTT事件,向POC频道控制模块(9)发送释放发言权;
5.2、POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送释放发言权。
其中,对专业概念名称进行如下解释说明:
POC是一种一对多双向单工对讲机通,浏览器的HTML5定义音视频规范,但仍然缺少POC在HTML应用的方案;POC(Push To Talk Over Cellular):进行“一对多”双向单工对讲机通讯。
PTT(Push To Talk):按下后讲话,POC实现双向单工对讲机通讯一个方式。
HTML5超文本标记语言(HTML)的第五次重大修改,主要新增定义音视频媒体相关规范。
WebRTC(Web Real-Time Communication):是一个支持基于P2P网络的网页浏览器进行实时语音对话或视频对话的技术,属于HTML5规范一部分。
P2P(peer-to-peer):一种端到端网络技术和网络拓扑结构。
POC频道:一对多的群组通话
SDP(Session Description Protocol)完全是一种会话描述格式,用于描述音视频媒体流属性。
ICE(Interactive Connectivity Establishment):交互式连接建立,是P2P网络通信实现框架。
其中:B/S结构(Browser/Server,浏览器/服务器模式),是WEB兴起后的一种网络结构模式,WEB浏览器是客户端最主要的应用软件。这种模式统一了客户端,将系统功能实现的核心部分集中到服务器上,简化了系统的开发、维护和使用。客户机上只要安装一个浏览器,如Netscape Navigator或Internet Explorer,服务器安装SQL Server、Oracle、MYSQL等数据库。浏览器通过Web Server同数据库进行数据交互。
与现有技术相比,本发明的有益效果如下:
为传统可视POC系统提供浏览器HTML5轻应用扩展,使PC电脑与智能手机简易接入到可视传统可视POC系统中。
附图说明
图1为本发明一种基于B/S模式的可视对讲系统及对讲方法的功能结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,为实现上述目的,本发明提供一种基于B/S模式的可视对讲系统的具体实施例,包括Webrtc对讲管理模块(1)、声音检测模块(2)、音频预接收模块(3)、音频分发模块(4)、视频分发模块(5)、视频预接收模块(6)、I帧控制模块(7)、POC客户端(8)、POC频道控制模块(9)、音频缓存发送模块(10)、视频缓存发送模块(11)、对讲机通讯模块(12)、对讲机(13);
Webrtc对讲管理模块(1),用于负责把浏览器加入POC服务器一个POC频道中;Webrtc对讲管理模块(1)提供向浏览器WEB接入服务,Webrtc对讲管理模块(1)与POC客户端(8)交换webrtc协议的SDP与ICE信息,从而控制音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)、视频缓存发送模块(11)和浏览器建立媒体传输通道;
POC客户端(8),是浏览器负责向POC服务器加入POC频道的模块;POC客户端(8)与Webrtc对讲管理模块(1)交换webrtc协议的SDP与ICE信息,从而建立浏览器音频与视频到POC服务器的双向通道;POC客户端(8)控制浏览器音频采集模块与视频采集模块暂停采集,音频播放模块与视频播放模块播放来自POC服务器的视频音频数据;POC客户端触发PTT(PushtoTalk)按键,直接触发音频采集模块与视频采集模块开始采集,发送音视频数据,同时向POC服务器的POC频道控制模块(9)发送PTT(PushtoTalk)事件申请发言权;
声音检测模块(2),是用于检测音频数据是否有声音;声音检测模块(2)接收音频预接收模块(3)的音频数据,声音检测模块(2)把检测结果发给声音检测模块(2);
音频预接收模块(3),是接收来浏览器的音频数据,通过声音检测模块(2)判断是否有声音的模块;如果有声音、但没有发言权则缓冲声音,如果有发言权则把音频数据转发给音频分发模块(4);
音频分发模块(4),是用于向POC频道的其他所有终端转发音频数据;音频分发模块(3)接收来自音频预接收模块(3)与对讲机通讯模块(12)的音频数据,同时向音频缓存发送模块(10)与对讲机通讯模块(12)发送音频数据;
音频缓存发送模块(10),用于向浏览器发送音频数据;在浏览器在发言时,缓存音频数据;如果浏览器无发言,则直接发送数据;音频缓存发送模块(10)接收音频分发模块(4)的数据,并发给浏览器;
视频预接收模块(6),用于接收来浏览器的视频数据,向视频分发模块(5)与I帧控制模块(7)转发视频数据;如果浏览器申请到发言权,I帧控制模块(7)判断已有I帧,视频预接收模块(6)则把视频数据转发给视频分发模块(5),否则只向I帧控制模块(7)转发数据,不向视频分发模块(5)转发数据;如果浏览器未申请到发言权,I帧控制模块(7)判断已有I帧,则缓冲视频数据,否则丢弃视频数据;
I帧控制模块(7),用于分析视频数据判断I帧,通知视频预接收模块(6)检测结果;I帧控制模块(7)接收频道控制器(9)发言权通知,如果视频预接收模块(6)没有缓冲I帧,则I帧控制模块(7)向浏览器发起I帧请求;
视频分发模块(5),用于根据发言权向POC频道的所有终端转发视频数据;视频分发模块(5)接收来自视频预接收模块(6)与对讲机通讯模块(12)的视频数据,同时向视频缓存发送模块(11)与对讲机通讯模块(12)发送音频数据;
视频缓存发送模块(11),用于向浏览器发送音频数据;在浏览器发言时,缓存视频数据;如果浏览器无发言,则直接发送数据;视频缓存发送模块(11)接收视频分发模块(5)的数据,并发给浏览器;
对讲机通讯模块(12),用于负责POC服务器与对讲机联通;对讲机通讯模块(12)与对讲机(13)通过无线或IP网络连接;对讲机通讯模块(12)实现数据报文到无线或IP网络连接的转换;
对讲机(13),是无线音频对讲机或网络可视对讲机,该对讲机(13)与对讲机通讯模块(12)连接后接入本发明对讲系统中;
根据上述一种基于B/S模式的可视对讲系统,本发明还提供一种基于B/S模式的可视对讲方法的具体实施例,包括如下步骤:
步骤(1)、操作用户A使用浏览器登录对讲管理模块(1),浏览器加入POC服务器加入POC频道流程;
1.1、浏览器使用HTTP协议登录对讲管理模块(1),浏览器下载并运行POC客户端(8)的HTML5代码;
1.2、浏览器的POC客户端(8)与对讲管理模块(1)建立信令连接(协议可以采用websocket协议或restful协议);
1.3、浏览器的POC客户端(8)操作音频编码模块与视频编码模块生成浏览器的SDP媒体信息与ICE网络连接信息,并发送给Webrtc对讲管理模块(1);
1.4、Webrtc对讲管理模块(1)把接收POC客户端的浏览器的SDP媒体信息与ICE网络连接信息设置给音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)和视频缓存发送模块(11),同时让音频缓存发送模块(10)与视频缓存发送模块(11)生成服务器的SDP媒体信息与ICE网络连接信息;
1.5、POC客户端(8)接收到服务器的SDP媒体信息与ICE网络连接信息设置给音频编码模块、视频编码模块、音频解码模块和视频解码模块;POC客户端(8)建立音频采集模块到音频编码模块的连接、视频采集模块到视频编码模块的连接、音频解码模块到音频播放模块的连接以及视频解码模块到视频播放模块的连接,POC客户端(8)控制浏览器音频采集模块与视频采集模块暂停采集,音频播放模块与视频播放模块播放来自POC服务器的视频音频数据;
1.6、Webrtc对讲管理模块(1)把浏览器加入到POC频道控制模块(9)的POC频道中;
步骤(2)、操作用户A使用浏览器PTT按键,对讲喊话流程;
2.1、POC客户端接收触发PTT(PushtoTalk)按键,采用先发数据后申请发言,来减低延时、避免漏字;POC客户端触发音频采集模块与视频采集模块开始采集,音频编码模块和视频编码模块发送音视频数据后,Webrtc对讲管理模块(1)发送PTT(PushtoTalk)申请发言权;
2.2、Webrtc对讲管理模块(1)向POC频道控制模块(9)转送PTT申请发言权;
2.3、POC频道控制模块(9)把话权申请结果发送给Webrtc对讲管理模块(1);Webrtc对讲管理模块(1)申请结果反馈给POC客户端;POC频道控制模块(9)向对讲机与浏览器POC终端发送PTT事件;POC频道控制模块(9)向POC服务器的音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)、视频缓存发送模块(11)发送PTT事件通知;
2.4、POC客户端接收发言权申请结果反馈操作用户A;发言权申请成功操作用户A的音视频数据直接转发,如果发言权申请失败将被声音被缓存,等发言结束后再被转发;
2.5、音频预接收模块(3)接收来浏览器的音频数据,把音频数据发送声音检测模块(2),声音检测模块(2)判断有声音,如果有声音但没有发言权则缓冲声音,如果有发言权则把音频数据转发给音频分发模块(4);
2.6、声音检测模块(2)采用音频数据的一段时间(如30ms)绝对值累加值与门限值(如1000)进行判断,如果大于门限值有声音,小于门限值没有声音;
2.7、音频预接收模块(3)接收到POC频道控制模块(9)的POC发言权释放,如果存在缓存浏览器声音,则向POC频道控制模块(9)申请发言权,如果申请成功则发送音频分发模块(4);
2.8、音频分发模块(4)向POC频道的其他所有终端转发音频数据;有其他浏览器POC客户端则发给音频缓存发送模块(10),如是对讲机(13)则把音频数据发送给对讲机通讯模块(12);
2.9、视频预接收模块(6)接收来浏览器的视频数据,向I帧控制模块(7)转发视频数据进行I帧判断;
2.10、如果浏览器申请到发言权,I帧控制模块(7)判断已有I帧,视频预接收模块(6)则把视频数据转发给视频分发模块(5),否则只向I帧控制模块(7)转发数据,不向视频分发模块(5)转发数据;
2.11、如果浏览器未申请到发言权,I帧控制模块(7)判断已有I帧,则缓冲视频数据,否则丢弃视频数据;
2.12、视频预接收模块(6)接收POC频道控制模块(9)的浏览器PTT发言权通知,如果缓冲有视频数据,则开始向视频分发模块(5)发送视频数据;
2.13、视频分发模块(11)向POC频道的其他浏览器POC客户端与对讲机转发视频数据;有其他浏览器POC客户端则发给视频缓存发送模块(10),如是对讲机(13)则把视频数据发送给对讲机通讯模块(12);
2.14、对讲机通讯模块(12)把音视频数据转换无线或IP网络信号发送给对讲机(13);
步骤(3)、操作用户A停止浏览器PTT按键,结束对讲喊话流程;
3.1、POC客户端向Webrtc对讲管理模块(1)发送释放PTT发言权;POC客户端控制浏览器音频采集模块和视频采集模块暂停采集数据;
3.2、Webrtc对讲管理模块(1)转发释放发言权给POC频道控制模块(9);
3.3、POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送释放发言权;POC频道控制模块(9)向POC服务器的音频预接收模块(3)与视频预接收模块(6)与音频缓存发送模块(10)与视频缓存发送模块(11)发送释放发言权通知;
3.4、音频预接收模块(3)与视频预接收模块(6)接收释放发言权,清楚发言权状态,进入等待下一次的浏览器发言;
步骤(4)、操作用户B通过对讲机(2)PTT按键,对讲喊话流程;
4.1、对讲机通讯模块(12)检测到对讲机(12)PTT事件,向POC频道控制模块(9)发送PPT申请发言权;
4.2、POC频道控制模块(9)分配发言权后,放回对讲机通讯模块(12)成功标志;
4.3、对讲机通讯模块(12)接收到对讲机的无线或IP网络信号转化为音视频的数据报文,分别发送给音频分发模块(4)、视频分发模块(11);
4.4、音频分发模块(4)和视频分发模块(11)把音视频数据转发音频缓存发送模块(10)、视频缓存发送模块(11);
4.5、如果浏览器无发言,音频缓存发送模块(10)和视频缓存发送模块(11)直接向浏览器发送音视频数据;
4.6、浏览器在发言时,音频缓存发送模块(10)和视频缓存发送模块(11)缓存音频频数据;
4.7、浏览器在结束发言,音频缓存发送模块(10)和视频缓存发送模块(11)的缓存区有数据,则向浏览器发送音视频数据;
4.8、浏览器的音频解码模块和视频解码模块接收音视频数据后,解码发送给音频播放模块和视频播放模块;实现对讲机与浏览器的音视频对讲通讯;
步骤(5)、操作用户B通过对讲机(2)结束PTT按键,结束对讲喊话流程;
5.1、对讲机通讯模块(12)检测到对讲机(12)结束PTT事件,向POC频道控制模块(9)发送释放发言权;
5.2、POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送释放发言权。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于B/S模式的可视对讲系统,其特征在于,包括Webrtc对讲管理模块(1)、声音检测模块(2)、音频预接收模块(3)、音频分发模块(4)、视频分发模块(5)、视频预接收模块(6)、I帧控制模块(7)、POC客户端(8)、POC频道控制模块(9)、音频缓存发送模块(10)、视频缓存发送模块(11)、对讲机通讯模块(12)、对讲机(13);
Webrtc对讲管理模块(1),用于负责把浏览器加入POC服务器一个POC频道中;Webrtc对讲管理模块(1)提供向浏览器WEB接入服务,Webrtc对讲管理模块(1)与POC客户端(8)交换webrtc协议的SDP与ICE信息,从而控制音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)、视频缓存发送模块(11)和浏览器建立媒体传输通道;
POC客户端(8),是浏览器负责向POC服务器加入POC频道的模块;POC客户端(8)与Webrtc对讲管理模块(1)交换webrtc协议的SDP与ICE信息,从而建立浏览器音频与视频到POC服务器的双向通道;POC客户端(8)控制浏览器音频采集模块与视频采集模块暂停采集,音频播放模块与视频播放模块播放来自POC服务器的视频音频数据;POC客户端触发PTT按键,直接触发音频采集模块与视频采集模块开始采集,发送音视频数据,同时向POC服务器的POC频道控制模块(9)发送PTT事件申请发言权;
声音检测模块(2),是用于检测音频数据是否有声音;声音检测模块(2)接收音频预接收模块(3)的音频数据,声音检测模块(2)把检测结果发给声音检测模块(2);
音频预接收模块(3),是接收来浏览器的音频数据,通过声音检测模块(2)判断是否有声音的模块;如果有声音、但没有发言权则缓冲声音,如果有发言权则把音频数据转发给音频分发模块(4);
音频分发模块(4),是用于向POC频道的其他所有终端转发音频数据;音频分发模块(3)接收来自音频预接收模块(3)与对讲机通讯模块(12)的音频数据,同时向音频缓存发送模块(10)与对讲机通讯模块(12)发送音频数据;
音频缓存发送模块(10),用于向浏览器发送音频数据;在浏览器在发言时,缓存音频数据;如果浏览器无发言,则直接发送数据;音频缓存发送模块(10)接收音频分发模块(4)的数据,并发给浏览器;
视频预接收模块(6),用于接收来浏览器的视频数据,向视频分发模块(5)与I帧控制模块(7)转发视频数据;如果浏览器申请到发言权,I帧控制模块(7)判断已有I帧,视频预接收模块(6)则把视频数据转发给视频分发模块(5),否则只向I帧控制模块(7)转发数据,不向视频分发模块(5)转发数据;如果浏览器未申请到发言权,I帧控制模块(7)判断已有I帧,则缓冲视频数据,否则丢弃视频数据;
I帧控制模块(7),用于分析视频数据判断I帧,通知视频预接收模块(6)检测结果;I帧控制模块(7)接收频道控制器(9)发言权通知,如果视频预接收模块(6)没有缓冲I帧,则I帧控制模块(7)向浏览器发起I帧请求;
视频分发模块(5),用于根据发言权向POC频道的所有终端转发视频数据;视频分发模块(5)接收来自视频预接收模块(6)与对讲机通讯模块(12)的视频数据,同时向视频缓存发送模块(11)与对讲机通讯模块(12)发送音频数据;
视频缓存发送模块(11),用于向浏览器发送音频数据;在浏览器发言时,缓存视频数据;如果浏览器无发言,则直接发送数据;视频缓存发送模块(11)接收视频分发模块(5)的数据,并发给浏览器;
对讲机通讯模块(12),用于负责POC服务器与对讲机联通;对讲机通讯模块(12)与对讲机(13)通过无线或IP网络连接;对讲机通讯模块(12)实现数据报文到无线或IP网络连接的转换;
对讲机(13),是无线音频对讲机或网络可视对讲机,该对讲机(13)与对讲机通讯模块(12)连接。
2.一种基于B/S模式的可视对讲方法,其特征在于,包括如下步骤:
步骤(1)、操作用户A使用浏览器登录对讲管理模块(1),浏览器加入POC服务器加入POC频道流程;
步骤(2)、操作用户A使用浏览器PTT按键,对讲喊话流程;
步骤(3)、操作用户A停止浏览器PTT按键,结束对讲喊话流程;
步骤(4)、操作用户B通过对讲机(2)PTT按键,对讲喊话流程;
步骤(5)、操作用户B通过对讲机(2)结束PTT按键,结束对讲喊话流程;
其中,所述步骤(2)的具体流程如下:
步骤2.1、POC客户端接收触发PTT按键,采用先发数据后申请发言,来减低延时、避免漏字;POC客户端触发音频采集模块与视频采集模块开始采集,音频编码模块和视频编码模块发送音视频数据后,Webrtc对讲管理模块(1)发送PTT申请发言权;
步骤2.2、Webrtc对讲管理模块(1)向POC频道控制模块(9)转送PTT申请发言权;
步骤2.3、POC频道控制模块(9)把话权申请结果发送给Webrtc对讲管理模块(1);Webrtc对讲管理模块(1)申请结果反馈给POC客户端;POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送PTT事件;POC频道控制模块(9)向POC服务器的音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)、视频缓存发送模块(11)发送PTT事件通知;
步骤2.4、POC客户端接收发言权申请结果反馈操作用户A;发言权申请成功操作用户A音视频数据直接转发,如果发言权申请失败将被声音被缓存,等发言结束后再被转发;
步骤2.5、音频预接收模块(3)接收来浏览器的音频数据,把音频数据发送声音检测模块(2),声音检测模块(2)判断有声音,如果有声音但没有发言权则缓冲声音,如果有发言权则把音频数据转发给音频分发模块(4);
步骤2.6、声音检测模块(2)采用音频数据的一段时间绝对值累加值与门限值进行判断,如果大于门限值有声音,小于门限值没有声音;
步骤2.7、音频预接收模块(3)接收到POC频道控制模块(9)的POC发言权释放,如果存在缓存浏览器声音,则向POC频道控制模块(9)申请发言权,如果申请成功则发送音频分发模块(4);
步骤2.8、音频分发模块(4)向POC频道的其他所有终端转发音频数据;有其他浏览器POC客户端则发给音频缓存发送模块(10),如是对讲机(13)则把音频数据发送给对讲机通讯模块(12);
步骤2.9、视频预接收模块(6)接收来浏览器的视频数据,向I帧控制模块(7)转发视频数据进行I帧判断;
步骤2.10、如果浏览器申请到发言权,I帧控制模块(7)判断已有I帧,视频预接收模块(6)则把视频数据转发给视频分发模块(5),否则只向I帧控制模块(7)转发数据,不向视频分发模块(5)转发数据;
步骤2.11、如果浏览器未申请到发言权,I帧控制模块(7)判断已有I帧,则缓冲视频数据,否则丢弃视频数据;
步骤2.12、视频预接收模块(6)接收POC频道控制模块(9)的浏览器PTT发言权通知,如果缓冲有视频数据,则开始向视频分发模块(5)发送视频数据;
步骤2.13、视频分发模块(11)向POC频道的其他浏览器POC客户端与对讲机转发视频数据;有其他浏览器POC客户端则发给视频缓存发送模块(10),如是对讲机(13)则把视频数据发送给对讲机通讯模块(12);
步骤2.14、对讲机通讯模块(12)把音视频数据转换无线或IP网络信号发送给对讲机(13);
其中,所述步骤(4)的具体流程如下:
步骤4.1、对讲机通讯模块(12)检测到对讲机(12)PTT事件,向POC频道控制模块(9)发送PPT申请发言权;
步骤4.2、POC频道控制模块(9)分配发言权后,放回对讲机通讯模块(12)成功标志;
步骤4.3、对讲机通讯模块(12)接收到对讲机的无线或IP网络信号转化为音视频的数据报文,分别发送给音频分发模块(4)、视频分发模块(11);
步骤4.4、音频分发模块(4)和视频分发模块(11)把音视频数据转发音频缓存发送模块(10)、视频缓存发送模块(11);
步骤4.5、如果浏览器无发言,音频缓存发送模块(10)和视频缓存发送模块(11)直接向浏览器发送音视频数据;
步骤4.6、浏览器在发言时,音频缓存发送模块(10)和视频缓存发送模块(11)缓存音频频数据;
步骤4.7、浏览器在结束发言,音频缓存发送模块(10)和视频缓存发送模块(11)的缓存区有数据,则向浏览器发送音视频数据;
步骤4.8、浏览器的音频解码模块和视频解码模块接收音视频数据后,解码发送给音频播放模块和视频播放模块;实现对讲机与浏览器的音视频对讲通讯。
3.根据权利要求2中所述的一种基于B/S模式的可视对讲方法,其特征在于,所述步骤(1)的具体流程如下:
步骤1.1、浏览器使用HTTP协议登录对讲管理模块(1),浏览器下载并运行POC客户端(8)的HTML5代码;
步骤1.2、浏览器的POC客户端(8)与对讲管理模块(1)建立信令连接;
步骤1.3、浏览器的POC客户端(8)操作音频编码模块与视频编码模块生成浏览器的SDP媒体信息与ICE网络连接信息,并发送给Webrtc对讲管理模块(1);
步骤1.4、Webrtc对讲管理模块(1)把接收POC客户端的浏览器的SDP媒体信息与ICE网络连接信息设置给音频预接收模块(3)、视频预接收模块(6)、音频缓存发送模块(10)和视频缓存发送模块(11),同时让音频缓存发送模块(10)与视频缓存发送模块(11)生成服务器的SDP媒体信息与ICE网络连接信息;
步骤1.5、POC客户端(8)接收到服务器的SDP媒体信息与ICE网络连接信息设置给音频编码模块、视频编码模块、音频解码模块和视频解码模块;POC客户端(8)建立音频采集模块到音频编码模块的连接、视频采集模块到视频编码模块的连接、音频解码模块到音频播放模块的连接以及视频解码模块到视频播放模块的连接,POC客户端(8)控制浏览器音频采集模块与视频采集模块暂停采集,音频播放模块与视频播放模块播放来自POC服务器的视频音频数据;
步骤1.6、Webrtc对讲管理模块(1)把浏览器加入到POC频道控制模块(9)的POC频道中。
4.根据权利要求2中所述的一种基于B/S模式的可视对讲方法,其特征在于,所述步骤(3)的具体流程如下:
步骤3.1、POC客户端向Webrtc对讲管理模块(1)发送释放PTT发言权;POC客户端控制浏览器音频采集模块和视频采集模块暂停采集数据;
步骤3.2、Webrtc对讲管理模块(1)转发释放发言权给POC频道控制模块(9);
步骤3.3、POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送释放发言权;POC频道控制模块(9)向POC服务器的音频预接收模块(3)与视频预接收模块(6)与音频缓存发送模块(10)与视频缓存发送模块(11)发送释放发言权通知;
步骤3.4、音频预接收模块(3)与视频预接收模块(6)接收释放发言权,清楚发言权状态,进入等待下一次的浏览器发言。
5.根据权利要求2中所述的一种基于B/S模式的可视对讲方法,其特征在于,所述步骤(5)的具体流程如下:
步骤5.1、对讲机通讯模块(12)检测到对讲机(12)结束PTT事件,向POC频道控制模块(9)发送释放发言权;
步骤5.2、POC频道控制模块(9)向对讲机以及其他浏览器POC终端发送释放发言权。
CN201811232177.9A 2018-10-22 2018-10-22 一种基于b/s模式的可视对讲系统及对讲方法 Active CN109327670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811232177.9A CN109327670B (zh) 2018-10-22 2018-10-22 一种基于b/s模式的可视对讲系统及对讲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811232177.9A CN109327670B (zh) 2018-10-22 2018-10-22 一种基于b/s模式的可视对讲系统及对讲方法

Publications (2)

Publication Number Publication Date
CN109327670A CN109327670A (zh) 2019-02-12
CN109327670B true CN109327670B (zh) 2020-06-26

Family

ID=65262480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811232177.9A Active CN109327670B (zh) 2018-10-22 2018-10-22 一种基于b/s模式的可视对讲系统及对讲方法

Country Status (1)

Country Link
CN (1) CN109327670B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110265055B (zh) * 2019-06-17 2021-04-20 杭州叙简科技股份有限公司 一种poc对讲的语音去噪增强系统及语音去噪增强方法
CN110691333A (zh) * 2019-10-11 2020-01-14 厦门睿洽科技有限公司 一种公网对讲方法
CN110943910A (zh) * 2019-12-10 2020-03-31 杭州当虹科技股份有限公司 一种基于WebSocket的对讲机实现方法
CN111356024B (zh) * 2020-03-11 2022-02-01 厦门亿合恒拓信息科技有限公司 网页端和微信小程序端的在线视频通信方法及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007143253A2 (en) * 2006-05-30 2007-12-13 Motorola, Inc. Reservation of mobile station communication resources
CN101106761A (zh) * 2006-07-12 2008-01-16 宁波波导股份有限公司 一种建立会话通信网络系统
CN103475499A (zh) * 2013-09-10 2013-12-25 北京思特奇信息技术股份有限公司 一种基于网络电话会议的语音对讲方法及系统
CN105376528A (zh) * 2015-09-23 2016-03-02 上海大学 一种云可视对讲系统
CN105939462A (zh) * 2016-06-14 2016-09-14 重庆百金穗电子商务股份有限公司 一种云可视对讲系统
CN106209592A (zh) * 2016-07-15 2016-12-07 福建星网信通软件有限公司 微信客服系统及其客服服务消息交互方法
CN107632988A (zh) * 2016-07-18 2018-01-26 杭州海康威视数字技术股份有限公司 浏览器语音发送和接收方法、装置及语音对讲系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007143253A2 (en) * 2006-05-30 2007-12-13 Motorola, Inc. Reservation of mobile station communication resources
CN101106761A (zh) * 2006-07-12 2008-01-16 宁波波导股份有限公司 一种建立会话通信网络系统
CN103475499A (zh) * 2013-09-10 2013-12-25 北京思特奇信息技术股份有限公司 一种基于网络电话会议的语音对讲方法及系统
CN105376528A (zh) * 2015-09-23 2016-03-02 上海大学 一种云可视对讲系统
CN105939462A (zh) * 2016-06-14 2016-09-14 重庆百金穗电子商务股份有限公司 一种云可视对讲系统
CN106209592A (zh) * 2016-07-15 2016-12-07 福建星网信通软件有限公司 微信客服系统及其客服服务消息交互方法
CN107632988A (zh) * 2016-07-18 2018-01-26 杭州海康威视数字技术股份有限公司 浏览器语音发送和接收方法、装置及语音对讲系统

Also Published As

Publication number Publication date
CN109327670A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN109327670B (zh) 一种基于b/s模式的可视对讲系统及对讲方法
CN106209592B (zh) 微信客服系统及其客服服务消息交互方法
CN109672610B (zh) 一种多群组语音实时通信方法及系统
CN108055496B (zh) 一种视频会议的直播方法和系统
CN1989710B (zh) 一键通服务方法
CA2615361A1 (en) Methods and apparatus for providing ptt data buffering support indications from mobile devices and ptt data buffering control by wireless networks
US9014349B2 (en) Media instant messaging for mobile device
CN112565234B (zh) 基于WebRTC的跨网传输系统及方法
US20080076362A1 (en) PTT system, method for implementing PTT communication, PTT management server and terminal device thereof
WO2009003334A1 (fr) Procédé et système servant à réaliser le contrôle d'un système de centre d'appel grâce à un terminal léger sip
WO2007116722A1 (ja) 通信システム
CN103686620A (zh) 一种群组呼叫快速建立过程中防止语音丢失的方法
CN101345902A (zh) 手机多媒体视频短信的群发方法
CN111918222A (zh) 一种基于eLTE的无线调度台的实现方法
WO2018006678A1 (zh) 语音通话方法及装置
CN101997994A (zh) 视频媒体技术提升自动电话服务的ivvr系统及方法
CN101132554B (zh) 通信终端设备、会议服务器装置以及相关方法
CN100527865C (zh) 无线一键通业务共享内容服务器中媒体信息的方法及系统
CN103684970A (zh) 媒体数据流的传输方法和瘦终端
CN112822169A (zh) 一种适用座席Web电话应用系统的集成系统及方法
CN101631277A (zh) PoC用户自选通话对象的方法、服务器及客户端
CN102045535B (zh) 一种实现用户视频选择客服人员的装置、系统及方法
US7805152B2 (en) PTT architecture
JP6984457B2 (ja) 通信システム、通信装置、通信制御プログラム、中継装置、中継プログラム
CN110943910A (zh) 一种基于WebSocket的对讲机实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A visual intercom system and intercom method based on B / S mode

Effective date of registration: 20211202

Granted publication date: 20200626

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220322

Granted publication date: 20200626

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A visual intercom system and intercom method based on B / S mode

Effective date of registration: 20220322

Granted publication date: 20200626

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230131

Granted publication date: 20200626

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162