CN112637703B - 一种web端实时对讲系统及对讲方法 - Google Patents

一种web端实时对讲系统及对讲方法 Download PDF

Info

Publication number
CN112637703B
CN112637703B CN202011611625.3A CN202011611625A CN112637703B CN 112637703 B CN112637703 B CN 112637703B CN 202011611625 A CN202011611625 A CN 202011611625A CN 112637703 B CN112637703 B CN 112637703B
Authority
CN
China
Prior art keywords
data
module
packet
processing unit
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011611625.3A
Other languages
English (en)
Other versions
CN112637703A (zh
Inventor
耿路兵
夏银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuguo Technology Co ltd
Original Assignee
Shanghai Shuguo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuguo Technology Co ltd filed Critical Shanghai Shuguo Technology Co ltd
Priority to CN202011611625.3A priority Critical patent/CN112637703B/zh
Publication of CN112637703A publication Critical patent/CN112637703A/zh
Application granted granted Critical
Publication of CN112637703B publication Critical patent/CN112637703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q5/00—Selecting arrangements wherein two or more subscriber stations are connected by the same line to the exchange
    • H04Q5/24—Selecting arrangements wherein two or more subscriber stations are connected by the same line to the exchange for two-party-line systems
    • H04Q5/245—Circuit arrangements in which for one subscriber low frequency speech and/or signalling signals proceed on the line, while for the other subscriber the low frequency speech and/or signalling signals are modulated upon a high frequency carrier signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种WEB端实时对讲系统及对讲方法；包括WEB端，服务端采集单元，数据处理单元和数据接收处理单元；WEB端与服务端建立socket连接并进行数据交互；采集单元，数据处理单元和数据接收处理单元均运行在WEB端上。采集单元将采集的原始音频数据通过数据处理单元形成符合格式的音频数据包传输给服务端，服务端对音频数据包进行检验，若合格则将音频数据包传输给WEB端，WEB端通过数据接收处理单元对音频包进行数据的接收和处理，最后通过扬声器播放出来，实现对讲。本方案实现了一端对讲，多端收听的功能，操作简单，方便快捷。

Description

一种WEB端实时对讲系统及对讲方法
技术领域
本发明涉及WEB端通信技术，具体涉及一种WEB端实时对讲系统及对讲方法。
背景技术
对讲机应用领域很广，主要应用在公安、民航、运输、水利、铁路、制造、建筑、服务等行业，用于团体成员间的联络和指挥调度，以提高沟通效率和提高处理突发事件的快速反应能力。随着对讲机进入民用市场，人们外出旅游、购物也开始越来越多地使用对讲机。
传统的模拟机的通话距离受限制，距离一长，通话质量就无法保证。随着互联网的发展，传统的模拟机已经不能满足人们的需求了。
由此可见，现急需一种稳定的对讲系统为本领域需解决的问题。
发明内容
针对于现有模拟机存在通话质量不稳定的技术问题，本发明的目的在于提供一种WEB端实时对讲系统，在此基础上，还给出了WEB端实时对讲系统的对讲方法，很好地解决了上述的技术问题。
为了达到上述目的，本发明提供的WEB端实时对讲系统；包括WEB端，服务端采集单元，数据处理单元和数据接收处理单元；所述WEB端与服务端建立 socket连接并进行数据交互，通过建立连接将WEB端相应的连接地址缓存至服务端内；所述采集单元，数据处理单元和数据接收处理单元均运行在WEB端上。
进一步地，所述采集单元是由声音传感器组成；所述声音传感器与WEB端进行配合使用，通过声音传感器将音频数据采集至WEB端中。
进一步地，所述数据处理单元包括合并压缩模块，分包解码压缩模块；所述合并压缩模块与分包解码压缩模块进行数据连接；
所述合并压缩模块将采集单元采集到的原始音频数据通过偏移量计算，将原始二维的pcm音频数据转换为一体来进行合并压缩；
所述分包解码压缩模块通过解码压缩将合并压缩后的音频数据转换成指定采样率，采样数的音频数据；通过分包算法将转换后的音频数据划分成pcm音频包；接着通过opus编码算法将划分后的pcm音频包进一步转换成opus格式的音频包；opus格式的音频包通过rtp进行封装排序；将音频包按照固定大小通过分包机制进行分包，最后将分包后的音频数据通过定时算法按照固定的时间间隔发送rtp格式的语音包到服务端。
进一步地，所述数据接收处理单元是由接收模块，解码解压缩模块，数据拼接模块和播放模块组成；所述接收模块，解码解压缩模块，数据拼接模块和播放模块依次进行数据连接；
所述解码解压缩模块是首先去掉数据包头和rtp头，将rtp语音包还原为 opus格式的语音包,然后通过opus解码算法将opus格式的数据包解压缩为pcm原始数据包；
所述数据拼接模块接收到解码解压缩模块处理后的pcm语音包后，将pcm语音包根据语音包序号按照顺序依次进行合并；
所述播放模块通过播放器将排序合并后的语音包通过WEB端进行播放。
为了达到上述目的，本发明提供的一种WEB端实时对讲方法；所述对讲方法包括：
(1)将WEB端与服务端建立数据连接并获取声音传感器的使用权限；调用声音传感器采用单通道的模式进行音频流的采集；
(2)WEB端通过数据处理单元将原始音频数据合并与压缩实现将其转换为指定采样率以及采样位数的pcm音频数据，通过分包机制实现将pcm音频数据划分为固定大小的音频包，通过opus编码压缩实现将pcm音频数据转换为opus 格式的音频包，通过rtp实现将opus压缩后的音频包封装排序，通过定时操作实现固定时间间隔将rtp语音包发送到目标服务端；
(3)服务端接收到数据处理单元处理后的数据来检验语音包是否符合规范，符合则进行转发，否则断开连接；
(4)当服务端将rtp语音包传输至WEB端进行接收时，WEB端的数据接收处理单元对rtp语音包进行接受处理。数据接收处理单元将接收到的rtp语音包去掉包头和rtp头，还原为opus格式的语音包，用opus解码算法转换为指定采样率以及采样数的pcm语音包，通过数据拼接将转换后的pcm语音包进行排序合并，通过WEB端的播放器进行播放。
本发明提供的WEB端实时对讲系统及对讲方法，本方案可以将采集的原始音频数据通过处理后持续的向后台服务器发送语音包，并且传输可靠稳定，整体提高了通话的质量和稳定性。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本WEB端实时对讲系统的结构示意图；
图2为本WEB端采集单元的结构示意图；
图3为本WEB端实时对讲系统语音传输的流程示意图；
图4为本WEB端实时对讲系统音频数据播放的流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1，本方案给出的WEB端进实时对讲功能的实现是由WEB客户,100 和服务端200组成的；WEB端100与服务端200连接来进行实时录音或接收音频数据播放。
在WEB端100录音或接收音频数据播放之前，需要确保WEB端100与服务端200之间建立socket连接，并且使得WEB端100相应的连接地址缓存在服务端200；如果WEB端100与服务端200建立连接失败，则提示错误信息。因此，WEB端100与服务端200连接是WEB端实时对讲系统运行的前提。
其中，WEB端100对讲系统包括采集单元110，数据处理单元120和数据接收处理单元130。
进一步地，参见图2，采集单元110用于声音的采集，采集单元110是在 WEB端100上运行，还设有声音传感器111和播放器135进行配合使用。采集单元110在WEB端100与服务端200连接成功后，操作对讲按钮140通过声音传感,111进行录音传输来实现实时对讲。
首先，通过getUserMedia方法获取声音传感器111的访问权限，不允许访问声音传感器111则提示错误信息；若允许访问，则调用声音传感器111进行录音，录音后通过数据处理单元120对音频数据进行处理。
数据处理单元120用于对音频数据进行处理，其包括合并压缩模块121，分包解码压缩模块122。其中，合并压缩模块121与分包解码压缩模块122进行数据连接。
合并压缩模块121用于将采集单元采集的音频数据进行合并压缩。
作为举例，通过audioContext和audioprocess方法获取原始音频的采样率为48000，数据为浮点型32位的pcm音频数据流，占用的资源较大，原始的pcm音频流是二维数组，通过偏移量计算，将二维的pcm音频数据转换为一体将音频数据达到合并压缩的目的，然后将合并压缩后的音频数据传输给分包解码压缩模块122。
分包解码压缩模块122用于对合并压缩后的音频数据进行分包解码压缩，即将采集的原始音频数据压缩转换成指定采样率的音频数据。
作为举例，分包解码压缩就是先将合并压缩后的音频数据进行编码压缩，就是将合并压缩后的音频数据先转换为采样率为8000，采样数为16位整型的pcm音频数据。
然后按照音频分包算法将该转换后的音频数据划分为480长度的16位整型的pcm音频包。
将采集的原始音频数据压缩转换成指定采样率的音频数据是为了在不影响音频质量的前提下缩减音频数据，可以减轻服务端负载。
接着，将通过音频分包算法转换后的音频数据进一步编码压缩，采用opus 编码算法进行进一步编码压缩，将通过音频分包算法编码压缩过的数据转换成数据量更小的高保真opus格式的音频包。
这里不限定于采用opus编码算法进行编码压缩，本方案优选opus编码算法是由于opus是一个高保真的适合在网络中传输的语音编码格式，相对于其它编码格式来说，保真性更好。
然后对opus格式的音频包通过rtp进行封装排序，作为举例，添加长度为4个字节表示数据长度和长度为4个字节表示数据类型共8个字节的数据包头，将音频包按照固定大小通过分包机制进行分包，最后将分包后的音频数据通过定时算法按照固定的时间间隔发送rtp格式的语音包到服务端200。
将音频包进行分包并按照固定的时间间隔传输，可以实现实时传输，降低传输中的延迟。
由上述采集模块和数据处理单元之间相互配合实现了语音传输至客户端的功能。
服务端200接收到数据处理单元120处理后的数据根据4个字节长度表示数据包长度、4个字节长度表示数据包类型以及12个字节长度的rtp头来检验语音包是否符合规范，符合则进行转发，否则断开连接。
同时，服务端200将检验合格的语音包转发至WEB端300，WEB端300通过数据接收处理单元130实时接收和处理服务端所300发送的rtp格式的语音包；本方案可以增设多个WEB接收端并与服务端200连接，进行音频数据的接收，可以实现一端对讲，多端收听的功能。
数据接收处理单元130用于接收服务端200的语音包并进行处理后，通过 WEB端播放出来，其是由接收模块131，解码解压缩模块132，数据拼接模块133和播放模块134组成。其中，接收模块131，解码解压缩模块132，数据拼接模块133和播放模块134依次进行数据连接。
进一步地，接收模块131用于接收服务端200所发送的rtp语音包，将所接收到的语音包传输给解码解压缩模块132。
解码解压缩模块132用于对服务端200传输的rtp语音包进行解码解压缩。
去掉8个字节长度的数据包头和12字节长度的rtp头,将rtp语音包还原为opus格式的语音包。
将去掉包头和rtp头的opus语音包通过opus解码算法进行解压缩转换为采样率为8000，采样位数为16位整型的固定大小的pcm语音包并传输给数据拼接模块。
数据拼接模块133用于将解码解压缩后的pcm语音包进行排序合并。
数据拼接模块133接收到解码解压缩模块132处理后的pcm语音包后，将pcm语音包根据语音包序号按照顺序依次进行合并。
播放模块134用于对排序合并后的语音包通过WEB端的播放器135进行播放，直至对讲结束。
由上述数据接收处理单元的工作实现了WEB端实时对讲系统音频数据播放的功能。
下面举例说明其在具体应用时的工作过程：
参见图3，首先，将WEB端100与服务端200建立连接，使用getUserMedia和AudioContext方法获取访问声音传感器111的权限，然后调用声音传感器 111采用单通道的模式进行音频流的采集。
WEB端通过数据处理单元120将原始音频数据合并与压缩实现将其转换为指定采样率以及采样位数的pcm音频数据，通过分包机制实现将pcm音频数据划分为固定大小的音频包，通过opus编码压缩实现将pcm音频数据转换为opus 格式的音频包，通过rtp实现将opus压缩后的音频包封装排序，通过定时操作实现固定时间间隔将rtp语音包发送到目标服务端。
服务端200接收到数据处理单元120处理后的数据根据4个字节长度表示数据包长度、4个字节长度表示数据包类型以及12个字节长度的rtp头来检验语音包是否符合规范，符合则进行转发，否则断开连接。
参见图4，当服务端200将rtp语音包传输至WEB端进行接收时，将rtp语音包去掉包头和rtp头，还原为opus格式的语音包，然后用过opus解码算法转换为指定采样率以及采样数的pcm语音包，通过数据拼接将转换后的pcm语音包进行排序合并，通过WEB端的播放器135进行播放。
由上述方案构成的一种WEB端实时对讲系统实现了一端对讲，多端收听的功能，操作简单，方便快捷，无视对讲距离，对讲语音保存，解决了传统对讲中距离限制，数据无法保存的问题。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种WEB端实时对讲系统；其特征在于，包括WEB端，服务端采集单元，数据处理单元和数据接收处理单元；所述WEB端与服务端建立socket连接并进行数据交互，通过建立连接将WEB端相应的连接地址缓存至服务端内；所述采集单元，数据处理单元和数据接收处理单元均运行在WEB端上；所述数据处理单元包括合并压缩模块，分包解码压缩模块；所述合并压缩模块与分包解码压缩模块进行数据连接；所述合并压缩模块将采集单元采集到的原始音频数据通过偏移量计算，将原始二维的pcm音频数据转换为一体来进行合并压缩；
所述分包解码压缩模块通过解码压缩将合并压缩后的音频数据转换成指定采样率，采样数的音频数据；通过分包算法将转换后的音频数据划分成pcm音频包；接着通过opus编码算法将划分后的pcm音频包进一步转换成opus格式的音频包；opus格式的音频包通过rtp进行封装排序；将音频包按照固定大小通过分包机制进行分包，最后将分包后的音频数据通过定时算法按照固定的时间间隔发送rtp格式的语音包到服务端。
2.根据权利要求1所述的一种WEB端实时对讲系统，其特征在于，所述采集单元是由声音传感器组成；所述声音传感器与WEB端进行配合使用，通过声音传感器将音频数据采集至WEB端中。
3.根据权利要求1所述的一种WEB端实时对讲系统，其特征在于，所述数据接收处理单元是由接收模块，解码解压缩模块，数据拼接模块和播放模块组成；所述接收模块，解码解压缩模块，数据拼接模块和播放模块依次进行数据连接；
所述解码解压缩模块是首先去掉数据包头和rtp头，将rtp语音包还原为opus格式的语音包,然后通过opus解码算法将opus格式的数据包解压缩为pcm原始数据包；
所述数据拼接模块接收到解码解压缩模块处理后的pcm语音包后，将pcm语音包根据语音包序号按照顺序依次进行合并；
所述播放模块通过播放器将排序合并后的语音包通过WEB端进行播放。
4.一种WEB端实时对讲方法；其特征在于；所述对讲方法包括：
(1)将WEB端与服务端建立数据连接并获取声音传感器的使用权限；调用声音传感器采用单通道的模式进行音频流的采集；
(2)WEB端通过数据处理单元将原始音频数据合并与压缩实现将其转换为指定采样率以及采样位数的pcm音频数据，通过分包机制实现将pcm音频数据划分为固定大小的音频包，通过opus编码压缩实现将pcm音频数据转换为opus格式的音频包，通过rtp实现将opus压缩后的音频包封装排序，通过定时操作实现固定时间间隔将rtp语音包发送到目标服务端；
(3)服务端接收到数据处理单元处理后的数据来检验语音包是否符合规范，符合则进行转发，否则断开连接；
(4)当服务端将rtp语音包传输至WEB端进行接收时，WEB端的数据接收处理单元对rtp语音包进行接受处理；数据接收处理单元将接收到的rtp语音包去掉包头和rtp头，还原为opus格式的语音包，用opus解码算法转换为指定采样率以及采样数的pcm语音包，通过数据拼接将转换后的pcm语音包进行排序合并，通过WEB端的播放器进行播放。
CN202011611625.3A 2020-12-30 2020-12-30 一种web端实时对讲系统及对讲方法 Active CN112637703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011611625.3A CN112637703B (zh) 2020-12-30 2020-12-30 一种web端实时对讲系统及对讲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011611625.3A CN112637703B (zh) 2020-12-30 2020-12-30 一种web端实时对讲系统及对讲方法

Publications (2)

Publication Number Publication Date
CN112637703A CN112637703A (zh) 2021-04-09
CN112637703B true CN112637703B (zh) 2023-04-28

Family

ID=75286782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011611625.3A Active CN112637703B (zh) 2020-12-30 2020-12-30 一种web端实时对讲系统及对讲方法

Country Status (1)

Country Link
CN (1) CN112637703B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173213A (zh) * 2021-12-10 2022-03-11 善理通益信息科技(深圳)有限公司 基于websocket的语音质量优化方法及对讲终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120041A (ja) * 2009-12-04 2011-06-16 Aiphone Co Ltd インターホンシステム
CN102118657A (zh) * 2011-03-15 2011-07-06 韩飞 全数字化的楼宇对讲系统
CN110943910A (zh) * 2019-12-10 2020-03-31 杭州当虹科技股份有限公司 一种基于WebSocket的对讲机实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120041A (ja) * 2009-12-04 2011-06-16 Aiphone Co Ltd インターホンシステム
CN102118657A (zh) * 2011-03-15 2011-07-06 韩飞 全数字化的楼宇对讲系统
CN110943910A (zh) * 2019-12-10 2020-03-31 杭州当虹科技股份有限公司 一种基于WebSocket的对讲机实现方法

Also Published As

Publication number Publication date
CN112637703A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN101366261B (zh) 用于当遭遇静默抑制时增强稳健标头压缩性能的方法和设备
EP1173948B1 (en) Apparatus for transmitting/receiving bitstream in network and method thereof
CN100393080C (zh) 一种用于因特网/网络电话的通信终端,系统和方法
CN100407708C (zh) 一种即时通讯中音／视频分享的方法和系统
CN103841002B (zh) 语音传输方法、终端、语音服务器及语音传输系统
CN100568966C (zh) 一种音/视频数据的网络传输方法
CN103248964B (zh) 基于rtp/rtcp的车载视频传输系统
CN100479517C (zh) 在发送音视频文件中叠加语音的方法
CN101453463B (zh) 一种移动多媒体广播系统的数据包封装、发送和接收方法
US20060262851A1 (en) Method and system for efficient transmission of communication traffic
CN100359832C (zh) 用于数字数据传送的方法与设备
CN112637703B (zh) 一种web端实时对讲系统及对讲方法
CN101488870B (zh) 语音混音的实现方法、系统及设备
CN201700004U (zh) 基于gprs的车载语音数据实时传输装置
CN100579080C (zh) 一种即时通讯中信息回放的方法和系统
CN103050123B (zh) 一种传输语音信息的方法和系统
CN101867764A (zh) 移动多方视频通话系统
CN101453286B (zh) 一种多媒体广播系统中数字音频复用传输的方法
CN101217503B (zh) 即时通讯音视频的能力交换方法、系统和即时通讯系统
CN101442575A (zh) 一种网络语音系统的实现方法
JP2003023462A (ja) 多地点同報通信網用再送方法
CN101364950B (zh) 传输时分复用报文的方法和装置
JP2000349824A (ja) 音声データ送受信システム
CN116170423A (zh) 基于nodejs中间件对讲录音编解码系统及方法
CN114726615B (zh) 一种基于音频编码变换的VoIP隐蔽通道构建方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant