CN103905444B - 一种综合业务通信指挥系统 - Google Patents
一种综合业务通信指挥系统 Download PDFInfo
- Publication number
- CN103905444B CN103905444B CN201410126770.0A CN201410126770A CN103905444B CN 103905444 B CN103905444 B CN 103905444B CN 201410126770 A CN201410126770 A CN 201410126770A CN 103905444 B CN103905444 B CN 103905444B
- Authority
- CN
- China
- Prior art keywords
- video
- unit
- audio
- processing unit
- command system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种综合业务通信指挥系统，其特征在于：包括音视频通信终端、综合业务服务器和话机，所述音视频通信终端分别与综合业务服务器和话机相连接。本发明一种综合业务通信指挥系统能通过动态调整缓存深度，克服现有技术数据传输、带宽等的限制，大大提高语音的流畅度，具有业务综合一体化、宽带网络化、适用领域广泛化、部署和使用简易化优点。本发明可广泛用于与通信系统中。
Description
技术领域
本发明涉及通信领域，尤其涉及一种综合业务通信指挥系统。
背景技术
目前，应用于通信方面的多业务融合系统已经成为有大规模通信活动需求业务的趋势，但是由于现有技术的限制，比如受多媒体通信控制和数据传送技术、带宽的有效使用和服务保证技术、实时媒体流技术、IP网络安全与平台技术等的限制，这种一体化的通信解决方案存在一些很严重的弊端。
例如，在通信控制和数据传送方面，现有的数据传送主要利用了分布式网络的多播功能，不少控制功能由端主机和网络共同实现；在带宽方面，虽然分组交换网的复用机制可有效利用带宽，但也可能导致报文抖动甚至丢失，IP网络大部分还未实现较好的服务质量保证，传统应用中通常由较高层TCP/IP协议来保证可靠传输，TCP用重传机制实现可靠传输，其内部流控机制根据确认包动态调整发送率，对于实时会议，重传导致的延迟是无法忍受的，因此传输层协议使用不具有可靠传输和内部流控制的UDP，而端到端同步和流控的任务则转嫁到视频通信系统上。
另外，由于连入IP网络，为用户提供各种信息服务，资源共享和开放是IP网络的特点，而IP网络松散的安全机制，对网络信息系统安全有较高要求的用户而言，其内部许多数据和文件是严禁未经授权访问的。以及，在广域网情况下，网络设备繁多，网络环境复杂，不同的路径具有不同的通信延迟和抖动。如果抖动处理不好会导致语音不流畅。应对抖动的一般处理方法是在接收端进行语音缓存。而固定语音缓存大小并不能很好的适应网络，造成即使网路很好也会有较大的延迟，或网络抖动很大时语音不流畅。
发明内容
为了解决上述技术问题，本发明的目的是提供一种高性能，语音流畅的一种综合业务通信指挥系统。
本发明所采用的技术方案是：
一种综合业务通信指挥系统，包括音视频通信终端、综合业务服务器和话机，所述音视频通信终端分别与综合业务服务器和话机相连接，所述音视频通信终端包括接入网关单元，所述接入网关单元与综合业务服务器连接，所述接入网关单元分别连接有呼叫协议处理单元和RTP收发单元，所述呼叫协议处理单元连接有呼叫管理单元，所述呼叫管理单元分别连接有媒体管理单元和业务消息处理单元，所述业务消息处理单元连接有UI显示单元，所述媒体管理单元连接有音视频处理单元，所述RTP收发单元分别与媒体管理单元、音视频处理单元和呼叫管理单元相连接，所述音视频处理单元的第一输入端连接有摄像头，所述音视频处理单元的第二输入端连接有话筒，所述音视频处理单元的第一输出端连接有扬声器，所述音视频处理单元的第二输出端与UI显示单元连接。
进一步作为优选的实施方式，所述呼叫协议处理单元还依次连接有消息处理单元和号码数据库管理单元，所述号码数据库管理单元与UI显示单元连接。
进一步作为优选的实施方式，所述呼叫管理单元包括：
状态管理单元，用于多呼叫的状态管理，包括呼叫排队、呼叫保持与激活和会议的相关发言管理；
信息存储单元，用于保存每个呼叫的应用层的相关信息。
进一步作为优选的实施方式，所述媒体管理单元针对不同的媒体会话设有视频发送会话单元、视频接收会话单元、音频发送会话单元和音频接收会话单元。
进一步作为优选的实施方式，所述音视频处理单元包括音视频编码单元、音视频解码单元和音视频采集单元，所述摄像头与音视频采集单元的第一输入端连接，所述话筒与音视频采集单元的第二输入端连接，所述音视频采集单元的输出端通过音视频编码单元与RTP收发单元的输入端连接，所述媒体管理单元的输出端与音视频解码单元的输入端连接，所述音视频解码单元的第一输出端与扬声器的输入端连接，所述音视频解码单元的第二输出端与UI显示单元的输入端连接。
进一步作为优选的实施方式，所述UI显示单元中的视频显示设有点对点视频通信模式和多方视频通信模式。
进一步作为优选的实施方式，所述RTP收发单元的动态缓存深度调整技术的步骤包括：
S1、针对不同的流对象分别进行统计，统计最近10秒之内接收的语音包；
S2、计算出不同流对象相应的缓存深度，并设置到该流对象中。
进一步作为优选的实施方式，所述话机为带PTT按键的USB电话。
本发明的有益效果是：
本发明一种综合业务通信指挥系统，能通过动态调整缓存深度，克服现有技术数据传输、带宽等的限制，大大提高语音的流畅度，具有业务综合一体化、宽带网络化、适用领域广泛化、部署和使用简易化优点。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明一种综合业务通信指挥系统的系统方框图；
图2是本发明一种综合业务通信指挥系统的原理方框图；
图3是本发明一种综合业务通信指挥系统的业务消息处理流程图；
图4是本发明一种综合业务通信指挥系统的音视频处理工作流程图；
图5是本发明一种综合业务通信指挥系统的点对点视频通信示意图；
图6是本发明一种综合业务通信指挥系统的多方视频通信示意图。
具体实施方式
参考图1-图2，本发明一种综合业务通信指挥系统，包括音视频通信终端、综合业务服务器和话机，所述音视频通信终端分别与综合业务服务器和话机相连接，所述音视频通信终端包括接入网关单元，所述接入网关单元与综合业务服务器连接，所述接入网关单元分别连接有呼叫协议处理单元和RTP收发单元，所述呼叫协议处理单元连接有呼叫管理单元，所述呼叫管理单元分别连接有媒体管理单元和业务消息处理单元，所述业务消息处理单元连接有UI显示单元，所述媒体管理单元连接有音视频处理单元，所述RTP收发单元分别与媒体管理单元、音视频处理单元和呼叫管理单元相连接，所述音视频处理单元的第一输入端连接有摄像头，所述音视频处理单元的第二输入端连接有话筒，所述音视频处理单元的第一输出端连接有扬声器，所述音视频处理单元的第二输出端与UI显示单元连接。
其中，接入网关单元，用于实现音视频通信终端内部各模块与综合业务服务器之间的交互通信，不仅可以通过其进行IP电话通信，也可以接入传统的PSTN电话线进行传统的电话通信；呼叫协议处理单元，用于以SIPX协议栈为底层的SIP协议相关呼叫流程处理，包括音视频呼叫、视频监控和数据业务呼叫等；业务消息处理单元，采用MFC框架的消息机制，负责消息分发控制、消息推送等；媒体管理单元，用于创建接收RTP会话及创建接收线程；RTP收发单元，用于RTP的接收解析和打包发送、RTP音频流的接收处理、RTP视频流的接收处理；音视频处理单元，用于音频流的播放、会议中的音频混音、视频流的播放显示、音频接收处理。
进一步作为优选的实施方式，所述呼叫协议处理单元还依次连接有消息处理单元和号码数据库管理单元，所述号码数据库管理单元与UI显示单元连接。
进一步作为优选的实施方式，所述呼叫管理单元包括：
状态管理单元，用于多呼叫的状态管理，包括呼叫排队、呼叫保持与激活和会议的相关发言管理；
信息存储单元，用于保存每个呼叫的应用层的相关信息。包括呼叫状态、对端的逻辑编号，对端的音视频的信息、对端的音视频的接收地址、发言状态等。
进一步作为优选的实施方式，所述媒体管理单元针对不同的媒体会话设有视频发送会话单元、视频接收会话单元、音频发送会话单元和音频接收会话单元。
进一步作为优选的实施方式，所述音视频处理单元包括音视频编码单元、音视频解码单元和音视频采集单元，所述摄像头与音视频采集单元的第一输入端连接，所述话筒与音视频采集单元的第二输入端连接，所述音视频采集单元的输出端通过音视频编码单元与RTP收发单元的输入端连接，所述媒体管理单元的输出端与音视频解码单元的输入端连接，所述音视频解码单元的第一输出端与扬声器的输入端连接，所述音视频解码单元的第二输出端与UI显示单元的输入端连接。
进一步作为优选的实施方式，所述UI显示单元中的视频显示设有点对点视频通信模式和多方视频通信模式。
进一步作为优选的实施方式，所述RTP收发单元的动态缓存深度调整技术的步骤包括：
S1、针对不同的流对象分别进行统计，统计最近10秒之内接收的语音包；
S2、计算出不同流对象相应的缓存深度，并设置到该流对象中。
其中，计算缓存深度的方法是：
当前后包间隔大于X的次数/10秒总包数≥5％成立时，用该X计算缓存深度，缓存深度＝X/一个语音包的时长+1；
其中，X为根据具体情况设置的阈值。
语音的流畅度除了必须安排好相应的缓存深度外，本地的接收、解码、处理和播放也必须协调好。这几个环节之间是一个级联的关系，数据传递关系是：接收→解码→处理→播放。
接收的速度必须跟上网络上数据传输的速度，而播放则必须符合语音播放实际速度，从而接收和解码必定是异步的，因此解码和处理就必须在这两者之间协调好。本发明采用多线程技术，在线程之间增加通知和同步机制，有效避免线程的空转和失步。采用多线程技术一方面能够很好的解决好异步问题，同时能够充分利用目前多核CPU的优势。
进一步作为优选的实施方式，所述话机为带PTT按键的USB电话。
所述内、外部业务请求信号由RTP收发单元进行接收解析和打包发送后，通过呼叫协议处理单元进行音视频呼叫、视频监控和数据业务呼叫等处理，按照不同的业务请求进入呼叫管理单元和/或业务消息处理单元和/或媒体管理单元和音视频处理单元，最后通过UI显示单元形成相应动作显示，如登录/注销、音视频呼叫/接听、点对点/多方通信等。
进一步，所述媒体管理单元主要用于在呼叫过程中。媒体的具体细节由媒体会话类来屏蔽，所述媒体会话类主要用于创建接收RTP会话，并创建接收线程，媒体的译码、发送等都不在这里关注。在本实施例中，任何一个媒体，不同的方向分别创建不同的媒体会话，如对于一个双向的音视频通话，将创建四个媒体会话对象：音频发送会话、音频接收会话、视频发送会话、视频接收会话。接收媒体会话负责创建RTP会话，设置相关参数，然后启动线程接收媒体数据即可，后续媒体处理交由RTP单元、音视频处理单元完成。发送媒体会话并不真正的发送媒体流，仅是通知本地音视频编码单元媒体的发送地址，对端的媒体接收地址信息都是保存在呼叫管理单元相关结构中，因此发送媒体会话对象只需设置呼叫管理的相关数据即可。
进一步，所述呼叫管理单元采用面向结构的编程方式，定义一个数据结构，用以保存每个呼叫的应用相关消息，通过这个数据结构提供的信息，以及通过访问系统全局的呼叫协议处理对象的相关数据，该单元可以提供上层应用对呼叫所需要的所有功能，从而衔接了呼叫协议处理和应用。与呼叫协议处理单元不同的是，所述呼叫管理单元主要关注呼叫流程信息，最终由音视频处理单元完成对这些信息的实际媒体控制动作。
参考图3，所述消息处理单元采用MFC框架的事件消息机制来完成，由于不同业务的上层处理以及接口呈现会由不同的窗口完成，因此本单元还包括一个消息分发的控制，即消息分发，然后由各个业务窗口来进行实际的消息处理。
参考图4，所述音视频处理单元与RTP单元相连接，包括音频流的播放、会议中的音频混音、视频流的播放显示、音频接收处理及视频显示管理。在本实施例中，视频采集由视频板来完成，视频板采集编码后发送数据给工控机板卡，当接收到视频板发来的视频，在本地显示出来，同时由RTP转发出去给呼叫对端。
参考图5-图6，所述在点对点视频通信时：
a、通话时，位置2始终显示本地视频；
b、通话时，对方先发送共享视频，则对方主视频显示在位置1，对方共享视频显示在位置0；若本地先发送共享视频，则本地共享视频显示在位置0，对方显示在位置1；
c、通话时，如果双方都没有发送共享视频，而本地存在第二路视频流，则第二路视频显示在位置1，对方主视频显示在位置0。
所述多方视频通信最多支持16方会话，视频显示区域划分为11个显示区域，通话时根据当前的状态将不同的视频流显示在不同的位置上：
a、左下角位置始终显示本地视频，不再给该区域配置位置索引；
b、多方通话时，如主席用户有发送共享视频，则主席用户共享视频显示在位置0，主席主视频显示在位置1；如主席用户没有发送共享视频，则主席用户主视频显示在位置0，此时若本地有第二路视频，则显示在位置1；
c、普通用户视频根据加入会议显示先后顺序依次显示在位置2～位置9，如果普通用户超过8方，则在位置2～位置9循环显示，以此方式确保每个普通用户视频都能够显示。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (7)
1.一种综合业务通信指挥系统，其特征在于：包括音视频通信终端、综合业务服务器和话机，所述音视频通信终端分别与综合业务服务器和话机相连接，所述音视频通信终端包括接入网关单元，所述接入网关单元与综合业务服务器连接，所述接入网关单元分别连接有呼叫协议处理单元和RTP收发单元，所述呼叫协议处理单元连接有呼叫管理单元，所述呼叫管理单元分别连接有媒体管理单元和业务消息处理单元，所述业务消息处理单元连接有UI显示单元，所述媒体管理单元连接有音视频处理单元，所述RTP收发单元分别与媒体管理单元、音视频处理单元和呼叫管理单元相连接，所述音视频处理单元的第一输入端连接有摄像头，所述音视频处理单元的第二输入端连接有话筒，所述音视频处理单元的第一输出端连接有扬声器，所述音视频处理单元的第二输出端与UI显示单元连接；
所述RTP收发单元的动态缓存深度调整技术的步骤包括：
S1、针对不同的流对象分别进行统计，统计最近10秒之内接收的语音包；
S2、计算出不同流对象相应的缓存深度，并设置到该流对象中；
其中，计算缓存深度的方法是：
当前后包间隔大于X的次数/10秒总包数≥5％成立时，用该X计算缓存深度，缓存深度＝X/一个语音包的时长+1；
其中，X为根据具体情况设置的阈值。
2.根据权利要求1所述的一种综合业务通信指挥系统，其特征在于：所述呼叫协议处理单元还依次连接有消息处理单元和号码数据库管理单元，所述号码数据库管理单元与UI显示单元连接。
3.根据权利要求1所述的一种综合业务通信指挥系统，其特征在于：所述呼叫管理单元包括：
状态管理单元，用于多呼叫的状态管理，包括呼叫排队、呼叫保持与激活和会议的相关发言管理；
信息存储单元，用于保存每个呼叫的应用层的相关信息。
4.根据权利要求1所述的一种综合业务通信指挥系统，其特征在于：所述媒体管理单元针对不同的媒体会话设有视频发送会话单元、视频接收会话单元、音频发送会话单元和音频接收会话单元。
5.根据权利要求1所述的一种综合业务通信指挥系统，其特征在于：所述音视频处理单元包括音视频编码单元、音视频解码单元和音视频采集单元，所述摄像头与音视频采集单元的第一输入端连接，所述话筒与音视频采集单元的第二输入端连接，所述音视频采集单元的输出端通过音视频编码单元与RTP收发单元的输入端连接，所述媒体管理单元的输出端与音视频解码单元的输入端连接，所述音视频解码单元的第一输出端与扬声器的输入端连接，所述音视频解码单元的第二输出端与UI显示单元的输入端连接。
6.根据权利要求1所述的一种综合业务通信指挥系统，其特征在于：所述UI显示单元中的视频显示设有点对点视频通信模式和多方视频通信模式。
7.根据权利要求1所述的一种综合业务通信指挥系统，其特征在于：所述话机为带PTT按键的USB电话。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410126770.0A CN103905444B (zh) | 2014-03-31 | 2014-03-31 | 一种综合业务通信指挥系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410126770.0A CN103905444B (zh) | 2014-03-31 | 2014-03-31 | 一种综合业务通信指挥系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103905444A CN103905444A (zh) | 2014-07-02 |
| CN103905444B true CN103905444B (zh) | 2018-02-23 |
Family
ID=50996598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410126770.0A Active CN103905444B (zh) | 2014-03-31 | 2014-03-31 | 一种综合业务通信指挥系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103905444B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101018153A (zh) * | 2007-02-26 | 2007-08-15 | 华为技术有限公司 | 消除网络设备中时钟偏差造成的误差积累的方法及其装置 |
| CN101022326A (zh) * | 2007-02-01 | 2007-08-22 | 华为技术有限公司 | 延时控制的方法及其装置 |
| CN101702749A (zh) * | 2009-11-03 | 2010-05-05 | 中兴通讯股份有限公司 | 双音多频事件帧处理方法、系统和媒体网关 |
| CN102438119A (zh) * | 2010-09-29 | 2012-05-02 | 深圳Tcl教育科技有限责任公司 | 一种数字电视的音视频通讯系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100359887C (zh) * | 2003-05-09 | 2008-01-02 | 华为技术有限公司 | 用rtp数据包的时戳进行排序以消除其抖动延时的方法 |
| CN100525281C (zh) * | 2003-12-09 | 2009-08-05 | 华为技术有限公司 | 语音传输过程中实现动态调整抖动缓存的方法 |
| CN102761468B (zh) * | 2011-04-26 | 2015-04-08 | 中兴通讯股份有限公司 | 一种自适应调整语音抖动缓存区的方法及系统 |
-
2014
- 2014-03-31 CN CN201410126770.0A patent/CN103905444B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101022326A (zh) * | 2007-02-01 | 2007-08-22 | 华为技术有限公司 | 延时控制的方法及其装置 |
| CN101018153A (zh) * | 2007-02-26 | 2007-08-15 | 华为技术有限公司 | 消除网络设备中时钟偏差造成的误差积累的方法及其装置 |
| CN101702749A (zh) * | 2009-11-03 | 2010-05-05 | 中兴通讯股份有限公司 | 双音多频事件帧处理方法、系统和媒体网关 |
| CN102438119A (zh) * | 2010-09-29 | 2012-05-02 | 深圳Tcl教育科技有限责任公司 | 一种数字电视的音视频通讯系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于SIP的IP视频终端的实现;吴恩平;《中国优秀硕士论文全文数据库信息科技辑》;20040315;正文第7页第2章-第72页第3章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103905444A (zh) | 2014-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7773581B2 (en) | Method and apparatus for conferencing with bandwidth control | |
| CA2537944C (en) | System and method for performing distributed video conferencing | |
| US20240073263A1 (en) | Video and audio data processing method and apparatus, computer-readable storage medium, and electronic apparatus | |
| US20180270288A1 (en) | Voice encoding and sending method and apparatus | |
| US20050237931A1 (en) | Method and apparatus for conferencing with stream selectivity | |
| US20080165708A1 (en) | Multimedia conferencing method and signal | |
| US20050060368A1 (en) | Method and system for providing a private conversation channel in a video conference system | |
| US8537743B2 (en) | Priority-based multimedia stream transmissions | |
| WO2011088656A1 (zh) | 一种移动终端实现可视电话三方通话的方法及系统 | |
| CN108174239A (zh) | 一种视频传输方法及设备 | |
| US8649267B2 (en) | Method, system and use thereof for controlling real time contiguous data in a packet switched data stream, real time contiguous data service provided using said method | |
| CN102387081A (zh) | 一种NAT场景下通信业务QoS保障方法、装置及系统 | |
| CN106101603A (zh) | 一种扁平化视频通信方法 | |
| CN103200173A (zh) | 基于网络视频会议系统和电话会议系统的融合方法 | |
| CN103634303B (zh) | 一种实现VoIP通话的方法及系统 | |
| CN105122791A (zh) | 用于优化大规模视频会议的方法和设备 | |
| CN101931632A (zh) | 一种利用实时传输协议通道进行服务质量保证的方法 | |
| US20100321468A1 (en) | Method Of Managing The Flow Of Time-Sensitive Data Over Packet Networks | |
| CN114979080B (zh) | 一种融合局域网和广域网的sip对讲方法、系统、存储装置 | |
| CN109889405B (zh) | 一种网络电话的通信方法、相关装置及系统 | |
| CN103905444B (zh) | 一种综合业务通信指挥系统 | |
| CN103354557A (zh) | 媒体控制服务器级联系统及控制多媒体码流的方法和装置 | |
| US6867797B1 (en) | Animating images during a call | |
| GB2556472A (en) | Data processing | |
| CN105827575B (zh) | 一种传输控制方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000, Guangdong, Shenzhen, Nanshan District Haitian road 13, Shenzhen software industry base, 5 blocks B, building 9 Applicant after: BANGYAN TECHNOLOGY CO., LTD. Applicant after: Unit 91655 of PLA Address before: 518057, Shenzhen Province, Nanshan District hi tech Zone, Guangdong hi tech Zone, No. 9, building 8, East Applicant before: Shenzhen Bangyan Information Technology Co., Ltd. Applicant before: Unit 91655 of PLA |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 518000 2101, No. 100, Zhihe Road, Dakang community, Yuanshan street, Longgang District, Shenzhen, Guangdong Patentee after: BANGYAN TECHNOLOGY Co.,Ltd. Patentee after: 91655 unit of the Chinese people's Liberation Army Address before: 9 / F, block B, building 5, Shenzhen software industry base, No.13, Haitian 1st Road, Nanshan District, Shenzhen, Guangdong 518000 Patentee before: BANGYAN TECHNOLOGY Co.,Ltd. Patentee before: 91655 unit of the Chinese people's Liberation Army |