CN109413360A - 一种基于嵌入式的异地网络会议系统 - Google Patents
一种基于嵌入式的异地网络会议系统 Download PDFInfo
- Publication number
- CN109413360A CN109413360A CN201710706227.1A CN201710706227A CN109413360A CN 109413360 A CN109413360 A CN 109413360A CN 201710706227 A CN201710706227 A CN 201710706227A CN 109413360 A CN109413360 A CN 109413360A
- Authority
- CN
- China
- Prior art keywords
- embedded
- usb
- server
- equipment
- meeting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
Abstract
本发明公开了一种嵌入式的异地网络会议系统,该系统包括:预装Linux系统的嵌入式主控板设备、外接音频播放设备、高清液晶触摸显示屏、USB摄像头、USB话筒、开启UPNP的路由设备、互联网和会议注册PC服务器,所述外接音频播放设备、高清液晶触摸屏、USB摄像头、USB话筒连接到带有显示屏的预装Linux系统的嵌入式主控板设备上,嵌入式主板设备连接到开启UPNP的路由设备上,通过互联网连接到会议注册PC服务器。该系统采用C/S的架构,客户端采用统一的嵌入式设备,服务器只需要一般性能的PC设备。稳定性强,成本低。
Description
技术领域
本发明属于音视频通讯技术领域,特别是一种基于嵌入式系统的异地网络会议系统。
背景技术
当前的常规视频会议主要是处于多地的不同参会人员采用PC机作为客户端,将音视频信息和信令控制指令交给服务器进行转发。随着视频会议模式的不断发展,在多媒体传输领域出现了基于数据流的RTP/RTCP协议,在会议模式下,则出现了开源轻量的SIP 协议和便于运营商管理的H323协议。从会议基本架构上来说,主要分为了集中式和分布式两种类型。
集中式的网络架构具有紧耦合、服务器高负载的特点。客户端将所有的多媒体数据均交由服务器进行转发,虽然集中式的网络会议具有易管理,监控可靠等优点,但对于服务器的要求过高,不能同时管理大量的会议。
分布式的网络架构则具有松耦合、控制效率低下的特点。在分布式架构中,服务器只是负责参会者之间的连接桥梁,客户端连接成功后,将控制权完全交给客户端,多媒体数据则由客户端之间直接收发。尽管分布式网络会议架构系统整体稳定性高,但不易于管理,对于单个会议来说,信令在客户端中的直接通信稳定性较差。
同时,作为视频会议的客户端,目前仍以PC机为准,还包括视频摄像头、显示拼接器等等外设设备,布线复杂,成本较高。而手机、平板等便携式设备则由于屏幕尺寸限制或者造价成本过高,型号种类繁多。
发明内容
本发明的目的在于提供一种基于嵌入式系统的异地网络会议系统,可以有效地解决上述几个一般视频会议系统中存在的问题。
实现本发明目的的技术解决方案为:一种嵌入式系统下的异地网络会议系统,该系统的组成部包括:预装Linux系统的嵌入式主控板设备、外接音频播放设备、高清液晶触摸显示屏、USB摄像头、USB话筒、开启UPNP的路由设备、互联网和会议注册PC 服务器,具体连接:外接音频播放设备、高清液晶触摸屏、USB摄像头、USB话筒连接到带有显示屏的预装Linux系统的嵌入式主控板设备上,嵌入式主板设备连接到开启 UPNP的路由设备上,通过互联网,连接到会议注册PC服务器。
预装Linux系统的嵌入式主控板设备1主要采用以Mstar 6A918处理器为核心的集成嵌入式设备,预装轻量级的嵌入式Linux系统;所诉外接音频播放设备2采用高保真外放音响或者便携式耳机;所述高清液晶触摸显示屏3可采用标准电阻屏或电容屏。
USB摄像头4需要配置支持UVC协议的USB摄像头,主要负责图像采集;所述 USB话筒5采用ALSA协议下的适配USB接口的免驱话筒,主要负责音频采集。
外接音频播放设备2、高清液晶触摸显示屏3、USB摄像头4、USB话筒5通过预装Linux系统的嵌入式主控板设备1提供的USB以及音频接口连接到Linux系统的嵌入式主板设备1上,共同构成一个完整的嵌入式客户端系统,共同完成客户端的事务。
开启UPNP的路由设备6代表客户端至互联网之间的层层路由设备,为了系统进行NAT穿越技术必须开启UPNP服务支持。
会议注册PC服务器8作为整个系统的唯一服务器,与每个参会者建立直接的TCP连接。负责每个会议的管理,记录每个参会者的网络地址,以及每位参会者之间的信令控制命令转发。
本发明与现有技术相比,其显著优点为:1)本发明的系统采用C/S的架构,客户端采用统一的嵌入式设备,服务器只需要一般性能的PC设备。稳定性强,成本低,用户的使用体验一致;2)本发明客户端采用嵌入式设备,省去了体积较大的PC机客户端,并且在嵌入式设备主板上扩展了触摸显示屏、USB摄像头及麦克风、内置硬编码芯片负责本客户端的单路编码事务、通过软件方式实现的多路音视频解码事务。将音视频采集和播放、数据编解码、网络数据包收发、信令控制命令处理、人员白板交流、基本会议操作等全部功能集中在客户端上,减轻网络和服务器负担,系统整体稳定性较高;3) 本发明的系统成本较低,由于采用开源的Linux系统嵌入式设备,从硬件和软件两个方面控制了成本,省去大量外设,同时通过软件的手段省去了混音器、视频拼接器等;4) 本系统支持异地网络通信,通过互联网直接参加会议,客户端之间的多媒体数据进行直接P2P打洞穿越,独立分布式地传输,可以实现异地用户的参会。5)本发明中的所有客户端均通过TCP协议连接到注册PC服务器上,所有信令消息均由服务器进行转发,会议管理员发送给每个参会者的控制命令也由服务器转发,消息则由客户端自行解析处理。因此,本系统具有稳定性强、控制权限分配合理的优点。
附图说明
图1为本发明视频会议组织结构图。
图2为本发明音视频数据传输流程图。
图3为本发明整体架构运行流程图。
图中编号所代表的含义为:1为Linux系统的嵌入式主板设备,2为外接音频播放设备,3为高清液晶触摸显示屏,4为USB摄像头,5为USB话筒,6为开启UPNP的路由设备,7为互联网,8为会议注册PC服务器。
具体实施方式
本发明的一种嵌入式系统下的异地网络会议系统,采用基于嵌入式Linux和ARM处理器的客户端以及负责信令控制的注册PC服务器,具有集中式和分布式混合架构的特点。同时,本系统通过P2P穿越技术,将多媒体数据在各个客户端直接进行广播,减轻了服务器压力。具有成本低廉,管理灵活、控制权分配合理等特征,因此具有十分广阔的应用前景。
本发明的一种嵌入式的异地网络会议系统,包括预装Linux系统的嵌入式主控板设备1、外接音频播放设备2、高清液晶触摸显示屏3、USB摄像头4、USB话筒5、开启 UPNP的路由设备6、互联网7和会议注册PC服务器8,所述外接音频播放设备2、高清液晶触摸屏3、USB摄像头4、USB话筒5均与带有显示屏的预装Linux系统的嵌入式主控板设备1相连,嵌入式主板设备1与开启UPNP的路由设备6相连,该路由设备通过互联网7与会议注册PC服务器8相连。
所述预装Linux系统的嵌入式主控板设备1采用以Mstar 6A918处理器为核心的集成嵌入式设备,预装轻量级的嵌入式Linux系统;所诉外接音频播放设备2采用高保真外放音响或者便携式耳机;所述高清液晶触摸显示屏3采用标准电阻屏或电容屏。
所述USB摄像头4为支持UVC协议的USB摄像头,用于负责图像采集;所述USB 话筒5采用ALSA协议下的适配USB接口的免驱话筒,用于负责音频采集。
所述外接音频播放设备2、高清液晶触摸显示屏3、USB摄像头4、USB话筒5通过预装Linux系统的嵌入式主控板设备1提供的USB以及音频接口连接到Linux系统的嵌入式主板设备1上,共同构成一个完整的嵌入式客户端系统,共同完成客户端事务。
会议注册PC服务器8为系统服务器,与每个参会者建立直接的TCP连接,用于对每个会议的管理,记录每个参会者的网络地址,并对每位参会者之间的信令控制命令进行转发。
本发明的系统采用C/S的架构,客户端采用统一的嵌入式设备,服务器只需要一般性能的PC设备。稳定性强,成本低,用户的使用体验一致。
下面结合附图1-3对本发明的系统架构进行进一步详细的说明。
本发明设计了一种新型的异地网络会议模型,采用嵌入式设备作为客户端,服务器负责信令消息转发,客户端则通过P2P直接进行多媒体数据传输。
1.视频会议系统整体架构
为了解决当前视频会议系统布线复杂,系统组成过于庞杂的缺点,同时为了削减传统PC机作为客户端带来的用户体验不一致、便携性差、成本颇高等不足。本发明采用嵌入式主板设备为核心的会议客户端和以PC机为核心的服务端,采用C/S系统架构,将音视频数据采集模块,数据显示模块,用户交互模块整合在一个嵌入式客户端中,通过在开启UPNP服务的路由设备进行穿越技术处理,建立客户端之间的直接多媒体数据传输通道。
如图1,是本发明的视频会议组织结构图,嵌入式客户端通过路由器连接到注册PC服务器上,服务器可以同时管理多个会议,每个会议则由一个客户端管理员进行管理,具体包括以下的设备:预装Linux系统的嵌入式主控板设备1、外接音频播放设备2、高清液晶触摸显示屏3、USB摄像头4、USB话筒5、开启UPNP的路由设备6、互联网7 和会议注册PC服务器8,系统各组成部分及对应功能如下:
1)嵌入式主板设备1主要采用以Mstar 6A918处理器为核心的集成嵌入式设备,预装轻量级的嵌入式Linux系统:负责与其他客户端之间的P2P穿越打洞、音视频数据编解码、数据打包发送与接受、会议数据混音混屏处理以及通过TCP/IP 连接注册PC服务器;
2)外接音频播放设备2采用高保真外放音响或者便携式耳机;
3)高清液晶触摸显示屏3可采用标准电阻屏或电容屏;
4)USB摄像头4需要配置支持UVC协议的USB摄像头,主要负责图像采集;
5)USB话筒5采用ALSA协议下的适配USB接口的免驱话筒,主要负责音频采集;
6)开启UPNP的路由设备6代表客户端至互联网之间的层层路由设备,为了系统进行NAT穿越技术必须开启UPNP服务支持;
7)会议注册PC服务器8作为整个系统的唯一服务器,与每个参会者建立直接的TCP连接。负责每个会议的管理,记录每个参会者的网络地址,以及每位参会者之间的信令控制命令转发。
2.信令通信模块:
如图2,是基于TCP/IP协议的集中式会议信令通信模块流程图,阐述了本发明视频会议系统的信令通信方法。
集中式的信令通信模块包括两个方面,一是多个会议的申请与管理由服务器控制,二是单个会议中的信令消息转发由服务器和各个客户端之间的TCP连接负责。
1)会议管理员身份的嵌入式客户端通过TCP连接到服务器上并申请开启一个会议,正常情况下申请成功并且会议由服务器以及管理员客户端共同控制;
2)其他普通成员向服务器注册,获得会议列表,并向某个会议提出申请;
3)会议管理员同意后,服务器将该申请者加入该会议的人员列表中,并且同步至会议的每位成员;
4)新会议成员与其他成员进行P2P打洞穿越,实现音视频数据直接传输
3.P2P穿越打洞模块:
异地通信的方式一般有两种方式,服务器集中接收和转发以及客户端直接建立联系传输数据。本系统中,为了分担服务器负载压力,采用第二种方式。为了实现P2P的直接通信,首先要在支持UPNP服务的路由设备上进行穿越打洞,具体流程如下:
1)客户端通过与服务器的TCP连接获得当前所在会议的成员网络地址;
2)在每个客户端之间进行两两打洞穿越,既在音视频数据传输端口向其他参会者的网络地址发送特定协议的UDP数据包;
3)在接收UDP打洞数据包的客户端上层路由设备上建立P2P直接通信的通道。
4)穿越完成,等待音视频数据的传输。
4.多媒体数据传输模块
本发明的多媒体数据传输模块采用基于RTP/RTCP协议的分布式多媒体数据传输方法。其中RTP可以通过UDP、TCP及ATM等数据传输协议进行传输,主要负责处理一对一、一对多的多媒体数据流传输,提供数据流传输的时间信息以及同步控制。RTCP的主要作用是用来与RTP一起合作,以解决数据传输的浏览控制以及网络拥塞控制问题,它们的配合使用可以在一定程度上提高数据的传输效率,所以这种解决方案能够成为在线实时数据传输的主要方式。
如图3,是本发明的多媒体数据传输方案流程图。嵌入式客户端在加入会议系统后,开始和所有当前客户端进行音视频数据传输,同时开启数据采集线程和数据接收线程,首先,数据采集线程流程方法如下:
1)通过UVC协议摄像头和ALSA音频架构话筒设备采集原始音视频数据;
2)将音视频原始YUV格式视频和PCM音频数据编码;
3)读取当前在线参会者IP地址名单;
4)通过RTP/RTCP协议将多媒体数据分包,打包,通过IP组播发送至每个客户端
5)循环采集并重复以上步骤。
数据接收线程流程方法如下:
1)客户端开启RTP会话数据接收端口;
2)通过RTCP协议报头信息判断数据类型,音视频数据分类处理;
3)视频数据组包后解码为原始数据类型,所有参会者视频画面混屏后在显示屏上显示;
4)音频数据解码为原始数据类型,所有参会者音频数据混音后播放。
5)循环接收数据重复以上步骤
5.系统整体运行步骤
1)将系统各个设备连接好,客户端连接至路由设备上,实现连接到互联网;
2)会议管理员客户端注册至服务器上并申请一个会议;
3)参会者注册至服务器并选择一个会议参加,管理员做出响应;
4)会议人员进行P2P穿越打洞,为多媒体数据直接传输建立通道;
5)客户端读取会议IP列表,开始进行音视频采集和发送,同时接收其他客户端发送的RTP数据包并解析播放
6)客户端退出会议,通知会议管理员,管理员同步会议记录并告知服务器后将该人员IP移除,其他客户端停止与该客户端数据传输,会议结束。
本发明的系统采用C/S的架构,客户端采用统一的嵌入式设备,服务器只需要一般性能的PC设备。稳定性强,成本低,用户的使用体验一致。
Claims (5)
1.一种嵌入式的异地网络会议系统,其特征在于,包括预装Linux系统的嵌入式主控板设备(1)、外接音频播放设备(2)、高清液晶触摸显示屏(3)、USB摄像头(4)、USB话筒(5)、开启UPNP的路由设备(6)、互联网(7)和会议注册PC服务器(8),所述外接音频播放设备(2)、高清液晶触摸屏(3)、USB摄像头(4)、USB话筒(5)均与带有显示屏的预装Linux系统的嵌入式主控板设备(1)相连,嵌入式主板设备(1)与开启UPNP的路由设备(6)相连,该路由设备通过互联网(7)与会议注册PC服务器(8)相连。
2.如权利要求1所述的嵌入式的异地网络会议系统,其特征在于,所述预装Linux系统的嵌入式主控板设备(1)采用以Mstar 6A918处理器为核心的集成嵌入式设备,预装轻量级的嵌入式Linux系统;所诉外接音频播放设备(2)采用高保真外放音响或者便携式耳机;所述高清液晶触摸显示屏(3)采用标准电阻屏或电容屏。
3.如权利要求1所述的嵌入式的异地网络会议系统,其特征在于,所述USB摄像头(4)为支持UVC协议的USB摄像头,用于负责图像采集;所述USB话筒(5)采用ALSA协议下的适配USB接口的免驱话筒,用于负责音频采集。
4.如权利要求1所述的嵌入式的异地网络会议系统,其特征在于,所述外接音频播放设备(2)、高清液晶触摸显示屏(3)、USB摄像头(4)、USB话筒(5)通过预装Linux系统的嵌入式主控板设备(1)提供的USB以及音频接口连接到Linux系统的嵌入式主板设备(1)上,共同构成一个完整的嵌入式客户端系统,共同完成客户端事务。
5.如权利要求1所述的嵌入式的异地网络会议系统,其特征在于,会议注册PC服务器(8)为系统服务器,与每个参会者建立直接的TCP连接,用于对每个会议的管理,记录每个参会者的网络地址,并对每位参会者之间的信令控制命令进行转发。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710706227.1A CN109413360A (zh) | 2017-08-17 | 2017-08-17 | 一种基于嵌入式的异地网络会议系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710706227.1A CN109413360A (zh) | 2017-08-17 | 2017-08-17 | 一种基于嵌入式的异地网络会议系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109413360A true CN109413360A (zh) | 2019-03-01 |
Family
ID=65454857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710706227.1A Pending CN109413360A (zh) | 2017-08-17 | 2017-08-17 | 一种基于嵌入式的异地网络会议系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109413360A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115865941A (zh) * | 2023-02-15 | 2023-03-28 | 花瓣云科技有限公司 | 丢包重传方法、分组确定方法、装置、设备以及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101335869A (zh) * | 2008-03-26 | 2008-12-31 | 北京航空航天大学 | 一种基于Soft-MCU策略的视频会议系统 |
CN101557496A (zh) * | 2009-04-30 | 2009-10-14 | 华中科技大学 | 一种嵌入式视频会议协同工作系统 |
CN101631223A (zh) * | 2009-08-17 | 2010-01-20 | 上海华平信息技术股份有限公司 | 嵌入式高清会议终端及其形成方法 |
CN201601692U (zh) * | 2010-01-25 | 2010-10-06 | 上海华师网络系统工程有限责任公司 | 全数字智能会议终端控制器 |
US20120062688A1 (en) * | 2010-06-08 | 2012-03-15 | Aastra Technologies Limited | Method and system for video communication |
CN202197361U (zh) * | 2011-08-24 | 2012-04-18 | 武汉钢铁(集团)公司 | 一种ip可视电话 |
-
2017
- 2017-08-17 CN CN201710706227.1A patent/CN109413360A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101335869A (zh) * | 2008-03-26 | 2008-12-31 | 北京航空航天大学 | 一种基于Soft-MCU策略的视频会议系统 |
CN101557496A (zh) * | 2009-04-30 | 2009-10-14 | 华中科技大学 | 一种嵌入式视频会议协同工作系统 |
CN101631223A (zh) * | 2009-08-17 | 2010-01-20 | 上海华平信息技术股份有限公司 | 嵌入式高清会议终端及其形成方法 |
CN201601692U (zh) * | 2010-01-25 | 2010-10-06 | 上海华师网络系统工程有限责任公司 | 全数字智能会议终端控制器 |
US20120062688A1 (en) * | 2010-06-08 | 2012-03-15 | Aastra Technologies Limited | Method and system for video communication |
CN202197361U (zh) * | 2011-08-24 | 2012-04-18 | 武汉钢铁(集团)公司 | 一种ip可视电话 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115865941A (zh) * | 2023-02-15 | 2023-03-28 | 花瓣云科技有限公司 | 丢包重传方法、分组确定方法、装置、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106331581B (zh) | 一种移动终端与视联网终端通信的方法和装置 | |
CN103338348B (zh) | 一种网络音视频会议的实现方法、系统和服务器 | |
CN110213609B (zh) | 在网络教育直播中进行连麦直播的方法、装置及存储介质 | |
KR100880150B1 (ko) | 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법 | |
CN102209230B (zh) | 一种具有主会场控制模块的视频会议系统 | |
CN105763832B (zh) | 一种视频互动、控制方法及装置 | |
CN108055496A (zh) | 一种视频会议的直播方法和系统 | |
CN101873219B (zh) | 一种基于应用层组播的视频会议直播系统 | |
CN102223515B (zh) | 远程呈现会议系统、远程呈现会议的录制与回放方法 | |
CN109640028A (zh) | 一种将多个视联网终端和多个互联网终端进行组会的方法和装置 | |
CN109451263A (zh) | 视频会议中的通信方法和装置 | |
CN110062191A (zh) | 一种基于视联网的多方组会方法和服务器 | |
CN101931783A (zh) | 一种视频会议双流发送系统及方法 | |
CN110475094A (zh) | 视频会议处理方法、装置及可读存储介质 | |
CN103414868B (zh) | 一种基于h323协议的视频会议单会议终端数扩容方法 | |
CN106453440A (zh) | 一种录播系统 | |
CN215682450U (zh) | 一种采用无线传输的高清视频会议系统 | |
US9013537B2 (en) | Method, device, and network systems for controlling multiple auxiliary streams | |
CN111107301A (zh) | 一种视频会议平台及基于视频会议平台的通讯方法 | |
CN202103781U (zh) | 一种多功能视频会议系统 | |
CN109413360A (zh) | 一种基于嵌入式的异地网络会议系统 | |
CN102438119B (zh) | 一种数字电视的音视频通讯系统 | |
CN109819199B (zh) | 一种会议预约开启的方法和装置 | |
CN110445759B (zh) | 一种电子白板共享方法和装置 | |
CN203206277U (zh) | 一种用于视频会议的网关 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |