CN106685975B - 一种音频会议设备的级联控制方法 - Google Patents

一种音频会议设备的级联控制方法 Download PDF

Info

Publication number
CN106685975B
CN106685975B CN201611264950.0A CN201611264950A CN106685975B CN 106685975 B CN106685975 B CN 106685975B CN 201611264950 A CN201611264950 A CN 201611264950A CN 106685975 B CN106685975 B CN 106685975B
Authority
CN
China
Prior art keywords
slave
host
data
interface
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611264950.0A
Other languages
English (en)
Other versions
CN106685975A (zh
Inventor
马超超
徐晓峰
李夏宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Grandstream Networks Technologies Co ltd
Original Assignee
Shenzhen Grandstream Networks Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Grandstream Networks Technologies Co ltd filed Critical Shenzhen Grandstream Networks Technologies Co ltd
Priority to CN201611264950.0A priority Critical patent/CN106685975B/zh
Publication of CN106685975A publication Critical patent/CN106685975A/zh
Application granted granted Critical
Publication of CN106685975B publication Critical patent/CN106685975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明主要披露了一种音频会议设备的级联控制方法,用于在对两台触摸屏会议设备之间实现界面显示、控制操作的同步，该级联控制方法主要包括：步骤a:两台会议设备通过RJ48数据线连接，执行主从协商过程确定主机和从机；步骤b：主机开启界面发送线程和屏幕触摸事件接收线程；步骤c：从机开启界面接收线程和屏幕触摸事件发送线程，将接收到的主机图像数据进行实时绘制。本发明方案可以保证主从设备的各功能在级联状态下的稳定和完整，并能较大程度地提升用户的操作体验。

Description

一种音频会议设备的级联控制方法
技术领域
本发明属于通讯技术领域，尤其涉及VoIP话机级联控制技术。
背景技术
随着通信技术的不断发展与成熟，以及远程会议办公等需求的不断扩大，音频会议终端正不断地在大小公司普及。为满足不同会场格局对会议音频效果的要求，会议终端需支持设备间的级联来覆盖更大的放音和拾音范围，以保证大会场的会议音频质量。级联设备最基本的任务是高标准地同步音频输入和输出，同时为了使设备其它功能在级联的情况下能更完善地运行，以及提供给用户更便捷友好的交互体验，级联设备的界面同步同样扮演着很重要的角色。
发明内容
本发明的目的在于提供一种音频会议设备的级联控制方法，用来提供主从音频设备在会议级联过程，实现界面显示的快速同步和从机设备操作的迅速响应。
为了实现上述发明目的，本发明的技术方案如下：
一种音频会议设备的级联控制方法,用于在对至少两台以上触摸屏会议设备之间实现界面显示、控制操作的同步，级联控制方法主要包括：步骤a:两台会议设备通过RJ48数据线连接，执行主从协商过程确定主机和从机；步骤b：主机开启界面发送线程和屏幕触摸事件接收线程；步骤c：从机开启界面接收线程和屏幕触摸事件发送线程，将接收到的主机图像数据进行实时绘制。
优选的，主从协商流程后，从机将所有SIP帐号取消注册。
优选的，该级联控制方法还包括：主机的界面发送线程和从机的界面接收线程建立第一socket连接。
优选的，该级联控制方法还包括：主机的屏幕触摸事件接收线程和从机的屏幕触摸事件发送线程建立第二socket连接。
优选的，该级联控制方法还包括：主机的界面发送线程读取当前显示图像RGB元数据，经JPEG编码后生成主机图像数据，然后通过第一socket连接发送至从机。
优选的，该级联控制方法还包括：从机接收到主机图像数据后，经解码生成RGB数据，通过Android框架接口渲染显示。
优选的，该级联控制方法还包括：从机将从机屏幕事件的坐标点、压力大小、范围数值发送至主机进行解析并调用框架接口进行屏幕事件的生效。
优选的，在主从协商完成后，主机将LED灯当前初始状态同步至从机。
优选的，在级联过程中，如果主机LED灯的状态发生变化，主机将变化后的状态同步至从机。
本发明提供的技术方案可以保证主从设备的各功能在级联状态下的稳定和完整，界面操作以及显示的完全一致性，并能较大程度地提升用户的操作体验。
附图说明
图1为本发明具体实施例的逻辑控制图；
图2为本发明实施例中实现级联模式的操作流程图一；
图3为本发明实施例中实现级联模式的操作流程图二。
具体实施方式
本发明的基本原理：本发明通过对级联主机屏幕原始数据的获取、编码、发送，以及从机的接收、解码、渲染来完成界面的同步。同时由于是基于Android系统的电容屏设备，可以接收用户的屏幕触摸事件，在从机进行的屏幕操作需要将屏幕事件同步至主机，由主机对事件进行解析并更新界面，再将新界面传输至从机。同时通过别的传输链路来同步LED灯状态，屏幕开关状态等的数据。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明具体实施例的逻辑控制图。如图1所示，在本发明具体实施例中，所涉设备基于Android系统，级联过程是在主机和从机完成主从协商后，音频和界面各司其职，独立同步。界面同步的大体实现过程为：级联主机将屏幕的图像数据发送给从机，从机解析图像数据并显示；从机发送屏幕触摸事件至主机，主机解析后进行界面的更新。除此之外，界面同步还包括设备LED灯状态的同步，以及屏幕开关状态等的同步。
级联界面的同步能提升用户操作的体验度，但它同样存在着瓶颈和缺陷。由于屏幕的原始RGB数据的数据量较大，为进行网络传输需要对图像数据进行编码以及对应的解码。因此所采用的编解码算法的质量对整个界面级联过程的流畅性有着决定性的影响，除此之外，编解码的速度会一定程度上依赖于硬件性能。因此如果没有性能足够好的硬件支撑以及没有足够优化的图像编解码算法，则界面级联的过程反映在从机上就容易表现出卡顿明显，图像模糊等问题。
本发明实施示例提供了具体的RJ48级联界面同步的实现过程，该同步实现基于Android系统，并配合第三方图像编解码库libjpeg。另外，如果在实际应用中RJ45口理论上也是可行。
图2为本发明具体实施例中实现级联模式的操作流程图。如图2所示，在实际级联控制过程主要包括如下步骤：
步骤101：同型号设备经过级联线相连后，将开始两台设备的主从协商过程， 设备的界面都会弹出主从选择的对话框，一端申请成为主机后，另一端将自动成为从机，从机需将所有SIP帐号取消注册，以避免自身的线路通话会影响到主从音频的同步。
步骤102：协商完成后主机开启界面发送线程和屏幕触摸事件接收线程，屏幕发送线程负责持续地将采集到的屏幕图像原数据进行编码压缩并发送至从机，事件接收线程负责接收从机发送过来的屏幕点击以及触摸事件数据并进行解析和应用以产生界面的变更。同时从机会开启屏幕接收线程和屏幕触摸事件的发送线程，屏幕接收线程用于持续地接收主机发送的屏幕图像数据，并对数据进行解码显示以此来达到与主机界面同步的效果，屏幕事件发送线程则实时地捕捉用户对屏幕的操作事件，获取到精确的事件类型和事件坐标，并将数据发送至主机，以使主机能产生相应的界面变更。为达到从机与主机完全一致的界面以及功能行为，在级联建立后从机需要注销掉所有已注册的通话账号，并断开蓝牙连接。
步骤103：主机的界面发送线程和从机的界面接收线程建立socket连接，同时屏幕触摸事件线程也建立另一个socket连接，主从的同步通过两条TCP连接的数据传输来完成。级联过程中主机每一时刻能捕获到的都是一帧一帧的图像，并不是视频流，因此不管主机界面是处于何种状态，界面的同步都是通过发送/接收静止的图像来完成的。
步骤104：主机的界面发送进程负责从设备显存文件/dev/graphics/fb0中获取屏幕RGB元数据，并通过libjpeg库将RGB数据编码成JPEG格式，然后通过socket连接发送至从机。主机发送图像数据的频率（每秒种的帧数）同时取决于libjpeg库的编码能力以及硬件的性能，在发送频率较低的情况下（如每秒少于10帧），则会引起从机显示卡顿的问题。在硬件允许的情况下图像还可采用硬件编解码，有助于提高编解码效率。
步骤105：从机接收到图像数据后，通过libjpeg库将JPEG图像解码成RGB数据，并通过Android框架接口将图像渲染显示。
步骤106：另一方面从机捕获到屏幕事件后，将事件的坐标点，压力大小，范围等数据封装后发送至主机，主机获取到数据后，对数据进行解析并调用框架接口进行屏幕事件的生效。
步骤107：由于通话状态，网络状态变更等情况会触发设备LED灯颜色，闪烁频率以及开关等的状态变化，因此LED灯的状态变更也许进行主从的同步，且完全由主机同步至从机。主要有两种同步场景：
(1) 主从级联协商完成后，主机需先通过框架接口获取到当前LED灯的开关，颜色，频率的状态数据，并将数据封装成能用于传输的数据单元，最后通过屏幕事件收发的TCP连接发送至从机。从机接收到后对数据进行解析并通过框架接口设置LED灯的状态。至此，LED灯的初始状态已完成从主机到从机的同步。
(2) 级联过程中，若主机的LED灯状态发生了改变，如通话状态变更，网络状态有变更等触发，主机需实时地将LED灯状态的变化同步至从机 ，同步的过程和初始状态的同步一致。
步骤108：LED灯的数据发送复用屏幕事件同步时的socket连接。从机接收到LED灯状态变更的数据后，调用LED灯控制接口来生效相应的状态。
步骤109：设备屏幕点亮关闭的状态需主从之间相互同步，其中屏幕关闭只由主机同步至从机，屏幕点亮则相互同步。数据的传输依然是复用屏幕事件同步时的socket连接。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种音频会议设备的级联控制方法，用于在对同型号的两台触摸屏会议设备之间实现界面显示、控制操作、通话状态、网络状态的同步，其特征在于，所述级联控制方法主要包括：
步骤a:两台会议设备通过RJ48数据线连接，执行主从协商过程确定主机和从机，当其中一台设备申请确认为所述主机后，另一台设备则申请确认为所述从机，所述从机将所有SIP帐号取消注册，断开蓝牙连接；所述主机将初始LED灯状态数据封装后传输至所述从机，具体包括：所述主从级联协商完成后，所述主机通过框架接口获取到当前LED灯的开关，颜色，频率的状态数据，将数据封装成能用于传输的数据单元，最后通过屏幕触摸事件收发的TCP连接发送至从机；
步骤b：所述主机开启界面发送线程和屏幕触摸事件接收线程；
步骤c：所述从机开启界面接收线程和屏幕触摸事件发送线程，将接收到的主机图像数据进行实时绘制，同时所述从机对数据进行解析并通过框架接口设置LED灯的状态，完成LED灯状态从主机到从机的主从级联协商后设置同步；
步骤d：当所述主机的通话状态、网络状态发生变化时，所述主机LED 灯的状态发生变化，所述主机将变化后的LED灯状态数据传输至所述从机，所述主机LED灯的数据发送复用屏幕事件同步时的socket连接，所述从机接收到所述主机LED灯状态变更的数据后，调用LED灯控制接口来生效新的状态。
2.根据权利要求1所述的级联控制方法 ,其特征在于，所述级联控制方法还包括：所述主机的界面发送线程和所述从机的界面接收线程建立第一socket连接。
3.根据权利要求2所述的级联控制方法，其特征在于，所述级联控制方法还包括：所述主机的屏幕触摸事件接收线程和所述从机的屏幕触摸事件发送线程建立第二socket连接。
4.根据权利要求3所述的级联控制方法，其特征在于，所述级联控制方法还包括：所述主机的界面发送线程读取当前显示图像RGB元数据，经JPEG编码后生成所述主机图像数据，然后通过所述第一socket连接发送至所述从机。
5.根据权利要求4所述的级联控制方法，其特征在于，所述级联控制方法还包括：所述从机接收到所述主机图像数据后，经解码生成RGB数据，通过Android框架接口渲染显示。
6.根据权利要求5所述的级联控制方法，其特征在于，所述级联控制方法还包括：所述从机将从机屏幕事件的坐标点、压力大小、范围数值发送至所述主机进行解析并调用框架接口进行屏幕事件的生效。
CN201611264950.0A 2016-12-30 2016-12-30 一种音频会议设备的级联控制方法 Active CN106685975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611264950.0A CN106685975B (zh) 2016-12-30 2016-12-30 一种音频会议设备的级联控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611264950.0A CN106685975B (zh) 2016-12-30 2016-12-30 一种音频会议设备的级联控制方法

Publications (2)

Publication Number Publication Date
CN106685975A CN106685975A (zh) 2017-05-17
CN106685975B true CN106685975B (zh) 2022-08-12

Family

ID=58849637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611264950.0A Active CN106685975B (zh) 2016-12-30 2016-12-30 一种音频会议设备的级联控制方法

Country Status (1)

Country Link
CN (1) CN106685975B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200615A (zh) * 2020-01-08 2020-05-26 康佳集团股份有限公司 一种主副屏通信方法、智能终端及存储介质
CN113721908B (zh) * 2021-08-30 2024-03-22 湖南快乐阳光互动娱乐传媒有限公司 一种无限级联组件渲染方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118397A (zh) * 2011-03-21 2011-07-06 北京洋浦伟业科技发展有限公司 一种基于手机的远程会议通信方法和系统
CN102547210A (zh) * 2010-12-24 2012-07-04 华为终端有限公司 级联会议中级联会场的处理方法、装置及系统
CN102984235A (zh) * 2012-11-20 2013-03-20 广东欧珀移动通信有限公司 一种屏幕数据的共享方法及系统
CN203120046U (zh) * 2013-03-08 2013-08-07 成都飞视美视频技术有限公司 基于视频会议终端的可视化控制系统
CN105045742A (zh) * 2015-06-30 2015-11-11 深圳市茁迩科技发展有限公司 级联通信方法以及级联系统
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
CN105468327A (zh) * 2016-01-12 2016-04-06 福建星网锐捷安防科技有限公司 大屏拼接显示方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547210A (zh) * 2010-12-24 2012-07-04 华为终端有限公司 级联会议中级联会场的处理方法、装置及系统
CN102118397A (zh) * 2011-03-21 2011-07-06 北京洋浦伟业科技发展有限公司 一种基于手机的远程会议通信方法和系统
CN102984235A (zh) * 2012-11-20 2013-03-20 广东欧珀移动通信有限公司 一种屏幕数据的共享方法及系统
CN203120046U (zh) * 2013-03-08 2013-08-07 成都飞视美视频技术有限公司 基于视频会议终端的可视化控制系统
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
CN105045742A (zh) * 2015-06-30 2015-11-11 深圳市茁迩科技发展有限公司 级联通信方法以及级联系统
CN105468327A (zh) * 2016-01-12 2016-04-06 福建星网锐捷安防科技有限公司 大屏拼接显示方法、装置及系统

Also Published As

Publication number Publication date
CN106685975A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
US9210372B2 (en) Communication method and device for video simulation image
CN102883135B (zh) 屏幕共享及控制方法
WO2020042350A1 (zh) 一种桌面投屏方法、装置、设备及存储介质
WO2022022019A1 (zh) 投屏数据处理方法和装置
KR102142262B1 (ko) 증강현실을 이용한 축하 영상통화시스템
CN112799891B (zh) iOS设备测试方法、装置、系统、存储介质及计算机设备
CN106685975B (zh) 一种音频会议设备的级联控制方法
US20230281861A1 (en) Data processing method and apparatus, device, and readable storage medium
CN108108139A (zh) 一种云会议的投屏接入方法
CN110012336A (zh) 直播界面的图片配置方法、终端及装置
CN105516638A (zh) 一种视频通话方法、装置和系统
CN113286190A (zh) 一种跨网络同屏控制方法、装置和跨网络同屏系统
CN105446680A (zh) 一种屏幕镜像及其扩展方法、系统及终端设备
CN104112417A (zh) 一种投影方法及系统
CN102035950B (zh) 坐席业务处理方法及ip坐席终端
KR20100108885A (ko) 컴퓨터와 핸드폰 간 영상통화에서의 마우스 지시 포인터를 이용한 원격 애프터서비스 방법
KR20040068008A (ko) 비디오 처리 기능을 갖는 단말기 및 그 처리 방법
WO2022211327A1 (en) Method and apparatus for providing conversational services in mobile communication system
CN207802173U (zh) 一种视联网设备
CN104079862A (zh) 一种视频电子白板业务实现方法及装置
Blackwell et al. 54‐6: Holographic 3D Telepresence System with Light Field 3D Displays and Depth Cameras over a LAN
CN115514989A (zh) 一种数据传输方法、系统及存储介质
CN114979541A (zh) 一种视频显示系统
CN110990109B (zh) 一种拼接屏回显方法、终端、系统及存储介质
CN107241199B (zh) 一种会议终端的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant