CN112422871A - 一种基于ios平台的双流视频会议方法及处理终端 - Google Patents

一种基于ios平台的双流视频会议方法及处理终端 Download PDF

Info

Publication number
CN112422871A
CN112422871A CN202011266409.XA CN202011266409A CN112422871A CN 112422871 A CN112422871 A CN 112422871A CN 202011266409 A CN202011266409 A CN 202011266409A CN 112422871 A CN112422871 A CN 112422871A
Authority
CN
China
Prior art keywords
video stream
video
format
auxiliary
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011266409.XA
Other languages
English (en)
Other versions
CN112422871B (zh
Inventor
赵定金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baolun Electronics Co Ltd
Original Assignee
Guangzhou Baolun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baolun Electronics Co Ltd filed Critical Guangzhou Baolun Electronics Co Ltd
Priority to CN202011266409.XA priority Critical patent/CN112422871B/zh
Publication of CN112422871A publication Critical patent/CN112422871A/zh
Application granted granted Critical
Publication of CN112422871B publication Critical patent/CN112422871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种基于IOS平台的双流视频会议方法及处理终端，所述方法包括步骤1：获得辅视频流，辅视频流为NV12格式的视频；步骤2：判断获得的辅视频流为竖屏状态下录屏采集还是横屏状态下录屏采集，并根据判断结果执行对应步骤；步骤3：将NV12格式的辅视频流转换为YUV格式的视频流；步骤4：将YUV格式的辅视频流数据进行缩放、旋转和添加黑边，以使得辅视频流的分辨率与目标的分辨率一致，并再次转换回NV12格式；步骤5：将录屏采集的视频流的视频画面旋转90度或270度；步骤6：将经过处理得到的辅视频流和主视频流一起加载到远端视频会议终端上进行播放。本发明有效视频会议的视频画面延时的问题。

Description

一种基于IOS平台的双流视频会议方法及处理终端
技术领域
本发明涉及视频会议技术领域，具体是一种基于IOS平台的双流视频会议方法及处理终端。
背景技术
视频会议系统市场规模逐年扩大，视频会议系统的使用将进一步向各行各业渗透，金融、能源、通信、交通、医疗、教育等重点行业机构的使用比例也不断提高，但仍存在巨大的发展空间。现在市场上优秀的视频会议品牌硬件终端，PC端基本上都实现了双流模式的输出，因此手机端的双流模式输出实现就显得尤为必要了。采用双流视频会议有效解决了会议过程中无法传送动态多媒体图像和声音的问题，以及克服无法有效保证图形色彩质量的弱点，实现了会议中多媒体内容的传送，使得视频会议的终端显示设备既能看到远端摄像头采集的图像，又能看到远端终端设备正在操作的界面。例如，远端设备正在打开PPT，正在播放腾讯视频，或者正在打开其他的APP应用等，双流输出使用户使用视频终端的直观性大大增强，提高管理和工作效率。
基于手机终端(例如IOS平台)的双流视频会议通过手机摄像头采集会议现场的视频画面和对手机屏幕录屏的录屏画面，将这两个画面同时加载到手机终端上，从而实现双流视频会议，既看到会议现场画面，又能看到在手机上的操作。但由于录屏画面的分辨率是手机屏幕大小的分辨率，当手机屏幕处于竖直状态时，此时的录屏画面的分辨率与手机屏幕不一致，从而导致加载的录屏画面与手机屏幕不一致，会出现拉伸等现象。因此，需要对录屏画面进行处理包括旋转、缩放、加黑边等处理，但现有的对录屏画面进行这些操作的效率不高，从而导致加载录屏画面会出现延时的现象，影响视频会议效果。
发明内容
针对现有技术的不足，本发明的目的之一提供一种基于IOS平台的双流视频会议方法，其能够解决高效率加载与手机终端屏幕分辨率相适应的录屏画面的问题；
本发明的目的之二提供一种处理终端，其能够解决高效率加载与手机终端屏幕分辨率相适应的录屏画面的问题。
实现本发明的目的之一的技术方案为：一种基于IOS平台的双流视频会议方法，包括如下步骤：
步步骤1：获得辅视频流，辅视频流为NV12格式的视频；
步骤2：将NV12格式的辅视频流转换为YUV格式的视频流；
步骤3：判断获得的辅视频流为竖屏状态下录屏采集得到的视频流还是横屏状态下录屏采集得到的视频流；
其中，执行完步骤1后和执行步骤4之前，先执行步骤2后执行步骤3或先执行步骤3后执行步骤2，
步骤4：若为横屏状态下录屏采集，则跳转至步骤6，若为竖屏状态下录屏采集，则执行步骤5；
步骤5：将YUV格式的辅视频流数据进行缩放和添加黑边，以使得辅视频流的分辨率目标分辨率一致，并将处理后的辅视频流再次转换回NV12格式；
步骤6：将录屏采集的视频流的视频画面旋转90度或270度，其中，若录屏采集终端对应的静音键位于横屏屏幕的下端，则所述视频画面旋转90度，若若录屏采集终端对应的静音键位于横屏屏幕的上端，则所述视频画面旋转270度，并将旋转后的辅视频流进行缩放成与目标分辨率一致，然后将辅视频流再次转换回NV12格式；
步骤7：将经过处理得到的辅视频流和主视频流一起加载到远端视频会议终端上进行播放。
进一步地，所述步骤1的辅视频流由IOS平台终端采集得到。
进一步地，所述步骤3中，将NV12格式的辅视频流转换为I420格式。
实现本发明的目的之二的技术方案为：一种处理终端，包括，
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行所述的基于IOS平台的双流视频会议方法的步骤。
本发明的有益效果为：本发明使得辅视频流不需要通过IOS平台终端的底层接口发送给其MCU进行旋转、缩放和加黑边等操作。而通过底层接口发送给MCU进行上述操作，很容易出现工作效率不高，也即旋转、缩放和加黑边处理速度较慢，从而导致远程视频会议终端加载辅视频流时出现视频画面延时的问题，而本发明正好可以解决这个视频画面延时的问题。
附图说明
图1为本发明的流程示意图；
图2为处理终端的结构示意图。
具体实施方案
下面，结合附图以及具体实施方案，对本发明做进一步描述：
双流视频会议可以实现：同时展示视频会议终端上采集的屏幕的实时画面(称之为辅视频流)和通过摄像头采集会议现场的视频流和音频流(称之为主视频流)，屏幕的实时画面通常为在手机屏幕上进行打开PPT、播放视频、打开APP等操作，从而可以展示会议信息的PPT等资料，以及看到异地的会议对象、听到会议现场的声音。其中，手机摄像头采集的视频流和麦克风采集的音频流称之为主视频流，手机终端上采集的手机屏幕的实时画面为辅视频流。
由于包括IOS平台在内的手机终端是通过录屏采集得到辅视频流，录屏采集的分辨率是手机的屏幕大小分辨率，与视频流编码的分辨率不一致，并且手机终端横屏状态和竖屏状态下采集出来的辅视频流也不一样。在横屏状态下录屏采集的视频旋转了90°或者270°，在竖屏状态下因为分辨率为手机屏幕大小宽度比高度要小，如果直接把采集的视频流通过H264编码发送到MCU，然后其他视频会议终端从MCU加载竖屏采集的辅视频流，由于手机终端屏幕的宽小于高，从而导致出现拉伸变形的现象。为了避免发送出去的辅视频流在远端显示时不被变形拉伸，还需要对缩放后的视频的左右两侧添加黑边处理。
例如，以手机终端为iphone6s为例，其屏幕分辨率为1334*750，竖屏状态下进行录屏采集得到的辅视频流的视频分辨率为750*1334，而H264的编码分分辨率为640*480，两者的分辨率不一致。因此，需要先将分辨率为750*1334的辅视频流转换为YUV格式数据，并将YUV格式数据缩放成分辨率为270*480，然后以(640-270)/2为宽度在辅视频流的左右两侧添加黑边，然后再通过H264码流数据发送给远端进行显示。
因此，需要对辅视频流进行处理，得到满足双流视频会议分辨率要求的辅视频流。
如图1所示，一种基于IOS平台的双流视频会议方法，包括如下步骤：
步骤1：获得由IOS平台终端采集的辅视频流，辅视频流为NV12格式的视频。目前，IOS平台终端录屏采集的视频流的格式都是NV12格式的，此格式下的视频流无法直接进行数据缩放、旋转等操作。
步骤2：判断获得的辅视频流为竖屏状态下录屏采集得到的视频流还是横屏状态下录屏采集得到的视频流
步骤3：将NV12格式的辅视频流转换为YUV格式的视频流，优选地，将NV12格式的视频流转换为I420格式的视频流，I420格式属于YUV格式中的一种，实际使用时，也可以将NV12格式转换成属于YUV的其他格式。
其中，判断辅视频流为竖屏状态下录屏采集还是屏状态下录屏采集和将辅视频流进行转换的两个执行步骤顺序任意的。
步骤4：若为横屏状态下录屏采集得到的辅视频流，则跳转至步骤6，若为竖屏状态下录屏采集得到辅视频流，则执行步骤5。
步骤5：将转换为YUV格式的辅视频流数据进行缩放和添加黑边，以使得辅视频流的分辨率与目标分辨率一致，也即将处理后的辅视频流的分辨率和视频处理的编码器设置的分辨率一致，并将处理后的数据再次转换回NV12格式，得到可在IOS平台终端上播放且分辨率相适应的辅视频流。
步骤6：将录屏采集的视频流的视频画面旋转90度或270度，其中，若录屏采集终端对应的静音键位于横屏屏幕的下端，则所述视频画面旋转90度，若若录屏采集终端对应的静音键位于横屏屏幕的上端，则所述视频画面旋转270度。也即使得旋转后的视频画面处于观看者的正向，而不是处于一个倒转画面。通常对于IOS平台终端(手机)而言，在将手机处于横屏状态下，其静音键位于手机屏幕的下端，此时，只需要将视频画面旋转90度即可，而当再次将手机转向另一个方向的横屏状态，则其静音键位于手机屏幕的上端，此时，需要将视频画面旋转270度。并将旋转后的辅视频流进行缩放成与目标分辨率一致，然后将辅视频流再次转换回NV12格式。
步骤7：将经过处理得到的辅视频流和主视频流一起加载到远端视频会议终端上进行播放。本步骤中，将处理后最终的NV12格式的辅视频流数据经过H264硬编码后发送给MCU或远端视频会议终端上。
通过以上步骤的处理，使得辅视频流不需要通过IOS平台终端的底层接口发送给其MCU进行旋转、缩放和加黑边等操作。而通过底层接口发送给MCU进行上述操作，很容易出现工作效率不高，也即旋转、缩放和加黑边处理速度较慢，从而导致远程视频会议终端加载辅视频流时出现视频画面延时的问题，而本发明正好可以解决这个视频画面延时的问题。
如图2所示，本发明还提供一种处理终端100，其包括：
存储器101，用于存储程序指令；
处理器102，用于运行所述程序指令，以执行所述基于IOS平台的双流视频会议方法的步骤。
本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (4)

1.一种基于IOS平台的双流视频会议方法，其特征在于，包括如下步骤：
步骤1：获得辅视频流，辅视频流为NV12格式的视频；
步骤2：将NV12格式的辅视频流转换为YUV格式的视频流；
步骤3：判断获得的辅视频流为竖屏状态下录屏采集得到的视频流还是横屏状态下录屏采集得到的视频流；
其中，执行完步骤1后和执行步骤4之前，先执行步骤2后执行步骤3或先执行步骤3后执行步骤2，
步骤4：若为横屏状态下录屏采集，则跳转至步骤6，若为竖屏状态下录屏采集，则执行步骤5；
步骤5：将YUV格式的辅视频流数据进行缩放和添加黑边，以使得辅视频流的分辨率目标分辨率一致，并将处理后的辅视频流再次转换回NV12格式；
步骤6：将录屏采集的视频流的视频画面旋转90度或270度，其中，若录屏采集终端对应的静音键位于横屏屏幕的下端，则所述视频画面旋转90度，若若录屏采集终端对应的静音键位于横屏屏幕的上端，则所述视频画面旋转270度，并将旋转后的辅视频流进行缩放成与目标分辨率一致，然后将辅视频流再次转换回NV12格式；
步骤7：将经过处理得到的辅视频流和主视频流一起加载到远端视频会议终端上进行播放。
2.根据权利要求1所述的基于IOS平台的双流视频会议方法，其特征在于，所述步骤1的辅视频流由IOS平台终端采集得到。
3.根据权利要求1所述的基于IOS平台的双流视频会议方法，其特征在于，所述步骤3中，将NV12格式的辅视频流转换为I420格式。
4.一种监听终端，其特征在于，包括，
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行如权利要求1-3任一项所述的基于IOS平台的双流视频会议方法的步骤。
CN202011266409.XA 2020-11-12 2020-11-12 一种基于ios平台的双流视频会议方法及处理终端 Active CN112422871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011266409.XA CN112422871B (zh) 2020-11-12 2020-11-12 一种基于ios平台的双流视频会议方法及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011266409.XA CN112422871B (zh) 2020-11-12 2020-11-12 一种基于ios平台的双流视频会议方法及处理终端

Publications (2)

Publication Number Publication Date
CN112422871A true CN112422871A (zh) 2021-02-26
CN112422871B CN112422871B (zh) 2023-05-16

Family

ID=74831146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011266409.XA Active CN112422871B (zh) 2020-11-12 2020-11-12 一种基于ios平台的双流视频会议方法及处理终端

Country Status (1)

Country Link
CN (1) CN112422871B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125135A (zh) * 2021-11-08 2022-03-01 北京百度网讯科技有限公司 一种视频内容呈现方法、装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888699A (zh) * 2012-12-20 2014-06-25 中强光电股份有限公司 具有视频功能的投影装置及利用其进行视频会谈的方法
US20140184725A1 (en) * 2012-12-27 2014-07-03 Coretronic Corporation Telephone with video function and method of performing video conference using telephone
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN106484349A (zh) * 2016-09-26 2017-03-08 腾讯科技（深圳）有限公司 直播信息的处理方法和装置
CN107509052A (zh) * 2017-09-08 2017-12-22 广州视源电子科技股份有限公司 双流视频会议方法、装置、电子设备及系统
CN107623833A (zh) * 2016-07-13 2018-01-23 中兴通讯股份有限公司 视频会议的控制方法、装置及系统
CN107707954A (zh) * 2017-10-27 2018-02-16 北京小米移动软件有限公司 视频播放方法及装置
CN107734316A (zh) * 2017-10-26 2018-02-23 上海青橙实业有限公司 竖屏投影方法及终端设备
CN111221422A (zh) * 2020-02-26 2020-06-02 原点显示（深圳）科技有限公司 触控翻转方法及具有触控翻转功能的显示屏
CN210804375U (zh) * 2019-08-06 2020-06-19 王东 一种镜像投屏转接装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN103888699A (zh) * 2012-12-20 2014-06-25 中强光电股份有限公司 具有视频功能的投影装置及利用其进行视频会谈的方法
US20140184725A1 (en) * 2012-12-27 2014-07-03 Coretronic Corporation Telephone with video function and method of performing video conference using telephone
CN107623833A (zh) * 2016-07-13 2018-01-23 中兴通讯股份有限公司 视频会议的控制方法、装置及系统
CN106484349A (zh) * 2016-09-26 2017-03-08 腾讯科技（深圳）有限公司 直播信息的处理方法和装置
CN107509052A (zh) * 2017-09-08 2017-12-22 广州视源电子科技股份有限公司 双流视频会议方法、装置、电子设备及系统
CN107734316A (zh) * 2017-10-26 2018-02-23 上海青橙实业有限公司 竖屏投影方法及终端设备
CN107707954A (zh) * 2017-10-27 2018-02-16 北京小米移动软件有限公司 视频播放方法及装置
CN210804375U (zh) * 2019-08-06 2020-06-19 王东 一种镜像投屏转接装置
CN111221422A (zh) * 2020-02-26 2020-06-02 原点显示（深圳）科技有限公司 触控翻转方法及具有触控翻转功能的显示屏

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅鲁海;: "利用SRUDP的3G无线网络视频监控系统设计" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125135A (zh) * 2021-11-08 2022-03-01 北京百度网讯科技有限公司 一种视频内容呈现方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112422871B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US10522049B2 (en) Image synchronous display method and device
CN102025965B (zh) 视频通话方法及可视电话
WO2020097888A1 (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
EP3562163A1 (en) Audio-video synthesis method and system
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
CN108235055B (zh) Ar场景中透明视频实现方法及设备
WO2018024231A1 (zh) 拼接墙与移动智能终端互联方法和装置
CN105892976A (zh) 实现多屏互动的方法及装置
US9584761B2 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
US20230283888A1 (en) Processing method and electronic device
CN112511896A (zh) 一种视频渲染方法及装置
WO2022111717A1 (zh) 图像处理方法、装置及电子设备
CN113596571B (zh) 屏幕分享方法、装置、系统、存储介质以及计算机设备
CN112422871A (zh) 一种基于ios平台的双流视频会议方法及处理终端
CN104010204B (zh) 图像信息处理方法及装置
CN110913118B (zh) 视频处理方法、装置及存储介质
CN113010135B (zh) 一种数据处理方法、装置、显示终端和存储介质
CN105554375A (zh) 一种硬盘录像机中视频预览的方法及装置
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
CN114245027B (zh) 一种视频数据混合处理方法、系统、电子设备和存储介质
CN104125497A (zh) 一种网页录像方法及装置
CN105446685A (zh) 文档播放方法和系统
CN110708590A (zh) 一种提升投屏分辨率的方法
CN111813534A (zh) 一种智能录播中降低cpu占用率的方法
CN112073801B (zh) 一种图像处理方法、电子设备及连接器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant