CN112738427A

CN112738427A - 一种sm768多路视频自适应输出方法

Info

Publication number: CN112738427A
Application number: CN202011402157.9A
Authority: CN
Inventors: 刘意虎; 宾泽民; 王勇军; 周磊; 张铎; 孙立明; 李唯实; 曾驰
Original assignee: Kirin Software Co Ltd
Current assignee: Kirin Software Co Ltd
Priority date: 2020-12-04
Filing date: 2020-12-04
Publication date: 2021-04-30
Anticipated expiration: 2040-12-04
Also published as: CN112738427B

Abstract

本发明涉及SM768多路视频自适应输出方法，包括：初始化Adaptor视频适配器，初始化核外模式设置驱动中的Xvideo插件，注册Xvideo插件回调函数、分配Port端口数据结构并为其分配两个端口Port；设置来自Xvideo插件的通用基本参数，初始化每个端口的图像属性；步骤S3：设置每个端口的通用方法；检测显卡通道模式，配置每个通道对应的寄存器，设置每个通道的最终的图像输出地址和偏移情况；设置视频图像的输出方式；每个端口的视频数据显示完毕后释放资源。本发明在嵌入式显卡本身存在资源有限的缺陷前提下，更高效的利用了有限的显卡硬件资源，提高了播放多路视频的性能和效率，提升了用户播放多路视频的体验感。

Description

一种SM768多路视频自适应输出方法

技术领域

本发明涉及国产操作系统多路视频输出技术领域，具体涉及一种SM768多路视频自适应输出方法。

背景技术

麒麟操作系统是一种面向通用领域打造的安全、创新的，以及面向专用领域打造的高安全高可靠的国产操作系统。目前能够同时支持飞腾、鲲鹏、龙芯、申威、兆芯、海光等国产CPU。

当前麒麟系统上SM768视频输出仅使用一路Xvideo显示，视频输出能力很大程度上受到CPU处理能力的限制。具体表现为，当用户在播放多个视频时效率低下，有很大的延迟和卡顿，严重影响了用户体验。因此，如何提高多路视频播放时用户体验以及性能，是当前面临的一个重要的难题。

图1为已有的麒麟系统上SM768视频的输出方法，具体包括如下步骤：

步骤S101：初始化核外modesetting驱动中的Xvideo插件；

步骤S102：设置来自Xvideo插件的通用基本参数，初始化Xvideo的默认端口属性；

步骤S103：若视频路数≤1,则使用Xvideo显示；否则一路使用Xvideo显示，余下的视频使用Fb的方式显示输出，若不手动指定Fb方式输出的话，就无法正常播放；

步骤S104：默认端口的视频数据显示完毕后，释放资源。

因此，当前麒麟系统上SM768视频解码显示输出仅使用一路Xvideo显示，当播放多个视频时，大于一路的视频播放需要手动指定为Fb的方式进行显示输出，而若第二路视频仍然选择使用Xvideo方式显示的话，就会出现窗口崩溃、无法播放的情况，并且原本第一路正常播放的视频也会受影响出现花屏现象。与此同时，在播放多路视频时，由于现有的播放方法未考虑到显卡通道资源的情况，多于一路以上视频就只能以Fb的方式显示输出。而这种方法存在很大的不足，在播放过程中往往会出现拖动窗口卡顿、视频帧画面严重延时甚至画面完全卡住不动等问题。现有的麒麟系统上SM768视频输出方法对系统整体资源带来了极大的消耗，若用户在播放视频时进行其他操作，比如日常电脑办公，此时就会出现系统CPU资源占用率高、系统卡顿的现象。另外一个不足之处就是，播放多个视频时无法做到根据实际情况来自适应选择视频输出方式，在打开第二路视频时必须手动指定视频显示输出方式为Fb，否则就会出现不能正常播放的情况，从而给用户播放视频带来极差的体验感。

中国发明专利“一种具有多路视频输出的设备及系统”（申请号CN201520355181.X），该发明提出了一种具有多路视频输出的设备及系统,其具体实现是：首先实现设备包括第一处理器、第二处理器、视频分配器、第一视频接口和第二视频接口，所述第一处理器具有第一视频输出端，所述第二处理器具有视频输入端和第二视频输出端，所述视频分配器具有信号输入端、第一信号输出端和第二信号输出端；然后第一视频输出端与信号输入端连接，第一信号输出端与第一视频接口连接；然后第二信号输出端与视频输入端连接，第二视频输出端与第二视频接口连接。该方法通过两个处理器实现视频交互和多路视频的输出，两个处理器的性能叠加可以实现更加强大的功能，而不出现视频延迟，也降低了成本。但是该方法输出视频的路数，取决于视频输出端连接视频接口的路数，并且无法做到根据实际情况来自适应选择视频的输出方式。

中国发明专利“一种拼接系统”（申请号CN201520544718.7），该发明提出了一种拼接系统,其具体实现是：首先实现设备包括拼接墙、控制主机以及并联连接于控制主机的分路主机，控制主机通过通信盒连接于VGA分配器，分路主机直接连接于所述VGA分配器；然后VGA分配器一方面直接连接于拼接墙，另一方面通过图像控制器连接于拼接墙；然后拼接系统还包括有编码器、解码器、HDMI矩阵、HDMI分配器，四者之间依次连接，编码器连接于高清摄像头，HDMI分配器连接于所述拼接墙；然后此拼接系统还包括视频分配器、画面分割器、视频矩阵，三者之间依次连接，且视频矩阵通过图像控制器连接于拼接墙；然后视频分配器通过视频信号线连接录像机、影碟机或摄像头。该发明设置多路视频输出，使得拼接系统能够适用于多种视频输出设备，灵活性更强。但是该方法未实现同时输出多路视频，并且无法实现根据实际情况来自适应选择视频的输出方式。

发明内容

为解决已有技术存在的不足，本发明提供了一种SM768多路视频自适应输出方法，包括如下步骤：

步骤S1：初始化Adaptor视频适配器，初始化核外模式设置驱动中的Xvideo插件，注册Xvideo插件回调函数、定义Port端口数据结构并为其分配两个端口Port；

步骤S2：设置来自Xvideo插件的通用基本参数，初始化每个端口的图像属性，包括但不限于有色度、亮度、饱和度、对比度；

步骤S3：设置每个端口的通用方法，包括但不限于视频开始方法、视频停止方法、端口数据释放方法、端口属性设置和获取方法以及视频显示方法；

步骤S4：设置通道模式以及双通道下每个通道的最终的图像输出地址和偏移情况；

步骤S5：设置两个端口关联的两路视频的扩展实现方法及自适应策略，使SM768两路物理输出口ch0和ch1，分别对应两路显示控制器crtc0和crtc1，以使用户无论从哪路输出，视频图像内容均能从显卡正常输出；

步骤S6：每个端口的视频数据显示完毕后释放资源，这些资源包括但不限于每个端口的亮度Y及色度UV数据对应的显存。

其中，所述步骤S1中，所初始化的Xvideo插件从核外X窗口系统启动时加载的设备驱动（DDX）初始化接口中调用。

其中，所述步骤S3中，通过判断端口对应的pixmap像素内容来删除关联在Fb上的内容和对应的纹理对象完成端口数据释放。

其中，所述步骤S3中，通过处理上层或者Client端向Xserver端发送过来的事件完成端口属性设置和获取。

其中，在执行步骤S4中，将显卡硬件上两个通道都打开。

其中，所述步骤S5中，一路视频输出的自适应策略如下：遍历显卡crtc链路，如果探测到为crtc0时将视频输出到ch1通道上，探测到为crtc1时将视频输出到ch0通道上。

其中，所述步骤S5中，两路视频输出的自适应策略如下：选择crtc0配置成ch1输出，crtc1配置成ch0输出；设置SM768_Port中port_crtc来表明视频输出在哪个屏幕上：

当播放视频的x坐标大于第一个屏幕分辨率的宽度时，设置port_crtc=1，输出到ch0上；

当播放视频的x坐标小于第一个屏幕分辨率的宽度时，设置port_crtc=0，输出到ch1上。

本发明另外提供一种支持Xvideo输出方法的功能结构，用于实现上述任一项所述的SM768多路视频自适应输出方法，其包括：

端口初始化层，用于实现步骤S1；

端口参数设置层，包括默认参数设置模块及参数设置接口，用于实现步骤S2及步骤S3；

底层图像显示层，用于实现步骤S4-步骤S6。

其中，所述底层图像显示层包括输出设置模块及Overlay功能模块，其中，输出设置模块用于完成步骤S4及步骤S5中通道最终的图像输出地址和偏移情况，以及每个端口上视频图像的输出方式的设置，Overlay功能模块用于提供双路视频输出的显示方式。

本发明将之前系统只支持一路Xv输出的方式改进为支持双路Xv自适应输出，在嵌入式显卡本身存在资源有限的缺陷前提下，更高效地利用了有限的显卡硬件资源，提高了播放多路视频的性能和效率，提升了用户播放多路视频的体验感。

附图说明

图1：已有麒麟系统上SM768支持一路Xv输出方法的实现流程图；

图2：本发明的SM768多路视频自适应输出方法总体框图；

图3：本发明的SM768多路视频端口自适应流程图；

图4：本发明的支持Xv输出方法的功能结构的总体框架示意图。

具体实施方式

为了对本发明的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本发明的技术方案及其产生的有益效果。

为改善已有技术存在的当前系统只支持一路xv输出的状况，本发明公开了一种SM768多路视频自适应输出方法。该方法基于SM768图形显卡自身的硬件特性以及Xvideo插件的基本框架，通过利用对两个视频端口的方法设置，以及根据通道硬件特性，设置双通道的图像输出地址和偏移情况，实现了双路Xv自适应输出，在嵌入式显卡本身存在资源有限的缺陷前提下，更高效利用了有限的显卡硬件资源，从而达到提高多路视频输出性能和效率，和提升用户播放视频的体验感的目的。图2所示为本发明提供的SM768多路视频自适应输出方法的实现流程图，如图2所示，该方法主要通过如下操作步骤实现：

步骤S1：初始化核外模式设置驱动中的Xvideo插件，初始化Adaptor视频适配器、注册Xvideo插件回调函数、定义Port端口数据结构并为其分配两个端口Port；

步骤S2：设置来自Xvideo插件的通用基本参数，初始化每个端口的图像属性，包括有色度、亮度、饱和度、对比度等；

步骤S3：设置每个端口的通用方法，包括视频开始方法、视频停止方法、端口数据释放方法、端口属性设置和获取方法以及视频显示方法等；

步骤S4：设置通道模式并双通道下每个通道图像输出地址和偏移情况，SM768显卡支持分辨率最大为1080P，由于SM768显卡解码一帧数据大小最大为4M，根据片载显存空间，在保证两路数据显示存放地址不冲突的前提下设置第一路偏移地址为70M，第二路偏移地址设为90M，两路帧数据显示地址完全独立不会导致花屏。

步骤S5：设置两个端口关联的两路视频的扩展实现方法及自适应策略，SM768两路物理输出口ch0和ch1，分别对应两路显示控制器crtc0和crtc1，不管用户接入哪路输出，视频图像内容都能从显卡正常输出。具体的，请参见图3所示，为本发明在增加一个端口的前提下的SM768多路视频端口自适应流程图：SM768显卡寄存器主要分为三大部分，分别是系统控制部分（SCR），2D引擎部分（DPR）以及显示控制部分（DCR）。SM768数据手册显示有两个通道分别为Display Channel 0和Display Channel 1，相对于现有的XVideo架构只能实现一路视频显示策略，无法显示多路视频，无法充分利用硬件性能的问题，本发明根据硬件特性，在软件上需要解决两个端口并存的问题，当客户任意接SM768一路输出时，播放视频都能正常输出。

具体的解决方案如下：

针对一路视频时设置自适应策略，当用户只接一路输出，遍历显卡crtc链路，如果探测到为crtc0时将视频输出到ch1通道上，探测到为crtc1时将视频输出到ch0通道上；

针对两路视频自适应策略，当用户接入两路输出，驱动将选择crtc0配置成ch1输出，crtc1配置成ch0输出。设置SM768_Port中port_crtc来表明视频输出在哪个屏幕上：

A）当播放视频的x坐标大于第一个屏幕分辨率的宽度时，设置port_crtc=1，输出到ch0上；

B）当播放视频的x坐标小于第一个屏幕分辨率的宽度时，设置port_crtc=0，输出到ch1上；

步骤S6：每个端口的视频数据显示完毕后释放资源，这些资源主要是每个端口的Y、U、V数据对应的显存。

所述步骤S1中，一般初始化Xvideo插件通常是在显卡驱动ScreenInit函数接口中调用，在正式初始化Xvideo之前，需要首先建立一个视频适配器（Video Adaptors），该结构包含了视频相关操作方法和属性。其中的端口数量是指Adaptors可以同时处理的独立数据流数量，如果拥有多个端口，那么适配器可以一次将每个端口的数据流渲染到多个窗口。

所述步骤S2中，通用基本参数的属性包含如下几种，主要有：色度、亮度、饱和度、对比度等。通常情况下，驱动初始化时这些参数的值默认设置为0。另外，Xv客户端通过将属性字符串（Atoms）发送到Xserver服务器端来设置或者获取这些属性值，这样的请求最终会在这些驱动程序功能处出现，这里针对驱动中提供的每个获取/设置这0 属性的接口，为每个端口设置对应的参数值。

所述步骤S3中，涉及的视频开始和停止，主要是为每个端口初始化对应的属性以及释放每个端口关联的显存；端口数据释放方法主要内容就是通过判断端口对应的pixmap像素内容来删除关联在Fb上的内容和对应的纹理对象。端口属性设置和获取方法主要处理上层或者Client端向Xserver端发送过来的事件，这些事件包括设置视频的相关属性和获取属性等。

所述步骤S4中，两路Xvideo图像输出需要基于显卡两个通道全部打开的情况下才能使用，因此这里必须将显卡硬件上两个通道都打开，检测显卡通道模式，并根据通道硬件特性配置每个通道对应的寄存器，设置双通道下每个通道的最终的图像输出地址和偏移情况。

所述步骤S5中，由于最终图像需要显示到屏幕上，在该步骤需要设置每个端口上对应的视频图像输出方式。首先判断当前播放的屏幕是在主屏还是扩展屏，若视频在主屏幕，需要将图像指定输出到通道1上，若视频在扩展屏，需要将图像指定输出到通道0上，这样无需用户指定输出的方式就能达到自适应输出的效果。

所述步骤S6中，在视频播放结束后，需要将两个端口上的资源全部释放，这些资源包含存放Y、U、V数据的显存。

图4为本发明的支持Xv输出方法的功能结构的总体框架示意图，用于实现上文所述的多路视频自适应输出方法，如图3所示，该总体框架为端口初始化层、端口参数设置层以及底层图像显示层。其中，在端口的初始化层中，主要面向Xserver端的Xvideo插件的端口，采用多端口的分配方式;端口参数设置层不仅包含端口图像的明亮度、对比度等参数的设置，还包括了端口功能的设置，比如视频输出停止、属性的获取与设置、图像输出方式的设置等。底层图像显示层主要包含了图像最终的输出方式的设置，如果打开了两路通道，底层选择两路overlay方式显示。

本发明提供的SM768多路视频自适应输出方法，尤其适用于麒麟操作系统。

本发明中，所谓的“SM768”，是一款运行于国产麒麟操作系统上的嵌入式微处理器，里面包含了图形显示模块以及VPU单元（Video Processing Unit），该VPU单元是一种高性能的多标准视频IP，可以执行以下解码：H.264 / AVC BP / MP / HP，VC-1 SP / MP /AP，MPEG-1 / 2 ，MPEG4 SP / ASP，DivX / XviD，AVS，RV-8 / 9/10，VP8和Theora视频。

本发明中，所谓的“Xvideo”，是Xserver中的一个插件，该插件提供了一个视频输出的框架，具体的实现由驱动实现，Xvideo框架的主要作用是尽量通过减少数据拷贝的次数，并且尽量利用高性能的方式来实现把视频数据输出到屏幕上去。目前，麒麟系统上SM768显卡解码后是通过一路XV方式来显示视频内容。

本发明将之前系统只支持一路Xv输出的方式改进为支持双路Xv自适应输出，在嵌入式显卡本身存在资源有限的缺陷前提下，更高效的利用了有限的显卡硬件资源，提高了播放多路视频的性能和效率，提升了用户播放多路视频的体验感。

虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。

Claims

1.一种SM768多路视频自适应输出方法，其特征在于包括如下步骤：

2.如权利要求1所述的SM768多路视频自适应输出方法，其特征在于：所述步骤S1中，所初始化的Xvideo插件从核外X窗口系统启动时加载的设备驱动（DDX）初始化接口中调用。

3.如权利要求1所述的SM768多路视频自适应输出方法，其特征在于：所述步骤S3中，通过判断端口对应的pixmap像素内容来删除关联在Fb上的内容和对应的纹理对象完成端口数据释放。

4.如权利要求1所述的SM768多路视频自适应输出方法，其特征在于：所述步骤S3中，通过处理上层或者Client端向Xserver端发送过来的事件完成端口属性设置和获取。

5.如权利要求1所述的SM768多路视频自适应输出方法，其特征在于：在执行步骤S4中，将显卡硬件上两个通道都打开。

6.如权利要求1所述的SM768多路视频自适应输出方法，其特征在于：所述步骤S5中，一路视频输出的自适应策略如下：遍历显卡crtc链路，如果探测到为crtc0时将视频输出到ch1通道上，探测到为crtc1时将视频输出到ch0通道上。

7.如权利要求1所述的SM768多路视频自适应输出方法，其特征在于：所述步骤S5中，两路视频输出的自适应策略如下：选择crtc0配置成ch1输出，crtc1配置成ch0输出；设置SM768_Port中port_crtc来表明视频输出在哪个屏幕上：

8.一种支持Xvideo输出方法的功能结构，用于实现权利要求1-7中任一项所述的SM768多路视频自适应输出方法，其特征在于包括：

端口初始化层，用于实现步骤S1；

底层图像显示层，用于实现步骤S4-步骤S6。

9.如权利要求8所述的支持Xvideo输出方法的功能结构，其特征在于：所述底层图像显示层包括输出设置模块及Overlay功能模块，其中，输出设置模块用于完成步骤S4及步骤S5中通道最终的图像输出地址和偏移情况，以及每个端口上视频图像的输出方式的设置，Overlay功能模块用于提供双路视频输出的显示方式。