CN114764317A - 基于iOS系统的视频流获取方法、介质、设备及应用系统 - Google Patents

Abstract

本发明提供一种基于iOS系统的视频流获取方法、介质、设备及应用系统，所述基于iOS系统的视频流获取方法包括以下步骤：获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；对所述第二类数据编码生成待投屏视频流。本发明提供了一种iOS系统的视频流合成方式，可以减少CPU资源的消耗，进而有效解决iOS系统的投屏应用问题。

Description

基于iOS系统的视频流获取方法、介质、设备及应用系统

技术领域

本发明属于图片处理的技术领域，涉及一种基于视频流获取方法，特别是涉及一种基于iOS系统的视频流获取方法、介质、设备及应用系统。

背景技术

目前，由于系统权限问题，iOS系统无法直接获取视频流，进而对视频流合成后的诸多应用带来不便。例如，针对iOS系统的投屏问题，是通过CPU(Central ProcessingUnit，中央处理器)每分钟对原始数据信息进行计算处理生成图片数据，并将各图片数据组合为视频流来用作投屏。该方案中CPU的运算操作，非常消耗CPU资源，因此在视频流的生成以及后续应用过程中资源的有效利用程度有待进一步提高。

因此，如何提供一种基于iOS系统的视频流获取方法、介质、设备及应用系统，以解决现有技术无法通过较低的资源消耗方式生成视频流等缺陷，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于iOS系统的视频流获取方法、介质、设备及应用系统，其优势在于，提供了一种iOS系统的视频流合成方式，可以减少CPU资源的消耗。

本发明的另一目的在于提供一种基于iOS系统的视频流获取方法、介质、设备及应用系统，其优势在于，通过图形处理器处理各个控件的图片，代替CPU完成图片数据的一部分处理与转换工作，在减少CPU资源的消耗的同时，提高了图片处理以及图片合成的速度。

本发明的另一目的在于提供一种基于iOS系统的视频流获取方法、介质、设备及应用系统，其优势在于，实现iOS系统的视频流快速合成，进而有效解决iOS系统的投屏应用问题。

为实现上述目的及其他相关目的，本发明一方面提供一种基于iOS系统的视频流获取方法，所述基于iOS系统的视频流获取方法包括以下步骤：获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；对所述第二类数据编码生成待投屏视频流。

为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于iOS系统的视频流获取方法。

为实现上述目的及其他相关目的，本发明另一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的基于iOS系统的视频流获取方法。

为实现上述目的及其他相关目的，本发明另一方面提供一种基于iOS系统的视频流应用系统，所述基于iOS系统的视频流应用系统包括：投屏设备和所述的电子设备；所述电子设备和投屏设备通信连接；所述投屏设备用于显示所述电子设备生成的视频流。

附图说明

图1显示为本发明的基于iOS系统的视频流获取方法于一实施例中的原理流程图。

图2显示为本发明的基于iOS系统的视频流获取方法于一实施例中的获取流程图。

图3显示为本发明的基于iOS系统的视频流获取方法于一实施例中的合成流程图。

图4显示为本发明的电子设备于一实施例中的结构连接示意图。

图5显示为本发明的电子设备于一实施例中的运行原理图。

图6显示为本发明的基于iOS系统的视频流应用系统于一实施例中的结构原理图。

元件标号说明

4 电子设备

41 处理器

42 存储器

S11～S13 步骤

S111～S112 步骤

S131～S132 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明所述的基于iOS系统的视频流获取方法、介质、设备及应用系统提供了一种iOS系统的视频流合成方式，可以减少CPU资源的消耗，进而有效解决iOS系统的投屏应用问题。

以下将结合图1至图6详细阐述本实施例的一种基于iOS系统的视频流获取方法、介质、设备及应用系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于iOS系统的视频流获取方法、介质、设备及应用系统。

请参阅图1，显示为本发明的基于iOS系统的视频流获取方法于一实施例中的原理流程图。如图1所示，所述基于iOS系统的视频流获取方法具体包括以下几个步骤：

S11，获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据。

具体地，通过绘图控件获取第一类数据，所述绘图控件是通过执行预设的计算机程序代码后生成的，绘图控件是对图形处理方法的封装，IOS操作系统提供了实现此绘图控件的接口能力，对于本领域技术人员而言，实现这种封装了图形处理方法的绘图控件是易于实现的，本发明中利用绘图控件获得需要处理的第一类数据。在一个实施例中，绘图控件包括图片控件和非图片控件。

请参阅图2，显示为本发明的基于iOS系统的视频流获取方法于一实施例中的获取流程图。如图2所示，S11包括以下步骤：

S111，通过图片控件处理iOS系统滤镜接口提供的图片信息数据，得到所述第一类数据。

其中，iOS系统滤镜以CoreImage为图像框架，它基于OpenGL(Open GraphicsLibrary，开放图形库)顶层创建，底层则用着色器来处理图像。CoreImage利用了GPU(Graphics Processing Unit，图形处理器)基于硬件加速来处理图像，它可以简单地应用各种滤镜来处理图像，比如修改鲜艳程度，色泽，或者曝光，对图像进行滤镜操作，比如模糊、颜色改变、锐化、人脸识别等。它利用GPU来非常快速、甚至实时地处理图像数据和视频的帧。并且隐藏了底层图形处理的所有细节，通过提供的API(Application ProgrammingInterface，应用程序接口)即可简单使用。

Core Image框架中包括Core Image，Core Image为保存图像数据的类。可以将CIImage对象与其他核心图像类(如CIFilter、CIContext、CIVector和cicoll)结合使用，以便在处理图像时利用内置的核心图像滤镜。可以使用各种来源提供的数据创建CIImage对象，包括Quartz2D图像、核心视频图像缓冲区(CVImageBuffer)、基于url的对象和NSData对象。

于本实施例的一实际应用中，通过滤镜接口获取与视频流相关联的第一类数据的具体原理如下：UIImage->CGImageRef->CIImage。

其中，UIImage用于管理第一类数据。使用Image对象来表示所有类型图片的数据，UIImage类具有管理相关平台支持的所有格式第一类数据的能力。Image对象是不可修改的，一个Image对象包含单个图片或要用作动画的一系列图片。CGImageRef并不是面向对象的API，也不是类，是一个指针类型，具体地，Quartz 2D对CGImageRef的定义为：typedefstruct CGImage*CGImageRef。

由此，通过UIImage类确定待获取图像数据的存储位置，进而通过CGImageRef的指针指向图像数据的存储位置，最后通过CIImage将图像数据保存在所指向的存储位置中，以便于后续由该存储位置取出图像数据进行显示处理。

其中，Core Image框架中各个类功能实现的原理如下：

通过Core Image对象创建图像——+(UIImage*)imageWithCIImage:(CIImage*)ciImage。

使用Quartz 2D对象(可以自定义View，模仿系统的ImageView)创建UIImage——+(UIImage*)imageWithCGImage:(CGImageRef)cgImage。Quartz2D最大的用途在于自定义View(即自定义UI控件)，当系统的View不能满足用户使用需求时，则自定义View。

创建并返回与指定的Quartz图片所对应的UIImage图片对象——+(UIImage*)imageWithCGImage:(CGImageRef)cgImage。

S112，通过非图片控件处理预置的非图片信息数据，得到所述第一类数据。

于一实施例中，所述非图片信息数据包括：文本信息数据、滚屏信息数据、开关信息数据、跑马灯信息数据和线框信息数据中的至少一种，还可以包括报表信息数据、表格信息数据等。

于一实施例中，所述非图片控件包括：文本控件、滚屏控件、开关控件、跑马灯控件和线框控件中的至少一种，还可以包括报表控件、表格控件等所有用于获取第一类数据的控件。

具体地，通过文本控件快速获取文本信息数据，通过滚屏控件快速获取滚屏信息数据，通过开关控件快速获取开关信息数据，通过跑马灯控件快速获取跑马灯信息数据，通过线框控件快速获取线框信息数据，通过报表控件快速获取报表信息数据，通过表格控件快速获取表格信息数据。

S12，对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据。第二类数据所指的图片数据，不是用户最终看见的显示图片，而是包含用于最终显示图片的、适于处理器指令集处理的计算机描述数据，现有技术中的H264编码方式可以处理此类数据，并直接输出视频流。

于一实施例中，调用GPU针对所述矩阵数据进行矩阵计算，以对所述矩阵数据中的像素点进行显示处理，所述显示处理包括颜色处理、透明度处理和合成处理。

对于本发明而言，执行上述显示处理是GPU的常规处理手段，本发明的创新点不在于改进GPU对数据的显示处理方式的改进，因此不予展开叙述。

在一个实施例中，第一类数据为对象元素内容数据，与第二类数据不同，该第一类数据所指的元素对象内容数据是指通过绘图控件得到的、适于GPU处理的矩阵数据，本发明的主旨是要调用GPU来处理部分数据，从而减少CPU的处理量，最终实现速度的大幅度提高，并显著的降低CPU的功耗，因为就需要用绘图控件获取到适于GPU待处理的矩阵数据。

S13，对所述第二类数据编码生成待投屏视频流。

请参阅图3，显示为本发明的基于iOS系统的视频流获取方法于一实施例中的合成流程图。如图3所示，S13包括以下步骤：

S131，于一内存空间内存储各个所述第二类数据，该内存空间可对GPU和CPU访问，将GPU的计算结果存储在该内存空间，以调用CPU由所述内存空间的地址获取各个所述第二类数据。

具体地，于一内存空间中创建一绘制缓冲区，GPU将第一类数据显示处理后生成第二类数据，并将所述第二类数据存储于绘制缓冲区中，以使CPU根据所述内存空间的地址获取各个所述第二类数据。

S132，调用CPU按照预设视频格式对各个所述第二类数据编码形成所述待投屏视频流。

具体地，CPU根据所述内存空间的地址获取各个所述第二类数据，并按照预设视频格式对各个所述第二类数据编码形成所述待投屏视频流。

由此，本发明中包括两个主要过程：一是调用GPU完成各个对象元素内容数据的合成工作，得到第一类数据，即图片数据；二是调用CPU将多个图片数据进行编码生成待投屏视频流数据。GPU得到图片数据后放入绘制缓冲区，CPU由绘制缓冲区中提取图片数据后，另一图片数据又放入绘制缓冲区，CPU再次由绘制缓冲区中提取图片数据，进而不同图片数据连续地存取操作可实现CPU将提取的多个图片数据进行编码生成待投屏视频流数据。

在现有技术中，以iOS系统的手机为例，目前的电池容量较小，内存也较小，为了达到流畅界面操作，必然要做一些限制，OpenGL对应的程序是在GPU上执行的，主要用来做游戏、地图引擎等，会耗费大量的电量，所以到了后台，iOS系统手机会对OpenGL执行禁用，CPU虽然不会被禁用，但是也会限制CPU的使用量。比如前台执行时给予100％的性能，到了后台仅给予20％性能左右。然而，本发明中不需要OpenGL将图片内容绘制到屏幕缓冲区(参见图5的屏幕缓冲区，作为IOS系统的默认设置，常规图像显示输出，都是输出到此屏幕缓冲区)，而是利用在内存中创建的可以在后台绘制的绘制缓冲区，因此，即使后台禁用OpenGL，本发明所述的基于iOS系统的视频流获取方法并不受其限制，可以实现后台绘制，且具有较快的处理速度。

本发明所述的基于iOS系统的视频流获取方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图1至图3步骤所述的基于iOS系统的视频流获取方法。所述基于iOS系统的视频流获取方法包括：获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；对所述第二类数据编码生成待投屏视频流。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。

请参阅图4，显示为本发明的电子设备于一实施例中的结构连接示意图。如图4所示，本实施例提供一种电子设备4，具体包括：处理器41及存储器42；所述存储器42用于存储计算机程序，所述处理器41用于执行所述存储器42存储的计算机程序，以使所述电子设备4执行所述基于iOS系统的视频流获取方法的各个步骤。

上述的处理器41可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Alication SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

所述处理器41用于执行上述图1至图3步骤所述的基于iOS系统的视频流获取方法的计算机程序。所述基于iOS系统的视频流获取方法包括：获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；对所述第二类数据编码生成待投屏视频流。

上述的存储器42可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

所述存储器42用于存储上述图1至图3步骤所述的基于iOS系统的视频流获取方法的计算机程序。所述基于iOS系统的视频流获取方法包括：获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；对所述第二类数据编码生成待投屏视频流。

于实际应用中，所述电子设备可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的iOS系统计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal DigitalAssistant，简称PDA)等个人电脑，所述电子设备还可以是车机端或是智能眼镜、智能手表或其他可穿戴设备。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。

请参阅图5，显示为本发明的电子设备于一实施例中的运行原理图。如图5所示，在电子设备4中，CPU通过绘图控件获取A类数据(其中，A类数据即第一类数据)，并将A类数据放入内存中，GPU由内存中提取A类数据，并将A类数据进行显示处理后，绘制为B类数据(其中，B类数据即第二类数据)，并将B类数据保存至绘制缓冲区中，CPU由绘制缓冲区中提取B类数据，对其进行H264编码，生成待输出的视频流，视频流为经过H264编码后的视频数据。

其中，内存中包括iOS系统固有的屏幕缓冲区和本发明创建的绘制缓冲区，通过屏幕缓冲区仅可在系统前台应用绘制，本发明并未利用屏幕缓冲区，而是在绘制缓冲区进行操作，因而在系统前台及后台均可调用进行绘制，且CPU和GPU均可访问。本发明与现有技术相比，一方面通过GPU分担了CPU的图片数据处理工作，因而数据处理速度较快，另一方面，本发明并未利用iOS系统固有的仅能在前台应用的屏幕缓冲区，而是在内存中额外开辟绘制缓冲区，以此避免后台禁用的限制。

例如，投屏内容为电子设备后台存储的待投屏界面，则所述待投屏视频流为与该待投屏界面对应的视频流数据，以此为例，对本发明的原理作进一步说明：该待投屏界面中包括图片内容对应的图片信息数据、文本内容对应的文本信息数据和用户根据需求在视频投屏后于预设位置呈现一开关图标所对应的开关信息数据。通过图片控件处理iOS系统滤镜接口提供的图片信息数据，得到第一类数据A1，通过文本控件获取文本内容对应的文本信息数据，得到第一类数据A2，通过开关控件获取开关图标所对应的开关信息数据，得到第一类数据A3。第一类数据A1、第一类数据A2和第一类数据A3放入内存中，调用GPU将第一类数据A1、第一类数据A2和第一类数据A3合成为B类数据(第二类数据)，并放入绘制缓冲区中，调用CPU由绘制缓冲区中提取合成的B类数据，进行H264编码，输出视频流。该视频流为投屏设备可识别的数据信息，且在识别后在投屏设备上呈现电子设备后台存储的视频，并在视频投屏后于预设位置呈现用户设置的开关图标。由此，本发明可以实现电子设备中待投屏界面的投屏。

请参阅图6，显示为本发明的基于iOS系统的视频流应用系统于一实施例中的结构原理图。如图6所示，本发明所述的基于iOS系统的视频流应用系统包括：投屏设备和所述的电子设备。所述电子设备和投屏设备通信连接。

所述电子设备用于获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；对所述第二类数据编码生成待投屏视频流。

所述投屏设备用于显示所述电子设备生成的视频流。

于一实施例中，所述投屏设备为车载显示屏。

本发明所述的基于iOS系统的视频流应用系统的原理与所述的基于iOS系统的视频流获取方法一一对应，本发明所述的基于iOS系统的视频流应用系统可以实现本发明所述的基于iOS系统的视频流获取方法，但本发明所述的基于iOS系统的视频流获取方法的实现装置包括但不限于本实施例列举的基于iOS系统的视频流应用系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

综上所述，本发明所述基于iOS系统的视频流获取方法、介质、设备及应用系统提供了一种iOS系统的视频流合成方式，可以减少CPU资源的消耗。通过图形处理器处理各个控件的图片，代替中央处理器完成图片数据的一部分处理与转换工作，在减少CPU资源的消耗的同时，提高了图片处理以及图片合成的速度。实现iOS系统的视频流快速合成，进而有效解决iOS系统的投屏应用问题。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于iOS系统的视频流获取方法，其特征在于，所述基于iOS系统的视频流获取方法包括以下步骤：

获取第一类数据；所述第一类数据为构成图像组成要素的对象元素内容数据；

对所述第一类数据进行显示处理，以生成第二类数据；所述第二类数据为多个所述第一类数据显示处理后合成的图片数据；

对所述第二类数据编码生成待投屏视频流。

2.根据权利要求1所述的基于iOS系统的视频流获取方法，所述获取第一类数据包括以下步骤：

通过图片控件处理iOS系统滤镜接口提供的图片信息数据，得到所述第一类数据；

通过非图片控件处理预置的非图片信息数据，得到所述第一类数据。

3.根据权利要求2所述的基于iOS系统的视频流获取方法，所述非图片信息数据包括：文本信息数据、滚屏信息数据、开关信息数据、跑马灯信息数据和线框信息数据中的至少一种。

4.根据权利要求2所述的基于iOS系统的视频流获取方法，所述非图片控件包括：文本控件、滚屏控件、开关控件、跑马灯控件和线框控件中的至少一种。

5.根据权利要求1或2所述的基于iOS系统的视频流获取方法，所述第一类数据为矩阵数据；所述对所述第一类数据进行显示处理，以生成第二类数据包括以下步骤：

调用GPU针对所述矩阵数据进行矩阵计算，以对所述矩阵数据中的像素点进行显示处理，所述显示处理包括颜色处理、透明度处理和合成处理。

6.根据权利要求1所述的基于iOS系统的视频流获取方法，所述对所述第二类数据编码生成待投屏视频流包括以下步骤：

于一内存空间内存储各个所述第二类数据，以调用CPU由所述内存空间的地址获取各个所述第二类数据；

调用CPU按照预设视频格式对各个所述第二类数据编码形成所述待投屏视频流。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于iOS系统的视频流获取方法。

8.一种电子设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至6中任一项所述的基于iOS系统的视频流获取方法。

9.一种基于iOS系统的视频流应用系统，其特征在于，所述基于iOS系统的视频流应用系统包括：投屏设备和如权利要求1至6任一项所述的电子设备；所述电子设备和投屏设备通信连接；

所述投屏设备用于显示所述电子设备生成的待投屏视频流。

10.根据权利要求9所述的基于iOS系统的视频流应用系统，所述投屏设备为车载显示屏。

Images