CN114257831B - 一种多路虚拟视频源的接入管理系统及方法 - Google Patents
一种多路虚拟视频源的接入管理系统及方法 Download PDFInfo
- Publication number
- CN114257831B CN114257831B CN202111573902.0A CN202111573902A CN114257831B CN 114257831 B CN114257831 B CN 114257831B CN 202111573902 A CN202111573902 A CN 202111573902A CN 114257831 B CN114257831 B CN 114257831B
- Authority
- CN
- China
- Prior art keywords
- video source
- camera
- virtual
- module
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000007726 management method Methods 0.000 claims description 142
- 239000002131 composite material Substances 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 208000033986 Device capturing issue Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
Abstract
本发明实施例公开了一种多路虚拟视频源的接入管理系统及方法，通过在框架层摄像头服务内部置入一个虚拟视频源代理模块，将视频数据的来源，由芯片供应商硬件抽象层的摄像头硬件处理模块，转变为由虚拟视频源管理服务进行提供，既可以满足兼容现有的多个物理摄像头视频源，也可以拓展接入本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体等多种视频源。本发明可以针对不同场景和用途，拓展不同的视频源，具有良好的可升级性和拓展性，系统柔性更好、减少了一次应用层到框架层再到硬件抽象层的数据流转，提高了数据处理效率，增强系统的可用性和鲁棒性。
Description
技术领域
本发明涉及视频源接入及管理技术领域，尤其涉及到一种多路虚拟视频源的接入与管理系统及方法。
背景技术
现有的各种手机或嵌入式设备的摄像头功能，通常是在产品阶段就已经定型，后期基本不可变，例如固定的前置后置两路摄像头，取景途径固定。随着直播行业的兴起，在手机端或嵌入式设备端获取更多取景途径成了一种急迫的需求。
当前安卓系统上，普通摄像头应用程序通过应用层标准API接口，调用框架层摄像头服务，控制和获取芯片供应商硬件抽象层提供的物理摄像头的接口和数据。芯片供应商硬件抽象层的一般在产品阶段经由开发人员，针对产品的载摄像头模组/板载视频输入采集模块进行适配开发，编译后的程序固化到系统特定分区，后期不容易再进行修改。
发明内容
针对上述技术问题，本发明的目的在于提供一种多路虚拟视频源的接入管理系统及方法，通过在框架层摄像头服务内部置入一个虚拟视频源代理模块，将视频数据的来源，由芯片供应商硬件抽象层的摄像头硬件处理模块，转变为由虚拟视频源管理服务进行提供，既可以满足兼容现有的多个物理摄像头视频源，也可以拓展接入本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体等多种视频源。
本发明的技术方案如下：
根据本发明的一个具体实施例，本发明提供一种多路虚拟视频源的接入管理系统，其特征在于，该系统包含位于应用层的普通摄像头应用程序、位于框架层的摄像头服务模块、虚拟视频源管理服务层以及位于芯片供应商硬件抽象层的摄像头硬件处理模块，摄像头服务模块内置一个虚拟视频源代理模块；所述普通摄像头应用程序用于调用标准摄像头API接口，所述摄像头服务模块用于识别虚拟视频源代理模块并判断是否启用虚拟视频源功能，如果未启用虚拟视频源功能，则调用设备私有的摄像头硬件处理模块，用于提供摄像头控制接口和数据流；如果启用虚拟视频源功能，则调用所述虚拟视频源代理模块，请求虚拟视频源管理服务层提供摄像头控制接口和数据流，所述虚拟视频源管理服务层内置一个虚拟视频源管理模块，所述虚拟视频源管理模块管理根据用户指令选择当前输出的视频源并管理接入的多个视频源、以提供摄像头控制接口和数据流。
优选地，所述虚拟视频源管理模块选择的视频源来自外部视频源管理模块、合成视频源管理模块和物理摄像头管理模块提供的视频源。
优选地，所述合成视频源管理模块通过将所述外部视频源管理模块和所述物理摄像头管理模块提供的视频源的一路或多路视频源进行图像合成并生成新的视频源。
优选地，所述外部视频源管理模块提供的视频源包括本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体的视频源。
优选地，所述物理摄像头管理模块提供的视频源包括板载摄像头模组、板载视频输入采集模块、内置USB摄像头、外接USB摄像头。
优选地，所述虚拟视频源管理模块持续监视每一路已接入视频源的状态，当某一路视频源出现异常，将该路视频源从可选视频源列表中删除，并判断该路视频源是否为用户当前选中的视频源，所述视频源出现的异常情况包括物理摄像头插拔/故障、本地视频文件源播放失败、网络异常导致推流/流媒体中断。
优选地，判断该路视频源为用户当前选中的视频源时，所述虚拟视频源管理模块通过计算算法选择相应的视频源作为新选中的视频源，如果检测到没有可用的视频源，所述虚拟视频源管理模块将携带提示信息的视频数据循环输出作为视频源。
优选地，所述虚拟视频源管理模块还包括图像处理模块，所述图像处理模块用于对当前选中的视频源输出的视频数据进行进一步的图像处理后再进行输出。
优选地，所述视频源都具有独立启动/停止视频数据帧的捕获处理的功能。
优选地，所述视频源通过独立的交互界面进行预览和控制。
根据本发明的一个具体实施例，本发明提供一种基于多路虚拟视频源的接入与管理系统的多路虚拟视频接入与管理方法，包括如下步骤：
启动接入管理系统；
虚拟视频源管理服务层，向位于框架层的像头服务模块置入虚拟视频源代理模块；
虚拟视频源管理服务层初始化物理摄像头管理模块、外部视频源管理模块、合成视频源管理模块；
物理摄像头管理模块调用芯片供应商硬件抽象层的摄像头硬件处理模块，检测板载摄像头模组、板载视频输入采集模块、内置USB摄像头、外接USB摄像头的输入视频源；
外部视频源管理模块根据用户指令或配置文件初始化指定的本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体的视频源；
合成视频源管理模块根据用户指令或配置文件初始化指定的合成视频源；
虚拟视频源管理服务层根据用户指令或配置文件初始化选择当前默认的视频源；
运行过程中，虚拟视频源管理服务层持续监视每一路视频源的接入、断开状态；并接收用户指令，针对每一路接入的视频源，提供交互界面进行预览和控制；
当应用层的普通摄像头应用程序需要调用摄像头时，其后续的打开/关闭摄像头、启动/停止摄像头数据流的相关请求将由虚拟视频源管理服务代理接管。
优选地，所述虚拟视频源管理服务代理接管流程，包括如下步骤：
S1：应用层的普通摄像头应用程序通过标准摄像头API接口要求框架层的摄像头服务模块打开摄像头，启动摄像头数据流；
S2：框架层的摄像头服务模块识别虚拟视频源代理模块并启用虚拟视频源功能，则通过虚拟视频源代理模块，请求虚拟视频源管理服务层打开摄像头，启动摄像头数据流；
S3：虚拟视频源管理服务层收到打开摄像头并启动摄像头数据流请求时，通知虚拟视频源管理模块，切换当前指令选定的视频源，后续视频源可来自外部、合成或者物理摄像头模块提供，并判断当前选定视频源状态是否正常：
如果当前选定视频源正常，则进行步骤S6；
如果当前选定视频源异常，则进行步骤S4；
S4：虚拟视频源管理模块，判断当前是否存在可选视频源：
如果存在，则进行步骤S5；
如果不存在，则生成带提示信息的视频数据帧，进行步骤S6；
S5：根据优先级算法选定新的视频源，返回步骤S3；
S6：虚拟视频源管理模块捕捉当前选定视频源数据，经过图像处理模块进行处理和转换，执行步骤S7；
S7：虚拟视频源管理模块判断是否需要展示预览画面：
如果需要，执行步骤S8；
如果不需要，执行步骤S9；
S8：虚拟视频源管理服务层，将处理和转换后的视频数据显示在预览画面中，执行步骤S9；
S9：虚拟视频源管理服务层，将处理和转换后的视频数据帧返回给应用层的普通摄像头应用程序，执行步骤S10；
S10：虚拟视频源管理服务层，判断是否收到应用层的普通摄像头应用程序关闭摄像头并停止摄像头数据流请求：
如果未停止，则返回步骤S3；
如果停止，则结束流程处理。
优选地，步骤S3中，如果用户尚未输入选定指令，则使用默认视频源。
与现有技术相比，本发明的具体实施例具有以下有益效果：
1.本发明通过将虚拟视频源代理模块嵌入到框架层，将原本普通应用程序只能调用固化的视频源数据，改变为可拓展的多种输入方式的视频源，后期可以针对不同场景和用途，拓展不同的视频源，具有良好的可升级性和拓展性，系统柔性更好。
2.本发明通过在芯片供应商硬件抽象层提供多路视频源的方案，本方案减少了一次应用层到框架层再到硬件抽象层的数据流转，提高了数据处理效率，增强系统的可用性和鲁棒性。
3.本发明原有系统的侵入性修改小，针对不同芯片厂商均可兼容，具有良好的可移植性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的具体实施例的虚拟视频源接入管理系统结构示意图；
图2为本发明的具体实施例的虚拟视频源管理服务流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，一种多路虚拟视频源的接入管理系统，其特征在于，该系统包含位于应用层的普通摄像头应用程序、位于框架层的摄像头服务模块、虚拟视频源管理服务层以及位于芯片供应商硬件抽象层的摄像头硬件处理模块，摄像头服务模块内置一个虚拟视频源代理模块；所述普通摄像头应用程序用于调用标准摄像头API接口，所述摄像头服务模块用于识别虚拟视频源代理模块并判断是否启用虚拟视频源功能，如果未启用虚拟视频源功能，则调用设备私有的摄像头硬件处理模块，用于提供摄像头控制接口和数据流；如果启用虚拟视频源功能，则调用所述虚拟视频源代理模块，请求虚拟视频源管理服务层提供摄像头控制接口和数据流，所述虚拟视频源管理服务层内置一个虚拟视频源管理模块，所述虚拟视频源管理模块管理根据用户指令选择当前输出的视频源并管理接入的多个视频源、以提供摄像头控制接口和数据流。
作为一种可选的实施方式，虚拟视频源管理模块选择的视频源来自外部视频源管理模块、合成视频源管理模块和物理摄像头管理模块提供的视频源。其中，外部视频源管理模块、合成视频源管理模块和物理摄像头管理模块都可以提供视频源。合成视频源管理模块通过将外部视频源管理模块和所述物理摄像头管理模块提供的视频源的一路或多路视频源进行图像合成并生成新的视频源。
根据实际需要，虚拟视频源管理模块可以选择上述三个管理模块的其中之一或者全部来提供视频源。
作为一种可选的实施方式，外部视频源管理模块提供的视频源包括本地视频文件源、手机/PC推流、网络摄像头、云服务视频流媒体等视频源。
本地视频文件源指的是系统可以通过本地存储读取的视频文件。手机/PC推流、网络摄像头指的是可以通过RTMP/RTSP等实时流媒体协议方式接入系统的手机/PC端/网络摄像头采集的摄像头图像、显示屏幕图像等视频流。云服务视频流媒体指的是远端网络提供的多种形式视频流媒体。
作为一种可选的实施方式，物理摄像头管理模块提供的视频源包括板载摄像头模组、板载视频输入采集模块、内置USB摄像头、外接USB摄像头等。
板载摄像头模组、板载视频输入采集模块指的是，集成于系统硬件电路板上的通过硬件接线方式接入系统的摄像头传感器模组、视频信号输入采集模块。内置USB摄像头、外接USB摄像头指的是，通过USB接口方式接入系统的摄像头设备。
作为一种可选的实施方式，拟视频源管理模块持续监视每一路已接入视频源的状态，当某一路视频源出现异常，将该路视频源从可选视频源列表中删除，并判断该路视频源是否为用户当前选中的视频源，所述视频源出现的异常情况，例如：
板载摄像头模组、板载视频输入采集模块由于温控导致芯片复位、硬件电路故障等情况导致无法采集视频图像；内置USB摄像头、外接USB摄像头由于USB总线接口复位、USB接线不良、或用户主动拔出等情况导致无法采集视频图像。
本地视频文件解码过程中出现无法读取文件数据、或文件数据包含的视频帧解析异常等情况导致无法采集视频图像。
网络中断无法连通导致推流/流媒体无法解析视频帧导致无法采集视频图像。
作为一种可选的实施方式，判断该路视频源为用户当前选中的视频源时，所述虚拟视频源管理模块通过计算算法选择相应的视频源作为新选中的视频源，如果检测到没有可用的视频源，所述虚拟视频源管理模块将携带提示信息的视频数据循环输出作为视频源。
一种可用的选择方式例如，给予每一路视频源指定的优先级，对于通道CH-1优先级为PR-1，对于通道CH-2优先级为PR-2...对于CH-n，优先级为PR-n，并设定，数值越小，优先级越高，并根据优先级高低选定新的视频源；
假定，检测到当前视频源CH-2状态异常，需要选定新的视频源，则首先列出当前已接入的，状态正常的视频源，假如为【CH-1、CH-3、CH-4】，则根据优先级【PR-1、PR-3、PR-4】高低，选择PR-1对应的CH-1视频源作为新的视频源；
当然，也可以根据每一路视频源的相关性来设定优先级，或选择其他方式；
作为一种可选的实施方式，虚拟视频源管理模块还包括图像处理模块，所述图像处理模块用于对当前选中的视频源输出的视频数据进行进一步的图像处理后再进行输出。
所述图像处理将捕获的图像数据格式(YUV/RGB/JPEG等格式)，转换为输出端所需要的图像格式(YUV/RGB/JPEG等格式)；
可选的，针对图像进行OSD处理(例如贴图/字幕/弹幕叠加等)、图像增强处理(例如锐化/平滑/灰度增强/色彩饱和调节等)、动态特效处理等；
作为一种可选的实施方式，视频源都具有独立启动/停止视频数据帧的捕获处理的功能：
可以在用户切换视频源时，停止原先的视频源数据帧的捕获，启动新选中的视频源数据帧的捕获；
以及当用户对某路视频进行独立预览时，启动/停止该路视频源数据帧的捕获，并显示到独立预览界面。
作为一种可选的实施方式，本发明的视频源通过独立的交互界面进行预览和控制。
一种可行的实施方式如：通过在系统界面上添加一个全局悬浮窗口，给每一路视频源提供如下视图组件，包含图像绘制视图组件用来显示该路视频源预览图像，以及按钮视图组件用来接收用户指令；
另一种可行的实施方式如：将系统整体界面进行多窗口分割，分为主窗口和副窗口，其中，主窗口用来显示应用层的普通摄像头应用程序，副窗口给每一路视频源提供如下视图组件，包含图像绘制视图组件用来显示该路视频源预览图像，以及按钮视图组件用来接收用户指令；
在另一种可行的实施方式如：通过网络数据通信方式，在远端控制界面，给每一路视频源提供如下视图组件，包含图像绘制视图组件用来显示该路视频源预览图像，以及按钮视图组件用来接收用户指令；
根据本发明的另一个具体实施例，本发明提供一种基于多路虚拟视频源的接入与管理系统的多路虚拟视频接入与管理方法，该方法包含以下步骤：
启动接入管理系统；
虚拟视频源管理服务层，向位于框架层的像头服务模块置入虚拟视频源代理模块；
虚拟视频源管理服务层初始化物理摄像头管理模块、外部视频源管理模块、合成视频源管理模块；
物理摄像头管理模块调用芯片供应商硬件抽象层的摄像头硬件处理模块，检测板载摄像头模组、板载视频输入采集模块、内置USB摄像头、外接USB摄像头的输入视频源；
外部视频源管理模块根据用户指令或配置文件初始化指定的本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体的视频源；
合成视频源管理模块根据用户指令或配置文件初始化指定的合成视频源；
虚拟视频源管理服务层根据用户指令或配置文件初始化选择当前默认的视频源；
运行过程中，虚拟视频源管理服务层持续监视每一路视频源的接入、断开状态；并接收用户指令，针对每一路接入的视频源，提供交互界面进行预览和控制；
当应用层的普通摄像头应用程序启动后，其后续的打开/关闭摄像头、启动/停止摄像头数据流的相关请求将由虚拟视频源管理服务代理接管。
其中，根据实际需要，本领域技术人员可以选择物理摄像头管理模块、外部视频源管理模块、合成视频源管理模块之一或者全部模块根据用于指令进行初始化。
优选地，所述虚拟视频源管理服务代理接管流程，包括如下步骤：
S1：应用层的普通摄像头应用程序通过标准摄像头API接口要求框架层的摄像头服务模块打开摄像头，启动摄像头数据流；普通摄像头应用程序后续可将收到的摄像头数据使用于拍照、录像、视频通话、实时直播等用途；
S2：框架层的摄像头服务模块识别虚拟视频源代理模块并启用虚拟视频源功能，则通过虚拟视频源代理模块，请求虚拟视频源管理服务层打开摄像头，启动摄像头数据流；
S3：虚拟视频源管理服务层收到打开摄像头并启动摄像头数据流请求时，通知虚拟视频源管理模块，切换当前指令选定的视频源，后续视频源可来自外部、合成或者物理摄像头模块提供，并判断当前选定视频源状态是否正常：
如果当前选定视频源正常，则进行步骤S6；
如果当前选定视频源异常，则进行步骤S4；
S4：虚拟视频源管理模块，判断当前是否存在可选视频源：
如果存在，则进行步骤S5；
如果不存在，则生成带提示信息的视频数据帧，进行步骤S6；
S5：根据优先级算法选定新的视频源，返回步骤S3；
S6：虚拟视频源管理模块捕捉当前选定视频源数据，经过图像处理模块进行处理和转换，执行步骤S7；
S7：虚拟视频源管理模块判断是否需要展示预览画面：
如果需要，执行步骤S8；
如果不需要，执行步骤S9；
S8：虚拟视频源管理服务层，将处理和转换后的视频数据显示在预览画面中，执行步骤S9；
S9：虚拟视频源管理服务层，将处理和转换后的视频数据帧返回给应用层的普通摄像头应用程序，执行步骤S10；
S10：虚拟视频源管理服务层，判断是否收到应用层的普通摄像头应用程序关闭摄像头并停止摄像头数据流请求：
如果未停止，则返回步骤S3；
如果停止，则结束流程处理。
本发明的步骤S3中，如果用户尚未输入选定指令，则使用默认视频源。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种多路虚拟视频接入与管理方法，用于多路虚拟视频源的接入管理系统，其特征在于，所述多路虚拟视频源的接入管理系统包含位于应用层的普通摄像头应用程序、位于框架层的摄像头服务模块、虚拟视频源管理服务层以及位于芯片供应商硬件抽象层的摄像头硬件处理模块，摄像头服务模块内置一个虚拟视频源代理模块；所述普通摄像头应用程序用于调用标准摄像头API接口，所述摄像头服务模块用于识别虚拟视频源代理模块并判断是否启用虚拟视频源功能，如果未启用虚拟视频源功能，则调用设备私有的摄像头硬件处理模块，用于提供摄像头控制接口和数据流；如果启用虚拟视频源功能，则调用所述虚拟视频源代理模块，请求虚拟视频源管理服务层提供摄像头控制接口和数据流，所述虚拟视频源管理服务层内置一个虚拟视频源管理模块，所述虚拟视频源管理模块管理根据用户指令选择当前输出的视频源并管理接入的多个视频源、以提供摄像头控制接口和数据流；
该方法包含以下流程：
启动接入管理系统；
虚拟视频源管理服务层，向位于框架层的摄像头服务模块置入虚拟视频源代理模块；
虚拟视频源管理服务层初始化物理摄像头管理模块、外部视频源管理模块、合成视频源管理模块；
物理摄像头管理模块调用芯片供应商硬件抽象层的摄像头硬件处理模块，检测板载摄像头模组、板载视频输入采集模块、内置USB摄像头、外接USB摄像头的输入视频源；
外部视频源管理模块根据用户指令或配置文件初始化指定的本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体的视频源；
合成视频源管理模块根据用户指令或配置文件初始化指定的合成视频源；
虚拟视频源管理服务层根据用户指令或配置文件初始化选择当前默认的视频源；
运行过程中，虚拟视频源管理服务层持续监视每一路视频源的接入、断开状态；并接收用户指令，针对每一路接入的视频源，提供交互界面进行预览和控制；
当应用层的普通摄像头应用程序需要调用摄像头时，其后续的打开/关闭摄像头、启动/停止摄像头数据流的相关请求将由虚拟视频源管理服务代理接管；
所述虚拟视频源管理服务代理接管的流程，包括如下步骤：
S1：应用层的普通摄像头应用程序通过标准摄像头API接口要求框架层的摄像头服务模块打开摄像头，启动摄像头数据流；
S2：框架层的摄像头服务模块识别虚拟视频源代理模块并启用虚拟视频源功能，则通过虚拟视频源代理模块，请求虚拟视频源管理服务层打开摄像头，启动所述摄像头数据流；
S3：虚拟视频源管理服务层收到打开摄像头并启动摄像头数据流请求时，通知虚拟视频源管理模块，切换当前指令选定的视频源，后续视频源可来自外部、合成或者物理摄像头模块提供，并判断当前选定视频源状态是否正常：
如果当前选定视频源正常，则进行步骤S6；
如果当前选定视频源异常，则进行步骤S4；
S4：虚拟视频源管理模块，判断当前是否存在可选视频源：
如果存在，则进行步骤S5；
如果不存在，则生成带提示信息的视频数据帧，进行步骤S6；
S5：根据优先级算法选定新的视频源，返回步骤S3；
S6：虚拟视频源管理模块捕捉当前选定视频源数据，经过图像处理模块进行处理和转换，执行步骤S7；
S7：虚拟视频源管理模块判断是否需要展示预览画面：
如果需要，执行步骤S8；
如果不需要，执行步骤S9；
S8：虚拟视频源管理服务层，将处理和转换后的视频数据显示在预览画面中，执行步骤S9；
S9：虚拟视频源管理服务层，将处理和转换后的视频数据帧返回给应用层的普通摄像头应用程序，执行步骤S10；
S10：虚拟视频源管理服务层，判断是否收到应用层的普通摄像头应用程序关闭摄像头并停止摄像头数据流请求：
如果未停止，则返回步骤S3；
如果停止，则结束流程处理。
2.根据权利要求1多路虚拟视频接入与管理方法，其特征在于，所述虚拟视频源管理模块选择的视频源来自外部视频源管理模块、合成视频源管理模块和物理摄像头管理模块提供的视频源。
3.根据权利要求2多路虚拟视频接入与管理方法，其特征在于，所述合成视频源管理模块通过将所述外部视频源管理模块和所述物理摄像头管理模块提供的视频源的一路或多路视频源进行图像合成并生成新的视频源。
4.根据权利要求3多路虚拟视频接入与管理方法，其特征在于，所述外部视频源管理模块提供的视频源包括本地视频文件源、手机/PC推流、网络摄像头、云服务流媒体视频源。
5.根据权利要求3多路虚拟视频接入与管理方法，其特征在于，所述物理摄像头管理模块提供的视频源包括板载摄像头模组、板载视频输入采集模块、内置USB摄像头、外接USB摄像头的输入视频源。
6.根据权利要求2-5任一项多路虚拟视频接入与管理方法，其特征在于，所述虚拟视频源管理模块持续监视每一路已接入视频源的状态，当某一路视频源出现异常，将该路视频源从可选视频源列表中删除，并判断该路视频源是否为用户当前选中的视频源，所述视频源出现的异常情况包括物理摄像头插拔/故障、本地视频文件源播放失败、网络异常导致推流/流媒体中断。
7.根据权利要求6多路虚拟视频接入与管理方法，其特征在于，当判断该路视频源为用户当前选中的视频源时，所述虚拟视频源管理模块通过计算算法选择相应的视频源作为新选中的视频源，如果检测到没有可用的视频源，所述虚拟视频源管理模块将携带提示信息的视频数据循环输出作为视频源。
8.根据权利要求1多路虚拟视频接入与管理方法，其特征在于，所述虚拟视频源管理模块还包括图像处理模块，所述图像处理模块用于对当前选中的视频源输出的视频数据进行进一步的图像处理后再进行输出。
9.根据权利要求2多路虚拟视频接入与管理方法，其特征在于，所述视频源都具有独立启动/停止视频数据帧的捕获处理的功能。
10.根据权利要求2多路虚拟视频接入与管理方法，其特征还在于，所述视频源都通过独立的交互界面进行预览和控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111573902.0A CN114257831B (zh) | 2021-12-21 | 2021-12-21 | 一种多路虚拟视频源的接入管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111573902.0A CN114257831B (zh) | 2021-12-21 | 2021-12-21 | 一种多路虚拟视频源的接入管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114257831A CN114257831A (zh) | 2022-03-29 |
| CN114257831B true CN114257831B (zh) | 2023-11-24 |
Family
ID=80796450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111573902.0A Active CN114257831B (zh) | 2021-12-21 | 2021-12-21 | 一种多路虚拟视频源的接入管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114257831B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116347015B (zh) * | 2023-05-26 | 2023-10-20 | 深圳市拔超科技股份有限公司 | 一种基于多个usb摄像头平滑切换的系统、方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1652567A (zh) * | 2005-01-28 | 2005-08-10 | 四川长虹电器股份有限公司 | 视频设备信号选择方法 |
| CN105185121A (zh) * | 2015-09-11 | 2015-12-23 | 安徽四创电子股份有限公司 | 一种虚拟卡口并行识别车牌的方法 |
| CN105302534A (zh) * | 2014-07-30 | 2016-02-03 | 西安司坤电子科技有限公司 | 一种图像特效处理系统 |
| CN105915999A (zh) * | 2016-04-19 | 2016-08-31 | 乐视控股（北京）有限公司 | 一种视频播放方法及系统 |
| CN109168021A (zh) * | 2018-10-25 | 2019-01-08 | 京信通信系统（中国）有限公司 | 一种推流的方法及装置 |
| CN109257611A (zh) * | 2017-07-12 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 一种视频播放方法、装置、终端设备和服务器 |
| CN109862323A (zh) * | 2019-02-20 | 2019-06-07 | 北京旷视科技有限公司 | 多路视频的播放方法、装置及处理设备 |
| CN110611842A (zh) * | 2019-09-20 | 2019-12-24 | 天津卓朗科技发展有限公司 | 基于虚拟机的视频传输管理方法及相关装置 |
| CN111263208A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 一种画面合成方法、装置、电子设备及存储介质 |
| CN111757137A (zh) * | 2020-07-02 | 2020-10-09 | 广州博冠光电科技股份有限公司 | 一种基于单镜头直播视频的多路特写播放方法及装置 |
| CN112804459A (zh) * | 2021-01-12 | 2021-05-14 | 杭州星犀科技有限公司 | 基于虚拟摄像头的图像展示方法、装置、存储介质及电子设备 |
| CN113220445A (zh) * | 2021-03-26 | 2021-08-06 | 西安神鸟软件科技有限公司 | 一种图像或视频数据获取方法及终端设备 |
| CN113329262A (zh) * | 2021-05-28 | 2021-08-31 | 海信视像科技股份有限公司 | 一种显示设备、及切换播放备份信号源的控制方法 |
| CN113727035A (zh) * | 2021-10-15 | 2021-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、系统、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080256591A1 (en) * | 2007-04-10 | 2008-10-16 | Arcsoft, Inc. | Virtual webcam and method thereof |
-
2021
- 2021-12-21 CN CN202111573902.0A patent/CN114257831B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1652567A (zh) * | 2005-01-28 | 2005-08-10 | 四川长虹电器股份有限公司 | 视频设备信号选择方法 |
| CN105302534A (zh) * | 2014-07-30 | 2016-02-03 | 西安司坤电子科技有限公司 | 一种图像特效处理系统 |
| CN105185121A (zh) * | 2015-09-11 | 2015-12-23 | 安徽四创电子股份有限公司 | 一种虚拟卡口并行识别车牌的方法 |
| CN105915999A (zh) * | 2016-04-19 | 2016-08-31 | 乐视控股（北京）有限公司 | 一种视频播放方法及系统 |
| CN109257611A (zh) * | 2017-07-12 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 一种视频播放方法、装置、终端设备和服务器 |
| CN109168021A (zh) * | 2018-10-25 | 2019-01-08 | 京信通信系统（中国）有限公司 | 一种推流的方法及装置 |
| CN111263208A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 一种画面合成方法、装置、电子设备及存储介质 |
| CN109862323A (zh) * | 2019-02-20 | 2019-06-07 | 北京旷视科技有限公司 | 多路视频的播放方法、装置及处理设备 |
| CN110611842A (zh) * | 2019-09-20 | 2019-12-24 | 天津卓朗科技发展有限公司 | 基于虚拟机的视频传输管理方法及相关装置 |
| CN111757137A (zh) * | 2020-07-02 | 2020-10-09 | 广州博冠光电科技股份有限公司 | 一种基于单镜头直播视频的多路特写播放方法及装置 |
| CN112804459A (zh) * | 2021-01-12 | 2021-05-14 | 杭州星犀科技有限公司 | 基于虚拟摄像头的图像展示方法、装置、存储介质及电子设备 |
| CN113220445A (zh) * | 2021-03-26 | 2021-08-06 | 西安神鸟软件科技有限公司 | 一种图像或视频数据获取方法及终端设备 |
| CN113329262A (zh) * | 2021-05-28 | 2021-08-31 | 海信视像科技股份有限公司 | 一种显示设备、及切换播放备份信号源的控制方法 |
| CN113727035A (zh) * | 2021-10-15 | 2021-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、系统、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于DirectShow的虚拟摄像头开发框架;汪春杰;李明禄;吴凡;;计算机工程(第16期);全文 * |
| 嵌入式网络虚拟音视频矩阵的设计;陈淑荣;;计算机辅助工程(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114257831A (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8458147B2 (en) | Techniques for the association, customization and automation of content from multiple sources on a single display | |
| US8774592B2 (en) | Media reproduction for audio visual entertainment | |
| CN114302220B (zh) | 一种显示设备、外接设备及播放模式控制方法 | |
| CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
| CN112367543A (zh) | 显示设备、移动终端、投屏方法及投屏系统 | |
| US20160359937A1 (en) | Contextual video content adaptation based on target device | |
| JPH10509564A (ja) | 電気通信システム及び方法 | |
| CN114257831B (zh) | 一种多路虚拟视频源的接入管理系统及方法 | |
| CN110740261A (zh) | 视频录制方法、装置、终端及存储介质 | |
| US8988457B2 (en) | Multi image-output display mode apparatus and method | |
| CN117911299A (zh) | 视频处理方法和装置 | |
| KR101250721B1 (ko) | 2개의 고해상도 영상 소스들 간의 전환 | |
| US7110018B2 (en) | Communication terminal device and control method thereof | |
| CN109922366A (zh) | 一种设备参数调整方法、装置、设备及介质 | |
| CN112383723B (zh) | 一种视频切换方法、装置及计算机设备 | |
| CN108881984B (zh) | 数字电视设备截图存储方法及系统 | |
| KR100781907B1 (ko) | 장면을 제시하는 장치 및 방법 | |
| JP2011211568A (ja) | 動画記録装置及びその制御方法 | |
| US9420218B2 (en) | Television system | |
| US20070139557A1 (en) | Personal computer motherboard with on-board video compression capability | |
| JP2007324663A (ja) | ビデオカメラ | |
| US20040268415A1 (en) | Video signal supply device and video display device | |
| CN115543649B (zh) | 一种数据获取方法及电子设备 | |
| CN115515008B (zh) | 一种视频处理方法、终端和视频处理系统 | |
| JPH11250081A (ja) | マルチメディア情報処理装置および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |