CN118394451B

CN118394451B - 基于多实例虚拟摄像头的多应用共享摄像头的方法、系统、智能终端设备

Info

Publication number: CN118394451B
Application number: CN202410813575.9A
Authority: CN
Inventors: 李文英
Original assignee: Guangdong Chaoge Smart Internet Technology Co ltd
Current assignee: Guangdong Chaoge Smart Internet Technology Co ltd
Priority date: 2024-06-24
Filing date: 2024-06-24
Publication date: 2024-09-17
Anticipated expiration: 2044-06-24
Also published as: CN118394451A

Abstract

本发明实施例公开了基于多实例虚拟摄像头的多应用共享摄像头的方法、系统、智能终端设备；方法包括：相应于两个应用，创建两路虚拟Camera Sensor分别与两个所述应用关联；两路虚拟Camera Sensor配置为对上层提供两路摄像头资源；两路虚拟Camera Sensor并发访问Android系统的真实Camera Sensor实例，实现两个应用共享一个Android系统平台摄像头。基于多实例虚拟摄像头的多应用共享摄像头的方法，应用于在Android平台智能终端设备上，能够实现多个应用同时获取同一摄像头视频流，解决摄像头资源抢占和冲突问题，降低硬件对业务功能的限制，在Android平台智能终端设备有良好应用前景。

Description

基于多实例虚拟摄像头的多应用共享摄像头的方法、系统、智能终端设备

技术领域

本发明属于图像数据处理技术领域，具体涉及基于多实例虚拟摄像头的多应用共享摄像头的方法、系统、智能终端设备。

背景技术

在Android平台智能终端设备上，受限于产品形态，一般只有一个摄像头硬件，且只能有一个应用进行数据请求访问该摄像头，而多个应用无法同时访问同一摄像头。

Android5.0之后的系统中，应用对摄像头的访问方法是，Android系统提供Camera2API，应用通过CameraManager对象从CameraService获取视频流，CameraService通过CameraProvider(camera hal)创建Camera Sensor，对摄像头硬件做抽象映射，打开相应的视频驱动节点/dev/video* 与摄像头硬件进行交互。

Android系统中摄像数据获取过程中一个请求对应一组数据，应用需要申请使用摄像头时，先初始化摄像头资源，并发送一组数据请求，使用完毕后，释放资源。一路摄像头资源被一个应用进程打开后就会被占用，当其它应用进程想要使用该路摄像头资源时，会出现资源抢占和冲突。通常系统会根据应用进程状态和优先级分配摄像头资源给单个应用进程，其它应用进程无法访问使用。

目前的解决方案是在Android系统中新增一个hidl服务，申请管理一块共享内存，实际打开摄像头的hal模块在上报数据时同步将数据写入共享内存；再创建一路虚拟hal模块，虚拟hal模块从共享内存中获取数据上报。摄像头初次打开时走原生逻辑通路，重复打开时走新增的虚拟通路。但是，这种方案会占用更多的系统资源，对硬件资源的要求高，摄像头延时较长。

发明内容

有鉴于此，一方面，一些实施例公开了基于多实例虚拟摄像头的多应用共享摄像头的方法，包括：

相应于两个应用，创建两路虚拟Camera Sensor分别与两个所述应用关联；

两路虚拟Camera Sensor配置为对上层提供两路摄像头资源；

两路虚拟Camera Sensor并发访问Android系统的真实Camera Sensor实例，实现两个应用共享一个Android系统平台摄像头；

其中，Camera双流的启动流程具体包括：

应用进程打开摄像头时，根据开关配置判断是否走双流虚拟摄像头逻辑；

若需要启动双流虚拟摄像头逻辑，则Hal层创建MultiVirtualSensor实例，并根据当前引用计数来创建单例MultiVirtualVideoInfo和对应轮询线程，避免重复创建线程；

轮询线程从摄像头的驱动节点获取数据，传输给OMXDecoder解码后拷贝到缓冲buffer中；

应用进程请求摄像头数据，并发访问MultiVirtualVideoInfo::captureNV21()；captureNV21()使用GE2D对缓存buffer中的数据进行图形转换，然后拷贝到应用进程供应用使用。。

一些实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法，一路虚拟Camera Sensor访问Android系统的真实Camera Sensor实例的方法包括：

真实Camera Sensor实例循环从摄像头的驱动节点抓取数据，存入缓存buffer；

应用申请访问虚拟Camera Sensor时，从缓存buffer中读取数据，上传到应用。

一些实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法，Android系统的驱动层识别摄像头，生成摄像头硬件的设备节点，真实Camera Sensor实例通过设备节点操作摄像头硬件。

一些实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法，还包括Camera双流的停止流程，具体包括：

应用进程关闭两路虚拟Camera Sensor时，销毁对应的MultiVirtualSensor实例；其中，当一路虚拟Camera sensor关闭时，MultiVirtualVideoInfo实例和轮询线程MultiVirtualVideoInfoThread减少引用计数，另一路Camera可正常使用；当两路虚拟CameraSensor都关闭后，销毁线程MultiVirtualVideoInfoThread和MultiVirtualVideoInfo实例。

另一方面，一些实施例公开了基于多实例虚拟摄像头的多应用共享摄像头的系统，系统运行时，实现基于多实例虚拟摄像头的多应用共享摄像头的方法；该系统包括：

（一）应用层，配置有使用摄像头的两个应用；

（二） Framework层，配置有CameraManager，用于管理摄像头硬件；

（三） Hal层，包括Camera Hal层，配置为创建两路虚拟Camera Sensor；（四）内核层，配置有驱动程序；摄像头硬件在采集到数据后，通过USB/MIPI协议传输到主控，驱动结合v4l2框架，产生设备节点；

（五）硬件层，配置有摄像头硬件。

再一方面，一些实施例公开智能终端设备，该智能终端设备包括一个或多个处理器，一个或多个存储器，一个或多个存储器存储有计算机程序指令，当计算机程序指令被执行时，智能终端设备执行基于多实例虚拟摄像头的多应用共享摄像头的方法。

又一方面，一些实施例公开了计算机可读介质，计算机可读介质存储有计算机程序指令，当计算机程序指令被执行时，执行基于多实例虚拟摄像头的多应用共享摄像头的方法。

本发明实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法，应用于在Android平台智能终端设备上，能够实现多个应用同时获取同一摄像头视频流，解决摄像头资源抢占和冲突问题，降低硬件对业务功能的限制，在Android平台智能终端设备有良好应用前景。

附图说明

图1实施例1基于多实例虚拟摄像头的多应用共享摄像头的系统的组成示意图；

图2 实施例2 Camera双流的启动流程示意图；

图3 实施例3 Camera双流的停止流程示意图。

具体实施方式

在这里专用的词“实施例”，作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。本发明实施例中性能指标测试，除非特别说明，采用本领域常规试验方法。应理解，本发明实施例中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明实施例公开的内容。

除非另有说明，否则本文使用的技术和科学术语具有本发明实施例所属技术领域的普通技术人员通常理解的相同含义；作为本发明实施例中其它未特别注明的试验方法和技术手段均指本领域内普通技术人员通常采用的实验方法和技术手段。

本文所用的术语“基本”和“大约”用于描述小的波动。例如，它们可以是指小于或等于±5%，如小于或等于±2%，如小于或等于±1%，如小于或等于±0.5%，如小于或等于±0.2%，如小于或等于±0.1%，如小于或等于±0.05%。在本文中以范围格式表示或呈现的数值数据，仅为方便和简要起见使用，因此应灵活解释为不仅包括作为该范围的界限明确列举的数值，还包括该范围内包含的所有独立的数值或子范围。例如，“1～5%”的数值范围应被解释为不仅包括1%至5%的明确列举的值，还包括在所示范围内的独立值和子范围。因此，在这一数值范围中包括独立值，如2%、3.5%和4%，和子范围，如1%～3%、2%～4%和3%～5%等。这一原理同样适用于仅列举一个数值的范围。此外，无论该范围的宽度或所述特征如何，这样的解释都适用。

在本文中，包括权利要求书中，连接词，如“包含”、“包括”、“带有”、“具有”、“含有”、“涉及”、“容纳”等被理解为是开放性的，即是指“包括但不限于”。只有连接词“由……构成”和“由……组成”是封闭连接词。

为了更好的说明本发明内容，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在实施例中，对于本领域技术人员熟知的一些方法、手段、仪器、设备等未作详细描述，以便凸显本发明的主旨。

在不冲突的前提下，本发明实施例公开的技术特征可以任意组合，得到的技术方案属于本发明实施例公开的内容。

在一些实施方式中，基于多实例虚拟摄像头的多应用共享摄像头的方法，包括：

相应于两个应用，创建两路虚拟Camera Sensor分别与两个应用关联；

两路虚拟Camera Sensor配置为对上层提供两路摄像头资源；

两路虚拟Camera Sensor并发访问Android系统的真实Camera Sensor实例，实现两个应用共享一个Android系统平台摄像头。

通常，在原生摄像头硬件适配层Camera hal，android 平台摄像头传感器真实硬件对应一个映射，即Camera Sensor实例，每一个Camera Sensor实例都与一个真实摄像头硬件相关联。基于多实例虚拟摄像头方案，可以创建两路虚拟Camera Sensor，对上层提供两路摄像头资源Camera0和Camera1，两路虚拟Camera Sensor并发访问原来的单例CameraSensor，在Camerahal层实现Camera双流。通常，进一步还可以创建三路，甚至四路虚拟Camera Sensor，增加对应数据拷贝，使更多应用同时访问同一摄像头。实际情况下，受硬件自身性能的限制，因为每一路虚拟摄像头都需要占用大量系统资源，多路虚拟CameraSensor对硬件的性能要求更高，而基于双路虚拟Camera Sensor的双流模式，实现两个应用对摄像头的共享，就可以大大提高目前因为摄像头无法共享而造成的摄像头延迟等问题。

通常地，Android系统驱动层识别到摄像头插入后，会生成对应的摄像头设备节点，一般为 /dev/video0；上层可通过该设备节点操作摄像头硬件，比如进行视频流抓取、分辨率获取和设置等。通常，真实CameraSensor实例对上作为服务端, 循环从摄像头硬件的驱动节点抓取数据，存入缓存buffer；应用申请摄像头资源时候创建虚拟CameraSensor，创建的虚拟Camera Sensor作为客户端分配给应用，当应用申请摄像头流时，就会从缓存buffer中取出数据，并根据应用需求做处理，上抛给应用。通常，基于虚拟CameraSensor的Camera双流方案不影响应用逻辑，应用可按通用流程访问两路Camera。

一些实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法，还包括Camera双流的启动流程，具体包括：

应用进程请求摄像头数据，并发访问MultiVirtualVideoInfo::captureNV21()；captureNV21()使用GE2D对缓存buffer中的数据进行图形转换，然后拷贝到应用进程供应用使用。

一些实施例公开智能终端设备，该智能终端设备包括一个或多个处理器，一个或多个存储器，一个或多个存储器存储有计算机程序指令，当计算机程序指令被执行时，智能终端设备执行基于多实例虚拟摄像头的多应用共享摄像头的方法。本申请实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法可以应用于多种智能终端设备，例如手机、平板电脑、笔记本电脑、上网本等智能终端设备，还能应用于可穿戴设备、车载设备等智能终端设备。

一些实施例公开了计算机可读介质，计算机可读介质存储有计算机程序指令，当计算机程序指令被执行时，执行基于多实例虚拟摄像头的多应用共享摄像头的方法。

以下结合实施例对技术细节做进一步示例性说明。

图1所示，实施例1公开的基于多实例虚拟摄像头的多应用共享摄像头的系统包括：

（一）应用层

应用层配置有使用摄像头的应用1和应用2；应用1和应用2可以通过CameraManager同时分别打开两路摄像头资源Camera0和Camera1；通常，常见的应用有安防监控应用、视频通话应用和AI健身应用等；

（二） Framework层

Framework层配置有CameraManager，CameraManager是Android系统中的相机管理器，它提供了访问相机摄像头硬件的接口，通过CameraManager，可以获取相机列表、打开相机、设置相机参数等操作；通常CameraManager通过AIDL访问CameraService，CameraService通过hidl访问Camera hal；

（三） Hal层；

Hal层包括Camera Hal层；通常，Hal层是硬件抽象层，一般由厂商实现，可屏蔽硬件的差异，兼容不同硬件；其中的Camera Hal层是摄像头的硬件抽象层；

当应用进程首次打开摄像头时，会在Hal层创建MultiVirtualSensor实例，同时创建MultiVirtualVideoInfoThread线程；在ThreadLoop中，会循环从摄像头驱动节点获取数据，传输给解码器进行解码，使用GE2D进行数据转换，然后拷贝到数据缓冲区，再由应用层获取进行图像预览，或者编码另作其他用途；

MultiVirtualSensor类会继承原生Sensor类，提供了一些操作摄像头和获取摄像头属性的方法，比如获取和设置摄像头分辨率, 抓取摄像头流等；MultiVirtualSensor代表虚拟摄像头，大部分的操作都需要通过真实摄像头实例来完成。

MultiVirtualVideoInfo类参考原生USBSensor类实现，与摄像头硬件驱动交互，提供实际的摄像头流抓取、解码、图形转换等操作；

MultiVirtualVideoInfoThread类是MultiVirtualVideoInfo的内部类，继承Android标准Thread类，实现轮询抓取驱动节点摄像头流，送入解码器解码然后拷贝到缓冲buffer；

GE2D（Graphics Engine 2D）是一种用于2D图形加速的硬件引擎，通常用于嵌入式系统和移动设备中，提供高效的图形渲染和加速功能；（四）内核层

内核层配置有驱动程序；摄像头硬件在采集到数据后，通过USB/MIPI协议传输到主控，驱动程序结合v4l2框架，产生设备节点dev/video*；其中：

USB协议是Universal Serial Bus协议，是一种常见的智能终端外部设备连接标准，通常以 UVC（USB Video Class）标准为基础，定义了摄像头在 USB 总线上的通信和数据传输方式；

MIPI协议是Mobile Industry Processor Interface协议，是一种面向移动设备的串行接口标准，主要用于连接摄像头模块和移动设备处理器，提供高速、低功耗的数据传输和控制接口，对性能和功耗要求较高的场景；

v4l2 框架是Video for Linux 2框架，是Linux 系统中的一种视频设备驱动框架，定义了一套标准接口，用于访问和控制视频设备，例如摄像头、视频捕捉卡等；

（五）硬件层

硬件层用于配置摄像头硬件，Android平台常见的摄像头有USB摄像头和MIPI摄像头。

本发明实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的系统，可以应用于Android系统，系统运行时，实现基于多实例虚拟摄像头的多应用共享摄像头的方法。

如图2所示，实施例2公开了基于多实例虚拟摄像头的多应用共享摄像头的方法中Camera双流的启动流程，具体包括：

Camera0和Camera1的应用进程打开摄像头时，根据开关配置判断是否为虚拟设备，以判断是否走双流虚拟摄像头逻辑；通常，可以使用Android系统属性配置开关属性，例如persist.sys.multi.camera 1：打开，0：关闭；即配置为1打开，使用双流虚拟摄像头逻辑，配置为0，默认走原生逻辑；

如果是实际设备，则通过原生逻辑流程使用摄像头；

如果是虚拟设备，则启动双流虚拟摄像头逻辑，在Hal层创建MultiVirtualSensor实例，若判断当前引用计数为1，则创建单例MultiVirtualVideoInfo线程；单例线程获取摄像头数据，并传输给解码器进行解码，解码后拷贝到sensorbuffer中；

若判断当前引用计数为2，则Camera0和Camera1应用进程请求摄像头数据，并发访问MultiVirtualVideoInfo::captureNV21()；captureNV21()使用GE2D对缓存sensorbuffer中的数据进行图形转换，然后拷贝到应用进程供应用使用。

如图3所示，实施例3公开的基于多实例虚拟摄像头的多应用共享摄像头的方法的Camera双流的停止流程，具体包括：

应用进程关闭Camera 0时，析构其对应的MultiVirtualSensor实例；

应用进程关闭Camera 1时，析构其对应的MultiVirtualSensor实例；

判定MultiVirtualVideoInfo实例引用计数是否为1；

若引用计数为2，则减少计数为1，另一路Camera可正常使用；

若引用计数为1，则退出线程MultiVirtualVideoInfoThread；

当两路虚拟CameraSensor都关闭后，析构MultiVirtualVideoInfo实例。

本发明实施例公开的基于多实例虚拟摄像头的多应用共享摄像头的方法，应用于在Android平台智能终端设备上，能够实现两个应用同时获取同一摄像头视频流，解决摄像头资源抢占和冲突问题，降低硬件对业务功能的限制，在Android平台智能终端设备有良好应用前景。

本发明实施例公开的技术方案和实施例中公开的技术细节，仅是示例性说明本发明的发明构思，并不构成对本发明实施例技术方案的限定，凡是对本发明实施例公开的技术细节所做的常规改变、替换或组合等，都与本发明具有相同的发明构思，都在本发明权利要求的保护范围之内。

Claims

1.基于多实例虚拟摄像头的多应用共享摄像头的方法，其特征在于，包括：

两路虚拟Camera Sensor配置为对上层提供两路摄像头资源；

其中，Camera双流的启动流程，具体包括：

如果是实际设备，则通过原生逻辑流程使用摄像头；

如果是虚拟设备，则启动双流虚拟摄像头逻辑，则Hal层创建MultiVirtualSensor实例，并根据当前引用计数来创建单例MultiVirtualVideoInfo和对应轮询线程，避免重复创建线程；

应用进程请求摄像头数据，并发访问MultiVirtualVideoInfo::captureNV21()；captureNV21()使用GE2D对缓存buffer中的数据进行图形转换，然后拷贝到应用进程供应用使用；

一路虚拟Camera Sensor访问Android系统的真实Camera Sensor实例的方法包括：

应用申请访问虚拟Camera Sensor时，从缓存buffer中读取数据，上传到应用；

Camera双流的停止流程具体包括：

应用进程关闭两路虚拟Camera Sensor时，销毁对应的MultiVirtualSensor实例；其中，

当一路虚拟Camera sensor关闭时，MultiVirtualVideoInfo实例和轮询线程MultiVirtualVideoInfoThread减少引用计数，另一路Camera可正常使用；

当两路虚拟CameraSensor都关闭后，销毁线程MultiVirtualVideoInfoThread和MultiVirtualVideoInfo实例；

Android系统的驱动层识别摄像头，生成摄像头硬件的设备节点，真实Camera Sensor实例通过设备节点操作摄像头硬件，进行视频流抓取、分辨率获取和设置；真实CameraSensor实例对上作为服务端, 循环从摄像头硬件的驱动节点抓取数据，存入缓存buffer；应用申请摄像头资源时候创建虚拟Camera Sensor，创建的虚拟Camera Sensor作为客户端分配给应用，当应用申请摄像头流时，从缓存buffer中取出数据，并根据应用需求做处理，上抛给应用；基于虚拟Camera Sensor的Camera双流方案不影响应用逻辑，应用可按通用流程访问两路Camera；

所述基于多实例虚拟摄像头的多应用共享摄像头的方法，利用基于多实例虚拟摄像头的多应用共享摄像头系统实现，所述系统具体包括：

（一）应用层，配置有使用摄像头的两个应用；

（二）Framework层，配置有CameraManager，用于管理摄像头硬件；所述CameraManager是Android系统中的相机管理器，提供了访问相机摄像头硬件的接口，通过CameraManager获取相机列表、打开相机、设置相机参数操作；CameraManager通过AIDL访问CameraService，CameraService通过hidl访问Camera hal；

（三） Hal层，包括Camera Hal层，配置为创建两路虚拟Camera Sensor；当应用进程首次打开摄像头时，在Hal层创建MultiVirtualSensor实例，同时创建MultiVirtualVideoInfoThread线程；MultiVirtualSensor类继承原生Sensor类，提供操作摄像头和获取摄像头属性的方法；MultiVirtualVideoInfoThread类是MultiVirtualVideoInfo的内部类，继承Android标准Thread类，实现轮询抓取驱动节点摄像头流，送入解码器解码然后拷贝到缓冲buffer；

（四）内核层，配置有驱动程序；摄像头硬件在采集到数据后，通过USB/MIPI协议传输到主控，驱动结合v4l2框架，产生设备节点；

（五）硬件层，配置有摄像头硬件。

2.智能终端设备，其特征在于，所述智能终端设备包括一个或多个处理器，一个或多个存储器，一个或多个所述存储器存储有计算机程序指令，当所述计算机程序指令被执行时，智能终端设备执行权利要求1所述的基于多实例虚拟摄像头的多应用共享摄像头的方法。

3.计算机可读介质，其特征在于，所述计算机可读介质存储有计算机程序指令，当计算机程序指令被执行时，执行权利要求1所述的基于多实例虚拟摄像头的多应用共享摄像头的方法。