CN214756619U - 一种直播摄像头 - Google Patents

Abstract

本实用新型公开了一种直播摄像头，包括：外壳、摄像头模组、音频数据采集模块和/或音频信号输入端、DSP处理器、音视频处理器、第一接口模块和第二接口模块，所述摄像头模组包括用于采集每帧直播现场图像的第一摄像头模组和用于采集每帧直播现场图像对应的深度值数据的第二摄像头模组，所述第一摄像头模组和所述第二摄像头模组分别与所述音视频处理器连接。本实用新型通过设置第二摄像头模组获取每帧直播图像对应的深度值数据，音视频处理器通过该深度值数据能够抠出直播图像中的前景图像，并将该前景图像与设置好的背景图像进行融合，实现在直播时实时换背景的目的。

Description

一种直播摄像头

技术领域

本申请涉及直播视频摄像领域，具体涉及一种直播摄像头。

背景技术

现有的摄像头能够实现摄像功能，直播领域使用的摄像头在满足通常摄像功能的基础上有些还具有美图功能，使直播人员的容貌美化。而如果需要对摄像头采集到的背景图像进行改变，需要额外提供处理器，例如电脑，对摄像头采集到的图像通过处理器进行抠图和融合，通常的抠图和背景融合技术方法是：首先摄像头获取RGB图像，再将摄像头获取的图像发送至电脑的处理器，处理器利用图像处理算法抠出目标图像，滤除原始背景图像部分，再将目标图像和设定背景图像进行融合。这种系统由于图像处理算法复杂，因此需要一台外置电脑来处理图像数据，因此不具备便携性，其图像效果以及非即时性的特点更适合应用于影视行业中绿幕摄影等对即时性要求不高，可以进行后期处理的领域。

实用新型内容

有鉴于此，本实用新型的目的在于提供一种直播摄像头，其能够实时对网络直播现场图像进行抠图和背景图像融合，能够实现高响应的直播视频背景更换及音频处理、高效输出，且便携。

为达到上述目的，本实用新型采用如下技术方案：

一种直播摄像头，包括：外壳、摄像头模组、音频数据采集模块和/ 或音频信号输入端、DSP处理器、音视频处理器、第一接口模块和第二接口模块；

所述摄像头模组固定至所述外壳，包括用于采集每帧直播现场图像的第一摄像头模组和用于采集每帧直播现场图像对应的深度值数据的第二摄像头模组，所述第一摄像头模组和所述第二摄像头模组分别与所述音视频处理器连接；

所述音频数据采集模块设置在所述外壳上，并与所述DSP处理器相连，用于采集直播音频数据，并将所述直播音频数据发送给所述DSP处理器；

所述音频信号输入端用于输入音频信号，并与所述DSP处理器连接；

所述DSP处理器设置在所述外壳内，用于对所述直播音频数据或所述音频信号进行数字化处理得到数字音频数据，将数字音频数据发送给所述音视频处理器；

所述音视频处理器设置在所述外壳内，所述音视频处理器与所述 DSP处理器连接，用于对输入所述音视频处理器的所述数字音频数据、所述每帧直播现场图像和深度值数据进行处理，并生成音视频信号；

所述第一接口模块和第二接口模块均设置在所述外壳上，并与所述音视频处理器连接；所述第一接口模块用于连接外部设备以供所述音视频处理器从外部设备接收背景图像；所述第二接口模块用于向外部输出音视频信号。

可选地，所述第一接口模块包括第一USB接口、type C接口、U盘接口和TF卡接口中的至少一种。

可选地，所述第二接口模块包括第二USB接口。

可选地，所述直播摄像头还包括电源管理单元，所述电源管理单元设置于所述外壳内，并与所述第二USB接口连接。

可选地，所述直播摄像头还包括音频信号输出端，所述音频信号输出端设置在所述外壳上，并与所述DSP处理器连接，用于将所述DSP处理器处理后得到的数字音频数据输出至外部音频播放设备；

所述音频信号输出端包括第一音频信号输出端和第二音频信号输出端，所述第一音频信号输出端与所述音频信号输入端集成为耳麦接口，所述第二音频信号输出端为音响接口。

可选地，所述直播摄像头还包括第一运算放大器、第一AD转换器，其中，所述音频数据采集模块的输出端与所述第一运算放大器的输入端连接，所述第一运算放大器的输出端通过所述第一AD转换器与所述DSP 处理器连接。

可选地，所述直播摄像头还包括控制器，所述第一AD转换器的输出端与所述控制器的输入端连接，所述控制器与所述DSP处理器连接。

可选地，所述直播摄像头还包括第二运算放大器和第二AD转换器，其中，所述第二运算放大器的输入端与所述音频信号输入端连接，所述第二运算放大器的输出端通过所述第二AD转换器与所述DSP处理器的输入端连接。

可选地，所述直播摄像头还包括第三运算放大器和第一DA转换器，其中，所述DSP处理器的输出端与所述第一DA转换器的输入端连接，所述第一DA转换器的输出端通过所述第三运算放大器与所述第一音频信号输出端连接。

可选地，所述直播摄像头还包括第四运算放大器和第二DA转换器，其中，所述DSP处理器的输出端与所述第二DA转换器的输入端连接，所述第二DA转换器的输出端通过所述第四运算放大器与所述第二音频信号输出端连接。

本实用新型的有益效果：

本实用新型的直播摄像头特别适用于直播领域，通过利用第一摄像头模组获取的每帧直播现场图像和第二摄像头模组获取的每帧直播现场图像的深度值数据，内置的音视频处理器可以快速地抠出每帧直播现场图像中的主播身体位置及前方的图像作为前景图像，并将该前景图像与设置好的背景图像进行融合，实现在直播时实时换背景的目的，有效消除直播画面中的环境干扰因素；同时，借助于音频数据采集模块或音频信号输入端获取直播音频数据或音频信号，DSP处理器对直播音频数据或音频信号进行处理得到数字音频数据，音视频处理器还能将融合图像与数字音频数据进行时间匹配，从而使输出的融合图像和数字音频数据保持同步，增强直播效果。另外，由于将摄像头模组以及音视频处理器有机结合在一个摄像头中，使得具有抠图融合功能的摄像头具有便携的特点。

附图说明

通过以下参照附图对本实用新型实施例的描述，本实用新型的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本实用新型的一种优选实施方式的直播摄像头的原理框图。

具体实施方式

以下基于实施例对本实用新型进行描述，但是本实用新型并不仅仅限于这些实施例。在下文对本实用新型的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本实用新型。为了避免混淆本实用新型的实质，公知的方法、过程、流程、元件并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本实用新型的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本实用新型的描述中，除非另有说明，“多个”的含义是两个或两个以上。

参见图1，本实用新型的实施例提供了一种直播摄像头，包括：外壳、摄像头模组、音视频处理器、第一接口模块和第二接口模块。

其中摄像头模组固定在外壳上，摄像头模组包括第一摄像头模组和第二摄像头模组，第一摄像头模组和第二摄像头模组分别与音视频处理器连接。

第一接口模块和第二接口模块均设置在外壳上，第一接口模块和第二接口模块均与音视频处理器连接。

本实用新型应用于网络直播领域，其主要解决在直播过程中，将主播的实时背景进行替换，以模拟出主播在其它场景进行直播的效果。

基于此，第一摄像头模组能够采集每帧直播现场图像，并将该每帧直播现场图像发送给音视频处理器；同时，第二摄像头模组采集每帧直播现场图像对应的深度值数据，并将该深度值数据发送给音视频处理器；另外，音视频处理器还通过第一接口模块获取背景图像。

在一种具体实施方式中，第一摄像头模组可以为CMOS摄像头或CCD 摄像头；第二摄像头模组可以为结构光、TOF模组，优选为TOF模组。

在一种具体实施方式中，第一摄像头模组采用CMOS摄像头，第二摄像头模组采用TOF模组进行示例性说明。

CMOS摄像头能够采集每帧直播现场图像，TOF模组采集每帧直播现场图像对应的深度值数据；音视频处理器分别从CMOS摄像头处获取每帧直播现场图像，从TOF模组处获取每帧直播现场图像对应的深度值数据，还从第一接口模块获取背景图像。

音视频处理器将每帧直播现场图像对应的深度值数据赋值到对应帧直播现场图像中，进而抠出每帧直播现场图像中深度值符合预定条件的信息点作为每帧前景图像，再将每帧前景图像与背景图像融合形成每帧融合图像。

具体的，每帧直播现场图像由若干个像素点组成，深度值数据由若干个深度值组成，每个深度值均对应每帧直播图像中的一个或者相邻的多个像素点，依据深度值与像素点的对应关系，将深度值赋值到对应的像素点上，因而每帧直播现场图像的全部或部分像素点被赋有深度值；

当然，只有TOF模组工作范围和CMOS摄像头的工作范围的交替部分的像素点能够被赋予深度值。

预定条件，可以为一个设定数值，将深度值与该设定值进行对比，判断出所有小于该设定数值的深度值，抠出该部分小于设定数值的深度值所对应的像素点，这些像素点的集合即为每帧前景图像。

具体的：主播坐在座椅上进行直播，主播的面前通常会摆放有桌子，在桌子上设置直播用设备，主播距离TOF模组约为0.5m-1m，如设定数值为1m，因而所抠出的每帧前景图像只会包括的主播图像、桌子及直播用设备，而座椅后侧的原始背景图像则被舍弃。

将每帧前景图像与通过第一接口模块获取的背景图像进行融合形成每帧融合图像，从而实现前述模拟出主播在其它场景进行直播的效果的目的。

第二接口模块与音视频处理器连接，音视频处理器将每帧融合图像通过第二接口模块对外输出。

在一具体实施方式中，音视频处理器通过I2C总线控制CMOS摄像头和TOF模组，如：音视频处理器可控制CMOS摄像头和TOF模组的开启和关闭；音视频处理器通过MIPI总线从CMOS摄像头获取每帧直播现场图像、从TOF模组获取每帧直播现场图像对应的深度值数据。

作为一种优选方案，直播摄像头还包括音频数据采集模块和DSP处理器。

音频数据采集模块设置在外壳上，并与DSP处理器相连，音频数据采集模块能够采集直播音频数据，并将该直播音频数据发送给DSP处理器；DSP处理器设置在外壳内，DSP处理器接收直播音频数据并对该直播音频数据进行数字化处理得到数字音频数据，再将数字音频数据发送给音视频处理器。

在一种具体的实施方式中，音频数据采集模块包括硅麦矩阵，硅麦矩阵使得直播摄像头在无需外接拾音设备的情况下也能够正常进行拾音。

音视频处理器在通过第二接口模块对外输出每帧融合图像之前，还将每帧融合图像和数字音频数据进行时间匹配；因而，音视频处理器通过第二接口模块对外输出每帧融合图像和与该帧融合图像时间匹配的数字音频数据。

音频数据采集模块所采集的直播音频数据为模拟音频数据，DSP处理器对直播音频数据进行数字化处理是指，将模拟音频数据转化为数字音频数据；此外，该数字化处理还包含对直播音频数据进行音效处理，该音效处理包括去除直播音频数据中的环境杂音、对直播音频数据中的声音进行均衡、对直播音频数据中的声音进行变声以及混响调节等。

所谓“时间匹配”是指，CMOS摄像头与音频数据采集模块在同一时间点或同一时间段分别采集的每帧直播现场图像和直播音频数据时间匹配，相应的，该每帧直播现场图像所形成的每帧融合图像和该直播音频数据所形成的数字音频数据时间匹配。

在一种具体实施方式中，直播摄像头还包括音频信号输入端，音频信号输入端设置在壳体上，音频信号输入端与DSP处理器连接；音频信号输入端用于输入音频信号，并将该音频信号发送至音视频处理器。

音频信号输入端所获取的音频信号与音频数据采集模块所获取的直播音频数据相同，DSP处理器可将音频信号进行数字化处理得到数字音频数据，同时进行音效处理。

在一种具体的实施方式中，第一接口模块包括第一USB接口、type C接口、U盘接口和TF卡接口中的至少一种；第二接口模块包括第二USB 接口。

在实际应用时，第一USB接口和第二USB接口均与外接设备连接，此处外接设备以PC为例，其中PC通过第一USB接口将其内部存储的背景图像传输至音视频处理器中，PC通过第二USB接口获取经音视频处理器处理后得到的融合图像和对应的数字音频数据；此外，主播或辅助工作人员通过PC上搭载的软件输入控制指令，该控制指令通过第二USB 接口输入至音视频处理器中该控制指令可以包括：CMOS摄像头的开启和关闭、音频数据采集模块的开启和关闭、TOF模组的开启和关闭、预定条件的设定等。

U盘接口和TF卡接口可用于分别插接U盘和TF卡，在U盘和TF卡内可存储背景图像，音视频处理器还可通过U盘和TF卡获取背景图像。

在一种具体实施方式中，外壳内还设置有电源管理单元，电源管理单元与第二USB接口连接。

在第二USB接口与PC连接时，PC还可通过第二USB接口为音视频处理器、摄像头模组、音频数据采集模块和DSP处理器等供电。

作为可选方案，外壳上还设置有无线通讯模块，无线通讯模块与音视频处理器连接，外接控制设备与该无线通讯模块无线连接，外接控制设备能够获取每帧每帧融合图像和与该帧融合图像时间匹配的数字音频数据、发送控制指令、发送背景图像。

在一种具体实施方式中，外壳内还设置有第一运算放大器、第一AD 转换器，硅麦矩阵的输出端与第一运算放大器的输入端连接，第一运算放大器的输出端通过第一AD转换器与DSP处理器连接。

硅麦矩阵所采集的直播音频数据经第一运算放大器进行信号放大；经第一AD转换器，第一AD转换器将直播音频数据的模拟信号转化为数字信号，最后送入至DSP处理器中。

需要说明的是，DSP处理器也具有将直播音频数据的模拟信号转化为数字信号的能力，而单独设置第一AD转换器，第一AD转换器的转化能力相较于DSP处理器的转化能力更强，具体体现在直播音频数据经第一AD转换器转化后更贴近于原音、第一AD转换器的转化效率也更高。

作为一种优选的方案，壳体内还设置有控制器，第一AD转换器通过该控制器与DSP处理器连接；具体的，第一AD转换器的输出端与控制器的输入端连接，控制器与DSP处理器连接。

控制器能够对直播音频数据进行音效处理，DSP处理器也能够对直播音频数据进行音效处理，但控制器的音效处理有别于DSP处理器的音效处理，具体为：DSP处理器的音效处理所提供的音效为通用音效，控制器提供音效为特别音效，特别音效如模拟某明星的特别音效，在实际应用中，控制器的音效可根据使用者的不同需求而特别定制。

外壳上还设置有音频信号输出端，音频信号输出端与DSP处理器连接。

音频信号输出端上可以连接外接音频播放设备，例如，音响等，每帧融合图像数据与对应的数字音频数据实时输出时，这部分数字音频数据还通过音视频处理器至DSP处理器，DSP处理器将其转化为模拟音频数据并输出至音频信号输出端，实现本地监听的功能。

具体的，音频信号输出端包括第一音频信号输出端和/或第二音频信号输出端，第一音频信号输出端与音频信号输入端集成为耳麦接口，旨在与耳麦连接；第二音频信号输出端构成音响接口，旨在与外接扩音设备连接。

当然，外壳内安装有第二运算放大器和第二AD转换器，第二运算放大器的输入端与音频信号输入端连接，第二运算放大器的输出端通过第二AD转换器与DSP处理器的输入端连接。

音频信号输入端所获取的音频信号经第二运算放大器进行信号放大；经第二AD转换器，第二AD转换器将音频信号由模拟信号转化为数字信号，最后送入至DSP处理器中。

外壳内安装有第三运算放大器和第一DA转换器，DSP处理器的输出端与第一DA转换器的输入端连接，第一DA转换器的输出端通过第三运算放大器与第一音频信号输出端连接。

外壳内安装有第四运算放大器和第二DA转换器，DSP处理器的输出端与第二DA转换器的输入端连接，第二DA转换器的输出端通过第四运算放大器与第二音频信号输出端连接。

数字音频数据经第一DA转换器，第一DA转换器将数字音频数据从数字信号转化为模拟信号，再经第三运算放大器进行信号放大，至插入耳麦接口中的耳麦，实现监听功能。

同样，DSP处理器也具有将数字化处理后的直播音频数据从数字信号转化为模拟信号的能力，而单独设置第一DA转换器，第一DA转换器的转化能力相较于DSP处理器的转化能力更强，具体体现在数字化处理后的直播音频数据转化后更贴近于原音、第一DA转换器的转化效率也更高。

第四运算放大器与第三运算放大器的功能相同，第二DA转换器与第一DA转换器的功能相同，在此就不再赘述。

本领域的技术人员容易理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本实用新型的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本实用新型的权利要求范围内。

Claims (10)

1.一种直播摄像头，其特征在于，包括：外壳、摄像头模组、音频数据采集模块和/或音频信号输入端、DSP处理器、音视频处理器、第一接口模块和第二接口模块；

所述摄像头模组固定在所述外壳上，包括用于采集每帧直播现场图像的第一摄像头模组和用于采集每帧直播现场图像对应的深度值数据的TOF模组，所述第一摄像头模组和所述TOF模组分别与所述音视频处理器连接；

所述音频数据采集模块设置在所述外壳上，并与所述DSP处理器相连，用于采集直播音频数据，并将所述直播音频数据发送给所述DSP处理器；

所述音频信号输入端用于输入音频信号，并与所述DSP处理器连接；

所述DSP处理器设置在所述外壳内，用于对所述直播音频数据或所述音频信号进行数字化处理得到数字音频数据，将所述数字音频数据发送给所述音视频处理器；

所述音视频处理器设置在所述外壳内，所述音视频处理器与所述DSP处理器连接，用于对输入所述音视频处理器的所述数字音频数据、所述每帧直播现场图像和深度值数据进行处理，生成音视频信号；

所述第一接口模块和第二接口模块均设置在所述外壳上，并与所述音视频处理器连接；所述第一接口模块用于连接外部设备以供所述音视频处理器从外部设备接收背景图像；所述第二接口模块用于向外部输出所述音视频信号。

2.根据权利要求1所述的直播摄像头，其特征在于，所述第一接口模块包括第一USB接口、type C接口、U盘接口和TF卡接口中的至少一种。

3.根据权利要求1所述的直播摄像头，其特征在于，所述第二接口模块包括第二USB接口。

4.根据权利要求3所述的直播摄像头，其特征在于，还包括电源管理单元，所述电源管理单元设置于所述外壳内，并与所述第二USB接口连接。

5.根据权利要求1所述的直播摄像头，其特征在于，还包括音频信号输出端，所述音频信号输出端设置在所述外壳上，并与所述DSP处理器连接，用于将所述DSP处理器处理后得到的数字音频数据输出至外部音频播放设备；

所述音频信号输出端包括第一音频信号输出端和/或第二音频信号输出端，所述第一音频信号输出端与所述音频信号输入端集成为耳麦接口，所述第二音频信号输出端为音响接口。

6.根据权利要求1所述的直播摄像头，其特征在于，所述直播摄像头还包括第一运算放大器、第一AD转换器，其中，所述音频数据采集模块的输出端与所述第一运算放大器的输入端连接，所述第一运算放大器的输出端通过所述第一AD转换器与所述DSP处理器连接。

7.根据权利要求6所述的直播摄像头，其特征在于，所述直播摄像头还包括控制器，所述第一AD转换器的输出端通过所述控制器与所述DSP处理器连接。

8.根据权利要求1所述的直播摄像头，其特征在于，还包括第二运算放大器和第二AD转换器，其中，所述第二运算放大器的输入端与所述音频信号输入端连接，所述第二运算放大器的输出端通过所述第二AD转换器与所述DSP处理器的输入端连接。

9.根据权利要求5所述的直播摄像头，其特征在于，所述直播摄像头还包括第三运算放大器和第一DA转换器，其中，所述DSP处理器的输出端与所述第一DA转换器的输入端连接，所述第一DA转换器的输出端通过所述第三运算放大器与所述第一音频信号输出端连接。

10.根据权利要求5所述的直播摄像头，其特征在于，所述直播摄像头还包括第四运算放大器和第二DA转换器，其中，所述DSP处理器的输出端与所述第二DA转换器的输入端连接，所述第二DA转换器的输出端通过所述第四运算放大器与所述第二音频信号输出端连接。

Images