CN117014673A - 一种导播机用核心板及导播系统 - Google Patents
一种导播机用核心板及导播系统 Download PDFInfo
- Publication number
- CN117014673A CN117014673A CN202310985795.5A CN202310985795A CN117014673A CN 117014673 A CN117014673 A CN 117014673A CN 202310985795 A CN202310985795 A CN 202310985795A CN 117014673 A CN117014673 A CN 117014673A
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- audio
- director
- core board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000872 buffer Substances 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000002093 peripheral effect Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开一种导播机用核心板及导播系统,涉及互联网技术领域,包括主处理器、RAM随机存储器、闪存EMMC、电源管理芯片、系统电源和对外接口组件,所述主处理器与RAM随机存储器、闪存EMMC和电源管理芯片通讯连接,所述RAM随机存储器与电源管理芯片通讯连接,闪存EMMC电源管理芯片通讯连接,所述电源管理芯片与主处理器、RAM随机存储器和闪存EMMC通讯连接;还包括虚拟摄像头、虚拟音频和视频扣绿,通过将所述虚拟摄像头数据存缓冲区中,直播软件可以灵活调用不同的摄像头画面。具备更强的外设接口拓展能力、优化的低功耗性能、卓越的存储解决方案和高性能的处理器集成。这使得它更适合满足不同应用场景下的需求,提供更加高效、可靠的设备性能和用户体验。
Description
技术领域
本发明涉及互联网技术领域,尤其是指一种导播机用核心板及导播系统。
背景技术
在现代电子设备中,核心板是一个重要的组成部分,它承载着处理器、存储器和各种外设接口等关键元件。核心板的设计和制造对于设备的性能和功能起着至关重要的作用。
随着自媒体的盛行,每个用户都可以成为导演,每个场景也能成为拍摄现场,任何用户随时随地进行网络导播成为一种趋势,这样就使得使用便携移动终端对需高配置应用程序的运行画面进行导播成为亟待解决的问题。
在现有技术中核心板的缺点主要体现在一下方面:
接口数量较少或者无法满足特定应用需求,这可能导致用户在连接外部设备时的局限性,限制了其功能拓展性和灵活性;
无法充分满足低功耗应用的需求,这可能导致设备在长时间运行时能耗较高,影响其使用寿命和性能表现;
存储速度较慢或者容量不足可能影响设备的数据处理和存储能力。
另外,现有的导播系统存在以下的不足:
摄像头数量有限、无法支持实时图像处理;
音频输出和控制较于单一,无法实现多样化的音频体验;
固定单一的视频背景,影响直播的视觉效果和观赏性。
因此,我们提出一种导播机用核心板及导播系统来解决上述中存在的问题。
发明内容
有鉴于此,本发明针之缺失,其主要目的是提供一种导播机用核心板及导播系统,其作用在于解决上述问题。
为实现上述目的,本发明采用如下之技术方案:包括主处理器、RAM随机存储器、闪存EMMC、电源管理芯片、系统电源和对外接口组件,所述主处理器与RAM随机存储器、闪存EMMC和电源管理芯片通讯连接,所述RAM随机存储器与电源管理芯片通讯连接,所述闪存EMMC电源管理芯片通讯连接,所述电源管理芯片与主处理器、RAM随机存储器和闪存EMMC通讯连接;
所述主处理器采用的是RK3588S,所述RK3588S为六核心处理器架构,其包括四个ARM Cortex-A76高性能核心和两个ARM Cortex-A55高效能核心;
所述RAM随机存储器用于临时存储运行时的数据和缓存,所述RK3588S支持DDR4和LPDDR4x内存类型,用于提供多个内存通道;
所述闪存EMMC用于存储操作系统、应用程序和数据;
所述电源管理芯片负责为核心板和相关外设提供电源,并管理电源的分配和调节;
所述系统电源电源管理芯片电性连接,用于提供整个核心板的电源;
所述对外接口组件包括包括TYPE-C接口、拓展IO、WIFI/蓝牙接口、以太网接口、PCIE和SATA接口、USB3.0/2.0接口、MIPI摄像头接口、显示设备接口。
作为一种优选方案,所述TYPE-C接口用于烧录程序,所述拓展IO用于控制外设设备,所述WIFI/蓝牙接口用于实现无线网连接和数据传输,所述以太网接口用于有线网络连接。
作为一种优选方案,所述PCIE和SATA接口通过转换芯片将PCIE拓展成USB接口,所述USB3.0/2.0接口用于连接USB设备,其中包括USB摄像头、声卡和U盘鼠标。
作为一种优选方案,所述MIPI摄像头接口支持DPHY协议和CPHY协议,所述显示设备接口支持多种视频编解码标准,其中包括H.264、H.265和VP9,可实现高清和4K视频的流畅播放和编码,并且支持音频编解码和音频输出功能。
一种导播机用导播系统,应用在导播机用核心板上,包括虚拟摄像头、虚拟音频和视频扣绿,通过将所述虚拟摄像头数据存缓冲区中,直播软件可以灵活调用不同的摄像头画面,并实时处理图像数据;所述虚拟音频将音频数据写入创建好的缓冲区中,通过对缓冲区的处理以及调用实现对音频输出和控制;所述视频抠绿将视频中特定颜色的背景完全去除,并替换为其他景物或背景。
作为一种优选方案,所述虚拟摄像头将采集到的视频数据,转化成帧格式为1920x1080的nv12格式的数据存储到缓冲区中,提供摄像头管理、数据接收和存储、数据处理和调用功能;
导播台界面中提供摄像头添加、删除和切换摄像头功能;
实现数据处理模块,包括图像处理、实时滤镜和特效功能,以提供丰富的视频流制作能力;
直播软件通过对缓冲区中的数据进行调用获取摄像头数据以及对视频实时处理后的数据进行展示和直播。
作为一种优选方案,在导播系统中设计两个缓冲区,其中一个为播放缓冲区,另外一个为录音缓冲区,导播系统自动将音频转化为,音频格式为48KHZ,双通道立体声,PCM16格式的数据写入到上述两个缓冲区中,通过对缓冲区内音频的处理实现不同的功能。
作为一种优选方案,直播软件及第三方软件均可以对缓冲区的数据进行调用来访问虚拟音频实现声音输出到直播间和喇叭中,并在此缓冲区内可进行虚拟音频音量调节、静音、混音的控制;
将第三方软件或者直播机中至少一种自带的音频频段写入缓冲区,然后通过对缓冲区的读取实现将第三方音乐导入到直播间或者输出到喇叭中;
在导播系统中设计两个回调接口,提供在音频最后输出时,通过此接口对音频进行处理,实现变音,变调和美声功能。
作为一种优选方案,所述视频扣绿包括彩色空间转换、颜色分离、前景提取和背景替换。
作为一种优选方案,所述空间转换包括将视频的彩色空间从RGB转换为HSV(色相、饱和度、亮度)或YUV(亮度、色度)空间中的至少一种;
所述颜色分离包括在HSV或YUV空间中,通过设置特定颜色的范围,使用阈值分割的方法将该颜色与其他颜色分离开来;
所述前景提取包括通过分离出的特定颜色范围,将其视为前景物体,并移除其他颜色的信息;
所述背景替换包括分离出的前景物体与新的背景进行合成。
本发明与现有技术相比具有明显的优点和有益效果,具体而言,由上述技术方案可知,其主要是;
本发明中的核心板具备更强的外设接口拓展能力、优化的低功耗性能、卓越的存储解决方案和高性能的处理器集成,这使得它更适合满足不同应用场景下的需求,提供更加高效、可靠的设备性能和用户体验;
本发明通过虚拟摄像头、虚拟音频和视频扣绿等技术可以为直播软件提供更多的功能和创意表现空间,通过将摄像头数据存储在缓冲区中,直播软件可以实现灵活的摄像头切换和实时图像处理,虚拟音频技术则实现了对音频的输出和控制,可以实现丰富多样的音频体验,增强用户感知和交互体验,而视频抠绿技术可以去除背景并替换为其他景物,增加视频的创意和视觉效果。
为更清楚地阐述本发明的结构特征和功效,下面结合附图与具体实施例来对本发明进行详细说明。
附图说明
图1是本发明之实施例核心板的系统框架示意图;
图2是本发明之实施例虚拟摄像头流程示意图;
图3是本发明之实施例虚拟音频流程示意图;
图4是是本发明之实施例视频扣绿流程示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
请参阅图1,本发明实施例提供了一种导播机用核心板及导播系统,包括主处理器、RAM随机存储器、闪存EMMC、电源管理芯片、系统电源和对外接口组件,所述主处理器与RAM随机存储器、闪存EMMC和电源管理芯片通讯连接,所述RAM随机存储器与电源管理芯片通讯连接,所述闪存EMMC电源管理芯片通讯连接,所述电源管理芯片与主处理器、RAM随机存储器和闪存EMMC通讯连接;
所述主处理器采用的是RK3588S,所述RK3588S为六核心处理器架构,其包括四个ARM Cortex-A76高性能核心和两个ARM Cortex-A55高效能核心;
所述RAM随机存储器用于临时存储运行时的数据和缓存,所述RK3588S支持DDR4和LPDDR4x内存类型,用于提供多个内存通道;
所述闪存EMMC用于存储操作系统、应用程序和数据;
所述电源管理芯片负责为核心板和相关外设提供电源,并管理电源的分配和调节;
所述系统电源电源管理芯片电性连接,用于提供整个核心板的电源;
所述对外接口组件包括包括TYPE-C接口、拓展IO、WIFI/蓝牙接口、以太网接口、PCIE和SATA接口、USB3.0/2.0接口、MIPI摄像头接口、显示设备接口;
核心板Rockchip RK3588S新一代旗舰级八核64位处理器,最大可配128GB大内存,支持8K视频编解码,拥有丰富的接口,支持多硬盘、千兆网、WiFi6、5G/4G扩展和多种视频输入输出,支持多种操作系统,可适用于ARM PC、边缘计算、云服务器、智能NVR等领域,RK3588s核心板搭载了高性能的中央处理器,能够处理复杂的计算任务,它还采用了双倍数据率内存技术,提供快速的数据访问和传输速度,与此同时,它支持嵌入式多媒体卡存储解决方案,使得数据存储更加稳定和可靠,为了提供全面的外设接口,RK3588s核心板还集成了多个接口,PMIC(功率管理集成电路)、SATA(串行高级技术附件)、HDMI(高清晰度多媒体接口)、EDP(嵌入式显示端口)等,以满足用户的需求。
首先,RK3588s核心板在外设接口方面拥有更强的拓展能力,它提供更多的接口选项,并支持灵活的接口配置,使用户能够更好地满足不同应用场景和需求,这为用户提供了更大的灵活性和功能拓展性,使他们能够轻松连接和控制各种外部设备。
其次,RK3588s核心板在功耗控制方面进行了优化,它采用了新的功耗管理策略和电源管理单元,实现了更高的功耗效率和长时间运行的能力,这意味着用户可以在保证性能的同时,减少能源消耗,延长设备的使用寿命,并降低运行成本。
此外,RK3588s核心板的存储解决方案进行了优化,提供了更快的存储速度和更大的存储容量,它采用先进的存储技术,使数据的读写操作更加高效和可靠,这为用户的大规模数据处理和存储需求提供了更好的支持,提升了设备的数据处理能力和用户体验。
另外,RK3588s核心板集成了高性能的处理器,具备处理复杂计算任务的能力,它采用先进的处理器架构和优化算法,提供了卓越的计算性能和智能处理能力,这为应用领域如物联网、人工智能等提供了更强大的计算支持,加快了数据处理和分析的速度,提高了设备的整体性能。
综上所述,RK3588s核心板相较于最好的现有技术,具备更强的外设接口拓展能力、优化的低功耗性能、卓越的存储解决方案和高性能的处理器集成,这使得它更适合满足不同应用场景下的需求,提供更加高效、可靠的设备性能和用户体验。
请参阅图1,所述TYPE-C接口用于烧录程序,被用于通过连接计算机或其他设备来烧录程序,即将软件程序加载到设备中,所述拓展IO用于控制外设设备,所述WIFI/蓝牙接口用于实现无线网连接和数据传输,通过搭载WIFI和蓝牙接口的设备,可以实现无线网络连接和数据传输,使用WIFI接口,设备可以连接到Wi-Fi网络,并进行高速的互联网访问和数据传输,使用蓝牙接口,所述以太网接口用于有线网络连接,以太网接口是一种用于有线网络连接的标准接口,通过连接到以太网,设备可以与局域网或互联网进行通信和数据交换,此接口通常用于实现高速、稳定的有线网络连接。
请参阅图1,所述PCIE和SATA接口通过转换芯片将PCIE拓展成USB接口,使原本只支持PCIE或SATA接口的设备能够通过USB接口与其他设备连接,在该转换过程中,转换芯片充当了桥梁的角色,所述转换芯片为现有技术在本文中不做多余的赘述,将PCIE或SATA接口的数据信号转换为USB协议所需的信号格式,这使得设备具备了通过USB接口与其他设备进行通信和数据传输的能力,所述USB3.0/2.0接口用于连接USB设备,其中包括USB摄像头、声卡和U盘鼠标。
请参阅图1,所述MIPI摄像头接口支持DPHY协议和CPHY协议,DPHY协议是MIPI定义的一种串行数据传输协议,适用于低功耗和高速数据传输的场景,它支持多通道数据传输,能够实现高分辨率图像的采集和传输,并且具有较低的功耗特性,CPHY协议是MIPI定义的一种混合模式数据传输协议,结合了低功耗和高速数据传输的优势,它通过在不同的频段上传输数据,可以同时支持高带宽和低功耗的需求,CPHY协议在保证高质量图像传输的同时,也考虑到了设备设计的功耗和成本因素,所述显示设备接口支持多种视频编解码标准,其中包括H.264、H.265和VP9,这些编解码标准是用于压缩和解压缩视频数据的算法,能够实现高清和4K等不同分辨率的视频的流畅播放和编码,并且支持音频编解码和音频输出功能。
请参阅图1至图4,包括虚拟摄像头、虚拟音频和视频扣绿,通过将所述虚拟摄像头数据存缓冲区中,直播软件可以灵活调用不同的摄像头画面,并实时处理图像数据;所述虚拟音频将音频数据写入创建好的缓冲区中,通过对缓冲区的处理以及调用实现对音频输出和控制;所述视频抠绿将视频中特定颜色的背景完全去除,并替换为其他景物或背景。
请参阅图1至图4,所述虚拟摄像头将采集到的视频数据,转化成帧格式为1920x1080的nv12格式的数据存储到缓冲区中,提供摄像头管理、数据接收和存储、数据处理和调用功能,虚拟摄像头需要管理计算机中的摄像头设备,包括检测和选择可用的摄像头设备,这个模块可以提供接口给用户,允许用户选择所需的摄像头,并配置相关参数,如分辨率和帧率,虚拟摄像头从选择的摄像头设备中接收实时的视频数据流,这些数据流通常是原始的视频帧数据,需要经过解码和处理之后才能使用,虚拟摄像头将接收到的视频数据存储到缓冲区中进行后续处理,虚拟摄像头需要对接收到的视频数据进行处理,包括格式转换、图像处理和编码操作,对于将采集的视频数据转化为1920x1080分辨率的nv12格式,虚拟摄像头需要进行像素重采样和色彩空间转换等处理,虚拟摄像头需要提供接口给其他应用程序,如直播软件或视频会议工具,以便它们可以调用虚拟摄像头的数据,这些应用程序可以从虚拟摄像头的缓冲区中读取视频帧数据,并进行实时的图像处理、编码和传输;
导播台界面中提供摄像头添加、删除和切换摄像头功能,导播台界面允许用户添加摄像头设备,当用户点击添加摄像头按钮时,系统会弹出一个对话框或界面,列出可用的摄像头设备供用户选择,用户可以通过浏览本地摄像头设备或者输入网络摄像头的IP地址等方式添加摄像头,添加成功后,系统会为该摄像头分配一个唯一的标识符以便后续识别和管理,导播台界面也提供了删除摄像头的功能,允许用户移除不需要的摄像头设备,用户可以选择要删除的摄像头,并在导播台界面上找到删除摄像头的选项,删除摄像头后,相应的摄像头会从界面中移除,并且该摄像头对应的标识符也会被释放,导播台界面中最重要的功能之一是摄像头切换,它允许用户在不同的摄像头之间进行切换,在导播台界面上,通常会有一个预览窗口和一个输出窗口,用户可以在预览窗口中看到各个已添加的摄像头的实时画面,通过选择要切换到的摄像头,并点击切换按钮,用户可以将该摄像头的画面切换到输出窗口,用于实际的直播或录制;
实现数据处理模块,包括图像处理、实时滤镜和特效功能,以提供丰富的视频流制作能力,数据处理模块可以提供各种图像处理功能,如调整亮度、对比度和饱和度,应用色彩校正和色彩转换,进行边缘增强或模糊,这些功能可以改善视频流的质量,并使其更加清晰、鲜艳或具有特定的视觉效果,实时滤镜功能允许用户在视频流中应用各种滤镜效果,如黑白效果、老旧电影效果、漩涡效果等,这些滤镜可以通过修改图像的颜色、对比度、锐化等方式来改变视频流的外观,从而创造出不同的视觉风格和氛围,数据处理模块还可以提供多种特效功能,如添加文字、贴纸、动画和转场效果等,用户可以在视频流中添加文字说明、标志或水印,或者通过使用动画和转场效果来增添视觉上的吸引力和流畅性;
直播软件通过对缓冲区中的数据进行调用获取摄像头数据以及对视频实时处理后的数据进行展示和直播。
请参阅图1至图4,在导播系统中设计两个缓冲区,其中一个为播放缓冲区,另外一个为录音缓冲区,导播系统自动将音频转化为,音频格式为48KHZ,双通道立体声,PCM16格式的数据写入到上述两个缓冲区中,通过对缓冲区内音频的处理实现不同的功能;
其中,播放缓冲区用于存储待播放的音频数据,导播系统会将音频转换为48KHZ采样率、双通道立体声、PCM16格式的数据,并将其写入到播放缓冲区中,通过对播放缓冲区内的音频数据进行实时处理,例如混音、音量调节、音效添加等,可以实现对音频的定制化播放和处理,播放缓冲区的数据可以通过音频输出接口发送给扬声器或其他音频设备进行播放;
录音缓冲区用于存储从外部音频输入接口获取的音频数据,导播系统会将外部音频输入数据转换为48KHZ采样率、双通道立体声、PCM16格式的音频数据,并将其写入到录音缓冲区中,通过对录音缓冲区内的音频数据进行实时处理,例如去噪、音频增强、声音平衡等,可以实现对音频的后期处理和优化,录音缓冲区的数据可以保存为音频文件或通过网络传输到其他设备进行进一步处理。
请参阅图1至图4,直播软件及第三方软件均可以对缓冲区的数据进行调用来访问虚拟音频实现声音输出到直播间和喇叭中,并在此缓冲区内可进行虚拟音频音量调节、静音、混音的控制,通过调用缓冲区的数据,并对其进行音量调节、静音和混音控制,直播软件和第三方软件可以实现对虚拟音频的灵活处理和控制,从而提供多样化的音频效果和输出选项;
将第三方软件或者直播机中至少一种自带的音频频段写入缓冲区,然后通过对缓冲区的读取实现将第三方音乐导入到直播间或者输出到喇叭中,通过将第三方音乐写入缓冲区,并通过对缓冲区的读取,可以实现将第三方音乐导入到直播间或输出到喇叭中的功能,这样,用户可以在直播中使用自己喜欢的音乐,增强直播的娱乐性和专业性;
在导播系统中设计两个回调接口,提供在音频最后输出时,通过此接口对音频进行处理,实现变音,变调和美声功能,通过设计音频处理回调接口,并在回调时进行合适的音频处理操作,导播系统可以实现变音、变调和美声等功能,这样,用户可以根据需要在导播过程中对音频进行个性化处理,提高音频的效果和质量,增强观众的听觉体验。
请参阅图1至图4,所述视频扣绿包括彩色空间转换、颜色分离、前景提取和背景替换,通过彩色空间转换、颜色分离、前景提取和背景替换等步骤,视频扣绿技术可以将视频中的前景物体与原始背景分离,并将其放置在新的背景中,从而实现视觉上引人注目的特效效果。
请参阅图1至图4,所述空间转换包括将视频的彩色空间从RGB转换为HSV(色相、饱和度、亮度)或YUV(亮度、色度)空间中的至少一种;
所述颜色分离包括在HSV或YUV空间中,通过设置特定颜色的范围,使用阈值分割的方法将该颜色与其他颜色分离开来,通过设置特定颜色范围的阈值,可以选择性地分离该颜色与其他颜色,这种阈值分割的方法可以用于视频扣绿、图像分割等应用中,实现颜色分离效果,从而方便后续的前景提取和背景替换操作;
所述前景提取包括通过分离出的特定颜色范围,将其视为前景物体,并移除其他颜色的信息,通过前景提取,将扣出的前景物体从原始背景中分离出来,并去除其他颜色的信息,这使得我们可以将前景与新的背景进行合成,实现视频扣绿或其他特效效果,前景提取通常是通过颜色分离得到的二值图像或蒙版来实现的,其中特定颜色范围内的像素被视为前景,并根据需要进行处理;
所述背景替换包括分离出的前景物体与新的背景进行合成,通过背景替换,我们可以将分离出的前景物体放置在不同的背景环境中,创造出不同的场景效果,这在电影制作、视频特效和虚拟现实等领域中经常使用,重要的是要确保前景与背景的合成看起来自然而无缝,以实现令人信服的背景替换效果。
综上所述,虚拟摄像头、虚拟音频和视频扣绿等技术可以为直播软件提供更多的功能和创意表现空间,通过将摄像头数据存储在缓冲区中,直播软件可以实现灵活的摄像头切换和实时图像处理,虚拟音频技术则实现了对音频的输出和控制,而视频抠绿技术可以去除背景并替换为其他景物,增加视频的创意和视觉效果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种导播机用核心板,其特征在于:包括主处理器、RAM随机存储器、闪存EMMC、电源管理芯片、系统电源和对外接口组件,所述主处理器与RAM随机存储器、闪存EMMC和电源管理芯片通讯连接,所述RAM随机存储器与电源管理芯片通讯连接,所述闪存EMMC电源管理芯片通讯连接,所述电源管理芯片与主处理器、RAM随机存储器和闪存EMMC通讯连接;
所述主处理器采用的是RK3588S,所述RK3588S为六核心处理器架构,其包括四个ARMCortex-A76高性能核心和两个ARM Cortex-A55高效能核心;
所述RAM随机存储器用于临时存储运行时的数据和缓存,所述RK3588S支持DDR4和LPDDR4x内存类型,用于提供多个内存通道;
所述闪存EMMC用于存储操作系统、应用程序和数据;
所述电源管理芯片负责为核心板和相关外设提供电源,并管理电源的分配和调节;
所述系统电源电源管理芯片电性连接,用于提供整个核心板的电源;
所述对外接口组件包括包括TYPE-C接口、拓展IO、WIFI/蓝牙接口、以太网接口、PCIE和SATA接口、USB3.0/2.0接口、MIPI摄像头接口、显示设备接口。
2.根据权利要求1所述的一种导播机用核心板及导播系统,其特征在于:所述TYPE-C接口用于烧录程序,所述拓展IO用于控制外设设备,所述WIFI/蓝牙接口用于实现无线网连接和数据传输,所述以太网接口用于有线网络连接。
3.根据权利要求1所述的一种导播机用核心板及导播系统,其特征在于:所述PCIE和SATA接口通过转换芯片将PCIE拓展成USB接口,所述USB3.0/2.0接口用于连接USB设备,其中包括USB摄像头、声卡和U盘鼠标。
4.根据权利要求1所述的一种导播机用核心板及导播系统,其特征在于:所述MIPI摄像头接口支持DPHY协议和CPHY协议,所述显示设备接口支持多种视频编解码标准,其中包括H.264、H.265和VP9,可实现高清和4K视频的流畅播放和编码,并且支持音频编解码和音频输出功能。
5.一种导播机用导播系统,应用在导播机用核心板上,其特征在于:包括虚拟摄像头、虚拟音频和视频扣绿,通过将所述虚拟摄像头数据存缓冲区中,直播软件可以灵活调用不同的摄像头画面,并实时处理图像数据;所述虚拟音频将音频数据写入创建好的缓冲区中,通过对缓冲区的处理以及调用实现对音频输出和控制;所述视频抠绿将视频中特定颜色的背景完全去除,并替换为其他景物或背景。
6.根据权利要求5所述的一种导播机用核心板及导播系统,其特征在于:所述虚拟摄像头将采集到的视频数据,转化成帧格式为1920x1080的nv12格式的数据存储到缓冲区中,提供摄像头管理、数据接收和存储、数据处理和调用功能;
导播台界面中提供摄像头添加、删除和切换摄像头功能;
实现数据处理模块,包括图像处理、实时滤镜和特效功能,以提供丰富的视频流制作能力;
直播软件通过对缓冲区中的数据进行调用获取摄像头数据以及对视频实时处理后的数据进行展示和直播。
7.根据权利要求5所述的一种导播机用核心板及导播系统,其特征在于:在导播系统中设计两个缓冲区,其中一个为播放缓冲区,另外一个为录音缓冲区,导播系统自动将音频转化为,音频格式为48KHZ,双通道立体声,PCM16格式的数据写入到上述两个缓冲区中,通过对缓冲区内音频的处理实现不同的功能。
8.根据权利要求7所述的一种导播机用核心板及导播系统,其特征在于:直播软件及第三方软件均可以对缓冲区的数据进行调用来访问虚拟音频实现声音输出到直播间和喇叭中,并在此缓冲区内可进行虚拟音频音量调节、静音、混音的控制;
将第三方软件或者直播机中至少一种自带的音频频段写入缓冲区,然后通过对缓冲区的读取实现将第三方音乐导入到直播间或者输出到喇叭中;
在导播系统中设计两个回调接口,提供在音频最后输出时,通过此接口对音频进行处理,实现变音,变调和美声功能。
9.根据权利要求5所述的一种导播机用核心板及导播系统,其特征在于:所述视频扣绿包括彩色空间转换、颜色分离、前景提取和背景替换。
10.根据权利要求9所述的一种导播机用核心板及导播系统,其特征在于:所述空间转换包括将视频的彩色空间从RGB转换为HSV(色相、饱和度、亮度)或YUV(亮度、色度)空间中的至少一种;
所述颜色分离包括在HSV或YUV空间中,通过设置特定颜色的范围,使用阈值分割的方法将该颜色与其他颜色分离开来;
所述前景提取包括通过分离出的特定颜色范围,将其视为前景物体,并移除其他颜色的信息;
所述背景替换包括分离出的前景物体与新的背景进行合成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310985795.5A CN117014673A (zh) | 2023-08-07 | 2023-08-07 | 一种导播机用核心板及导播系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310985795.5A CN117014673A (zh) | 2023-08-07 | 2023-08-07 | 一种导播机用核心板及导播系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117014673A true CN117014673A (zh) | 2023-11-07 |
Family
ID=88572344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310985795.5A Pending CN117014673A (zh) | 2023-08-07 | 2023-08-07 | 一种导播机用核心板及导播系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117014673A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692587A (zh) * | 2023-12-04 | 2024-03-12 | 中国人民解放军92941部队 | 一种电视导播控制方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107888953A (zh) * | 2016-09-29 | 2018-04-06 | 上海禾鸟电子科技有限公司 | 一种新型直播系统的实现方法 |
CN109168021A (zh) * | 2018-10-25 | 2019-01-08 | 京信通信系统(中国)有限公司 | 一种推流的方法及装置 |
CN110335279A (zh) * | 2019-07-02 | 2019-10-15 | 武汉瑞宏峰科技有限公司 | 实时绿幕抠像方法、装置、设备及存储介质 |
CN113395527A (zh) * | 2021-06-16 | 2021-09-14 | 灵然创智(天津)动画科技发展有限公司 | 一种基于vr技术的远程直播虚拟背景云合成系统 |
CN115250356A (zh) * | 2021-04-26 | 2022-10-28 | 苏州思萃人工智能研究所有限公司 | 手机多机位可切换虚拟摄像头 |
-
2023
- 2023-08-07 CN CN202310985795.5A patent/CN117014673A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107888953A (zh) * | 2016-09-29 | 2018-04-06 | 上海禾鸟电子科技有限公司 | 一种新型直播系统的实现方法 |
CN109168021A (zh) * | 2018-10-25 | 2019-01-08 | 京信通信系统(中国)有限公司 | 一种推流的方法及装置 |
CN110335279A (zh) * | 2019-07-02 | 2019-10-15 | 武汉瑞宏峰科技有限公司 | 实时绿幕抠像方法、装置、设备及存储介质 |
CN115250356A (zh) * | 2021-04-26 | 2022-10-28 | 苏州思萃人工智能研究所有限公司 | 手机多机位可切换虚拟摄像头 |
CN113395527A (zh) * | 2021-06-16 | 2021-09-14 | 灵然创智(天津)动画科技发展有限公司 | 一种基于vr技术的远程直播虚拟背景云合成系统 |
Non-Patent Citations (3)
Title |
---|
九鼎创展: "X3588S核心板使用手册", pages 1, Retrieved from the Internet <URL:http://9tripod.com/uploadfiles_jiuding/files/20220831_154128.pdf> * |
九鼎创展: "九鼎创展RK3588直播一体机方案批量上市", pages 1, Retrieved from the Internet <URL:http://9tripod.com/shownew.php?id=85> * |
九鼎创站: "Live3588v4直播主板使用手册", pages 1 - 4, Retrieved from the Internet <URL:http://9tripod.com/uploadfiles_jiuding/files/20230509_173142.pdf> * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692587A (zh) * | 2023-12-04 | 2024-03-12 | 中国人民解放军92941部队 | 一种电视导播控制方法及装置 |
CN117692587B (zh) * | 2023-12-04 | 2024-05-14 | 中国人民解放军92941部队 | 一种电视导播控制方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108495141B (zh) | 一种音视频的合成方法及系统 | |
CN106992959B (zh) | 一种3d全景音视频直播系统及音视频采集方法 | |
US20190191194A1 (en) | Information processing device and method | |
CN106105177B (zh) | 变换方法及变换装置 | |
CN108810622A (zh) | 视频帧的提取方法、装置、计算机可读介质及电子设备 | |
CN105379261A (zh) | 服务器节点装置与方法 | |
US7593580B2 (en) | Video encoding using parallel processors | |
CN113099233B (zh) | 视频编码方法、装置、视频编码设备及存储介质 | |
CN117014673A (zh) | 一种导播机用核心板及导播系统 | |
CN104301657B (zh) | 一种会议电视终端及其辅流数据接入方法 | |
KR20130099723A (ko) | 초고화질 영상 컨텐츠 편집 및 재생을 위한 입출력 시스템 | |
WO2021244368A1 (zh) | 一种视频播放的方法及设备 | |
CN102769737A (zh) | 一种视频画面切换方法和系统 | |
CN101990120A (zh) | 信号转接处理方法和装置 | |
US20230025664A1 (en) | Data processing method and apparatus for immersive media, and computer-readable storage medium | |
KR20040024340A (ko) | 디지털 텔레비젼상에서 동영상 캡쳐를 이용한 이미지앨범의 제작 시스템 및 그 방법 | |
CN113411669A (zh) | 一种视频特效处理方法及装置 | |
CN202841392U (zh) | 数字庭审主机 | |
CN215268538U (zh) | 录播设备及系统 | |
CN209402583U (zh) | 一种数据收发设备和录播系统 | |
CN111200580B (zh) | 一种播放器及播放方法 | |
WO2024125019A1 (zh) | 音频处理方法和电子装置 | |
KR20160144061A (ko) | 초고선명 텔레비전용 보급형 메인보드 | |
CN117714764A (zh) | 一种视频播放方法、装置、设备及存储介质 | |
CN116886673A (zh) | 多媒体处理流程的确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |