CN115396621A - 一种基于rk628d的网络推流控制方法、装置、设备及存储介质 - Google Patents

一种基于rk628d的网络推流控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115396621A
CN115396621A CN202211024748.6A CN202211024748A CN115396621A CN 115396621 A CN115396621 A CN 115396621A CN 202211024748 A CN202211024748 A CN 202211024748A CN 115396621 A CN115396621 A CN 115396621A
Authority
CN
China
Prior art keywords
audio
video data
signal
rk628d
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211024748.6A
Other languages
English (en)
Inventor
黄明健
陈健辉
邱晨烁
周健飞
唐建峰
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinlongpeng Technology Co ltd
Original Assignee
Shenzhen Xinlongpeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinlongpeng Technology Co ltd filed Critical Shenzhen Xinlongpeng Technology Co ltd
Priority to CN202211024748.6A priority Critical patent/CN115396621A/zh
Publication of CN115396621A publication Critical patent/CN115396621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于RK628D的网络推流控制方法、装置、设备及存储介质。本发明通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块；控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号，对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；将取流编码后的音视频复合数据流进行打包压缩；将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。本发明实现了网络视频数据流的推流控制，具有普遍性、通用性及兼容性强的优点。

Description

一种基于RK628D的网络推流控制方法、装置、设备及存储介质
技术领域
本发明涉及基于RK628D的网络推流控制技术领域，尤其涉及一种基于RK628D的网络推流控制方法、装置、设备及存储介质。
背景技术
音视频节目制作领域中，随着音视频技术的发展和智能手机、5G等网络设备的大量普及和应用，音视频IP化传输成为主要的发展趋势。在音视频行业，视频流采编、管理、解码及制作等模块化的应用已经十分成熟，将以上模块化的业务流程连接在一起，打造一条音视频全IP化解决方案的生态链，在行业内业已蔚然成风，势不可挡。
从采集视频源开始，将传统基带信号通过编码器进行编码成IP流，便可轻松经由有线或无线网络传输。如果再部署一台服务器，就可通过服务器，轻松对链路上所有设备及IP流(包括NDI)进行集中管理，远程控制，参数配置。经平台控制和调度的IP流可做多种用途，经过解码器解码上屏观看、录制存储、转换成其他协议于多平台推流直播，还能进行多画面预览和监看，甚至还能接入第三方的网络视频流制作系统。
现有技术中，基于华为海思的网络推流方案占据着市场的主流地位，而由于市场环境对华为海思的限制，缺乏其他新型的视频IP化的解决方案。此外，现有技术中的IPC推流产品一般使用的数据源设备为Camera，这种数据源输入方式限制性大，不具备普遍性和通用性，无法满足更多场合的应用需求。因此，发明一种可靠有效的基于RK628D的网络推流控制方法是该领域技术人员亟待解决的问题。
发明内容
本发明实施例针对以上缺陷，提供了一种基于RK628D的网络推流控制方法、装置、设备及存储介质，用以解决现有技术存在的问题。
为解决上述技术问题，本发明实施例提供了一种基于RK628D的网络推流控制方法，所述方法包括：
通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块；
控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；
控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号；
控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；
将取流编码后的音视频复合数据流进行打包压缩；
将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
优选地，在所述通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块之前，包括：
控制所述RK628D转码模块上电，将所述RK628D转码模块挂载在I2C总线上；
控制RV1126/RV1109编码模块对挂载在I2C总线上的所述RK628D转码模块进行初始化控制；
设置所述RK628D转码模块的信号输入为HDMI信号，信号输出为MIPI CSI信号，信号输出的视频格式为YUV422格式。
优选地，在所述通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块之前，还包括：
检测所述HDMI信号的分辨率参数变化状态及检测HDMI信源设备的插入拔出状态；
若所述HDMI信号的分辨率参数无变化及所述HDMI信源设备为插入状态，控制所述RK628D转码模块的内核通知上层app以复位相应配置；
控制所述RK628D转码模块不断接收所述HDMI音视频数据信号。
优选地，所述控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号包括：
提取所述HDMI音视频数据信号中的视频数据信号；
对所述视频数据信号进行数据解析，并将所述视频数据信号转码成为MIPI CSI信号；
将所述MIPI CSI信号通过MIPI硬件接口以YUV422的视频格式进行发送传输。
优选地，所述控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号还包括：
提取所述HDMI音视频数据信号中的音频数据信号；
对所述音频数据信号进行数据解析，并将所述音频数据信号编码成为I2S信号；
将所述I2S信号通过I2S硬件接口进行发送传输。
优选地，所述控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码包括：
控制所述MIPI CSI信号进入到标准的MIPI CSI协议处理；
将所述MIPI CSI信号分流成多路数据流，其中，多路所述数据流的数据内容、分辨率及侦率相同。
优选地，所述控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码还包括：
处理所述MIPI CSI视频数据信号及所述I2S音频数据信号，形成底层视频流；
将所述底层视频流转换成预设格式的视频数据；
将所述视频数据转码为H264或H265格式的所述视频数据流，其中所述预设格式包括分辨率大小和缩放倍数；
将所述视频数据按照不同的预设格式分别通过对应的接口输出，形成设备文件暴露给上层应用；
上层应用通过输入输出控制打开所述设备文件，获取所述视频数据。
为解决上述技术问题，本发明实施例提供了一种基于RK628D的网络推流控制装置，所述装置包括：
信号传输模块，用于通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块；
信号转换模块，用于控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；
信号接收模块，用于控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号；
取流编码模块，用于控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；
打包压缩模块，用于将取流编码后的音视频复合数据流进行打包压缩；
推流控制模块，用于将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
为解决上述技术问题，本发明实施例提供了一种基于RK628D的网络推流控制设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
为解决上述技术问题，本发明实施例提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明实施例提供的基于RK628D的网络推流控制方法、装置、设备及存储介质。本发明通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块；控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号，对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；将取流编码后的音视频复合数据流进行打包压缩；将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。本发明通过RV1126/RV1109模块及RK628D编码模块实现了基于RK628D的网络推流控制，为因市场环境对华为海思的限制提供了一个新型的音视频IP化解决方案。此外，本发明通过SOC芯片RK628D将HDMI信号转化为MIPICSI信号，再通过RV1126/RV1109转换为网络流，HDMI信号作为信源输入接口更具有通用性和普遍性，应用场景广泛。因此，本发明实现了网络视频数据流的推流控制，具有普遍性、通用性及兼容性强的优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一种基于RK628D的网络推流控制方法的流程图。
图2是本发明实施例一种基于RK628D的网络推流控制方法的RK628D转码模块的管脚示意图。
图3是本发明实施例一种基于RK628D的网络推流控制方法的RK628D转码模块的处理流程图。
图4是本发明实施例一种基于RK628D的网络推流控制方法的RV1126/RV1109编码模块的处理流程图。
图5是本发明实施例一种基于RK628D的网络推流控制方法的RV1126/RV1109编码模块进行取流编码的处理流程图。
图6是本发明实施例一种基于RK628D的网络推流控制方法的RV1126/RV1109编码模块进行打包压缩的处理流程图。
图7是本发明实施例的基于RK628D的网络推流控制装置的结构示意图。
图8是本发明实施例的基于RK628D的网络推流控制设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参见图1，图1为本申请提供的一种基于RK628D的网络推流控制方法，所述方法包括如下步骤：
S1、通过HDMI接口将HDMI音视频数据信号传输到RK 628D转码模块；
具体地，在本发明中，HDMI信号作为音视频输入的信号源，将音视频数据信号混合在一起，输出到RK 628D转码模块。可以理解的是，HDMI信号可以通过PC、移动终端或者具有DHMI接口的音视频设备等输入。
值得说明的是，本申请还可以通过芯片LT86102SXE将HDMI信号分配成多路HDMI信号，其中一路HDMI信号输出到RK 628D转码模块，另一路HDMI信号环出到显示终端，在此不作具体限定。
S2、控制所述RK 628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；
具体地，RK 628D转码模块为视频桥接芯片，可满足多种产品的视频接口转换需求。RK 628D转码模块支持三种输入接口，九种输出接口，仅一颗芯片即可实现多达24种视频传输转换接口的组合。RK 628D转码模块可应用于六大场景包括多屏商显、4K大屏转接、智能投影仪、无线投屏、智能显示屏、视频采集转换类产品。
请参照图2，图2为本申请提供的一种RK 628D转码模块的管脚示意图。
具体地，在本实施例中，RK 628D转码模块通过差分管脚MIPI＿CSI＿TX0＿CLKP，MIPI＿CSI＿TX0＿CLKN以及MIPI＿CSI＿TX0＿DP接收所述HDMI音视频数据信号，将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号后，通过管脚MIPI＿CSI＿TX0＿DxN将MIPI CSI视频数据信号及I2S音频数据信号发送给RV 1126/RV1109编码模块。
S3、控制RV 1126/RV 1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号；
具体地，RV 1126/RK 1109编码模块，是采用视觉处理器RV 1109/RV 1126芯片的视频处理系统，其中RV 1126和RV 1109都是人工智能下机器视觉分支的SoC，都内置独立NPU，RV1126可提供1.5T0PS算力，RV1109可提供1.2T0PS算力。
具体地，现阶段网络视频的应用要求逐步提升，各种个性化需求也在不断出现，相较于传统的基于海思芯片的视频IP化解决方案，采用RV1126/RV1109系统，对硬解FLASH以及H265上都做到完美兼容，同时其还能支持3D播放，且由于海思芯片的市场限制因素，其已经难以再跟进应用要求和个性化需求的逐步更新，研发人员对应进行后续开发的难度越来越高，例如其支持H265的方案或者支持3D播放的方案迟迟未能出现，从技术上难以得到突破。
具体地，在本实施例中，RV1126/RV1109编码模块通过对应的管脚MIPI_CSI_RX0_CLKP、MIPI_CSI_RX0_CLKN、MIPI_CSI_RX0_D0P及MIPI＿CSI＿RX0＿D0N接受MIPI CSI视频数据信号及I2S音频数据信号。
S4、控制所述RV 1126/RV 1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；
S5、将取流编码后的音视频复合数据流进行打包压缩；
S6、将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
具体地，在本实施例中，RV 1126/RV 1109编码模块用于将接收到的MIPI CSI视频数据信号编码成H 264/H 265格式，将接收到的I2S音频数据信号编码成AAC格式，随后打包成预设数据格式分发到网络，以供用户使用。因此，RV 1126/RV 1109编码模块的工作分为接收处理部分、取流编码部分和打包发送部分。
具体地，RV 1126/RV 1109系统通过MIPI CSI接口和I2S接口接受视频数据和音频数据信号，将其分别编码为H 264/H 265格式和AAC格式，进一步的将音视频复合的数据流打包成FLV格式，最后以网络的协议RTSP或者RTMP的格式，通过RJ45接口发送到远端网络服务端器，比如斗鱼哔哩哔哩，西瓜视频等直播平台的服务器上，或者直接通过客户端的软件诸如VLC，potPlayer，ffmpeg等直接播放对应的音视频，从而实现将音视频数据IP化的功能。
综上，本申请提供了一种基于RK 628D的网络推流控制方法，在本方案中，通过HDMI接口将HDMI音视频数据信号传输到RK 628D转码模块；控制所述RK 628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；控制RV 1126/RV 1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号，对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；将取流编码后的音视频复合数据流进行打包压缩；将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。本发明通过RV 1126/RV 1109模块及RK 628D编码模块实现了基于RK 628D的网络推流控制，为因市场环境对华为海思的限制提供了一个新型的音视频IP化解决方案。此外，本发明通过SOC芯片RK 628D将HDMI信号转化为MIPI CSI信号，再通过RV 1126/RV 1109转换为网络流，HDMI信号作为信源输入接口更具有通用性和普遍性，应用场景广泛。因此，本发明实现了网络视频数据流的推流控制，具有普遍性、通用性及兼容性强的优点。
在上述实施例的基础上：
请参照图3，图3为本申请提供的一种RK 628D转码模块的处理流程图。
作为一种优选地实施例，在所述通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块之前，包括：
S110、控制所述RK 628D转码模块上电，将所述RK 628D转码模块挂载在I2C总线上；
S111、控制RV1126/RV1109编码模块对挂载在I2C总线上的所述RK 628D转码模块进行初始化控制；
S112、设置所述RK 628D转码模块的信号输入为HDMI信号，信号输出为MIPI CSI信号，信号输出的视频格式为YUV 422格式。
具体地，在本实施例中，RK 628D转码模块是由RV 1126/RV 1109编码模块在上电后通过I2C总线来控制，并且在此过程中对RK 628D转码模块进行对应的初始化设置，使RK628D转码模块可以将HDMI信号转成MIPI CSI信号和I2S信号。
具体地，在本实施例中，控制所述RK 628D转码模块上电，将所述RK 628D转码模块挂载在I2C总线上后，RV 1126/RV 1109通过I2C是否能获取RK 628D的CSITX＿VERSION，若是，RK 628D初始化开始。
具体地，控制RV 1126/RV 1109编码模块对挂载在I2C总线上的所述RK 628D转码模块进行初始化控制包括：
设置link频率在350M－400M之间，设置pixel速率为600M；
CSI初始化配置，包括：设置hdm irx中断使能、设置输入模式为HDMI、设置输出模式为CSI、设置行同步极性为高、设置列同步极性为高、Hdm irx控制器复位、设置数据格式为YUV422 8Bit；
通过I2C设置ED ID数据；
设置HDCP去使能；
Mip idphy相关配置设置，包括Tx phy带宽设置及Tx phy模式设置；
作为一种优选地实施例，在所述通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块之前，还包括：
S113、检测所述HDMI信号的分辨率参数变化状态及检测HDMI信源设备的插入拔出状态；
S114、若所述HDMI信号的分辨率参数无变化及所述HDMI信源设备为插入状态，控制所述RK 628D转码模块的内核通知上层app以复位相应配置；
S115、控制所述RK 628D转码模块不断接收所述HDMI音视频数据信号。
具体地，本申请首先检测所述HDMI信号的分辨率参数变化状态及检测HDMI信源设备的插入拔出状态，在所述HDMI信号的分辨率参数无变化及所述HDMI信源设备为插入状态后，控制所述RK 628D转码模块的内核通知上层app以复位相应配置，从而保证了HDMI信号输入的稳定性，保证系统的正常运行。
具体地，本申请通过中断检测是否有HDMI信号插入；若是，RK 628D CSI中断关闭、Hdm irx声音设置Hdm irx hdcp开启、Hdm irx hpd控制开启、Hdm irx控制器复位、Hdm irxDPhy使能、Hdm iCSI TX使能及Rk628 CSI中断开启；
若否，Rk628 CSI中断关闭、Hdm irx hpd控制关闭、Hdm irx phy下电、Hdm irx控制器复位、Hdm irx dphy去使能、Hdm iCSI TX去使能；
检测到分辨率等参数是否稳定；
若稳定，内核通知上层app以复位相应配置。
作为一种优选地实施例，所述控制所述RK 628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号包括：
提取所述HDMI音视频数据信号中的视频数据信号；
对所述视频数据信号进行数据解析，并将所述视频数据信号转码成为MIPI CSI信号；
将所述MIPI CSI信号通过MIPI硬件接口以YUV422的视频格式进行发送传输。
作为一种优选地实施例，所述控制所述RK 628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号还包括：
提取所述HDMI音视频数据信号中的音频数据信号；
对所述音频数据信号进行数据解析，并将所述音频数据信号编码成为I2S信号；
将所述I2S信号通过I2S硬件接口进行发送传输。
具体地，RK 628D转码模块接收HDMI信号，对于混合在HDMI信号中的视频数据信号，将被其解析出来，并转码成为MIPI CSI信号，通过MIPI的硬件接口以YUV 422的视频格式输出给RV 1126/RV 1109编码模块；对于混合在HDMI信号中的音频数据信号，将被其解析出来，并编码成为I2S信号，通过I2S的硬件接口输出给RV 1126/RV 1109编码模块。
作为一种优选地实施例，所述控制所述RV 1126/RV 1109编码模块对所述MIPICSI视频数据信号及I2S音频数据信号进行取流编码包括：
控制所述MIPI CSI信号进入到标准的MIPI CSI协议处理；
将所述MIPI CSI信号分流成多路数据流，其中，多路所述数据流的数据内容、分辨率及侦率相同。
请参照图4，图4为本申请提供的一种RV 1126/RV 1109编码模块的处理流程图。
具体地，RV 1126/RV 1109编码模块接收MIPI CSI视频数据信号后，MIPI CSI视频数据信号进入到标准的MIPI CSI协议进行处理，MIPI CSI视频数据信号进入到rockchip－mipi－dphy－rx和rockchip－mipi－csi2两个通道，从rockchip－mipi－csi2通道的视频流出来之后则会进入rkispp0，rkispp0的作用就是将1路物理的数据流分为4路内容相同并且可以同时使用的数据流，分别是第一数据流Bypass(/dev/video18)、第二数据流Scalar0(/dev/video19、第三数据流Scalar1(/dev/video20)和第四数据流Scalar2(/dev/video21)。这4路数据流的内容、分辨率和帧率均默认相同，录入分辨率为1920x1080＠P60。这4路数据流可以根据上层app不同的需求进行使用，举例来说，将第一数据流Bypass(/dev/video18)以1280x720＠P60格式的数据推送到网络上，取Bypass该路的数据流；将第二数据流Scalar0(/dev/video19以1920x1080＠P60格式的数据录制到SD卡或者USB磁盘中，取Scalar0该路的数据流；将第三数据流Scalar1(/dev/video20)以720x480＠P30格式的数据在WEB上进行预览，取Scalar1该路的数据流等，至此用户层可以通过m＿bypass、Scale0、Scale1、Scale2来取到HDMI发送过来的视频数据流。
具体地，RV 1126/RV 1109编码模块接收I2S音频数据信号后，I2S音频数据信号直接通过硬件中的三个直连的GPIO：I2S2＿SCK、I2S2＿LRCK和I2S2＿SDI进入到RV 1126/RV1109编码模块的dummy＿codec，通过DMA进入到CPU处理，最后对用户层暴露可以取流的接口/proc/asound/card0/pcm0c，至此用户层可以通过/proc/asound/card0/pcm0c获取RK628D发送过来的音频数据流。
请参照图5，图5为本申请提供的一种RV 1126/RV 1109编码模块进行取流编码的处理流程图。
作为一种优选地实施例，所述控制所述RV 1126/RV 1109编码模块对所述MIPICSI视频数据信号及I2S音频数据信号进行取流编码还包括：
处理所述MIPI CSI视频数据信号及所述I2S音频数据信号，形成底层视频流；
将所述底层视频流转换成预设格式的视频数据；
将所述视频数据转码为H 264或H 265格式的所述视频数据流，其中所述预设格式包括分辨率大小和缩放倍数；
将所述视频数据按照不同的预设格式分别通过对应的接口输出，形成设备文件暴露给上层应用；
上层应用通过输入输出控制打开所述设备文件，获取所述视频数据。
具体地，如图5所示，底层内核经过收到MIPI CSI视频数据信号后，会以设备文件的形式，如m＿bypass(即/dev/video18)、Scale0(即/dev/video19)、Scale1(即/dev/video20)、Scale2(即/dev/video21)、/proc/asound/card0/pcm0c暴露给上层的用户层应用，诸如mediaserver、V4L2－media、UAC、UVC会通过IO ctrl的方式打开设备文件，以对对应的设备文件进行取流的操作。当前的网络推流系统中会以mediaserver作为主进程进行对应的设备的打开、设置、取流和关闭的操作。
具体地，数据源接口m＿bypass，即接口/dev/video18取到视频数据流，同理也可以从其他的接口如video19，video20等接口取流，取流的内存分配方式为MEMORY＿DMABUF，取流分辨率是：1920x1080，并且以nv12的格式提供给上层的应用mediaserver。
具体地，I2S音频数据信号从数据源接口default，即接口/proc/asound/card0/pcm0c取到音频数据流，音频的通道为双通道，采样率为48KHz，并且以pcm＿fltp的格式提供给上层的应用mediaserver。
具体地，在另一种优选地实施例中，在上层应用通过输入输出控制打开设备文件，获取视频数据之后，还可以对视频数据按照目的格式进行对应处理；其中，对应处理包括分辨率调整、视频裁剪、视频翻转中的至少一种。通过上述技术方案，在获取视频数据后，按照所需的目的格式，对其进行分辨率调整、视频裁剪、视频翻转等对应处理，从而进－－步满足不同服务端或者客户端在呈现视频数据的具体要求，即当视频数据的呈现要求不在之前的预设格式范围中时，可以直接根据服务端或者客户端的目的格式进行对应处理。
请参照图6，图6为本申请提供的一种RV 1126/RV 1109编码模块进行打包压缩的处理流程图。
具体地，当从对应的接口取到视频流后，需要先将其进行RGA的转换，再编码为H264/H 265格式，之后与编码的音频AAC信号一起打包成RTMP和RTSP发送到网络上。
具体地，之所以要对视频数据进行目的格式的对应处理，是因为上层的应用(比如web的相关配置)会需要设置视频的分辨率，视频的裁剪，视频的上下左右的翻转，而进行目的格式的处理正是提供了此种类型的操作，满足了对应的要求。需要注意的是，对视频数据进行目的格式的对应处理时，可以单独进行分辨率调整、视频裁剪、视频翻转中的其中一种处理，也可以进行分辨率调整、视频裁剪、视频翻转中的其中两种处理，当然也可以全部三种都进行，具体情况依实际需要进行选择，在此不再赘述。
具体地，将MIPI CSI视频数据信号编码为H 264/H 265格式时，涉及到编码的众多参数，如编码等级level、编码成分辨率、编码速率、gop及帧率等。在本实施例中，RV 1126/RV 1109编码模块将视频编码为H 264，分辨率为1920x1080，最后输出的数据给下一级的节点比如muxer等使用。
具体地，将I2S音频数据信号编码为AAC格式时，涉及到采样率、采样位深、采用码率以及采样格式，最后输出的数据给下一级的节点比如muxer等使用。
具体地，本申请需要将视频编码之后节点和音频编码之后的节点复合为RTSP节点或者RTMP节点)，发布到网络上，即当前的系统通过监听554端口来提供rtsp的服务，而在客户端可以通过软件VLC并且打开URL：rtsp：//192.168.1.100：554/live/mainstream，例如假定设备的ip地址为192.168.1.100。可以理解的是，具体实际的设备的ip地址根据实际情况设定，在此不作具体限定。
具体地，本申请还可以通过web进行服务器端推流地址的配置，与设备地址192.168.1.100不一样的是，对此音视频感兴趣的客户端可以去服务器端去拉流，而不是从设备拉流，从而会对网络带宽起到很好的平衡作用。
请参阅图7，本发明实施例提供了一种基于RK 628D的网络推流控制装置，所述装置包括：
信号传输模块1，用于通过HDMI接口将HDMI音视频数据信号传输到RK 628D转码模块；
信号转换模块2，用于控制所述RK 628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；
信号接收模块3，用于控制RV 1126/RV 1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号；
取流编码模块4，用于控制所述RV 1126/RV 1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；
打包压缩模块5，用于将取流编码后的音视频复合数据流进行打包压缩；
推流控制模块6，用于将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
另外，结合图1描述的本发明实施例的基于RK 628D的网络推流控制方法可以由基于RK 628D的网络推流控制设备来实现。图8示出了本发明实施例提供的基于RK 628D的网络推流控制设备的硬件结构示意图。
基于RK 628D的网络推流控制设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universa lSeria lBus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种基于RK 628D的网络推流控制方法。
在一个示例中，基于RK 628D的网络推流控制设备还可包括通信接口403和总线410。其中，如图8所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将基于RK 628D的网络推流控制设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI－Express(PCI－X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的基于RK 628D的网络推流控制方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于RK 628D的网络推流控制方法。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于RK628D的网络推流控制方法，其特征在于，所述方法包括：
通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块；
控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号；
控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号；
控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；
将取流编码后的音视频复合数据流进行打包压缩；
将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
2.根据权利要求1所述的基于RK628D的网络推流控制方法，其特征在于，在所述通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块之前，包括：
控制所述RK628D转码模块上电，将所述RK628D转码模块挂载在I2C总线上；
控制RV1126/RV1109编码模块对挂载在I2C总线上的所述RK628D转码模块进行初始化控制；
设置所述RK628D转码模块的信号输入为HDMI信号，信号输出为MIPI CSI信号，信号输出的视频格式为YUV422格式。
3.根据权利要求1所述的基于RK628D的网络推流控制方法，其特征在于，在所述通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块之前，还包括：
检测所述HDMI信号的分辨率参数变化状态及检测HDMI信源设备的插入拔出状态；
若所述HDMI信号的分辨率参数无变化及所述HDMI信源设备为插入状态，控制所述RK628D转码模块的内核通知上层app以复位相应配置；
控制所述RK628D转码模块不断接收所述HDMI音视频数据信号。
4.根据权利要求1所述的基于RK628D的网络推流控制方法，其特征在于，所述控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号包括：
提取所述HDMI音视频数据信号中的视频数据信号；
对所述视频数据信号进行数据解析，并将所述视频数据信号转码成为MIPI CSI信号；
将所述MIPI CSI信号通过MIPI硬件接口以YUV422的视频格式进行发送传输。
5.根据权利要求1所述的基于RK628D的网络推流控制方法，其特征在于，所述控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号还包括：
提取所述HDMI音视频数据信号中的音频数据信号；
对所述音频数据信号进行数据解析，并将所述音频数据信号编码成为I2S信号；
将所述I2S信号通过I2S硬件接口进行发送传输。
6.根据权利要求1所述的基于RK628D的网络推流控制方法，其特征在于，所述控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码包括：
控制所述MIPI CSI信号进入到标准的MIPI CSI协议处理；
将所述MIPI CSI信号分流成多路数据流，其中，多路所述数据流的数据内容、分辨率及侦率相同。
7.根据权利要求6所述的基于RK628D的网络推流控制方法，其特征在于，所述控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码还包括：
处理所述MIPI CSI视频数据信号及所述I2S音频数据信号，形成底层视频流；
将所述底层视频流转换成预设格式的视频数据；
将所述视频数据转码为H264或H265格式的所述视频数据流，其中所述预设格式包括分辨率大小和缩放倍数；
将所述视频数据按照不同的预设格式分别通过对应的接口输出，形成设备文件暴露给上层应用；
上层应用通过输入输出控制打开所述设备文件，获取所述视频数据。
8.一种基于RK628D的网络推流控制装置，其特征在于，所述装置包括：
信号传输模块，用于通过HDMI接口将HDMI音视频数据信号传输到RK628D转码模块；
信号转换模块，用于控制所述RK628D转码模块将所述HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号；
信号接收模块，用于控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号；
取流编码模块，用于控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码；
打包压缩模块，用于将取流编码后的音视频复合数据流进行打包压缩；
推流控制模块，用于将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
9.一种基于RK628D的网络推流控制设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202211024748.6A 2022-08-25 2022-08-25 一种基于rk628d的网络推流控制方法、装置、设备及存储介质 Pending CN115396621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024748.6A CN115396621A (zh) 2022-08-25 2022-08-25 一种基于rk628d的网络推流控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024748.6A CN115396621A (zh) 2022-08-25 2022-08-25 一种基于rk628d的网络推流控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115396621A true CN115396621A (zh) 2022-11-25

Family

ID=84122560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024748.6A Pending CN115396621A (zh) 2022-08-25 2022-08-25 一种基于rk628d的网络推流控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115396621A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939134A (zh) * 2023-06-16 2023-10-24 深圳市驰晶科技有限公司 一种基于mipidphy输出的hdmi系统
CN117319591A (zh) * 2023-09-25 2023-12-29 深圳市厚朴科技开发有限公司 一种超高清视频远距离传输装置、方法、系统、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939134A (zh) * 2023-06-16 2023-10-24 深圳市驰晶科技有限公司 一种基于mipidphy输出的hdmi系统
CN117319591A (zh) * 2023-09-25 2023-12-29 深圳市厚朴科技开发有限公司 一种超高清视频远距离传输装置、方法、系统、设备及介质
CN117319591B (zh) * 2023-09-25 2024-03-12 深圳市厚朴科技开发有限公司 一种视频传输方法、装置、计算机可读存储介质及设备

Similar Documents

Publication Publication Date Title
KR101810496B1 (ko) 무선 통신 시스템의 비디오 스트리밍
US9532099B2 (en) Distributed media stream synchronization control
CN115396621A (zh) 一种基于rk628d的网络推流控制方法、装置、设备及存储介质
US9300754B2 (en) Information processing system, information processing apparatus, information processing method, and program
CN102802039B (zh) 多路视频混合解码输出方法及装置
CN102811373A (zh) 移动终端向互联网以及移动互联网进行视频直播的方法
EP2840858A1 (en) Methods for content sharing utilising a compatibility notification to a display forwarding function and associated devices
WO2023116254A1 (zh) 一种直播视频录制方法、装置、系统和终端设备
CN100525453C (zh) 基于hdmi接口的视频通信系统及方法
CN113132686A (zh) 一种基于国产linux系统的局域网视频监控的实现方法
CN101094358A (zh) 基于1394采集和hdmi/dvi显示的视频传输系统及方法
CN113691832A (zh) 一种视频数据ip化方法及系统
CN104244085B (zh) 基于现场可编程门阵列的多媒体数据传输方法及装置
CN201887875U (zh) 混合型高清网络硬盘录像机
CN101951507A (zh) 大屏幕ip视频流接入设备及其实现方法
CN201528404U (zh) 视频编解码系统及其视频编码器、视频解码器
KR20110025367A (ko) 멀티미디어 트랜스코딩 클라이언트 장치 및 방법
CN115396725A (zh) 一种基于it6616的网络推流控制方法、装置、设备及存储介质
CN115396724A (zh) 一种基于lt6911c的网络推流控制方法、装置、设备及存储介质
CN106412684A (zh) 一种高清视频无线传输方法及系统
CN114470745A (zh) 一种基于srt的云游戏实现方法、装置及系统
WO2016107174A1 (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
CN201352834Y (zh) 基于数字电视hdtv平台的高清会议系统
CN205092920U (zh) 高分辨率视频传输系统
CN111479096A (zh) 一种光纤信号编码器及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination