CN115396725A - 一种基于it6616的网络推流控制方法、装置、设备及存储介质 - Google Patents

一种基于it6616的网络推流控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115396725A
CN115396725A CN202211024826.2A CN202211024826A CN115396725A CN 115396725 A CN115396725 A CN 115396725A CN 202211024826 A CN202211024826 A CN 202211024826A CN 115396725 A CN115396725 A CN 115396725A
Authority
CN
China
Prior art keywords
hdmi
audio
module
video data
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211024826.2A
Other languages
English (en)
Inventor
黄明健
陈健辉
邱晨烁
周健飞
唐建峰
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinlongpeng Technology Co ltd
Original Assignee
Shenzhen Xinlongpeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinlongpeng Technology Co ltd filed Critical Shenzhen Xinlongpeng Technology Co ltd
Priority to CN202211024826.2A priority Critical patent/CN115396725A/zh
Publication of CN115396725A publication Critical patent/CN115396725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于IT6616的网络推流控制方法、装置、设备及存储介质。本发明通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号;控制所述RV1126/RV1109编码模块对所述MIPICSI视频数据信号及I2S音频数据信号进行取流编码;将取流编码后的音视频复合数据流进行打包压缩;将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。本发明实现了网络视频数据流的推流控制,具有普遍性、通用性及兼容性强的优点。

Description

一种基于IT6616的网络推流控制方法、装置、设备及存储介质
技术领域
本发明涉及基于IT6616的网络推流控制技术领域,尤其涉及一种基于IT6616的网络推流控制方法、装置、设备及存储介质。
背景技术
音视频节目制作领域中,随着音视频技术的发展和智能手机、5G等网络设备的大量普及和应用,音视频IP化传输成为主要的发展趋势。在音视频行业,视频流采编、管理、解码及制作等模块化的应用已经十分成熟,将以上模块化的业务流程连接在一起,打造一条音视频全IP化解决方案的生态链,在行业内业已蔚然成风,势不可挡。
从采集视频源开始,将传统基带信号通过编码器进行编码成IP流,便可轻松经由有线或无线网络传输。如果再部署一台服务器,就可通过服务器,轻松对链路上所有设备及IP流(包括NDI)进行集中管理,远程控制,参数配置。经平台控制和调度的IP流可做多种用途,经过解码器解码上屏观看、录制存储、转换成其他协议于多平台推流直播,还能进行多画面预览和监看,甚至还能接入第三方的网络视频流制作系统。
现有技术中,基于华为海思的网络推流方案占据着市场的主流地位,而由于市场环境对华为海思的限制,缺乏其他新型的视频IP化的解决方案。此外,现有技术中的IPC推流产品一般使用的数据源设备为Camera,这种数据源输入方式限制性大,不具备普遍性和通用性,无法满足更多场合的应用需求。因此,发明一种可靠有效的基于IT6616的网络推流控制方法是该领域技术人员亟待解决的问题。
发明内容
本发明实施例针对以上缺陷,提供了一种基于IT6616的网络推流控制方法、装置、设备及存储介质,用以解决现有技术存在的问题。
为解决上述技术问题,本发明实施例提供了一种一种基于IT6616的网络推流控制方法,所述方法包括:
通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;
控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;
控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号;
控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;
将取流编码后的音视频复合数据流进行打包压缩;
将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
优选地,在所述通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块之前,包括:
控制所述IT6616转码模块上电,将所述IT6616转码模块挂载在I2C总线上;
控制RV1126/RV1109编码模块确认挂载在I2C总线上的所述IT6616转码模块的ID地址;
若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的所述IT6616转码模块进行初始化控制;
启动所述IT6616转码模块的内部定时器,控制所述IT6616转码模块按照预设时间对所述HDMI接口的设备状态进行轮询。
优选地,所述若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的所述IT6616转码模块进行初始化控制还包括:
对所述IT6616转码模块的公共配置参数进行初始化,其中,所述公共配置参数包括数据格式参数、音频接口类型及HDMI信号输入源的数量;
控制所述IT6616转码模块对所述HDMI接口进行初始化,将所述HDMI接口的基本参数写入所述IT6616转码模块的第一寄存器,设置所述HDMI接口的稳定电压;
控制所述IT6616转码模块对所述HDMI接口的扩展显示标识数据进行初始化,将默认的扩展显示标识数据写入所述IT6616转码模块的第二寄存器;
控制所述IT6616转码模块对所述HDMI接口的MIPI TX进行初始化,初始化TX的BUS类型为MIPI CSI,设置TX包的大小和类型。
优选地,所述启动所述IT6616转码模块的内部定时器,控制所述IT6616转码模块按照预设时间对所述HDMI接口的设备状态进行轮询包括:
检测所述HDMI接口是否接入了HDMI信号源,若是,检测RX端的声音静音设置,若否,通知系统上层APP无信号接入;
对所述HDMI接口进行接收中断处理;
对所述HDMI接口的MIPI TX进行中断处理;
判断所述HDMI音视频数据信号的视频格式是否发生变化。
优选地,所述对所述HDMI接口进行接收中断处理包括:
若指示插入所述HDMI音视频数据信号的第三寄存器有变化,控制HDMI HDCP加密协议复位;
重新检测所述HDMI接口是否接入了HDMI信号源,若否,控制所述HDMI HDCP加密协议关闭,若是,控制HDMI HDP插入管脚检测开启;
读取指示RX视频变化的第四寄存器,判断所述HDMI接口的视频接收状态是否稳定;
若否,控制MIPI RX输出去使能,对所述HDMI接口的MIPI RX进行中断处理;若是,计算HDMI RX的TMDS时钟及所述HDMI RX的像素点时钟,获取HDMI RX视频信号的相关信息,对所述HDMI RX进行音频处理,设置和使能所述MIPI TX输出。
优选地,所述控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号包括:
提取所述HDMI音视频数据信号中的视频数据信号;
对所述视频数据信号进行数据解析,并将所述视频数据信号转码成为MIPI CSI信号;
将所述MIPI CSI信号通过MIPI硬件接口以YUV422的视频格式进行发送传输。
优选地,所述控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号还包括:
提取所述HDMI音视频数据信号中的音频数据信号;
对所述音频数据信号进行数据解析,并将所述音频数据信号编码成为I2S信号;
将所述I2S信号通过I2S硬件接口进行发送传输。
为解决上述技术问题,本发明实施例提供了一种基于IT6616的网络推流控制装置,所述装置包括:
信号传输模块,用于通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;
信号转换模块,用于控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;
信号接收模块,用于控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号;
取流编码模块,用于控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;
打包压缩模块,用于将取流编码后的音视频复合数据流进行打包压缩;
推流控制模块,用于将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
为解决上述技术问题,本发明实施例提供了一种基于IT6616的网络推流控制设备,包括:至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
为解决上述技术问题,本发明实施例提供了一种存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述,本发明实施例提供的基于IT6616的网络推流控制方法、装置、设备及存储介质。本发明通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号;控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;将取流编码后的音视频复合数据流进行打包压缩;将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。此外,本发明对IT6616转码模块进行了有效的内部设置,使得IT6616转码模块能够更准确地实现对所述HDMI音视频数据信号的转码控制,可靠性高。因此,本发明实现了网络视频数据流的推流控制,具有普遍性、通用性及兼容性强的优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一种基于IT6616的网络推流控制方法的流程图。
图2是本发明实施例一种IT6616转码模块的管脚示意图。
图3是本发明实施例一种IT6616转码模块的信号输出示意图。
图4是本发明实施例一种在通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块之前的处理流程图。
图5是本发明实施例一种若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的IT6616转码模块进行初始化控制的处理流程图。
图6是本发明实施例一种启动IT6616转码模块的内部定时器,控制IT6616转码模块按照预设时间对HDMI接口的设备状态进行轮询的处理流程图。
图7是本发明实施例一种对HDMI接口进行接收中断处理的处理流程图。
图8是本发明实施例一种RV1126/RV1109编码模块的处理流程图。
图9是本发明实施例一种RV1126/RV1109编码模块进行取流编码的处理流程图。
图10是本发明实施例一种RV1126/RV1109编码模块进行打包压缩的处理流程图。
图11是本发明实施例的基于IT6616的网络推流控制装置的结构示意图。
图12是本发明实施例的基于IT6616的网络推流控制设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参见图1,图1为本申请提供的一种基于IT6616的网络推流控制方法,方法包括如下步骤:
S1、通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;
具体地,在本发明中,HDMI信号作为音视频输入的信号源,将音视频数据信号混合在一起,输出到IT6616转码模块。可以理解的是,HDMI信号可以通过PC、移动终端或者具有DHMI接口的音视频设备等输入。
值得说明的是,本申请还可以通过芯片LT86102SXE将HDMI信号分配成多路HDMI信号,其中一路HDMI信号输出到IT6616转码模块,另一路HDMI信号环出到显示终端,在此不作具体限定。
S2、控制IT6616转码模块将HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;
具体地,IT6616是高性能HDMI1.4至MIPI DSI或者MIPI CSI芯片,用于实现MIPIDSI I信号或者MIPI CSI信号输出。在本申请中,IT6616转码模块用于将HDMI 1.4信号转换为MIPI CSI信号的单端口输出。
请参照图2,图2为本申请提供的一种IT6616转码模块的管脚示意图。
请参照图3,图3为本申请提供的一种IT6616转码模块的信号输出示意图。
具体地,在本实施例中,IT6616转码模块从HDMI接口接收TMDS数据,并转码为MIPICSI之后发送到RV1126/RV1109编码模块。其中RX0N/RX0P RX1N/RXP RX2N/RX2P RXCN/RXCP是IT6616转码模块从HDMI接口接收TMDS数据的4对差分线的管脚,TXL0N/TXL0P TXL1N/TXL1P TXL2N/TXL2P TXL3N/TXL3P TXCKN/TXCKP则是IT6616转码模块转码为MIPI CSI之后发送的4对差分线的管脚,DDCSDA DDCSCL是到RV1126/RV1109编码模块控制IT6616转码模块的I2C管脚,WS、I2S0、SCK(分别对应驱动代码中的LRCK,SDI,SCLK)分别作为音频信号的采样时钟、数据及主时钟管脚。
S3、控制RV1126/RV1109编码模块接收MIPI CSI视频数据信号及I2S音频数据信号;
具体地,RV1126/RK1 109编码模块是采用视觉处理器RV1109/RV1126芯片的视频处理系统,其中RV1126和RV1109都是人工智能下机器视觉分支的SoC,都内置独立NPU,RV1126可提供1.5T0PS算力,RV1109可提供1.2T0PS算力。
具体地,现阶段网络视频的应用要求逐步提升,各种个性化需求也在不断出现,相较于传统的基于海思芯片的视频IP化解决方案,采用RV1126/RV1109系统,对硬解FLASH以及H265上都做到完美兼容,同时其还能支持3D播放,且由于海思芯片的市场限制因素,其已经难以再跟进应用要求和个性化需求的逐步更新,研发人员对应进行后续开发的难度越来越高,例如其支持H265的方案或者支持3D播放的方案迟迟未能出现,从技术上难以得到突破。
具体地,在本实施例中,RV1126/RV1109编码模块通过对应的管脚TXL0N/TXL0PTXL1N/TXL1P TXL2N/TXL2P TXL3N/TXL3P TXCKN/TXCKP接受MIPI CSI视频数据信号及I2S音频数据信号。
S4、控制RV1126/RV1109编码模块对MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;
S5、将取流编码后的音视频复合数据流进行打包压缩;
S6、将打包压缩后的音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
具体地,在本实施例中,RV1126/RV1109编码模块用于将接收到的MIPI CSI视频数据信号编码成H264/H265格式,将接收到的I2S音频数据信号编码成AAC格式,随后打包成预设数据格式分发到网络,以供用户使用。因此,RV1126/RV1109编码模块的工作分为接收处理部分、取流编码部分和打包发送部分。
具体地,RV1126/RV1109系统通过MIPI CSI接口和I2S接口接受视频数据和音频数据信号,将其分别编码为H264/H265格式和AAC格式,进一步的将音视频复合的数据流打包成FLV格式,最后以网络的协议RTSP或者RTMP的格式,通过RJ45接口发送到远端网络服务端器,比如斗鱼哔哩哔哩,西瓜视频等直播平台的服务器上,或者直接通过客户端的软件诸如VLC,potPlayer,ffmpeg等直接播放对应的音视频,从而实现将音视频数据IP化的功能。
综上,本申请提供了一种基于IT6616的网络推流控制方法,在本方案中,通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;控制IT6616转码模块将HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;控制RV1126/RV1109编码模块接收MIPI CSI视频数据信号及I2S音频数据信号,对MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;将取流编码后的音视频复合数据流进行打包压缩;将打包压缩后的音视频复合数据流通过预设的网络协议发送到远端网络服务端器。本发明通过RV1126/RV1109模块及RK628D编码模块实现了基于IT6616的网络推流控制,为因市场环境对华为海思的限制提供了一个新型的音视频IP化解决方案;本发明通过SOC芯片RK628D将HDMI信号转化为MIPI CSI信号,再通过RV1126/RV1109转换为网络流,HDMI信号作为信源输入接口更具有通用性和普遍性,应用场景广泛;此外,本发明对IT6616转码模块进行了有效的内部设置,使得IT6616转码模块能够更准确地实现对HDMI音视频数据信号的转码控制,可靠性高。因此,本发明实现了网络视频数据流的推流控制,具有普遍性、通用性及兼容性强的优点。
在上述实施例的基础上:
请参照图4,图4为本申请提供的一种在通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块之前的处理流程图。
作为一种优选地实施例,在通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块之前,包括:
S10、控制IT6616转码模块上电,将IT6616转码模块挂载在I2C总线上;
S11、控制RV1126/RV1109编码模块确认挂载在I2C总线上的IT6616转码模块的ID地址;
S12、若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的IT6616转码模块进行初始化控制;
S13、启动IT6616转码模块的内部定时器,控制IT6616转码模块按照预设时间对HDMI接口的设备状态进行轮询。
具体地,在本实施例中,IT6616转码模块是由RV1126/RV1109编码模块在上电后通过I2C总线来控制,并且在此过程中对IT6616转码模块进行对应的初始化设置,使IT6616转码模块可以将HDMI信号转成MIPI CSI信号和I2S信号。
具体地,当系统建立起底层的数据流通道,在此过程中状态机每隔1秒中轮询IT6616接收端的信号状态,若信号状态发生变化,如插入或者拔出信号源,信号源的音频或者视频参数发生了改变的时候,则会采取相应的处理,并通知系统上层的APP该变化的情况,从而本申请能够实时掌握HDMI接口的设备状态,保证网络推流的顺利进行,可靠性高。
请参照图5,图5为本申请提供的一种若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的IT6616转码模块进行初始化控制的处理流程图。
作为一种优选地实施例,若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的IT6616转码模块进行初始化控制还包括:
S121、对IT6616转码模块的公共配置参数进行初始化,其中,公共配置参数包括数据格式参数、音频接口类型及HDMI信号输入源的数量;
S122、控制IT6616转码模块对HDMI接口进行初始化,将HDMI接口的基本参数写入IT6616转码模块的第一寄存器,设置HDMI接口的稳定电压;
S123、控制IT6616转码模块对HDMI接口的扩展显示标识数据进行初始化,将默认的扩展显示标识数据写入IT6616转码模块的第二寄存器;
S124、控制IT6616转码模块对HDMI接口的MIPI TX进行初始化,初始化TX的BUS类型为MIPI CSI,设置TX包的大小和类型。
请参照图6,图6为本申请提供的一种启动IT6616转码模块的内部定时器,控制IT6616转码模块按照预设时间对HDMI接口的设备状态进行轮询的处理流程图。
作为一种优选地实施例,启动IT6616转码模块的内部定时器,控制IT6616转码模块按照预设时间对HDMI接口的设备状态进行轮询包括:
S131、检测HDMI接口是否接入了HDMI信号源,若是,检测RX端的声音静音设置,若否,通知系统上层APP无信号接入;
具体地,检测RX端的声音静音设置时,判断静音状态是否发生变化,若是,设置静音开启或关闭,若否,进入步骤S132。
S132、对HDMI接口进行接收中断处理;
S133、对HDMI接口的MIPI TX进行中断处理;
S134、判断HDMI音视频数据信号的视频格式是否发生变化。
具体地,在判断HDMI音视频数据信号的视频格式是否发生变化时,获取信号时序的相关参数,根据相关参数检测信号分辨率及帧率是否发生变化,若是,通知上层APP信号参数变化情况。
请参照图7,图7为本申请提供的一种对HDMI接口进行接收中断处理的处理流程图。
作为一种优选地实施例,对HDMI接口进行接收中断处理包括:
S1321、若指示插入HDMI音视频数据信号的第三寄存器有变化,控制HDMI HDCP加密协议复位;
S1322、重新检测HDMI接口是否接入了HDMI信号源,若否,控制HDMI HDCP加密协议关闭,若是,控制HDMI HDP插入管脚检测开启;
S1323、读取指示RX视频变化的第四寄存器,判断HDMI接口的视频接收状态是否稳定;
S1324、若否,控制MIPI RX输出去使能,对HDMI接口的MIPI RX进行中断处理;若是,计算HDMI RX的TMDS时钟及HDMI RX的像素点时钟,获取HDMI RX视频信号的相关信息,对HDMI RX进行音频处理,设置和使能MIPI TX输出。
综上,在本实施例中,当状态机检测到Hdm irx video状态稳定,并且依次成功的执行到“设置和使能MIPI_TX_out”时,则表示从数据源以HDMI的TMDS信号进入到IT6616转码模块,并且经过转换以MIPI CSI的信号形式输出到了RV1126/RV1109编码模块,从而建立起底层的数据流通道。在此过程中其状态机会每隔1秒中轮询IT6616接收端的信号状态,当发生变化,如插入或者拔出信号源,信号源的音频或者视频参数发生了改变的时候,则会采取相应的处理,并通知系统上层的APP该变化的情况。
作为一种优选地实施例,控制IT6616转码模块将HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号还包括:
提取HDMI音视频数据信号中的音频数据信号;
对音频数据信号进行数据解析,并将音频数据信号编码成为I2S信号;
将I2S信号通过I2S硬件接口进行发送传输。
具体地,IT6616转码模块接收HDMI信号,对于混合在HDMI信号中的视频数据信号,将被其解析出来,并转码成为MIPI CSI信号,通过MIPI的硬件接口以YUV422的视频格式输出给RV1126/RV1109编码模块;对于混合在HDMI信号中的音频数据信号,将被其解析出来,并编码成为I2S信号,通过I2S的硬件接口输出给RV1126/RV1109编码模块。
作为一种优选地实施例,控制RV1126/RV1109编码模块对MIPI CSI视频数据信号及I2S音频数据信号进行取流编码包括:
控制MIPI CSI信号进入到标准的MIPI CSI协议处理;
将MIPI CSI信号分流成多路数据流,其中,多路数据流的数据内容、分辨率及侦率相同。
请参照图8,图8为本申请提供的一种RV1126/RV1109编码模块的处理流程图。
具体地,RV1126/RV1109编码模块接收MIPI CSI视频数据信号后,MIPI CSI视频数据信号进入到标准的MIPI CSI协议进行处理,MIPI CSI视频数据信号进入到rockchip-MIPI-dphy-rx和rockchip-M IPI-csi2两个通道,从rockchip-M IPI-csi2通道的视频流出来之后则会进入rkispp0,rkispp0的作用就是将1路物理的数据流分为4路内容相同并且可以同时使用的数据流,分别是第一数据流Bypass(/dev/video18)、第二数据流Scalar0(/dev/video19、第三数据流Scalar1(/dev/video20)和第四数据流Scalar2(/dev/video21)。这4路数据流的内容、分辨率和帧率均默认相同,录入分辨率为1920x1080@P60。这4路数据流可以根据上层APP不同的需求进行使用,举例来说,将第一数据流Bypass(/dev/video18)以1280x720@P60格式的数据推送到网络上,取Bypass该路的数据流;将第二数据流Scalar0(/dev/video19以1920x1080@P60格式的数据录制到SD卡或者USB磁盘中,取Scalar0该路的数据流;将第三数据流Scalar1(/dev/video20)以720x480@P30格式的数据在WEB上进行预览,取Scalar1该路的数据流等,至此用户层可以通过m_bypass、Scale0、Scale1、Scale2来取到HDMI发送过来的视频数据流。
具体地,RV1126/RV1109编码模块接收I2S音频数据信号后,I2S音频数据信号直接通过硬件中的三个直连的GPIO:I2S2_SCK、I2S2_LRCK和I2S2_SDI进入到RV1126/RV1109编码模块的dummy_codec,通过DMA进入到CPU处理,最后对用户层暴露可以取流的接口/proc/asound/card0/pcm0c,至此用户层可以通过/proc/asound/card0/pcm0c获取RK628D发送过来的音频数据流。
请参照图9,图9为本申请提供的一种RV1126/RV1109编码模块进行取流编码的处理流程图。
作为一种优选地实施例,控制RV1126/RV1109编码模块对MIPI CSI视频数据信号及I2S音频数据信号进行取流编码还包括:
处理MIPI CSI视频数据信号及I2S音频数据信号,形成底层视频流;
将底层视频流转换成预设格式的视频数据;
将视频数据转码为H264或H265格式的视频数据流,其中预设格式包括分辨率大小和缩放倍数;
将视频数据按照不同的预设格式分别通过对应的接口输出,形成设备文件暴露给上层应用;
上层应用通过输入输出控制打开设备文件,获取视频数据。
具体地,如图9所示,底层内核经过收到MIPI CSI视频数据信号后,会以设备文件的形式,如m_bypass(即/dev/video18)、Scale0(即/dev/video19)、Scale1(即/dev/video20)、Scale2(即/dev/video21)、/proc/asound/card0/pcm0c暴露给上层的用户层应用,诸如mediaserver、V4L2-media、UAC、UVC会通过IO ctrl的方式打开设备文件,以对对应的设备文件进行取流的操作。当前的网络推流系统中会以mediaserver作为主进程进行对应的设备的打开、设置、取流和关闭的操作。
具体地,数据源接口m_bypass,即接口/dev/video18取到视频数据流,同理也可以从其他的接口如video19,video20等接口取流,取流的内存分配方式为MEMORY_DMABUF,取流分辨率是:1920x1080,并且以nv12的格式提供给上层的应用mediaserver。
具体地,I2S音频数据信号从数据源接口default,即接口/proc/asound/card0/pcm0c取到音频数据流,音频的通道为双通道,采样率为48KHz,并且以pcm_fltp的格式提供给上层的应用mediaserver。
具体地,在另一种优选地实施例中,在上层应用通过输入输出控制打开设备文件,获取视频数据之后,还可以对视频数据按照目的格式进行对应处理;其中,对应处理包括分辨率调整、视频裁剪、视频翻转中的至少一种。通过上述技术方案,在获取视频数据后,按照所需的目的格式,对其进行分辨率调整、视频裁剪、视频翻转等对应处理,从而进--步满足不同服务端或者客户端在呈现视频数据的具体要求,即当视频数据的呈现要求不在之前的预设格式范围中时,可以直接根据服务端或者客户端的目的格式进行对应处理。
请参照图10,图10为本申请提供的一种RV1126/RV1109编码模块进行打包压缩的处理流程图。
具体地,当从对应的接口取到视频流后,需要先将其进行RGA的转换,再编码为H264/H265格式,之后与编码的音频AAC信号一起打包成RTMP和RTSP发送到网络上。
具体地,之所以要对视频数据进行目的格式的对应处理,是因为上层的应用(比如web的相关配置)会需要设置视频的分辨率,视频的裁剪,视频的上下左右的翻转,而进行目的格式的处理正是提供了此种类型的操作,满足了对应的要求。需要注意的是,对视频数据进行目的格式的对应处理时,可以单独进行分辨率调整、视频裁剪、视频翻转中的其中一种处理,也可以进行分辨率调整、视频裁剪、视频翻转中的其中两种处理,当然也可以全部三种都进行,具体情况依实际需要进行选择,在此不再赘述。
具体地,将MIPI CSI视频数据信号编码为H264/H265格式时,涉及到编码的众多参数,如编码等级level、编码成分辨率、编码速率、gop及帧率等。在本实施例中,RV1126/RV1109编码模块将视频编码为H264,分辨率为1920x1080,最后输出的数据给下一级的节点比如muxer等使用。
具体地,将I2S音频数据信号编码为AAC格式时,涉及到采样率、采样位深、采用码率以及采样格式,最后输出的数据给下一级的节点比如muxer等使用。
具体地,本申请需要将视频编码之后节点和音频编码之后的节点复合为RTSP节点rtsp或者rtsmp,发布到网络上,即当前的系统通过监听554端口来提供rtsp的服务,而在客户端可以通过软件VLC并且打开URL:rtsp://192.168.1.100:554/live/mainstream,例如假定设备的ip地址为192.168.1.100。可以理解的是,具体实际的设备的ip地址根据实际情况设定,在此不作具体限定。
具体地,本申请还可以通过web进行服务器端推流地址的配置,与设备地址192.168.1.100不一样的是,对此音视频感兴趣的客户端可以去服务器端去拉流,而不是从设备拉流,从而会对网络带宽起到很好的平衡作用。
请参阅图11,本发明实施例提供了一种基于IT6616的网络推流控制装置,装置包括:
信号传输模块1,用于通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;
信号转换模块2,用于控制IT6616转码模块将HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号;
信号接收模块3,用于控制RV1126/RV1109编码模块接收MIPI CSI视频数据信号及I2S音频数据信号;
取流编码模块4,用于控制RV1126/RV1109编码模块对MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;
打包压缩模块5,用于将取流编码后的音视频复合数据流进行打包压缩;
推流控制模块6,用于将打包压缩后的音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
另外,结合图1描述的本发明实施例的基于IT6616的网络推流控制方法可以由基于IT6616的网络推流控制设备来实现。图12示出了本发明实施例提供的基于IT6616的网络推流控制设备的硬件结构示意图。
基于IT6616的网络推流控制设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地,上述处理器401可以包括中央处理器(CPU),或者特定集成电路(APPlication Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器402可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universa lSeria lBus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器402可在数据处理装置的内部或外部。在特定实施例中,存储器402是非易失性固态存储器。在特定实施例中,存储器402包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令,以实现上述实施例中的任意一种基于IT6616的网络推流控制方法。
在一个示例中,基于IT6616的网络推流控制设备还可包括通信接口403和总线410。其中,如图12所示,处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者,将基于IT6616的网络推流控制设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,结合上述实施例中的基于IT6616的网络推流控制方法,本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于IT6616的网络推流控制方法。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于IT6616的网络推流控制方法,其特征在于,所述方法包括:
通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;
控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号;
控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号;
控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;
将取流编码后的音视频复合数据流进行打包压缩;
将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
2.根据权利要求1所述的基于IT6616的网络推流控制方法,其特征在于,在所述通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块之前,包括:
控制所述IT6616转码模块上电,将所述IT6616转码模块挂载在I2C总线上;
控制RV1126/RV1109编码模块确认挂载在I2C总线上的所述IT6616转码模块的ID地址;
若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的所述IT6616转码模块进行初始化控制;
启动所述IT6616转码模块的内部定时器,控制所述IT6616转码模块按照预设时间对所述HDMI接口的设备状态进行轮询。
3.根据权利要求2所述的基于IT6616的网络推流控制方法,其特征在于,所述若ID地址确认成功,控制RV1126/RV1109编码模块对挂载在I2C总线上的所述IT6616转码模块进行初始化控制还包括:
对所述IT6616转码模块的公共配置参数进行初始化,其中,所述公共配置参数包括数据格式参数、音频接口类型及HDMI信号输入源的数量;
控制所述IT6616转码模块对所述HDMI接口进行初始化,将所述HDMI接口的基本参数写入所述IT6616转码模块的第一寄存器,设置所述HDMI接口的稳定电压;
控制所述IT6616转码模块对所述HDMI接口的扩展显示标识数据进行初始化,将默认的扩展显示标识数据写入所述IT6616转码模块的第二寄存器;
控制所述IT6616转码模块对所述HDMI接口的MIPI TX进行初始化,初始化TX的BUS类型为MIPI CSI,设置TX包的大小和类型。
4.根据权利要求2所述的基于IT6616的网络推流控制方法,其特征在于,所述启动所述IT6616转码模块的内部定时器,控制所述IT6616转码模块按照预设时间对所述HDMI接口的设备状态进行轮询包括:
检测所述HDMI接口是否接入了HDMI信号源,若是,检测RX端的声音静音设置,若否,通知系统上层APP无信号接入;
对所述HDMI接口进行接收中断处理;
对所述HDMI接口的MIPI TX进行中断处理;
判断所述HDMI音视频数据信号的视频格式是否发生变化。
5.根据权利要求4所述的基于IT6616的网络推流控制方法,其特征在于,所述对所述HDMI接口进行接收中断处理包括:
若指示插入所述HDMI音视频数据信号的第三寄存器有变化,控制HDMI HDCP加密协议复位;
重新检测所述HDMI接口是否接入了HDMI信号源,若否,控制所述HDMI HDCP加密协议关闭,若是,控制HDMI HDP插入管脚检测开启;
读取指示RX视频变化的第四寄存器,判断所述HDMI接口的视频接收状态是否稳定;
若否,控制MIPI RX输出去使能,对所述HDMI接口的MIPI RX进行中断处理;若是,计算HDMI RX的TMDS时钟及所述HDMI RX的像素点时钟,获取HDMI RX视频信号的相关信息,对所述HDMI RX进行音频处理,设置和使能所述MIPI TX输出。
6.根据权利要求1所述的基于IT6616的网络推流控制方法,其特征在于,所述控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号包括:
提取所述HDMI音视频数据信号中的视频数据信号;
对所述视频数据信号进行数据解析,并将所述视频数据信号转码成为MIPI CSI信号;
将所述MIPI CSI信号通过MIPI硬件接口以YUV422的视频格式进行发送传输。
7.根据权利要求1所述的基于IT6616的网络推流控制方法,其特征在于,所述控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPI CSI视频数据信号及I2S音频数据信号还包括:
提取所述HDMI音视频数据信号中的音频数据信号;
对所述音频数据信号进行数据解析,并将所述音频数据信号编码成为I2S信号;
将所述I2S信号通过I2S硬件接口进行发送传输。
8.一种基于IT6616的网络推流控制装置,其特征在于,所述装置包括:
信号传输模块,用于通过HDMI接口将HDMI音视频数据信号传输到IT6616转码模块;
信号转换模块,用于控制所述IT6616转码模块将所述HDMI音视频数据信号转换成MIPICSI视频数据信号及I2S音频数据信号;
信号接收模块,用于控制RV1126/RV1109编码模块接收所述MIPI CSI视频数据信号及I2S音频数据信号;
取流编码模块,用于控制所述RV1126/RV1109编码模块对所述MIPI CSI视频数据信号及I2S音频数据信号进行取流编码;
打包压缩模块,用于将取流编码后的音视频复合数据流进行打包压缩;
推流控制模块,用于将打包压缩后的所述音视频复合数据流通过预设的网络协议发送到远端网络服务端器。
9.一种基于IT6616的网络推流控制设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202211024826.2A 2022-08-25 2022-08-25 一种基于it6616的网络推流控制方法、装置、设备及存储介质 Pending CN115396725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024826.2A CN115396725A (zh) 2022-08-25 2022-08-25 一种基于it6616的网络推流控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024826.2A CN115396725A (zh) 2022-08-25 2022-08-25 一种基于it6616的网络推流控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115396725A true CN115396725A (zh) 2022-11-25

Family

ID=84123638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024826.2A Pending CN115396725A (zh) 2022-08-25 2022-08-25 一种基于it6616的网络推流控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115396725A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131084A (zh) * 2010-01-19 2011-07-20 深圳市在线通网络科技开发有限公司 音视频流媒体rtmp推送装置和音视频流媒体rtmp推送方法
WO2019218415A1 (zh) * 2018-05-18 2019-11-21 网宿科技股份有限公司 一种音视频流的转码方法及设备
CN113691832A (zh) * 2021-08-24 2021-11-23 深圳市新龙鹏科技有限公司 一种视频数据ip化方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131084A (zh) * 2010-01-19 2011-07-20 深圳市在线通网络科技开发有限公司 音视频流媒体rtmp推送装置和音视频流媒体rtmp推送方法
WO2019218415A1 (zh) * 2018-05-18 2019-11-21 网宿科技股份有限公司 一种音视频流的转码方法及设备
CN113691832A (zh) * 2021-08-24 2021-11-23 深圳市新龙鹏科技有限公司 一种视频数据ip化方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUZHOU ROCKCHIP ELECTRONICS CO., LTD: "Rockchip RV1109 Datasheet", pages 1, Retrieved from the Internet <URL:https://www.semiee.com/file2/e3067b96e4d48c12972f95bdb8ac95f9/Rockchip/Rockchip-RV1109.pdf> *
QUAN18923467012: "IT6616 HDMI TO MIPI CSI/DSI", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/Quan18923467012/article/details/118942086> *

Similar Documents

Publication Publication Date Title
CN115396621A (zh) 一种基于rk628d的网络推流控制方法、装置、设备及存储介质
EP2541959A1 (en) Network media adapter
EP2136509A1 (en) Information processing system, apparatus, method and program for providing information from a parent terminal to a child terminal
US9420324B2 (en) Content isolation and processing for inline video playback
CN104135643B (zh) 一种长距离高清传输的方法及设备
CN112533014B (zh) 视频直播中目标物品信息处理和显示方法、装置及设备
CN102378001A (zh) 支持图片直播模式的移动终端、视频直播方法及系统
CN113691832A (zh) 一种视频数据ip化方法及系统
CN106713361A (zh) 多终端多协议流媒体发布方法
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
WO2022134976A1 (zh) 配置方法及装置
CN113645485A (zh) 一种实现任意流媒体协议到ndi的转换方法及装置
WO2021093608A1 (zh) 视频数据的处理方法、装置、电子设备及计算机可读介质
CN104244085B (zh) 基于现场可编程门阵列的多媒体数据传输方法及装置
CN115396725A (zh) 一种基于it6616的网络推流控制方法、装置、设备及存储介质
CN101951507A (zh) 大屏幕ip视频流接入设备及其实现方法
AU2015294052B2 (en) Method and apparatus for processing image data
CN201663666U (zh) 网络视频装置
US20080155113A1 (en) Device, system and method for remotely processing multimedia stream
CN201887875U (zh) 混合型高清网络硬盘录像机
CN104754261A (zh) 一种投影设备及投影方法
CN115396724A (zh) 一种基于lt6911c的网络推流控制方法、装置、设备及存储介质
CN215222346U (zh) 基于mipi协议的sdi接收编码装置及电子设备
CN206498482U (zh) 一种演示多媒体采集器及无线录播系统
JP5383316B2 (ja) 送信機と電子装置間の信号ストリームの簡略化された伝送方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination