CN109982001A - 一种合成系统 - Google Patents

一种合成系统 Download PDF

Info

Publication number
CN109982001A
CN109982001A CN201711465177.9A CN201711465177A CN109982001A CN 109982001 A CN109982001 A CN 109982001A CN 201711465177 A CN201711465177 A CN 201711465177A CN 109982001 A CN109982001 A CN 109982001A
Authority
CN
China
Prior art keywords
circuit
audio
hdmi
video
phy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711465177.9A
Other languages
English (en)
Inventor
杨利民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN YIHUA MICROELECTRONICS CO Ltd
Original Assignee
TIANJIN YIHUA MICROELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN YIHUA MICROELECTRONICS CO Ltd filed Critical TIANJIN YIHUA MICROELECTRONICS CO Ltd
Priority to CN201711465177.9A priority Critical patent/CN109982001A/zh
Publication of CN109982001A publication Critical patent/CN109982001A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种合成系统，包括合成芯片和CPU，合成芯片包括HDMI接收电路，HDMI接收电路分别与切换阵列电路电连接，切换阵列电路与缩放电路电连接，缩放电路与叠加电路电连接，叠加电路与HDMI发送电路电连接，HDMI发送电路通过HDMI线缆将画面输出；CPU分别与切换阵列电路、DDR控制器、USB控制器、FLASH芯片电连接，DDR控制器分别与DRAM芯片、缩放电路、OSD电路电连接。本音视频合成系统设计合理、适用范围广，合成品质优异。

Description

一种合成系统
技术领域
本发明属于高清视频直播领域，尤其是涉及一种音视频合成器。
背景技术
随着自媒体时代的来临，网络直播技术飞速发展，功能日新月异。传统的手机自拍直播，由于清晰度，分辨率，音质画质等问题，逐渐不满足中高端直播应用的需求，但是传统广播级直播设备由于设备复杂，重量极大，无法满足多种多样尤其是户外直播的需求。基于上述问题，研发一种便携式4K高清音视频直播系统就至关重要，而研发一种能满足高清音视频直播系统的4K-8音视频合成器是个亟待解决的问题。
发明内容
有鉴于此，本发明旨在提出一种音视频合成器，可以保证音视频的优质合成质量。
为达到上述目的，本发明的技术方案是这样实现的：
一种音视频合成器，包括4K-8音视频合成器SOC芯片、串行FLASH芯片和DRAM芯片，所述4K-8音视频合成器SOC芯片包括8个HDMI PHY RX电路、音视频流切换阵列电路、Scale图像缩放电路、多层画面叠加电路、OSD电路、CPU电路、USB控制器电路、USB PHY电路、DDR控制器电路和HDMI PHYTX电路，所述8个HDMI PHY RX电路分别与音视频流切换阵列电路电连接，所述音视频流切换阵列电路与Scale图像缩放电路电连接，所述Scale图像缩放电路与多层画面叠加电路电连接，所述多层画面叠加电路与HDMI PHY TX电路电连接，HDMI PHYTX电路通过HDMI线缆将画面输出；所述CPU电路分别与音视频流切换阵列电路、DDR控制器电路、USB控制器电路、串行FLASH芯片电连接，所述DDR控制器电路分别与DRAM芯片、Scale图像缩放电路、OSD电路电连接，所述OSD电路与多层画面叠加电路电连接，所述USB PHY电路与USB控制器电路电连接。
进一步的，HDMI信号输入到HDMI PHY RX电路中。
进一步的，所述串行FLASH芯片为美国SST公司芯片产品SST25VF040，DRAM芯片为韩国三星公司芯片产品K4T1G164QF，HDMI PHY RX电路为美国Synopsys公司IP产品dwc_hdmi14_rx_phy，音视频流切换阵列电路为天津益华微电子公司IP产品mdc_audio_sw，Scale图像缩放电路为天津益华微电子公司IP产品mdc_video_scale，多层画面叠加电路为天津益华微电子公司IP产品mdc_multi_pic，OSD电路为天津益华微电子公司IP产品mdc_video_osd，CPU电路为英国ARM公司IP产品ARM Cortex A5，USB控制器电路为美国Synopsys公司IP产品dwc_usb3.0_ctl，USB PHY电路为美国Synopsys公司IP产品dwc_usb3.0_otg_phy，DDR控制器电路为美国Synopsys公司IP产品dwc_ddr23l_mctl，HDMI PHY TX电路为美国Synopsys公司IP产品dwc_hdmi14_tx_phy。
进一步的，所述USB PHY电路与上位机(智能手机或手提电脑)电连接，CPU电路控制整个图像处理的过程，上位机(智能手机或手提电脑)可以通过USB PHY电路和USB控制器电路来发布指令控制CPU的动作。
进一步的，本4K-8音视频合成器有8路HDMI输入和1路HDMI输出。
相对于现有技术，本发明所述的4K-8音视频合成器具有以下优势：本发明提供了这种适用于高清音视频直播系统的4K-8音视频合成器，本4K-8音视频合成器可支持8路HDMI2.0信号的输入和1路HDMI输出，对音视频进行处理，保证音视频的优质合成质量。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为便携式4K高清音视频直播系统原理图。
图2为4K-HDMI延长线发送器及SOC芯片原理图。
图3为4K-HDMI延长线接收器及SOC芯片原理图。
图4为4K-8输入音视频合成器及SOC芯片原理图。
图5为4K-H265编码器及SOC芯片原理图。
图6为4K直播码流传输控制器原理图。
图7为供电模块原理图。
图8为Rapid-4K信号结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种便携式4K高清音视频直播系统，包括4K-HDMI延长发送器、4K音视频主播控制台。所述4K音视频主播控制台包括供电模块、4K音视频合成器模块以及分别与4K音视频合成器模块电连接的4K-HDMI延长接收器模块、4K-H265编码器模块、4K直播码流传输控制器模块，4K高清摄像机将采集到的高清音视频信息通过HDMI线缆传送到4K-HDMI延长发送器上，所述4K-HDMI延长发送器通过Cat.6以太网线缆与4K-HDMI延长接收器模块相连，4K-HDMI延长发送器对音视频信号进行无损压缩和重新编码，增强功率后利用Cat.6以太网线缆内部的3根双绞线传送到4K音视频主播控制台，所述4K-H265编码器模块与4K直播码流传输控制器模块电连接，所述4K直播码流传输控制器模块通过USB3.0线缆连接上位机(智能手机或手提电脑)。所述4K高清摄像机采集到的高清音视频信息也可通过HDMI线缆直接传送到4K音视频主播控制台中的4K音视频合成器模块。
如图7所示，所述供电模块包括220V转12V充电电路、12V/20AH锂电池组、12V转220V逆变电路，本供电模块可以使用外接220V交流电源供电，同时为内部12V/20AH锂电池组充电；也可以独立使用12V/20AH锂电池组通过逆变电路转换成220V的市电，为其他220V的市电设备供电。本供电模块既可以为4K音视频主播控制台自身供电，还可以为外面的摄像机、云台、4K-HDMI延长发送器供电，同时还可以为智能手机和手提电脑供电，以适应野外直播环境。
本系统工作原理如下：
1.架设机位
在直播现场，摄影师固定或移动架设好4K高清摄像机和云台，同时寻找合适的位置放置4K音视频主播控制台。
2.联线
如果4K高清摄像机离4K音视频主播控制台较近(在10米之内)，可以直接用HDMI线和直流电源线连接两者；如果4K高清摄像机离4K音视频主播控制台较远(10米-200米)，就需要加入4K-HDMI延长发送器，先将4K高清摄像机用HDMI线和直流电源线连接4K-HDMI延长发送器，再用Cat6以太网线连接4K-HDMI延长发送器和4K音视频主播控制台。同时用USB3.0线缆连接4K音视频主播控制台和智能手机，也可以用USB3.0线缆连接4K音视频主播控制台和手提电脑
3.供电
4K音视频主播控制台内置了一个12V/20AH的锂电池，在为4K音视频主播控制台自身供电的同时，还可以为外面的摄像机、云台、4K-HDMI延长发送器供电，同时也可以为智能手机和手提电脑供电，以适应野外直播环境。4K音视频主播控制台也可以采用外接220V市电为内部电池充电和为其他设备供电。
4.信号处理流程
4K高清摄像机采集到的高清音视频信息，透过HDMI2.0协议通过HDMI线缆传送到4K-HDMI延长发送器上，4K-HDMI延长发送器对音视频信号进行无损压缩和重新编码，增强功率后利用Cat.6内部的3根双绞线传送到4K音视频主播控制台。
4K高清摄像机采集到的高清音视频信息也可以透过HDMI2.0协议通过HDMI线缆直接传送到4K音视频主播控制台。
4K音视频主播控制台可以支持4路4K-HDMI延长发送器输入和4路直接HDMI输入。
4K-HDMI延长发送器发射的信号，经过4K音视频主播控制台内部的4K-HDMI延长接收器模块解码、解压缩、还原成帧后，恢复成HDMI2.0协议的信号，同4路直接HDMI输入的信号一起，输入到4K音视频主播控制台内部的4K音视频合成器模块。
4K音视频合成器模块将根据上位机(智能手机或手提电脑)发出的命令，进行音视频的切换，缩放和拼接，并叠加背景、字幕、图形和图像，形成一路HDMI2.0信号，输出到4K-H265编码器模块。
4K-H265编码器模块对合成后的这路信号，进行H.264/H.265的压缩，将压缩后的数据形成文件，通过SATA2协议写入HDD硬盘中。同时将数据发送到4K直播码流传输控制器模块中。
4K直播码流传输控制器模块可以将数据文件直接通过Wifi或4G模块连接的互联网发送到直播站点的服务器中；4K直播码流传输控制器模块也可以通过USB3.0接口连接智能手机或手提电脑。此时4K直播码流传输控制器模块会将自己虚拟成USB外扩拾音摄像头，在智能手机或手提电脑上直接登录直播APP或直播软件，即可进行直播互动。
5.主播控制
4K直播码流传输控制器模块也可以通过USB3.0接口连接智能手机或手提电脑后，还可以启动播控APP或播控软件，对4K音视频主播控制台进行播出控制，包括控制云台转动、音视频源切换，缩放和拼接，并叠加背景、字幕、图形和图像；调整压缩率、设置直播站点等操作。
如图2所示，所述4K-HDMI延长发送器包括4K-HDMI延长线TX SOC芯片、TITAN载波透传模块、DC-DC降压电路和隔离变压器，4K高清摄像机将采集到的高清音视频信息透过HDMI2.0协议通过HDMI线缆、HDMI插座传送到4K-HDMI延长线TX SOC芯片内，4K-HDMI延长线TX SOC芯片通过其内部的HDMI2.0解码电路，经过行压缩电路、成帧器电路、FEC编码电路再进行8b/10b变换后，进入10G Serdes发送电路，至此形成3对高速差分的Rapid-4K信号，经过隔离变压器后，通过RJ45插座发送到Cat.6线缆中；所述Cat.6线缆的72V直流供电电路中混合有一路BPSK载波的反向控制信号，通过TITAN载波透传模块后解出了RS485控制信号，通过RS485插座输出到4K-HDMI延长发送器外部的云台设备；所述Cat.6线缆的72V直流供电电路依次通过RJ45插座、隔离变压器、DC-DC降压电路后，通过直流插孔输出12V直流电源。所述4K-HDMI延长线TX SOC芯片型号为天津益华微电子公司的MD65535。所述TITAN载波透传模块为天津益华微电子公司的TTN120500。所述DC-DC降压电路为上海乐兹明纬的MHB75-48S12。
如图8所示，所述Cat.6线缆中一共有4对双绞线，其中3对定义为Rapid-4K信号线，另1对定义为Papid-4K电源线，此电源线是72V直流电源同时叠加了bpsk载波信号。
本4K-HDMI延长发送器的工作原理如下：
1.连接
用HDMI线缆连接4K高清摄像机和4K-HDMI延长发送器；用RS485线缆连接云台和4K-HDMI延长发送器；用直流线缆连接4K高清摄像机、云台和4K-HDMI延长发送器；再用Cat.6线缆连接4K-HDMI延长发送器和4K音视频主播控制台。
2.供电
4K-HDMI延长发送器的电源来自Cat.6线缆上的72V直流供电，直流电源，通过内部的DC-DC降压电路，转换成12V电源，共自身和外部设备使用。4K高清摄像机和云台使用4K-HDMI延长发送器提供的12V电源。
3.音视频流
4K高清摄像机采集到的高清音视频信息透过HDMI2.0协议通过连接HDMI线缆传送到4K-HDMI延长发送器的4K-HDMI延长线TX SOC芯片内，本芯片通过HDMI2.0解码电路，然后经过行压缩电路、成帧器电路、FEC编码电路再进行8b/10b变换后，进入10G Serdes发送电路，至此形成3对高速差分的Rapid-4K信号，经4K-HDMI延长发送器隔离变压器后，通过RJ45插座发送到Cat.6线缆中。
4.RS485反向控制流
Cat.6的72V直流供电电路中混合有一路BPSK载波的反向控制信号，通过TITAN载波透传模块后解出了RS485控制信号，通过RS485插座，输出到4K-HDMI延长发送器外部的云台设备。
如图3所示，所述4K-HDMI延长接收器模块包括4K-HDMI延长线RX SOC芯片、TITAN载波透传模块、DC-DC升压电路和隔离变压器，Cat.6线缆通过RJ45插座连接隔离变压器，Cat.6线缆中的3对Rapid-4K差分信号通过隔离变压器后输入到4K-HDMI延长线RX SOC芯片内，进入10G Serdes接收电路，10G Serdes接收电路通过Cdr时钟提取后，恢复Rapid-4K的数据，通过10b/8b变换、FEC解码电路、解帧器电路后，进入行解压缩电路，还原成原始无损的音视频信号，然后再经过HDMI2.0编码电路，编码成标准的HDMI2.0信号发送到HDMI接插件上输出。所述4K-HDMI延长接收器的电源来自外部供给的12V直流电源，12V直流电源通过直流插孔进入DC-DC升压电路转换成72V电源，与TITAN载波透传模块输出的载波信号耦合后形成Rapid-4K的电源信号，依次通过隔离变压器和RJ45插座发送到Cat.6线缆上。外部的RS485线缆通过RS485插座将RS-485信号输入到TITAN载波透传模块，通过TITAN载波透传模块编码生成一路BPSK载波，作为反向控制信号耦合到72V直流电源上，作为Rapid-4K的电源信号依次通过隔离变压器和RJ45插座输出Cat.6线缆上，作为控制信号控制远端设备。所述4K-HDMI延长线RX SOC芯片型号为天津益华微电子公司的MD65536。所述TITAN载波透传模块为天津益华微电子公司的TTN120500。所述DC-DC升压电路为上海乐兹明纬的MHB48-12S75。
本4K-HDMI延长接收器模块工作原理如下：
1.供电
4K-HDMI延长接收器的电源来自外部供给的12V直流电源，通过内部的DC-DC升压电路，转换成72V电源，耦合载波信号后形成Rapid-4K的电源信号发送到Cat.6线缆上。
2.音视频流
Cat.6线缆中的3对Rapid-4K差分信号，通过隔离变压器后输入到4K-HDMI延长线RX SOC芯片内，进入10G Serdes的接收电路，10K Serdes电路通过Cdr时钟提取后，恢复Rapid-4K的数据，通过10b/8b变换、FEC解码、解帧器后，进入行解压缩，还原成原始无损的音视频信号，然后再经过HDMI2.0编码，编码成标准的HDMI2.0信号再发送到HDMI接插件上输出。
3.Rapid-4K载波信号产生
外部输入的RS-485信号，通过TITAN载波透传模块编码生成一路BPSK载波，作为反向控制信号耦合到72V直流电源上，作为Rapid-4K的电源信号输出Cat.6线缆上，作为控制信号控制远端设备。
如图4所示，所述4K音视频合成器模块包括4K音视频合成器SOC芯片、串行FLASH芯片和DRAM芯片，所述4K音视频合成器SOC芯片包括8个HDMIPHY RX电路、音视频流切换阵列电路、Scale图像缩放电路、多层画面叠加电路、OSD电路、CPU电路、USB控制器电路、USB PHY电路、DDR控制器电路和HDMI PHY TX电路，所述8个HDMI PHY RX电路分别与音视频流切换阵列电路电连接，所述音视频流切换阵列电路与Scale图像缩放电路电连接，所述Scale图像缩放电路与多层画面叠加电路电连接，所述多层画面叠加电路与HDMI PHY TX电路电连接，HDMI PHY TX电路通过HDMI线缆将画面输出；所述CPU电路分别与音视频流切换阵列电路、DDR控制器电路、USB控制器电路、串行FLASH芯片电连接，所述DDR控制器电路分别与DRAM芯片、Scale图像缩放电路、OSD电路电连接，所述OSD电路与多层画面叠加电路电连接，所述USB PHY电路与USB控制器电路电连接。所述CPU电路控制整个图像处理的过程，上位机可以通过USB PHY电路和USB控制器电路来发布指令控制CPU的动作。
所述串行FLASH芯片为美国SST公司芯片产品SST25VF040，DRAM芯片为韩国三星公司芯片产品K4T1G164QF，HDMI PHY RX电路为美国Synopsys公司IP产品dwc_hdmi14_rx_phy，音视频流切换阵列电路为天津益华微电子公司IP产品mdc_audio_sw，Scale图像缩放电路为天津益华微电子公司IP产品mdc_video_scale，多层画面叠加电路为天津益华微电子公司IP产品mdc_multi_pic，OSD电路为天津益华微电子公司IP产品mdc_video_osd，CPU电路为英国ARM公司IP产品ARM Cortex A5，USB控制器电路为美国Synopsys公司IP产品dwc_usb3.0_ctl，USB PHY电路为美国Synopsys公司IP产品dwc_usb3.0_otg_phy，DDR控制器电路为美国Synopsys公司IP产品dwc_ddr23l_mctl，HDMI PHY TX电路为美国Synopsys公司IP产品dwc_hdmi 14_tx_phy。
本4K音视频合成器模块工作原理如下：
本4K音视频合成器模块有8路HDMI输入和1路HDMI输出。
1.信号流程：本4K音视频合成器模块可支持8路HDMI2.0信号的输入，通过切换阵列，可以任意挑选这8路信号的排列顺序，无损的送入8个Scale缩放电路通道中。每个通道Scale缩放电路可以对输入的图像进行1,2,4,8,16倍的缩小，或对图像局部进行，1,2,4,8,16倍的放大。处理后的图像信号，输出到后面的多画面叠加电路中。多画面叠加电路，可以支持多达8层图像信号的叠加处理，每层图像都支持256级透明度的选择。同时支持1层单色背景和1层图像背景。支持2层文字OSD层。对于有人物的图像，多画面叠加电路可以设置人物识别与背景消除功能，这部分电路可以自动选取人物图像轮廓，并对背景设置为透明，再选取任意图层进行叠加，既可达到更换背景的效果。多画面叠加电路，还可以进行图像拼接，实现多画面或画中画的功能。处理好的图像会被重新拼接成一个4K的画面输出到HDMITX PHY电路中，输出到外面。整个图像处理的过程，由CPU控制操作，上位机可以通过USBPHY和USB控制器来发布指令控制CPU的动作。每个图像的缓存通过DDR控制器连接到片外的DRAM芯片上。CPU的程序存储在片外的FLASH芯片里，启动时读取到DRAM中执行。
如图5所示，所述4K-H265编码器模块包括4K-H265编码SOC芯片、串行FLASH和DRAM，所述4K-H265编码SOC芯片包括HDMI PHY RX电路、H.265编码电路、DMAC、CPU、USB控制器、USB PHY电路、SATA控制器、SATA PHY电路、DDR控制器，所述DMAC分别与CPU、USB控制器、SATA控制器、DDR控制器、H.265编码电路电连接，所述H.265编码电路包括DWT变换电路、ME/MC运动估值与补偿电路和VLC可变长度编码电路，图像信号输入到H.265编码电路，通过DWT变换电路、ME/MC运动估值与补偿电路、VLC可变长度编码电路形成H.265的视频码流。串行FLASH与CPU电连接，DRAM与DDR控制器电连接，音视频信号通过HDMI2.0输入到4K-H265编码SOC芯片的HDMI PHY RX电路后分成图像信号和声音信号，图像信号输入到H.265编码电路生成H.265的视频码流；声音信号输入到CPU，由CPU进行软件压缩编码，生成H.265的音频码流，再通过CPU复合成H.265音视频码流，所述H.265音视频码流依次通过DMAC、USB控制器/SATA控制器、USB PHY电路/SATAPHY电路传送到USB3.0通道/SATA2.0通道。所述H.265音视频码流通过SATA2.0写入存储在HDD硬盘中，同时H.265音视频码流也通过USB3.0通道传送到控制器外部。所述4K-H265编码SOC芯片由CPU进行各种参数配置和系统控制，通过USB3,0通道与外部上位机进行通信。图像的缓存通过DDR控制器连接到芯片外的DRAM芯片上，CPU的程序存储在芯片外的FLASH芯片里，启动时读取到DRAM中执行。所述4K-H265编码SOC芯片由CPU进行各种参数配置和系统控制，通过USB3,0通道与外部上位机进行通信。
所述HDMI PHY RX电路为美国Synopsys公司IP产品dwc_hdmi14_rx_phy，H.265编码电路为天津益华微电子公司IP产品MCDCV550，DMAC为美国Synopsys公司IP产品dwc_amba_dmac，CPU为英国ARM公司IP产品ARM Cortex A5，USB控制器为美国Synopsys公司IP产品dwc_usb3.0_ctl，USB PHY电路为美国Synopsys公司IP产品dwc_usb3.0_otg_phy，SATA控制器为美国Synopsys公司IP产品dwc_sata_ahost，SATA PHY电路为美国Synopsys公司IP产品dwc_sata2phy，DDR控制器为美国Synopsys公司IP产品dwc_ddr23l_mctl，DWT变换电路为天津益华微电子公司IP产品mdc_dwt，ME/MC运动估值与补偿电路为天津益华微电子公司IP产品mdc_memc，VLC可变长度编码电路为天津益华微电子公司IP产品mdc_lvc。
本4K-H265编码器模块工作原理如下：
音视频信号通过HDMI2.0进入4K-H265编码SOC芯片的HDMI PHY RX电路，分成图像信号和声音信号，图像信号进入H.265编码电路，通过DWT变换电路，ME/MC运动估值与补偿电路，VLC可变长度编码电路形成H.265的视频码流；声音信号进入CPU，由CPU进行软件压缩编码，形成H.265的音频码流。再由CPU复合成音视频码流，然后将码流通过DMAC分别传送到USB3.0通道和SATA2.0通道。H.265音视频码流通过SATA2.0写入存储在HDD硬盘中，同时H.265音视频码流也通过USB3.0通道传送到控制器外部。
如图6所示，所述4K直播码流传输控制器模块包括3片USB HUB芯片、3片USB3.0OTGPHY芯片、FPGA芯片、MPU处理器芯片、DRAM芯片、以太网PHY芯片、WIFI数传模块和4G/5G通讯模块，所述3片USB HUB芯片分别各通过一个USB3.0OTG PHY芯片与FPGA芯片电连接，其中一个USB HUB芯片通过USB3.0接口与4K音视频合成器模块电连接，通过USB3.0接口与4K-H265编码器模块电连接，另一个USB HUB芯片通过USB3.0接口连接智能手机/手提电脑,第三个USB HUB芯片与WIFI数传模块和4G/5G通讯模块电连接，所述FPGA芯片分别与MPU处理器芯片、DRAM芯片、以太网PHY芯片电连接。所述FPGA芯片包括3个USB3.0控制电路、DDR控制电路、DMAC控制电路、Ethernet MAC控制电路，所述Ethernet MAC控制电路与以太网PHY芯片电连接，所述DDR控制电路与DRAM芯片电连接。
所述USB HUB芯片为美国microchip公司产品USB5533B，USB3.0OTG PHY芯片为美国cypress产品CYUSB3014，FPGA芯片为美国xilinx产品xc5VLC550，MPU处理器芯片为韩国三星公司芯片产品Exynos-4412，DRAM芯片为韩国三星公司芯片产品K4T1G164QF，以太网PHY芯片为美国Marvell公司产品88E1340S-BAM2，WIFI数传模块为上海乐鑫公司产品ESP8266，4G/5G通讯模块为华为ME909s，USB3.0控制电路为美国Synopsys公司IP产品dwc_usb3.0_ctl，DDR控制电路为美国Synopsys公司IP产品dwc_ddr23l_mctl，DMAC控制电路为美国Synopsys公司IP产品dwc_amba_dmac，Ethernet MAC控制电路为美国Synopsys公司IP产品dwc_ethernet_ahb。
本4K直播码流传输控制器模块工作原理如下：
USB1口和USB2口分别连接4K音视频合成器和4K-H265编码器。
1.信号流程
压缩后的码流通过USB2口进入到本控制器中，由DMAC将数据通过DDR控制电路传送到DRAM芯片中缓存。MPU处理器上面运行android操作系统，可以将码流通过2种方式输出的直播软件中，1种是通过智能手机，另1种是手提电脑。本控制器模块还可以直接支持直播网站的登陆，可以用智能手机或手提电脑将直播网站的信息设置好(智能手机和手提电脑不同时支持)，然后通过WIFI数传模块、4G/5G通讯模块，或有线的以太网直接连接到互联网上，进行对直播网站的直接访问。每个图像的缓存通过DDR控制器连接到片外的DRAM芯片上。CPU的程序存储在片外的FLASH芯片里，启动时读取到DRAM中执行。
USB1口传送对4K音视频合成器的控制命令；USB2口传送对4K-H265编码器的控制命令，同时接收直播音视频码流数据；USB3口传送智能手机对整个系统的控制命令，同时接收直播音视频码流数据；USB4口传送手提电脑对整个系统的控制命令，同时接收直播音视频码流数据。
本4K直播码流传输控制器模块可以将数据文件直接通过WIFI数传模块或4G/5G通讯模块连接的互联网发送到直播站点的服务器中；4K直播码流传输控制器模块也可以通过USB3.0接口连接智能手机或手提电脑。此时4K直播码流传输控制器模块会将自己虚拟成USB外扩拾音摄像头，在智能手机或手提电脑上直接登录直播APP或直播软件，即可进行直播互动。
2.主播控制
本4K直播码流传输控制器模块也可以通过USB3.0接口连接智能手机或手提电脑后，还可以启动播控APP或播控软件，对4K音视频主播控制台进行播出控制，包括控制云台转动、音视频源切换，缩放和拼接，并叠加背景、字幕、图形和图像；调整压缩率、设置直播站点等操作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种音视频合成器，其特征在于：包括4K-8音视频合成器SOC芯片、串行FLASH芯片和DRAM芯片，所述4K-8音视频合成器SOC芯片包括8个HDMI PHY RX电路、音视频流切换阵列电路、Scale图像缩放电路、多层画面叠加电路、OSD电路、CPU电路、USB控制器电路、USB PHY电路、DDR控制器电路和HDMI PHY TX电路，所述8个HDMI PHY RX电路分别与音视频流切换阵列电路电连接，所述音视频流切换阵列电路与Scale图像缩放电路电连接，所述Scale图像缩放电路与多层画面叠加电路电连接，所述多层画面叠加电路与HDMI PHY TX电路电连接，HDMI PHY TX电路通过HDMI线缆将画面输出；所述CPU电路分别与音视频流切换阵列电路、DDR控制器电路、USB控制器电路、串行FLASH芯片电连接，所述DDR控制器电路分别与DRAM芯片、Scale图像缩放电路、OSD电路电连接，所述OSD电路与多层画面叠加电路电连接，所述USB PHY电路与USB控制器电路电连接。
2.根据权利要求1所述的一种音视频合成器，其特征在于：本4K-8音视频合成器有8路HDMI输入和1路HDMI输出。
3.根据权利要求1所述的一种音视频合成器，其特征在于：所述USB PHY电路与上位机(智能手机或手提电脑)电连接。
4.根据权利要求1所述的一种音视频合成器，其特征在于：HDMI信号输入到HDMI PHYRX电路中。
CN201711465177.9A 2017-12-28 2017-12-28 一种合成系统 Pending CN109982001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711465177.9A CN109982001A (zh) 2017-12-28 2017-12-28 一种合成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711465177.9A CN109982001A (zh) 2017-12-28 2017-12-28 一种合成系统

Publications (1)

Publication Number Publication Date
CN109982001A true CN109982001A (zh) 2019-07-05

Family

ID=67075226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711465177.9A Pending CN109982001A (zh) 2017-12-28 2017-12-28 一种合成系统

Country Status (1)

Country Link
CN (1) CN109982001A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110753194A (zh) * 2019-10-23 2020-02-04 京东方科技集团股份有限公司 双屏异显方法、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110753194A (zh) * 2019-10-23 2020-02-04 京东方科技集团股份有限公司 双屏异显方法、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN207869239U (zh) 一种便携式4k高清音视频直播系统
US10003741B2 (en) System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN107168666B (zh) 基于usb接口的音视频传输和多屏映射的系统和方法
US9843725B2 (en) Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN205069079U (zh) 多功能led显示屏控制系统
CN107329561B (zh) 一种基于usb接口的虚拟现实方法、装置及系统
CN104301657B (zh) 一种会议电视终端及其辅流数据接入方法
CN105450965A (zh) 一种视频转换方法、装置和系统
CN207869252U (zh) 基于高清音视频直播系统的4k直播码流传输控制器
CN207869296U (zh) 基于高清音视频直播系统的4k-hdmi延长接收器
CN207869253U (zh) 基于高清音视频直播系统的4k音视频主播控制台
CN207869240U (zh) 基于高清音视频直播系统的4k-8音视频合成器
CN207869295U (zh) 基于高清音视频直播系统的4k-hdmi延长发送器
CN102957888A (zh) 基于WiFi通讯的便携式影音传录装置
CN109982001A (zh) 一种合成系统
CN109981998A (zh) 一种控制系统
CN109982089A (zh) 一种编码系统
CN201594881U (zh) 一种插拔式高清数字模块及可插接所述模块的电视机
CN206313908U (zh) 一种高清移动视频监控设备
CN109982000A (zh) 一种直播平台
CN102045580B (zh) 用于处理视频的方法和系统
CN106210843A (zh) 电视的播放处理方法及装置
CN101702760A (zh) 一体式网络硬盘录像机
CN207869286U (zh) 基于高清音视频直播系统的4k-h265编码器
CN202282825U (zh) 一种mhl数据转换系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705

WD01 Invention patent application deemed withdrawn after publication