CN115811620A - 直播方法和系统 - Google Patents

Abstract

本发明涉及影像直播的方法，包括以下步骤：通过第一影像输入接口接收第一影像；将第一影像传输至包括至少一个FPGA和存储器的影像采集转换模块，通过FPGA将第一影像存储在存储器中；通过第二影像输入接口接收第二影像；将第二影像传输至影像采集转换模块，通过FPGA将第二影像存储在存储器中；通过FPGA将存储在存储器中的第一影像和第二影像进行拼接以得到第三影像；将第三影像从影像采集转换模块传输到第一影像输出接口以进行输出；将第三影像从影像采集转换模块传输至影像编码模块，影像编码模块包括至少一个ASIC，通过ASIC对第三影像进行适当的编码压缩，以及将编码压缩后的第三影像传输至第二影像输出接口以进行输出。本发明还涉及影像直播系统。

Description

直播方法和系统

技术领域

本发明涉及影像直播方法和系统，特别是8K超高清影像直播方法和系统，更特别是8K游戏机影像直播方法和系统。

背景技术

视频直播是常见的网络应用，包括运动赛事、演唱会或在线游戏直播等，其通常包含图像、文字和声音等元素。随着高分辨率影像的快速发展，从1080P、4K到8K不断演进，影像直播编码需求也愈来愈重要，尤其是8K影像视频具有大量数据，造成影像传输和直播的困难。因此必须对影像进行高压缩比的视频压缩编码。

在现有技术中，单CPU编码器对于实现4K实时直播编码已经很困难，因此无法实现8K实时直播编码；多GPU集成的编码器可以实现8K实时直播编码，但其不仅功耗高，且通常需要多PCIe插槽(PCIe Slot)的X86服务器，进一步增加了成本，尤其是若要进行8K游戏直播更加困难。

因此，需要提供高效且具有成本效益的8K游戏影像直播方法和系统。

发明内容

上述问题通过根据本发明的影像直播方法和系统来解决。

在一个方面，提供了一种影像直播的方法，包括以下步骤：通过第一影像输入接口接收第一影像；将所述第一影像从所述第一影像输入接口传输至影像采集转换模块，其中所述影像采集转换模块包括至少一个FPGA和存储器，通过所述FPGA将所述第一影像存储在所述存储器中；通过第二影像输入接口接收第二影像；将所述第二影像传输至所述影像采集转换模块，通过所述FPGA将所述第二影像存储在所述存储器中；通过所述FPGA将存储在所述存储器中的所述第一影像和第二影像进行拼接，以得到第三影像；一方面，将所述第三影像从所述影像采集转换模块传输到第一影像输出接口以进行输出；另一方面，将所述第三影像从所述影像采集转换模块传输至影像编码模块，其中所述影像编码模块包括至少一个ASIC，通过所述ASIC对所述第三影像进行适当的编码压缩，以及将编码压缩后的所述第三影像传输至第二影像输出接口以进行输出。

在根据本发明的影像直播的方法中，在采集转换模块中使用FPGA进行影像采集和转换，并在影像编码模块中使用ASIC来满足处理视频的极度复杂的压缩所需的运算效能。这与现有技术的相比，显着地降低了系统的能耗和成本。特别地，利用根据本发明的影像直播的方法，能够实时将8K影像编码压缩以利于无延迟地传输，其可以应用于在线游戏、体育赛事或是演唱会等直播场景。

在一些实施例中，第一影像输入接口和第一影像输出接口可以包括HDMI 2.1接口。

在一些实施例中，第二影像输入接口可以包括影像采集模块。

在一些实施例中，FPGA还可以配置为在第三影像中编辑字幕或留言对话框。

在一些实施例中，第二影像输出接口可以包括以下中的一个或多个：网络接口，其配置为对所述第三影像进行直播；存储器接口，其配置为存储所述第三影像。

在一些实施例中，所述方法可以用于8K超高清影像直播。

根据本发明的另一方面，提供了一种用于影像直播的系统，包括：第一影像输入接口，配置为接收第一影像；第二影像输入接口，配置为接收第二影像；影像采集转换模块，包括至少一个FPGA和存储器，配置为进行以下操作：从所述第一影像输入接口接收所述第一影像，并通过所述FPGA将所述第一影像存储在所述存储器中，从所述第二影像输入接口接收所述第二影像，并通过所述FPGA将所述第二影像存储在所述存储器中；通过所述FPGA将存储在所述存储器中的所述第一影像和第二影像进行拼接，以得到第三影像；第一影像输出接口，配置为从所述影像采集转换模块接收所述第三影像以进行输出；影像编码模块，包括至少一个ASIC，配置为从所述影像采集转换模块接收所述第三影像，并通过所述ASIC对所述第三影像进行适当的编码压缩，第二影像输出接口，配置为从所述影像编码模块接收编码压缩后的所述第三影像以进行输出。

在一些实施例中，第一影像输入接口和第一影像输出接口可以包括HDMI 2.1接口。

在一些实施例中，第二影像输入接口可以包括影像采集模块。

在一些实施例中，FPGA还可以配置为在第三影像中编辑字幕或留言对话框。

在一些实施例中，第二影像输出接口可以包括以下中的一个或多个：网络接口，其配置为对所述第三影像进行直播；存储器接口，其配置为存储所述第三影像。

在一些实施例中，所述系统可以用于8K超高清影像直播。

附图说明

以下参考附图以举例的方式来进一步说明本发明的实施例，附图构成本说明书的一部分，在附图中：

图1是根据示例性实施例的影像直播系统的架构的示意性框图；

图2是根据示例性实施例的影像拼接过程的示意图；

图3是根据示例性实施例的影像直播方法的示意性流程图。

具体实施方式

以下结合具体的实施例并参考附图，对根据本发明的影像直播方法和系统进行详细地阐述。应当理解的是，在以下阐述中，省略了对本领域技术人员公知的一些细节的具体描述，以免不必要地模糊本发明的概念。还应当理解的是，附图仅是示例性的，且不一定按照比例绘制；在流程图中，在一些情况下，一些步骤可以以与所示出的不同的顺序执行，而在一些情况下，可以省略一些步骤或添加另外的步骤。另外，以下具体的实施例是在8K超高清游戏机直播的上下文中进行描述的，但显而易见的是，可以将本发明的原理应用于运动赛事、演唱会等其他直播应用中。

首先参考图1，示出了根据本发明的示例性实施例的影像直播方法和系统的架构的示意性框图。

在图1的左侧，示出了第一影像输入接口1、第一影像输出接口2和影像采集转换模块3。如图所示，第一影像输入接口1是HDMI 2.1接口，其用于从外部8K游戏机接收影像输出(下文称为第一影像，如左下角的画面所示)。类似地，第一影像输出接口2也是HDMI 2.1接收，其连接至外部显示器以输出预览画面(下文称为第三影像，如左上角的画面所示)，关于第三影像的生成的细节将在下文描述。应当理解的是，取决于具体的应用和需求，第一影像输入接口和第一影像输出接口也可以是其他类型的视频接口。

如图所示，影像采集转换模块3包括至少一个FPGA和存储器(图中未示出)。影像采集转换模块3从第一影像输入接口1接收外部8K游戏机的第一影像，并通过PFGA将第一影像存储在存储器中。如下文所述，影像采集转换模块3还经由图中所示的PCIE 2接口从第二影像输入接口6接收直播主的影像(下文称为第二影像，如右上角的画面所述)，并通过FPGA将第二影像存储在存储器中。

请同时参考图2，在影像采集转换模块3中，在将第一影像和第二影像都存储在存储器中之后，通过FPGA将两者进行拼接，从而生成第三影像，即将直播主的影像插入游戏画面中。在一些实施例中，FPGA还可以配置为在第三影像中编辑字幕或者留言对话框，以实现与观众的互动。在影像采集转换模块3中生成第三影像之后，可以进行以下操作：一方面，可以将第三影像传送至第一影像输出接口2以在外部显示器上进行预览；另一方面，可以将第三影像经由图中所示的视频接口传送至影像编码模块4。

请继续参考图1，在图1的中间，示出了影像编码模块4。在所示的实施例中，影像编码模块4包括4个ASIC，该数量仅是示例性的，可以根据具体的应用和需求提供任意数量的ASIC。ASIC具有体积小且功耗小的优点，与多GPU集成的编码器相比，不仅降低了功耗，且由于不需要多PCIe插槽(PCIe Slot)的X86服务器，还进一步降低了成本。影像编码模块4经由视频接口接收影像采集转换模块3提供的第三影像，并例如依照HEVC(High EfficiencyVideo Coding)视频压缩标准对信号进行压缩编码，之后经由图中所示的PCIE 1接口将经压缩编码后的第三影像传输至影像串流传输模块5。

在图1的右侧，示出了影像串流传输模块5、第二影像输入接口6和第二影像输出接口7。在所示的实施例中，影像串流传输模块5、第二影像输入接口6和第二影像输出接口7可以例如实现为计算处理系统(例如，X86主机系统)的部分，如本领域技术人员所理解的，该计算处理系统还包括为实现特定功能而所需的但未示出的其他组件、模块或组件。显而易见的是，所示的实施例仅是示例，也可以以不同的结构和方式来实现该实施例的功能。

如上所述，第二影像输入接口6用于接收直播主的影像，即第二影像，并将第二影像经由PCIE 2接口传送至影像采集转换模块3。在这种情况下，第二影像输入接口6可以是通过USB 3.0接口连接至主机系统的视频采集模块，用于采集通过摄像机拍摄的直播主的影像。

如上所述，第二影像输出接口7接收经由PCIE 1接口从影像编码模块4传送至影像串流传输模块5的经压缩编码的第三影像，并输出该经压缩编码的第三影像。在这种情况下，第二影像输出接口7例如可以是有线网络接口(如图中所示的RJ45端口)，其例如将第三影像通过有线网络进行串流输出；第二影像输出接口7还例如可以是通用串行接口总线(如USB 3.0端口)或M.2端口，其例如可以连接至无线通信模块(例如，4G或5G通信模块)，以将第三影像通过无线网络进行串流输出，其例如也可以连接至存储设备(例如U盘、硬盘等)以存储第三影像。

已经在上文中详细讨论了根据本发明的示例性实施例的影像直播系统。下面参考图3描述根据本发明的示例性实施例的影像直播方法。

如图3所示，根据本发明的示例性实施例的影像直播方法包括步骤S1-S8，这些步骤可以由如上所述的根据本发明的示例性实施例的影像直播系统及其组件来实现。

在步骤S1中，通过第一影像输入接口接收第一影像。该第一影像输入接口例如可以是上述第一影像输入接口1。

在步骤S2中，将第一影像从第一影像输入接口传输至影像采集转换模块，通过影像采集转换模块的FPGA将第一影像存储在影像采集转换模块的存储器中。该影像采集转换模块例如可以是上述影像采集转换模块3。

在步骤S3中，通过第二影像输入接口接收第二影像。该第二影像输入接口例如可以是上述第二影像输入接口6。

在步骤S4中，将第二影像传输至影像采集转换模块，通过影像采集转换模块的FPGA将第二影像存储在影像采集转换模块的存储器中。同样，该影像采集转换模块例如可以是上述影像采集转换模块3。

在步骤S5中，通过影像采集转换模块的FPGA将存储在影像采集转换模块的存储器中的第一影像和第二影像进行拼接，以得到第三影像。同样，该影像采集转换模块例如可以是上述影像采集转换模块3。

在步骤S6中，将第三影像从影像采集转换模块传输至第一影像输出接口以进行输出。该第一影像输出接口例如可以是上述第一影像输出接口2。

在步骤S7中，将第三影像从影像采集转换模块传输至影像编码模块，通过影像编码模块的ASIC对第三影像进行适当的编码压缩。该影像编码模块例如可以是上述影像编码模块4。

在步骤S8中，将编码压缩后的第三影像传输至第二影像输出接口以进行输出。该第二影像输出接口例如可以是上述第二影像输出接口7。

尽管已经参考上述实施例描述了本发明，但是本领域技术人员将会理解，在不脱离如所附的权利要求所限定的本发明的理念和范围的情况下，可以做出各种改变。

虽然本说明书包含许多具体的实现方式细节，但是这些不应该被解释为本发明要求保护的范围的限制，而是作为针对于特定实施例的特征的描述。本发明的范围由所附权利要求及其等同物来限定，而不限于前面描述的实施例。

Claims (12)

1.一种影像直播的方法，包括以下步骤：

通过第一影像输入接口接收第一影像；

将所述第一影像从所述第一影像输入接口传输至影像采集转换模块，其中所述影像采集转换模块包括至少一个FPGA和存储器，通过所述FPGA将所述第一影像存储在所述存储器中；

通过第二影像输入接口接收第二影像；

将所述第二影像传输至所述影像采集转换模块，通过所述FPGA将所述第二影像存储在所述存储器中；

通过所述FPGA将存储在所述存储器中的所述第一影像和第二影像进行拼接，以得到第三影像；

一方面，将所述第三影像从所述影像采集转换模块传输到第一影像输出接口以进行输出；

另一方面，将所述第三影像从所述影像采集转换模块传输至影像编码模块，其中所述影像编码模块包括至少一个ASIC，通过所述ASIC对所述第三影像进行适当的编码压缩，以及将编码压缩后的所述第三影像传输至第二影像输出接口以进行输出。

2.如权利要求1所述的方法，其中所述第一影像输入接口和所述第一影像输出接口包括HDMI 2.1接口。

3.如权利要求2所述的方法，其中所述第二影像输入接口包括影像采集模块。

4.如权利要求1-3中任一项所述的方法，其中所述FPGA还配置为在所述第三影像中编辑字幕或留言对话框。

5.如权利要求1-3中任一项所述的方法，其中所述第二影像输出接口包括以下中的一个或多个：

网络接口，其配置为对所述第三影像进行直播；

存储器接口，其配置为存储所述第三影像。

6.如权利要求1-3中任一项所述的方法，其中所述方法用于8K超高清影像直播。

7.一种用于影像直播的系统，包括：

第一影像输入接口，配置为接收第一影像；

第二影像输入接口，配置为接收第二影像；

影像采集转换模块，包括至少一个FPGA和存储器，配置为进行以下操作：

从所述第一影像输入接口接收所述第一影像，并通过所述FPGA将所述第一影像存储在所述存储器中，

从所述第二影像输入接口接收所述第二影像，并通过所述FPGA将所述第二影像存储在所述存储器中；

通过所述FPGA将存储在所述存储器中的所述第一影像和第二影像进行拼接，以得到第三影像；

第一影像输出接口，配置为从所述影像采集转换模块接收所述第三影像以进行输出；

影像编码模块，包括至少一个ASIC，配置为从所述影像采集转换模块接收所述第三影像，并通过所述ASIC对所述第三影像进行适当的编码压缩，

第二影像输出接口，配置为从所述影像编码模块接收编码压缩后的所述第三影像以进行输出。

8.如权利要求7所述的系统·，其中所述第一影像输入接口和所述第一影像输出接口包括HDMI 2.1接口。

9.如权利要求8所述的系统，其中所述第二影像输入接口包括影像采集模块。

10.如权利要求7-9中任一项所述的系统，其中所述FPGA还配置为在所述第三影像中编辑字幕或留言对话框。

11.如权利要求7-9中任一项所述的系统，其中所述第二影像输出接口包括以下中的一个或多个：

网络接口，其配置为对所述第三影像进行直播；

存储器接口，其配置为存储所述第三影像。

12.如权利要求7-9中任一项所述的系统，其中所述系统用于8K超高清影像直播。

Images