CN106454320A - 一种低延迟生成立体图像的方法及设备 - Google Patents

Abstract

本发明公开了一种低延迟生成立体图像的方法及设备，其中，该方法包括：获取待处理图像的图像电信号；将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。以此，实现了低延迟生成立体图像，进而扩大了3D图像的适应范围，提高了用户的使用体验。

Description

一种低延迟生成立体图像的方法及设备

技术领域

本发明涉及计算机领域，特别涉及一种低延迟生成立体图像的方法及设备。

背景技术

现有技术中，在合成三维立体(后简称3D)图像时，会产生延迟。这种延迟对于要求实时性的应用是致命的，比如实时3D转播，手术信号传输等。具体的，目前市面上的此类产品均会对所合成的图像产生数百毫秒的延迟，这种延迟是能够在显示端被人眼所察觉到，影响实际观看效果，使得用户体验不好。

发明内容

针对现有技术中的缺陷，本发明提出了一种低延迟生成立体图像的方法及设备，用以克服现有技术中的缺陷，解决现有技术中在生成三维立体图像时的延迟所给用户人眼所带来的问题。

具体的，本发明提出了以下具体的实施例：

本发明实施例提出了一种低延迟生成立体图像的方法，包括：

获取待处理图像的图像电信号；

将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。

进一步的，在一个具体的实施例中，所述“获取待处理图像的图像电信号”包括：

获取待处理图像的图像数据；

将所述图像数据转换为图像电信号。

进一步的，在一个具体的实施例中，所述“将获取到的图像电信号进行实时的合成处理，以生成立体图像”包括：

基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号；

对第一电信号进行色域转换处理，生成第二电信号；

对生成的各第二电信号进行同步处理，生成具有相同时间轴的第三信号；

对第三信号进行2D转3D的转换处理，生成3D图像信号；

基于所述3D图像信号生成3D图像。

进一步的，在一个具体的实施例中，所述“基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号”，包括：

对获取到的各图像电信号进行串行转并行处理以恢复出像素信息，生成第一电信号。

进一步的，在一个具体的实施例中，所述“对第一电信号进行色域转换处理，生成第二电信号”，包括：

将所述第一电信号中的YUV的色域转换成RGB色域，以生成第二电信号。

本发明实施例还提出了一种低延迟生成立体图像的设备，包括：

获取模块，用于获取待处理图像的图像电信号；

处理模块，用于将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。

进一步的，在一个具体的实施例中，所述获取模块，用于：

获取待处理图像的图像数据；

将所述图像数据转换为图像电信号。

进一步的，在一个具体的实施例中，所述处理模块，具体用于：

基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号；

对第一电信号进行色域转换处理，生成第二电信号；

对生成的各第二电信号进行同步处理，生成具有相同时间轴的第三信号；

对第三信号进行2D转3D的转换处理，生成3D图像信号；

基于所述3D图像信号生成3D图像。

进一步的，在一个具体的实施例中，所述处理模块基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号，包括：

所述处理模块对获取到的各图像电信号进行串行转并行处理以恢复出像素信息，生成第一电信号。

进一步的，在一个具体的实施例中，所述处理模块对第一电信号进行色域转换处理，生成第二电信号，包括：

所述处理模块将所述第一电信号中的YUV的色域转换成RGB色域，以生成第二电信号。

与现有技术相比，本发明公开了一种低延迟生成立体图像的方法及设备，其中，该方法包括：获取待处理图像的图像电信号；将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。以此，实现了低延迟生成立体图像，进而扩大了3D图像的适应范围，提高了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提出的一种低延迟生成立体图像的方法的流程示意图；

图2为本发明实施例提出的一种待处理图像的示意图；

图3为本发明实施例提出的一种合成3D图像过程中的信号走向示意图；

图4本发明实施例提出的一种合成后的3D图像的示意图：

图5为本发明实施例提出的一种低延迟生成立体图像的设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和出示的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体的，本发明提出了一种低延迟生成立体图像的方法及设备，用以克服现有技术中的缺陷，实现立体图像的低延迟生成(本发明中涉及到的低延迟意即人眼无法识别的延迟)，进一步的，提高用户的体验，扩大立体图像的应用范围。

以此，具体的，本发明提出了以下具体的实施例：

实施例1

本发明实施例1公开了一种低延迟生成立体图像的方法，如图1所示，包括以下步骤：

步骤101、获取待处理图像的图像电信号；

步骤102、将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。

具体的，本发明的发明人发现在现有技术中，在进行立体图像合成时均会使用缓存，使得图像中的每一帧画面均需要进入缓存区，进行运算后才能将其合成为相应格式的立体信号。而这个过程是需要时间的，因此导致图像发生一定程度的延迟。为此，本发明实施例中，对待处理图像的处理过程，具体是通过对待处理图像的图像电信号进行的处理。具体的，可以采用硬件，具体的硬件例如可为FPGA(Field－Programmable Gate Array，现场可编程逻辑门阵列)，或者ASIC(Application Specific Integrated Circuit，专用集成电路)等来对进行处理；以此避免了需要将图像中的每一帧画面都进行缓存所带来的时间上的延迟。

在一个具体的实施例中，步骤101，也即获取对应待处理图像的图像电信号，包括：

获取待处理图像的图像数据；

将所述图像数据转换为图像电信号。

具体的，若对应待处理图像的图像电信号已经存在，则直接进行获取；若不存在则需要进行生成，具体生成的过程是基于待处理图像的图像数据进行转换而得到的，具体的，可以利用双路摄像单元(例如对应进行3D拍摄的两个摄像机)来进行拍摄获取到待处理图像的图像数据，后续再对该图像数据进行关于电信号的转换，最终转换为图像电信号。

在一个具体的实施例中，待处理图像可以是视频中的各帧图像，对应的视频格式可以有SDI、DVI、HDMI等，而具体的分辨率，可以为1920*1080，4K，8K等均可；当然，以上的格式或者分辨率还可以选取其他的格式以及分辨率，具体的可以基于需要进行灵活的选取，并不限于以上的这几种具体的实施例。

另外，关于待处理图像，在此以一个具体的实施例来对其进行说明，待处理图像用于合成立体图像，在实际情况中，在人眼观察物体时，由于左眼和右眼之间存在约65mm的距离，两只眼实际上看到同一物体的图像是有一定的差异的，这种差异被称为“视差”。

正是基于此，在拍摄三维立体(后简称3D)图像时，可以使用两个摄像头，且两者之间有一定的距离，从而来模仿人眼视差。这两个摄像头分别独立地拍摄镜头前的画面，各摄像头所独立拍摄的画面即为本发明实施例中的待处理图像，具体的一种实施例可以如图2所示，具体的，左摄像头和右摄像头拍摄的图像大致相同，只是存在一定的水平位移。

以下针对图像电信号的处理过程来进行具体的说明：

具体的，步骤102，也即将将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像，具体包括以下子步骤：

子步骤1、基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号；

子步骤2、对第一电信号进行色域转换处理，生成第二电信号；

子步骤3、对生成的各第二电信号进行同步处理，生成具有相同时间轴的第三信号；

子步骤4、对第三信号进行2D转3D的转换处理，生成3D图像信号；

子步骤5、基于所述3D图像信号生成3D图像。

具体的，像素(也即Pixel)：是Picture Element(图形元素)的简称，是对图像中的颜色与强度进行标识的一个单位，是能够定址和分配颜色值的最小单位。

在一个具体的实施例中，子步骤1，也即基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号，具体包括：

对获取到的各图像电信号进行串行转并行处理以恢复出像素信息，生成第一电信号。

具体的，进行恢复像素信息的处理并不限于串行转并行的处理方式，还可以有其他的处理方式，只要能恢复出像素信息即可。

而在一个具体的实施例中，步骤2，也即对第一电信号进行色域转换处理，生成第二电信号，具体包括：

将所述第一电信号中的YUV的色域转换成RGB色域，以生成第二电信号。

在具体的应用中，进行色域转换并不限于将YUV的色域转换成RGB色域，还可以有其他的转换方式，只要对应的色域转换可以实现降低码率，提高传输效率即可，具体的可以基于实际情况进行灵活的选取与设置。

具体的，色域(Color Gamut)，就是指某种设备所能表达的颜色数量所构成的范围区域，即各种屏幕显示设备、打印机或印刷设备所能表现的颜色范围。而色域转换是指把一个色彩空间中的颜色数据转换成或表示成另一个色彩空间中的相应数据，也即用不同的色彩空间中的数据表示同一颜色。

具体的，RGB和YUV都是色彩空间，用于表示颜色，两者可以相互转化；其中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色；而YUV中的"Y"表示明亮度(Luminance或Luma)，也就是灰阶值；是个基带信号。而"U"和"V"表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。U和V不是基带信号。

在此，以一个具体的实施例来对本发明进行说明，其具体的信号传递过程可以如图3所示：

首先、获取由两个摄像头拍摄的对应于人的左眼和右眼的两路图像数据，并将各图像数据转换为对应的图像电信号；其中，该图像电信号的格式为SDI格式，具体的还可以为其他格式，在此不再进行赘叙；

第二、对图像电信号进行串行转并行处理，以恢复出像素信息；

第三、针对恢复出像素信息之后的图像电信号，对该图像电信号进行色域转换处理，具体的将图像电信号中的YUV的色域转换成RGB色域；

第四、对经过了色域转换处理的两路图像电信号进行同步处理，以保证两路图像电信号的同步性，处理后的两路图像电信号合成为具有相同时间轴的一路电信号；

第五、对进行了同步处理后的得到的一路电信号进行2D转3D的处理，生成3D图像电信号，3D图像电信号所对应的3D图像可以有左右格式(一个具体的实施例可以如图4所示)、或上下交替格式以及上下排列格式等等。

第六、通过HDMI输出单元，对3D图像电信号进行格式制定，将3D图像电信号转为所需要的HDMI数字格式，不过并不限于此，输出的格式还可以根据需要选取其他的格式；

最终、通过3D显示设备可以通过接收该3D图像电信号，从而进行3D显示，且该3D显示的延迟很低，低到人眼无法识别，因而可以适用到各种需要的应用场景中，提高了用户的体验。

本发明实施例1公开了一种低延迟生成立体图像的方法，包括：获取待处理图像的图像电信号；将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。以此，实现了低延迟生成立体图像，进而扩大了3D图像的适应范围，提高了用户的使用体验。

实施例2

本发明实施例2提出了一种低延迟生成立体图像的设备，具体的，该设备具体可以为内部存储有合成立体图像程序的FPGA(Field－Programmable Gate Array，现场可编程逻辑门阵列)，或者ASIC(Application Specific Integrated Circuit，专用集成电路)，如图5所示，包括：

获取模块201，用于获取待处理图像的图像电信号；

处理模块202，用于将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。

具体的，所述获取模块201，用于：

获取待处理图像的图像数据；

将所述图像数据转换为图像电信号。

具体的，所述处理模块202，用于：

基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号；

对第一电信号进行色域转换处理，生成第二电信号；

对生成的各第二电信号进行同步处理，生成具有相同时间轴的第三信号；

对第三信号进行2D转3D的转换处理，生成3D图像信号；

基于所述3D图像信号生成3D图像。

具体的，所述处理模块202基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号，包括：

所述处理模块202对获取到的各图像电信号进行串行转并行处理以恢复出像素信息，生成第一电信号。

具体的，所述处理模块202对第一电信号进行色域转换处理，生成第二电信号，包括：

所述处理模块202所述第一电信号中的YUV的色域转换成RGB色域，以生成第二电信号。

与现有技术相比，本发明公开了一种低延迟生成立体图像的方法及设备，其中，该方法包括：获取待处理图像的图像电信号；将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。以此，实现了低延迟生成立体图像，进而扩大了3D图像的适应范围，提高了用户的使用体验。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种低延迟生成立体图像的方法，其特征在于，包括：

获取待处理图像的图像电信号；

将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。

2.如权利要求1所述的方法，其特征在于，所述“获取待处理图像的图像电信号”包括：

获取待处理图像的图像数据；

将所述图像数据转换为图像电信号。

3.如权利要求1所述的方法，其特征在于，所述“将获取到的图像电信号进行实时的合成处理，以生成立体图像”包括：

基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号；

对第一电信号进行色域转换处理，生成第二电信号；

对生成的各第二电信号进行同步处理，生成具有相同时间轴的第三信号；

对第三信号进行2D转3D的转换处理，生成3D图像信号；

基于所述3D图像信号生成3D图像。

4.如权利要求3所述的方法，其特征在于，所述“基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号”，包括：

对获取到的各图像电信号进行串行转并行处理以恢复出像素信息，生成第一电信号。

5.如权利要求3所述的方法，其特征在于，所述“对第一电信号进行色域转换处理，生成第二电信号”，包括：

将所述第一电信号中的YUV的色域转换成RGB色域，以生成第二电信号。

6.一种低延迟生成立体图像的设备，其特征在于，包括：

获取模块，用于获取待处理图像的图像电信号；

处理模块，用于将获取到的图像电信号进行实时的合成处理，以生成所述待处理图像对应的立体图像。

7.如权利要求6所述的设备，其特征在于，所述获取模块，用于：

获取待处理图像的图像数据；

将所述图像数据转换为图像电信号。

8.如权利要求6所述的设备，其特征在于，所述处理模块，具体用于：

基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号；

对第一电信号进行色域转换处理，生成第二电信号；

对生成的各第二电信号进行同步处理，生成具有相同时间轴的第三信号；

对第三信号进行2D转3D的转换处理，生成3D图像信号；

基于所述3D图像信号生成3D图像。

9.如权利要求8所述的设备，其特征在于，所述处理模块基于对获取到的各图像电信号进行恢复像素信息的处理，生成第一电信号，包括：

所述处理模块对获取到的各图像电信号进行串行转并行处理以恢复出像素信息，生成第一电信号。

10.如权利要求8所述的设备，其特征在于，所述处理模块对第一电信号进行色域转换处理，生成第二电信号，包括：

所述处理模块将所述第一电信号中的YUV的色域转换成RGB色域，以生成第二电信号。