CN110708502A - 自动检测数字流并将其插入360度视频的系统、方法和介质 - Google Patents

Abstract

自动检测数字流并将其插入360度视频的系统、方法和介质。用于自动检测数字流并将其插入360度视频中的系统和方法。这种用户感兴趣区域的各种示例包括而不限于，在各种电子显示器上显示或在电子纸(电子墨水)上写下的内容、利用电子投射器投射在各种面上的内容、360度视频中出现的纸质文档的内容和/或在360度视频内的白板(黑板)上写下的内容。对于某些内容(如白板、纸质文档或博物馆中的绘画)，参与者(或管理者)可以拍摄该区域的图片，再次以数字形式存储在某处并可供下载。获得具有用户感兴趣内容的这些数字流，然后将这些数字流插入到从原始360度视频馈送生成的360度视图上，使用户能够以其原本的高分辨率来观看它们。

Description

自动检测数字流并将其插入360度视频的系统、方法和介质

技术领域

所公开的实施方式总体上涉及增强视频系统和方法，并且，更具体地说，涉及用于自动检测数字流并将其插入360度视频中的系统和方法。

背景技术

360度视频(也称为沉浸式视频或球形视频)是利用全向摄像头或指向不同方向的多个摄像头的集合获取的视频录制，其中同时记录每个方向的视图。在常规平板显示器上播放360度视频期间，可以向观看者提供对观看方向(如全景)的控制。360度视频也可以在设置于圆柱形或球形某一部分中的显示器或投射器上播放。对于远程加入会议或其他团体集会(如贸易展览、博物馆，以及艺术展)来说，前述360度视频是一种显著改进，因为它们为远程观众提供了对观众可观看内容的完全控制。

然而，该技术的一个缺点是，360度视频对包含高密度信息(如投射到屏幕或白板上的演示幻灯片)的某些区域的成像不佳。在许多情况下，眩光以及到感兴趣区域的距离使得观看者不可能阅读到所显示的信息。

因此，鉴于常规360度视频技术的上述和其它缺点，需要新的和改进的系统和方法，该系统和方法将自动检测高分辨率数字视频流并将该数字流插入到360度视频中，使其对用户可读。

发明内容

本文描述的实施方式涉及系统和方法，该系统和方法基本上消除与360度视频的常规系统和方法相关的一个或更多个上述和其它问题。

根据本文描述的实施方式的一个方面，提供了一种系统，该系统包括：至少一个摄像头，该至少一个摄像头获取环境的360度视频；以及处理单元，该处理单元用于识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。

在一个或更多个实施方式中，插入候选是360度视频内的区域。

在一个或更多个实施方式中，360度视频内的区域是面。

在一个或更多个实施方式中，360度视频内的区域是显示器屏幕。

在一个或更多个实施方式中，360度视频内的区域是白板。

在一个或更多个实施方式中，媒体是图像。

在一个或更多个实施方式中，媒体是视频流。

在一个或更多个实施方式中，媒体的分辨率高于360度视频的分辨率。

在一个或更多个实施方式中，所插入的媒体是基于插入候选的检测到的遮挡来剪切的。

在一个或更多个实施方式中，所插入的媒体是利用掩模(mask)来剪切的。

在一个或更多个实施方式中，插入候选是利用360度视频的内容来识别的。

在一个或更多个实施方式中，插入候选是基于至少一个摄像头的、相对于插入候选的位置的位置来识别的。

在一个或更多个实施方式中，要插入所标识的至少一个插入候选中的媒体是基于对360度视频中位于所标识的至少一个插入候选附近的人的脸部识别来选择的。

在一个或更多个实施方式中，插入候选是利用360度视频内的对象识别来标识的。

在一个或更多个实施方式中，插入候选是另外基于用户的输入来标识的。

在一个或更多个实施方式中，要插入所标识的至少一个插入候选中的媒体是基于360度视频内所识别的至少一个插入候选的位置来选择的。

根据本文所述实施方式的另一方面，提供了一种方法，该方法包括以下步骤：使用至少一个摄像头获取环境的360度视频；以及使用处理单元标识所获取的360度视频内的至少一个插入候选，并将媒体插入所标识的至少一个插入候选中。

根据本文所述实施方式的又一方面，提供了一种包含实现方法的一组指令的有形计算机可读介质，所述方法包括以下步骤：使用至少一个摄像头获取环境的360度视频；以及使用处理单元标识所获取的360度视频内的至少一个插入候选，并将媒体插入所述标识的至少一个插入候选中。

与本发明有关的其他方面将部分地在下面的描述中加以阐述，并且部分地将从描述显而易见，或者可以通过实践本发明而获知。通过在以下详细描述和所附权利要求书中特别指出的部件以及各种部件和方面的组合，可以实现并获得本发明的各个方面。

应理解，前述和以下描述都仅是示例性和说明性的，并不旨在以任何方式限制所要求保护的发明或其应用。

附图说明

包含在本说明书中并构成本说明书一部分的附图举例说明了本发明的实施方式，并与说明书一起解释和说明本发明技术的原理。具体地：

图1例示了360度视频的示例性设置。

图2例示了自动检测数字流并将其插入到本文所述360度视频中的系统的实施方式的示例性操作序列。

图3例示了360度视频(如膝上型电脑的LCD屏幕)中的某些示例性区域，这些区域对于摄像头不是直接可见的。

图4例示了可被用于实现本文所述技术的计算机系统400的示例性实施方式。

具体实施方式

在下面的详细描述中，将参考附图，其中相同的功能部件用相同的标号表示。上述附图以例示方式而非限制方式示出符合本发明原理的具体实施方式和实现。这些实现被足够详细地描述，以使本领域技术人员能够实践本发明，而且要明白的是，可以利用其它实现，并且可以在不脱离本发明的范围和精神的情况下对各种部件进行结构性改变和/或替换。因此，以下详细描述不应被解释为限制性含义。另外，所描述的本发明的各种实施方式可以采用在通用计算机上运行的软件的形式、专用硬件的形式、或者软件和硬件的组合来实现。

根据本文所述实施方式的一个方面，提供了用于自动检测数字流并将其插入360度视频中的系统和方法。这种用户感兴趣区域的各种示例包括但不限于：在各种电子显示器上显示或在电子纸(电子墨水)上写下的内容、利用电子投射器投射在各种面上的内容、360度视频中出现的纸质文档的内容和/或在360度视频内的白板(黑板)上写下的内容。如本领域普通技术人员将清楚的，这些用户感兴趣区域越来越多为“数字原生(digitalborn)”，意味着是计算机正在驱动显示器。对于某些内容(如白板、纸质文档或博物馆中的绘画)，参与者(或管理者)可以拍摄该区域的图片，再次以数字形式存储在某处并可供下载。

在一个或更多个实施方式中，获得具有用户感兴趣内容的这些数字流，然后将这些数字流插入到从原始360度视频馈送生成的360度视图上，使用户能够以其原本的高分辨率来观看它们。应注意到，尽管该描述关注于360度视场图像，但本文所述方法可以应用于具有少于全360度全景视场的其它视图。

在一个或更多个实施方式中，为了实现这一点，所述系统半自动地确定每个数字流应当被插入360度视频中的位置。为了提供逼真插入部，该系统的实施方式还对数字流应用掩模，以避免遮挡对象，例如，可能在360度摄像头和感兴趣区域之间移动的人(例如，在所投射内容前方移动的主持者)。

各种实施方式使用两种方法来寻找区域并确定要放置插入部的位置：基于图像；以及基于几何形状。利用基于图像的方法，不需要关于摄像头或区域的实际布置的信息(简单地通过摄像头或区域在来自360度摄像头的图像内的位置来确定和操纵它们)。另选地，基于几何形状的方法使用摄像头的姿态以及在世界中的区域位置来确定它们在图像中的对应位置。基于图像的方法较简单，并且可能适于摄像头和感兴趣区域固定的情况，如会议室中永久放置的360度摄像头和电子(LCD、LED、等离子体)显示器。

在另一另选实施方式中，在摄像头移动、区域移动，或者诸如其它摄像头或传感器这样的辅助工具被用于确定感兴趣区域或遮挡体的位置时，可能需要基于几何形状的方法。首先对前述基于图像的方法(特别针对会议室场景)进行描述，然后再讨论基于几何形状的方法。

在一个或更多个实施方式中，第一步骤先从360度视频馈送中提取一组候选面和对象(统称为“感兴趣区域”)，如图1所示，其包括三个面101、102、103，五个脸部104、105、106、107、108，以及与其中一个脸部相关联的膝上型电脑109。在各种实施方式中，前述自动检测可以使用脸部和人物检测以及检测到的闪烁屏幕来确定它们在视频中的对应位置。

图2例示了自动检测数字流并将其插入到本文所述360度视频中的系统的实施方式的示例性操作序列200。首先，在步骤201，利用一个或多个摄像头创建360度视频。在步骤202，检测360度视频中的区域。

在步骤203，识别候选区域。在各种实施方式中，在步骤203，可以使用户(终端用户或者“房间管理者(room curator)”)能够手动调整前述感兴趣区域的位置。应注意到，对于大多数房间，由于投射器屏幕或白板不太可能被大范围移动，因此不需要进一步调整上述面。在步骤205，然后，该系统的实施方式收集可用于该系统的一组数字流，包括但不限于：从讲台计算机运行的VNC视频流(视频+音频，HTML5解决方案)、来自对白板进行成像的移动装置的图像或实时视频、在会议期间共享的画面的WebRTC(Web实时通信)流连同其参与者的姓名，或采用本领域公知格式的任何其它视频流。

在各种实施方式中，利用图像匹配，该系统将数字流与先前所标识的感兴趣区域相关联(参见步骤204)，从而产生流/区域对206。而且，该应用的终端用户或系统管理员可以修改自动生成的默认映射。例如，在图1中，可能很难区分哪个白板应当被映射至该白板的数字图像。

一旦找到感兴趣区域的位置并将其映射至数字流，则将数字流添加到3D渲染的360度视频馈送上。然而，因为房间里的人有可能遮挡感兴趣区域(例如，主持者在所投射内容的前方移动)，所以该系统的实施方式包括遮挡检测器，该遮挡检测器在将数字流插入到最终渲染上之前计算该数字流的掩模，参见步骤207。在各种实施方式中，掩蔽可以通过以下方式完成：

1.通过直接比较纠正的感兴趣区域与其关联流，遮掩具有很大差异的区域(例如，图1，白板)。

2.通过利用在He,Kaiming,et al."Mask R-CNN."Computer Vision(ICCV),2017IEEE International Conference on.IEEE,2017中描述的掩模R-CNN方法，来检测数字流前面的遮挡形状。图3中例示了该方法，其中，笔记本电脑流在被检测为笔记本电脑的感兴趣区域上呈现，但是如果用户在会议期间移动到笔记本电脑前方，则该笔记本电脑可能会消失不见。在一个或更多个另选实施方式中，可以使用其它方法来代替前述掩模R-CNN方法，包括但不限于：任何对象探测器，例如，其可以确定是否有人站立；任何人体姿态估计器，其可以被用于获取相同的信息；或者任何其它语义分割网络，如从Google可获的DeepLab。最后，在步骤208，执行最终的插入部渲染。

应注意到，某些区域可能对摄像头来说不可见，如参与者在会议期间通过WebRTC共享的笔记本电脑画面：360摄像头只能看到笔记本电脑的背面，如图3所示的元素301，使得无法利用图像差异来计算掩模。相反，在一个实施方式中，所述系统依赖于人物检测器和分割方法(例如，掩模R-CNN)来检测出人站在特定区域的前方。

在一个或更多个实施方式中，如果脸部检测器也有脸部识别，则该系统可以将共享画面插入到最靠近所识别的脸部的笔记本电脑上的360度视频中。在脸部无法轻易识别的情况下，在一个实施方式中，参与者可以手动将自己指派到区域上，例如通过在360度视频馈送中单击他们的脸部。

下面，对用于增强视频的基于几何形状的方法进行详细描述。确定应当放置插入部的区域的另一方法是确定360度摄像头的世界位置和布置，以及感兴趣区域的世界位置和布局。然后，可以将定义该区域的世界坐标(如矩形的顶点)投射到图像坐标中。在场景内的摄像头或对象正在移动的情况下，或者当使用其它位置信息源来提供用于掩模的信息时，这可能是必要的。例如，具有元素(skeleton)跟踪器的Kinect系统(在本领域中公知且可广泛商用)可以确定主持者是否站在显示器前方。如果Kinect被放置得非常靠近360度摄像头，那么基于图像的方法就足够了，但如果Kinect处于其它位置，那么必须将所跟踪的主持者的世界位置投射到360度图像坐标中以确定是否存在遮挡。这也可以在使用诸如结构化编码光的某些跟踪技术来确定诸如膝上型电脑的装置的位置时加以使用。

对于摄像头正在移动的情况来说，可以通过识别基准点在世界中的位置来确定摄像头位置，诸如在本领域中公知的已布置的QR码上，或者在已配准图像上的标志点处。这可以实时完成。对于某些应用(如虚拟录制的博物馆游览)，摄像头姿态可以通过本领域公知的、如在OpenSFM中提供的运动恢复结构方法来确定，该方法不是实时运行的。

计算机系统的示例性实施方式

图4例示了可以被用于实现本文所述技术的计算机系统400的示例性实施方式。在一个或更多个实施方式中，计算机400可以按照本领域技术人员所公知的移动计算装置的尺寸外观(form factor)来实现。在另选实施方式中，计算机400可以基于膝上型计算机或笔记本计算机来实现。然而在另选实施方式中，计算机400可以是专用计算系统。

计算机400可以包括用于遍及计算机400的各种硬件组件并在其间传送信息的数据总线404或其它互连或通信机制，以及与数据总线404耦接以处理信息和执行其它计算和控制任务的中央处理单元(CPU或者简称为处理器)401。计算机400还包括耦接至数据总线404的、用于存储各种信息和要通过处理器401执行的指令的存储器412，如随机存取存储器(RAM)或其它动态存储装置。存储器412还可以包括永久性存储装置，如磁盘、光盘、固态闪速存储器装置或其它非易失性固态存储装置。

在一个或更多个实施方式中，存储器412还可以被用于在处理器401执行指令期间，存储临时变量或其它中间信息。可选地，计算机400还可以包括只读存储器(ROM或EPROM)402或耦接至数据总线404的其它静态存储装置，以存储静态信息和用于处理器401的指令，如计算机400的操作所需的固件、基本输入输出系统(BIOS)，以及计算机400的各种配置参数。

在一个或更多个实施方式中，计算机400可以额外包含两个或更多个摄像头409、410，以用于生成360度视频。另外，计算机400可以包含用于获得与所捕获的360度视频相关联的音频的多个麦克风411。

在一个或更多个实施方式中，计算机400可以额外包括通信接口，如联接至数据总线404的网络接口405。网络接口405可以被配置成利用WIFI接口407和蜂窝网络(GSM或CDMA)适配器408中的至少一方在计算机400与因特网424之间建立连接。网络接口405可以被配置成在计算机400与因特网424之间提供双向数据通信。WIFI接口407可以遵循802.11a、802.11b、802.11g和/或802.11n协议以及本领域普通技术人员公知的蓝牙协议来操作。在示例性实现中，WIFI接口407和蜂窝网络(GSM或CDMA)适配器408发送和接收携带表示各种类型信息的数字数据流的电信号或电磁信号。

在一个或更多个实施方式中，因特网424通常通过一个或更多个子网络向其它网络资源提供数据通信。因此，计算机400能够访问位于因特网424上任何地方的各种网络资源，如远程媒体服务器、web服务器、其它内容服务器以及其它网络数据存储资源。在一个或更多个实施方式中，计算机400被配置成借助于网络接口405，通过包括因特网424在内的多种网络来发送和接收消息、媒体以及其它数据，包括应用程序代码。在该因特网示例中，当计算机400充当网络客户端时，其可以为在计算机400中执行的应用程序请求代码或数据。类似地，其可以将各种数据或计算机代码发送至其它网络资源。

在一个或更多个实施方式中，响应于处理器401执行包含在存储器412中的一个或更多个指令的一个或更多个序列，通过计算机400来实现本文所描述的功能。这样的指令可以从另一计算机可读介质来读入存储器412。执行包含在存储器412中的序列指令使处理器401执行本文所述的各个处理步骤。在另选实施方式中，可以代替地或者与软件指令组合地使用硬布线电路来实现本发明的实施方式。因此，本发明的实施方式不限于硬件电路和软件的任何特定组合。

在此使用的术语“计算机可读介质”是指参与向处理器401提供用于执行的指令的任何介质。该计算机可读介质仅是机器可读介质的一个示例，其可以携带用于实现本文所述任何方法和/或技术的指令。这种介质可以采取多种形式，包括但不限于非易失性介质和易失性介质。

非暂时性计算机可读介质的常见形式例如包括：软盘、软磁盘、硬盘、磁带或任何其它磁介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、任何其它有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、闪速驱动器、存储器卡、任何其它存储器芯片或盒式磁带，或者计算机可以从中读取的任何其它介质。各种形式的计算机可读介质可以涉及向处理器401传送一个或更多个指令的一个或更多个序列以供执行。例如，该指令可以最初在来自远程计算机的磁盘上携带。另选地，远程计算机可以将该指令加载到其动态存储器中并且通过因特网424发送该指令。具体地，该计算机指令可以利用本领域公知的多种网络数据通信协议，经由因特网424从前述远程计算机下载到计算机400的存储器412中。

在一个或更多个实施方式中，计算机400的存储器412可以存储任何以下软件程序、应用和/或模块：

1.操作系统(OS)413，其可以是用于实现基本系统服务和管理计算机400的各种硬件组件的移动操作系统。操作系统413的示例性实施方式对于本领域技术人员来说是公知的，并且可以包括任何现在已知或以后开发的移动操作系统。另外可以提供能够利用网络接口405来实现网络通信的网络通信模块414。

2.软件模块415例如可以包括由计算机400的处理器401执行的一组软件模块，其使计算机400执行某些预定功能，如利用摄像头409和410(模块416))来记录360度视频和执行自动检测数字流并将其插入360度视频(模块417)。

3.数据存储部418可用于例如存储各种参数和阈值419。

最后，应理解，本文描述的过程和技术并非固有地与任何特定装置相关，而是可以通过任何合适的组件组合来实现。而且，根据本文所描述的教导，可以使用各种类型的通用装置。还可以证明构造专用装置来执行本文所述方法步骤是有利的。已经结合特定实施例描述了本发明，这些实施例在所有方面都旨在是例示性的而不是限制性的。本领域技术人员应当清楚，硬件、软件和固件的许多不同组合将适用于实践本发明。例如，所描述的软件可以采用各种编程或脚本语言来实现，如汇编程序、C/C++、Objective-C、perl、shell、PHP、Java，以及任何现在已知或以后开发的编程或脚本语言。

此外，考虑到本文公开的本发明的说明书和实践，本发明的其他实现对于本领域技术人员将是显而易见的。所描述的实施方式的各个方面和/或组件可以单独地或者以任何组合用于自动检测数据流并将其插入360度视频的系统和方法中。本说明书和实施例仅被视为示例性的，并且本发明的真实范围和精神由所附权利要求书表示。

Claims (20)

1.一种用于自动检测数字流并将其插入360度视频的系统，该系统包括：

a.至少一个摄像头，所述至少一个摄像头获取环境的360度视频；以及

b.处理单元，该处理单元识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。

2.根据权利要求1所述的系统，其中，所述插入候选是所述360度视频内的区域。

3.根据权利要求2所述的系统，其中，所述360度视频内的区域是面。

4.根据权利要求2所述的系统，其中，所述360度视频内的区域是显示器屏幕。

5.根据权利要求2所述的系统，其中，所述360度视频内的区域是白板。

6.根据权利要求1所述的系统，其中，所述媒体是图像。

7.根据权利要求1所述的系统，其中，所述媒体是视频流。

8.根据权利要求1所述的系统，其中，所述媒体的分辨率高于所述360度视频的分辨率。

9.根据权利要求1所述的系统，其中，基于检测到的、对所述插入候选的遮挡来剪切插入的所述媒体。

10.根据权利要求9所述的系统，其中，插入的所述媒体是利用掩模来剪切的。

11.根据权利要求1所述的系统，其中，所述插入候选是利用所述360度视频的内容来识别的。

12.根据权利要求1所述的系统，其中，所述插入候选是基于所述至少一个摄像头相对于所述插入候选的位置的位置来识别的。

13.根据权利要求1所述的系统，其中，要插入所识别的至少一个插入候选中的所述媒体是基于对所述360度视频中位于所识别的至少一个插入候选附近的人的脸部识别来选择的。

14.根据权利要求1所述的系统，其中，所述插入候选是利用所述360度视频内的对象识别来识别的。

15.根据权利要求1所述的系统，其中，所述插入候选是另外基于用户的输入来识别的。

16.根据权利要求1所述的系统，其中，要插入所识别的至少一个插入候选中的所述媒体是基于所述360度视频内所识别的至少一个插入候选的位置来选择的。

17.一种用于自动检测数字流并将其插入360度视频的方法，该方法包括以下步骤：

a.使用至少一个摄像头获取环境的360度视频；以及

b.使用处理单元识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。

18.根据权利要求17所述的方法，其中，所述插入候选是所述360度视频内的区域。

19.根据权利要求18所述的方法，其中，所述360度视频内的区域是面。

20.一种有形计算机可读介质，该有形计算机可读介质包含实现方法的一组指令，所述方法包括以下步骤：

a.使用至少一个摄像头获取环境的360度视频；以及

b.使用处理单元识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。

Images