CN105262942A - 分布式自动影像和视频处理 - Google Patents

Abstract

一种协作影像采集和处理的方法和系统。一个由一组网络连接的协作摄像机组成的系统，其中一部摄像机一旦确定成像事件就向协作摄像机请求成像。从采集到的视频中选择或生成描述事件的最佳视频。关于视频的额外描述被创建为机器可读的元数据形式和人类可读的文本描述。

Description

分布式自动影像和视频处理

技术领域

本发明涉及数码照片和视频的自动捕捉和处理。

背景技术

在日常生活中，拍摄数码照片和视频变得日益重要。人们通常在运动、旅行和其他活动中使用免持式摄像机，并将其固定在身体、头盔或设备上。这类摄像机可在自动模式下以预定的时间间隔持续拍摄视频或照片。然而，此种方法存在一些缺点。持续拍摄期间会产生诸多大文件，这些文件中大部分都是无用和多余的照片和视频，浪费了诸多存储空间和电池寿命，而且需要耗时的搜索和处理才能提取出视频或相关照片的有趣部分。此外，由于储存空间和电池寿命有限，就需要降低分辨率和帧频，并延长照片拍摄间隔。举例来说，当使用此类摄像机每隔几秒持续拍摄一组照片时，储存空间和电池寿命甚至会在拍摄到有趣时刻或值得拍摄对象之前就已耗尽，或者在两次连续拍摄之间错过了有趣时刻。

此外，由于摄像机固定在用户身体上，当用户想拍摄自己的照片时往往就无法从期望的角度进行拍摄。

发明内容

一种捕捉视频和静态影像的新方法随着诸多技术领域的发展形成：

数码成像技术的发展、光学性能的改善、分辨率和影像质量的提高以及摄像机价格的降低，产生了一种新局面，那就是当用户被其他用户和摄像机包围时，该用户能从不同角度拍摄其高分辨率的影像或视频。

网络连接的发展、带宽和覆盖范围的提高以及能耗和连接价格的同步降低，实现了数码相机的网络连接、必要系统信息交换以及照片和视频大文件的快速上传和下载。

影像和视频处理、视频理解技术以及面部和目标识别技术的发展，实现了从不同视角对人物和环境的识别，以及对视频流中有趣场面或场景的自动识别。

3D扫描、对不同视角拍摄的照片或视频的立体处理以及计算机图像生成的发展，实现了从新视角对影像或视频进行拍摄。

对所拍摄视频的影像处理和理解、对身体参数的监控以及对GPS和加速度传感器的使用，实现了对用户体验的重要和激动时刻的确定，以及通过视频拍摄、摄像机拍摄或增加分辨率、画质和帧频对这些时刻进行选择性的捕捉。

GPS、其他导航系统以及其他技术的发展，实现了对摄像机位置的映射和记录，以及对当前事件所关联的摄像机清单的了解。

一些社交程序能够追踪用户位置、识别和标记用户并采用其他方法从照片和视频中追踪用户物理位置并识别用户。随着这些社交程序以及社交网络的日益普及和使用，能够利用位于相关位置采用相关时间间隔的摄像机，从用户亲友及其他合作用户所拍摄的照片和视频中追踪和识别用户。

通过结合使用上述一些解决方案、进行相应修改并如本披露内容所述将其组织到恰当系统，形成了一种数码成像和视频拍摄的新方法。在该方法中，可穿戴摄像机一直处于“就绪”状态，不断从处于节能“经济”模式的所有相关传感器捕捉视频、音频和其他信息，并对其进行持续处理，以识别“重要”情况。根据在适当位置和恰当时间运行的一部或多部摄像机采集到的信息，自动或半自动检测、选择或生成最重要和有趣的事件。多部摄像机可连接至网络并在事件期间协作。摄像机采集的视频和照片也可上传至网络并在之后进行处理。

下面以用户在滑雪胜地滑雪这一场景为例，假设用户正在进行滑雪表演。用户摄像机自动检测到表演的开始和结束时刻，开始采集视频、影像以及适当的高品质设定。附近的其他协作摄像机也开始在相关间隔拍摄视频和影像。事件结束后，从所有摄像采集的视频被自动进行处理，然后从数部摄像机的视频中选出或生成最佳角度的最佳视频。该视频之后进行稳定处理，并基于多部摄像机的信息以及所识别个人和目标的其他影像和视频进行画质改善。

通过处理固定在用户身体或设备上的摄像机所拍摄的视频、摄像机或其他装置上传感器的声音、位置、速度、加速度或其他信息，包括身体监控传感器采集的心跳和大脑活动等信息，找到表演的恰当时刻。

基于其他登记和协作的摄像机的位置和视野确定相关摄像机。加速帧频、改善画质以及拍摄更高分辨率的静止影像也可应用到事件时刻的相关协作摄像机。

根据类似视角拍摄的多个视频/照片，选出或生成最佳视角的最佳照片和视频。也可在之后根据所有相关摄像机的拍摄内容以及在事件时刻和地点拍摄的影像/视频数据库离线找到最佳视角的最佳照片和视频。

附图说明

根据以下附图的描述，可更充分的理解本发明的诸多方面。附图中的各部件并非为了放大或强调，而是为了清晰说明当前披露内容的原理。在多幅附图中，各附图中的相同部分使用相同的参考数字标记。

图1是一个摄像机联网协作系统的示意图，与本发明的一个实施例一致。

图2是协作摄像机连接和参与的说明图，与本发明的一个实施例一致。

图3是摄像机运行和网络通讯的原理流程图，与本发明的一个实施例一致。

图4是摄像机系统的系统方框图，与本发明的一个实施例一致。

图5是摄像机与附近摄像机运行和协作的流程图。

图6是处理用户的视频或照片改善请求的流程图。

具体实施方式

本发明详述如下，并附有方法、装置（系统）和计算机程序产品的流程图和/或框图，与本发明的实施例一致。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中多个方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可在通用处理器、应用处理器和专用集成电路上执行，以创造方法实施流程图和/或框图中单个或多个方框指定的功能/操作。

这些计算机程序指令也可存储在能指示计算机或其他可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令会产生一个包含指令方法的制品，实施流程图和/或框图中单个或多个方框指定的功能/操作。

附图中的各部件并非为了放大或强调，而是为了清晰说明当前披露内容的原理。在多幅附图中，各附图中的相同部分使用相同的参考数字标记。

本发明的目标之一是提供一种方法和一个系统，用于在两个及以上协作成像系统环境中自动和半自动地拍摄视频和静止影像。这种系统又称为成像器。

各成像器中包含一个数字成像摄像机，能够拍摄数字静止影像、视频和/或3D视频。成像器可进一步包含一种实现成像器间通讯的网络连接，或一种实现与其他协作成像器直接通讯的装置。成像器可配备附加传感器，如GPS及其他导航定位传感器、加速度传感器、音频传感器、生物传感器等。成像器可进一步包含影像处理硬件和/或软件，并可将拍摄的影像和视频上传至网络进行处理。

在本发明中，术语“摄像机”指能够拍摄静止影像和/或视频的数字成像摄像机。此外，在一些情况下，上文所述“成像器”也将指“摄像机”。在本发明中，将使用术语“影像”或“视频”代替“静止影像或视频”。术语“自动采集”指有无用户直接初始化、配置、启动、停止和选择都进行的采集。为了陈述内容的清晰简洁，这些名称变体和名称组合未列在文本中。

成像器的预期用途之一是固定在用户身体或设备上，捕捉用户希望捕捉到的运动或其他活动。此类活动包括在滑雪胜地滑雪或滑雪板、在大海冲浪或风筝冲浪、骑自行车、徒步旅行等等。尽管用户会长时间穿戴成像器，但用户可能只对拍摄特定事件感兴趣。

术语“成像事件”或“事件”指特别有趣的事件，这类事件可能对用户而言具有价值，并且值得提高成像质量。此类事件可基于对持续拍摄的视频和/或传感器数据的处理自动确定。通过场景、速度和用户活动的改变、对场景内相关人物或目标的检测以及对加速心率、速度、高度、压力、加速度、声音或其他信息的检测，能够检测到成像事件。我们假定成像器至少拥有两种运行模式。一种是正常模式，用于监控传感器数据，并以降低的分辨率和帧频拍摄视频。另一种是影像增强模式，以加速的帧频、提高的分辨率、3D拍摄等进行成像。

本发明的目标之一是提供一种方法和一个系统，用于通过协作的成像器系统自动拍摄视频。当其中一台成像器检测到成像事件后，该成像器切换到影像增强模式，并通知其附近的协作成像器。这些协作成像器开始对同一事件成像，以从不同和更合适的视角和位置提供事件的视频，以供进一步处理或选择事件的最佳视频。

本发明的另一目标是提供一种方法和一个系统，用于视频处理。数部成像器从不同的位置和视角捕捉成像事件，并将采集到的视频上传至网络供进一步处理。在处理阶段，根据数个采集到的视频选择和生成最佳视频。最佳视频根据影像质量和事件描述质量确定。

影像质量标准包括噪点水平和恰当的焦距值、曝光值、白平衡值、视频稳定等。事件描述质量包括比例、距离、视角、场景质量（遮蔽或清晰呈现的主要对象或目标）、风景等。通过影像处理、面部检测和识别、场景分析以及传感器数据处理（如位置传感器、压力传感器、速度传感器、生物传感器等传感器的数据），可对事件进行定位。

在生成输出视频时，可通过处理多个采集到的视频的数据和/或添加储存在别处的已识别人士和目标的影像来提升影像质量。此外，可将诸如用户速度、位置、加速度等其他信息层覆盖在视频影像上。

在从多个源生成输出视频时，可考虑使用数字版权管理(DRM)。在该方法中，仅从源视频中选择具备合理DRM标签的视频，然后相应地对生成视频贴上标签并打上水印。

本发明的另一目标是通过文本描述（此处指“脚本”）提供视频，并自动提供视频的文本描述（脚本）。

用户请求的脚本可能是这样的：“我三月初在雨中骑车的视频”。分析程序首先识别出本视频的内容是骑自行车，然后识别出数据和天气情况，再提取相关视频。通过同时记录位置、天气情况等传感器数据可加速相关视频的搜索。当从用户历史中确定了活动位置后，分析程序对所有记录在相关位置和时间的视频进行处理，确定包含用户的视频，并通过场景和视频分析提取出最相关的最佳视频。另一条有用线索是社交网络中视频下的用户评论。分析这些评论可创建出与视频相关的元数据，用于描述活动和参与者，并创建到相关事件和帖子的链接。

本发明的另一目标是为拍摄的视频提供自动文本描述。场景分析和场景识别可用于确定活动。位置传感器、速度传感器、生物传感器等传感器的数据分析可进一步添加至描述中。视频相关元数据、社交网络中视频下的用户评论、参与者标签、至相关位置、用户和事件的链接将进一步帮助创建视频描述。

图1示出了本发明的一个实施例。101、105和106示出了安装有摄像机的用户，同实施例一致。102、106和104是这些摄像机的各自视野。用户101进行一些表演。通过处理用户摄像机拍摄的视频和/或处理其他传感器的信息，包括GPS数据、速度传感器和加速度传感器信息以及身体监控传感器的心率、大脑活动等信息，检测表演的重要性。在识别有趣或重要情景之后，摄像机通过网络，经天线110说明，发出协作请求。附近相关的摄像机103和105被识别和激活，从其他以及更好的角度采集同一事件的视频或照片。

图2示出了本发明的一个实施例。201-207示出了不同的摄像机，与一个实施例相一致。摄像机201（“系统1”）识别出用户在进行一些表演。通过处理用户摄像机拍摄的视频和/或处理其他传感器的信息，包括GPS数据、速度传感器和加速度传感器信息以及身体监控传感器的心率、大脑活动等信息，检测出表演的重要性。在识别有趣或重要情景之后，摄像机通过网络210发出协作请求。在附近的摄像机202-207中，相关摄像机202-205被识别和激活，开始拍摄初始影像或视频，并将这些影像或视频及其传感器数据传送至网络。数据处理之后，仅相关摄像机(203-205)被要求继续拍摄同一事件的视频和照片。最后，摄像机201在确定事件结束后，将相应通知发送至网络，再经网络通知附近摄像机。

图3是摄像机运行和网络通讯的原理流程图，与本发明的一个实施例一致。方框301显示摄像机如何通过处理来自摄像机(311)、导航系统、加速度传感器(313)以及生物传感器(312)的数据确认事件开始。也就是说，当视图信息量大且迅速变化时，当场景快速移动时、当场景存在其他不寻常参数、重要朋友面容、美丽风景时、当统计数字接近用户喜欢拍摄的影像和视频的统计数字时，通过对摄像机输入的视频进行影像分析和理解能够识别出有趣事件。导航系统显示有趣目标、山顶等附近的位置。速度传感器或加速度传感器的值往往很高，或者加速度传感器的值很低（跳跃或自由落体）。生物传感器显示加速的心率、大脑活动等。

当301-302识别到事件开始后，方框303内的摄像机执行两个动作：通过提高分辨率、帧频或其他影像或视频画质参数增强成像质量，然后通知网络服务器事件开始，并请求服务器找到附近的协作摄像机。通过位置和其他标准对所有摄像机进行筛选，并请求相关摄像机进行协作。相关摄像机可“同意”或拒绝协作。如果相关摄像机“同意”协作，那么这些摄像机可回复数据报告其位置、视野、电池状态和其他参数。服务器基于可用摄像机的回复，选择最合适的摄像机，拒绝较不合适的摄像机。服务器可向所述摄像机组发送确认信号。

初始摄像机继续处理步骤304-305中采集的视频和传感器数据，直至其识别到事件结束，并向步骤306中的服务器发出通知。此时，辅助摄像机退出。由于用户和辅助摄像机的相对运动，一些辅助摄像机会提前退出。其他摄像机会因为相同的原因参与。

图4是摄像机系统的系统方框图，与本发明的一个实施例一致。该系统包含以下部分：数字成像摄像机401，包括光学透镜、影像传感器和促进视频和静态影像采集的影像信号管道(ISP)；传感器403，包括导航信号传感器、加速度传感器、身体状态传感器、压力传感器、磁场传感器和其他传感器；促进所有传感器信息采集、影像处理、用户重要场景识别以及协作采集中有用摄像机的传感器；网络接口404,其促进所有网络通讯，包括发送和接收请求、元数据、控制数据、传感器数据、影像和视频以及其他必要或相关信息。存储器405促进视频和其他数据的存储和读取；处理单元402促进系统及其部件的协调和控制。

图5是摄像机与附近摄像机运行和协作的流程图。用户摄像机识别到重要事件开始之后，在方框501内通过网络或直接通讯请求附近摄像机的协作。附近摄像机被识别，请求被发送给方框502中的相关摄像机。在收到摄像机的回复后，相关摄像机被请求在方框503中拍摄视频。附近的一些摄像机可能因为方向不正确、准确定位或电池耗尽等原因被归为无关摄像机。事件结束后，“结束”信号被发送至方框504中的协作摄像机。最后，数据从摄像机获取，并在方框505中进行处理。

图6是处理用户的视频或照片改善请求的流程图。当用户在方框601中请求特定照片或视频后，在方框602中搜索参与用户的所有数据库。根据日期、时间、位置以及方框603中的其他数据和影像质量识别相关照片和视频。最后，处理出最佳视频，作为从最佳方向拍摄或生成的最佳画质视频。结果在方框604中发送给用户。

Claims (18)

1.一种通过分布式相互通讯成像器组协作拍摄成像事件影像的方法，其中：

一旦一部成像器确定事件开始

-便开始以增强模式拍摄影像；

-将事件通知给协作成像器，使这些成像器也开始以增强模式拍摄该事件影像。

2.根据权利要求1所述的方法，其中通过处理成像器采集的视频确定成像事件开始。

3.根据权利要求1所述的方法，其中通过处理成像器采集的传感器数据确定成像事件开始。

4.根据权利要求1所述的方法，其中协作成像器被连接至网络。

5.根据权利要求1所述的方法，其中协作成像器直接通讯。

6.一种影像处理方法，其中通过两部或以上成像器捕捉成像事件，再通过处理两个或以上采集到的视频生成事件的最终视频。

7.根据权利要求6所述的方法，其中所述的处理包含影像质量处理和场景分析，通过影像质量和场景分析标准选出最佳视频作为最终视频。

8.根据权利要求6所述的方法，其中所述的成像器也采集传感器数据，并且所述的处理在选择视频时将所述的传感器数据考虑在内。

9.根据权利要求8所述的方法，其中所述的传感器数据包括成像器位置数据，并且处理根据位置选择相关视频。

10.根据权利要求6所述的方法，其中第一部成像器固定在用户身体或设备上，最终视频从所述用户附近的成像器所拍摄的视频中生成；

所述附近成像器根据其位置传感器的位置数据和第一部成像器的位置数据确定。

11.根据权利要求6所述的方法，该方法将单独获取的视频信息合并入采集到的视频中，再基于此生成新视频。

12.根据权利要求11所述的方法，其中所述的信息包括对用户、目标和场景对象的监视信息，这些信息通过视频处理识别。

13.根据权利要求6所述的方法，其中所述的处理改变分辨率、利用多个视频流提高画质以及根据影像处理、调整和加速度传感器稳定影像。

14.根据权利要求6所述的方法，其中所述的处理包括添加一层显示用户速度、高度、重力等信息的图像层。

15.一种视频数据库处理方法，其包括以下步骤：

上传多个用户的视频，并向所述视频添加额外的位置和时间数据；

通过场景解析和影像理解算法进一步处理上传的视频，添加包含位置、参与用户身份、活动、物体和风景描述的额外标签层。

16.一种根据方法15的视频数据库处理方法，其进一步包括以下步骤：

获取用户以文本描述为形式的请求；

通过文本分析、搜索相应视频、利用附着在数据库内视频的标签层识别与文本描述相关的视频。

17.一种根据方法15的视频数据库处理方法，其进一步包括以下步骤：

基于视频分析结果、传感器数据以及元数据相关视频生成视频的文本描述。

18.一种根据权利要求15所述的视频数据库处理方法，其中上传的视频进一步包括正确管理标签；处理进一步包括选择带恰当正确管理标签的源视频；生成视频由恰当正确管理标签标记。