CN109690607A - 基于视频的数据收集、图像捕获以及分析配置 - Google Patents

Abstract

在用于视频数据捕获和共享的系统中，客户端设备可以包括一个或多个摄像机和传感器，以捕获视频数据并生成相关联的元数据。基于云的部件可以接收来自客户端设备的元数据以及对于共享由其它客户端设备捕获的视频数据的请求。具有所请求的视频数据的客户端设备通过将它们提供的元数据与共享请求匹配并且通过它们对请求中指定的感兴趣对象的图像搜索查询的响应来标识。

Description

基于视频的数据收集、图像捕获以及分析配置

相关申请的交叉引用

本申请要求于2016年10月25日提交的美国临时申请No.62/412,764的权益，该临时申请通过引用整体并入本文。

技术领域

本公开一般而言涉及基于视频的数据收集系统，并且更具体地涉及图像、视频和传感器数据捕获、存储、传输和分析。

背景技术

随着智能电话的广泛采用以及我们与互联网和社交网络的无处不在的连接，软件应用和相机在我们日常生活中对于个人应用已经变得普遍。我们利用我们的智能电话拍摄各种活动、物品和情况的照片和视频，并且轻松地上传到云服务，并与朋友、家人以及订阅或关注我们的共享内容的其他人共享。

在智能家庭或自动化家庭市场领域中也存在许多产品和服务。家庭或商业地点周围的安全相机被广泛使用，它们或者持续地或者利用基于事件的触发器(如运动传感器)进行记录，并将记录的视频本地存储在视频服务器上或者将视频上传到云服务，将视频上传到云服务是或者通过家庭路由器经由有线连接或者使用Wi-Fi连接到家庭网络。记录的视频通常可供用户使用一段时间，并可从智能电话中的软件应用或经由网站实时访问。多相机系统存储来自家庭周围的各种相机的视频馈送，并通过公共用户界面使用户可以使用各种馈送。一些服务提供与其他用户共享这些视频的能力，不仅经由社交网络，而且还基于其它因素。例如，位于加利福尼亚州圣莫尼卡的Bot Home Automation公司提供称为Ring的配备相机的门铃系统。客户经由网站ring.com访问来自Ring相机的视频。Ring系统的一个特征被称为“Ring Neighborhoods”(在https://ring.com/neighborhoods上描述)。用户可以在配备有Ring相机的用户家周围设置半径，并在该半径内的其他用户在Ring平台中共享视频时自动获得通知。用户可以共享他们发现的可能附近的其他用户感兴趣的任何视频。但是，这个系统要求用户回顾他们的所有视频以找到可能有趣的视频，然后将其上传以便与预定义距离内的其他Ring用户共享。

另一个使用相机的领域是车辆。用于备用或侧视相机的安全相机正变得普遍。对于商用车辆(如出租车或其它车辆)，安全相机系统记录来自车辆内部和外部的视频，以用于安全和管理目的。例如，位于密歇根州贝尔维尔的Safety Track提供了一种双通道仪表相机系统，该系统配备有3G/4G蜂窝加密狗，其经由USB连接到相机系统，用于实时地从车辆流传输视频(在http://www.safetytrack.net/dual-lens-in-vehicle-fleet-camera-system/上描述)。但是，这些车载系统不容易让普通消费者安装，并且缺乏与其它系统的任何视频共享能力，并且不会自动标记和共享事件。

所需要的是一种解决现有技术缺陷的视频收集和共享平台。

发明内容

根据本发明的各种实施例，提供了一种视频数据收集和共享平台。

在一个实施例中，用于视频数据捕获和共享的基于云的系统包括多个客户端设备。每个客户端设备可以包括一个或多个摄像机、一个或多个传感器、处理器、存储器以及蜂窝通信模块。客户端设备可以优选地被配置为捕获视频数据并生成与视频数据相关联的元数据。元数据可以优选地至少部分地包括从一个或多个传感器导出的数据。基于云的系统有时可以与多个客户端设备通信，并且可以被配置为在连接时从多个客户端设备接收元数据。它还可以被配置为从客户端设备接收用于共享由来自多个客户端设备的其它客户端设备捕获的视频数据的请求。基于云的系统还可以被配置为通过以下来标识一个或多个客户端设备：将来自多个客户端设备的子集的元数据与请求匹配；向客户端设备的该子集发送针对请求中指定的感兴趣对象的图像搜索查询；以及从一个或多个客户端设备接收指示在由一个或多个标识出的客户端设备捕获的视频数据中找到感兴趣对象的肯定匹配响应。

在替代实施例中，基于云的系统还可以被配置为周期性地、在捕获预设量的视频数据后、在捕获预设时间量的视频数据后或者根据请求从多个客户端设备中的每一个接收元数据。可选地，预设量的视频数据可以在1秒到30秒之间，并且与视频数据相关联的元数据可以可选地包括位置信息和/或朝向信息。

在一些实施例中，一个或多个传感器可以包括位置传感器、加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器或步进检测器传感器中的一个或多个。可选地，在一个实施例中，一个或多个客户端设备可以是安装在移动车辆上的仪表安装相机设备，而其它客户端设备是安装在固定结构上的固定相机设备。在一些实施例中，系统还可以可选地包括移动设备，该移动设备被配置为与客户端设备建立数据通信以从客户端设备接收视频数据。

根据一个实施例，共享来自多个相机的视频包括：接收共享视频数据的请求，该请求包括与所请求的视频数据相关联的元数据和标识感兴趣对象的图像查询。共享还涉及从多个相机设备获得与视频数据相关联的元数据，基于从相机设备获得的元数据和请求中指定的元数据来标识相机设备的子集，以及将图像查询发送到相机设备的该子集。在从相机设备的该子集中的一个或多个相机设备接收到指示由一个或多个相机设备捕获的视频数据中感兴趣对象的肯定匹配的响应时，获得共享肯定匹配的视频数据的授权，以及可以与一个或多个用户共享肯定匹配的视频数据，例如通过向一个或多个用户发送播放列表或清单文件中的一个来标识肯定匹配的视频数据的至少一部分的位置。

可选地，与视频数据相关联的元数据可以可选地包括位置信息和/或朝向信息。在一个实施例中，与视频数据相关联的元数据可以至少部分地从位置传感器、加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器或步进检测器传感器中的一个或多个导出。在一个实施例中，接收与针对事件自动生成的视频剪辑相关联的元数据，其中事件是根据来自一个或多个传感器的输入确定的，并且所请求的视频数据与相同的自动生成的事件相关。在一些实施例中，请求可以是来自在服务器系统上执行的计算机软件模块的计算机程序调用。

在另一个实施例中，提供了一种用于共享来自多个相机的视频的系统，该系统包括计算机可读介质，该计算机可读介质包括当由一个或多个处理器执行时使得一个或多个处理器实现一组软件模块的指令。该系统可以包括多个模块。例如，它可以包括用于接收共享视频数据的请求的模块，该请求包括与所请求的视频数据相关联的元数据以及标识感兴趣的对象的图像查询。它还可以包括用于从多个相机设备获得与视频数据相关联的元数据的模块。它还可以包括用于基于从相机设备获得的元数据和在请求中指定的元数据来标识相机设备的子集的模块。它还可以包括用于将图像查询发送到相机设备的该子集的模块。此外，系统可以包括用于从相机设备的该子集中的一个或多个相机设备接收响应的模块，该响应指示由一个或多个相机设备捕获的视频数据中感兴趣对象的肯定匹配，用于获得共享肯定匹配的视频数据的授权的模块，以及用于与一个或多个用户共享肯定匹配的视频数据的模块。在替代实施例中，该系统还可以包括用于接收与针对事件自动生成的视频剪辑相关联的元数据的模块，其中事件是根据来自一个或多个传感器的输入确定的，并且所请求的视频数据可以与相同事件相关。可选地，用于接收请求的模块包括用于从在一个或多个处理器上执行的计算机软件模块接收计算机程序调用的程序指令。

在一个实施例中，用于与系统的用户共享肯定匹配的视频数据的模块还包括用于向用户发送播放列表或清单文件的模块，其具有关于肯定匹配的视频数据中的至少一部分的位置的标识信息。可选地，该请求包括可以包括位置信息和/或朝向信息的元数据。在一个实施例中，与视频数据相关联的元数据可以至少部分地从位置传感器、加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器或步进检测器传感器中的一个或多个导出。

根据其它实施例，提供了一种用于视频数据捕获和共享的基于云的系统。基于云的系统可以包括移动的车载客户端设备，其包括一个或多个摄像机、一个或多个传感器、处理器、存储器以及蜂窝通信模块。客户端设备可以被配置为从移动的车辆捕获视频数据并生成与视频数据相关联的元数据，元数据至少部分地包括从一个或多个传感器导出的数据。该系统还可以包括固定的辅助相机设备，其包括一个或多个摄像机、处理器、存储器以及无线通信模块。固定的辅助相机设备可以被配置为从固定位置捕获视频数据并生成与捕获的视频数据相关联的元数据。该系统还可以包括移动设备，该移动设备包括触摸屏和无线通信模块。移动设备可以被配置为在触摸屏上显示可供移动设备回放的视频剪辑的列表。基于云的系统可以经由蜂窝数据连接与移动的车载客户端设备通信，并且经由到互联网的无线连接与固定的辅助相机设备和移动设备通信。基于云的系统可以被配置为从移动的车载客户端设备以及从固定的辅助相机设备接收元数据，并且向移动设备发送与由移动的车载客户端设备捕获的视频数据相关联的元数据以及与由固定的辅助相机设备捕获的视频数据相关联的元数据。可选地，元数据可以至少部分地提供用于列出可供移动设备回放的视频剪辑的信息。

附图说明

图1例示了根据本公开一个实施例的示例性的基于视频的数据捕获和分析系统。

图2是根据本公开一个实施例的客户端设备的功能框图。

图3是根据一个实施例的仪表相机客户端设备的框图。

图4a示出了根据一个实施例的用于移动设备104中的移动app(应用)中的“剪辑窗格”的图形用户界面(GUI)。

图4b示出了根据一个实施例的用于移动设备104中的移动app中的“相机窗格”的图形用户界面(GUI)。

图4c示出了根据一个实施例的用于移动设备104中的移动app中的“新闻窗格”的图形用户界面(GUI)。

图5是例示根据一个实施例的视频数据收集方法的流程图。

图6a是例示根据一个实施例的、用于基于云的数据收集和基于事件的数据的分析的方法的流程图。

图6b例示了根据一个实施例的、用于捕获与给定视频数据对象或文件相关联的元数据的数据模型。

图6c例示了根据一个实施例的、用于捕获与给定的基于事件的视频剪辑相关联的元数据的数据模型。

图7是例示根据一个实施例的、用于生成基于事件的视频剪辑的方法的流程图。

图8是例示根据一个实施例的、用于共享基于事件的视频的方法的流程图。

图9是例示根据一个实施例的、用于验证基于事件的视频数据文件的真实性的方法的流程图。

图10是例示根据一个实施例的、用于设置客户端设备的方法的流程图。

附图仅出于例示的目的描绘了本公开的各种示例实施例。根据以下讨论，本领域普通技术人员将容易认识到的是，可以在不脱离本公开的原理的情况下实现基于替代结构和方法的其它示例实施例，并且这些示例实施例被涵盖在本公开的范围内。

具体实施方式

附图和以下描述仅通过例示的方式描述了某些实施例。本领域普通技术人员将从以下描述中容易地认识到，可以采用本文所示的结构和方法的替代实施例而不脱离本文所述的原理。现在将详细参考若干实施例，在附图中例示若干实施例的示例。

所公开的方法、存储可执行代码的非瞬态计算机可读存储介质以及用于流传输和回放沉浸式视频内容的系统满足了上述和其它需求。

现在参考图1，提供了根据本公开一个实施例的示例性基于车辆视频的数据捕获和分析系统100。客户端设备101是适于安装在车辆中的专用数据捕获和记录系统。在一个实施例中，客户端设备101是基于视频的仪表相机系统，其被设计为安装在汽车的仪表板或挡风玻璃上。客户端设备101连接到基于云的系统103。在一个实施例中，基于云的系统103包括服务器系统102和网络连接，诸如例如与互联网连接。在一个实施例中，基于云的系统103是在公共数据中心(诸如亚马逊网络服务(Amazon Web Services，AWS)数据中心、谷歌云端平台(Google Cloud Platform)数据中心等)中操作的一组软件服务和程序。基于云的系统103可经由移动设备104和基于web的系统105访问。在一个实施例中，移动设备104包括移动设备，诸如基于Apple iOS的设备，包括iPhone、iPad或iPod，或基于安卓(Android)的设备，如三星Galaxy智能电话、平板电脑等。任何这样的移动设备都包括在处理器上运行的应用程序或app。基于Web的系统105可以是能够运行Web浏览器的任何计算设备，诸如例如Windows^TM PC或平板电脑、Mac计算机等。基于Web的系统105可以为新用户或潜在用户提供对系统操作的营销材料或信息的访问。此外，基于Web的系统105还可以可选地经由与下面进一步描述的移动app类似的应用或软件程序为用户提供访问。在一个实施例中，系统100还可以包括一个或多个辅助相机模块106。例如，用户家中、度假屋或商业地点上的一个或多个相机模块。辅助相机模块106可以被实现为客户端设备101并以相同的方式操作。在一个实施例中，辅助相机模块106是具有部件和功能的子集的客户端设备101的版本。例如，在一个实施例中，辅助相机模块106是单个相机客户端设备101。

客户端设备101经由连接107连接到基于云的系统103。在一个实施例中，连接107是基于蜂窝的无线分组数据连接，诸如3G、4G、LTE、5G或类似的连接。其它系统部件和基于云的系统103之间的连接108a-108c是基于互联网的(有线或无线)连接。例如，在一个实施例中，移动设备104可以在不同时间经由Wi-Fi(即，任何基于IEEE 802.11的连接或类似技术)和蜂窝数据(例如，使用4G、LTE等)连接到基于云的系统103。在一个实施例中，基于Web的系统105使用有线互联网连接(诸如DSL、电缆调制解调器等)通过万维网连接到基于云的系统103。类似地，在一个实施例中，辅助相机模块106经由到家庭路由器的Wi-Fi连接而连接到基于云的系统103，该家庭路由器经由电缆调制解调器、DSL等连接到互联网。可用连接的任何组合可以用于经由互联网或类似的网络将任何系统部件连接到基于云的系统103。

现在参考图2，示出了根据一个实施例的客户端设备101的功能系统图。不同的实施例可以包括图2中所示的部件的子集和/或未示出的其它部件。在替代实施例中，图2中所示的部件(以及未示出的附加部件，诸如例如HDMI模块、电池充电器和/或电源模块等)可以是片上系统(SoC)设备、板上的多个芯片，ASIC等的一部分。在不脱离本发明的情况下，或者在基于硅的集成电路中或者在软件中的部件的物理实现留作本领域普通技术人员的设计选择。客户端设备101包括连接到数据总线202和存储器设备203的微处理器201，以及附加功能模块。在一个实施例中，微处理器201是高通(Qualcomm)骁龙(Snapdragon)MSM8953，但是其它微处理器也可以用于实现本发明，诸如例如高通的其它骁龙处理器、ARM CortexA8/9处理器、Nvidia的Tegra处理器、Texas Instruments OMAP处理器等。微处理器201执行操作系统软件(诸如Linux、Android、iOS等)、固件、驱动器和应用软件。

这个示例性实施例中的客户端设备101包括位置模块204、无线收发器模块205、音频I/O模块206、视频模块207、触摸屏模块208、传感器模块209和I/O模块216。在这个实施例中，不同的模块以硬件和软件模块实现。在替代实施例中，这些模块可以是硬件、软件或两者的组合。例如，替代实施例可以在SoC上提供有一个或多个中央处理器(“CPU”)核心，SoC还包括无线调制解调器、多媒体处理器、安全性和可选地其它信号协处理器，诸如例如一个或多个图形处理器单元(“GPU”)核心、一个或多个全息处理单元(“HPU”)核心和/或一个或多个视觉处理单元(“VPU”)。在一个实施例中，用于实施本发明的一个或多个SoC处理器可以涵盖CPU、GPU、VPU、HPU和其它协处理器、主板总线、存储器控制器、屏幕控制器、声音芯片组、相机模块、板载存储器以及若干外围设备，包括例如蜂窝、Wi-Fi和蓝牙收发器，如下面进一步描述的。替代实施例包括作为通过总线202互连的电路板上的分立部件的模块或者分立部件和其中至少内置一些功能模块的一个或多个SoC模块的组合。

在一个实施例中，位置模块204可以包括一个或多个卫星接收器，以接收和解码来自位置卫星系统(诸如全球定位系统(“GPS”)、全球导航卫星系统(“GLONASS”)和/或北斗卫星系统)的信号。在一个实施例中，位置模块204是高通QTR2965或高通QGR7640接收器，其连接到GPS天线，用于接收GPS卫星信号并提供客户端设备101的位置的地理坐标(纬度和经度)。无线收发器模块205包括蜂窝调制解调器(例如，符合3G/UMTS、4G/LTE、5G或类似的无线蜂窝标准)、Wi-Fi收发器(例如，符合IEEE 802.11标准或类似的无线局域网标准)，以及蓝牙收发器(例如，符合IEEE 802.15标准或类似的短距离无线通信标准)。在一个实施例中，无线收发器模块205是Sierra Wireless HL-7588。

音频I/O模块206包括具有一个或多个模拟和/或数字音频输入和输出端口的音频编解码器芯片组以及一个或多个数模转换器和模数转换器，并且可以包括一个或多个滤波器、采样率转换器、混频器、复用器等。例如，在一个实施例中，使用高通WCD9326芯片组，但是也可以使用替代的音频编解码器。在一个实施例中，视频模块207包括用于视频图像处理的DSP核心，DSP核心具有视频加速器硬件，用于处理各种视频压缩格式和标准，包括例如MPEG-2、MPEG-4、H.264、H.265等。在一个实施例中，视频模块207与处理器201一起集成到SoC“多媒体处理器”中。例如，在一个实施例中，客户端设备101包括在高通MSM8953内部的集成GPU，但是替代实施例可以包括视频模块207的不同实现。

在一个实施例中，触摸屏模块208是具有本领域已知的电容式触摸屏控制器的低功率触摸屏传感器集成电路。其它实施例可以实现具有不同的部件(诸如单点触摸传感器、多点触摸传感器、电容式传感器、电阻式传感器等)的触摸屏模块208。在一个实施例中，触摸屏模块208包括LCD控制器，用于控制到客户端设备的LCD屏幕的视频输出。例如，在一个实施例中，触摸屏模块208包括[用于LCD控制的实际设备]。LCD控制器可以集成到触摸屏模块208中，或者在替代实施例中，可以作为视频模块207的一部分提供、作为单独的模块单独提供，或者分布在各种其它模块中。

在一个实施例中，传感器模块209包括用于多个基于硬件和/或软件的传感器(包括加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器、步进检测器传感器等)的控制器。例如，在一个实施例中，传感器模块209是Invensense ICM-20608。可以在不同实施例中提供传感器模块209的替代实现。例如，在一个实施例中，传感器模块209是集成运动传感器MEMS设备，其包括一个或多个多轴加速度计和一个或多个多轴陀螺仪。

客户端设备101还可以包括一个或多个I/O模块210。在一个实施例中，I/O模块210包括通用串行总线(USB)控制器、控制器区域网络(CAN总线)和/或LIN(本地互连网络)控制器。

在一个实施例中，客户端设备101还包括触摸屏211。在替代实施例中，可以使用其它用户输入设备(未示出)，诸如键盘、鼠标、触控笔(stylus)等。触摸屏211可以是由触摸屏模块208控制的电容式触摸阵列，以接收来自用户的触摸输入。其它触摸屏技术可以用在触摸屏211的替代实施例中，诸如例如力感测触摸屏、电阻式触摸屏、电场断层摄影触摸传感器、射频(RF)触摸传感器等。此外，可以通过一个或多个麦克风212接收用户输入。在一个实施例中，麦克风212是连接到音频模块206的数字麦克风，以接收用户语音输入，诸如用户指令或命令。麦克风212还可以用于其它功能，诸如用户通信、视频记录的音频部件等。客户端设备还可以包括一个或多个音频输出设备213，诸如扬声器或扬声器阵列。在替代实施例中，音频输出设备213可以包括其它部件，诸如自动扬声器系统、耳机、独立“智能”扬声器等。

客户端设备101还可以包括一个或多个相机214、一个或多个传感器215及屏幕216。在一个实施例中，客户端设备101包括两个相机214a和214b。每个相机214是基于高清CMOS的成像传感器相机，能够记录一个或多个视频模式的视频，视频模式包括例如高清格式(诸如1440p、1080p、720p)和/或超高清格式(诸如2K(例如，2048×1080或类似的)、4K或2160p、2540p、4000p、8K或4320p)，或类似的视频模式。相机214使用可变帧速率(例如，每秒1到300帧之间的帧速率)记录视频。例如，在一个实施例中，相机214a和214b是OmnivisionOV-4688相机。可以在不同实施例中提供能够以这些和其它视频模式的任何组合记录视频的替代相机214。例如，可以使用其它CMOS传感器或CCD图像传感器。相机214由视频模块207控制，以记录视频输入，如下面进一步描述的。单个客户端设备101可以包括多个相机，以覆盖不同的视图和角度。例如，在基于车辆的系统中，客户端设备101可以包括前置相机、侧置相机、后置相机、内置相机等。

客户端设备101可以包括一个或多个传感器215。例如，传感器215可以包括一个或多个基于硬件和/或软件的传感器，包括加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器、步进检测器传感器等。在一个实施例中，客户端设备101包括加速度计215a、陀螺仪215b和光传感器215c。图3提供了根据本发明的被实现为仪表相机系统的客户端设备的示例性实施例。

返回参考图1，系统100的另一个部件是移动设备104。移动设备104可以是基于Apple iOS的设备，诸如iPhone、iPad或iPod，或基于Android的设备，诸如例如三星Galaxy智能电话、平板电脑、PDA等。在一个实施例中，移动设备104是具有一个或多个相机、麦克风、扬声器、无线通信能力和传感器的智能电话。例如，移动设备104可以是Apple iPhone7。移动设备104的无线通信能力优选地包括无线局域网通信(诸如802.11兼容的通信或Wi-Fi)、短距离低功率无线通信(诸如802.15兼容的通信或蓝牙)，以及蜂窝通信(例如，4G/LTE、5G等)。此外，移动设备104优选地包括在处理器上运行的应用程序或app。本领域普通技术人员熟悉移动操作系统和移动app。移动app通常通过电子手段提供和分发，诸如例如经由诸如Apple App Store或Google Play Store之类的电子“商店”，或者经由他们自己的网站直接从app提供商提供和分发。应当注意的是，移动设备app不是系统操作所必需的，例如，相机设备101/108可以包括语音使能的界面、聊天机器人界面等。但是，若干实施例包括移动app的使用。

移动设备101上的移动app向云系统103上的用户账户和客户端设备101提供用户界面。在一个实施例中，移动app包括类似于辅助相机106的功能。例如，根据本公开的一个实施例，移动app使用移动设备104上的一个或多个相机记录视频事件。在本发明的一个或多个实施例中，视频记录、缓冲器管理以及本文描述的其它方法和技术也可以结合到移动app中。

现在参考图4a-图4c，描述根据一个实施例的用于移动设备104中的app的用户界面。在一个实施例中，移动app包括一个或多个窗格401。例如，图4a示出了根据一个实施例的用于移动设备104中的移动app中的剪辑窗格401a的图形用户界面(GUI)。移动app可以从多个源接收视频剪辑并将其存储在本地。例如，可以从云系统103接收视频剪辑。用户和其他用户的客户端设备101、辅助相机106和移动设备104能够将视频剪辑上传到云系统103。视频剪辑还能够例如从客户端设备101或辅助相机106直接发送到移动设备104。视频剪辑还能够在移动设备104上本地生成。在替代实施例中，只有剪辑的元数据被提供给移动app，而剪辑的视频数据被远程存储。例如，视频数据对象(诸如例如文件、数据记录、数据对象等)可以存储在云服务器102上或者存储在客户端设备101、辅助相机106或其它移动设备104的本地存储器中并且可通过互联网远程访问。

根据一个实施例，可以通过如图4a所示的移动app的剪辑窗格401a使得来自这些源中的一个或多个源的一个或多个类型的视频剪辑可用。剪辑窗格401a包括可由用户经由移动设备104访问的视频剪辑的列表。在一个实施例中，剪辑连同对用户的警告被添加到移动设备104上的剪辑窗格401a。例如，每次由客户端设备101生成剪辑时，客户端设备使剪辑警告显示给用户的移动设备104，并且生成的剪辑列在可供用户访问的剪辑窗格401a上。对于每个可用的视频剪辑，提供描述符402a-402n和剪辑类型图标403a-403n。在一个实施例中，剪辑类型图标402提供视频剪辑的源的视觉指示符。例如，剪辑类型图标402a-b指示那些剪辑是经由(如下面进一步描述的)自动标记方法自动生成的，并且剪辑类型402c指示该剪辑是用户生成的。在附加的实施例中，可以使用这些和其它剪辑类型。例如，在一个实施例中，多剪辑类型图标可以用于指示与相同事件相关的多个剪辑(诸如例如从提供相同事件的不同视角的不同相机设备生成的多个剪辑)的可用性，如下面进一步描述的。描述符402提供与视频剪辑相关联的文本，诸如例如用户生成的描述或自动标记描述符，如下面进一步描述的。如本领域普通技术人员将理解的，根据本公开，可以在剪辑窗格401a中使用对于不同的剪辑类型和描述符402的其它图标403。移动app的用户可以通过点击或触摸剪辑窗格401a上的视频剪辑列表使移动设备回放剪辑窗格401a中列出的视频剪辑。移动app使得或者内置或者通过移动设备104的操作系统提供的媒体播放器播放所选择的视频剪辑。

根据一个实施例，来自多个源的实况相机馈送可以通过如图4b中所示的移动app的相机窗格401b显示在移动设备104上。在一个实施例中，相机窗格401b包括相机馈送窗口410、相机控制界面411和相机选择界面412。替代实施例可以在相机窗格401b中包括子集或附加元素。例如，相机选择界面412可以不包括在单相机实施例中。相机馈送窗口410显示来自当前所选择的相机的视频馈送。可以使用相机选择界面412来选择相机。例如，相机选择界面412可以为1-n个可用相机中的每一个显示选择选项412a-412n。在一个实施例中，图标被用于描绘可用的相机中的每一个，可用的相机诸如是家用相机(例如，辅助相机105)、车辆相机(例如，来自客户端设备101)和电话相机(例如，移动设备106上的相机)。可以使任何数量的附加相机可用，并且选择界面412被修改以允许诸如经由下拉菜单、弹出“编辑”菜单、选择器菜单、滚动菜单等进行选择。

在一个实施例中，利用与用于基于播放列表文件或清单文件提供视频剪辑的相同方法向移动app提供实时相机馈送，如下面进一步描述的。对于实时馈送，动态更新播放列表文件，以包括由相关相机捕获的每个新生成的视频数据对象或文件。对于每个新视频文件，在更新后的播放列表中提供文件位置，并且经由云系统103或直接从视频馈送的源更新播放列表文件。例如，在一个实施例中，用于流传输视频的播放列表文件被动态更新，如通过引用整体并入本文的HTTP实况流传输规范中所描述的(例如，由Apple公司于2017年5月22日提交给IETF的互联网草案draft-pantos-http-live-streaming-23中所描述的)。在其它实施例中可以使用替代流传输技术，包括例如MPEG-DASH(ISO/IEC 23009-1)、Adobe的HTTP动态流传输、Microsoft的平滑流传输等。

在一个实施例中，相机窗格401b包括相机控制元素411。例如，为用户提供记录或手动标记控制元素411a，以指示当前选择的相机为当前显示的视频生成剪辑(如下面进一步描述的)。例如，如果除了通过客户端设备101手动或自动生成的任何视频剪辑之外，用户还参与视频剪辑生成事件(例如，车祸、警察制止、闯入等)，那么移动设备104还可以用于从不同角度或视角为给定事件生成附加视频剪辑。另外，在一个实施例中，在移动app在移动设备104上运行的任何时候，移动设备104上的一个或多个相机都在记录视频数据，并且手动标记控制元素411a用于生成手动标记的视频剪辑，如下面进一步描述的。因此，根据这个实施例，移动设备104可以用作客户端设备101或辅助相机设备106。

在一个实施例中，相机窗格401b还可以包括附加控制元素411，诸如按钮、图标或者其它选择元素或菜单，以访问存储在当前所选择的相机的缓冲器中的非实况视频。例如，用户可以通过用户控制元素411远程访问存储在用户的客户端设备101的缓冲器中的整组视频数据对象或文件(例如，前24小时的视频文件)。在一个实施例中，基于用户输入选择开始流传输缓冲视频的时间点，源相机设备(例如，客户端101、辅助相机106或其它相机设备)生成包括用于下一预设时间段(例如，一分钟)的视频文件的动态播放列表或清单文件，并且它用下一组视频文件以相同的时间量(例如，每分钟)的增量逐渐地和动态地更新。如下面参考视频剪辑生成方法进一步描述的那样生成播放列表或清单文件。

现在参考图4c，在一个实施例中，移动设备104上的移动app还可以包括新闻窗格401c。新闻窗格401c向用户提供来自云服务提供商的信息。在一个实施例中，新闻窗格401c可以向用户提供到云服务103上的视频剪辑的链接，该视频剪辑与由用户的(一个或多个)设备生成的视频剪辑相关。例如，可以在新闻窗格401c上向用户提供到来自附近的相机设备的视频的链接，其中视频在与用户的事件视频剪辑(例如，车祸、闯入等)大致相同的时间生成并且可从其他用户获得。在一个实施例中，还可以经由新闻窗格401c提供共享用户的视频剪辑的请求，如下面进一步描述的。

如上所述，上面关于移动app描述的特征还可以通过使用常规的网站编程技术来实现针对移动app描述的功能而经由基于Web的系统105提供。

返回参考图1，更详细地描述客户端设备101的操作。优选地，客户端设备101包括两个或更多个相机214。例如，在一个实施例中，第一“IN”相机214a指向车辆的内部(即，舱室、驾驶员和乘客)，并且第二“OUT”相机214b指向车辆前方的道路。在替代实施例中，可以使用附加相机214，例如面向车辆的后面和/或侧面、车辆的多个内部区域的相机、具有提供围绕车辆360°视角的广角镜头的一个或多个顶部相机等。

根据一个实施例，客户端设备101总是被打开，只要它具有足够的功率以操作即可。相机214a和相机214b总是被打开并记录视频。由相机214记录的视频被缓冲在存储器设备203中。在一个实施例中，存储器设备203被配置为循环缓冲器。例如，在一个实施例中，存储器设备203可以是32Gb FLASH存储器设备。客户端设备101管理存储器设备203中的缓冲器，以将视频数据存储预定和可编程设定的时间量。例如，在一个实施例中，存储器设备203缓冲来自两个相机214a和214b的前24小时的视频数据。

在一个实施例中，客户端设备101包括管理相机214以控制由相机214生成并在存储器203中缓冲的数据量(例如，字节)的软件。在一个实施例中，相机214以各种可选择的视频模式和速率记录数据。例如，相机214a和相机214b能够由客户端设备101设置，以便以各种分辨率(包括例如1440p、1080p、720p、360p、240p等)捕获视频。此外，由每个相机214收集的视频的帧速率能够由客户端设备201设置。例如，在一个实施例中，每个相机214能够独立地从每秒0帧到每秒30帧改变其视频捕获速率。

现在参考图5，描述了根据一个实施例的用于收集视频以管理视频缓冲的方法。在一个实施例中，各种输入被用于改变每个可用相机的分辨率和帧速率。在加电时，相机被设置为缺省记录设置501。从各种源接收502多个输入。例如，在一个实施例中，处理器201接收来自位置模块204的位置和/或运动数据，来自加速度计传感器215a的加速度数据、来自连接到CAN总线的I/O模块201的车辆状态数据(诸如例如车辆发动机的每分钟转数(“RPM”)、车辆电池充电水平等)、来自无线模块205的时间(例如，LTE网络时间)、来自视频模块207的图像处理输入(例如，面部识别、人体识别等)等。输入被用于确定影响车辆的操作模式的相关特征(诸如例如运动或缺乏运动、用户的存在、非用户的人的存在等)。

基于接收到的输入，确定503操作模式。例如，根据一个实施例，包括客户端设备101的车辆的可能操作模式可以包括：缺省、驾驶、最近停放、停放、装备、低电量、非常低电量。不同的实施例可以提供子集或附加操作模式，这也可以取决于车辆或客户端设备101(或辅助相机)可以位于的其它位置而变化。表1提供了根据一个实施例的用于定义车辆的每个状态的示例性输入集。如本领域普通技术人员将理解的，可以提供不同的操作模式和不同的输入，而不脱离本发明的范围。

操作模式	输入
		缺省	n/a
活动	CAN总线门打开和/或发动机启动，检测到用户蓝牙ID。
		驾驶	运动(来自GPS、加速度计，并且CAN总线指示RPM>0)
最近停放	无运动并且发动机关闭>3分钟且<5分钟
		停放	无运动并且发动机关闭>5分钟
装备	检测到面部或身体(但未识别出)，检测到加速度计运动
		低电量	无运动，CAN总线(电池电量)低于阈值。
非常低电量	CAN总线(电池电量)低于第二阈值

表1

在步骤504处确定状态改变。例如，在加电之后，接收输入数据并且操作模式不再处于“缺省”模式。基于所确定的操作模式，改变505相机设置(例如，分辨率和帧速率)以产生用于正被记录的视频的更多或更少数据。例如，表2提供了根据一个实施例的、在具有“IN”相机214a和“OUT”相机214b的车辆中的双相机客户端设备101的示例性相机设置。如本领域普通技术人员将理解的，在不脱离本发明的范围的情况下，能够提供针对不同数量的相机和操作模式的不同设置。

表2

一旦改变了相机设置，就使用相机设置进行506视频的记录。这导致不同尺寸的视频数据对象、记录或文件以管理缓冲器，从而在捕获感兴趣事件的视频的可能性更高的操作模式期间存储具有更多位的更高质量的数据，同时在捕获感兴趣视频的可能性更低的操作模式期间使用具有更少位的更低质量的数据。

在替代实施例中，如图5中所示，附加动作可以与各种操作模式相关联。在这个实施例中，方法检查507操作模式是否需要附加动作。如果需要，那么在步骤508处执行动作。例如，在一个实施例中，在确定“低电量”模式后，客户端设备101向用户发送通知，例如经由移动设备上的app、文本消息、电子邮件等。作为另一个示例，如果确定“非常低电量”模式，那么系统可以发送类似的用户通知，然后关闭。类似地，如果在给定时间段(例如，24小时)内生成的数据的量将超过缓冲器的尺寸并且系统可能必须在时间段到期之前对存储的视频数据重写，例如如果系统被使用延长的时间段，那么可以确定“缓冲器尺寸限制”模式。在那种情况下，除了减少相机设置之外，系统还可以向用户发送通知。如本领域普通技术人员将理解的，在本发明的范围内，不同的动作可以与不同的模式相关联以向系统提供附加功能。如果其中一个动作没有关闭系统，那么记录可以在步骤506处继续，如上所述。

根据一个实施例的另一方面，客户端设备101中使用的缓冲器管理方法将优化可用于缓冲的存储器，以确保视频数据不在存储器设备上存储长于预设的可编程量的时间。例如，如果缓冲时间被设置为24小时，那么客户端设备101可以改变相机设置，以改变视频数据对象或文件的尺寸，以确保“陈旧的”视频数据被新的视频数据覆写，作为24小时限制方法。例如，在一个实施例中，即使车辆操作模式被确定为“停放”，处理器201也可以将模式覆写成与“驾驶”模式相关联的相机设置，以确保较旧的视频数据在循环缓冲器中被覆写。在即使使用可用的最高质量视频和最大帧速率，缓冲器中的一些视频数据在24小时后仍然保留的情况下，系统将删除这些视频数据。

根据本发明的另一方面，在一个实施例中，缓冲器管理方法还包括学习功能，以进一步优化设备缓冲器存储器中视频数据的存储。根据一个实施例，相机设备监视相机设备的使用并创建使用数据的历史，以进一步应用于缓冲器管理算法。例如，在一个实施例中，记录每种模式被激活的时间以及每种模式被激活多长时间。然后，缓冲器管理方法使用模式历史信息来优化缓冲器的使用和/或避免缓冲器溢出。例如，在相机设置改变步骤505中考虑当前24小时时间帧内使用的缓冲器的百分比和基于历史信息的剩余时间的预期使用，以减少或增加给定模式的相机质量设置。例如，在确定应当在24小时时段的第20小时设置驾驶模式之后，该方法进一步检查缓冲器的使用百分比并且例如当历史上它将是80％时处于50％而确定具有过剩的容量，并基于历史使用数据确定在24小时时段的下一个4小时内预期使用20％的缓冲器。由于缓冲器未充分利用，因此该方法提高驾驶模式的视频数据的质量，例如，两个相机都提高到1440p/30fps。

在另一个实施例中，车载客户端设备101包括用于缓冲器管理的学习算法，其学习用户的典型驾驶时间表和对应的模式(早上通勤、停放到中午、午餐“驾驶”、中午之后“停放”等等)并考虑在每个给定时间处缓冲器的预期使用。在这个实施例中，如果有一天在24小时时段中较早时存在一些异常事件造成需要较高质量相机设置的模式，那么在当天晚些时候，较低质量设置模式(例如，停放模式)的相机设置可以被进一步降低至比该模式的正常设置更低的分辨率和帧速率。可替代地，还可以提供直接用户输入，以指示典型操作时间表的改变。例如，用户可以指示系统对于延长的公路旅行的使用，并且用户输入被用于覆盖那个时间帧的预期时间表。

根据本发明的另一方面，在一个实施例中，由系统学习的缓冲器使用历史数据被进一步输入到操作模式确定步骤503。在这个实施例中，加权函数被用于基于输入的组合的强度来确定每个操作模式的概率。例如，如果GPS输入指示没有运动但CAN总线输入指示某个RPM，那么运动部件对于模式确定的置信度低于如果GPS和CAN总线输入都指示无运动的置信度。类似地，面部识别肯定输入将增加模式为“驾驶模式”的概率。可选地，任何图像识别输入的置信度水平也用作模式确定的加权因子。例如，肯定图像识别匹配的置信度或可能性(例如，面部、用户的面部、身体、制服、闪烁的灯等的肯定识别的可能性)被用作与模式确定的匹配的贡献的乘数。如果来自多个输入的各种概率超过阈值，那么设置操作模式的确定。在一个实施例中，基于历史缓冲器使用数据来改变模式概率阈值。例如，如果缓冲器存储装置在缓冲器存储时段(例如，24小时)内的给定时间高于预期使用水平，那么使用更高的阈值来确定使用更高清晰度/帧速率的模式。相反，如果基于历史使用数据缓冲器，存储装置未被充分利用，那么可以降低相同模式的模式阈值。

现在参考图6a，提供了根据一个实施例的用于捕获和存储视频的方法。如上所述，各种设备中的摄像机优选地始终打开并记录视频。一旦记录了视频，该方法就会出现601并一直持续到设备关闭，或者在移动设备104的情况下一直持续到移动app停止运行。对于每个相机，图像传感器根据用于当前操作模式的相机设置生成视频数据，如上面参考图5所描述的。视频数据被接收602，并且对于每个预设时间段的视频根据视频压缩和编码标准(诸如例如MPEG-4、H.264、H.265或任何其它视频压缩和编码标准)被编码603。每块视频的时间段可以是预定的或可变的(例如，基于用户设置)，并且可以是例如2、4、6或10秒。在一个实施例中，每两秒的视频被一起编码成视频数据对象、记录或文件。其它实施例可以使用不同的时间段，这取决于例如视频的预期使用、系统的目的、部署系统的位置、可用存储器的量、可用的处理能力或其它相关因素。还捕获604对于相同时间段的元数据，作为与捕获的视频数据相关联的信息。作为元数据捕获604的一部分，生成全局唯一ID(“GUID”)，以唯一地标识对于该时间段的视频数据和元数据。

在一个实施例中，视频数据被加密605。可以使用任何加密算法，诸如例如符合高级加密标准(AES)、Blowfish、Twofish、数据加密标准(DES)(例如，Triple-DES)、RSA等的加密算法。优选地，基于特定于用户的加密密钥对视频数据进行加密605。在基于车辆的实施例中，为被授权驾驶车辆的每个驾驶员提供加密密钥。例如，在这个实施例中，需要来自驾驶员的生物测定输入来操作系统，诸如基于指纹识别、语音识别或面部识别的标识被用于标识授权的驾驶员。对于每个授权的驾驶员，在数据表中维护对应的随机生成的加密密钥。在确定授权驾驶员驾驶车辆的同时生成的任何视频使用特定于驾驶员的密钥来加密605。随后，为了提供隐私，只有授权的驾驶员能使用生物测定标识来提供对加密视频的访问。

在另一个实施例中，视频加密605基于其它形式的用户标识。例如，在一个实施例中，授权用户的移动设备104的蓝牙ID用于标识。在这个实施例中，例如，客户端设备101可以显示客户端设备101已识别出其相关联的蓝牙ID的存在的用户的一个或多个画面。正在驾驶的识别出的用户可以在客户端设备101上的屏幕上选择他或她的画面，并且对应的加密密钥被用于加密视频。可以在其它实施例中使用选择加密密钥的替代方法。例如，可以提供授权用户的层级级别，诸如所有者级别相对于访客级别或者父级别相对于子级别，使得在检测到多个授权用户的情况下所识别出的最高级别的授权用户的加密密钥被用于加密视频。可替代地，在一些实施例中，加密605可以不是基于用户的。例如，加密密钥可以是对每个设备唯一的随机密钥。而且，在一些实施例中，系统能够以未加密的形式记录视频，从而省略步骤605。

根据本发明的另一方面，在一个实施例中，可以可选地为具有相机设备的车辆的乘客提供若干其它隐私措施。例如，对于乘车共享应用，客户/乘客可能想要保护他们的隐私免受客户端设备101的信息捕获。在这个实施例中，乘车共享移动设备app提供用户可定制的隐私特征。在检测到车辆中的用户/客户时，客户端设备101检索检测到的乘客的隐私设置并相应地应用它们。例如，使用面部识别、蓝牙ID或识别乘客的其它手段，乘车共享乘客的偏好可以应用在客户端设备101上，诸如打开或关闭某些相机、模糊视频或视频的一部分(例如，面部)、存储更多或更少所收集的传感器数据，和/或使能或禁用客户端设备101的其它特征。在一个实施例中，可能需要客户的资格来提供对可定制的偏好的访问，可定制的偏好可以在不同的层中可访问，例如基于乘车共享服务的持续使用(例如，忠诚度积分/级别)、支付级别等。

返回去参考图6a的方法，给定时间段的加密视频数据和相关联的元数据被存储606在缓冲器中。基于所应用的相机设置(例如，分辨率、帧速率等)以及诸如所应用的压缩格式和编码之类的任何其它因素，所得到的视频数据对象或文件将具有变化的尺寸。然后使用诸如SHA、MD5或类似算法之类的单向散列函数对视频数据对象进行散列607，以生成捕获的视频的唯一散列(即，视频数据散列)。可选地，散列函数可以应用于包括视频数据和元数据两者的文件。可替代地，元数据可以单独存储但与视频数据相关联，并且不包括在散列607的生成中。

在一个实施例中，生成608消息，消息包括每个时间段的元数据和对应的视频数据散列。优选地，然后对消息进行加密签名609，以保证消息有效载荷源自授权的设备。例如，与系统授权的设备相关联的私钥可以被用于生成消息有效载荷的单向散列。在替代实施例中，私钥被用于加密消息的有效载荷。在一个实施例中，每个客户端设备101、辅助相机106和移动设备104与唯一的加密密钥对相关联。设备安全地存储私钥。云系统103保留对每个设备的公钥的访问，因此它可以验证它接收的消息来自授权的设备。例如，云系统103维护一组记录，该记录唯一地将系统中每个授权的设备的设备ID与应用于从该设备接收的消息的对应公钥相关联。例如，私-公-密钥加密签名方法可以被用于验证每个接收的消息包括用来自授权的设备的私钥加密的经加密的有效载荷或签名。

在又一个实施例中，在步骤607，可选地，代替对视频数据对象进行散列，客户端设备使用其私有加密密钥来对视频数据对象本身进行加密签名或以其它方式对其加密，例如，如果实际视频数据对象将被发送或以其它方式上传到另一个设备(诸如云系统103)。这可以可选地结合如上所述的步骤609来完成。

最后，将消息发送610到云系统。优选地，使用安全连接(诸如例如通过TCP/IP等的SSL/HTTPS连接)发送消息。然后，对于在随后的时间段中捕获的视频数据和元数据，重复该过程。优选地，执行图6a的过程所需的时间小于所选择的时间段。例如，以两秒的增量(时间段)捕获视频数据的设备每两秒将元数据和视频散列消息发送到云系统103。如果在某一时刻到云的数据连接被中断或以其它方式变得不可用，那么系统可以在本地高速缓存消息以在重新连接到云系统103后进行传输。

在替代实施例中，省略消息签名步骤609。代替地，设备与云系统103建立安全连接(诸如SSL/HTTPS连接)，并向服务器102认证其自身。例如，设备提供其设备ID和用设备的私钥签名的其设备ID的加密签名版本。服务器102检索与所提供的设备ID对应的公钥，并验证签名的设备ID以进行匹配。在授权后，服务器向设备提供会话令牌，该会话令牌唯一地标识来自那个设备的针对给定会话的通信。此后，通过安全连接发送610具有元数据和视频散列并且还包括服务器提供的令牌的消息。

现在参考图6b，根据一个实施例，提供了用于捕获与给定视频数据对象或文件相关联的元数据的数据模型。在一个实施例中，视频-对象元数据620作为设备遥测信息被周期性地发送到云系统103。在一个实施例中，在记录每个视频对象之后发送遥测信息620，例如，每2秒、6秒、8秒、10秒等。视频-对象元数据620可以包括一个或多个元数据项，元数据项包括例如设备ID 621、原子钟时间戳622、GPS时间戳623、纬度值624、经度值625、高度626、速度627、罗盘航向628、水平准确度值629、垂直准确度值630、软件版本631、位置串值(例如，“geohash”)632、连接类型标识符(例如，2G、3G、4G、WiFi等)633、无线信号强度值634和/或载波标识符635。本领域普通技术人员将理解的是，可以取决于元数据的实现和预期使用来使用这些元数据值的任何组合。

现在参考图6c，根据一个实施例，提供了用于捕获与给定的基于事件的视频剪辑(诸如自动生成的视频剪辑、用户生成的视频剪辑等)相关联的元数据的数据模型。在一个实施例中，生成事件元数据650并与每个视频剪辑一起存储。事件元数据650可以包括一个或多个元数据项，元数据项包括例如设备ID 651、原子钟时间戳652、位置串值(例如，geohash)653、事件或标签类型654、事件或标签类型655、事件或标签标题656、事件或标签纬度值657、事件或标签经度值658、事件或标签高度659、事件或标签速度660、事件或标签罗盘航向661、事件或标签水平准确度值662、事件或标签垂直准确度值663、事件或标签剪辑文件(例如，清单文件)的完整文件名664、软件版本665、设备类型ID 664，以及指示事件或标签剪辑是否已被查看665a、共享665b、删除665c等的一个或多个布尔变量。

现在参考图7，描述了根据一个实施例的用于生成基于事件的视频剪辑的方法。在激活系统后，该方法开始700。在视频被连续捕获的同时，各种输入被监视701。如果没有标记事件被检测到702，那么系统保持监视。如果标记事件被检测到702，那么缓冲器中的相关视频数据被标识并选择703。例如，一旦事件被检测到702，就在缓冲器中标识事件之前和之后的预定义时间段的视频文件。在一个示例中，使用事件时间之前和之后15秒。优选地在10秒到30秒之间的时间量可以是预编程的或用户可选择的。另外，可以使用两个不同的时间段，一个是对于事件之前的时间，另一个是对于事件之后的时间。在一个实施例中，时间段可以取决于检测到的事件而不同。例如，对于一些事件，时间段可以是事件之前30秒和之后1分钟或2分钟，而其它事件可以是之前15秒和之后15秒。

所选择的视频数据被标记以缓冲704更长的时间段。例如，将所选择时间段的视频文件复制到具有不同缓冲策略的第二系统缓冲器，该第二系统缓冲器将视频保留更长的时间段。在一个实施例中，将存储视频24小时的缓冲器中的所选择视频数据移动到存储视频72小时的第二缓冲器。

返回去参考图7，然后利用所选择的视频数据生成705视频剪辑。与每个视频数据对象一样，生成的每个视频剪辑都与全局唯一标识符(GUID)相关联。在一个实施例中，使用本领域已知的播放列表文件或清单文件生成视频剪辑。每个播放列表或清单文件都包括GUID。例如，在一个实施例中，根据(如例如Apple公司在2017年5月22日向IETF提交的互联网草案draft-pantos-http-live-streaming-23中所描述的)HTTP实况流传输规范生成m3u8播放列表文件。可以在其它实施例中使用替代的视频剪辑生成技术，包括例如MPEG-DASH(ISO/IEC 23009-1)、Adobe的HTTP动态流传输、Microsoft的平滑流传输等。播放列表或清单文件为所选择703的视频数据对象提供基于网络的位置。例如，可以为一组视频文件中的每一个提供统一资源定位符(URL)。使用这种方法，视频数据可以存储在任何网络可访问的存储装置中。例如，可以在相机设备(例如，客户端设备101、辅助相机106或移动设备104)上存储在给定播放列表中标识的视频文件，并且为该位置处的每个文件提供网络地址定位器。在替代实施例中，可以使用其它视频剪辑生成方法。例如，在一个实施例中，所选择703的视频数据用于生成可以根据需要上传和下载的单个视频文件，诸如MPEG视频文件。

在一个实施例中，视频数据对象存储在相机设备的网络可访问缓冲器上，并且所生成的基于事件的视频剪辑的播放列表或清单文件标识存储器的网络地址，其缓冲存储视频数据对象或文件的存储器位置。可替代地，在标识和选择703相关的视频数据对象后，除了将视频数据移动到较长时间的缓冲器704之外或作为其替代，可以将视频数据上传到云系统103。然后，剪辑生成705在播放列表或清单文件中标识在云系统103中存储的视频数据的网络地址。可以使用这些方法的组合，这取决于系统中使用的相机设备的存储容量和网络能力，或者根据各种可能实现的其它设计选择。

在一个实施例中，向诸如云系统103或移动设备104之类的其它系统部件通知706事件或基于事件的视频剪辑。例如，在一个实施例中，在(如上面所讨论的)加密签名的消息中将包括所生成的视频剪辑的GUID的消息发送到云系统。可选地，还可以在消息中发送播放列表或清单文件。在一个实施例中，播放列表或清单文件在相机设备的本地存储器中维护，直到被请求。例如，在通知706剪辑生成时，云系统可以请求剪辑播放列表或清单文件。可选地，云系统可以通知706其它系统部件和/或剪辑的其他用户，并且其它系统部件或用户可以或者从云系统103或者直接从相机设备请求剪辑。例如，用户的移动app中的剪辑窗格401a可以在接收到通知706时显示剪辑信息。假设剪辑元数据不是大量数据(例如，几千字节)，那么几乎可以在生成标签事件后立即通知用户app。与剪辑的视频数据相关联的较大量的数据可以稍后传送，例如，经由云系统或直接传送到移动设备。例如，在检测到“停放的汽车中的婴儿/动物”事件或“位置不连续”事件后，可以仅使用标签元数据立即向用户的移动设备104通知标签事件。随后，用户可以使用视频剪辑播放列表来访问远程存储的视频数据，例如，用于验证目的。

一旦视频剪辑被生成705，就可以与同一用户拥有的其它设备共享，或者如果被授权，那么视频剪辑就可以与系统的其他用户共享。例如，由给定用户的相机设备生成的每个视频剪辑的GUID可以存储在云系统103中的用户剪辑表中。例如，对于来自多相机客户端设备101上的所有相机的剪辑、对于来自任何辅助相机设备106的剪辑以及对于用户移动设备104上的移动app生成的剪辑的GUID可以全都存储在用户剪辑表中。用户可以经由移动设备104访问用户剪辑表。例如，移动app可以维护与云系统中的用户剪辑表同步的用户剪辑表。每次收到新剪辑通知时，移动app和基于云的用户剪辑表都会更新和/或同步。可以使用替代的同步方法，诸如例如周期性同步方法。

除了GUID之外，在一个实施例中，用户剪辑表还可以包括对于用户的每个剪辑的其它信息或元数据，诸如例如名称或描述符、捕获视频的设备ID、时间和日期信息、标签或事件信息、指纹图像等。另外，还可以在用户剪辑表中存储或标识播放列表或清单文件。在一个实施例中，用户可以通过剪辑窗格401a通过移动设备104上的移动app访问视频剪辑。在通过剪辑窗格401a选择剪辑后，移动app使用剪辑GUID直接从相机设备(例如，客户端设备101或辅助相机106)、从云系统103请求对应的播放列表或清单文件。通过使用播放列表或清单文件，移动app可以通过使用其网络地址标识符请求相关视频对象来回放视频剪辑。在一个实施例中，如果视频数据对象被加密，那么用户可以提供标识(例如，生物测定ID、面部识别、用户ID和密码等)以访问解密密钥，如上面进一步讨论的。

根据一个实施例，由在相同用户账户下注册的设备生成的视频剪辑自动被用户共享。根据本公开的另一方面，用户还可以通过系统或者使用其它互联网消息发送或连接与其他用户共享视频剪辑。例如，在一个实施例中，移动设备104上的移动app(或基于Web的系统105上的网站)包括将视频剪辑从社交联网平台链接或发布到社交媒体站点或网络(诸如Facebook、Twitter、Google Plus或其它站点)的功能。视频剪辑还可以经由电子邮件、文本消息传送或类似的电子通信方法直接共享，或以其它方式导出到其它计算机系统。在一个实施例中，云系统103将给定视频剪辑的视频数据存储在可公共访问的网络存储位置中。云系统103可以由任何人经由互联网用基于事件的视频剪辑播放列表或清单文件访问，如本领域中已知的。用户可以或者直接或者经由网络链接(诸如URL)将播放列表或清单文件共享到存储在互联网可访问的存储位置上(例如，在云系统103或任何其它类似位置上)的播放列表或清单文件。

根据本公开的另一方面，还可以与系统的其他用户自动共享视频剪辑。例如，在加入系统后，用户可以被呈现许多选项以预授权与系统的其他用户共享用户的视频剪辑。在一个实施例中，用户可以选择预授权对由某些相机设备生成的视频剪辑的访问。例如，用户可以授权共享由在基于车辆的系统上的“OUT”相机捕获的视频数据生成的视频剪辑。可选地，用户可以对与其他用户共享的视频剪辑施加限制。例如，用户可以仅允许共享具有或不具有声音等的具有特定视频质量的视频剪辑。例如，用户可以授权共享来自基于车辆的系统中的“IN”相机的视频剪辑但没有任何音频。可选地，用于预授权对用户的视频剪辑的访问的另一个选项可以基于位置。例如，用户可以预授权在预定义半径内的位置中注册的其他用户(例如，邻居)访问由“家庭”辅助相机106生成的视频剪辑。作为系统一部分的相机设备的位置可以通过IP地址查找、GPS位置(例如，来自智能电话设备、客户端设备等)或我手动输入位置来标识。每当新用户加入时，用户的位置(例如，家庭地址、优选位置等)被用于确定附近的现有用户。例如，在一个实施例中，计算并在数据库中维护每对用户之间的距离，并且应用预定义的半径或距离限制来指定哪些用户相对于其他用户在“附近”，例如通过向其两两距离低于预定义的半径的用户添加标志。在一个实施例中，在登录过程期间，系统向现有用户发送同意请求以与新用户进行共享。可替代地，在另一个实施例中，在登录到系统后，每个用户预授权与“邻居”或“附近”用户共享至少一些特定于相机的视频。此外，可以允许用户针对可以与邻居共享的视频剪辑提供附加限制。根据视频剪辑共享功能的另一方面，用户可以用共享指定来标记单独的视频剪辑。在一个实施例中，这种共享指定将覆写任何其它预授权，使得用户可以控制哪些视频剪辑可以被共享以及哪些视频剪辑不可以被共享。下面进一步讨论用于共享视频剪辑的附加技术，诸如例如经由基于Web的系统105或移动设备104访问共享的、邻居的视频。

根据本公开的另一方面，标记事件的检测702可以由系统自动完成。例如，基于被监视的输入，在不同的实施例中，可以自动确定诸如车祸、警察停止或闯入之类的事件。被监视的输入701可以包括例如任意组合的图像处理信号、声音处理信号、传感器处理信号、语音处理信号。在一个实施例中，图像处理信号包括应用于来自一个或多个相机的视频数据的面部识别算法、身体识别算法和/或对象/模式检测算法。例如，可以识别用户的面部在车辆内。作为另一个示例，可以在视频数据中检测来自警车、消防车或其它紧急车辆的闪光灯。另一种图像处理算法在视频数据中检测人脸(但不是识别出的用户)、人体或穿制服的人员的存在。类似地，声音处理信号可以基于由相机设备(例如，客户端设备101、辅助相机106或移动设备104)中的一个或多个麦克风212记录的音频。在一个实施例中，声音处理可以基于对变换到频域的音频剪辑的签名或声音模式的分析。例如，在检测到高于最小阈值级别(例如，预设数量的分贝)的声音时，记录相关的声音信号，并且对记录的时域音频信号执行快速傅立叶变换(FFT)，如本领域中已知的那样。然后将所记录的音频信号的频域签名与针对识别出的事件(诸如玻璃破碎、警笛等)的已知的频域签名进行比较，以确定是否存在匹配。例如，在一个实施例中，确定所记录的音频输入的频域签名中的点对，并且将所选择的点之间的比率与识别出的音频事件的音频签名中的相似点之间的比率进行比较。

声音处理还可以包括语音识别和自然语言处理，以识别人类语音、词和/或命令。例如，某些“触发”词可以与特定事件相关联。当发现音频数据中存在“触发”词时，可以确定对应的事件。类似地，可以接收并处理可用传感器的输出，以确定与事件相关联的模式的存在。例如，可以接收并分析GPS信号、加速度计信号、陀螺仪信号、磁力计信号等，以检测事件的存在。在一个实施例中，在检测过程中还使用经由无线模块205接收的附加数据，诸如交通信息、天气信息、警察报告等。检测过程702应用将所有这些潜在输入的组合与可能事件相关联的算法和启发法(heuristics)。

以下表3提供了在车辆实现中根据本发明一个实施例的对应事件的示例性输入、规则和启发法。虽然提供了一组具体示例，但是应该理解的是，取决于应用，本发明能够应用于能够标识其它可能事件的各种输入、规则和启发法。

表3

事件和输入的这些组合仅仅是例示性的。一些实施例可以提供这些输入和/或事件的子集。其它实施例可以提供输入和/或不同事件的不同组合。事件检测算法可以在相机设备(例如，客户端设备101)上本地实现，或者可以在云服务器102中执行，其中输入信号以及事件检测输出通过无线通信连接107/108从相机设备发送或发送到相机设备。可替代地，在一些实施例中，检测算法的子集可以在相机设备上本地执行，而其它检测算法在云服务器102上执行，这取决于例如客户端设备上可用的处理能力。另外，在一个实施例中，人工智能(“AI”)算法被应用于多个输入，以标识针对输入的给定组合的最可能匹配事件。例如，可以用系统使用的输入的集合来训练神经网络，以识别可能标记事件的集合。另外，可以经由移动app向用户提供反馈机制，以接受或拒绝所提出的标记结果，以在使用系统时进一步精炼(refine)神经网络。这提供了一种精炼过程，该过程随着时间的推移改善系统的性能。同时，该系统能够学习去检测由算法和启发法提供的误报(false positive)，并且可以对它们进行精炼以避免不正确的标记事件。

返回去参考图5，在一个实施例中，在检测到702事件后，操作模式的确定503将操作模式设置为高质量设置模式，诸如“装备(armed)”等。可替代地，可以提供“事件”操作模式，这可以使得对于所有相机，相机设置改变505为高质量设置，诸如例如1440p和30fps。

根据本公开的另一方面，在一个实施例中，检测过程702被配置为检测用户确定的事件的手动标记。用户可以向系统提供用户感兴趣的事件的发生的指示。例如，在一个实施例中，用户可以触摸客户端设备101的触摸屏以指示事件的发生。在检测到702用户“手动标记”输入后，系统创建基于事件的剪辑，如以上参考图7所述的。在替代实施例中，用户指示可以包括语音命令、蓝牙发送的信号等。例如，在一个实施例中，用户可以说出预定的词或一组词(例如，“Owl做笔记”)。在检测到音频输入中的话语时，系统可以提供指示识别出的提示。例如，客户端设备101可以发出哔哔声、振动或输出语音以指示手动标签的识别。可选地，可以输入附加的用户语音，以提供对于用户手动标签输入得到的基于事件的视频剪辑的名称或描述符。例如，可以由用户说出对事件的简短描述。通过语音到文本算法来处理用户的话语，并且将得到的文本存储为与视频剪辑相关联的元数据。例如，在一个实施例中，由用户提供的名称或描述符可以作为移动app的剪辑窗格401a中的剪辑描述符402显示在移动app上。在另一个实施例中，附加的用户语音可以包括附加的命令。例如，用户可以指示为其指示手动标签的事件的长度，例如，对于30秒记录是“短”，对于两分钟记录是“长”，等等。可选地，可以基于用户输入扩展任何视频剪辑的长度。例如，在生成初始的基于事件的视频剪辑之后，用户可以回顾视频剪辑并在之前或之后请求附加的时间，并且相关联的视频数据被添加到播放列表或清单文件，如参考图7所描述的。

在一个实施例中，标记过程能够可选地是可编程的。例如，相机设备可以被编程为使用图像识别和分类器来识别交通标志，并且捕获并存储与识别出的标志相关联的元数据。例如，可以检测停止标志，并且可以将速度或其它传感器数据记录为与停止标志相关联的元数据。这个特征可以被第三方用来监视驾驶行为。例如，父母可以监视儿童、保险公司可以监视被保险人、雇主可以监视雇员等。可选地，在一个实施例中，相机设备可以基于检测到的标志和传感器数据来提供驾驶员反馈。例如，在一个实施例中，相机设备可以识别街道停车标志并且向用户通知停车限制。例如，设备可以警告用户关于“禁止停车”区、限时停车区，和/或在停车时间限制到期之前对于用户返回车辆足够的时间提醒用户(例如，基于标志图像识别、时间和位置信息)。本领域普通技术人员将认识到的是，在本发明的范围内，驾驶员反馈的附加应用是可能的，诸如例如关于超速、交通灯/标志合规性、安全性等的反馈。

在另一个实施例中，可以例如经由蜂窝通信模块205远程访问可编程标记，以远程提供图像查询。例如，在一个实施例中，与“Amber Alert”相关联的牌照和/或汽车图像查询可以由权威机构经由云系统103提供给系统中的所有相机设备。根据一个实施例，图像查询的标准“定义”能够提前在相机之间共享，使得所有相机能够查找具体的对象或项目。可选地，图像查询可以包括定时部件，以指定相机设备可以周期性地运行图像查询的时间量。例如，Amber Alert可以提供一个或多个图像查询(例如，牌照和/或具体车辆品牌和/或颜色)以在一段时间内(例如在24小时期间)被搜索。可选地，在一个实施例中，用户还可以提供可编程标记指令，例如经由移动设备app或基于Web的界面。例如，在一个实施例中，用户可以在特定时间调度用于捕获视频数据的标签生成事件，或者可以远程指示相机设备开始根据命令进行记录。

现在参考图8，描述用于标识和共享基于事件的视频剪辑的方法。除了上面用于共享标识出的视频剪辑的各种选项之外，在一个实施例中，还可以基于视频剪辑与由不同相机设备生成的事件的潜在相关性来共享视频剪辑。为此，在一个实施例中，接收800视频剪辑共享请求。视频剪辑共享请求800可以是用户生成的或自动生成的。例如，在一个实施例中，可以访问地图，从而显示用户可以请求共享访问的相机设备的位置。用户可以选择想从其请求视频的一个或多个相机设备。在替代实施例中，用户输入期望视频的位置、日期和时间以生成共享请求。

在又一个实施例中，用户可以选择在相机设备的屏幕上显示的对象(例如，汽车、人、物品等)。例如，在视频正在播放时经由在客户端设备101的触摸屏上轻击、使用语音命令或能够标识正在视频上显示的对象的其他用户输入设备。可选地，还可以在视频上自动标识感兴趣的对象。例如，作为上面参考图7描述的自动标记特征的一部分，被监视701的输入中的一些可以包括由图像处理技术产生的感兴趣对象。例如，如果标记事件被确定为闯入并且被监视的输入之一包括检测到的未被识别出的人脸，那么未被识别出的面部可以被用作所选择的对象。

应用图像处理算法和/或计算机视觉技术，以从视频中标识所选择的对象并制定对象描述符查询。例如，应用用户输入，以检测图像中的感兴趣区域(例如，放大区域)。对于相关区域的数据被处理成对于图像区域中检测到的相关点周围的图像数据的向量表示。然后，根据相关区域的描述符或向量，基于例如二阶统计法、参数模型、从图像变换获得的系数或这些方法的组合来提取特征描述符。然后，图像中对象的基于特征的表示被用作对于在其它视频数据中匹配的查询。在一个实施例中，共享视频剪辑的请求包括对于对象的图像查询以及来自其中检测到对象的视频数据的元数据。

返回去参考图8，在一个实施例中，在从与请求一起提供的元数据中接收到共享请求800后，获得801用于共享来自其它相机设备的视频剪辑的相关元数据。例如，在一个实施例中，该请求可以包括期望的视频的位置、日期和时间。在另一个实施例中，从中检测到对象的视频数据对象的GUID。使用GUID，获得801对于该视频数据对象的元数据文件，并访问对于该视频对象的元数据。例如，云系统103存储系统中所有视频数据对象的元数据。元数据可以按视频对象的GUID被索引。在替代实施例中，共享视频剪辑的请求包括来自其中找到感兴趣对象的视频对象的元数据的相关项。例如，该请求可以包括来自记录视频数据的相机设备的位置(例如，地理坐标、GPS数据等)、相机朝向(例如，磁力计读数)和时间(例如，来自4G/LTE系统的原子时间数据)。

使用所获得的元数据值，标识802具有响应于请求的视频数据的一组相关相机设备，其中视频数据例如可以包括相同的感兴趣对象或匹配期望的位置、日期、时间和/或朝向。在一个实施例中，为了响应基于图像查询的请求，可以首先标识802在给定时间帧处位于给定地理半径内并且具有指向期望朝向的相机的相机设备。例如，如果感兴趣对象是在停放于停车场中的车辆内检测到的未识别出的面部，那么可以标识802来自在相同时间位于相同停车场中的其它车辆并且在恰好的时间指向被闯入的车辆的相机设备。可选地，一旦标识802相关的相机设备，就发送803对图像搜索查询的请求，图像搜索查询具有对感兴趣对象的查询。接收这个请求的相机设备可以用提供的图像搜索查询搜索它们的缓冲的视频数据，以确定是否存在匹配。在一个实施例中，感兴趣对象的特征向量与在视频数据中标识的潜在相关对象的特征向量进行比较，以确定是否存在匹配。例如，如果感兴趣对象是人脸，那么向查询提供面部特征向量，并且相机设备可以使用图像处理来标识视频数据中的面部、提取所标识的面部的特征向量，并且与期望面部的面部特征向量进行比较。可选地，搜索请求可以提供感兴趣的时间帧，以进一步减少响应于该请求需要被分析的缓冲视频对象。

在一个实施例中，云系统103监视用户对象选择过程，以标识多个用户对相同对象的选择。在确定多个用户已选择相同对象后，生成相同或基本相似的图像查询，系统可以例如经由具有类似兴趣的其他用户的新闻窗格401c通知用户。可以基于位置(例如，由最大距离内的用户标识的相同对象)、时间和/或事件类型附加地匹配对象查询。

接收804对搜索请求的响应。如果没有找到805匹配，那么共享请求过程结束806。例如，如果搜索请求是由用户发起的，那么可以通知用户没有找到匹配的视频剪辑。如果找到805匹配的视频剪辑，那么响应于匹配而向相机设备的用户发送807授权请求。如上面参考图4a-图4c所讨论的，从用户的相机设备生成的剪辑可以列在剪辑窗格401a下。因此，用户可以访问从客户端设备101、辅助相机106、移动设备104生成705的剪辑，而无需进一步的授权要求。例如，在一个实施例中，当具有与相同事件(诸如闯入)匹配的视频剪辑的相机设备被注册到相同的用户账户时，用户可以直接访问来自一个或多个家庭辅助相机106的共享视频剪辑，该一个或多个家庭辅助相机106从不同的有利位置捕获与仪表安装的客户端设备101所捕获的相同的闯入。因此，例如，用户可以能够向权威机构提供示出犯罪者的面部(来自IN相机设备)、“离开”车辆(来自位于车库中的辅助家庭相机设备)以及离开车辆的车牌(来自车道辅助相机设备)的相关视频剪辑。根据本发明的一个实施例，对于闯入事件的视频剪辑可以自动生成并且与来自系统所集成的多个相机设备的“相关”剪辑相关联。

在一个实施例中，授权请求可以包括动态生成的视频剪辑，以供用户在确定是否授权与其他用户共享视频剪辑时进行回顾。在一个实施例中，可以基于登录期间记录(例如，对于邻居、对于具体相机等的)预授权来自动履行授权请求。可替代地，授权请求由其他用户履行。例如，播放列表或清单文件可以包括在请求中，从而允许授权用户回放与匹配对象相关的视频对象。如上所述，可以直接从相机设备缓冲器访问视频对象，例如经由互联网或经由移动设备与相机设备之间的直接网络连接(例如，Wi-Fi)。此外，如果视频对象被加密，那么授权请求可以包括用户标识请求，以获得所需的加密密钥，诸如例如生物测定标识(例如，面部识别、指纹等)。利用适当的加密密钥，视频对象被解密并回放给用户，以获得共享的授权。此外，在一个实施例中，用户能够可选地请求系统对共享视频剪辑中的已标识对象进行模糊处理。例如，用户选择的任何人脸、牌照、地址号码和/或任何其它可标识的对象可以在视频数据中被自动模糊，以在用户请求时保护隐私。可替代地，除非系统用户另外请求和/或授权，否则系统可以缺省地模糊可标识的对象。

如果不能获得共享授权808，那么共享请求终止806，通过例如通知请求共享的用户没有剪辑可用。如果获得授权808，那么获得授权的每个匹配的视频剪辑与其他用户共享809。例如，在一个实施例中，如果共享请求由用户发起，那么向发出请求的用户通知匹配视频剪辑的可用性。例如，发出请求的用户的移动设备104的移动app从云系统103接收通知，并经由移动app用户界面向用户提供通知。如果共享请求是由用户的相机设备自动生成的，例如来自自动标记事件，那么用户的移动设备104中的移动app接收与用户相关的其它视频剪辑的可用性的通知。然后，移动app可以在新闻窗格401c上显示关于可用视频剪辑的信息。可选地，移动app可以直接将可用视频剪辑链接到剪辑窗格401a上的事件生成剪辑。对于加密的视频数据的任何视频剪辑都将通过授权过程解密，从而成为未加密形式的共享视频剪辑。

在一个实施例中，视频共享请求过程被用于生成记录感兴趣事件的视频的分布式相机的虚拟网络。例如，视频剪辑生成过程可以包括动态生成并利用为给定事件记录的附加剪辑进行更新的实况流播放列表或清单文件。使用这种方法、系统可以为动态生成的虚拟网络中的相机所捕获的给定事件(诸如例如闯入、车祸等)生成一组相关联的视频剪辑，以提供来自不同角度、有利位置和/或更宽或更窄视野的视图。例如，在一个实施例中，在来自单个相机的视频不足够的情况下，来自由多个相机设备捕获的视频的散布(interspersed)静止图像可以被用于牌照识别目的。在一个实施例中，除了牌照或者如果不能识别牌照的话，还可以在基于分类器的图像识别技术的基础上确定车辆的颜色和品牌和型号。图8的视频共享过程连续运行，从而根据需要向虚拟网络添加和移除相机设备。例如，如果事件是高速公路上的车祸，那么具有正确朝向(即，面向事故)的车载客户端设备101基于其位置、时间和朝向匹配(即，在事故附近并面对它)被动态地添加并从虚拟网络中移除，并且在通过事故地点后未能匹配。

根据本公开的另一方面，由系统中的相机设备生成的视频数据可以是唯一可标识的并且可验证为真实且未经修改。现在参考图9，描述根据一个实施例的用于验证视频数据的真实性的示例性方法。在这个实施例中，可以认证视频数据对象和视频剪辑。在替代实施例中，或者视频数据对象或者视频剪辑可以被分别认证，或者可以可选地仅认证其中一个或另一个，而不脱离本公开的教导。该方法以认证请求900开始。例如，认证由与云系统103相关联的相机设备生成的视频的请求可以经由例如到系统网站的基于Web的界面105提交给云服务器102。在一个实施例中，随请求提供文件。在一个实施例中，确定901是关于请求是针对视频剪辑还是针对视频数据对象(诸如视频文件)进行的。在替代实施例中可以省略这个步骤。例如，确定可以基于提交的文件的类型(例如，播放列表或清单文件或视频数据文件)、基于与文件相关联的GUID(例如，视频剪辑的GUID或者视频数据对象的GUID)或基于其它标准(诸如例如请求中提供的明确输入)进行。

在一个实施例中，如果确定901请求是针对视频剪辑，那么访问视频剪辑的播放列表或清单文件，以检索902视频剪辑中的视频数据对象或文件的列表。选择903第一视频数据对象。在一个实施例中，如果确定901请求是针对视频数据对象，或者如果是针对视频剪辑并且第一视频数据对象已经被选择903，那么检索904与视频剪辑相关联的元数据记录。例如，在一个实施例中，视频数据对象的GUID被用于访问与视频数据对象相关联的元数据记录的储存库，其中视频数据对象是由与基于云的系统103相关联的相机设备捕获的。如上所述，每个相机设备向系统发送签名的消息，包括所记录的每个数据对象的视频数据对象的散列和元数据。在一个实施例中，元数据记录包括元数据和视频数据的散列并且可以由相关联的GUID索引。

然后，将存储的与GUID对应的视频数据对象的散列与请求认证的视频数据对象的单向散列进行比较905。在一个实施例中，认证请求包括视频数据对象。在该实施例中，使用由系统的相机设备使用的相同的单向散列函数对视频数据对象进行散列。在替代实施例中，在视频剪辑文件中提供视频数据对象的网络地址。在这种实施例中，例如在步骤903(或对于后续视频数据对象是步骤909)处检索视频数据对象，并且对其进行散列，如上所述。如果基于视频数据的散列以及元数据来实现系统，那么在被验证的视频数据对象的散列函数中使用检索904的元数据(如果不是请求的一部分)。散列函数可以应用于服务器(诸如服务器102)，或者可以在客户端(诸如基于Web的客户端105)上执行，并且例如与请求一起提供给认证系统。

在一个实施例中，散列比较905的结果被用于输出906对视频数据对象的验证。验证输出可以例如提供肯定或否定结果，指示视频数据是否是真实的或者视频数据是否已被修改。在一个实施例中，验证输出还可以包括与视频数据对象相关联的相关元数据，诸如时间、位置、朝向等。在一个实施例中，如果被验证的视频数据对象不是视频剪辑907的一部分，那么验证过程结束908。

但是，如果视频数据对象是视频剪辑的一部分907，那么过程继续到步骤909。在步骤909处，如果被验证的视频数据对象是视频剪辑中的第一视频数据对象909，那么选择910下一个视频数据对象，并且该过程从步骤904开始重复，以验证视频剪辑中的第二视频数据对象。如果视频数据对象不是视频剪辑中的第一个，那么接下来执行时间分析911。在一个实施例中，如上所述，视频数据对象的元数据包括标识何时捕获视频数据的时间信息。例如，在一个实施例中，来自4G/LTE服务提供商的原子时间被用于创建视频数据对象的开始的时间戳以及指示视频数据对象的结束的持续时间或者结束戳。在一个实施例中，这个时间信息与视频对象验证输出906一起提供，并用于时间分析911。例如，将剪辑中的第一视频数据对象的结束时间与剪辑的第二视频数据对象的开始时间进行比较，以确定是否存在间隙。给定视频剪辑的连续视频数据对象之间的时间序列中的间隙可以例如指示对视频剪辑的某种编辑。

在一个实施例中，如果在视频剪辑中存在要验证的附加视频数据对象912，那么该过程移动到步骤910并通过时间分析步骤911针对每个视频数据对象重复。一旦验证了视频剪辑中的所有视频数据对象912，就提供视频剪辑验证输出913。例如，如果剪辑中的所有视频数据对象都被肯定地验证并且时间分析没有标识出任何间隙，那么可以输出913对视频剪辑的肯定认证。可选地，输出可以例如包括关于视频剪辑的附加信息，诸如例如时间、持续时间、位置、使用的相机设备、用户等。相反，如果有任何一个视频剪辑不能被认证(例如，散列不匹配，或者在步骤911处找到视频剪辑时间线中的间隙)，那么输出913否定结果。除了为肯定结果提供的任何信息之外或代替为肯定结果提供的任何信息，输出还可以例如包括否定结果的原因。例如，在一个实施例中，由客户端设备101在检测到车祸时生成的15个两秒视频文件组成的视频剪辑可以使用上述方法由云系统103唯一地验证为真实的。

根据本公开的另一方面，提供了一种用于设置诸如客户端设备101之类的相机设备的过程。参考图10，描述根据一个实施例的用于设置相机设备以在系统中进行操作的方法。在一个实施例中，诸如客户端设备101之类的相机设备包括蜂窝连接性，一旦设备通电，该蜂窝连接性就能够操作。蜂窝连接性提供可以在设置过程期间使用的、相机设备和云系统103之间的数据连接107/108。当相机设备通电时，设置过程开始1000。虽然按顺序提供了以下设置步骤，但这些步骤不需要特定的次序。例如，在一个实施例中，执行用户设置步骤1001。在一个实施例中，用户设置步骤1001允许相机设备识别用户。例如，在一个实施例中，客户端设备101向用户提供指令，以在面对其中一个相机的同时以不同的朝向摆姿势以记录用户的面部的不同角度。可选地，可以使用类似的过程来识别其他用户生物测定，包括例如指纹、语音和虹膜。例如，触摸传感器可以用于记录用户指纹的一系列图像。可以通过让用户重复预定义的命令、语句或句子一次或多次来训练语音识别软件。在一个实施例中，从多个角度记录用户的虹膜，以导出生物测定光学签名。其它实施例可以包括这些生物测定标识的组合，并且还可以包括其它标识。

用户的一个或多个生物测定签名存储在相机设备中。在一个实施例中，还基于随机输入生成加密密钥，并且与用户的生物测定标识相关联地存储加密密钥。可选地，如果需要多于一个用户，例如对于具有多个可能的驾驶员的车辆，那么为每个用户重复用户设置过程1001。

返回去参考图10，另一个设置步骤涉及相机设备与一个或多个移动设备104的关联。应当注意的是，移动设备104本身可以是相机设备，因此其中一些设置步骤(诸如用户设置步骤1001)可以是适用的。移动设备104包括安装在设备上的移动app，如上面参考图4a-图4c所描述的。在一个实施例中，移动设备104和相机设备(例如，客户端设备101)包括短距离无线模块(诸如蓝牙收发器)。如本领域中已知的，短距离无线模块能够发送唯一的ID，该唯一的ID能够由其它短距离无线模块接收，作为形成微微网或以其它方式彼此配对的设备标识。例如，蓝牙收发器能够提供唯一的12位十六进制地址(“BD_ADDR”)，用于标识和配对。

在一个实施例中，用户可以提示相机设备与用户的移动设备104配对。例如，在一个实施例中，用户可以发出语音配对命令，通过触摸屏或者通过相机设备中可用的任何其他用户输入设备提供配对命令。在一个实施例中，配对过程涉及蓝牙配对过程。在另一个实施例中，相机设备显示由移动设备捕获并经由到云系统103的连接发送回相机设备的独特图案。例如，相机设备可以显示随机生成的字母数字代码、QR码、一系列随机次序的黑白屏幕，或某种其它随机输出。随机输出由移动app捕获或输入到移动设备中，并经由安全互联网连接与移动设备的唯一标识符(诸如例如蓝牙地址、MAC地址等)一起发送到云系统103。比较随机输出与移动设备输入。如果它们匹配，那么相机设备认证移动设备唯一标识符(例如，蓝牙地址或MAC地址)，并且从那个点开始与移动设备相关联。在替代实施例中，代替将客户端设备的输出与移动设备捕获的输入进行比较，两个设备都生成在服务器处进行比较的输出。例如，每个设备使用相机在设置过程期间执行用户的面部识别，并且他们的面部识别结果被发送到服务器进行比较以匹配相同的用户。

在一个实施例中，QR码显示在客户端设备101的显示器上。QR码对客户端设备101的设备ID和用于与客户端设备101进行通信的加密密钥(或用于生成加密密钥的种子)进行编码。移动设备104上的移动app捕获并解释QR码以获得设备ID和加密密钥。设备ID可以例如包括电话号码、电子邮件地址或用于与客户端设备101进行电子消息传递的其它手段。通过使用加密密钥，移动设备104可以将加密的通信发送到客户端设备101，如下面进一步描述的那样，以将移动设备与客户端设备相关联，包括例如向客户端设备101发送移动设备104的唯一标识符(例如，电话号码、电子邮件地址、蓝牙地址、MAC地址等)。虽然描述了客户端设备101是显示QR码的设备，但是相同的方法可以与显示QR码的移动设备104以及使用由移动设备104提供的加密密钥来发起加密的消息传递的客户端设备101一起使用。

其它“共享秘密”方法可以用于移动设备关联1002，包括例如一系列指令，该一系列指令使用户移动移动设备，同时移动app记录一个或多个移动设备传感器的输出，以与提供的指令匹配。例如，用户可以在随机系列中升高或降低设备、摇动设备等，从而造成与所请求的运动匹配的加速度计和/或陀螺仪改变。可以经由互联网连接提供一系列传感器检测到的运动，以与相机设备指令进行匹配以进行关联。可替代地，在一个实施例中，用户可以在注册过程期间提供移动设备的电话号码，例如通过移动设备app。对于移动设备关联步骤1002，相机设备可以在其屏幕上显示设备ID。用户在移动app上输入设备ID并将其发送到云系统103。云系统标识设备ID并经由互联网连接107/108向相机设备101/106发送消息，消息包括移动设备104的电话号码。相机设备向移动设备104发送具有随机代码的文本消息。用户经由移动app输入随机代码，以供云系统103或相机设备101/106验证。如果随机代码与文本代码匹配，那么移动设备通过认证。一旦相机设备和移动设备相关联1002，相机设备就可以基于移动设备的唯一ID(例如，蓝牙地址、MAC地址等)信任移动设备以进行后续交互。

根据本公开的另一方面，在一个实施例中，设置过程可选地包括向移动设备104提供移动app的步骤。图11提供根据一个实施例的初始设置过程的示例性流程图。如上所述，相机设备101/108包括到互联网的无线蜂窝连接，并且被配置为开箱与云系统103通信。当首次打开相机设备时，屏幕显示QR码1101。移动设备可以使用其现有应用之一来利用其相机捕获QR码并解释代码1102。在这个实施例中，QR码提供到例如云系统103中的web服务器的链接或URL。链接或URL可以包括IP地址或域(例如，www.owl.us)以及在其中编码的参数集，如本领域中已知的。其中一个参数可以包括例如正在设置的相机设备101/108的唯一ID(诸如例如移动设备号、电话号码、序列号等)。可选地，链接参数还可以包括随机生成的数字，该数字在运行设置过程的不同时间是不同的。可替代地，代替显示QR码，可以执行相同的过程以提供替代形式的链接和参数，包括例如通过在屏幕上将它们显示为文本/图像、将它们编码在音频信号中、经由短距离通信(IR、AirDrop、蓝牙等)发送它们，等等。

在解释QR码后，移动设备使用其现有软件(例如，web浏览器)向web服务器发送1103HTTP请求，该web服务器通过链接或URL标识出并在链接中包括经编码的参数。云系统103接收该请求并创建1104该请求的记录，请求包括链接编码的参数和从HTTP请求过程导出的网络信息和附加元数据，包括用于唯一标识移动设备104的信息(例如，HTTP报头元数据、TCP/IP报头信息等的组合)。此外，云系统103将移动设备重定向1105到可以从其获得适当移动app的位置。例如，云系统103使用例如来自HTTP请求的“用户代理”数据和/或用于相机设备101/108的唯一设备ID，当用户代理指示移动设备是iOS设备时，将移动设备104重定向到Apple App Store，或者如果移动设备被确定为是基于Android的设备，则将移动设备104重定向到Google Play Store；或者重定向到能够通过网络向移动设备提供移动app的其它服务器。类似地，云系统103可以包括指向使用相机设备101/108的设备ID确定的移动app的适当版本的重定向链接中的参数。

一旦被重定向，移动设备104就获得1106适当的移动app，例如，用于与相机设备101/108和云系统103交互的app。在移动设备上下载和安装移动app之后，当执行时，移动app联系云系统103以访问1107先前在步骤1104处生成的记录。例如，当进行HTTP请求(如在步骤1103处所进行的请求)时，移动app可以使用从移动设备104获得的相同参数、元数据或其它信息来导出移动设备104的唯一ID。在一个实施例中，可以在HTTP请求步骤1103和记录访问步骤1107之间使用时间限制(例如，2-15分钟)来促进移动设备104标识。云系统103基于那个信息确定相同的移动设备104正在访问系统，并且提供1108对先前生成的记录以及完成设置过程可能必需的任何其它附加设置参数的访问。例如，如果提供，那么可以将随机生成的数字提供为用于上述设备关联过程的“共享秘密”。可替代地，可以提供用于相机设备的加密信息和/或消息传递信息。

返回参考图10，本公开的另一方面涉及在相机设备101/108和移动设备104之间建立直接连接。在一个实施例中，相机设备101/108包括无线局域网连接。在这个实施例中，例如，客户端设备101能够可选地作为诸如Wi-Fi网络之类的局域网的接入点(AP)操作。移动设备104可以建立到作为Wi-Fi站(STA)的客户端设备101的连接109。虽然描述了具体的无线局域网连接，但是应该理解的是，本发明可以应用于各种无线连接模式，诸如例如对等(Peer-to-Peer)连接(例如，“Wi-Fi Direct”、ad hoc网络等)。相机设备可以使用通过移动设备关联过程1002认证的MAC地址来确定相关联的移动设备是否是进行连接的移动设备。然后，直接的相机设备到移动设备连接109可以用于在设备之间以安全的方式传送设置、视频数据对象、视频剪辑、生物测定签名等。

如本领域技术人员将理解的，可以在所公开的实施例中进行许多变化，所有这些都不脱离本发明的范围，本发明的范围仅由所附权利要求限定。应当注意的是，虽然以特定组合描述了特征和元素，但是每个特征或元素可以在没有其它特征和元素的情况下单独使用，或者在有或没有其它特征和元素的情况下以各种组合使用。所提供的方法或流程图可以在有形地体现在计算机可读存储介质中的计算机程序、软件或固件中实现，以由通用计算机或处理器执行。

计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘之类的磁介质、磁-光介质，以及诸如CD-ROM盘之类的光学介质。

作为示例，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)，和/或状态机。

在基于计算机的系统中与软件相关联的一个或多个处理器可以用于实现根据各种实施例的方法(视频数据收集、基于云的数据收集和基于事件的数据的分析，生成基于事件的视频剪辑，共享基于事件的视频，验证基于事件的视频数据文件的真实性并设置客户端设备)以及根据各种实施例的数据模型(用于捕获与给定视频数据对象或文件相关联的元数据或者用于捕获与基于给定事件的视频剪辑相关联的元数据)，所有这些都改进了处理器的操作及其与基于计算机的系统的其它部件的交互。根据各种实施例的相机设备可以与以硬件和/或软件实现的模块结合使用，其中模块诸如是相机、摄像机模块、可视电话、扬声器电话、振动设备、扬声器、麦克风、电视收发器、免提耳机、键盘、蓝牙模块、调频(FM)无线电单元、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器和/或任何无线局域网(WLAN)模块等。

Claims (22)

1.一种基于云的系统，用于视频数据捕获和共享，所述系统包括：

多个客户端设备，每个客户端设备包括一个或多个摄像机、一个或多个传感器、处理器、存储器以及蜂窝通信模块，所述客户端设备被配置为捕获视频数据并生成元数据，所述元数据与视频数据相关联并且至少部分地包括从所述一个或多个传感器导出的数据；

基于云的系统，与所述多个客户端设备通信，该基于云的系统被配置为从所述多个客户端设备接收元数据并且还被配置为从第一客户端设备接收对于共享由来自所述多个客户端设备的一个或多个其它客户端设备捕获的视频数据的请求，并且还被配置为通过以下来标识所述一个或多个客户端设备：将来自所述多个客户端设备的子集的元数据与请求匹配；向客户端设备的该子集发送针对请求中指定的感兴趣对象的图像搜索查询；以及从所述一个或多个客户端设备接收指示在由所述一个或多个标识出的客户端设备捕获的视频数据中找到感兴趣对象的肯定匹配响应。

2.如权利要求1所述的系统，其中基于云的系统被配置为周期性地、在捕获预设量的视频数据后、在捕获预设时间量的视频数据后或者根据请求从所述多个客户端设备中的每一个客户端设备接收元数据。

3.如权利要求2所述的系统，其中预设量的视频数据在1秒到30秒之间。

4.如权利要求1所述的系统，其中与视频数据相关联的元数据包括位置信息。

5.如权利要求1所述的系统，其中与视频数据相关联的元数据包括朝向信息。

6.如权利要求1所述的系统，其中所述一个或多个传感器包括位置传感器、加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器或步进检测器传感器中的一个或多个。

7.如权利要求1所述的系统，其中第一客户端设备是安装在移动车辆上的仪表安装的相机设备，而第二客户端设备是安装在固定结构上的固定相机设备。

8.如权利要求1所述的系统，还包括移动设备，该移动设备被配置为与所述一个或多个客户端设备中的第一客户端设备建立数据通信，以从第一客户端设备接收视频数据。

9.一种共享来自多个相机的视频的方法，包括：

接收共享视频数据的请求，该请求包括与所请求的视频数据相关联的元数据和标识感兴趣对象的图像查询；

从多个相机设备获得与视频数据相关联的元数据；

基于从相机设备获得的元数据和请求中指定的元数据来标识相机设备的子集；

将图像查询发送到相机设备的该子集；

接收来自相机设备的该子集中的一个或多个相机设备的响应，该响应指示由所述一个或多个相机设备捕获的视频数据中的感兴趣对象的肯定匹配；

获得共享肯定匹配的视频数据的授权；以及

与一个或多个用户共享肯定匹配的视频数据。

10.如权利要求9所述的方法，其中与一个或多个用户共享肯定匹配的视频数据包括向所述一个或多个用户发送播放列表或清单文件中的一个，用于标识肯定匹配的视频数据的至少一部分的位置。

11.如权利要求9所述的方法，其中请求包括元数据，该元数据包括位置信息。

12.如权利要求9所述的方法，其中请求包括元数据，该元数据包括朝向信息。

13.如权利要求9所述的方法，其中与视频数据相关联的元数据至少部分地从位置传感器、加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器或步进检测器传感器中的一个或多个导出。

14.如权利要求9所述的方法，还包括接收与针对事件自动生成的视频剪辑相关联的元数据，其中事件是根据来自一个或多个传感器的输入确定的，并且其中所请求的视频数据与相同的事件相关。

15.如权利要求9所述的方法，其中接收请求包括从在服务器系统上执行的计算机软件模块接收计算机程序调用。

16.一种用于共享来自多个相机的视频的系统，该系统包括计算机可读介质，该计算机可读介质包括当由一个或多个处理器执行时使得所述一个或多个处理器实现一组软件模块的指令，所述系统包括：

用于接收共享视频数据的请求的模块，该请求包括与所请求的视频数据相关联的元数据以及标识感兴趣对象的图像查询；

用于从多个相机设备获得与视频数据相关联的元数据的模块；

用于基于从相机设备获得的元数据和在请求中指定的元数据来标识相机设备的子集的模块；

用于将图像查询发送到相机设备的该子集的模块；

用于从相机设备的该子集中的一个或多个相机设备接收响应的模块，该响应指示由所述一个或多个相机设备捕获的视频数据中感兴趣对象的肯定匹配；

用于获得共享肯定匹配的视频数据的授权的模块；以及

用于与一个或多个用户共享肯定匹配的视频数据的模块。

17.如权利要求16所述的系统，其中用于与一个或多个用户共享肯定匹配的视频数据的模块包括用于向所述一个或多个用户发送播放列表或清单文件中的一个以标识肯定匹配的视频数据的至少一部分的位置的模块。

18.如权利要求16所述的系统，其中请求包括元数据，该元数据包括位置信息。

19.如权利要求16所述的系统，其中请求包括元数据，该元数据包括朝向信息。

20.如权利要求16所述的系统，其中与视频数据相关联的元数据至少部分地从位置传感器、加速度计、陀螺仪、磁力计、光传感器、重力传感器、地磁场传感器、线性加速度传感器、旋转向量传感器、显著运动传感器、步进计数器传感器或步进检测器传感器中的一个或多个导出。

21.如权利要求16所述的系统，还包括用于接收与针对事件自动生成的视频剪辑相关联的元数据的模块，其中事件是根据来自一个或多个传感器的输入确定的，并且其中所请求的视频数据与相同事件相关。

22.如权利要求16所述的系统，其中用于接收请求的模块包括用于从在所述一个或多个处理器上执行的计算机软件模块接收计算机程序调用的程序指令。