CN107040739A - 使用由传感器触发的汽车相机中的预缓冲的景物重建 - Google Patents

Abstract

本申请涉及用于从由传感器触发的相机捕获视频的系统和方法。外部汽车相机连续地运行并且捕获内容。缓冲存储装置由一个或者多个其它汽车传感器触发以存储在触发传感器之前的某个时间段(例如30秒)开始的内容。

Description

使用由传感器触发的汽车相机中的预缓冲的景物重建

技术领域

本公开内容主要地涉及视频存储领域并且更具体地涉及用于基于传感器输入选择待存储的视频的系统和方法。

背景技术

车载相机在当今的社会中正在快速地变得普遍。在美国要求多数新车辆截至2018年具有备用相机。由用户装配的仪表板相机正在变得日益地流行，并且许多人相信前向相机将最终地变成强制，因为对于新的小汽车规定备用相机。相似地，可以在几乎所有城市区域中发现观测移动车辆的静止相机。有了如此之多的固定和移动相机处于操作，不可避免的是将在视频上抓拍许多车辆事故(比如碰撞)。尽管这些相机中的许多相机简单地用于观测，但是如果对于在相机观测事故时的时间段可以捕获来自这些相机的视频流则将在车辆事故重建之中有许多猜测工作。这样的视频也可以用来标识和减少欺诈性的保险索赔。

由于由一般可用HD视频相机产生的视频文件的大小，特别地如果有在车辆上装配的多个相机或者在某个区域中观测移动车辆的多个相机，则一般地不可能捕获和存储覆盖长时间段的视频文件。即使与移动相机关联的最大存储介质也只能存储数小时视频。尽管在车辆中安装更大存储介质是可能的，但是这增加成本和复杂性并且将需要频繁维护。

使用视频用于事故重建也依赖于视频文件对当局的可用性。尽管可以更易于获得用于卷入事故中的车辆的视频文件，但是如果相机的所有者没有自愿地赋予视频，则如果不可能则也确实难以从在事故附近、但是未卷入事故中的车辆获得它。

发明内容

本发明涉及用于从由传感器触发的相机捕获视频的方法。一种示例方法可以包括从相机接收视频流到缓冲存储装置中。视频流可以与时间段(从视频流的开始到视频流的结束的时间段)关联。可以接收来自传感器的信号，该信号指示在视频流的时间段期间出现的触发事件。可以捕获缓冲存储装置中的视频流的部分。视频流的该部分可以在触发事件之前开始并且在触发事件之后结束。视频流的被捕获的部分可以是视频流的子集。可以在存储器中保存视频流的被捕获的部分。

根据附加示例实施例，本申请可以涉及用于从由传感器触发的相机捕获视频的方法。一种示例方法可以包括从车辆上的相机接收连续视频流到缓冲存储装置中。可以从车辆上的传感器接收用于从缓冲存储装置向存储器传送连续视频流的信号。可以从车辆上的系统控制器接收第一预定时间，其中第一预定时间指示在接收到用于发起从所述缓冲存储装置向所述存储器传送所述连续视频流的所述信号之前的时间。可以从系统控制器接收第二预定时间，其中第二预定时间指示在接收用于停止从所述缓冲存储装置向所述存储器传送所述连续视频流的所述信号之后的时间。可以在存储器中存储连续视频流。

根据更多实例实施例，本申请可以涉及用于从由传感器触发的车辆相机捕获视频的系统。一种示例系统可以包括车辆上的产生连续视频流的相机。缓冲存储装置可以通信地耦合到车辆上的相机。缓冲存储装置可以将连续视频流存储一个时间段。传感器可以在车辆上，该传感器通信地耦合到相机、缓冲存储装置和在车辆上的存储器。系统控制器可以在车辆上，该系统控制器通信地耦合到相机、传感器、缓冲存储装置和存储器。智能代理可以通过网络通信地耦合到车辆上的系统控制器。智能代理可以被配置为通过网络从车辆上的系统控制器接收保存的连续视频流的部分、关联时间戳、关联GPS位置和车辆的关联标识符。

附图说明

图1是根据各种实施例的用于从由传感器触发的相机捕获视频的系统的示意图。

图2是缓冲存储装置中的连续视频流的图形表示，该视频流的部分被捕获和存储在存储器中。

图3是根据各种实施例的用于从由传感器触发的车辆相机捕获视频的系统的示意图。

图4是根据各种实施例的用于从由传感器触发的相机捕获视频的示例方法的流程图。

图5是根据各种实施例的用于从由传感器触发的车辆相机捕获视频的示例方法的流程图。

图6是根据各种实施例的可以用来实现本公开内容的方面的示例计算系统的框图。

具体实施方式

本申请涉及用于从由传感器触发的相机捕获视频的系统和方法。在各种实施例中，相机可以被定位在移动车辆上。由于长时间存储从相机获得的视频文件不切实际，因此希望捕获和存储仅与视频文件的与具体事件有关的部分，该事件由具体时间段定义。在各种实施例中，来自相机的视频流可以被缓冲，但是没有被连续地存储在存储器中。车辆上的传感器可以感测视频文件将被捕获和存储的事件。捕获和存储的视频文件的范围可以涵盖在感测的事件之前开始并且在感测的事件之后的时间段结束的时间段。捕获的视频文件然后可以通过网络通信而上传到代理。虽然以下描述涉及车载系统，但是设想其中相机静止的附加示例实施例。

图1示意地图示用于从由传感器触发的相机捕获视频的系统100的各种实施例。相机105可以产生视频流110(连续地或者间歇地)。可以在缓冲存储装置115中暂时地保持视频流110的部分。在缓冲存储装置115中保持的视频流110的部分可以由时间段定义。例如缓冲存储装置115可以保持最近10分钟的视频流110。如本领域技术人员清楚的那样，时间段可以是大于或者小于10分钟的任何时间长度并且可以仅受可用缓冲存储装置数量(例如以吉字节为单位测量)限制。一个或者多个传感器120可以与系统控制器125通信。在传感器120感测触发事件时，传感器120与系统控制器125通信，该系统控制器又与缓冲存储装置115通信。可以在存储器130中存储与触发事件有关的视频流110的部分。

传感器120可以包括超声或者微波运动检测器、振动传感器、声音传感器、差分压力传感器、雷达传感器、声纳传感器、激光雷达传感器、光传感器、制动传感器、加速度计传感器、冲撞传感器、GPS传感器、视频传感器等。此外，传感器120还可以包括用于监视在车辆本身内的任何系统的定位、情况、激活等、比如汽门定位或者刹车致动。一般而言，传感器120能够确定车辆的环境中的一个或者多个情况。系统100可以包括任何数目的传感器120。

图2与图1一起还图示出根据各种实施例捕获与触发事件有关的视频流110的部分。在缓冲存储装置115中保持的视频流110的该部分可以由在初始时间T0开始并且延长在缓冲存储装置115中保持的视频流110的长度(例如最新近10分钟)的图2中的箭头代表。触发传感器120的触发事件可以在时间T_S出现。一旦传感器120向系统控制器125传达事件，在缓冲存储装置115中保持的视频流110的一部分被引向存储器130。视频流110的被保持的部分可以由开始时间T₁和结束时间T₂定义。可以选择开始时间T₁为在触发事件的时间T_S之前的预定时间量。例如可以选择T₁为在触发事件的时间T_S之前的30秒。因此，视频流110的被保持的部分可以捕获直至触发事件的情况，该情况可以辅助确定事件为什么发生或者谁/什么有故障引起事件。结束时间T₂可以是在触发事件的时间T_S之后的任何希望的时间段。

系统100的各种实施例可以对于确定直至触发事件(比如在两个车辆之间的碰撞)的情况特别地有关。视频流110可以捕获视频证据以确定车辆之一的驾驶员是否无法在交通灯或者停止标志停止、正在不规律地离开中心驾驶、转向以避免道路中的障碍物或者造成事件的任何其它动作或者行为。视频流110也可以用于确定在触发事件时的天气和道路条件。

在图3中还图示根据各种实施例的系统100。传感器120、相机105、缓冲存储装置115、存储器130和系统控制器125可以直接地或者通过其它部件中的一个或者多个部件(例如相机105可以经由系统控制器125通信地耦合到存储器130)通信地相互连接。系统100还可以包括可以连续地或者间歇地跟踪车辆的位置、行驶方向和速度的全球定位系统(GPS)传感器305以及用于提供用于视频流110和传感器120的时间戳数据的实时时钟325。此外，存储器130或者系统控制器125可以存储各种非视频数据、包括但不限于：GPS数据(瞬时和历史)；用于如图2中所示视频流的被保持的部分的开始时间T₁和结束时间T₂以及触发事件的时间T_S的一个或者多个时间戳；触发的传感器的标识符；车辆的标识符；车辆驾驶员的标识符；车辆服务历史；感测车辆本身和车辆子系统、比如引擎、电气和燃料分布的情况的其它车辆传感器的状态；等等。

系统100还可以包括网络接口单元310，系统控制器125可以通过该网络接口单元经由网络315与一个或者多个智能代理320、比如计算机系统或者网络(未示出)通信。智能代理320可以通过网络315接收视频流110的被保持的部分和在存储器130或者系统控制器125中存储的非视频数据中的任何非视频数据。网络315可以是蜂窝网络、因特网、内部网或者其它适当通信网络并且可以能够支持根据多个协议中的任何一个或者多个协议的通信，这些协议比如是通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址2000(WCDMA2000)、CDMA2000 1X(1xRTT)、宽带码分多址(WCDMA)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、时分-同步码分多址(TD-SCDMA)、长期演进(LTE)、演进通用地面无线电接入网络(E-UTRAN)、演进-数据优化(EVDO)、高速分组接入(HSPA)、高速下行分组接入(HSDPA)、IEEE 802.11(Wi-Fi)、Wi-Fi Direct、802.16(WiMAX)、超宽带(UWB)、红外线(IR)协议、近场通信(NFC)协议、Wibree、蓝牙、无线LAN(WLAN)协议/技术。

智能代理320根据一些示例实施例是包括非通用计算部件的非通用计算设备。智能代理320可以包括用于确定、传输和接收视频和非视频数据元素的专用硬件处理器。在更多实例实施例中，智能代理320包括具有电路装置和专门化的硬件处理器的专门化的设备并且可以是人工智能的、包括机器学习。可以通过自动机器确定对视频和非视频数据做出如这里描述的由智能代理320做出的许多确定步骤而无人参与、包括基于由如这里描述的联网架构、处理和/或执行所提供的先前结果或者反馈(例如自动反馈回路)。

如先前提到的那样，系统100可以在静止定位中而不是车载的。例如系统100可以被定位以使得相机105可以捕获交叉路口。传感器120可以感测车辆速度、加速/减速率、定位等。可以在两个车辆的定位和速度指示车辆已经相互碰撞时的时间T_S触发传感器120。可以捕获和在存储器130上存储视频流110的部分，该部分在时间T_S之前(并且因此在碰撞之前)的时间T₁开始并且在碰撞之后的某个时间段的时间T₂结束。相似地，可以在传感器120感测到超过标示的速度限制的小汽车时捕获和在存储器130上存储视频流110的一部分，并且视频流110的被捕获的部分可以示出在通过标示的速度限制牌之前和之后的车辆。

附加地，系统100可以被安装在任何类型的移动车辆、包括汽车、卡车、公共汽车、火车等中。系统100也可以被安装在空中车辆、比如飞机、直升机、滑翔机、飞艇、气球、无人机等中。虽然商用飞机配备有用于在空中之时记录条件和事件的多个传感器和记录系统，但是系统100可以用于在地面上出现的事故、比如在滑行飞机之间的碰撞。

图4是用于从由传感器触发的相机捕获视频的示例方法400的流程图。在步骤405，如图4和图1中所示，可以接收来自相机105的视频流110到缓冲存储装置115中。视频流110可以与时间段(从视频流110的开始到视频流110的结束的时间段)关联。可以在步骤410接收来自传感器120的信号，该信号指示在视频流110的时间段期间出现的触发事件。可以在步骤415捕获缓冲存储装置115中的视频流110的一部分。视频流110的该部分可以在触发事件之前开始并且在触发事件之后结束。视频流110的被捕获的部分可以是视频流110的子集。在步骤420，可以在存储器130中保存视频流110的被捕获的部分。

图5是用于从由传感器触发的车辆相机捕获视频的示例方法500的流程图。在步骤505，如图5和图1中所示，可以接收来自车辆上的相机105的连续视频流110到缓冲存储装置115中。可以在步骤510从车辆上的传感器120接收用以从缓冲存储装置115向存储器130传送连续视频流110信号。在步骤515，可以从系统控制器125接收第一预定时间，其中第一预定时间指示在接收信号之前的时间并且指示连续视频流110从缓冲存储装置115到存储器130的传送。可以在步骤520从系统控制器125接收第二预定时间，其中第二预定时间指示在接收信号之后的时间并且指示停止连续视频流110从缓冲存储装置115向存储器130的传送。可以在步骤525在存储器130中存储连续视频流110。

根据各种实施例，系统控制器125可以与收集、处理、分析和公布数据集的基于云的计算环境通信。一般而言，基于云的计算环境是通常地组合大型处理器分组的计算能力和/或组合大组计算机存储器或者存储设备的存储容量的资源。例如提供云资源的系统可以由它们的所有者、比如Google^TM或者Amazon^TM独占地利用，或者这样的系统可以可由外界用户访问，这些用户在计算基础结构内部署应用以获得大型计算或者存储资源的益处。

云可以例如由web服务器的网络形成而每个服务器(或者至少多个服务器)提供处理器和/或存储资源。这些服务器可以管理由多个用户(例如云资源消费者或者其它用户)提供的工作量。通常地，每个用户对云设定实时、有时动态地变化的工作量需求。这些变化的性质和程度通常地依赖于与每个用户关联的业务类型。

图6图示可以用来实施本技术的一个实施例的示例计算系统600。图6的计算系统600包括一个或者多个处理器单元610和主存储器620。主存储器620部分存储用于由处理器610执行的指令和数据。主存储器620可以在系统600在操作中时存储可执行代码。图6的系统600还可以包括海量存储设备630、便携存储设备640、输出设备650、用户输入设备660、图形显示系统670和其它外围设备680。

描绘图6中所示部件经由单个总线690来连接。可以通过一个或者多个数据传送装置连接部件。可以经由本地微处理器总线连接处理器610和主存储器620，并且可以经由一个或者多个输入/输出(I/O)总线连接海量存储设备630、外围设备680、便携存储设备640和图形显示系统670。

可以用磁盘驱动或者光盘驱动实施的海量存储设备630是用于存储用于由处理器单元610使用的数据和指令的非易失性存储设备。海量存储设备630可以存储用于出于将用于实施本技术的实施例的系统软件加载到主存储器620中的目的而存储该软件。

便携存储设备640与便携非易失性存储介质、比如软盘、光盘或者数字视频盘结合操作以向和从图6的计算机系统600输入和输出数据和代码。用于实施本技术的实施例的系统软件可以被存储在便携介质上并且经由便携存储设备640输入到计算机系统600。

用户输入设备660提供用户接口的部分。用户输入设备660可以包括用于输入文字数字和其它信息的文字数字小键盘、比如键盘或者指示设备、比如鼠标、跟踪球、触笔或者光标方向键。附加地，如图6中所示系统600包括输出设备650。适当输出设备包括扬声器、打印机、网络接口和监视器。

图形显示系统670可以包括液晶显示器(LCD)或者其它适当显示设备。图形显示系统670接收文本和图形信息并且处理该信息用于向显示设备输出。

外围设备680可以包括用于向计算机系统添加附加功能的任何类型的计算机支持设备。外围设备680可以包括调制解调器或者路由器。

在图6的计算机系统600中包含的部件是通常地在可以适合用于与本技术的实施例使用的计算机系统中发现的部件并且旨在于代表本领域众所周知的这样的计算机部件的广义类别。因此，图6的计算机系统600可以是个人计算机、手持计算系统、电话、移动计算系统、工作站、服务器、小型计算机、大型机计算机或者任何其它计算设备。计算机也可以包括不同总线配置、联网的平台、多处理器平台等。可以使用各种操作系统、包括UNIX、Linux、Windows、Macintosh OS、Plam OS和其它适当操作系统。

以上描述的功能中的一些功能可以由可以存储于存储介质(例如计算机可读介质)上的指令组成。指令可以由处理器取回和执行。存储介质的一些例子是存储器设备、磁带、磁盘等。指令可以在由处理器执行时可操作以指引处理器根据本技术操作。本领域技术人员熟悉指令、处理器和存储介质。

值得注意的是适合用于执行这里描述的处理的任何硬件平台适合用于与本技术使用。如这里所用术语“计算机可读存储介质”和“计算机可读存储介质”是指参与向CPU提供指令用于执行的任何一个或者多个介质。这样的介质可以采用许多形式、包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质例如包括光或者磁盘、比如固定盘。易失性介质包括动态存储器、比如系统RAM。传输介质包括同轴线缆、铜线和光纤以及其它介质、包括接线，这些接线包括总线的一个实施例。传输介质也可以采用声或者光波的形式、比如在射频(RF)和红外线(IR)数据通信期间生成的波。计算机可读介质的常见形式例如包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM盘、数字视频盘(DVD)、任何其它光介质、有标记或者孔图案的任何其它物理介质、RAM、PROM、EPROM、EEPROM、FLASH EPROM、任何其它存储器芯片或者数据交换适配器、载波或者计算机可以从其读取的任何其它介质。

各种形式的计算机可读介质可以参加向CPU输送一个或者多个指令的一个或者多个序列用于执行。总线向系统存储器输送数据，CPU可以从该系统RAM取回和执行指令。由系统RAM接收的指令可以可选地在由CPU执行之前或者之后被存储在固定盘上。

尽管已经结合系列优选实施例描述本公开内容，但是这些描述未旨在于使公开内容的范围限于这里阐述的特定形式。以上描述仅为示例而未旨在于限制。实施例的许多变化将在考察本公开内容时变得为本领域技术人员所清楚。本公开内容的范围因此不应参照以上描述来确定、但是代之以应当参照所附权利要求及其完全等效范围来确定。本描述旨在于覆盖如可以在由所附权利要求限定的本公开内容的精神实质和范围内包括的以及本领域普通技术人员另外认识的这样的备选、修改和等效物。在若干方面中，本公开内容的示例可以作用于填补良好业务实践和逻辑由于用当前资源和工具来实施却并不可行而缺乏的在当前行业实践中的漏洞。

空间相对术语、比如“在……之下”、“在……以下”、“下”、“在……之上”、“上”等为了易于描述而用来说明一个单元相对于第二单元的定位。这些术语旨在于除了与在各图中描绘的定向不同的定向之外还涵盖设备的不同定向。另外，术语、比如“第一”、“第二”等也用来描述各种单元、区域、分节等并且也未旨在于限制。相似术语贯穿说明书指代相似单元。

如这里所用，术语“具有”、“包含”、“包括”等是开放式术语，这些开放式术语指示存在陈述的单元或者特征、但是未排除附加单元或者步骤。冠词“一个/一种”和“该”旨在于包括复数以及单数，除非上下文清楚地另有指示。

Claims (20)

1.一种用于从由传感器触发的相机捕获视频的方法，包括：

从相机接收视频流到缓冲存储装置中，所述视频流与时间段关联；

从传感器接收指示在所述时间段期间的触发事件的信号；

捕获所述缓冲存储装置中的所述视频流的部分，所述部分在所述触发事件之前开始并且在所述触发事件之后结束，所述视频流的被捕获的部分是所述视频流的子集；以及

在存储器中存储所述视频流的被捕获的部分。

2.根据权利要求1所述的方法，还包括将时间戳、GPS位置和非视频数据与所述视频流的被存储的部分关联。

3.根据权利要求2所述的方法，其中所述时间戳包括下列中的一个或者多个：所述触发事件的时间、与所述视频流的被存储的部分的开始关联的时间以及与所述视频流的被存储的部分的结束关联的时间。

4.根据权利要求2所述的方法，还包括向网络智能代理传输所述时间戳、所述GPS位置、所述非视频数据和所述视频流的被存储的部分。

5.根据权利要求2所述的方法，其中所述非视频数据包括下列中的一个或者多个：触发所述传感器的标识符、所述传感器所处的车辆的标识符、所述车辆的驾驶员的标识符、所述车辆的服务历史以及感测所述车辆或所述车辆的子系统的情况的其它传感器的状态。

6.根据权利要求1所述的方法，其中从所述传感器接收指示触发事件的所述信号包括从所述传感器接收指示移动车辆的碰撞的信号。

7.根据权利要求6所述的方法，还包括从加速度计传感器接收所述信号。

8.一种用于从由传感器触发的车辆相机捕获视频的方法，所述方法包括：

从车辆上的相机接收连续视频流到缓冲存储装置中；

从所述车辆上的传感器接收用于从所述缓冲存储装置向存储器传送所述连续视频流的信号；

从所述车辆上的系统控制器接收第一预定义时间，所述第一预定义时间指示在接收到用于发起从所述缓冲存储装置向所述存储器传送所述连续视频流的所述信号之前的时间；

从所述车辆上的所述系统控制器接收第二预定义时间，所述第二预定义时间指示在接收到用于停止从所述缓冲存储装置向所述存储器传送所述连续视频流的所述信号之后的时间；以及

在所述存储器中保存所述连续视频流。

9.根据权利要求8所述的方法，还包括将时间戳、GPS位置和所述车辆的标识符与所述视频流的被存储的部分关联。

10.根据权利要求9所述的方法，其中所述时间戳包括下列中的一个或者多个：所述触发事件的时间、与所述视频流的被存储的部分的开始关联的时间以及与所述视频流的被存储的部分的结束关联的时间。

11.根据权利要求9所述的方法，还包括向网络智能代理传送所述时间戳、所述GPS位置、所述车辆的所述标识符和所述视频流的被存储的部分。

12.根据权利要求8所述的方法，其中从所述车辆上的所述传感器接收用于传送所述连续视频流的所述信号包括从所述传感器接收指示所述车辆的碰撞的信号。

13.根据权利要求12所述的方法，还包括从加速度计传感器接收所述信号。

14.一种用于从由传感器触发的车辆相机捕获视频的系统，包括：

车辆上的相机，所述相机产生连续视频流；

缓冲存储装置，通信地耦合到所述车辆上的相机，并将所述连续视频流存储一个时间段；

所述车辆上的传感器，所述传感器通信地耦合到所述相机、所述缓冲存储装置和在所述车辆上的存储器；

所述车辆上的系统控制器，所述系统控制器通信地耦合到所述相机、所述传感器、所述缓冲存储装置和所述存储器；以及

智能代理，所述智能代理通过网络通信地耦合到所述车辆上的所述系统控制器，并且被配置为通过所述网络从所述车辆上的所述系统控制器接收所保存的所述连续视频流的部分、关联时间戳、关联GPS位置和所述车辆的关联标识符。

15.根据权利要求14所述的系统，其中所述传感器能够在所述连续视频流的所述时间段期间感测触发事件。

16.根据权利要求15所述的系统，其中所述系统控制器操作用于捕获所述缓冲存储装置中的所述视频流的部分，所述部分在所述触发事件之前开始并且在所述触发事件之后结束，并且在所述存储器中保存所述视频流的所述部分。

17.根据权利要求16所述的系统，其中所述时间戳包括下列中的一个或者多个：所述触发事件的时间、与所述视频流的被存储的部分的开始关联的时间和与所述视频流的被存储的部分的结束关联的时间。

18.根据权利要求14所述的系统，其中所述传感器操作用于感测所述车辆的碰撞。

19.根据权利要求14所述的系统，其中所述传感器操作用于感测所述车辆的速度何时超过预定速度限制。

20.根据权利要求14所述的系统，其中所述传感器包括下列中的一个或者多个：超声或者微波运动检测器、振动传感器、声音传感器、差分压力传感器、雷达传感器、声纳传感器、激光雷达传感器、光传感器、制动传感器、加速度计传感器、冲撞传感器、GPS传感器、视频传感器。