CN114731374A - 用于镜更换系统的摄像机图像和传感器融合 - Google Patents

Abstract

一种用于车辆的测量系统包括限定具有对应的光轴的视野的第一摄像机，以及运动检测传感器，该运动检测传感器机械地固定到第一摄像机上使得运动检测传感器被配置为检测光轴的运动。

Description

用于镜更换系统的摄像机图像和传感器融合

相关申请的交叉引用

本申请要求于2019年8月1日提交的美国临时申请第62/881506号的优先权。

技术领域

本公开总体上涉及一种用于生成视频馈送数据集的结构，该视频馈送数据集包括来自摄像机的图像数据和来自对应的运动指示器的运动数据的融合。

背景技术

镜更换系统(例如在商用车辆中使用的那些)利用一个或多个摄像机为车辆操作者提供增强的视野。镜更换系统比传统镜覆盖更大的视野。作为镜更换系统操作的一部分，大量的图像数据由每个镜更换结构内的摄像机生成。除了镜更换系统外，其他车辆系统也可以包括或利用摄像机。来自摄像机的图像数据可以被控制器分析，并用于执行增强车辆操作的多种功能和镜更换。

发明内容

在一个示例性实施方式中，一种用于车辆的测量系统包括第一摄像机和运动检测传感器，第一摄像机限定具有对应的光轴的视野，运动检测传感器机械地固定到第一摄像机上，使得该运动检测传感器被配置为检测光轴的运动。

在上述用于车辆的测量系统的另一个示例中，运动检测传感器包括加速度计、陀螺仪和倾角计中的一种。

在任何一个上述用于车辆的测量系统的另一个示例中，运动检测传感器机械地连接至第一摄像机的专用集成电路(ASIC)，使得ASIC的运动与光轴的运动以一对一的方式对应。

在任何一个上述用于车辆的测量系统的另一个示例中，ASIC被配置为输出融合数据集，该融合数据集包括由第一摄像机生成的图像数据和由运动检测传感器生成的运动数据的组合。

在任何一个上述用于车辆的测量系统的另一个示例中，融合数据是时间相关数据。

任何一个上述用于车辆的测量系统的另一个例子还包括被配置为接收融合数据集的控制器，该控制器被配置为使用基于机器学习的分析来分析融合数据集。

在任何一个上述用于车辆的测量系统的另一个示例中，基于机器学习的分析被配置为确定摄像机的取向并且响应于第一摄像机面向不正确的方向而向操作者发出警报。

在任何一个上述用于车辆的测量系统的另一个示例中，ASIC连接至控制器，该控制器被配置为接收运动传感器输出和摄像机输出，并且其中控制器被配置为将运动传感器输出和摄像机输出融合，由此创建融合数据集。

在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集是使用汽车安全集成级别(ASIL)分解融合来创建的。

在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集被提供给摄像机取向监控系统、对象检测系统、摄像机未对准系统、视野调整系统、对象检测冗余系统、图像稳定系统、线端校准系统、篡改识别系统和自动摄像机随动拍摄系统、摄像机位移检测系统和遮挡检测系统中的至少一个。

在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集被提供给遮挡检测系统，并且其中遮挡检测系统将融合数据的基于图像的运动检测和基于传感器的运动检测进行比较以确定摄像机何时至少部分被遮挡。

在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集被提供给摄像机位移检测系统，并且其中摄像机位移检测系统被配置为将通过图像分析检测到的运动速度与通过传感器分析检测到的运动速度进行比较，并响应于通过图像分析检测到的运动速度比通过传感器分析检测到的运动速度超过预定量，确定已经发生了摄像机位移。

在任何一个上述用于车辆的测量系统的另一个示例中，还包括多个第二摄像机和多个运动检测传感器，多个第二摄像机中的每一个限定具有对应的光轴的视野，多个运动检测传感器中的每一个运动检测传感器通过对应的专用集成电路(ASIC)机械地固定到多个第二摄像机中的对应一个第二摄像机上，其中多个第二摄像机中每一个摄像机的运动和第一摄像机的运动独立于其他每个摄像机的运动来确定。

在任何一个上述用于车辆的测量系统的另一个示例中，每个对应的ASIC被配置为输出融合数据集，该融合数据集包括由对应的摄像机生成的图像数据和由运动检测传感器生成的运动数据的组合。

一种用于检测车辆的被遮挡的摄像机镜头的示例性方法包括：从摄像机系统接收图像数据和惯性运动单元(IMU)数据；分析IMU数据以使用基于传感器的运动检测系统检测摄像机系统的运动；使用基于图像的运动检测分析来分析图像数据以检测摄像机的运动；以及响应于基于图像的运动检测分析指示无运动和基于传感器的运动检测指示运动，确定存在至少部分被遮挡的镜头。

在上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，摄像机系统包括第一摄像机和运动检测传感器，第一摄像机限定具有对应的光轴的视野，运动检测传感器机械地固定到第一摄像机上，使得该运动检测传感器被配置为检测光轴的运动。

在上述用于检测车辆的被遮挡的摄像机镜头的任何方法的另一个示例中，基于图像的运动检测分析包括：识别图像数据的第一帧中的参照物、识别图像数据的第二帧中的参照物以及响应于帧之间的参照物的位置变化超过阈值，确定摄像机系统处于运动中。

在任何一个上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，第二帧在第一帧之后。

在任何一个上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，图像数据和IMU数据是单个融合数据集。

在任何一个上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，在确定存在至少部分被遮挡的镜头的同时，将图像数据和IMU数据融合。

一种用于检测用于车辆的移位的摄像机系统的示例性方法包括：从摄像机系统接收融合数据，该融合数据包括图像部分和惯性运动单元(IMU)部分；使用基于图像的运动检测系统分析图像部分并确定图像内的至少一个对象的至少一个运动参数；使用基于传感器的运动检测系统分析IMU部分并确定IMU的至少一个运动参数；以及将图像中的至少一个对象的至少一个运动参数与IMU的至少一个运动参数进行比较，并且当至少一个对象的至少一个运动参数与IMU的运动至少相差预定量时，确定已经发生了摄像机系统位移。

在上述用于检测车辆的移位的摄像机系统的方法的另一个示例中，至少一个参数是运动速度。

在上述用于检测车辆的移位的摄像机系统的任何方法的另一个示例中，图像内的至少一个对象位于图像的外围。

在任何一个上述用于检测车辆的移位的摄像机系统的方法的另一个示例中，还包括：响应于基于图像的运动检测系统未检测到运动并且基于传感器的运动检测系统检测到运动，确定摄像机的至少部分遮挡。

附图说明

图1示出了包括镜更换系统的示例性商用车辆。

图2示意性示出了用于车辆的示例性驾驶室和驾驶员悬架，该车辆包括具有摄像机的多个车辆系统。

图3示意性示出了用于图1的车辆的示例性镜更换摄像机。

图4示意性示出了控制器使用融合的图像和传感器数据来检测摄像机遮挡的过程。

图5示意性示出了用于图4的过程中的示例性图像馈送。

图6示出了使用图1至图3所示的摄像机系统内的固定关系来检测摄像机位移的过程。

具体实施方式

图1示意性示出了商用车辆10，例如牵引拖车。示例性商用车辆10包括驾驶室20和拖车30。拖车30通过联结装置32或其他连接件连接至驾驶室20。此外，多个侧视摄像机40连接至驾驶室20，其中每个侧视摄像机40与控制器60通信并生成车辆10的侧视图的数字图像。在拖车30上附接有后视摄像机50。与侧视摄像机40一样，后视摄像机50与控制器60通信并向控制器60提供图像馈送。虽然在图1中通过简化的三摄像机系统示出，但是应当理解，镜更换系统可以包括设置在类似位置或以任何所需的配置分布在车辆10周围的任何数量的附加摄像机。

继续参照图1的车辆，图2示意性示出了示例性驾驶室72和驾驶员座椅74的配置，其包括设置在驾驶室72中的多个摄像机70。在图2的示例中，驾驶员座椅74通过悬架76安装到驾驶室72上。驾驶室72又通过另一个悬架76安装到车辆框架78上。框架78又通过另一个车辆悬架76安装到轮胎79上。由于多个悬架76，每个部件都能够相对于其他部件移动(或浮动)。结果，车辆运动(即，车辆框架78的运动)与驾驶室72的运动、驾驶员座椅74的运动或与驾驶室72或驾驶员座椅74连接的传感器的运动不存在1:1的相关性。除了图1的简化的镜更换系统外，图2的系统还示出了安装在驾驶室72内或驾驶室72上的多个附加摄像机70。由于多个悬架76，每个摄像机40、50、70都独立于或半独立于一些或所有其他摄像机40、50、70移动。这又导致车辆框架移动测量结果不足以跟踪摄像机40、50、70的移动。

车辆10内的控制器60接收并格式化由每个摄像机40、50、70生成的图像数据，并将该图像数据呈现给车辆10的操作者以帮助控制车辆10。除了将图像数据呈现给操作者外，控制器60实时或接近实时地分析数据，并基于分析对数据执行增强。在一些例子中，增强可以包括确定图像中存在的外来对象、从进一步的图像分析中排除自我部分、检测与识别的对象即将发生的碰撞以及任何其他数量的驾驶员辅助功能。增强在将图像呈现给操作者之前应用于图像，并允许控制器60突出显示或以其他方式强调操作者应该知晓的图像要素和/或操作者应该获悉的关于图像的信息。

使用图像数据的一些驾驶员辅助功能或其他特征利用图像馈送本身内的上下文信息，连同使用机器学习系统确定的算法来确定摄像机40、50、70的取向、视野内的遮挡、碰撞检测系统的进入的车辆或对象等。这些系统的图像分析受到以下事实的阻碍：摄像机40、50可能正在移动并且在某些情况下可能独立或半独立于车辆10的其他部分的驾驶室20移动。举例来说，对象与摄像机40、50的碰撞会导致摄像机40、50的取向发生偏移，并且独立运动导致难以确定正常移动与对象碰撞导致的移动之间的差异。再举例来说，在安装到驾驶室72上的摄像机70与车辆框架78之间存在一定程度的浮动(即相对运动)，以及由于多个累积悬架76的存在而导致在通过各种摄像机40、50、70生成的图像的角度之间存在一定程度的浮动。

除了镜更换系统(例如所述和图1所示的那些系统)，本文描述的集成惯性测量单元(IMU)和摄像机配置还可以应用于所有摄像机40、50、70以及其他类似的车载摄像机系统。

继续参照图1，图3示意性示出了示例性摄像机设备100，其包括安装到专用集成电路(ASIC)120上的摄像机110。摄像机110包括镜头112，并且镜头112限定了视野(即，由摄像机110捕获的图像)。镜头轴114是垂直于镜头112并垂直于视野绘制的线。惯性测量单元(IMU)130也连接至ASIC 120。IMU 130可以包含被配置为检测相对运动的加速度计(例如三轴加速度计)、陀螺仪(例如三轴陀螺仪)、倾角计、它们的任何组合或任何其他传感器类型或传感器类型的组合。示例性IMU 130被配置为检测包括侧倾(roll)、纵倾(pitch)和横摆(yaw)的运动。替代的IMU可以检测这些运动和/或其他运动的子集。

由于摄像机110和IMU 130都物理地安装到单个ASIC 120上，因此摄像机110的轴114与IMU 130物理地相绑定(tie)，并且IMU 130的任何移动对应于摄像机110的移动。在替代示例中，摄像机110和IMU 130可以通过连接器或任何其他刚性连接件物理连接，从而使轴114的运动对应于IMU 130的运动。因此，由摄像机110限定的视野和IMU 130的运动以一对一的方式相关。在替代示例中，如果IMU 130和轴114相对于彼此机械地固定，则IMU 130可以安装到不同的物理结构或第二ASIC上并提供类似的功能。如本文所用，相对于彼此机械地固定是指两个部件连接成使得这两个部件作为单个单元移动的配置。

在车辆10的操作期间，来自摄像机110的图像数据和来自IMU 130的运动数据在被提供给控制器60(图1)之前被融合。在其他示例中，图像数据和运动数据中的每一个都包括时间戳，并且控制器60可以在从每一个接收到数据之后将数据融合成单个数据集。在一个示例中，可以使用汽车安全集成级别(ASIL)分解融合方法来实现融合。在替代示例中，可以根据任何已知的数据融合方法使用将来自摄像机40、50、70的数据融合到来自IMU 130的数据的替代方法。由于每个摄像机40、50、70包括其自己的运动传感器，因此融合到来自摄像机40、50、70的图像数据的运动数据与特定的摄像机轴绑定而非车身的运动。

一旦控制器60已经接收到融合数据，控制器60利用运动数据和图像数据的组合来执行多重分析并增强附加控制特征的功能性。

在一个示例中，控制器60分析图像数据以确定轴114的相对运动，并分析从IMU130接收到的运动数据，并且将分析之间的比较用作监控功能。在此示例中，来自IMU 130的运动数据用于验证通过图像分析检测到的运动的准确性。如果图像分析数据与来自IMU130的运动数据不匹配，则控制器60可以确定来自图像数据分析的运动不正确，并相应地进行调整。确定是图像分析还是IMU 130数据有错误取决于确定的上下文，并且可以包括对图像中应该在图像中具有固定位置的部件、在图像中识别的对象的预期移动的分析。一旦做出确定，控制器60就可以对镜更换系统执行任何所需的调整，以保持镜更换系统的一个或多个功能的可操作性。下面参照图4和图5描述比较过程的一个特定示例。

在另一个示例中，IMU 130检测或测量侧倾、纵倾和横摆并允许控制器60确定图像的每一帧处的摄像机倾斜度。摄像机倾斜度的检测允许控制器60执行短期检查以确保摄像机110被定向在正确的位置并且没有移位。这进而有助于对象检测并增强控制器60通过对光轴114和车辆10的加速度轴的未对准进行调整来确定对象相对于车辆10的位置的能力。

在IMU 130检测或测量侧倾、纵倾和横摆的另一个示例中，IMU 130可以检测摄像机倾斜度的突然变化。举例来说，如果摄像机40、50、70被低垂的树枝、被另一个车辆激起的岩石或任何其他外来对象击中，则摄像机40、50、70可以移动位置而不会完全从车辆10脱离。当发生这种突然的取向变化时，摄像机40、50、70的视野可能会发生显著变化并且需要重新调整。在适当装备的车辆10中，车辆10的后轴或其他结构部分可以在运行中调整其高度以补偿对应于由IMU 130检测到的突然运动的视野变化。在替代示例中，用于调整摄像机40、50、70的任何其他机械系统都可以用于类似的效果。在其他示例中，可以向车辆操作者提供警告，指示操作者需要在第一时间手动调整或重新定位摄像机。在一些示例中，可以使用仅能够检测一个或两个运动角度的IMU 130来检测突然的位置变化，并且不需要完全运动检测。

在另一个示例中，来自IMU 130的融合数据用作附加传感器，以用于类似于上述的相对运动分析的遮挡的安全检查警告。在这个示例中，融合的运动数据提供了对基于图像的运动检测和从CAN系统检测到的自我部分车辆信息的冗余检查。附加的传感器信息测量车辆是在正移动还是正在旋转，并提供对图像内的对象检测和图像遮挡检测的冗余检查。举例来说，如果数据的IMU 130部分检测到以特定速度的移动或绕轴的旋转，但图像呈现出大部分是静态的场景，则控制器60可以提醒操作者检测到的对象的置信度变化。在另一个示例中，如果车辆10移动或绕轴旋转并且融合的图像数据没有改变并且图像分析未指示被遮挡的摄像机110，则控制器60可以重新运行图像遮挡检测算法或将来自IMU 130的运动与图像遮挡检测算法不一致通知给操作者。

在又一个示例中，融合的图像和IMU 130数据可用于辅助控制器60的视频稳定特征。当诸如驾驶员之类的操作者位于车辆10本身内时，操作者与驾驶室20一起摇晃或浮动。驾驶室20又以与摄像机110大致相同的幅度摇晃或浮动，并且可以自我解释图像。然而，当操作者通过遥控操作方案被远程定位时，重要的是提供由摄像机110提供的图像的视觉稳定。在这种情况下，控制器60可以比较图像数据的帧之间的相对运动并补偿提供给远程操作者的视频馈送中的相对运动。这可以降低视频稳定所需的采样率，并潜在地减少控制器60为实现稳定所需的滤波量。

在另一个示例中，融合数据可以被控制器60用来通过增强对象检测能力而降低线端校准(end of line calibration)要求并对线端系统进行校准。在另一个示例中，融合数据可用于帮助篡改识别以及自动摄像机随动拍摄系统。还应理解，任何上述概念都可以单独使用或与任何或所有其他上述概念组合使用。

继续参照图1至图3，图4和图5示出了一个示例过程200，通过该过程上文关于图1至图3描述的由摄像机观察轴和IMU之间的固定关系启用的融合运动数据被用于验证摄像机的遮挡或未遮挡状态。执行该操作的控制器从摄像机接收图像数据210，并从对应的IMU接收IMU数据220。在一个示例中，IMU是加速度计，但是替代的IMU传感器类型可以在替代系统中用于类似作用。然后控制器使用基于图像的运动检测分析230来分析图像数据210以确定图像是否指示运动。同时或几乎同时，控制器在IMU分析块240中分析IMU数据220。在比较250中比较得到的分析，并且当摄像机指示没有运动并且IMU指示存在运动时，控制器输出警告260。警告260向车辆操作者以及其他车辆系统通知提供图像数据210的摄像机包括视觉障碍并且对于某些车辆系统不应依赖它。

现在参照基于图像的运动检测分析块230，在一个示例中，基于图像的检测分析块230包括两个子块、特征提取程序232和运动检测程序234。基于图像的运动检测分析块230使用基于特征提取的图像分析方法。最初，通过特征提取程序232从图像中提取图像的一个或多个特征。在一些示例中，特征可以是每一帧的所关心的区域内的特征。一旦提取了特征，运动检测程序234就在顺序的帧上跟踪特征的运动。

在图5所示的一个示例中，使用模板匹配方法来跟踪运动。在模板匹配方法中，运动检测程序234尝试在帧300的至少一部分310内找到与预定模板320(例如人的形状)的最佳匹配。运动模板匹配系统从视频的第一帧300提取模板320的参照图像，然后将参照图像应用到后续帧300’，从而允许系统在帧300’或帧300、300’的部分310’上跟踪参照图像320、320’的移动。在一些示例中，后续帧300’可以是在第一帧300之后的任何帧，包括紧跟在第一帧之后的帧。在替代示例中，后续帧300’是与第一帧分开的时长大于帧之间的时间的帧，从而导致一个或多个帧没有被包括在基于图像的分析中。虽然在示例中被示为人的形状，但是应当理解，参照图像可以是第一图像内的任何独特形状，并且将人的形状用于参照图像纯粹是示例性的。在另外的示例中，可以在单个图像馈送中使用多个参照物来提供独立的移动跟踪，从而允许冗余跟踪和/或基于图像的移动跟踪的验证。

在用于执行运动跟踪的一个示例算法中，被搜索的帧300、300’的部分310、310’限于帧的区域322，该区域322的大小被设置为参照图像320的模板大小的两倍。大小设置将搜索区域限制于车辆在运动中时参照图像将合理地行进到的图像310、310’的区域。限制在图像馈送的后续帧300、300’中搜索的图像区域降低了在运动检测程序234中执行图像分析所需的处理功率和时间。在替代示例中，基于参照图像的大小进行大小设置的替代大小的区域可以用于类似地减少运动检测程序234中所需的处理。

一旦在后续帧300、300’中识别出参照图像的实例，就分析参照图像行进的x-y距离以确定车辆是正在移动还是静止的。当运动检测程序234确定不存在运动时，已知车辆处于两种状态之一。在第一状态，车辆不在运动中。在第二状态，为图像提供馈送的摄像机被遮挡或部分被遮挡。本领域技术人员将理解这些状态不是相互排斥的。

虽然上面在参照要素的上下文内描述的是图像内的检测到的对象，但是根据本说明书的替代方法可以包括替代特征，包括但不限于识别到图像区域的距离、多模态图像配准、每帧的相关特征等。本文使用的术语“参照”适用于任何形式的参照，并且在范围上不限于对象识别。在另一个替代方案中，移动检测可以通过根据已知方法使后续帧与参照帧之间的相关性最大化的优化问题。

现在参照IMU分析块240，控制器内的IMU分析块240的操作可以分成两个单独的组。最初，使用将来自一个或多个传感器的电信号转换成可用信息的预处理程序242对来自一个或多个IMU传感器的数据220进行处理。举例来说，当一个或多个传感器包括加速度计(例如三轴加速度计)时，一个或多个传感器测量三个轴上的力。不在运动中时，垂直轴仅测量笔直向上的重力加速度，而其他轴测量零加或减噪声。在运动中时，其他轴中的一个或两个将输出指示车辆运动方向和速率的测量结果。车辆控制器被配置为预处理由加速度计输出的电信号，以基于IMU传感器数据220确定车辆正在哪个方向上和以多快的速度移动。预处理可以是用于将信号转换为运动数据的任何方法，该运动数据对应于提供IMU传感器数据220的特定传感器类型。

一旦被处理成运动数据，IMU分析块240使用感测到的运动数据来确定在运动检测过程244中车辆是在运动中还是不在运动中。与基于图像的检测一样，IMU检测将指示车辆可以处于两种状态之一。第一状态是车辆在运动中，而第二状态是车辆不在运动中。在一些示例中，运动检测过程244确定车辆的具体运动方向和速率，而在其他示例中，运动检测过程244限于检测车辆是否处于运动中的二元状态。

在使用图像数据210和传感器数据220两者确定车辆是在运动中还是不在运动中之后，通过时间戳相关性在比较模块250中将数据融合。在替代系统中，可以使用用于协调来自IMU和来自摄像机的数据的替代方法来代替时间戳配置以达到类似的效果。

一旦融合，比较250针对图像数据210和传感器数据220之间的“在运动中”/“不在运动中”的不一致对数据流进行采样。然后比较250确定图像数据210指示没有运动并且传感器数据220指示运动，比较过程250识别出存在被遮挡或部分被遮挡(以其他方式被称为被遮蔽)的摄像机并输出警报260。如上文关于图1至图3所述，警报260被提供给其他系统和/或车辆操作者。

在另一个示例中，接收来自摄像机和IMU的融合数据的控制器或将来自摄像机和IMU的数据融合的控制器可以利用来自基于图像的分析和基于传感器的分析的单独的运动检测来基于检测到的运动之间的差异确定事件的发生。一种这样的事件是摄像机的位移，例如在车辆运行期间摄像机外壳与诸如树或基础设施的外来对象接触时可能发生的位移。在替代示例中，可以通过类似比较来检测替代事件。

继续参照图1至图5，图6示出了用于确定包括摄像机和IMU的镜更换系统的位移的分析方法500。最初，执行该过程的控制器接收融合数据并在限定的时间段内执行基于传感器的运动分析510和基于图像的运动分析520。基于图像的运动分析520可以利用任何现有的运动检测分析(包括机器学习衍生分析、矢量分析等)来确定图像内的至少一个对象的运动。在一个示例中，至少一个对象在图像的外围被跟踪识别。跟踪图像外围的对象确保了对象速度与IMU感测到的速度之间的差异在发生位移时被最大化。类似地，基于传感器的运动分析510使用来自IMU的传感器信号来检测运动，IMU使用任何常规运动检测配置相对于摄像机轴机械地固定。

在图6的示例过程中，基于传感器的运动分析510和基于图像的运动分析520被配置为检测运动的速度以及其他可能的参数。在替代示例中，除了运动速度外或与运动速度一起，可以检测替代的运动参数并将其用于对应的比较。一旦在基于传感器的运动分析510和基于图像的运动分析520中的每一个中确定了跨时间段的运动，则在比较步骤530中比较确定的运动。

在所示的示例中，所确定的运动包括由IMU测量的运动速度和在摄像机的图像帧的外围检测到的一个或多个对象的运动速度。比较检查以查看由基于图像的运动分析520检测到的运动速度是否比由基于传感器的运动分析510检测到的运动速度超过大于预定量。当差异超过预定量时，控制器在位移检测步骤540中确定已经发生摄像机和IMU的位移。预定量可以被选择为基于图像的检测分析520的预期误差范围，使得从图像中检测到超过预定量的运动表明在图像外围的运动速度超过了IMU感测到的运动速度。这反过来表明摄像机正在被移位。

当基于图像的运动分析520检测到的运动与基于传感器的运动分析510检测到的运动处于大致相同的速度(例如，在上述误差范围内)时，比较530确定在正常操作检测步骤550中发生正常操作。

在过程500的一些迭代中，也可以结合以上关于图4和图5描述的被遮挡的摄像机检测过程。在这样的迭代中，当比较模块530检测到基于图像的运动分析为0并且基于传感器的运动分析大于0(即IMU检测到运动)时，控制器在遮挡摄像机检测步骤560中确定摄像机被遮挡。

虽然上面总体参照整个车辆在运动中的车辆环境进行了描述，但是应当理解，在一些示例中，检测到的运动可以包括由于关门、摄像机和IMU的外壳与外来对象之间的碰撞、怠速发动机的振动或整个车辆的运动之外的任何其他摄像机和IMU移动的来源而引起的摄像机和IMU的移动。可以理解，IMU检测到的移动数据的类型会影响此处生成的融合数据的实际应用。

尽管已经公开了本发明的示例实施方式，但是本领域普通技术人员将认识到某些修改将落入本发明的范围内。为此，应研究所附权利要求来确定本发明的真实范围和内容。

Claims (24)

1.一种用于车辆的测量系统，其包括：

第一摄像机，其限定具有对应的光轴的视野；以及

运动检测传感器，该运动检测传感器机械地固定到所述第一摄像机上，使得该运动检测传感器被配置为检测所述光轴的运动。

2.根据权利要求1所述的测量系统，其中，所述运动检测传感器包括加速度计、陀螺仪和倾角计中的一种。

3.根据权利要求1或2所述的测量系统，其中，所述运动检测传感器机械地连接至所述第一摄像机的专用集成电路(ASIC)，使得ASIC的运动与所述光轴的运动以一对一的方式对应。

4.根据权利要求3所述的测量系统，其中，所述ASIC被配置为输出融合数据集，所述融合数据集包括由所述第一摄像机生成的图像数据和由所述运动检测传感器生成的运动数据的组合。

5.根据权利要求4所述的测量系统，其中，所述融合数据是时间相关数据。

6.根据权利要求4或5所述的测量系统，所述测量系统还包括被配置为接收所述融合数据集的控制器，所述控制器被配置为使用基于机器学习的分析来分析所述融合数据集。

7.根据权利要求6所述的测量系统，其中，所述基于机器学习的分析被配置为确定所述摄像机的取向并且响应于所述第一摄像机面向不正确的方向而向操作者发出警报。

8.根据权利要求3所述的测量系统，其中，所述ASIC连接至控制器，所述控制器被配置为接收运动传感器输出和摄像机输出，并且所述控制器被配置为将所述运动传感器输出和所述摄像机输出融合，由此创建融合数据集。

9.根据权利要求5或8所述的测量系统，其中，所述融合数据集是使用汽车安全集成级别(ASIL)分解融合来创建的。

10.根据权利要求8或9所述的测量系统，其中，所述融合数据集被提供给摄像机取向监控系统、对象检测系统、摄像机未对准系统、视野调整系统、对象检测冗余系统、图像稳定系统、线端校准系统、篡改识别系统和自动摄像机随动拍摄系统、摄像机位移检测系统和遮挡检测系统中的至少一个。

11.根据权利要求10所述的测量系统，其中，所述融合数据集被提供给所述遮挡检测系统，并且所述遮挡检测系统将所述融合数据的基于图像的运动检测和基于传感器的运动检测进行比较以确定所述摄像机何时至少部分被遮挡。

12.根据权利要求10所述的测量系统，其中，所述融合数据集被提供给所述摄像机位移检测系统，并且所述摄像机位移检测系统被配置为将通过图像分析检测到的运动速度与通过传感器分析检测到的运动速度进行比较，并响应于通过图像分析检测到的运动速度比通过传感器分析检测到的运动速度超过预定量，确定已经发生了摄像机位移。

13.根据前述任一项权利要求所述的测量系统，所述测量系统还包括多个第二摄像机和多个运动检测传感器，所述多个第二摄像机中的每一个限定具有对应的光轴的视野，所述多个运动检测传感器中的每一个运动检测传感器通过对应的专用集成电路(ASIC)机械地固定到所述多个第二摄像机中的对应一个第二摄像机上，其中所述多个第二摄像机中的每一个摄像机的运动和所述第一摄像机的运动独立于其他每个摄像机的运动来确定。

14.根据权利要求13所述的测量系统，其中，每个对应的ASIC被配置为输出融合数据集，所述融合数据集包括由对应的摄像机生成的图像数据和由所述运动检测传感器生成的运动数据的组合。

15.一种用于检测车辆的被遮挡的摄像机镜头的方法，其包括：

从摄像机系统接收图像数据和惯性运动单元(IMU)数据；

分析IMU数据以使用基于传感器的运动检测系统检测所述摄像机系统的运动；

使用基于图像的运动检测分析来分析所述图像数据以检测所述摄像机的运动；以及

响应于所述基于图像的运动检测分析指示无运动和所述基于传感器的运动检测指示运动，确定存在至少部分被遮挡的镜头。

16.根据权利要求15所述的方法，其中，所述摄像机系统包括第一摄像机和运动检测传感器，所述第一摄像机限定具有对应的光轴的视野，所述运动检测传感器机械地固定到所述第一摄像机上，使得所述运动检测传感器被配置为检测所述光轴的运动。

17.根据权利要求15或16所述的方法，其中，所述基于图像的运动检测分析包括：

识别所述图像数据的第一帧中的参照物；

识别所述图像数据的第二帧中的所述参照物；以及

响应于帧之间的所述参照物的位置变化超过阈值，确定所述摄像机系统处于运动中。

18.根据权利要求17所述的方法，其中，所述第二帧在所述第一帧之后。

19.根据权利要求15至18中任一项所述的方法，其中，所述图像数据和所述IMU数据是单个融合数据集。

20.根据权利要求15至19中任一项所述的方法，其中，在确定存在至少部分被遮挡的镜头的同时，将所述图像数据和所述IMU数据融合。

21.一种用于检测车辆的移位的摄像机系统的方法，其包括：

从摄像机系统接收融合数据，所述融合数据包括图像部分和惯性运动单元(IMU)部分；

使用基于图像的运动检测系统分析所述图像部分并确定所述图像内的至少一个对象的至少一个运动参数；

使用基于传感器的运动检测系统分析IMU部分并确定IMU的至少一个运动参数；以及

将所述图像中的所述至少一个对象的至少一个运动参数与所述IMU的至少一个运动参数进行比较，并且当所述至少一个对象的至少一个运动参数与所述IMU的运动至少相差预定量时，确定已经发生了摄像机系统位移。

22.根据权利要求21所述的方法，其中，所述至少一个参数是运动速度。

23.根据权利要求21或22所述的方法，其中，所述图像内的所述至少一个对象位于所述图像的外围。

24.根据权利要求21至23中任一项所述的方法，所述方法还包括：响应于所述基于图像的运动检测系统未检测到运动并且所述基于传感器的运动检测系统检测到运动，确定所述摄像机的至少部分遮挡。

Images