CN115810026A - 用于防护缆线跟踪的系统和方法 - Google Patents
用于防护缆线跟踪的系统和方法 Download PDFInfo
- Publication number
- CN115810026A CN115810026A CN202211112261.3A CN202211112261A CN115810026A CN 115810026 A CN115810026 A CN 115810026A CN 202211112261 A CN202211112261 A CN 202211112261A CN 115810026 A CN115810026 A CN 115810026A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- cable
- motion
- event
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 155
- 238000012545 processing Methods 0.000 claims abstract description 85
- 230000009471 action Effects 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 34
- 230000001681 protective effect Effects 0.000 claims description 41
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000011248 coating agent Substances 0.000 claims description 6
- 238000000576 coating method Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 description 59
- 238000012544 monitoring process Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 30
- 238000004458 analytical method Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001012 protector Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本公开提供了系统和方法,用于检测对应于车辆拖车组件、绞盘组件或防护缆线中的至少一者的运动事件。利用一个或多个相机,该系统捕获缆线(例如,防护缆线、绞盘缆线或拖车缆线)的图像。利用处理电路,在捕获图像中识别缆线。在该捕获图像中跟踪该缆线的移动。基于该移动来识别该缆线的运动事件。响应于检测到该运动事件,包括该系统和该缆线的车辆执行动作。
Description
相关申请的交叉引用
本申请要求2021年9月12日提交的美国临时专利申请号63/243,162的权益,该临时专利申请的公开内容据此全文以引用方式并入本文。
引言
本公开涉及储存和连接的物品,并且更具体地涉及确保储存和连接到车辆的物品是安全且牢固的。
发明内容
本文公开了用于监测车辆的货厢(例如,卡车车厢)的系统和方法。在一些实施方案中,在例如车辆处于操作中(例如,车辆由驾驶员或自主控制系统驾驶)或处于静止(例如,当一个或多个车辆系统是活动的并且被配置用于监测模式时)的同时,对与防护缆线相对应的数据进行分析。例如,系统监测防护缆线相对于货厢的位置,以确定缆线是否损坏、松动、移动或以其他方式不适任和/或不能充分固定货厢中的货物,或以其他方式被妨碍。
在一些实施方案中,该系统包括一个或多个相机,该一个或多个相机被配置为捕获车辆货厢和缆线的图像。在一些实施方案中,相机被配置为捕获车辆外部的图像。另外,处理电路被配置为识别捕获图像中的缆线(例如,防护缆线、绞盘缆线或拖车缆线中的一者)的运动事件。在一些实施方案中,该缆线包括反射涂层或反射元件。响应于检测到运动事件,车辆可执行动作(例如,关闭货厢盖)。该系统还包括处理电路,该处理电路被配置为检测防护缆线的位置和运动(例如,相对于固定或锁定的位置)。基于检测当前运动范围并将当前运动范围与缆线的稳定运动范围和不稳定运动范围中的至少一者进行比较,如果缆线从稳定运动范围移动到不稳定运动范围,该系统可向用户报告需要相对于缆线采取动作。
在一些实施方案中,该系统被配置为存储来自多个相机中的至少一个相机的图像或视频中的至少一者以建立第一基于运动的事件,其可对应于固定的或以其他方式稳定的缆线。该系统还检测第二基于运动的事件。例如,当缆线的一个端部从对应于车辆货厢的锚定点松动时,缆线的运动具有与缆线固定到锚定点时不同的图像/视频轮廓。基于检测到第二基于运动的事件,该系统然后执行第一运动事件、稳定运动范围或不稳定运动范围中的至少一者之间的比较。基于该比较,确定缆线状态并将其报告给车辆用户(例如,根据比较的结果,平视显示器或中控台显示器可报告“固定”或“松动”状态,其中“松动”状态可与细节诸如“缆线未固定到两个货厢锚定件中的一个货厢锚定件”配对)。
在一些实施方案中,处理电路被进一步配置为(例如,基于缆线的反射特性)在捕获图像中识别缆线,跟踪缆线在捕获图像之间的移动(例如,比较映射),并基于该移动来识别运动事件(例如,缆线在一个或两个端部上松动或断开)。
在一些实施方案中,该系统检测与保护缆线相关联的第三基于运动的事件。在一些实施方案中,多个相机中的一个相机定位在乘员室的上后部并且具有对车辆的外部储存区域的视野。例如,车辆的外部储存区域可包括卡车车厢。基于检测到第三基于运动的事件,该系统执行缆线位置或运动中的至少一者与第一运动事件、第二运动事件、稳定运动范围或不稳定运动范围中的至少一者的第二比较。第二比较可产生响应动作,诸如例如关闭机动缆线组件。响应动作的其他示例包括:生成一个或多个声音或视频警报,其与响应于检测到第一运动事件或第二运动事件中的至少一者而产生的缆线状态类似、相同或不同(例如,缆线在第一事件期间被固定,在第二事件期间变得松动,并且然后在第三事件期间被重新固定)。
在一些实施方案中,该系统检测碰撞事件。例如,该系统可基于被配置为监测升高的声音的一个或多个声音传感器或被配置为监测速度变化的加速度计传感器来检测碰撞事件。基于检测到碰撞事件,该系统可提示用户相对于缆线采取动作。在一些实施方案中,处理电路基于来自捕获图像的至少一个图像识别车辆上的与碰撞事件相关联的损坏位置。处理电路向用户提供来自与损坏位置相关联的捕获图像的至少一个图像,以便阐明相对于保护缆线的任何状态变化。
在一些实施方案中,系统和方法包括车辆传感器,该车辆传感器被配置为检测与对应于车辆货厢的保护缆线相关联的基于运动的事件。车辆传感器可被配置为捕获以下中的至少一者的图像或视频:缆线的一部分、或车辆货厢的一部分、或缆线或车辆货厢中的任一者或两者的全部。该系统经由车辆传感器自动捕获基于运动的事件的至少一个图像(例如,在新的车辆行程开始时,当缆线相对于起始位置或固定位置中的至少一者移动时,捕获该缆线的图像)。处理电路还在使用户能够进行接收和查看的用户界面呈现:对应于缆线或车辆货厢中的至少一者的状态图标(例如,“货厢:空”、“货厢:已装入负载”、“缆线:已固定”、“缆线:松动”、“缆线:断开”或“防盗警报”)。
在一些实施方案中,该系统确定为车辆启用增强监测模式。基于监测模式被启用,该系统允许一个或多个车辆传感器捕获基于运动的事件。在一些实施方案中,当车辆被锁定时,自动触发监测模式。在其他实施方案中,响应于车辆远离可信位置而启用监测模式。在一些实施方案中,监测模式对应于以下指令:响应于与保护缆线松动或保护缆线断开中的至少一者相对应的确定(例如,自动卡车车厢盖被延伸到对应于车辆货厢的卡车车厢上方并锁定到关闭位置)而关闭车辆货厢盖。
在一些实施方案中,与车辆相关联的基于运动的事件是基于车辆碰撞数据、车辆压力数据或安全气囊部署数据中的至少一者或多者。响应于接收到车辆碰撞数据,保护缆线状态或车辆货厢状态中的至少一者被生成以用于显示并且可包括对保护缆线状态或车辆货厢状态中的至少一者的声音指示。
在一些实施方案中,车辆传感器连接到被配置为操作车辆的车载计算机。在一些具体实施中,车载计算机被配置为将车辆操作为自主车辆。在一些实施方案中,车载计算机可通信地连接到移动设备(经由无线连接)或基于云的服务器中的一者或多者。在一些实施方案中,该系统响应于请求或自动地经由服务器将基于运动的事件的所存储的图像和视频传输到云。在一些实施方案中,车辆可通过对视频执行分析并减掉外来内容来处理视频以减小视频的大小。在一些实施方案中,车辆可向服务器传输较低质量版本,并且可请求对较高质量版本的传输的确认。
在一些实施方案中,处理电路确定碰撞事件。处理电路可响应于捕获到基于运动的事件的至少一个图像而确定碰撞事件。处理电路可基于至少一个图像来识别车辆上的与碰撞事件相关联的损坏的位置。处理电路还可提供对保护缆线状态或车辆货厢状态中的至少一者的音频指示或视频指示中的至少一者。
在一些实施方案中,处理电路基于存储在第一存储位置处的基于运动的事件的至少一个图像来确定对车辆的损坏的程度。当对车辆的损坏的程度超过阈值时,处理电路使基于运动的事件的至少一个图像被存储在远离第一存储位置的第二存储位置处。
在一些实施方案中,处理电路在用户界面上呈现对基于运动的事件的警报。处理电路可接收对查看基于运动的事件的至少一个图像的选择。为了在用户界面上进行呈现,处理电路生成至少一个图像(例如,对应于保护缆线的至少一部分或车辆货厢的至少一部分的图像或视频,以便充分表征保护缆线和车辆货厢中的一者或两者是否处于未固定状态或损坏状态中的任一者)。
在一些实施方案中,处理电路基于基于运动的事件的事件类型将至少一个图像分类为基于事件的类别(例如,基于至少一个类别诸如“车辆货厢损坏”或“保护缆线损坏”来存储图像)。
在一些实施方案中,车辆可包括反射保护件(具有被设计成最大化检测并抑制误警报的反射元件)、相机系统和被配置为执行本文所述的各种方法的监测系统的集成包。
在一些实施方案中,车辆可包括多个相机,该多个相机被配置为捕获车辆的前部或车辆的后部中的两者或任一者处的车辆货厢、保护缆线、拖车组件或绞盘组件中的至少一者的至少一部分的图像。基于对与所列部件中的至少一个部件的运动事件的检测(例如,通过在有或没有车辆传感器数据的情况下处理相机数据),可以感测拖车缆线/绞盘缆线上的对应于被拉向车辆的前部或后部的某物的张力。响应于感测到张力,可基于感测到的松弛来调节绞盘组件或拖车组件中的任一者的扭矩或速度以稳定包括缆线的绞盘组件或拖车组件中的任一者。
附图说明
参考以下附图详细描述了根据一个或多个各种实施方案的本公开。附图仅出于举例说明的目的而提供,并且仅示出典型的或示例性实施方案。提供这些附图以有利于理解本文所公开的概念,并且这些附图不应被认为是对这些概念的广度、范围或适用性的限制。应当指出的是,为了清楚起见和便于说明,这些附图未必按比例绘制。
图1示出了根据本公开的一些实施方案的车辆的系统的部件的框图,该系统被配置为监测车辆的周围区域、车辆货厢和对应于车辆货厢的缆线保护件;
图2示出了根据本公开的一些实施方案的车辆的系统的框图,该系统被配置为监测车辆的周围区域、车辆货厢和对应于车辆货厢的缆线保护件;
图3示出了根据本公开的一些实施方案的被配置有系统的例示性车辆的顶视图,该系统被配置为监测车辆货厢和对应于车辆货厢的缆线;
图4示出了根据本公开的一些实施方案的被配置有多个相机的例示性车辆以及这些相机相对于车辆货厢中的保护缆线的捕获范围的顶视图,该多个相机设置在车辆上;
图5描绘了根据本公开的一些实施方案的以图形用户界面为特征的车辆的例示性示例;
图6描绘了根据本公开的一些实施方案的以系统为特征的车辆的例示性示例,该系统被配置为监测和报告保护缆线状态和车辆货厢状态;
图7示出了根据本公开的一些实施方案的例示性过程的流程图,该例示性过程用于响应于检测到对应于车辆货厢或保护缆线中的至少一者的运动事件而执行动作;
图8示出了根据本公开的一些实施方案的例示性过程的流程图,该例示性过程用于响应于检测到对应于车辆货厢或保护缆线中的至少一者的运动事件而执行动作;
图9示出了根据本公开的一些实施方案的例示性过程的流程图,该例示性过程用于在在监测模式下进行操作的同时优化电源供应;并且
图10示出了根据本公开的一些实施方案的用于在监测模式下操作车辆的例示性过程的流程图。
具体实施方式
本文提供了方法和系统,用于通过以下方法监测车辆(例如,卡车车厢)的货厢:在例如车辆处于操作中(例如,车辆由驾驶员或自主控制系统驾驶)或处于静止(例如,当一个或多个车辆系统是活动的并且被配置用于监测模式时)的同时,对与防护缆线相对应的数据进行分析。
图1示出了根据本公开的一些实施方案的车辆101的系统100的部件的框图,该系统被配置为监测车辆的周围区域。系统100可包括多于或少于参考图1所描绘或描述的元件。另外,系统100还可结合或可被结合到图2至图10中的任一者或全部中。在一些实施方案中,车辆101被配置为捕获图像或视频中的至少一者以用于确定防护缆线状态。车辆101可以是汽车(例如,双门小轿车、轿车、卡车、SUV、运动型多用途车辆、全尺寸厢式货车、小型货车、厢式送货车、公共汽车)、摩托车、飞行器(例如,无人机)、船舶(例如,船)或任何其他类型的车辆。车辆101可包括能够产生动力的任何种类的马达(例如,油门马达、油电混合马达、电动马达、电池驱动的电动马达、氢燃料电池马达)。
车辆101可包括处理电路102,该处理电路可包括处理器104和存储器106。处理器104可包括硬件处理器、软件处理器(例如,使用虚拟机模拟的处理器)或它们的任何组合。在一些实施方案中,处理电路是车载计算机的被配置为操作车辆的一部分。在一些实施方案中,车载计算机可被配置为自主地或半自主地操作车辆。车载计算机可包括与用户设备138和服务器136通信的通信驱动器。在一些实施方案中,处理器104和存储器106组合在一起可称为车辆101的处理电路102。在一些实施方案中,单独的处理器104可称为车辆101的处理电路102。存储器106可包括用于非暂态存储命令或指令的硬件元件,该命令或指令在由处理器104执行时致使处理器104根据上文和下文所描述的实施方案操作车辆101。处理电路102可经由一个或多个线或经由无线连接来通信地连接到车辆101的部件。例如,与运动事件相关的一个或多个捕获图像或捕获视频可(例如,以压缩或完整的格式)自动地上传到服务器136,并且用户设备138可访问和查看一个或多个捕获图像或捕获视频。另选地,可以从车辆101远程访问一个或多个捕获图像或捕获视频(例如,当车辆连接到互联网时或仅当经由WiFi连接或插到充电器中时)。
处理电路102可经由输入电路108通信地连接到输入接口116(例如,方向盘、触摸屏显示器、按钮、旋钮、麦克风、或其他音频捕获设备)。在一些实施方案中,可允许车辆101的驾驶员或乘员中的至少一者结合车辆101的操作选择特定设置。在一些实施方案中,处理电路102可通信地连接到车辆101的GPS系统133或其他定位设备,其中驾驶员可经由输入接口116与GPS系统交互。GPS系统133可与远离车辆101的至少一个(或多个)卫星和/或服务器136通信以确定驾驶员的位置,并且向处理电路102提供导航方向。又如,定位设备可对地面信号(诸如蜂窝电话信号、Wi-Fi信号或超宽带信号)进行操作以确定电动车辆101的位置。所确定的位置可为任何合适的形式,诸如地理坐标、街道地址、附近地标(诸如最近的充电站的识别)或与车辆相关联的标记位置(例如,存储在存储器106中的用户的住宅的位置)。
处理电路102可通过输出电路110可通信地连接到显示器112、灯113、扬声器114和喇叭115。显示器112可位于车辆101的仪表板或者车辆101的挡风玻璃处的平视显示器之上或之内。例如,可生成GPS系统133的界面或信息娱乐系统的界面以用于显示,并且显示器112可包括LCD显示器、OLED显示器、LED显示器或任何其他类型的显示器。灯113可位于以下中的一者或多者上:车辆101的座舱内的任意位置(例如,车辆101的仪表板处)、车辆的外部、车门的内部部分、外部闪光灯、外部前照灯、或外部转向灯。在一些实施方案中,灯可以是LED灯,并且可以基于对运动事件的检测而增加亮度。
处理电路102可通信地连接(例如,通过传感器接口117)到传感器(例如,前传感器124、后传感器126、卡车车厢传感器127、左侧传感器128、右侧传感器130、缆线传感器137、取向传感器118、速度传感器120)。取向传感器118可以是倾斜计、加速度计、倾斜仪、任何其他俯仰传感器或它们的任何组合,并且可被配置为向处理电路102提供车辆取向值(例如,车辆的俯仰或车辆的倾侧)。速度传感器120可以是速度计、GPS传感器等中的一者或它们的任何组合,并且可被配置为向处理电路102提供车辆的当前速度的读数。前传感器124、后传感器126、卡车车厢传感器127、左侧传感器128、右侧传感器130或缆线传感器137中的至少一者可定位在车辆101的各种位置处,并且可包括各种传感器类型(例如,图像传感器、超声传感器、雷达传感器、LED传感器、LIDAR传感器(其被配置为:输出光或无线电波信号;以及测量要检测到返回信号的时间或返回的信号的强度中的至少一者,从而对由图像传感器捕获的车辆101的周围环境的图像执行图像处理)中的一者或多者)中的一种或多种。在一些实施方案中,处理电路102可以例如基于由取向传感器118生成的传感器数据来考虑车辆101的加速/减速,这可能触发超过事件监测阈值的运动事件。
处理电路102还可(例如,通过传感器接口117)通信地连接到碰撞传感器140(例如,安全气囊传感器142、保险杠144、侧面146、顶部148)。碰撞传感器140可包括安全气囊系统,例如,车窗区域传感器、安全气囊系统和碰撞传感器。安全气囊系统包括多个安全气囊传感器142,该多个安全气囊传感器被布置成靠近车辆的一个或多个车窗区域或其他区域并且被配置为响应于安全气囊的部署而向处理电路发射信号。车辆碰撞传感器140通常包括陀螺仪、加速度计或两者。例如,车辆碰撞传感器140可包括MEMS加速度计,该MEMS加速度计能够检测车辆在撞击期间的减速和车辆的位置。车辆碰撞传感器140可布置在车辆中的各个位置处。例如,车辆碰撞传感器140可被配置为检测车辆101的前部、车辆的侧面146、车辆的后部144、车辆的顶部148或它们的组合处(例如,车辆101的角部处)的撞击、运动和减速。在一些实施方案中,车辆碰撞传感器140包括多于一个传感器,其各自具有用于为车辆101检测碰撞场景的类似的电路和能力。在一些实施方案中,车辆碰撞传感器140包括多于一个传感器,其各自具有例如被设计用于车辆的特定位置的不同能力。在一些实施方案中,传感器被配置为捕获视频。在一些实施方案中,可基于在车辆上的特定位置处发生的损坏来确定损坏程度。例如,车辆可能被牵涉进小型追尾事故,并且用于保险杠的位置传感器可基于来自传感器的信号来指示损坏程度为低。在一些实施方案中,车辆碰撞传感器140包括被配置为检测是否有人坐在特定座椅中的座椅传感器。
车辆碰撞传感器140可与处理电路102通信。在一些实施方案中,处理电路102被配置为分析来自车辆碰撞传感器140的数据并发送一个或多个信号以激活安全气囊系统的一个或多个安全气囊142。基于来自车辆碰撞传感器140的信息,处理电路102可确定撞击类型(例如,侧面、前部、后部、角部或侧翻碰撞或泡水事件)和车辆占用(例如,驾驶员和乘员,如果有的话)并针对该撞击类型启动安全气囊系统的合适安全气囊的部署。基于来自车辆碰撞传感器140的信息,处理电路102可确定哪个相机捕获了撞击、车辆车厢事件或保护缆线事件中的至少一者的图像或视频中的至少一者,以简化处理。所捕获的一个图像、多个图像或视频可对应于防护缆线、包括防护缆线的区域或基于防护缆线的布置固定的货物中的至少一者。响应于碰撞,对与防护缆线和货物相关的问题进行分析以报告与防护缆线和货物中的任一者或两者有关的状态。
响应于损坏程度超过损坏阈值(例如,部署了多个安全气囊,保险杠压力超过如由传感器确定的极限),该系统可处理对应于车辆货厢状态和缆线状态的图像、视频或其他传感器数据中的至少一者。例如,车辆货厢状态可以是“货厢:开启”、“货厢:关闭”、“货厢:已损坏”、“货厢:空”和“货厢:已装入负载”中的至少一者。又如,缆线状态可以是“缆线:已固定”、“缆线:松动”和“缆线:割伤”和“缆线:锚损坏”中的至少一者。在一些实施方案中,可相对于货物报告状态,装入“货物:发生位移”、“货物:已损坏”或“货物:缺失”。在一些实施方案中,事故的严重程度可触发附加或其他的活动(例如,紧急响应、事故清理、拖车、替代运输)中的至少一个活动。
在一些实施方案中,处理电路102通过被配置为监测速度的变化的加速度计传感器来确定碰撞事件。例如,如果车辆的速度发生变化,则处理电路102可执行车辆碰撞传感器检查,以确保车辆的外部上的所有传感器都可响应。响应于传感器未响应,处理电路102可确定碰撞已发生并且处于报告状态的过程。
处理电路102还可通信地连接到缆线组件150或用于将货物固定在外部储存隔室中或固定到该外部存储隔室的另一装置。缆线组件150可包括马达152、一个或多个传感器154和卷轴156。马达152可包括例如DC马达(例如,永磁马达、有刷马达或无刷马达、绕线定子)、AC马达(例如,感应马达)、具有任何合适数量的极和相的任何其他合适的马达或它们的任何组合。例如,马达152可包括被配置为在12VDC下操作的永磁DC马达。离合器被配置为将马达152与卷轴156联接和断开联接。例如,在一些实施方案中,离合器由处理电路102控制,该处理电路可以提供用于接合或脱离离合器的控制信号。在例示性示例中,离合器可以脱离接合以允许缆线组件的自由卷绕。卷轴156任选地经由齿轮组联接到马达152以提供齿轮减速,并且与马达152的马达轴一起旋转。缆线缠绕在卷轴156上,并且用于将缆线组件从打开位置拉到或牵引到关闭位置。传感器154可包括电压传感器、电流传感器、温度传感器、阻抗传感器、位置传感器(例如,用于确定卷轴位置的编码器)、扭矩传感器、任何其他合适的传感器或它们的任何组合。虽然用于缆线组件150的电力和控件联接到车辆101,但是缆线组件150可集成到车辆储存隔室的主体或框架中的至少一者中,或者可以单独地固定到车辆上。在一些实施方案中,缆线组件150可包括电力电子器件(例如,马达驱动器),并且因此可以联接到电池系统132并被配置为从处理电路接收控制信号(例如,模拟信号、PWM信号、数字信号、消息)。
处理电路102可以通信地连接到电池系统132,该电池系统可被配置为在操作期间向车辆101的部件中的一个或多个部件提供电力。在一些实施方案中,车辆101可以是电动车辆或混合动力电动车辆。在一些实施方案中,处理电路102可通过利用多个电池单元来监测车辆周围的环境,该多个电池单被包装在一起形成一个或多个电池模块或组件以存储能量并根据请求释放能量。
应当理解,图1仅示出了车辆101的部件中的一些部件,并且应当理解,车辆101还包括在对应于车辆(诸如基本上由电子动力总成驱动的车辆)的任何组件中常见的其他元件,例如,马达、制动器、车轮、车轮控件、转向灯、车窗、车门等。
图2示出了根据本公开的一些实施方案的车辆200的系统200的框图,该系统被配置为监测车辆货厢和保护缆线或其他周围对象。系统200可包括多于或少于参考图2所描绘或描述的元件。另外,系统可结合或可被结合到图1和图3至图10中的任一者或全部中。系统200可包括多个相机204、206、208和运动事件检测网络210以及状态监测模块218。在一些实施方案中,系统200的一个或多个部件(例如,运动事件检测网络210和状态检测模块218)可由处理电路102或服务器136的处理电路中的至少一者实现。相机204、206、208中的一个或多个相机可各自对应于传感器124、126、127、128、130和137中的一个传感器。
相机204、206、208可以安装在车辆101的任何合适的内部或外部部分上。在一些实施方案中,相机204、206、208中的一个或多个相机可以对应于单目鱼眼相机,该单目鱼眼相机被配置为覆盖车辆101周围的宽视野。虽然图2描绘了三个相机,但是应当理解,可以采用任何合适数量的相机(例如,小于三个相机或多于三个相机,例如分别定位在车辆101的前部、后部和每一侧处的四个相机)。在一些实施方案中,五个相机可分别定位在车辆101的前部、后部和每个侧面处以及面向卡车车厢。此类相机可以安装在车辆101的任何合适的相应位置处,以便于在车辆101处于静止或运动的同时,捕获车辆101周围的运动事件202的整个区域或环境的图像。运动事件202可对应于车辆货厢被打开、车辆货厢被装入负载或车辆货厢被关闭中的至少一者,以及保护缆线被固定、保护缆线未被固定、保护缆线断开、保护缆线发生移动、保护缆线松开或保护缆线损坏中的至少一者(例如,如至少部分地由可对应于缆线锚定件的缆线传感器所报告)。可基于缆线、由缆线固定的货物或车辆货厢中的至少一者的捕获图像来表征运动事件202。可以由相机204、206、208捕获一系列图像,包括任何合适数量的图像,这些相机提供缆线的图像,该缆线包括位于其上的用于储存、比较、分析和状态报告的反射材料。在一些实施方案中,可重复地捕获图像(例如,以预先确定的频率,以随时间推移而捕获车辆101的周围环境)。
由相机204、206、208捕获的一个或多个图像或帧可输入到运动事件检测网络210(例如包括帧队列212和神经网络214)。运动事件检测网络210可被配置为使用任何合适的图像识别技术来识别由相机204、206、208捕获的图像中的一个或多个候选对象(例如,缆线的表面、缆线的端部、或缆线的包括反射材料的其他特征)。在一些实施方案中,处理电路102可以操纵一系列捕获图像中的任一捕获图像,使得候选对象跨所有相机图像位于类似位置处。运动事件检测网络210可被配置为输出针对一个或多个候选对象的一个或多个2D运动事件分析216。例如,运动事件检测网络210可被配置为绘制定位在车辆101的前方、后方或侧方的候选对象(例如,车辆、人、动物、防护缆线或其他障碍物)周围的2D边界形状(例如,边界框、边界多边形、边界三角形、边界椭圆形、或边界圆等)。帧队列212可存储由相机204、206、208捕获的车辆101的周围环境的多个图像,并且此类图像可以以例如先进先出方式来输入到神经网络214。神经网络214可以是例如卷积神经网络(CNN)或任何其他合适的机器学习模型,其被训练为接受车辆101的周围环境的图像作为输入并输出针对一个或多个候选对象的相应运动事件分析216。可以基于对象检测表示来估计与车辆101的对象接近度。在一些实施方案中,当相机204、206、208中的一个或多个相机对应于基于其广角透镜产生相对大的畸变的鱼眼相机时,可以使用具有与由鱼眼相机透镜产生的畸变类似的畸变的图像来训练神经网络214。
在一些实施方案中,可以训练神经网络214以学习与某些类别的对象(例如,人、汽车、公共汽车、摩托车、火车、自行车、防护缆线或背景)相关联的图案和特征。在一些实施方案中,可以训练此类机器学习模型以学习与类别(例如,汽车)的子类(例如,小轿车、小型货车、卡车)相关联的图案和特征。可以由神经网络214执行分类,该神经网络包括一个或多个机器学习模型,诸如被训练以接收车辆周围的对象的输入图像(例如,其中该图像可以用与对象、车辆到对象注释的距离或对象注释的类别中的至少一者有关的任何合适的边界形状进行注释)并输出这些车辆对应于特定车辆类别的可能性的CNN。此类CNN可以在包含手动标记有其特定车辆类型的车辆的图像的训练数据集上进行训练。在一些实施方案中,可以经由训练模型或评估模型中的至少一者采用以下类别的任何组合(例如,背景、飞机、自行车、鸟、小船、瓶子、公共汽车、汽车、猫、椅子、牛、餐桌、狗、马、轻型摩托车、摩托车、人、盆栽植物、绵羊、沙发、火车、TV监视器、卡车、停车标志、交通灯、交通标志、马达)。在一些实施方案中,可以连同对所识别对象所属的类别的预测输出置信度分数(例如,对象是人类的86%置信度)。
在一些实施方案中,任何合适的批次大小(例如,32、64或用于训练模型的任何合适的批次大小)都可用于训练模型,并且用于难负样本挖掘的neg_pos_ratio可以是任何合适的值(例如,3、5或任何合适的数值)。在一些实施方案中,可以将任何合适的权重应用于对象的类别(例如,以考虑熵损失)。例如,自行车、公共汽车、汽车、摩托车、人和火车的类别可以被分配以下相应权重:1.25、0.9、0.9、0.9、0.91.25、0.9。在一些实施方案中,考虑特定对象(例如,人)的边界形状的特性,可以更新相对于基线的先验框。
状态检测模块218可被配置为输出对与车辆货厢(例如,卡车车厢)或包括防护缆线的车辆101中的至少一者相对应的缆线问题(与运动事件分析216相关联)的确定220。状态检测模块218可包括异常值剔除模型和对象到车辆距离估计模型。在一些实施方案中,状态检测模块218的一个或多个部件(例如,异常值剔除模型和对象到车辆距离估计模型)可由处理电路102或服务器136的处理电路中的至少一者实现。
状态检测模块218可从运动事件检测网络210接收一个或多个运动事件分析216,并在102处执行预处理,例如以便:从运动事件分析216中的至少一个运动事件分析提取合适的特征;将运动事件分析216转换为向量或矩阵表示;或者将运动事件分析216的格式化与模板数据的格式化、归一化、大小重新设定或最小化匹配。在一些实施方案中,处理电路可执行以下图像处理技术中的一个或多个图像处理技术:使图像或其部分变亮、使图像或其部分变暗、对图像进行颜色偏移(例如,在颜色方案中,从彩色到灰度或其他映射)、裁剪图像、缩放图像、调节图像的纵横比、调节图像的对比度、执行任何其他合适的处理来准备图像、或它们的任何组合。候选对象的任何合适数量的特征(例如,与对象相关联的x坐标、y坐标、高度或宽度)可输入到状态检测模块218。
对与车辆101的部件相对应的缆线问题(与运动事件分析216相关联)的确定220可确定是否存在对车辆货厢/车厢或防护缆线中的至少一者的移动或损坏。例如,防护缆线可能被断开或妨碍,并且确定220导致生成关闭车辆货厢门或车辆货厢盖中的至少一者的指令。
在一些实施方案中,运动事件分析216使用比较映射对捕获图像进行操作。例如,可基于缆线反射率在图像中识别缆线,并且图像之间缆线位置的差异可用于确定缆线的移动。状态检测218可被配置为确定缆线的移动量(例如,变化率或绝对移动)并确定其是否在可接受范围内。如果移动量大于阈值,则确定运动事件。当车辆正在移动时,运动事件可指示防护缆线松动或未固定。当车辆处于静止时,运动事件可指示缆线或与缆线相关联的货物被妨碍。
图3示出了根据本公开的一些实施方案的例示性车辆302的顶视图300,该例示性车辆被配置有用于检测对应于车辆货厢或与车辆货厢相对应的防护缆线中的至少一者的问题的受监测区域。顶视图300可包括多于或少于参考图3所描绘或描述的元件。另外,顶视图300可结合或可被结合到图1、图2和图4至图10中的任一者或全部中。
顶视图300包括对车辆302的描绘以及设置在车辆周围的相机的位置。车辆302可包括多个相机304、306、308、310和312,以及多个事件检测阈值320、322、324和326(例如,对应于传感器、视频或图像分析的值,以确定对应于车辆货厢328和安装在车辆货厢328中的保护缆线中的至少一者的运动事件),以及接近感测模块,未示出。在一些实施方案中,系统200的一个或多个部件(例如,运动事件检测网络210和状态检测模块218)可由处理电路102(或服务器136的处理电路)实现。相机304、306、308、310和312中的一个或多个相机可各自对应于传感器124、126、127、128、130和137中的一个传感器。相机304定位在车辆的第一侧上,相机306定位在车辆的前侧上,相机308定位在车辆的第二侧上,相机312定位在车辆的后侧上,并且相机310定位在乘员室的上后部且具有对车辆的外部储存区域的视野。在一些实施方案中,可使用任何合适数量的相机,并且可使用相机的多种不同的位置(例如,示出在各种不同环境中彼此相距不同距离的多种不同角度)。
相机304、306、308、310和312的使用可用于形成事件检测阈值320、322、324和326。例如,通过使相机捕获围绕车辆的图像,表现出超过运动事件阈值的基于运动的特性的对象可触发事件检测动作。例如,多个事件检测阈值320、322、324、326中的第一事件检测阈值324可跨越距车辆的任何合适的距离,并且每个后续事件检测阈值可以更靠近车辆302。例如,第一事件检测阈值324可结合与在整个车辆周围环境的第一接近度内发生的运动事件相对应的传感器数据、视频数据或相机数据中的至少一者,而第二事件检测阈值322可结合与在整个车辆周围环境的第二接近度内发生的运动事件相对应的传感器数据、视频数据或相机数据中的至少一者。第三事件检测阈值320可结合与在整个车辆周围环境的第三接近度内发生的运动事件相对应的传感器数据、视频数据或相机数据中的至少一者,而第四事件检测阈值326可结合与在车辆货厢328内发生的运动事件相对应的传感器数据、视频数据或相机数据中的至少一者或仅一者,其用固定到包括两个侧壁的车辆货厢的保护缆线示出。所提出的事件检测阈值是例示性的,并且不应受限于车辆的数量和与车辆的距离。在一些实施方案中,可将任何两个事件检测阈值用作事件检测系统的一部分。在一些实施方案中,捕获图像可包括任何合适大小的鱼眼图像(例如,1376×976鱼眼图像)。
在一些实施方案中,车辆302包括拖车组件328或绞盘组件330中的至少一者。例如,拖车组件328和绞盘组件330中的任一者或每一者包括可以被监测的部件,如保护缆线(例如,可以针对位置和运动特性通过传感器数据分析、视频数据分析和或图像数据分析进行分析的反射材料)。
图4示出了根据本公开的一些实施方案的被配置有多个相机的例示性车辆以及这些相机相的捕获范围的顶视图400,该多个相机设置在车辆上。顶视图400可包括多于或少于参考图4所描绘或描述的元件。另外,顶视图400可结合或可被结合到图1至图3和图5至图10中的任一者或全部中。
顶视图400包括对车辆402的描绘以及设置在车辆周围的相机的位置。车辆402可包括多个相机404、406、408、410和412以及针对每个相机404、406、408、410和412的相应图像范围414、416、418、420和422。在一些实施方案中,系统200的一个或多个部件(例如,运动事件检测网络210和状态检测模块218)可由处理电路102或服务器136的处理电路中的至少一者实现。相机404、406、408、410和412中的一个或多个相机可对应于图1的传感器124、126、127、128、130和137以及图3的相机304、306、308、310和312中的至少一者。相机404、406、408、410和412中的一个或多个相机可类似地定位,如上文在图3中所述。在一些实施方案中,可使用任何合适数量的相机,并且可使用相机的多种不同的位置(例如,示出在各种不同环境中彼此相距不同距离的多种不同角度)。
相机404、406、408、410和412及其相应捕获图像的使用可用于对车辆货厢状态或保护缆线状态中的至少一者进行确定或报告中的至少一者。例如,通过使相机捕获围绕车辆的图像,在图像范围内出现的对象可触发捕获图像。在一些实施方案中,捕获图像包括捕获视频和音频。例如,第一图像范围414对应于由相机404捕获的图像,第二图像范围416对应于由相机406捕获的图像(例如,对应于前绞盘组件),第三图像范围418对应于由相机408捕获的图像,第四图像范围420对应于由相机410捕获的图像(例如,车辆货厢428、固定到车辆货厢428的保护缆线或拖车组件中的至少一者),并且第五图像范围422对应于由相机412捕获的图像(例如,对应于拖车组件)。响应于由相机404、406、408、410和412检测到的一个或多个基于运动的事件或者在相机304、306、308、310和312或任何其他传感器(例如,超声传感器、雷达)在事件检测阈值320、322、324、326中的任一个事件检测阈值内检测到对象的情况下,可对捕获图像进行捕获。
在一些实施方案中,车辆402包括拖车组件或前绞盘组件中的至少一者。例如,拖车组件和前绞盘组件中的任一者或每一者包括可以被监测的部件,如保护缆线(例如,可以针对位置和运动特性通过传感器数据分析、视频数据分析和或图像数据分析进行分析的反射材料)。
图5描绘了根据本公开的一些实施方案的以图形用户界面502为特征的车辆500的例示性示例。车辆500可包括多于或少于参考图5所描绘或描述的元件。另外,车辆500可结合或可被结合到图1至图4和图6至图10中的任一者或全部中。在一些实施方案中,图形用户界面502可指结合到车辆(诸如图5中的车辆500)中、耦接到该车辆或可由该车辆访问的部件。
车辆500配备有图形用户界面502,该图形用户界面可用于启用/禁用车辆系统,该车辆系统包括启用和禁用监测模式、车辆事件检测模式或任何其他模式或不启用和禁用任何模式的选项。例如,车辆500中的用户可使用图形用户界面502来访问车辆500上的选项。在一些实施方案中,图形用户界面502可结合到车辆500或用户装备中,该用户装备用于在使用车辆500时访问此类车辆系统。在一些实施方案中,图形用户界面502上显示的车辆系统可与车辆500的用户输入(例如,用于提供语音命令的麦克风和扬声器)通信地连接。例如,用户可提供激活车辆偏航模式的语音命令,并且结合到车辆500中的音频系统可转换此种命令以进入车辆监测模式。
图6示出了监测系统600的后视图。监测系统600包括车辆602、车辆相机604、保护缆线606、车辆传感器608和拖车组件610。监测系统600可包括多于或少于参考图6所描绘或描述的元件。另外,监测系统600可结合或可被结合到图1至图5和图7至图10中的任一者或全部中。
在对应于车辆602的后车辆货厢(例如,卡车车厢)内布置有货物612。货物612通过保护缆线606至少部分地固定到车辆602的货厢。未固定的保护缆线614对应于保护缆线606失去至少一个连接的示例性情形。可通过相机604和车辆传感器608(例如,来自图1、图3和图4的任何或所有传感器)中的任一者或全部来检测未固定的保护缆线。当保护缆线606改变为未固定的保护缆线614时,基于相机数据或传感器数据(其可触发待呈现给车辆602的驾驶员的通知)中的至少一者检测运动事件(例如,如图1至图5中所描绘的以及本文描述的任何或所有示例所举例说明)。在一些实施方案中,相机定位在车辆的乘员室的上后部并且具有对车辆的车厢储存区域的视野。响应于由车辆检测到所描绘的运动事件而执行的动作包括生成针对用户的通知或执行安全响应(例如,关闭货物/储存区域盖)。在图6中未描绘的一些实施方案中,缆线是联接到车辆的拖车缆线。车辆的处理电路被配置为通过识别拖车缆线的松弛来识别运动事件。由车辆执行的动作包括调节车辆的速度以便减少拖车缆线的松弛。
图7示出了根据本公开的一些实施方案的用于执行响应的过程700的流程图。过程700可包括多于或少于参考图7所描绘或描述的元件。另外,过程700可结合或可被结合到图1至图6和图8至图10中的任一者或全部中。例如,过程700可至少部分地由处理电路102或服务器136的处理电路中一者或多者执行。
在702处,处理电路102可捕获保护缆线的至少一部分、或车辆货厢的至少一部分、或保护缆线或车辆货厢中的至少一者的多于一部分中的一者或多者的图像(例如,由相机204、206、208捕获,这些相机可以是广角鱼眼相机作为监测车辆的一部分以确定车辆货厢状态、拖车组件状态、绞盘组件状态或保护缆线状态中的至少一者)。在一些实施方案中,处理电路102捕获车辆是处于运动还是静止的图像。在一些实施方案中,捕获图像可响应于用户启用监测车辆的周围区域和各种车辆部件的监测模式,以检测与车辆货厢、保护缆线、拖车组件或绞盘组件中的至少一者的至少一部分相对应的超过事件阈值(例如,部件的振荡、部件的移动量、部件的移动速率、部件的加速度率、部件产生的声音的频率)的运动事件。在一些实施方案中,处理电路可采用神经网络214来提供附加到其上或以其他方式输入到信息元数据的注释,其中注释指示特定类别(例如,防护缆线、人、汽车、公共汽车、摩托车、火车或自行车)或车辆到对象距离注释中的至少一者。在一些实施方案中,也可捕获车辆拖车组件或绞盘组件中的至少一者的图像或视频中的至少一者。
在704处,处理电路102可检测围绕车辆101周围的环境的第一基于运动的事件(例如,如由相机204、206、208捕获,这些相机可以是可检测第一事件检测阈值324内的运动的广角鱼眼相机)。在一些实施方案中,车辆可处于睡眠模式,其中仅超声传感器监测车辆货厢、保护缆线、拖车组件或绞盘组件101中的至少一者的至少一部分,并且响应于检测到第一基于运动的事件,系统可以唤醒车辆并启动针对运动事件、碰撞或撞击中的至少一者的基于相机的监测。可以以任何合适的捕获速率捕获任何合适数量的图像。在一些实施方案中,系统可通过对运动事件在第一事件检测阈值内的时间长度应用时间限制来识别误检。例如,在车辆前方行走的人在帧内的时间小于几秒,则其可能不是运动事件。
可基于多种情况和场景来检测第一基于运动的事件。基于运动的事件的第一示例是:车辆被停放并且来自环境的输入(例如,人、另一车辆或另一对象)与车辆、防护缆线、由防护缆线固定的货物或其中货物经由防护缆线固定的车辆货厢中的至少一者发生撞击或相互作用。基于运动的事件的第二示例是:车辆处于运动并且发生环境事件,导致车辆的旋转加速、侧向加速或其他加速中的至少一者的快速变化,该快速变化导致防护缆线、由防护缆线固定的货物或货物固定在其中的车辆货厢中的至少一者的位置的偏移。第二示例对应于:车辆的驾驶员看到接近的对象并且必须执行轨迹的快速变化(例如,急转弯)或者在车辆移动的同时接近的对象撞击车辆。在第一示例或第二示例中的任一者中,一旦发生基于运动的事件,就存在防护缆线或货物发生偏移或状态变化的风险(这可能需要车辆驾驶员的关注),从而触发状态的呈现以告知驾驶员是否应相对于车辆货厢、车辆货厢中的货物或防护缆线采取动作。
如果处理电路检测到第一基于运动的事件(在步骤704处为“是”),则处理电路前进至步骤706。否则,如果检测到的至少一个图像或视频未识别第一基于运动的事件,则检测错误地识别至少一个对象或者图像或视频中的至少一个对象超出距车辆101的感兴趣范围(例如,10英尺),可以丢弃图像或视频中的至少一者,并且过程返回到步骤702。在一些实施方案中,处理电路存储图像并且如果未被访问和保存,则允许它们被覆盖。
在706处,处理电路102可存储来自车辆101周围的环境的第一基于运动的事件的图像,例如由一个或多个相机204、206、208捕获,这些相机可以是广角鱼眼相机或鱼眼相机和标准相机的组合。在一些实施方案中,可以使用神经网络214的训练数据或其一部分(例如,指示对象与受试车辆之间的距离的注释)来确定对象到车辆距离。在一些实施方案中,可基于利用超时传感器或其中对象距车辆10英尺以内的训练图像(例如,手动标记以指示从对象到车辆的距离)中的至少一者的使用来训练对象到车辆距离估计。
在708处,相机204、206、208可检测围绕车辆101周围的环境的第二基于运动的事件,例如,由相机204、206、208捕获,这些相机可以是第二事件检测阈值322内的广角鱼眼相机。第二基于运动的事件可响应于第一基于运动的事件,或者可以是其中在第二事件检测阈值内检测到对象的独立事件。在这种情况下,检测第二事件检测阈值内的对象还满足检测第一事件检测阈值内的对象。可以以任何合适的捕获速率捕获任何合适数量的图像。如果处理电路检测到第二基于运动的事件(在步骤708处为“是”),则处理电路前进至步骤710。否则,如果检测到的至少一个图像或视频未识别第二基于运动的事件,则检测错误地识别至少一个对象或者该检测到的至少一个对象超出距车辆101的感兴趣范围(例如,8英尺),可以丢弃图像或视频中的至少一者,并且过程返回到步骤702。
在710处,处理电路102可执行第一响应动作。例如,处理电路102可使用一个或多个声音警报、视觉警报,关闭车窗,锁定车门,或盖住车辆货厢。系统可以执行第一响应动作以防止运动事件导致货厢中的货物丢失或损坏。
在712处,处理电路102可检测围绕车辆101周围的环境的第三基于运动的事件,例如,由相机204、206、208捕获,这些相机可以是第三事件检测阈值320内的广角鱼眼相机。如果处理电路检测到第三基于运动的事件(在步骤708处为“是”),则处理电路前进至步骤714。否则,如果检测到的至少一个图像或至少一个视频未识别第三基于运动的事件,则检测错误地识别至少一个对象或者该检测到的至少一个对象超出距车辆101的感兴趣范围(例如,4英尺),可以丢弃至少一个图像或视频中的至少一者,并且过程返回到步骤702。第二响应动作可以是视觉警报、声音警报、关闭车窗、锁定车门或关闭车辆车厢中的一项或多项。在一些实施方案中,第二响应动作可关闭车辆货厢上的机动缆线组件。在一些实施方案中,关闭的机动缆线组件在卡车车厢上方。在一些实施方案中,卡车车厢包括多个阈值触发器,其各自对应于基于运动事件与卡车车厢的接近度的事件检测阈值。例如,针对接近车辆的周边的对象的第一事件检测阈值可以使警报器闪烁或者使喇叭发出声音,并且针对对象/运动事件访问储存区域(例如,检测到手臂伸入卡车车厢)的另一事件检测阈值可能导致机动缆线组件关闭。在这种情况下,机动缆线组件可以随着警报器对运动事件报警而开始关闭。在一些实施方案中,关闭机动缆线组件可以响应于对象或运动事件接近第一事件检测阈值而开始。
在一些实施方案中,基于状态检测模块218的输出,处理电路102可以确定运动事件分析216是否是异常值。例如,处理电路102可以确定对象是否位于至少一个图像或视频的一部分(例如,天空)处,在该位置处,特定类别的对象(例如,人)被确定为以下情形中的至少一种:不太可能被检测到;或者超出距车辆101的感兴趣范围(例如,10英尺)。如果输出指示运动事件分析216是错误识别的对象或超出距车辆101的感兴趣范围(例如,10英尺)中至少一种情形,则可以丢弃至少一个视频或图像中的至少一者。
图8示出了根据本公开的一些实施方案的用于执行响应的过程800的流程图。过程800可包括多于或少于参考图8所描绘或描述的元件。另外,过程800可结合或可被结合到图1至图7、图9和图10中的任一者或全部中。例如,过程800可至少部分地由处理电路102或服务器136的处理电路中一者或多者执行。
在802处,捕获保护缆线的至少一部分、或车辆货厢的至少一部分、或两者的图像。如果在804处,在图像中未识别缆线(804处的否),则过程800返回到过程框802。如果在804处,在捕获图像中识别缆线(804处的是),则过程800前进到过程框806。例如,可以基于对反射涂层、条带、图案、油漆或能够在捕获图像中识别的其他反射材料的检测来识别缆线。在806处,跟踪缆线在捕获图像中的移动。例如,针对标识(例如,反射材料)分析图像,该标识可用于表征与预期运动相比图像中的缆线运动的各方面。对应于车辆的被配置为执行本公开的过程的神经网络可被配置为基于对缆线的检测并基于对运动事件的识别来存储图像和丢弃图像。在一些实施方案中,神经网络可基于已知或过去所识别的运动事件的预期缆线行为来丢弃图像。可以使用收集的新数据迭代地更新每个图像站,以改善由系统生成的警告和通知。如果在808处,未识别基于运动的事件(808处的否),则过程800返回到过程框802。如果在808处,识别基于运动的事件(808处的是),则使车辆在810处执行动作。例如,基于运动的事件可以涉及防护缆线、由缆线固定的货物或货物固定在其中的车辆货厢中的至少一者。这些元件中的任一元件或全部元件都可能移动或被损坏。在810处执行的动作可包括生成针对所列元件中的任一元件或所有元件的状态通知或执行固定移动,诸如关闭或锁定车辆货厢(例如,关闭车厢盖布以防止丢失货物)或者基于损坏使车辆减速。
图9示出了根据本公开的一些实施方案的过程900的流程图,该过程用于在在监测模式下进行操作的同时优化电源供应。过程900可包括多于或少于参考图9所描绘或描述的元件。另外,过程900可结合或可被结合到图1至图8和图10中的任一者或全部中。处理电路102可监测车辆功率状态以监测环境和车辆101的车辆货厢。例如,当电池电量低时,系统可被解除运行以避免耗尽电池电力。
在904处,系统于车辆睡眠模式开始。例如,当没有运动事件并且不存在即将发生的碰撞时。在该模式中,车辆保留电池电力。在902处,响应于运动事件接近车辆或识别即将发生的碰撞,系统切换到车辆待机模式。在待机模式中,车辆可以发出事件检测,例如,上文更详细讨论的第一响应动作和第二响应动作。监测模式在906处在解除运行模式下开始,并且响应于请求或自动地基于锁定车辆,车辆监测模式进入运行到步骤908。在908中,进入监测模式并监测周围环境。当在第一事件检测阈值324(例如,大半径)内检测到物体的存在(如运动事件)时,接着在910处,系统开始记录车辆周围环境以及车辆货厢、保护缆线、拖车组件或绞盘组件中的至少一者的至少一部分。如果对象的存在停止,则监测模式恢复以监测车辆的周围环境以及车辆货厢、保护缆线、拖车组件或绞盘组件中的至少一者的至少一部分。继续到912,当在第二事件检测阈值322(例如,小半径,诸如四英尺)内检测到运动事件的存在时,然后在912处,系统开始记录车辆的周围环境并播放声音警报和视觉警报,如先前所论述。在运动事件的存在超出第一阈值的情况下,系统返回到先前的步骤。在先前步骤中的每个先前步骤中,随着车辆从解除运行状态移位到进入运行状态时,车辆增大电力使用,并且当在电池节省模式下操作时,车辆保持在较高功率模式下的时长减小。
图10示出了根据本公开的一些实施方案的用于在监测模式下操作车辆的过程1000的流程图。过程1000可包括多于或少于参考图10所描绘或描述的元件。另外,车架100还可结合或可被结合到图1至图9中的任一者或全部中。
经由图10描绘的系统包括监测模式的四个状态:预处理状态1002、禁用状态1004、启用状态1006和进入运行状态1008。在预处理状态1002中,车辆操作员可设置确定基于运动的事件和基于运动事件执行响应动作的条件。此外,车辆可包括用于捕获视频内容的存储设备。在禁用状态1004中,车辆操作员已经预编程了监测模式,但选择性地禁用监测模式或缺失至少一个标准(例如,缺失存储设备)。在启用状态1006中,在监视模式下启用车辆并且将其解锁。在该模式中,车辆不记录任何内容。在进入运行状态1008中,车辆被锁定并监测运动事件并且准备好执行响应动作中的全部响应动作。
前述内容只是举例说明本公开的原理,并且在不脱离本公开的范围的情况下,本领域的技术人员可作出各种修改。上述实施方案是出于举例说明而非限制的目的而呈现的。本公开还可采用除本文明确描述的那些形式之外的许多形式。因此,应当强调的是,本公开不限于明确公开的方法、系统和装置,而是旨在包括其变型和修改,这些变型和修改在以下段落的实质内。
虽然本公开的一些部分可以指示例,但是任何此类参考仅仅是为了向本公开提供上下文,并且不会形成对构成现有技术的任何承认。
Claims (20)
1.一种系统,包括:
相机,所述相机被配置为捕获车辆外部的图像;和
处理电路,所述处理电路被配置为:
在捕获图像中识别缆线;
跟踪所述缆线在所述捕获图像中的移动;
基于所述移动来识别所述缆线的运动事件;以及
响应于检测到所述运动事件,使所述车辆执行动作。
2.根据权利要求1所述的系统,其中所述缆线是防护缆线、绞盘缆线或拖车缆线中的一者。
3.根据权利要求1所述的系统,其中所述缆线包括反射涂层或反射元件。
4.根据权利要求3所述的系统,其中所述处理电路被配置为基于识别所述反射涂层或所述反射元件来在所述捕获图像中识别所述缆线。
5.根据权利要求1所述的系统,其中:
所述相机定位在乘员室的上后部并且具有对所述车辆的车厢储存区域的视野;并且
由所述车辆执行的所述动作包括对用户生成通知或执行安全响应。
6.根据权利要求5所述的系统,其中当所述车辆移动时,由所述车辆执行的所述动作包括对所述用户生成指示所述缆线或装备可能松动的所述通知。
7.根据权利要求5所述的系统,其中当所述车辆处于静止时,由所述车辆执行的所述动作包括所述安全响应。
8.根据权利要求1所述的系统,其中由所述车辆执行的所述动作包括安全响应,所述安全响应包括激活视觉警报或声音警报中的一者或多者。
9.根据权利要求1所述的系统,其中:
所述缆线是联接到绞盘的绞盘缆线;
所述处理电路被配置为通过识别所述绞盘缆线的松弛基于所述移动来识别所述运动事件;并且
由所述车辆执行的所述动作包括对到所述绞盘的扭矩进行调节。
10.根据权利要求1所述的系统,其中:
所述缆线是联接到所述车辆的拖车缆线;
所述处理电路被配置为通过识别所述拖车缆线的松弛基于所述移动来识别所述运动事件;并且
由所述车辆执行的所述动作包括调节所述车辆的速度。
11.一种方法,包括:
捕获车辆外部的图像;
在捕获图像中识别缆线;
在所述捕获图像中识别所述缆线的运动事件;以及
响应于检测到所述运动事件,使所述车辆执行动作。
12.根据权利要求11所述的方法,其中所述缆线是防护缆线、绞盘缆线或拖车缆线中的一者。
13.根据权利要求11所述的方法,其中所述缆线包括反射涂层或反射元件。
14.根据权利要求11所述的方法,其中在所述捕获图像中识别所述缆线包括识别所述缆线的反射涂层或反射元件中的至少一者。
15.根据权利要求11所述的方法,其中:
所述相机定位在乘员室的上后部并且具有对所述车辆的车厢储存区域的视野;以及
使所述车辆执行动作,所述动作包括对用户生成通知或执行安全响应。
16.根据权利要求15所述的方法,其中当所述车辆移动时,由所述车辆执行的所述动作包括对所述用户生成指示所述缆线或装备可能松动的所述通知。
17.根据权利要求15所述的方法,其中当所述车辆处于静止时,由所述车辆执行的所述动作包括所述安全响应。
18.根据权利要求11所述的方法,其中使所述车辆执行动作包括执行安全响应,所述安全响应包括激活视觉警报或声音警报中的一者或多者。
19.根据权利要求11所述的方法,其中:
所述缆线是联接到绞盘的绞盘缆线;
识别运动事件包括识别所述绞盘缆线的松弛;并且
使所述车辆执行所述动作包括对到所述绞盘的扭矩进行调节。
20.根据权利要求11所述的方法,其中:
所述缆线是联接到所述车辆的拖车缆线;
识别运动事件包括识别所述拖车缆线的松弛;并且
使所述车辆执行所述动作包括调节所述车辆的速度。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163243162P | 2021-09-12 | 2021-09-12 | |
US63/243,162 | 2021-09-12 | ||
US17/877,337 US20230078631A1 (en) | 2021-09-12 | 2022-07-29 | Systems and methods for gear guard cable tracking |
US17/877,337 | 2022-07-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115810026A true CN115810026A (zh) | 2023-03-17 |
Family
ID=85284851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211112261.3A Pending CN115810026A (zh) | 2021-09-12 | 2022-09-13 | 用于防护缆线跟踪的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230078631A1 (zh) |
CN (1) | CN115810026A (zh) |
DE (1) | DE102022123154A1 (zh) |
-
2022
- 2022-07-29 US US17/877,337 patent/US20230078631A1/en active Pending
- 2022-09-12 DE DE102022123154.2A patent/DE102022123154A1/de active Pending
- 2022-09-13 CN CN202211112261.3A patent/CN115810026A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230078631A1 (en) | 2023-03-16 |
DE102022123154A1 (de) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3424756A1 (en) | Integrated vehicle monitoring system | |
EP3109098B1 (en) | Vehicle driver assistance apparatus | |
CN110154949B (zh) | 防止尾门与联结附件碰撞的方法和装置 | |
US11417122B2 (en) | Method for monitoring an occupant and a device therefor | |
US8140226B2 (en) | Security system and a method to derive a security signal | |
CN104648254A (zh) | 一种车辆后视镜自动折叠系统 | |
US10471927B1 (en) | Tethered airbags | |
US20230077868A1 (en) | Systems and methods for deterrence of intruders | |
CN108973861A (zh) | 一种智能a柱行车安全系统 | |
US11951997B2 (en) | Artificial intelligence-enabled alarm for detecting passengers locked in vehicle | |
CN105984376B (zh) | 车辆开门防撞控制系统及控制方法 | |
KR20210043566A (ko) | 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램 | |
CN111942317A (zh) | 开车门防撞方法、装置、系统和计算机可读存储介质 | |
KR101410182B1 (ko) | 카메라를 이용한 승객 안전하차 감지시스템 및 그 방법 | |
CN112319367A (zh) | 车内滞留人员监控保护系统及设备 | |
CN206383949U (zh) | 基于adas纯图像处理的驾驶安全系统 | |
EP3648079B1 (en) | Control apparatus, control method, and program | |
US20230083504A1 (en) | Systems and methods for capturing images around vehicle for insurance claim processing | |
US20230078631A1 (en) | Systems and methods for gear guard cable tracking | |
JP2019028482A (ja) | 車載器および運転支援装置 | |
CN108859950A (zh) | 车辆下钻碰撞检测系统和方法 | |
US20190122382A1 (en) | Method and apparatus that display view alert | |
CN219302678U (zh) | 车辆避障装置及车辆避障设备 | |
US11682242B1 (en) | Facilitation of ingress to a passenger compartment of a vehicle | |
KR102475196B1 (ko) | 레이다 센서 모듈을 이용한 차량 감시 시스템 및 차량 감시 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |