CN115931030A - 车辆光学传感器运动校正 - Google Patents

车辆光学传感器运动校正 Download PDF

Info

Publication number
CN115931030A
CN115931030A CN202210955299.0A CN202210955299A CN115931030A CN 115931030 A CN115931030 A CN 115931030A CN 202210955299 A CN202210955299 A CN 202210955299A CN 115931030 A CN115931030 A CN 115931030A
Authority
CN
China
Prior art keywords
value
vehicle
optical data
data
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210955299.0A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
文卡特什·克里希南
C·M·阿莫德奥
马赫·格尼姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN115931030A publication Critical patent/CN115931030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight

Abstract

本公开提供了“车辆光学传感器运动校正”。一种计算机包括处理器和存储指令的存储器，所述指令可由所述处理器执行以：从车辆的光学传感器接收光学数据；使用调整模型来调整所述光学数据；在一定持续时间内测量来自所述光学数据的第一值；在所述持续时间内基于所述第一值预测来自所述光学数据的第二值；在所述持续时间内测量来自所述光学数据的所述第二值；以及使用所述预测的第二值和所述测量的第二值来修改所述调整模型。第一值和第二值是时变的，并且按时间步长从光学数据聚合。

Description

车辆光学传感器运动校正
技术领域
本公开涉及车辆中的光学传感器。
背景技术
自主或半自主车辆通常包括光学传感器。光学传感器检测外部世界，例如车辆周围环境的对象和/或特征，诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如，光学传感器可以包括雷达传感器、扫描激光测距仪、光探测和测距(LIDAR)装置以及图像处理传感器(诸如相机)。对于自主和半自主车辆，计算机可以被编程为基于可以包括从光学传感器接收的数据的输入完全地或较小程度地独立于人类驾驶员的干预来操作车辆。
发明内容
车辆上的光学传感器生成光学数据，车辆的计算机可以使用所述光学数据来操作车辆。为了使计算机能够使用光学数据，光学传感器可能需要对相对于车辆的车身的运动具有严格的公差，例如，与车身或安装在车身上的其他传感器相比，光学传感器可能扭绕、倾斜、弹回等的程度。解决紧公差的一种方式是使用具有高刚度的光学传感器的安装结构。可以利用较高刚度的材料(例如，碳纤维复合材料)、利用较厚的部件或利用用于加强的添加部件(其中任何一种都可能增加复杂性和/或重量)来实现限制传感器运动。而且，较高的刚度可能会增加从车身传输到光学传感器的冲击。
除了增加刚度之外或代替增加刚度，本公开提供了一种解决光学传感器的公差的方法。接收光学数据的计算机可以使用调整模型来调整光学数据，所述调整模型基于车辆的运动来预测光学传感器相对于车辆的运动。例如，调整模型可以是光学传感器与车辆的车身之间的连接的基于物理学的模型。所述调整可以结合对车辆的车身在路面上行驶的机械激励以及与将指示动态偏差状态的传感器输出的变化的相关性。
此外，本公开描述了如何校正由光学传感器与车身之间的连接的变化引起的光学传感器相对于车身的运动。例如，对车辆的冲击可能会使光学传感器的连接器震松，随时间的磨损可能会扩大光学传感器相对于车身的运动范围等。计算机可以基于来自光学数据的第一值预测来自光学数据的第二值并且还测量第二值。预测的第二值与测量的第二值的比较可以是光学传感器的特定类型和变化程度的特性。因此，所述比较可以用于修改调整模型。因为第一值和第二值两者都是根据光学数据测量的，所以不需要附加的传感器来修改调整模型。
一种计算机包括处理器和存储指令的存储器，所述指令可由所述处理器执行以：从车辆的光学传感器接收光学数据；使用调整模型来调整所述光学数据；在一定持续时间内测量来自所述光学数据的第一值；在所述持续时间内基于所述第一值预测来自所述光学数据的第二值；在所述持续时间内测量来自所述光学数据的所述第二值；以及使用所述预测的第二值和所述测量的第二值来修改所述调整模型。第一值是时变的，并且按时间步长从光学数据聚合。第二值是时变的，并且按时间步长从光学数据聚合。
所述指令还可以包括用于进行以下操作的指令：在所述持续时间内从所述车辆的运动传感器接收运动数据，并且使用所述调整模型来调整所述光学数据可以基于所述运动数据。使用调整模型来调整光学数据可以包括校正失真或对准中的至少一者。
运动传感器可以包括加速度计。
修改调整模型可以基于运动数据。所述指令还可以包括用于进行以下操作的指令：基于所述运动数据、所述预测的第二值和所述测量的第二值来确定影响所述光学传感器的事件的类型，并且修改所述调整模型可以基于所述事件的所述类型。事件的类型可以基于运动数据与测量的第二值的数学函数之间的相关性。所述数学函数可以是测量的第二值与预测的第二值的差值。
调整模型可以是由车辆的运动引起的光学传感器相对于车辆的运动的模型。
第二值与第一值相比可以对车辆的运动具有更大灵敏度。
可以使用测量的第二值与预测的第二值的差值来执行修改调整模型。
所述指令还可以包括用于进行以下操作的指令：对测量的第二值的数学函数执行自相关，并且响应于自相关低于阈值而禁止修改调整模型。所述数学函数可以是测量的第二值与预测的第二值的差值。
所述指令还可以包括用于进行以下操作的指令：在确定所述修改的调整模型没有比未修改的调整模型更准确地调整所述光学数据时输出维修所述车辆的通知。
所述指令还可以包括用于进行以下操作的指令：在识别到所述测量的第二值的数学函数的变化点时输出维修所述车辆的通知。
所述数学函数可以是测量的第二值与预测的第二值的差值。
所述指令还可以包括用于进行以下操作的指令：在测量所述第一值之前从所述光学数据中过滤多个条件。
光学传感器可以是相机、雷达或激光雷达中的一者。
光学传感器可以是包括第一相机和第二相机的一对立体相机中的第一相机，并且第一值和第二值可以是来自立体相机的图像数据的视差图的数学函数。
一种车辆包括：车身；光学传感器，所述光学传感器刚性地安装到所述车身；以及计算机，所述计算机通信地耦合到所述光学传感器。所述计算机被编程为：从所述光学传感器接收光学数据；使用调整模型来调整所述光学数据；在一定持续时间内测量来自所述光学数据的第一值；在所述持续时间内基于所述第一值预测来自所述光学数据的第二值；在所述持续时间内测量来自所述光学数据的所述第二值；以及使用所述预测的第二值和所述测量的第二值来修改所述调整模型。第一值是时变的，并且按时间步长从光学数据聚合。第二值是时变的，并且按时间步长从光学数据聚合。
附图说明
图1是具有光学传感器的示例性车辆的透视图。
图2是来自光学传感器的示例性图像帧和视差图。
图3是车辆的框图。
图4是光学传感器相对于车辆的运动的示例性调整模型的图式。
图5是来自光学传感器的光学数据的多种示例性自相关。
图6是用于调整光学数据的示例性过程的示例性过程流程图。
具体实施方式
参考附图，其中在全部几个视图中，相同的数字指示相同的部分，计算机102包括处理器和存储器，所述存储器存储可由处理器执行以进行以下操作的指令：从车辆100的光学传感器104接收光学数据；使用调整模型106来调整光学数据；在一定持续时间内测量来自光学数据的第一值；在持续时间内基于第一值预测来自光学数据的第二值；在持续时间内测量来自光学数据的第二值；以及使用所预测的第二值和测量的第二值来修改调整模型106。第一值和第二值是时变的，并且按时间步长从光学数据聚合。
参考图1，车辆100可以是任何合适类型的地面车辆，例如客车或商用汽车，诸如轿车、双门轿车、卡车、运动型多功能车、跨界车、厢式货车、小型货车、吉普车、出租车、公共汽车等。
车辆100可以是自主车辆。计算机102可以被编程为完全地或在较小程度上独立于人类操作员的干预而操作车辆100。计算机102可以被编程为至少部分地基于来自光学传感器104的光学数据来操作推进装置108、制动系统110、转向系统112和/或其他车辆系统。出于本公开的目的，自主操作意指计算机102在没有来自人类驾驶员的输入的情况下控制推进装置108、制动系统110和转向系统112；半自主操作意指计算机102控制推进装置108、制动系统110和转向系统112中的一者或两者，而人类驾驶员控制其余部分；并且非自主操作意指人类驾驶员控制推进装置108、制动系统110和转向系统112。
车辆100包括车身114。车辆100可以是一体式构造，其中车辆100的车架和车身114是单个部件。替代地，车辆100可以是非承载式车身结构，其中车架支撑车身114，所述车身是与车架分开的部件。车架和车身114可以由任何合适的材料(例如，钢、铝等)形成。
车辆100包括至少一个光学传感器104，例如，多个光学传感器104。光学传感器104从接收到电磁辐射(例如，无线电波、红外辐射、可见光等)生成光学数据。光学传感器104可以是用于检测与车辆100间隔开的对象的任何合适类型，例如，雷达传感器、扫描激光测距仪、光探测和测距(激光雷达)装置和/或图像处理传感器(诸如，相机)。例如，光学传感器104可以包括相机，诸如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)等。对于另一个示例，光学传感器104可以包括一对立体相机，该对立体相机包括第一相机和第二相机。对于另一个示例，光学传感器104可以包括激光雷达，其通过发射特定波长的激光脉冲并测量脉冲行进到对象并返回的飞行时间来检测距对象的距离。对于另一个示例，光学传感器104可以包括雷达，所述雷达可以使用直接传播，即，测量无线电波的发射和接收之间的时间延迟，和/或使用间接传播，即，调频连续波(FMCW)方法，即，测量已发射和已接收的无线电波之间的频率变化。雷达可以返回到对象的距离以及径向速度，即，朝向或远离雷达的速度分量。光学传感器104还可以包括用于不同波长的电磁辐射的相机、检测偏振的相机、飞行时间相机、基于事件的相机、光场相机等。
光学传感器104刚性地安装到车辆100的车身114。例如，车辆100可以包括壳体116，所述壳体安装在车辆100的车身114的车顶118或其他车身面板上并支撑光学传感器104。壳体116可以被成形为可附接到车顶118，例如，可以具有与车顶118的轮廓匹配的形状。壳体116可以附接到车顶118，这可以为安装在壳体116内部的光学传感器104提供车辆100的周围区域的无障碍视野。替代地或另外，光学传感器104可以安装到挡风玻璃、前护板、拐角护板、后护板、后举升式车门等。壳体116可以由例如塑料或金属形成。
参考图2，光学数据可以是例如来自相机的图像数据、从来自一对立体相机的图像数据生成的视差图130、来自激光雷达的点云等。例如，图2示出了来自顶部面板中的相机的图像数据的图像帧128和从包括顶部面板中的图像帧128的两个图像帧128生成的底部面板中的对应视差图130。图像数据可以是相应光学传感器104的视野的图像帧128的序列，或者是图像帧128的部分，诸如由滚动快门效果产生的行的子集。每个图像帧128是二维像素矩阵。每个像素的亮度或颜色被表示为一个或多个数值，例如，在0(黑色)与1(白色)之间的光度光强度的标量无标量值，或者红色、绿色和蓝色中的每一者的值，例如，每一个以8位为标度(0到255)或12位或16位为标度。像素可以是表示的混合，例如，三个像素和具有三个数值颜色值的第四像素的强度的标量值的重复模式，或某种其他模式。在图像帧中128或视差图130中的位置(即，在记录图像帧128时在光学传感器104的视野中的位置)可以像素尺寸或坐标(例如，一对有序的像素距离，诸如来自图像帧128的顶边缘的多个像素和来自图像帧的左侧边缘的多个像素)指定。
参考图3，计算机102是基于微处理器的计算装置，例如，通用计算装置(其包括处理器和存储器、电子控制器或类似装置)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、前述各者的组合等。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)的硬件描述语言来描述诸如FPGA和ASIC的数字和混合信号系统。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件可基于例如存储在电连接到FPGA电路的存储器中的VHDL编程来配置。因此，计算机102可包括处理器、存储器等。计算机102的存储器可包括用于存储可由处理器执行的指令以及用于电子地存储数据和/或数据库的介质，和/或计算机102可包括诸如提供编程的前述结构的结构。计算机102可以是耦合在一起的多个计算机。
计算机102可以通过通信网络120(诸如控制器局域网(CAN)总线、以太网、WiFi、局域互连网(LIN)、车载诊断连接器(OBD-II))和/或通过任何其他有线或无线通信网络传输和接收数据。计算机102可以经由通信网络120通信地耦合到光学传感器104、运动传感器122、推进装置108、制动系统110、转向系统112、用户界面124和其他部件。
车辆100包括运动传感器122。运动传感器122提供运动数据，即，指示车辆100的运动的数据。例如，运动传感器122可以检测车辆100的位置和/或取向、车辆100的线性速度和转速、车辆100的加速度等。例如，运动传感器122可以包括全球定位系统(GPS)传感器；加速度计，诸如压电或微机电系统(MEMS)；陀螺仪，诸如速率、环形激光器或光纤陀螺仪；惯性测量单元(IMU)；以及磁力仪。对于另一个示例，运动传感器122可以提供关于车辆100的控制运动的系统(即，推进装置108、制动系统110和/或转向系统112)的操作的数据，例如，车轮转速、车轮取向、转向角、制动力等。
车辆100的推进装置108生成能量并将能量转换成车辆100的运动。推进装置108可为常规的车辆推进子系统，例如，常规的动力传动系统，其包括耦合到将旋转运动传递到车轮的变速器的内燃发动机；电动动力传动系统，其包括电池、电动马达和将旋转运动传递到车轮的变速器；混合动力传动系统，其包括常规的动力传动系统和电动动力传动系统的元件；或任何其他类型的推进装置。推进装置108可以包括与计算机102和/或人类操作员通信并从其接收输入的电子控制单元(ECU)等。人类操作员可经由例如加速踏板和/或换挡杆来控制推进装置108。
制动系统110通常是常规的车辆制动子系统并且抵抗车辆100的运动，由此使车辆100减慢和/或停止。制动系统110可以包括摩擦制动器，诸如盘式制动器、鼓式制动器、带式制动器等；再生制动器；任何其他合适类型的制动器；或者它们的组合。制动系统110可以包括与计算机102和/或人类操作员通信并且从其接收输入的电子控制单元(ECU)等。人类操作员可以经由例如制动踏板来控制制动系统110。
转向系统112通常是常规的车辆转向子系统并且控制车轮的转弯。转向系统112可以是具有电动助力转向的齿条与小齿轮系统、线控转向系统(这两者是已知的)，或者任何其他合适的系统。转向系统112可以包括与计算机102和/或人类操作员通信并从其接收输入的电子控制单元(ECU)等。人类操作员可经由例如方向盘来控制转向系统112。
用户界面124向车辆100的乘员呈现信息并且从所述乘员接收信息。用户界面124可以位于例如车辆100的乘客舱中的仪表板上，或者位于乘员可能容易看到的任何地方。用户界面124可包括用于向乘员提供信息的刻度盘、数字读出装置、屏幕、扬声器等，例如，诸如已知的人机界面(HMI)元件。用户界面124可以包括用于从乘员接收信息的按钮、旋钮、键盘、传声器等。
参考图4，计算机102从光学传感器104接收光学数据，然后使用调整模型106来调整光学数据。出于本公开的目的，“调整模型”是基于其他数据将光学数据变换成不同的光学数据。调整模型106可以校正光学传感器104的失真和/或偏差。使用调整模型106调整光学数据可以基于来自运动传感器122的运动数据。例如，调整模型106可以是由车辆100的运动引起的光学传感器104相对于车辆100的运动的模型。例如，调整模型106可以是基于物理学的模型，诸如基于有限元分析和/或基于使用光学传感器104使用壳体116附接到主体114的理想元件(例如，将光学传感器104连接到车身114(例如，车辆100的车顶118)的四个理想梁126)的近似值。调整模型106(例如，有限元分析)可以使用光学传感器104的附接的几何形状、边界条件和/或运动数据。例如，调整模型106可以在一个或多个自由度(例如，六个自由度或三个旋转自由度)上跟踪光学传感器104的运动。使用没有线性自由度的三个旋转自由度的计算密集性不如使用六个自由度，同时仍然捕获相关效果。此外，调整模型106的离散时间步长可以进一步内插或外推到来自光学传感器104的光学数据的对应时间帧，例如用于全局快门效果、滚动快门逐帧曝光时间的时间步长、基于事件的相机的更新时间、激光雷达的波束控制的时间范围等。
在测量第一值之前，计算机102可以从光学数据中过滤多个条件。可以在调整模型106之前、之后或同时应用过滤。所述条件可以是存储在计算机102的存储器中的已知失真或偏差，所述失真或偏差例如由车辆100的操作(诸如激活壳体116中的鼓风机等)引起。计算机102可以接收指示满足所述条件(例如，鼓风机被激活)的数据，并且通过将存储在计算机102的存储器中的变换应用到光学数据来过滤光学数据。
返回到图2，计算机102在持续时间内测量第一值。第一值是时变的，即，在光学数据的每个时间步长处(例如，在用滚动快门效果或每个视差图130产生的每个图像帧128或图像帧128的每个行子集中)具有潜在不同的值。第一值是聚合的，即，通过从光学数据的一部分收集并应用数学函数以输出减少量的数据(诸如标量值)来生成。使用从光学数据聚合的标量值可以允许由计算机102进行快速处理。聚合是按时间步长进行的，即，在生成光学数据的单个时间步长处产生第一值的每个实例。例如，第一值可以是来自视差图130的统计，诸如视差图130中的非数字(NAN)像素的数量、视差图130中的特征点的数量等。当一个图像帧128中的像素缺少另一图像帧128中的对应像素时，视差图130中发生NAN像素132。图2在顶部示出了来自作为立体相机对中的相机的光学传感器104的图像帧128，并且在底部示出了来自立体相机对的对应视差图130，其中视差图130的黑色区域表示NAN像素132。可以对例如来自图像帧128或视差图130的中间部分的光学数据的子集测量第一值，例如其中从图像帧128或视差图130的左边缘和右边缘去除图像帧128或视差图130的宽度的10％和从图像帧或视差图的顶边缘和底边缘去除图像帧128或视差图130的高度的10％。可以选择在其中测量第一值的持续时间以提供第一值的代表性样本。
计算机102还在所述持续时间内测量第二值。第二值也是时变的，并且按时间步长从光学数据聚合。第二值也可以是光学数据(例如，视差图130)的数学函数，例如，输出标量值。第二值可以是与光学数据不同的聚合量。第二值与第一值相比可以对车辆100的运动具有更大灵敏度，即，车辆100的给定移动在第二值中比在第一值中产生更大的百分比变化。例如，第二值可以是图像帧128或视差图130的边缘附近的NAN像素的数量，例如，距顶边缘或底边缘的高度的10％或距图像帧128或视差图130的左边缘或右边缘的宽度的10％以内。
计算机102可以基于第一值在持续时间内预测第二值。例如，计算机102可以使用利用测试数据、机器学习程序(诸如基于测试数据训练的神经网络)等测量的第一值与第二值之间的统计相关性。对于另一个示例，计算机102可以使用第一值与第二值之间的关系的基于物理学的模型。该模型可以从上面的调整模型106导出或与其相关。
可以将预测的第二值与测量的第二值进行比较。预测的第二值与测量的第二值之间的关系可以是如下所述的传感器事件的类型的特性。预测的第二值与测量的第二值之间的关系可以例如通过确定调整模型106和预测的第二值所依据的基础或假设已经改变来捕获调整模型106的临时和/或永久变化。第一值和第二值对车辆100的运动的灵敏度的差异可以帮助这种确定。
例如，计算机102可以计算预测的第二值和测量的第二值的数学函数，例如预测的第二值与测量的第二值之间的关系(例如，预测的第二值与测量的第二值的差值)的数学函数，即，f(t)＝x2*(t)–x2(t)，其中x2是测量的第二值，x2*是预测的第二值，并且t是时间。数学函数可以替代地是预测的第二值与测量的第二值之间的关系(例如，比率等)的不同函数。
参考图5，计算机102可以对测量的第二值和预测的第二值的数学函数(例如，对测量的第二值与预测的第二值之间的差值)执行自相关的统计测试。自相关是时变值与同一时变值的延迟副本的相关性。图5示出了多个自相关曲线图134。水平轴线是数学函数与数学函数的延迟副本之间的延迟的值，其以时间单位测量，并且竖直轴线是延迟的每个值处的相关系数。自相关曲线图134可以是传感器事件的类型的特性。自相关可以具有幅度、模式、频率等。计算机102可以基于检测到运动数据的特征(例如，机械激励高于阈值)并且基于车辆100的已知阻尼性质来选择在其上执行自相关的时间帧，所述阻尼性质确定机械激励将影响车辆100的时长。
计算机102可以在持续时间内执行数学函数与运动数据的一个或多个相关。例如，计算机102可以执行数学函数与车辆100的纵向加速度、车辆100的竖直运动、车辆100的侧倾等的相关性。相关性是数学函数与运动数据之间的统计关系(例如，用皮尔逊相关系数测量的线性关系、使用傅里叶分析的互相关等)的测试。
计算机102可以在持续时间内对测量的第二值和预测的第二值的数学函数执行变化点检测。变化点检测是识别时间序列的概率分布的变化。计算机102可以使用任何合适的技术进行在线变化点检测，例如，顺序分析方法、贝叶斯变化检测、流算法等。变化点检测可以指示是否已经发生影响光学传感器104的事件。
影响光学传感器104的事件是导致光学数据暂时或永久地不同于在调整模型106准确的情况下的光学数据的某个事件，并且事件的类型是事件的定性分类。事件可以或可以不由变化点标记。影响光学传感器104的事件的示例包括光学传感器104中的一者的视野的部分遮挡、光学传感器104中的一者的误标定、将光学传感器104中的一者连接到车身114的部件的变形、光学传感器104中的一者相对于车身114的松动等。此类事件的影响可以使用上述分析来检测，并且可以如下所述缓解或响应这些影响。
计算机102可以基于运动数据、预测的第二值和测量的第二值来确定影响光学传感器104的事件的类型。例如，事件的类型可以基于运动数据与预测的第二值和测量的第二值的数学函数之间的相关性，并且替代地或另外，事件的类型可以基于自相关性和运动数据，诸如自相关的幅度、模式和/或频率。计算机102可以使用机器学习算法来确定事件的类型。机器学习算法可以是用于将检测到的变化分类为例如已知类型列表上的类型的任何合适的类型，例如贝叶斯分类器、最近邻分类器、线性或多项式分类器、人工神经网络等。自相关和/或相关性可以是机器学习算法的输入。可以在具有已知类型的变化的样本匹配的运动数据和光学数据上训练机器学习算法。可以利用上述相关性和自相关性对样本数据进行预处理。
计算机102可以基于运动数据、预测的第二值和测量的第二值来修改调整模型106。例如，计算机102可以使用事件的类型、测量的第二值与预测的第二值之间的差值、自相关性、相关性等来修改调整模型106。修改调整模型106可以通过例如改变基于物理学的模型的元素的权重(诸如基于光学传感器104的增加的松动来减小理想梁126的刚度)来执行。
图6是示出用于调整光学数据的示例性过程600的过程流程图。计算机102的存储器存储用于执行过程600的步骤的可执行指令和/或可以以诸如上述的结构来实现编程。作为过程600的总体概述，计算机102接收光学数据和运动数据，使用调整模型106调整光学数据，测量第一值，预测第二值，测量第二值，确定预测的第二值与测量的第二值之间的差值，执行自相关，并且执行与运动数据的相关性。响应于自相关高于阈值，计算机102确定事件的类型并修改调整模型106。如果修改的调整模型106没有比未修改的调整模型106更准确地调整光学数据，则计算机102输出维修车辆100的通知。响应于自相关低于阈值，如果计算机102识别出变化点，则计算机102输出维修车辆100的通知。只要车辆100开启，过程600就可以继续。
过程600在框605中开始，其中计算机102在持续时间内从光学传感器104接收光学数据。
接下来，在框610中，计算机102在持续时间内从运动传感器122接收运动数据。
接下来，在框615中，计算机102使用调整模型106来调整光学数据并从光学数据中过滤多个条件，如上所述。
接下来，在框620中，计算机102在持续时间内测量第一值，如上所述。
接下来，在框625中，计算机102基于第一值来在持续时间内预测第二值，如上所述。
接下来，在框630中，计算机102在持续时间内测量第二值，如上所述。
接下来，在框635中，计算机102确定测量的第二值和预测的第二值的数学函数，例如，测量的第二值与预测的第二值的差值，如上所述。
接下来，在框640中，计算机102对数学函数执行自相关，如上所述。
接下来，在框645中，计算机102确定数学函数与运动数据的相关，如上所述。
接下来，在决策框650中，计算机102确定自相关是否高于阈值。例如，阈值可以是自相关是否在统计上显著。响应于自相关高于阈值(例如，在统计上显著)，过程600前进到框655。响应于自相关低于阈值(例如，在统计上不显著)，过程600前进到决策框675，并且计算机102由此禁止修改调整模型106。
在框655中，计算机102基于运动数据、预测的第二值和测量的第二值来确定影响光学传感器104的事件的类型，如上所述。
接下来，在框660中，计算机102修改调整模型106，如上所述。
接下来，在决策框665中，计算机102确定修改的调整模型106(即，在框660中修改的调整模型106)是否比未修改的调整模型106(即，在框660中修改之前的调整模型106)更准确地调整光学数据。计算机102可以使用在框605中在持续时间内收集的光学数据，或者可以使用在所述持续时间之后收集的新光学数据。计算机102可以通过例如确定修改的调整模型106和未修改的调整模型106中的哪一个在预测的第二值与测量的第二值之间生成较小差值来比较修改的调整模型106和未修改的调整模型的准确度。在确定修改的调整模型106更准确地调整光学数据时，过程600返回到框605以继续监测光学数据。在确定修改的调整模型106未更准确地调整光学数据时，过程600前进到框670。
在框670中，计算机102指示车辆100的一个或多个部件执行缓解动作。例如，计算机102可以例如通过致动用户界面124来输出维修车辆100的通知。对于另一个示例，计算机102可以例如通过根据已知的自主操作算法致动推进装置108、制动系统110和转向系统112来指示车辆100自主地导航到维修厂。对于另一个示例，计算机102可以致动车辆100以执行最低风险操纵以使车辆100处于最低风险状况。出于本公开的目的，“最低风险操纵”是将车辆100置于最低风险状况的操纵，并且“最低风险状况”具有由国家公路交通安全管理局(National Highway Traffic Safety Administration，NHTSA)和汽车工程师协会(Society of Automotive Engineers，SAE)赋予的含义：“‘最低风险状况’意指当系统发生故障时或者当人类操作员未能对接管动态驾驶任务的请求做出适当响应时自动驾驶系统自动采取的低风险工况。”(美国交通部和NHTSA，自动驾驶系统2.0：安全愿景(AutomatedDriving Systems 2.0:A Vision for Safety)，第26页(引用国际汽车工程师协会J3016标准(SAE International J3016)，道路机动车辆100驾驶自动化系统相关术语的国际分类和定义(J3016：2016年9月)))。例如，最低风险操纵可以是发起向人类操作员的移交或自主驾驶车辆100停在路边，即，将车辆100停在活跃的行车道之外。计算机102可以通过使用已知的自主操作算法来执行最低风险操纵。在框670之后，过程600结束。
响应于在决策框650中自相关低于阈值(例如，在统计上不显著)，过程600前进到决策框675。在决策框675中，计算机102尝试识别数学函数的变化点，如上所述。在未能识别变化点时，过程600返回到框605以继续监测光学数据。在识别出变化点时，过程600前进到框670。
一般来讲，所描述的计算系统和/或装置可采用多种计算机操作系统中的任一种，包括但决不限于以下版本和/或种类：Ford
Figure BDA0003791088220000161
应用；AppLink/Smart Device Link中间件；Microsoft
Figure BDA0003791088220000162
操作系统；Microsoft
Figure BDA0003791088220000163
操作系统；Unix操作系统(例如，由加利福尼亚州红杉海岸的Oracle公司发布的
Figure BDA0003791088220000164
操作系统)；由纽约州阿蒙克市的International Business Machines公司发布的AIX UNIX操作系统；Linux操作系统；由加利福尼亚州库比蒂诺市的苹果公司发布的Mac OSX和iOS操作系统；由加拿大滑铁卢的黑莓有限公司发布的黑莓操作系统；以及由谷歌公司和开放手机联盟开发的安卓操作系统；或由QNX软件系统公司提供的
Figure BDA0003791088220000165
信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型计算机或手持计算机、或某一其他计算系统和/或装置。
计算装置通常包括计算机可执行指令，其中所述指令可由诸如以上列出的那些的一个或多个计算装置执行。可从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Python、Perl、HTML等。这些应用程序中的一些可在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类指令和其他数据可使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质(又被称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、线、无线通信，包括构成耦合到计算机的处理器的系统总线的内部件。常见形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
本文所述的数据库、数据存储库或其他数据存储可包括用于存储、存取/访问和检索各种数据的各种机制，包括分层数据库、文件系统中的文件集、专用格式的应用程序数据库、关系型数据库管理系统(RDBMS)、非关系数据库(NoSQL)、图形数据库(GDB)等。每个这样的数据存储通常被包括在采用诸如以上提及中的一种的计算机操作系统的计算装置内，并且以各种方式中的任何一种或多种来经由网络进行访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(例如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。
在一些示例中，系统元件可以被实现为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可包括存储在计算机可读介质上的用于实现本文描述的功能的此类指令。
在附图中，相同的附图标记指示相同的元件。另外，可改变这些要素中的一些或全部。关于本文描述的介质、过程、系统、方法、启发等，应当理解，虽然此类过程等的步骤已被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所述的某些步骤。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。特别地，诸如“一个”、“该”、“所述”等单数冠词的使用应被解读为叙述所指示的要素中的一个或多个，除非权利要求叙述相反的明确限制。形容词“第一”和“第二”贯穿本文档用作标识符，并且不意图表示重要性、顺序或数量。“响应于”和“在确定……时”的使用指示因果关系，而不仅是时间关系。
已经以说明性方式描述了本公开，并且应理解，已经使用的术语意图是描述性的词语的性质，而不是限制性的。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以不同于具体描述的其他方式来实践。
根据本发明，提供了一种计算机，所述计算机具有处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：从车辆的光学传感器接收光学数据；使用调整模型来调整所述光学数据；在一定持续时间内测量来自所述光学数据的第一值，所述第一值是时变的并且按时间步长从所述光学数据聚合；在所述持续时间内基于所述第一值预测来自所述光学数据的第二值，所述第二值是时变的并且按时间步长从所述光学数据聚合；在所述持续时间内测量来自所述光学数据的所述第二值；以及使用所述预测的第二值和所述测量的第二值来修改所述调整模型。
根据一个实施例，所述指令还包括用于进行以下操作的指令：在所述持续时间内从所述车辆的运动传感器接收运动数据，并且使用所述调整模型来调整所述光学数据是基于所述运动数据。
根据一个实施例，使用所述调整模型来调整所述光学数据包括校正失真或对准中的至少一者。
根据一个实施例，所述运动传感器包括加速度计。
根据一个实施例，修改所述调整模型是基于所述运动数据。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于所述运动数据、所述预测的第二值和所述测量的第二值来确定影响所述光学传感器的事件的类型；并且修改所述调整模型是基于所述事件的所述类型。
根据一个实施例，所述事件的所述类型是基于所述运动数据与所述测量的第二值的数学函数之间的相关性。
根据一个实施例，所述数学函数是所述测量的第二值与所述预测的第二值的差值。
根据一个实施例，所述调整模型是由所述车辆的运动引起的所述光学传感器相对于所述车辆的运动的模型。
根据一个实施例，所述第二值与所述第一值相比对所述车辆的运动具有更大灵敏度。
根据一个实施例，使用所述测量的第二值与所述预测的第二值的差值来执行修改所述调整模型。
根据一个实施例，所述指令还包括用于进行以下操作的指令：对所述测量的第二值的数学函数执行自相关，并且响应于所述自相关低于阈值而禁止修改所述调整模型。
根据一个实施例，所述数学函数是所述测量的第二值与所述预测的第二值的差值。
根据一个实施例，所述指令还包括用于进行以下操作的指令：在确定所述修改的调整模型没有比未修改的调整模型更准确地调整所述光学数据时输出维修所述车辆的通知。
根据一个实施例，所述指令还包括用于进行以下操作的指令：在识别到所述测量的第二值的数学函数的变化点时输出维修所述车辆的通知。
根据一个实施例，所述数学函数是所述测量的第二值与所述预测的第二值的差值。
根据一个实施例，所述指令还包括用于进行以下操作的指令：在测量所述第一值之前从所述光学数据中过滤多个条件。
根据一个实施例，光学传感器是相机、雷达或激光雷达中的一者。
根据一个实施例，所述光学传感器是包括所述第一相机和第二相机的一对立体相机中的第一相机，并且所述第一值和所述第二值是来自所述立体相机的图像数据的视差图的数学函数。
根据本发明，提供了一种车辆，所述车辆具有：车身；光学传感器，所述光学传感器刚性地安装到所述车身；以及计算机，所述计算机通信地耦合到所述光学传感器；其中所述计算机被编程为：从所述光学传感器接收光学数据；使用调整模型来调整所述光学数据；在一定持续时间内测量来自所述光学数据的第一值，所述第一值是时变的并且按时间步长从所述光学数据聚合；在所述持续时间内基于所述第一值预测来自所述光学数据的第二值，所述第二值是时变的并且按时间步长从所述光学数据聚合；在所述持续时间内测量来自所述光学数据的所述第二值；以及使用所述预测的第二值和所述测量的第二值来修改所述调整模型。

Claims (15)

1.一种方法：
从车辆的光学传感器接收光学数据；
使用调整模型来调整所述光学数据；
在一定持续时间内测量来自所述光学数据的第一值，所述第一值是时变的并且按时间步长从所述光学数据聚合；
在所述持续时间内基于所述第一值预测来自所述光学数据的第二值，所述第二值是时变的并且按时间步长从所述光学数据聚合；
在所述持续时间内测量来自所述光学数据的所述第二值；以及
使用所述预测的第二值和所述测量的第二值来修改所述调整模型。
2.根据权利要求1所述的方法，其还包括在所述持续时间内从所述车辆的运动传感器接收运动数据，其中使用所述调整模型来调整所述光学数据是基于所述运动数据。
3.根据权利要求2所述的方法，其中修改所述调整模型是基于所述运动数据。
4.根据权利要求3所述的方法，其还包括基于所述运动数据、所述预测的第二值和所述测量的第二值来确定影响所述光学传感器的事件的类型，其中修改所述调整模型是基于所述事件的所述类型。
5.根据权利要求4所述的方法，其中所述事件的所述类型是基于所述运动数据与所述测量的第二值的数学函数之间的相关性。
6.根据权利要求1所述的方法，其中所述调整模型是由所述车辆的运动引起的所述光学传感器相对于所述车辆的运动的模型。
7.根据权利要求1所述的方法，其中所述第二值与所述第一值相比对所述车辆的运动具有更大灵敏度。
8.根据权利要求1所述的方法，其中使用所述测量的第二值与所述预测的第二值的差值来执行修改所述调整模型。
9.根据权利要求1所述的方法，其还包括对所述测量的第二值的数学函数执行自相关，并且响应于所述自相关低于阈值而禁止修改所述调整模型。
10.根据权利要求1所述的方法，其还包括在确定所述修改的调整模型没有比未修改的调整模型更准确地调整所述光学数据时输出维修所述车辆的通知。
11.根据权利要求1所述的方法，其还包括在识别到所述测量的第二值的数学函数的变化点时输出维修所述车辆的通知。
12.根据权利要求1所述的方法，其中所述光学传感器是相机、雷达或激光雷达中的一者。
13.根据权利要求1所述的方法，其中所述光学传感器是包括所述第一相机和第二相机的一对立体相机中的第一相机，并且所述第一值和所述第二值是来自所述立体相机的图像数据的视差图的数学函数。
14.一种计算机，其包括处理器和存储指令的存储器，所述指令能够由所述处理器执行以执行根据权利要求1至13中的一项所述的方法。
15.一种车辆，其包括：
车身；
光学传感器，所述光学传感器刚性地安装到所述车身；以及
根据权利要求14所述的计算机，所述计算机通信地耦合到所述光学传感器。
CN202210955299.0A 2021-08-19 2022-08-10 车辆光学传感器运动校正 Pending CN115931030A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/406,155 2021-08-19
US17/406,155 US11659261B2 (en) 2021-08-19 2021-08-19 Vehicle optical sensor motion correction

Publications (1)

Publication Number Publication Date
CN115931030A true CN115931030A (zh) 2023-04-07

Family

ID=85132286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210955299.0A Pending CN115931030A (zh) 2021-08-19 2022-08-10 车辆光学传感器运动校正

Country Status (3)

Country Link
US (1) US11659261B2 (zh)
CN (1) CN115931030A (zh)
DE (1) DE102022120219A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117553840A (zh) * 2024-01-11 2024-02-13 深圳汉光电子技术有限公司 一种基于智能化管理的仪表及其系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210278852A1 (en) * 2020-03-05 2021-09-09 Uatc, Llc Systems and Methods for Using Attention Masks to Improve Motion Planning

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
US9205776B2 (en) * 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
WO2017070629A1 (en) 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
JP6541590B2 (ja) 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
US10677900B2 (en) 2018-08-06 2020-06-09 Luminar Technologies, Inc. Detecting distortion using known shapes
US10997737B2 (en) * 2019-05-02 2021-05-04 GM Global Technology Operations LLC Method and system for aligning image data from a vehicle camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117553840A (zh) * 2024-01-11 2024-02-13 深圳汉光电子技术有限公司 一种基于智能化管理的仪表及其系统

Also Published As

Publication number Publication date
DE102022120219A1 (de) 2023-02-23
US11659261B2 (en) 2023-05-23
US20230054134A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US10558217B2 (en) Method and apparatus for monitoring of an autonomous vehicle
US10503170B2 (en) Method and apparatus for monitoring an autonomous vehicle
US9014915B2 (en) Active safety control for vehicles
US10733233B2 (en) Method and apparatus for generating situation awareness graphs using cameras from different vehicles
CN115931030A (zh) 车辆光学传感器运动校正
US10521974B2 (en) Method and apparatus for monitoring an autonomous vehicle
US11535253B2 (en) Lane change maneuver intention detection systems and methods
CN116577740A (zh) 车辆传感器的动态校准
US11760318B2 (en) Predictive driver alertness assessment
US11892574B2 (en) Dynamic lidar to camera alignment
CN116660871A (zh) 传感器偏差校正
CN114084143A (zh) 使用传感器数据进行道路状况分类的装置和方法
US20230099598A1 (en) Vehicle object tracking
US20220281451A1 (en) Target vehicle state identification for automated driving adaptation in vehicles control
US11377023B2 (en) Proactive headlight tracking for vehicle auto high beam assist
US11954913B2 (en) System and method for vision-based vehicle fluid leak detection
US11166003B1 (en) Dynamic vibration sensor optics distortion prediction
US20230306621A1 (en) Methods and systems for camera to lidar alignment using road poles
US20230104334A1 (en) Driver assistance apparatus and computer-readable recording medium
US20230123899A1 (en) Distance determination from image data
US20240005637A1 (en) Distance determination from image data
CN117585009A (zh) 检测车辆的自主操作
WO2023097125A1 (en) Systems and methods for automatic camera calibration
US20180197023A1 (en) Methods and systems for providing notifications on camera displays for vehicles
CN112581793A (zh) 操作具有立体摄像机系统和lidar传感器的机动车辆的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication