CN111919438A - 对光学传感器进行内置测试的系统和方法 - Google Patents

对光学传感器进行内置测试的系统和方法 Download PDF

Info

Publication number
CN111919438A
CN111919438A CN201980019385.7A CN201980019385A CN111919438A CN 111919438 A CN111919438 A CN 111919438A CN 201980019385 A CN201980019385 A CN 201980019385A CN 111919438 A CN111919438 A CN 111919438A
Authority
CN
China
Prior art keywords
image
hpf
optical sensor
image frame
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980019385.7A
Other languages
English (en)
Other versions
CN111919438B (zh
Inventor
沙哈尔·哈尼亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rail Vision Ltd
Original Assignee
Rail Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rail Vision Ltd filed Critical Rail Vision Ltd
Publication of CN111919438A publication Critical patent/CN111919438A/zh
Application granted granted Critical
Publication of CN111919438B publication Critical patent/CN111919438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081—On-board diagnosis or maintenance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种能够对(多个)光学传感器进行内置测试的光学系统及其方法，该光学系统包括一个或多个光学传感器和处理单元。处理单元包括内置测试模块，该内置测试模块被配置为检测由光学传感器中的至少一个光学传感器生成的图像中的至少一些图像的光学质量相对于其预期的光学质量的下降。内置测试模块可以被配置为确定其光学质量的下降是否是由于“外部光学干扰”(EOD)和/或光学传感器/系统的故障。处理单元可以包括相对内置测试模块，该相对内置测试模块被配置为对(多个)光学传感器中的至少两个光学传感器生成的至少一些图像进行比较并且确定其至少两个光学传感器中的哪个光学传感器(如果有的话)经历该EOD和/或故障中的至少一者。

Description

对光学传感器进行内置测试的系统和方法
技术领域
本发明涉及光学传感器的领域，并且更具体地，涉及用于光学传感器的内置测试的系统和方法。
背景技术
光学传感器(诸如，静物相机或摄像机)，在用于提供给定分辨率和/或给定信噪比(S/N)系数所需的视觉信息时，可能对诸如积聚在外部光学元件(例如，最外面的透镜)上的灰尘或湿气、由于潮湿的空气或含尘空气而引起的低可见性、低照明条件等(统称为“外部光学干扰”(EOD))的光学干扰非常敏感。需要使用这种光学传感器的系统能够验证使用这些传感器获取的帧是否由于EOD或由于系统内部的故障(光学、电子、物理或其他)而具有低光学质量。
发明内容
本发明的一个方面可以提供一种能够对其光学传感器进行内置测试的光学系统，该系统可以包括：光学传感器，被配置为生成多个图像帧；以及处理单元，与光学传感器通信，处理单元可以包括：内置测试模型，该内置测试模型被配置为：在多个图像的图像帧的子集中的至少一个图像帧中检测相应至少一个图像帧的一个或多个参数与其期望的一个或多个参数相比的至少一个变化；并且确定至少一个变化是由于光学传感器的外部光学干扰(EOD)还是由于光学传感器的故障。
在一些实施方式中，内置测试模块被配置为：对图像帧的子集中的每个图像帧应用快速傅里叶变换(FFT)以产生相应图像帧的FFT图像；对相应图像帧的FFT图像应用高通滤波器(HPF)以产生相应图像帧的HPF图像；对相应HPF图像的HPF图像的像素的值进行求和，以产生相应HPF图像的HPF灰度级总和值；确定相应HPF图像的HPF灰度级总和值是否高于预期的HPF灰度级总和阈值；并且如果相应图像帧的HPF灰度级总和值低于预期的HPF总和阈值，则指示光学传感器经历EOD和故障中的至少一者。
在一些实施方式中，内置测试模块还被配置为：检测相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；识别HPF灰度级总和值相对于预期的HPF灰度级总和值的至少一个变化的模式；并且基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，所述内置测试模块还被配置为：计算所采样的图像帧的子集中的每个图像帧的直方图，以产生相应图像帧的直方图；检测相应图像帧的直方图相对于其预期的直方图的至少一个变化；识别相应图像帧的直方图相对于预期的直方图的至少一个变化的模式；并且基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，内置测试模块还被配置为：计算相应图像帧中的指定对象对相应图像帧的直方图的贡献；检测指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化；识别指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化的模式；并且基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，内置测试模块还被配置为：对采样的图像帧中的每个图像帧应用高通滤波器(HPF)以产生相应图像帧的HPF图像；对相应HPF图像中高于预期的HPF灰度级阈值的像素的灰度级进行求和，以产生相应HPF图像的HPF灰度级总和值；检测相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；识别HPF灰度级总和值相对于预期的HPF灰度级总和值的至少一个变化的模式；并且基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，系统包括至少两个光学传感器，并且处理单元包括相对内置测试模块，相对内置测试模块被配置为：接收由至少两个传感器中的第一光学传感器生成的第一多个图像帧的图像帧的第一子集中的第一图像；接收由至少两个传感器中的第二光学传感器生成的第二多个图像的图像帧的第二子集中的第二图像，其中，第二图像帧对应于第一图像帧；将第一图像帧和第二图像帧缩放到相同的尺寸和分辨率以产生第一缩放的图像和第二缩放的图像；对第一缩放的图像应用快速傅里叶变换(FFT)以产生第一缩放的FFT图像并且对第二缩放的图像应用FFT以产生第二缩放的FFT图像；确定第一缩放的FFT图像与第二缩放的FFT图像之间的差异；确定第一缩放的FFT图像与第二缩放的FFT图像之间的差异是否高于预期的差异阈值；并且基于差异并且当差异高于预期差异阈值时，确定第一光学传感器和第二光学传感器中的哪一个经历EOD或故障。
在一些实施方式中，系统可布置在列车的机车上，使得光学传感器面向列车90的行进方向，其中，处理单元还包括障碍物检测模块，障碍物检测模块被配置为分析多个图像帧中的至少一些图像帧，并且在所分析的图像帧中检测和识别铁路以及在铁路上或者在铁路的已定义临近区中的潜在障碍物。
本发明的另一个方面提供了一种对光学系统的光学传感器进行内置测试的方法，该方法可以包括：从光学传感器接收多个图像帧；以及在多个图像的图像帧的子集的至少一个图像帧中，检测相应至少一个图像帧的一个或多个参数与其期望的一个或多个参数相比的至少一个变化；以及确定至少一个变化是由于光学传感器的外部光学干扰(EOD)还是由于光学传感器的故障。
在一些实施方式中，该方法还包括：对图像帧的子集中的每个图像帧应用快速傅里叶变换(FFT)以产生相应图像帧的FFT图像；对相应图像帧的FFT图像应用高通滤波器(HPF)以产生相应FFT图像的HPF图像；对相应HPF图像的HPF图像的像素的值进行求和，以产生相应HPF图像的HPF灰度级总和值；确定相应HPF图像的HPF灰度级总和值是否高于预期的HPF总和阈值；以及如果相应图像帧的HPF灰度级总和值低于预期的HPF灰度级总和阈值，则指示光学传感器经历EOD和故障中的至少一者。
在一些实施方式中，该方法还包括：检测相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；识别HPF灰度级总和值相对于预期的HPF灰度级总和值的至少一个变化的模式；以及基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，该方法还包括：计算所采样的图像帧的子集中的每个图像帧的直方图以产生相应图像帧的直方图；检测相应图像帧的直方图相对于其预期的直方图的至少一个变化；识别相应图像帧的直方图相对于预期的直方图的至少一个变化的模式；以及基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，该方法还包括：计算相应图像帧中的指定对象对相应图像帧的直方图的贡献；检测指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化；识别指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化的模式；以及基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，该方法还包括：对所采样的图像帧中的每个图像帧应用高通滤波器以产生相应图像帧的HPF图像；对相应HPF图像中高于预期的HPF灰度级阈值的像素的灰度级进行求和以产生相应HPF图像的HPF灰度级总和值；检测相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；识别HPF灰度级总和值相对于预期的HPF灰度级总和值的至少一个变化的模式；以及基于模式确定至少一个变化是由于EOD还是由于光学传感器的故障。
在一些实施方式中，所述方法还包括：接收由至少两个传感器中的第一光学传感器生成的第一多个图像帧中的图像帧的第一子集的第一图像；接收由至少两个传感器中的第二光学传感器生成的第二多个图像中的图像帧的第二子集的第二图像，其中，第二图像帧对应于第一图像帧；将第一图像帧和第二图像帧缩放到相同的尺寸和分辨率以产生第一缩放的图像和第二缩放的图像；对第一缩放的图像应用快速傅里叶变换(FFT)以产生第一缩放的FFT图像且对第二缩放的图像应用FFT以产生第二缩放的FFT图像；确定第一缩放的FFT图像与第二缩放的FFT图像之间的差异；确定第一缩放的FFT图像与第二缩放的FFT图像之间的差异是否高于预期的差异阈值；以及基于差异并且当差异高于预期的差异阈值时，确定第一光学传感器和第二光学传感器中的哪一个经历EOD或故障。
在一些实施方式中，所述方法还包括：将光学传感器放置在列车的机车上，使得光学传感器面向该列车的行进方向；分析多个图像帧中的至少一些图像帧；以及在所分析的图像帧中检测和识别铁路以及铁路上或铁路的已定义临近区中的潜在障碍物。
本发明的这些附加的和/或其他方面和/或优点在下面的详细描述中阐述；可从详细描述中推断；和/或可通过本发明的实施方式的实践来习得。
附图说明
为了更好地理解本发明的实施方式以及示出本发明的实施方式可以被如何实现，现在将纯粹以示例的方式参考附图，其中相同的数字始终表示对应的元件或部分。
在附图中：
图1A是根据本发明的一些实施方式的能够对其光学传感器进行光学内置测试的光学系统的示意图；
图1B是根据本发明的一些实施方式的包括多个光学传感器并且能够对其光学传感器进行内置测试和相对内置测试的光学系统的示意图；
图1C是根据本发明的一些实施方式的对光学系统的光学传感器进行内置测试的方法的流程图；
图1D是根据本发明的一些实施方式的在光学系统的两个光学传感器之间进行相对内置测试的方法的流程图；
图2是根据本发明的一些实施方式的通过移动列车进行障碍物检测并且能够对其光学传感器进行内置测试和相对内置测试的光学系统的示意图；
图3是根据本发明的实施方式的由包括至少两个光学传感器的光学系统拍摄的一组图像帧(其中，与图像帧的第二子集相比，相对内置测试应用于图像帧的一个子集)；
图4是根据本发明的实施方式的呈现输入图像帧的一组图像帧，该输入图像帧在应用阈值滤波器之后并且在应用噪声滤波器之后；
图5是根据本发明的实施方式的包括用光学系统的光学传感器的干净透镜拍摄的图像帧和用光学系统的光学传感器的非干净透镜拍摄的图像帧以及由减去其帧图像得到的帧的一组帧；
图6是根据本发明的实施方式的一组图像帧，该一组图像帧示出了实现FFT运算器的光学系统的光学传感器拍摄的图像帧，以及已经对其操作了减法、阈值和噪声降低的这些帧的导数；以及
图7是根据本发明的一些实施方式的对光学系统的光学传感器进行内置测试的方法的流程图。
应理解，为了说明的简单和清楚起见，图中所示的元件不一定是按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被放大。此外，在认为适当的情况下，可以在附图中重复附图标记，以指示对应的或类似的元件。
具体实施方式
在下面的描述中，描述了本发明的各个方面。为了说明的目的，阐述了具体的配置和细节，以提供对本发明的透彻理解。然而，对于本领域技术人员来说，显而易见的是，可以在没有本文给出的具体细节的情况下，实践本发明。此外，为了不使本发明变得模糊，可以省略或简化众所周知的特征。具体参考附图，应强调的是，所示出的细节是示例性方式的并且仅为了本发明的说明性讨论的目的，并且为了提供被确信为本发明的原理和概念性方面的最实用和易于理解的说明而呈现。鉴于此，没有试图以比基本理解本发明更详细的方式显示本发明的结构细节，且参照附图的说明使本领域的技术人员清楚在实际中可以如何实施本发明的多个形式。
在详细说明本发明的至少一个实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本发明适用于可以以不同方式实践或实施的其他实施方式以及所公开的实施方式的组合。同样，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。
除非特别声明，否则从下面的讨论可知，可以理解在整个说明书中，利用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”等的术语的讨论，指代计算机或计算系统，或类似的电子计算设备的动作和/或过程，计算机或计算系统或者类似的电子计算设备操纵和/或将表示计算机系统寄存器和/或存储器内的物理(注入，电子)量的数据转换成其他数据，类似地表示为计算机系统存储器、寄存器或其他这种信息存储、发送或显示设备内的物理量的数据。任何公开的模块或单元可至少部分地由计算机处理器实现。
通常，公开了一种能够对(多个)光学传感器进行内置测试的光学系统及其方法，该光学系统包括一个或多个光学传感器和处理单元。
根据一些实施方式，处理单元包括内置测试模块。内置测试模块可以被配置为检测由光学传感器生成的图像中的至少一些图像的光学质量相对于其期望的光学质量的降低。在各种实施方式中，内置测试模块被进一步配置为用于确定其光学质量的降低是否是由于“外部光学干扰”(EOD)和/或(多个)光学传感器/系统的故障。
根据一些实施方式，处理单元包括相对内置测试模块。相对内置测试模块可以被配置为比较由光学传感器中的至少两个光学传感器生成的至少一些图像，并且确定由至少两个光学传感器中的一个光学传感器生成的图像帧的光学质量相对于至少两个光学传感器中的另一光学传感器的降低。光学质量的降低可能是由于例如EOD和/或故障。
本发明的一个优点是实现由内置测试模块和/或相对内置测试模块执行的方法可以消耗较少的执行方法所需的计算资源。本发明的另一个优点是实现由内置测试模块和/或相对内置测试模块执行的方法消除了对任何预定参考数据/图像帧的需要。
因此，在提供高故障覆盖概率的同时，可以实时(例如，对图像帧的流没有任何延迟)执行其方法的实现，而实际上不会影响光学系统/处理单元的操作功能。此外，其方法不需要保存/存储图像帧来执行这些方法，并且因此与需要保存帧用于进一步处理的方法相比，每个不需要保存的图像帧可以使光学系统的总体存储空间减少约6Mb。
现在参考图1A，图1A是根据本发明的一些实施方式的能够对其光学传感器110进行光学内置测试的光学系统100的示意图。
根据一些实施方式，系统100包括光学传感器110和处理单元120(例如，如图1A所示)。处理单元120可以与光学传感器110通信(有线或无线)。光学传感器110可以是例如静物相机或摄像机。
光学传感器110可被配置为生成场景在其视野(FOV)中的多个图像帧112。处理单元120可以被配置为从光传感器110接收多个图像帧112。
根据一些实施方式，处理单元120包括内置测试模块130。内置测试模块130可以被配置为基于由光学传感器110生成的图像帧中的至少一些图像帧来对光学传感器110进行内置测试。
处理单元120可以被配置为根据期望的测试频率和根据光学传感器110的帧速率周期性地对多个图像帧112中的图像帧进行采样，以产生所采样的图像帧(SIF)114的子集并且将所采样的图像帧114的子集输入到内置测试模块130。
内置测试模块130可以被配置为检测与其期望的光学质量相比所采样的图像帧114的子集中的至少一个图像帧的光学质量的降低。可以基于与其期望的高空间频率能量相比相应(多个)图像帧的高空间频率能量的减少/降级来确定(多个)图像帧的光学质量的降低。可通过例如对(多个)相应图像帧应用频域的任何变换(例如，快速傅里叶变换(FFT)，如下文关于图1C所描述的)来执行对(多个)图像帧的高空间频率能量的减少/降级的检测。
在一些实施方式中，内置测试模块130被配置为确定所检测的至少一个图像帧的光学质量的降低是由于光学传感器110的外部光学干扰(EOD)还是由于光学传感器110的故障(例如，光学、电子、物理等)。
根据各种实施方式，内置测试模块130被配置为用于基于相应至少一个图像帧的一个或多个参数与其期望的一个或多个参数相比的至少一个变化来检测该至少一个图像帧的光学质量的下降。在一些实施方式中，内置测试模块130被配置为确定其(多个)变化是由于光学传感器110的EOD还是由于光学传感器110的故障(例如，如下面关于图1C所描述的)。
根据一些实施方式，处理单元120包括图像帧的存储库122。处理单元120可以被配置为在存储库122中存储由光学传感器110生成的多个图像帧112中的至少一些图像帧。
在一些实施方式中，存储库122与内置模块130通信。在一些实施方式中，存储库122包括一个DDR驱动器。
现在参见图1B，图1B是根据本发明的一些实施方式的包括多个光学传感器110并且能够对其光学传感器110进行内置测试和相对内置测试的光学系统100的示意图。
根据一些实施方式，系统100包括多个光学传感器110(例如，如图1B所示)。例如，系统100可包括K个光学传感器110(1)至110(K)(例如，如图1B所示)。多个光学传感器110(1)至110(K)中的每个光学传感器可被配置为生成相应多个图像帧，以产生多个图像帧112(1)至112(K)(例如，如图1B所示)。
处理单元120可以被配置为对来自多个图像帧112(1)至112(K)的图像帧进行采样，以产生所采样的图像帧114(1)至114(K)的相应子集(例如，如以上关于图1A所描述的)。
处理单元120的内置测试模块130可以被配置为对光学传感器110(1)至110(K)中的至少一个光学传感器(或每个光学传感器)进行内置测试，以由此检测和/或确定由相应光学传感器生成的(多个)图像帧的光学质量的降低是否是由于EOD和/或由于相应光学传感器的故障(例如，如以上关于图1A所描述的以及如以下关于图1C所描述的)。
在各种实施方式中，内置测试模块130被配置为各自在不同的时间对光学传感器110(1)至110(K)中的一个光学传感器进行内置测试，或对光学传感器110(1)至110(K)中的两个或更多个光学传感器并行地进行内置测试。在一些实施方式中，系统100包括两个或更多个内置测试模块130，其被配置为对光学传感器110(1)至110(K)中对应两个或更多个光学传感器进行并行内置测试。
根据一些实施方式，系统100包括相对内置测试模块140。相对内置测试模块140可以被配置为比较(多个)光学传感器110(1)至110(K)中对应至少两个光学传感器的采样图像114(1)至114(2)的至少两个子集的图像帧。相对内置测试模块140可被配置为基于其比较来检测和指示光学传感器110(1)至110(K)中的至少两个光学传感器中的哪一个(如果有的话)由于例如EOD和/或故障(例如，如下面关于图1D所述)而相对于彼此生成光学质量降低的图像帧。
在一些实施方式中，相对内置测试模块可以与图像帧的存储库122通信。
应注意，以下描述(例如，关于图1C和图1D、图3、图4、图6和图7作出的描述)提供快速傅里叶变换(FFT)作为图像帧到频域的变换的实例。应理解，也可使用到频域的其他变换。
现在参见图1C，其是根据本发明的一些实施方式对光学系统100的光学传感器110进行内置测试的方法的流程图。
应注意，该方法不限于图1C中所示的流程图和相应的描述。例如，在各种实施方式中，该方法不需要经过每个所示的方框或阶段，或者按照与所示出和描述完全相同的顺序。
根据一些实施方式，处理单元120被配置为从光学传感器接收多个图像帧(阶段120-1)。例如，以上关于图1A所描述的多个图像帧112和光学传感器110。
应注意，为了清楚起见，图1C示出了对单个光学传感器进行内置测试的方法，并且其方法可应用于光学系统的光学传感器中的每一个。
根据一些实施方式，处理单元120被配置为根据期望的测试频率和根据光学传感器的帧速率周期性地对多个图像帧中的图像帧进行采样(阶段120-2)，以产生采样的图像帧的子集。例如，如以上关于图1A和图1B所描述的所采样的图像帧114的子集。
内置测试模块130可以被配置为基于采样的图像帧的子集中的每个图像帧应用内置测试。
根据一些实施方式，内置测试模块130被配置为对所采样的图像帧的子集中的每个图像帧应用快速傅里叶变换(FFT)以产生相应图像帧的FFT图像(阶段130-1)。FFT图像例如可表示相应图像帧的二维(2D)空间频域。
在一些实施方式中，内置测试模块130被配置为用于对相应图像帧的FFT图像应用高通滤波器(HPF)以便产生相应FFT图像的HPF图像(阶段130-2)。
在一些实施方式中，内置测试模块130被配置为对相应HPF图像的像素的能量/灰度级求和，以产生相应HPF图像的HPF灰度级总和值(阶段130-3)。在一些实施方式中，相对于相应HPF图像的像素数量(例如，而不是相对于其HPF灰度级总和值)执行阶段130-3至130-6。
在一些实施方式中，内置测试模块130被配置为确定相应HPF图像的HPF灰度级总和值是否高于预期HPF灰度级总和阈值(阶段130-4)。
HPF灰度级总和值可以指示例如光学传感器的EOD或光学传感器的故障。例如，低于预期的HPF灰度级总和阈值的HPF灰度级总和值可以指示光学传感器可能经历EOD或故障。
在一些实施方式中，当相应HPF图像的HPF灰度级总和值低于预期的HPF灰度级总和阈值时，内置测试模块130被配置为指示光学传感器经历EOD或故障中的至少一者(阶段130-5)。
在其他实施方式中，当相应HPF图像的HPF灰度级总和值高于预期的HPF灰度级总和阈值时，内置测试模块130被配置为对采样的图像帧的后续图像帧进行内置测试(阶段130-1)。
根据一些实施方式，内置测试模块130被配置为检测相应HPF图像的HPF灰度级总和值相对于其预期的/预定义的HPF灰度级总和值的至少一个变化(阶段130-6)。应注意，可以跟踪HPF图像的其他参数(例如，而不是HPF灰度级总和值)以用于检测其(多个)变化。
相应HPF的HPF灰度级总和值相对于预期的HPF灰度级总和值的(多个)变化可以指示例如EOD和/或光学传感器/系统的故障。(多个)变化可以例如包括与HPF灰度级总和值的预期值相比HPF灰度级总和值的平均值和/或标准偏差的变化。
例如，HPF图像的低频率的(多个)变化以及由此导致的HPF灰度级总和值的平均值相对于预期的HPF灰度级总和值的慢漂移变化(例如，在1-3秒的时间范围内)可以指示天气条件的变化(例如，EOD)。在另一实例中，与预期的HPF灰度级总和值相比，HPF灰度级总和值的快速变化(例如，阶梯函数，如1/30-1/25秒的时间范围内的变化/多个变化)可以指示光学传感器的物理影响/故障。
在一些实施方式中，当检测到HPF灰度级总和值相对于预期HPF灰度级总和值的变化时，内置测试模块130被配置为指示光学传感器经历EOD和故障中的至少一者(阶段130-5)。
在一些实施方式中，内置测试模块130还被配置为确定(多个)变化是由于EOD还是由于光学传感器/系统的故障(阶段130-7)。例如，内置测试模块130可以被配置为相对于期望的HPF灰度级总和值识别HPF灰度级总和值的变化的模式(例如，如上所述的快速或慢漂移变化)，并且基于其模式确定该变化是由于外部光学干扰还是由于光学传感器/系统的故障。
在其他实施方式中，当未检测到HPF灰度级总和值相对于预期HPF灰度级总和值的变化时，内置测试模块130被配置为对采样的图像帧中的后续图像帧进行内置测试(阶段130-1)。
根据一些实施方式，内置测试模块130被配置为用于计算采样的图像帧的子集中的每个图像帧的直方图以产生相应图像帧的直方图(HIST)(阶段130-8)。
在一些实施方式中，内置测试模块130被配置为检测相应图像帧中的指定对象对相应图像帧的直方图的贡献(阶段130-9)。例如，在光学系统是通过移动列车检测障碍物的系统的情况下，指定对象可以是铁路轨道(例如，如下面关于图2所描述的)。
在各种实施方式中，内置测试模块130被配置为检测相应图像帧的直方图相对于其预期的直方图的至少一个变化和/或指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化(阶段130-9)。例如，其(多个)变化可以包括直方图的平均值和/或标准偏差或相应图像的直方图的贡献相比于其预期的值的变化。
相应图像的直方图相对于其预期的直方图的(多个)变化和/或指定对象对直方图的贡献相对于预期的贡献的(多个)变化可以指示例如EOD和/或光学传感器/系统的故障。例如，(多个)快速变化可以指示光学传感器的物理损坏/阻塞(例如，故障)。在另一实例中，(多个)小漂移变化可以指示变化的天气条件(例如，EOD)。
在不同实施方式中，当检测到相应图像帧的直方图相对于预期的直方图的(多个)变化和/或该贡献相对于对相应图像帧的直方图的预期的贡献的变化时，内置测试模块130被配置为指示光学传感器经历EOD和故障中的至少一个(阶段130-5)。
在一些实施方式中，内置测试模块130还被配置为确定(多个)变化是由于EOD还是由于光学传感器/系统的故障(阶段130-7)。例如，内置测试模块130可以被配置为识别相应图像帧的直方图相对于预期的直方图的(多个)变化的模式或者指定对象对相应图像帧的直方图的贡献的(多个)变化的模式(例如，如上所述的(多个)慢漂移变化中的快速变化)，并且基于其(多个)模式确定(多个)变化是由于EOD还是由于光学传感器/系统的故障。
在其他实施方式中，当未检测到相应图像帧的直方图相对于预期的直方图的变化和/或指定对象对相应图像帧的直方图的贡献的变化时，内置测试模块130被配置为对采样的图像帧中的后续图像帧进行内置测试(阶段130-1)。
根据一些实施方式，内置测试模块130被配置为对采样的图像帧中的每个图像帧应用盒子/斑点(DOB)滤波器(或任何高通滤波器(HPF)滤波器)的差异，以产生相应图像帧的DOB/HPF图像(阶段130-11)。
在一些实施方式中，内置测试模块130被配置为对相应图像帧的DOB/HPF图像中高于预期的DOB/HPF阈值的像素的能量/灰度级进行求和以产生相应DOB/HPF图像的DOB/HPF灰度级总和值(阶段130-12)。在一些实施方式中，相对于相应DOB/HPF图像的像素的数量(例如，而不是相对于其DOB/HPF灰度级总和值)执行阶段130-12至130-13。
在一些实施方式中，内置测试模块130被配置为检测相应DOB/HPF图像的DOB/HPF灰度级总和值相对于其预期的DOB/HPF灰度级总和值的至少一个变化(阶段130-13)。
相应DOB/HPF图像的DOB/HPF灰度级总和值相对于预期的DOB/HPF灰度级总和值的变化可指示例如EOD和/或光学传感器/系统的故障。(多个)变化可以例如包括与其预期的值相比DOB/HPF灰度级总和值的平均值和/或标准偏差的变化。例如，DOB/HPF灰度级总和值的快速变化可指示光学传感器的故障。在另一实例中，(多个)慢漂移变化可以指示EOD。
在一些实施方式中，当检测到DOB/HPF灰度级总和值相对于预期的DOB/HPF灰度级总和值的变化时，内置测试模块130被配置为指示光学传感器经历EOD和故障中的至少一者(阶段130-5)。
在一些实施方式中，内置模块130还被配置为确定(多个)变化是由于EOD还是由于光学传感器/系统的故障(阶段130-7)。例如，内置测试模块130可被配置为识别DOB/HPF灰度级总和值相对于预期的DOB/HPF灰度级总和值的(多个)变化的模式(例如，快速或慢漂移变化，如上所述)，并且基于其模式确定(多个)变化是由于外部光学干扰还是由于光学传感器/系统的故障。
在其他实施方式中，当未检测到DOB/HPF灰度级总和值相对于预期的HPF灰度级总和值的变化时，内置测试模块130被配置为对采样的图像帧中的后续图像帧进行内置测试(阶段130-1)。
根据一些实施方式，内置测试模块130被配置为通过利用相应图像帧的FFT通道(例如，阶段130-1至130-6)、HIST通道(例如，阶段130-8至130-10)、DOB/HPF通道(130-11至130-13)中的至少一个或其任意组合来对光学传感器进行内置测试。
根据一些实施方式，由内置测试模块130使用机器学习和/或深度学习技术来确定预期的参数。例如，内置测试模块130可以被配置为从由光学传感器生成的多个图像帧周期性采样的图像帧导出预期参数和/或对其进行修改。
如以上关于图1C所描述的，预期参数可以例如包括预期的HPF总和阈值、预期的HPF灰度级总和值、预期的直方图、指定对象对直方图的预期贡献、预期的HPF/DOB阈值和/或预期的HPF/DOB灰度级总和值。
根据一些实施方式，内置模块130被配置为在相应图像帧中检测在先前图像帧中出现的至少一个物体(例如，建筑物、柱子、桥梁等)的至少一个变化(例如，消失)，并且基于其变化确定光学传感器经历EOD和/或故障。
现在参考图1D，图1D是根据本发明的一些实施方式的在光学系统100的两个光学传感器110之间进行相对内置测试的方法的流程图。
应注意，该方法不限于图1C中所示的流程图和相应的描述。例如，在各种实施方式中，该方法不需要移动通过每个示出的方框或阶段，或以与所示出和描述完全相同的顺序移动。
根据一些实施方式，处理单元120被配置为接收来自光学系统100的光学传感器中的第一光学传感器的第一多个图像帧和来自第二光学传感器的第二多个图像帧(阶段120-1)。例如，第一光学传感器和第二光学传感器可以是如以上关于图1B描述的光学传感器110(1)至110(K)中的任何一个。
根据一些实施方式，处理单元120被配置为周期性地对第一多个图像帧进行采样以产生采样的图像帧的第一子集，并且周期性地对第二多个图像帧进行采样以产生采样的图像帧的第二子集(阶段120-2)(例如，如以上参见图1A、图1B和图1C所描述的)。
相对内置测试模块140可以被配置为基于采样的图像帧的第一子集中的每个图像帧和采样的图像帧的第二子集中的对应图像帧来应用相对内置测试。
根据一些实施方式，相对内置测试模块140被配置为接收来自采样的图像帧的第一子集的第一图像帧和采样的图像帧的第二子集的第二图像帧，其中，第二图像帧对应于第一图像帧(阶段140-1)。
在各种实施方式中，第一图像帧的尺寸和/或分辨率与第二图像帧的尺寸和/或分辨率相比是不同的。在这些实施方式中，相对内置测试模块140被配置为将第一图像帧和第二图像帧缩放到相同的尺寸和/或分辨率以产生第一缩放的图像和第二缩放的图像(阶段140-2)。
在一些实施方式中，相对内置测试模块140被配置为对第一缩放的图像应用FFT以产生第一缩放的FFT图像并且对第二缩放的图像应用FFT以产生第二缩放的FFT图像(阶段140-3)。在一些实施方式中，利用对第一缩放的图像帧和第二缩放的图像帧的图像的增益校正和归一化来对第一缩放的图像帧和第二缩放的图像帧中的每一者应用FFT。
在一些实施方式中，相对内置测试模块140被配置为确定第一缩放的FFT图像与第二缩放的FFT图像之间的差异(阶段140-4)。例如，可通过从第二缩放的FFT图像减去第一缩放的FFT图像或者通过从第一缩放的FFT图像减去第二缩放的FFT图像来确定其差异。
在一些实施方式中，相对内置测试模块140被配置为确定第一缩放的FFT图像与第二缩放的FFT图像之间的差异是否高于预期的差异阈值(阶段140-5)。
在一些实施方式中，当第一缩放的FFT图像与第二缩放的FFT图像之间的差异高于预期差异阈值时，相对内置测试模块140被配置为基于其差异确定第一光学传感器和第二光学传感器中的哪一个经历EOD或故障(阶段140-6)。
在其他实施方式中，当第一缩放的FFT图像和第二缩放的FFT图像之间的差异低于预期差异阈值时，相对内置测试模块140被配置为将相对内置测试应用于第一采样图像帧集合的后续图像帧和第二采样图像帧集合的相应后续图像帧(阶段140-1)。
现在参见图2，图2是根据本发明的一些实施方式的用于通过移动列车90进行障碍物检测并且能够对其光学传感器210进行内置测试和相对内置测试的光学系统200的示意图。
根据一些实施方式，光学系统200包括一个或多个光学传感器210和与(多个)光学传感器210通信的处理单元220。系统200可以设置在例如列车90的机车92上，使得光学传感器210面向列车90的行进方向。例如，光学系统200、(多个)光学传感器210和/或处理单元220可分别类似于如以上关于图1A、图1B、图1C和图1D描述的光学系统100、(多个)光学传感器110和/或处理单元120。
(多个)光学传感器210可生成环境的图像(例如，如以上关于图1A和图1B所描述的多个图像帧112)。
根据一些实施方式，处理单元220包括障碍物检测识别模块225。障碍物检测识别模块225可被配置为分析由光学传感器210生成的图像并识别图像中的铁路80和/或识别铁路80上或铁路80的已定义临近区内的潜在物体/障碍物70。
根据一些实施方式，处理单元220包括以下各项中的至少一项：内置测试模块230(例如，类似于如以上关于图1A、图1B和图1C所描述的内置测试模块130)和相对内置测试模块240(例如，类似于如以上关于图1B和图1D所描述的相对内置测试模块140)。
内置测试模块230可以被配置为检测由光学传感器210中的至少一个生成的图像的光学质量的下降，并且在一些实施方式中，确定其光学质量的下降是否是由于EOD和/或故障(例如，如以上关于图1A、图1B和图1C所描述的)。
相对内置测试模块240可以被配置为比较由(多个)光学传感器210中的至少两个光学传感器生成的图像，并且检测其至少两个光学传感器中的哪一个(如果有的话)经历EOD和/或故障中的至少一者(例如，如以上关于图1B和图1D所描述的)。
根据一些实施方式，并行进行(例如，由内置测试模块230进行的)内置测试和(例如，由相对内置测试模块240进行的)相对内置测试。
现在参见图3，图3是根据本发明的实施方式的包括至少两个光学传感器(诸如，光学传感器110或210)的光学系统(诸如，光学系统100或200)拍摄的一组图像帧，其中，与图像帧的第二子集相比，相对内置测试应用于图像帧的一个子集。
帧302是输入图像。帧304是输入图像302的模糊图像。帧306是帧302的ROI图像。帧308是帧304的模糊图像。帧310是用FFT滤波器对图像302进行滤波的结果。帧312是帧308的FFT滤波结果。
现在参见图4，图4是根据本发明的实施方式的呈现输入图像帧的一组图像帧，该输入图像帧在应用阈值滤波器之后并且在应用噪声滤波器之后。
帧402是输入图像，帧404是对帧402激活阈值的结果，而帧406是对帧406进行降噪操作的结果。
现在参见图5，图5是根据本发明的实施方式的一组帧，一组帧包括利用光学系统的光学传感器(诸如，光学传感器110、210和光学系统100、200)的干净透镜拍摄的图像帧和利用光学系统的光学传感器的非干净透镜拍摄的图像帧以及由减去其帧图像得到的帧。
图像帧502示出了用光学传感器的干净透镜拍摄的图像。图像帧504示出了用光学传感器的非干净透镜拍摄的相同场景的图像，并且帧506示出了通过对图像帧502和504应用差分运算符而得到的图像。
现在参见图6，图6是根据本发明的实施方式的一组图像帧，该一组图像帧示出了实现FFT运算器的光学系统的光学传感器(诸如，光学传感器110、210和光学系统100、200)拍摄的图像帧，以及已经对其操作了减法、阈值和噪声降低的这些帧的导数。
图像帧606示出了对经历由具有干净透镜的光学传感器拍摄的FFT的输入图像帧(图像帧602)操作差分运算符的结果以及由具有非干净透镜的光学传感器拍摄的图像帧(图像帧604)的FFT结果。图像帧608示出了对帧606的图像应用阈值的结果(所得到的伪像608b示为用圆圈608a环绕)。图像帧610示出了对帧608的图像应用噪声降低的结果。图像帧612示出了对图4中所示的输入应用逆FFT和噪声降低及差分的结果。
现在参见图7，图7是根据本发明的一些实施方式的对光学系统的光学传感器进行内置测试的方法700的流程图。
方法700可以由可被配置以实现方法700的光学系统100(例如，如以上关于图1A、图1B、图1C和图1D所描述的)或光学系统200(例如，如以上关于图2所描述的)实现。应注意，方法700不限于图7所示的流程图和相应的描述。例如，在各种实施方式中，方法700不需要移动通过每个示出的方框或阶段，或以与所示出和描述完全相同的顺序移动。
根据一些实施方式，方法700包括从光学系统的光学传感器接收多个图像帧(阶段702)。例如，光学传感器可以是光学传感器110和210中的任何一个，并且光学系统可以是光学系统100和200中的任何一个(分别如以上关于图1A至图1D和图2所描述的)
在一些实施方式中，方法700包括在多个图像的图像帧的子集的至少一个图像帧中检测相应至少一个图像帧的一个或多个参数与其期望的一个或多个参数相比的至少一个变化(阶段704)。例如，图像帧的子集可以是采样的图像的子集114(例如，如以上关于图1A和图1C所描述的)。
在一些实施方式中，方法700包括确定至少一个变化是由于光学传感器的外部光学干扰(EOD)还是由于光学传感器的故障(阶段706)(例如，如以上关于图1A所描述的)。
根据一些实施方式，方法700包括对图像帧的子集的每个图像帧应用快速傅里叶变换(FFT)以产生相应图像帧的FFT图像(阶段710)(例如，如以上关于图1C所描述的)。应注意，可以对图像帧应用到频域的其他变换(而非FFT)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括对相应图像帧的FFT图像应用高通滤波器(HPF)以产生相应FFT图像的HPF图像(阶段712)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括对相应HPF图像的HPF图像的像素的能量/灰度级进行求和，以产生相应HPF图像的HPF灰度级总和值(阶段714)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括确定相应的HPF图像的HPF灰度级总和值是否高于预期的HPF灰度级总和阈值(阶段716)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括，如果相应HPF图像的HPF灰度级总和值低于预期的HPF灰度级总和阈值，指示光学传感器经历EOD和故障中的至少一者(阶段718)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括检测相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化(阶段720)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括识别HPF灰度级总和值相对于预期的HPF灰度级总和值的至少一个变化的模式(阶段722)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括基于该模式确定该至少一个变化是由于EOD还是由于光学传感器的故障(阶段724)(例如，如以上关于图1C所描述的)。
根据一些实施方式，方法700包括计算采样的图像帧的子集中的每个图像帧的直方图，以产生相应图像帧的直方图(阶段730)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括检测相应图像帧的直方图相对于其预期的直方图的至少一个变化(阶段732)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括识别相应图像帧的直方图相对于预期的直方图的至少一个变化的模式(阶段734)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括基于该模式确定该至少一个变化是由于EOD还是由于光学传感器的故障(阶段736)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括计算相应图像帧中的指定对象对相应图像帧的直方图的贡献(阶段738)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括检测指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化(阶段740)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括识别指定对象对相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化的模式(阶段742)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括基于该模式确定该至少一个变化是由于EOD还是由于光学传感器的故障(阶段744)(例如，如以上关于图1C所描述的)。
根据一些实施方式，方法700包括对采样的图像帧中的每个图像帧应用盒子/斑点(DOB)滤波器或任何其他高通滤波器(HPF)的差异，以产生相应图像帧的DOB/HPF图像(阶段750)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括对相应DOB/HPF图像的DOB/HPF图像中高于预期的DOB/HPF阈值的像素的能量/灰度级进行求和，以产生相应DOB/HPF图像的DOB/HPF灰度级总和值(阶段752)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括检测相应图像帧的DOB/HPF灰度级总和值相对于其预期的DOB/HPF灰度级总和值的至少一个变化(阶段754)(例如，如以上关于图1C所描述的)。
在一些实施方式中，方法700包括识别DOB/HPF灰度级总和值相对于预期的DOB/HPF灰度级总和值的至少一个变化的模式(阶段756)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括基于该模式确定该至少一个变化是由于EOD还是由于光学传感器的故障(阶段758)(例如，如以上关于图1C所描述的)。
根据一些实施方式，方法700包括接收由至少两个传感器中的第一光学传感器生成的第一多个图像帧的图像帧的第一子集的第一图像(阶段760)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括接收由至少两个传感器中的第二光学传感器生成的第二多个图像的图像帧的第二子集的第二图像，其中，第二图像帧对应于第一图像帧(阶段762)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括将第一图像帧和第二图像帧缩放到相同的尺寸和分辨率以产生第一缩放的图像和第二缩放的图像(阶段764)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括对第一缩放的图像应用快速傅里叶变换(FFT)以产生第一缩放的FFT图像，并且对第二缩放的图像应用FFT以产生第二缩放的FFT图像(阶段766)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括确定第一缩放的FFT图像和第二缩放的FFT图像之间的差异(阶段768)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括确定第一缩放的FFT图像和第二缩放的FFT图像之间的差异是否高于预期差异阈值(阶段770)(例如，如以上关于图1D所描述的)。
在一些实施方式中，方法700包括基于差异并且当差异高于预期的差异阈值时确定第一光学传感器和第二光学传感器中的哪一个经历EOD或故障(阶段772)(例如，如以上关于图1D所描述的)。
根据一些实施方式，方法700包括将光学传感器布置在列车的机车上，使得光学传感器面向列车的行进方向(阶段780)(例如，如以上关于图2所描述的)。
在一些实施方式中，方法700包括分析多个图像帧中的至少一些图像帧(阶段782)(例如，如以上关于图2所描述的)。
在一些实施方式中，方法700包括在已分析的图像帧中检测并识别铁路和铁路上或铁路的已定义临近区中的潜在障碍物(阶段784)(例如，如以上关于图2所描述的)。
本发明的一个优点是实现由内置测试模块和/或相对内置测试模块执行的方法可以消耗较少的执行方法所需的计算资源。本发明的另一个优点是实现由内置测试模块和/或相对内置测试模块执行的方法消除了对任何预定参考数据/图像帧的需要。
因此，在提供高故障覆盖概率的同时，可以实时(例如，对图像帧的流没有任何延迟)执行其方法的实现，而实际上不会影响光学系统/处理单元的操作功能。此外，其方法不需要保存/存储图像帧来执行这些方法(例如，如以上关于图1C、图1D和图7所描述的)并且因此每个不需要保存的图像帧可以使光学系统的总体存储空间减少约6Mb。
上面参照根据本发明实施方式的方法、装置(系统)和计算机程序产品的流程图和/或部分图描述了本发明的方面。应当理解，流程图插图和/或部分图的每个部分以及在流程图插图和/或部分图中的部分的组合可由计算机程序指令实现。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程的数据处理设备的处理器，以制造机器，从而这些指令通过计算机或其他可编程的数据处理设备的处理器执行时，产生用于实现在流程图和/或部分图或其部分中规定的功能/行为的装置。
这些计算机程序指令也可储存在计算机可读介质内，该介质可引导计算机、其他可编程的数据处理设备或其他装置通过一种特定的方式运行，从而存储在计算机可读介质内的指令产生制品，该制品包括实现在流程图和/或部分图部分或其部分中规定的功能/行为的指令。计算机程序指令也可加载至计算机、其他可编程数据处理设备或其他装置上，以使得在计算机、其他可编程设备或其他装置上执行的一系列操作步骤产生计算机实施过程，使得在计算机或其他可编程设备上执行的指令提供用于实施流程图或部分图部分或其部分中指定的功能/行为。
上述流程图及示图示出了根据本发明的各种实施方式的系统、方法及计算机程序产品的架构、功能、及可能的实现方式的运作。就这一点而言，在流程图或部分图中的每个部分可表示代码的模块、区段或部分，其包括用于实现规定的逻辑功能的一个或多个可执行的指令。还应注意的是，在一些替换的实现方式中，在部分中记录的功能可按照与在图中记录的顺序不同的顺序发生。例如，根据有关功能，实际上可基本上同时地执行连续显示的两个部分，或者有时可按照相反的顺序执行这些部分。还要注意的是，部分图和/或流程图插图的每个部分以及在部分图和/或流程图插图中的部分的组合可由基于专用硬件的系统实现，这些系统执行规定的功能或行为，或专用硬件与计算机指令的组合。
在上述说明中，实施方式是本发明的实例或实现方式。“一个实施方式”、“实施方式”或“一些实施方式”的各种呈现不一定都指相同的实施方式。尽管可以在单个实施方式的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合提供特征。相反，尽管为了清楚起见在本文中可以在单独的实施方式的上下文中描述本发明，但是本发明也可以在单个实施方式中实现。本发明的某些实施方式可以包括来自以上公开的不同实施方式的特征，并且某些实施方式可以结合来自以上公开的其他实施方式的元件。在具体的实施方式的上下文中，本发明的元件的公开不应被视为仅限制其在具体实施方式中的用途。此外，应理解，本发明可以不同方式实施或实践，并且本发明可以在除了以上说明中概述的那些实施方式之外的某些实施方式中实施。
本发明不限于这些图或相应的描述。例如，流程不需要移动通过每个示出的方框或阶段，或以与所示出和描述完全相同的顺序移动。除非另外定义，否则本文中使用的技术和科学术语的意义通常将由本发明所属领域的普通技术人员理解。虽然已经关于有限数量的实施方式描述了本发明，但是这些不应被解释为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围不应受到迄今所描述的内容的限制，而是由所附权利要求及其合法等效物限制。

Claims (16)

1.一种光学系统，能够对所述光学系统的光学传感器进行内置测试，所述系统包括：
光学传感器，被配置为生成多个图像帧；以及
处理单元，与所述光学传感器通信，所述处理单元包括：
内置测试模型，被配置为：
在所述多个图像的图像帧的子集中的至少一个图像帧中检测相应至少一个图像帧的一个或多个参数与其期望的一个或多个参数相比的至少一个变化；并且
确定所述至少一个变化是由于所述光学传感器的外部光学干扰(EOD)还是由于所述光学传感器的故障。
2.根据权利要求1所述的系统，其中，所述内置测试模块被配置为：
对所述图像帧的子集中的每个图像帧应用快速傅里叶变换(FFT)以产生相应图像帧的FFT图像；
对所述相应图像帧的所述FFT图像应用高通滤波器(HPF)以产生所述相应图像帧的HPF图像；
对相应HPF图像的HPF图像的像素的灰度级进行求和，以产生所述相应HPF图像的HPF灰度级总和值；
确定所述相应HPF图像的HPF灰度级总和值是否高于预期的HPF灰度级总和阈值；并且
如果所述相应图像帧的HPF灰度级总和值低于所述预期的HPF灰度级总和阈值，则指示所述光学传感器经历所述EOD和所述故障中的至少一者。
3.根据权利要求2所述的系统，其中，所述内置测试模块还被配置为：
检测所述相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；
识别所述HPF灰度级总和值相对于所述预期的HPF灰度级总和值的所述至少一个变化的模式；并且
基于所述模式来确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
4.根据权利要求1至3中任一项所述的系统，其中，所述内置测试模块还被配置为：
计算采样的图像帧的子集中的每个图像帧的直方图以产生相应图像帧的直方图；
检测所述相应图像帧的直方图相对于其预期的直方图的至少一个变化；
识别所述相应图像帧的直方图相对于所述预期的直方图的所述至少一个变化的模式；并且
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
5.根据权利要求4所述的系统，其中，所述内置测试模块还被配置为：
计算所述相应图像帧中的指定对象对所述相应图像帧的直方图的贡献；
检测所述指定对象对所述相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化；
识别所述指定对象对所述相应图像帧的直方图的贡献相对于其预期的贡献的所述至少一个变化的模式；并且
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
6.根据权利要求1至5中任一项所述的系统，其中，所述内置测试模块还被配置为：
对采样的图像帧中的每个图像帧应用高通滤波器(HPF)以产生相应图像帧的HPF图像；
对所述相应HPF图像中高于预期的HPF灰度级阈值的像素的灰度级进行求和，以产生所述相应HPF图像的HPF灰度级总和值；
检测所述相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；
识别所述HPF灰度级总和值相对于所述预期的HPF灰度级总和值的所述至少一个变化的模式；并且
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
7.根据权利要求1至6中任一项所述的系统，其中，所述系统包括至少两个光学传感器，并且其中，所述处理单元包括相对内置测试模块，所述相对内置测试模块被配置为：
接收由所述至少两个传感器中的第一光学传感器生成的第一多个图像帧的图像帧的第一子集中的第一图像；
接收由所述至少两个传感器中的第二光学传感器生成的第二多个图像的图像帧的第二子集中的第二图像，其中，所述第二图像帧对应于所述第一图像帧；
将所述第一图像帧和所述第二图像帧缩放到相同的尺寸和分辨率以产生第一缩放的图像和第二缩放的图像；
对所述第一缩放的图像应用快速傅里叶变换(FFT)以产生第一缩放的FFT图像并且对所述第二缩放的图像应用FFT以产生第二缩放的FFT图像；
确定所述第一缩放的FFT图像与所述第二缩放的FFT图像之间的差异；
确定所述第一缩放的FFT图像与所述第二缩放的FFT图像之间的差异是否高于预期的差异阈值；并且
基于所述差异并且当所述差异高于所述预期的差异阈值时，确定所述第一光学传感器和所述第二光学传感器中的哪一个经历所述EOD或所述故障。
8.根据权利要求1至7中任一项所述的系统，所述系统能布置在列车的机车上，使得所述光学传感器面向所述列车90的行进方向，其中，所述处理单元还包括障碍物检测模块，所述障碍物检测模块被配置为分析所述多个图像帧中的至少一些图像帧，并且在所分析的图像帧中检测和识别铁路以及在所述铁路上或者在所述铁路的已定义临近区中的潜在障碍物。
9.一种对光学系统的光学传感器进行内置测试的方法，所述方法包括：
从光学传感器接收多个图像帧；以及
在所述多个图像的图像帧的子集的至少一个图像帧中，检测相应至少一个图像帧的一个或多个参数与其期望的一个或多个参数相比的至少一个变化；以及
确定所述至少一个变化是由于所述光学传感器的外部光学干扰(EOD)还是由于所述光学传感器的故障。
10.根据权利要求9所述的方法，还包括：
对所述图像帧的子集的每个图像帧应用快速傅里叶变换(FFT)以产生相应图像帧的FFT图像；
对所述相应图像帧的FFT图像应用高通滤波器(HPF)以产生相应FFT图像的HPF图像；
对相应HPF图像的HPF图像的像素的灰度级进行求和，以产生所述相应HPF图像的HPF灰度级总和值；
确定所述相应HPF图像的HPF灰度级总和值是否高于预期的HPF灰度级总和阈值；以及
如果所述相应图像帧的HPF灰度级总和值低于所述预期的HPF灰度级总和阈值，则指示所述光学传感器经历所述EOD和所述故障中的至少一者。
11.根据权利要求10所述的方法，还包括：
检测所述相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；
识别所述HPF灰度级总和值相对于所述预期的HPF灰度级总和值的所述至少一个变化的模式；以及
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
12.根据权利要求9至11中任一项所述的方法，还包括：
计算采样的图像帧的子集中的每个图像帧的直方图以产生相应图像帧的直方图；
检测所述相应图像帧的直方图相对于其预期的直方图的至少一个变化；
识别所述相应图像帧的直方图相对于所述预期的直方图的至少一个变化的模式；以及
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
13.根据权利要求12所述的方法，还包括：
计算所述相应图像帧中的指定对象对所述相应图像帧的直方图的贡献；
检测所述指定对象对所述相应图像帧的直方图的贡献相对于其预期的贡献的至少一个变化；
识别所述指定对象对所述相应图像帧的直方图的贡献相对于其预期的贡献的所述至少一个变化的模式；以及
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
14.根据权利要求9至13中任一项所述的方法，还包括：
对采样的图像帧中的每个图像帧应用高通滤波器以产生相应图像帧的HPF图像；
对相应HPF图像中高于预期的HPF灰度级阈值的像素的灰度级进行求和以产生所述相应HPF图像的HPF灰度级总和值；
检测所述相应HPF图像的HPF灰度级总和值相对于其预期的HPF灰度级总和值的至少一个变化；
识别所述HPF灰度级总和值相对于所述预期的HPF灰度级总和值的所述至少一个变化的模式；以及
基于所述模式确定所述至少一个变化是由于所述EOD还是由于所述光学传感器的故障。
15.根据权利要求9至14中任一项所述的方法，还包括：
接收由至少两个传感器中的第一光学传感器生成的第一多个图像帧中的图像帧的第一子集的第一图像；
接收由所述至少两个传感器中的第二光学传感器生成的第二多个图像中的图像帧的第二子集的第二图像，其中，所述第二图像帧对应于所述第一图像帧；
将所述第一图像帧和所述第二图像帧缩放到相同的尺寸和分辨率以产生第一缩放的图像和第二缩放的图像；
对所述第一缩放的图像应用快速傅里叶变换(FFT)以产生第一缩放的FFT图像且对所述第二缩放的图像应用FFT以产生第二缩放的FFT图像；
确定所述第一缩放的FFT图像与所述第二缩放的FFT图像之间的差异；
确定所述第一缩放的FFT图像与所述第二缩放的FFT图像之间的差异是否高于预期的差异阈值；以及
基于所述差异并且当所述差异高于所述预期的差异阈值时，确定所述第一光学传感器和所述第二光学传感器中的哪一个经历所述EOD或所述故障。
16.根据权利要求1至15中任一项所述的方法，还包括：
将所述光学传感器布置在列车的机车上，使得所述光学传感器面向所述列车的行进方向；
分析所述多个图像帧中的至少一些图像帧；以及
在所分析的图像帧中检测和识别铁路以及所述铁路上或所述铁路的已定义临近区中的潜在障碍物。
CN201980019385.7A 2018-02-28 2019-02-27 对光学传感器进行内置测试的系统和方法 Active CN111919438B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862636210P 2018-02-28 2018-02-28
US62/636,210 2018-02-28
PCT/IL2019/050224 WO2019167044A1 (en) 2018-02-28 2019-02-27 System and method for built in test for optical sensors

Publications (2)

Publication Number Publication Date
CN111919438A true CN111919438A (zh) 2020-11-10
CN111919438B CN111919438B (zh) 2023-11-10

Family

ID=67805661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019385.7A Active CN111919438B (zh) 2018-02-28 2019-02-27 对光学传感器进行内置测试的系统和方法

Country Status (5)

Country Link
US (1) US11477435B2 (zh)
EP (1) EP3759909A4 (zh)
JP (1) JP7354129B2 (zh)
CN (1) CN111919438B (zh)
WO (1) WO2019167044A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7417426B2 (ja) * 2020-01-15 2024-01-18 アズビル株式会社 異常検知装置、および異常検知方法
CN117097881B (zh) * 2023-10-09 2024-01-02 芯动微电子科技(武汉)有限公司 一种图像处理模块的调试方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070126869A1 (en) * 2005-12-06 2007-06-07 March Networks Corporation System and method for automatic camera health monitoring
CN102348128A (zh) * 2010-07-30 2012-02-08 株式会社日立制作所 具有摄像机异常检测装置的监视用摄像机系统
CN104168474A (zh) * 2013-05-15 2014-11-26 安讯士有限公司 相机故障检测测试的可靠性确定

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5692065A (en) * 1994-08-18 1997-11-25 International Business Machines Corporation Apparatus and method for determining image quality
US5923027A (en) * 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
KR100234418B1 (ko) * 1997-09-24 2000-01-15 윤종용 원격제어용 수신장치
US9900478B2 (en) * 2003-09-04 2018-02-20 Flir Systems, Inc. Device attachment with infrared imaging sensor
JP4611899B2 (ja) 2006-01-12 2011-01-12 アルパイン株式会社 カメラのレンズ汚れ検出装置及び画像表示システム
JP4139430B1 (ja) * 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP2009245349A (ja) * 2008-03-31 2009-10-22 Namco Bandai Games Inc 位置検出システム、プログラム、情報記憶媒体及び画像生成装置
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
KR101579737B1 (ko) * 2010-01-05 2015-12-23 삼성전자주식회사 자동초점 조절 장치 및 카메라 시스템
JP2013013061A (ja) * 2011-05-27 2013-01-17 Sanyo Electric Co Ltd 撮像装置
EP2541932A1 (en) * 2011-06-28 2013-01-02 Axis AB Quality checking in video monitoring system.
US9008359B2 (en) * 2012-06-28 2015-04-14 International Business Machines Corporation Detection of static object on thoroughfare crossings
DK3027482T3 (da) 2013-07-31 2021-12-20 Rail Vision Ltd System og fremgangsmåde til identificering og undvigelse af forhindring
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
WO2015145858A1 (ja) * 2014-03-25 2015-10-01 富士フイルム株式会社 手ぶれ補正装置、撮像装置
US9349068B2 (en) * 2014-06-05 2016-05-24 Honeywell International Inc. Detecting camera conditions to initiate camera maintenance
JP2017142356A (ja) * 2016-02-10 2017-08-17 ソニー株式会社 撮像装置、および、撮像装置の制御方法
JP2019074693A (ja) * 2017-10-18 2019-05-16 オリンパス株式会社 観察装置および焦点調節方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070126869A1 (en) * 2005-12-06 2007-06-07 March Networks Corporation System and method for automatic camera health monitoring
CN102348128A (zh) * 2010-07-30 2012-02-08 株式会社日立制作所 具有摄像机异常检测装置的监视用摄像机系统
CN104168474A (zh) * 2013-05-15 2014-11-26 安讯士有限公司 相机故障检测测试的可靠性确定

Also Published As

Publication number Publication date
US11477435B2 (en) 2022-10-18
CN111919438B (zh) 2023-11-10
JP7354129B2 (ja) 2023-10-02
JP2021515482A (ja) 2021-06-17
US20200413036A1 (en) 2020-12-31
EP3759909A4 (en) 2021-12-01
EP3759909A1 (en) 2021-01-06
WO2019167044A1 (en) 2019-09-06

Similar Documents

Publication Publication Date Title
US9443142B2 (en) Vision-based system for dynamic weather detection
US10068343B2 (en) Method and apparatus for recognizing moving target
CN109489724B (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
EP1881454A1 (en) Image processing for change detection
CN111919438B (zh) 对光学传感器进行内置测试的系统和方法
CN111932596A (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN108629792A (zh) 基于背景建模与背景差分的激光目标检测方法和装置
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
CN111275705A (zh) 智能验布方法、装置、电子设备及存储介质
Santur et al. An adaptive fault diagnosis approach using pipeline implementation for railway inspection
CN112784738A (zh) 运动目标检测告警方法、装置以及计算机可读存储介质
US11447151B2 (en) Object detection under rainy conditions for autonomous systems
Kawakatsu et al. Traffic surveillance system for bridge vibration analysis
CN117079219A (zh) 一种应用于拖车业务的车辆运行情况监控方法及设备
CN117745709A (zh) 一种铁路异物侵限检测方法、系统、设备及介质
CN116228712A (zh) 一种多尺度边坡灾害监测方法、系统及装置
CN111104870A (zh) 基于卫星视频的运动检测方法、装置、设备和存储介质
US10861148B2 (en) Systems and methods for improved component inspection
Jia et al. Moving object detection based on blob analysis
CN115393782A (zh) 图像处理方法、装置、电子设备及存储介质
CN113902678A (zh) 一种摄像头模糊检测方法、装置及智能机器人
Wildermann et al. Self-organizing computer vision for robust object tracking in smart cameras
Narayanan Ramakrishnan Detection and estimation of image blur
Shah et al. Three Staged Railway Track Fault Diagnosis Using Stereo-Imaging, Canny Edge Filter, and Binary Image Classifier
CN109887007A (zh) 空基对地运动目标的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant