CN112118993A - 用于动态选择所选感兴趣区域的高采样率的系统和方法 - Google Patents

用于动态选择所选感兴趣区域的高采样率的系统和方法 Download PDF

Info

Publication number
CN112118993A
CN112118993A CN201980029617.7A CN201980029617A CN112118993A CN 112118993 A CN112118993 A CN 112118993A CN 201980029617 A CN201980029617 A CN 201980029617A CN 112118993 A CN112118993 A CN 112118993A
Authority
CN
China
Prior art keywords
image frame
interest
imaging device
image frames
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980029617.7A
Other languages
English (en)
Other versions
CN112118993B (zh
Inventor
沙哈尔·哈尼亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rail Vision Ltd
Original Assignee
Rail Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rail Vision Ltd filed Critical Rail Vision Ltd
Publication of CN112118993A publication Critical patent/CN112118993A/zh
Application granted granted Critical
Publication of CN112118993B publication Critical patent/CN112118993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0058—On-board optimisation of vehicle or vehicle train operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/34—Control, warning or like safety means along the route or between vehicles or trains for indicating the distance between vehicles or trains by the transmission of signals therebetween
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

总体地，公开了包括一种成像设备和处理单元的系统。成像设备可以被配置成通过执行相应的多个图像帧处理循环以获取相应的多个图像帧的多个数据集。处理单元可以被配置成基于各个图像帧的数据集，在由成像设备获取的多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)。成像设备可以进一步被配置成在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，获取特殊感兴趣区域的至少一个部分数据集。

Description

用于动态选择所选感兴趣区域的高采样率的系统和方法
技术领域
本公开涉及增强成像设备的采样率的领域，更具体地，涉及增强图像帧中所选感兴趣区域的采样率以获得更好的检测性能。
背景技术
图像帧的细节的处理，特别是对图像帧的数据应用计算，固有地与计算资源和计算时间中的至少一个相矛盾。帧细节的所需分辨率越高，所需的计算资源越大和/或计算结果越慢。仅将高分辨率计算应用于图像帧的预选部分(例如，感兴趣区域(ROI))可以缩短处理结果时间和/或降低计算负载。然而，所选择的ROI可能意外地不包括可能具有高重要性的至少一些图像细节，从而所得到的益处可能与重要数据的丢失不平衡。
例如，当处理后的图像帧是从运行列车的前视成像设备获取时(例如为了提供威胁性障碍物的预先警告)，需要快速处理图像帧的细节，同时确保包括在环绕列车前方的轨道的区域(例如，也称为“安全区”(SZ))或“样板(gabarit)”)中的细节具有高于给定阈值的障碍物的检测概率(PD)和低于给定第二阈值的误报警率(FAR)。
发明内容
本发明的一个方面可以提供一种用于增强针对选择的感兴趣区域的成像器检测器的采样率的系统，该系统可以包括：成像设备；以及与成像设备通信的处理单元；其中，成像设备被配置为通过执行相应的多个图像帧处理循环，来获取相应的多个图像帧的多个数据集；其中，处理单元被配置为基于各个图像帧的数据集，在多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)；并且其中，成像设备进一步被配置成在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，获取特殊感兴趣区域的至少一个部分数据集。
本发明的另一方面可以提供一种增强针对选择的感兴趣区域的成像器检测器的采样率的方法，该方法可以包括：由成像设备通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集；由处理单元基于各个图像帧的数据集，在多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)；以及在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，由成像设备获取特殊感兴趣区域的至少一个部分数据集。
本发明的这些、附加的和/或其它方面和/或优点在下面的详细描述中阐述；可以从详细描述中推断；和/或可通过本发明的实践学习。
附图说明
为了更好地理解本发明的实施例，并且为了示出如何实施本发明，现在将纯粹通过示例的方式参考附图，其中，相同的数字通篇表示相应的元件或部分。
在附图中：
图1A是根据本发明的一些实施例，描绘具有侧边缘和限定安全制动距离的安全制动线的轨道的图像帧的示意图；
图1B是根据本发明的一些实施例，描绘图像帧内的轨道和特殊感兴趣区域(SROI)的图像帧的示意图；
图2是由成像设备处理常见图像帧的示意性时间图；
图3是根据本发明的实施例的图像帧处理的示意性时间图；
图4是根据本发明的一些实施例，用于增强图像帧中所选感兴趣区域的成像器检测器的采样率的系统的示意图；
图5是根据本发明的一些实施例，增强图像帧中所选感兴趣区域的成像器检测器的采样率的方法的流程图；
图6是根据本发明的一些实施例的光学系统示意图，该光学系统用于通过移动列车进行障碍物检测，并且能够增强图像帧中所选感兴趣区域的成像器检测器的采样率；以及
图7是根据本发明的一些实施例，在增强图像帧中所选感兴趣区域的成像器检测器的采样率的同时，通过移动列车进行障碍物检测的方法的流程图。
应当理解，为了说明的简单和清楚，附图中示出的元件不必按比例绘制。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件被夸大。此外，在认为合适的情况下，参考标记可以在附图中重复以指示相应的或类似的元件。
具体实施方式
在下面的描述中，描述了本发明的各个方面。出于解释的目的，阐述了具体的配置和细节，以便提供对本发明的透彻理解。然而，对于本领域技术人员来说也将显而易见的是，本发明可以在没有本文所述的具体细节的情况下实施。此外，可以省略或简化公知的特征，以便不模糊本发明。具体参考附图，应当强调的是，所示的细节仅是示例性的，并且仅用于本发明的说明性讨论，并且在提供被认为是对本发明的原理和概念方面的最有用和最容易理解的描述的原因中给出了这些细节。就这一点而言，没有试图比基本理解本发明所必需的更详细地示出本发明的结构细节，结合附图进行的描述使本领域技术人员清楚地看到本发明的几种形式如何在实践中体现。
在详细解释本发明的至少一个实施例之前，应当理解，本发明在其应用中不限于在以下描述中阐述的或在附图中示出的构件的构造和布置的细节。本发明适用于可以以各种方式实践或执行的其它实施例以及所公开的实施例的组合。此外，应当理解，这里使用的短语和术语是为了描述的目的，而不应当被视为限制性的。
除非另外特别说明，从下面的讨论中显而易见，应理解，在整个说明书讨论中，使用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”等术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其操作和/或将计算系统的寄存器和/或存储器内表示为物理量(例如电子)的数据，转换成计算系统的存储器、寄存器或其他这样的信息存储、传输或显示设备内类似地表示为物理量的其他数据。所公开的模块或单元中的任何一个可以至少部分地由计算机处理器实现。
本发明的一些方面可以提供一种系统和方法，用于增强成像设备对图像帧中的选定感兴趣区域的采样率。
根据一些实施例，该系统可包括成像设备和处理单元。
根据一些实施例，成像设备可以被配置成通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集。
根据一些实施例，处理单元可以被配置成基于各个图像帧的数据集，在由成像设备获取的多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)。特殊感兴趣区域可以是图像帧中可能需要扩展图像处理分辨率(例如，空间分辨率)的区域。
根据一些实施例，成像设备还可以被配置成在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，获取特殊感兴趣区域的至少一个部分数据集。
有利地，所公开的系统和方法可以使得能够在整个图像帧内增加获取特殊感兴趣区域的数据集的速率，同时将成像设备的帧速率保持在给定帧速率值。
参考图1A，图1A是根据本发明一些实施例的图像帧100的示意图，该图像帧100描绘了具有侧边缘120的轨道110和限定安全制动距离范围140的安全制动线142。还参考图1B，图1B是根据本发明的一些实施例的图像帧100a和100b的示意图，其描绘了图像帧内的轨道110和特殊感兴趣区域(SROI)180。
行驶列车的安全区160(例如，在图1A中用浅灰色描绘)可以被限定为在轨道110的两侧上具有限定的边缘120的区域，该安全区160的范围从列车的前端(例如，列车的车头)到沿着列车前方的轨道110的安全制动距离140。安全区160可以表示其中识别出的物体可能具有高概率对行驶列车构成风险的区域。
通常，安全区域160在图像帧100中可以具有随着安全区域160朝向图像帧20的顶部前进而从接近图像帧100的底部的成像区域的底部部分变窄的形状。安全制动距离140可以直接与列车的行驶速度成比例(并且在较低的重要性程度下，与列车和轨道的机械状况以及某些天气方面成比例)。
在图1A中与安全制动线142(朝向行驶中的列车)相距一定距离处画出的水平线144可以在安全区域160内限定特殊感兴趣区域(SROI)180，其中，由于与列车的距离，可能需要扩展的图像处理分辨率，以确保识别可能威胁列车的物体的足够能力。
例如，特殊感兴趣区域180可以具有宽度XSROI和高度YSROI的矩形形状，其中尺寸XSROI平行于图像帧100的水平尺寸Xframe，并且尺寸YSROI平行于图像帧100的垂直尺寸Yframe。特殊感兴趣区域180在图像帧100内的位置可以由其角之一与图像帧100的参考角之间的二维距离来表示。例如，特殊感兴趣区域180在图像帧100内的位置可以由水平距离X180和垂直距离Y180表示。
例如，可以确定或选择图像帧100内的特殊感兴趣区域180的大小、纵横比和位置(统称为特殊感兴趣区域参数)，使得其包围安全区160的远端。可以设置特殊感兴趣区域180的大小，以便在为特殊感兴趣区域180内尽可能大的细节提供更高分辨率的需要与在系统的给定性能数字(例如帧速率和最大数据容量)内操作的需要之间实现平衡。特殊感兴趣区域180的矩形形状在例如支持直接、容易和节省资源地设置特殊感兴趣区域180的位置和大小的系统中可以是优选的。
在决定/限定特殊感兴趣区域180的参数时，可以依赖以下考虑因素中的一个或多个：(i)特殊感兴趣区域中的期望对象分辨率，(ii)预期的或期望的检测概率和误预警率数字，(iii)用于图像处理的可用计算资源，(iv)成像设备的可用帧速率等。例如，特殊感兴趣区域180的垂直尺寸和垂直位置可被选择为包括安全制动线142和水平线144。特殊感兴趣区域180的水平尺寸和水平位置可被选择为包围在安全制动线142和水平线144之间延伸的安全区160的整个部分。
根据一些实施例，可以使用跟踪模块在图像帧中限定特殊感兴趣区域180(例如，如下文图6所述)。跟踪器模块可以被配置成限定和跟踪图像帧中轨道110被成像的位置。
跟踪模块还可以被配置成限定轨道110在后续图像帧100中的位置，从而跟踪特殊感兴趣区域180在图像帧100中的位置。例如，图1B描绘了第一图像帧100a，其中特殊感兴趣区域180位于轨道110的远端周围，基本上位于第一图像帧100a的中间，以及第二图像帧100b，其中特殊感兴趣区域180位于轨道110的远端周围，由于跟踪模块的工作，其位于第二图像帧100b的中心的侧面。
达到对可能威胁列车的障碍物的高检测概率和/或其低误报警率的一种方式是通过选择小于整个图像帧100的特殊感兴趣区域180来降低事件的概率。这样做的缺点是不会检测到特殊感兴趣区域180之外的事件，并且它们中的一些可能太重要而不能被误检测。
达到对可能威胁列车的障碍物的高检测概率和/或其低误报警率的另一种方式是通过增加成像设备的帧速率来增加采样带宽(BW)。这样的后果可能包括系统的计算资源(例如，处理单元)上的负载增加。
根据一些实施例，所公开的系统和方法可以使得能够在整个图像帧内增加特殊感兴趣区域180的采样速率，同时将成像设备的帧速率保持在给定帧速率(例如，如下文关于图3所述)。
以这种方式，所公开的系统和方法可以例如使得能够增加可能威胁列车的障碍物的检测概率和/或降低其误报警率，而无需大量地加载计算资源并使得能够使用成像设备的现有接口。
现在参考图2，图2是由成像设备处理常见图像帧的示意性时间图200。
通常以给定帧速率(例如，下文可互换地称为“FR”)获取图像帧，图像帧之间具有给定循环时间220(例如，下文可互换地称为“tcyc”)，其中给定循环时间220与给定帧速率成反比(例如，tcyc＝1/FR)。典型地，每个图像帧的获取持续图像帧获取时间240(例如，下文可互换地称为“Δtat”)，并且包括根据成像设备的每个时间单位(例如，像素/时间)的最大数据容量(DCM)260来获取数据项(例如，数据集)。
因此，在成像设备的正常操作模式下的每个Δtat处获取的数据项的量(例如，下文可互换地称为“每帧像素”或“PPF”)可以由公式1表示，并且在成像设备的给定帧速率(FR)处每秒获取的数据项的量(例如，下文可互换地称为“DPS”)可以由公式2表示：
PPF＝Δtat·DCM(公式1)
DPS＝PF*FR＝Δt*DCM*FR(公式2)
典型的成像设备可以具有一定的最大数据处理容量，这涉及在其成像器处的图像光子积累、来自成像设备的图像数据传输、图像数据保存和图像数据处理。成像设备的特定性能可以限定获取每个完整图像帧的数据项所需的图像帧获取时间240(Δtat)。典型地，图像帧获取时间240(Δtat)小于给定循环时间220(tcyc)，这导致在每个给定循环时间220(例如，tcyc)期间存在剩余时间280(例如，下文可互换地称为“tres”)，在该剩余时间成像设备不忙。
现在参考图3，图3是根据本发明实施例的图像帧处理的时间图300。
图像帧的处理循环可以持续给定的循环时间320(例如，tcyc)，并且可以包括图像帧获取时间340(例如，Δtat)，在此期间完整图像帧的数据项(例如，数据集)被获取，以及剩余时间380(例如，tres)，在此期间成像设备不忙。例如，给定循环时间320，图像帧获取时间340和剩余时间380可以分别类似于上文关于图2所述的给定循环时间220，图像帧获取时间240和剩余时间280。
根据实施例，在至少一个图像帧处理循环的剩余时间380期间，可以执行获取图像帧的选定部分的数据项的至少一个附加循环(例如，如图3所示)。从图像帧的选定部分获取的数据项在下文中可互换地称为“部分数据项”或“部分数据集(partial dataset)”或“部分数据集(partial datasets)”。图像帧的所选部分的部分数据项/部分数据集的获取，可以持续部分获取时间390(以下可互换地称为“Δtpat”)。图像帧的所选部分可以是图像帧中可能需要扩展图像处理分辨率的区域。图像帧的所选部分例如可以是图像帧中的特殊感兴趣区域，诸如上文关于图1A和图1B所述的特殊感兴趣区域180。
用于获取图像帧的所选部分的部分数据项所需的部分获取时间390(Δtpat)可取决于例如所选部分的大小和获取数据速率(像素/毫秒)。假设所选部分的获取数据速率与整幅图像帧获取的获取数据速率相同，则比值Δtpda/Δtda等于图像帧的所选部分的面积与整幅图像的面积之比。在一些实施例中，与整个图像帧相比，图像帧的所选部分小得多，从而使得Δtpda<<Δtda(例如，如图3所示)。例如，与例如具有1024x720像素的全图像帧相比，图像帧的所选部分可以是200x200像素。在该示例中，从图像帧的所选部分获取的数据项的部分量可以仅为需要从整个图像帧获取的数据项量的5％。
因此，可以在一个或多个图像帧处理循环中的每一个的剩余时间380期间执行获取图像帧的所选部分的部分数据项/部分数据集的一个或多个附加循环，从而增加图像帧的所选部分中的细节的图像分辨率，而不改变帧速率或必须超过成像设备的给定最大数据容量(DCM)360(类似于上文关于图2所述的DCM260)。
例如，对于图3所示的实施例，在成像设备的给定帧速率(FR)下每秒获取的数据项的量(DPS)可以由公式3表示：
DPS＝(Δtda+Δtpda)·DCM·FR|Δtda>>Δtpda≈Δtda·DCM·FR(公式3)
现在参考图4，图4是根据本发明一些实施例，用于增强图像帧中所选感兴趣区域的成像器检测器的采样率的系统400的示意图。
根据一些实施例，系统400可包括成像设备410和处理单元420。系统400可以设置在例如列车的车头上，使得成像设备410面向列车的行驶的方向。然而，系统400也可应用于其它应用中(例如，汽车等)。
根据一些实施例，成像设备410可以被配置成通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集。例如，由成像设备410获取的图像帧可以类似于上文关于图1A所述的图像帧100。
根据一些实施例，基于每个图像帧的数据集，处理单元420可以被配置成在由成像设备410获取的多个图像帧中的至少一些图像帧中每一个中来限定特定感兴趣区域(SROI)。特殊感兴趣区域可以是图像帧中可能需要扩展图像处理分辨率的区域。例如，特殊感兴趣区域可以是上文关于图1A和图1B所述的特殊感兴趣区域180。
根据一些实施例，成像设备410可以进一步被配置成在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，获取特殊感兴趣区域的至少一个部分数据集(例如，如上文关于图3所述)。
现在参考图5，图5是根据本发明一些实施例，增强图像帧中选定的感兴趣区域的成像器检测器的采样率的方法500的流程图。
方法500可以由系统400来实现(例如，如上文关于图4所述的)，系统400可以被配置成实现方法500。注意，方法500不限于图5所示的流程图和相应的描述。
根据一些实施例，方法500可包括由成像设备通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集(阶段510)。例如，上面关于图4所述的成像装置410。
根据一些实施例，方法500可包括由处理单元基于各个图像帧的数据集，在由成像设备获取的多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)(阶段520)。例如，上面关于图4所述的特殊感兴趣区域。
根据一些实施例，方法500可包括在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，由成像设备获取特殊感兴趣区域的至少一个部分数据集(阶段530)(例如，如上文关于图3所述)。
有利地，系统400和方法500可以使得能够增加获取完整图像帧内的特殊感兴趣区域的数据集的速率，同时将成像设备的帧速率保持在给定帧速率。
现在参考图6，图6是根据本发明一些实施例的光学系统600的示意图，该光学系统600用于由诸如列车的移动车辆90进行障碍物检测，并且能够增强图像帧中所选感兴趣区域的成像器检测器的采样率。
根据一些实施例，系统600可包括成像设备610和处理单元620。系统600可以设置在列车90的车头92上，使得成像设备610面向列车90的行驶方向。
根据一些实施例，成像设备610可以被配置成通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集。例如，由成像设备610获取的图像帧可以类似于上文关于图1A和图1B描述的图像帧100。在一些实施例中，成像设备610是红外检测器。
图像帧可至少描绘在移动车头92前面的轨道110。图像帧处理循环可以由成像设备610以给定的帧速率并且在图像帧之间具有给定的循环时间来执行。例如，如上文关于图3所述的给定帧速率FR、给定循环时间320(例如，tcyc)和图像帧处理循环。
根据一些实施例，处理单元620可包括跟踪模块622。
在一些实施例中，跟踪模块622可以被配置成检测由成像设备410获取的多个图像帧中的至少一些图像帧中的每一个中的轨道。例如，轨道可以是诸如上文关于图1A所述的轨道110。
可以使用本领域已知的任何技术在图像帧中检测轨道。例如，可以基于轨道和它们的背景之间的温度差来检测轨道(例如，当成像设备610是红外检测器时)。
在一些实施例中，跟踪模块622可以被配置成在多个图像帧中的至少一些图像帧中的每一个中检测到的轨道的两侧限定边缘。例如，边缘可以是上文关于图1A所述的边缘120。边缘可根据轨道检测的效率/质量来限定。例如，轨道的检测越好，边缘到轨道的距离就越小。然而，在本例中，如果轨道没有被很好地检测到，则可以将边缘设置在距轨道较大的距离处，以补偿不佳的轨道检测。
在一些实施例中，跟踪模块622可被配置为基于列车90的安全制动距离在多个图像帧中的至少一些图像帧中的每一个中限定安全制动线。例如，安全制动线和安全制动距离可以类似于上文关于图1A所述的安全制动线142和安全制动距离140。安全制动距离可以基于例如列车90的速度来确定。
在一些实施例中，跟踪模块622可以被配置成基于所限定的边缘和所限定的安全制动线，在多个图像帧中的至少一些图像帧中的每一个中限定安全区。例如，安全区可以是上文关于图1A所述的安全区160。
在一些实施例中，跟踪模块622可以被配置成在所限定的安全区的远端处，在多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)。例如，特殊感兴趣区域可以是上文关于图1A所述的特殊感兴趣区域180。特殊感兴趣区域可以是一个区域，在该区域中，由于与列车90的距离，可能需要扩展的图像处理分辨率，以便确保足够的能力来检测可能威胁列车90的物体。
在一些实施例中，跟踪模块622可以被配置成限定后续图像帧中的特殊感兴趣区域，从而跟踪特殊感兴趣区域在其图像帧中的位置(例如，如上文关于图1B所述)。
根据一些实施例，成像设备610可以进一步被配置成在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，获取特殊感兴趣区域的至少一个部分数据集(例如，如上文关于图3所述)。
根据一些实施例，处理单元620可包括障碍物检测模块624。障碍物检测模块624可被配置为分析完整图像帧的数据集和/或完整图像帧中的特殊感兴趣区域的部分数据集，并基于数据集的分析，检测轨道110上和/或所限定的特殊感兴趣区域中的潜在物体/障碍物。
现在参考图7，图7是根据本发明一些实施例，通过移动列车进行障碍物检测的方法700的流程图，同时增强图像帧中所选感兴趣区域的成像器检测器的采样率。
方法700可以由系统600实现，系统600可以被配置成实现方法700。注意，方法700不限于图7所示的流程图和相应的描述。例如，在各种实施例中，方法700不需要移动通过每个所示的框或阶段，或者以与所示和所描述的完全相同的顺序移动。
根据一些实施例，方法700可包括由成像设备通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集(阶段710)。例如，成像设备可以类似于上文关于图6所述的成像设备610。
根据一些实施例，方法700可包括由处理单元的跟踪模块基于各个图像帧的数据集，在由成像设备获取的多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)(阶段720)。例如，跟踪单元和处理单元可以类似于上文关于图6所述的跟踪单元622和处理单元620。特殊感兴趣区域可以类似于上文关于图1A和图1B所述的特殊感兴趣区域180。
在一些实施例中，方法700可进一步包括检测多个图像帧中的至少一些图像帧中的每一个中的轨道(阶段721)(例如，如上文关于图6所述)。
在一些实施例中，方法700可进一步包括在多个图像帧中的至少一些图像帧中的每一个中限定检测到的轨道的两侧上的边缘(阶段722)(例如，如上文关于图6所述)。
在一些实施例中，方法700可进一步包括基于列车的安全制动距离，在多个图像帧中的至少一些图像帧中的每一个中限定安全制动线(阶段723)(例如，如上文关于图6所述)。
在一些实施例中，方法700可进一步包括基于所限定的边缘和所限定的安全制动线，在多个图像帧中的至少一些图像帧中的每一个中限定安全区(阶段724)(例如，如上文关于图6所述)。
在一些实施例中，方法700可进一步包括在所限定的安全区的远端处，在多个图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)(阶段725)(例如，如上文关于图6所述)。
在一些实施例中，方法700可进一步包括在后续图像帧中限定特殊感兴趣区域，并由此跟踪特殊感兴趣区域在其图像帧中的位置(阶段726)(例如，如上文关于图6所述)。
根据一些实施例，方法700可包括在多个图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，由成像设备获取特殊感兴趣区域的至少一个部分数据集(阶段730)(例如，如上文关于图3和图6所述)。
根据一些实施例，方法700可包括由处理单元的障碍物检测模块分析全图像帧的数据集和/或全图像帧中的特殊感兴趣区域的部分数据集，并基于数据集的分析，检测轨道上和/或所限定的特殊感兴趣区域中的潜在物体/障碍物(阶段740)。例如，障碍物检测模块类似于上文关于图6所述的障碍物检测模块624。
有利地，系统600和方法700可以使得能够在整个图像帧内增加特殊感兴趣区域180的采样速率，同时将成像设备的帧速率保持在给定帧速率(例如，如下关于图3所述)。以这种方式，系统600和方法700可以使得能够增加可能威胁列车的障碍物的检测概率和/或降低其误报警率而无需大量地加载计算资源，并使得能够使用成像设备的现有接口。
根据以上描述的一些实施例，可以在不改变成像设备的给定帧速率或数据容量的情况下获得图像帧的选定部分的更高图像分辨率。所选部分的大小及其在图像帧内的位置可以被确定或指定。根据一些实施例，可设置图像帧中所选部分的大小和位置以满足可能需要更高图像分辨率的特殊感兴趣区域(SROI)。
例如，对于可用于监视列车的铁轨轨道并提供铁轨附近或铁轨上障碍物的预先警告的系统，包括在图像帧中检测到的铁轨的远端部分的图像的一部分可能需要增强的图像分辨率(例如，如上文关于图1A和1B，图6和图7所述)。为了决定特殊感兴趣区域的位置和大小，可以使用跟踪模块。跟踪模块可以是跟踪图像帧中轨道的存在的图形处理单元。这种跟踪模块可以被实现为在处理图像处理的计算机上运行的程序。例如，如果在图像帧中轨道的近端(典型地接近图像下端的中间，具有明显的存在)被向上跟踪到图像帧，则可以使用相对低的附加计算负载来检测轨道的远端在图像帧中的位置。然后，可以将图像帧内的列车轨道远端的跟踪结果转换为特殊感兴趣区域的位置和大小。
以上参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或部分图，描述了本发明的方面。应当理解，流程图图示和/或部分图的每个部分以及流程图图示和/或部分图中的部分的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令，创建用于实现流程图和/或部分图中指定的功能/动作的工具。
这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指导计算机、其它可编程数据处理装置或其它设备以特定方式工作，使得存储在计算机可读介质中的指令产生包括实现流程图和/或其部分图中指定的功能/动作的指令的制品。计算机程序指令还可以加载到计算机、其它可编程数据处理装置或其它设备上，以导致在计算机、其它可编程装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或其部分图中指定的功能/动作的过程。
前述流程图和图示出了根据本发明的各种实施例的系统，方法和计算机程序产品的可能实现的体系结构，功能和操作。就这一点而言，流程图中的每个部分或部分图可以表示模块、段或代码的部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应当注意，在一些可选实现中，部分中所注的功能可以不按照附图中的顺序发生。例如，实际上，连续示出的两个部分可以基本上并发地执行，或者部分有时可以根据所涉及的功能以相反的顺序执行。还应注意，部分图和/或流程图图示的每个部分以及部分图和/或流程图图示中的部分的组合可以由执行指定功能或动作的基于专用硬件的系统，或专用硬件和计算机指令的组合来实现。
在上述描述中，实施例是本发明的示例或实现。“一个实施例”、“一实施例”、“某些实施例”或“一些实施例”的各种出现不一定都指相同的实施例。虽然可以在单个实施例的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合提供这些特征。相反，虽然为了清楚起见，本发明可以在分开的实施例的上下文中描述，但是本发明也可以在单个实施例中实现。本发明的某些实施例可以包括来自上面公开的不同实施例的特征，并且某些实施例可以结合来自上面公开的其它实施例的元件。在特定实施例的上下文中对本发明的元件的公开不应被视为限制它们仅在特定实施例中的使用。此外，应当理解，本发明可以以各种方式来执行或实践，并且本发明可以在除上述描述中概述的实施例之外的某些实施例中实现。
本发明不限于这些图或相应的描述。例如，流程不需要移动通过每个所示的框或状态，或者以与所示和描述的完全相同的顺序移动。除非另有限定，本文中使用的技术和科学术语的含义是由本发明所属领域的普通技术人员通常地理解。虽然已经相对于有限数量的实施例描述了本发明，但这些不应被解释为对本发明范围的限制，而应被解释为一些优选实施例的示例。其它可能的变化，修改和应用也在本发明的范围内。因此，本发明的范围不应受限于迄今为止所描述的内容，而是受限于技术方案及其法律等效物。

Claims (6)

1.一种用于增强针对选择的感兴趣区域的成像器检测器的采样率的系统，所述系统包括：
成像设备；以及
处理单元，与所述成像设备通信；
其中，所述成像设备被配置成通过执行相应的多个图像帧处理循环以获取相应的多个图像帧的多个数据集；
其中，所述处理单元被配置成基于各个图像帧的所述数据集，在多个所述图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)；以及
其中，所述成像设备进一步被配置成在多个所述图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，获取所述SROI的至少一个部分数据集。
2.根据权利要求1所述的系统，所述系统设置在列车的车头上，使得所述成像设备面向所述列车的行驶的方向，并且其中，所述处理单元包括跟踪模块，所述跟踪模块被配置成：
在多个所述图像帧中的至少一些图像帧中的每一个中检测轨道；
在多个所述图像帧中的至少一些图像帧中的每一个中所检测的轨道的两侧限定边缘；
基于所述列车的安全制动距离，在多个所述图像帧中的至少一些图像帧中的每一个中限定安全制动线；
基于所限定的边缘和所限定的安全制动线，在多个所述图像帧中的至少一些图像帧中的每一个中限定安全区；以及
在所限定的安全区的远端处，在多个所述图像帧中的至少一些图像帧中的每一个中限定所述SROI。
3.根据权利要求2所述的系统，其中，所述处理单元包括障碍物检测模块，所述障碍物检测模块被配置成：
分析在全图像帧中的所述SROI的至少所述部分数据集；以及
基于至少所述部分数据集的分析，检测轨道上或所限定的SROI中的潜在物体/障碍物。
4.一种增强针对选择的感兴趣区域的成像器检测器的采样率的方法，所述方法包括：
由成像设备通过执行相应的多个图像帧处理循环来获取相应的多个图像帧的多个数据集；
由处理单元基于各个图像帧的所述数据集，在多个所述图像帧中的至少一些图像帧中的每一个中限定特殊感兴趣区域(SROI)；以及
在多个所述图像帧处理循环中的至少一些循环中的每一个期间以及在图像帧获取时间的结束与相应图像帧处理循环的结束之间的剩余时间内，由所述成像设备获取所述SROI的至少一个部分数据集。
5.根据权利要求4所述的方法，进一步包括：
由所述处理单元的跟踪模块在多个所述图像帧中的至少一些图像帧中的每一个中检测轨道；
由所述跟踪模块在多个所述图像帧中的至少一些图像帧中的每一个中所检测的轨道的两侧限定边缘；
由所述跟踪模块基于列车的安全制动距离，在多个所述图像帧中的至少一些图像帧中的每一个中限定安全制动线；
由所述跟踪模块基于所限定的边缘和所限定的安全制动线，在多个所述图像帧中的至少一些图像帧中的每一个中限定安全区；以及
在所限定的安全区的远端处，由所述跟踪模块在多个所述图像帧中的至少一些图像帧中的每一个中限定所述SROI。
6.根据权利要求5所述的方法，进一步包括：
由所述处理单元的障碍物检测模块，分析在全图像帧中的所述SROI的至少所述部分数据集；以及
由所述障碍物检测模块，基于至少所述部分数据集的分析，检测轨道上或所限定的SROI中的潜在物体/障碍物。
CN201980029617.7A 2018-05-01 2019-05-01 用于动态选择所选感兴趣区域的高采样率的系统和方法 Active CN112118993B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862664970P 2018-05-01 2018-05-01
US62/664,970 2018-05-01
PCT/IL2019/050485 WO2019211848A1 (en) 2018-05-01 2019-05-01 System and method for dynamic selection of high sampling rate for a selected region of interest

Publications (2)

Publication Number Publication Date
CN112118993A true CN112118993A (zh) 2020-12-22
CN112118993B CN112118993B (zh) 2022-12-27

Family

ID=68386357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029617.7A Active CN112118993B (zh) 2018-05-01 2019-05-01 用于动态选择所选感兴趣区域的高采样率的系统和方法

Country Status (5)

Country Link
US (1) US11952022B2 (zh)
EP (1) EP3787953A4 (zh)
JP (2) JP2021517537A (zh)
CN (1) CN112118993B (zh)
WO (1) WO2019211848A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3656641A1 (en) * 2018-11-26 2020-05-27 Mitsubishi Electric R & D Centre Europe B.V. Method for transmitting obstacle detection enhancement data to a moving conveyance
JP2023034917A (ja) * 2021-08-31 2023-03-13 株式会社日立製作所 対象物を検出するシステム及び対象物を検出する方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125059A (ja) * 2006-10-17 2008-05-29 Matsushita Electric Ind Co Ltd 動画像記録再生装置
CN102663352A (zh) * 2012-03-23 2012-09-12 华南理工大学 一种轨道识别方法
US20160121912A1 (en) * 2013-11-27 2016-05-05 Solfice Research, Inc. Real time machine vision system for train control and protection
CN105636853A (zh) * 2013-07-31 2016-06-01 埃伦·约瑟夫·卡特兹 用于障碍物识别和避开的系统和方法
CN107103623A (zh) * 2016-02-19 2017-08-29 菲力尔系统公司 沿着预定义轨迹的对象检测

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3244870B2 (ja) * 1993-04-28 2002-01-07 東日本旅客鉄道株式会社 鉄道車両用支障物検知装置
IL117279A (en) 1996-02-27 2000-01-31 Israel Aircraft Ind Ltd System for detecting obstacles on a railway track
WO2005120924A1 (en) * 2004-06-11 2005-12-22 Stratech Systems Limited Method and system for rail track scanning and foreign object detection
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP2009147730A (ja) 2007-12-14 2009-07-02 Fujifilm Corp 動画生成装置、動画撮影装置、動画生成方法及びプログラム
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
JP6464673B2 (ja) * 2014-10-31 2019-02-06 株式会社Ihi 支障物検知システムおよび鉄道車両
JP6451576B2 (ja) * 2015-09-18 2019-01-16 株式会社ニコン 撮像装置
US10518791B2 (en) * 2015-10-20 2019-12-31 Sameer Singh Integrated rail and track condition monitoring system with imaging and inertial sensors
KR20170121933A (ko) * 2016-04-26 2017-11-03 삼성에스디에스 주식회사 깊이 센서를 이용한 충돌 회피 방법 및 그 장치
US11021177B2 (en) * 2016-10-20 2021-06-01 Rail Vision Ltd System and method for object and obstacle detection and classification in collision avoidance of railway applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125059A (ja) * 2006-10-17 2008-05-29 Matsushita Electric Ind Co Ltd 動画像記録再生装置
CN102663352A (zh) * 2012-03-23 2012-09-12 华南理工大学 一种轨道识别方法
CN105636853A (zh) * 2013-07-31 2016-06-01 埃伦·约瑟夫·卡特兹 用于障碍物识别和避开的系统和方法
US20160121912A1 (en) * 2013-11-27 2016-05-05 Solfice Research, Inc. Real time machine vision system for train control and protection
CN107103623A (zh) * 2016-02-19 2017-08-29 菲力尔系统公司 沿着预定义轨迹的对象检测

Also Published As

Publication number Publication date
CN112118993B (zh) 2022-12-27
EP3787953A4 (en) 2022-02-23
US20210107536A1 (en) 2021-04-15
JP2021517537A (ja) 2021-07-26
EP3787953A1 (en) 2021-03-10
WO2019211848A1 (en) 2019-11-07
US11952022B2 (en) 2024-04-09
JP2023029990A (ja) 2023-03-07

Similar Documents

Publication Publication Date Title
Wang et al. Applying fuzzy method to vision-based lane detection and departure warning system
Nedevschi et al. High accuracy stereo vision system for far distance obstacle detection
Nieto et al. Real-time lane tracking using Rao-Blackwellized particle filter
JP5276721B2 (ja) 画像中の障害物を識別する方法および装置
US20110273582A1 (en) Method for image restoration in a computer vision system
JP2023029990A (ja) 選択された関心領域に関する高サンプリングレートの動的選択のためのシステムおよび方法
DE112016000187T5 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrzeugeigenbewegung ausgehend von Rundumsichtbildern
JP2013109760A (ja) 対象検知方法及び対象検知システム
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
EP2700054B1 (en) System and method for video-based vehicle detection
McManus et al. Distraction suppression for vision-based pose estimation at city scales
Shukla et al. Speed determination of moving vehicles using Lucas-Kanade algorithm
Kim et al. Vision-based vehicle detection and inter-vehicle distance estimation for driver alarm system
Srinivasa et al. A fusion system for real-time forward collision warning in automobiles
CN108876807B (zh) 一种实时星载卫星图像运动对象检测跟踪方法
Pollard et al. GM-PHD filters for multi-object tracking in uncalibrated aerial videos
Patel et al. Comparison of optical flow algorithms for speed determination of moving objects
Bhattacharyya et al. High-speed target tracking by fuzzy hostility-induced segmentation of optical flow field
Cario et al. Lane detection and tracking problems in lane departure warning systems
Liu et al. Motion vehicle tracking based on multi-resolution optical flow and multi-scale Harris corner detection
US10719942B2 (en) Real-time image processing system and method
Lee et al. Real-time detection of illegally parked vehicles using 1-D transformation
Sincan et al. Moving object detection by a mounted moving camera
Baek et al. Robust vehicle detection and tracking method for blind spot detection system by using vision sensors
Farahnakian et al. Fusing lidar and color imagery for object detection using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant