CN112166434A - 运行辅助方法、控制单元、运行辅助系统和工作设备 - Google Patents
运行辅助方法、控制单元、运行辅助系统和工作设备 Download PDFInfo
- Publication number
- CN112166434A CN112166434A CN201980035337.7A CN201980035337A CN112166434A CN 112166434 A CN112166434 A CN 112166434A CN 201980035337 A CN201980035337 A CN 201980035337A CN 112166434 A CN112166434 A CN 112166434A
- Authority
- CN
- China
- Prior art keywords
- neu
- frame
- alt
- predicted
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 230000001133 acceleration Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 abstract 1
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
Abstract
本发明涉及一种用于工作设备(1)或用于车辆的运行辅助方法(S)，在该运行辅助方法中，(S1)在工作设备(1)的视场中在彼此相继的时刻获得对象(52)的对象框(54)或者获得表征这种对象框(54)的数据，(S2)由彼此相继或直彼此相继拍摄的图像中的给定对象(52)的对象框(54)，确定相应对象(52)的对象框(54)的当前缩放比例变化或由此推导出的参量，并且确定相应对象(52)的对象框(54)的当前横向位置变化，(S3)根据相应对象(52)的对象框(54)的当前缩放比例变化或由此推导出的参量以及当前横向位置变化，确定未来预测的对象框(55)，(S4)确定和评估所预测的对象框(55)的位置，和/或所预测的对象框(55)的横向延伸相对于所检测的视场(50)的横向延伸和/或所拍摄的图像的横向延伸的比例，(S5)根据所述评估的结果，(i)确定所预测的对象框(55)所基于的对象(52)关于可能的碰撞是否是危急的，和/或(ii)控制或调节所述工作设备(1)的运行状态。
Description
技术领域
本发明涉及一种用于工作设备或用于车辆的运行辅助系统、一种用于工作设备的运行辅助系统的控制单元、一种这样的运行辅助系统以及一种工作设备、尤其车辆。
背景技术
在工作设备中、尤其在车辆领域中越来越多地使用运行辅助系统和运行辅助方法，该运行辅助系统和运行辅助方法应当在与对象的可能碰撞方面检查相应设备的周围环境，并且应当输出相应的警报消息和/或干预该设备的运行。在已知的系统和方法中，例如使用具有三维数据分析处理的相对复杂的系统和数据结构，和/或，周围环境的相应评估的效力不足以用于干预设备的运行、例如不足以用于制动决策。
发明内容
与此不同，根据本发明的具有权利要求1的特征的运行辅助方法具有以下优点：针对工作设备的运行，可以借助相对简单的装置实现特别可靠的碰撞预测。根据本发明，该任务借助权利要求1的特征通过如下方式实现：提供一种用于工作设备、尤其车辆的运行辅助方法，在该运行辅助方法中，
(S1)在工作设备的视场中在彼此相继的时刻获得对象的对象框(Objektbox)或者获得表征这种对象框的数据；
(S2)由彼此相继或直彼此相继拍摄的图像中的给定对象的对象框，确定相应对象的对象框的当前缩放比例变化
或尺度变化
并且确定相应对象的对象框的当前横向位置变化；
(S3)由相应对象的对象框的当前缩放比例变化、尺度变化或由此得出的参量、当前横向位置变化，确定未来预测的对象框；
(S4)确定和评估所预测的对象框的位置和/或所预测的对象框的横向延伸相对于所检测的视场的横向延伸和/或所拍摄的图像的横向延伸的比例；
(S5)根据所述评估的结果，(i)确定所预测的对象框所基于的对象关于可能的碰撞是否是危急的(kritisch)，和/或，(ii)控制或调节工作设备的运行状态。
因此，根据本发明设置，对工作设备的周围环境的评估基于：所谓的对象框、相应预测的对象框以及所述对象框相对于所检测的视场的大小变化。基本上可以纯二维地检测并且能够以高精度确定这些数据。
从属权利要求示出本发明的优选扩展方案。
原则上可以从外部、例如从常规驾驶辅助系统的光学检测单元提供与对象框相关的数据。
然而，在根据本发明的运行辅助方法的一种优选实施方式中设置，在获得对象框和/或获得表征这种对象框的数据的步骤(S1)中或者针对该步骤(S1)：
(S1a)在拍摄时间上彼此相继的图像的情况下，在光学上二维地和/或单目地检测所基于的工作设备的视场；
(S1b)在彼此相继拍摄的图像中或这些图像的区段中确定至少一个对象并且确定分配给该对象的对象框。
如上面已经提到的，本发明的重要方面在于在未来预测视场中的对象的所检测的对象框。这种预测能够以不同方式实施。
在根据本发明的运行辅助方法的一个实施例中，至少针对当前最后检测的图像或图像的区段确定未来预测的对象框。
这尤其通过以下方式实现：在直至预测时间跨度的多个时间增量上迭代地确定并且更新相应对象框的缩放比例的或由此推导出的参量的值、相应对象框的坐标的值、相应对象框的平移的值和/或相应对象框的横向宽度的值。
可以预确定并规定预测时间跨度和/或时间增量。但也可能的是，使预测周期和/或时间增量取决于其他运行参数，例如取决于设备(尤其车辆)自身的固有速度和/或位置，或者也取决于设备(尤其车辆)的周围环境中的一个或多个对象的之前预测的速度和/或位置。因此，如果由于位于周围环境中的对象的数量和/或由于设备和/或对象的相对较高的固有速度而需要的话，则可以以有利的方式实现时间上更紧密进行监测。相反，在交通量相对较少或类似情况中可以降低监测开销。
在此背景下，按照根据本发明的运行辅助方法的另一构型，可以针对每个时间增量(尤其是按照说明的顺序)实施以下步骤：
(I1)根据分配规则重置或预设定待计算的值：
Skalierungalt：＝Skalierungneu
BoxTranslationXal：＝BoxTranslationXneu
BoxBreitealt：＝BoxBreiteneu
BoxPositionLinksalt：＝BoxPositionLinksneu
BoxPositionRechtsalt：＝BoxPositionRechtsneu
(I2)根据以下分配规则更新缩放比例：
Skalierungneu：＝1/(2-Skalierungal)
(I3)根据以下分配规则更新水平的或横向的对象框平移：
BoxTranslationXneu：＝BoxTranslationXalt×Skalierungalt
(I4)根据以下分配规则更新水平的或横向的对象框宽度：
BoxBreiteneu：＝BoxPositionRechtsalt-BoxPositionLinksalt
(I5)根据以下分配规则预测水平的或横向的框位置：
BoxPositionLinksneu
：＝BoxPositionLinksalt+BoxTranslationXneu-0.5×BoxBreiteneu×(Skalierungneu-1)/Skalierungneu
BoxPositionRechtsneu
：＝BoxPositionRechtsalt+BoxTranslationXneu+0.5×BoxBreiteneu×(Skalierungneu-1)/Skalierungneu
其中，Skalierungalt、Skalierungneu表示对象框的旧的或新的缩放比例，BoxTranslationXalt、BoxTranslationXneu表示对象框的旧的或新的移位，BoxBreitealt、BoxBreiteneu表示对象框的旧的或新的宽度，BoxPositionLinksalt、BoxPositionLinksneu表示对象框(52)的左下角的旧位置或新位置作为相应对象框的第一x坐标，以及BoxPositionRechtsalt、BoxPositionRechtsneu表示对象框右下角的旧位置或新位置作为相应对象框的第二x坐标，或表示它们的值。
替代地或附加地，上述等式可由以下计算规则代替或补充
和
其中，BoxPositionLinksneu和BoxPositionLinksaktuell或BoxPositionRechtsneu和BoxPositionRechtsaktuell是左侧或右侧框边缘的新位置或当前位置，BoxGeschwindigkeitLinksaktuell或BoxGeschwindigkeitRechtsaktuell是左侧或右侧框边缘的当前测量的角速度，NormGeschwindigkeitaktuell是当前测量的所谓的标准化或归一化的框速度，
对应于预测时间步长的预测时间。尤其由对象框的所计算的缩放比例变化推导出NormGeschwindigkeitaktuell。
在根据本发明的运行辅助方法的一种具体构型中设置，如果对象的预测的对象框的宽度在所基于的图像的宽度或该图像的预给定区段的宽度方面所占的份额超过预确定的第一阈值，则将所预测的对象框所基于的对象确定为关于可能的碰撞是危急的、尤其具有100％的值的危急程度。必须将该阈值重新应用于每个车辆模型和/或每个新车辆模型。
在此背景下特别有利的是：将针对对象确定的危急程度的值以如下份额减小：针对该对象所预测的对象框在其宽度方面以所述份额位于所基于的图像或预给定区段之外。
替代地或附加地有利地设置，如果所预测的对象框完全位于所基于的图像或预给定区段之外，则将所预测的对象框所基于的对象确定为关于可能的碰撞是非危急的、尤其具有0％的值的危急程度。
为了在将来预测对象框时考虑尽可能现实的情景，根据一种根据本发明的运行辅助方法的另一有利扩展方案设置，将行人求取为对象，基于行人模型来检查和评估作为对象的行人的位置和运动，基于针对行人求取的速度来确定作为对象的行人的加速能力，并且基于速度和加速能力来确定作为对象的行人的危急程度。
在此特别有利的是，基于加速能力产生扩展的并且包围(或至少横向或水平包围)预测对象框的预测对象框，并将其用作评估危急程度的基础。
根据本发明的另一方面，还提供一种控制单元，该控制单元用于工作设备、尤其车辆的运行辅助系统。
根据本发明的控制单元设置用于控制根据本发明的运行辅助方法，能够使根据本发明的运行辅助方法运行，和/或能够按照根据本发明的运行辅助方法来运行所基于的运行辅助系统。
本发明的主题还是一种用于工作设备、尤其车辆的这样的运行辅助系统。该运行辅助系统设置用于实施根据本发明的运行辅助方法。为此，运行辅助系统尤其具有根据本发明构型的控制单元。
此外，本发明还提出一种具有根据本发明的运行辅助系统的工作设备。
该工作设备尤其构造为车辆、机动车或轿车。
根据本发明的另一方面，还提出根据本发明的运行辅助方法的应用、根据本发明的控制单元的应用、根据本发明的运行辅助系统的应用和/或根据本发明的工作设备的应用，所述运行辅助方法、控制单元、运行辅助系统和/或工作设备用于行人保护或自行车骑手保护或自适应巡航控制(ACC)和/或避让系统或方法。
附图说明
参考附图详细描述本发明的实施方式。
图1以车辆的形式示出根据本发明的工作设备的示意性俯视图，在该工作设备中可以使用根据本发明的运行辅助方法的一种实施方式；
图2至图4示出视场中的不同场景的示意性侧视图，这些不同场景能够借助根据本发明的运行辅助方法来评估；
图5和图6示出根据本发明的运行辅助方法或预测对象框的迭代确定的一种实施方式的流程图。
具体实施方式
下面参考图1至图6详细描述本发明的实施例和技术背景。相同和等效的以及起相同或等效作用的元件和部件由相同的附图标记表示。并非在任何情况下都给出所表示的元件和部件的详细描述。
在不脱离本发明的核心的情况下，所示出的特征以及其他特性都能够以任何形式彼此隔离并且任意地彼此组合。
图1以车辆1'的形式示出根据本发明的工作设备1的示意性俯视图，在该工作设备中能够使用根据本发明的运行辅助方法S的一种实施方式。
根据本发明的车辆基本上由其上安装有车轮4的车身2构成，这些车轮能够借助驱动系12通过驱动单元20所驱动，并且这些车轮能够通过转向和制动单元30并且通过相应的制动和转向系13所制动和/或转向。
此外，根据本发明的运行辅助系统100的一种构型是根据本发明的车辆1'(在本发明的意义上作为工作设备1)的组成部分。运行辅助系统100包括摄像机单元40，该摄像机单元用于对车辆1'的周围环境中的视场50进行单目成像。视场50包括具有行人52'作为对象52的场景53。
控制单元10一方面通过控制和检测线路11与摄像机单元40连接，另一方面与驱动单元20以及制动和/或转向单元30连接以便进行控制。
在图1中所示的实施方式中，将由摄像机单元40从视场50检测的场景53的图像51通过控制和检测线路11传输到控制单元10中，并且在控制单元中结合根据本发明的运行辅助方法S对所述图像进行分析处理。
因此根据本发明，结合作为对象52的行人52'在每个图像或帧51中求取对象框54，并且由时间上直接相继的图像51的对象框求取关于位置变化和缩放比例变化的参数、关于框边缘的角速度的参数和/或关于对象框54的由此推导出的参量的参数，并且将如下预测用作基础：该预测用于基于迭代方法I来说明对象52的所预测的框55。
图2至图4示出视场50中的不同场景53的示意性侧视图，这些场景能够借助根据本发明的运行辅助方法S所评估。
在图2中所示的情况下，在场景53中，作为对象52的行人52'位于视场50中，该视场借助图1中所示的摄像机单元40以图像或帧51示出。必要时通过相应的区段或部分51'来限制图像或帧51。
首先，为行人52'推导出对象框54。然后，相对于时间上在先的图像或帧51中的对象框54，确定对象框54的缩放比例变化和位移或平移的度量、角位置、框边缘的角速度和/或由此推导出的参量。然后，在上述迭代方法I中借助步骤I1至I5在多个时间增量上，由这些参量针对经过的预测时间跨度在预期的预测对象框55方面提供预测。以这种方式，可以针对未来的预测时间跨度，由给定对象框54在位置方面借助右下角、左下角以及宽度55b外推出预测对象框55。
然后为了进行评估，将在未来的预测时间跨度预测的对象框55的宽度55b与图像51的区段51'的宽度51b进行比较。如果它们之间的比例超过预给定的第一阈值，则将对象52视为具有100％的危急程度。
也就是说，根据本发明，该危急值已经能够被用于向工作设备1的使用者(尤其车辆1'的驾驶员)发出警报，或者，该危急值能够被用于直接干预工作设备1的运行方法。然而也能够设想，如果对象52涉及行人52'，则能够以贴近现实的方式和方法影响对象52的其他方面(例如预测的加速度特性等)。
为此，能够推导出作为对象52的行人52'的当前速度及其大小，并且将当前速度用作行人模型的输入参数。然后，行人模型针对预期的加速度或针对预期的加速度特性输出相应的值。可以使用这些值来根据图3和图4构建包围或围绕的对象框56以及其右区段和左区段56r和56I，所述右区段和左区段超出原始预测的对象框55，所述右区段和左区段表示作为对象52的行人52'的正或负加速度特性的不确定范围。
图5和图6示出根据本发明的运行辅助方法S或所预测的对象框55的迭代确定I的一种实施方式的流程图，这例如在上面已经结合本发明的一般描述所讨论。
在此背景下还应提及的是，迭代方法I基本上构成了根据本发明的运行辅助方法S的实施方式的步骤S3，其中，在步骤I6中检查：通过经历时间增量是否已经到达预测时间跨度，和/或，是否存在针对迭代的其他终止条件。
在此，预测的对象框55相对于图像51或区段51'的宽度超过第二阈值，其中，第二阈值大于第一阈值，结合这一点例如可以看出替代的或另外的终止条件。
根据以下陈述进一步阐述本发明的这些以及另外的特征和特性：
本发明描述以下措施：如何能够仅基于单目视频系统的测量数据来确定对于碰撞警报系统(例如作为工作设备、尤其车辆的运行辅助系统的一部分)的危急程度标准。
为此，通常使用的碰撞指示符是“碰撞时间”(TTC)、“制动时间”(TBB)。这些指示符提供了如下信息：碰撞何时发生或何时必须采取制动过程以避免碰撞。基于单目视频摄像机的数据并且主要根据对象框的缩放比例变化，能够可靠地计算参数TTB和TTC，而无需确定间距、相对速度和相对加速度。
另一个碰撞指示符是“恒定方位(Constant Bearing,CB)”的值，该值最初源自航运并且指示出：人在持续固有运动中或自身运动中以及在对象运动中是否处于与对象52的碰撞轨迹中。也可以单纯基于单目视频数据、即基于二维数据库来计算CB。
用于计算危急程度的现有技术是使用基于3D的世界坐标系。
这种方法的基础是：例如在(借助单摄像机或单目摄像机仅能够以有限质量通过估计确定的)距离、相对速度和相对加速度的意义上，使用三维数据或3D数据。
CB概念难以理解、难以参数化、无法对未来进行任何预测，也无法使用行人运动模型。
仅TTC/TTB的概念不足以用于制动决策，因为仅考虑了时间方面，但没有考虑到对象是否位于碰撞轨迹中。TTC和TTB的概念例如无法得出结论：是否在对象旁边驶过。
基于本发明的新的基于二维的或基于2D的危急程度计算的方案纯粹或基本上基于所测量的二维或2D数据或2D信号，尤其基于对象框的所谓框坐标以及缩放比例变化、框平移、角度位置和/或角速度的参数的确定，这些参数描述图像、帧、图像或帧的相应区段中的相应对象框的尺度变化、大小变化、移动或位移，并且这些参数结合框坐标能够以高信号品质存在或确定。
根据本发明的方案还包括对未来的预报、预计或预测(更确切地说，在相应对象框54的位置及其大小/宽度或大小变化/宽度变化方面)并且因此根据本发明允许使用行人运动模型。
因此，可以使用行人运动模型来预测行人52'的停留区域。在此，可以使用关于行人52'在各种运动状态下(例如站立、行走、跑、奔跑)的加速能力的模型来得出结论：行人52'在未来可能位于哪些位置。危急程度的值是由行人52'的所预测或所预计的自身停留区域与所预测或所预计的可能停留区域56的重叠计算出的。
与纯CB概念相比，根据本发明的方案更易于理解和参数化，实验评估表明：相比于借助CB实现方案以及基于借助单摄像机估计的3D数据的传统基于3D的方法，根据本发明的方案能够提供更好的结果。
通常也针对每个所拍摄的图像或帧执行预报或预测。在此，针对每个所拍摄的图像或帧设置目标时间跨度(例如2秒)。因此，对未来的目标时间跨度进行预报。在此，将目标时间跨度划分为多个例如相等的时间增量。然而，目标时间跨度和/或时间增量也可以设计成可变的，并且与其他运行参数相关、由其他运行参数来确定、选择和确定。
在此针对每个所拍摄的图像51或帧执行以下过程：
-在视场50中检测给定对象52的相应对象框54的横向框坐标。
-检测对象52的对象框54相对于一个或多个先前的图像或帧的缩放比例变化。
-在视场50中检测给定对象52的对象框54的框边缘在横向方向上相对于先前的图像、帧、部分或区段的框运动、框位移或框平移(单位像素)、角位置和/或角速度。
-将在上文中已经借助方法S和I针对直至目标时间跨度(作为预测时间跨度)的n个时间增量所描述的过程用作具体预测或预计的基础。
-在n个周期中的每个中(即针对直至达到预给定的目标时间跨度的每个时间增量)，将所预测的框宽度与摄像机图像51的图像宽度、或与预给定或预确定部分或区段51'的宽度进行比较。
-可以将图像中的框宽度与图像宽度或区段宽度之间的比例用作确定危急程度的标准的基础。只要框宽度55b占据图像51或区段51'的一定宽度51b并且因此超过阈值(例如35％)，则认为危急程度为100％并将危急程度置于100％。
-另一方面，如果例如所预测的或所预计的框55部分地或完全位于图像51或区段51'之外，则情况是不危急的，将危急程度置于0％。
-根据行人52'的位置和/或速度，可以借助行人模型来求取行人的加速能力。在此，可以为作为对象52的行人52'展开第二扩展的对象框56，该对象框具有行人52'在考虑行人的加速能力情况下的在图像51或图像51的区段51'内的可能横向停留区域。
-为了确定作为对象52的行人52'的速度并且为了将加速能力换算为像素坐标或角度坐标，可以对作为对象52的行人52'的大小进行假设。例如可以将1.75m的常见大小用作基础。
-还可以以如下份额来减小或最小化之前计算的危急程度的值：最后预测或预计的框55以该份额位于图像51、帧、或相应区段51'或其一部分之外。例如，如果框宽度55b的50％(即如果对象框55在考虑到行人模型的情况下代表的可能的停留区域)位于图像51或帧或给定部分或区段51'之外，则危急程度相应地降低。未来的预测离得越远，则(由于潜在更大的停留区域位于图像51或区段51'之外)危急程度越大程度地降低。这种特性是期望的，因为随着对未来的时间预测的增加，关于行人52'的特性的不确定性增加。
-如果作为对象52的行人的所预测的对象框55达到关键大小(例如达到阈值：帧的35％或图像宽度)则在迭代I的这一周期中将预测终止，因为在该时刻已经可能发生碰撞。
Claims (13)
1.一种用于工作设备(1)的运行辅助方法(S)，在所述运行辅助方法中，
(S1)在所述工作设备(1)的视场中在彼此相继的时刻获得对象(52)的对象框(54)或者获得表征这种对象框(54)的数据；
(S2)由彼此相继或直接彼此相继拍摄的图像中的给定对象(52)的对象框(54)，确定相应对象(52)的对象框(54)的当前缩放比例变化或由此推导出的参量并且确定相应对象(52)的对象框在所述图像(54)中的当前横向位置变化；
(S3)由相应对象(52)的对象框(54)在所述图像中的当前缩放比例变化或由此推导出的参量以及当前横向位置变化，确定未来预测的对象框(55)；
(S4)确定和评估所预测的对象框(55)的位置和/或所预测的对象框(55)的横向延伸相对于所检测的视场(50)的横向延伸的和/或所拍摄的图像或所述图像的区段的横向延伸的比例；
(S5)根据所述评估的结果，(i)确定所预测的对象框(55)所基于的对象(52)关于可能的碰撞是否是危急的，和/或，(ii)控制或调节所述工作设备(1)的运行状态。
2.根据权利要求1所述的运行辅助方法(S)，在所述运行辅助方法中，在获得所述对象框(54)和/或获得表征所述对象框(54)的数据的步骤(S1)中或针对获得所述对象框和/或获得表征所述对象框的数据的步骤，
(S1a)在拍摄时间上彼此相继的图像的情况下，在光学上二维地和/或单目地检测所基于的工作设备(1)的视场(50)，
(S1b)在彼此相继拍摄的图像中，确定至少一个对象(52)并且确定分配给所述对象(52)的对象框(54)。
3.根据以上权利要求中任一项所述的运行辅助方法(S)，在所述运行辅助方法中，至少针对当前最后检测的图像确定未来预测的对象框(55)，其方式为：在直至预测时间跨度的多个时间增量上迭代地确定并且更新相应对象框(54)的缩放比例的值、相应对象框(54)的坐标的值、相应对象框(54)的平移的值以及相应对象框(54)的横向宽度的值。
4.根据权利要求3所述的运行辅助方法(S)，在所述运行辅助方法中，尤其按照说明的顺序针对每个时间增量执行以下步骤：
(I1)根据分配规则重置或预设定待计算的值：
Skalierungalt：＝Skalierungneu
BoxTranslationXalt：＝BoxTranslationXneu
BoxBreitealt：＝BoxBreiteneu
BoxPositionLinksalt：＝BoxPositionLinksneu
BoxPositionRechtsalt：＝BoxPositionRechtsneu
(I2)根据以下分配规则更新缩放比例：
Skalierungneu：＝1/(2-Skalierungalt)
(I3)根据以下分配规则更新水平的对象框平移：
BoxTranslationXneu：＝BoxTranslationXalt×Skalierungalt
(I4)根据以下分配规则更新水平的对象框宽度：
BoxBreiteneu：＝BoxPositionRechtsalt-BoxPositionLinksalt
(I5)根据以下分配规则预测水平的框位置：
BoxPositionLinksneu
：＝BoxPositionLinksalt+BoxTranslationXneu-0.5×BoxBreiteneu×(Skalierungneu-1)/Skalierungneu
BoxPositionRechtsneu
：＝BoxPositionRechtsalt+BoxTranslationXneu+0.5×BoxBreiteneu×(Skalierungneu-1)/Skalierungneu
其中，Skalierungal、Skalierungneu表示对象框(54)的旧的或新的缩放比例，BoxTranslationXalt、BoxTranslationXneu表示对象框(54)的旧的或新的移位，BoxBreitealt、BoxBreiteneu表示对象框(54)的旧的或新的宽度，BoxPositionLinksalt、BoxPositionLinksneu表示对象框(54)的左下角的旧位置或新位置作为相应对象框(54)的第一x坐标，以及BoxPositionRechtsalt、BoxPositionRechtsneu表示对象框(54)的右下角的旧位置或新位置作为相应对象框(54)的第二x坐标，或表示它们的值。
5.根据权利要求3或4所述的运行辅助方法，在所述运行辅助方法中，为了求取新的框位置实施以下计算规则：
其中，BoxPositionLinksneu和BoxPositionLinksaktuell或BoxPositionRechtsneu和BoxPositionRechtsaktuell是左侧或右侧框边缘的新位置或当前位置，BoxGeschwindigkeitLinksaktuell或BoxGeschwindigkeitRechtsaktuell是左侧或右侧框边缘的当前测量的角速度，NormGeschwindigkeitaktuell是当前测量的所谓的标准化的框速度，
是对应于预测时间步长的预测时间，其中，由所述对象框的所计算的缩放比例变化推导出NormGeschwindigkeitaktuell。
6.根据以上权利要求中任一项所述的运行辅助方法(S)，在所述运行辅助方法中，如果所预测的对象框(55)的宽度在所基于的图像的宽度或所述图像的预给定区段的宽度方面所占的份额超过预确定的第一阈值，则将所预测的对象框(55)所基于的对象(52)确定为关于可能的碰撞是危急的、尤其具有100％的值的危急程度。
7.根据权利要求6所述的运行辅助方法(S)，在所述运行辅助方法中，将针对对象(52)确定的危急程度的值以如下份额减小：针对所述对象(52)所预测的对象框(55)在其宽度方面以所述份额位于所基于的图像或所述预给定区段之外。
8.根据以上权利要求中任一项所述的运行辅助方法(S)，在所述运行辅助方法中，如果所预测的对象框(55)完全位于所基于的图像或所述图像的预给定区段之外，则将所预测的对象框(55)所基于的对象(52)确定为关于可能的碰撞是非危急的、尤其具有0％的值的危急程度。
9.根据以上权利要求中任一项所述的运行辅助方法(S)，在所述运行辅助方法中，将行人(52′)求取为对象(52)，基于行人模型来检查和评估作为对象(52)的行人(52′)的位置和运动，基于针对所述行人(52′)求取的速度来确定作为对象(52)的行人(52′)的加速能力，基于所述速度和所述加速能力来确定作为对象(52)的行人(52′)的危急程度，其中，尤其基于所述加速能力产生如下对象框(56)并将其用作评估危急程度的基础：所述对象框包围或至少横向地或水平地围绕所预测的对象框(55)。
10.一种用于工作设备(1)的运行辅助系统(100)的控制单元(10)，所述工作设备尤其是车辆，所述控制单元设置用于控制和/或运行根据以上权利要求中任一项所述的运行辅助方法(S)，和/或，所述控制单元设置用于按照根据以上权利要求中任一项所述的运行辅助方法(S)来运行所基于的运行辅助系统(100)。
11.一种用于工作设备(1)的运行辅助系统(100)，所述工作设备尤其是车辆，所述运行辅助系统设置用于实施根据以上权利要求中任一项所述的运行辅助方法(S)，并且所述运行辅助系统为此尤其具有根据权利要求10所述的控制单元(10)。
12.一种工作设备(1)，所述工作设备具有根据权利要求11所述的运行辅助系统(100)，所述工作设备尤其构造成车辆、机动车或轿车。
13.一种根据权利要求1至9中任一项所述的运行辅助方法(S)的、根据权利要求10所述的控制单元(10)的、根据权利要求11所述的运行辅助系统(100)的和/或根据权利要求12所述的工作设备(1)的应用，所述运行辅助方法、所述控制单元、所述运行辅助系统和/或所述工作设备用于行人保护、自行车骑手保护、自适应巡航控制和/或避让系统或方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018208278.2A DE102018208278A1 (de) | 2018-05-25 | 2018-05-25 | Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung |
| DE102018208278.2 | 2018-05-25 | ||
| PCT/EP2019/059280 WO2019223933A1 (de) | 2018-05-25 | 2019-04-11 | Betriebsassistenzverfahren, steuereinheit, betriebsassistenzsystem und arbeitsvorrichtung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112166434A true CN112166434A (zh) | 2021-01-01 |
Family
ID=66182567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980035337.7A Pending CN112166434A (zh) | 2018-05-25 | 2019-04-11 | 运行辅助方法、控制单元、运行辅助系统和工作设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11403854B2 (zh) |
| EP (1) | EP3803679A1 (zh) |
| JP (1) | JP7244546B2 (zh) |
| CN (1) | CN112166434A (zh) |
| DE (1) | DE102018208278A1 (zh) |
| WO (1) | WO2019223933A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2019366956A1 (en) | 2018-10-23 | 2021-05-20 | Dragonfly Therapeutics, Inc. | Heterodimeric Fc-fused proteins |
| US10885775B2 (en) * | 2019-06-06 | 2021-01-05 | Verizon Patent And Licensing Inc. | Monitoring a scene to analyze an event using a plurality of image streams |
| JP7308089B2 (ja) * | 2019-07-18 | 2023-07-13 | 株式会社小松製作所 | 作業車両の表示システムおよび作業車両の表示方法 |
| KR20220094416A (ko) * | 2020-12-29 | 2022-07-06 | (주)에이아이매틱스 | 근미래 객체 위치 예측 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113296A (ja) * | 2006-10-31 | 2008-05-15 | Honda Motor Co Ltd | 車両周辺監視装置 |
| CN106156725A (zh) * | 2016-06-16 | 2016-11-23 | 江苏大学 | 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 |
| JP2017138660A (ja) * | 2016-02-01 | 2017-08-10 | トヨタ自動車株式会社 | 物体検出方法、物体検出装置、およびプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4267171B2 (ja) * | 1999-05-10 | 2009-05-27 | 本田技研工業株式会社 | 歩行者検知装置 |
| EP1709568A4 (en) * | 2003-12-15 | 2009-07-29 | Sarnoff Corp | METHOD AND APPARATUS FOR TRACKING OBJECTS BEFORE THE IMMINENT DETECTION OF A COLLISION |
| JP2008186170A (ja) | 2007-01-29 | 2008-08-14 | Fujitsu Ten Ltd | 運転支援装置および運転支援方法 |
| JP5421072B2 (ja) | 2008-11-19 | 2014-02-19 | クラリオン株式会社 | 接近物体検知システム |
| EP2463843B1 (en) * | 2010-12-07 | 2015-07-29 | Mobileye Vision Technologies Ltd. | Method and system for forward collision warning |
| US8498444B2 (en) * | 2010-12-13 | 2013-07-30 | Texas Instruments Incorporated | Blob representation in video processing |
| JP2013097480A (ja) | 2011-10-31 | 2013-05-20 | Hitachi Consumer Electronics Co Ltd | 車両用衝突危険予測装置及び車両用衝突危険予測システム |
| EP2589979A1 (en) * | 2011-11-03 | 2013-05-08 | Thales Nederland B.V. | System for characterizing motion of an individual, notably a human individual |
| JP5930806B2 (ja) * | 2012-03-30 | 2016-06-08 | 富士通テン株式会社 | 検知装置、及び検知方法 |
| WO2015152304A1 (ja) * | 2014-03-31 | 2015-10-08 | エイディシーテクノロジー株式会社 | 運転支援装置、及び運転支援システム |
| US10444346B2 (en) * | 2014-07-25 | 2019-10-15 | Robert Bosch Gmbh | Method for migrating radar sensor limitations with video camera input for active braking for pedestrians |
| US10248872B2 (en) | 2016-10-19 | 2019-04-02 | Texas Instruments Incorporated | Estimation of time to collision in a computer vision system |
| WO2019028761A1 (en) * | 2017-08-10 | 2019-02-14 | Beijing Airlango Technology, Co., Ltd. | TRACKING OBJECT USING DEPTH INFORMATION |
-
2018
- 2018-05-25 DE DE102018208278.2A patent/DE102018208278A1/de active Pending
-
2019
- 2019-04-11 EP EP19717859.3A patent/EP3803679A1/de active Pending
- 2019-04-11 CN CN201980035337.7A patent/CN112166434A/zh active Pending
- 2019-04-11 WO PCT/EP2019/059280 patent/WO2019223933A1/de unknown
- 2019-04-11 JP JP2020565882A patent/JP7244546B2/ja active Active
- 2019-04-11 US US16/977,803 patent/US11403854B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113296A (ja) * | 2006-10-31 | 2008-05-15 | Honda Motor Co Ltd | 車両周辺監視装置 |
| JP2017138660A (ja) * | 2016-02-01 | 2017-08-10 | トヨタ自動車株式会社 | 物体検出方法、物体検出装置、およびプログラム |
| CN106156725A (zh) * | 2016-06-16 | 2016-11-23 | 江苏大学 | 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102018208278A1 (de) | 2019-11-28 |
| US11403854B2 (en) | 2022-08-02 |
| WO2019223933A1 (de) | 2019-11-28 |
| JP2021525423A (ja) | 2021-09-24 |
| EP3803679A1 (de) | 2021-04-14 |
| JP7244546B2 (ja) | 2023-03-22 |
| US20200401821A1 (en) | 2020-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112166434A (zh) | 运行辅助方法、控制单元、运行辅助系统和工作设备 | |
| JP4751429B2 (ja) | 物体追跡の方法 | |
| US9358976B2 (en) | Method for operating a driver assistance system of a vehicle | |
| CN111369831A (zh) | 一种道路驾驶危险预警方法、装置和设备 | |
| JP5023186B2 (ja) | ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム | |
| JP2010198552A (ja) | 運転状況監視装置 | |
| JP2013225295A5 (zh) | ||
| JP2022013848A (ja) | ある車両の環境中の標的車両の軌道を予測する方法及びシステム | |
| JP4937844B2 (ja) | 歩行者検出装置 | |
| CN112061138A (zh) | 车辆偏心率映射 | |
| US11900257B2 (en) | Method for representing an environment of a mobile platform | |
| JP5482323B2 (ja) | 運転支援装置及びプログラム | |
| JP6936098B2 (ja) | 対象物推定装置 | |
| CN109195849B (zh) | 摄像装置 | |
| CN108960160B (zh) | 基于非结构化预测模型来预测结构化状态量的方法和装置 | |
| KR20230120615A (ko) | 보행자의 위치를 결정하는 방법 및 장치 | |
| KR20210060779A (ko) | 차량센서의 이상 진단 장치 및 그 방법 | |
| JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 | |
| JP4244887B2 (ja) | 移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法 | |
| US20240190420A1 (en) | Method and apparatus of predicting possibility of accident in real time during vehicle driving | |
| TWI723657B (zh) | 車輛控制方法與車用控制系統 | |
| US20230009736A1 (en) | Adaptive motion compensation of perception channels | |
| JP2020531997A (ja) | フローベクトル仮説の尤度確認のための方法および装置 | |
| WO2021230314A1 (ja) | 計測システム、車両、計測装置、計測プログラム及び計測方法 | |
| US10867397B2 (en) | Vehicle with a driving assistance system with a low power mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |