CN111108528A - 用于评估图像的方法和设备、运行辅助方法和运行设备 - Google Patents
用于评估图像的方法和设备、运行辅助方法和运行设备 Download PDFInfo
- Publication number
- CN111108528A CN111108528A CN201880061101.6A CN201880061101A CN111108528A CN 111108528 A CN111108528 A CN 111108528A CN 201880061101 A CN201880061101 A CN 201880061101A CN 111108528 A CN111108528 A CN 111108528A
- Authority
- CN
- China
- Prior art keywords
- correspondence
- measure
- image
- correspondences
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 36
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000036961 partial effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000001419 dependent effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000013442 quality metrics Methods 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 241000533950 Leucojum Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本发明涉及一种用于评估图像(B1，B2)、尤其用于评估图像(B1，B2)的对应性(10，12)的方法(S)，所述方法具有以下步骤：(i)提供(S1‑1)给定的第一与第二图像(B1，B2)之间的对应性(10，12)，(ii)提供(S1‑2)一个质量度量或多个质量度量作为用于表征相应的对应性(10，12)的属性(20，22)，(iii)评估(S2‑1)并有条件地选择(S2‑2)所述对应性，(iv)提供(S2‑3)所选择的对应性(10，12)作为评估结果(100)，其中，所述对应性(10，12)的评估(S2‑1)基于所述属性(20，22)的组合，并且所述对应性(10，12)的选择(S2‑2)基于所述评估(S2‑1)的结果。
Description
技术领域
本发明涉及用于评估图像(尤其图像的对应性)的一种方法和一种设备，本发明还涉及一种运行辅助方法(尤其驾驶辅助方法)以及一种运行设备(尤其车辆)。本发明还涉及一种计算机程序和一种机器可读的存储介质。
背景技术
在许多技术领域中(例如在汽车工业领域中在所谓的驾驶员辅助系统中)，使用图像处理来控制设备和过程。在这种背景下，例如检测图像并将该其作为控制过程的基础。为此，必须对图像进行评估。通常在图像评估时产生所谓的对应性并将该对应性作为评估的基础。这种对应性逐像素地、在时间和/或空间方向上描述第一图像中的坐标与第二图像中的坐标之间的分配关系。时间关系可以涉及彼此相继地拍摄的图像，空间关系可以涉及空间上分离的图像，这些空间上分离的图像(例如在立体视觉中)也可以被同时拍摄。
发明内容
根据本发明的用于评估图像的具有权利要求1特征的方法具有以下优点：可以以相对较低的开销、以高可靠性检查图像对的对应性(Korrespondenz)，并且可以在验证时选择所述对应性。这根据本发明借助权利要求1的特征通过如下方式来实现：提供一种用于评估图像、尤其用于评估图像的对应性的方法，该方法具有以下步骤：
(i)提供给定的第一图像与第二图像之间的对应性；
(ii)提供一个或多个质量度量作为用于表征相应的对应性的属性；
(iii)评估并且有条件地(bedingt)选择对应性；
(iv)提供所选择的对应性作为评估结果。
在此根据本发明，对应性的评估基于属性的组合，对应性的选择基于所述评估的结果。通过根据本发明设置的措施实现：由于在评估时使用对应性的彼此组合的属性，所以对于已经求取的对应性而言，在选择对应性时实现高度的选择性和准确性。根据所述选择，在进一步处理或进一步使用时，可以在不损害准确性的情况下降低数据开销。
在本发明的意义上，也可以将对应性的总体理解为对应图像、对应组或对应矩阵，它们的各个组成部分也可以称为元素或像素。各个对应性可以具有一个或多个标量分量——例如空间中不同运动方向u、v的值。因此，各个对应性可以具有矢量值。此外，所述对应性可以基于光流的概念(也称为OF)和/或反映立体视差，但这不是强制性的。
以类似的方式，也可以将质量度量、属性和/或所选择的对应性的整体理解为具有相应的元素或像素的相应的图像，数据组和/或矩阵。
本发明能够结合任意形式的摄像机、监测摄像机和/或测量技术摄像机使用，例如——但不限于——通常在车辆上或之中使用、尤其结合机动车使用。在此还包括本发明结合电视摄像机、消费摄像机、无人机摄像机、人机交互摄像机等的应用。
从属权利要求示出本发明的优选扩展方案。
为了实现相应的质量度量或分别考虑的对应性的属性，可以单独地或彼此任意组合地使用不同方面，所述不同方面能够实现对应性评估。
因此，按照根据本发明的方法的一种优选构型能够实现，相应的质量度量作为所观察的对应性的属性代表以下方面中的至少一个或其组合，即例如
-至少在分别考虑的对应性的区域中，对应性分布的至少局部的地点相关性和/或空间角相关性的度量、尤其对应性的地点相关的和/或空间角度相关的分布的均匀性的度量，
-优先级的度量，所述优先级用于优选考虑所基于的对应性，
-存在正确分配的度量，所述正确分配是相应的对应性到所基于的图像的区域的正确分配，
-所基于的图像的与相应的对应性相关的区域的自身运动的度量、尤其与相应的对应性相关的对象和/或在考虑非对极顺应运动(nicht epipolarer konformerBewegungen)情况下的自身运动的度量，
-所基于的图像的与相应的对应性相关的区域的运动可能性的度量、尤其与相应的对应性相关的对象的运动可能性的度量，
-准确性的度量，已经以该准确性确定相应的对应性，
-在求取相应的对应性时所基于的分辨率或分辨率级别的度量，
-所基于的图像的与相应的对应性相关的区域的归属性
的度量、尤其与相应的对应性相关的对象的归属性的度量，所述归属性是至语义类别的归属性，该语义类别优选基于基于视频的对象分类、机器学习过程和/或语义分割过程，
-所基于的图像的与相应的对应性相关的区域的归属性的度量、尤其与相应的对应性相关的对象的归属性的度量，所述归属性是至用于(尤其结合掩码)考虑所基于的图像的允许区域的类别的归属性，
-唯一明确性(Eindeutigkeit)的度量，以该唯一明确性在局部环境中求取或已经求取到相应的对应性，
-相应的对应性与时间上先前的对应性的一致性的度量、尤其流矢量随时间的一致性程度方面的度量，其中，在确认的一致性的情况下，将所基于的时间稳定特性尤其以年龄的形式作为数值进行说明。
在根据本发明的方法的另一有利构型中，通过如下方式产生特别高程度的灵活性：使用如下组合的质量度量作为属性：所述组合的质量度量由一个或多个质量度量通过构造组合和/或构造函数得出、尤其通过构造倒数、符号反转、四舍五入、由质量度量所基于的标量值或矢量值构造函数值得出。
可以特别简单地实现根据本发明的方法的具体流程，其方式为：按照根据本发明的的方法的另一有利扩展方案，将相应的属性和/或所基于的质量度量(尤其其值)编码地用作地址、尤其结合代表属性和/或质量度量的读取表(尤其查找表)的值。
附加地或替代地，实现根据本发明的方法的进一步的简化和节约，其方式为：根据另一实施方式将相应的对应性表示为一维列表或矢量，并将分别分配给对应性的属性和/或其编码表示为一个或多个附加的列表元素或矢量分量或所述一个或多个附加的列表元素或矢量分量的一部分，并且所述所述属性和/或所述属性的编码被添加在列表或矢量上。
在具体的应用中，在推导对应性的时刻，可能并非待查找的质量度量和/或属性的所有值都可用。
即使结合这种情况也有利的是，将较早时刻的对应性的属性和/或质量度量传输和/或外插到较晚时刻的对应性。
根据另一有利构型，根据本发明的方法可以进一步节约，其方式为：将对应性(尤其在整体上结合所分配的属性)实际上表示为图像、矩阵等，通过重叠和/或不重叠的部分区域——尤其以密铺(Parkettierung)或平铺(Kachelung)的方式——覆盖该图像或矩阵，并且对于每个部分区域，关于部分区域中存在的对应性(如果存在的话)选择(尤其在所分配的属性方面的)最佳对应性。
本发明此外涉及一种运行辅助方法、尤其用于设备(尤其车辆)的驾驶辅助方法，在该运行辅助方法中，检测图像并借助根据本发明的方法对图像进行评估，并且在控制设备的运行的情况下使用评估的结果。
根据本发明的另一方面说明一种用于评估图像(尤其用于评估图像的对应性)的设备，该设备设置用于实施根据本发明的运行辅助方法或驾驶辅助方法或根据本发明的用于评估图像(尤其图像对的对应性)的方法。
根据本发明的设备尤其可以构造为专用集成电路、可自由编程的数字信号处理设备或它们的组合。
此外，通过本发明说明一种计算机程序，该计算机程序设置用于当在计算机或数字信号处理设备上实施该计算机程序时，实施根据本发明的方法。
此外，本发明还提出一种机器可读的存储介质，在该机器可读的存储介质上存储有根据本发明的计算机程序。
附图说明
参考附图更详细地描述本发明的实施方式。
图1和图2以流程图的形式或以方框图的方式示意性地示出根据本发明的方法的实施方式，并且说明所基于的图像之间的关联性、对应性、属性和其他信息；
图3至图5示意性地示出根据对应性分布的相应图像来使用根据本发明的方法的实施方式的结果；
图6示意性地示出作为具有附加属性的对应性的流矢量的图示的可能结构；
图7和图8示意性地示出使用密铺或平铺来覆盖对应性的图像；
图9A至图9C示意性地描述掩码的使用和相关的时间传递。
具体实施方式
以下参考图1至图9C详细描述本发明的实施例和技术背景。相同、等效以及起相同或等效作用的元件和部件以相同的附图标记表示。并非在任何情况下都重复所述元件和部件的详细描述。
在不脱离本发明的核心的情况下，所示出的特征和其他特性可以以任何形式彼此分离并且可以任意地彼此组合。
图1和图2以流程图的形式或以方框图的方式示意性地示出根据本发明的方法S的实施方式，并且说明所基于的图像B1、B2之间的关联性、对应性12、属性22和其他信息32，这些在此对应于所基于的图像B1、B2地作为具有相应像素或元素的相应图像或矩阵10、20和30给出。
图像B1、B2、10、20、30可以具有彼此不同的尺寸和/或格式，或者也可以具有一个尺寸。属性图像尤其也可以更小，以便节省存储空间和/或带宽。它们在水平和垂直方向上尤其可以是输入图像的尺寸的一半，并且可以根据需要进行放大。
根据本发明的用于评估图像B1、B2(尤其它们的对应性12)的方法S的实施方式包括第一步骤S1，其中，在第一部分步骤S1-1中，提供图像B1、B2的对应性12——例如以对应性12的相应的对应图像10的形式，对应性可以理解为组、矩阵或存储区域。在这种情况下，各个对应性12也可以理解为元素或像素。
在第二部分步骤S1-2中，根据对对应性12的分析得出并提供例如质量度量形式的相应的属性22。属性22的整体又可以理解为图像20、组、矩阵或存储区域，其中，然后各个属性22又作为元素或像素被包括在内。
必要时，附加信息32要么作为属性的补充(例如被包含在属性中)产生和提供，要么作为单独的实体(以图像30、组、矩阵或存储区域的形式)产生和提供。然而这不是强制性的，但通常是有利的。
可以并行地(并且例如同时地)或串行地执行方法S的第一方法步骤S1的各个部分步骤S1-1和S1-2。
在根据本发明的方法S的第二步骤S2中进行以下步骤：评估S2-1对应性12，有条件地选择S2-2对应性12，提供S2-3所选择的对应性12作为评估结果。
在图1中示出，再次以图像100的形式提供所选择的对应性12，其中，图像100也可以理解为组、矩阵或存储区域。然而该方法不是强制性的。
如果所选择的对应性仅代表对应性的输入集合的一小部分，则非常有利的是：不再将选择表示为图像或矩阵，而是更紧凑地例如表示为列表。
接下来是根据所选择的对应性12来确定相对定向和/或自身运动的步骤S3。根据所述选择可以降低数据量并且提高可靠性和准确性。
根据所求取的相对定向和/或自身运动，接下来可以进行各种其他过程——例如确定自身运动的对象的类别的过程S4等以及(替代地或附加地)确定的应用S4、S5。
图2以方框图的形式示出图示，该图示尤其在数据流35和36的影响方面给出关于数据流的详细说明，即：根据方法步骤S4以及根据其通过反馈34对方法S的第二方法步骤S2(尤其有条件的选择的过程2-2)的影响，更确切地说在提供附加信息30的意义上，在自身运动的对象的分类方面给出关于对应性12的流以及关于自身运动和/或相对定向的数据的详细说明。
图3至图5示意性地示出根据对应性分布的相应图像10、100来使用根据本发明的方法S的实施方式的结果，更确切地说，在图3中以对应性12的原始形式、在图4中以对应性12的掩码形式、在图5中根据对应性的选择示出所述结果。这将在下文中更详细讨论。
图6示意性地(例如以长度为32位的字节)示出流矢量的图示的可能结构作为对应性12，该对应性具有单独代码段形式的附加属性22，该单独代码段在这种情况下也称为QCode并包括6个质量特征QM0至QM05的段。在这种情况下，通过将属性22添加至修改的对应性12′而以修改的方式示出原始对应性12。
图7和图8示意性地示出使用密铺或平铺来覆盖对应性12的图像10。
在图7中，所有提供的对应性12的整体以对应性矩阵10的方式示出，该整体也可以理解为如下图像：所述图像在其结构上和构造上相应于相应的所基于图像B1和B2。然而该过程不是强制性的，矩阵10和图像B1、B2彼此相比可以具有不同的尺寸。相应地，在图像或矩阵10中构造有相应的元素或像素11，所述元素或像素可以包括一个或多个对应性12，但不是必须的，也就是说，如果确定的像素11不包含任何对应性12，则这些像素可以为空。
为了借助原始的对应性12来覆盖对应性矩阵10，产生具有部分范围或部分区域15的密铺或平铺。各个部分范围或部分区域15不重叠并且在整体上覆盖整个对应性图像10。
确定的部分区域16不具有对应性12。确定的部分区域17在根据图7的图示中具有不同的形状并且具有不同的尺寸，这是因为这些确定的部分区域位于边缘上并且确保部分区域15相对于彼此偏移。
对于部分区域15中的每个，如果它们不为空，则通过比较相应部分区域15内的所有对应性12来确定和选择优选的对应性13。在以下各节中将对此进行详细讨论。
图8考虑对应性矩阵10的覆盖的各个图块(Kachel)15，其中，箭头19的走向示出关于各个像素11和各个对应性12进行图块15处理的路径。该处理的路径确保：到达图块或部分区域15的所有像素11。也可以不同地选择处理图块或部分区域15的路径，例如优选水平地(而不是垂直地)、螺旋地或随机顺序地选择所述路径。
图9A至9C示意性地描述掩码的应用并且在扭曲(Warping)的意义上描述相关的时间传递。在以下各段中详细示出这些方面。
根据以下陈述进一步阐述本发明的这些和其他特征和特性：
本发明还涉及所谓的优先级采样，并且替代地或附加地涉及以下方面：由图像对B1、B2的或一般地由多个图像B1、B2的对应性12的集合或区域(Feld)来评估和选择优选候选者。
根据本发明的一种替代观点，这还涉及对图像对B1、B2的或一般地对多个图像B1、B2的对应性12的评估和选择，和/或涉及如下方面：改善相对定向的基于视频的估计。
此外，根据另一附加的替代的观点，本发明涉及以下方面：用于改善基于视频的自身运动估计的方法和设备。
在机器视觉、计算机视觉的领域中、尤其结合光流(OF)的概念和在立体视差中涉及到主题“对应性形成”。
结合光流在时间方向上形成对应性，其方式是：确定第一图像B1中的坐标与第二图像B2中的坐标之间的分配关系。于是，这种对应性说明：3D场景中的点到2D图像中的投影如何从旧坐标继续运动至新坐标。
在此，图像B1、B2中的运动可以是通过场景点的运动或摄像机的运动引起的或者通过这两者同时引起的。
在立体视觉中，由位于不同地点的两个摄像机大约同时地检测两个图像B1、B2。在此，摄像机的相对布置通常是固定且已知的。构造对应性能够实现借助三角测量法来确定至3D场景中的点的距离。
例如在http://www.cvlibs.net/datasets/kitti中的“The KITTI VisionBenchmark Suite”中，尤其关于驾驶员辅助系统给出现有技术中的最佳方法的概述。
在相对定向的基于摄像机的确定中使用多个对应性(尤其两个图像B1、B2之间的点对应性)，以便由此计算摄像机位置相对于(通常认为是静态的)场景的相对定向。
图像B1、B2也可以来自两个不同的摄像机，这两个不同的摄像机可以机械牢固地彼此连接。
如果两个图像B1、B2来自同一摄像机，则还涉及自身运动估计。在此求取(尤其相对于场景的)相对运动，摄像机在间隔期间完成该相对运动。通常可以将这种运动描述为3D旋转和3D平移的组合。
在本发明的意义上，等效地(尤其当被单独提及时)分别纯示例性地处理：自身运动估计或自身运动确定S3的方面，和/或，相对定向的估计或确定S3方面(这也包括多个摄像机的情况)。结合自身运动估计所讨论的所有技术方面均能够(尤其在多个摄像机的情况方面)以相同的程度有利地用于估计相对定向的技术方面。
本发明尤其还涉及如下主题：从所有得出的对应性的整体中选择S2-2对应性的尽可能合适的(尤其最佳的)子集。
这种选择或挑选例如在存在以下情况中的一个或多个时是有意义的或必要的：
-后续的方法步骤或算法(例如图像评估和/或图像处理)不具有足够的容量，以便(尤其实时地)处理所有提供的对应性的整体。
-在所有提供的对应性的整体中存在不合适的对应性，所述不合适的对应性最好应在进一步处理之前被滤除。
这种情况的示例：
-不正确的对应性(即例如错误的分配)，
-属于自身运动的对象的场景的点之间的对应性(即不属于场景中应涉及确定相对定向的部分)。
-求取具有不同准确度的对应性。然后优选具有较高准确度的对应性。
-对应性在图像或空间中分布不均匀。于是，进行选择可以改善均匀性。因为对于相对定向的确定来说有利的是：对应性来自不同的空间方向。
根据本发明提出如下可能性：(例如在品质标准意义上)对选择提出要求，并且选择那些满足要求或甚至最佳地满足要求的对应性。
结合本发明可以使用不同类别的品质标准：
(1)例如可以求取如下度量：该度量使得能够给出关于如何能够在局部环境中唯一明确地求取对应性12的结论。例如，如果对应性沿着边缘或由于周期结构而可能具有模糊性(Mehrdeutigkeit)，则可以进行所述求取。可以将唯一明确性的度量编码为数值。
(2)替代地或附加地，可以将对应性分别与其在时间上的先前对应性进行比较，并在流失量随时间的一致性方面检查对应性。在确认一致性的情况下，存在时间稳定特性。如果一次又一次地满足一致性，则提高信任度，该信任度例如以年龄的形式作为数值进行说明。
根据本发明的方法可以(例如作为ASIC中的实现)用于现有的或下一代的驾驶辅助系统，以便从光流的对应性中选择对于自身运动估计的最佳候选者。
除了上述两个品质标准(1)和(2)之外还可以使用其他品质标准——例如以下品质标准。所有品质标准可以单独地使用或任意彼此组合地使用，以便对已经得出的对应性执行选择或挑选S2-2。
在下文中在具体实施例中阐述这一点。该实施例相应于产品中的可能实现方式。
首先求取光流场。可以为每个流矢量(理解为对应性12)分配6个不同的质量度量，并且将该质量度量添加到流矢量的数据结构上。由质量度量可以分别计算优先级，这例如结合图3所示。附加地，在附加信息30、32的意义上可以考虑其他特征——例如掩码，该掩码被分配给先前的时刻并且标识待排除的图像点，这例如结合图4所示。可以从信息的整体中推导和产生对应性12的优选选择，这例如结合图5所示。
在下文中更详细地阐述本发明的一些关键方面和优点：
-在考虑以下标准的任意组合的情况下，可以从所提供的对应性12的总体中选择对应性12的优选子集：
-均匀性：扫描点应尽可能均匀地分布在图像10上或分布在对应性12的区域10上。
代替图10中的均匀性，还可以寻求空间的均匀性(例如通过针对每个空间角恒定数量的对应性)。
一般地还可以(替代均匀性)寻求对应性的确定的地点相关的和/或空间角度相关的密度变化过程。
-优先级：优选应根据优先级来选择最佳的对应性12。
-除了优先级方面之外还可以考虑可选信息30、32，或者将可选信息纳入优先级的确定中。
-质量度量：可以对于相应的对应性12产生和使用不同的质量度量，所述质量度量优选以编码的形式存在，并且将所述质量度量添加至或分配给相应的对应性。
-质量度量的组合：可以将多个现有的质量度量相互组合，以便由此求取新的质量度量或新的优先级并将其分配给相应的对应性。
-质量度量的汇总：可以汇总多个(尤其编码的)质量度量，以用作查找表(LUT)或读取表的地址，该查找表或读取表将地址映射到质量和/或优先级的标度上。
当存在有限且数量不太大的质量度量和/或其他属性的组合时，则使用查找表是有意义的，使得可以给每个这种组合(也可以表示为数字)分配一个优先级。然后可以将这种分配明确地(通常一次性地)保存为查找表并一直重新调用。与总是重新确定优先级相比，这种方法可以在计算开销上更有利。
-训练数据：能够根据训练数据产生这种查找表。
-其他信息：能够设想将其他信息包含在内，其中，其他信息也可以来自其他系统部件、方法和/或算法——例如来自基于视频的对象分类或来自基于机器学习的语义分割。
在此可以考虑以下方面：
-关于对象的运动可能性或对象类别的信息(例如：原则上可以谨慎地排除对行人的对应性12，无论行人当前是否在运动)，
-关于自身运动的(尤其具有非对极顺应运动的)对象的存在性的信息(背景：如果相对定向的确定涉及假定为静态的场景，则所有所属的对应性12都表现为对极顺应，即涉及相同的对极。)
-质量度量的和/或优先级的二进制掩码形式的或图像形式的信息，和/或
-分配给较早时刻并且在使用光流(对应性12)的情况下可以传输到期望时刻的信息。
-分配给较早时刻并且在使用已知的自身运动的情况下可以传输到期望时刻的信息。
根据本发明可以使用这些方面，以便在用于从所提供的对应性12的总体10中选择对应性12的优选子集的方法中使用所述方面，并且因此关于摄像机的周围环境进行摄像机的自身运动估计。
质量度量和优先级的映射
为了能够求取对应性12的优选子集，必须具有可用的标准或度量，根据该标准或度量例如可以求取优先级顺序。
如果仅存在一个唯一的质量度量，则进行确定是无意义的，因为可以直接将质量度量或其映射(例如倒数、符号反转、四舍五入、函数等)用作优先级。
如果存在多个质量度量(例如数量n个)，则有意义的是：将它们适当地彼此组合，并且在此必要时例如将n维空间映射到优先级的一维标度上。
如上所述，例如可以将质量度量(1)和(2)单独添加到各个流矢量上作为附加信息，例如每个质量度量分别具有2比特。
另一质量度量例如可以包含如下信息：在该信息中，已经求取到相应的对应性的分辨率金字塔的金字塔等级。
在本发明的一个实施例中，例如可以添加四个其他的质量度量，更确切地说，每个质量度量具有1比特或2比特。因此在该实施例中，总共存在6个质量度量(例如通过QM0至QM5表示)，这些质量度量以10比特表示。有利的是，将不同的质量方面编码到这些质量度量中，所述不同的质量方面尽可能在统计学上彼此独立，以便因此使其中能够显示的总信息内容尽可能大。
图6示出用于对流矢量或对应性12及其质量度量进行编码的二进制布局。总共32比特被分为用于实际流矢量或实际的对应性12自身的22比特，以及用于质量度量QM0至QM5的10比特。
有利的是，将所有质量度量存储在连续的比特中。这简化对子组或质量度量的整体(在此称为“QCode”)的直接访问。
可以将质量度量彼此组合(例如加权相加、相乘、逻辑关联等)，以便产生组合的质量度量。在此，组合的规则取决于应用。例如，第一应用可以考虑所有质量度量，第二应用仅考虑其中的一部分，第三应用可以使用不同的权重。
但是，可能难以构造合适的计算关联，尤其如果通过该关联产生的优先级应充分使用与原始质量度量的整体相似的值范围，该原始质量度量在此具有10比特并且因此具有0-1023的值范围。
因此，一种替代方案是借助查找表(LUT)来进行映射。在此可以将质量度量的汇总理解成一个字节(在此称为QCode)作为查找表中的地址。然后将可以读取的优先级值存储在这些查找表地址中。
在相应的ASIC中可以设有多个这种查找表：用于优先级采样的这些查找表将10比特映射到10比特上。其他查找表将10比特映射到较少的比特上。
替代于使用ASIC，替代地或附加地能够设想(例如在CPU中或在通常的数字信号处理装置中)可自由编程的结构。
在一种特别有利的实施方式中
-所设置的查找表的优先级值全部不同，这具有可逆的唯一明确映射的优点，即没有信息损失的映射，
-覆盖与地址相同的值范围，更确切地说具有如下优点：二进制字长保持得尽可能短。
在该实施例中设置如下映射：在该映射中，借助查找表将10比特地址映射到10比特优先级上。
该方法还提供以下可能性：离线地执行该方法，以便(例如根据基于大量数据的自动训练方法)找到最佳的查找表。
在图3中示出将查找表用于流场的或对应性的整体的质量度量的汇总(称为QCode)的结果：相应的像素11越暗、阴影或对比度越强，则在此处结束的流矢量或分配给该像素的对应性12的优先级越高。如果没有流矢量或没有对应性12，则优先级为0(对应于图中的白色像素)。
图3中的中央图像区域比左侧和右侧的横向区域更暗的原因在于：以较高的局部分辨率处理了中央区域，这也反映在质量度量中，并且在确定优先级时已经考虑到这一点。
均匀地扫描具有高优先级的对应性
对于许多应用而言有利的是，尽可能在图像上均匀分布地选择对应性12的子集。这尤其适用于相对定向的估计。
为此，首先很明显的是，将适当缩放的均匀网格(例如矩形网格或六边形网格)置于图像上，并且在网格点上进行扫描，或者替代地借助准随机发生器产生扫描点，这确保良好的均匀分布。
然而，这种方法不确保优选优先级较高的对应性。
因此寻找一种同时确保以下二者的方法：即，确保所扫描的对应性的尽可能良好的均匀分布和尽可能高的优先级。
因此，根据本发明的方法设置，将图像10分解成不重叠的部分区域15(即构造平铺或密铺)，并从每个图块15中例如选择第一最佳对应性12。为此，图7示出具有矩形图块15的优选实施例，该矩形图块具有逐行交错的接合(如在砌墙中那样)。图块15在此是8像素宽和4像素高，并且图块逐行地错开半个图块宽度。
在图像的边缘处也存在较小的图块17。图块形状和图块尺寸也是可变的，例如在图像中部较小(如果在此处应比外部的图像区域获得更多的采样值)。
图块形状可以例如是多边形(多角形)。优选的是不重叠的图块，因为由此确保不多次地选择一个对应性。然而，不排除重叠的图块(例如具有可变大小的矩形)，因为它们具有其他优点：例如，在矩形形状的情况下特别容易确定分配——即对应性位于哪个图块中。
在每个像素11处可以存储有一个或多个对应性12，所述一个或多个对应性分别设有优先级。
优选以预给定的顺序处理图块15的像素11，例如，逐列地从上至下，然后从左至右处理，这例如在图8中通过箭头19的走向示出。在此，在图块内求取具有最高优先级的对应性13。如果在图块15中多个对应性13具有最高优先级，则根据预确定的规则进行——例如选择具有最高优先级的第一或最后对应性。
由此得到期望的特性：确保所扫描的对应性12的良好均匀分布和高优先级。同时为此所需的计算开销很低。
考虑其他特征
除了添加到对应性12上的质量度量之外，还可以考虑其他特征。
可以作为一个或多个掩码来馈送，其中，掩码具有与对应性12的区域10相同的尺寸。在图4中示出这种掩码。掩码的内容可以是二进制的或者可以具有较大的值范围。
又可以将掩码的内容与上述优先级组合(例如加权相加、相乘、逻辑关联等)，或者(必要时在使用具有相应较大的值范围的查找表的情况下)从一开始就将掩码的内容考虑在优先级的计算中。
特别有利的是分两个步骤进行，例如首先进行以上描述的均匀扫描，然后例如考虑一个或多个二进制掩码，以便决定是接受还是拒绝在扫描情况下所选择的候选对象。该方法降低开销，因为仅对于所扫描的对应性12的较小子集才必须考虑掩码中的信息。在所示出的实施例中较低开销的优点尤其明显，因为在下文中详细描述的计算密集型扭曲保持限于该较小子集。
在所示出的实施例中，如果应基于对应性进行自身运动估计，则掩码标识出最好应排除掉的潜在自身运动的图像区域，因为为此待估计的自身运动旨在说明摄像机与静态世界之间的相对运动并且不应受到其他独立运动的对象的影响。
因此，有利的是预先识别这种独立运动的对象，并且例如以掩码标识出这种对象。
可以通过探测图2所示的具有连接34至36的非对极顺应运动来进行所述识别。在此，使用所估计的相对定向，从该相对定向中可以求取对极或对极方向。因此，可以针对每个对应性确定其是否是对极顺应的。如果不是这种情况，则例如可以基于掩码相应地对其进行标识。然后，可以优选在下一时间步骤中使用或者甚至立即使用如此形成的掩码。
为了将根据图3的优先级与根据图4的掩码进行组合，对于该实施例使用以下解决方案：如果所基于的像素被标识为潜在独立运动地，则不采纳所选择的对应性，反之则保留。也可以设想其他组合。
以下列出可以以这种掩码的形式考虑的信息的其他示例：
-可以设想使用语义分分割，例如对于每个图像点说明涉及哪个对象类别，必要时说明可能性。在此可以有意义地使用这些信息，例如以便由此得出“固定性
”的度量。固定性越大，场景点就越适用于自身运动估计：
-例如在街道、路缘石、护栏、交通标志、树木、墙壁、建筑物等对象类别的情况下，固定性特别高。
-例如在两轮车、行人、玻璃表面(由于可能的反射)、雪花的情况下，固定性特别低。
-此外，可以使用应从选择中排除的图像部分的掩码：例如，在取向向前的驾驶员辅助摄像机的情况下，如果摄像机检测到自身的引擎盖的区域，则排除该区域是有意义的。因为显著的缺点是：在自身运动估计中将引擎盖区域中的对应性考虑在内，因为该引擎盖实则牢固地与摄像机连接并且预期具有零运动(即最大的固定性)，或者显示出场景点的反射(例如可能会使自身运动估计混乱的运动)。
-附加地或替代地，可以设想使用如下图像部分的掩码：所述图像部分由于光路的限制而产生。例如，在广角光学器件的情况下，在图像角中可能存在例如由于过小的像圈而未被光学器件覆盖或仅不充分覆盖的区域(例如还由于图像误差、严重像差等)，或者在该区域中预期到由反射和散射光引起的干扰，因此应更好地进行掩码(ausmaskieren)。
通过光流导致的其他特征的时间上的扭曲
在实践中，尤其在实时系统中可能面对如下问题：所需的信息(例如以上提及的掩码)对于当前时刻尚未准备就绪，而仅以较旧版本对于早先时刻准备就绪。
有时无法进行等待，因为，否则的话延迟以及响应时间会太大，或者由于因果关系而与如下情况存在矛盾：在所示实施例中，独立运动的对象的求取取决于自身运动估计的结果。因此存在反馈。这也在图2中借助箭头34示出。
在这种情况下，有利的是：将旧掩码中的信息传输到期望时刻，这一过程也称为扭曲。这是特别有利的，因为对应性已经存在，并且流矢量说明场景点如何在图像中继续运动。相应地可以说明：与场景点相关联的属性如何继续运动。
接下来假设3个时刻tM<tP<tC
-tM是信息例如以掩码形式存在的时刻(M：掩码)，
-tP是确定对应性12的先前时刻(P：以前)，
-tC是确定对应性12的当前时刻(C：现在)，
时刻tP与tC之间的对应性12应已经存在(例如作为反向流)，即存在于tC的较近坐标中，并且该对应性被扫描。
如果tP与tM相同——即如果在时刻tP存在掩码，则所述扭曲特别简单：对于时刻tC的每个所扫描的坐标(x，y)都存在一个流矢量(u，v)作为对应性12，使得由此可以求取具有结构(x-u，y-v)的对应性12。在该图像位置处可以相应地读取掩码。
虽然(x，y)通常涉及整数像素坐标，但这对于具有对应矢量(x-u，y-v)的对应性12来说通常不成立(运动的子像素部分)，在此必须进行适当的四舍五入或内插。内插也可以理解为多数决定——例如基于小邻域中的掩码值。图9示出在实践中特别重要的情况，其中tM<tP<tC。借助箭头91分别示出反向流矢量，该反向流矢量在整数像素坐标处终止于tC，并且在非整数像素坐标处开始于tP。因为掩码属于较早的时刻tM<tP，所以应适当地补偿该附加的时间间隔。这可以至少近似地通过将相应的流矢量作为对应性12反向延长来实现，更确切地说以如下因子反向延长：
s＝(tC-tM)/(tC-tP) (1)
因此，应相应地在位置(x-s-u，y-s-v)处访问该掩码，其中，在此又可能需要进行适当的四舍五入或内插。这种延长在图9中分别借助箭头92表示。
该方法基于如下假设：运动方向和运动速度至少短期内近似地恒定(惯性假设)，这在实践中大多可以很好地满足。
在此描述的实施例涉及时刻tP与tC之间的(所采样的)反向流。
还可以设想其他变型方案：例如附加地使用时刻tM与tP之间的反向流(如果存在)。这种方案更准确，并且不需要惯性假设，然而开销更高，因为必须分两个步骤来继续传输掩码中包含的信息：首先，借助tP与tC之间的较新流矢量求取图像tP中的位置。在那里(必要时根据适当的四舍五入或内插)读取tP与tM之间的较旧的流矢量。因此，求取掩码中的最终读取的位置，其中，在此也可能需要再次进行适当的四舍五入或内插。
也可以设想具有正向流的变型方案，其中，既可以充分使用正向流，也可以充分使用反向流。
最终结果和使用
在图5中可以看到该实施例的最终结果。在此示出扫描位置。这些扫描位置均匀地分布在图像10上。通过图块行的偏移以及图块15的纵横比，得到大约六边形的扫描图案。尽管如此，在相应的图块中优先级一直是最高的。根据借助扭曲传播的掩码，排除潜在的独立运动的对象，这一点可以在裁剪出的(ausgestanzte)行人处识别到。如此选择的对应性12特别适用于自身运动估计。可选地，可以将优先级值传递给用于自身运动估计的算法。这可以考虑优先级，例如将优先级转换为权重，借助该权重将相应的对应性纳入到估计中。
图2示出可能的流程的方框图。第一图像B1和第二图像B2可以来自不同的摄像机或来自同一摄像机。虚线代表可选部分。连接34至36表示对关于独立运动对象的信息的所述获取和考虑，以便在估计相对定向时尽可能地排除独立运动的对象的对应性。
图3示出，给每个流矢量或对应性12分配一个优先级。通过不同的点密度示出优先级，点密度越高，优先级越高。
在图3中也存在无法确定对应性的像素或区域。于是以白色示出这些像素或区域，这相应于优先级0或无效。
图4清楚地表明，除优先级之外还可以考虑其他特征——例如时刻tM的掩码，该掩码标识出例如由于自身运动的对象而引起的潜在非静态区域，这在中央以白色示出。
图5示出根据本发明的优先级采样的结果(更确切地说，在考虑潜在非静态区域的情况下)。黑色示出所选择的如下扫描位置：优选的对应性位于所述扫描位置处。
图6示出流矢量的比特布局及其质量特征的示例。在总共32比特中，在此22比特设置用于流矢量或对应性12自身，10比特用于附加信息，附加信息在此包含各1比特或2比特(QM0至QM5)的单个质量特征，也可以共同地考虑这些质量特征(QCode)——例如作为查找表的地址。
图7示出将具有像素11并且必要时具有对应性12的图像10分解为图块15示例。在此，图块15是八像素宽并且四像素高。所述图块行在此水平地彼此交错(这例如像在砌墙中那样)。如果在图块15中存在流矢量，则例如对于每个图块15选择优选的流矢量或优选的对应性13，由此标记一个圆圈。还存在其中不存在流矢量的图块15(更确切地说绘制阴影线的并且附加地标记为16的图块15)。
在图8中示出，在图块15中，可以以预确定的顺序(例如从左上开始，然后从左至右地，优选逐列地)处理像素11，所述像素可以分别分配有一个或多个对应性。
在图9中示出，在正常情况下，相比于在其之间确定光流的两个图像(时刻tP和tC)，将掩码(在此为MOM、即移动对象掩码)分配给更早的时刻tM<tP<tC。然而，可以补偿tM与tP之间的时间偏移——例如通过以因子s＝(tC-tM)/(tC-tP)对流矢量91进行反向延长92，以及通过在相应的位置处读取掩码。
可以根据图6中的图示来构造流矢量12的及其质量特征22的二进制格式。这种格式可以是公开可见的，并且可以在所基于的ASIC与存储器之间持续地传输对应性的区域。为了借助10比特的QCode将质量特征映射到优先级中，用户例如可以对查找表或读取表进行编程，所述查找表和读取表通过驱动器存储在寄存器中。也可以将二进制掩码保存在存储器中并在适当的时刻进行读取，于是，所述二进制掩码在必要时是可见的。优先采样的结果又可以作为列表进行存储并且同样是可见的。
例如可以为驾驶员辅助系统开发相应的ASIC。替代地或附加地，根据本发明所描述的功能或功能的部分可以以可自由编程的方式实现——例如结合CPU或通用数字信号处理器。
Claims (12)
1.一种用于评估图像(B1，B2)、尤其用于评估图像(B1，B2)的对应性(10，12)的方法(S)，所述方法具有：
提供(S1-1)给定的第一图像与第二图像(B1，B2)之间的对应性(10，12)，
提供(S1-2)一个质量度量或多个质量度量作为用于表征相应的对应性(10，12)的属性(20，22)，
评估(S2-1)并且有条件地选择(S2-2)所述对应性(10，12)，
提供(S2-3)所选择的对应性(10，12)作为评估结果(100)，
其中，所述对应性(10，12)的评估(S2-1)基于所述属性(20，22)的组合，并且所述对应性(10，12)的选择(S2-2)基于所述评估(S2-1)的结果。
2.根据权利要求1所述的方法(S)，在所述方法中，相应的质量度量作为所考虑的对应性(10，12)的属性(20，22)代表以下方面中的至少一个或其组合：
至少在分别考虑的对应性(10，12)的区域中，所述对应性的分布的至少局部的地点相关性和/或空间角相关性的度量、尤其所述对应性的地点相关的和/或空间角相关的分布的均匀性的度量，
优先级的度量，所述优先级用于优选考虑所基于的对应性(10，12)，
存在正确分配的度量，所述正确分配是相应的对应性(10，12)到所基于的图像(B1，B2)的区域的正确分配，
所基于的图像(B1，B2)的与相应的对应性(10，12)相关的区域的自身运动的度量、尤其与相应的对应性相关的对象的和/或在考虑非对极顺应运动的情况下的自身运动的度量，
所基于的图像(B1，B2)的与相应的对应性(10，12)相关的区域的运动可能性的度量、尤其与相应的对应性相关的对象的运动可能性的度量，
准确性的度量，已经以所述准确性确定相应的对应性(10，12)，
在求取相应的对应性(10，12)时所基于的分辨率或分辨率级别的度量，
所基于的图像(B1，B2)的与相应的对应性(10，12)相关的区域的归属性的度量、尤其与相应的对应性相关的对象的归属性的度量，所述归属性是至语义类别的归属性——这优选根据基于视频的对象分类、机器学习过程和/或语义分割过程进行，
所基于的图像(B1，B2)的与相应的对应性(10，12)相关的区域的归属性的度量、尤其与相应的对应性相关的对象的归属性的度量，所述归属性是至用于尤其结合掩码来考虑所基于的图像(10，12)的允许区域的类别的归属性，
唯一明确性的度量，已经以所述唯一明确性在局部环境中求取到相应的对应性(10，12)，
相应的对应性(10，12)与时间上先前的对应性的一致性的度量、尤其在流矢量随时间的一致性程度方面的度量，其中，在确认一致性的情况下，将所基于的时间稳定特性尤其以年龄的形式作为数值进行说明。
3.根据以上权利要求中任一项所述的方法(S)，在所述方法中，使用组合的质量度量作为属性(20，22)，所述组合的质量度量由一个或多个质量度量通过构造组合和/或构造函数得出——尤其通过构造倒数、符号反转、四舍五入、由质量度量所基于的标量值或矢量值构造函数值得出。
4.根据以上权利要求中任一项所述的方法(S)，在所述方法中，尤其结合代表所述属性(20，22)和/或代表所述质量度量的读取表的值，将相应的属性(20，22)和/或所基于的质量度量——尤其所述质量度量的值——编码地用作地址。
5.根据以上权利要求中任一项所述的方法(S)，在所述方法中，
将相应的对应性(10，12)表示为一维列表或矢量，
将分别分配给所述对应性(10，12)的属性(20，22)和/或所述属性的编码表示为一个或多个附加的列表元素或矢量分量或者表示为所述一个或多个附加的列表元素或矢量分量的一部分，并且所述属性和/或所述属性的编码被添加在所述列表或所述矢量上。
6.根据以上权利要求中任一项所述的方法(S)，在所述方法中，将较早时刻的对应性(10，12)的属性(20，22)和/或质量度量传输和/或外插到较晚时刻的对应性(10，12)上。
7.根据以上权利要求中任一项所述的方法(S)，在所述方法中，
将所述对应性(10，12)——尤其结合所分配的属性(20，22)——表示为图像(10，20)或矩阵(10，20)，
通过重叠的和/或不重叠的部分区域(15)覆盖所述图像(10，20)或所述矩阵(10，20)，
对于每个部分区域(15)，关于所述部分区域(15)中存在的对应性(12)选择——尤其在所分配的属性(22)方面的——最佳对应性(12)。
8.一种用于设备的运行辅助方法，所述运行辅助方法尤其是驾驶辅助方法，所述设备尤其是车辆，在所述运行辅助方法中，
检测图像(B1，B2)，并且借助根据权利要求1至7中任一项所述的方法评估所述图像，
在控制所述设备的运行的情况下使用所述评估的结果。
9.一种用于评估图像(B1，B2)、尤其用于评估所述图像(B1，B2)的对应性(10，12)的设备，
所述设备设置用于实施根据权利要求1至7中任一项所述的方法，
所述设备尤其构造为专用集成电路、构造为可自由编程的数字信号处理设备或者构造为它们的组合。
10.一种运行设备，所述运行设备尤其是车辆，所述运行设备设置用于在运行中在使用根据权利要求1至8中任一项所述的方法的情况下进行控制，并且所述运行设备为此尤其具有根据权利要求9所述的设备。
11.一种计算机程序，所述计算机程序设置用于当在计算机或数字信号处理装置上实施所述计算机程序时实施根据权利要求1至8中任一项所述的方法(S)。
12.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求11所述的计算机程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017216854.4A DE102017216854B4 (de) | 2017-09-22 | 2017-09-22 | Verfahren und Vorrichtung zum Bewerten von Korrespondenzen von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung |
| DE102017216854.4 | 2017-09-22 | ||
| PCT/EP2018/073589 WO2019057473A1 (de) | 2017-09-22 | 2018-09-03 | Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111108528A true CN111108528A (zh) | 2020-05-05 |
Family
ID=63452658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880061101.6A Pending CN111108528A (zh) | 2017-09-22 | 2018-09-03 | 用于评估图像的方法和设备、运行辅助方法和运行设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11227166B2 (zh) |
| EP (1) | EP3685352B1 (zh) |
| JP (1) | JP6997300B2 (zh) |
| CN (1) | CN111108528A (zh) |
| DE (1) | DE102017216854B4 (zh) |
| WO (1) | WO2019057473A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11836597B2 (en) * | 2018-08-09 | 2023-12-05 | Nvidia Corporation | Detecting visual artifacts in image sequences using a neural network model |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040168148A1 (en) * | 2002-12-17 | 2004-08-26 | Goncalves Luis Filipe Domingues | Systems and methods for landmark generation for visual simultaneous localization and mapping |
| CN101297321A (zh) * | 2005-10-25 | 2008-10-29 | 布拉科成像S.P.A.公司 | 配准图像的方法，用于执行配准图像的方法的算法，用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法 |
| US20100166323A1 (en) * | 2008-12-31 | 2010-07-01 | Intuitive Surgical. Inc. | Robust sparse image matching for robotic surgery |
| EP2275989A1 (de) * | 2009-07-06 | 2011-01-19 | Sick Ag | Stereoskopische 3D-Kamera |
| US20110311147A1 (en) * | 2009-02-12 | 2011-12-22 | Dolby Laboratories Licensing Corporation | Quality Evaluation of Sequences of Images |
| US20170245761A1 (en) * | 2015-01-07 | 2017-08-31 | Cameron Anthony Piron | Method, system and apparatus for adaptive image acquisition |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| US20140313303A1 (en) * | 2013-04-18 | 2014-10-23 | Digimarc Corporation | Longitudinal dermoscopic study employing smartphone-based image registration |
| GB2520243B (en) * | 2013-11-06 | 2017-12-13 | Thales Holdings Uk Plc | Image processor |
| JP6541363B2 (ja) * | 2015-02-13 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9811732B2 (en) | 2015-03-12 | 2017-11-07 | Qualcomm Incorporated | Systems and methods for object tracking |
-
2017
- 2017-09-22 DE DE102017216854.4A patent/DE102017216854B4/de active Active
-
2018
- 2018-09-03 WO PCT/EP2018/073589 patent/WO2019057473A1/de unknown
- 2018-09-03 JP JP2020516646A patent/JP6997300B2/ja active Active
- 2018-09-03 CN CN201880061101.6A patent/CN111108528A/zh active Pending
- 2018-09-03 EP EP18762842.5A patent/EP3685352B1/de active Active
- 2018-09-03 US US16/645,994 patent/US11227166B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040168148A1 (en) * | 2002-12-17 | 2004-08-26 | Goncalves Luis Filipe Domingues | Systems and methods for landmark generation for visual simultaneous localization and mapping |
| CN101297321A (zh) * | 2005-10-25 | 2008-10-29 | 布拉科成像S.P.A.公司 | 配准图像的方法，用于执行配准图像的方法的算法，用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法 |
| US20100166323A1 (en) * | 2008-12-31 | 2010-07-01 | Intuitive Surgical. Inc. | Robust sparse image matching for robotic surgery |
| US20110311147A1 (en) * | 2009-02-12 | 2011-12-22 | Dolby Laboratories Licensing Corporation | Quality Evaluation of Sequences of Images |
| EP2275989A1 (de) * | 2009-07-06 | 2011-01-19 | Sick Ag | Stereoskopische 3D-Kamera |
| US20170245761A1 (en) * | 2015-01-07 | 2017-08-31 | Cameron Anthony Piron | Method, system and apparatus for adaptive image acquisition |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102017216854B4 (de) | 2023-05-25 |
| JP6997300B2 (ja) | 2022-01-17 |
| JP2020534618A (ja) | 2020-11-26 |
| WO2019057473A1 (de) | 2019-03-28 |
| EP3685352B1 (de) | 2024-03-06 |
| DE102017216854A1 (de) | 2019-03-28 |
| US20200202140A1 (en) | 2020-06-25 |
| US11227166B2 (en) | 2022-01-18 |
| EP3685352A1 (de) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102487270B1 (ko) | 통계적 모델을 이용한 이미지 데이터로부터의 깊이 예측 | |
| EP3516624B1 (en) | A method and system for creating a virtual 3d model | |
| KR100843112B1 (ko) | 이미지 매칭 | |
| JP3621152B2 (ja) | 特徴点の特定装置及びその方法 | |
| US10621446B2 (en) | Handling perspective magnification in optical flow processing | |
| US20190020861A1 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
| KR20160058058A (ko) | 이미지 처리 방법 및 장치 | |
| CN106845338B (zh) | 视频流中行人检测方法与系统 | |
| CN113330486A (zh) | 深度估计 | |
| CN112560698B (zh) | 图像处理方法、装置、设备和介质 | |
| CN112927279A (zh) | 一种图像深度信息生成方法、设备及存储介质 | |
| CN111815707A (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
| Kam et al. | Costdcnet: Cost volume based depth completion for a single rgb-d image | |
| WO2022247126A1 (zh) | 视觉定位方法、装置、设备、介质及程序 | |
| CN111108528A (zh) | 用于评估图像的方法和设备、运行辅助方法和运行设备 | |
| Gählert et al. | Single-shot 3d detection of vehicles from monocular rgb images via geometry constrained keypoints in real-time | |
| KR102186764B1 (ko) | 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법 | |
| JPH09187017A (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する計算支援形動き予測方法 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2018133064A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| JP2021131377A (ja) | 生成装置、生成方法およびプログラム | |
| Warburg et al. | Sparseformer: Attention-based depth completion network | |
| US9432690B2 (en) | Apparatus and method for video processing | |
| CN111435416B (zh) | 基于多流水线的条形码图像解析方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |