CN104471436A - 用于计算对象的成像比例的变化的方法和设备 - Google Patents
用于计算对象的成像比例的变化的方法和设备 Download PDFInfo
- Publication number
- CN104471436A CN104471436A CN201380036749.5A CN201380036749A CN104471436A CN 104471436 A CN104471436 A CN 104471436A CN 201380036749 A CN201380036749 A CN 201380036749A CN 104471436 A CN104471436 A CN 104471436A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- coordinate
- divergent
- convergent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
本发明涉及一种用于计算对象的成像比例的变化的方法(100),其中所述方法(100)包括识别的步骤(102)、提供的步骤(104)、缩放的步骤(106)、求取的步骤(102)和组合的步骤(110)。在识别的步骤(102)中,在当前图像中识别特有图像区域的图像坐标。所述特有图像区域成像所述当前图像中的至少一个对象的对象特征。在提供的步骤(104)中,提供模型,所述模型的模型坐标代表在先前图像中所述对象的所识别的对象特征的位置的选择。在缩放的步骤(106)中,缩放所述模型,以便得到经缩放的模型。将所述模型坐标的至少一个分量与所识别的图像坐标关联。所述模型和所述经缩放的模型相差一个模型缩放因数。在求取的步骤(108)中,在使用所识别的至少两个特有图像区域的图像坐标以及所述两个图像区域的在先前图像中识别的图像坐标的情况下求取图像缩放因数。在组合的步骤(110)中,将所述模型缩放因数与所述图像缩放因数组合,以便得到所述成像比例的变化。
Description
技术领域
本发明涉及一种用于计算对象的成像比例的变化的方法、一种相应的设备以及一种相应的计算机程序产品。
背景技术
在单目摄像机系统中,通过依靠在车辆的轮廓(Silhouette)上的框来检测与前方行驶的车辆的距离。
EP 1 806 595 B1描述了一种用于在使用借助单目摄像机记录的图像序列的情况下估计对象的间距的方法。
发明内容
在所述背景下,借助本发明提出根据独立权利要求的用于计算对象的成像比例的变化的方法、使用所述方法的设备以及相应的计算机程序产品。由相应的从属权利要求和以下描述得到有利的构型。
在距离估计方法中,在求取与前方行驶的车辆的距离时距离的计算基于多个子方法的组合,所述多个子方法可以分别基于不同的算法。在此,例如可以将可快速实施的算法的结果与可慢速实施的算法的结果组合。在此,快速算法可能具有以下结果:与慢速算法相比,所述结果在更宽的误差带内具有更大的分散,所述慢速算法可能具有以下结果:所述结果在更窄的误差带内具有更小的分散。通过快速算法,距离估计方法能够快速响应于突然变化。通过慢速算法,距离估计方法能够在距离的持续变化时提供平滑的值。
本发明实现一种用于计算对象的成像比例的变化的方法,其中所述方法包括以下步骤:
在当前图像中识别特有图像区域的图像坐标,其中特有图像区域成像当前图像中的至少一个对象的对象特征;
提供模型,其中模型的模型坐标代表在先前图像中对象的所识别的对象特征的位置的选择;
缩放模型,以便得到经缩放的模型,其中将模型坐标的至少一个分量与在识别的步骤中识别的图像坐标关联,其中所述模型和所述经缩放的模型相差一个模型缩放因数;
在使用所识别的至少两个特有图像区域的图像坐标以及两个图像区域的在先前图像中识别的图像坐标的情况下求取图像缩放因数;
将模型缩放因数与图像缩放因数组合,以便得到成像比例的变化。
所述方法的步骤可以由设置在车辆中的设备实施。在此,可以在车辆的行驶期间实施所述方法。对象例如可以涉及前方行驶的车辆。为了成像对象,车辆可以具有摄像机。成像比例可以理解为表示对象的实际大小和对象在成像中的经成像的大小之间的关系的因数。如果摄像机的焦距是恒定的(以所述焦距检测成像作为图像),则成像比例根据对象与摄像机的距离的变化而变化。因此,能够由成像比例的变化推断出对象与摄像机的距离的变化。图像坐标可以是图像的像点在图像的图像坐标系中的正交坐标对。在此,坐标原点可以任意选择或者例如是摄像机特定的。特有图像区域可以是图像的一组像点或一个单个像点。特有图像区域可以具有预先确定的图像特征。特有图像区域例如可以具有从第一像点的预先确定的第一亮度值到相邻的第二像点的预先确定的第二亮度值的过渡。特有图像区域可以成像对象的特有特征。图像区域例如可以成像对象的体棱边或者体角作为对象特征。特有图像区域也可以成像预先确定的图样。在使用算法的情况下识别特有图像区域。当前图像和先前图像可以是同一摄像机的图像序列的图像。先前图像也可以在多个图像之前。模型可以理解为由对象的重要的特有图像区域的各个模型点构成的点云。模型可以具有模型坐标系。模型点能够以模型坐标描述并且相互具有确定的关系。缩放可以理解为放大或减小。也可以使模型移位和/或旋转。缩放也可以是扭曲——例如透视扭曲。在缩放时,可以一直缩放或者扭曲模型的点,直至模型区域或者模型点与图像的相应图像区域或者图像点一致。在此,模型的区域或者点保持其原始比例。在缩放时,当例如对象在此被遮挡时,可以剩下不具有相应分配的图像区域的模型区域。如果对象再次暴露,则可以再次给相应的图像区域分配模型区域。模型缩放因数例如可以是经缩放的模型相对于模型的百分比变化。图像缩放因数可以是以下因数:对象的成像以所述因数逐图像地缩小或放大。为了求取图像缩放因数,可以对于每个图像检测至少两个点并且检测所述点之间的间距。由图像之间的间距的变化得到图像缩放因数。在组合时,借助处理规则组合模型缩放因数和图像缩放因数。
所述方法可以具有建立模型的步骤,在所述步骤中使用先前图像的特有图像区域的在时间上先前识别的图像坐标,以便至少将图像坐标的选择转换成模型坐标。在此,图像坐标可以关于图像坐标原点,而模型坐标可以关于模型坐标原点。对象可以在选择中至少部分成像。可以从先前检测的图像推导模型。可以从先前检测的另一图像推导模型。在此,可以取消图像坐标的一部分并且减小特有图像区域以减小所需要的计算性能。例如,可以将特有图像区域的选择减小到可特别良好地检测的区域上,以便简化另一图像中的快速识别。模型坐标原点例如可以设置在虚拟的模型边界的一个角上,以便例如避免负的坐标值。图像坐标原点例如可以设置在图像的一个角上。通过自身的坐标系,可以在当前图像或随后图像内匹配模型,而不影响模型坐标。在此,仅仅改变模型的模型坐标原点的或单个点的图像坐标。因此,可以实现在一定程度上不取决于图像的对象描述。
选择可以具有预定义的原始尺寸。在建立模型时,例如可以将预定义的框投影到图像上,所述预定义的框例如可以是正方形的或矩形的。然后可以仅仅考虑框内的特有的点来建立模型。由此,可以加速模型建立。
可以标准化模型坐标,其中模型坐标的最小值是0,而模型坐标的最大值是1。因此,坐标可以相对于模型百分比地描述模型的区域和点。框例如可以具有坐标值0和1。
可以检测模型的尺寸和经缩放的模型的尺寸并且可以在使用尺寸的变化的情况下求取模型缩放因数。尺寸例如可以理解为模型的宽度和/或模型的高度和/或模型的对角。根据尺寸的变化可以推导出模型缩放因数。可以参照模型的框来检测尺寸。为此,可以测量模型的框和经缩放的模型的框。例如可以检测框的边长作为在下方放置的图像的像点数量。
可以借助第一加权因数来加权模型缩放因数。可以借助第二加权因数来加权图像缩放因数。第一加权因数和第二加权因数可以补充至边界。第一加权因数例如可以是x,而第二加权因数是1-x。通过加权可以实现成像比例的变化的平滑的不同强度。
在缩放的步骤中,还能够使模型以平移矢量移位并且替代地或补充地使模型以旋转矢量旋转。平移矢量可以引起模型相对于图像的移位。旋转矢量可以引起模型相对于图像的旋转。模型可以通过移位和/或旋转与对象匹配,即使对象在图像中移位地和/或旋转地成像。
可以重复所述方法的步骤,其中在识别的步骤中在另一图像上识别特有图像区域的其他图像坐标。在提供的步骤中,可以提供模型或经缩放的模型。在缩放的步骤中,可以缩放模型或经缩放的模型,以便得到另一经缩放的模型。在此,可以使模型坐标的至少一个分量与其他图像坐标匹配,其中所述方法的不同过程的分量可以是互不相同的。另一经缩放的模型与所述模型或所述经缩放的模型(其来源)可以相差另一模型缩放因数。在求取的步骤中,可以在使用其他图像坐标和原始使用的图像坐标的情况下求取另一图像缩放因数。在组合的步骤中,可以在使用另一模型缩放因数和另一图像缩放因数的情况下组合成像比例的另一变化。通过参考模型可以实现变化的值的衰减。变化的变化曲线将具有减小数量的超调量,然而仅仅具有短的等待时间。
可以重复所述方法的步骤,以便计算成像比例的另一变化。时间上随后的图像在较晚的时刻成像至少一个对象的特有对象特征。在提供的步骤中提供并且在使用成像比例的已计算的变化的情况下缩放所述经缩放的模型,以便产生估计模型。所述变化可以用于预先确定的分量。在缩放的步骤中,在使用校正因数的情况下缩放估计模型,以便使估计模型与时间上随后的图像的在识别的步骤中识别的图像坐标匹配。在使用所计算的变化和校正因数的情况下求取模型缩放因数。由经缩放的模型可以外推出模型。通过基于先前的变化来估计模型的可能变化能够减小处理时间,因为估计模型中的特有区域的模型坐标已经以高概率设置在围绕随后图像的特有区域的图像坐标的公差范围中。与随后图像的图像坐标的识别并行地,可以进行估计模型的提供,因为对于估计模型而言不需要随后图像的数据。仅仅以校正值匹配模型坐标。
可以基于校正因数求取第一加权因数。当校正值小时,可以取消有利于模型缩放因数的加权,由此实现所计算的成像比例的平滑。当校正值大时,则可以取消有利于图像缩放因数的加权,因为因此可以快速对图像之间的不期望的变化做出反应。
本发明还实现一种设备,所述设备构造用于在相应的装置中实施或者实现根据本发明的方法的步骤。也可以通过本发明的设备形式的实施变型方案快速且有效地解决本发明所基于的任务。
在此,设备可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有可能按照硬件方式和/或按照软件方式构造的接口。当按照硬件方式构造时,所述接口例如可以是所谓的系统ASIC的一部分,其包含所述设备的不同功能。然而,所述接口也可能是单独的集成电路或者至少部分地由分立的组件组成。当按照软件方式构造时,所述接口可以是例如在微控制器上与其他软件模块并存的软件模块。
具有程序代码的计算机程序产品也是有利的,所述程序代码可以存储在机器可读的载体——例如半导体存储器、硬盘存储器或光学存储器上并且用于当在计算机或设备上实施所述程序产品时实施根据以上所描述的实施方式中任一种所述的方法。
附图说明
以下借助附图示例性地进一步阐述本发明。附图示出:
图1:根据本发明的一个实施例的用于计算对象的成像比例的变化的方法的流程图;
图2:根据本发明的一个实施例的用于计算对象的成像比例的变化的设备的框图;
图3:模型的示图,所述模型根据本发明的一个实施例缩放成经缩放的模型;
图4:在缩放因数的变化恒定时对象的尺寸的时间变化曲线的示图;
图5:根据本发明的一个实施例的成像比例的变化的时间变化曲线的示图;
图6:具有根据本发明的一个实施例的用于计算对象的成像比例的变化的设备的车辆的示图。
在本发明的优选实施例的以下描述中,对于在不同附图中示出的并且相似作用的元素使用相同或相似的参考标记,其中不重复描述这些元素。
具体实施方式
图1示出根据本发明的一个实施例的用于计算对象的成像比例的变化的方法100的流程图。对象可以涉及由周围环境检测装置、例如车辆的摄像机检测的对象。对象例如可以涉及前方行驶的车辆。所述方法100具有识别的步骤102、提供的步骤104、缩放的步骤106、求取的步骤108和组合的步骤110。
在识别的步骤102中,在当前图像中识别特有图像区域的图像坐标。所述特有图像区域在当前图像中成像至少一个对象的对象特征。当前图像可以是例如来自摄像机的图像序列的单个图像。在提供的步骤104中提供模型。模型的模型坐标代表在先前图像中对象的所识别的对象特征的位置的选择。在缩放的步骤106中,缩放模型,以便得到经缩放的模型。在缩放时,使模型坐标的至少一个分量与在识别的步骤中识别的图像坐标匹配。为此,将模型坐标的至少一个分量与所识别的图像坐标关联。所述模型和所述经缩放的模型相差一个模型缩放因数。在求取的步骤108中,在使用至少两个所识别的特有图像区域的图像坐标的情况下并且在使用在两个图像区域的先前图像中识别的图像坐标的情况下求取图像缩放因数。在组合的步骤110中,将模型缩放因数与图像缩放因数组合,以便得到成像比例的变化。
换言之,图1示出用于计算图像之间的对象的缩放变化的方法100的流程图。两个图像之间的对象宽度的缩放变化是对象相对于自身车辆(自己的车辆)的速度的相对速度的度量。此外,对于3D估计需要所述相对速度作为用于视频ACC功能(Adaptive Cruise Control:自适应巡航控制)的调节信号以及作为用于计算至碰撞时间(TTC:Time To Collision)的输入。特别地,缩放变化和由此得出的TTC对于vFCW NCAP测试(NCAP:新车碰撞测试)具有重要意义。在此提出的方案描述图像处理算法,借助所述图像处理算法能够以非常高的精确度和低的开销计算图像之间的缩放变化。
可以借助图像之间的对应(Korrespondenzen)来计算缩放变化。在运动模型的假设下,则可以直接由所估计的参数求取缩放变化。
缩放变化的准确度取决于所计算的对应的精确度。计算对应时的小的误差导致缩放估计时的显著误差。可以通过多个图像形成对应,并且因此多个缩放值可以用于最终的估计,由此能够求取误差。在此,通过多个图像的对应应是稳定的。由于所述要求,所述算法对于在嵌入式硬件平台上的使用而言过慢。
图2示出根据本发明的一个实施例的用于计算对象的成像比例的变化的设备200的框图。设备200具有用于识别的装置202、用于提供的装置204、用于缩放的装置206、用于求取的装置208和用于组合的装置210。用于识别的装置202具有用于接收图像数据的接口。用于识别的装置202可以通过所述接口接收来自摄像机的例如视频信号的图像。用于识别的装置202构造用于在当前图像中识别特有图像区域的图像坐标。所述特有图像区域成像当前图像中的至少一个对象的对象特征。用于识别的装置202与用于缩放的装置206并且与用于求取的装置208连接,以便传递图像坐标。用于提供的装置204同样与用于识别的装置202连接。用于提供的装置204构造用于提供模型。模型的模型坐标代表在先前图像中对象的所识别的对象特征的位置的选择。先前图像的图像坐标可以由用于识别的装置202接收。用于提供的装置204与用于缩放的装置206连接,以便传递模型。用于缩放的装置206构造用于缩放模型,以便得到经缩放的模型。在缩放时,使模型坐标的至少一个分量与所述图像坐标匹配。如果能够唯一地根据所识别的图像坐标将所述模型缩放成所述经缩放的模型,则可以忽略不能相应分配图像坐标的模型坐标。所述模型与所述经缩放的模型相差一个模型缩放因数。用于缩放的装置206与用于组合的装置210连接,以便传递模型缩放因数。用于缩放的装置206可以将所述经缩放的模型和所述模型缩放因数传递给用于提供的装置204。用于求取的装置208构造用于求取图像缩放因数。为此,使用所识别的至少两个特有图像区域和所述两个图像区域的在先前图像中识别到的图像坐标。用于求取的装置208与用于组合的装置210连接,以便传递图像缩放因数。用于组合的装置210构造用于将模型缩放因数与图像缩放因数组合,以便得到成像比例的变化。用于组合的装置210具有用于提供变化的接口。装置210可以将所述变化也传递给用于提供的装置204。如果用于识别的装置202在随后图像中识别到特有图像区域的随后图像坐标,则可以在用于缩放的装置206中缩放所述经缩放的模型的模型坐标,以便与随后图像坐标匹配。替代地,在用于提供的装置204中,在使用先前计算的变化或者所接收的模型缩放因数的情况下由所接收的经缩放的模型产生估计模型,以便得到特有图像区域在随后图像中的期望位置。然后,在用于缩放的装置206中可以再次以校正因数来缩放估计模型,以便将特有图像区域的期望位置与实际位置进行比较并且产生另一个经缩放的模型。然后,可以在使用先前变化和校正值的情况下确定模型缩放因数。在用于求取的装置208中能够如在当前图像中那样求取随后图像的图像缩放因数,其中然后使用当前图像的和随后图像的图像坐标。
图3示出模型300的示图,所述模型根据本发明的一个实施例缩放成经缩放的模型。在图3中示出模型300、坐标点302、摄像机图像304、对象306、经缩放的模型308和像点坐标点310。模型300具有区域边界,所述区域边界具有矩形轮廓。在区域边界的左上角处设置模型坐标原点。在模型坐标原点处,模型300的模型坐标具有水平值0和垂直值0。在右下角处,模型坐标具有水平值1和垂直值1。由此,区域边界标准化到1上。在区域边界内,例如对于多个模型坐标点示出模型坐标302。模型坐标302代表模型300所基于的摄像机图像的特有图像区域的位置。模型坐标系是二维的并且是正交直线的。因此,两个辅助线在模型坐标302的点上垂直相交,借助所述两个辅助线能够更容易地求取区域边界处的模型坐标302的模型坐标值。
除模型300以外,示出摄像机图像304的一部分。摄像机图像304示出对象306在摄像机的视野中的一部分。在所述实施例中示出商用车辆306的一部分。经缩放的模型308与摄像机图像304重叠。所述经缩放的模型308与模型300类似。在所述实施例中,经缩放的模型308比模型300大了模型缩放因数,因为自根据对象306的先前摄像机图像生成模型300以来对象306已靠近了摄像机并且因此在摄像机图像304中更大地成像。如果在图像之间的时间段内对象306远离摄像机,则对象306在摄像机图像304中可能更小,并且因此经缩放的模型308比模型300小了一个模型缩放因数。像点310设置在对象306的特有图像区域的位置处。模型坐标302描述同一特有图像区域在先前摄像机图像中的模型相关的位置。根据摄像机图像304中的至少两个这种点的图像坐标的移位来缩放和/或移位或者扭曲模型300并且将其置于图像304上。在此,例如当所属的图像区域被覆盖时,或者例如因为模型坐标描述先前摄像机图像的以下图像区域:在所述图像区域中错误地识别了特有图像区域,则模型坐标的一部分可以不考虑。例如可以确定模型缩放因数,其方式是,经缩放的模型308的右下角的图像坐标值减去经缩放的模块308的左上角的图像坐标值,以便得到经缩放的模型308的尺寸参数。模型缩放因数可以由至少两个在时间上相继的尺寸参数确定。通过使用多个尺寸参数,可以平滑模型缩放因数的时间变化曲线。
因为摄像机的图像在短的时间间隔内彼此相继,所以对象306在图像之间仅仅实施由物理定律限制的运动。因此,对象306的成像在相继的摄像机图像中可能仅仅具有限制的变化。通过在限制的时间段、例如三个相继的摄像机图像内近似恒定的模型缩放因数的假设,可以缩短缩放模型300所需要的持续时间。在使用模型缩放因数或者两个图像之间的所计算的变化的情况下可以重新缩放所述经缩放的模型308,以便得到估计模型。在特有图像区域方面检查随后的摄像机图像之前,可以产生估计模型。因此,估计模型代表特有图像区域在随后图像中的预计位置。可以将所述预计位置与随后图像的实际图像坐标进行比较,以便得到校正因数。校正因数描述估计模型的剩余的需要的缩放,以便使估计模型与实际图像坐标匹配。然后,能够由先前的模型缩放因数或者所计算的变化以及校正值来确定实际的模型缩放因数。
在此提出的方案描述图像处理算法,所述图像处理算法计算对象306在图像304之间的缩放变化。所述图像处理算法可以用于计算对象306的相对速度和所述对象与摄像机的位置的TTC。
以不同时间的对象宽度过滤缩放变化的计算。由此,在不增加等待时间的情况下显著抑制噪声。对此重要的是,进行对象宽度的测量作为主要测量。
通过在对象306的开始图像中基于相应的对象分类器在对象306的区域中定义对象盒(Objektbox)的方式来初始化所述方法。然后,在所述盒内提取特征点310。随后,以对象宽度标准化特征点310,使得最终仅仅存在具有0和1之间的坐标的点302。然后,存储经标准化的对象盒300作为对象模型300。
在下一图像中首先提取特征点310,然后借助所述特征点的描述符使其与相应的先前的特征点310对应。随后,在当前图像304中估计对象模型300的经标准化的坐标302和坐标310之间的运动参数。然后,借助所估计的运动参数将点0,0和1,1投影到当前图像304中,并且最后通过简单的减法求取对象宽度。
宽度=图像中的点(1,1)-图像中的点(0,0)
公式描述用于在经标准化的坐标302的图像304中由反向投影计算对象宽度的示例。
对象宽度在每一帧308中总是新测量并且存储在“环形缓存器”中。如果需要,则能够分开计算对象306的宽度以及高度。
如果在当前图像304中计算了对象宽度,则可以丢弃盒308以外的所有点。随后,以线性方案计算图像坐标310的缩放变化。为此,使用与图像坐标310对应的图像点的运动参数。由此得到缩放变化SS。
借助存储在环形缓冲器中的对象宽度来计算多个缩放值。由此得到缩放变化SBi,其中i是时间的索引,其可以任意位于过去。从当前图像304Ti向过去计数(例如TN←T4←T3←T2←Ti)。
在缩放变化对于限制数量的值保持恒定的假设下,能够以如下公式来计算对象宽度的变化曲线,其中Bi是当前图像304中的对象宽度,而S是恒定的缩放。
B1=Bi·Si-1
公式描述借助恒定的缩放变化的对象宽度的计算。
能够由N个对象宽度值以如下公式计算缩放SB。
公式描述关于第一对象宽度的缩放变化的计算。
公式描述关于相邻的对象宽度的缩放变化的计算。
在缩放变化对于限制数量的值保持恒定的假设下,进行缩放变化的最终计算。由此,能够由宽度计算缩放变化SB。作为加权平均由直接缩放SS以及由来自对象宽度SB的缩放计算最终的缩放变化。
S=w·SS+(1-w)·SB
公式描述用于最终缩放变化的计算,其中w是直接测量到最终结果的加权。
图4示出在缩放因数的变化恒定时对象的尺寸的时间变化曲线402的示图400。在横坐标上标记时间,在纵坐标上标记对象宽度。在所示出的示例中示出四个时间单元的时间段,其中在所述时间段的开始时检测到了对象。在第一检测中建立了对象的模型。所述模型具有百分之100的对象宽度。对象远离并且因此更小地成像。模型与成像匹配并且持续变小。在所述时间段的结束时,对象很远并且模型仅仅仍具有原始对象宽度的约3%。因为对象已经以恒定的速度远离,所以模型在时间上以恒定的变化来缩放。由此得到对象宽度的变化曲线402的指数减小。在图4中示出具有恒定缩放变化的对象宽度变化曲线,在所述缩放变化上能够实现缩放估计(ScaleEstimation)。
图5示出根据本发明的一个实施例的成像比例的变化的时间变化曲线500的示图。在示图中绘制了变化曲线500。在示图中绘制了另一变化曲线502。在示图的横坐标上记录了时间,在纵坐标上记录了成像比例或缩放。变化曲线500在时刻0以成像比例1开始。另一变化曲线502代表在没有应用在此提出的方案的情况下的成像比例的变化。另一变化曲线502同样在时刻0以成像比例1开始。两个变化曲线500、502基于摄像机的相同的图像数据。由根据本发明的一个实施例的用于计算对象的成像比例的变化的方法得出变化曲线500。另一变化曲线是较低效率的计算方法的结果。两个变化曲线500、502首先直至时刻250具有至成像比例1.0025的略微升高。另一变化曲线502的升高由强烈的噪声叠加。在变化曲线500中,噪声明显比在另一变化曲线502中的噪声更弱。自时刻250起,两个变化曲线500、502具有直至成像比例1.022的另一升高。两个变化曲线的所述另一升高是几乎同时的,然而变化曲线500具有比另一变化曲线502更小的噪声。在此,变化曲线502描述来自对应的原始缩放变化。在此,变化曲线500描述借助多个对象宽度的所计算的缩放的后续滤波。在经滤波的信号中显著抑制噪声,而在此没有引入等待时间。
在图5中,变化曲线500、502直接相互重叠,以便示出两个变化曲线500、502的最小时间错位。
图6示出具有根据本发明的一个实施例的用于计算对象306的成像比例的变化的设备200的车辆600的示图。设备200例如可以涉及根据图2描述的设备。车辆600具有周围环境检测装置602。在所述实施例中,周围环境检测装置602是摄像机602,所述摄像机构造用于检测车辆600的驾驶员的视野的至少一部分604并且将其成像在摄像机图像304的图像序列中。摄像机602与设备200连接。对象306位于所检测的一部分604内。在所述实施例中,对象306是在车辆600前方行驶的另一交通参与者的另一车辆306。
所述另一车辆306在摄像机图像304中越大地成像,则所述另一车辆306越接近车辆600。当车辆600和另一车辆306之间的间距从图像序列的较早的拍摄时刻到较晚的拍摄时刻变化时,以变化的成像比例在摄像机图像304中成像所述另一车辆306。在设备200中,在使用根据在此提出的方案的用于计算对象306的成像比例的变化的方法的情况下来计算所述变化。在此,在特有图像区域方面检查成像车辆306的至少一个部分的摄像机图像304的至少一个部分区域。特有图像区域成像车辆306的特有特征。特有图像区域具有图像坐标。在使用第一算法的情况下,如此缩放和/或移位和/或旋转和/或扭曲模型的模型坐标,直至经缩放的模型坐标相应于图像坐标的至少一个分量。所述模型代表车辆306的特有特征在先前时刻在较早的摄像机图像304中的位置。由第一算法得到模型缩放因数。通过使用多个模型坐标和多个图像坐标,第一算法是稳健的并且在图像干扰、例如车辆306的短时障碍(Obstruktion)时能够稳定地继续运行。附加地,借助第二算法分析处理图像坐标,以便得到图像缩放因数。为此,逐摄像机图像304地检测至少两个图像坐标之间的间距,其中将图像坐标分别分配给同一特有特征的特有图像区域。因为第二算法基于间距计算,所以几乎没有延迟地求取逐图像的变化。为了滤波在图像缩放因数中所引起的强烈的噪声,通过模型缩放因数和图像缩放因数的混合来计算成像比例的变化。
仅仅示例性地选择所描述的和在示图中所示出的实施例。可以完全地或者在单个特征方面相互组合不同实施例。一个实施例也可以通过另一个实施例的特征来补充。此外,可以重复实施以及以不同于所描述的顺序的顺序实施根据本发明的方法步骤。如果实施例在第一特征和第二特征之间包括“和/或”关系,则这样理解:所述实施例根据一种实施方式不仅具有第一特征而且具有第二特征而根据另一种实施方式或者仅仅具有第一特征或者仅仅具有第二特征。
Claims (11)
1.一种用于计算对象(306)的成像比例的变化的方法(100),其中,所述方法(100)包括以下步骤:
在当前图像(304)中识别(102)特有图像区域(310)的图像坐标(310),其中,所述特有图像区域(310)成像所述当前图像(304)中的至少一个对象(306)的对象特征;
提供(104)模型(300),其中,所述模型(300)的模型坐标(302)代表在先前图像中所述对象(306)的所识别的对象特征的位置的选择;
缩放(106)所述模型(300),以便得到经缩放的模型(308),其中,将所述模型坐标(302)的至少一个分量与在所述识别的步骤中所识别的图像坐标(310)关联,其中,所述模型(300)和所述经缩放的模型(308)相差一个模型缩放因数;
在使用所识别的至少两个特有图像区域(310)的图像坐标(310)以及所述两个图像区域(310)的在所述先前图像中识别的图像坐标的情况下求取(108)图像缩放因数;
将所述模型缩放因数与所述图像缩放因数组合(110),以便得到所述成像比例的变化。
2.根据权利要求1所述的方法(100),所述方法具有建立所述模型(300)的步骤,其中,使用所述先前图像的特有图像区域(310)的在时间上先前识别的图像坐标(310),以便至少将所述图像坐标(310)的选择转换成模型坐标(302),其中,所述图像坐标(310)关于图像坐标原点,而所述模型坐标(302)关于模型坐标原点,其中,至少部分成像所述选择中的所述对象(306)。
3.根据权利要求2所述的方法(100),其中,在所述建立的步骤中,所述选择具有预定义的原始尺寸。
4.根据权利要求2至3中任一项所述的方法(100),其中,在所述建立的步骤中,标准化所述模型坐标(302),其中,所述模型坐标(302)的最小值是0,而所述模型坐标(302)的最大值是1。
5.根据以上权利要求中任一项所述的方法(100),其中,在所述缩放的步骤(106)中,检测所述模型(300)的尺寸和所述经缩放的模型(308)的尺寸并且在使用所述尺寸的变化的情况下求取所述模型缩放因数。
6.根据以上权利要求中任一项所述的方法(100),其中,在所述组合的步骤(110)中,借助第一加权因数来加权所述模型缩放因数,而借助第二加权因数来加权所述图像缩放因数。
7.根据以上权利要求中任一项所述的方法(100),其中,在所述缩放的步骤(106)中,还以平移矢量使所述模型(300)移位和/或以旋转矢量使所述模型(300)旋转。
8.根据以上权利要求中任一项所述的方法(100),其中,重复所述方法的步骤,以便计算所述成像比例的另一变化,其中,在时间上随后的图像在较晚的时刻成像所述至少一个对象(306)的特有对象特征,其中,在所述提供的步骤(104)中,提供以及在使用所述成像比例的已计算的变化的情况下缩放所述经缩放的模型(308),以便产生估计模型,其中,在所述缩放的步骤(106)中,在使用校正因数的情况下缩放所述估计模型,以便使所述估计模型与所述在时间上随后的图像的在所述识别的步骤(102)中识别的图像坐标匹配,其中,在使用所计算的变化和所述校正因数的情况下求取所述模型缩放因数。
9.根据权利要求6和8所述的方法(100),其中,在所述组合的步骤(110)中,基于所述校正因数求取所述第一加权因数。
10.一种用于计算对象(306)的成像比例的变化的设备(200),所述设备构造用于在相应的装置中实施根据权利要求1至9中任一项所述的方法(100)的步骤。
11.一种计算机程序产品,所述计算机程序产品具有程序代码,用于当在设备(200)上运行所述程序产品时实施根据权利要求1至9中任一项所述的方法(100)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012211961.2A DE102012211961A1 (de) | 2012-07-10 | 2012-07-10 | Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts |
DE102012211961.2 | 2012-07-10 | ||
PCT/EP2013/064559 WO2014009406A1 (de) | 2012-07-10 | 2013-07-10 | VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104471436A true CN104471436A (zh) | 2015-03-25 |
CN104471436B CN104471436B (zh) | 2018-12-14 |
Family
ID=48771440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380036749.5A Active CN104471436B (zh) | 2012-07-10 | 2013-07-10 | 用于计算对象的成像比例的变化的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9384576B2 (zh) |
CN (1) | CN104471436B (zh) |
DE (1) | DE102012211961A1 (zh) |
WO (1) | WO2014009406A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106168988A (zh) * | 2015-05-22 | 2016-11-30 | 罗伯特·博世有限公司 | 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2884364B1 (en) * | 2013-12-12 | 2018-09-26 | Hexagon Technology Center GmbH | Autonomous gardening vehicle with camera |
US11170468B2 (en) * | 2019-12-18 | 2021-11-09 | The Boeing Company | Systems and methods of determining image scaling |
CN111210440B (zh) * | 2019-12-31 | 2023-12-22 | 联想(北京)有限公司 | 皮肤对象的识别方法、装置和电子设备 |
US20220153262A1 (en) * | 2020-11-19 | 2022-05-19 | Nvidia Corporation | Object detection and collision avoidance using a neural network |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7124027B1 (en) * | 2002-07-11 | 2006-10-17 | Yazaki North America, Inc. | Vehicular collision avoidance system |
US7409295B2 (en) * | 2004-08-09 | 2008-08-05 | M/A-Com, Inc. | Imminent-collision detection system and process |
US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
ES2400708T3 (es) * | 2008-08-27 | 2013-04-11 | Saab Ab | Utilización de un sensor de imágenes y de un filtro de seguimiento de tiempo restante para evitar colisiones en vuelo |
US9208690B2 (en) * | 2009-03-18 | 2015-12-08 | Saab Ab | Calculating time to go and size of an object based on scale correlation between images from an electro optical sensor |
US8417490B1 (en) * | 2009-05-11 | 2013-04-09 | Eagle Harbor Holdings, Llc | System and method for the configuration of an automotive vehicle with modeled sensors |
US9165468B2 (en) | 2010-04-12 | 2015-10-20 | Robert Bosch Gmbh | Video based intelligent vehicle control system |
CN102254318B (zh) * | 2011-04-08 | 2013-01-09 | 上海交通大学 | 基于图像透视投影变换的车辆道路交通视频测速方法 |
-
2012
- 2012-07-10 DE DE102012211961.2A patent/DE102012211961A1/de active Pending
-
2013
- 2013-07-10 US US14/414,378 patent/US9384576B2/en active Active
- 2013-07-10 CN CN201380036749.5A patent/CN104471436B/zh active Active
- 2013-07-10 WO PCT/EP2013/064559 patent/WO2014009406A1/de active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106168988A (zh) * | 2015-05-22 | 2016-11-30 | 罗伯特·博世有限公司 | 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
US20150170390A1 (en) | 2015-06-18 |
CN104471436B (zh) | 2018-12-14 |
DE102012211961A1 (de) | 2014-01-30 |
US9384576B2 (en) | 2016-07-05 |
WO2014009406A1 (de) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110322702B (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
EP3517997B1 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
US10452999B2 (en) | Method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle | |
CN103745452B (zh) | 相机外参评估方法、装置、相机外参标定方法和装置 | |
JP4341564B2 (ja) | 対象物判定装置 | |
CN105551020B (zh) | 一种检测目标物尺寸的方法及装置 | |
JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
US20170124693A1 (en) | Pose Estimation using Sensors | |
KR101551026B1 (ko) | 차량 검출 방법 | |
JP4943034B2 (ja) | ステレオ画像処理装置 | |
JP6328327B2 (ja) | 画像処理装置及び画像処理方法 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
JP6708730B2 (ja) | 移動体 | |
CN104471436A (zh) | 用于计算对象的成像比例的变化的方法和设备 | |
CN106203381A (zh) | 一种行车中障碍物检测方法与装置 | |
CN108592885A (zh) | 一种单双目融合定位测距算法 | |
US10614321B2 (en) | Travel lane detection method and travel lane detection device | |
CN114919584A (zh) | 机动车定点目标测距方法、装置及计算机可读存储介质 | |
KR20100066952A (ko) | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 | |
CN114705121A (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN111105465B (zh) | 一种摄像装置校准方法、装置、系统电子设备及存储介质 | |
WO2015025555A1 (ja) | 交通量計測装置および交通量計測方法 | |
CN104697491A (zh) | 在车辆中使用单视场成像器的距离确定 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |