CN103727879B - 计算和显示在显示器图像中检测的物体高度的装置和方法 - Google Patents

Abstract

本发明公开一种计算和显示在显示器图像中检测的物体高度的装置和方法。该装置包括：一个或多个处理器；存储器；图像获取单元，从摄像机接收一个或多个图像；传感器值获取单元，从距离测量传感器接收距离值；图像分析单元，将一个或多个图像处理成一个或多个处理后图像；物体检测单元，在一个或多个处理后图像中检测一个或多个物体；物体位置测量单元，测量一个或多个物体的一个或多个位置，并基于距离值确定一个或多个处理后图像中的一个或多个物体中每一个物体的物体距离和物体长度；物体高度计算单元，基于确定的物体距离和所确定的物体长度来计算一个或多个物体中每一个物体的物体高度；以及显示控制器，将所确定的物体高度传播给显示器。

Description

计算和显示在显示器图像中检测的物体高度的装置和方法

技术领域

本发明涉及一种对物体进行显示控制的装置和方法，更特别涉及一种用于显示通过摄像机获取的车辆周边图像上的物体的实际高度信息的装置和方法。

背景技术

近年来，允许车辆周围的图像被获取并显示在车辆显示器上的技术已应用到车辆中，其允许驾驶者轻松地评估车辆周边内的相关环境（例如，动物、人员、物体等的存在）。例如，该技术可以从车辆的所有侧面获得图像（例如，照片），并通过将从车辆的所有侧面获得的相应图像进行合成，将该图像转换为俯视图像（top view image）。接着，可以将合成的图像提供给用户，以便该用户可以同时确认车辆所有侧面的图像。然而遗憾的是，这种常规技术的显著缺点在于其不允许用户评估图像中所显示的物体的实际高度，而这样可能会造成车辆碰撞到物体。

为了解决这个问题，最近的技术已经尝试通过计算物体的高度来向用户提供高度信息。例如，一种这样的技术是基于在通过以不同角度安装的摄像机获取的图像中，对假设是障碍物的物体提取等高线，接着计算提取等高线的顶部和底部的垂直位置，以便计算到障碍物的距离以及障碍物的高度。然而遗憾地是，这种技术的明显缺点在于其至少需要两个以不同角度安装以便计算障碍物高度的摄像机。换句话说，该技术存在的问题在于上述技术不能够应用到仅安装有一个摄像机的车辆。此外，由于将两个图像进行相互比较以便计算障碍物的高度，因此由于个别图像发生错误和/或偏差而使高度计算产生错误。

发明内容

本发明提供一种用于计算通过摄像机获取的车辆周边图像中显示的物体的实际高度并所计算的高度信息显示在图像上以允许用户识别物体的精确信息的装置和方法。

根据本发明的示例性方面，用于计算物体实际高度并在图像上显示计算高度的装置可以包括：物体检测单元，用于检测通过包含在车辆中的摄像机获取的车辆周边图像中的物体；物体位置测量单元，用于测量图像中物体的位置并测量到物体的距离，并且基于通过包含在车辆中的距离测量传感器获取的测量距离值测量图像中物体的长度；物体高度计算单元，利用在图像中显示的到物体的距离信息和物体的长度计算物体的高度；以及显示控制器，用于对物体的计算高度显示进行控制。通过将在车辆周边图像中显示的到物体的距离以及物体长度的信息应用到预先存储的映射表中，该物体高度计算单元可以计算物体的高度。通过将在车辆周边图像中显示的到物体的距离以及物体长度的信息应用到事先生成的转换曲线图中，物体高度计算单元可以计算物体的高度。转换曲线图可以根据到物体的距离，以预定单位（predetermined unit）排列表示诸如与到物体的距离和物体长度相对应的高度值的不同的转换曲线。转换曲线可以当物体的高度变大时斜率变小的曲线。对于不同的示例性转换曲线，对应于相同的高度值，当到物体的距离和物体的长度变大时斜率可以变小。

根据本发明另一个示例性方面，一种用于计算物体实际高度并在图像上显示计算高度的方法包括：检测通过包含在车辆中的摄像机获取的车辆周边图像中的物体；测量车辆周边图像中的物体的位置，并基于由包含在车辆中的距离测量传感器获取的距离测量值，测量到物体的距离和物体的长度；利用在车辆周边图像中显示的到物体的距离和物体的长度信息来计算物体的高度；以及将物体的计算高度显示在屏幕上。计算物体的高度可以包括通过将显示在图像中的到物体的距离和物体长度的信息应用到预先存储的映射表中来计算物体的高度。计算物体高度可以包括通过将显示在车辆周边图像中的到物体的距离和物体长度的信息应用到事先生成的转换曲线图中来计算物体高度。转换曲线图以预定距离单位排列表示与到物体的距离和物体的长度相对应的物体高度的不同转换曲线。该转换曲线可以是当物体的高度变大时斜率变小的曲线。在不同的示例性转换曲线中，对应于相同高度值，当到物体的距离和物体的长度变大时斜率变小。

附图说明

通过参考结合随附绘图的下列详细描述，本发明的目标、特征和优势会变得更加易于理解，其中：

图1和图2是示出根据本发明示例性实施例的用于对物体进行显示控制的装置的配置的示意图；

图3是示出根据本发明示例性实施例的用于计算物体实际高度并在图像上显示计算高度的装置的物体高度显示操作的示例性示意图；

图4是示出根据本发明示例性实施例的用于计算物体实际高度并在图像上显示计算高度的装置的物体高度计算操作的示例性示意图；

图5是示出图4的另一个例子的示例性示意图；

图6和7示出根据本发明示例性实施例的用于计算物体实际高度并在图像上显示计算高度的装置显示物体高度的一个例子的示例性示意图；以及

图8是示出根据本发明示例性实施例的用于计算物体实际高度并在图像上显示计算高度的方法的操作过程的流程图。

本发明的示例性实施例通过参考随附绘图进行详细描述。相同参考数字标号被用于指向所有绘图的相同或类似部件。本文忽略了涉及的已知功能和结构的详细描述，以避免模糊本发明的主题。

附图标记说明：

10：车辆

11：摄像机

15：距离测量传感器

100：控制器

110：处理器

120：图像获取单元

130：传感器值获取单元

140：显示单元

150：存储器

160：图像分析单元

170：物体检测单元

180：物体位置测量单元

190：图像高度计算单元

200：显示控制器

具体实施方式

现详细参考本发明各种实施例，其例子在随附绘图中示出并在下面描述。虽然本发明结合示例性实施例描述，应当理解本描述不是为了使本发明局限于那些示例性实施例。相反，本发明不仅覆盖示例性实施例，而且各种替换、修改、等价物和其他实施例也包含在本发明附属权利要求定义的精神和范围内。

应当理解本文使用的术语“车辆”或“车辆的”或类似术语包括一般的汽车，例如包括运动型多功能车（SUV）的轿车，公共汽车，卡车，各种商用车辆，包括各种乘船和船舰的水运工具，航空器及其类似物，以及包括混合动力汽车，电动汽车，插电式混合电动汽车，混合动力汽车以及其他可选燃料车辆（例如，从不是石油的资源获取燃料）。

本文所使用术语仅用于描述特定实施例，不是为了限制本发明。正如本文所使用的，单数形式“a”，“an”，“the”也包括复数形式，除非上下文中明确指出。应当进一步理解，当用于本规范时，术语“包括”和/或“包括了”规定陈述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或更多其他特征、整数、步骤、操作、元件、组件和/或其中组的存在和添加。正如本文所使用的，术语“和/或”包括关联列出项目中一个或更多的任意一个或者全部结合。

除非特别指出或在上下文中是明显的，正如本文所使用的，术语“大约”应当理解为在本领域正常公差范围内，例如在平均值的2个标准偏差内。“大约”可以理解为在规定值的10%,9%,8%,7%,6%,5%,4%,3%,2%,1%,0.5%,0.1%,0.05%或0.01%内。除非在上下文中是特别明确的，本文提供的所有数值可以由术语“大约”修改。

此外，应当理解下列方法由至少一个控制器执行。术语控制器指的是包括存储器和处理器的硬件设备。存储器经配置存储模块，以及处理器经具体配置执行所述模块完成在下面进一步描述的一个或更多过程。

而且，本发明的控制逻辑可以体现为计算机可读介质上的非短暂计算机可读介质，其中所述计算机可读介质包含由处理器、控制器或其类似物执行的可执行程序指令。计算机可读介质的例子包括但不限于ROM、RAM、紧凑式碟片（CD）-ROMs，磁带，软盘，快闪驱动器，智能卡和光数据存储设备。计算机可读记录介质还可以分布在网络联接计算机系统中，以便计算机可读介质以分布方式例如远程信息处理服务器或控制器区域网络（CAN）存储和执行。

图1和图2是示出根据本发明示例性实施例的用于计算物体的实际高度并在图像上显示计算高度的装置的配置示意图。

参考图1，车辆10可以包括用于拍摄车辆10的周边图像的摄像机11，和用于测量位于车辆10周围的一个或多个物体之间距离的距离测量传感器15。尽管图1仅示出一个摄像机11和一个距离测量传感器15，然而应当理解在本公开文本的范围内，多个摄像机11和距离测量传感器15可以分别置于车辆10的前侧，后侧，左侧，右侧和/或顶侧。此外，一个或多个摄像机11和距离测量传感器15还可以根据用户的选择仅分布在测量方向上。

用于计算物体实际高度并在图像上显示计算高度的装置100，可以利用通过车辆10的摄像机11和距离测量传感器15获取的信息来计算位于车辆10周围的物体的实际高度，并显示物体的计算高度，使得用户能够精确地识别和评估车辆周边的环境。

参考图2，用于计算物体实际高度并在图像上显示计算高度的装置100（例如，控制器），可以包括处理器110，存储器150，显示单元140（例如，屏幕，监视器等），以及显示控制器200。在示例性实施例中，该装置可以包括由处理器执行的多个单元（例如，软件模块），该单元包括：图像获取单元120，传感器值获取单元130，图像分析单元160，物体检测单元170，物体位置测量单元180，以及物体高度计算单元190。这里，处理器110可以控制用于计算物体实际高度并在图像上显示计算高度的装置100的每个单元的操作。

图像获取单元120可以连接于摄像机11，以便获取通过摄像机拍摄的周边图像。传感器值获取单元130可以连接于距离测量传感器15，以便获取通过距离测量传感器15测量的距离测量传感器值。由图像获取单元120获取的周边图像和由传感器值获取单元130获取的距离测量传感器值可以被用于计算物体的高度。

显示单元140，作为显示由装置100计算的物体高度的单元，可以与监视器、导航系统、娱乐系统等通信。

存储单元150可以存储用于辅助计算物体实际高度并在图像上显示计算高度的用于装置100的一个或多个数据值，例如像每个单元（例如，图像分析单元，物体检测单元等）的操作的合成数据等。

图像分析单元160可以分析由图像获取单元120获取的车辆周边的图像。这里，车辆周边的图像可以是由图像获取单元120获取的原始形式的图像，也可以是将由图像获取单元120获取的图像转换为俯视图像然后进行合成的形式的图像。尽管物体或障碍物可以是基于俯视图像而被检测，然而本发明并不限于此。

物体检测单元170可以基于来自图像分析单元160的图像分析结果来检测车辆周边图像中的物体。在这种情况下，物体检测单元170还可以基于由传感器值获取单元130获取的距离测量值来检测物体。

物体位置测量单元180可以在车辆周边图像中测量通过物体检测单元170检测的物体的位置。在此情况下，物体位置测量单元180基于通过包含在车辆中的距离测量传感器15获取的距离测量值来测量物体的位置。更具体地，物体位置测量单元180可以在周边图像中测量到物体的距离和物体的长度，以便测量物体的位置。

物体高度计算单元190可以利用在周边图像中所显示的到物体的距离以及物体的长度信息来计算物体的高度。在此情况下，物体高度计算单元190可以通过将在车辆周边图像中显示的到物体的距离以及物体长度的信息应用到之前生成的转换曲线图中来计算物体高度。在此，转换曲线图可以以预定距离单位排列表示与到物体的距离和物体长度相对应的高度值的不同的转换曲线，其中每个转换曲线可以是当物体的高度变大时斜率变小的曲线。此外，在不同的转换曲线中，对应于相同的高度值，当到物体的距离与物体的长度变大时斜率可以变小。图4中示出转换曲线图的一个例子。

同时，物体高度计算单元190可以通过将车辆周边图像中显示的到物体的距离以及物体长度的信息应用到预先存储的映射表中，来计算物体的高度。图5中示出预先存储的映射表的一个例子。

显示控制器200可以使由物体高度计算单元190计算的物体高度，能够在通过显示单元140显示图像的状态下，被显示在车辆周边图像中，如图6和7所示。

图3是示出根据本发明示例性实施例的用于在图像上显示计算高度的装置100的物体高度显示操作的示例性示意图。

图3示出通过摄像机11获取的车辆周边图像的俯视图像上的到物体的距离，物体的长度，以及物体的实际高度，其中车辆由位于中心的矩形表示。在此，基于由距离测量传感器15获取的传感器值来测量到物体的距离，并且在俯视图像上显示所测量的到物体的距离值。例如，当由距离测量传感器测量的到左侧物体的距离为100cm，且由距离测量传感器测量的到右侧物体的距离为230cm时，用于对物体进行显示控制的装置100使通过距离测量传感器测量的到每个物体的距离能够被显示在俯视图像上。

此外，用于在图像上显示计算高度的装置100可以测量俯视图像中的物体的长度，并基于通过距离测量传感器15测量的到物体的实际距离来计算与在俯视图像上所显示的物体长度相对应的长度。作为一个例子，基于在俯视图像上的左侧方向上所显示的物体的位置，当相应物体的长度是到该物体的距离的大约3倍时，装置100可以基于到物体的距离计算出物体的长度为300cm。作为另一个例子，基于在俯视图像上的右侧方向上所显示的物体位置，当相应物体的长度比到该物体的距离短时，装置100可以按照与到物体的距离的比例来计算物体长度。

当计算出车辆右侧方向上的物体的长度为60cm时，用于显示物体高度的装置可以显示计算的长度以及在俯视图像上的车辆左侧方向上的物体的长度。

用于计算物体的实际高度并在图像上显示计算高度的装置100，可以将到俯视图像上所显示的左侧和右侧方向上物体的距离以及物体长度的信息，应用到预先确定的映射表或转换曲线图中，以便计算物体的实际高度。当如上计算的左侧方向上的物体的实际高度为100cm，而右侧方向物体的实际高度为20cm时，将为每个物体计算的高度信息显示在俯视图像上，从而使用户能够通过俯视图像来识别物体的实际高度。

图4是示出根据本发明示例性实施例的用于对物体进行显示控制的装置100的物体高度计算操作的示例性示意图。在转换曲线图中，水平轴表示图像中物体的位置（cm），例如到物体的距离和物体的长度，竖直轴表示被显示在图像上的物体的实际高度（cm）。转换曲线图具有基于到物体距离，以50cm间隔的单位系列排列的不同转换曲线形式。在此情况下，每个转换曲线是当物体高度变大而斜率变小的曲线。此外，在不同的转换曲线中，对应于相同高度值，当到物体的距离和物体的长度变大时，斜率可以变小。例如，在图4中示出的每个转换曲线具有在物体高度增大时向右侧倾斜的形式。同时，在到物体距离为50cm的转换曲线的情况下，当物体长度是13cm时，物体高度变成h；不过，在到物体距离是150cm的转换曲线情况下，当物体长度是31cm时，物体高度变成h。

如上所述的转换曲线图可以通过几个重复实验来限定，并且由模拟装置等限定的图。应当理解在本公开文本的范围内，用于限定转换曲线图的方法并不限于任意一种方法，而是可以根据预期的实施例以不同方式应用。

因此，用于计算物体实际高度并在图像上显示计算高度的装置100，可以通过将基于周边图像测量的到物体的距离和物体的长度以及距离测量值应用到图4所示的转换曲线图，而容易地计算物体高度。

图5示出用于限定与物体位置相对应的物体高度的映射表的示例性示意图。在图5的映射表中，区域“A”表示到物体的距离值，区域“B”表示通过将到物体的距离与物体的长度加和而获得的值，而区域“C”表示物体的高度值。换句话说，在到周边图像中物体的距离为100cm的情况下，当物体长度分别为0cm，17cm，52cm，171cm和200cm时，在区域B中，通过将到物体的距离与物体长度加和而获得的值分别与100cm，117cm，152cm，271cm以及300cm相对应。

此外，在到周边图像中物体的距离为200cm的情况下，当物体的长度分别为0cm，36cm和109cm时，在区域B通过将到物体的距离与物体的长度加和而获得的值分别与200cm，236cm，和309cm相对应。此外，在周边图像中到物体的距离为230cm的情况下，当物体长度分别为0cm和64cm时，在区域B中通过将到物体的距离与物体的长度加和获得的值分别与230cm和294cm相对应。

在此，当到物体的距离与物体的长度是预定的值或更大时，由于它们不一定显示在周边图像上，因此可以在预确范围内限定映射表。

如上所述的映射表可以通过以下进行限定：几个重复实验的结果，模拟装置，等等。用来限定映射表的方法不限于任何一种方法，而是可以根据实施例进行各种应用。

因此，用于对物体进行显示控制的装置100，可以通过将关于通过物体位置测量单元180测量的物体的距离和物体的长度信息应用到图5所示的映射表中，从而容易地计算物体的高度。

图6和7示出根据本发明示例性实施例的用于对物体进行显示控制的装置100显示物体高度的一个例子的示例性示意图。

用于显示周边图像上的物体的高度的方法可以以各种方式实施。例如，物体的高度可被显示在通过摄像机11获取的原始图像上，也可被显示在俯视图像上。此外，可以根据物体的高度，以不同方式显示颜色、形状等，并布置单独的图标。同时，用于对物体进行显示控制的装置100可以在现有周边图像上显示特征形状的高度信息，如图3所示。

作为例子，图6是示出识别物体的距离和种类并随后在显示器上显示的一个例子的示意图。换句话说，当车辆右侧方向上的物体被感应出是路缘时，可以在车辆右侧显示对应于路缘的图标。装置100可以显示路缘，以便具有与物体的计算高度相对应的高度值。换句话说，可以按比例地示出显示图标，使得显示图标的大小相对于显示器上的其它物体与现实世界中的实际尺寸一致。

作为另一个例子，图7示出根据被设计成辅助用户停车的观点（viewpoint）的物体。例如，图7A示出在车辆向前移动的情况下，显示位于车辆尾部物体的例子。类似地，图7B示出在车辆向后移动的情况下，显示位于车辆尾部的物体的例子。类似地，在此情况下，感应的物体可被显示在显示器上以具有不同的颜色、形状等等，并且还可以被显示成具有与物体的计算高度相对应的高度值。

因此，用户显示物体，以便根据从车辆观看物体的视角，物体的种类、距离等等将物体彼此区分开。在此，物体与计算的高度信息一起被显示，从而可以容易地识别车辆与物体等之间的碰撞危险等。

下面详细描述根据如上所述的本发明示例性实施例的用于计算物体的实际高度并在图像上显示计算高度的装置100操作流程。

图8是示出根据本发明示例性实施例的用于对物体进行显示控制的方法的操作流程的流程图。当输入通过摄像机11获取的车辆周边图像等（S100）时，装置100可分析输入图像（S110）并检测图像中的物体（S120）。

根据本文所述的技术，装置100接着可以测量在步骤S120中检测的物体的位置（S130）。更具体地，在步骤S130中，可以测量从车辆检测到的图像中到物体的距离以及物体的长度。在此，到物体的距离可以基于通过距离测量传感器15获取的距离测量值等进行测量，而物体的长度可以与到图像中所显示物体的距离成比例地进行测量。

用于对物体进行显示控制的装置100，基于在步骤S130中测量的到物体的距离和物体的长度来计算物体的高度（S140）。在此情况下，为了计算物体的高度，可以预先定义转换曲线图或映射表。

装置100可以将在步骤S130中测量的到物体的距离和物体的长度应用到预先定义的转换曲线图或映射表中来计算物体的高度。

装置100接着可以将在步骤S140中计算的物体的高度信息显示在于步骤S100中输入的图像上（S150）。物体的高度信息还可被显示在从在步骤S100输入图像的转换图像上。

根据本发明的示例性实施例，可以计算在通过摄像机获取的车辆周边图像上显示的物体的实际高度，并且所计算的物体高度信息可以在周边图像上显示，使得用户可以通过在屏幕上显示的周边图像来识别物体的精确信息。

而且，根据本发明的示例性实施例，通过到物体的距离以及物体的长度来计算物体的高度，从而可以在不添加独立装置的情况下，简单并快速地计算物体的高度。

如上所述，尽管已经通过参考绘图对根据本发明示例性实施例的用于对物体进行显示控制的装置和方法进行了描述，然而本发明并不限于在本说明书中所公开的示例性实施例和绘图，而是在没有偏离本发明精神和范围的情况下可以加以应用。

Claims (13)

1.一种用于计算物体实际高度并在图像上显示所计算高度的装置，包括：

一个或多个处理器；

存储器；

图像获取单元，从摄像机接收一个或多个图像；

传感器值获取单元，从距离测量传感器接收距离值；

图像分析单元，将一个或多个图像处理成一个或多个处理后图像；

物体检测单元，在所述一个或多个处理后图像中检测一个或多个物体；

物体位置测量单元，测量所述一个或多个物体的一个或多个位置，并基于所述距离值确定所述一个或多个处理后图像中的所述一个或多个物体中每一个物体的物体距离和物体长度；

物体高度计算单元，基于所确定的物体距离和所确定的物体长度来计算所述一个或多个物体中每一个物体的物体高度；以及

显示控制器，将所确定的物体高度传播给显示器。

2.如权利要求1所述的装置，其中所述物体高度计算单元通过将所述物体距离和所述物体长度应用到预先存储的映射表中来计算所述物体高度。

3.如权利要求1所述的装置，其中所述物体高度计算单元通过将所述物体距离和所述物体长度应用到转换曲线图中来计算所述物体高度。

4.如权利要求3所述的装置，其中所述转换曲线图基于所述物体距离，以预定的单位系列排列表示与所述物体距离和所述物体长度相对应的高度值的不同的转换曲线。

5.如权利要求4所述的装置，其中所述转换曲线是当所述物体的高度变大时斜率变小的曲线。

6.如权利要求4所述的装置，其中对应于相同高度值，当所述物体距离和所述物体长度变大时斜率变小。

7.一种用于计算物体实际高度并在图像上显示所计算高度的方法，包括：

从设置在车辆上的摄像机接收图像；

从距离测量传感器接收距离值；

将所述图像处理成处理后图像；

所述处理后图像中检测物体；

在所述处理后图像中测量所述物体的位置，以便基于所述距离值来确定物体距离和物体长度，所述物体距离对应于所述车辆与所述物体之间的距离，而所述物体长度对应于所述物体的第一端与第二端之间的距离；

基于所述物体距离和所述物体长度来计算物体高度；以及

在显示器上显示所计算的物体高度。

8.如权利要求7所述的方法，其中计算所述物体高度还包括通过将所述物体距离和所述物体长度应用到预先存储的映射表中来计算所述物体的高度。

9.如权利要求7所述的方法，其中计算所述物体高度还包括通过将所述物体距离和所述物体长度应用到之前生成的转换曲线图中来计算所述物体高度。

10.如权利要求9所述的方法，其中所述转换曲线图包括不同的转换曲线，这些转换曲线以预定距离单位系列被排列，使得所述物体高度与到所述物体的距离和所述物体的长度相对应。

11.如权利要求10所述的方法，其中所述转换曲线是当所述物体的高度变大时斜率变小的曲线。

12.如权利要求10所述的方法，其中转换曲线图包括一条或多条曲线，在这些曲线中，对应于相同高度值，当到所述物体的距离和所述物体的长度变大时斜率变小。

13.一种非短暂计算机可读介质，存储有由处理器或控制器执行的程序指令，所述程序指令被处理器或控制器执行时实现以下步骤：

从设置在车辆上的摄像机接收图像；

从距离测量传感器接收距离值；

将所述图像处理成处理后图像；

在所述处理后图像中检测物体；

在所述处理后图像中测量物体的位置以便基于所述距离值确定物体距离和物体长度，其中所述物体距离对应于所述车辆与所述物体之间的距离，所述物体长度对应于所述物体的第一端与第二端之间的距离；

基于所述物体距离和所述物体长度计算物体高度；以及

在显示器上显示所计算的物体高度。