CN103863190A - 用于提供盲区的信息的装置和方法 - Google Patents

Abstract

本发明公开一种用于提供盲区的信息的装置和方法。该装置包括视角变换区域检测器，其被配置成在从侧面成像装置输入的拍摄图像中，检测预定的侧面区域和后侧区域。成像装置被配置成拍摄包括车辆的盲区在内的图像。另外，该装置还包括视角变换器，其被配置成基于预设的视角变换参数，对侧面区域的图像和后侧区域的图像进行视觉变换，从而生成与侧面区域和后侧区域的图像相对应的视觉变换图像。

Description

用于提供盲区的信息的装置和方法

技术领域

本发明涉及一种用于提供关于车辆中的盲区的信息的装置和方法，更具体涉及从广角侧视图像中，检测在盲区中的侧面区域和后侧区域之中的物体的技术。

背景技术

通常，车辆驾驶者通过侧视镜，检查车辆的后侧区域。不过，由于侧视镜的可用范围有限，因此存在不能利用侧视镜进行监视的盲区。因此，驾驶者可能无法检查在盲区的范围内是否存在障碍物。

因而，为了判定在盲区中是否存在障碍物或物体，可在车辆中布置传感器。不过，必须在车辆上附着独立的传感器，并且由于外部环境的影响和传感器本身的特性，会出现传感器测量错误。

发明内容

本发明提供一种用于提供关于车辆中的盲区的信息的装置和方法，该装置和方法从广角侧面成像装置（例如，照相机、摄像机等）的图像中，检测在盲区的侧面区域和后侧区域中的物体。

此外，本发明提供一种用于提供关于车辆中的盲区的信息的装置和方法，该装置和方法指定侧面区域和后侧区域，其中根据在一个侧面成像装置图像和两个指定区域的视角变换图像中的物体的位置，使形状变化减至最小，从而提高物体检测准确性。此外，本发明提供一种用于提供关于车辆中的盲区的信息的装置和方法，所述方法和装置从侧面区域和后侧区域的图像被视角变换成的视角变换图像中提取特征，以检测盲区中的物体，从而提高物体位置的检测精度，所述侧面区域和后侧区域的图像是从广角侧面成像装置的图像分割出来的。

根据本发明的一个方面，用于提供关于车辆中的盲区的信息的装置可包括：视角变换区域检测器，由控制器执行，并被配置成在从侧面成像装置输入的拍摄图像中，检测预定的侧面区域和后侧区域，其中该侧面成像装置被配置成拍摄包括车辆的盲区在内的图像；和视角变换器，被配置成根据预设的视角变换参数，对侧面区域的图像和后侧区域的图像进行视角变换，并生成与侧面区域和后侧区域的图像相对应的视角变换图像。

视角变换器可包括表格，在该表格中已经预先定义视角变换参数的值，并且可基于在该表格中定义的视角变换参数的值，对侧面区域的图像和后侧区域的图像进行视角变换。

侧面成像装置可以是广角成像装置，视角变换器可把具有广角的拍摄图像进行视角变换从而变成成具有比拍摄角度窄的角度的图像。

视角变换器可包括第一视角变换单元，由控制器执行，并被配置成根据第一视角变换参数，对侧面区域的图像进行视角变换，从而生成第一视角变换图像；和第二视角变换单元，由控制器执行，并被配置成根据第二视角变换参数，对后侧区域的图像进行视角变换，从而生成第二视角变换图像。

该装置还可包括特征提取器，由控制器执行，并被配置成从视角变换图像中提取特征；和检测器，由控制器执行，并被配置成基于从视角变换图像中提取的特征，检测盲区的物体。

检测器可被配置成将从视角变换图像提取的特征与预存储的车辆的特征进行比较，并根据比较结果检测位于盲区中的车辆。特别地，车辆的特征可包括从车辆的正面、侧面、底部和车轮的形状特征以及车辆的运动信息中的至少一个特征。

根据本发明的一个方面，一种用于提供车辆中的盲区的信息的方法可包括：通过控制器，在从侧面成像装置输入的拍摄图像中，检测预定的侧面区域和后侧区域，所述侧面成像装置被配置成拍摄包括车辆的盲区在内的图像；通过控制器，基于预设的视角变换参数，对侧面区域的图像和后侧区域的图像进行视角变换；通过控制器，生成与侧面区域和后侧区域的图像相对应的视角变换图像。

生成视角变换图像的步骤可包括通过控制器，基于在表格中定义的视角变换参数的值，对侧面区域和后侧区域的图像进行视角变换，在所述表格中，已经预先定义视角变换参数的值。

生成视角变换图像的步骤可包括：通过控制器，利用第一视角变换参数，对侧面区域的图像进行第一视角变换，以生成第一视角变换图像；以及通过控制器，利用第二视角变换参数，对后侧区域的图像进行第二视角变换，以生成第二视角变换图像。

该方法还可包括通过控制器，从视角变换图像中提取特征；以及通过控制器，基于从视角变换图像中提取的特征，检测盲区的物体。

检测盲区的物体可包括通过控制器，对从视角变换图像中提取的特征与预先设置的车辆的特征进行比较；以及根据比较结果，检测在盲区中的车辆。特别地，车辆的特征可包括从车辆的正面、侧面、底部和车轮的形状特征中选择的至少一个特征和车辆的运动信息。

根据另一个示例性实施例，控制器可被配置成从广角侧面成像装置的图像中，检测置于盲区中的侧面区域和后侧区域中的物体，从而改善盲区中的物体检测。

特别地，本发明指定侧面区域和后侧区域，其中根据在一个侧面图像和两个指定区域的视角变换图像中的物体的位置，使形状变化减至最小，从而提高物体检测准确性。此外，本发明中的控制器可被配置成从侧面区域和后侧区域的图像被视角变换成的图像中提取特征，以检测盲区中的物体，从而提高物体位置的检测精度，所述侧面区域和后侧区域的图像是从广角侧面成像装置的图像分割出来的。

本发明的系统和方法具有根据包含在此的附图和以下的详细说明而显而易见的，或者在附图和以下的详细说明中更详细记载的其它特征和优点，所述附图和以下的详细说明一起用于解释本发明的一些原理。

附图说明

图1是说明具有根据本发明示例性实施例的用于提供盲区的信息的装置的车辆的操作的示例图；

图2是示出根据本发明示例性实施例的用于提供盲区的信息的装置的结构的示例性方框图；

图3和4是示出根据本发明示例性实施例的用于提供盲区的信息的装置的视角变换操作的示例图；

图5是示出根据本发明示例性实施例的用于提供盲区的信息的装置的特征提取操作的示例图；

图6是示出根据本发明示例性实施例的用于提供盲区的信息的方法的示例流程图。

附图中各元件的附图标记：

11：成像装置

100：盲区中物体的信息提供装置

110：处理器

120：视角转换区域检测器

131：第一视角变换单元

135：第二视角变换单元

140：特征点提取器

150：检测器

160：存储器

具体实施方式

虽然示例性实施例被描述成利用多个单元来执行示例性的处理，不过应该理解的是，示例性的处理显然也可用一个或多个模块来执行。另外，应该理解的是，术语“控制器”指的是包括存储器和处理器的硬件器件。存储器被配置成保存所述各个模块，处理器被专门配置成执行所述模块，以进行后面将进一步说明的一个或多个处理。

此外，本发明的控制逻辑可被实现成计算机可读介质上的非短暂计算机可读媒介，所述计算机可读介质包含由处理器、控制器等执行的可执行程序指令。计算机可读介质的例子包括（但不限于）ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪速驱动器、智能卡和光学数据存储器件。计算机可读记录介质也可分布在网络耦接的计算机系统中，以便通过例如远程信息处理服务器或控制器局域网络(CAN)，分布地保存和执行计算机可读媒介。

这里使用的术语只是用于说明特定的实施例，并不意图限制本发明。这里使用的单数形式意图还包括复数形式，除非上下文明确地另有说明。另外应理解，当使用在本说明书中时，术语“包含”指定记载的特征、整数、步骤、操作、元件和/或组件的存在，不过并不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组合的存在或增加。这里使用的术语“和/或”包括相关的列举项目中的一个或多个项目的任意组合。

下面将详细参考本发明的各个实施例，在附图中示出、且在下面描述了各个实施例的例子。附图中的相同附图标记表示相同的元件。当确定在本发明的实施例的说明中，相关公开中的结构或功能的详细说明妨碍实施例的理解时，将省略该详细说明。

应理解，在下面的详细说明中，为了清楚起见，作为结构元件的后缀，一起分配或使用了“模块”和“单元”，不过它们本身之间不存在任何截然不同的含义或功能。

应该理解，在此使用的术语“车辆”或“车辆的”或者其它类似术语包括通常的机动车辆，比如包括运动型多用途车（SUV）的客车，公共汽车，卡车，各种商用车辆，包括各种小舟和轮船的船只，飞机等，并且包括混合动力汽车，纯电动汽车，插电式混合动力汽车，氢动力汽车和其它替代燃料汽车(例如，从除石油以外的资源得到的燃料)。在此使用的混合动力汽车是具有两种以上动力源的车辆，比如汽油动力和电动汽车。

图1是示出车辆的操作的示例性视图，该车辆具有根据本发明的用于提供关于盲区的信息的装置。参见图1，车辆10可包括布置在车辆侧面的多个成像装置11a和11b（例如，照相机、摄像机等），其中成像装置可被配置成当车辆10行驶时，拍摄侧面图像。另外，布置在车辆10中的成像装置11a和11b可以是应用于环绕监视（AVM）系统的成像装置。成像装置11a和11b可以是广角成像装置。特别地，广角成像装置可以拍摄具有190°的广角的畸变图像（distorted image）。因此，通过车辆10的侧面成像装置11a和11b拍摄的图像可包括在车辆10的侧面区域和后侧区域中的物体的图像，比如其它车辆21和25的图像。

此外，当从车辆10的侧面成像装置11a和11b拍摄侧面图像时，拍摄的侧面图像可被传送给被配置成用于提供关于车辆中的盲区的信息的装置100（例如，具有处理器和存储器的控制器）。

特别地，为了检测在盲区B中的物体，信息提供装置100可被配置成当从侧面成像装置11a和11b输入拍摄的图像时，把输入的拍摄图像分成侧面区域和后侧区域，并从分割区域的图像中检测物体。此外，可以预先设置侧面区域和后侧区域的位置和范围。可在离车辆的位置相当短的距离内设定侧面区域，可在离车辆的位置相当长的距离内设定后侧区域。此外，侧面区域和后侧区域可包括盲区B，并且可相互重叠。

下面参考图2，说明信息提供装置的结构。

图2是示出根据本发明的信息提供装置的结构的示例性方框图。参见图2，信息提供装置100可包括视角变换区域检测器120，视角变换器130，特征提取器140和检测器150，这些器件均由控制器上的处理器执行。

视角变换区域检测器120可被配置成接收来自布置在车辆中的成像装置，即侧面成像装置的拍摄图像，并且可被配置成在接收的拍摄区域中，检测侧面区域和后侧区域。此外，侧面区域和后侧区域可彼此部分重叠，并且侧面区域和后侧区域的位置和尺寸可被设置在其中使图像中基于物体的位置的形状变化减至最小的范围内。此外，可根据用户的模式，可变地设定侧面区域和后侧区域的位置和尺寸。

视角变换器130可被配置成根据预先设置的视角变换参数，对从视角变换区域检测器120检测到的侧面区域和后侧区域的图像进行视角变换。视角变换器130可包括由控制器执行的多个单元。所述多个单元可包括第一视角变换单元131和第二视角变换单元135。第一视角变换单元131可被配置成对侧面区域的图像（下面称为“第一图像”）进行视角变换，第二视角变换单元135可被配置成对后侧区域的图像（下面称为“第二图像”）进行视角变换。

第一视角变换单元131和第二视角变换单元135可包括其中预先定义了视角变换参数的值的相应表格，并且可被配置成根据在相应表格中定义的视角变换参数的值，对侧面区域和后侧区域的图像进行视角变换。

例如，可以将视角变换参数的值定义成使得190°的广角图像被视角变换成60°的窄角图像。因此，第一视角变换单元131可被配置成基于第一预设视角变换参数，对第一图像进行视角变换，从而生成第一视角变换图像，第二视角变换单元135可被配置成基于第二预设视角变换参数，对第二图像进行视角变换，从而生成第二视角变换图像。

第一视角变换单元131和第二视角变换单元135可被配置成将第一视角变换图像和第二视角变换图像分别传送给特征提取器140。由控制器上的处理器执行的特征提取器140可被配置成分析输入的第一和第二视角变换图像，以提取诸如车辆或人等特定物体的特征。

例如，特征提取器140可被配置成从第一视角变换图像中，提取前端、侧面形状、底部、前侧边缘和车轮形状中的至少一个特征。此时，特征提取器140可被配置成通过从第一视角变换图像中提取的特征，相当精确地提取第一视角变换图像中的车辆的高度和全长，以及从用户的车辆到第一视角变换图像中的车辆的垂直距离和水平距离。

此外，特征提取器140可被配置成从第二视角变换图像中，提取选自车辆的正面形状、底部和前边缘中的至少一个特征。特别地，特征提取器140可被配置成通过从第二视角变换图像中提取的特征，相当精确地提取第二视角变换图像中的车辆的高度和全长，以及从用户的车辆到第二视频变换图像中的车辆的垂直距离和水平距离。

特征提取器140可被配置成将从第一视角变换图像中提取的特征，以及从第二视角变换图像中提取的特征，传送给检测器150。由控制器上的处理器执行的检测器150，可被配置成分析从特征提取器140输入的特征，并判定所述特征是否是车辆的特征。当控制器确定检测到的特征基本上类似于车辆的特征时，检测器150可被配置成检测盲区中的车辆，并且高精度地识别所述车辆的位置。

当在盲区中检测到人，而不是车辆时，检测器50可被配置成分析从特征提取器140输入的特征，并可以判定所述特征是否是人的特征。当控制器确定检测到的特征基本上类似于人的特征时，检测器150可检测位于盲区中的人。

尽管图2中未示出，不过当在车辆的侧面区域和后侧区域，尤其是在盲区中检测到诸如车辆之类的物体时，信息提供装置可被配置成根据检测结果，通过蜂鸣器等，输出报警声。此外，信息提供装置可被配置成通过置于车辆中的监视器或者导航屏幕，显示检测到的车辆等的图像。

图3和4是图解说明根据本发明的信息提供装置的视角变换操作的示例性视图。

首先，图3示出关于侧面图像中的后侧区域的视角变换操作。参见图3，当输入如图3(a)中示出的侧面成像装置的图像时，信息提供装置可被配置成根据预设值，检测在侧面成像装置的图像中指定的后侧区域。信息提供装置可被配置成对后侧区域的检测图像进行视角变换，生成如图3(b)中所示的后侧区域的视角变换图像。

特别地，信息提供装置可被配置成把从广角图像，比如图3(a)中示出的190°的广角图像中检测的后侧区域的图像视角变换成窄角图像，比如60°的窄角图像。因此，如图3(b)中示出的后侧区域中的视角变换图像中的物体的形状可变得更清晰，可以从后侧区域的视角变换图像中，检测物体的相当精确的位置。

图4示出侧面成像装置的图像中的侧面区域的示例性视角变换操作。参见图4，当输入如图4(a)中示出的侧面成像装置的图像时，信息提供装置可被配置成根据预设值，检测在侧面成像装置的图像中指定的侧面区域。信息提供装置可被配置成对侧面区域的检测图像进行视角变换，生成如在图4(b)中示出的侧面区域的视角变换图像。特别地，信息提供装置可被配置成将从广角图像，比如在图4(a)中示出的190°的广角图像检测的侧面区域的图像进行视角变换从而变换成窄角图像，比如60°的窄角图像。因此，在如图4(b)中所示的侧面区域中的视角变换图像中的物体的形状可变得更清晰，并且可以从侧面区域的视角变换图像中，检测物体的相当精确的位置。

图5是示出根据本发明的信息提供装置的特征提取操作的示例性视图。特别地，图5(a)示出图3中所示的后侧区域C2，和图4中示出的侧面区域C1，图5(b)和5(c)中示出相应区域C1和C2的图像的视角变换图像。

信息提供装置可被配置成从在图5(b)和5(c)中所示的视角变换图像中，提取位于侧面区域和后侧区域中的物体的特征，并根据提取的特征检测车辆等。

下面将说明根据本发明的具有上述结构的信息提供装置的操作。

图6是示出根据本发明的提供关于车辆中的盲区的信息的方法的示例性流程图。参见图6，当从置于车辆侧面中的成像装置收到侧面成像装置的图像时（S100），装置（例如，控制器）可被配置成检测在侧面成像装置的输入图像中指定的侧面区域和后侧区域（S120）。

控制器可被配置成对在步骤S120中检测到的各个区域进行视角变换（S130）。在步骤S130中进行的视角变换操作的详细操作已参考图3和4进行了说明。

控制器还可被配置成提取在步骤S130中生成的各个视角变换图像的特征，也就是，侧面区域的视角变换图像的特征和后侧区域的视角变换图像的特征（S140）。此外，控制器还可被配置成根据在步骤S140中提取的特征，检测盲区的物体，比如车辆或人（S150）。

特别地，在步骤S150中，车辆的特征可被预先定义，控制器可被配置成比较在步骤140中提取的特征和车辆的预定特征，并且当提取的特征大致类似于预定特征时，检测在盲区中的车辆。

如上所述，信息提供装置可被配置成，利用步骤S100-步骤S150，检测在车辆的侧面区域和后侧区域，特别是在盲区中的物体，并且可以反复执行从步骤S100到步骤S150的处理，直到收到单独的操作结束命令为止。当收到信息提供操作的操作结束命令时（S160），控制器可被配置成结束相关的操作。

上面已经出于举例说明的目的，对本发明的具体示例性实施例进行上述说明。具体示例性实施例的上述说明不是详尽的，也不意图把本发明局限于公开的明确形式，显然鉴于上面的教导，许多修改和变化是可能的。选择和说明示例性实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够实现和利用本发明的各个示例性实施例，以及示例性实施例的各种替换和修改。本发明的范围由附加权利要求及其等同物限定。

Claims (18)

1.一种用于提供车辆中的盲区的信息的装置，所述装置包括：

视角变换区域检测器，被配置成在从侧面成像装置输入的拍摄图像中，检测预定的侧面区域和后侧区域，其中所述成像装置被配置成拍摄包括车辆的盲区在内的图像；以及

视角变换器，被配置成基于预设的视角变换参数，对所述侧面区域的图像和所述后侧区域的图像进行视角变换，并生成与所述侧面区域和所述后侧区域的图像相对应的视角变换图像。

2.如权利要求1所述的装置，其中所述视角变换器包括表格，在所述表格中已预先定义视角变换参数的值，所述视角变换器还被配置成基于在所述表格中定义的视角变换参数的值，对所述侧面区域的图像和所述后侧区域的图像进行视角变换。

3.如权利要求1所述的装置，其中所述侧面成像装置是广角照相机，并且所述视角变换器被配置成对具有广角的拍摄图像进行视角变换从而变换成具有比拍摄角度更窄的角度的图像。

4.如权利要求3所述的装置，其中所述视角变换器包括：

第一视角变换单元，被配置成根据第一视角变换参数，对所述侧面区域的图像进行视角变换，从而生成第一视角变换图像；以及

第二视角变换单元，被配置成根据第二视角变换参数，对所述后侧区域的图像进行视角变换，从而生成第二视角变换图像。

5.如权利要求1所述的装置，还包括：

特征提取器，被配置成从所述视角变换图像中提取特征；和

检测器，被配置成基于从所述视角变换图像中提取的所述特征，检测所述盲区中的物体。

6.如权利要求5所述的装置，其中所述检测器还被配置成：

将从所述视角变换图像中提取的特征与预存储的车辆的特征进行比较；并且

根据比较结果，检测所述盲区中的车辆。

7.如权利要求6所述的装置，其中所述车辆的特征包括选自车辆的正面、侧面、底部和车轮的形状特征以及所述车辆的运动信息中的至少一个特征。

8.一种用于提供车辆中的盲区的信息的方法，所述方法包括：

通过控制器，从在侧面成像装置中拍摄的拍摄图像中，检测预定的侧面区域和后侧区域，所述侧面成像装置被配置成拍摄包括车辆的盲区在内的图像；

通过控制器，基于预设的视角变换参数，对所述侧面区域的图像和所述后侧区域的图像进行视角变换；以及

通过控制器，生成与所述侧面区域和所述后侧区域的图像相对应的视角变换图像。

9.如权利要求8所述的方法，其中所述生成视角变换图像的步骤包括通过控制器，基于在表格中定义的视角变换参数的值，对所述侧面区域和所述后侧区域的图像进行视角变换，其中在所述表格中已预先定义所述视角变换参数的值。

10.如权利要求8所述的方法，其中所述侧面成像装置是广角照相机，所述视角变换包括通过所述控制器对具有广角的拍摄图像进行视角变换从而变换成窄角图像。

11.如权利要求10所述的方法，其中所述生成视角变换图像的步骤包括：

通过控制器，利用第一视角变换参数，对所述侧面区域的图像进行第一视角变换，以生成第一视角变换图像；和

通过控制器，利用第二视角变换参数，对所述后侧区域的图像进行第二视角变换，以生成第二视角变换图像。

12.如权利要求8所述的方法，还包括：

通过控制器，从所述视角变换图像中提取特征；和

通过控制器，基于从所述视角变换图像中提取的所述特征，检测所述盲区中的物体。

13.如权利要求12所述的方法，其中检测盲区中的物体的步骤包括：

通过控制器，对从所述视角变换图像中提取的特征与预设的车辆的特征进行比较；以及

根据比较结果，检测在所述盲区中的车辆。

14.如权利要求13所述的方法，其中所述车辆的特征包括选自车辆的正面、侧面、底部和车轮的形状特征以及所述车辆的运动信息中的至少一个特征。

15.一种包含由处理器或控制器执行的程序指令的非短暂计算机可读介质，所述计算机可读介质包括：

从在侧面成像装置中拍摄的拍摄图像中检测预定的侧面区域和后侧区域的程序指令，其中所述侧面成像装置被配置成拍摄包括车辆的盲区在内的图像；

基于预设的视角变换参数对所述侧面区域的图像和所述后侧区域的图像进行视角变换的程序指令；和

生成与所述侧面区域和所述后侧区域的图像相对应的视角变换图像的程序指令。

16.如权利要求15所述的非短暂计算机可读介质，还包括：

利用第一视角变换参数对所述侧面区域的图像进行第一视角变换以生成第一视角变换图像的程序指令；和

利用第二视角变换参数对所述后侧区域的图像进行第二视角变换以生成第二视角变换图像的程序指令。

17.如权利要求15所述的非短暂计算机可读介质，还包括：

从所述视角变换图像中提取特征的程序指令；和

基于从所述视角变换图像中提取的特征检测所述盲区中的物体的程序指令。

18.如权利要求15所述的非短暂计算机可读介质，还包括：

将从所述视角变换图像中提取的特征与预设的车辆的特征进行比较的程序指令；和

根据比较结果检测在所述盲区中的车辆的程序指令。

Images