CN106575358B - 驾驶员辅助系统 - Google Patents

驾驶员辅助系统 Download PDF

Info

Publication number
CN106575358B
CN106575358B CN201580041654.1A CN201580041654A CN106575358B CN 106575358 B CN106575358 B CN 106575358B CN 201580041654 A CN201580041654 A CN 201580041654A CN 106575358 B CN106575358 B CN 106575358B
Authority
CN
China
Prior art keywords
angular resolution
driver assistance
assistance system
angle
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580041654.1A
Other languages
English (en)
Other versions
CN106575358A (zh
Inventor
D·克勒克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN106575358A publication Critical patent/CN106575358A/zh
Application granted granted Critical
Publication of CN106575358B publication Critical patent/CN106575358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于机动车(4)的驾驶员辅助系统(2)，它包含周围环境摄像机(6)，该周围环境摄像机具有围绕着光轴(16)的水平视场角(18)以及在水平视场角(18)上变化的角分辨率(k)，其中角分辨率(k)在围绕光轴(16)的中心区域(M)基本恒定，过渡区域(UE)中的角分辨率(k)是变化的，角分辨率(k)在水平视场角(18)边缘处的边缘区域(R)中又是基本恒定的，另外驾驶员辅助系统还包含图像处理单元(8)。为了处理周围环境摄像机(6)的图像数据(BD)，图像处理单元用于规定虚拟角分辨率(k`)。驾驶员辅助系统还包含用于分析处理过的图像数据(ABD)的图像分析单元(10)。

Description

驾驶员辅助系统
技术领域
本发明涉及一种用于机动车的驾驶员辅助系统，该系统包括周围环境摄像机和图像分析单元。
背景技术
新一代汽车中的大多数都配备了至少一个驾驶员辅助系统，例如：导航系统或帮助驾驶员控制车辆的所谓“巡航控制系统”。
一些驾驶员辅助系统还具有周围环境摄像机。通过周围环境摄像机生成的图像数据与相应的驾驶员辅助系统相结合，至少部分描绘机动车的周围环境。借助分析处理单元对这些图像数据进行分析，以便例如通过目标识别算法识别潜在的障碍物、其他交通参与者或潜在危险，然后例如通过声学或光学提示信号警告驾驶员对这些目标引起重视。
此外，至少可暂时实现车辆全自动控制的驾驶员辅助系统目前正处在开发过程中。在此类车辆上驾驶员辅助系统至少可暂时完全接管相应车辆的控制。这种驾驶员辅助系统也典型地至少具有一台周围环境摄像机，其中，在分析图像数据时所获得的信息被作为通过驾驶员辅助系统控制车辆以及全自动车辆控制的设计依据。
为了让此类驾驶员辅助系统尽可能可靠运行，需要的是，通过由周围环境摄像机生成的图像数据再现相应车辆周围环境的尽可能所有相关信息并且驾驶员辅助系统的分析单元从这些图像数据中读取重要信息并因此对相关图像数据加以正确诠释。
发明内容
因此本发明的任务在于，提出一种有利地设计的驾驶员辅助系统。
本发明所关注任务通过具有权利要求1所述特征的驾驶员辅助系统、具有权利要求6所述特征的驾驶员辅助系统、具有权利要求7所述特征的驾驶员辅助系统以及具有权利要求8所述特征的驾驶员辅助系统加以解决。在从属权利要求中含有优选的改进方案。
在此，根据本发明的驾驶员辅助系统是为机动车设计的并包含了用于生成至少部分描绘车辆周围环境的图像数据的周围环境摄像机以及根据开头部分所提到的原理对图像数据进行分析的图像分析单元。其中，周围环境摄像机具有由众多像素构成的图像传感器以及光学系统。该光学系统优选设计成不可调节的或刚性的，即特别是不能如例如在照相机或所谓的数码相机中部分可实现的那样改变焦距或水平视场角。但为了能足够清晰地描绘与车辆不同距离的各种目标，这种周围环境摄像机还应设计为，使得在该周围环境摄像机中有一个围绕着光轴的水平视场角，其中，周围环境摄像机的角分辨率在水平视场角上变动。通过这种方式，一方面可相对简单地固定周围环境摄像机，另一方面适应了作为驾驶员辅助系统的一部分在车内使用时的特殊要求。
另外，根据本发明的驾驶员辅助系统应设计为，一方面应借助周围环境摄像机尽可能记录并描绘周围环境中所有相关信息或至少记录或描绘相应车辆正前方的所有相关信息，由此使这些信息包含在由周围环境摄像机生成的图像数据中；另一方面，当在图像分析单元中对图像数据自动分析时计算消耗应尽量低，同时还应确保，图像分析单元在分析图像数据时能可靠地从这些图像数据中读取所有相关信息或在这些图像数据中识别出所有相关信息。通过这种方式确保顺利地分析图像数据并对相关图像数据进行正确诠释。
这一目标通过从中得出各种不同驾驶员辅助系统变型方案的、尤其是根据权利要求1、6、7和8的下述解决方案实现。在此，根据权利要求6、7和8的各解决方案也与权利要求1的特征组合无关地被视为是本身具有发明性的解决方案。因此保留针对这些解决方案提分案的权利。此外，各种不同解决方案也可进行有益的相互组合，因为在其中结合了多种解决方案的驾驶员辅助系统变型方案为优选设计。
根据其中一种解决方案的驾驶员辅助系统被设计为，周围环境摄像机的角分辨率在围绕光轴的中心区域中保持基本恒定，在与中心区域紧邻的过渡区域中是变化的，并在紧邻过渡区域的边缘区域中在视场角的边缘处重新保持基本恒定。此外，驾驶员辅助系统的这种变型方案还包含图像处理单元，该单元的使用目的是处理周围环境摄像机所生成的图像数据，用以规定一个虚拟的角分辨率。在此，图像处理单元以周围环境摄像机生成的图像数据为基础，生成处理过的图像数据，其在后续图像分析单元中进行分析。
也就是说，周围环境摄像机生成的图像数据在其在图像分析单元中根据已知原理进行分析之前首先借助图像处理单元中保存的算法进行调整匹配并因此加以变化。处理时，例如使用消费电子产品专业领域所熟知的缩放算法，其中，例如通过集中多个像素的方式实现分辨率缩减，也就是通过一个新的虚拟像素替代多个像素；例如通过内插法产生额外的虚拟像素，以此方式实现分辨率增加的目的。此时，在图像处理单元中对图像数据进行的处理还减少了因周围环境摄像机角的变化的分辨率导致的图像扭曲。相应的图像扭曲几乎可从借助周围环境摄像机生成的图像数据中排除，以便例如通过图像分析单元简化目标的识别。
由于周围环境摄像机典型地在运行过程中生成一系列的单帧图像，所以有利的是，图像处理单元设计为，在处理过程中根据所保存的模式调整每个单帧图像的角分辨率。如果每个单帧图像使用相同的模式则更有效。但此时，优选的做法不是对整个单帧图像进行简单的放大或缩小，优选的方式是仅处理每个单帧图像内的特定区域，从而仅调整匹配该区域中的分辨率，也就是角分辨率。
在此，优选仅在每个单帧图像的过渡区域中进行角分辨率调整，也就是说这样的区域：在该区域内，在周围环境摄像机生成的单帧图像中水平视场角内的角分辨率根据与光轴的角度而变化。此时例如规定了，过渡区域中的角分辨率降低为边缘区域中的角分辨率，因此处理过的图像数据(即处理过的单帧图像)中的角分辨率或确切地说是虚拟角分辨率在整个中心区域以及整个边缘区域上基本保持恒定。作为替代选择，还可将过渡区域中的角分辨率提高到中心区域中的角分辨率。
根据另一替代选择，将过渡区域虚拟划分为紧邻中心区域的第一过渡分区以及紧邻边缘区域的第二过渡分区，为此在图像处理单元的存储器中保存了一个临界角，该临界角规定了两个过渡分区之间的边界值。更合理的方案是，在图像处理单元中进行处理的过程中，虚拟地提高第一过渡分区中的角分辨率，特别是提高到中心区域中的角分辨率。此外有利的是，在处理过程中虚拟地减小第二过渡分区中的角分辨率，特别是缩小到边缘区域中的角分辨率。
如果现在在中心区域中和边缘区域中分别具有一个数值不同、基本恒定的角分辨率并且中心区域与边缘区域之间的中间区域中的角分辨率逐渐从中心区域的角分辨率数值降低为边缘区域的角分辨率数值，则优选采用的图像数据处理方式是，在处理过的图像数据中，特别是在处理过的单帧图像中，与角度有关的虚拟角分辨率从光轴开始到临界角保持恒定，在临界角上以跳跃性方式或阶跃方式缩小到边缘区域的角分辨率数值，然后从临界角直至水平视场角的边缘重新又保持基本恒定。
因此，在单帧图像中存在具有较大角分辨率的中央区域以及具有较小角分辨率的、包围该中央区域的区域，这两个区域之间有一明显的界限。在过渡区域或过渡区中，角分辨率逐渐从较高的数值降低为较小的数值，正如在周围环境摄像机生成的单帧图像中所表现出来的一样。但在处理过的单帧图像中这种过渡区域或过渡区不再存在。正是这种随角度逐渐变化的角分辨率通常导致了在隶属于过渡区域的角度范围内描绘的目标的图像扭曲。这种扭曲可通过调整角分辨率几乎排除。由此在图像分析单元中可更简便地进行目标识别。
根据第二种解决方案的驾驶员辅助系统也具有周围环境摄像机。该周围环境摄像机有围绕着光轴的水平视场角以及在水平视场角上变化的角分辨率k＝k(α)。其中，角分辨率k又从光轴αOA＝0°开始直至角α1(α1>αOA)基本保持恒定，在角α1和角α2之间随着角α逐渐变大而减小，并从角α2>α1开始直至水平视场角的边缘αR(αR>α2)重新保持基本恒定。但在角α1和α2之间的角分辨率被规定为：角分辨率的减小k(α)<(k1/f)/α1，其中，角度为α1时角分辨率为k1。此外，通过f还规定了α1和α2之间的分辨率应以什么因数减小。其中优选2的整数倍数作为因数，例如：f＝2。
通过限制或规定角分辨率减小的最大值，确保了通过驾驶员辅助系统可在不依赖距离的条件下，实现对位于距车辆规定距离范围内的目标进行识别。此时应考虑，典型情况下目标识别需要一个最低分辨率，由此又得到对角分辨率的最低要求。但随着配备有驾驶员辅助系统的车辆和待识别目标之间的距离变小，在既定的目标识别分辨率要求下，对角分辨率的最低要求会降低，因此周围环境摄像机的与角度有关的角分辨率可随着角度的不断增大而在特定范围内减小，并且不会低于对分辨率的最低要求或最低分辨率。
通过简单的观察可很好地理解这种实际情况。如果以一条笔直的道路为出发点，在道路边缘有一路标，当配备有驾驶员辅助系统的车辆朝路标移动时，则一系列连续的单帧图像形式的路标图像从单帧图像的中心区域逐渐移动到单帧图像的边缘区域并以单帧图像的图片大小为基准逐渐变大。因为为了识别路标，必须在单帧图像中用一定最低数量的像素描绘例如路标的宽度并且路标朝向单帧图像边缘方向移动越远，图像中的路标尺寸越大，所以随着从光轴到单帧图像边缘的角度不断增大，对角分辨率的要求也随之降低。因此可规定，通过固定数量的像素再现周围环境摄像机的单帧图像中例如路标等的特定目标。在此临界情况中，在带有驾驶员辅助系统的车辆与路标之间的距离不断变小的情况下，通过随着变大的角度而变小的角分辨率正好对路标的放大显示加以补偿。由此可评估这种临界情况并且该临界情况要求角分辨率以(k1/f)/α1减小。
此时当然也会涉及到接近的情况。另外，在接近时，容易忽视的是路标的视角会随着与路标的距离而发生变化。另外，简单地假设，周围环境摄像机具有一个关于光轴旋转对称的角分辨率2D分布并且路标几乎沿着一条从光轴开始沿径向向外延伸的直线移动。但通过更精确的计算，也能毫无困难地得出一个更精确的数值或函数关系。
如果现在根据之前描述的边界值条件选择角分辨率的走势，则一方面可实现在特定范围内不依赖于距离进行目标识别，另一方面，可将所需的像素数量保持在较小水平。此时应考虑，随着角分辨率的增加，所需像素的数量也会增加，因此生产费用和相应周围环境摄像机的成本都将增加。如果必须为角分辨率选择一个比实际需求小得多或弱得多的下降，以便满足目标识别的分辨率要求，则还意味着，必须准备比实际需求更多的像素并且相应地必须将更高的生产费用和更高的生产成本考虑在内。如果选择了更大或更强的下降，则同样必须准备比实际需求更多的像素，因为在此情况下，α1必须更大，才能满足整个过渡区域的分辨率要求。
根据第三种解决方案驾驶员辅助系统的周围环境摄像机设计为，周围环境摄像机的与角度有关的角分辨率呈阶梯状走势。这种驾驶员辅助系统也是为机动车设计的，它包含周围环境摄像机，周围环境摄像机具有围绕着光轴的水平视场角以及在水平视场角上变化的角分辨率。光轴附近的中心区域的角分辨率也保持基本恒定以及在视场角边缘处的边缘区域中，角分辨率重新保持基本恒定。但这种实施方案中，边缘区域紧邻中心区域。另外，中心区域的角分辨率与边缘区域的角分辨率不同，在中心区域和边缘区域之间的界限上角分辨率在变化时没有过渡，也就是说从中心区域的数值跳转到边缘区域的第二数值，该第二数值合乎目的地是更小的。根据这种变型方案的基本理念，周围环境摄像机的角分辨率相应地具有两个离散数值，因此可更简单地处理和/或分析周围环境摄像机生成的图像数据。在此最重要的主要是简化数据处理过程。
作为替代选择，对于角分辨率也可为多个区域提供多个离散数值。在此情况下，角分辨率呈现出在离散数值之间的多次跳跃式变换，因此角分辨率的走势呈阶梯形。
在第四种解决方案的情况下驾驶员辅助系统也是为机动车设计的，它包含具有围绕着光轴的水平视场角以及在水平视场角上变化的角分辨率的周围环境摄像机。一方面，角分辨率在围绕光轴的中心区域基本保持恒定，另一方面在视场角边缘处的边缘区域也基本保持恒定。另外，中心区域角分辨率相当于双倍边缘区域角分辨率的整数倍，也就是说在最简单情况下，相当于双倍的边缘区域角分辨率。
这里介绍的驾驶员辅助系统的所有变型方案中全部优选实现中心区域角分辨率和边缘区域角分辨率之间的这种比例，因为由此可大大简化数据处理、特别是图像分析单元中的图像数据处理。
对于之前所述的解决方案以及由此产生的驾驶员辅助系统变型方案，优选实现一种其走势在水平视场角内关于光轴对称的角分辨率。例如可将角分辨率的与角度有关的走势记录到一个笛卡尔坐标系中，由此角分辨率的走势关于坐标轴呈轴对称，角分辨率数值也如此。
此外，角分辨率、确切地说是角分辨率的二维分布，优选关于光轴旋转对称，因此通过一圆形区域形成中心区域并通过一环形区域形成边缘区域。
此外，所有上述驾驶员辅助系统的周围环境摄像机优选具有光学系统以及由大量像素构成的图像传感器。图像传感器的像素优选被设计成统一的，也就是说具有统一的大小。此外，图像传感器的像素在图像传感器的整个传感器表面上均匀分布。与此相应，优选通过光学系统实现不统一的角分辨率。例如光学系统可为对称圆柱或椭圆形结构，或优选关于光轴旋转对称。
附图说明
下面根据概要示意图详细解释本发明的实施案例。其中：
图1在一种方块图中显示带有包括周围环境摄像机的驾驶员辅助系统的机动车，
图2示出周围环境摄像机的二维角分辨率的图，
图3示出周围环境摄像机半水平视场角内的角分辨率走势图，
图4示出周围环境摄像机半水平视场角内的角分辨率的有利走势的规定的边界条件的几何图示。
所有图中，相应零部件均采用相同的附图标记。
具体实施方式
以下在图1中以草图形式绘出的、举例展示的驾驶员辅助系统2被安装在机动车4中，并包含一个周围环境摄像机6、一个图像处理单元8以及一个图像分析单元10。周围环境摄像机6在此用以生成图像数据BD。这些数据可描绘机动车4的周围环境、确切地说是机动车4正前方的情况。然后通过一条信号导线将这些图像数据BD传输给图像处理单元8并在图像处理单元8中进行处理。图像处理单元8又输出处理过的图像数据ABD，其通过信号导线继续传输给图像分析单元10并在那里根据已知原理进行分析。
在分析过程中，通过目标识别算法识别例如障碍物或其他交通参与者等目标，另外还求出带有驾驶员辅助系统2的机动车4和识别到的目标之间的距离。根据驾驶员辅助系统2各种变型方案的结构形式，图像数据ABD分析时获得的信息最终用于，通过例如用光信号和/或声信号提示机动车4的驾驶员对障碍物或其他交通参与者引起重视，由此支持驾驶员进行车辆控制，或以所述信息为基础通过驾驶员辅助系统2实现车辆的全自动控制。
为了生成图像数据BD，该实施案例中所示的周围环境摄像机6包含一个光学系统12以及一个由众多像素构成的图像传感器14。在此，像素具有统一的结构设计以及统一的大小尺寸并在图像传感器14的整个传感器表面上均匀分布。
此外，光学系统12的结构设计应确保，通过光学系统为周围环境摄像机6实现不统一的角分辨率k＝k(α)。为此，周围环境摄像机6具有一个围绕光轴16对称的水平视场角18，其中角分辨率k根据角度α在水平视场角18上变化。角分辨率k的走势在此是这样的：角分辨率k在围绕光轴16的中心区域M中保持恒定，在紧邻中心区域M的过渡区域UE中是变化的，而在紧邻过渡区域UE的、在水平视场角18的边缘上的边缘区域R中，重新保持恒定。
在水平视场角18(具有边界–αR以及+αR)内，与角度有关的角分辨率k走势关于在αOA＝0°处的光轴16对称，因此k(-α)＝k(α)。角度α此时从–αR延伸至+αR，其中+/-αR＝+/-25°。据此，水平视场角18为2αR＝50°。
此外，通过光学系统12决定的二维角分辨率k2D＝k2D(α,β)或角分辨率的2D分布k2D关于光轴16旋转对称，因此，如图2所示，通过一个圆形区域形成中心区域M，并分别通过一个环形区域形成过渡区域UE以及边缘区域R。
在图2中还显示了图像传感器14。在周围环境摄像机6的运行中借助该图像传感器生成一系列连续的单帧图像。如前所述，虽然该图像传感器14在整个传感器表面具有统一的分辨率，但基于光学系统12的结构设计，根据相应的像素分配给光学系统12的哪个区域，在图像传感器14的各像素上投射或描绘出不同大小的立体角。因此在每个单帧图像中，如果采用1:1再现，即例如通过与图像传感器14具有相同数量的像素以及像素具有相同结构且均匀分布的显示屏，则给出周围环境的扭曲图像。此时在每个单帧图像的中心区域M中，比其他区域更多数量的像素描绘了一个立体角单元，因此，图像数据BD再现了由光学系统12规定的、角分辨率K的分布。
由此实现的角分辨率k的走势在图3的图表中再现了水平视场角18的一半。其中，α从0°、也就是光轴16开始延伸至25°，此处相当于水平视场角的右侧边缘+αR。基于角分辨率k的对称走势，通过在笛卡尔坐标系的轴k(α)上的镜像，得出水平视场角18另一半中角分辨率k的走势。
图表中的实线展示了与角度α有关的角分辨率k的走势，该走势凭借光学系统12的特殊结构设计为周围环境摄像机6实现并在周围环境摄像机6所生成的图像数据BD中再现。如前所述，在图像处理单元8中处理周围环境摄像机6生成的图像数据BD并转换为处理过的图像数据ABD。由于这种处理，还对角分辨率k(α)进行了调整，因此处理过的图像数据ABD再现了在图3中通过虚线表示的角分辨率k`＝k`(α)。由于在数据处理过程中进行了调整，角分辨率k`也被称为虚拟角分辨率k`。
在此，逐幅单帧图像地进行处理，其中只调整描绘过渡区域UE的各幅单帧图像的图像数据BD。为此在图像处理单元8中储存了一个临界角αG＝12.5°。该临界角将位于α1＝8.5°和α2＝16.5°之间的过渡区域UE分为两个过渡分区。在图像数据BD处理过程中，在α1和αG之间的第一过渡分区中将角分辨率k虚拟提高，为此通过内插法产生额外的虚拟像素。另外，在αG和α2之间的第二过渡分区中，对角分辨率k进行减小或降低，其方法是：将多个像素汇总为一个新的虚拟像素。
因此，处理过的图像数据ABD描述了如下角分辨率k`，其中对于α∈[αOA；αG]，k`(α)＝40像素/°，以及对于α∈[αG；αR]，k`(α)＝20像素/°。因此对于角分辨率k`(α)仅给出两个离散数值。在临界角αG处，在这两个数值之间进行跳跃式过渡。因此在图像数据BD的处理过程中，对角分辨率k的走势进行校正。水平视场角18另一半中的角分辨率k的走势也进行类似调整，因此α∈[αOA；-αG]时，k`(α)＝40像素/°，以及α∈[-αG；-αR]时，k`(α)＝20像素/°。另外，与之相关的原理也转用到二维角分辨率k2D＝k2D(α,β)。
经过这样处理的图像数据ABD然后被发送给图像分析单元10，由于特别是数据处理方面的处理，对处理过的图像数据ABD进行分析更为简单。在选择虚拟角分辨率k`(α)的两个离散数值时，如果将其比例设置为2:1，同样更有利于数据的处理。
在以下的另一实施案例中，周围环境摄像机6的光学系统12的结构设计为：在角度直至α1＝10°时，角分辨率k(α)恒定为50像素/°，然后直至α2＝20°时，角分辨率k(α)以(2.5像素/°)/°减小，最后，从角度α2开始，直至水平视场角的边缘αR，角分辨率k(α)恒定为25像素/°。为了方便，仅对水平视场角18的一维情况和仅对水平视场角的18的一半进行观察。
通过这种方式，在周围环境摄像机6的单帧图像中，通过固定数量的像素再现机动车4前方规定距离范围内的特定目标，在此是路标20，在此特殊情况中，在配备有驾驶员辅助系统2的机动车4与路标20的距离在该距离范围内逐渐变小的情况下，通过随着不断变大的角α而不断变小的角分辨率k，直接对路标20的放大显示进行补偿。
此时假设直的道路走势并且路标20固定在路边，因此如草图4所示，路标距离机动车4的侧向距离为a。此外可简单地假设，周围环境摄像机6具有一个关于光轴16旋转对称的角分辨率的2D分布k2D并且单帧图像中的路标20几乎沿着一条从光轴16开始沿径向朝外伸延的直线移动。
现在应通过驾驶员辅助系统2识别直至距离c的路标20，为此例如需要的分辨率为k(α1＝10°)＝k1＝50像素/°。在距离d＝c/2上，为了识别路标20，只还需要一半的分辨率k2(α2＝20°)＝k2＝k1/2＝25像素/°。
在此忽略了一点，即当角度α较大时，路标20因为视差的缘故看起来变小了，这是因为路标20的视角几乎随着与路标20的距离而发生变化。该误差与(cosα1-cosα2)成比例并且至少目前的观察表明，当角度α很小时，可忽略该误差(例如：在10°和20°之间，cosα的值改变了4.5％)。在更精确地估算时，分辨率k必须重新增大这个值，才能保证今后足够的分辨率k。
于是，角度α1和α2之间分辨率k的变化应为：
(k1/2)/(α1-α2)
或：
Figure BDA0001219924710000111
当a/c＝sinα1时，可得出：
Figure BDA0001219924710000112
或：
Figure BDA0001219924710000113
对于小角度α1来说，arcsin(2sinα1)约等于2α1，因此对于分辨率的下降得出：
Figure BDA0001219924710000114
亦即，如果要在张角α1＝10°的条件下识别路标20以及为此需要的角分辨率为k1(α1)＝50像素/°，则在设计光学系统12时，使得对于较大的角度α>α1角分辨率k以(25像素/°)/10°＝(2.5像素/°)/°减小。
本发明并不局限于上述实施案例。本领域技术人员在无需背离本发明的主旨内容的情况下，便可从本发明中衍生出众多的变型方案。此外，结合实施案例所描述的所有单一特征还可通过其他方式彼此组合而不背离本发明的主旨内容。
附图标记列表：
2 驾驶员辅助系统
4 机动车
6 周围环境摄像机
8 图像处理单元
10 图像分析单元
12 光学系统
14 图像传感器
16 光轴
18 水平视场角
20 路标
BD 由周围环境摄像机生成的图像数据
ABD 处理过的图像数据
M 中心区域
UE 过渡区域
R 边缘区域
k 角分辨率k(α)
k` 虚拟角分辨率k`(α)
k2D 角分辨率的2D分布k2D(α、β)
α 角度
αG 临界角
αR 水平视场角的边缘

Claims (10)

1.用于机动车(4)的驾驶员辅助系统(2)，包含周围环境摄像机(6)，该周围环境摄像机具有围绕着光轴(16)的水平视场角(18)以及在水平视场角(18)上变化的角分辨率(k)，
-其中，角分辨率(k)在围绕光轴(16)的中心区域(M)中基本恒定，
-其中，角分辨率(k)在过渡区域(UE)中是变化的，以及
-其中，角分辨率(k)在水平视场角(18)边缘处的边缘区域(R)中又是基本恒定的，另外驾驶员辅助系统还包含图像处理单元(8)，为了处理周围环境摄像机(6)的图像数据(BD)，图像处理单元用于规定虚拟角分辨率(k`)，驾驶员辅助系统还包含用于分析处理过的图像数据(ABD)的图像分析单元(10)，
其中，在图像处理单元(8)的存储器中储存了临界角(αG)，该临界角将过渡区域(UE)虚拟地划分为紧邻中心区域(M)的第一过渡分区以及紧邻边缘区域(R)的第二过渡分区，在图像处理单元(8)中进行处理时，第一过渡分区中的角分辨率(k)虚拟提高，而第二过渡分区中的角分辨率(k)虚拟减小。
2.根据权利要求1所述的驾驶员辅助系统(2)，
其中，周围环境摄像机(6)在工作时生成一系列的单帧图像，图像处理单元(8)被设计为，根据所储存的模式调整每个单帧图像的角分辨率(k)。
3.根据权利要求2所述的驾驶员辅助系统(2)，
其中，仅每个单帧图像的过渡区域(UE)的角分辨率(k)根据所储存的模式进行调整。
4.根据权利要求1至3中任一项所述的驾驶员辅助系统(2)，
其中，在图像处理单元(8)中进行处理时，第一过渡分区中的角分辨率(k)虚拟提高到中心区域(M)的角分辨率(k)。
5.根据权利要求4所述的驾驶员辅助系统(2),
其中，在图像处理单元(8)中进行处理时，第二过渡分区中的角分辨率(k)虚拟减小到边缘区域(R)的角分辨率(k)。
6.根据权利要求1至3中任一项所述的驾驶员辅助系统(2)，
-其中，角分辨率k从光轴αOA开始直至角度α1>αOA，保持基本恒定，
-其中，角分辨率k从角度α2>α1开始直至水平视场角的边缘αR>α2，又是基本恒定的，
-其中，角分辨率k在α1和α2之间随着角度α的逐渐变大而减小，并且
-角分辨率k＝k(α)的减小小于(k1/2)/α1，其中，k1为在角度为α1时给定的角分辨率。
7.根据权利要求1至3中任一项所述的驾驶员辅助系统(2)，其中，中心区域(M)中的角分辨率(k)相当于边缘区域(R)中角分辨率(k)的双数整数倍。
8.根据权利要求7所述的驾驶员辅助系统(2)，
其中，水平视场角(18)在光轴(16)附近对称，角分辨率(k)的与角度有关的走势在水平视场角(18)内关于光轴(16)对称。
9.根据权利要求8所述的驾驶员辅助系统(2)，
其中，角分辨率的二维分布(k2D＝k2D(α,β))关于光轴(16)旋转对称。
10.根据权利要求1至3中任一项所述的驾驶员辅助系统(2)，其中，周围环境摄像机(6)具有光学系统(12)以及由大量像素构成的图像传感器(14)，像素具有统一的设计并且均匀分布，通过光学系统(12)设置了不统一的角分辨率(k)。
CN201580041654.1A 2014-08-05 2015-06-24 驾驶员辅助系统 Active CN106575358B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014215372.7 2014-08-05
DE102014215372.7A DE102014215372A1 (de) 2014-08-05 2014-08-05 Fahrerassistenzsystem
PCT/DE2015/200389 WO2016019956A1 (de) 2014-08-05 2015-06-24 Fahrerassistenzsystem

Publications (2)

Publication Number Publication Date
CN106575358A CN106575358A (zh) 2017-04-19
CN106575358B true CN106575358B (zh) 2020-08-04

Family

ID=53879282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041654.1A Active CN106575358B (zh) 2014-08-05 2015-06-24 驾驶员辅助系统

Country Status (7)

Country Link
US (1) US20170132479A1 (zh)
EP (1) EP3178036B1 (zh)
JP (1) JP6660893B2 (zh)
KR (1) KR102469650B1 (zh)
CN (1) CN106575358B (zh)
DE (2) DE102014215372A1 (zh)
WO (1) WO2016019956A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015215561A1 (de) 2015-08-14 2017-02-16 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung zur Objekterkennung mit einer solchen Fahrzeugkameravorrichtung
DE102016212730A1 (de) 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung mit Bildauswertungselektronik
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
JP6349558B1 (ja) * 2017-05-12 2018-07-04 パナソニックＩｐマネジメント株式会社 撮像システム及び表示システム
DE102017217056B4 (de) 2017-09-26 2023-10-12 Audi Ag Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE102017130566B4 (de) * 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
JP7266165B2 (ja) * 2017-12-19 2023-04-28 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、および表示システム
KR102343298B1 (ko) * 2018-07-02 2021-12-24 현대모비스 주식회사 차량의 객체 인식 장치 및 이를 포함하는 원격 주차 시스템
DE102018218745B4 (de) * 2018-11-01 2021-06-17 Elektrobit Automotive Gmbh Kameravorrichtung, Fahrerassistenzsystem und Fahrzeug
FR3090169B1 (fr) * 2018-12-14 2021-05-28 Psa Automobiles Sa Procédé d’affichage d’une image pour système d’aide à la conduite d’un véhicule automobile et système mettant en œuvre ce procédé
US11586914B2 (en) * 2019-01-11 2023-02-21 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for evaluating perception systems for autonomous vehicles using quality temporal logic

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103459984A (zh) * 2011-03-04 2013-12-18 欧玛瑞斯特有限责任及两合公司 用于检测旋转被测对象的绝对旋转角度的测量设备
CN103568935A (zh) * 2012-08-10 2014-02-12 奥迪股份公司 具有驾驶员辅助系统的机动车和用于运行驾驶员辅助系统的方法
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP2004288100A (ja) * 2003-03-25 2004-10-14 Minolta Co Ltd 撮像装置及び移動体カメラ
DE102004009159A1 (de) * 2004-02-25 2005-09-15 Wehmeyer, Klaus, Dr. Gleitsicht-Brillenglas
FR2884338B1 (fr) * 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
DE102006016673A1 (de) * 2006-04-08 2007-10-11 Bayerische Motoren Werke Ag Fahrzeugsichtsystem
JP5163936B2 (ja) * 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP5045590B2 (ja) * 2008-07-23 2012-10-10 三菱電機株式会社 表示装置
US8442306B2 (en) * 2010-08-13 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Volume-based coverage analysis for sensor placement in 3D environments
KR20130028519A (ko) * 2011-09-09 2013-03-19 한밭대학교 산학협력단 다중 곡면 렌즈가 장착된 차량용 카메라 장치
WO2013126715A2 (en) * 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103459984A (zh) * 2011-03-04 2013-12-18 欧玛瑞斯特有限责任及两合公司 用于检测旋转被测对象的绝对旋转角度的测量设备
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN103568935A (zh) * 2012-08-10 2014-02-12 奥迪股份公司 具有驾驶员辅助系统的机动车和用于运行驾驶员辅助系统的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Panomorph Based Panoramic Vision Sensors";Simon Thibault;《Vision Sensors and Edge Detection》;20100831;论文第3-4节 *

Also Published As

Publication number Publication date
KR102469650B1 (ko) 2022-11-21
US20170132479A1 (en) 2017-05-11
DE102014215372A1 (de) 2016-02-11
EP3178036A1 (de) 2017-06-14
KR20170039649A (ko) 2017-04-11
DE112015003622A5 (de) 2017-06-22
JP2017524178A (ja) 2017-08-24
JP6660893B2 (ja) 2020-03-11
WO2016019956A1 (de) 2016-02-11
CN106575358A (zh) 2017-04-19
EP3178036B1 (de) 2019-03-06

Similar Documents

Publication Publication Date Title
CN106575358B (zh) 驾驶员辅助系统
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
JP5163936B2 (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
US20190281235A1 (en) Camera Device and Method for Capturing a Surrounding Region of a Vehicle in a Situation-Adapted Manner
US20030169902A1 (en) Vehicular image processing apparatus and related method
CN107852483B (zh) 向驾驶员提示辅助图像的装置及其方法
JP2005310140A (ja) オブジェクトの認識及び／又は追跡方法
US20190026923A1 (en) Image recognition system
JPWO2019202628A1 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP6081247B2 (ja) 車両後方画像の表示切替装置および表示切替方法
US20150296202A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JP2018169888A (ja) 道路パラメータ推定装置
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
US20200118280A1 (en) Image Processing Device
JP2023184572A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JP6412934B2 (ja) 物体検出装置、物体検出装置を設置した車両およびプログラム
JP6835004B2 (ja) 画像生成装置
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2020140497A (ja) 演算装置、視差算出方法
US20230097950A1 (en) Determining a current focus area of a camera image on the basis of the position of the vehicle camera on the vehicle and on the basis of a current motion parameter
WO2020075476A1 (ja) 車載システム
JP4179142B2 (ja) 車両用画像処理装置
JP4598011B2 (ja) 車両用表示装置
JP2016063352A (ja) 車載用表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240412

Address after: Ingolstadt, Germany

Patentee after: Continental Zhixing Germany Co.,Ltd.

Country or region after: Germany

Address before: Nuremberg, Germany

Patentee before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany