CN110050278A - 用于以适应情形的方法检测车辆周围环境区域的摄像装置及方法 - Google Patents

用于以适应情形的方法检测车辆周围环境区域的摄像装置及方法 Download PDF

Info

Publication number
CN110050278A
CN110050278A CN201780075400.0A CN201780075400A CN110050278A CN 110050278 A CN110050278 A CN 110050278A CN 201780075400 A CN201780075400 A CN 201780075400A CN 110050278 A CN110050278 A CN 110050278A
Authority
CN
China
Prior art keywords
image
opto
electronic device
subregion
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780075400.0A
Other languages
English (en)
Inventor
K·布罗伊尔
D·克勒克尔
R·蒂尔
M·普菲泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN110050278A publication Critical patent/CN110050278A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于检测自身所在车辆周围环境区域的摄像装置。摄像装置包括光电子器件以及图像采集控制单元，它们设置用于拍摄周围环境区域的图像序列。光电子器件包括广角镜头和高分辨率图像拍摄传感器。光电子器件和图像采集控制单元设计或配置用于，‑对于图像序列的图像，相应生成光电子器件整个检测区域的借助像素合并降低了分辨率的图像(6)或以最高分辨率检测光电子器件检测区域的子区域(1；2；3；4；5)；‑根据当前交通情形和/或周围环境情形(当前情形)生成具有降低的图像拍摄传感器分辨率(例如1/4的像素)的经像素合并的图像(6)或采集未经像素合并的子区域(1；2；3；4；5)的图像，‑其中，根据当前情形确定子区域(1；2；3；4；5)的高度和宽度，以及‑其中，这样确定子区域(1；2；3；4；5)的大小，使子区域(1；2；3；4；5)图像的像素数量不大于降低了分辨率的光电子器件整个检测区域图像(6)的像素数量。

Description

用于以适应情形的方法检测车辆周围环境区域的摄像装置及 方法
技术领域
本发明涉及一种用于以适应情形/与情形相适配的方法检测一车辆周围环境区域的摄像装置及方法。此外，本发明涉及带有这类摄像装置的车辆。
背景技术
为了实现例如交通标志识别或车道保持辅助等驾驶员辅助装置，摄像系统需要一约50度的水平视场角和一约30度的垂直视场角。然而，诸如停车在最前排时对横穿行驶的识别或交通指示灯识别等新功能需要一明显更大的视场角，以便能对在驶近时处于图像周边区域中的目标加以检测。与此相对，例如高度自动化驾驶或一车道保持辅助要求即使在较远距离也能对目标和车道结构加以识别，为此需要相应的分辨率。
在这方面，已知例如带有至少两个光电子器件的摄像系统，这些光电子器件至少在视场角和/或角分辨率方面是有区别的，以此满足对具有较大覆盖范围的中央区域的检测以及对一横穿行驶识别功能的广角区域的检测的相互矛盾的要求。由此，例如专利申请公开文献DE102004061998A1描述了一种用于一具有至少一个第一摄像机和至少一个第二摄像机的机动车辆的装置，其中，第一摄像机和第二摄像机至少在一摄像机特性上是有区别的。
这类摄像系统的缺点是例如需处理的数据量以及由于多个光电子器件所造成的高昂成本费用，这类光电子器件是指一摄像系统中最昂贵的组件。
发明内容
如下所述，解决方案的一个出发点是用于检测一自身所在车辆周围环境区域的摄像装置。
周围环境区域例如是指一位于自身所在车辆行进方向前方、侧面和/或后面的周围环境区域。
摄像装置有一光电子器件，它设置用于拍摄周围环境区域的一图像序列。该图像序列优选包括至少两个、尤其是至少五个、特殊情况下至少20个依次拍摄的图像。
所述光电子器件包括一广角镜头。广角镜头优选带一相对于光轴例如至少+/-50度、尤其是至少+/-70度和/或最高+/-80度的水平和/或垂直视场角。借助该广角镜头能对例如一交叉路口区域等周边环境进行检测，以提前对横穿的交通参与者进行目标分析评估。视场角确定摄像装置的视野(视场，简称FoV)。
光电子器件还包括一高分辨率图像拍摄传感器。借助高分辨率图像拍摄传感器尤其能实现目标分析评估、例如远距离区域中交通标志或车道的分析评估，由此尤其能在距自身所在车辆至少50米的距离范围中进行目标分析评估。高分辨率图像拍摄传感器尤其是指像素数量为几兆像素、例如至少五兆像素、优选至少七兆像素、特殊情况下至少十兆像素的一图像拍摄传感器。图像拍摄传感器优选具有一均匀的每厘米的像素分辨率。
高分辨率图像拍摄传感器被归类为不适合汽车技术领域内的使用，尤其是不适合与一广角镜头结合使用，因为这类传感器不允许针对复杂的图像处理算法有效进行大量像素的处理。
在此背景下，光电子器件(尤其是图像拍摄传感器)或光电子器件的图像处理装置设置用于，将周围环境区域的一图像序列以使高分辨率图像和降低了分辨率的图像周期性变换/轮换的方式输出到例如摄像装置的图像分析装置上。由此，尤其是图像序列的图像以一确定的规律性交替地以高分辨率和降低的分辨率输出。例如，光电子器件设置用于，图像序列中至少每隔九帧图像、尤其是至少每隔四帧图像、特别优选每隔一帧图像便以降低的分辨率输出。尤其是，在图像序列中不会随意选择一要降低分辨率的图像。
高分辨率图像尤其具有一比分辨率降低了的图像更高的分辨率。高分辨率图像优选是指至少局部具有在水平和/或垂直视场角中每度至少40个像素、特殊情况下每度至少50个像素的分辨率。例如，高分辨率图像以由光电子器件提供的最高分辨率输出。
分辨率降低了的图像尤其是指一在整个图像区域中分辨率被降低的图像。例如，分辨率降低了的图像至少局部有一在水平和/或垂直视场角中每度最高30个像素、特殊情况下每度最高20个像素的分辨率。降低分辨率输出的图像优选具有至少大致相同的像素数量和/或统一的、尤其是被均匀分布的像素大小的分布。
迄今为止，为实现切实可行的图像处理工作量，车载摄像机要么分辨率太低，以致于无法或不足以进行远距离区域中的分析评估，要么由于可能过高的计算工作量而仅具有很小的检测范围，这可能导致至少是相关/重要目标对象的延迟分析评估。与这类车载摄像机相比，周期性变换方式的一显著优点是，图像分析评估的计算工作量平均而言几乎不变或仅略有提高。
因此，尽管是高分辨率的图像拍摄传感器和广角镜头，但可实现一种能以周期性交替的高分辨率图像和降低了分辨率的图像实现目标对象分析评估的计算工作量。籍此，为运行驾驶员辅助装置要求有尽可能大的检测区域，而同时，以切实可行的图像处理工作量进行远距离区域中目标对象的分析评估又需要达到足够的分辨率，这对相互矛盾的目标要求只需用一套摄像装置就能满足。
此外，与带两个或甚至三个光电子器件的摄像装置相比，所述摄像装置在紧凑的结构尺寸方面，以及在明显节约成本费用方面都具有显著的优势。
光电子器件的图像拍摄传感器优选设置用于，以高分辨率图像和降低了分辨率的图像周期性变换的方式拍摄图像序列。因为由此图像序列已是以使高分辨率图像和降低了分辨率的图像周期性变换的方式拍摄的，所以例如光电子器件、尤其是图像拍摄传感器设置用于，将所拍摄的图像序列至少以分辨率不变、作为选项补充地以视野不变的形式输出。
在一替代选择的示例性实施方式中，图像拍摄传感器设置用于，拍摄尤其是仅包括高分辨率图像的图像序列。此外，摄像装置的图像处理装置、尤其是光电子器件优选设置用于，根据周期性变换从高分辨率拍摄图像生成降低了分辨率的图像，并作为具有周期性变换的高分辨率图像和降低了分辨率的图像的图像序列发送到例如光电子器件上，或例如直接输出到一图像分析装置上。由此，在该实施例中，优选为图像拍摄进行后续的降低分辨率处理。例如，图像拍摄传感器与图像处理装置相连接，用于传输所拍摄的图像序列。优选地，由图像处理装置输出的降低了分辨率的图像与相应所拍摄的图像相比至少局部分辨率降低。
在一优选实施方式中，图像拍摄传感器或图像处理装置设置用于，借助相邻像素合并技术以降低分辨率的方式生成要拍摄或所拍摄的、分辨率要降低的图像。在像素合并技术中，尤其会对例如一行和/或一列内的相邻像素或在所拍摄图像的一例如矩形的子区域中的相邻像素进行合并并分配给一新的像素。由此，所生成的降低了分辨率的图像的像素矩阵与相应的所拍摄图像相比尤其具有更低的分辨率。
作为替代选择或补充选项，图像拍摄传感器或图像处理装置设置用于，借助跳跃式像素筛选技术以降低分辨率的方式生成要拍摄或所拍摄的、分辨率要降低的图像。在跳像素筛选技术中，尤其在原图像中以一设定的顺序跳过像素，因此，优选仅为结果图像接收一部分数量的像素。以此方式，尤其实现了结果图像的较低的分辨率，并由此减少了数据量。
尤其是，每个处理周期分别进行对至少一个或正好一个高分辨率图像和降低了分辨率的图像的输出以及对在该处理周期中输出的图像的目标分析评估。不应超过处理周期的在时间上确定的时间间隔，以确保与识别目标对象相关联的驾驶员辅助功能的提前的可靠实施。
在此背景下，在一第一种变型形式中，高分辨率输出的图像和降低分辨率输出的图像具有至少几乎相同的像素数量。至少几乎相同的像素数量尤其是指一最大0.5兆像素的偏差。因此，尤其是所输出图像序列的每幅图像例如具有两兆像素的像素数量。由此，例如每个处理周期输出具有相同像素数量的一高分辨率图像和一降低了分辨率的图像。
与之相反，如果根据一第二优选实施方式，每个处理周期输出至少三幅图像，尤其是至少两幅高分辨率图像和一幅降低了分辨率的图像时，则所述至少两幅高分辨率输出图像优选共有与降低分辨率输出图像至少几乎相同的像素数量。以此方式，确保每个处理周期图像分析装置具有一保持不变的工作负荷，这样，尤其阻止了意外的尖峰工作负荷以及一与此相关联的对图像分析评估的延迟。
高分辨率输出图像尤其有一比降低分辨率输出图像更小的图像大小。由此，高分辨率图像和降低分辨率图像无需较高的工作功率就可有相同的像素数量。以此方式，能以保持不变的计算工作量输出带一较大检测区域的降低分辨率图像和带一较小检测区域的高分辨率图像。因此，在一周期性变换中，能以保持不变的图像处理工作量进行一广泛的以及一详尽的目标分析评估。
周边图像部段中的相关目标对象在城市环境中须尤其在低车速下分析评估，而在城外公路上尤其在中央图像部段的远距离区域中须在高车速下分析评估。在此背景下，摄像装置、尤其是图像拍摄传感器或图像处理装置优选设置用于，在图像拍摄传感器整个可供使用的拍摄面区域内分别设定各高分辨率输出图像的图像大小和/或位置，其中，所述设定根据当前确定的车速和/或自身所在车辆的当前确定的转向角度来进行。车速和/或转向角度可推断出，自身所在车辆当前处于哪类道路上，例如处于一城内道路或处于高速公路上。以此方式，能确保以所要求的分辨率分析评估相关目标对象。
作为替代选择或补充选项，摄像装置、尤其是图像拍摄传感器或图像处理装置优选设置用于，根据一所确定的、自身所在车辆当前所处位置前方的交通区域和/或道路类别，设定各高分辨率输出图像的图像大小和/或位置。通过确定前方交通区域，可检测包括特征目标对象的相关交通区域，例如一带有横穿的交通参与者的交叉路口区域。关于道路类别，例如可区分为高速公路、联邦公路和/或一城内道路。通过确定前方交通区域和/或道路类别，至少高分辨率图像的图像大小和/或位置可根据当前车辆周围环境来调整并由此例如为要分析评估的目标对象以一感兴趣区域(ROI)的形式来个性化地选择。
自身所在车辆例如具有一定位装置如全球定位系统(GPS)传感器，该定位装置设置用于确定当前位置，并由此确定其中可整合或已整合有摄像装置的自身所在车辆的当前所在地点。此外，自身所在车辆例如包括一用于调用电子地图材料的车载导航数据服务器。自身所在车辆的一分析单元优选设置用于，借助所确定的自身所在车辆位置以及借助电子地图材料的信息数据对从自身车辆当前位置出发位于前方的交通区域和/或道路类别进行分析评估，并将所分析的交通区域和/或道路类别传输给摄像装置。
远距离区域中能进行的目标分析评估越广泛，驾驶员辅助装置的驾驶员辅助功能就越可靠并越具前瞻性。在此背景下，一种特别优选的实施方式规定，所拍摄图像分别在中央图像部段中至少局部具有一比周边图像部段更高的、尤其是至少为其双倍的分辨率。例如中央图像部段有一个最高+/-25度的水平和/或垂直视场角，和/或与中央图像部段相邻接的周边图像部段有一个最小+/-50度的水平和/或垂直视场角。特别优选的是，随着水平和/或垂直视场角的值的增大，分辨率至少逐步减小。以此方式，在中央图像部段中既可以分析评估近距离区域中、例如1米与50米之间的距离范围内的目标对象，又可以分析评估远距离区域中、例如50米到500米的距离范围中的目标对象。由于必须对周边图像部段中、特别是近距离区域中的目标对象、例如交叉路口区域中横穿的骑自行车者进行分析评估，可为目标分析评估实现例如通过变形的广角镜头决定的较低分辨率。
为在中央图像部段中至少局部达到较高的分辨率，从设计结构上优选，广角镜头构造有一非均匀的、尤其是一非线性的畸变，特别是构造成一变形的广角镜头。尤其可借助不均匀的畸变，根据图像拍摄传感器的分辨率实现每度高达50个像素的分辨率。以此方式，尤其可在无需附加的长焦距镜头的条件下实现在远距离区域中分析评估目标所要求的分辨率。
在另一优选结构形式中，广角镜头具有至少一个或正好一个透镜，它至少部分地(例如球形表面部段)构造成panamorph(潘拿魔)镜头，特别是构造成变形透镜。panamorph镜头、尤其是变形透镜至少部分地造成原图像的畸变，并且与其它透镜形式相比，它尤其通过椭圆形状实现较大的面积覆盖，这样，每个被成像区域可实现多个图像点。以此方式，尽管畸变，但在中央图像部段中改善了对目标对象的识别。
摄像装置优选包括一图像分析装置。该图像分析装置、尤其是汽车领域所使用的处理器，优选设置用于从光电子器件输出的图像中，分别对诸如车道、行人、骑自行车者和/或其他交通参与者等至少一个目标对象进行分析评估。
优选从输出图像序列的高分辨率图像和降低了分辨率的图像中分别计算一个带有不同分辨率的图像层级系统(也被称为金字塔结构)。例如，从输出图像序列的高分辨率图像和降低了分辨率的图像中分别提供至少三个分辨率分别低一半的图像。尤其是，为进行目标识别，图像分析装置首先对各输出图像的最低分辨率图像进行查询，以保持尽可能低的计算工作量。如果图像分析装置在分辨率最低的图像中识别到一目标对象，则优选使用高一级分辨率的图示，这样做尤其是为了对目标识别加以验证。
此外，摄像装置优选包括至少一个诸如一车道保持辅助装置或转弯辅助装置等驾驶员辅助装置，或可与这类装置相连接。驾驶员辅助装置尤其设置用于，根据至少一个所分析评估的目标对象执行诸如距离预警、紧急制动或自主避让操作等被动式和/或主动式的驾驶员辅助功能。
第二出发点是一种使用一上述摄像装置检测一自身所在车辆周围环境区域的方法。在此，图像序列以高分辨率图像和降低了分辨率的图像周期性变换的方式、例如交替地或以确定顺序被输出。例如，图像序列以高分辨率拍摄图像，并以周期性变换的方式输出未改变的高分辨率图像和降低了分辨率的图像。作为替代选择，图像序列以高分辨率和降低分辨率周期性变换的形式拍摄图像并未加改变地予以输出。
例如，各图像的分辨率降低在图像拍摄传感器上借助电子的相邻像素合并技术和/或跳跃式像素筛选技术进行。因此，优选由图像拍摄传感器仅输出总像素数量中的一部分，其中，像素数量的剩余部分被消隐或合并。作为替代选择，例如借助后续的相邻像素合并技术和/或跳跃式像素筛选技术在图像拍摄后才进行降低分辨率处理。
图像序列尤其被输出到一图像分析装置，用于分析评估至少一个目标对象。优选在以高分辨率和降低分辨率周期性变换的方式输出的图像中分别分析评估至少一个目标对象。例如，基于至少一个所分析评估的目标对象执行一诸如制动辅助、预警辅助和/或一转向辅助等驾驶员辅助功能。
总之，出发点是：中心区域中未经像素合并的图像或左右边缘上两个未经像素合并的图像与整个视场上经像素合并的图像之间的一种变换，其中，未经像素合并的图像总是具有经像素合并的图像的一半高度和一半宽度(在两个边缘图像的情况下总计如此)。
由于图像处理嵌入式处理器中期也不能直接、即实时处理约8兆像素的高分辨率，所以有必要降低分辨率。其实现方法是，成像器对每4个像素加以合并(像素合并)，由此图像中以一半的分辨率提供整个视野，或只对视野的一部分以全分辨率读取。对此，在由成像器帧频(例如每秒33帧，即每秒33幅单帧图像)得到的每个时间步骤中始终只读取这些图像中的一幅。因此，如果一较大水平视场需要很高的分辨率(例如对于一州县公路上的交叉口的情形)，则必须对其组成部分(即例如左边图像部分，右边图像部分)单一读取，这相应需要较长时间。与此相反，一中央未经像素合并的图像对所述示例性情形无法提供足够的视野，从而仅能利用具有一半的帧频以及以一半的分辨率的经像素合并的图像。通过两种方法都会增加一与探测相联系的系统(例如紧急制动系统)的延迟，这会对其性能产生负面影响。
该解决方案在使用成像器全分辨率的同时，应以尽可能低的延迟提供情形分别所需的视野。
因此，作为解决方案建议：
根据交通情形和/或周围环境情形，由摄像机的图像控制器于各曝光时间点或以可能情况下具有可动态变化的比例的时间变换的方式动态地采取下列措施：
-根据当前情形(即根据所需水平视野)使用一未经像素合并的ROI(感兴趣区域)，其中对其高度和宽度进行动态调整，其中，图像优选不超过一最大像素数量(例如2.5兆像素)，-同时，对图像宽度(以及由此间接地还有图像高度)的控制优选通过在先前图像中所识别的内容(例如目标、道路走向)及其用于当前图像的预测来进行。
-在对视场(FoV)具有最高要求但只需较小有效范围(典型示例：城市道路)的情形下，使用具有成像器一半分辨率的经像素合并的图像。
用于检测自身所在车辆周围环境区域的根据本发明所述的摄像装置包括一光电子器件以及一图像采集控制单元，它们设计用于拍摄周围环境区域的一图像序列。所述光电子器件包括一广角镜头和一高分辨率图像拍摄传感器。光电子器件和图像采集控制单元设计或配置用于：
-分别对于图像序列的一图像，相应生成一借助像素合并降低了分辨率的、光电子器件整个检测范围的图像，或以最大分辨率对光电子器件检测区域的一子区域进行检测；
-根据当前交通情形和/或周围环境情形(当前情形)生成一具有降低了的图像拍摄传感器分辨率(例如1/4的像素)的、经像素合并的图像或采集一未经像素合并的子区域的图像，
-其中，所述子区域的高度和宽度根据当前情形来确定，以及
-其中，确定所述子区域大小的方式是，使子区域图像的像素数量不大于降低了分辨率的、光电子器件整个检测区域的图像的像素数量。
这意味着，图像序列中每幅图像不超过“最终像素”的最大数量。
这使单一图像能以相同时间进行预处理(例如去马赛克处理)。
图像采集控制装置至少相当于或是处理单元(例如SoC片上系统)的一组成部分，在该处理单元中实施成像控制(图像采集控制)的“控制程序”。所述图像采集控制装置也可被称为图像处理装置。图像采集控制装置的任务尤其是，控制通过光电子器件对降低分辨率图像的生成或具有最大分辨率的一子区域图像的采集。
根据一当前交通情形或周围环境情形，一方面可规定，当前是应拍摄或生成光电子器件整个检测区域的一经像素合并的“概况图像”还是预给定子区域的未经像素合并的图像。另一方面，所述子区域也可在高度和宽度方面(作为选项也可在其位置方面)与当前情形相适配。
当前的交通情形或周围环境情形可例如是：
-高速公路行驶
-长途行驶
-直行驶出
-蜿蜒行驶
-城市交通
-交叉路口情形
-交通指示灯控制
-斑马线
-超车动作和/或
-(与固定障碍物、动态障碍物、行人、骑自行车者、动物等的)碰撞危险。
所述解决方案的优点是，可确保关键图像内容在每个曝光周期被采集，并保持最大的检测有效范围，而不造成对处理图像的处理器的过高要求。由此可实现驾驶员辅助系统和/或主动型安全系统的尽可能低的延迟。
光电子器件和图像采集控制单元有益地设计用于，以下列方式拍摄图像序列，即，使每个子区域的中心与光电子器件整个检测区域的中心相同(即所谓的“同心”)。换句话说，调整后的ROI(感兴趣区域)分别与摄像装置的整幅图像或视野具有相同的图像中心。
作为选项，光电子器件和图像采集控制单元设计用于，根据当前情形移动子区域的水平位置。由此，可考虑动态调整未经像素合并的图像的水平位置，但这常常无法无条件提供，因为这可能给(例如摄像机数据自身运动判定等)不同算法带来不利，并会对识别新的、与ROI(感兴趣区域)控制相关的目标造成负面影响。
作为替代选择或附加措施，光电子器件和图像采集控制单元优选设计用于，根据当前情形移动子区域的垂直位置。
在特定情况下，垂直位移会很有意义，因为其对后续要执行的图像分析评估算法较少不良影响。
当然，已在出发点的详细描述中进行了详细解释的其他方面可与现在描述的进一步的解决方案彼此结合，以实现其他优点。
附图说明
下面根据示意图更详细地解释本发明实施例。
图1描述一作为出发点的方法：
在时间变换中，用摄像装置拍摄单帧图像(F)：
·未经像素合并的图像5源于一中心为A的区域(A与摄像装置视场中心相同)，它具有最大分辨率以及视场(FoV)一半的宽度和高度
·经像素合并的图像6拥有摄像装置完整视场一半的分辨率(水平和垂直)。
图2描述所述解决方案一实施例的观点，即一自适应ROI(感兴趣区域)控制。
具体实施方式
自身所在车辆(未图示)目前驶过一城区。在城区，重要的是定期提供和分析评估光电子器件整个检测区域的最新图像，因为在光电子器件视场的边缘区域也会出现相关目标，例如行人、横向穿越的车辆、头顶上架空安装的交通指示灯或交通标志。一旦探测到相关目标，可根据当前情形采集光电子器件检测区域的一子区域的一幅最大分辨率图像，由此，快速、可靠地识别目标。
只要当前没有探测到相关目标，则可检测一如图1所示通过附图标记5所定义的子区域，通过该子区域可(提早)检测其他更远的目标，因为所述子区域由光电子器件以最大分辨率检测。只要没有探测到相关目标，则例如高分辨率的中心子区域5可被作为图像序列的每第四帧图像加以检测。作为替代选择，可周期性交替生成或采集经像素合并的和未经像素合并的图像。
图2所示情形中，自身所在车辆正好处于一交叉路口前，为简单起见，假设自身所在车辆是静止不动的。
在摄像装置的视野(即检测区域或视场)的上部区域有一交通指示灯。在视野右侧区域有一第二车辆，它从右侧进入或将驶入交叉路口。使用根据图1所述方法，虚线所示图像部分3(具有最大分辨率，可与图1中的未经像素合并的图像5相比拟)被作为未经像素合并的ROI(感兴趣区域)加以检测。但不能从该区域推断出完整的驾驶情形：该ROI(感兴趣区域)3中根本不包含第二车辆，并且仅包含交通指示灯最下面的边缘。
相反，以适应情形的方式选择ROI(感兴趣区域)例如能以图像部分1完整检测第二车辆，或以图像部分2至少部分检测第二车辆，或以图像部分4同样也完整检测交通指示灯。
因此，图像采集控制在此情形中的实现方式是，作为第一图像，生成并分析评估整个成像器表面的一经像素合并的概况图。在第二图像中，子区域4被以未经像素合并的方式检测和分析评估，由此例如可推断出，交通指示灯当前是否为绿灯。
在第三图像中，又再生成一经像素合并的概况图，以便例如能探测，第二车辆(图中右侧)是否已运动或左边是否出现一新的交通参与者。如果在第三图像中探测到一目标的运动(例如通过与第一图像的比较)，则为采集第四图像也可进行对一目标运动的预测，以便对需检测的子区域如此进行调整，即，使目标在第四图像中被完整(并以最大分辨率)采集。
现在，在第四图像中以未经像素合并的方式检测子区域1，例如以便确认，第二车辆停在右边，即静止不动，并且在自身所在车辆直行驶出时不存在与第二车辆发生碰撞的危险。
如通过光电子器件的检测范围可见的，因此在仅四个图像中可完整检测总体情形(或行驶情形)，并通过对经像素合并或未经像素合并的各个图像的相应分析评估理解总体情形。在此行驶情形中，可在无风险情况下进行自身所在车辆的起动或继续行驶。

Claims (10)

1.一种用于检测自身所在车辆周围环境区域的摄像装置，该摄像装置包括：
一光电子器件和一图像采集控制单元，该光电子器件和该图像采集控制单元被设置用于，拍摄周围环境区域的一图像序列，
其中，
光电子器件包括一广角镜头和一高分辨率图像拍摄传感器，以及
光电子器件和图像采集控制单元被设置用于，
-对于图像序列中的图像，相应生成光电子器件的整个检测区域的一借助像素合并降低了分辨率的图像(6)或以最高分辨率检测光电子器件检测区域的一子区域(1；2；3；4；5)；
-根据当前的交通情形和/或周围环境情形，或者生成一具有降低了的图像拍摄传感器分辨率的、经像素合并的图像(6)，或者采集一未经像素合并的子区域(1；2；3；4；5)的图像，
-其中，根据当前情形确定子区域(1；2；3；4；5)的高度和宽度，以及
-其中，确定子区域(1；2；3；4；5)大小的方法是，使子区域(1；2；3；4；5)的图像的像素数量不大于光电子器件整个检测区域的降低了分辨率的图像(6)的像素数量。
2.根据权利要求1所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，以下列方式拍摄图像序列，即，使得每个子区域(1；2；3；4；5)的中心(A)与光电子器件整个检测区域(6)的中心(A)相同。
3.根据权利要求1所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，根据当前情形移动子区域(1；2；3；4；5)的垂直位置。
4.根据权利要求1或3所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，根据当前情形移动子区域(1；2；3；4；5)的水平位置。
5.根据上述权利要求中任一项所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，以下列方式拍摄图像序列，即，使得子区域(1；2；3；4；5)的像素数目最大为2.5兆像素。
6.根据上述权利要求中任一项所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，以下列方式拍摄图像序列，即，在拍摄周围环境区域的图像序列时，使得子区域(1；2；3；4；5)的像素数目是恒定不变的。
7.根据上述权利要求中任一项所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，以下列方式拍摄图像序列，即，通过在至少一个先前图像(1；2；3；4；5；6)中所识别的内容对子区域(1；2；3；4；5)的图像宽度和/或图像高度进行控制。
8.根据权利要求7所述的摄像装置，其中，为控制子区域(1；2；3；4；5)的图像宽度和/或图像高度，考虑针对当前图像对已识别内容的预测。
9.根据上述权利要求中任一项所述的摄像装置，其中，光电子器件和图像采集控制单元被设计用于，以下列方式拍摄图像序列，即，使周围环境区域的图像序列周期性交替地含有子区域(1；2；3；4；5)的降低了分辨率的图像(6)和高分辨率图像。
10.一种用于借助一光电子器件检测自身所在车辆周围环境区域的方法，其中，光电子器件包含一广角镜头和一高分辨率图像拍摄传感器，所述方法包括拍摄自身所在车辆周围环境区域的一图像序列，
其中，对于图像序列中的图像，生成光电子器件的整个检测区域的一借助像素合并降低了分辨率的图像(6)或以最高分辨率检测光电子器件检测区域的一子区域(1；2；3；4；5)，
-其中，根据当前的交通情形和/或周围环境情形，或者采集一具有降低了的图像拍摄传感器分辨率的、经像素合并的图像(6)，或者采集一未经像素合并的子区域(1；2；3；4；5)的图像，
-其中，根据当前情形确定子区域(1；2；3；4；5)的高度和宽度，以及
-其中，确定子区域(1；2；3；4；5)大小的方法是，使得子区域(1；2；3；4；5)的图像的像素数量不大于光电子器件整个检测区域的降低了分辨率的图像(6)的像素数量。
CN201780075400.0A 2016-12-06 2017-04-11 用于以适应情形的方法检测车辆周围环境区域的摄像装置及方法 Pending CN110050278A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016224241.5 2016-12-06
DE102016224241 2016-12-06
PCT/DE2017/200031 WO2018103795A1 (de) 2016-12-06 2017-04-11 Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs

Publications (1)

Publication Number Publication Date
CN110050278A true CN110050278A (zh) 2019-07-23

Family

ID=58765637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075400.0A Pending CN110050278A (zh) 2016-12-06 2017-04-11 用于以适应情形的方法检测车辆周围环境区域的摄像装置及方法

Country Status (7)

Country Link
US (1) US10798319B2 (zh)
EP (1) EP3552144A1 (zh)
JP (1) JP2020501423A (zh)
KR (1) KR102385280B1 (zh)
CN (1) CN110050278A (zh)
DE (1) DE112017005118A5 (zh)
WO (1) WO2018103795A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210845A1 (de) * 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10915105B1 (en) * 2018-06-25 2021-02-09 Allstate Insurance Company Preemptive logical configuration of vehicle control systems
CN111208691A (zh) * 2018-11-22 2020-05-29 南京人工智能高等研究院有限公司 拍摄视角的调整方法、装置、电子设备及存储介质
JP7268497B2 (ja) * 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
US11022972B2 (en) 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
JP7167891B2 (ja) * 2019-09-24 2022-11-09 トヨタ自動車株式会社 画像処理装置
KR20220078772A (ko) * 2020-12-03 2022-06-13 현대모비스 주식회사 차량의 교차로 주행 제어 시스템 및 방법
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
JP7342926B2 (ja) * 2021-02-08 2023-09-12 株式会社デンソー 表示制御装置及び表示制御プログラム
WO2022168540A1 (ja) * 2021-02-08 2022-08-11 株式会社デンソー 表示制御装置及び表示制御プログラム
DE102021213756B3 (de) 2021-12-03 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren zum Fusionieren von Sensordaten im Kontext eines künstlichen neuronalen Netzwerks
DE102021213757B3 (de) 2021-12-03 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren zum Fusionieren von Bilddaten im Kontext eines künstlichen neuronalen Netzwerks
DE102022206757A1 (de) 2022-07-01 2024-01-04 Continental Autonomous Mobility Germany GmbH Dynamische Positionierung von Bildausschnitten zur effizienten Ausnutzung hochauflösender Kameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220193A1 (en) * 2009-03-02 2010-09-02 Flir Systems, Inc. Systems and methods for processing infrared images
CN101881923A (zh) * 2009-02-02 2010-11-10 福特全球技术公司 用于提供车辆周围环境图像的广角成像系统
CN103583041A (zh) * 2011-06-07 2014-02-12 罗伯特·博世有限公司 用于提供完整的车辆周围环境图像的车辆摄像机系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287532B2 (ja) * 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
US8294560B2 (en) * 2009-07-20 2012-10-23 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for identifying threats using multiple sensors in a graphical user interface
KR101350068B1 (ko) * 2012-08-23 2014-01-14 삼성전자주식회사 관심 영역 이미지를 출력하기 위한 전자 장치
KR20140054909A (ko) * 2012-10-30 2014-05-09 팅크웨어(주) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
WO2014109016A1 (ja) * 2013-01-09 2014-07-17 三菱電機株式会社 車両周辺表示装置
JP6244129B2 (ja) * 2013-07-22 2017-12-06 矢崎エナジーシステム株式会社 車載器
US9686485B2 (en) * 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6838248B2 (ja) * 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881923A (zh) * 2009-02-02 2010-11-10 福特全球技术公司 用于提供车辆周围环境图像的广角成像系统
US20100220193A1 (en) * 2009-03-02 2010-09-02 Flir Systems, Inc. Systems and methods for processing infrared images
CN103583041A (zh) * 2011-06-07 2014-02-12 罗伯特·博世有限公司 用于提供完整的车辆周围环境图像的车辆摄像机系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EDUARDO ROMERA: "A Real-time Multi-scale Vehicle Detection and Tracking Approach for Smartphones", 《2015 IEEE 18TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
MATZKA STEPHAN: "Efficient Resource Allocation for Attentive Automotive Vision Systems", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ》 *

Also Published As

Publication number Publication date
US10798319B2 (en) 2020-10-06
KR20190094152A (ko) 2019-08-12
US20190281235A1 (en) 2019-09-12
KR102385280B1 (ko) 2022-04-08
EP3552144A1 (de) 2019-10-16
DE112017005118A5 (de) 2019-06-13
JP2020501423A (ja) 2020-01-16
WO2018103795A1 (de) 2018-06-14

Similar Documents

Publication Publication Date Title
CN110050278A (zh) 用于以适应情形的方法检测车辆周围环境区域的摄像装置及方法
US10742907B2 (en) Camera device and method for detecting a surrounding area of a driver's own vehicle
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP2019525568A5 (zh)
WO2017042710A1 (en) System and method for detecting objects in an automotive environment
US10750085B2 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
EP3299994A1 (en) A method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
CN107284455B (zh) 一种基于图像处理的adas系统
US11829153B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN110226326B (zh) 用于检测车辆的周围环境区域的摄像设备及方法
CN110780287A (zh) 基于单目相机的测距方法及测距系统
JP7226368B2 (ja) 物体状態識別装置
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
EP3349201B1 (en) Parking assist method and vehicle parking assist system
CN104537618A (zh) 图像处理方法及装置
CN110775054B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
US11726483B2 (en) Apparatus for detecting inclination angle and controller
CN112634653B (zh) 图像处理设备
US11681047B2 (en) Ground surface imaging combining LiDAR and camera data
CN110775055B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
CN118264872A (zh) 摄像设置设备及方法、摄像设备、运载工具和存储介质
CN112215748A (zh) 图像处理方法和装置
Yang An Image-Based Optical Flow Approach to Determine Vehicle's Lateral Position

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190723

WD01 Invention patent application deemed withdrawn after publication