CN112752947A - 用于抑制在机动车的环境传感设备的摄像机的至少一个摄像机图像中的反射的成像的方法以及相对应的环境传感设备 - Google Patents
用于抑制在机动车的环境传感设备的摄像机的至少一个摄像机图像中的反射的成像的方法以及相对应的环境传感设备 Download PDFInfo
- Publication number
- CN112752947A CN112752947A CN201980065022.7A CN201980065022A CN112752947A CN 112752947 A CN112752947 A CN 112752947A CN 201980065022 A CN201980065022 A CN 201980065022A CN 112752947 A CN112752947 A CN 112752947A
- Authority
- CN
- China
- Prior art keywords
- camera
- polarization
- environment
- polarization direction
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000010287 polarization Effects 0.000 claims abstract description 150
- 238000001914 filtration Methods 0.000 claims description 16
- 238000002310 reflectometry Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims 2
- 238000011156 evaluation Methods 0.000 description 9
- 230000002238 attenuated effect Effects 0.000 description 8
- 230000005477 standard model Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/281—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for attenuating light intensity, e.g. comprising rotatable polarising elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Software Systems (AREA)
Abstract
本发明涉及一种用于抑制在机动车(10)的摄像机(15)的至少一个摄像机图像(18)中的反射(22)的方法,其中所述摄像机(15)产生所述至少一个摄像机图像(18),而且在此偏振滤光装置(16)对来自环境(12)射入的光(25)就预先确定的偏振方向(P)而言进行衰减。本发明规定:估计装置(27)估计在所述至少一个周围环境对象(13、14)上的至少一个表面(21)的相应的表面法线(29)的相应的取向;而且调节装置(32)根据所述至少一个表面法线(29)的相应的所估计的取向来确定所述偏振滤光装置(16)的相应的目标偏振方向(32)并且按照相应所确定的目标偏振方向(32)来产生控制信号(33),通过所述目标偏振方向,在所述至少一个摄像机图像(18)中使在相应的表面(21)上的反射(22)的相应的成像减少,而且所述偏振滤光装置(16)根据所述控制信号(33)来调整所述偏振滤光装置的偏振方向(P)。
Description
技术领域
本发明涉及一种用于机动车的环境传感设备。该环境传感设备借助于摄像机来检测在机动车的环境中的至少一个周围环境对象。为了在这种情况下在摄像机的摄像机图像中没有一并使可能存在于周围环境对象的表面上的反射成像,设置偏振滤光装置。本发明也包括一种具有该环境传感设备的机动车以及一种用于抑制在摄像机图像中的上述反射的成像的方法。
背景技术
例如从DE 10 2014 017 229 A1公知对偏振滤光装置的使用。借助于偏振滤光装置,这里在摄像机的摄像机图像中并没有使在机动车的挡风玻璃中能看见的反射一并成像,摄像机穿过该挡风玻璃对机动车的环境进行拍摄。偏振滤光装置的布置只是静止的,这在这里是足够的,因为反射总是相同的,即仪表盘在挡风玻璃中的镜反射。
从DE 10 2012 222 303 A1已知:抑制在摄像机图像中的动态或可变的反射,其方式是根据两个摄像机图像来计算差别图像,这两个摄像机图像中,一个摄像机图像是在有偏振滤光器的情况下被拍摄的并且一个摄像机图像是在没有偏振滤光器的情况下被拍摄的。但是,该方法的计算量非常大。
从DE 10 2011 088 130 A1公知一种机动车,其中环境传感设备确定在摄像机图像中的红色成分并且然后判断机动车前方是否存在制动情况。在这种情况下,使用制动信号灯在其它对象上的反射,使得这些反射允许不被滤除。
在机动车中,处理器装置可以基于摄像机的摄像机图像来识别在机动车的环境中的至少一个周围环境对象。这例如可以被用于在机动车中提供自主驾驶功能和/或驾驶辅助功能。例如,可以将另一机动车识别为周围环境对象并且检查是否存在碰撞路线。不过,在基于摄像机的至少一个摄像机图像来识别至少一个周围环境对象时,可能发生错误识别,该错误识别可能在于:尽管仅仅涉及在另一周围环境对象的反光表面中的反射,仍识别出臆想的周围环境对象。另一示例可能是:骑自行车的人在公共汽车旁边行驶并且能在公共汽车的侧壁的被涂漆并借此反光的表面中识别出骑自行车的人的反射。接着,在分析摄像机的摄像机图像时,尽管只有一个骑自行车的人并且他的镜像在至少一个摄像机图像中被成像,但是处理器装置可能识别出两个骑自行车的人。另一种形式的不符合期望的反射是顶光或高光,所述顶光或高光阻碍了平滑、均匀的表面本身可以被识别。
由于光在周围环境对象的反光表面上的反射,通常得到偏振光。因此,通过使用偏振滤光装置,可以在检测摄像机图像时借助于偏振滤光装置来抑制或衰减或减少属于反射或来自于反射的那个光。因此,在摄像机图像中没有得到反射的成像或者得到反射的至少被衰减的成像。
不过,被反射的光的偏振的取向取决于其中能看到反射的反光表面的空间方向。相对应地,偏振滤光装置的偏振方向也必须被适配或跟踪。偏振滤光装置的静态取向对于动态过程、诸如对在机动车的环境中的至少一个周围环境对象的监视来说不足。
发明内容
本发明所基于的任务在于:在具有摄像机的环境传感设备的情况下引起:使可能在至少一个周围环境对象的反光表面上得到的反射在摄像机图像中只是减少地或减弱地或衰减地成像。
该任务通过专利独立权利要求的主题来解决。本发明的有利的实施方式通过专利从属权利要求、下文的描述以及附图来得到。
通过本发明,提供了一种用于机动车的环境传感设备或周围环境传感设备。环境传感设备具有摄像机、偏振滤光装置和处理器装置。摄像机被设立为产生至少一个摄像机图像,在该摄像机图像中使机动车的环境或周围环境成像。偏振滤光装置被设立为:在检测该至少一个摄像机图像时、即在检测该至少一个摄像机图像期间,对来自该环境在摄像机中射入的光就预先确定的偏振方向而言进行衰减或滤波。换言之,就光的偏振而言存在:优先方向,偏振滤光装置允许该优先方向通过;和偏振方向,该偏振方向说明了哪个光在哪个偏振的情况下被衰减。处理器装置被设立为:在至少一个摄像机图像中识别至少一个周围环境对象。例如可以将其他交通成员、例如机动车和/或骑自行车的人和/或行人识别为相应的周围环境对象。但是,也可以将静止的对象、例如基础设施组件(例如交通信号灯和/或路灯)和/或树木和/或停放的机动车和/或具有反光的窗玻璃的房屋识别为相应的周围环境对象。在这种情况下,“识别”是指:至少识别周围环境对象的形状和/或对象类别(命名为机动车、行人、骑自行车的人、交通信号灯……)。这例如可以基于神经网络来实现。用于识别在至少一个摄像机图像中的至少一个周围环境对象的处理器装置本身可以从现有技术中得知。
为了现在避免处理装置也将镜象、即周围环境对象在另一周围环境对象的表面上的反射或者特别亮的顶光同样错误地认为是又一周围环境对象,按照本发明规定:偏振滤光装置被设立为根据控制信号来调整该偏振滤光装置的偏振方向。换言之,通过电和/或数字控制信号可以控制或调整哪个光在哪个偏振的情况下被偏振滤光装置要么允许通过要么衰减。
为了确定偏振方向的所需的取向,该环境传感设备的估计装置被设立为:估计至少一个周围环境对象的至少一个表面的相应的表面法线的相应的取向。即,估计装置例如可以立足于处理器装置的识别结果或者使用该识别结果,因为处理器装置通过它的识别过程来描述至少一个周围环境对象。然后,估计装置可以针对至少一个对象的至少一个表面来估计该表面的取向、也就是说该表面的表面法线。
此外,调节装置被设立为:根据至少一个表面的相应的所估计的取向来分别确定偏振滤光装置的目标偏振方向。换言之,通过该调节装置来规定偏振滤光装置的偏振方向必须如何被取向,以便在至少一个表面上可能会可见的相应的反射不在至少一个摄像机图像中被成像。为此,目标偏振方向被规定为使得在相应的表面上被反射的光通过偏振滤光装置来被衰减或抑制或减少。这是可能的,因为在表面上被反射的光的偏振取决于表面的取向、也就是说表面法线的方向。表面法线是垂直于表面布置的或立起的(虚构的)方向矢量。表面法线的取向与从中得到的被反射的光的偏振之间的关系本身从现有技术中公知。即,目标偏振方向说明了对偏振滤光装置的偏振方向的如下调整,通过该调整,在至少一个摄像机图像中,反射、即在至少一个表面上被反射的光的相应的成像被减少或衰减或抑制。
接着,调节装置产生上述控制信号,通过该控制信号来控制偏振滤光装置,以便该偏振滤光装置按照相应所确定的目标偏振方向来调整该偏振滤光装置的偏振方向。换言之,偏振方向根据至少一个摄像机图像来被适应或取向或适配。
通过本发明得到如下优点:偏振滤光装置动态地或自适应地被运行,其方式是使该偏振滤光装置的偏振方向与在机动车的环境中的当前的周围环境情况适配,使得至少一个周围环境对象的相应的反光表面在使偏振滤光装置的偏振方向取向时被考虑。即,不需要依赖于静态取向的偏振滤光器。
本发明也包括通过其得到附加优点的实施方式。
多个实施方式涉及在偏振滤光装置中可以如何自适应地设计该偏振滤光装置的偏振方向的问题。
在一个实施方式中,偏振滤光装置包括可旋转地安置的具有偏振方向的偏振滤光片。这种偏振滤光片例如可以是玻璃片或塑料片,金属层被气相喷镀或涂覆到该玻璃片或塑料片上,借助于该金属层来实现线栅偏振器。偏振滤光片也可以基于具有偏振作用的晶体来被形成。偏振滤光装置还可包括致动单元,用于使偏振滤光片旋转。该致动单元被设立为:根据上述控制信号来调整偏振滤光片的旋转方位或空间取向。换言之,可以使偏振滤光片旋转并且经此来调整该偏振滤光片的偏振方向的取向。偏振滤光片可以布置在摄像机的光学系统前面或者布置在摄像机的光学系统中。即,该偏振滤光片在摄像机的光路中布置在该摄像机的传感器芯片前面。该实施方式所具有的优点在于:可以使用常规的偏振滤光片来实现偏振滤光装置。
在一个实施方式中,偏振滤光装置包括:用于检测至少一个摄像机图像的图像点的摄像机的传感器芯片也分别具有多个子像素传感器(即针对每个图像点有多个子像素传感器)。这些子像素传感器具有不同的偏振方向。换言之,每个图像点在传感器芯片中不仅仅通过单个像素传感器来被成像,而且针对每个图像点都存在多个像素传感器,使得这些像素传感器正好是子像素传感器,该单个像素传感器例如可以分别针对红色、黄色、蓝色(RGB)的检测来被设计。每个子像素传感器都可具有自己的偏振滤光片,其中每个图像点的多个子像素传感器的偏振方向不一样地被取向。因此,通过选择这些子像素传感器中的一个子像素传感器或者这些子像素传感器中的一些子像素传感器并且通过仅转发这些子像素传感器的图像点数据,可以产生摄像机图像,其中进行具有偏振作用的光检测。在这种情况下得到如下优点:摄像机图像的具有不同的偏振方向的不同的图像区域都可以被检测。针对每个图像点可以设置所描述的类型的2个或超过两个子像素传感器。
多个实施方式涉及通过估计装置可以如何估计至少一个表面的相应的表面法线的问题。
在一个实施方式中,估计装置为了估计相应的表面法线的取向而具有用于检测3D图像信息(3D——三维)的传感装置。估计装置被设立为:基于3D图像信息通过确定相应的表面的空间取向来确定至少一个表面的相应的表面法线的取向。即可以确定表面如何在空间中布置或取向。然后,也可以以公知的方式来推断该表面的表面法线的空间取向。即,对相应的表面进行测量并且然后可以针对表面法线来确定该表面法线的取向。如果表面弯曲,则该表面可以想象中地或虚拟地被分成多个部分表面,并且针对每个部分表面都可以确定自己的表面法线。但是,也可以规定:针对整个表面计算平均表面法线。例如可以使用激光扫描仪和/或激光雷达和/或雷达和/或TOF摄像机(TOF——Time of Flight(飞行时间))和/或3D摄像机,作为传感装置。估计装置还可包括程序模块,该程序模块例如可以通过上述处理器装置来被实施并且该程序模块可以基于3D图像信息来确定取向。
在一个实施方式中,估计装置为了估计至少一个表面的相应的表面法线的取向而被设立为运行数字表面模型,该数字表面模型根据至少一个摄像机图像来估计至少一个周围环境对象的相应的形状和/或姿态(空间位置和取向)并且据此针对相应的周围环境对象的至少一个表面来确定相应的表面法线的取向。为此,估计装置可以基于程序模块或软件模块来形成,该程序模块或软件模块例如可以通过上述处理器装置来被运行。表面模型例如可以规定:基于至少一个摄像机图像,使针对周围环境对象的标准模型适配,即例如该标准模型的关于周围环境对象的大小和/或姿态和/或形状的至少一个参数例如通过迭代适配来这样被适配或者一直被适配,直至该标准模型对应于周围环境对象的存在于至少一个摄像机图像中的成像或者对该成像进行正确预测,这可以通过周围环境对象的成像与表面模型的比较来被实现或检查或决定。如果接着表面模型与在至少一个摄像机图像中可识别出的成像匹配,则校验或确保该表面模型正确地模拟或描述周围环境对象的至少一个表面。然后,基于表面模型可以确定至少一个表面的相应的表面法线的取向。
可以规定:关于一个周围环境对象或者关于超过一个周围环境对象,分别只确定或检查唯一的表面或者超过一个表面。
如已经描述的那样,偏振滤光装置可设置用于检测整个摄像机图像的唯一的偏振方向,或者替代于此针对摄像机图像的多个分开的区域、例如针对各个图像点提供相应的偏振方向,该偏振方向可以与其它区域的相应的偏振方向无关地被调整。但是,现在可能发生:针对在至少一个摄像机图像中可识别出或被成像的表面的数目,确定相应的目标偏振方向并且在这种情况下该数目大于可同时在偏振滤光装置中实际被调整或预先给定的可能的不同的偏振方向的数目。即,换言之,尽管多个不同的偏振方向会是必要的,但接着需要进行减少或进行选择,以便借助于控制信号来对可调整的偏振方向的可能的数目进行预先给定或调整,即例如只有唯一的偏振方向或者预先确定的数目大于1。
为此,一个实施方式规定:估计装置和/或处理器装置分别被设立为确定至少一个表面的相应的反射率。即确定相应的表面可以反射多少光或者多少百分比的光。即例如确定相应的表面反照的强度和/或相应的表面的光滑程度。这通过值来表示,该值这里被描述为反射率。估计装置被设立为:借助于控制信号,只针对表面中的其反射率大于预先确定的阈值的这种表面来减少反射的成像。即,只考虑其反射率高于阈值的那些表面、即最强烈反光的表面。除此之外或替代于此,可以规定:所选择的表面的数目小于预先确定的最高数目。该最高数目可以通过偏振滤光装置以所描述的方式被预先给定,其方式是该偏振滤光装置只具有有限数目的可同时调整的偏振方向。该最高数目可以为1或者大于1。在所描述的具有子像素传感器的传感器芯片的情况下,该最高数目可以对应于图像点的数目。通过针对反射率使用该阈值,得到如下优点:只考虑对其来说存在使得其中处理器装置由于反射而识别出错误的周围环境对象的预先确定的最低概率的这种表面。反射率例如可以依据周围环境对象的对象类型来被识别。处理器装置可以借助于所描述的对象识别来识别对象类型。
如果偏振滤光装置只有一个偏振方向,则可以规定:利用控制信号只预先给定唯一的目标偏振方向。该目标偏振方向可以是针对特定周围环境对象并且在该特定周围环境对象处针对特定表面所确定的偏振方向。例如可以是在至少一个摄像机图像中当前可识别出的最大表面。但是,目标偏振方向例如也可以是多个被确定的方向的平均值,所述多个被确定的方向是针对不同的表面来被确定的。
在一个实施方式中,估计装置和/或处理器装置分别被设立为:给至少一个周围环境对象分配相应的关键程度。该关键程度涉及在机动车与该周围环境对象之间可能存在的碰撞风险。在这种情况下,可以动用驾驶辅助装置,该驾驶辅助装置可以分析交通情况并且例如报告周围环境对象的碰撞路线。估计装置被设立为:借助于控制信号,只针对关键程度最高的那个周围环境对象减少反射的成像。换言之,即只针对最关键的对象检查其中是否可能会看到应被减少或抑制的反射。经此,有利地防止了:例如由于在反射中识别出臆想的另一周围环境对象处在臆想的碰撞路线上,所以臆想的周围环境对象导致机动车的自动紧急制动。
本发明也包括一种机动车,该机动车包括按照本发明的环境传感设备的实施方式。该机动车所具有的优点在于:该机动车在其环境中或在其周围环境中可以探测或识别至少一个周围环境对象并且在这种情况下防止在表面上的反射中识别出或探测到臆想的另一周围环境对象,但是该臆想的另一周围环境对象实际上并不存在。
按照本发明的机动车优选地被设计为汽车,尤其是被设计为载客车或载货车或客运巴士。
通过运行按照本发明的环境传感设备,得到一种方法,该方法同样是本发明的组成部分。换言之,该方法包括:抑制在机动车的环境传感设备中运行的摄像机的至少一个摄像机图像中的反射(镜像和/或顶光)的成像。在这种情况下,摄像机产生至少一个上述摄像机图像,在该摄像机图像中使机动车的周围环境或环境成像。在此,偏振滤光装置对来自环境在摄像机中射入的光就预先确定的偏振方向而言进行衰减,使得该光只是被衰减地或被减少地成像在至少一个摄像机图像中。处理器装置在至少一个摄像机图像中识别至少一个周围环境对象。按照本发明,现在估计装置估计在至少一个周围环境对象中的至少一个表面的相应的表面法线的相应的取向。这可以针对一个周围环境对象或者针对超过一个周围环境对象来被执行。在这种情况下,对于每个周围环境对象来说都可以针对一个表面或针对超过一个表面来执行这一点。调节装置根据至少一个表面的相应的所估计的取向来确定偏振滤光器的相应的目标偏振方向,通过该目标偏振方向,在至少一个摄像机图像中减少在相应的表面上的反射的相应的成像。调节装置按照相应所确定的目标偏振方向来产生控制信号。如果偏振滤光装置不能同时针对如对应于所识别出的表面那样的不同的区域调整出这么多不同的偏振方向,则在这种情况下也可以进行针对一个周围环境对象或一些周围环境对象的所描述的选择并且在这种情况下可以进行针对一个表面或一些表面的所描述的选择。接着,偏振滤光器根据控制信号来调整该偏振滤光器的偏振方向。
本发明也包括按照本发明的方法的扩展方案,这些扩展方案具有如已经结合按照本发明的机动车的扩展方案所描述的特征。出于该原因,这里没有再一次描述按照本发明的方法的相对应的扩展方案。
本发明也包括所描述的实施方式的特征的组合。
附图说明
在下文描述了本发明的实施例。为此:
图1示出了按照本发明的具有环境传感设备的机动车的实施方式的示意图;
图2示出了按照第一实施方式的偏振滤光装置的示意图;以及
图3示出了按照第二实施方式的偏振滤光装置的示意图。
具体实施方式
下文阐述的实施例是本发明的优选的实施方式。在这些实施例中,所描述的实施方式的组成部分是本发明的分别单独的、要彼此独立地考虑的特征,这些特征也分别彼此独立地对本发明进行扩展。因而,本公开也应该包括与这些实施方式的特征的所呈现的组合不同的组合。此外,所描述的实施方式也能通过本发明的已经描述的特征中的其它特征来被补充。
在附图中,相同的附图标记分别表示功能相同的要素。
图1示出了机动车10,该机动车例如可以是汽车,尤其是载客车或载货车。机动车10可具有环境传感设备11,借助于该环境传感设备,可以在机动车10中自动化地检测机动车10的周围环境或环境12。尤其是,在环境12中的至少一个周围环境对象13、14可以借助于环境传感设备11来被检测和识别。在图1中示例性示出了:周围环境对象13可以是客运巴士并且周围环境对象14可以是骑自行车的人。
环境传感设备11可具有摄像机15、偏振滤光装置16和处理器装置17。摄像机15例如可以是彩色图像摄像机或红外摄像机或灰度摄像机或上述摄像机类型的组合。摄像机15可以是单图像摄像机或视频摄像机。摄像机15的至少一个摄像机图像18可以通过处理器装置17来被接收。处理装置17可具有软件模块或程序模块19,借助于该软件模块或程序模块,在至少一个摄像机图像18中可以对至少一个周围环境对象13、14的相应的成像进行识别或分割,并且然后至少一个周围环境对象13、14本身可以被识别,即例如对象类型和/或该周围环境对象的形状。即,程序模块19执行对象识别。通过程序模块19例如可以产生周围环境模型或环境模型20,该周围环境模型或环境模型例如可以是周围环境地图,通过该周围环境地图,至少一个周围环境对象13、14的相对于机动车10的相应的相对方位可以被制图或者描述。例如,该环境传感设备这样就可以向自主驾驶功能报告至少一个周围环境对象13、14所处的位置。处理器装置17可以基于至少一个微处理器和/或至少一个微控制器来形成。
在基于至少一个摄像机图像18来识别至少一个周围环境对象13、14时,可能发生:不仅识别出实际的周围环境对象13、14,而且例如由于反光表面21而可能会使另一周围环境对象14的反射22在至少一个摄像机图像18中成像。在图1中示出了反射22可能如何发生,其中来自周围环境对象14的光23在另一周围环境对象13的反光表面21上被反射并且在表面21上被反射的光25射到摄像机15上并因此被该摄像机所检测。不过,被反射的光23由于在表面21上的反射22而可能具有占主导的或有取向的极性。由于反射22,在表面21中可能能够识别出被反照或被反射的周围环境对象14的镜像24。
但是,被反射的光25的偏振26可以实现的是:在至少一个摄像机图像18中抑制反射22、也就是说镜像24。为此,环境传感设备11可以设置:能调整偏振滤光装置16的偏振方向P。为此,估计装置27可以确定相应的表面21在至少一个周围环境对象13、14上可能所处的位置。为此可以规定:偏振滤光装置16就其偏振方向P的取向而言自适应地被设计。
估计装置27可以针对如通过程序模块19的对象识别可识别出的至少一个所识别的周围环境对象13、14来分别确定:在该周围环境对象处是否存在可能反光的表面21以及可能反光的表面在该周围环境对象处所处的位置。除了使用程序模块19的对象识别之外或者替代于此,可以规定:估计装置具有传感装置28,借助于该传感装置,可以主动地测量至少一个反光表面21的空间布置。为此,传感装置28例如可具有激光雷达和/或3D摄像机。基于所测量的表面21,可以估计或确定表面21的法向矢量29。该法向矢量说明了垂直于相应的表面21的方向。该法向矢量29描述了相应的表面21的表面法线。但是,该表面法线例如也可以简单地被估计或描述为对平行于表面21走向的平面的定义。估计装置27例如可以被设计为处理器装置17的另一程序模块。
调节装置可以根据至少一个表面21的相应的法向矢量29的所估计的取向31来确定目标偏振方向32,该目标偏振方向说明了偏振滤光装置16的偏振方向P必须具有怎样的取向,以便被反射的光25通过偏振滤光装置16来被抑制或减少,使得所述被反射的光不在至少一个摄像机图像18中成像。调节装置可产生控制信号33,该控制信号按照目标偏振装置32来调整偏振滤光装置16的可调整的偏振方向P。
因此,可以防止镜像24被成像或包含在至少一个摄像机图像18中。借此,程序模块19也不会意外地将镜像24识别为另一臆想的周围环境对象。
即,因此避免了就另一臆想的周围环境对象而言的误报警。
图2阐明了可以如何在摄像机15上提供偏振滤光装置16。在摄像机15的光路34中,例如可以布置可旋转地安置的偏振滤光片35。光路34例如可存在于摄像机15的透镜前面或后面。在图2中显示出偏振滤光片35的偏振方向36。为了对偏振方向36进行调整或取向,可以设置致动单元37,该致动单元可以根据控制信号33来调整偏振滤光片35的旋转方位38。被取向的偏振方向36对应于偏振方向P。
图3阐明了在摄像机15的传感器芯片44中可以如何针对各个图像点45分别设置单独的偏振滤光器作为偏振滤光装置16。为了清楚起见,在图4中只给这些图像点中的几个图像点配备附图标记。在图4中仅针对单个图像点45示出了构造。其余的图像点45可具有相同的构造,这在图4中通过省略号46来象征性地表现。
图像点45可具有多个子像素47,借助于这些子像素可以分别检测图像点,例如可以执行RGB检测(RGB——红色、黄色、蓝色)。针对每个子像素47都可以分别设置自己的偏振滤光器48作为偏振滤光装置,其中但是针对每个子像素47可以设置不同的偏振方向41、42。在检测至少一个摄像机图像18时,针对每个图像点45都可以根据控制信号33来在这些子像素47之间单独进行切换。因此,针对每个图像点45都能单独调整偏振方向41、42。当前使用的偏振方向41、42对应于偏振方向P。针对每个图像点45可以设置两个或超过两个子像素传感器,即对于每个子像素47来说各一个子像素传感器,例如设置四个具有如下偏振方向的子像素传感器,这些偏振方向依次相对于彼此分别旋转45°地来布置。
总体而言,这些示例示出了通过本发明可以如何为基于视频的环境传感设备提供主动反射滤波。
Claims (9)
1.一种用于机动车(10)的环境传感设备(11),其中所述环境传感设备(11)具有:
- 摄像机(15),用于产生至少一个摄像机图像(18),在所述摄像机图像中使所述机动车(10)的环境(12)成像;
- 偏振滤光装置(16),所述偏振滤光装置被设立为在检测所述至少一个摄像机图像(18)时对来自所述环境(12)在所述摄像机(15)中射入的光(25)就预先确定的偏振方向(P)而言进行衰减,
- 处理器装置(17),所述处理器装置被设立为在所述至少一个摄像机图像(18)中识别至少一个周围环境对象(13、14),
其特征在于,
- 所述偏振滤光装置(16)被设立为根据控制信号(33)来调整所述偏振滤光装置的偏振方向(P);并且
- 估计装置(27)被设立为估计所述至少一个周围环境对象(13、14)的至少一个表面(21)的相应的表面法线(29)的相应的取向(31);并且
- 调节装置(30)被设立为根据所述至少一个表面法线(29)的相应的所估计的取向(31)来分别确定所述偏振滤光装置(16)的目标偏振方向(32)并且按照相应所确定的目标偏振方向(32)来产生所述控制信号(33),通过所述目标偏振方向,在所述至少一个摄像机图像(18)中使在所述至少一个表面(21)上的反射(22)的相应的成像减少。
2.根据权利要求1所述的环境传感设备(11),其中所述偏振滤光装置(16)包括:可旋转地安置的偏振滤光片(35),所述偏振滤光片具有所述偏振方向(P);和用于使所述偏振滤光片(35)旋转的致动单元(37),而且所述致动单元(37)被设立为根据所述控制信号(33)来调整所述偏振滤光片(35)的旋转方位。
3.根据上述权利要求中任一项所述的环境传感设备(11),其中所述偏振滤光装置(16)包括:用于检测所述至少一个摄像机图像(18)的图像点(45)的所述摄像机(15)的传感器芯片(44)针对每个图像点(45)分别具有多个子像素传感器(48),所述多个子像素传感器具有不同的偏振方向(41、42)。
4.根据上述权利要求中任一项所述的环境传感设备(11),其中所述估计装置(27)为了估计所述至少一个表面(21)的相应的表面法线(26)的取向(31)而具有用于检测3D图像信息的传感装置(28),而且所述估计装置(27)被设立为基于所述3D图像信息对所述取向通过确定相应的表面(21)的空间取向(31)来进行确定。
5.根据上述权利要求中任一项所述的环境传感设备(11),其中所述估计装置(27)为了估计所述至少一个表面(21)的相应的表面法线(29)的取向(31)而被设立为运行数字表面模型,所述数字表面模型根据所述至少一个摄像机图像(18)来估计所述至少一个周围环境对象(13、14)的相应的形状和/或姿态并且据此针对所述至少一个表面(21)来确定所述相应的表面法线(29)的取向(31)。
6.根据上述权利要求中任一项所述的环境传感设备(11),其中所述估计装置(27)和/或所述处理器装置(17)分别被设立为确定所述至少一个表面(21)的相应的反射率,并且所述估计装置被设立为:借助于所述控制信号(33),只针对所述表面(21)中的其反射率大于预先确定的阈值和/或其数目小于预先确定的最高数目的这种表面来减少反射(22)的成像。
7.根据上述权利要求中任一项所述的环境传感设备(11),其中所述估计装置(27)和/或所述处理器装置(17)分别被设立为给所述至少一个周围环境对象分配就碰撞风险而言的相应的关键程度,并且所述估计装置(27)被设立为:借助于所述控制信号(33),只针对关键程度最高的周围环境对象(13、14)减少反射(22)的成像。
8.一种机动车(10),其具有根据上述权利要求中任一项所述的环境传感设备(11)。
9.一种用于抑制在机动车(10)的环境传感设备(11)的摄像机(15)的至少一个摄像机图像(18)中的反射(22)的成像的方法,其中
- 所述摄像机(15)产生所述至少一个摄像机图像(18),在所述摄像机图像中使所述机动车(10)的环境(12)成像,而且在此
- 偏振滤光装置(16)对来自所述环境(12)在所述摄像机(15)中射入的光(25)就预先确定的偏振方向(P)而言进行衰减,而且
- 处理器装置(17)在所述至少一个摄像机图像(18)中识别至少一个周围环境对象(13、14),
其特征在于,
- 估计装置(27)估计在所述至少一个周围环境对象(13、14)上的至少一个表面(21)的相应的表面法线(29)的相应的取向(31),而且
- 调节装置(32)根据所述至少一个表面法线(29)的相应的所估计的取向(31)来确定所述偏振滤光装置(16)的相应的目标偏振方向(32)并且按照相应所确定的目标偏振方向(32)来产生控制信号(33),通过所述目标偏振方向,在所述至少一个摄像机图像(18)中使在相应的表面(21)上的反射(22)的相应的成像减少,而且
- 所述偏振滤光装置(16)根据所述控制信号(33)来调整所述偏振滤光装置的偏振方向(P)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018216983.7A DE102018216983B3 (de) | 2018-10-04 | 2018-10-04 | Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung |
DE102018216983.7 | 2018-10-04 | ||
PCT/EP2019/075693 WO2020069919A1 (de) | 2018-10-04 | 2019-09-24 | Verfahren zum unterdrücken von abbildungen von reflexionen in zumindest einem kamerabild einer kamera einer umfeldsensorvorrichtung eines kraftfahrzeugs sowie entsprechende umfeldsensorvorrichtung |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112752947A true CN112752947A (zh) | 2021-05-04 |
Family
ID=68136338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980065022.7A Pending CN112752947A (zh) | 2018-10-04 | 2019-09-24 | 用于抑制在机动车的环境传感设备的摄像机的至少一个摄像机图像中的反射的成像的方法以及相对应的环境传感设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11425314B2 (zh) |
EP (1) | EP3861280B1 (zh) |
CN (1) | CN112752947A (zh) |
DE (1) | DE102018216983B3 (zh) |
WO (1) | WO2020069919A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3109462B1 (fr) * | 2020-04-17 | 2022-11-25 | Idemia Identity & Security France | Dispositif de surveillance routière |
US20230119634A1 (en) * | 2021-10-20 | 2023-04-20 | Waymo Llc | Identification of real and image sign detections in driving applications |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8508646B2 (en) * | 2008-12-22 | 2013-08-13 | Apple Inc. | Camera with internal polarizing filter |
DE102011088130B4 (de) | 2011-12-09 | 2023-03-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung einer Bremssituation |
KR101327032B1 (ko) | 2012-06-12 | 2013-11-20 | 현대자동차주식회사 | 카메라 영상의 반사광 제거 장치 및 방법 |
DE102014017229A1 (de) | 2014-11-20 | 2016-05-25 | Daimler Ag | Kamerasystem für einen Kraftwagen und Kraftwagen mit einem Kamerasystem |
JP2016126410A (ja) * | 2014-12-26 | 2016-07-11 | 株式会社リコー | 撮像認知システム |
JP6784943B2 (ja) * | 2015-09-30 | 2020-11-18 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10839248B2 (en) * | 2015-09-30 | 2020-11-17 | Sony Corporation | Information acquisition apparatus and information acquisition method |
JP6801666B2 (ja) * | 2015-09-30 | 2020-12-16 | ソニー株式会社 | 画像処理装置と画像処理方法および車両制御システム |
US9824295B2 (en) * | 2016-02-18 | 2017-11-21 | L-3 Communications Cincinnati Electronics Corporation | Imaging systems and methods including obscurant characterization |
US10812735B2 (en) * | 2016-11-15 | 2020-10-20 | Sony Corporation | Image processing device and image processing method |
DE102017006781A1 (de) * | 2017-07-18 | 2018-01-04 | Daimler Ag | Verfahren und Vorrichtung zum Einstellen eines Polarisationsfilters eines Kamerasystems in einem Kraftwagen und Kraftwagen mit einer solchen Vorrichtung |
JP2020166479A (ja) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | 運転支援装置 |
-
2018
- 2018-10-04 DE DE102018216983.7A patent/DE102018216983B3/de not_active Expired - Fee Related
-
2019
- 2019-09-24 WO PCT/EP2019/075693 patent/WO2020069919A1/de unknown
- 2019-09-24 US US17/282,715 patent/US11425314B2/en active Active
- 2019-09-24 EP EP19782495.6A patent/EP3861280B1/de active Active
- 2019-09-24 CN CN201980065022.7A patent/CN112752947A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2020069919A1 (de) | 2020-04-09 |
US11425314B2 (en) | 2022-08-23 |
EP3861280A1 (de) | 2021-08-11 |
DE102018216983B3 (de) | 2019-11-28 |
EP3861280B1 (de) | 2022-04-13 |
US20220006936A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
US10818172B2 (en) | Method, device and system for processing startup of preceding vehicle | |
US8582809B2 (en) | Method and device for detecting an interfering object in a camera image | |
JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
US9840253B1 (en) | Lane keeping system for autonomous vehicle during camera drop-outs | |
JP6459659B2 (ja) | 画像処理装置、画像処理方法、運転支援システム、プログラム | |
US20150120160A1 (en) | Method and device for detecting a braking situation | |
US20170220875A1 (en) | System and method for determining a visibility state | |
JP2005515565A (ja) | 画像センサシステムにおける視界妨害物の識別方法および識別装置 | |
EP1671216A2 (en) | Moving object detection using low illumination depth capable computer vision | |
KR102420289B1 (ko) | 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차 | |
CN112504996A (zh) | 光学表面劣化检测和补救 | |
CN109703555B (zh) | 用于探测道路交通中被遮蔽的对象的方法和设备 | |
KR102333107B1 (ko) | 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법 | |
CN112752947A (zh) | 用于抑制在机动车的环境传感设备的摄像机的至少一个摄像机图像中的反射的成像的方法以及相对应的环境传感设备 | |
US9524645B2 (en) | Filtering device and environment recognition system | |
US20140139672A1 (en) | Notification control method and notification control device | |
KR101276073B1 (ko) | 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법 | |
US11861914B2 (en) | Object recognition method and object recognition device | |
Kuno et al. | Detection of road conditions with CCD cameras mounted on a vehicle | |
US20200193178A1 (en) | Method and apparatus for object detection in camera blind zones | |
JP2006107000A (ja) | 画像異常判定方法及び画像異常判定装置 | |
JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 | |
JP2019091327A (ja) | 立体物検出装置 | |
US20230122293A1 (en) | Occluded oncoming vehicles detection systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |