CN101281914A - 成像器半导体器件、摄像机系统和用于建立图像的方法 - Google Patents
成像器半导体器件、摄像机系统和用于建立图像的方法 Download PDFInfo
- Publication number
- CN101281914A CN101281914A CNA2008100049309A CN200810004930A CN101281914A CN 101281914 A CN101281914 A CN 101281914A CN A2008100049309 A CNA2008100049309 A CN A2008100049309A CN 200810004930 A CN200810004930 A CN 200810004930A CN 101281914 A CN101281914 A CN 101281914A
- Authority
- CN
- China
- Prior art keywords
- imager
- bij
- pkl
- semiconductor element
- measuring unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 10
- 230000004438 eyesight Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 17
- 230000005855 radiation Effects 0.000 abstract description 3
- 239000002131 composite material Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 5
- 239000011324 bead Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000002800 charge carrier Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- ZINJLDJMHCUBIP-UHFFFAOYSA-N ethametsulfuron-methyl Chemical compound CCOC1=NC(NC)=NC(NC(=O)NS(=O)(=O)C=2C(=CC=CC=2)C(=O)OC)=N1 ZINJLDJMHCUBIP-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及成像器半导体器件、摄像机系统和用于建立图像的方法,该成像器半导体器件(6)用于汽车的摄像机系统(4),它包括:成像器像素(Bij)的二维的、集成的布置,用于接收视觉的或者红外射线(IR)并且输出图像信号(bij)。本发明规定,在该成像器半导体器件(6)上集成用于通过视觉的或者红外射线(IR)的传播时间测量的距离确定的测量单元(Pkl)、尤其是PMD单元。由此,实现单目的摄像机系统(4)以及其应用的方法,其中,发射用于传播时间测量的被调制的红外射线(IR),并且从由成像器像素(Bij)输出的图像信号(bij)和由测量单元(Pkl)输出测量单元信号(pkl)建立具有图像和深度显示的复合的图像,它包含测量单元(Pkl)的距离信息。
Description
技术领域
本发明涉及一种成像器半导体器件、带有这种成像器半导体器件的摄像机系统和用于借助这种摄像机系统建立图像的方法。本发明的摄像机系统尤其可以使用在汽车中。
背景技术
在汽车中部分地使用单目摄像机,它检测在汽车前方的和必要时汽车旁边的道路状况,其中所检测的图像被直接再现在显示器上或者在再处理装置中借助图像处理算法被分析。在所述分析中,可以由接收的灰度值图像或彩色图像求得道路情形的不同细节,例如借助轮辙识别、交通指示识别、物体识别或者用于指示的图像预处理。这种摄像机的角度分辨率在每度大约15至25个像素。这种摄像机图像因此是高分辨的并且提供相对好的对比度,使得物体可以以高的横向分辨率被观测。灰度值图像或彩色图像在此也能够实现物体的边缘检测。
这种摄像机系统通常具有成像器芯片,在其上侧构造有成像器像素(摄像像素)的矩阵布置,其中摄像机系统的光学装置检测在汽车前方的和必要时在汽车旁边的大致呈楔形的图像区域并且将其成像到成像器像素的矩阵布置上,这些成像器像素接着相应地被读出。
然而,在单目的图像处理中的缺点是,不能直接地测量距离。为此,人们通常以对于表面的假设和由物体的下边缘的相应的距离估计来应付。然而这种方法是不准确的。
为了求得距离或者说图像深度(Bildtiefen),已知的是PMD(光混合探测器(Photomischdetektor)photo mixer device)摄像机。在此,优选在远红外区中例如在870nm上的红外射线被用于传播时间的测量,其中,由在所发射的和所接收的IR射线之间的相位差可以推断出距离。由红外照明装置,可以以例如20mHz的调制频率发射已调的IR射线,并且被在检测区域中的物体反射的射线接着被PMD单元接收,这些PMD单元通常以CMOS技术来制造。为了排除非单值性或者数学上的多重解,通常使用多于一个的调制频率。由IR射线的被接收的光子所产生的电子还在PMD单元的光敏的半导体区域中借助所谓的载流子抖动选择性地被分离,为此,使用与IR射线的调制相耦合的参考信号。这些PMD单元由此提供带有距离信息的亮度图像信号。
这里,PMD的难度在于大面积成像器的发展,以便能够以更高的分辨率观察到更大的区域。此外,PMD-CMOS-单元被运行在其饱和状态附近,以便能够实现尽可能好的三维测量。然而,由此,对比度在该灰度值区域中受到损害。因此产生具有极高的对比度即小的灰度值分级和相对小的分辨率的图像,使得常规的图像处理是困难的。
DE 100 02 069 A1记载了一种用于改善汽车中可见度的装置,其中照明光学系统稳定地发射出脉动的红外光,并且接收光学系统接收所发射的光的被反射的部分。IR射线被汽车的CCD摄像机接收并且接着作为可见的图像被显示在显示屏上。这里,激光二极管的脉动运行与CCD摄像机的快门时间同步。
DE 40 07 646 A1记载了另一种带有照明光学系统、接收光学系统和显示光学系统的装置。在此,摄像区域代替地或者通过激光射束的二维射束扩径同时被照明,或者该激光射束在仅仅一个方向上被导向,同时在正交的第二方向上窄地聚束并且沿一空间角度转动,或者被聚束的激光射束在用于采样的二维上被调节。
发明内容
本发明基于这样的思想:将带有成像器像素(摄像像素)的成像器芯片与用于通过传播时间测量来确定距离的传感器在硬件上耦合,其中这些成像器像素在视觉的或者红外的范围中检测射线并且提供高分辨率的图像。为此,在该成像器芯片上集成测量单元;这些测量单元尤其可以为PMD单元。
按照本发明,由此能够实现由成像器像素所输出的成像器图像信号与测量单元信号的直接耦合,因为与成像器像素成比例的测量单元的空间布置是已知的。由此,在一些位置上包含深度说明或者距离说明的高分辨率的图像被接收,它们可被用作用于建立三维显示的样本。
在此,根据本发明认识到,该成像器摄像技术和PMD单元技术相互是极好的补充。成像器图像具有高分辨率并且提供好的对比度,使得可以以好的横向分辨率测量物体。低分辨率的PMD图像相反尤其是在近区域中提供好的距离数据。因为两个系统基于原则上相同的半导体技术即CCD和/或CMOS来构建,因此它们已经可以在硬件上被组合。按照本发明,在此,在共同的半导体器件或者芯片上进行集成。
作为用于深度测量的测量单元,代替PMD单元原则上也可以使用其他的、用于借助传播时间测量来确定距离的测量元件,例如具有脉动光的激光-LED。然而,PMD单元的特别的优点在于:与成像器像素原则上相同的制造工艺以及在半导体材料中已经完成所发射的和所接收的光之间的相位信息耦合或者混合,使得带有距离信息或者深度信息的直接的测量信号被输出。
PMD单元一方面可以被设置成在成像器像素的矩阵布置上规则地分布,以便实现图像区域的均匀的扫描。然而因为在这种均匀地扫描时会产生PMD图像的具有例如一角度(Winkelgrad)的分辨率,所以PMD单元可有时不能检测到在横向或者垂直方向上具有较小的尺寸的物体。在此,根据本发明认识到,这尤其可能是具有大的垂直长度和小的横向长度的行人。因而,按照一个实施形式,PMD单元可以不被设置为均匀的矩阵状,而是被设置成彼此错开的行,使得具有垂直长度的、可能不被测量单元的一行所检测到的长形物体至少能被相邻的行检测到。
根据本发明还认识到,对于例如驾驶员辅助系统通常这样是足够的:在确定的图像区域中可以测量深度。这尤其可以是下部的图像区域,因为通常所有的物体都在地面上运动,飞行的物体几乎不会出现或者是不重要的。
因此,PMD单元可以仅仅或者有重点地设置在成像器芯片的部分区域中,并且尤其用于测量下部的图像区域。这些PMD单元也可以被设置为密集的阵列或者与成像器像素的矩阵相邻接的特定的矩阵。特别地,在这种布置中所使用的光学系统可以相应地被适配,使得PMD单元对于功能感兴趣的区域进行深度测量(tiefenvermessen)。通过将成像器像素和PMD单元固定地集成到一个芯片中,在已知的光学系统中可以自动地给出在成像器像素和PMD之间的交叉校准(Kreuzkalibrierung),使得所测量的深度总是可以对应图像区域。
因为PMD单元具有质量上较差的图像并且尤其是较小的分辨率,所以在成像器像素阵列中代替一些成像器像素使用的PMD单元首先提供在图像中的固定的图案(Muster)。它们尤其构成在灰度梯度图像或者彩色图像中的亮斑,视成像器像素与PMD单元的大小比例而定地,这些亮斑可代替成像器矩阵的多个像素。对此,按照本发明,可以通过例如根据附近的成像器像素的内插来进行“死像素”校正。为此,可以采用已知的算法,因为市场上常见的成像器——可能在一段时间之后——也具有功能不完全的像素即“死像素”,它们不再会提供相应的灰度梯度图像,而是不再响应并且在该图像中始终是黑的。这种固定的图案在图像处理算法已知的情况下被认识并且通过死像素校正来处理。这种图像处理算法按照本发明也可在校正由所使用的PMD单元造成的影响时采用。
按照本发明,由此可以以相对小的花费、尤其是标准制造方法来制造成像器半导体器件,该成像器半导体器件可以实现具有附加的深度测量的、好的光学图像处理。所提供的、要在显示器上显示的图像在质量上可以与不带附加的PMD单元的成像器图像相同或者几乎相同,并且可以附加地提供与所检测的物体的显示和确定相关的深度信息。
由此,按照本发明,也可以通过单目的摄像机系统实现具有深度说明的高质量的图像处理。
附图说明
图1示出了带有本发明的摄像机系统的汽车的道路状况和其他的物体;
图2示出了按照该实施形式的本发明的摄像机系统;
图3示出了具有在成像器芯片上的PMD单元的均匀的矩阵分布的、按照第一实施形式的成像器芯片的俯视图;
图4示出了具有成像器芯片的PMD单元的非均匀的矩阵分布的、按照另一实施形式的成像器芯片的俯视图;
图5a,b示出了按照几个实施形式的、PMD单元在成像器芯片上的不同的错开的布置;
图6示出了按照另外的实施形式的、具有单独的摄像像素区域和PMD单元区域的成像器芯片的俯视图;
图7示出了本发明的方法的流程图。
具体实施方式
根据图1,在道路状况1中,汽车2行驶在车道3中。汽车2具有在图2中详细示出的本发明的摄像机系统4,该摄像机系统检测在该汽车2前面和旁边的一个基本上呈楔形的光学的检测区域(摄像区域)。
摄像机系统4在其检测区域5中以不同的距离d检测车道3和此外存在于车道3上以及旁边的不同物体O1,O2,O3。本发明的摄像机系统4具有光学装置12、成像器芯片6、带有例如一个或多个IR-LED的红外(IR)照明装置7、用于以第一信号S1控制IR照明装置7并且接收成像器芯片6的信号bij和pkl的控制装置8,以及分析装置10。在此,控制装置8和分析装置10可以组合或者集成为摄像机系统4的控制器8,10。光学装置12和成像器芯片6优选设置在挡风板9的后面,该照明装置7可以设置在挡风板9的外部,例如设置在保险杠的区域中。
按照本发明,成像器像素(摄像像素)Bij和PMD单元Pkl被构造在成像器芯片6的共同的衬底11上,其中图3至6示出了具有成像器像素Bij和PMD单元Pkl的不同布置的成像器芯片6的俯视图。成像器像素Bij以已知的方式设置成由行和列组成的矩阵布置,并且经过光学装置12聚束(gebuendelt)地接收由检测区域5发射的射线或者光。成像器像素Bij以CMOS或者CCD技术构造并且根据不同的实施形式可以用于接收视觉范围或也可以用于接收IR范围中的光。
在一个带有在视觉范围敏感的成像器像素Bij的实施形式中,成像器芯片用作视频摄像机用于接收灰度值图像或彩色图像,其中灰度值图像或彩色图像接着可以在汽车中的显示器上被显示和/或借助图像处理算法检查相关的特征,例如车道3或者与汽车2相关的通道以及物体O1,O2,O3,例如车道标记、交通指示牌、信号灯等等。在这样分析图像时,可以由分析装置10补充地也识别由于与物体O1,O2,O3的可能的碰撞引起的危险状况,并且必要时向驾驶者发出信号或者也导致对于行驶动态或刹车系统的干预。
在具有在IR范围中敏感的成像器像素Bij的实施形式中,摄像机系统优选用作夜视摄像机系统,以便能够以IR射线照明宽的检测区域5而不会对反向车辆或者其他交通参与者造成眩目,并且接着可以在显示器上以可见光、例如也以灰度显示出该图像。
PMD(光混合探测器,photo mixer device)单元Pkl探测由红外线照明装置7在IR检测区域5中反射的光或者IR射线。在此,由车道3反射的和由物体O1,O2,O3反射的IR射线被检测到并且被分析。IR照明装置以已知的方式发射被调制的光信号,例如具有800至2000nm波长以及两个或者多个大约20MHz调制频率的IR射线。这里,控制装置8控制IR照明装置7并且耦合地控制成像器芯片6的PMD单元Pkl,使得在PMD单元Pkl的半导体材料中已经借助载流子抖动根据由于不同的光程差产生的相位差实现分离。PMD单元在此提供具有在灰度值图像中的较小的对比度并且具有距离说明的亮度图像信号。
成像器像素Bij和PMD单元Pkl在成像器芯片6上以已知的空间布置相对彼此被设置,使得由它们发出的信号bij和pkl可以相应地由控制装置8或者分析装置10相互对应。
按照图3的实施形式,成像器像素Bij被设置成2D矩阵布置并且每几个例如九个相邻的成像器像素由一个PMD单元Pkl代替。原则上也可以是:每一个成像器像素Bij由恰好一个PMD单元Pkl代替;然而PMD单元的尺寸通常被确定得较大。根据图3,PMD单元Pkl本身又构成矩阵布置,也就是说它们被布置成在Bij矩阵中均匀分布并且因此在垂直和水平方向上检测在检测区域5中的分别均匀间距的点。因此,可以在整个PMD芯片6上以确定的间距测量距离或者深度。
图4示出了另一种实施形式,其中PMD单元Pkl仅仅被设置在PMD芯片6的部分区域、例如上部区域中,并且在那里又表现为均匀的分布。基于通过光学装置12的光学成像,PMD芯片6的在图4上部所示出的部分区域接收具有车道3并且通常也具有全部物体O1,O2,O3的下部图像区域或者下部检测区域。由此,借助图4的成像器芯片实现在下半部图像中的深度测量;必要时在水平线上方借助物体识别进行深度测量。
成像器芯片6的成像器像素Bij例如能够实现1/20度的分辨率。如果例如每第二十个摄像像素Bij通过一个PMD单元Pkl来代替,由此能够通过PMD单元Pkl实现1度分辨率的深度采样。在PMD有效范围为大约25m的情况下,这相应于PMD测量射束之间或者由PMD测量形成的深度采样点或者深度采样样本之间的43cm的距离。因为在这种栅格测量的情况下可能不能检测到行人,所以可以按照图5a或者5b将PMD单元Pkl彼此错开地布置,即PMD单元Pkl的各个行彼此错开。图5a示出了在每第二个行具有PMD单元Pkl的情况下的中心错位布置,图5b示出了越过四个行的阶梯式的错位布置。虽然行人也许在具有行号1的相同行的两个彼此相继的PMD单元Pkl,P(k+1)1之间不被检测到;然而基于其较大的垂直尺寸,他可能被具有行号1+1,1+2的相邻行的PMD单元Pk(1+1)或者Pk(1+2)检测到。
因为PMD单元Pkl被尽可能饱和地运行并且由此输出相对亮的图像值,它们在所输出的图像中表现为亮斑,所以可以由分析装置10执行作为图像处理算法的死像素校正。因此,分析装置10使用这种已知的算法,以便将由PMD单元Pkl代替的摄像像素通过内插法或者在成像器特性曲线已知的情况下由灰度值推导来补偿。
图6示出了另一种实施形式,其中PMD单元Pkl设置在单独的区域16中并且由此成像器像素Bij不被其干扰,或者(不同于所示出地)在Bij的矩阵中设置一些少量的PMD单元Pkl。由此,例如PMD阵列16可以装在具有成像器像素Bij的成像器区域17上。当通过PMD单元的图像引起的干扰超过对于功能来说不再可接受的尺度时,例如可以选择这种实施形式。PMD区域16有利地这样定位,使得下部的检测区域5即下部的图像区域被检测,这样又基于通过光学装置12的成像,成像器芯片6的上部的部分大体上被占据。在这种实施形式中也通过在已知的光学装置12中的固定的组合自动地给出在由成像器像素Bij产生的图像和PMD单元Pkl的深度值之间的交叉校准,使得深度测量值可以对应于图像区域。
按照本发明的用于图像检测和图像建立的方法按照图7的流程图在步骤St0中在激活摄像机系统4、例如接通点火系统或者起动发动机时被起动。在步骤St1中,由成像器芯片6的成像器像素Bij连续地接收图像信号bij并且输出给分析装置10。此外,连续地按照步骤St2由IR照明装置7产生被调制的IR射线IR,并且在摄像机系统4的检测区域5中被发射,接着,被反射的IR射线由PMD单元Pkl接收并且由此输出具有亮度和传播时间值(距离说明)的PMD信号pkl。步骤St1和St2,St3在此同时或者并行地进行,其中像素Bij和单元Pkl一般逐步地被读出。
在步骤St4中,信号bj和pkl基于成像器芯片6上的已知的组合或者空间布置被相互对应,使得PMD信号Pkl的距离数据也可以被对应于相邻的成像器像素Bij的图像信号bij或者基于已知的交叉校正也被对应于更远地有间距的成像器像素Bij的图像信号bij。
在步骤St5中实现向驾驶员的图像输出,例如输出到在仪表盘区域中的显示器上或者也例如通过投影输出到挡风板上。此外,步骤St5也可以基于分析来进行报警信号的输出和/或进行行驶动态干预包括刹车干预。
如通过图7的流程图的回路示出的一样,该方法在此连续地进行。
Claims (16)
1.用于汽车的摄像机系统(4)的成像器半导体器件,它至少包括:
用于接收视觉的或者红外的射线(IR)并且输出图像信号(bij)的成像器像素(Bij)的二维的、集成的布置,
其特征在于,
在该成像器半导体器件(6)上集成用于通过视觉的或者红外射线(IR)的传播时间测量来确定距离的测量单元(Pkl)。
2.根据权利要求1的成像器半导体器件,其特征在于,这些成像器像素(Bij)被设置成矩阵布置,在其中在每一个矩阵位置或者多个相邻的矩阵位置上设置一个或多个用于确定深度的测量单元(Pkl)。
3.根据权利要求2的成像器半导体器件,其特征在于,至少一些、优选所有的测量单元(Pkl)被成像器像素(Bij)围绕。
4.根据权利要求2或3的成像器半导体器件,其特征在于,这些测量单元(Pkl)被设置成由行和列构成的矩阵布置,这些行和列具有相对于所述成像器像素(Bij)的矩阵布置多倍的间距。
5.根据权利要求2至4之一的成像器半导体器件,其特征在于,这些测量单元(Pkl)被设置成行或列,它们与相邻的具有测量单元(Pkl)的行或列错开。
6.根据前述权利要求之一的成像器半导体器件,其特征在于,这些测量单元(Pkl)仅仅被设置在成像器像素(Bij)的二维布置的部分区域中。
7.根据前述权利要求之一的成像器半导体器件,其特征在于,这些测量单元(Pkl)的至少一部分设置在一个单独的测量单元区域(16)中,例如作为测量单元矩阵,它与具有成像器像素(Bij)的成像器像素区域(17)相邻接。
8.根据前述权利要求之一的成像器半导体器件,其特征在于,其特征在于,所述成像器像素(Bij)和测量单元(Pkl)作为CCD元件和/或CMOS元件被集成在共同的衬底(11)上。
9.根据前述权利要求之一的成像器半导体器件,其特征在于,这些测量单元(Pkl)是用于通过红外射线(IR)的传播时间测量来确定深度的PMD单元。
10.单目的摄像机系统(4),具有
根据前述权利要求之一的成像器半导体器件(6),
用于发射用于传播时间测量的被调制的红外射线(IR)的照明装置(7),
用于控制所述成像器半导体器件(6)和所述照明装置(7)的控制装置(8),
用于接收和分析由成像器像素(Bij)输出的图像信号(bij)和由所述测量单元(Pkl)输出的测量单元信号(pkl)的分析装置(10),其中该分析装置(10)分析所述测量单元信号(pkl)中的距离信息并且建立具有图像显示和深度显示的组合图像。
11.根据权利要求10的摄像机系统,其特征在于,对于成像器像素(Bij)的二维矩阵的被测量单元信号(Pkl)替代的矩阵位置,所述分析装置(10)借助由周围的成像器像素(Bij)的图像信号(bij)的内插求得图像值。
12.用于使用根据权利要求10或11的单目的摄像机系统建立图像的方法,其中
读出该成像器半导体器件(6)的成像器像素(Bij)的成像器像素图像信号(bij),
用被调制的射线照明检测区域(5),
读出该成像器半导体器件(6)的测量单元(Pkl)的测量单元信号(pkl),
由所述测量单元信号(pkl)求得距离信息(d),并且
建立由成像器图像信号(bij)和距离信息(d)构成的组合图像并且将其输出到显示装置上。
13.根据权利要求12的方法,其特征在于,从所述测量单元信号(pkl)的所求得的距离信息(d)由成像器像素(Bij)与测量单元(Pkl)之间的已知的交叉校正来求得用于成像器像素(Bij)的图像信号(bij)的距离信息(d),并且在所输出的图像中显示具有所求得的距离信息(d)的图像信号(bij)。
14.根据权利要求12或13的方法,其特征在于,对于成像器像素(Bij)的二维矩阵的被测量单元(Pkl)代替的矩阵位置,借助由周围的成像器像素(Bij)的图像信号(bij)的内插求得图像值。
15.根据权利要求14的方法,其特征在于,对于所述测量单元(Pkl)的所述矩阵位置,通过带有死像素校正的图像算法求得图像值,其中,时间上不改变的图像信号被识别为有错误并通过内插来代替。
16.根据权利要求12至15之一的方法,其特征在于,由该照明装置(7)发出高频调制的IR射线(IR),并且该成像器半导体器件(6)的构造为PMZ单元的测量单元(Pkl)用一个参考信号来控制。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102007004348A DE102007004348A1 (de) | 2007-01-29 | 2007-01-29 | Imager-Halbleiterbauelement, Kamerasystem und Verfahren zum Erstellen eines Bildes |
DE102007004348.3 | 2007-01-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101281914A true CN101281914A (zh) | 2008-10-08 |
CN101281914B CN101281914B (zh) | 2013-06-12 |
Family
ID=39415372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100049309A Expired - Fee Related CN101281914B (zh) | 2007-01-29 | 2008-01-29 | 成像器半导体器件、摄像机系统和用于建立图像的方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1953568A1 (zh) |
CN (1) | CN101281914B (zh) |
DE (1) | DE102007004348A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109074069A (zh) * | 2016-03-29 | 2018-12-21 | 智动科技有限公司 | 具有改进的视觉检测能力的自主车辆 |
CN109154491A (zh) * | 2016-05-06 | 2019-01-04 | 飞利浦照明控股有限公司 | 用于自动化的照明器检测与分类的系统和方法 |
US10809359B2 (en) | 2016-08-24 | 2020-10-20 | Ouster, Inc. | Optical system for collecting distance information within a field |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009036595A1 (de) * | 2009-08-07 | 2011-02-10 | Conti Temic Microelectronic Gmbh | Bildgebender Multifunktions-Sensor |
DE102010003409B4 (de) | 2010-03-29 | 2022-06-09 | pmdtechnologies ag | Lichtlaufzeit-Kamera |
DE102010003411A1 (de) * | 2010-03-29 | 2011-09-29 | Ifm Electronic Gmbh | Lichtlaufzeit-Kamera |
US8648702B2 (en) * | 2010-08-20 | 2014-02-11 | Denso International America, Inc. | Combined time-of-flight and image sensor systems |
DE102011089629B4 (de) | 2010-12-22 | 2022-08-04 | pmdtechnologies ag | Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen |
DE102010055865A1 (de) | 2010-12-22 | 2011-07-28 | Daimler AG, 70327 | Kameravorrichtung für einen Kraftwagen |
CN103863189A (zh) * | 2012-12-13 | 2014-06-18 | 深圳市赛格导航科技股份有限公司 | 汽车夜视防眩晕系统 |
DE102015101902A1 (de) * | 2015-02-10 | 2016-08-11 | Osram Opto Semiconductors Gmbh | Detektor und Lidar-System |
DE102017009516A1 (de) | 2017-10-12 | 2018-04-12 | Daimler Ag | Erfassungseinheit |
DE102018202240A1 (de) * | 2018-02-14 | 2019-08-14 | Osram Gmbh | Verfahren zur objekterkennung |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4007646C2 (de) | 1990-03-10 | 2003-08-07 | Daimler Chrysler Ag | Anordnung zur Verbesserung der Sicht in Fahrzeugen |
DE19704496C2 (de) * | 1996-09-05 | 2001-02-15 | Rudolf Schwarte | Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle |
DE19821974B4 (de) * | 1998-05-18 | 2008-04-10 | Schwarte, Rudolf, Prof. Dr.-Ing. | Vorrichtung und Verfahren zur Erfassung von Phase und Amplitude elektromagnetischer Wellen |
DE10002069C2 (de) | 2000-01-18 | 2002-01-24 | Daimler Chrysler Ag | Anordnung zur Verbesserung der Sicht in Fahrzeugen |
CA2424139C (en) | 2000-10-09 | 2008-07-15 | S-Tec Gmbh | Sensing the phase and amplitude of electromagnetic waves |
US7248344B2 (en) | 2001-04-04 | 2007-07-24 | Instro Precision Limited | Surface profile measurement |
DE10147808A1 (de) * | 2001-09-27 | 2003-04-10 | Conti Temic Microelectronic | Bildaufnehmer, insbesondere zur dreidimensionalen Erfassung von Objekten oder Szenen |
DE102004039740A1 (de) * | 2004-08-17 | 2006-02-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zu Abstandsbestimmung und Objektbestimmung |
-
2007
- 2007-01-29 DE DE102007004348A patent/DE102007004348A1/de not_active Ceased
-
2008
- 2008-01-04 EP EP08100088A patent/EP1953568A1/de not_active Withdrawn
- 2008-01-29 CN CN2008100049309A patent/CN101281914B/zh not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109074069A (zh) * | 2016-03-29 | 2018-12-21 | 智动科技有限公司 | 具有改进的视觉检测能力的自主车辆 |
CN109154491A (zh) * | 2016-05-06 | 2019-01-04 | 飞利浦照明控股有限公司 | 用于自动化的照明器检测与分类的系统和方法 |
US10809359B2 (en) | 2016-08-24 | 2020-10-20 | Ouster, Inc. | Optical system for collecting distance information within a field |
US10948572B2 (en) | 2016-08-24 | 2021-03-16 | Ouster, Inc. | Optical system for collecting distance information within a field |
US11422236B2 (en) | 2016-08-24 | 2022-08-23 | Ouster, Inc. | Optical system for collecting distance information within a field |
Also Published As
Publication number | Publication date |
---|---|
CN101281914B (zh) | 2013-06-12 |
EP1953568A1 (de) | 2008-08-06 |
DE102007004348A1 (de) | 2008-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101281914B (zh) | 成像器半导体器件、摄像机系统和用于建立图像的方法 | |
CN101296326B (zh) | 特别是用于车辆的夜视系统和建立夜视图像的方法 | |
US11172186B2 (en) | Time-Of-Flight camera system | |
US11237672B2 (en) | Apparatus integrated with display panel for TOF 3D spatial positioning | |
CN101900534B (zh) | 三维形状测量设备和三维形状测量方法 | |
US20170317748A1 (en) | Vehicle positioning by visible light communication | |
CN104039610B (zh) | 摄像机系统、尤其用于车辆的摄像机系统 | |
US20110175981A1 (en) | 3d color image sensor | |
KR20050099623A (ko) | 차량의 내부 또는 외부 장면의 3차원 검출용 차량 장치 | |
JP2004530144A (ja) | 画像情報を提供する方法 | |
KR102240817B1 (ko) | 티오에프 카메라에서 깊이 지도 생성 방법 | |
CN109143167A (zh) | 一种障碍信息获取装置及方法 | |
CN117392423A (zh) | 基于激光雷达的目标物的真值数据预测方法、装置及设备 | |
US11932109B2 (en) | Vehicle-mounted display system | |
US20220368873A1 (en) | Image sensor, imaging apparatus, and image processing method | |
CN110471050A (zh) | 结构光成像系统和扫描场景的方法 | |
CN112925351B (zh) | 一种视觉机器光源控制方法、装置 | |
CN115769258A (zh) | 用于漫射照明和结构光的投影仪 | |
JPH09311998A (ja) | 物体検出装置とそれを用いた駐車場管理システム | |
EP3543741A1 (en) | Light modulating lidar system | |
CN110603482B (zh) | 背光基板及其制造方法、和显示装置 | |
US20240071032A1 (en) | Apparatus and method for a vehicle recognizing an object using pattern recognition | |
US20230266472A1 (en) | System and method for performing active distancemeasurements | |
CN111126348B (zh) | 一种显示和输入装置 | |
TWI831234B (zh) | 偵測物體並進行分類之方法,及相關之系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 Termination date: 20170129 |
|
CF01 | Termination of patent right due to non-payment of annual fee |