CN101430796B - 图像产生方法和设备 - Google Patents

图像产生方法和设备 Download PDF

Info

Publication number
CN101430796B
CN101430796B CN2008101096398A CN200810109639A CN101430796B CN 101430796 B CN101430796 B CN 101430796B CN 2008101096398 A CN2008101096398 A CN 2008101096398A CN 200810109639 A CN200810109639 A CN 200810109639A CN 101430796 B CN101430796 B CN 101430796B
Authority
CN
China
Prior art keywords
light
image
destination object
color value
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101096398A
Other languages
English (en)
Other versions
CN101430796A (zh
Inventor
姜柄敏
金道均
李基彰
蔡宣爀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101430796A publication Critical patent/CN101430796A/zh
Application granted granted Critical
Publication of CN101430796B publication Critical patent/CN101430796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

提供了一种图像产生方法和设备。所述图像产生方法包括:将具有预定波长的光以预定间隔发射到目标对象;使从目标对象反射的光中具有产生彩色图像所需要的波长的光通过,并根据通过的光检测颜色值;使用在发射具有所述预定波长的光的时间段内检测的颜色值来产生目标对象的深度图像;使用在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值来产生目标对象的彩色图像。因此,所述图像产生方法可在保持彩色图像的分辨率的同时产生具有高分辨率的深度图像。

Description

图像产生方法和设备
技术领域
本发明的一个或多个实施例涉及一种图像产生方法和设备,更具体地讲,涉及一种用于同时产生彩色图像和深度图像的图像产生方法和设备。
背景技术
3D图像感测技术能够实时获取包括形成图像的每个像素的R、G和B值的颜色信息和表示像素的深度值的深度信息,并向用户提供所述颜色信息和深度信息以允许用户体验视觉的逼真性和虚拟环境。所述3D图像感测技术被广泛用于面部跟踪和面部识别领域、识别用户的动作的游戏领域、数码相机领域、根据乘客的位置或身体大小来控制气囊系统的控制领域及导航领域等。
发明内容
本发明的一个或多个实施例提供一种在不降低彩色图像的分辨率的情况下产生深度图像的图像产生方法和设备。
在下面的描述中将部分地阐述本发明的另外方面和/或优点,并且从下面的描述中,所述方面和/或优点部分地将会明显或者可通过实施本发明而被了解。
根据本发明的一方面,提供一种图像产生方法,包括:将具有预定波长的光以预定间隔发射到目标对象;使从目标对象反射的光中具有产生彩色图像所需要的波长的光通过,并根据通过的光检测颜色值;使用在发射具有所述预定波长的光的时间段内检测的颜色值来产生目标对象的深度图像;使用在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值来产生目标对象的彩色图像。
根据本发明的另一方面,提供了一种存储用于执行图像产生方法的程序的计算机可读记录介质。
根据本发明的另一方面,提供了一种图像产生设备,包括:发光单元,将具有预定波长的光以预定间隔发射到目标对象;颜色值检测器,使从目标对象反射的光中具有产生彩色图像所需要的波长的光通过,并根据通过的光检测颜色值;深度图像产生器,使用在发射具有所述预定波长的光的时间段内检测的颜色值来产生目标对象的深度图像;彩色图像产生器,使用在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值来产生目标对象的彩色图像。
附图说明
从下面结合附图对本发明实施例进行的描述中,这些和/或其他方面和优点将会明显并更容易理解,其中:
图1示出根据本发明实施例的图像产生设备;
图2示出图1中示出的滤波器单元的实施例;
图3A和图3B分别示出图1所示的截止滤波器和彩色滤波器阵列关于波长的透射率;
图4示出施加到图1示出的彩色像素阵列的第一光电门PG1和第二光电门PG2的脉冲控制信号,和根据所述脉冲控制信号累积的电荷量;
图5示出由图1示出的电荷量计算器使用的根据反射的光在第一光电门PG1和第二光电门PG2中累积的电荷量;
图6示出根据本发明实施例的图像产生方法。
具体实施方式
现在将详细描述其示例在附图中示出的实施例,其中,相同的标号始终表示相同的部件。在这点上,可以以多种不同的形式来实现本发明的实施例,并且本发明的实施例不应该被理解为限于这里阐述的实施例。因此,下面将参照附图对这些实施例进行描述以解释本发明的各方面。
图1示出根据本发明实施例的图像产生设备10。参照图1,图像产生设备10可包括,例如,触发脉冲信号产生器110、脉冲控制器115、发光单元120、颜色值检测器130、电荷量计算器145、深度图像产生器150和彩色图像产生器155。颜色值检测器130包括透镜132、滤波器单元134和彩色像素阵列138。滤波器单元134包括截止(cut-off)滤波器135和彩色滤波器阵列136。
图像产生设备10从目标对象125接收光。这里,以下面的方式来获得所述光:阳光或人工光从目标对象125被反射并到达图像产生设备10。图像产生设备10可从接收到的光产生目标对象125的彩色图像。图像产生设备10将具有预定波长的光发射到目标对象125,并接收从目标对象125反射的光以产生目标对象125的深度(depth)图像。
然而,难于区分图像产生设备10接收的光是作为从目标对象125反射的太阳光或人工光而被获得,还是作为由图像产生设备10发射到目标对象125,然后从目标对象125反射的光而被获得。为了解决这个问题,在本发明当前实施例中,图像产生设备10只在预定时间段内将光发射到目标对象125,以区分由图像产生设备10发射到目标对象125然后又从目标对象125反射的光与从目标对象125反射并由图像产生设备10接收的太阳光或人工光。
触发脉冲信号产生器110产生具有以预定间隔重复的脉冲的脉冲信号。与脉冲信号的高电平的持续时间相应的脉冲宽度可对应于图像的帧的间隔。触发脉冲信号产生器110对于偶数帧和奇数帧产生具有不同电平的触发脉冲信号,以通知脉冲控制器115当前帧是偶数帧还是奇数帧。
脉冲控制器115将发光脉冲控制信号施加到发光单元120,并将PG1脉冲控制信号和PG2脉冲控制信号施加到彩色像素阵列138。参照图4,当脉冲控制器115从触发脉冲信号产生器110接收到表示当前帧是奇数帧的信号时,脉冲控制器115不将具有与时间T0相应的脉冲宽度的发光脉冲控制信号施加到发光单元120。相反,当脉冲控制器115从触发脉冲信号产生器110接收到表示当前帧是偶数帧的信号时,脉冲控制器115将发光脉冲控制信号施加到发光单元120。
另外,脉冲控制器115将脉冲控制信号施加到构成彩色像素阵列138的传感器。如图4所示,脉冲控制器115将脉冲宽度为T0的PG1脉冲控制信号施加到第一光电门(photo gate)PG1,并将具有与时间2T0相应的脉冲宽度的PG2脉冲控制信号施加到第二光电门PG2。
发光单元120是发光二极管(LED)阵列或者激光装置,并且发光单元根据从脉冲控制器115输入的发光脉冲控制信号将预定的光施加到目标对象125。如图4所示,发光单元120根据发光脉冲控制信号在时间T0期间发射具有可通过截止滤波器135和彩色滤波器阵列136的波长的近红外线和近紫外线中的至少一个。近红外线是其波长与可见光线的波长相似的红外线,具体地讲,其波长可通过截止红外光和紫外光的截止滤波器135和使红色分量通过的R滤波器。近红外线可具有700nm到750nm的波长。近紫外线是其波长与可见光线的波长相似的紫外线,具体地讲,其波长可通过截止滤波器135和使蓝色分量通过的B滤波器。近紫外线可具有350nm到400nm的波长。现在将解释发光单元120发射近红外线的实施例。
颜色值检测器130只接收目标对象125反射的光中具有产生彩色图像所需要的波长的光,根据接收到的光累积电荷并根据累积的电荷来检测颜色值。如上所述,颜色值检测单元130包括,例如,透镜132、滤波器单元134和彩色像素阵列138。
透镜132折射输入的光,从而输入的光会聚到一点,并将折射的光传送到滤波器单元134。透镜132聚集从目标对象125反射的近红外线和来自目标对象125的可见光线,并将聚集的光传送到滤波器单元134。反射的近红外线与发光单元120发射的近红外线的波长相同,并且反射的近红外线的强度与通过将发光单元120发射的近红外线的强度与目标对象125的反射率相乘获得的值成比例。
滤波器单元134仅使透镜132会聚的光中具有产生彩色图像所需的波长的光通过。如图2所示,滤波器单元134包括截止滤波器135和彩色滤波器阵列136。
截止滤波器135截止透过透镜132的光中的红外线和紫外线。截止滤波器135可包括红外截止滤波器和紫外截止滤波器,或者一个红外和紫外截止滤波器。需要截止滤波器135是因为彩色像素阵列138将红外线识别为可见光线的红色分量,并将紫外线识别为可见光线的蓝色分量,从而如果红外线或紫外线没有被截止,则可产生其颜色与目标对象125的实际颜色不同的彩色图像。
在图3A中示出了截止滤波器135的波长特性。参照图3A,截止滤波器135使波长大约为400nm至700nm(即,可见光线的波长)的光通过。在本发明当前实施例中,具体地讲,根据截止滤波器135的特性,截止滤波器135甚至使波长稍微长于700nm的反射的光通过。
彩色滤波器阵列136只使输入的光的红色、绿色和蓝色分量之一通过。具有贝叶尔格式的彩色滤波器阵列被用作彩色滤波器阵列136。使用贝叶尔格式的彩色滤波器阵列包括50%的使绿色分量通过的滤波器、25%的使红色分量通过的滤波器和25%的使蓝色分量通过的滤波器,所有的这些滤波器以网格排列。在图3B中示出了彩色滤波器阵列136的波长特性。图3B示出了用于使蓝色分量通过的B滤波器、使绿色分量通过的G滤波器和使红色分量通过的R滤波器的透射率和波长之间的关系。参照图3B,彩色滤波器阵列136的R滤波器使近红外线的反射光和可见光线的R颜色分量通过,彩色滤波器阵列136的B滤波器使近紫外线和可见光线的B颜色分量通过。
彩色像素阵列138对应于像素,接收已经通过彩色滤波器阵列136的光,根据接收到的光产生电荷并累积产生的电荷。彩色像素阵列138将与累积的电荷相应的颜色值提供给彩色图像产生器155。彩色像素阵列138包括G颜色像素、R颜色像素和B颜色像素的结合,所述G颜色像素根据接收到的光的G颜色分量累积电荷,所述R颜色像素根据接收到的光的R颜色分量累积电荷,而所述B颜色像素根据接收到的光的B颜色分量累积电荷。具体地讲,根据本发明当前实施例的彩色像素阵列138的R颜色像素累积根据可见光线的R颜色分量的电荷和根据反射的近红外线的光的电荷;B颜色像素累积根据可见光线的B颜色分量的电荷和根据反射的近紫外线的光的电荷。彩色像素阵列138的R颜色像素包括根据接收到的光的R颜色分量产生电荷的第一光电门PG1和第二光电门PG2。
参照图4,在由脉冲控制器115施加的PG1脉冲控制信号上升时,第一光电门PG1导通,从而电荷开始在第一光电门PG1中累积。当通过脉冲控制器115施加的PG1脉冲控制信号下降时,第一光电门PG1截止,从而停止在第一光电门PG1中累积电荷。也就是说,在时间T0期间在第一光电门PG1中累积电荷。然而,在奇数帧只接收可见光线的红色分量,因此,在时间T0期间在第一光电门PG1中累积根据可见光线的红色分量产生的电荷。另一方面,在偶数帧中接收可见光线的红色分量和反射的与近红外线相应的光,从而在时间T0期间在第一光电门PG1中累积根据可见光线的红色分量产生的电荷和根据反射的光产生的电荷之和。这里,假定在奇数帧累积在第一光电门PG1中的电荷量是Q0,在偶数帧累积在第一光电门PG1中的电荷量是Q1。
在由脉冲控制器115施加的PG2脉冲控制信号上升时,第二光电门PG2导通,从而电荷开始在第二光电门PG2中累积。当通过脉冲控制器115施加的PG2脉冲控制信号下降时,第二光电门PG2截止,从而停止在第二光电门PG2中累积电荷。也就是说,在时间2T0期间在第二光电门PG2中累积电荷。然而,在奇数帧中只接收可见光线的红色分量,因此,在时间2T0期间在第二光电门PG2中累积根据可见光线的红色分量产生的电荷。另一方面,在偶数帧中接收可见光线的红色分量和反射的与近红外线相应的光,从而在时间2T0期间在第二光电门PG2中累积根据可见光线的红色分量产生的电荷和根据反射的光产生的电荷之和。这里,假定在奇数帧累积在第二光电门PG2中的电荷量是Q3,在偶数帧累积在第二光电门PG2中的电荷量是Q4。
电荷量计算器145计算在彩色像素阵列138中累积的电荷中根据反射的光累积的电荷量。彩色像素阵列138在奇数帧中根据可见光线累积电荷,并在偶数帧中根据可见光线和反射的光累积电荷,从而电荷量计算器145从偶数帧中累积的电荷量中减去在奇数帧中累积的电荷量,以计算根据反射的光累积的电荷量。
更具体地讲,电荷量计算器145通过从Q1中减去Q0来计算根据反射的光在第一光电门PG1中累积的电荷量Q2。也就是说,电荷量计算器145计算Q2=Q1-Q0。而且,电荷量计算器145通过从Q4中减去Q3来计算根据反射的光在第二光电门PG2中累积的电荷量Q5。也就是说,电荷量计算器145计算Q5=Q4-Q3。
深度图像产生器150使用电荷量计算器145计算的Q2和Q5来计算图像产生设备10和目标对象125之间的距离,并根据该距离产生深度图像。现在将参照图5来解释计算图像产生设备10和目标对象125之间的距离的方法。
可使用Q2来计算图像产生设备10和目标对象125之间的距离。这里,随着图像产生设备10和目标对象125之间的距离减小,延迟时间td减小,从而Q2增大。也就是说,Q2与图像产生设备10和目标对象125之间的距离成反比。另外,因为反射光的强度与目标对象125的反射率成正比,所以Q2与目标对象125的反射率成正比。因此,如果已知目标对象125的反射率,则可仅使用Q2来容易地计算图像产生设备10和目标对象125之间的距离。然而,通常不能知道目标对象125的反射率,从而图1中示出的深度图像产生器150使用Q2和Q5来计算图像产生设备10和目标对象125之间的距离。
如图5所示,当由发光单元120发射的近红外线的强度是A0,并且目标对象125的反射率为r时,如下面的等式1所示,Q2与通过从时间T0减去延迟时间td获得的值和与反射的光的强度相应的r×A0的乘积成比例。
等式1:
Q2∝(T0-td)×r×A0
另外,如下面的等式2所示,Q5与通过将发射近红外线的时间T0和与到达像素的反射的光的强度相应的r×A0相乘而获得的值成正比。
等式2:
Q5∝T0×r×A0
可从等式1和等式2中获得等式3和等式4。
等式3:
Q 2 Q 5 = T 0 - td T 0
等式4:
td=(Q5-Q2)/Q5×T0
因此,通过从Q5中减去Q2,将相减结果除以Q5并将相除的结果乘以发射近红外线的时间T0可计算延迟时间td(即,从发射近红外线到反射的光到达彩色像素阵列138的时间)。深度图像产生器138将延迟时间td除以2并将相除的结果乘以光速c。也就是说,深度图像产生器138计算1/2×c×td以计算图1所示的图像产生设备10和目标对象125之间的距离,并根据计算的距离产生深度图像。
彩色图像产生器155使用与在奇数帧中彩色像素阵列138检测的颜色值相应的Q0和Q3来产生彩色图像。在这种情况下,可通过对Q0和Q3求和来产生彩色图像。
如上所述,因为彩色像素阵列138接收可见光线和近红外线,所以根据本发明当前实施例的图像产生设备只需要一个彩色像素阵列。使用光束分离器的图像产生方法使可见光线通过光束分离器,从而可见光线到达彩色像素阵列以产生彩色图像,并使用光束分离器折射近红外线,从而近红外线到达距离像素阵列以产生深度图像。所述光束分离器是能够根据波长来折射一些射线并透过其他射线的折射镜或者其他光学装置。然而,这种方法需要至少两种像素阵列,并且由于使用了光束分离器而增大了图像产生设备的体积。而且,必须精确地设置光束分离器和像素阵列之间的角以使得可见光线和近红外线的光轴彼此对应。因此,本发明的当前实施例可容易地构造小尺寸的图像传感器装置。
在本发明的当前实施例中,构成彩色像素阵列138的所有像素用于产生彩色图像。然而,与通过原始贝叶尔格式彩色像素获得的彩色图像的分辨率相比,在使用一半的绿色像素被深度测量像素所替代的贝叶尔格式彩色传感器的方法中,彩色图像的分辨率降低,并且颜色失真。而且,测量深度的像素对应于彩色传感器的全部像素的四分之一,从而深度图像的分辨率也降低。然而,在本发明当前实施例中,构成彩色像素阵列138的像素都被用于产生彩色图像,从而没有降低彩色图像的分辨率。而且,使用B像素和R像素来产生深度图像,从而深度图像的分辨率可被提高到总分辨率的一半。
图6示出根据本发明实施例的图像产生方法。参照图6,所述图像产生方法包括在图1所示的图像产生设备中以时间顺序进行处理的操作。因此,关于图1的图像产生设备的上述描述也可应用到图6所示的图像产生方法。
参照图1和图6,在操作61,图像产生设备10检查当前帧是偶数帧还是奇数帧。在操作62,在当前帧是偶数帧时,图像产生设备10在时间T0期间将预定光发射到目标对象。发射到目标对象的预定光可以是可通过红外和紫外截止滤波器和彩色滤波器阵列的近红外线和近紫外线中的至少一种。在本发明当前实施例中,所述预定光是近红外线。
在操作63,图像产生设备10使从目标对象反射的光中具有产生彩色图像所需的波长的光通过。具体地讲,图像产生设备10使反射的光和来自目标对象的可见光线通过,所述反射的光是以在操作62中发射的近红外线从目标对象被反射的方式获得的。所述反射的光和近红外线的波长相同,并且反射的光的强度与通过将近红外线的强度和目标对象的反射率相乘获得的值成比例。
在操作64,图像产生设备10根据接收的反射的光和可见光检测信息。参照图4,图像产生设备10从发射近红外线起使第一光电门PG1导通时间T0以在第一光电门PG1中累积电荷。图像产生设备10在时间T0之后使第一光电门PG1截止以停止累积电荷,从而在时间T0期间在第一光电门PG1中累积电荷。这里,在偶数帧在第一光电门PG1中累积的电荷量被称作Q1。图像产生设备10在第一光电门PG1截止之后从发光单元120再次发射近红外线起使第二光电门PG2导通时间2T0以在第二光电门PG2中累积电荷。图像产生设备10在时间2T0之后使第二光电门PG2截止以停止累积电荷,从而在时间2T0期间在第二光电门PG2中累积电荷。这里,在偶数帧在第二光电门PG2中累积的电荷量被称作Q4。
在操作65,当在操作61中检查到当前帧是奇数帧时,图像产生设备10不将近红外线发射到目标对象。在操作61、62和65中,可以按照特定间隔将近红外线发射到目标对象。
图像产生设备10使从目标对象反射的光中具有产生彩色图像所需要的波长的来自目标对象的可见光线通过,并根据可见光线来检测信息。参照图4,图像产生设备10在时间T0期间导通第一光电门PG1以在第一光电门PG1中累积电荷。图像产生设备10在时间T0之后使第一光电门PG1截止以停止累积电荷,从而在时间T0期间在第一光电门PG1中累积电荷。这里,在奇数帧在第一光电门PG1中累积的电荷量被称作Q0。图像产生设备10在时间2T0期间导通第二光电门PG2以在第二光电门PG2中累积电荷。图像产生设备10在时间2T0之后使第二光电门PG2截止以停止累积电荷,从而在时间2T0期间在第二光电门PG2中累积电荷。这里,在奇数帧在第二光电门PG2中累积的电荷量被称作Q3。
在操作67,图像产生设备10计算根据反射的光累积的电荷量。这里,图像产生设备10从在操作64中累积的电荷量减去在操作66中累积的电荷量以计算根据反射的光累积的电荷量。具体地讲,图像产生设备10从Q1减去Q0以计算根据反射的光在第一光电门PG1中累积的电荷量,从Q4减去Q3以计算根据反射的光在第二光电门PG2中累积的电荷量。这里,根据反射的光在第一光电门PG1中累积的电荷量被称作Q2,根据反射的光在第二光电门PG2中累积的电荷量被称作Q5。
在操作68,图像产生设备10使用Q2和Q5计算图像产生设备10和目标对象之间的距离。根据1/2×c×td来获得图像产生设备10和目标对象之间的距离。由于根据等式1、2、3和4,td=(Q5-Q2)÷Q5×T0,所以图像产生设备10和目标对象之间的距离对应于1/2×c×{(Q5-Q2)÷Q5×T0}。在操作69,图像产生设备10使用在操作66中检测的信息(即,Q0和Q3)产生彩色图像,并使用在操作68中计算的距离产生深度图像。
除了上述实施例之外,本发明的实施例还可通过介质(例如计算机可读介质)中/上的计算机可读代码/指令来实现以控制至少一个处理部件来实现上述任何实施例。所述介质可对应于允许存储和/或发送计算机可读代码的任何介质。
所述计算机可读代码可以以各种方式被记录/传送到介质中,所述介质的示例包括记录介质(比如磁存储介质(例如,ROM、软盘、硬盘等)和光学记录介质(例如,CD-ROM或DVD))。所述介质还可为分布式的网络,从而以分布式的方式来存储/传输并执行计算机可读代码。此外,仅作为示例,所述处理部件可包括处理器或计算机处理器,并且所述处理部件可被分布和/或包括在一个装置中。
尽管已经参照不同实施例具体显示和描述了本发明的各方面,但是应该理解只是以描述的意义而非限制的目的来考虑这些示例性实施例。不应该将对一个实施例中的一方面的功能或者性能的缩小或放大理解为分别对不同实施例的相似特征的放大或缩小,即,在每个实施例中的各特征或方面的描述通常应该被认为是可应用于其他实施例中的其他相似特征或方面。
尽管已经显示和描述了本发明的若干实施例,但是本领域的技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种改变,本发明的范围由权利要求和其等同物来限定。

Claims (8)

1.一种图像产生方法,包括:
将具有预定波长的光以预定间隔发射到目标对象;
使从目标对象反射的光中具有产生彩色图像所需要的波长的光通过,并根据通过的光检测颜色值;
使用在发射具有所述预定波长的光的时间段内检测的颜色值来产生目标对象的深度图像;
使用在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值来产生目标对象的彩色图像;
其中,检测颜色值的步骤包括:使从目标对象反射的光中的红外线和紫外线截止,以只使具有产生彩色图像所需要的波长的光通过,并根据通过的光检测颜色值,其中,所述发射到目标对象的光不是红外线和紫外线,并且具有与产生彩色图像所需要的波长相同的波长。
2.如权利要求1所述的图像产生方法,其中,产生深度图像的步骤包括:使用在发射具有所述预定波长的光的时间段内检测的红色值和蓝色值中的至少一个来产生目标对象的深度图像。
3.如权利要求1所述的图像产生方法,其中,检测颜色值的步骤包括:使从目标对象反射的光中具有产生彩色图像所需的波长的光通过,根据通过的光累积电荷,并根据累积的电荷检测颜色值。
4.如权利要求1所述的图像产生方法,其中,产生目标对象的深度图像的步骤包括:
使用在发射具有所述预定波长的光的时间段内检测的颜色值和在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值之间的差来根据发射的光计算颜色值;
使用计算的颜色值来计算图像产生设备和目标对象之间的距离以根据计算的距离产生深度图像。
5.一种图像产生设备,包括:
发光单元,将具有预定波长的光以预定间隔发射到目标对象;
颜色值检测器,使从目标对象反射的光中具有产生彩色图像所需要的波长的光通过,并根据通过的光检测颜色值;
深度图像产生器,使用在发射具有所述预定波长的光的时间段内检测的颜色值来产生目标对象的深度图像;
彩色图像产生器,使用在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值来产生目标对象的彩色图像,
其中,颜色值检测器包括:彩色滤波器阵列,使从目标对象反射的光中的红外线和紫外线截止,以只使具有产生彩色图像所需要的波长的光通过;彩色像素阵列,根据通过的光检测颜色值,其中,所述发射到目标对象的光不是红外线和紫外线,并且具有与产生彩色图像所需要的波长相同的波长。
6.如权利要求5所述的图像产生设备,其中,深度图像产生器使用在发射具有所述预定波长的光的时间段内检测的红色值和蓝色值中的至少一个来产生目标对象的深度图像。
7.如权利要求5所述的图像产生设备,其中,彩色像素阵列根据通过的光累积电荷,并根据累积的电荷检测颜色值。
8.如权利要求5所述的图像产生设备,其中,深度图像产生器使用在发射具有所述预定波长的光的时间段内检测的颜色值和在不同于发射具有所述预定波长的光的时间段的时间段内检测的颜色值之间的差来根据发射的光计算颜色值,并使用计算的颜色值来计算图像产生设备和目标对象之间的距离以根据计算的距离产生深度图像。
CN2008101096398A 2007-11-06 2008-06-11 图像产生方法和设备 Expired - Fee Related CN101430796B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020070112748A KR101344490B1 (ko) 2007-11-06 2007-11-06 영상 생성 방법 및 장치
KR1020070112748 2007-11-06
KR10-2007-0112748 2007-11-06

Publications (2)

Publication Number Publication Date
CN101430796A CN101430796A (zh) 2009-05-13
CN101430796B true CN101430796B (zh) 2013-01-02

Family

ID=40383523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101096398A Expired - Fee Related CN101430796B (zh) 2007-11-06 2008-06-11 图像产生方法和设备

Country Status (4)

Country Link
US (1) US7718946B2 (zh)
EP (1) EP2060931B1 (zh)
KR (1) KR101344490B1 (zh)
CN (1) CN101430796B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
KR20100054540A (ko) * 2008-11-14 2010-05-25 삼성전자주식회사 픽셀 회로, 광전 변환장치, 및 이를 포함하는 이미지 센싱 시스템
CN101937505B (zh) * 2009-07-03 2013-03-27 深圳泰山在线科技有限公司 一种目标检测方法和设备及其使用的图像采集装置
CN101605269B (zh) * 2009-07-10 2010-09-29 清华大学 一种密集深度图像跟踪的方法和装置
DE102009037596B4 (de) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
KR101666020B1 (ko) 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
US9348019B2 (en) * 2012-11-20 2016-05-24 Visera Technologies Company Limited Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
KR102158212B1 (ko) * 2014-02-05 2020-09-22 엘지전자 주식회사 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법
CN103955954B (zh) * 2014-04-21 2017-02-08 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法
US10151946B2 (en) * 2014-07-31 2018-12-11 Google Technology Holdings LLC Apparatus with visible and infrared light emitting display
DE102014215972A1 (de) * 2014-08-12 2016-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur zur optischen Abstandsmessung an einem Objekt und Abstandserfassungssystem mit einer derartigen Pixelstruktur
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
KR102526929B1 (ko) * 2018-04-04 2023-05-02 삼성전자 주식회사 메타 표면이 형성된 투명 부재를 포함하는 광원 모듈 및 이를 포함하는 전자 장치
CN109459722A (zh) * 2018-10-23 2019-03-12 同济大学 基于人脸追踪装置的语音交互方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856355B1 (en) * 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
CN1617009A (zh) * 2004-09-20 2005-05-18 深圳大学 基于空间点阵投影的三维数字成像方法
CN1632451A (zh) * 2004-12-31 2005-06-29 深圳大学 复合编码多分辨三维数字成像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387377B2 (ja) 1998-05-25 2009-12-16 パナソニック株式会社 カメラ
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856355B1 (en) * 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
CN1617009A (zh) * 2004-09-20 2005-05-18 深圳大学 基于空间点阵投影的三维数字成像方法
CN1632451A (zh) * 2004-12-31 2005-06-29 深圳大学 复合编码多分辨三维数字成像方法

Also Published As

Publication number Publication date
EP2060931A1 (en) 2009-05-20
KR101344490B1 (ko) 2013-12-24
KR20090046535A (ko) 2009-05-11
US20090114802A1 (en) 2009-05-07
CN101430796A (zh) 2009-05-13
US7718946B2 (en) 2010-05-18
EP2060931B1 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
CN101430796B (zh) 图像产生方法和设备
JP6835879B2 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
US8134637B2 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
CN103064076B (zh) 光子计数三维成像激光雷达距离行走误差校正系统及方法
CN107765260B (zh) 用于获取距离信息的方法、设备及计算机可读记录介质
JP7201592B2 (ja) 車両の周囲を特徴付けるためのシステム
WO2006130734A2 (en) Method and system to increase x-y resolution in a depth (z) camera using red, blue, green (rgb) sensing
KR102650443B1 (ko) 완전 파형 다중-펄스 광학 레인지 파인더 기기
CN111708039A (zh) 一种深度测量装置、方法及电子设备
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
CN106646510A (zh) 一种基于光子标记的首光子激光成像系统
CN106646429A (zh) 一种用于激光雷达的自标定几何因子的装置及方法
US20230222640A1 (en) Method for Recognizing Image Artifacts, Control Device for Carrying Out a Method of this Kind, Recognition Device Having a Control Device of this Kind and Motor Vehicle Having a Recognition Device of this Kind
EP3543742B1 (en) A 3d imaging system and method of 3d imaging
US11353564B2 (en) Disturbance light identifying apparatus, disturbance light separating apparatus, disturbance light identifying method, and disturbance light separating method
KR20090049322A (ko) 깊이 영상 생성 방법 및 장치
CN108507944B (zh) 用于光学检测物体的系统及方法
US20240094363A1 (en) Method for Calibrating a Gated Camera, Control Unit for Carrying Out Such a Method, Calibrating Device Having Such a Control Unit and Motor Vehicle Having Such a Calibrating Device
CN112213730B (zh) 三维测距方法和装置
TW201807443A (zh) 用於捕捉立體影像的裝置及系統
JP2022020871A (ja) 物体認識装置、物体認識方法、およびプログラム
KR102613150B1 (ko) LCoS를 이용한 고해상도 라이다 시스템
WO2024013142A1 (en) Image capture device with wavelength separation device
CN117518185A (zh) 光达系统及其外光干扰排除方法
CN116047539A (zh) 一种具有脏污检测功能的深度相机模组及机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20210611