CN104185006B - 成像设备以及成像方法 - Google Patents

成像设备以及成像方法 Download PDF

Info

Publication number
CN104185006B
CN104185006B CN201410209169.8A CN201410209169A CN104185006B CN 104185006 B CN104185006 B CN 104185006B CN 201410209169 A CN201410209169 A CN 201410209169A CN 104185006 B CN104185006 B CN 104185006B
Authority
CN
China
Prior art keywords
signal
light
picture signal
image
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410209169.8A
Other languages
English (en)
Other versions
CN104185006A (zh
Inventor
山崎彰久
光永知生
海津俊
吉村真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN104185006A publication Critical patent/CN104185006A/zh
Application granted granted Critical
Publication of CN104185006B publication Critical patent/CN104185006B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及成像设备和成像方法。一种成像设备，包括：第一成像器件，被配置为对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光透射；第二成像器件，被设置在不同于所述第一成像器件的位置处，并且被配置为对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号；相关性检测单元，被配置为检测所述第一和第二图像信号之间的相关性；亮度信号生成单元，被配置为生成亮度信号；颜色信号生成单元，被配置为生成颜色信号；以及三维图像生成单元，被配置为通过所述相关性、所述亮度信号以及所述颜色信号生成三维图像。

Description

成像设备以及成像方法
相关申请的交叉引用
本申请要求于2013年5月24日提交的日本在先专利申请JP 2013-109476的权益，通过引用将其整体内容结合于此。
技术领域
本公开涉及用于捕获三维图像的成像设备以及成像方法。
背景技术
近年来，已知使用从两个不同位置捕获的立体图像来计算在三维空间中的对象的位置并且生成三维图像的成像设备。这样的成像设备用于制造工业设施的过程中的三维物体识别或者广泛用作允许用于广播或者家用的立体图的系统。
在这样的成像设备中，R(红色)、G(绿色)以及B(蓝色)的滤色片设置在成像器件的光接收表面的前面。滤色片允许进入成像器件的光接收表面光被分成相应颜色R、G以及B的波长分量的光，使得通过成像设备生成使用所分解的R、G以及B的图像信号的彩色图像。
然而，通过透镜进入成像器件的光接收表面的光通过滤色片被减弱，并且因此进入成像器件的光量同样减少对应于所述减弱的量。换言之，成像器件的灵敏度降低了。此外，随着近年来图像的高清晰度的实现，象素尺寸减小，并且灵敏度也相应地降低。
由于这个原因，在捕获彩色图像的这样的成像设备中，设计了用于提高成像的灵敏度的各种技术。例如，日本专利申请公开号第2011-176710号公开了这样一种技术，其中滤色片的一部分由透明滤光片替代，以增加通过成像设备获取的光量并且提高灵敏度。
发明内容
在生成彩色图像的成像设备中，通常与滤色片一起使用红外截止滤光片(IRCF)。IRCF设置在成像器件的前面，从而可以改善所捕获的图像中的颜色再现性。然而当IRCF设置在成像器件的前面时，成像设备的灵敏度降低。
期望实现对成像设备的灵敏度和颜色再现性两者的改善。
根据本公开的实施方式，提供了一种成像设备，所述成像设备包括第一成像器件、第二成像器件、相关性检测单元、亮度信号生成单元、颜色信号生成单元以及三维图像生成单元。成像设备的相应的单元具有以下配置和功能。第一成像器件被配置为对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光透射。第二成像器件设置在不同于所述第一成像器件的位置的位置处，并被配置为对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号。相关性检测单元被配置为检测所述第一图像信号和所述第二图像信号之间的相关性。亮度信号生成单元被配置为根据所述第二图像信号生成亮度信号。颜色信号生成单元被配置为根据所述第一图像信号和所述第二图像信号中至少一个生成颜色信号。三维图像生成单元被配置为通过使用关于由所述相关性检测单元检测的第一图像信号和第二图像信号之间的相关性的信息来生成三维图像、亮度信号以及颜色信号来生成三维图像。
根据本公开的另一实施方式，提供了一种成像方法，包括：通过第一成像器件对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光被透射；通过设置在不同于所述第一成像器件的位置的位置处的第二成像器件对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号；检测所述第一图像信号和所述第二图像信号之间的相关性；根据所述第二图像信号生成亮度信号；根据所述第一图像信号和所述第二图像信号中的至少一个生成颜色信号；以及通过使用关于所检测的相关性的信息、所述亮度信号以及所述颜色信号的信息生成三维图像。
所述成像设备如上所述配置以执行成像，并且因此使用所述第一图像信号和所述第二图像信号生成三维图像，所述第一图像信号不包括红外线波长带内所述预定波长带中的光的波长分量，所述第二图像信号同样包括所述预定波长带中的光的波长分量。
利用根据本公开的实施方式所述的成像设备以及成像方法，可以实现对成像设备的灵敏度和颜色再现性两者的改善。
根据如在附图中示出的本公开的最优模式实施方式的以下详细描述，本公开的这些和其他目标、特征和优点将变得更加显而易见。
附图说明
图1是示出根据本公开的实施方式的成像设备的配置的框图；
图2A和图2B是均示出根据本公开的实施方式的成像设备的光谱灵敏度特性的曲线图，图2A示出在设置红外截止滤光片(IRCF)的情况下的光谱灵敏度特性，图2B示出未设置IRCF的情况下的光谱灵敏度特性；
图3是根据本公开实施方式的示出了在一维空间中的包含红外线波长分量的像素信号的亮度值分布和排除了红外线的波长分量的像素信号的亮度值分布的曲线图。
图4是用于描述标准化相关法的示例性框图；
图5是示出根据本公开的变形例的成像设备的光谱灵敏度特性的曲线图；以及
图6是示出根据本公开的变形例的成像设备的配置的框图。
具体实施方式
将参考附图描述根据本公开的实施方式的成像设备的示例。
1.成像设备的配置实例
根据该实施方式的成像设备10包括两个成像器件，即，如图1中所示的成像器件2a和成像器件2b。成像器件2a和成像器件2b以能够从不同的位置捕获对象的图像的预定距离设置在分开的位置。在图1下侧的成像器件2a设置有包括透镜11a和红外截止滤光片(IRCF)12的第一光学系统1a。在图1上侧的成像器件2b配有包括透镜11b的第二光学系统1b。此外，成像器件2a和成像器件2b分别设置有滤色片21a和滤色片21b。在滤色片21a和滤色片21b中，R、G以及B的像素例如以拜耳阵列(Bayer array)的形式排列。穿过滤色片21a和滤色片21b的包含每个R、G以及B分量的光分别进入成像器件2a和成像器件2b的像素。
透镜11a和透镜11b的每个由一个透镜或者包括多个透镜的透镜组组成，并且将对象光引入到成像设备10中。IRCF 12组成为第一滤光片，并且阻挡已经穿过透镜11a的光中的波长比可见光的波长长的光，例如，具有650nm或者更长波长的红外线。应注意的是，在第一光学系统1a和第二光学系统1b中，出现了由于存在或者不存在IRCF 12而导致的焦点的位移。该位移可以通过在第一光学系统1a和第二光学系统1b中预先调整后焦点而消除。
成像器件2a和成像器件2b的每个由例如CCD(电荷耦合装置)或者CMOS(互补金属氧化物半导体)的图像传感器组成。假设滤色片(未示出)设置在每个成像器件2a和成像器件2b的前面。
成像器件2a对已通过透镜11a、IRCF 12以及滤色片21a输入的对象光执行光电转换，以生成图像信号(第一图像信号S1)。成像器件2b对已通过透镜11b和滤色片21b输入的对象光执行光电转换，以生成图像信号(第二图像信号S2)。
图2A和图2B是分别示出成像器件2a和成像器件2b的光谱灵敏度特性的曲线图。图2A示出成像器件2a的光谱灵敏度特性，并且图2B示出成像器件2b的光谱灵敏度特性。在图2A和图2B中，纵轴表示成像器件的灵敏度，并且横轴表示波长(nm)。
如上所述，穿过透镜11a和IRCF 12的光被输入到成像器件2a。如图2A中所示，IRCF12具有滤光片特性C，通过该特性阻挡了在红外线的波长带中650nm或更多的波长。所以，仅包括在图2A中通过实线表示的B(蓝色)、通过点划线表示的G(绿色)、以及通过双点划线表示的R(红色)的波长的可见光输入到成像器件2a。从而，从成像器件2a输出仅包括可见光的波长分量并且不包括红外线的波长分量的第一图像信号S1。第一图像信号S1被提供至随后将描述的相关性检测单元3和颜色信号生成单元5。
同时，仅通过透镜11b的光被输入到成像器件2b。所以，不仅包括R、G以及B的可见光，而且红外线的波长带中的红外光IR也被输入到成像器件2b。从而，从成像器件2b输出包含可见光和红外线的波长分量的第二图像信号S2。第二图像信号S2被提供至相关性检测单元3和亮度信号生成单元4。
返回参考图1，成像设备10还包括相关性检测单元3、亮度信号生成单元4、颜色信号生成单元5、三维图像生成单元6以及显示单元7。相关性检测单元3检测第一图像信号S1和第二图像信号S2之间的相关性。相关性检测单元3包括对应点搜索单元31和视差计算单元32。这里，举例说明了成像设备10包括显示单元7的情况，但是本公开不限于该情况，并且可以应用于不包括显示单元7的成像设备10。
对应点搜索单元31执行从由另一个图像信号构成的图像搜索对应点的处理，所述对应点对应于由第一图像信号S1和第二图像信号S2之一形成的图像中的特定观察点。在该实施方式中，该对应点搜索处理通过使用标准化相关法来执行。随后将参考图3和图4详细描述通过对应点搜索单元31利用标准化相关法执行的对应点搜索处理。
视差计算单元32基于关于通过对应点搜索单元31检测的对应点的信息计算由第一图像信号S1形成的图像P1和由第二图像信号S2形成的图像P2之间的视差。此外，基于关于所计算的视差的信息，视差计算单元32还计算从成像设备10到对象的距离(深度方向上的深度)。视差计算单元32将关于所计算的到对象的距离的信息输出到亮度信号生成单元4。
亮度信号生成单元4根据包括红外线的波长分量的第二图像信号S2生成亮度信号，并且将所生成的亮度信号提供到三维图像生成单元6。因此，在对象的波长分量中，通过亮度信号生成单元4生成的亮度信号包含不可能在低亮度的环境下成像的波长分量。
颜色信号生成单元5根据包括仅可见光的波长分量的第一图像信号S1生成颜色信号，并且将所生成的颜色信号提供到三维图像生成单元6。因此，通过颜色信号生成单元5生成的颜色信号不包括红外线的波长分量。从而，改善了通过使用这样的颜色信号生成的三维图像的颜色再现性。
三维图像生成单元6使用从视差计算单元32输出的关于到对象的距离的信息、通过亮度信号生成单元4生成的亮度信号以及通过颜色信号生成单元5生成的颜色信号来生成对象的三维图像。显示单元7由LCD(液晶显示器)、有机EL(电荧光)显示器等构成，并且显示通过三维图像生成单元6生成的三维图像。
2.对应点搜索处理的实例
接着，将参考图3和图4描述通过对应点搜索单元31进行的对应点搜索处理的实例。图3是其中在一维空间的坐标上绘制了仅包含可见光波长分量的第一图像信号S1的亮度值I1和包含可见光和红外线波长分量的第二图像信号S2的亮度值I2的曲线。这里，图3示出其中在x坐标上绘制这些值的实例。在图3中，纵轴表示亮度值I(x)，并且横轴表示x坐标。在图3中，仅包含可见光波长分量的第一图像信号S1的亮度值I1由实线表示，而包含可见光和红外线波长分量的第二图像信号S2的亮度值I2由虚线表示。
如在图3中所示，亮度值I1和亮度值I2基本上具有相同的分布形式，并且整体来看，相对于不包含红外线波长分量的亮度值I1的分布形式，包含可见光和红外线波长分量的亮度值I2的分布形式移至上侧。换言之，两个亮度值I在亮度值方向上具有位移，但是具有高的彼此相关性。
可以使用标准化相关法搜索这样的亮度值I1和亮度值I2之间的对应点。图4是用于描述标准化相关法概要的框图。在标准化相关法中，从图4的下侧示出的图像P2搜索与在图4的上侧示出的图像P1中的观测点p1具有最高的相关性的对应点p2。
更具体地，每当点x2的位置移动时计算相关系数ρ，相关系数ρ表示在观测点p1周围的本地图像和作为对应点p2的候选的点x2周围的本地图像之间的相似度。随后，将相关系数ρ最高的点x2采用作为对应点p2。假定本地图像的尺寸是(2n+1)乘以(2m+1)。可以通过以下表达式计算观测点p1和点x2(对应点p2)的相关系数ρ。
上述表达式中，“u1”和“v1”表示观测点p1的x坐标和y坐标，并且I1表示在坐标(u1+i，v1+j)处的像素的亮度值。此外，“u2”和“v2”表示对应点p2(点x2)的x坐标和y坐标，并且I2表示在坐标(u2+i，v2+j)处的像素的亮度值。上述表达式中，“μp1”表示在观测点p1周围的本地图像中的相应像素的亮度值I1的平均值。“μp2”表示在对应点p2周围的本地图像中的相应像素的亮度值I2的平均值。“σp1”表示在观测点p1周围的本地图像中的相应像素的亮度值I1的标准偏差。“σp2”表示在对应点p2周围的本地图像中的相应像素的亮度值I2的标准偏差。
使用通过上述表达式示出的标准化相关法，可以搜索包括红外线波长分量的亮度值I2和不包括红外线波长分量的亮度值I1之间的对应点p2，对应点p2在亮度值水平方向上具有位移。
根据上述实施方式，根据通过不包括IRCF 12的成像器件2b的成像所获得的图像信号S2来生成亮度信号。具体地，不可能在低亮度的环境下成像的对象，也可以作为红外波长分量捕获并且引入成像器件2b。从而，可以执行具有高灵敏度的成像。
此外，当在低亮度的环境下执行成像时，在红外线波长带中同样具有灵敏度的成像器件2b中所生成的图像信号S2具有增加对应于红外光的量的亮度值。由此，不需要执行用于提高亮度值的信号处理，并且因此还改善了图像信号S2的S/N。此外，图像信号的S/N中的改善允许不那么强烈地需要应用噪声去除滤光片。从而，可以获得具有高清晰度和减少的噪声的三维图像。
此外，根据上面描述的实施方式，根据不包括红外线波长分量的图像信号S1生成颜色信号，并且因此满意地保持了所生成的三维图像的颜色再现性。换言之，根据该实施方式，提供了具有高灵敏度和高颜色再现性的三维图像。
具体地，根据该实施方式，不必附加地在外部设置例如红外LED(发光二极管)的光投影装置并且改变三维复眼照相机的配置。仅在成像器件2b(和成像器件2a)的配置和信号处理的内容方面的改变允许获得具有高灵敏度和高颜色再现性的三维图像。
此外，根据上面描述的实施方式，因为IRCF 12没有设置在成像器件2b前面，成像器件2b具有对红外线波长分量的灵敏度。从而，同样在低亮度环境下也可以对对象进行成像。
在那时，例如红外LED的红外线投影装置在成像时用于将辅助光施加到对象。从而，在极低亮度的环境下也可以捕获三维图像。作为红外线投影装置，相对经常地使用采用大约850nm和大约950nm波长的装置，并且例如可以使用这种红外线投影装置。
3.各种变形例
应注意的是，在上述实施方式中，IRCF 12的截止频率被设为650nm，但是不限于该频率，并且可以根据成像器件2b的光谱灵敏度特性和成像环境应用其他频率。
此外在上述实施方式中，IRCF 12没有设置在成像器件2b的前面，并且因此成像器件2b具有光谱灵敏度特性，以同样具有对红外线频率范围的灵敏度。然而，本公开不限于此，并且可以在成像器件2b前面设置使可见光和在红外线的预定带中的光都通过的IRCF(第二滤光片)。
图5是示出用作第二滤光片的IRCF 12α的滤光片特性Cα以及成像器件2b的光谱灵敏度特性的曲线图。如在图5中所示，IRCF 12α具有滤光片特性Cα，通过该特性，使在650nm或更短的波长带中以及在从820nm到870nm的红外线波长带中的光通过。650nm或者更短波长带中的可见光以及从820nm到870nm的波长带中的红外线被输入到设置有IRCF 12α的成像器件2b。换言之，从650nm到820nm的近红外线波长带中的光没有被输入到成像器件2b。
如在图5中所示，从650nm到820nm的波长带是对R、G以及B的所有光具有灵敏度但具有低的灵敏度的波长带。该波长带中的光的阻挡允许对在成像器件2b中所生成的图像信号S2的颜色再现性的改善。此外，如果假定应用了红外LED的辅助光而设置通过IRCF 12α的光的波长带，可以有效地使用通过红外LED产生的辅助光。具体地，根据成像器件2b的光谱灵敏度特性或者将使用的红外LED的发射光谱，IRCF 12α的滤光片特性Cα可以被设为适当的特性。
图6是示出使用了IRCF 12α的成像设备10α的配置实例的框图。在图6中，对应于图1的那些的部分由相同的参考标号表示，并且将省去重复的描述。在图6中所示的配置中，在设置有IRCF 12α的成像器件2bα中所生成的图像信号S2也被输入到颜色信号生成单元4。具体地，根据图像信号S2生成颜色信号，根据颜色信号截除对在成像器件2bα的光谱灵敏度特性中的全部光R、G以及B具有灵敏度但是对所述光具有低灵敏度的波长带中的光。因此，改善了颜色再现性。
此外，当在成像器件2bα前面也设置IRCF 12α时，与在图1中所示的配置中的光谱灵敏度特性相比，成像器件2a的光谱灵敏度特性和成像器件2bα的光谱灵敏度特性变得与彼此更加相似。因此，可以更加改善颜色再现性。
此外，在相关性检测单元3中，还可以对图像信号S2执行消除红外线分量的负颜色信号修正处理(subtractive color signal correction processing)(彩色矩阵处理)。该处理的执行允许在由图像信号S1构成的图像P1中和在由图像信号S2构成的图像P2中的R、G以及B的颜色再现性变得与彼此更加相似，从而进一步改善颜色再现性。
应注意的是，本公开可以具有以下配置。
(1)一种成像设备，包括：
第一成像器件，被配置为对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光透射；
第二成像器件，被设置在不同于所述第一成像器件的位置的位置处，并被配置为对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号；
相关性检测单元，被配置为检测所述第一图像信号和所述第二图像信号之间的相关性；
亮度信号生成单元，被配置为根据所述第二图像信号生成亮度信号；
颜色信号生成单元，被配置为根据所述第一图像信号和所述第二图像信号中的至少一个生成颜色信号；以及
三维图像生成单元，被配置为通过使用关于通过所述相关性检测单元检测的所述相关性的信息、所述亮度信号以及所述颜色信号来生成三维图像。
(2)根据(1)所述的成像设备，其中
所述第一成像器件配置为对通过所述第一滤光片输入且不包括红外线波长带中的光的所述对象光执行所述光电转换，以生成所述第一图像信号。
(3)根据(1)或者(2)所述的成像设备，其中
所述相关性检测单元被配置为通过使用标准化相关法来检测所述第一图像信号和所述第二图像信号之间的所述相关性。
(4)根据(1)至(3)中任一项所述的成像设备，其中
所述第一成像器件被配置为根据通过作为第一滤光片的红外截止滤光片输入的所述对象光来生成所述第一图像信号。
(5)根据(1)至(4)中任一项所述的成像设备，其中
所述第二成像器件被配置为根据通过第二滤光片输入的对象光来生成所述第二图像信号，所述第二滤光片阻挡在近红外线波长带内预定波长带中的光。
(6)根据(5)所述的成像设备，其中
所述第二成像器件被配置为根据通过所述第二滤光片输入的并排除了在对所述第二成像器件的光谱灵敏度特性中的全部光R、G和B具有灵敏度但具有低的灵敏度的波长带中的光的所述对象光来生成所述第二图像信号。
(7)一种成像方法，包括：
通过第一成像器件对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光透射；
通过设置在不同于所述第一成像器件的位置的位置处的第二成像器件对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号；
检测所述第一图像信号和所述第二图像信号之间的相关性；
根据所述第二图像信号生成亮度信号；
根据所述第一图像信号和所述第二图像信号中的至少一个生成颜色信号；以及
通过使用关于所检测的所述相关性的信息、所述亮度信号以及所述颜色信号来生成三维图像。
本领域的技术人员应理解的是，只要在附加权利要求或其等同物的范围内，可根据设计要求和其他因素进行各种变形、组合、次组合和修改。

Claims (5)

1.一种成像设备，包括：
第一成像器件，被配置为对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光被透射；
第二成像器件，被设置在不同于所述第一成像器件的位置的位置处，并被配置为对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号；
相关性检测单元，被配置为检测所述第一图像信号和所述第二图像信号之间的相关性；
亮度信号生成单元，被配置为根据所述第二图像信号生成亮度信号；
颜色信号生成单元，被配置为根据所述第一图像信号和所述第二图像信号或所述第一图像信号生成颜色信号；以及
三维图像生成单元，被配置为通过使用关于通过所述相关性检测单元检测的所述相关性的信息、所述亮度信号以及所述颜色信号来生成三维图像，
其中，所述第一成像器件被配置为对通过所述第一滤光片输入且不包括红外线波长带中的光的所述对象光执行所述光电转换，以生成所述第一图像信号，
其中，所述相关性检测单元被配置为通过使用标准化相关法来检测所述第一图像信号和所述第二图像信号之间的所述相关性。
2.根据权利要求1所述的成像设备，其中
所述第一成像器件被配置为根据通过作为第一滤光片的红外截止滤光片输入的所述对象光来生成所述第一图像信号。
3.根据权利要求2所述的成像设备，其中
所述第二成像器件被配置为根据通过第二滤光片输入的对象光来生成所述第二图像信号，所述第二滤光片阻挡近红外线波长带内预定波长带中的光。
4.根据权利要求3所述的成像设备，其中
所述第二成像器件被配置为对通过所述第二滤光片输入的且排除了其中高频侧的R、G以及B的波长下部彼此重叠的波长带中的光的所述对象光执行光电转换，以生成所述第二图像信号。
5.一种成像方法，包括：
通过第一成像器件对通过第一滤光片输入的对象光执行光电转换，以输出第一图像信号，所述第一滤光片防止波长比可见光的波长长的预定波长带中的光被透射；
通过设置在不同于所述第一成像器件的位置的位置处的第二成像器件对包括所述预定波长带中的光的波长分量的对象光执行光电转换，以输出第二图像信号；
检测所述第一图像信号和所述第二图像信号之间的相关性；
根据所述第二图像信号生成亮度信号；
根据所述第一图像信号和所述第二图像信号或所述第一图像信号生成颜色信号；以及
通过使用关于所检测的所述相关性的信息、所述亮度信号以及所述颜色信号来生成三维图像，
其中，通过所述第一成像器件对通过所述第一滤光片输入且不包括红外线波长带中的光的所述对象光执行所述光电转换，以生成所述第一图像信号，
其中，通过使用标准化相关法来检测所述第一图像信号和所述第二图像信号之间的所述相关性。
CN201410209169.8A 2013-05-24 2014-05-16 成像设备以及成像方法 Expired - Fee Related CN104185006B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-109476 2013-05-24
JP2013109476A JP2014230179A (ja) 2013-05-24 2013-05-24 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN104185006A CN104185006A (zh) 2014-12-03
CN104185006B true CN104185006B (zh) 2017-12-12

Family

ID=51935126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410209169.8A Expired - Fee Related CN104185006B (zh) 2013-05-24 2014-05-16 成像设备以及成像方法

Country Status (3)

Country Link
US (2) US9596454B2 (zh)
JP (1) JP2014230179A (zh)
CN (1) CN104185006B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022231A (ko) * 2013-08-22 2015-03-04 에스케이하이닉스 주식회사 3차원 이미지 센서 모듈 및 이를 이용한 3차원 이미지 구현 방법
FR3032297A1 (fr) * 2015-02-04 2016-08-05 Stmicroelectronics (Grenoble 2) Sas Procede et dispositif de compression d'une image numerique couleur
CN106170086B (zh) * 2016-08-19 2019-03-15 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、系统
CN108076267A (zh) * 2016-11-11 2018-05-25 株式会社东芝 摄像装置、摄像系统以及距离信息获取方法
JP7009091B2 (ja) * 2017-06-20 2022-01-25 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム
TWI669538B (zh) * 2018-04-27 2019-08-21 點晶科技股份有限公司 立體影像擷取模組及立體影像擷取方法
CN110765537A (zh) * 2019-10-31 2020-02-07 耿宇峰 牙体牙髓科室布局模拟系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101310539A (zh) * 2005-11-22 2008-11-19 松下电器产业株式会社 成像装置
CN102130139A (zh) * 2010-01-19 2011-07-20 采钰科技股份有限公司 三维彩色图像传感器及三维光学成像系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411377B1 (en) * 1991-04-02 2002-06-25 Hitachi, Ltd. Optical apparatus for defect and particle size inspection
US5453611A (en) * 1993-01-01 1995-09-26 Canon Kabushiki Kaisha Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip
JPH07288824A (ja) * 1994-04-14 1995-10-31 Asahi Optical Co Ltd 輝度信号生成装置
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US5852753A (en) * 1997-11-10 1998-12-22 Lo; Allen Kwok Wah Dual-lens camera with shutters for taking dual or single images
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US6157337A (en) * 1999-01-29 2000-12-05 Sony Corporation 3D image acquiring and viewing systems and methods
JP2002197466A (ja) * 2000-12-27 2002-07-12 Nec Corp 被写体領域抽出装置、被写体領域抽出方法、及び被写体領域抽出プログラムを記録した記録媒体
JP4877891B2 (ja) * 2001-08-03 2012-02-15 株式会社トプコン 校正用被写体
US7663668B2 (en) * 2004-04-05 2010-02-16 Mitsubishi Electric Corporation Imaging device
JP4556722B2 (ja) * 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
US7872665B2 (en) * 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
US7567271B2 (en) * 2006-01-09 2009-07-28 Sony Corporation Shared color sensors for high-resolution 3-D camera
JP2007295091A (ja) * 2006-04-21 2007-11-08 Fujifilm Corp デジタルカメラ、デジタルカメラシステム及びデジタルカメラの制御プログラム
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
JP2008096584A (ja) * 2006-10-10 2008-04-24 Nikon Corp カメラ
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7729602B2 (en) * 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US8599247B2 (en) * 2008-01-30 2013-12-03 Samsung Electronics Co., Ltd. Stereoscopic image system employing an electronic controller which controls the polarization plane rotator in synchronization with an output image of the display device
JP5040776B2 (ja) * 2008-03-31 2012-10-03 アイシン精機株式会社 撮像装置
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8629916B2 (en) * 2008-08-19 2014-01-14 Rohm Co., Ltd. Camera with imaging unit and imaging unit for camera
KR101502603B1 (ko) * 2008-09-22 2015-03-13 삼성전자주식회사 입체 영상 표시 장치 및 그 방법
JP5332531B2 (ja) * 2008-11-18 2013-11-06 ソニー株式会社 画像表示装置と画像表示方法および画像表示システム
JP5167094B2 (ja) * 2008-11-28 2013-03-21 三星電子株式会社 撮像装置及び撮像方法
CN101833157A (zh) * 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
KR101638974B1 (ko) * 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
JP5874116B2 (ja) * 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
KR101616422B1 (ko) * 2009-12-23 2016-04-28 삼성전자주식회사 고속 ａｆ를 지원하는 디지털영상처리 장치 및 방법
JP5186517B2 (ja) 2010-02-25 2013-04-17 シャープ株式会社 撮像装置
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US8305485B2 (en) * 2010-04-30 2012-11-06 Eastman Kodak Company Digital camera with coded aperture rangefinder
US9635349B2 (en) * 2010-06-11 2017-04-25 The Florida International University Board Of Trustees Second generation hand held optical imager
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
WO2012041389A1 (en) * 2010-10-01 2012-04-05 Contex A/S Two-dimensional calibration of image sensor alignment in optical scanners
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
TWI405030B (zh) * 2011-02-23 2013-08-11 Largan Precision Co Ltd 轉變成像軸線立體取像方法及裝置
US9161017B2 (en) * 2011-08-11 2015-10-13 Panasonic Intellectual Property Management Co., Ltd. 3D image capture device
US9265186B2 (en) * 2011-11-10 2016-02-16 Delaware Capital Formation, Inc. Camera system for aligning components of a PCB
US8896747B2 (en) * 2012-11-13 2014-11-25 Qualcomm Technologies, Inc. Depth estimation based on interpolation of inverse focus statistics
US20140347350A1 (en) * 2013-05-23 2014-11-27 Htc Corporation Image Processing Method and Image Processing System for Generating 3D Images
US9854157B1 (en) * 2016-10-04 2017-12-26 Gopro, Inc. Camera with touch sensor integrated with lens window

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101310539A (zh) * 2005-11-22 2008-11-19 松下电器产业株式会社 成像装置
CN102130139A (zh) * 2010-01-19 2011-07-20 采钰科技股份有限公司 三维彩色图像传感器及三维光学成像系统

Also Published As

Publication number Publication date
US20170150125A1 (en) 2017-05-25
US9979951B2 (en) 2018-05-22
CN104185006A (zh) 2014-12-03
US9596454B2 (en) 2017-03-14
JP2014230179A (ja) 2014-12-08
US20140347449A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
CN104185006B (zh) 成像设备以及成像方法
US9924142B2 (en) Camera array systems including at least one bayer type camera and associated methods
US10043290B2 (en) Image processing to enhance distance calculation accuracy
KR101499081B1 (ko) 열화상 카메라 모듈 및 스마트폰
US10145994B2 (en) Lens device and image capturing device for acquiring distance information at high accuracy
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN103477186A (zh) 立体摄像装置
CN105187815B (zh) 用于获得图像深度信息的系统及方法
US9986184B2 (en) Image sensor including phase difference detection pixels having auto focus accuracy based on phase difference, and image pick-up apparatus including the same
TW201540066A (zh) 包括主要高解析度成像器及次要成像器之影像感測器模組
US20170353700A1 (en) Imaging device
CN104935790A (zh) 成像系统
US20140160253A1 (en) Hyperspectral imager
US10057563B2 (en) Image pick-up apparatus, portable terminal having the same and image pick-up method using apparatus
US20160301855A1 (en) Imaging device and phase difference detection method
KR101641406B1 (ko) 스테레오 카메라
WO2013027320A1 (ja) 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム
JP2014090233A (ja) 画像処理装置
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
Choi et al. Pixel aperture technique in CMOS image sensors for 3D imaging
US10536645B2 (en) Image processing method and imaging device
JP5896090B1 (ja) 撮像装置および測色方法
US9386207B2 (en) Image-capturing apparatus
TWI539139B (zh) 物件距離計算方法以及物件距離計算裝置
Choi et al. CMOS image sensor for extracting depth information using pixel aperture technique

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160907

Address after: Kanagawa, Japan

Applicant after: SONY SEMICONDUCTOR SOLUTIONS Corp.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171212

CF01 Termination of patent right due to non-payment of annual fee