CN109104599A - 距离信息生成装置及方法、摄像设备、移动单元和介质 - Google Patents

距离信息生成装置及方法、摄像设备、移动单元和介质 Download PDF

Info

Publication number
CN109104599A
CN109104599A CN201810638285.XA CN201810638285A CN109104599A CN 109104599 A CN109104599 A CN 109104599A CN 201810638285 A CN201810638285 A CN 201810638285A CN 109104599 A CN109104599 A CN 109104599A
Authority
CN
China
Prior art keywords
picture signal
range information
optical system
imaging optical
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810638285.XA
Other languages
English (en)
Other versions
CN109104599B (zh
Inventor
野林和哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109104599A publication Critical patent/CN109104599A/zh
Application granted granted Critical
Publication of CN109104599B publication Critical patent/CN109104599B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Focusing (AREA)

Abstract

本发明涉及一种距离信息生成装置及方法、摄像设备、移动单元和介质。所述距离信息生成设备包括：生成单元，用于基于第一图像信号和第二图像信号之间的视差来生成所述距离信息；获取单元，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及校正单元，用于基于从所述第三图像信号针对所述多个颜色信息中的各颜色信息生成的对比度评价值、以及所述色像差信息，来校正在所述生成单元中生成的所述距离信息。

Description

距离信息生成装置及方法、摄像设备、移动单元和介质
技术领域
本发明涉及距离信息生成设备，并且特别涉及在诸如数字照相机或数字摄像机等的摄像设备中使用的距离信息生成设备。
背景技术
在诸如数字静态照相机或数字摄像机等的摄像设备中，提出了具有测距功能的摄像设备，其中该测距功能使得能够获取观看用图像信号，并且同时在多个像素位置中的各像素位置处获取从摄像设备到被摄体的距离(以下称为被摄体距离)。
例如，日本特开2003-269917提出了立体摄像设备，其中在该立体摄像设备中，两个摄像设备并行配置，并且通过相位差方法检测到被摄体的距离。在日本特开2003-269917所描述的立体摄像设备中，通过使用互相关运算检测从两个摄像设备输出的图像信号之间的相对位置偏移量(即，视差量)，并且经由预定转换系数将该相位位置偏移量转换成被摄体距离。另外，日本特开2011-7882提出了固态图像传感器，其中在该固态图像传感器中，配置各自具有测距功能的像素作为图像传感器的像素的一部分或全部，并且通过相位差方法检测被摄体距离。在日本特开2011-7882所描述的测距方法中，在摄像面上进行利用相位差方法的测距，因而该测距方法被称为摄像面相位差测距方法。在摄像面相位差测距方法中，可以基于由通过了摄像设备的成像光学系统的不同光瞳区域的光束生成的图像来获取两个图像信号。通过利用与立体摄像设备的视差量检测方法类似的方法检测两个图像信号之间的视差量、并且经由预定转换系数将视差量转换为散焦量，可以获取被摄体距离。此外，在摄像面相位差测距方法中，可以通过合成两个图像信号来生成观看用图像信号。
在各个方法中，通过使用诸如摄像设备的成像光学系统的焦距等的光学系数来将视差量转换成被摄体距离。
这种摄像设备通过使用成像光学系统在图像传感器上形成被摄体的图像。结果，根据被摄体的颜色，存在在所检测到的被摄体距离中发生由于成像光学系统的色像差(轴向色像差、倍率色像差)引起的误差的情况。例如，在被摄体为蓝色的情况下，在与蓝色波长相对应的位置处形成被摄体的图像，因而需要通过使用与蓝色波长相对应的转换系数来将视差量转换为被摄体距离。在此时使用错误的转换系数时，检测到错误的被摄体距离。
在日本特开2011-7882中，在从具有相互不同的光谱灵敏度特性的摄像像素(例如，蓝色像素、绿色像素和红色像素)输出的图像信号中，通过使用从具有不同的光谱灵敏度特性的摄像像素输出的信号值的比来校正成像光学系统的色像差。然而，用于获取视差量的互相关运算的结果不一定与信号值的比一致，因而存在色像差的校正不充分的可能性。
发明内容
本发明是有鉴于这种问题而作出的，并且本发明的目的是提供能够通过简单的处理来校正成像光学系统的色像差以高精度地检测被摄体距离的技术。
本发明的一个方面是一种距离信息生成设备，用于基于具有与到被摄体的距离相对应的视差的第一图像信号和第二图像信号以及包括多个颜色信息的第三图像信号，来生成与所述到被摄体的距离相对应的距离信息，所述距离信息生成设备包括：生成单元，用于基于所述第一图像信号和所述第二图像信号之间的视差来生成所述距离信息；获取单元，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及校正单元，用于基于从所述第三图像信号针对所述多个颜色信息中的各个颜色信息所生成的对比度评价值、以及所述色像差信息，来校正在所述生成单元中生成的所述距离信息。
本发明的一个方面是一种摄像设备，包括：成像光学系统；图像传感器，其配置在所述成像光学系统的估计焦平面上；以及上述的距离信息生成设备，其中，所述图像传感器包括：多个类型的摄像像素，其具有相互不同的光谱灵敏度特性，并且用于输出所述第三图像信号；第一测距用像素，用于输出所述第一图像信号；以及第二测距用像素，用于输出所述第二图像信号，其中，所述第一测距用像素包括第一光电转换单元，所述第一光电转换单元用于接收通过了所述成像光学系统的出射光瞳中的第一光瞳区域的光束，所述第二测距用像素包括第二光电转换单元，所述第二光电转换单元用于接收通过了位于所述成像光学系统的出射光瞳中的与所述第一光瞳区域至少部分不同的第二光瞳区域的光束，以及所述距离信息生成设备的所述校正单元通过使用所述成像光学系统的轴向色像差量来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
本发明的一个方面是一种摄像设备，包括：成像光学系统；图像传感器，其配置在所述成像光学系统的估计焦平面上；以及上述的距离信息生成设备，其中，所述图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第一像素，各个所述第一像素包括：第一光电转换单元，用于接收通过了所述成像光学系统的出射光瞳中的第一光瞳区域的光束；以及第二光电转换单元，用于接收通过了位于所述成像光学系统的所述出射光瞳中的与所述第一光瞳区域至少部分不同的第二光瞳区域的光束，其中，所述第一光电转换单元输出所述第三图像信号，所述第二光电转换单元输出第四图像信号，所述第一图像信号是通过将所述第三图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，所述第二图像信号是通过将所述第四图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，以及所述距离信息生成设备的所述校正单元通过使用所述成像光学系统的轴向色像差量来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
本发明的一个方面是一种摄像设备，包括：第一成像光学系统；第一图像传感器，其配置在所述第一成像光学系统的估计焦平面上；第二成像光学系统；第二图像传感器，其配置在所述第二成像光学系统的估计焦平面上；以及上述的距离信息生成设备，其中，所述第一图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第一像素，所述第二图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第二像素，所述多个类型的第一像素输出所述第三图像信号，所述多个类型的第二像素输出第四图像信号，所述第一图像信号是通过将所述第三图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，所述第二图像信号是通过将所述第四图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，以及所述距离信息生成设备的所述校正单元通过使用所述第一成像光学系统或所述第二成像光学系统的倍率色像差量，来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
本发明的一个方面是一种摄像设备，包括：成像光学系统；图像传感器，其配置在所述成像光学系统的估计焦平面上；以及上述的距离信息生成设备，其中，所述图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第一像素，各个所述第一像素包括：第一光电转换单元，用于接收通过了所述成像光学系统的出射光瞳中的第一光瞳区域的光束；第二光电转换单元，用于接收通过了位于所述成像光学系统的所述出射光瞳中的与所述第一光瞳区域至少部分不同的第二光瞳区域的光束；以及第三光电转换单元，用于接收通过了位于所述成像光学系统的所述出射光瞳中的与所述第一光瞳区域和所述第二光瞳区域至少部分不同的第三光瞳区域的光束，其中，所述第一图像信号是基于来自所述第一光电转换单元的输出而生成的，所述第二图像信号是基于来自所述第二光电转换单元的输出而生成的，所述第三图像信号是基于来自所述第三光电转换单元的输出而生成的，以及所述距离信息生成设备的所述校正单元通过使用所述成像光学系统的轴向色像差量来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
本发明的一个方面是一种移动单元，其安装有上述的摄像设备。
本发明的另一方面是一种距离信息生成方法，用于基于具有与到被摄体的距离相对应的视差的第一图像信号和第二图像信号以及包括多个颜色信息的第三图像信号，来生成与所述到被摄体的距离相对应的距离信息，所述距离信息生成方法包括：生成步骤，用于基于所述第一图像信号和所述第二图像信号之间的视差来生成所述距离信息；获取步骤，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及校正步骤，用于基于从所述第三图像信号针对所述多个颜色信息中的各个颜色信息所生成的对比度评价值、以及所述色像差信息，来校正在所述生成步骤中生成的所述距离信息。
本发明的另一方面是一种非暂时性计算机可读存储介质，其存储用于使计算机执行距离信息生成方法的程序，所述距离信息生成方法用于基于具有与到被摄体的距离相对应的视差的第一图像信号和第二图像信号以及包括多个颜色信息的第三图像信号，来生成与所述到被摄体的距离相对应的距离信息，所述距离信息生成方法包括：生成步骤，用于基于所述第一图像信号和所述第二图像信号之间的视差来生成所述距离信息；获取步骤，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及校正步骤，用于基于从所述第三图像信号针对所述多个颜色信息中的各个颜色信息所生成的对比度评价值、以及所述色像差信息，来校正在所述生成步骤中生成的所述距离信息。
根据本发明，可以通过简单的处理来校正成像光学系统的色像差以高精度地检测被摄体距离。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1A和1B是示出包括根据第一实施例的距离信息生成设备的摄像设备的结构的图；
图2A～2D是示出第一实施例中的图像传感器的结构的图；
图3A～3D是用于说明摄像面相位差测距方法的图；
图4A～4D是用于说明第一实施例中的距离信息生成(校正)方法的图：
图5A和5B是用于说明变形例中的距离信息生成(校正)方法的图：
图6是用于说明成像光学系统的轴向色像差的图；
图7A和7B是示出第二实施例中的图像传感器的结构的图；
图8A～8C是用于说明第二实施例中的距离信息生成(校正)方法的图：
图9A和9B是示出第二实施例中的图像传感器的结构的图；
图10A～10C是用于说明减少色像差误差的效果的图；
图11A～11C是示出第二实施例的变形例中的图像传感器的结构的图；以及
图12A～12C是用于说明第二实施例的变形例中的距离信息生成(校正)方法的图。
具体实施方式
第一实施例
以下将参考附图来详细说明本发明的第一实施例。在以下说明中，将使用数字照相机作为包括本实施例的距离信息生成设备的摄像设备的示例，但本发明的应用不限于此。注意，在基于参考附图的说明中，为了尽可能地避免重复说明，相同的部分即使在不同的图中示出的情况下，原则上也利用相同的附图标记来指定。
数字照相机的结构
图1A是示出数字照相机100的结构的图。数字照相机100被配置成：在照相机壳体190内配置成像光学系统120、图像传感器101、距离信息生成设备110、图像生成单元(未示出)、图像信号存储单元(未示出)和信息存储单元170。距离信息生成设备110可以通过使用诸如专用集成电路(ASIC)的逻辑电路来配置成。另外，作为距离信息生成设备110的另一模式，距离信息生成设备110可以包括中央处理单元(CPU)和用于存储算术处理程序的存储器。
成像光学系统120是数字照相机100的拍摄镜头，并且具有在图像传感器101上形成被摄体的图像的功能。成像光学系统120包括多个透镜组(未示出)，并且在离图像传感器101预定距离的位置处具有出射光瞳130。注意，在本说明书中，z轴平行于成像光学系统120的光轴140。另外，x轴和y轴彼此垂直，并且垂直于光轴。
图像传感器的结构
图像传感器101包括互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)，并且具有利用摄像面相位差测距方法的测距功能。图像传感器101配置在成像光学系统120的估计焦平面上。经由成像光学系统120在图像传感器101上形成的被摄体图像由图像传感器101进行光电转换，并且生成基于被摄体图像的图像信号。通过使用图像生成单元对所获取到的图像信号进行显像，可以生成观看用图像信号。另外，可以将所生成的观看用图像存储在图像信号存储单元中。在下文中，将通过使用图1B和图2A～2D来更详细地说明本实施例中的图像传感器101。
图1B是图像传感器101的xy截面图。图像传感器101通过配置各自具有排列成两行两列的像素的多个摄像像素组150、以及各自具有排列成两行两列的像素的多个测距像素组160来配置成。摄像像素组150的数量和测距像素组160的数量可以彼此相等，或者摄像像素组150的数量和测距像素组160的数量其中之一可以大于另一数量。
摄像像素组150包括具有不同的光谱灵敏度特性的多个类型的摄像像素。具体地，摄像像素组150通过对角地配置绿色像素150G1和150G2、并且配置红色像素150R和蓝色像素150B作为其它两个像素来配置成。摄像像素组150输出包括与蓝色、绿色和红色相对应的三个颜色信息的彩色图像信号(第三图像信号)。
测距像素组160通过对角地配置第一测距用像素161并且配置第二测距用像素162作为其它两个像素来配置成。测距像素组160的各第一测距用像素161和各第二测距用像素162输出用作测距用图像信号的第一图像信号和第二图像信号。
图2A是示意性示出摄像像素组150的I-I’截面的图。各像素包括光导层154和受光层155。在导光层154中，配置用于将入射到像素上的光束有效地引导到光电转换单元的微透镜151、用于允许预定波长带中的光通过的滤色器152、以及图像读取和像素驱动所用的配线(未示出)。使用与蓝色、绿色和红色相对应的三个类型的滤色器152，并且蓝色像素150B、绿色像素150G1和150G2以及红色像素150R的光谱灵敏度具有图2B所示的特性。在受光层155中，配置有用于对所接收到的光进行光电转换的光电转换单元153。
图2C是示意性示出测距像素组160的J-J’截面的图。在受光层155中，配置有光电转换单元153。在导光层164中，配置有用于将入射到像素上的光束有效地引导到光电转换单元的微透镜151、用于限制入射到光电转换单元153上的光的遮光单元163、以及图像读取和像素驱动所用的配线(未示出)。在测距像素组160中，为了增加受光量，没有配置滤色器。第一测距用像素161和第二测距用像素162的光谱灵敏度具有通过将光电转换单元153的光谱灵敏度乘以红外截止滤波器的光谱灵敏度所获得的光谱灵敏度特性。图2D示出第一测距用像素161和第二测距用像素162的光谱灵敏度，并且第一测距用像素161和第二测距用像素162具有与通过将蓝色像素150B、绿色像素150G1和红色像素150R的光谱灵敏度相加所获得的光谱灵敏度相等的光谱灵敏度。
利用摄像面相位差测距方法的距离测量
将通过使用图3A来说明本实施例的图像传感器101的第一测距用像素161和第二测距用像素162各自所接收的光束。
图3A是示出成像光学系统120的出射光瞳130、以及图像传感器101中的第一测距用像素161和第二测距用像素162的示意图。图3A所示的微透镜151被配置成出射光瞳130和受光层155彼此处于光学共轭关系。通过了成像光学系统120的出射光瞳130的光束由微透镜151会聚并被引导到光电转换单元153，但该光中的一部分被导光层164中的遮光单元163遮挡。结果，如图3A所示，第一测距用像素161的光电转换单元153主要接收通过了出射光瞳中的第一光瞳区域310的光束，并且第二测距用像素的光电转换单元153主要接收通过了出射光瞳中的第二光瞳区域320的光束。在图3A中，为了简单，第一光瞳区域310和第二光瞳区域320被示出为彼此完全不同，但这些光瞳区域可以彼此部分重叠，只要光瞳区域彼此至少部分不同即可。
图像传感器101的多个第一测距用像素161各自主要接收通过了第一光瞳区域310的光束，并且输出第一图像信号。同时，图像传感器101的多个第二测距用像素162各自主要接收通过了第二光瞳区域320的光束，并且输出第二图像信号。根据第一图像信号，可以获得由通过了第一光瞳区域310的光束在图像传感器101上形成的图像的强度分布。另外，根据第二图像信号，可以获得由通过了第二光瞳区域320的光束在图像传感器101上形成的图像的强度分布。
第一图像信号和第二图像信号之间的相对位置偏移量(即，视差量)具有与散焦量(或被摄体距离)相对应的值。将通过使用图3B、3C和3D来说明视差量和散焦量之间的关系。图3B、3C和3D各自是示出本实施例的图像传感器101和成像光学系统120的示意图。在附图中，附图标记311表示通过第一光瞳区域310的第一光束，并且附图标记321表示通过第二光瞳区域320的第二光束。
图3B示出实现聚焦时的状态，并且第一光束311和第二光束321会聚在图像传感器101上。此时，由第一光束311形成的第一图像信号和由第二光束321形成的第二图像信号之间的视差量为0。
图3C示出在像侧在z轴的负方向上发生散焦的状态。此时，由第一光束形成的第一图像信号和由第二光束形成的第二图像信号之间的视差量不是为0，而是具有负值。
图3D示出在像侧在z轴的正方向上发生散焦的状态。此时，由第一光束形成的第一图像信号和由第二光束形成的第二图像信号之间的相对位置偏移量不是为0，而是具有正值。
通过图3C和图3D之间的比较，可以看出，根据散焦量为正还是为负来切换位置偏移的方向。另外，可以看出，与成像光学系统的成像关系(几何关系)相对应的位置偏移根据散焦量而发生。可以通过后面所述的基于区域的匹配方法来检测作为第一图像信号和第二图像信号之间的位置偏移的视差量。
成像光学系统120具有色像差。图6是用于说明成像光学系统120的轴向色像差的图。附图标记601表示蓝色波长范围的光束，附图标记602表示绿色波长范围的光束，并且附图标记603表示红色波长范围的光束。从物点610发出的光由成像光学系统120会聚，并且如图6所示在与波长相对应的位置处成像。结果，在将所检测到的视差量转换成散焦量或者从数字照相机100到被摄体的距离(被摄体距离)时，需要通过使用后面所述的校正方法来校正轴向色像差。
距离信息生成设备的说明
将说明本实施例的距离信息生成设备。图4A是示出本实施例的距离信息生成设备110的示意结构的框图，并且图4B～4D是示出距离信息生成设备110的操作的流程图。
距离信息生成设备110在距离信息生成单元410中生成距离信息Ird，并且在色像差信息获取单元420中获取成像光学系统120的色像差信息Ico。另外，距离信息生成设备110通过在距离信息校正单元430中进行距离信息Ird的校正来生成校正距离信息Icd，并且输出校正距离信息Icd。以下将说明在距离信息生成单元410、色像差信息获取单元420和距离信息校正单元430中所进行的处理详情。
在距离信息生成处理S410中，距离信息生成单元410从图像传感器101或图像信号存储单元获取第一图像信号S1和第二图像信号S2，并且通过距离信息生成处理S410生成表示被摄体距离的距离信息Ird。在下文，通过使用图4C，将假设生成散焦量作为距离信息Ird来说明距离信息生成处理S410中的具体处理详情。
在步骤S411中，距离信息生成单元410进行第一图像信号S1和第二图像信号S2的光量校正。在成像光学系统120的周边视角中，由于第一光瞳区域310和第二光瞳区域320之间的形状差异，因而第一图像信号S1和第二图像信号S2之间的光量平衡因渐晕而破坏。在步骤S411中，通过使用信息存储单元170中所存储的光量校正值来进行第一图像信号S1和第二图像信号S2的光量校正。注意，不必需要使用信息存储单元170中所存储的光量校正值，并且例如，在步骤S411中，可以在根据第一光瞳区域310和第二光瞳区域320的面积比来生成光量校正值之后进行光量校正。
在步骤S412中，进行用于减少添加在图像传感器101中的噪声的处理。具体地，对第一图像信号S1和第二图像信号S2进行使用带通滤波器的滤波处理。通常，在具有高空间频率的高频范围中，SN比(信号成分和噪声成分之间的比)低，并且噪声成分相对增加。结果，可以使用随着频率变高而降低透过率的所谓的低通滤波器。注意，由于成像光学系统120的制造误差等，因而步骤S411中的光量校正的结果不一定是设计值。结果，期望使用DC成分(满足空间频率＝0的成分)的透过率为0并且高频成分的透过率低的带通滤波器。
在步骤S413中，距离信息生成单元410计算第一图像信号S1和第二图像信号S2之间的视差量。具体而言，距离信息生成单元410在第一图像信号S1中设置关注点，并设置该关注点位于中心的检查区域。检查区域例如是在一边具有预定数量的像素并且关注点位于中心的矩形(包括正方形)。接着，距离信息生成单元410在第二图像信号S2中设置参考点，并设置该参考点位于中心的参考区域。参考区域在大小和形状方面与检查区域相同。距离信息生成单元410在顺次移动参考点的同时，计算检查区域中所包括的第一图像信号S1与参考区域中所包括的第二图像信号S2之间的相关度，并且将具有最高相关度的参考点设置为与关注点相对应的对应点。关注点和对应点之间的相对位置偏移量是关注点处的视差量。距离信息生成单元410可以通过在顺次移动关注点的同时计算视差量，来计算多个像素位置处的视差量。作为相关度的计算方法，可以使用已知方法。例如，可以使用被称为用于评价图像信号之间的归一化互相关的归一化互相关(NCC)的方法、用于评价图像信号之间的差的平方和的平方差和(SSD)、或者用于评价差的绝对值的总和的绝对差和(SAD)。
在步骤S414中，距离信息生成单元410通过使用预定转换系数来将视差量转换成与从图像传感器101到成像光学系统120的焦点的距离相对应的散焦量。在预定转换系数为K、散焦量为ΔL、并且视差量为d时，可以通过以下的表达式(1)将视差量d转换成散焦量ΔL。
ΔL＝K×d...(1)
可以通过在多个像素位置处进行距离信息生成处理S410，来生成包括多个像素位置处的散焦量作为距离信息的距离信息Ird。
色像差信息获取单元420通过色像差信息获取处理S420来从信息存储单元170获取用作与成像光学系统120的色像差量有关的信息的色像差信息Ico。在信息存储单元170中，作为色像差信息Ico，存储蓝色波长范围所用的色像差信息Icob、绿色波长范围所用的色像差信息Icog和红色波长范围所用的色像差信息Icor。作为蓝色波长范围所用的色像差信息Icob，可以使用通过使用蓝色像素150B的光谱灵敏度特性(图2B)进行加权平均(加权平均值)处理所获得的轴向色像差量。同样，作为绿色波长范围所用的色像差信息Icog和红色波长范围所用的色像差信息Icor中的每一个，适当地使用通过使用与各波长范围相对应的像素(对于绿色波长范围为绿色像素150G1、对于红色波长范围为红色像素150R)的光谱灵敏度特性进行加权平均值处理所获得的轴向色像差量。注意，成像光学系统120的轴向色像差量可以是从预定波长的最佳焦点位置起的相对距离。作为预定波长，可以选择例如使光视效能最大的波长、或者绿色像素150G1的光谱灵敏度最高的波长。
已经假定色像差信息获取单元420从信息存储单元170获取色像差信息Ico进行了说明，但色像差信息获取单元420可以从其它信息源获取色像差信息Ico。例如，在摄像设备100使用可更换镜头(成像光学系统120)并且在可更换镜头中存储色像差信息Ico的情况下，色像差信息获取单元420可以从可更换镜头获取色像差信息Ico。可选地，色像差信息获取单元420可以通过通信(无线或有线通信)从外部设备获取成像光学系统120的色像差信息Ico。
在距离信息校正处理S430中，距离信息校正单元430进行距离信息Ird的校正以生成校正距离信息Icd。为了进行距离信息Ird的校正，距离信息校正单元430使用从距离信息生成单元410获取到的距离信息Ird、从色像差信息获取单元420获取到的色像差信息Ico和从图像传感器101获取到的彩色图像信号S3。以下将通过使用图4D来说明距离信息校正单元430中的具体处理详情。4D.
在步骤S431中，距离信息校正单元430针对蓝色波长范围、绿色波长范围和红色波长范围中的每一个，计算表示在生成距离信息Ird时的贡献程度的贡献率。沿着第一图像信号S1和第二图像信号S2之间的视差的发生方向(本实施例中为x方向)的对比度变化大的颜色信息具有较高的贡献率。为了评价蓝色的对比度变化的大小，从彩色图像信号S3中提取由蓝色像素150B形成的图像信号，并且生成对比度变化的大小Cb。同样，针对由绿色像素150G1和150G2形成的图像信号以及由红色像素150R形成的图像信号，顺次地生成对比度变化的大小Cg和Cr。通过使用各个颜色信息的对比度变化的大小Cb、Cg和Cr，通过以下的表达式(2)生成各颜色信息的贡献率。各个颜色信息的贡献率CTBb、CTBg和CTBr与对比度评价值相对应。
蓝色波长范围的贡献率CTBb＝Cb/(Cb+Cg+Cr)
绿色波长范围的贡献率CTBg＝Cg/(Cb+Cg+Cr)
红色波长范围的贡献率CTBr＝Cr/(Cb+Cg+Cr)...(2)
接着，将具体说明对比度变化的大小(Cb,Cg,Cr)的生成方法。以下将通过使用针对由蓝色像素150B形成的图像信号S3b生成对比度变化的大小Cb的情况作为示例来进行说明。
首先，在图像信号S3b中设置关注点，并设置该关注点位于中心的检查区域。在该处理中设置的检查区域期望具有与在步骤S413中使用的检查区域的区域大小相同的区域大小。
从检查区域内所包括的图像信号S3b中提取沿着x方向的信号串，并且计算像素值的标准偏差。通过在检查区域内沿y方向顺次移动提取信号串的位置来确定多个标准偏差。将多个标准偏差的总和(或算术平均值)设置为与蓝色波长范围相对应的对比度变化的大小Cb。通过对由绿色像素150G1和150G2形成的图像信号和由红色像素150R形成的图像信号进行相同的处理，可以生成对比度变化的大小Cg和Cr。
注意，在步骤S431中，期望提取沿着x方向的信号串并且生成像素值的标准偏差。这是因为，第一光瞳区域310的重心位置和第二光瞳区域320的重心位置沿着x方向偏心，因而期望将要评价对比度变化的大小的方向限制为x方向。换言之，优选使用沿着视差的发生方向(即，第一光瞳区域和第二光瞳区域的偏心方向)的信号串来生成标准偏差。可以将视差的发生方向表示为确定视差时的搜索方向。y方向与x方向垂直。在视差的发生方向与本实施例的情况有所不同情况下，适当地调整该方向。
在步骤S432中，距离信息校正单元430通过使用从色像差信息获取单元420获取到的色像差信息Ico和来自各个颜色信息的贡献率(CTBb,CTBg,CTBr)，来生成用于校正轴向色像差的校正值Cdef。具体地，将通过使用相应波长范围的贡献率作为权重来对在色像差信息Ico中所包括的各个波长范围的色像差信息(Icob,Icog,Icor)进行合成所获得的值确定为校正值Cdef。也就是说，如以下的表达式(3)所示，生成校正值Cdef作为使用各个颜色信息的贡献率CTBb、CTBg和CTBr作为加权系数的色像差信息Icob、Icog和Icor的加权平均值。
校正值Cdef＝Icob×CTBb+Icog×CTBg+Icor×CTBr...(3)
在步骤S433中，距离信息校正单元430通过使用在步骤S432中生成的校正值Cdef来进行由距离信息生成单元410生成的距离信息Ird的校正，以生成校正距离信息Icd。校正值Cdef是通过使用各个波长范围的贡献率对具有预定波长作为基准的的轴向色像差量进行加权平均处理所获得的值。此外，距离信息Ird包括散焦量。结果，可以使用通过从距离信息Ird中减去校正值Cdef所获得的值作为校正距离信息Icd。即，可以根据以下的表达式(4)来确定校正距离信息Icd。
校正距离信息Icd＝Ird-Cdef...(4)
本实施例的距离信息校正单元430校正由于轴向色像差而导致针对各颜色的焦点位置有所不同所产生的影响，并且生成以相同被摄体距离处的被摄体具有相同散焦量的方式所校正后的值作为校正距离信息Icd。注意，对于在距离信息校正单元430中校正轴向色像差之后的散焦量，可以在通过使用成像光学系统120的成像关系而被转换成从数字照相机100到被摄体的距离之后，被生成作为校正距离信息Icd。由于已校正了轴向色像差，因此在从散焦量向被摄体距离的转换中适当地使用成像光学系统120的近轴量(paraxialamount)。
在贡献率的计算中使用对比度变化的大小的原因
将说明在计算各波长范围的贡献率时优选使用对比度变化的大小的原因。
假设可以如以下的表达式(5)所示分离在图像传感器101中获取到的第一图像信号S1和第二图像信号S2中的每一个。
S1＝A1+A2
S2＝B1+B2...(5)
假定图像信号A1和图像信号B1是波长范围1中的一对图像信号，并且具有视差量d1。另外，假定图像信号A2和图像信号B2是波长范围2中的一对图像信号，并且具有视差量d2。
使用平方差和(SSD)来评价第一图像信号S1和第二图像信号S2之间的相关性。由于图像信号A1和图像信号B1具有视差量d1，因此通过表达式(6)给出两个图像信号之间的SSD值SSD1。
数学式1
此外，由于图像信号A2和图像信号B2具有视差量d2，因此通过表达式(7)给出两个图像信号之间的SSD值SSD2。
数学式2
在表达式(6)和表达式(7)中，d1和d2表示各对图像信号中的视差量。由于SSD值是图像信号之间的差的平方和，因此a1与图像信号A1和图像信号B1其中至少之一的对比度变化的大小的平方成比例。同样，a2与图像信号A2和图像信号B2其中至少之一的对比度变化的大小的平方成比例。
考虑到图像信号S1是图像信号A1和图像信号A2的合成图像并且图像信号S2是图像信号B1和图像信号B2的合成图像，可以如以下的表达式(8)那样对第一图像信号S1和第二图像信号S2之间的SSD值进行近似。
数学式3
这里，在将表达式(6)和表达式(7)代入表达式(8)时，获得以下的表达式(9)。
数学式4
如从表达式(9)可以看出，通过将具有视差量d1的一对图像信号A1和B1合成到一起并且将具有视差量d2的一对图像信号A2和B2合成到一起所获得的图像的视差具有通过将视差量d1和视差量d2按a1 1/2和a2 1/2的合成比率合成到一起所获得的值。这里，a1 1/2是图像信号A1的对比度变化的大小，a2 1/2是图像信号A2的对比度变化的大小，并且这两者都是具有与图像信号的维度相同的维度的值。也就是说，在计算各波长范围的贡献率时，如步骤S431所述，可以看出，适当地使用通过使用检查区域中所包括的信号串的标准偏差所计算出的对比度变化的大小。注意，在以上说明中，使用SSD来评价图像信号之间的相关性。然而，在还使用SAD或NCC的情况下，同样可以通过使用对比度变化的大小来计算合成比率。
图10A～10C是用于说明利用本实施例的距离信息生成设备的减少色像差校正误差的效果的图。图10A示出数字照相机100和用作拍摄对象的被摄体1010。被摄体1010配置在与数字照相机100相距5m的位置处。图10B示出被摄体1010的反射谱。在图10B中，横轴表示波长，并且纵轴表示归一化成反射谱满足最大值＝1的值。图10C示出在数字照相机100上拍摄被摄体1010时的成像光学系统120的散焦量。此时，在如传统情况那样使用蓝色像素的像素值、绿色像素的像素值和红色像素的像素值的比来进行色像差的校正的情况下，所估计的被摄体距离为4.86m，并且发生2.7％的误差。另一方面，在利用本实施例的距离信息生成设备110的色像差的校正中，校正后的被摄体距离为与1.1％的误差相对应的4.95μm，并且与传统情况相比，可以减小误差。因而，本实施例的距离信息生成设备110可以通过使用各波长范围的对比度变化的大小而生成各波长的贡献率，来减小由成像光学系统120的色像差引起的误差。注意，数字照相机100的成像光学系统120的焦距为14mm，并且数字照相机100在满足被摄体距离＝5.3μm的位置上聚焦。
为了高精度地生成各波长的贡献率，期望通过使用与像素值成线性比例的值来评价对比度变化的大小。在以上说明中，通过使用标准偏差来评价对比度变化的大小，但也可以使用通过在检查区域中对经过了沿X方向使用一次微分滤波器的处理的绝对值进行相加而获得的值。然而，考虑到图像传感器101中的像素缺陷和由低照度引起的噪声的影响，期望使用基于诸如标准偏差等的统计量的值。在本实施例的图像传感器101中，用于生成距离信息的测距像素组160和用于生成颜色信息的摄像像素组150配置在不同的像素位置处。结果，在距离信息校正单元430中，可以在通过彩色图像信号S3的插值处理(例如，双线性插值或双三次插值)生成测距像素组160中的颜色信息之后，计算各波长范围的贡献率。
本实施例的距离信息生成设备110通过使用通过利用彩色图像信号S3所生成的各波长范围的贡献率来校正成像光学系统120的色像差的影响。因此，不需要针对各颜色信息计算距离信息，并且可以以较小的计算量生成距离信息。另外，由于通过使用结合各个波长范围的颜色信息的图像信号来生成距离信息，因此添加在图像传感器中的噪声的影响小，并且可以生成具有高精度的距离信息。即，本实施例的距离信息生成设备110能够以小的计算量生成具有高精度的距离信息。
距离信息生成设备110的变形例
根据成像光学系统120的色像差，存在出射光瞳的位置和大小针对各波长范围有所不同的情况。在这些情况下，不仅焦点位置而且用于将视差量转换成散焦量的系数也针对各波长范围有所不同。
本实施例中的距离信息校正单元430不仅可以校正针对各波长有所不同的焦点位置的影响，而且可以校正针对各波长有所不同的用于将视差量转换成散焦量的系数的影响。
以下将说明在距离信息校正单元430还校正用于将视差量转换成散焦量的系数(转换系数)的情况下的处理详情。图5A是示出本变形例中的距离信息生成设备110的操作的流程图。
在本变形例中，首先，在步骤S420中，色像差信息获取单元420从信息存储单元170获取色像差信息Ico。根据本变形例的信息存储单元170针对各波长范围存储两个信息作为色像差信息Ico。第一个信息是轴向色像差量，并且第二个信息是用于将视差量转换成散焦量的转换系数。即，除与各波长范围的轴向色像差量有关的色像差信息(Icab,Icag,Icar)以外，信息存储单元170还存储与各波长范围的转换系数有关的信息。与各波长范围的转换系数有关的信息的示例包括蓝色波长范围的转换系数Kb、绿色波长范围的转换系数Kg和红色波长范围的转换系数Kr。
接着，在距离信息生成校正处理S510中，距离信息生成设备110生成距离信息。在距离信息生成校正处理S510中，距离信息校正单元430在考虑到色像差信息来校正转换系数K之后将视差量d转换成距离信息Ird，并且进一步考虑到轴向色像差来校正距离信息Ird以生成校正距离信息Icd。以下将通过使用图5B来说明距离信息校正单元440中的具体处理详情。注意，步骤S411～S413以及步骤S431与在图4C和4D中利用相同附图标记指定的处理相同，因而将说明在步骤S511及其后续步骤中的处理详情。
在步骤S511中，距离信息校正单元430进行轴向色像差校正值的计算和转换系数的校正。与上述处理相同，根据表达式(3)进行轴向色像差校正值Cdef的计算。根据以下的表达式(10)，通过使用从色像差信息获取单元420获取到的色像差信息Ico和在步骤S511中生成的各个颜色信息的贡献率(CTBb,CTBg,CTBr)来确定校正之后的转换系数Kc。
校正转换系数Kc＝Kb×CTBb+Kg×CTBg+Kr×CTBr...(10)
在步骤S512中，距离信息校正单元430在校正色像差的影响的同时，将视差量转换成散焦量ΔL。具体而言，距离信息校正单元430通过以下的表达式(11)，通过使用在步骤S511中生成的轴向色像差校正值Cdef和校正转换系数Kc来确定散焦量ΔL。
L＝Kc×d-Cdef...(11)
在步骤S513中，距离信息校正单元430将散焦量转换成被摄体距离。可以通过使用成像光学系统120的成像关系来进行从散焦量向被摄体距离的转换。例如，可以通过使用成像光学系统120的焦距和主点位置来将散焦量转换成被摄体距离。
注意，通常，成像光学系统120具有针对各波长范围而不同的像场弯曲。结果，本实施例的距离信息生成设备110的色像差信息获取单元420可以从信息存储单元170获取包括各波长范围的成像光学系统120的视角依赖性(例如，像场弯曲)的色像差信息Ico。在这种情况下，在各像素位置处适当地进行距离信息校正处理。
第二实施例
以下将参考附图来详细说明本发明的第二实施例。在以下说明中，将使用数字照相机作为包括本实施例的距离信息生成设备的摄像设备的示例，但本发明的应用不限于此。注意，在基于参考附图的说明中，为了尽可能地避免重复说明，相同的部分即使在不同的图中示出的情况下，原则上也利用相同的附图标记来指定。
本实施例的数字照相机100被配置成：在照相机壳体190内配置成像光学系统120、图像传感器701、距离信息生成设备710、图像生成单元(未示出)、透镜驱动控制单元(未示出)和图像信号存储单元(未示出)。即，与第一实施例(图1)相比，代替图像传感器101，本实施例的数字照相机100包括图像传感器701。此外，代替距离信息生成设备110，数字照相机100包括距离信息生成设备710。距离信息生成设备710可以通过使用逻辑电路来配置成。作为距离信息生成设备710的另一模式，距离信息生成设备710也可以包括中央处理单元(CPU)和用于存储算术处理程序的存储器。
图像传感器的结构
图像传感器701包括互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)，并且具有利用摄像面相位差测距方法的测距功能。经由成像光学系统120在图像传感器701上形成的被摄体图像由图像传感器701进行光电转换，并且生成基于被摄体图像的图像信号。通过使用图像生成单元对所获取到的图像信号进行显像，可以生成观看用图像信号。另外，可以将所生成的观看用图像存储在图像信号存储单元中。在下文中，将通过使用图7A和7B来更详细地说明本实施例中的图像传感器701。
图7A是图像传感器701的xy截面图。图7A中的图像传感器701通过配置各自具有排列成两行两列的像素的多个像素组750来配置成。在像素组750中，对角地配置绿色像素750G1和750G2，并且配置红色像素750R和蓝色像素750B作为其它两个像素。
图7B是示意性示出像素组750的I-I’截面的图。在各像素中，在受光层755中配置用于对所接收到的光进行光电转换的两个光电转换单元(第一光电转换单元751和第二光电转换单元752)。微透镜151被配置成出射光瞳130和受光层755彼此处于光学共轭关系。结果，第一光电转换单元751主要接收第一光束311，并且第二光电转换单元752主要接收第二光束321。
第一光电转换单元751对所接收到的光束进行光电转换以生成电信号。同样，第二光电转换单元752对所接收到的光束进行光电转换以生成电信号。利用由图像传感器701的各个像素的第一光电转换单元751生成的电信号的集合，生成第三图像信号。利用由图像传感器701的各个像素的第二光电转换单元752生成的电信号的集合，生成第四图像信号。可以从第三图像信号获得由第一光束311在图像传感器701上形成的图像的强度分布，并且可以从第四图像信号获得由第二光束321在图像传感器701上形成的图像的强度分布。另外，像素组750包括与蓝色、绿色和红色的波长范围相对应的滤色器，因而第三图像信号和第四图像信号各自包括三个颜色信息。即，在本实施例的图像传感器701中，各像素具有摄像功能和测距功能。
距离信息生成设备的说明
将说明本实施例的距离信息生成设备。图8A是示出本实施例的距离信息生成设备710的示意结构的框图，并且图8B是示出距离信息生成设备710的操作的流程图。
与第一实施例的距离信息生成设备相比，距离信息生成设备710附加包括图像生成单元720。距离信息生成设备710从图像传感器701获取第三图像信号S3和第四图像信号S4，并且生成并输出通过校正距离信息Ird所获得的校正距离信息Icd。
由距离信息生成单元410、色像差信息获取单元420和距离信息校正单元430进行的处理详情与第一实施例中的处理详情相同，因而将省略针对这些处理详情的说明。在下文中，将说明图像生成单元720所进行的处理详情。
图像生成单元720从图像传感器701获取第三图像信号S3和第四图像信号S4，并且通过图像生成处理S720生成第一图像信号S1和第二图像信号S2。在下文，通过使用图8C，将说明图像生成单元720中的图像生成处理S720的处理详情。
在步骤S721中，图像生成单元720进行第三图像信号S3和第四图像信号S4的去马赛克。为了生成蓝色图像信号，针对不具有蓝色像素值的各像素位置(红色像素150R、绿色像素150G1和绿色像素150G2的像素位置)，通过使用相邻的蓝色像素150B的亮度值进行插值来生成图像信号的像素值。针对绿色像素和红色像素中的每一个，同样通过使用插值处理来生成各波长范围的图像信号。作为插值处理，可以使用例如双线性插值或双三次插值。通过去马赛克来在各像素位置处生成包括蓝色、绿色和红色的三个通道的颜色信息的图像信号。
在步骤S722中，图像生成单元720根据在步骤S721中生成的第三图像信号S3来生成第一图像信号S1。同样，图像生成单元720根据在步骤S721中生成的第四图像信号S4来生成第二图像信号S2。第一图像信号S1和第二图像信号S2是分别与第三图像信号S3和第四图像信号S4相对应的亮度图像信号。为了生成第一图像信号S1，通过将以下的表达式(12)应用于第一图像信号S1的各像素来生成第一图像信号S1。这里，Ib是在步骤S721中生成的第三图像信号S3中所包括的蓝色波长范围的亮度值。同样，Ig是在步骤S721中生成的第三图像信号S3中所包括的绿色波长范围的亮度值，并且Ir是在步骤S721中生成的第三图像信号S3中所包括的红色波长范围的亮度值。
第一图像信号的信号值＝Ib/4+Ig/2+Ir/4...(12)
与第一图像信号S1相同，可以通过使用在步骤S721中生成的第四图像信号S4来生成第二图像信号S2。
距离信息生成单元410通过使用由图像生成单元720生成的第一图像信号S1和第二图像信号S2，通过距离信息生成处理S410来生成距离信息Ird。色像差信息获取单元420通过色像差信息获取处理S420来获取色像差信息Ico。距离信息校正单元430通过距离信息校正处理S430来生成并输出由距离信息Ird的色像差引起的影响得到校正的校正距离信息Icd。
在本实施例的数字照相机100中，图像传感器701的各像素组被配置为能够获取颜色信息和距离信息这两者。结果，计算距离信息的像素位置和获取到颜色信息的像素位置之间的偏移小，并且可以以更高的精度校正成像光学系统120的色像差。
图像传感器的变形例
图像传感器701的各像素在受光层755中包括两个光电转换单元，但如通过使用图11所述的图像传感器1101那样，可以在一个像素中设置三个光电转换单元。
图11A是图像传感器1101的xy截面图。图11A的图像传感器1101通过配置多个像素组150来配置成。图11B是用于说明像素组1150的图。在像素组1150中，像素1159排列成四行四列。在图11B中，R表示红色像素，G表示绿色像素，B表示蓝色像素，并且W表示白色像素。红色像素、绿色像素和蓝色像素具有图2B所示的光谱灵敏度。白色像素具有图2D所示的光谱灵敏度。除光谱灵敏度彼此不同以外，像素1159具有相同的结构。图11C是示意性示出I-I’截面的图。在像素1159中，在受光层1155中配置三个光电转换单元(第一光电转换单元1151、第二光电转换单元1152和第三光电转换单元1153)。
第一光电转换单元1151对所接收到的光束进行光电转换以生成电信号。同样，第二光电转换单元1152和第三光电转换单元1153各自对所接收到的光束进行光电转换以生成电信号。
利用由各个像素的第一光电转换单元1151生成的电信号的集合，生成第四图像信号。利用由各个像素的第二光电转换单元1152生成的电信号的集合，生成第五图像信号。此外，利用由各个像素的第三光电转换单元1153生成的电信号的集合，生成第三图像信号。
可以从第四图像信号获得由第一光束311在图像传感器1101上形成的图像的强度分布，并且可以从第五图像信号获得由第二光束321在图像传感器1101上形成的图像的强度分布。此外，可以从第三图像信号获得由主要通过了出射光瞳130的中央部分的光束在图像传感器1101上形成的图像的强度分布。
图12A是示出在像素1159包括三个光电转换单元的情况下的距离信息生成设备1110的示意结构的框图，并且图12B是示出距离信息生成设备1110的操作的流程图。
不同于距离信息生成设备720，距离信息生成设备1110从图像传感器1101获取第四图像信号S4和第五图像信号S5，并且生成并输出通过校正距离信息Ird所获得的校正距离信息Icd。
距离信息生成设备1110的图像生成单元1120获取第四图像信号S4和第五图像信号S5，并且通过图像生成处理S1120生成第一图像信号S1和第二图像信号S2。除图像生成处理S1120以外的处理与上述处理相同，因而以下将通过使用图12C来说明图像生成单元1120中的图像生成处理S1120。
在步骤S1121中，图像生成单元1120进行第四图像信号S4和第五图像信号S5的插值处理。为了生成白色像素的图像信号，针对不具有白色像素的像素值的各像素位置(红色像素、绿色像素和蓝色像素的像素位置)，通过使用相邻的白色像素的亮度值jinxing插值来生成图像信号的像素值。作为插值处理，可以使用例如双线性插值或双三次插值。考虑到沿x方向进行针对视差的搜索，期望沿与视差的搜索方向垂直的y方向使用线性插值。
在受光层755包括三个光电转换单元的情况下，可以进一步增加第一光束311所通过的第一光瞳区域310和第二光束321所通过第二光瞳区域320之间的距离。结果，可以以更高的精度生成距离信息。
第三实施例
作为包括距离信息生成设备710的数字照相机100的另一模式，可以使用图9所示的数字照相机900的结构。
在图9A中，附图标记900表示包括本实施例的距离信息生成设备710的数字照相机。数字照相机900在照相机壳体190内具有第一成像光学系统920a、第二成像光学系统920b、图像传感器901a、图像传感器901b、距离信息生成设备710、信息存储单元170、图像生成单元(未示出)和透镜驱动控制单元(未示出)。第一成像光学系统920a和第二成像光学系统920b是数字照相机900的拍摄镜头，并且具有在用作摄像面的图像传感器901a和图像传感器901b上形成被摄体的图像的功能。第一成像光学系统920a包括多个透镜组和光阑，并且在离图像传感器901a预定距离的位置处具有出射光瞳930a。第二成像光学系统920b包括多个透镜组和光阑，并且在离图像传感器901b预定距离的位置处具有出射光瞳930b。
图像传感器901a和图像传感器901b各自包括互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)。图9B是图像传感器901a的xy截面图。图9B的图像传感器901a通过配置与图像传感器101的摄像像素组150相同的多个像素组来配置成。同样，图像传感器901b也通过配置与图像传感器101的摄像像素组150相同的多个像素组来配置成。
图像传感器901a的光电转换单元153对所接收到的光束进行光电转换以生成电信号。利用由图像传感器901a的各个像素的光电转换单元153生成的电信号的集合，生成第三图像信号。同样，图像传感器901b的光电转换单元153对所接收dao的光束进行光电转换以生成电信号。利用由图像传感器901b的各个像素的光电转换单元153生成的电信号的集合，生成第四图像信号。
第一成像光学系统920a和图像传感器901a的对以及第二成像光学系统920b和图像传感器901b的对被配置成彼此间隔开预定的基线长度。第三图像信号和第四图像信号的对用作通过大致同时从不同的视点拍摄被摄体所获得的图像信号对，并具有与被摄体距离相对应的视差量。另外，图像传感器901a和图像传感器901b的各个像素包括与蓝色、绿色和红色的波长范围相对应的滤色器，因而第三图像信号和第四图像信号各自包括三个颜色信息。即，数字照相机900具有彩色图像信号的摄像功能和测距功能。
距离信息生成设备710通过使用从图像传感器901a获取到的第三图像信号和从图像传感器901b获取到的第四图像信号来生成成像光学系统920a和成像光学系统920b各自的色像差的影响得到校正的距离信息Icd，并且输出距离信息Icd。不同于数字照相机100，在数字照相机900中，主要校正成像光学系统920a和成像光学系统920b各自的倍率色像差的影响。即，数字照相机900的信息存储单元170存储成像光学系统920a和成像光学系统920b各自的倍率色像差量作为色像差信息。
在本实施例的数字照相机900中，通过使光轴940a和光轴940b配置在彼此分开的位置处，来从不同的视点对相同的被摄体进行摄像。通过显著增加光轴940a和光轴940b之间的距离，可以增大每被摄体距离的视差量的变化。
其它实施例
上述数字照相机100可被用作能够自主地制定行动计划以识别外部环境的机器人或汽车所用的信息获取单元。数字照相机100可以获取色像差的影响有所减少的距离信息以及彩色图像信号，因而可以更加稳定地识别外部环境。还优选使用安装在诸如机器人或汽车等的移动单元上的上述数字照相机100。
在上述说明中，作为距离信息，确定了从摄像设备到被摄体的距离，但距离信息可以是与到被摄体的距离相对应的其它信息。例如，作为距离信息，可以使用散焦量。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种距离信息生成设备，用于基于具有与到被摄体的距离相对应的视差的第一图像信号和第二图像信号以及包括多个颜色信息的第三图像信号，来生成与所述到被摄体的距离相对应的距离信息，
所述距离信息生成设备包括：
生成单元，用于基于所述第一图像信号和所述第二图像信号之间的视差来生成所述距离信息；
获取单元，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及
校正单元，用于基于从所述第三图像信号针对所述多个颜色信息中的各个颜色信息所生成的对比度评价值、以及所述色像差信息，来校正在所述生成单元中生成的所述距离信息。
2.根据权利要求1所述的距离信息生成设备，其中，所述校正单元还进行以下操作：
确定所述色像差信息中所包括的各个颜色信息的色像差量的加权平均值，其中该加权平均值是通过使用各个颜色信息的对比度评价值作为加权系数而获得的；以及
通过使用所述加权平均值来校正在所述生成单元中生成的所述距离信息。
3.根据权利要求1所述的距离信息生成设备，其中，所述校正单元还进行以下操作：
在沿着第二方向的不同位置处，确定在所述第三图像信号中设置的检查区域内的并且沿着表示对象颜色信息的图像信号的第一方向的对比度变化的多个大小；以及
通过结合所述对比度变化的多个大小来生成所述多个颜色信息中的各个颜色信息的对比度评价值，
其中，所述第一方向是在确定所述第一图像信号和所述第二图像信号之间的视差时使用的搜索方向，以及
所述第二方向与所述第一方向垂直。
4.根据权利要求3所述的距离信息生成设备，其中，沿着所述第一方向的所述对比度变化的多个大小各自是沿着所述第一方向从所述图像信号中提取的信号串的标准偏差。
5.根据权利要求3所述的距离信息生成设备，其中，沿着所述第一方向的所述对比度变化的多个大小的结合是通过对沿着所述第一方向的所述对比度变化的多个大小进行相加或平均来进行的。
6.根据权利要求1所述的距离信息生成设备，其中，所述生成单元还进行以下操作：
基于所述对比度评价值和所述色像差信息来确定用于将所述视差转换成所述距离信息的转换系数；以及
通过使用所确定的转换系数来从所述视差生成所述距离信息。
7.根据权利要求1所述的距离信息生成设备，其中，所述第一图像信号通过以下操作获得的：
将所述第三图像信号中所包括的所述多个颜色信息乘以预定加权系数；以及
对相乘后的多个颜色信息进行合成。
8.根据权利要求1所述的距离信息生成设备，其中，所述距离信息是所述到被摄体的距离或者散焦量。
9.一种摄像设备，包括：
成像光学系统；
图像传感器，其配置在所述成像光学系统的估计焦平面上；以及
根据权利要求1至8中任一项所述的距离信息生成设备，
其中，所述图像传感器包括：
多个类型的摄像像素，其具有相互不同的光谱灵敏度特性，并且用于输出所述第三图像信号；
第一测距用像素，用于输出所述第一图像信号；以及
第二测距用像素，用于输出所述第二图像信号，
其中，所述第一测距用像素包括第一光电转换单元，所述第一光电转换单元用于接收通过了所述成像光学系统的出射光瞳中的第一光瞳区域的光束，
所述第二测距用像素包括第二光电转换单元，所述第二光电转换单元用于接收通过了位于所述成像光学系统的出射光瞳中的与所述第一光瞳区域至少部分不同的第二光瞳区域的光束，以及
所述距离信息生成设备的所述校正单元通过使用所述成像光学系统的轴向色像差量来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
10.一种摄像设备，包括：
成像光学系统；
图像传感器，其配置在所述成像光学系统的估计焦平面上；以及
根据权利要求1至8中任一项所述的距离信息生成设备，
其中，所述图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第一像素，
各个所述第一像素包括：
第一光电转换单元，用于接收通过了所述成像光学系统的出射光瞳中的第一光瞳区域的光束；以及
第二光电转换单元，用于接收通过了位于所述成像光学系统的所述出射光瞳中的与所述第一光瞳区域至少部分不同的第二光瞳区域的光束，
其中，所述第一光电转换单元输出所述第三图像信号，
所述第二光电转换单元输出第四图像信号，
所述第一图像信号是通过将所述第三图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，
所述第二图像信号是通过将所述第四图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，以及
所述距离信息生成设备的所述校正单元通过使用所述成像光学系统的轴向色像差量来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
11.一种摄像设备，包括：
第一成像光学系统；
第一图像传感器，其配置在所述第一成像光学系统的估计焦平面上；
第二成像光学系统；
第二图像传感器，其配置在所述第二成像光学系统的估计焦平面上；以及
根据权利要求1至8中任一项所述的距离信息生成设备，
其中，所述第一图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第一像素，
所述第二图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第二像素，
所述多个类型的第一像素输出所述第三图像信号，
所述多个类型的第二像素输出第四图像信号，
所述第一图像信号是通过将所述第三图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，
所述第二图像信号是通过将所述第四图像信号中所包括的多个颜色信息乘以预定加权系数并且对相乘后的多个颜色信息进行合成而获得的，以及
所述距离信息生成设备的所述校正单元通过使用所述第一成像光学系统或所述第二成像光学系统的倍率色像差量，来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
12.一种摄像设备，包括：
成像光学系统；
图像传感器，其配置在所述成像光学系统的估计焦平面上；以及
根据权利要求1至8中任一项所述的距离信息生成设备，
其中，所述图像传感器包括具有相互不同的光谱灵敏度特性的多个类型的第一像素，
各个所述第一像素包括：
第一光电转换单元，用于接收通过了所述成像光学系统的出射光瞳中的第一光瞳区域的光束；
第二光电转换单元，用于接收通过了位于所述成像光学系统的所述出射光瞳中的与所述第一光瞳区域至少部分不同的第二光瞳区域的光束；以及
第三光电转换单元，用于接收通过了位于所述成像光学系统的所述出射光瞳中的与所述第一光瞳区域和所述第二光瞳区域至少部分不同的第三光瞳区域的光束，
其中，所述第一图像信号是基于来自所述第一光电转换单元的输出而生成的，
所述第二图像信号是基于来自所述第二光电转换单元的输出而生成的，
所述第三图像信号是基于来自所述第三光电转换单元的输出而生成的，以及
所述距离信息生成设备的所述校正单元通过使用所述成像光学系统的轴向色像差量来校正根据所述第一图像信号和所述第二图像信号所确定的所述距离信息。
13.一种移动单元，其安装有根据权利要求9所述的摄像设备。
14.一种距离信息生成方法，用于基于具有与到被摄体的距离相对应的视差的第一图像信号和第二图像信号以及包括多个颜色信息的第三图像信号，来生成与所述到被摄体的距离相对应的距离信息，
所述距离信息生成方法包括：
生成步骤，用于基于所述第一图像信号和所述第二图像信号之间的视差来生成所述距离信息；
获取步骤，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及
校正步骤，用于基于从所述第三图像信号针对所述多个颜色信息中的各个颜色信息所生成的对比度评价值、以及所述色像差信息，来校正在所述生成步骤中生成的所述距离信息。
15.一种非暂时性计算机可读存储介质，其存储用于使计算机执行距离信息生成方法的程序，所述距离信息生成方法用于基于具有与到被摄体的距离相对应的视差的第一图像信号和第二图像信号以及包括多个颜色信息的第三图像信号，来生成与所述到被摄体的距离相对应的距离信息，
所述距离信息生成方法包括：
生成步骤，用于基于所述第一图像信号和所述第二图像信号之间的视差来生成所述距离信息；
获取步骤，用于获取表示在所述第一图像信号和所述第二图像信号的拍摄中所使用的成像光学系统的色像差的色像差信息；以及
校正步骤，用于基于从所述第三图像信号针对所述多个颜色信息中的各个颜色信息所生成的对比度评价值、以及所述色像差信息，来校正在所述生成步骤中生成的所述距离信息。
CN201810638285.XA 2017-06-20 2018-06-20 距离信息生成装置及方法、摄像设备、移动单元和介质 Expired - Fee Related CN109104599B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017120848A JP7009091B2 (ja) 2017-06-20 2017-06-20 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム
JP2017-120848 2017-06-20

Publications (2)

Publication Number Publication Date
CN109104599A true CN109104599A (zh) 2018-12-28
CN109104599B CN109104599B (zh) 2021-08-24

Family

ID=62705479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810638285.XA Expired - Fee Related CN109104599B (zh) 2017-06-20 2018-06-20 距离信息生成装置及方法、摄像设备、移动单元和介质

Country Status (4)

Country Link
US (1) US10659744B2 (zh)
EP (1) EP3418773B1 (zh)
JP (1) JP7009091B2 (zh)
CN (1) CN109104599B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104599B (zh) * 2017-06-20 2021-08-24 佳能株式会社 距离信息生成装置及方法、摄像设备、移动单元和介质
CN113933853A (zh) * 2021-11-25 2022-01-14 上海布鲁可积木科技有限公司 基于颜色补偿的红外测距校正方法及系统
CN113938664A (zh) * 2021-09-10 2022-01-14 思特威(上海)电子科技股份有限公司 像素阵列的信号采集方法、图像传感器、设备及存储介质
CN114175631A (zh) * 2019-07-31 2022-03-11 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN114697546A (zh) * 2020-12-25 2022-07-01 汇顶科技(香港)有限公司 拍摄系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6865589B2 (ja) * 2017-01-10 2021-04-28 キヤノン株式会社 撮像装置
JP7256368B2 (ja) * 2019-02-06 2023-04-12 ミツミ電機株式会社 測距カメラ
JP2020193867A (ja) * 2019-05-28 2020-12-03 キヤノン株式会社 画像処理装置、制御方法、制御プログラムおよびコンピュータで読み取り可能な記録媒体
JP7341843B2 (ja) * 2019-10-17 2023-09-11 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
JP7527810B2 (ja) 2020-02-26 2024-08-05 キヤノン株式会社 画像編集装置およびその制御方法、画像生成装置、プログラム
US11582436B2 (en) * 2020-07-17 2023-02-14 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on chromatic focal differentiation
JP2022112125A (ja) * 2021-01-21 2022-08-02 キヤノン株式会社 距離計測装置、コンピュータプログラム及び距離計測方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176780A1 (en) * 2011-09-22 2014-06-26 Fujifilm Corporation Digital camera
US20140267622A1 (en) * 2013-03-14 2014-09-18 Ryosuke Kasahara Stereo camera

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6286318A (ja) 1985-10-11 1987-04-20 Minolta Camera Co Ltd 焦点位置検出装置
JP3855812B2 (ja) 2002-03-15 2006-12-13 ソニー株式会社 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
JP2007158692A (ja) * 2005-12-05 2007-06-21 Nikon Corp 固体撮像素子及びこれを用いた電子カメラ
JP5476810B2 (ja) * 2009-06-23 2014-04-23 株式会社ニコン 撮像装置
JP2012203278A (ja) * 2011-03-28 2012-10-22 Canon Inc 撮像装置、レンズ装置、およびカメラシステム
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP6313685B2 (ja) * 2014-05-01 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
JP7009091B2 (ja) * 2017-06-20 2022-01-25 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176780A1 (en) * 2011-09-22 2014-06-26 Fujifilm Corporation Digital camera
US20140267622A1 (en) * 2013-03-14 2014-09-18 Ryosuke Kasahara Stereo camera

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104599B (zh) * 2017-06-20 2021-08-24 佳能株式会社 距离信息生成装置及方法、摄像设备、移动单元和介质
CN114175631A (zh) * 2019-07-31 2022-03-11 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN114697546A (zh) * 2020-12-25 2022-07-01 汇顶科技(香港)有限公司 拍摄系统
CN113938664A (zh) * 2021-09-10 2022-01-14 思特威(上海)电子科技股份有限公司 像素阵列的信号采集方法、图像传感器、设备及存储介质
CN113933853A (zh) * 2021-11-25 2022-01-14 上海布鲁可积木科技有限公司 基于颜色补偿的红外测距校正方法及系统

Also Published As

Publication number Publication date
US10659744B2 (en) 2020-05-19
JP2019009511A (ja) 2019-01-17
CN109104599B (zh) 2021-08-24
EP3418773A1 (en) 2018-12-26
JP7009091B2 (ja) 2022-01-25
EP3418773B1 (en) 2020-04-08
US20180367772A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN109104599A (zh) 距离信息生成装置及方法、摄像设备、移动单元和介质
JP6335423B2 (ja) 情報処理装置および情報処理方法
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5358039B1 (ja) 撮像装置
JP6887223B2 (ja) プレンオプティック・フォービエイテッド・カメラ
US8786718B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium
JP2018179980A (ja) カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
US9756304B2 (en) Image-acquisition apparatus for performing distance measurement using parallax
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
WO2017162596A1 (en) Method for correcting aberration affecting light-field data
CN106888344B (zh) 摄像模组及其像面倾斜的获取方法和调整方法
JP2020174331A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP7237450B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置
JP7292909B2 (ja) 撮像装置及び焦点検出方法
US20150077585A1 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
US9386207B2 (en) Image-capturing apparatus
JP5634795B2 (ja) 撮像モジュールおよび撮像装置
JP2009251523A (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP2014194502A (ja) 撮像装置および撮像システム
JP2020181400A (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
JP6632406B2 (ja) 距離算出装置、撮像装置、および距離算出方法
JP2016099322A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP7559015B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム
JP6590463B2 (ja) 距離算出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210824