CN104580949B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN104580949B
CN104580949B CN201410528304.5A CN201410528304A CN104580949B CN 104580949 B CN104580949 B CN 104580949B CN 201410528304 A CN201410528304 A CN 201410528304A CN 104580949 B CN104580949 B CN 104580949B
Authority
CN
China
Prior art keywords
pixel
phase difference
difference detection
mixed
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410528304.5A
Other languages
English (en)
Other versions
CN104580949A (zh
Inventor
冈泽淳郎
山崎辉彬
福冨武史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104580949A publication Critical patent/CN104580949A/zh
Application granted granted Critical
Publication of CN104580949B publication Critical patent/CN104580949B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像处理装置和图像处理方法，图像处理装置对来自具有摄像像素和相位差检测像素的摄像元件的像素输出进行处理，该图像处理装置包括像素混合部和图像处理部。像素混合部对多个所述像素输出进行混合。图像处理部使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对像素输出进行校正以消除由于所述相位差检测像素而引起的画质劣化。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及对利用一部分像素作为相位差方式的焦点检测元件来检测焦点状态的摄像元件的像素输出进行处理的图像处理装置和图像处理方法。
背景技术
例如在日本特许第3592147号公报中提出了与利用摄像元件的一部分像素作为焦点检测元件来检测焦点状态的摄像装置有关的技术。在日本特许第3592147号公报中，将摄像元件的一部分像素设定为相位差检测像素，使穿过相对于摄影镜头的光轴中心对称的不同瞳区域后的被摄体光束在多个相位差检测像素中成像，通过检测该被摄体光束之间的相位差，检测摄影镜头的焦点状态。
这里，关于相位差检测像素，例如一部分区域被遮光，以使得能够接收穿过摄影镜头的不同瞳区域后的被摄体光束的一方。因此，相位差检测像素成为无法直接作为图像使用的缺陷像素。因此，在日本特开2010-062640号公报所公开的摄像装置中，通过对相位差检测像素的像素输出进行增益调整或使用周边像素进行插值，能够用于记录和显示。
但是，除了入射光的角度、相位差检测像素中形成的遮光膜的位置以外，入射到相位差检测像素的光的量还根据像高而不同。进而，入射到相位差检测像素的光的角度根据摄影镜头等光学系统的制造偏差和配置在摄像元件的前表面的微镜头的制造偏差而不同。为了提高增益调整的精度，期望正确检测每个相位差检测像素的光量的降低量，根据检测到的降低量来设定增益调整量。
发明内容
本发明是鉴于所述情况而完成的，其目的在于，提供在对来自具有相位差检测像素的摄像元件的像素输出进行处理的摄像装置中能够进一步抑制由于相位差检测像素而引起的画质降低的图像处理装置和图像处理方法。
本发明的第1方式的图像处理装置对来自具有摄像像素和相位差检测像素的摄像元件的像素输出进行处理，其中，该图像处理装置具有：像素混合部，其对多个所述像素输出进行混合；以及图像处理部，其使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对像素输出进行校正以消除由于所述相位差检测像素而引起的画质劣化。
本发明的第2方式的图像处理方法对来自具有摄像像素和相位差检测像素的摄像元件的像素输出进行处理，其中，该图像处理方法包括以下步骤：对多个所述像素输出进行混合；以及使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，对像素输出进行校正以消除由于所述相位差检测像素而引起的画质劣化。
根据本发明，能够提供在对来自具有相位差检测像素的摄像元件的像素输出进行处理的摄像装置中能够进一步抑制由于相位差检测像素而引起的画质降低的图像处理装置和图像处理方法。
本发明的优点将在以下的说明中阐述，部分的优点将通过说明变得清楚，或者可以通过本发明的实践而得知。可以通过以下特别指出的手段和组合实现和获得本发明的优点。
附图说明
图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机的结构的框图。
图2是示出摄像元件的像素排列的例子的图。
图3是示出图像处理部的详细结构的图。
图4A是示出增益量估计部的结构的图。
图4B是示出增益校正部的结构的图。
图5A是示出摄像像素21a中的像的成像状态的图。
图5B是示出相位差检测像素21b中的像的成像状态的图。
图6是示出摄像装置的动态图像记录处理的流程图。
图7A是示出2×2像素混合读出前的像素配置的图。
图7B是示出2×2像素混合读出后的像素配置的图。
图8A是示出3×3像素混合读出前的像素配置的图。
图8B是示出3×3像素混合读出后的像素配置的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机(以下简称为照相机)的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。
图1所示的照相机1具有摄影镜头11、光圈13、机械快门15、驱动部17、操作部19、摄像元件21、摄像控制电路23、A-AMP 25、模拟数字转换部(ADC)27、CPU 29、图像处理部31、焦点检测电路33、视频编码器35、显示部37、总线39、DRAM(Dynamic Random Access Memory：动态随机存取存储器)41、ROM(Read Only Memory：只读存储器)43、记录介质45。
摄影镜头11是用于在摄像元件21上形成来自被摄体100的像的摄影光学系统。摄影镜头11具有用于调节对焦位置的对焦镜头，并且也可以构成为变焦镜头。光圈13配置在摄影镜头11的光轴上，构成为其口径可变。光圈13限制穿过摄影镜头11的来自被摄体100的光束的量。机械快门15构成为开闭自如。机械快门15对来自被摄体100的被摄体光束入射到摄像元件21的入射时间(摄像元件21的曝光时间)进行调节。作为机械快门15，可以采用公知的焦面快门、镜头快门等。驱动部17根据来自CPU 29的控制信号进行摄影镜头11、光圈13和机械快门15的驱动的控制。
操作部19包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮这样的各种操作按钮和触摸面板等各种操作部件。该操作部19检测各种操作部件的操作状态，将表示检测结果的信号输出到CPU 29。这里，通过本实施方式的操作部19，能够选择照相机1的拍摄模式。即，用户通过对操作部19进行操作，能够从静态图像拍摄模式和动态图像拍摄模式中选择照相机1的拍摄模式。静态图像拍摄模式是用于拍摄静态图像的拍摄模式，动态图像拍摄模式是用于拍摄动态图像的拍摄模式。
摄像元件21配置在摄影镜头11的光轴上的机械快门15的后方且通过摄影镜头11使被摄体光束成像的位置。摄像元件21构成为二维配置有构成像素的光电二极管。这里，本实施方式中的摄像元件21具有用于取得记录和显示用的图像的摄像像素和用于进行焦点检测的相位差检测像素。
构成摄像元件21的光电二极管生成与受光量对应的电荷。光电二极管产生的电荷蓄积在与各光电二极管连接的电容器中。该电容器中蓄积的电荷被作为图像信号读出。本实施方式中的摄像元件21具有多个不同的电荷的读出方式。根据来自摄像控制电路23的控制信号读出摄像元件21中蓄积的电荷。
并且，在构成像素的光电二极管的前表面配置有例如拜耳排列的彩色滤镜。拜耳排列在水平方向上具有交替配置R像素和G(Gr)像素的行和交替配置G(Gb)像素和B像素的行。
作为像素混合部发挥功能的摄像控制电路23根据来自CPU 29的控制信号设定摄像元件21的驱动模式，根据与所设定的驱动模式对应的读出方式进行来自摄像元件21的图像信号的读出。例如，在实时取景显示时和动态图像记录时这样的来自摄像元件21的像素数据的读出要求实时性的驱动模式的情况下，为了能够高速进行像素数据的读出，混合读出来自多个相同颜色像素的像素数据或间疏读出特定像素的像素数据。另一方面，例如在静态图像的记录时这样的与实时性相比更加要求画质的驱动模式的情况下，不进行混合读出或间疏读出，通过读出全部像素的像素数据来维持分辨率。
A-AMP 25根据摄像控制电路23的控制，对从摄像元件21中读出的图像信号进行放大。与摄像元件21、摄像控制电路23、A-AMP 25一起作为摄像部发挥功能的ADC 27将从A-AMP 25输出的图像信号转换为数字形式的图像信号(像素数据)。下面，在本说明书中，将多个像素数据的集合记载为摄像数据。
CPU 29根据ROM 43中存储的程序进行照相机1的整体控制。图像处理部31对摄像数据实施各种图像处理而生成图像数据。例如，在静态图像的记录时，图像处理部31实施静态图像记录用的图像处理而生成静态图像数据。同样，在动态图像的记录时，图像处理部31实施动态图像记录用的图像处理而生成动态图像数据。进而，在实时取景显示时，图像处理部31实施显示用的图像处理而生成显示用图像数据。这种图像处理部31的结构在后面详细说明。
焦点检测电路33取得来自相位差检测像素的像素数据，根据所取得的像素数据，使用公知的相位差方式计算摄影镜头11的相对于对焦位置的散焦方向和散焦量。
视频编码器35将图像处理部31生成的显示用图像数据转换为视频数据，将该视频数据输入到显示部37，使显示部37显示图像。
显示部37例如是液晶显示器或有机EL显示器这样的显示部，例如配置在照相机1的背面。该显示部37根据视频编码器35的动作来显示图像。显示部37用于实时取景显示和已记录图像的显示等。
总线39与ADC 27、CPU 29、图像处理部31、焦点检测电路33、DRAM 41、ROM 43、记录介质45连接，作为用于转送在这些块中产生的各种数据的转送路而发挥功能。
DRAM 41是可电改写的存储器，暂时存储所述摄像数据(像素数据)、记录用图像数据、显示用图像数据、CPU 29中的处理数据这样的各种数据。另外，作为暂时存储用，也可以使用SDRAM(Synchronous Dynamic Random Access Memory：同步动态随机存取存储器)。ROM 43是罩幕式ROM或闪存等非易失性存储器。ROM 43存储CPU 29使用的程序、照相机1的调整值等各种数据。记录介质45构成为内置或装填在照相机1中，将记录用图像数据记录为规定的形式的图像文件。
使用图2对摄像元件21的结构进行说明。图2是示出摄像元件21的像素排列的例子的图。图2是拜耳排列的例子，但是，彩色滤镜的排列不限于拜耳排列，可以应用各种排列。
如上所述，拜耳排列的摄像元件21在水平方向上具有交替配置R像素和G(Gr)像素的像素行和交替配置G(Gb)像素和B像素的像素行。换言之，在水平和垂直方向上反复配置右侧的放大图所示的Gr像素、R像素、Gb像素、B像素这4个像素的组。
在本实施方式中，在一部分摄像像素21a的位置处配置相位差检测像素21b。相位差检测像素例如是通过遮光膜对左右的任意区域进行遮光的像素。在图2的例子中，沿着垂直方向接近配置对左半面进行遮光的相位差检测像素(以下称为右开口相位差检测像素)的行和对右半面进行遮光的相位差检测像素(以下称为左开口相位差检测像素)的行。
在高像素数的摄像元件的情况下，由于各个像素的面积较小，所以，可以认为在接近配置的像素中形成大致相同的像。因此，通过如图2所示那样配置相位差检测像素，能够利用图2的A行的相位差检测像素和B行的相位差检测像素的对儿来检测相位差。并且，还能够利用C行的相位差检测像素和D行的相位差检测像素的对儿来检测相位差。
这里，在图2的例子中，设相位差检测像素中的遮光区域为左右任意的区域。该情况下，能够检测水平相位差。与此相对，通过设遮光区域为上下任意的区域或倾斜方向的区域，也能够检测垂直相位差或倾斜方向的相位差。并且，只要具有某种程度的面积即可，遮光面积也可以不是像素区域的1/2。进而，在图2中将相位差检测像素配置在G像素中，但是，也可以配置在G像素以外的R像素、B像素中的任意一方中。并且，图2的例子示出了通过对相位差检测像素的一部分区域进行遮光来进行瞳分割的例子，但是，相位差检测像素只要能够选择性地接收穿过摄影镜头11的不同瞳区域的成对的被摄体光束中的一方即可。因此，也可以不采用对一部分区域进行遮光的结构，例如通过瞳分割用的微镜头进行瞳分割。进而，图2示出了沿着水平方向以4个像素周期配置相位差检测像素的例子。配置相位差检测像素的周期不限于特定的周期。
这里，由于相位差检测像素的一部分区域被遮光，所以光量降低。除了相位差检测像素中形成的遮光膜的面积以外，该光量的降低还根据遮光膜的位置、入射到相位差检测像素的光的角度、像高而不同。在图像处理部31中对这种光量的降低进行校正。
图3是示出图像处理部31的详细结构的图。在图3中，省略图像处理部31以外的块的图示。如图3所示，图像处理部31具有白平衡(WB)校正处理部311、增益量估计部312、增益校正部313、插值判断处理部314、插值处理部315、同时化处理部316、亮度特性转换部317、边缘强调处理部318、噪声降低(NR)处理部319、颜色再现处理部320。
WB校正处理部311通过利用规定的增益量放大摄像数据的各颜色成分，进行校正图像的颜色平衡的白平衡校正处理。
增益量估计部312估计在增益校正部313中用于对相位差检测像素的像素输出进行校正的增益量。根据相位差检测像素相对于摄像像素的光量降低量来估计该增益量。根据相位差检测像素的像素输出与相位差检测像素的附近的摄像像素的像素输出的比率来计算相位差检测像素的光量降低量。增益校正部313根据增益量估计部312估计出的增益量对相位差检测像素的像素输出进行校正。
插值判断处理部314判断由增益校正部313进行增益校正后的相位差检测像素的像素输出的应用比例。应用比例例如是增益校正后的相位差检测像素的像素输出和相位差检测像素的周边的摄像像素的像素输出的加权相加时的加权系数。这里，周边的摄像像素例如是相位差检测像素的周边的相同颜色(在拜耳排列的情况下为相同成分)的4个摄像像素。当然，周边的摄像像素的像素数不限于4个像素。并且，例如根据相位差检测像素的周边的摄像像素的像素输出的偏差(标准偏差)来判断应用比例。
插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用比例对由增益校正部313进行增益校正后的相位差检测像素的像素输出与其周边的摄像像素的像素输出进行加权相加。
同时化处理部316例如将对应于拜耳排列而经由摄像元件21输出的摄像数据等的、1个像素对应于1个颜色成分的摄像数据转换为1个像素对应于多个颜色成分的图像数据。亮度特性转换部317对图像数据的亮度特性(伽马特性)进行转换以使其适用于显示和记录。边缘强调处理部318对使用带通滤波器等从图像数据中提取出的边缘信号乘以边缘强调系数，将该结果与原来的图像数据进行相加，由此对图像数据中的边缘(轮廓)成分进行强调。NR处理部319利用除心(coring)处理等去除图像数据中的噪声成分。颜色再现处理部320进行用于使图像数据的颜色再现适当化的各种处理。作为该处理，例如存在彩色矩阵运算处理。彩色矩阵运算处理是对图像数据乘以例如与白平衡模式对应的彩色矩阵系数的处理。除此之外，颜色再现处理部320进行彩度/色相的校正。
图4A是示出增益量估计部312的结构的图。增益量估计部312具有比率计算处理部3121和遮光率计算处理部3122。
比率计算处理部3121通过计算相位差检测像素的像素输出与其周边的摄像像素的像素输出的比率，计算用于对各相位差检测像素的像素输出进行增益校正的遮光量。遮光率计算处理部3122根据与摄像控制电路23的读出模式和摄像元件21中的相位差检测像素的配置对应的开口朝向不同的相位差检测像素的像素输出的混入数，计算相位差检测像素的每个开口朝向的遮光率(或采光率)。遮光率的计算在后面详细说明。
图4B是示出增益校正部313的结构的图。增益校正部313具有校正量换算处理部3131和增益乘法运算处理部3132。校正量换算处理部3131根据遮光率计算处理部3122计算出的相位差检测像素的每个开口朝向的遮光率，计算用于对相位差检测像素的像素输出进行校正的增益校正量。增益校正量的计算在后面详细说明。增益乘法运算处理部3132通过对相位差检测像素的像素输出乘以校正量换算处理部3131计算出的增益校正量，对相位差检测像素的像素输出进行校正。
接着，参照图5A和图5B对具有相位差检测像素的摄像元件中产生的相位差偏移进行说明。这里，图5A示出摄像像素21a中的像的成像状态。并且，图5B示出相位差检测像素21b中的像的成像状态。
为了简化说明，当设被摄体为点光源、摄影镜头11为对焦状态时，从被摄体射出且穿过相对于摄影镜头11的光轴中心对称的不同瞳区域的成对儿的被摄体光束在摄像元件21上的同一位置成像。这意味着，摄像像素21a中形成的被摄体像的峰值位置和相位差检测像素21b中形成的被摄体像的峰值位置一致。这里，如图5A所示，穿过不同瞳区域的成对儿的被摄体光束双方入射到摄像像素21a。因此，关于摄像像素21a，光量不会降低。另一方面，关于相位差检测像素21b，如图5B所示，仅成对儿的被摄体光束中的一方入射到摄像元件21。因此，关于相位差检测像素21b，光量降低。
另一方面，在摄影镜头11为非对焦状态时，从被摄体射出且穿过摄影镜头11的不同瞳区域的成对儿的被摄体光束在摄像元件21上的不同位置成像。即，在由这些成对儿的被摄体光束形成的被摄体像之间产生相位差。通过根据在右开口相位差检测像素和左开口相位差检测像素中分别检测到的被摄体像的相关关系来检测该相位差，检测摄影镜头11的散焦量和散焦方向。这里，如图5A所示，穿过不同瞳区域的被摄体光束双方入射到摄像像素21a。因此，关于摄像像素21a，虽然光量不会降低，但是，由于入射到不同位置的被摄体光束而产生模糊。另一方面，关于相位差检测像素21b，如图5B所示，仅成对儿的被摄体光束中的一方入射到摄像元件21。该情况下，虽然不会产生摄像像素21a这样的模糊，但是，峰值位置从摄影镜头11为对焦状态的情况下的峰值位置偏移。在本实施方式中，将这种峰值位置偏移的现象称为相位偏移。当在动态图像拍摄时和实时取景显示时产生相位偏移时，相位偏移的影响作为图像而表现为波纹。在图像处理部31中对这种波纹的影响进行校正。
下面，对本实施方式的摄像装置的动作进行说明。图6是示出摄像装置的动态图像记录处理的流程图。根据ROM 43中存储的程序，通过CPU 29执行图6所示的流程图的处理。并且，图6所示的处理还能够应用于静态图像记录处理和实时取景显示处理。
图6的流程图的处理开始后，CPU 29使摄像元件21执行摄像(曝光)(步骤101)。根据与预先设定的驱动模式对应的读出方式，从摄像元件21中读出通过摄像而得到的图像信号。该读出的图像信号在A-AMP 25中进行放大、在ADC 27中进行数字化后，作为摄像数据暂时存储在DRAM 41中。
接着，CPU 29进行焦点检测处理(步骤S102)。这里，CPU 29使焦点检测电路33执行焦点检测处理。焦点检测电路33接受焦点检测处理的执行指示，从暂时存储于DRAM 41中的摄像数据中读出与相位差检测像素对应的像素数据，使用该像素数据，通过公知的相位差法计算摄影镜头11的散焦方向和散焦量。接着，CPU 29根据由焦点检测电路33检测到的摄影镜头11的散焦方向和散焦量对驱动部17进行控制，使摄影镜头11对焦。
在焦点检测处理后，CPU 29使图像处理部31执行图像处理。图像处理部31接受该指示而进行摄像数据中的像素的扫描而选择像素数据(步骤S103)。例如从摄像数据的左上端朝向右下端进行像素的扫描。
在选择了像素数据后，图像处理部31的WB校正处理部311对像素数据实施白平衡校正处理(步骤S104)。这里，也可以在循环处理外进行白平衡校正处理。接着，增益量估计部312的比率计算处理部3121进行比率计算处理(步骤S105)。在比率计算处理中，计算作为当前比率计算处理的对象的相位差检测像素(在进行像素混合的情况下为包含相位差检测像素的像素输出的像素)的像素输出与该相位差检测像素的周边的相同颜色的摄像像素(在进行像素混合的情况下为不包含相位差检测像素的像素输出的像素)的像素输出之比。例如，在设摄像像素的像素输出为N、相位差检测像素(例如右开口相位差检测像素)的像素输出为r时，根据以下的(式1)计算像素输出的比Dif_pi。
Dif_pi＝r/N (式1)
在比率计算处理后，增益量估计部312的遮光率计算处理部3122进行遮光率计算处理(步骤S106)。下面，对遮光率计算处理进行说明。作为摄像元件21的读出方式，例如在使用混合读出或间疏读出的情况下，在读出后的像素输出中可能混入有相位差检测像素的像素输出。在混入相位差检测像素的像素输出的情况下，与仅利用摄像像素的像素输出进行像素混合的情况相比，像素输出降低。在本实施方式的遮光率计算处理中，根据摄像元件21中的相位差检测像素的配置和读出方式计算像素混合后的各像素的遮光率。遮光率是将混合后的各像素视为相位差检测像素时的遮光率(像素输出的降低量)，根据混合后的每个像素输出的每个开口朝向的相位差检测像素的像素输出的混入数进行计算。根据摄像元件21中的相位差检测像素的配置方式和来自摄像元件21的像素输出的混合方式(即读出方式)，决定每个开口朝向的相位差检测像素的像素输出的混入数。下面具体进行说明。
图7A是示出2×2像素混合读出前的像素配置的图。并且，图7B是示出2×2像素混合读出后的像素配置的图。图7A和图7B的上侧和左侧标注的数字表示像素的坐标。在以下的说明中，设包含标注了数字的R像素的水平/垂直的2个像素为同一坐标进行说明。并且，图7A所示的r表示左半面被遮光的相位差检测像素(右开口相位差检测像素)，图7A所示的l表示右半面被遮光的相位差检测像素(左开口相位差检测像素)。并且，图7B的r表示混入了右开口相位差检测像素的像素输出的像素，图7B的l表示混入了左开口相位差检测像素的像素输出的像素，图7B的N表示与r、l相同颜色的像素且未混入相位差检测像素的像素输出的像素。并且，rx、lx(x为1以上的整数)表示在混合后的像素的像素输出中混入了x个相位差检测像素的像素输出、但未混入开口朝向不同的相位差检测像素的像素输出的像素。并且，像素rx、lx的像素输出分别由rx、lx表示。
在针对图7A所示的像素配置进行2×2像素混合读出的情况下，对水平/垂直各2个像素的相同颜色的像素输出进行混合。作为混合方法，例如考虑加法平均、累积、加权加法平均中的任意一种。例如，通过使图7A所示的坐标(1，1)、坐标(1，2)、坐标(2，1)、坐标(2，2)这4个R像素的像素输出混合，得到图7B的坐标(1，1)的R像素的像素输出。R像素以外的其他颜色也同样进行混合。这里，如图7A所示，当相位差检测像素配置在G(Gb)像素的位置时，在对各坐标的Gb像素进行混合时，有时在混合后的像素输出中混入有相位差检测像素的像素输出。例如，在对图7A的粗框内的像素输出进行混合的情况下，混入有相位差检测像素的像素输出。根据图7B可知，在2×2像素混合读出的情况下，在混合后的各Gb位置的像素输出中各混入有1个相位差检测像素的像素输出。混入有这种相位差检测像素的像素输出的像素在混合读出后也能够用作相位差检测像素。
图8A是示出3×3像素混合读出前的像素输出的图。并且，图8B是示出3×3像素混合读出后的像素输出的图。在针对图8A所示的像素配置进行3×3像素混合读出的情况下，对水平/垂直各3个像素的相同颜色的像素数据进行混合。例如，通过使图8A所示的坐标(2，1)、坐标(2，2)、坐标(2，3)、坐标(3，1)、(3，2)、(3，3)、(4，1)、(4，2)、(4，3)这9个R像素的像素输出混合，得到图8B的坐标(1，1)的R像素的像素输出。R像素以外的其他颜色也同样进行混合。另外，在图8A和图8B所示的例子中，在混合中不使用第1行的像素输出，但是，也可以在混合中使用第1行的像素输出。这里，与图7A和图7B的例子同样，当相位差检测像素配置在G(Gb)像素的位置时，在对各坐标的Gb像素进行了混合时，有时在混合后的像素输出中混入有相位差检测像素的像素输出。例如，在对图8A的粗框内的像素输出进行了混合的情况下，混入有相位差检测像素的像素输出。根据图8B可知，在3×3像素混合读出的情况下，根据位置，相位差检测像素的像素输出的混入数不同。进而，根据位置，有时混入有右开口相位差检测像素的像素输出和左开口相位差检测像素的像素输出双方。
关于相位差检测像素的混入数为1个的像素，使用步骤S105中计算出的比率作为遮光率。例如，在2×2像素混合读出的情况下，在混入有相位差检测像素的像素输出的情况下，必定混入有1个相位检测像素的像素输出。因此，关于混入有相位差检测像素的像素输出的所有像素，能够利用步骤S105中计算出的比率作为遮光率。例如，在设像素r1的像素输出为r1、像素r1的周边的相同颜色像素N的像素输出为N时，根据以下的(式2)计算图7B的像素r1的遮光率。关于像素l1，也能够同样计算遮光率。进而，在3×3像素混合读出的情况下，关于像素r1和像素l1，也能够与(式2)同样计算遮光率。
像素r1的遮光率＝r1/N (式2)
另一方面，关于相位差检测像素的混入数为2个以上的像素，根据是否在混合后的像素的像素输出中混入有开口朝向不同的相位差检测像素的像素输出，根据不同运算来计算遮光率。
首先，关于在混合后的像素的像素输出中未混入开口朝向不同的相位差检测像素的像素输出的像素即像素r2、l2，与(式2)同样计算出混入有2个相位差检测像素的像素输出的状态的遮光率后，进行用于换算为相位差检测像素的混入数为1个时的遮光率的计算。例如，在设像素l2的像素输出为l2、像素l2的周边的相同颜色像素N1的像素输出为N1时，如下计算图8B的像素l2的混合中使用的各个相位差检测像素l的遮光率。关于像素r2，也能够同样计算遮光率。
根据(式2)，如以下的(式3)所示计算像素l2的遮光率。
像素l2的遮光率＝l2/N1 (式3)
例如，在2×2像素混合读出中，在设2个相位差检测像素的输出均为0.9、2个摄像像素的输出均为1.0、相位差检测像素的周边的4个相同颜色的摄像像素的输出均为1.0时，式3的分子为0.9×2+1.0×2＝3.8，分母为1.0×4，像素l2的遮光率为0.95。
这里，在将通过(1-遮光率)计算出的值定义为采光率时，如以下的(式4)所示计算像素l2的采光率。
像素l2的采光率＝1-像素l2的遮光率 (式4)
相对于表示光束的入射难度的遮光率，采光率表示光束的入射容易度。但是，(式4)是混入了2个相位差检测像素的状态的采光率。因此，相位差检测像素的混入数为1个时的采光率被计算为混入2个相位差检测像素的状态的采光率的平均值。因此，如以下的(式5)所示计算1个像素l的采光率。
像素l的采光率＝像素l2的采光率/2 (式5)
因此，根据所述采光率的定义，如以下的(式6)所示计算1个像素l的遮光率。
像素l的遮光率＝1-像素l的采光率 (式6)
接着，关于在混合后的像素的像素输出中混入有开口朝向不同的相位差检测像素的像素输出的像素即像素r1l1、r1l2、r2l2、r2l1，在与(式2)同样计算出混入有2个相位差检测像素的像素输出的状态的遮光率后，进行用于换算为相位差检测像素的混入数为1个时的遮光率的计算。但是，在右开口相位差检测像素和左开口相位差检测像素中分别计算遮光率。为了在右开口相位差检测像素和左开口相位差检测像素中分别计算遮光率，建立与遮光率有关的联立方程式。例如，在设像素r2l1的像素输出为r2l1、像素r1l2的像素输出为r1l2、像素r2l1和像素r1l2的周边的相同颜色像素N3的像素输出为N3时，如下计算图8B的像素r2l1和像素r1l2的混合中使用的相位差检测像素r的遮光率和相位差检测像素l的遮光率。其他像素也能够同样计算遮光率。
根据(式2)，分别如以下的(式7)所示计算像素r2l1和像素r1l2的遮光率。
像素r2l1的遮光率＝r2l1/N3
像素r1l2的遮光率＝r1l2/N3 (式7)
这里，可以认为像素r2l1的遮光率是2个像素r的遮光率与1个像素l的遮光率之和，像素r1l2的遮光率是1个像素r的遮光率与2个像素l的遮光率之和。但是，例如像素r1l2的情况下的1个像素r的遮光率的分子或2个像素l的遮光率的分子与(式3)不同，在分子中不包含摄像像素的输出。例如，在2×2像素混合读出中，在设1个r的相位差检测像素的输出为0.9、2个l的相位差检测像素的输出均为0.5、相位差检测像素的周边的4个相同颜色的摄像像素的输出均为1.0时，1个像素r的遮光率为0.9/4＝0.225，2个像素l的遮光率成为0.5×2/4＝0.25，像素r1l2的遮光率为0.225+0.25＝0.475。
因此，以下的(式8)所示的联立方程式成立。
(式8)的联立方程式的解如(式9)所示。通过在(式9)中代入(式7)的结果，得到相位差检测像素r的遮光率和相位差检测像素l的遮光率。
这里，在本实施方式中，示出了2×2像素混合读出和3×3像素混合读出的情况下的遮光率的计算处理，但是，关于其他读出，也根据同样思路计算遮光率。但是，假设在进行遮光率计算处理之前，混合后的每个像素输出的每个开口朝向的相位差检测像素的像素输出的混入数已知。在相位差检测像素的像素输出的混入数未知的情况下，需要根据摄像元件21中的相位差检测像素的配置和读出方式计算相位差检测像素的像素输出的混入数。
并且，如上所述，关于混入有右开口相位差检测像素的像素输出和左开口相位差检测像素的像素输出的像素，需要进行求解联立方程式等复杂处理。因此，为了减轻计算负荷，也可以在遮光率计算中不使用混入有右开口相位差检测像素的像素输出和左开口相位差检测像素的像素输出的像素。该情况下，仅使用未混入右开口相位差检测像素的像素输出和左开口相位差检测像素的像素输出的像素进行增益量估计。
这里，返回图6的说明。在遮光率计算处理后，图像处理部31判定像素的扫描是否结束，作为循环处理的结束判定(步骤S107)。在图像处理部31中判定为像素的扫描未结束的情况下，继续进行循环处理。另一方面，在图像处理部31中判定为像素的扫描结束的情况下，循环处理结束。在循环处理结束后，增益校正部313的校正量换算处理部3131进行校正量换算处理(步骤S108)。校正量换算处理是使用通过遮光率计算处理计算出的1个像素r和像素l的遮光率来计算增益校正量的处理。下面，对校正量换算处理进行说明。
关于相位差检测像素的混入数为1个的像素，使用步骤S105中计算出的比率作为遮光率。另一方面，相位差检测像素的混入数为2个以上的像素的遮光率例如是混合中使用的像素的采光率的相加平均值。但是，设摄像像素的采光率为1。该情况下，例如，如以下的(式10)所示计算像素l2的遮光率。并且，如以下的(式11)所示计算像素r2l1的遮光率。
在校正量换算处理后，增益校正部313的增益乘法运算处理部3132进行增益校正处理(步骤S109)。在增益校正处理中，进行使根据通过步骤S108的校正量换算处理得到的遮光率而求出的增益校正量与相位差检测像素的像素输出相乘的处理。由此，对混入有相位差检测像素的像素输出的像素中的光量降低进行校正。因此，画质劣化被校正。
在增益校正处理后，插值判断处理部314判断由增益校正部313进行增益校正后的相位差检测像素的像素输出的应用比例(步骤S110)。如上所述，应用比例例如是增益校正后的相位差检测像素(在进行像素素混合的情况下为包含相位差检测像素的像素输出的像素)的像素输出和相位差检测像素的周边的摄像像素(在进行像素混合的情况下为不包含相位差检测像素的像素输出的像素)的像素输出的加权相加时的加权系数。另外，关于混入有右开口相位差检测像素的像素输出和左开口相位差检测像素的像素输出的、未进行增益校正的像素，使用周边像素的插值像素的应用比例为1。在插值判断处理部314进行判断后，插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用比例对由增益校正部313进行增益校正后的相位差检测像素(在进行像素素混合的情况下为包含相位差检测像素的像素输出的像素)的像素输出与其周边的摄像像素(在进行像素混合的情况下为不包含相位差检测像素的像素输出的像素)的像素输出进行加权相加(步骤S111)。
在插值处理后，图像处理部31执行插值处理以后的图像处理(步骤S112)。在图像处理结束后，CPU 29将DRAM 41中暂时存储的图像数据作为图像处理的结果记录在记录介质45中(步骤S113)。接着，CPU 29判定是否使动态图像记录停止(步骤S114)。这里，CPU 29判定操作部19的释放按钮的操作状态。即，在再次按下释放按钮的情况下，CPU 29判定为使动态图像记录停止。
在步骤S114中判定为未使动态图像记录停止的情况下，CPU 29使处理返回步骤S101，继续进行动态图像记录。另一方面，在步骤S114中判定为使动态图像记录停止的情况下，CPU 29使图6的处理结束。
如以上说明的那样，在本实施方式中，根据与摄像元件21中的相位差检测像素的配置和读出方式对应的混合后的像素的每组的相位差检测像素的像素输出的混入数，计算混合后的各像素的增益校正量。由此，与相位差检测像素的配置和读出方式无关，能够进一步抑制由于相位差检测像素而引起的画质降低。
这里，本实施方式中例示的遮光率的计算方法是一例。可以通过适当组合四则运算来计算遮光率。
并且，在本实施方式中，示出了根据混合后的像素输出中的相位差检测像素的像素输出的混入数来计算遮光率的例子，但是，相反，也可以根据摄像像素的像素输出的混入数来计算遮光率。由于摄像像素的像素输出的混入数是(混合中使用的像素组的总像素数)-(混入的相位差检测像素的像素数)，所以，根据该关系，可以使用上述各式计算遮光率。
上述实施方式的各处理也可以作为能够由CPU 29执行的程序来存储。除此之外，可以存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU 29通过读入该外部存储装置的存储介质中存储的程序并根据该读入的程序来控制动作，能够执行上述处理。
本领域技术人员将容易地想起其他优点和变形例。因此，本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此，可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。

Claims (9)

1.一种图像处理装置，其对来自具有摄像像素和相位差检测像素的摄像元件的像素输出进行处理，其中，该图像处理装置具有：
像素混合部，其对多个所述像素输出进行混合；以及
图像处理部，其具有增益校正部，该增益校正部使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，以不产生图像的画质劣化的方式，对所述相位差检测像素的像素输出进行增益校正，其中，所述图像是由混合了所述摄像像素的输出和所述相位差检测像素的输出的像素输出构成的。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理部具有增益估计部，该增益估计部使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，估计所述增益校正部中的所述增益校正时的增益校正量，以消除由于所述相位差检测像素而引起的画质劣化。
3.根据权利要求1所述的图像处理装置，其中，
所述相位差检测像素的每个开口朝向的像素输出的混入数的信息和所述摄像像素的像素输出的混入数的信息是根据所述相位差检测像素的配置周期和所述像素混合部对于所述像素输出的混合方法而决定的。
4.根据权利要求3所述的图像处理装置，其中，
所述像素输出的混合方法是根据所述像素输出的显示方式或记录方式而决定的。
5.根据权利要求2所述的图像处理装置，其中，
在所述混合后的像素输出中存在包含了开口朝向不同的所述相位差检测像素的像素输出在内的像素输出的情况下，所述增益估计部在不使用该开口朝向不同的所述相位差检测像素的像素输出的情况下估计所述增益校正量。
6.根据权利要求2所述的图像处理装置，其中，
在所述混合后的像素输出中存在包含了开口朝向不同的所述相位差检测像素的像素输出在内的像素输出的情况下，所述增益估计部使用联立方程式求出开口朝向不同的每个所述相位差检测像素的遮光率后，估计所述增益校正量。
7.根据权利要求2所述的图像处理装置，其中，
在所述混合后的像素输出中存在包含了开口朝向不同的所述相位差检测像素的像素输出在内的像素输出的情况下，所述增益估计部使用四则运算求出开口朝向不同的每个所述相位差检测像素的遮光率后，估计所述增益校正量。
8.一种图像处理方法，其对来自具有摄像像素和相位差检测像素的摄像元件的像素输出进行处理，其中，该图像处理方法包括以下步骤：
对多个所述像素输出进行混合；以及
使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，以不产生图像的画质劣化的方式，对所述相位差检测像素的像素输出进行增益校正，其中，所述图像是由混合了所述摄像像素的输出和所述相位差检测像素的输出的像素输出构成的。
9.根据权利要求8所述的图像处理方法，其中，
在对所述像素输出进行校正的步骤中，使用每个所述混合后的像素输出的所述相位差检测像素的每个开口朝向的像素输出的混入数和所述摄像像素的像素输出的混入数中的任意一个以上的信息，估计所述增益校正时的增益校正量，以消除由于所述相位差检测像素而引起的画质劣化。
CN201410528304.5A 2013-10-09 2014-10-09 图像处理装置和图像处理方法 Expired - Fee Related CN104580949B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-212284 2013-10-09
JP2013212284A JP6270400B2 (ja) 2013-10-09 2013-10-09 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104580949A CN104580949A (zh) 2015-04-29
CN104580949B true CN104580949B (zh) 2018-03-27

Family

ID=52776664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410528304.5A Expired - Fee Related CN104580949B (zh) 2013-10-09 2014-10-09 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US9467629B2 (zh)
JP (1) JP6270400B2 (zh)
CN (1) CN104580949B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346622B1 (ko) * 2014-08-04 2022-01-04 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置
CN107370959B (zh) * 2017-09-19 2019-11-29 德淮半导体有限公司 图像传感器、成像装置及对焦方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN101841656A (zh) * 2009-03-18 2010-09-22 佳能株式会社 摄像设备和信号处理器
CN102007762A (zh) * 2008-07-02 2011-04-06 松下电器产业株式会社 静态图像以及动态图像摄像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
US8525917B2 (en) * 2007-08-06 2013-09-03 Canon Kabushiki Kaisha Image sensing apparatus with plural focus detection pixel groups
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5225151B2 (ja) * 2008-03-11 2013-07-03 キヤノン株式会社 撮像装置及び画像処理方法
JP5197083B2 (ja) * 2008-03-21 2013-05-15 キヤノン株式会社 撮像装置及びその制御方法
JP5371331B2 (ja) 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP5468177B2 (ja) * 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置及びその合焦制御方法
WO2012132123A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 立体撮像装置および立体撮像方法
US9769370B2 (en) * 2011-05-31 2017-09-19 Nikon Corporation Exchangeable lens having a settable aperture and camera body that captures an image by an optical system which has a settable aperture
JP2013015566A (ja) * 2011-06-30 2013-01-24 Olympus Imaging Corp 撮像装置
KR20130038035A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2014026062A (ja) * 2012-07-26 2014-02-06 Sony Corp 撮像装置および撮像方法
JP2014056002A (ja) * 2012-09-11 2014-03-27 Sony Corp 焦点検出装置、撮像装置、および、焦点検出装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN102007762A (zh) * 2008-07-02 2011-04-06 松下电器产业株式会社 静态图像以及动态图像摄像装置
CN101841656A (zh) * 2009-03-18 2010-09-22 佳能株式会社 摄像设备和信号处理器

Also Published As

Publication number Publication date
JP6270400B2 (ja) 2018-01-31
US9467629B2 (en) 2016-10-11
US20150097992A1 (en) 2015-04-09
JP2015076754A (ja) 2015-04-20
CN104580949A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104285436B (zh) 摄像装置和摄像装置的控制方法
CN104519274B (zh) 图像处理装置和图像处理方法
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
US20090040364A1 (en) Adaptive Exposure Control
WO2015190156A1 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
CN103444183B (zh) 彩色摄像元件及摄像装置
US9398207B2 (en) Imaging apparatus and image correction method, and image processing apparatus and image processing method
JP2015023511A (ja) 撮像装置、画像処理方法及び画像処理プログラム
CN107736020B (zh) 摄像装置、图像处理装置、图像处理方法和图像处理程序
CN104580949B (zh) 图像处理装置和图像处理方法
US11115581B2 (en) Focus adjustment method and device using a determined reliability of a detected phase difference
CN105580354B (zh) 摄像装置和图像处理方法
WO2015005249A1 (ja) 撮像装置、カメラシステム及び画像処理方法
CN105745923B (zh) 摄像装置及图像处理方法
CN103460702B (zh) 彩色摄像元件及摄像装置
JP7235068B2 (ja) 撮像装置
JP2018046394A (ja) 撮像素子、撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180327