CN101505373B - 摄像装置、摄像方法 - Google Patents
摄像装置、摄像方法 Download PDFInfo
- Publication number
- CN101505373B CN101505373B CN2009100058548A CN200910005854A CN101505373B CN 101505373 B CN101505373 B CN 101505373B CN 2009100058548 A CN2009100058548 A CN 2009100058548A CN 200910005854 A CN200910005854 A CN 200910005854A CN 101505373 B CN101505373 B CN 101505373B
- Authority
- CN
- China
- Prior art keywords
- aforementioned
- light
- pixel values
- correction
- revised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000012546 transfer Methods 0.000 claims abstract description 41
- 238000012937 correction Methods 0.000 claims description 105
- 230000004907 flux Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 239000000203 mixture Substances 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 description 38
- 230000004075 alteration Effects 0.000 description 28
- 210000003128 head Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 230000014759 maintenance of location Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000005411 photomagnetism Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种摄像装置、摄像方法以及用于存储程序的介质，具有：光学系统，其将来自拍摄对象的光进行成像；受光部，其具有接受来自通过光学系统成像后的拍摄对象的光的多个受光元件；修正部，其依据光学系统的光学传递函数，修正与多个受光元件各自受光的光通量对应的线性的多个像素值；和非线性处理部，其将由修正部修正后的多个像素值，变换为与多个受光元件分别受光的光通量对应的非线性的像素值。
Description
技术领域
本发明涉及摄像装置及摄像方法。本发明特别是涉及用于拍摄图像的摄像装置及摄像方法，以及存储摄像装置用的程序的计算机可读介质。
背景技术
由图像数据检测出象差特性，根据检出的象差特性进行象差修正的技术是公知的技术(例如、特开平11-261832号公报)。并且，具有比受光元件阵列的2倍间距更大的PSF的光学物镜的相机也已公知(例如、特表2006-519527号公报)。
根据特开平11-261832号公报记载的技术内容，在色彩平衡调整、灰度处理等处理完成后修正象差。可是，通过色彩平衡调整、灰度处理等处理，像素值被变换为光通量对应的非线性的值以后，不能进行摄像图像的正确修复。另外，特表2006-519527号公报中对修复处理的时机没有任何记载。
发明内容
为了解决上述问题，根据本发明的第1实施方式，提供一种摄像装置，具有：光学系统，其将来自拍摄对象的光进行成像；受光部，其具有接受来自通过前述光学系统成像后的拍摄对象的光的多个受光元件；修正部，其依据前述光学系统的与到物点的距离无关而相对来自物点的光为大致相同的光学传递函数，修正与前述多个受光元件各自受光的光通量对应的线性的多个像素值；和非线性处理部170，其将前述修正部修正后的前述多个像素值，变换为与前述多个受光元件各自受光的光通量对应的非线性的像素值。
根据本发明的第2实施方式，是一种摄像方法，包括：受光步骤，利用受光的多个受光元件受光接受来自被光学系统成像后的拍摄对象的光，所述光学系统将来自拍摄对象的光进行成像；修正步骤，依据前述光学系 统的与到物点的距离无关而相对来自物点的光为大致相同的光学传递函数，修正与前述多个受光元件各自受光的光通量对应的线性的多个像素值；和图像处理步骤，将由前述修正步骤所修正的修正后的前述多个像素值，变换为与前述多个受光元件各自受光的光通量对应的非线性的像素值。
根据本发明的第3实施方式，提供一种用于存储摄像装置用的程序的计算机可读取的介质，该程序使摄像装置具有以下功能：受光部，其具有多个受光元件，所述多个受光元件接受来自被前述光学系统成像后的拍摄对象的光，前述光学系统将来自拍摄对象的光进行成像；修正部，其依据前述光学系统的光学传递函数，修正与前述多个受光元件各自受光的光通量对应的线性的多个像素值；和非线性处理部170，其将由前述修正部修正后的前述多个像素值，变换为与前述多个受光元件各自受光的光通量对应的非线性的像素值。
另外，上述发明的概要，并未列举出本发明的必要的特征的全部，这些特征群的子结合也能够成为本发明。
附图说明
图1，是表示一实施方式涉及的摄像设备100的模块构造的一例的示意图。
图2，是表示透镜系统110的光学特性一例的模式图。
图3，是表示透镜系统110构造的一例的示意图。
图4，是表示图3所示的透镜系统110的象差特性的示意图。
图5，是表示图3所示的透镜系统110的光学传递特性的示意图。
图6，是表示受光部120所具有的受光元件的阵列的一例的示意图。
图7，非线性处理部170的模块构成的一例的示意图。
图8，用表格形式表示条件存储部180所存储的数据的一例的示意图。
图9，由区域确定部160确定的多个部分区域的一例的示意图。
图10，透镜系统110中的衍射界限的MTF的示意图。
图11，被修正部140修正过的MTF特性的示意图。
图12，摄像装置100的硬件构成的一例的示意图。
具体实施方式
以下，通过发明的实施方式说明本发明，不过，以下的实施方式并不限定技术方案所涉及的发明，另外，在实施方式中说明的特征组合并非全部都是发明的解决手段所必须的。
图1为一实施方式涉及的摄像装置100的模块构成的一例的示意图。摄像装置100摄像拍摄对象而生成图像。摄像装置100具有：进行光成像的光学系统的一例的透镜系统110、接受通过了透镜系统110的光的受光部120、A/D转换部125、线性处理部130、修正部140、非线性处理部170、输出部150、区域确定部160、距离取得部165、条件存储部180、及修正控制部175。
透镜系统110，不受距物点的距离的影响而将相对来自物点的光的光学传递函数保持为大致相同。图2中对于透镜系统110的光学特性进行了定性说明。
受光部120具有2维配置的多个受光元件。多个受光元件接受由透镜系统110成像的来自拍摄对象的光。A/D转换部125，将对多个受光元件分别接受的受光通量进行表示的信号进行A/D转换，将受光通量对应的线性的数字像素值提供给线性处理部130。线性处理部130，在保持相对于受光通量的线性的状态下，处理像素值。作为线性处理部130的处理，可以有例如补光修正、缺陷像素修正等。线性处理部130处理的像素值，提供给区域确定部160、修正部140、及非线性处理部170。
修正部140，修正来自线性处理部130的像素值表示的图像。例如、修正部140，根据来自A/D转换部125的多个像素值及透镜系统110的光学传递函数、修正多个像素值表示的图像。如上所述，修正部140，将多个受光元件分别受光的光通量对应的线性的多个像素值，根据透镜系统110的光学传递函数进行修正。
非线性处理部170，对通过修正部140修正的图像进行图像处理。非线性处理部170实施的图像处理，例如可以有：色彩平衡处理、γ修正处理、颜色同步化处理、轮廓修正处理、颜色修正处理等。据此，非线性处理部170，将经过修正部140修正后的多个像素值，变换为多个受光元件分别受光的光通量对应的非线性的像素值。
如上所述，非线性处理部170，将修正部140修正过的图像的像素值变换为受光元件的受光通量对应的非线性的值。即修正部140，因为在通过非线性处理部170处理前根据光学传递函数修正图像，所以能正确修复拍摄对象的图像。
然后，输出部150，输出图像修正部140及非线性处理部170处理后得到的输出图像。例如，输出部150，可表示输出图像。并且，输出部150可在记录介质上记录输出图像。另外输出部150，可向通信回路送出输出。此外，输出部150可将输出图像压缩后输出。
此外，区域确定部160，对通过透镜系统110摄取的图像中，符合预先设定条件的部分区域予以确定。具体地说，条件存储部180，存储有经修正部140修正的部分区域应符合的条件。区域确定部160，确定图像中符合条件存储部180存储的条件的部分区域。然后，修正部140，根据透镜系统110的光学传递函数，修正区域确定部160确定的部分区域的图像。
作为一个示例，条件存储部180，存储有与到拍摄对象的距离的相关条件。具体地说，条件存储部180，存储有从透镜系统110到光学传递函数大致相同的物点的距离范围。然后，区域确定部160确定拍摄对象被拍摄的部分区域，所述拍摄对象存在于条件存储部180存储着的距离范围内的位置上。例如，距离取得部165，取得从透镜系统110到图像中被摄像的拍摄对象的距离。然后，前述区域确定部160确定部分区域，该部分区域为被摄像的拍摄对象是在距离取得部165取得的距离位于条件存储部180存储的距离范围内的区域。如此，区域确定部160，确定位于符合条件存储部180存储的距离条件上的拍摄对象被摄像的部分区域。
此外，条件存储部180，也可存储关于图像亮度的条件，所述图像亮度为从透镜系统110到光学传递函数大致相同的物点的距离范围内的位置上存在的拍摄对象被照射照明光时的图像亮度。区域确定部160，可确定照射了照明光的拍摄对象的图像中，符合条件存储部180存储的关于亮度条件的亮度的部分区域。
此外，条件存储部180，可存储关于拍摄对象种类的条件。然后，区域确定部160，可确定符合条件存储部180存储的拍摄对象种类条件的种 类的拍摄对象被摄像的部分区域。并且条件存储部180，可存储关于拍摄对象的颜色条件。然后，区域确定部160，可确定符合条件存储部180存储的关于拍摄对象颜色条件的拍摄对象被摄像的部分区域。
此外，区域确定部160，在修正部140修正的图像中，对透镜系统110的光学响应被过度修正的部分区域即过度修正部分区域进行确定。具体地说，区域确定部160，在修正部140修正的图像中，对通过透镜系统110的光学响应大于预定值的被修正频率区域所存在的部分区域即过度修正部分区域进行确定。然后，修正控制部175，在区域确定部160确定的过度修正部分区域，通过修正部140抑制修正强度。因此，可抑制从输出部150输出的图像中包含人为因素的情况。
此外，作为图像处理装置，可以安装：A/D转换部125、线性处理部130、修正部140、非线性处理部170、输出部150、区域确定部160、距离取得部165、条件存储部180、及修正控制部175。
图2为透镜系统110光学特性的一例的示意图。该图图示了从光轴上的物点入射到透镜系统110的光线中，入射光瞳205上在距光轴200的不同位置上入射的3条光线210、光线220、光线230的轨迹。如图所示，依照光线210、光线220、及光线230的顺序，在入射光瞳205上光轴200附近的位置上入射。
如图所示，光线210，通过透镜系统110，在比近轴焦点位置250在光轴方向上更远离透镜系统110的位置215上与光轴200交叉。并且，光线230，通过透镜系统110，在比位置215在光轴方向上更远离透镜系统110的位置235上与光轴200交叉。光线220，以及在最远离光轴200的位置上入射的光线230，通过透镜系统110，在位置215和位置235之间的位置225上与光轴200交叉。
如图所示，通过透镜系统110的光的扩大量，优选从位置215到位置235之间大致相同。如此，透镜系统110具有过度修正的球面象差，实际上光在比近轴焦点位置250更远处成像。因此，若通过透镜系统110，则与球面象差未被过度修正的情况相比，来自物点的光的扩大量不依光轴方向的像面位置而实际上大致相同的光轴方向的距离可以加长。
如此，该光轴方向的距离加长后，对来自从透镜系统110的更宽距离 范围中存在的物点的光，可具有光的扩大量实际上大致相同的像面位置。通过在所述像面位置上设置受光部120，不取决于到物点的距离，在设置了受光部120的位置上光学传递函数实际上大致相同。如此，透镜系统110根据上述的象差特性，相对于来自物点的光的光学传递函数大致相同，而不受到物点的距离影响。
以上，通过图2定性地说明了透镜系统110的光学特性。另外，应该注意的是图2所示的透镜系统110的模式图，是以定性地理解透镜系统110光学特性为目的而绘制的图，并非按照实际设计尺寸绘制的图。
图3表示透镜系统110构造的一个例子。透镜系统110具有：光圈700，透镜710、透镜720、以及透镜730。并且，用符号780表示像面。另外，在该图中，多条光线在透镜系统110上重叠描绘。以下说明透镜710、透镜720、以及透镜730的配置及它们的光学特性。
透镜710及透镜730的折射率，相对于波长486.133nm、波长587.562nm、以及波长656.273nm的光分别是1.53128710、1.52470166、以及1.52196091。此外，透镜720的折射率，相对于波长486.133nm、波长587.562nm、以及波长656.273nm的光分别是1.59943869、1.58546992、以及1.57986377。并且，光圈700距透镜710顶点0.001566661mm处被设置在像面一侧。
透镜710厚度是1.987091mm。而且，在该图所叙述的厚度，是代表透镜的光轴方向的长度。另外，透镜710物体一侧表面的曲率半径是15.48676mm，物体一侧截面半径是1.188941mm，物体一侧表面的圆锥常数是-90378.4。另外，透镜710像侧表面的曲率半径是-12.09038mm，像侧截面半径是2.14803mm，物体侧表面的圆锥常数是28.79374。其次，在该图的叙述中，曲率半径为负的时候，表示其表面形状相对于光是凹面。
透镜720设置在沿象面方向与透镜710相距0.4005282mm处。另外，在该图的说明中，透镜间的距离是指在光轴上的、物体侧的透镜的像侧表面与像侧的透镜的物体侧表面之间的距离。透镜720的厚度是0.09214797mm。另外，透镜720的物体侧表面的曲率半径是2.114035mm，物体侧表面的截面半径是2.38122mm，物体侧表面的圆锥常数是-0.3929276。此外，透镜720的像侧表面的曲率半径是1.119414mm，像侧 的截面半径是2.362124mm，像侧表面的圆锥常数是-2.780465。
透镜730，被设置在沿像面方向与透镜720相距1.770789mm处。透镜730厚度是0.5204438mm。此外，透镜730的物体侧表面的曲率半径是-0.6002893mm，物体侧表面截面半径是3.486572mm，物体侧表面的圆锥常数是-958.9289。另外，透镜730像侧表面的曲率是-0.3018179mm，像侧截面半径是4.262504mm，像侧表面的圆锥常数是-465.3071。并且，像面设在与透镜730距离1.1mm的位置上。
这样，复数的透镜710、透镜720、以及透镜730的各透镜的中心轴汇聚排列成同轴。因此，透镜系统110相对于光轴旋转对称。
另外，像面的法线角度与主光线入射到像面的角度的差的绝对值，应比透镜系统110的光学传递函数的预定计算误差值小，小于预定值。如此，通过增大透镜系统110的远心度，可减小光学传递函数的计算误差。例如，计算MTF时，即使通过快速傅立叶变换(FFT)也能够以极小误差算出MTF。因此，可高速修复透镜系统110的图像模糊。
图4图示了图3表示的透镜系统110的象差特性。该图从上到下依次示出了球面象差图、像散及畸变象差图、及横象差图。如最上边的球面象差图所示，图3表示的透镜系统110的球面象差被矫正过度。此外，应注意，在该图中，示出了该球面象差图的横轴表示与被設定像面相对的位置，未表示与近轴焦点相对的位置。
如图所示，经由像面的整体，纵象差为正值。即，至少相对于在透镜系统110的入射光瞳上入射到仅离开光轴第1距离的位置上的第1入射位置与光轴之间的范围内的光，纵象差的值为正值。
此外，该图最下部示出了多个物高中表示横象差的图形。最左上的图形表示光轴上的横象差图，最右上的图形为物高14.10mm的横象差图。另外，最左下的图形为物高19.74mm的横象差图，最右下的图形为物高28.20mm的横象差图。如此，透镜系统110的横象差在各物高中表示大致相同的形状。
图5表示了图3所示透镜系统110的光学传递特性。在该图中，从上而下依次为表示点列的物高及散焦依存性的点列图、MTF的散焦依存性、及MTF空间频率特性。
在最上部的点列图中，为不同的多个物高及不同的多个散焦量的点列图。在该点列图上，同一物高中的、不同的多个散焦量的多个点列图沿横向排列。并且，同一散焦量中的、不同的多个物高的多个点列图沿纵向排列。
如各点列图左方数值所示的物高那样，该点列图中包含光轴上、离光轴14.10mm、离光轴19.74mm、及离光轴20.20mm的位置的物高的点列图。并且，如各点列图下方数值的散焦量所示，该点列图中包含离所设定的像面-75μm的位置、离像面-37.5μm的位置、像面的位置、离像面37.5μm的位置、及离像面75μm的位置上的点列图。
如该点列图所示，点列图的扩大，至少在所预定的范围的光轴方向的像面位置上大致相同，且可知不依物高的变化而大致相同。如此，通过透镜系统110对来自物点光的扩大，在预定范围光轴方向的像面位置上大致相同。此外，所谓光的扩大，可以是该图所示的点列图的扩大，也可以是点像分布函数表示的光的扩大。如此可知，通过透镜系统110对来自物点的光的扩大，不依物高变化而大致相同，通过透镜系统110对来自物点的光的扩大，至少在所预定的范围的光轴方向的像面位置上大致相同。
并且，如该图中部表示的MTF的散焦依存性的图形所示，可知不论对多个物高，还是对弧矢光线及子午光线，MTF值的分布大致相同。并且，MTF至少在图形所示散焦范围内显示大致相同的值。如此，在广泛的散焦范围内透镜系统110的MTF值大致相同。
另外，如该图最下部的MTF的空间频率特性的图形所示，透镜系统110不论对多个物高，还是对弧矢光线及子午光线，MTF频率特性大致相同。如此可说，透镜系统110的MTF不依物高变化而大致相同。并且，可以说透镜系统110的MTF，在所预定的范围的光轴方向的像面位置上大致相同。如此，透镜系统110，通过不依到物点的距离的变化而将来自物点的光在受光部120中扩大至基本相同的大小，且相对来自物点的光，不依到物点距离的变化，透镜系统110的光学传递函数大致相同。
图6为受光部120具有的受光元件阵列的一例的示意图。受光部120，具有：由接受G成分光的多个受光元件610a及受光元件610b、接受R成分光的受光元件620、及接受B成分光的受光元件630所形成的受光元 件单元650a。并且，受光部120，是将与受光元件单元650a具有同样的受光元件阵列的多个受光元件单元(例如，接受G成分光的多个受光元件611a和受光元件611b、接受R成分光的受光元件621、以及接受B成分光的受光元件631形成的受光元件单元650b)按2维进行排列而形成的。
如此，受光部120，具有对多个颜色成分的每一个分别接受该颜色成分光的多个受光元件，依据多个受光元件形成略呈平面状的受光面。并且，受光部120的受光面，与透镜系统110的光轴基本垂直地进行设置。此外，受光元件也可是CCD摄像元件以及MOS型摄像元件。
此外，通过设置在受光部120的位置上的透镜系统110对来自物点的光的扩大，比受光部120具有的多个受光元件的间距要大。此外，此处所述受光元件的间距，是指表示接受相同颜色成分的波长区域的光的受光元件的间距。例如，所谓受光元件的间距，可以是设置受光元件620的位置与设置受光元件621的位置之间的距离。因此，透镜系统110，通过扩大来自物点的光，使多个受光元件中2个以上的受光元件受光。
此时，来自物点的光，通过透镜系统110由多个受光元件受光。因此拍摄对象的图像会变模糊，但如果透镜系统110的光学传递函数为已知，则通过修正显示光学传递函数的透镜系统110的扩大所进行的图像处理，可修复拍摄对象的图像。
例如，通过在设置了受光部120的位置上的透镜系统110对来自物点的光的扩大，如果具有设置了预定数目的受光元件的范围的扩大，则修正部140，根据预定数目的受光元件所受光的光通量及透镜系统110的光学传递函数，可进行图像修正。更具体地说，修正部140，通过使用了反滤光器的重叠法处理(deconvolution)，可以使修复的拍摄对象图像鲜明，所述反滤光器使用预定数目的受光元件(例如，3×3或7×7等阵列内的受光元件)所受光的受光通量，来修正透镜系统110的光学响应。
如此，修正部140，为了减小通过透镜系统110扩大来自物点的光对多个像素值的影响，根据多个像素值中2个以上像素值及光学传递函数，分别修正多个像素值。此外，修正部140，根据对各颜色成分光的透镜系统110的光学传递函数，按每个颜色成分修正多个像素值。即，修正部140可以将通过相应波长的光学传递函数的不同对光的扩大的影响，进行适当 的修正。
图7为非线性处理部170的模块构成的一例的示意图。非线性处理部170，具有颜色修正处理部810、γ修正部820、颜色插补处理部830、YC变换部840、色差修正部850、及轮廓修正部860。
颜色修正处理部810，从修正部140取得由修正部140修正的像素值。颜色修正处理部810，将从修正部140取得的像素值进行扩大修正、颜色修正的矩阵处理。例如，颜色修正处理部810，对从修正部140取得的表示R成分、G成分、及B成分强度的像素值进行扩大调整。
例如，颜色修正处理部810，可对各颜色成分的像素值分别乘以各颜色成分的规定扩大值。此外，颜色修正处理部810，也可变换成各颜色成分像素值分别乘以各颜色成分的像素值中每个颜色成分规定的计数后的乘积的和的值。例如，R成分、G成分、及B成分的值分别为R、G、及B时，R成分的像素值变换成以uR×R+uG×G+uB×B表示的值。此外，uR、uG、uB的值，可按输出像素值颜色成分的每个而不同。如此，颜色修正处理部810，可通过矩阵处理进行颜色修正处理。这样，通过颜色修正处理部810，可对通过修正部140修正后的多个像素值表示的图像施行色彩平衡修正。
经颜色修正处理部810进行颜色修正处理后的像素值，被供给γ修正部820。γ修正部820，对颜色修正处理部810提供的像素值进行γ修正。通过γ修正，像素值可变换成受光量对应的非线性值。此外，γ修正可伴随动态范围的变换。如此，通过γ修正部820，修正后的多个像素值可变换为不同动态范围的像素值。
经γ修正部820的γ修正处理后的像素值，被供给颜色插补处理部830。在颜色插补处理部830中，对经γ修正部820变换修正后的多个像素值施行同步化处理。具体地说，通过颜色插补处理部830对各个颜色成分施行插补处理，从而针对各颜色成分来决定与设置了各受光元件的位置对应的像素值。例如，图6所示的受光元件阵列中，在受光元件620的位置上，并未接受G成分及B成分的光。因此，受光元件620位置上的G成分及B成分的像素值未定。
这里，颜色插补处理部830，通过使用了设置受光元件620的位置所 对应的位置附近的像素值(例如，受光元件610a位置所对应的G成分的像素值及受光元件611a的位置所对应的G成分的像素值等)进行的插补处理，来计算设置受光元件620的位置所对应的位置附近的像素值。颜色插补处理部830，可同样计算B成分的像素值。并且，颜色插补处理部830，对于其它位置的像素值同样处理，可计算未受光的颜色成分的像素值。
如此，借助颜色插补处理部830，使用通过修正部140修正后的多个像素值，对修正后的多个像素值施行插补处理。如前所述，修正部140，根据各颜色成分的光所对应的透镜系统110的光学传递函数，按各个颜色成分修正多个像素值。因此，针对由于相对波长的光学传递函数的不同而产生的对像素值的影响，通过摄像装置100，可在借助颜色插补处理部830进行颜色插补处理前进行修正。
YC变换部840，由颜色插补处理部830进行插补处理而得到的RGB值，计算亮度信号及色差信号。经YC变换部840计算的亮度信号，提供给轮廓修正部860，在轮廓修正部860中进行轮廓修正。此外，轮廓修正部860的处理可包括边缘增强处理。如此，在轮廓修正部860中，对该图像进行空间频率处理，所述空间频率处理是对通过修正部140修正后的多个像素值表示的图像空间频率成分的调制处理。并且，色差信号被供给到色差修正部850，在色差修正部850中进行色调修正等的色差修正。此外，通过色差修正部850的色差修正可包含彩色增强处理。
如上所述，在非线性处理部170中，像素值变换为光通量对应的非线性像素值。修正部140，在通过非线性处理部170施行非线性处理前，在像素值为受光量对应的线性阶段，可根据光学传递函数使用反滤光器等进行修正处理，所以能更加正确地恢复拍摄对象图像。
图8是以表格形式表示条件存储部180存储的数据的一例的示意图。条件存储部180存储有：到拍摄对象的距离范围(距离D1～D2)、拍摄对象的亮度范围I1～I2、拍摄对象的形状特征量即形状特征量、拍摄对象的颜色特征量即颜色特征量。此外，条件存储部180也可分别存储多个形状特征量及颜色特征量。此外，为了检测条形码区域的颜色特征量可提示白、黑、及灰色值的比例，作为检测2维条形码区域的形状特征量，可提示格子状的纹理图案。此外，图像即使含有由于透镜系统110而产生的 模糊，如果模糊为数个像素的程度，就可充分抽出纹理信息。
另外，区域确定部160，对条件存储部180存储的包含符合条件的拍摄对象的部分区域进行确定。具体地说，区域确定部160对位于距离D1～D2范围的拍摄对象、亮度I1～I2范围的拍摄对象、具有上述形状特征量的拍摄对象、或者含有具有上述色特征量的拍摄对象的部分区域进行确定。
图9是通过区域确定部160确定的多个部分区域的一例的示意图。假定区域确定部160，确定了图像900上的部分区域910及部分区域920，作为条件存储部180存储的符合条件的部分区域。此时，修正部140，对区域确定部160确定的部分区域910及部分区域920，根据各自的部分区域的光学传递函数所表示的透镜系统110的光学特性进行修正。所以，因物高而光学传递函数不同时，修正部140也可根据物高适当修正。
此外，条件存储部180存储的距离范围D1～D2，如上所述，距透镜系统110的距离也可以是来自该范围内的物点的光学传递函数基本恒定的距离范围。此时，修正部140，修正光学传递函数基本恒定的部分区域，但不修正该部分区域以外的部分区域。因此，通过摄像装置100，通过以与实际的光学响应不同的光学响应用的反滤光器进行修正，可使人为因素的发生防患于未然。
并且，对亮度在I1～I2范围部分区域，由修正部140进行修正的情况下，也具有上述同样效果。此情形，如摄像装置100在内视镜系统上使用的摄像设备的情况一样，对摄像装置100在照明光下拍摄近旁的拍摄对象时特别有效。并且，修正部140，由于对条件存储部180存储的具有形状特征量或颜色特征量的部分区域进行修正，所以可以修正包含想要观察的拍摄对象的部分区域。并且，修正部140对确定的部分区域进行修正，而不修正其它部分区域，可节约修正的演算时间。
图10是透镜系统110的衍射界限MTF。线1000表示衍射界限的MTF特性。此外，用上述反滤光器等在修正部140修正光学响应，使得包含透镜系统110及修正部140的修正的系统整体的MTF特性接近表示衍射界限的MTF特性。
图11为修正部140修正的MTF特性。线1100表示利用具有修正部 140的反滤光器来修正图像时系统整体的MTF特性。如此，系统整体的MTF特性，由衍射界限的MTF特性(点线1000)产生畸变。这是由于修正部140以与实际的光学传递函数不同的光学传递函数用的反滤光器来修正时产生的。该种畸变，如果发生在人眼的高感度空间频率区域，则修正后的图像会变得刺目。
因此，区域确定部160，对衍射界限的MTF特性的畸变发生在特定空间频率区域中的部分区域进行确定。例如，区域确定部160，在通过修正部140修正后的图像中，可确定发生人为因素的部分区域。此外，区域确定部160，对起因于基于物高的光学传递函数的不同的区域，根据各部分区域的光学传递函数、及通过反滤光器的各频率区域的扩大量，可确定该部分区域。并且，修正控制部175，在区域确定部160确定的部分区域上，不通过修正部140进行修正，而减小上述特定频率区域的扩大量。通过上述处理，可抑制通过修正部140修正处理而产生的人为因素。
图12表示摄像设备100的硬件结构的一个例子。摄像设备100具有CPU外部设备部、输入输出部、传统的输入输出部。CPU外部设备部，包括通过主控制器1582被相互连接的CPU1505、RAM1520、图形控制器1575、和显示设备1580。输入输出部，具有通过输入输出控制器1584被连接到主控制器1582的通信接口1530、硬盘驱动器1540、和CD-ROM驱动器1560。传统的输入输出部具有被输入输出控制器1584连接的ROM1510、软盘驱动器1550、和输入输出芯片1570。
主控制器1582连接：RAM1520；和以高传输速率访问RAM1520的CPU1505及图形控制器1575。CPU1505，按照ROM1510和RAM1520中所存储的程序进行工作，来控制各部分。图形控制器1575，取得CPU1505等在RAM1520里面设置的帧缓冲区上生成的图像数据，在显示设备1580上进行显示。除此之外，图形控制器1575还可以在内部包含用于存储CPU1505等生成的图像数据的帧缓冲区。
输入输出控制器1584连接：主控制器1582；和作为较高速的输入输出装置的硬盘驱动器1540、通信接口1530、CD-ROM驱动器1560。硬盘驱动器1540存储CPU1505使用的程序和数据。通信接口1530，与网络通讯设备1598连接，收发程序或数据。CD-ROM驱动器1560，从CD-ROM1595 读出程序或数据，通过RAM1520提供给硬盘驱动器1540和通信接口1530。
输入输出控制器1584连接：ROM1510；和软磁盘驱动器1550、输入输出芯片1570的较低速的输入输出装置。ROM1510存储在摄像装置100起动时执行的启动程序、或是依存于摄像装置100的硬件的程序等。软盘驱动器1550，从软盘1590读出程序或数据，并通过RAM1520提供给硬盘驱动器1540和通信接口1530。输入输出芯片1570，通过软盘驱动器1550，或是并行口、串行口、键盘口、鼠标口等连接各种的输入输出装置。
CPU1505执行的程序，被存储在软盘1590、CD-ROM1595，或IC卡等的记录介质中，由使用者提供。被记录介质存储的程序可以被压缩也可以是非压缩的。从记录介质将程序安装到硬盘驱动器1540中，在RAM1520上读出，由CPU1505执行。被CPU1505执行的程序，使摄像装置100发挥作为图1至图11说明过的A/D转换部125、线性处理部130、修正部140、非线性处理部170、输出部150、区域确定部160、距离取得部165、条件存储部180、以及修正控制部175的作用。
以上所示程序，也可以存储在外部存储介质中。作为存储介质，除了软盘1590、CD-ROM1595以外，还可以使用DVD或PD等的光学记录介质、MD等的光磁性记录介质、磁带介质、IC卡等的半导体存储器等。此外，也可以将与专用通信网络或者互联网连接的服务器系统上设置的硬盘或RAM等记录装置作为记录介质来使用，作为借助了网络的程序提供给计算机1500。这样，由程序控制的计算机发挥作为摄影像设备100的功能。
以上，通过本发明的实施方式说明了本发明，不过，本发明的技术范围并不限定于上述实施方式中所记载的范围，本领域人员明白，能够对上述实施方式加以多样的变形及改良。根据技术方案的记载可以明确，这样的变形和改良后的实施方式也包含在本发明的技术的范围之内。
Claims (13)
1.一种摄像装置，具有：
光学系统，其将来自拍摄对象的光进行成像；
受光部，其具有多个受光元件，所述多个受光元件接受来自通过前述光学系统成像后的拍摄对象的光；
修正部，其依据前述光学系统的与到物点的距离无关而相对来自物点的光为大致相同的光学传递函数，修正与前述多个受光元件各自受光的光通量对应的线性的多个像素值；和
非线性处理部，其将由前述修正部修正后的前述多个像素值，变换为与前述多个受光元件各自受光的光通量对应的非线性的像素值。
2.根据权利要求1记载的摄像装置，其特征在于，
前述光学系统通过扩大来自物点的光，使前述多个受光元件中2个以上的受光元件受光，
前述修正部，为了减轻由于前述光学系统扩大来自物点的光而对前述多个像素值的影响，依据前述多个像素值中2个以上的像素值及前述光学传递函数，分别修正前述多个像素值。
3.根据权利要求2记载的摄像装置，其特征在于，
前述光学系统，通过与到物点的距离无关而将来自物点的光扩大成基本相同的大小，使相对于来自物点的光的前述光学传递函数与到物点的距离无关而大致相同。
4.根据权利要求3记载的摄像装置，其特征在于，
前述非线性处理部，将前述修正后的多个像素值变换为与修正前动态范围不同的像素值。
5.根据权利要求3记载的摄像装置，其特征在于，
前述非线性处理部，对前述修正后的多个像素值进行伽玛修正。
6.根据权利要求3记载的摄像装置，其特征在于，
前述非线性处理部，利用前述修正后的多个像素值，对前述修正后的多个像素值进行插补处理。
7.根据权利要求6记载的摄像装置，其特征在于，
前述受光部，对于多个颜色成分的每一个，具有分别接受相应颜色成分的光的多个受光元件，
前述修正部，依据与各颜色成分的光对应的前述光学系统的光学传递函数，按每个颜色成分修正前述多个像素值。
8.根据权利要求7记载的摄像装置，其特征在于，
前述非线性处理部，对各个颜色成分进行前述的插补处理。
9.根据权利要求7记载的摄像装置，其特征在于，
前述非线性处理部，对前述修正后的多个像素值进行同步化处理。
10.根据权利要求7记载的摄像装置，其特征在于，
前述非线性处理部，对前述修正后的多个像素值所表示的图像进行色彩平衡修正。
11.根据权利要求3记载的摄像装置，其特征在于，
前述非线性处理部，对前述修正后的多个像素值表示的图像进行空间频率处理，所述空间频率处理将前述修正后的多个像素值表示的图像的空间频率成分进行调制。
12.根据权利要求11记载的摄像装置，其特征在于，
前述空间频率处理包括增强处理。
13.一种摄像方法，包括：
受光步骤，利用受光的多个受光元件接受来自被光学系统成像后的拍摄对象的光，所述光学系统将来自拍摄对象的光进行成像；
修正步骤，依据前述光学系统的与到物点的距离无关而相对来自物点的光为大致相同的光学传递函数，修正与前述多个受光元件各自受光的光通量对应的线性的多个像素值；和
图像处理步骤，将由前述修正步骤所修正的修正后的前述多个像素值，变换为与前述多个受光元件各自受光的光通量对应的非线性的像素值。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008025708A JP5076240B2 (ja) | 2008-02-05 | 2008-02-05 | 撮像装置、撮像方法、およびプログラム |
| JP2008025708 | 2008-02-05 | ||
| JP2008-025708 | 2008-02-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101505373A CN101505373A (zh) | 2009-08-12 |
| CN101505373B true CN101505373B (zh) | 2011-08-10 |
Family
ID=40938557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100058548A Active CN101505373B (zh) | 2008-02-05 | 2009-02-05 | 摄像装置、摄像方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8199209B2 (zh) |
| JP (1) | JP5076240B2 (zh) |
| CN (1) | CN101505373B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8514303B2 (en) * | 2006-04-03 | 2013-08-20 | Omnivision Technologies, Inc. | Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
| JP5363966B2 (ja) * | 2009-12-18 | 2013-12-11 | 富士フイルム株式会社 | 撮像装置 |
| US8957981B2 (en) | 2010-03-03 | 2015-02-17 | Intellectual Ventures Fund 83 Llc | Imaging device for capturing self-portrait images |
| JP5180407B2 (ja) | 2010-03-24 | 2013-04-10 | 富士フイルム株式会社 | 立体撮像装置および視差画像復元方法 |
| WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
| JP2011215707A (ja) * | 2010-03-31 | 2011-10-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP5552956B2 (ja) * | 2010-08-12 | 2014-07-16 | 株式会社ニコン | 画像処理装置、画像処理方法およびプログラム |
| JP5513310B2 (ja) * | 2010-08-26 | 2014-06-04 | 富士フイルム株式会社 | 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法 |
| WO2014106917A1 (ja) * | 2013-01-04 | 2014-07-10 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
| GB2518629A (en) * | 2013-09-25 | 2015-04-01 | Wonga Technology Ltd | Image processing |
| WO2016080078A1 (ja) * | 2014-11-20 | 2016-05-26 | 富士フイルム株式会社 | 撮像装置、撮像方法及び画像処理プログラム |
| CN105791657B (zh) * | 2014-12-19 | 2019-06-21 | 宁波舜宇光电信息有限公司 | 一种影像模组调焦方法 |
| JP6240811B2 (ja) * | 2015-04-16 | 2017-11-29 | 富士フイルム株式会社 | 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体 |
| EP3417758A1 (en) * | 2017-06-19 | 2018-12-26 | Ambu A/S | A method for processing image data using a non-linear scaling model and a medical visual aid system |
| CN112154147A (zh) | 2017-12-19 | 2020-12-29 | 先正达农作物保护股份公司 | 取代的苯硫基尿嘧啶、其盐及其作为除草剂的用途 |
| BR112020012505A2 (pt) * | 2017-12-19 | 2020-11-24 | Syngenta Crop Protection Ag | tiofenil uracilos substituídos, seus sais e seus usos como agentes herbicidas |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1216423A (zh) * | 1997-07-10 | 1999-05-12 | 三星电子株式会社 | 图像系统中的彩色校正装置和方法 |
| CN1464479A (zh) * | 2002-06-20 | 2003-12-31 | 成都威斯达芯片有限责任公司 | 可编程自适应的图像质量非线性增强处理技术 |
| US6922209B1 (en) * | 1998-09-01 | 2005-07-26 | Samsung Electronics Co., Ltd. | Imaging apparatus and image signal processing method producing wide dynamic range |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3275010B2 (ja) * | 1995-02-03 | 2002-04-15 | ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド | 拡大された被写界深度を有する光学システム |
| NZ332626A (en) * | 1997-11-21 | 2000-04-28 | Matsushita Electric Ind Co Ltd | Expansion of dynamic range for video camera |
| JP3783817B2 (ja) | 1998-03-11 | 2006-06-07 | 富士写真フイルム株式会社 | 画像処理方法および画像処理装置 |
| WO2004063989A2 (en) | 2003-01-16 | 2004-07-29 | D-Blur Technologies Ltd. | Camera with image enhancement functions |
| JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
| US7215732B2 (en) * | 2004-09-30 | 2007-05-08 | General Electric Company | Method and system for CT reconstruction with pre-correction |
| JP4916862B2 (ja) * | 2005-12-27 | 2012-04-18 | 京セラ株式会社 | 撮像装置およびその方法 |
| JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
| JP4749959B2 (ja) * | 2006-07-05 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
-
2008
- 2008-02-05 JP JP2008025708A patent/JP5076240B2/ja active Active
-
2009
- 2009-02-03 US US12/364,968 patent/US8199209B2/en active Active
- 2009-02-05 CN CN2009100058548A patent/CN101505373B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1216423A (zh) * | 1997-07-10 | 1999-05-12 | 三星电子株式会社 | 图像系统中的彩色校正装置和方法 |
| US6922209B1 (en) * | 1998-09-01 | 2005-07-26 | Samsung Electronics Co., Ltd. | Imaging apparatus and image signal processing method producing wide dynamic range |
| CN1464479A (zh) * | 2002-06-20 | 2003-12-31 | 成都威斯达芯片有限责任公司 | 可编程自适应的图像质量非线性增强处理技术 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101505373A (zh) | 2009-08-12 |
| US8199209B2 (en) | 2012-06-12 |
| US20090201411A1 (en) | 2009-08-13 |
| JP2009188676A (ja) | 2009-08-20 |
| JP5076240B2 (ja) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101505373B (zh) | 摄像装置、摄像方法 | |
| JP5124835B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN102844788B (zh) | 图像处理装置及使用该图像处理装置的图像拾取装置 | |
| US8737757B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image | |
| US8798389B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image | |
| CN102625043B (zh) | 图像处理设备、成像设备和图像处理方法 | |
| CN101534391B (zh) | 摄像装置、摄像方法、图像处理装置、图像处理方法 | |
| US8223244B2 (en) | Modulated light image capturing apparatus, image capturing method and program | |
| US8310499B2 (en) | Balancing luminance disparity in a display by multiple projectors | |
| CN102833461B (zh) | 图像处理设备和图像处理方法 | |
| JPH1070681A (ja) | デジタル画像形成方法 | |
| US8159554B2 (en) | Image processing apparatus, image processing method, image capturing apparatus, and medium storing a program for processing an image based on spread of light | |
| CN101631219A (zh) | 图像修正装置、图像修正方法、投影仪以及投影系统 | |
| JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| US6940546B2 (en) | Method for compensating a digital image for light falloff while minimizing light balance change | |
| JP4311040B2 (ja) | 色収差補正装置および色収差補正方法、並びに色収差補正プログラム | |
| JP5010909B2 (ja) | 撮像装置および画像データ補正方法 | |
| CN107094219A (zh) | 图像处理装置和图像处理方法 | |
| US20180365812A1 (en) | Image processing device, imaging device, and image processing method | |
| US20230020363A1 (en) | Projection apparatus, projection method, and computer-readable storage medium | |
| JP5193486B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| US10748256B2 (en) | Point image restoration device and method | |
| JP6386843B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
| US20240135508A1 (en) | Image processing method, image processing apparatus, image processing system, imaging apparatus, and storage medium | |
| JP2008252403A (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |