CN105046631B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN105046631B CN105046631B CN201510203378.6A CN201510203378A CN105046631B CN 105046631 B CN105046631 B CN 105046631B CN 201510203378 A CN201510203378 A CN 201510203378A CN 105046631 B CN105046631 B CN 105046631B
- Authority
- CN
- China
- Prior art keywords
- unit
- pixel
- interpolation
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 98
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims description 44
- 239000003086 colorant Substances 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 22
- 241001269238 Data Species 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 230000005693 optoelectronics Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims 1
- 230000005622 photoelectricity Effects 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 102220028918 rs150651961 Human genes 0.000 description 3
- 102220043971 rs200019352 Human genes 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 102220017114 rs150867836 Human genes 0.000 description 1
- 102220012205 rs377579620 Human genes 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像处理设备和图像处理方法。去马赛克单元对各关注像素的马赛克图像数据进行插值，以通过使用相邻像素的插值来再现各像素处缺失的颜色。在去马赛克单元中，插值单元使用规定方向上的相邻像素，在多个规定方向上进行插值处理。评价单元评价插值单元插值后的各规定方向上的图像数据。伪分辨率区域判断单元基于从进行了为了保存边缘成分而进行的插值处理的图像数据所检测到的饱和度，来针对各像素判断该像素是否处于伪分辨率区域中。图像生成单元基于评价单元的评价结果和伪分辨率区域判断单元的判断结果，针对各像素选择要进行插值的图像数据，并且生成插值后的图像数据。
Description
技术领域
本发明涉及至少一种图像处理设备、至少一种图像处理方法、至少一个程序和至少一种用于存储所述至少一个程序的计算机可读存储介质，尤其涉及彩色图像信号的插值技术。
背景技术
在传统彩色图像传感器中，使用如图17所示等的拜耳(Bayer)图案颜色滤波器阵列。该颜色滤波器阵列可以是包括红色(R)、绿色(G)和蓝色(B)这三种颜色的阵列元件的三原色滤波器阵列或者包括青色、品红色和黄色这三种颜色的阵列元件的补色滤波器阵列。
然而，在Bayer图案颜色滤波器阵列中，仅允许各像素获得三种颜色中的一种颜色的信号，因此其它两种颜色的信号丢失。因此，为了再现各像素处丢失的其它两种颜色的信号，进行去马赛克(插值)处理。用于去马赛克处理的已知技术的具体例子包括双线性插值和双三次插值等。双线性插值或双三次插值对于低频成分占主导的图像实现良好的插值。然而，对于包括高频成分的图像，存在下面的可能性：双线性插值或双三次插值生成实际并不存在于被摄体中的被称为伪分辨率或伪色(颜色摩尔纹)的线或颜色。在使用与被摄体图像的边缘延伸的方向不同的方向上的像素进行去马赛克时，可能发生这种伪分辨率或伪色。
考虑以上所述，提出了使用沿被摄体图像的边缘的方向的像素来进行去马赛克。使用沿边缘方向的像素的去马赛克方法大体被分成两种方法。例如，在日本特开2008-35470中公开了第一种方法。在该方法中，使用相邻像素来检测边缘方向，并且并非跨边缘而是沿边缘方向来进行插值。日本特开2008-35470还公开了第二种插值方法。在该第二种方法中，首先，在多个方向上单独进行插值以获得多个插值结果。此后，评价这些插值结果以选择要进行插值的最佳方向。提出了如下内容：评价插值方向的合适性，从而判断表示包括关注像素的相邻像素之间的均匀性的评价值。将均匀性高的方向判断为是边缘方向，并且选择该方向作为插值方向。
然而，在日本特开2008-35470所公开的方法中，存在下面的可能性：当图像具有与被摄体的精细部分的间距近似为图像传感器的像素间距的分辨率界限接近的成分时，所计算出的均匀性的评价值可能不正确，这可能导致插值错误，从而可能导致伪分辨率的发生。
发明内容
本发明提供用于高精度地对图像信号进行去马赛克处理的至少一种技术。
根据本发明一个以上的实施例的一方面，至少一种图像处理设备，用于处理经由图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述图像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤波器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理设备包括：第一插值单元，用于在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据来以像素为单位对所述关注像素进行插值处理，从而再现所述关注像素处缺失的颜色的图像数据；评价单元，用于评价进行了所述第一插值单元的插值处理的各规定方向的图像数据；第二插值单元，用于进行插值处理，以保存(例如图像数据、被摄体图像、被摄体图像的光学图像等的)边缘成分；饱和度检测单元，用于从进行了所述第二插值单元的插值处理的图像数据中检测饱和度；判断单元，用于基于所述饱和度检测单元所检测到的饱和度，以像素为单位来判断像素是否处于可能发生伪分辨率的区域中；以及图像生成单元，用于基于所述评价单元的评价结果和所述判断单元的判断结果来针对各像素选择要进行插值的图像数据，并且生成具有所述多个颜色的插值后的图像数据。
根据本发明一个以上的实施例的另一方面，至少一种图像处理方法，用于处理经由图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述图像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤波器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理方法包括以下步骤：在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据来以像素为单位对所述关注像素进行第一插值处理，从而再现所述关注像素处缺失的颜色的图像数据；评价步骤，用于评价所述第一插值处理中进行了插值处理的各规定方向的图像数据；进行包括进行插值处理以保存所述被摄体图像的边缘成分的第二插值处理；从所述第二插值处理中进行了插值处理的图像数据中检测饱和度；判断步骤，用于基于所检测到的饱和度，以像素为单位来判断像素是否处于发生伪分辨率的区域中；以及基于所述评价步骤的结果和所述判断步骤的结果，通过针对各像素所选择的图像数据进行插值，来生成具有所述多个颜色的插值后的图像数据。
根据本发明的其它方面，在此说明一种以上的图像处理设备、一种以上的图像处理方法、一个以上的程序和一种以上的存储介质。通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是根据至少一个实施例的摄像设备的结构的例子的图。
图2是示出根据实施例的去马赛克单元的结构的例子的图。
图3是示出图2所示的水平插值单元的至少一个实施例的结构和垂直插值单元的至少一个实施例的结构的例子的图。
图4是示出用于说明方向依赖插值处理所使用的Bayer图案的像素配置的图。
图5是示出Gr/Gb插值单元所进行的处理的图。
图6是示出图2所示的饱和度检测插值单元的至少一个实施例的结构和二维插值单元的至少一个实施例的结构的例子的图。
图7是示出饱和度检测G插值单元所使用的一组滤波器系数的例子的图。
图8是示出二维插值单元所进行的处理的图。
图9是示出图2所示的伪分辨率区域判断单元的至少一个实施例的结构的例子的图。
图10是示出伪分辨率区域阈值判断处理的例子的流程图。
图11是示出评价值计算处理的例子的流程图。
图12A是示出用于说明计算G信号的评价值的处理所使用的3×3像素区域的图，图12B是示出用于说明计算R-G信号的评价值的处理所使用的3×3像素区域的图，并且图12C是示出用于说明计算B-G信号的评价值的处理所使用的3×3像素区域的图。
图13A是示出计算评价值时所使用的三个像素的低通滤波器的一组滤波器系数的例子的图，并且图13B是示出计算评价值时所使用的五个像素的低通滤波器的一组滤波器系数的例子的图。
图14是示出图像生成处理的例子的流程图。
图15是示出根据第二实施例的饱和度检测插值单元的结构的例子的图。
图16A是示出饱和度检测GH插值单元所使用的一组滤波器系数的例子的图，并且图16B是示出饱和度检测GV插值单元所使用的一组滤波器系数的例子的图。
图17是示出Bayer图案的像素配置的例子的图。
具体实施方式
下面参考附图说明本发明的实施例。
第一实施例
下面说明第一实施例。
图1是示出包括根据第一实施例的图像处理设备的摄像设备的结构的例子的框图。被摄体的光学图像(被摄体图像)经由摄像镜头101聚集于图像传感器102上，并且被从光学信号转换成电信号。
图像传感器102是具有多色滤波器的单板彩色图像传感器。颜色滤波器可以是包括红色(R)、绿色(G)和蓝色(B)三原色的阵列元件的三原色滤波器阵列，其中三原色分别具有以约650nm、550nm和450nm为中心的透过主波长带，该颜色滤波器能够生成分别与三原色相对应的颜色平面。在单板彩色图像传感器中，可以以如图17所示的方式在空间上配置颜色滤波器元件，因此这样，仅允许各像素获得颜色平面中的一个颜色平面的光强度。因此，从图像传感器102所输出的图像信号是马赛克图像信号，即从各像素所输出的图像信号缺少三原色中的两种颜色。
模拟-数字(A/D)转换器单元103转换从图像传感器102所输出的马赛克图像信号，从而使得将马赛克图像信号的模拟电压转换成数字图像数据。白平衡单元104进行白平衡处理。更具体地，白平衡单元104以使R、G和B颜色信号在假定颜色为白色的区域中具有相等的信号水平的方式来对R、G和B颜色信号赋予增益。
去马赛克单元105对彩色马赛克图像数据进行插值，从而使得通过插值来再现三原色中的在各像素的图像数据中丢失的两种颜色，并且生成所有像素中的任一个都具有R、G和B颜色的所有三原色的图像数据的彩色图像。对各像素的彩色图像数据进行矩阵转换单元106所进行的矩阵转换处理，然后进行伽玛转换单元107所进行的伽玛校正处理，从而使得生成基本彩色图像数据。然后，对基本彩色图像数据进行颜色调整单元108所进行的各种处理来提高图像质量。更具体地，例如，颜色调整单元108进行诸如降噪、饱和度增强、色相调整和/或者边缘增强等的各种颜色调整处理。压缩单元109将颜色调整后的彩色图像数据压缩成JPEG格式等，从而降低要存储的数据的数据大小。
控制单元111经由总线113来控制通过从图像传感器102到压缩单元109的一系列功能单元所进行的处理操作。当控制单元111控制上述处理操作时，控制单元111根据需要可以使用存储器112。在控制单元111的控制下，存储单元110将压缩单元109压缩后的数字图像数据存储在诸如闪速存储器等的存储介质中。
接下来，以下参考图2来更详细说明去马赛克单元105所进行的去马赛克处理。图2是示出根据本实施例的去马赛克单元105的结构的例子的图。首先，去马赛克单元105使用位置靠近关注像素的像素来在多个规定方向中的每一规定方向上对关注像素进行插值(或者对至少一个关注像素进行插值，例如，当针对多个像素以各像素作为处理对象(作为处理的各次迭代中的关注像素)时，可以对至少一个关注像素或多个关注像素进行处理或插值)，然后去马赛克单元105选择方向。作为插值处理的结果，针对各像素获得三原色R、G和B的彩色图像数据。
更具体地，去马赛克单元105对输入的Bayer图像数据201进行插值，以使得根据水平方向上的相邻像素的像素数据，使用水平插值单元202来再现各像素的缺失颜色的像素数据，从而生成各像素的水平插值后的RGB图像数据。在Bayer图像数据201中，在各像素处缺失三原色中的两种颜色的图像数据。此外，去马赛克单元105对Bayer图像数据201进行插值，以使得根据垂直方向上的相邻像素的像素数据，使用垂直插值单元203来再现各像素的缺失颜色的像素数据，从而生成各像素的垂直插值后的RGB图像数据。
接着，去马赛克单元105使用水平方差计算单元207，根据水平插值单元202所生成的水平插值后的RGB图像数据来计算各像素的方差。此外，去马赛克单元105使用垂直方差计算单元208，根据垂直插值单元203所生成的垂直插值后的RGB图像数据来计算各像素的方差。此后，去马赛克单元105使用评价值计算单元210，根据水平方差计算单元207和垂直方差计算单元208分别计算出的水平方差和垂直方差中的每一个，来计算水平评价值和垂直评价值、即评价值。
为了检测并校正伪分辨率区域，去马赛克单元105使用Gr/Gb插值单元204、饱和度检测插值单元205和二维插值单元206，来对各颜色的像素数据进行插值。更具体地，Gr/Gb插值单元204生成Gr图像数据和Gb图像数据，并且饱和度检测插值单元205和二维插值单元206生成RGB图像数据。去马赛克单元105使用伪分辨率区域判断单元209，基于从Gr/Gb插值单元204和饱和度检测插值单元205分别输出的图像数据，以像素为单位来判断像素是否处于可能发生伪分辨率的伪分辨率区域中。
图像生成单元211将评价值计算单元210所计算出的水平评价值和垂直评价值进行比较，并且判断在哪一方向上获得了插值的较高评价值，即判断在水平插值的评价值和垂直插值的评价值之间，哪一评价值较高，并且选择获得了较高评价值的方向。在该选择中，当通过伪分辨率区域判断单元209判断为像素处于伪分辨率区域中时，图像生成单元211针对该像素选择二维插值。然后，图像生成单元211基于所选择方向上的插值后的RGB图像数据来生成插值图像数据，并且输出该结果作为插值后的RGB图像数据212，即去马赛克数据。
下面参考图3，进一步详细说明水平插值单元202的至少一个实施例和垂直插值单元203的至少一个实施例所进行的特定方向插值处理。图3示出水平插值单元202的至少一个实施例的结构和垂直插值单元203的至少一个实施例的结构的例子。如图3所示，水平插值单元202包括水平G插值单元202a和水平RB插值单元202b，并且垂直插值单元203包括垂直G插值单元203a和垂直RB插值单元203b。
在水平插值单元202中，首先，水平G插值单元202a对高频带中的G数据进行插值。接着，水平RB插值单元202b对R数据和B数据进行插值。结果，生成水平插值后的RGB图像数据202c。类似地，在垂直插值单元203中，首先，垂直G插值单元203a对高频带中的G数据进行插值。接着，垂直RB插值单元203b对R数据和B数据进行插值。结果，生成垂直插值后的RGB图像数据203c。
下面参考图4，说明方向依赖插值处理的具体方法。在G数据的插值中，如果关注像素与G滤波器颜色相关联，则直接输出该像素的G数据(下面示出的公式(1))。在G数据的插值中，如果关注像素与R滤波器颜色或B滤波器颜色相关联，则根据下面示出的公式(2)来计算水平方向上的插值数据，同时根据下面示出的公式(3)来计算垂直方向上的插值数据。注意，在公式(1)、(2)和(3)中，G33、G34、G43和G44的上标分别对应于图4(和以下说明中的其它地方)中为了便利而定义的像素的符号的上标。例如，G33表示像素R33的插值G数据，G44表示像素B44的插值G数据，……等等。
在R数据的插值中，当关注像素是与R滤波器颜色相关联的像素时，直接输出该像素的R数据(下面示出的公式(4))。在R数据的插值中，当关注像素是与G滤波器颜色相关联的像素时，根据下面示出的公式(5)来计算插值数据。另一方面，在R数据的插值中，当关注像素是与B滤波器颜色相关联的像素时，根据下面示出的公式(6)来计算插值数据。在R数据的插值中，针对水平方向和垂直方向这两者使用相同的公式。在B数据的插值中，可以使用与用于R数据的插值的方法相同的方法。更具体地，在下面示出的公式(4)～(6)中，针对B数据的计算，可以以B来替换R。
{R33＝R33 (4)
{R44＝((R33-G33)+(R35-G35)+(R53-G53)+(R55-G55))/4+G44 (6)
在根据本实施例的去马赛克单元105中，如上所述，除各个规定方向上的插值以外，还进行插值以检测并校正伪分辨率。Gr/Gb插值单元204对各像素的输入Bayer图像数据201进行处理，从而使得仅使用Gr像素来计算插值Gr数据、并且仅使用Gb像素来计算插值Gb数据。注意，这里的Gr像素各自是水平方向上与R像素邻接的G像素，而Gb像素各自是水平方向上与B像素邻接的G像素。Gr/Gb插值单元204如图5所示从Bayer图像数据201中提取仅包括Gr像素的图像数据和仅包括Gb像素的图像数据。注意，在该处理中，将0赋予作为不与关注颜色滤波器相对应的任一像素处的数据值。此后，Gr/Gb插值单元204使用低通滤波器(LPF)进行插值处理，并且计算在所有像素的任一像素处具有数据的插值Gr数据和插值Gb数据。
饱和度检测插值单元205根据像素的输入Bayer图像数据201来生成各像素的RGB图像数据。下面参考图6，进一步详细说明饱和度检测插值单元205所进行的插值处理。图6是示出饱和度检测插值单元205的至少一个实施例的结构和二维插值单元206的至少一个实施例的结构的例子的图。如图6所示，饱和度检测插值单元205包括饱和度检测G插值单元205a和饱和度检测RB插值单元205b。
饱和度检测插值单元205首先使用饱和度检测G插值单元205a对G数据进行插值，然后使用饱和度检测RB插值单元205b对R数据和B数据进行插值，从而生成RGB图像数据205c以在饱和度检测时使用。在该处理中，如果用于计算饱和度的插值是基于相邻像素的平均值的计算，则存在发生颜色偏移或颜色边纹的可能性，这使得图像具有与其真实颜色不同的颜色。这可能导致局部区域的饱和度判断不正确。在本实施例中，为了应对上述状况，选择计算饱和度时的滤波器系数以保存边缘部分(边缘成分)，同时抑制颜色偏移或颜色边纹，这样实现了伪分辨率区域判断单元209所进行的饱和度检测的精度的提高。
在利用饱和度检测G插值单元205a的G数据的插值中，当关注像素是与G滤波器颜色相关联的像素时，直接输出该像素的G数据。在利用饱和度检测G插值单元205a的G数据的插值中，当关注像素是与R滤波器颜色相关联的像素时，或者当关注像素是与B滤波器颜色相关联的像素时，使用具有诸如图7所示等的系数的二次微分滤波器，根据下面示出的公式(7)来计算插值数据。在图7中，C像素是R像素或B像素。在下面示出的公式(7)中，为了方便，这些项对应于图4所示的相同符号所表示的各个像素。
G33＝(-R13-R31+4·R33-R35-R53)/8+(G23+G32+C34+G43)/4
G44＝(-B24-B42+4·B44-B46-B64)/8+(G34+G43+G45+G54)/4 (7)
注意，滤波器系数不局限于上述例子，并且可以使用其它滤波器系数，只要保存边缘成分即可。在本实施例中，尽管使用作为Laplacian滤波器的二次微分滤波器来进行插值，但也可以自适应地进行插值以使得根据相邻像素来进行关于获得良好连续性的方向的判断，并且在该方向上进行插值以实现边缘的保存。例如，在图4中的R33像素的情况下，根据下面示出的公式(8)来计算垂直方向上的像素值的差的绝对值和水平方向上的像素值的差的绝对值，并且判断在哪一方向上连续性较好。
Hdiff＝|G32-G34|
Vdiff＝|G23-G43| (8)
当Hdiff<Vdiff时，与垂直方向相比，在水平方向上连续性较好，因此饱和度检测G插值单元205a使用水平方向上的像素的像素数据来进行插值。在相反的情况下，饱和度检测G插值单元205a使用垂直方向上的像素的像素数据来进行插值。
饱和度检测RB插值单元205b以与使用公式(4)～(6)的上述情况相同的方式来计算R和B的插值数据。
当二维插值单元206接收到各像素的Bayer图像数据201时，二维插值单元206生成要应用于伪分辨率区域判断单元209判断为伪分辨率区域的像素区域的各像素的RGB图像数据。下面参考图6，说明二维插值单元206所进行的插值处理。如图6所示，二维插值单元206包括二维G插值单元206a和二维RB插值单元206b。
在二维插值单元206中，首先，二维G插值单元206a使用与Gr/Gb插值单元204所进行的插值所使用的方法相同的方法，来计算在所有像素处具有数据的Gr和Gb的插值数据。此外，在二维插值单元206中，二维G插值单元206a如图8所示，使用各像素处的Gr和Gb图像数据，在各像素处计算Gr数据和Gb数据的算术平均值。这样使得可以删除Gr像素和Gb像素之间的数据值的差。将由此得到的插值数据应用于伪分辨率区域判断单元209判断为伪分辨率区域的区域，以校正伪分辨率。
接着，二维插值单元206使用二维RB插值单元206b对R数据和B数据进行插值。二维RB插值单元206b以与使用公式(4)～(6)的上述情况相同的方式，计算R和B的插值数据。如上所述，通过使用至少两个不同方向上的像素计算插值数据，来生成RGB图像数据206c。
下面参考图9和图10，说明图2所示的伪分辨率区域判断单元209所进行的关于伪分辨率区域的判断。图9是示出伪分辨率区域判断单元209的结构的例子的图。图10是示出伪分辨率区域阈值判断处理的例子的流程图。如图9所示，伪分辨率区域判断单元209包括GrGb差计算单元(差检测单元)209a、饱和度计算单元209b和伪分辨率区域阈值判断单元209c。
GrGb差计算单元209a接收从Gr/Gb插值单元204所输出的Gr数据和Gb数据，并且通过根据下面示出的公式(9)计算差Gr-b的绝对值，来针对各像素检测Gr数据和Gb数据之间的差。GrGb差计算单元209b从饱和度检测插值单元205接收检测饱和度时所使用的RGB图像数据205c，并且根据下面示出的公式(10)针对各像素来计算饱和度C。
Gr-b＝|Gr-Gb| (9)
伪分辨率区域阈值判断单元209c基于从GrGb差计算单元209a输出的值Gr-b和从饱和度计算单元209b输出的饱和度C，以像素为单位来判断关注像素是否处于伪分辨率区域中。下面参考图10所示的流程图，说明伪分辨率区域阈值判断单元209c所进行的伪分辨率区域阈值判断处理。
伪分辨率区域阈值判断单元209c针对关注像素，将Gr数据和Gb数据之间的差Gr-b的绝对值与恒定阈值THa进行比较，以判断差Gr-b的绝对值是否大于阈值THa(S1001)。在该结果表示差Gr-b的绝对值大于阈值THa的情况下，伪分辨率区域阈值判断单元209c进一步将饱和度C与恒定阈值THb进行比较，以判断饱和度C是否大于阈值THb(S1002)。在该结果表示饱和度C大于阈值THb的情况下，伪分辨率区域阈值判断单元209c判断为关注像素处于伪分辨率区域中(S1003)。伪分辨率区域阈值判断单元209c针对所有像素中的各像素都进行步骤S1001～S1003。
在伪分辨率区域阈值判断处理中，将Gr数据和Gb数据之间的差Gr-b的绝对值以及饱和度C与相应的恒定阈值进行比较来进行上述判断，但是这些阈值可以根据亮度或色相等而非线性地改变。可以通过用户改变这些阈值。饱和度在伪分辨率区域中高的可能性较大。伪分辨率区域阈值判断单元209c可以仅基于从饱和度计算单元209b输出的饱和度C，针对各像素来判断关注像素是否处于伪分辨率区域中。
下面接着参考图11所示的流程图，说明根据本实施例的评价值计算处理。图11的流程图示出评价值计算处理的例子。
在评价值计算处理中，图2所示的水平方差计算单元207将在各像素处具有缺失颜色的插值像素数据的水平插值后的RGB图像数据202c转换成均匀颜色空间的颜色信号(值)(S1101)。在本实施例中，使用G、R-G和B-G颜色空间来计算色差的方差作为均匀性方面的度量。尽管代替G、R-G和B-G颜色空间而可以使用L*a*b*均匀颜色空间，但是进行向L*a*b*值的转换需要大量计算。在本实施例中，考虑到以上所述，代替L*而直接使用G信号，并且代替a*和b*而使用R-G和B-G作为色差信号。
接着，水平方差计算单元207计算G信号的方差σGh 2、R-G信号的方差σR-Gh 2和B-G信号的方差σB-Gh 2(S1102)。这里，作为例子，假定使用围绕关注像素的3×3区域中的像素来进行这些计算。可选地，可以使用诸如5×5区域或者7×7区域等的大小不同的区域中的像素。代替使用区域中的所有像素，可以使用该区域中的像素的一部分。例如，可以计算水平方向上的G信号的方差，从而如图12A所示，使得使用h11～h13计算G信号的方差σG1 2、使用h21～h23计算方差σG2 2、并且使用h31～h33计算方差σG3 2。此后，从方差σG1 2、方差σG2 2和方差σG3 2中选择最大方差σGh 2，并且采用所选择的最大方差作为G信号的方差。如图12B和12C所示，还可以以与G信号的方差的计算相同的方式来计算R-G信号的方差和B-G信号的方差。
随后，水平方差计算单元207根据下面示出的公式(11)来计算水平方差σh 2(S1103)。水平方差计算单元207针对水平插值后的RGB图像数据202c的所有像素，以像素为单位进行上述步骤S1101～S1103的处理。
σh 2＝σGh 2+σR-Gh 2+σB-Gh 2 (11)
垂直方差计算单元208以与步骤S1101～S1103的处理相同的方式，根据下面示出的公式(12)使用垂直插值后的RGB图像数据203c来进行步骤S1104～S1106的处理，以获得垂直方差σv 2。垂直方差计算单元208针对垂直插值后的RGB图像数据203c的所有像素，以像素为单位进行上述步骤S1104～S1106的处理。
接着，评价值计算单元210使用以上述方式所计算出的水平方差σh 2和垂直方差σv 2，根据下面示出的公式(13)，针对各像素来计算水平评价值Ch和垂直评价值Cv。作为上述处理的结果，针对各像素计算评价值Ch和Cv，并且生成评价值的二维平面(S1107)。
注意，通过评价值来确定最终插值后的值，因此如果邻接像素之间的评价值存在大的差异，则存在发生诸如色调跳跃等的图像质量降低的可能性。为了应对这一状况，评价值计算单元210对所生成的评价平面进行低通滤波(LPF)处理(S1108)。关于LPF的滤波器系数，例如可以使用如图13A所示的3个像素的滤波器长度的滤波器系数[1，2，1]，或者可以使用图13B所示的5个像素的滤波器长度的滤波器系数[1，4，6，4，1]。注意，可以在垂直方向和水平方向两者上进行滤波处理，这是有利的。
图像生成单元211针对各像素，基于作为评价值计算单元210所计算出的评价结果所获得的评价值Ch和Cv以及伪分辨率区域判断单元209所做出的判断结果，从水平插值后的像素数据、垂直插值后的图像数据和二维插值后的像素数据中选择像素数据。因而，图像生成单元211在所有像素中的各像素处生成具有R、G和B颜色成分的插值后的RGB图像数据，并且输出该结果作为插值后的RGB图像数据212(去马赛克数据)。
下面接着参考图14，说明图像生成单元211所进行的图像生成处理。图14是示出图像生成处理的例子的流程图。图像生成单元211首先判断关注像素是否被判断为处于伪分辨率区域中(S1401)。如果关注像素被判断为处于伪分辨率区域中，图像生成单元211选择经由二维插值单元206所进行的插值处理所生成的RGB图像数据206c，并且输出所选择的数据作为插值后的RGB图像数据212(S1402)。
另一方面，在没有判断为关注像素处于伪分辨率区域中的情况下，图像生成单元211将水平评价值Ch与垂直评价值Cv进行比较，以判断水平评价值Ch是否小于垂直评价值Cv(S1403)。在判断为水平评价值Ch小于垂直评价值Cv的情况下，图像生成单元211选择并输出水平插值后的RGB图像数据202c作为插值后的RGB图像数据212(S1404)。另一方面，在判断为水平评价值Ch不小于垂直评价值Cv的情况下，图像生成单元211选择并输出垂直插值后的RGB图像数据203c作为插值后的RGB图像数据212(S1405)。
在第一实施例中，如上所述，基于根据经由为了在抑制颜色偏移或颜色边纹的同时保存边缘部分而进行的插值处理生成的饱和度检测RGB图像数据所计算出的饱和度、以及Gr数据和Gb数据之间的差，来以像素为单位判断关注像素是否处于可能发生伪分辨率的区域。在判断为关注像素处于可能发生伪分辨率的区域中的情况下，选择二维插值单元所生成的插值数据作为该关注像素的像素数据。通过如上所述高精度地检测可能发生伪分辨率的区域(像素)，可以更适当地校正在去马赛克处理(颜色插值处理)期间所发生的伪分辨率，因此可以高精度地对图像信号进行去马赛克处理。
第二实施例
接着说明第二实施例。
在上述第一实施例中，当饱和度检测G插值单元205的饱和度检测G插值单元205a进行G数据的插值时，如果关注像素是与R滤波器颜色或B滤波器颜色相关联的像素，则使用诸如图7所示等的二次微分滤波器的系数。另一方面，在第二实施例中，在G数据的插值中，使用一阶微分滤波器。在第二实施例中，摄像设备的结构和去马赛克单元105的结构与根据以上参考图1和图2所述的第一实施例的结构大体相同，因此省略对其的重复说明。然而，根据第二实施例的饱和度检测插值单元205的内部结构不同于根据第一实施例的饱和度检测插值单元205的内部结构。
图15是示出根据第二实施例的饱和度检测插值单元205的至少一个实施例的内部结构的例子的图。如图15所示，饱和度检测插值单元205包括饱和度检测GH插值单元205d、饱和度检测Gv插值单元205e、饱和度检测G插值合成单元205f和饱和度检测RB插值单元205b。
在利用根据第二实施例的饱和度检测GH插值单元205d的G数据的插值中，当关注像素是与G滤波器颜色相关联的像素时，直接输出关注像素的G数据。在利用饱和度检测GH插值单元205d的G数据的插值中，当关注像素是与R滤波器颜色或B滤波器颜色相关联的像素时，使用如图16A所示的具有考虑到水平方向的斜率所确定出的系数的一阶微分滤波器，根据下面示出的公式(14)来进行插值。在下面示出的公式(14)中，为了方便，这些项对应于图4所示的相同符号所表示的各个像素。
G33＝(-R31+R35)/2+(G32+G34)/2
G44＝(-B42+B46)/2+(G43+G45)/2 (14)
此外，在利用饱和度检测GV插值单元205e的G数据的插值中，当关注像素是与R滤波器颜色或B滤波器颜色相关联的像素时，使用如图16B所示的具有考虑到垂直方向的斜率所确定出的系数的一阶微分滤波器，根据下面示出的公式(15)来进行插值。
G33＝(-R13+R53)/2+(G23+G43)/2
G44＝(-B24+B64)/2+(G34+G54)/2 (15)
在图16A和图16B中，C像素是R像素或B像素。滤波器系数不局限于图16A和图16B所示的例子。例如，可以将R像素的权重因子设置成1以外的值。
饱和度检测G插值合成单元205f基于饱和度检测GH插值单元205d所生成的插值数据和饱和度检测GV插值单元205e所生成的插值数据，来计算插值后的R像素位置和B像素位置处的G数据的算术平均值。饱和度检测RB插值单元205b以与根据第一实施例使用公式(4)～(6)进行插值的情况相同的方式，进行R数据和B数据的插值。以与第一实施例相同的方式来进行上述之后的下面的处理，因而省略对其的说明。
在第二实施例中，如上所述，使用一阶微分滤波器生成检测饱和度时所使用的插值数据，以保存边缘成分。这样使得如第一实施例一样，可以抑制颜色偏移和颜色边纹、并且可以高精度地检测可能发生伪分辨率的区域(像素)，从而使得可以更适当地校正去马赛克处理(颜色插值处理)期间所发生的伪分辨率。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
Claims (12)
1.一种图像处理设备，用于处理经由图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述图像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤波器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理设备的特征在于包括：
第一插值单元，用于在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据来以像素为单位对所述关注像素进行插值处理，从而再现所述关注像素处缺失的颜色的图像数据；
评价单元，用于评价进行了所述第一插值单元的插值处理的各规定方向的图像数据；
第二插值单元，用于进行插值处理，以保存所述被摄体图像的边缘成分；
饱和度检测单元，用于从进行了所述第二插值单元的插值处理的图像数据中检测饱和度；
判断单元，用于基于所述饱和度检测单元所检测到的饱和度，以像素为单位来判断像素是否处于可能发生伪分辨率的区域中；以及
图像生成单元，用于基于所述评价单元的评价结果和所述判断单元的判断结果来针对各像素选择要进行插值的图像数据，并且生成具有所述多个颜色的插值后的图像数据。
2.根据权利要求1所述的图像处理设备，其中，在所述判断单元判断为所述关注像素处于可能发生伪分辨率的区域中的情况下，所述图像生成单元针对所述关注像素选择经由使用两个不同方向上位置靠近所述关注像素的像素的图像数据的插值处理所获得的图像数据。
3.根据权利要求1所述的图像处理设备，其中，还包括：
差检测单元，用于检测图像数据之间的差，
其中，所述马赛克图像数据是拜耳图案的图像数据，
所述差检测单元检测以下两个图像数据之间的差：位于与红色相对应的像素所处的水平线上的与绿色相对应的像素的图像数据、以及位于与蓝色相对应的像素所处的水平线上的与绿色相对应的像素的图像数据，以及
所述判断单元进一步基于所述差检测单元所检测到的差和所述饱和度检测单元所检测到的饱和度，以像素为单位来判断所述关注像素是否处于可能发生伪分辨率的区域中。
4.根据权利要求3所述的图像处理设备，其中，在所述差检测单元所检测到的差大于第一阈值、并且所述饱和度检测单元所检测到的饱和度大于第二阈值的情况下，所述判断单元判断为所述关注像素处于可能发生伪分辨率的区域中。
5.根据权利要求1所述的图像处理设备，其中，还包括：
校正单元，用于对所述马赛克图像数据进行白平衡处理，
其中，所述第一插值单元和所述第二插值单元至少之一对进行了所述校正单元所进行的白平衡处理的所述马赛克图像数据进行所述插值处理。
6.根据权利要求1所述的图像处理设备，其中，所述第二插值单元使用二次微分滤波器来进行所述插值处理。
7.根据权利要求1所述的图像处理设备，其中，所述第二插值单元使用Laplacian滤波器来进行所述插值处理。
8.根据权利要求1所述的图像处理设备，其中，所述第二插值单元使用一阶微分滤波器来进行所述插值处理。
9.根据权利要求1所述的图像处理设备，其中，所述第二插值单元使用周边像素来评价方向的连续性，并且使用位于与连续性被判断为较低的方向相比、连续性被判断为较高的另一方向的像素的图像数据来进行所述插值处理。
10.根据权利要求1所述的图像处理设备，其中，
所述马赛克图像数据是拜耳图案的图像数据，以及
所述评价单元使用从进行了所述第一插值单元所进行的插值处理的图像数据所获得的G信号、R-G信号和B-G信号的方差来进行评价。
11.根据权利要求1所述的图像处理设备，其中，所述多个规定方向包括水平方向和垂直方向。
12.一种图像处理方法，用于处理经由图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述图像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤波器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理方法的特征在于包括以下步骤：
在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据来以像素为单位对所述关注像素进行第一插值处理，从而再现所述关注像素处缺失的颜色的图像数据；
评价步骤，用于评价所述第一插值处理中进行了插值处理的各规定方向的图像数据；
进行包括进行插值处理以保存所述被摄体图像的边缘成分的第二插值处理；
从所述第二插值处理中进行了插值处理的图像数据中检测饱和度；
判断步骤，用于基于所检测到的饱和度，以像素为单位来判断像素是否处于可能发生伪分辨率的区域中；以及
基于所述评价步骤的结果和所述判断步骤的结果，通过针对各像素所选择的图像数据进行插值，来生成具有所述多个颜色的插值后的图像数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014091875A JP6415093B2 (ja) | 2014-04-25 | 2014-04-25 | 画像処理装置、画像処理方法、及びプログラム |
| JP2014-091875 | 2014-04-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105046631A CN105046631A (zh) | 2015-11-11 |
| CN105046631B true CN105046631B (zh) | 2018-09-11 |
Family
ID=54335240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510203378.6A Active CN105046631B (zh) | 2014-04-25 | 2015-04-27 | 图像处理设备和图像处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9401006B2 (zh) |
| JP (1) | JP6415093B2 (zh) |
| KR (1) | KR20150123738A (zh) |
| CN (1) | CN105046631B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6415094B2 (ja) | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| CN111340714B (zh) * | 2019-08-29 | 2023-08-08 | 杭州海康慧影科技有限公司 | 一种摩尔纹处理方法、装置及电子设备 |
| KR20220063575A (ko) * | 2020-11-10 | 2022-05-17 | 삼성전자주식회사 | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682426A (zh) * | 2011-03-11 | 2012-09-19 | 索尼公司 | 图像处理设备、图像处理方法及程序 |
| CN103179407A (zh) * | 2013-03-11 | 2013-06-26 | 浙江大学 | 应用于去马赛克算法方向插值的实现装置及方法 |
| CN103595980A (zh) * | 2013-10-25 | 2014-02-19 | 西安电子科技大学 | 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5886745A (en) | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
| JP3717863B2 (ja) | 2002-03-27 | 2005-11-16 | 三洋電機株式会社 | 画像補間方法 |
| JP5006067B2 (ja) | 2006-06-29 | 2012-08-22 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
| JP4946581B2 (ja) * | 2007-04-05 | 2012-06-06 | ソニー株式会社 | 画像処理装置 |
| JP5574615B2 (ja) * | 2009-04-20 | 2014-08-20 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
| JP5169994B2 (ja) | 2009-05-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| JP5269718B2 (ja) * | 2009-08-18 | 2013-08-21 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| RU2503139C1 (ru) * | 2009-10-13 | 2013-12-27 | Кэнон Кабусики Кайся | Устройство считывания изображений |
| JP5899684B2 (ja) | 2011-07-11 | 2016-04-06 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
-
2014
- 2014-04-25 JP JP2014091875A patent/JP6415093B2/ja active Active
-
2015
- 2015-04-23 US US14/694,907 patent/US9401006B2/en active Active
- 2015-04-24 KR KR1020150057668A patent/KR20150123738A/ko not_active Application Discontinuation
- 2015-04-27 CN CN201510203378.6A patent/CN105046631B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682426A (zh) * | 2011-03-11 | 2012-09-19 | 索尼公司 | 图像处理设备、图像处理方法及程序 |
| CN103179407A (zh) * | 2013-03-11 | 2013-06-26 | 浙江大学 | 应用于去马赛克算法方向插值的实现装置及方法 |
| CN103595980A (zh) * | 2013-10-25 | 2014-02-19 | 西安电子科技大学 | 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150310589A1 (en) | 2015-10-29 |
| KR20150123738A (ko) | 2015-11-04 |
| US9401006B2 (en) | 2016-07-26 |
| JP2015211343A (ja) | 2015-11-24 |
| CN105046631A (zh) | 2015-11-11 |
| JP6415093B2 (ja) | 2018-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101867830B (zh) | 图像处理设备及其控制方法 | |
| JP5454075B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| TWI516132B (zh) | An image processing apparatus, an image processing method, and a program | |
| CN1812592B (zh) | 用于处理滤色器阵列的图像数据的方法和设备 | |
| CN104247409B (zh) | 图像处理装置、图像处理方法以及程序 | |
| US7256828B2 (en) | Weighted gradient based and color corrected interpolation | |
| US8494260B2 (en) | Image processing device, image processing method, program, and imaging device | |
| JP2009524989A (ja) | パンクロマチック画素及びカラー画素の補間 | |
| JP2003163939A (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| WO2002060186A1 (fr) | Procede de traitement d'image, programme de traitement d'image et processeur d'image | |
| US20070292022A1 (en) | Weighted gradient based and color corrected interpolation | |
| CN103905802A (zh) | 一种基于p模式色彩滤镜阵列的去马赛克方法及装置 | |
| KR101637488B1 (ko) | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 | |
| CN105046631B (zh) | 图像处理设备和图像处理方法 | |
| CN101646090B (zh) | 亮度信号生成设备、亮度信号生成方法和摄像设备 | |
| US8655058B2 (en) | Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems | |
| CN105049820B (zh) | 图像处理设备、摄像设备和图像处理方法 | |
| EP2248102A2 (en) | Method and device for reconstructing a color image | |
| US10783608B2 (en) | Method for processing signals from a matrix for taking colour images, and corresponding sensor | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| JP6889336B2 (ja) | 画像デモザイク処理システムおよび方法 | |
| JP2004064227A (ja) | 映像信号処理装置 | |
| KR101690139B1 (ko) | 멀티 채널 이미지를 위한 멀티 방향성 업샘플링 방법 | |
| KR102628938B1 (ko) | 이미지 처리 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |