CN103118219B - 图像处理装置、图像处理方法以及程序产品 - Google Patents

图像处理装置、图像处理方法以及程序产品 Download PDF

Info

Publication number
CN103118219B
CN103118219B CN201210461712.4A CN201210461712A CN103118219B CN 103118219 B CN103118219 B CN 103118219B CN 201210461712 A CN201210461712 A CN 201210461712A CN 103118219 B CN103118219 B CN 103118219B
Authority
CN
China
Prior art keywords
coordinate
unit
correcting range
image processing
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210461712.4A
Other languages
English (en)
Other versions
CN103118219A (zh
Inventor
川口裕史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN103118219A publication Critical patent/CN103118219A/zh
Application granted granted Critical
Publication of CN103118219B publication Critical patent/CN103118219B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本公开涉及图像处理装置、图像处理方法以及程序产品。甚至无需预先知识和技术诀窍地设置适当颜色空间中的颜色变换的变换规则。三维查找表单元根据变换规则变换有关输入图像信号的颜色信息。校正范围计算单元根据颜色空间中的源坐标与目的地坐标之间的位置关系计算预定颜色空间中的校正范围。基于点移动距离计算单元根据源坐标与目的地坐标之间的位置关系、和校正范围内的各个点处的坐标与源坐标之间的位置关系计算各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在变换规则上。

Description

图像处理装置、图像处理方法以及程序产品
交叉参考相关申请
2011年11月16日提交的包括说明书、附图和摘要的日本专利申请第2011-250926号的公开内容通过引用全文并入本文中。
技术领域
本发明涉及图像处理装置、图像处理方法以及程序产品。
背景技术
对象或背景具有像蓝天的蓝色或樱花的粉红色那样的特定颜色,利用这些颜色人们形成对象或背景的映像(image)。这些颜色被称为“记忆色(memory color)”。即使人们观看与现实世界一致地忠实再现某个对象或背景的颜色的图像,人们也不会评估那幅图像很美丽。这是因为人们映像的颜色(记忆色)不同于再现的颜色,并且人们认为那种颜色淡等。
由于这种原因,大多数图像处理装置对每个对象和背景进行校正处理以便再现人们映像的颜色。这种校正处理称为“记忆色校正”。一般说来,实现记忆色校正的方法包括如下两种方法。也就是说,存在(1)专用电路(特征校正功能)和(2)三维查找表。
首先,描述(1)使用专用电路的记忆色校正。在本例中,专用电路进行专门用于记忆色校正的处理。更具体地说,在诸如Cb/Cr或a*/b*那样的颜色空间中以源和目的地的坐标形式为专用电路设置要校正的特定颜色。专用电路按照该设置校正包括周围颜色区的颜色区。但是,由于专用电路专门用于记忆色校正,所以专用电路不能进行其他处理。并且,在校正两个或更多个区域的特征的情况下,需要多个专用电路。
随后,描述(2)使用三维查找表的记忆色校正。三维查找表的信息存储在任意存储器中。在三维查找表中存储着与主要表达RGB的三维颜色空间的诸如9×9×9或17×17×17那样的坐标点相对应的表数据。三维查找表存储各个点的坐标与这些坐标的变换目的地的坐标之间的对应关系。例如,如果三维查找表含有与17×17×17的坐标点相对应的表数据,则将RGB坐标(0,0,0)及其变换目的地的RGB坐标、和RGB坐标(16,16,16)及其变换目的地的RGB坐标存储在三维查找表中。然后,任意处理单元参照三维查找表,通过各种内插处理将存在于颜色空间中的各个坐标移动(transfer)到变换目的地的坐标。例如,处理单元参考RGB坐标(0,0,0)的变换目的地坐标和RGB坐标(16,16,16)的变换目的地坐标计算RGB坐标(8,8,8)的变换目的地坐标。
三维查找表仅仅保存变换规则,三维查找表本身不具有任何功能。但是,为三维查找表设置适当表数据,并按照表格内的变换规则进行处理,从而可以实现像色域映射、6-轴校正、记忆颜色校正、或伽马校正那样的各种颜色管理功能。在本例中,可以适当改变设置在三维查找表中的表数据。由于这个原因,只要提供单个处理电路(或使用软件的处理功能),就可以视情况而定地实现必要功能(包括同时实现多个区域处理和多种其他功能)。
因此,使用三维查找表的校正具有绝对高于使用专用电路功能(特征校正功能)的校正的自由度。由于这个原因,对于使用三维查找表的配置,从成本的角度来看可以具有像开发资源减少和电路规模缩小那样的许多优点,并且可以进行用法改进。而且,当遇到麻烦时,或当提高性能时,用其他表数据取代三维查找表中的表数据,其结果是可以不用改变硬件地解决问题。
在下文中,将对公开与上述事项有关的图像处理技术的公告加以描述。待审日本专利公告第2010-118881号公开了利用三维查找表对输入运动图像进行颜色管理处理的彩色信号处理系统。该系统包括通过多维查找表变换有关输入图像信号的颜色信息的颜色变换单元、输 出以任意比例将颜色变换单元变换的图像信号与输入图像信号组合的复合图像信号的内插单元、和改变颜色变换单元中的多维查找表的数据的查找表重写单元。借助于上述配置,即使重写查找表中的数据,该系统也可以实现高精度的颜色管理处理。
国际公告第WO2004/032524号公开了对记忆色校正有点负面影响地进行自动颜色调整的图像处理装置。该图像处理装置包括生成在颜色区外围中小于在根据两种色度成分(a*/b*)设置的特定范围的颜色区中的校正强度的强度确定单元和按照生成的校正强度进行校正处理的单元。
发明内容
但是,颜色空间中遵照诸如三维查找表那样的变换规则的校正处理遇到像需要包括记忆色校正在内的设置变换规则的预先知识和技术诀窍的问题。下面描述该问题。
使用三维查找表的校正处理系统通常只包括将表数据存储在其中的存储器和从表数据中计算变换值的电路。由于这个原因,设置三维查找表中的表数据的自由度非常高。在设置三维查找表中的表数据时,除了设置要经受记忆色校正的颜色(目标颜色)和颜色的变换目的地之外,还需要设置存在于目标颜色外围中的颜色的校正范围和校正范围内的各种颜色的变换目的地坐标。由于这个原因,例如,在设置与记忆色校正有关的上述表数据的情况下,设置者不能进行适当设置,除非设置者拥有记忆色校正的预先知识和技术诀窍。
如果设置者在不拥有校正记忆色的良好知识或技术诀窍的情况下设置表数据,则存在不能保证三维颜色空间内的连续性地在校正图像中可能出现空间失真的风险。当将颜色或亮度具有平缓层次的图像输入具有上述表数据的图像处理装置中时,存在图像处理装置可能不可避免地输出具有原来不存在的轮廓的图像,或层次特征变差的图像的风险。
公开在待审日本专利公告第2010-118881号和国际公告第WO 2004/032524号中的两种图像校正技术假设了设置者依次设置表数据。由于这个原因,如果设置者不拥有有关颜色校正的良好技术诀窍和知识,则存在设置者可能进行不了预定校正的风险。
如上所述,当参考三维查找表进行记忆色校正时,如果查找表的设置者不拥有足够的技术诀窍和知识,则会出问题。但是,上述问题不仅出现在使用三维查找表的校正中,而且出现在进行颜色空间中的颜色校正时所需的任意变换规则的设置中。并且,该问题不局限于以记忆色校正为目的的校正,而是对于进行包括在图像中的像素数据的校正(颜色空间中的坐标移动)的情况也是常见的。
也就是说,在进行包括在图像中的像素数据(像素值)的校正(颜色空间中的坐标移动)的情况下,为了计算满足所希望校正目的的校正范围(发生移动的坐标点的范围),以及设置移动的各个坐标点的移动距离和方向,需要预先知识。当用户不拥有预先知识时,就出现像不能进行适当设置那样的问题。
按照本发明的一个方面,提供了包括如下的图像处理装置:变换单元,用于根据变换规则变换有关输入图像信号的颜色信息;校正范围计算单元,用于根据预定颜色空间中的源坐标与目的地坐标之间的位置关系计算该颜色空间中的校正范围;以及基于点移动距离计算单元,用于根据源坐标与目的地坐标之间的位置关系、和校正范围内的各个点处的坐标与源坐标之间的位置关系计算各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在变换规则上。
按照本发明的另一个方面,提供了图像处理方法,根据变换规则变换有关输入图像信号的颜色信息,该方法包括:根据预定颜色空间中的源坐标与目的地坐标之间的位置关系计算该颜色空间中的校正范围;以及根据源坐标与目的地坐标之间的位置关系、和校正范围内的各个点处的坐标与源坐标之间的位置关系计算各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在变换规则上。
按照本发明的又一个方面,提供了使计算机执行的图像处理程序,其包括:根据变换规则变换有关输入图像信号的颜色信息;根据 预定颜色空间中的源坐标与目的地坐标之间的位置关系计算该颜色空间中的校正范围;以及根据源坐标与目的地坐标之间的位置关系、和校正范围内的各个点处的坐标与源坐标之间的位置关系计算各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在变换规则上。
在本发明中,校正范围计算单元按照源坐标与目的地坐标之间的位置关系自动计算校正范围。并且,按照源坐标与目的地坐标之间的位置关系和校正范围内的各个点处的坐标与源坐标之间的位置关系,基于点移动距离计算单元计算各个点处的变换目的地坐标,以使所计算变换目的地坐标反映在变换规则(在本实施例中,三维查找表)上。在这种情况下,用户只需提供有关源坐标和目的地坐标的信息。其结果是,用户可以无需与校正范围的设置有关的知识和与各个点的移动距离有关的知识地实现颜色空间中的校正处理。
按照本发明,可以提供在进行包括在图像中的像素数据的校正(颜色空间中的坐标移动)的情况下,可以无需预先知识地计算满足所希望校正目的的校正范围(发生移动的坐标点的范围),以及设置移动的每个坐标点的移动距离和方向的图像处理装置、图像处理方法、和图像处理程序。
附图说明
图1是例示按照本发明第一实施例的图像处理装置的配置的方块图;
图2是例示按照本发明第一实施例的表数据生成单元的配置的方块图;
图3是例示按照本发明第一实施例的校正范围计算单元的配置的方块图;
图4A和4B是例示颜色空间(GB截面)中源坐标与目的地坐标之间的距离的概念的图形;
图5是例示按照本发明第一实施例的校正范围计算单元使校正范围旋转的概念的图形;
图6是三维地例示源坐标、目的地坐标、和指示校正范围的椭球的关系的图形;
图7是例示按照本发明第一实施例的格点移动距离计算单元的配置的方块图;
图8是例示影响度与移动距离特征之间的关系的曲线图;
图9A和9B是例示颜色空间中的校正方向的概念的图形;
图10A和10B是例示校正范围旋转的效果的概念图;
图11A和11B是例示肤色(flesh color)的记忆色校正的概念图;
图12是例示按照本发明第二实施例的图像处理装置的配置的方块图;
图13是例示按照本发明第二实施例的直方图分析单元对整个图像的直方图分析的图形;
图14是例示校正范围的干扰的概念图;
图15A和15B是例示按照本发明第一和第二实施例的图像处理装置中的记忆色校正的概念图;
图16是例示按照本发明第三实施例的校正范围计算单元的配置的方块图;
图17A和17B是例示为计算包括在校正范围中的格点的数量和缩小椭球而重新设置的概念的图形;
图18是例示按照本发明第四实施例的校正范围计算单元的配置的方块图;
图19是例示按照本发明第四实施例的图像处理装置的操作图像的概念图;
图20A和20B是例示按照本发明第四实施例的图像处理装置的操作图像的概念图;
图21是例示按照本发明第五实施例的图像处理装置的配置的方块图;
图22是例示按照第五实施例的图像处理装置处理的图像例子的图形;
图23是例示GB截面中蓝天的校正范围和蓝花的校正范围的图形;
图24是例示按照本发明第六实施例的颜色空间变换单元的配置的方块图;以及
图25是例示作为程序执行图像处理装置中的各个处理单元的处理的硬件配置的例子的图形。
具体实施方式
第一实施例
在下文中,将参考附图描述本发明的实施例。图1是例示按照这个实施例的图像处理装置的配置的方块图。
图像处理装置1包括表数据生成单元100和三维查找表单元200。三维查找表单元200包括地址生成单元210、表数据存储单元220、和内插单元230。
三维查找表单元200保存三维查找表,以及变换输入RGB信号。三维查找表单元200利用三维查找表进行一般记忆色校正。在本例中,三维查找表单元200保存的三维查找表是精度为8位或10位的含有像9×9×9或17×17×17那样的格点的一般RGB空间中的三维查找表。三维查找表单元200保存像使RGB空间中的格点坐标(R1,G1,B1)移动成(R2,G2,B2)那样数量与格点的数量相同的对应关系。内插三维查找表单元200内的格点的方法(计算颜色空间中未包括在格点中的坐标的目的地)可以使用一般三维空间中的线性内插方法或三次内插方法。
记忆色校正处理指定三维颜色空间中进行校正的特定颜色区。由于这个原因,可以随着格点数量增加以更高精度进行校正。由于这个原因,三维查找表中的八个格点应该是9×9×9或更多的格点的数量。借助于这种配置,可以实现在实际使用中可承受的记忆色校正。
随后,将参考图2对表数据生成单元100的配置加以描述。表数据生成单元100包括校正范围计算单元110和格点移动距离计算单元 120。用户向表数据生成单元100输入包括要经受记忆色校正的颜色的源坐标(RGB坐标上的坐标点)、目的地坐标(RGB坐标上的坐标点)、和校正方向(压缩方向/平行方向)的三组值。用户可以进一步设置影响范围增益和偏移、和移动特征。如果未进行设置,则可以使用默认值。同样,如果未设置校正方向,则可以使用默认值(例如,压缩方向)。
校正范围计算单元110是根据上述三个设置值(源坐标、目的地坐标、和校正方向)计算颜色空间中进行记忆色校正的范围(校正范围)的处理单元。如果用户感到校正范围计算单元110计算的校正范围不合适(太宽,太窄),则用户可以调整影响范围增益和偏移来调整校正范围。后面将描述细节。
校正范围计算单元110将计算的校正范围(利用记忆色校正改变颜色空间中的坐标的范围)供应给格点移动距离计算单元120。格点移动距离计算单元120自动计算校正范围内的各个格点的移动距离,并根据移动距离生成三维查找表的表数据。
详细地说,格点移动距离计算单元120根据作为移动中心的源坐标与每个格点处的坐标之间的距离计算影响度(每个格点的移动距离的指标值,后面将对此作详细描述)。从与源坐标较接近的格点中计算的影响度较大。从离源坐标的距离较长的格点中计算的影响度较小。从影响范围之外(校正范围之外)的格点中计算的影响度是0。
格点移动距离计算单元120计算每个格点处的影响度,并按照影响度计算每个格点的移动距离。格点移动距离计算单元120将对每个格点计算的移动距离与每个格点处的坐标值相加以生成表数据。
如果用户打算调整从影响度中计算的移动距离,用户可以调整移动特征的输入值。移动特征的细节将在后面描述。
随后,在描述校正范围计算单元110和格点移动距离计算单元120的详细配置和操作之前,将根据上述输入(源坐标、目的地坐标)描述计算校正范围和每个格点的移动距离的意义。
在按照本实施例的图像处理装置1中,当用户进行记忆色校正时, 用户设置作为移动中心的源的颜色坐标,并设置指示如何使颜色着色的目的地的颜色坐标。一旦接收到设置,校正范围计算单元110就计算校正范围。也就是说,校正范围计算单元110还选择存在于所设置两个颜色坐标周围的颜色(坐标)作为移动目标。下面描述上述选择的两个原因。
第一个原因是因为保证三维颜色空间内的连续性以防止空间失真,从而使层次特征不会恶化。
第二个原因是因为要校正的颜色不集中在三维空间中的某个点上,而是需要校正某个颜色区。例如,这是因为当进行蓝色的记忆色校正时,要校正的蓝色不集中在三维空间中的某个点上,而是要校正围绕那个点的给定颜色区。
一般说来,例如,当设置要经受记忆色校正的肤色的颜色区时,获取世界各地的肤色的样本数据。然后,除了获得的数据之外,校正优选肤色的统计数据。另外,使用预先技术诀窍分析那些数据,以确定将哪种肤色设置成中心(源坐标),将什么范围(校正范围)定义成肤色,以及将哪种颜色设置成优选肤色(目的地)。
但是,仅仅肤色就涉及到多种多样的种族。由于这个原因,当定义所有肤色区时,使这些区域显著扩大。并且,还出现由拍摄环境的光源引起的肤色变化、和由背景色引起的如何看肤色的变化。由于这个原因,在任何情况下都不可能进行绝对优选设置。并且,存在记忆色原来就定义得模糊不清的许多情况。由于这个原因,取决于用户的偏好或地域性,记忆色可能差别很大。总之,设置要经受记忆色的校正的源坐标和目的地坐标经常是非常困难的。但是,当将图像的颜色校正成优选颜色和亮度的趋势时,可以达到一定程度的校正效果也是事实。
因此,在按照本实施例的图像处理装置中,如果用户设置“打算进行把重点放在这种颜色上地接近这种颜色的校正”(也就是说,设置上述源和目的地的坐标),校正范围计算单元110自动计算校正范围。此外,格点移动距离计算单元120自动计算校正范围内的每个格 点的移动距离。其结果是,在按照本实施例的图像处理装置1中,可以容易地提供即使用户不拥有上述统计数据和预先调整技术诀窍,也没有实际操作问题地校正记忆色的单元。
随后,将参考图3对校正范围计算单元110的详细配置加以描述。图3是例示校正范围计算单元110的配置的方块图。校正范围计算单元110包括目的地到源距离计算单元111、校正范围增益和偏移调整单元112、目的地到源直线斜率计算单元113、旋转角计算单元114、和校正范围椭球表达式计算单元115。图4A-6是例示颜色空间中的源坐标、目的地坐标、和校正范围的图形。在下文中,适当参照这些附图来描述。
目的地到源距离计算单元111接收用户设置的源坐标和目的地坐标。目的地到源距离计算单元111从目的地坐标中减去源坐标,以计算颜色空间中目的地坐标与源坐标之间的距离。源坐标、目的地坐标、和从目的地坐标到源坐标的距离按如下定义,以便表示计算公式:源坐标:O(Ro,Go,Bo);目的地坐标:T(Rt,Gt,Bt);以及源到目的地距离Lto(Rlto,Glto,Blto),Lto=(Rt-Ro,Gt-Go,Bt-Bo)。
图4A和4B例示了颜色空间(GB截面)中源坐标与目的地坐标之间的距离Lto的概念。在图4A和4B中,受到图形限制,例示了二维截面,但目的地到源距离计算单元111计算三维空间中的距离。
目的地到源距离计算单元111将计算的源到目的地距离(Lto)供应给校正范围增益和偏移调整单元112。
校正范围增益和偏移调整单元112根据供应的源到目的地距离(Lto)为相应RGB的每个轴确定校正范围。校正范围增益和校正范围偏移由用户适当设置。当未进行设置时,使用默认值。在下文中,定义校正范围E、校正范围增益Egain、和校正范围偏移Eofs,以便表达校正范围增益和偏移调整单元112使用的计算公式(Ex.1)到(Ex.3):校正范围:E(Re,Ge,Be);校正范围增益:Egain;校正范围偏移:Eofs,
Re=Rlto×Egain+Eofs
(Ex.1)
Ge=Glto×Egain+Eofs
(Ex.2)
Be=Blto×Egain+Eofs
(Ex.3)
假设校正范围增益Egain可以由用户在“1”与“5”之间调整,但被设置成大约“3”。假设在8-位(256个)层次的情况下校正范围偏移Eofs可以由用户在“8”与“64”之间调整,但被设置成大约“16”。
用户可以调整校正范围增益Egain和校正范围偏移Eofs,以便按照源坐标与目的地坐标之间的距离Lto自动设置校正范围E的幅度。校正范围E的范围随着校正范围增益Egain和校正范围偏移Eofs变大而变宽(在图4A和4B中,椭球范围变大)。因为校正范围增益Egain不是1或更低的值,所以源坐标和目的地坐标原则上包括在校正范围E内。校正范围增益和偏移调整单元112将计算的校正范围E供应给校正范围椭球表达式计算单元115。
目的地到源直线斜率计算单元113按照源坐标和目的地坐标计算RG截面的斜率(Δrg)和GB截面的斜率(Δgb)。更详细地说,目的地到源直线斜率计算单元113按照源坐标的R坐标(Ro)和G坐标(Go)与目的地坐标的R坐标(Rt)和G坐标(Gt)的位置关系计算RG截面的斜率(Δrg)。同样,目的地到源直线斜率计算单元113按照源坐标的G坐标(Go)和B坐标(Bo)与目的地坐标的G坐标(Gt)和B坐标(Bt)的位置关系计算GB截面的斜率(Δgb)。更详细地说,目的地到源直线斜率计算单元113利用如下计算公式(Ex.4)和(Ex.5)计算RG截面的斜率(Δrg)和GB截面的斜率(Δgb):
(Ex.4)
(Ex.5)
目的地到源直线斜率计算单元113将RG截面的计算斜率(Δrg)和GB截面的计算斜率(Δgb)供应给旋转角计算单元114。图4A例示了GB截面的斜率(Δgb)。
旋转角计算单元114按照RG截面的供应斜率(Δrg)和GB截面的供应斜率(Δgb),计算校正范围E的外围形成的椭球旋转的角度(θrg,θgb)。更详细地说,旋转角计算单元114利用如下计算公式(Ex.6)和(Ex.7)计算旋转角(θrg,θgb):
在Rt-Ro=0的情况下,90(°)
(Ex.6)
在Gt-Go=0的情况下,0(°)
(Ex.7)
校正范围椭球表达式计算单元115是计算校正范围的椭球表达式的处理单元。校正范围椭球表达式计算单元115使通过校正范围增益和偏移调整单元112计算的校正范围E的外围形成的椭球围绕各自坐标轴轴向旋转通过旋转角计算单元114计算的角度(θrg,θgb),以便计算最终校正范围E的椭球表达式。更详细地说,校正范围椭球表达式计算单元115借助于如下表达式(Ex.8)使坐标变量(R0,G0,B0)围绕RG轴旋转以便计算坐标(R1,G1,*)。校正范围椭球表达式计算单元115借助于如下表达式(Ex.9)使坐标(R1,G1,*)围绕RG轴旋转以便计算坐标(R1,G2,B1)。校正范围椭球表达式计算单元115按照坐标点(R1,G2,B1)计算轴向旋转椭球表达式的计算公式(Ex.10)。校正范围椭球表达式计算单元115按照坐标点(R1,G2,B1)计算轴向旋转椭球表达式的计算公式(Ex.10)。
R1=cosθrg×R0-sinθrg×G0
G1=sinθrg×R0+cosθrg×G0
(Ex.8)
G2=cosθgb×G1-sinθgb×B0
B1=sinθgb×G1+cosθgb×B0 (Ex.9)
(Ex.10)
校正范围椭球表达式计算单元115将所计算校正范围E的椭球表达式供应给格点移动距离计算单元120(交点计算单元122)。
图5是例示使校正范围E旋转的概念的图形。图5例示了RG截面的旋转概念。如图所例示,使校正范围E按照源坐标与目的地坐标之间的位置关系旋转。也就是说,校正范围椭球表达式计算单元115使校正范围E旋转,以使连接源坐标与目的地坐标的直线与椭球的长边方向平行。
图6是三维地例示源坐标、目的地坐标、和指示校正范围的椭球的关系的图形。如图所例示,椭球含有在其内部的源坐标和目的地坐标。
如上所述,用户逐点设置源坐标和目的地坐标。校正范围计算单元110通过上述一系列处理自动计算校正范围E。在上述计算校正范围E的技术中,指示校正范围的椭球中心是校正源坐标。但是,上述计算技术仅仅是计算校正范围E的椭球的一个例子,椭球中心可以是源坐标与目的地坐标之间的中间坐标,或可以是与源坐标(目的地坐标)接近的坐标。
并且,在上面计算校正范围E的技术中,校正范围用椭球表示。但是,表示校正范围E的表达式未必需要像椭球表达式那样的复杂数学表达式。该表达式可以是像线性表达式那样的简单数学表达式,只要该表达式可以表达与上面椭球表达式相对应的范围(也就是说,根据源坐标与目的地坐标之间的位置关系计算的范围)就行。线性表达 式表示的校正范围E是,例如,正立方体(八角形)和长方体(八角形,十角形,十二角形)。
随后,将参考图7描述格点移动距离计算单元120的配置和操作。图7是例示格点移动距离计算单元120的配置的方块图。首先,描述格点移动距离计算单元120的处理的概况。
格点移动距离计算单元120计算从校正范围椭球表达式计算单元115输入的校正范围E的椭球表达式所表示的椭球内的各个格点的移动距离。例如,格点移动距离计算单元120计算图4A的校正范围内的各个格点的移动距离。
详细地说,格点移动距离计算单元120首先计算通过每个格点的源坐标的直线与输入椭球表达式所表示的椭球之间的交点。格点移动距离计算单元120然后计算交点与源坐标之间的距离(归一化距离)。格点移动距离计算单元120还计算源坐标与格点之间的距离。格点移动距离计算单元120按照该距离(源坐标与格点之间的距离)与归一化距离之间的比值计算移动影响度。格点移动距离计算单元120然后按照影响度、源坐标、目的地坐标、和格点坐标之间的关系为每个RGB坐标计算格点的移动距离。格点移动距离计算单元120将每个RGB坐标的移动距离与格点坐标相加以计算所移动格点的坐标。所移动坐标变成记忆色校正的表数据。
在如下描述中,对格点(垂直和水平相邻格点之间的所有距离都一致的坐标布置)加以论述。但是,本发明未必限于这种配置。格点移动距离计算单元120(基于点移动距离计算单元)可以计算具有不同于格点的排列的每个坐标点的移动距离。在这种情况下,三维查找表单元200可以参考各个坐标点的距离关系进行内插处理。
随后,对格点移动距离计算单元120的详细配置以及各个配置处理单元的操作加以描述。格点移动距离计算单元120包括源到格点线性表达式计算单元121、交点计算单元122、源坐标到交点距离计算单元123、源到格点直线距离计算单元124、影响度计算单元125、移动特征设置单元126、和坐标计算单元127。
源到格点线性表达式计算单元121计算连接源坐标和包括在校正范围E内的每个坐标的直线的线性表达式。在本例中,当包括在校正范围E中的任意格点坐标D、和坐标变量INPUT按如下定义时,通过一般三维直线方程像如下表达式(Ex.11)那样计算线性表达式:
格点坐标:校正范围椭球内的D(Rd,Gd,Bd);
坐标变量(R0,G0,B0),
(Ex.11)
源到格点线性表达式计算单元121将在每个格点处的计算线性表达式(Ex.11)供应给交点计算单元122。
交点计算单元122接收从校正范围椭球表达式计算单元115输入的校正范围E的椭球表达式(轴旋转之后的椭球表达式(Ex.10))、和从每个格点计算的线性表达式(Ex.11)。交点计算单元122通过将线性表达式代入椭球表达式中计算椭球(校正范围E的椭球)与直线(连接源坐标和任意格点的直线)之间的交点。代入表达式按如下表示。首先,表示有关R1的代入表达式(Ex.12):
(Ex.12)
在表达式12中,用变量A取代一部分数项。同样地,表示有关G2的代入表达式(Ex.13)。代入方式与表达式12的相同,因此为了便于描述简化代入处理的细节:
(Ex.13)
在表达式13中,用变量B取代一部分数项。同样地,表示有关B1的代入表达式(Ex.14)。在表达式14中,用变量C取代一部分数项:
(Ex.14)
通过上面表达式,交点Cr可以通过如下表达式(Ex.15)求出:
交点Cr(Rcr,Gcr,Bcr):
(Ex.15)
此外,在Rd=Ro的情况下,在线性表达式(Ex.11)中会出现除以零的问题。因此,上述Rcr和B0通过如下表达式(Ex.16)表示:
Rcr=0,
(Ex.16)
当将表达式16代入椭球表达式(Ex.10)中时,获得如下表达式(Ex.17)到(Ex.19):
R12=sin2θrg×G02=A×G02
(Ex.17)
(Ex.18)
(Ex.19)
通过上面表达式17-19,交点Cr可以通过如下表达式(Ex.20)求出:
(Ex.20)
此外,在Gd=Go的情况下,在线性表达式(Ex.11)中会出现除以零的问题。因此,上述Rcr和Gcr通过如下表达式(Ex.21)表示:
Rcr=Gcr=0
(Ex.21)
当将表达式21代入椭球表达式(Ex.10)中时,可以获得如下表达式(Ex.22)到(Ex.24):
R12=A×G02(A=0)
(Ex.22)
G22=sin2θgb×B02=B×B02
(Ex.23)
B12=cos2θgb×B02=C×B02
(Ex.24)
通过上面表达式22-24,交点Cr可以通过如下表达式(Ex.25)求出:
Rcr=Gcr=0
(Ex.25)
如上所述,交点计算单元122计算与每个格点相对应的交点Cr。交点计算单元122将与每个所计算格点相对应的计算交点Cr(椭球与连接格点和源坐标的直线之间的交点)的坐标供应给源坐标到交点距离计算单元123。
源坐标到交点距离计算单元123计算源坐标和与每个格点相对应的交点(椭球与连接格点和源坐标的直线之间的交点)的坐标之间的距离Loc。源坐标到交点距离计算单元123利用勾股定理从如下表达式(Ex.26)中计算距离Loc:
(Ex.26)
距离Loc表示以源坐标为中心发生移动的范围。由于这个原因,假设距离Loc是移动范围中的归一化距离。源坐标到交点距离计算单元123将为每个格点计算的归一化距离Loc供应给影响度计算单元 125。
源到格点直线距离计算单元124计算源坐标O与任意格点D之间的距离。源到格点直线距离计算单元124利用勾股定理从如下表达式(Ex.27)中计算距离Lod:
(Ex.27)
源到格点直线距离计算单元124将为每个格点计算的归一化距离Lod供应给影响度计算单元125。图4B是例示归一化距离Loc与距离Lod之间的关系的图形。
影响度计算单元125计算用于为每个格点计算移动距离的影响度Ef。影响度计算单元125接收每个格点的上述归一化距离Loc和距离Lod。每个格点的移动距离随着影响度Ef变大而变大。当从源坐标的附近计算时,影响度Ef变成最大,并且交点Cr变成0(未发生移动的值)。这是因为源坐标变成移动的中心。影响度计算单元125通过如下表达式28计算影响度Ef:
(Ex.28)
影响度计算单元125为校正范围E中的每个格点计算上述影响度Ef。
其结果是,与源坐标接近的每个格点的移动距离变大,而移动距离随着格点离源坐标越来越远而变小。校正范围椭球上的每个格点的移动距离(影响度Ef)变成0。其结果是,保证了三维颜色空间内的连续性。由于保证了连续性,所以可以进行没有颜色失真的记忆色校正。
影响度计算单元125将为每个格点计算的影响度Ef供应给移动特征设置单元126。
移动特征设置单元126按照每个格点的影响度Ef计算移动距离特 征ME。移动距离特征ME是每个格点的移动距离的系数。当假设每个格点的上述影响度Ef是移动距离时,移动距离(移动距离特征ME)随着格点离源坐标越来越远而变小。例如,移动特征设置单元126按照每个格点的影响度Ef,从如下表达式29中计算移动距离特征ME:
ME=1-(Ef-1)2
(Ex.29)
图8是例示影响度Ef与移动距离特征ME之间的关系的曲线图。移动距离(移动距离特征ME)按照影响度Mf从上面表达式29中控制。如图8所例示,上述移动距离(移动距离特征ME)与影响度Ef的线性变化相比变大了。其结果是,可以设置更合适的移动距离。
如果用户未满足移动特征设置单元126计算的移动距离特征ME,则用户可以适当地调整移动距离特征ME。也就是说,用户可以适当地设置用在移动特征设置单元126中的计算公式。
移动特征设置单元126将每个格点的计算移动距离特征ME供应给坐标计算单元127。
坐标计算单元127根据每个格点的移动距离特征ME计算每个格点的移动距离M(Mr,Mg,Mb),并将移动距离M与每个格点坐标D相加,以计算每个格点的校正坐标DC(DCr,DCg,DCb)。除了每个格点的移动距离特征ME和每个格点坐标D之外,坐标计算单元127还接收校正方向。校正方向由用户指定,以指定压缩方向和平行方向之一。在下文中,将参考图9A和9B描述校正方向。
如图9A所例示,校正压缩方向来改变坐标位置,以便集中在用户指定的一个点的坐标上。其结果是,即使输入了任何颜色,也可以将记忆色校正成接近优选颜色(优选坐标)。换句话说,作出使颜色再现范围变窄的校正。
如图9B所例示,校正平行方向以便沿着相同方向移动校正范围内的所有格点。移动方向用于连接用户指定的源坐标和目的地坐标。换句话说,因为平行方向的校正沿着相同方向移动校正范围内的所有格点,所以与压缩方向的校正相比,不会使颜色再现范围变窄。
用户按照记忆色校正的目的指定校正方向。坐标计算单元127按照指定的校正方向,从如下公式中计算每个格点的移动距离M(Mr,Mg,Mb)和每个格点的校正坐标DC(DCr,DCg,DCb)。
压缩方向的计算公式由如下表达式30表示:
Mr=(Rt-Rd)×ME,Mg=(Gt-Gd)×ME,Mb=(Bt-Bd)×ME
DCr=Rd+Mr,DCg=Gd+Mg,DCb=Bd+Mb
(Ex.30)
平行方向的计算公式由如下表达式31表示:
Mr=(Rt-Ro)×ME,Mg=(Gt-Go)×ME,Mb=(Bt-Bo)×ME
DCr=Rd+Mr,DCg=Gd+Mg,DCb=Bd+Mb
(Ex.31)
坐标计算单元127将校正范围E内的每个格点的校正坐标DC供应给表数据存储单元220。其结果是,表数据存储单元220保存将任意格点D变换成相应校正坐标DC的查找表。
随后,将描述按照本实施例的图像处理装置1的优点。如上所述,用户只指定颜色空间中的源坐标和目的地坐标。按照这种指定,校正范围计算单元110自动计算校正范围E,以及格点移动距离计算单元120计算校正范围E内的每个格点的目的地坐标,并使目的地坐标反映在变换规则(在本实施例中,三维查找表)上。也就是说,即使用户不拥有有关颜色空间中的颜色变换(校正)处理的知识和技术诀窍,用户也可以容易地实现颜色变换处理(在上述例子中实现记忆色校正)。
并且,用户无需依次设置变换规则。也就是说,用户无需依次设置要经受记忆色校正的查找表中的各个表数据。用户只设置源坐标和目的地坐标。其结果是,可以缩短用户设置的工时。
并且,按照本实施例的校正范围计算单元110按照源坐标与目的地坐标之间的位置关系使校正范围E旋转(在RG轴平面上旋转,在GB轴平面上旋转)(图5)。更详细地说,校正范围计算单元110使校正范围E旋转,以便连接源坐标和目的地坐标的直线变成长轴方向。借助于这种操作,可以进行没有颜色空间失真的记忆色校正。下面将参考图10A和10B描述细节。
图10A是例示校正范围未旋转时颜色空间中的坐标的变化的图形。如图10A所例示,位于目的地坐标附近的每个坐标的移动距离迅速变化。
图10B是例示校正范围旋转时颜色空间中的坐标的变化的图形(也就是说,按照本实施例的图像处理装置1的配置)。如图10B所例示,格点坐标的移动距离(移动矢量的幅度)随着源坐标和格点坐标相互越来越远而更加平缓地变化(例如,图10B中的(2)所指的校正量大于图10A中的(1)所指的校正量)。这是因为作出使坐标范围内的每个坐标的移动距离随着与源坐标的距离变大而逐渐变小的控制。因为颜色不是迅速变化,所以可以避免颜色空间失真。
并且,按照本实施例的图像处理装置1,可以只校正要校正的颜色。下面将参考图11A和11B描述各种优点。
图11A和11B是例示肤色的记忆色校正的概念图。图11A是例示校正范围E未旋转时的校正范围E的图形。当校正范围E未旋转时,指示除了要校正的颜色(肤色)之外的其他颜色的坐标也不可避免地被校正。由于这个原因,用户未打算校正的颜色不可避免地被校正(颜色空间中的坐标移动)。
另一方面,图11B是例示校正范围E旋转时的校正范围E的图形(也就是说,按照本实施例的图像处理装置1的配置)。当校正范围E旋转时,只有代表要校正的颜色(肤色)的坐标被校正。并且,每个格点的目的地坐标也落在存在肤色的范围内。由于这个原因,按照本实施例的图像处理装置1可以只适当地校正要校正的颜色,而不会校正不打算校正的颜色。
如参考图10A,10B,11A和11B所述,除了无需技术诀窍地实现校正处理,以及缩短了工时的优点之外,按照本实施例的图像处理装置1还具有提高校正质量的优点。当用户手动进行设置时,因为用户把重点放在优化每个设置项上,所以可能引起最终颜色空间失真的 发生。另一方面,按照本实施例的图像处理装置按照源坐标与目的地坐标之间的关系确定校正范围E。将校正范围E内的坐标的移动距离控制成随着与源坐标的距离变大而变小。由于这个原因,该图像处理装置可以如上所述没有任何颜色空间失真地生成适当图像。
按照本实施例的图像处理装置1内的格点移动距离计算单元120包括移动特征设置单元126。但是,本发明未必局限于这种配置,而是可以从影响度Ef中直接计算变换目的地坐标。
第二实施例
按照本实施例的图像处理装置的特征在于可以实现对每个图像(例如,运动图像的每个帧)的画面加以考虑的记忆色校正。以下将描述按照本实施例的图像处理装置。
图12是例示按照本实施例的图像处理装置的配置的方块图。除了表数据生成单元100和三维查找表单元200之外,图像处理装置1还包括画面自适应单元300。表数据生成单元100和三维查找表单元200的配置和处理与第一实施例中的那些相同,因此下面描述画面自适应单元300的配置和操作。
画面自适应单元300包括记忆色校正目标检测单元301、记忆色校正确定单元302、三维直方图生成单元303、直方图分析单元304、和源和目的地计算单元305。
记忆色校正目标检测单元301检测图像内要经受记忆色校正的对象和背景(在如下描述中,对象和背景也统称为“记忆色校正目标”)。记忆色校正目标包括,例如,脸部、天空、大海、红叶、樱花、树木的绿色部分。记忆色校正目标检测单元301检测和分析那些记忆色校正目标在图像内的形状、颜色、亮度和位置(例如,屏幕的上部:天空;屏幕的下部:大海)。常用的图像识别技术可以用于检测处理。近年来,在各种领域广泛开发了检测特定记忆色校正目标的图像识别技术。尤其,像数字照相机那样的大量商用产品都具有脸部检测等的功能。
记忆色校正目标检测单元301利用记忆色校正目标的一般检测技术将检测的信息(记忆色校正目标在图像内的存在性、形状、颜色、亮度、和位置)供应给记忆色校正确定单元302和三维直方图生成单元303。
记忆色校正确定单元302是确定是否进行记忆色校正的处理单元。记忆色校正确定单元302接收有关用户打算校正的记忆色校正目标的信息。在本实施例中,用户指定要校正的记忆色校正目标。在本例中,用户可以指定多个记忆色校正目标。当指定多个记忆色校正目标时,用户为每个记忆色校正目标设置源坐标的预置值和目的地坐标的预置值。例如,当同时进行蓝天和樱花的记忆色校正时,用户设置与蓝天有关的源坐标的预置值和目的地坐标的预置值、以及与樱花有关的源坐标的预置值和目的地坐标的预置值。
记忆色校正确定单元302将信息(记忆色校正目标在图像内的存在性、形状、颜色、亮度、和位置)与用户指定的记忆色校正目标相比较,以确定是否进行记忆色校正。
如果在图像内不存在用户指定的记忆色校正目标,则存在即使进行记忆色校正也不会产生校正效果的可能性。并且,存在可以使未打算记忆色校正目标经受记忆色校正的风险。由于这个原因,记忆色校正目标302确定是否进行记忆色校正。
记忆色校正确定单元302对每个图像(帧)进行确定。但是,在保存多个三维查找表的系统(如后所述)或可以指定要通过三维查找表校正的校正区的系统中,记忆色校正确定单元302可以对屏幕中的每个区域进行上述确定(是否进行记忆色校正的确定)。其结果是,可以实现在精度方面更加卓越的记忆色校正。
记忆色校正确定单元302将确定结果供应给源和目的地计算单元305。
三维直方图生成单元303接收整个输入图像的RGB值以及记忆色校正目标检测单元301检测的信息。三维直方图生成单元303生成整个屏幕和检测到记忆色校正目标的图像区的三维直方图。三维直方 图生成单元303将两种类型的所生成三维直方图供应给直方图分析单元304。
直方图分析单元304分析两种类型的输入三维直方图(检测到记忆色校正目标的图像区的三维直方图、和整个图像的三维直方图)。首先,对分析检测到记忆色校正目标的图像区的三维直方图加以描述。
在检测到记忆色校正目标的图像区中显示相同对象或相同背景。例如,在检测到蓝天的区域中存在构成蓝天的像素。由于这个原因,假设在颜色空间中的直方图中,数值集中在三维空间内的给定区域上。在本例中,在直方图中,忽略具有给定频率或更低频率的颜色坐标。其结果是,可以获得具有中心在三维空间内的颜色坐标上的椭球形的直方图。直方图分析单元304检测椭球形的中心的坐标,即,记忆色校正目标的主要颜色的坐标作为分析结果。在该检测方法中,主要可想到椭球位置中心检测和椭球重心检测的两种类型检测。首先,描述椭球位置中心检测。
直方图分析单元304按如下定义与上述直方图有关的椭球内的RGB的各自轴的最大值、最小值、和中心值,并通过如下表达式计算椭球的中心值:
椭球内的最大值:Rmax,Gmax,Bmax;
椭球内的最小值:Rmin,Gmin,Bmin;
椭球内的中心值:Rcen,Gcen,Bcen:
(Ex.32)
随后,描述椭球重心检测。直方图分析单元304按如下定义椭球内的RGB的各自轴的累计值和椭球重心值,并通过如下表达式33计算椭球的重心值:
椭球内的累计值:Rsgm,Gsgm,Bsgm;
像素总数:Dot;
椭球内的重心值:Rgra,Ggra,Bgra:
(Ex.33)
直方图分析单元304可以通过除了上述方法之外的其他方法计算直方图内椭球的中心/重心(也就是说,对象或背景的主要颜色的坐标)。直方图分析单元304将通过分析获得的坐标供应给源和目的地计算单元305。
随后,对直方图分析单元304分析整个图像的直方图加以描述。直方图分析单元304分析在用户为每个记忆色校正目标设置的源坐标的预置值和目的地坐标的预置值之间、以及在外围的颜色坐标中如何使直方图成形。更详细地说,直方图分析单元304分析在记忆色校正之前的状态下在目的地坐标的预置值的附近是否已经存在颜色(是否存在具有与目的地坐标的颜色相似的颜色的多个坐标)。此外,直方图分析单元304分析源坐标的预置值与目的地坐标的预置值之间的颜色分布比。
下面参考图13对直方图分析单元304分析整个图像的直方图加以详细描述。在图13中,在源坐标的预置值OP与目的地坐标的预置值TP之间设置了七个区域。在图13中,为了便于描述起见,例示了二维坐标空间。但是,直方图分析单元304实际上处理三维坐标空间。
直方图分析单元304分析七个区域每一个的直方图。直方图分析单元304确定处在每个区域中的像素的数量是否超过给定阈值。如果超过,则直方图分析单元304确定在校正之前在上述区域中存在颜色(在校正之前在上述区域中存在给定数量或更多的像素)。该确定从与源坐标的预置值较接近的区域1到区域7依次进行。当检测到可以确认给定数量或更多的像素的区域时,直方图分析单元304结束确定处理。直方图分析单元304检测可以确认给定数量或更多的像素的区 域的代表性坐标作为现有坐标TE(TEr,TEg,TEb)。直方图分析单元304将现有坐标TE(TEr,TEg,TEb)供应给源和目的地计算单元305。
例如,如果在区域1中不存在给定数量或更多的像素,而在区域2中存在给定数量或更多的像素,则直方图分析单元304不进行与区域3和随后区域有关的确定。然后,直方图分析单元304检测区域2的代表性坐标作为现有坐标TE(TEr,TEg,TEb)。如果一直确定到区域7,并且如果没有区域存在给定数量或更多的像素,则直方图分析单元304认为不存在现有坐标TE。
在图13的描述中,在直方图中提供了七个区域,但本发明未必局限于这种配置。如果区域的数量增加得更多,则直方图分析单元304可以详细检测现有坐标。也就是说,可以提高现有确定的精度。其结果是,可以提高如后所述的记忆色校正的目的地坐标的设置精度。
随后,描述源和目的地计算单元305。在本实施例中,用户为要校正的每个对象或背景设置源坐标O的预置值OP和目的地坐标T的预置值TP。源和目的地计算单元305根据预置值、记忆色校正确定单元302的确定结果、和直方图分析单元304的分析结果,计算要供应给表数据生成单元100的源坐标O和目的地坐标T。也就是说,在本实施例中,未原样使用用户输入的源坐标和目的地坐标,而是对坐标位置加以调整再供应给表数据生成单元100。
首先,描述源和目的地计算单元305对源坐标O的计算处理。用户为每个记忆色校正目标设置源坐标的预置值OP(OPr,OPg,OPb)。源和目的地计算单元305接收直方图分析单元304的分析结果。该分析结果是用户指定的记忆色校正目标的中心颜色坐标OC(OCr,OCg,OCb)。源和目的地计算单元305通过如后所述的表达式34计算预置值OP(OPr,OPg,OPb)与中心颜色坐标OC(OCr,OCg,OCb)之间的源坐标O(Ro,Go,Bo)。用户可以设置作为源坐标的预置值可以与中心颜色坐标OC(OCr,OCg,OCb)有多接近的指标的追随度F1(0-100%)。如果追随度F1被设置成0%,则源坐标O等 于源坐标O的预置值OP(OPr,OPg,OPb)。如果追随度F1被设置成100%,则源坐标O等于中心颜色坐标OC(OCr,OCg,OCb)。如果追随度F1被设置成50%,则源坐标O是源坐标O的预置值OP(OPr,OPg,OPb)与中心颜色坐标OC(OCr,OCg,OCb)之间的中间值。将源坐标O(Ro,Go,Bo)的计算公式(Ex.34)表示如下:
Ro=OPr+(OCr-OPr)×F1
Go=OPg+(OCg-OPg)×F1
Bo=OPb+(OCb-OPb)×F1
(Ex.34)
假设追随度F1被设置成大约50%,以及用户未指定追随度F1时的默认值也被设置成大约50%。
随后,描述源和目的地计算单元305对目的地坐标的计算处理。用户为每个记忆色校正目标设置目的地坐标的预置值TP(TPr,TPg,TPb)。源和目的地计算单元305接收直方图分析单元304的分析结果,并确定在校正之前的状态下在去往目的地的方向是否已经存在给定数量或更多的像素。如果存在,源和目的地计算单元305就通过如后所述的表达式35,根据输入的现有坐标TE(TEr,TEg,TEb)和目的地坐标T的预置值TP(TPr,TPg,TPb)计算最终目的地坐标T。用户可以设置作为目的地坐标的预置值可以与现有坐标TE有多接近的指标的追随度F2(0-100%)。如果追随度F2被设置成0%,则目的地坐标T等于目的地坐标T的预置值TP(TPr,TPg,TPb)。如果追随度F2被设置成100%,则目的地坐标T等于现有坐标TE(TEr,TEg,TEb)。如果追随度F2被设置成50%,则目的地坐标T是目的地坐标T的预置值TP(TPr,TPg,TPb)与现有坐标TE(TEr,TEg,TEb)之间的中间值。将目的地坐标T(Rt,Gt,Bt)的计算公式(Ex.35)表示如下:
Rt=TPr+(TEr-TPr)×F2
Gt=TPg+(TEg-TPg)×F2
Bt=TPb+(TEb-TPb)×F2
(Ex.35)
假设追随度F2被设置成大约50%,以及用户未指定追随度F2时的默认值也被设置成大约50%。
源和目的地计算单元305将计算的源坐标O(Ro,Go,Bo)和目的地坐标T(Rt,Gt,Bt)供应给表数据生成单元100。
随后,对有关记忆色校正未对画面加以考虑的问题、和按照本实施例的图像处理装置1的优点加以描述。首先,描述有关记忆色校正未对画面加以考虑的问题。
在未对画面加以考虑的记忆色校正中,与记忆色校正目标的存在与否无关地借助于输入了一种稳定模式的查找表进行校正处理。由于这个原因,存在未打算校正的非有意记忆色校正目标的像素被不可避免地校正的风险。
并且,即使在图像内存在用户打算校正的记忆色校正目标,但因为记忆色校正目标(例如,人脸)具有与假设为记忆色校正目标的颜色区不同的颜色,所以存在要校正的像素不能充分包括在校正范围内的风险。
在使用查找表的记忆色校正中,经常同时对多个记忆色校正目标进行校正。在这种情况下,校正范围可能相互干涉。下面参考图14描述这种状态。如图14所例示,与一个记忆色校正目标有关的校正范围可能与另一个记忆色校正目标有关的校正范围干涉。在这种情况下,不清楚如何在干涉区进行校正。由于这个原因,需要在比一般理想校正量抑制更大的校正强度时进行处理。也就是说,如图14所例示,在缩小校正范围之后再进行校正处理。由于这个原因,可能无法达到足够的校正效果。
随后,对按照本实施例的图像处理装置1的优点加以描述。按照本实施例的图像处理装置1检测记忆色校正目标,并根据记忆色校正
目标和整个图像的直方图自动计算源坐标和目的地坐标。其结果是,按照本实施例的图像处理装置1可以获得如下两方面优点。
(1)可以只对用户打算校正的记忆色校正目标进行校正处理。
(2)可以对用户打算校正的记忆色校正目标进行足够强度的校正。
首先,对在按照本实施例的图像处理装置1中可以获得“可以只对用户打算校正的记忆色校正目标进行校正处理”的优点的原因加以描述。
记忆色校正确定单元302计算是否存在用户指定的记忆色校正目标。只有当存在用户指定的记忆色校正目标时,源和目的地计算单元305才计算源坐标O和目的地坐标T。其结果是,图像处理装置1(三维查找表单元200)可以只进行与记忆色校正目标有关的记忆色校正,即,获得上述优点(1)。
如果在一个屏幕内不存在多个记忆色校正目标,也就是说,如果只存在一个记忆色校正目标,则图像处理装置1对单个记忆色校正目标进行记忆色校正。由于这个原因,图像处理装置1无需对付校正范围的干涉。
记忆色校正确定单元302确定存在用户指定的多个记忆色校正目标,并且如果两个校正范围相互干涉,则图像处理装置1可能对属于干涉区的颜色坐标进行未打算的变换。但是,这个问题可以通过如后所述的第四或第五实施例的配置来解决。
随后,对在按照本实施例的图像处理装置1中可以获得“可以对用户打算校正的记忆色校正目标进行足够强度的校正”的优点的原因加以描述。将描述如下两个原因。
下面描述第一个原因。如上所述,记忆色校正确定单元302确定是否存在用户指定的记忆色校正目标。然后,源和目的地计算单元305只对用户指定和检测的记忆色校正目标设置校正范围。也就是说,例如,在图14中,可以使校正范围局限于用户指定的记忆色校正目标。由于这个原因,可以减少颜色空间中指示校正范围的椭球的数量。其 结果是,减少了对记忆色校正的校正范围的干涉加以考虑的需要,以及可以减少采取像缩小校正范围那样的行动的需要。因为减少了缩小校正范围的需要,所以可以进行足够强度的校正。
随后,参考图15A和15B描述获得上述优点(2)的第二个原因。在图15A和15B的描述中,假设在要处理的图像中存在指示蓝天的区域和指示蓝花的区域。假设用户只打算进行蓝天的记忆色校正。
图15A是例示按照第一实施例的图像处理装置1进行的记忆色校正的概念图。在这种情况下,图像处理装置1利用用户按原样输入的源坐标和目的地坐标确定校正范围。由于这个原因,如果在图像内存在像蓝天和蓝花那样具有相同颜色的对象,则图像处理装置1非有意地改变未打算校正的蓝花的颜色。
图15B是例示按照本实施例的图像处理装置1进行的记忆色校正的概念图。直方图分析单元304确定在源坐标的预置值与目的地坐标的预置值之间是否存在给定数量或更多的像素。如果不存在给定数量或更多的像素,则源和目的地计算单元305按原样将源坐标的预置值设置成源坐标,并按原样将目的地坐标的预置值设置成目的地坐标。其结果是,图像处理装置1可以进行足够强度的记忆色校正。
另一方面,如果存在给定数量或更多的像素,则源和目的地计算单元305沿着与源坐标的预置值接近的方向移动源坐标的预置值(坐标),并将移动点确定为目的地坐标。例如,如果在图像内显示蓝天和蓝花,图像处理装置1与源坐标的预置值较接近地移动目的地坐标的预置值,并进行记忆色校正(参照图15B)。在本例中,源和目的地计算单元305按照存在给定数量或更多的像素的区域适当调整预置值(坐标)的移动距离。其结果是,如图15B所例示,图像处理装置1可以在自动计算不影响不要校正的对象(背景)的范围的同时,进行要校正的对象(背景)的记忆色校正。
如上所述,一般图像处理装置毫无考虑对其他对象(背景)的负面影响的任何例外地缩小记忆色校正的校正范围。但是,按照本实施例的图像处理装置1分析颜色空间内的颜色的存在位置(进行上述直 方图分析),以检测存在不打算校正的另一个对象的可能性,其结果是可以为每个帧(图像)确定最佳校正范围。借助于上述配置,按照本实施例的图像处理装置1可以按照图像(帧)的画面实现具有足够校正量的记忆色校正。
在运动图像中,画面随时间而变。按照本实施例的图像处理装置1可以迎合画面变化地适当调整用于记忆色校正的源坐标和目的地坐标。由于这个原因,按照本实施例的图像处理装置1可以对运动图像实现高精度的记忆色校正。
在上面的描述中,画面自适应单元300调整源坐标的预置值和目的地坐标的预置值。但是,本发明未必局限于这种配置,画面自适应单元300可以调整那些预置值的任何一个。例如,画面自适应单元300只调整源坐标的预置值,而按原样应用用户输入的目的地坐标的预置值。即使借助于上述配置,图像处理装置1也可以获得特定优点。
第三实施例
按照本实施例的图像处理装置的特征在于可以限制保存在三维查找表中的表数据项的数据。假设按照本实施例的图像处理装置主要对运动图像进行动态处理(分析画面和按照画面进行记忆色校正的处理)。按照本实施例的图像处理装置是第二实施例的一种变型,因此主要描述与第二实施例的差异(校正范围计算单元110的配置和操作)。
图16是按照本实施例的校正范围计算单元110的配置的方块图。除了图3的配置之外,校正范围计算单元110还包括变换坐标数限制单元116。
用户将为三维查找表设置的表数据限制数设置给变换坐标数限制单元116。在本例中,表数据限制数指的是设置成三维查找表的变换目标的格点的上限数。例如,用户可以在考虑到经受记忆色校正的运动图像数据的类型、运动图像数据的图像数据大小(矩阵中像素的数量)、和所需运算速度的情况下设置表数据上限数。
变换坐标数限制单元116接收校正范围椭球表达式计算单元115计算的每个记忆色校正目标的椭球表达式。例如,当进行蓝天的记忆色校正和樱花的记忆色校正时,将两种椭球表达式输入变换坐标数限制单元116中。变换坐标数限制单元116根据那些椭球表达式计算要校正的格点的总数。包括在椭球内的格点的数量可以根据格点距离(图17A)从那些椭球表达式中计算。在本例中,变换坐标数限制单元116根据要校正的所有椭球表达式计算要校正的格点的总数。变换坐标数限制单元116将用户输入的表数据限制数与根据椭球表达式计算的要校正的格点的总数相比较。
如果表数据限制数大于等于要校正的格点的总数,则变换坐标数限制单元116指示校正范围椭球表达式计算单元115输出椭球表达式。
另一方面,如果表数据限制数小于要校正的格点的总数,则变换坐标数限制单元116指示校正范围增益和偏移调整单元112重新调整增益和/或偏移。在本例中,变换坐标数限制单元116将表数据限制数与要校正的格点的总数的比值通知校正范围增益和偏移调整单元112。然后,变换坐标数限制单元16指示校正范围椭球表达式计算单元115禁止输出椭球表达式。
校正范围增益和偏移调整单元112参考通知的比值重置增益和/或偏移以便缩小椭球(图17B)。由于参考该比值重置增益和/或偏移,所以校正范围增益和偏移调整单元112可以避免椭球的尺寸缩小成比所需的小。
在重置了增益和/或偏移之后,校正范围椭球表达式计算单元115重新计算椭球表达式。
在上述的描述中,通过调整增益和/或偏移来缩小校正范围。但是,本发明未必局限于这种配置。例如,可以移动要经受记忆色校正的源坐标和/或目的地坐标以便缩小校正范围。例如,在图17B的例子中,使目的地坐标移动到虚线所指的位置,以便缩小记忆色校正目标的校正范围。这是通过使变换坐标数限制单元116指示画面自适应单元300改变要经受记忆色校正的源坐标和/或目的地坐标的位置来达到的。
随后,对按照本实施例的图像处理装置的优点加以描述。有关使用三维查找表的动态处理的一般问题在于设置了大量表数据。因为表数据项的数量大,所以难以将三维查找表用在处理数据依次输入的运动图像数据中。
按照本实施例的图像处理装置将表数据项的数量限制成小于等于用户输入的表数据限制数。也就是说,按照本实施例的图像处理装置1将存储在像729(9×9×9)或4913(17×17×17)那样的表大小的查找表中的表数据项的数量限制成表数据限制数或更小。例如,图像处理装置1将存储在容量为729(9×9×9)的查找表中的表数据项的数量限制成200个。其结果是,可以防止单位时间内要移动的数据项的数量增加,并且可以实现整个系统的高处理速度。
在上述的描述中,通过缩小椭球的尺寸减少存储在三维查找表中的数据项数据。但是,本发明未必局限于这种配置。例如,校正范围椭球表达式计算单元115可以减少要处理的记忆色校正目标的数量来减少数据项的数量。
第四实施例
如果存在多个记忆色校正目标,按照本实施例的图像处理装置就进行考虑到优先级的记忆色校正。如上所述,在使用一个三维查找表的记忆色校正中,颜色区可能相互干涉。其结果是,不能同时进行对多个目标的记忆色校正。此外,不能进行充分的校正。在本实施例中,用户为图像处理装置设置每个对象或背景的记忆色校正的优先级。即使多个对象经受记忆色校正,按照本实施例的图像处理装置也可以按照优先级进行最佳记忆色校正。在下文中,将参考图18描述按照本实施例的图像处理装置的配置。并且,参考图19适当描述按照本实施例的操作图像。
除了图3的配置之外,校正范围计算单元110还包括校正范围重叠检测单元117。将记忆色校正目标的优先级(数值越小优先级越高)供应给校正范围重叠检测单元117。用户设置优先级。例如,用户输 入“优先级1:蓝天”;“优先级2:蓝花”;以及“优先级3:樱花”。
将校正范围椭球表达式计算单元115计算的各个记忆色校正目标的椭球表达式输入校正范围重叠检测单元117中。如果存在多个椭球表达式,则校正范围重叠检测单元117确定在椭球中是否存在重叠部分。例如,在图19的例子中,在与优先级1的对象有关的记忆色校正的椭球与与优先级2的对象有关的记忆色校正的椭球之间存在重叠部分。校正范围重叠检测单元117可以从给定椭球表达式中通过三维空间中的已知处理确定是否存在重叠部分。
如果存在重叠部分,则校正范围重叠检测单元117将优先级较低的记忆色校正目标和重叠范围的尺寸通知校正范围增益和偏移调整单元112。然后,校正范围重叠检测单元117指示校正范围椭球表达式计算单元115禁止输出椭球表达式。
如果不存在重叠部分,则校正范围重叠检测单元117指示校正范围椭球表达式计算单元115输出椭球表达式。
一旦接收到来自校正范围重叠检测单元117的通知,校正范围增益和偏移调整单元112就调整增益和/或偏移,以便优先级较低的记忆色校正目标的椭球变小。在本例中,校正范围增益和偏移调整单元112按照重叠范围的大小调整增益和/或偏移。然后,校正范围增益和偏移调整单元112将RGB中的每一个调整之后计算的校正范围供应给校正范围椭球表达式计算单元115。
在图19的例子中,校正范围增益和偏移调整单元112通过调整增益和/或偏移,将优先级2的校正范围(优先级低的校正范围)改变成虚线所指的校正范围,并将改变后校正范围供应给校正范围椭球表达式计算单元115。
如果存在重叠部分,则可以不对优先级低的记忆色校正目标进行记忆色校正。
随后,描述按照本实施例的图像处理装置的优点。首先,描述有关记忆色校正未考虑优先级的问题。如图19所例示,如果处理多个记忆色校正目标,则校正范围可能相互重叠。在这种情况下,需要采取 放弃对一个记忆色校正目标的校正等的行动。由于这个原因,可能未达到预定记忆色校正效果。
另一方面,如果存在多个记忆色校正目标,则按照本实施例的图像处理装置可以设置记忆色校正目标的优先级。然后,按照本实施例的图像处理装置可以保证对优先级高的记忆色校正目标安全地进行所希望强度的记忆色校正。并且,如果校正范围不相互重叠,则按照本实施例的图像处理装置甚至可以对优先级低的记忆色校正目标进行足够校正强度的记忆色校正。
并且,如果校正范围相互重叠,则校正范围增益和偏移调整单元112将增益和/或偏移调整成消除重叠的程度。由于这个原因,即使校正范围相互重叠,按照本实施例的图像处理装置也可以对优先级低的记忆色校正目标进行给定记忆色校正。
也就是说,按照本实施例的图像处理装置,可以按照用户的意图对属于相同(相近)颜色区的多个记忆色校正目标进行记忆色校正。
并且,可以将按照第三实施例的配置和按照第四实施例的配置组合在一起。也就是说,图像处理装置1可以按照优先级调整要变窄的校正范围,以便表数据项的数量小于等于表数据限制数。在这种情况下,即使校正范围不相互重叠,也缩小校正范围。下面将描述这个概念。
首先,校正范围计算单元110不考虑表数据限制数计算各个记忆色校正目标的校正范围(椭球表达式)。在这种情况下,假设要为每个帧设置的表数据项的数量超过表数据限制数(超过系统的能力)。但是,如果用户事先确定各个记忆色校正目标的优先级,则图像处理装置1以校正范围的缩小比随优先级降低而变高那样的方式调整各个校正范围,以便表数据项的数量小于等于表数据限制数。
下面参考图20A和20B描述操作概念。在图20A和20B的例子中,设置了三个记忆色校正目标。在图20A中,在帧内不存在优先级1的记忆色校正目标。由于这个原因,校正范围计算单元110无需显著缩小优先级2的记忆色校正目标的校正范围和优先级3的记忆色校正目标的校正范围地调整校正范围。
另一方面,在图20B中,在帧内存在优先级1的记忆色校正目标。由于这个原因,校正范围计算单元110显著缩小优先级2的记忆色校正目标的校正范围和优先级3的记忆色校正目标的校正范围。另一方面,校正范围计算单元110使优先级1的记忆色校正目标的校正范围的缩小最小化。
与优先级相对应的缩小比的具体数值可以由用户适当指定。
因此,当考虑优先级和表数据限制数两者时,图像处理装置1可以在将表数据抑制到所希望数量的同时,充分保证要经受记忆色校正的记忆色校正目标的校正强度。
第五实施例
按照本实施例的图像处理装置的特征在于可以保存多个三维查找表。按照本实施例的图像处理装置是按照第二实施例的图像处理装置的一种变型,因此主要描述与按照第二实施例的图像处理装置的差异。
图21是按照本实施例的图像处理装置1的配置的方块图。除了图1的配置之外,图像处理装置1还包括多个三维查找表200-202、和选择器400。
记忆色校正目标检测单元301检测记忆色校正目标,并且还检测每个记忆色校正目标存在于图像内的哪个区域中,也就是说,每个记忆色校正目标在图像内的显示区。下面参考图22描述记忆色校正目标检测单元301的处理。
在如下例子中,记忆色校正目标检测单元301检测“蓝天”、“蓝花”和“人的皮肤”三个部分作为记忆色校正目标。此外,用户将“蓝天”和“蓝花”设置成记忆色校正目标。图22是例示要校正的图像的例子的图形。如图所例示,蓝天存在于图像的上部,而蓝花存在于屏幕的左下部。用户在颜色空间中为“蓝天”和“蓝花”设置源坐标(RGB值)和目的地坐标(RGB值)。记忆色校正目标检测单元301将在图像内的每个像素中存在哪种记忆色校正目标通知选择器400。例如, 记忆色校正目标检测单元301将在图22的像素1(X1,Y1)上存在蓝天通知选择器400。同样,记忆色校正目标检测单元301将在图22的像素2(X2,Y2)上存在蓝花通知选择器400。如果在要处理的像素上不存在记忆色校正目标,则记忆色校正目标检测单元301将这个事实通知选择器400。
校正范围计算单元110以与第一实施例相同的方式计算各个记忆色校正目标的校正范围。图23是例示蓝天的校正范围和蓝花的校正范围的图形。在本例中,存在蓝天的校正范围和蓝花的校正范围的重叠范围D1。
格点移动距离计算单元120为每个输入记忆色校正目标计算每个格点的移动距离。在图23的例子中,格点移动距离计算单元120计算包括在蓝天的校正范围内的每个格点的目的地坐标,并且还计算包括在蓝花的校正范围内的每个格点的目的地坐标。由于这个原因,当处理作为包括在蓝天的校正范围内的格点的坐标P1时,格点移动距离计算单元120计算作为变换坐标的P2。当处理作为包括在蓝花的校正范围内的格点的坐标P1时,格点移动距离计算单元120计算作为变换坐标的P3。
格点移动距离计算单元120为每个输入记忆色校正目标计算每个格点的变换坐标。然后,格点移动距离计算单元120为每个记忆色校正目标设置三维查找表。在如下的例子中,格点移动距离计算单元120将与蓝天的记忆色校正有关的表数据设置在三维查找表单元200中,将与蓝花的记忆色校正有关的表数据设置在三维查找表单元201中,以及将用于其他颜色校正的表数据设置在三维查找表单元202中。
各个查找表单元(200-202)按照设置的查找表校正颜色空间中的相应像素。各个查找表单元(200-202)将通过校正获得的相应像素的RGB值输出到选择器400。
如上所述,将来自记忆色校正目标检测单元301的各个记忆色校正目标的存在坐标通知选择器400。选择器400按照像素位置与各个记忆色校正目标的存在坐标之间的关系,选择和输出从查找表单元 (200-202)输出的RGB值之一。例如,当在图22中校正像素1时,选择器400选择和输出来自查找表单元200(设置蓝天的记忆色校正的表数据的处理单元)的输出。同样,当在图22中校正像素2时,选择器400选择和输出来自查找表单元201(设置蓝花的记忆色校正的表数据的处理单元)的输出。
随后,对按照本实施例的图像处理装置的优点加以描述。如上所述,按照本实施例的图像处理装置1为每个记忆色校正目标提供查找表。图像处理装置1按照各个记忆色校正目标在图像内的存在位置,从多个查找表的变换结果中选择适当数值。其结果是,如图23所例示,即使在颜色空间中校正范围相互重叠,图像处理装置1也可以不受校正范围的重叠影响地适当进行记忆色校正。
在上面的描述中,图像处理装置1包括每个记忆色校正目标的查找表。但是,本发明未必局限于这种配置。图像处理装置1可以仅在校正范围相互重叠时,才将表数据存储在另一个查找表中。例如,假设蓝天的校正范围和蓝花的校正范围相互重叠,但蓝天的校正范围和樱花的校正范围不相互重叠。在这种情况下,除了与蓝天的校正范围有关的表数据之外,还将与樱花的校正范围有关的表数据存储在第一查找表中。然后,将与蓝花的校正范围有关的表数据存储在第二查找表中。这使得可以在使查找表的数量增加最少的同时实现不受校正范围重叠影响的记忆色校正处理。
第六实施例
按照本实施例的图像处理装置的特征在于可以处理除了RGB之外的其他图像信号。在按照本实施例的图像处理装置中,用户可以设置记忆色校正目标的源坐标和相对于那个坐标的移动距离。在按照本实施例的图像处理装置中,主要描述与第一实施例的差异。
按照本实施例的图像处理装置1的特征在于将颜色空间变换单元500配备在表数据生成单元100(或画面自适应单元300)的上游。图24是例示颜色空间变换单元500的配置的方块图。颜色空间变换单元 500包括RGB/HSV变换单元510、加法器520、和HSV/RGB变换单元530。
用户指定源坐标O(Ro,Go,Bo)和相对于该源坐标的偏差。在本例中,在,例如,色相(H)、饱和度(S)、和亮度(V)的每一项中指定偏差。
RGB/HSV变换单元510将用户指定的源坐标从RGB值变换成HSV值。这种变换可以通过已知技术进行。RGB/HSV变换单元510将变换的HSV值(Ho,So,Vo)输出到加法器520。
加法器520将色相(H)、饱和度(S)、和亮度(V)的各项中的偏差(ΔH,ΔS,ΔV)与输入HSV值(Ho,So,Vo)相加。加法器520将相加值(Ht,St,Vt)输出到HSV/RGB变换单元530。
HSV/RGB变换单元530将作为输入的相加值的HSV值(Ht,St,Vt)变换成RGB值。该RGB值代表目的地坐标T(Rt,Gt,Bt)。HSV/RGB变换单元530将目的地坐标T供应给表数据生成单元100。还将用户指定的RGB格式的源坐标供应给表数据生成单元100。
通过上述处理,将源坐标O和目的地坐标T设置在表数据生成单元100中。随后的相应处理与第一实施例相同。
随后,对按照本实施例的图像处理装置1的优点加以描述。即使打算进行记忆色校正,可能也确定不了期望的颜色坐标。在本实施例中,取代目的地坐标,用户可以指定相对于源坐标的偏差。由于这个原因,用户进行像“淡黄”、“较深的颜色”、或“非常光明”那样的模糊指定,并且可以将该指定转换成偏差。其结果是,进一步减轻了用户设置的负担。
在上述的例子中,进行了HSV和RGB的变换。但是,本发明未必局限于这种配置。例如,用户以RGB格式输入源坐标和偏差。然后,加法器可以通过相加处理计算目的地坐标。
在图24的例子中,描述了HSV值和RGB值的变换。但是,本发明未必局限于这种配置,而是可以在HSU值、YUV值、HLS值、Lab值、或YCM值与RGB值之间进行变换。
上面结合实施例描述了按照本实施例的图像处理装置。但是,本发明未必局限于上述各个实施例的配置,而是可以不偏离本发明的主题地加以适当改变。在上述的实施例中,假设颜色空间是RGB空间地进行坐标变换处理。但是,本发明也可以应用于其他颜色空间。也就是说,该图像处理装置可以在HSV、HSU、YUV、HLS、Lab和YCM的颜色空间中进行上述各种处理。
在使用中,将上述图像处理装置1并入例如打印机、TV接收器、复印机、数字多功能机、投影机、蜂窝式电话终端、数字照相机、智能电话、数字相框或显示设备中。也就是说,将图像处理装置1用在将图像显示在显示单元中的设备、可以与含有显示单元的设备耦合的设备、或打印或显示图像的设备中。
图像处理装置1内的各个处理单元(表数据生成单元100、三维查找表单元200、画面自适应单元300、选择器400、颜色空间变换单元500)中的所有或部分处理可以由使用电路的硬件构成。并且,图像处理装置1内的各个处理单元(表数据生成单元100、三维查找表单元200、画面自适应单元300、选择器400、颜色空间变换单元500)中的所有或部分处理可以实现成运行在任意计算机内的程序。该程序可以存储在各种类型的非临时性计算机可读介质中,并供应给计算机。非临时性计算机可读介质包括各种类型的有形存储介质。非临时性计算机可读介质的例子有磁存储介质(例如,软盘、磁带、硬盘驱动器)、磁光介质(例如,磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W、和半导体存储器(例如,掩膜ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM、RAM(随机访问存储器))。此外,可以通过各种类型的临时性计算机可读介质将程序供应给计算机。临时性计算机可读介质的例子有电信号、光信号、和电磁波。临时性计算机可读介质可以通过像电线或光纤那样的有线通信路径,或无线通信路径将程序供应给计算机。
执行作为程序的图像处理装置1中的各个处理单元的处理的计算机的硬件配置的例子例示在图25中。该计算机包括中央处理单元 (CPU)600和存储器610。CPU 600和存储器610通过总线与作为辅助存储设备的硬盘设备(HDD)620耦合。与操作系统协作将指令供应给CPU 600,以便可以将实现上述图像处理装置1的各种处理的计算机程序存储在像硬盘设备620那样的存储介质中。

Claims (23)

1.一种图像处理装置,其包含:
变换单元,用于根据变换规则变换有关输入图像信号的颜色信息;
校正范围计算单元,用于根据预定颜色空间中的源坐标与目的地坐标之间的位置关系计算所述颜色空间中的校正范围;以及
基于点移动距离计算单元,用于根据所述源坐标与所述目的地坐标之间的所述位置关系、和所述校正范围内的各个点处的坐标与所述源坐标之间的位置关系,计算所述各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在所述变换规则上。
2.按照权利要求1所述的图像处理装置,
其中所述基于点移动距离计算单元使每个点处的移动距离随着离所述源坐标的距离变大而变小。
3.按照权利要求1或2所述的图像处理装置,
其中所述校正范围是连接所述源坐标和所述目的地坐标的第一直线与长轴方向平行的椭球。
4.按照权利要求3所述的图像处理装置,
其中所述校正范围计算单元包括:
第一距离计算单元,用于计算所述源坐标与所述目的地坐标之间的距离;
直线斜率计算单元,用于计算所述第一直线的斜率;
校正范围调整单元,用于根据预定调整值和所述第一距离计算单元计算的距离计算所述校正范围;
旋转角计算单元,用于根据所述直线斜率计算单元计算的所述第一直线的斜率,计算所述校正范围旋转的旋转角;以及
校正范围椭球表达式计算单元,用于通过将所述校正范围调整单元计算的所述校正范围旋转所述旋转角来计算所述椭球。
5.按照权利要求4所述的图像处理装置,
其中当假设所述颜色空间中的所述源坐标是O(Ro,Go,Bo)、所述目的地坐标是T(Rt,Gt,Bt)时,所述校正范围计算单元通过如下表达式(Ex.36)和(Ex.37)计算所述颜色空间中所述第一直线的第一截面的斜率Δ1和第二截面的斜率Δ2:
<mrow> <mi>&amp;Delta;</mi> <mn>1</mn> <mo>=</mo> <mfrac> <mrow> <mi>G</mi> <mi>t</mi> <mo>-</mo> <mi>G</mi> <mi>o</mi> </mrow> <mrow> <mi>R</mi> <mi>t</mi> <mo>-</mo> <mi>R</mi> <mi>o</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>E</mi> <mi>x</mi> <mn>.36</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>&amp;Delta;</mi> <mn>2</mn> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mi>t</mi> <mo>-</mo> <mi>B</mi> <mi>o</mi> </mrow> <mrow> <mi>G</mi> <mi>t</mi> <mo>-</mo> <mi>G</mi> <mi>o</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>E</mi> <mi>x</mi> <mn>.37</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
6.按照权利要求5所述的图像处理装置,
其中所述旋转角计算单元通过如下表达式(Ex.38)和(Ex.39)计算所述颜色空间中所述第一截面上的旋转角θ1和所述第二截面上的旋转角θ2:
其中,如果Rt-Ro=0,则θ1是90(°)
(Ex.38)
其中,如果Gt-Go=0,则θ2是0(°)
(Ex.39)。
7.按照权利要求3所述的图像处理装置,
其中所述基于点移动距离计算单元包括:
线性表达式计算单元,用于计算连接包括在所述校正范围中的第一坐标点与所述源坐标的第二直线的线性表达式;
交点计算单元,用于根据所述椭球的数学表达式和所述第二直线的所述线性表达式计算所述椭球与所述第二直线之间的交点;
第二距离计算单元,用于计算所述源坐标与所述交点之间的距离;
第三距离计算单元,用于计算所述第一坐标点与所述源坐标之间的距离;
影响度计算单元,用于按照所述第二距离计算单元计算的距离与所述第三距离计算单元计算的距离的比值,计算作为所述第一坐标点的所述移动距离的基础的影响度;以及
坐标计算单元,用于根据所述影响度计算所述第一坐标点的所述变换目的地坐标。
8.按照权利要求7所述的图像处理装置,
其中所述坐标计算单元按照用户指定的校正方向计算所述第一坐标点的所述变换目的地坐标,所述用户指定的校正方向为压缩方向或平行方向。
9.按照权利要求8所述的图像处理装置,
其中所述基于点移动距离计算单元包括:移动特征调整单元,用于计算调整成非线性变化地增加的移动特征,并将所述移动特征设置成所述坐标计算单元计算所述第一坐标点的所述目的地坐标时的参数。
10.按照权利要求1所述的图像处理装置,
其中所述基于点移动距离计算单元要处理的所述校正范围内的每个点的坐标是离相邻点的距离均彼此相等的格点坐标。
11.按照权利要求1所述的图像处理装置,
其中所述源坐标和所述目的地坐标是用户指定的输入值。
12.按照权利要求1所述的图像处理装置,进一步包含:画面自适应单元,用于从用户接收记忆色校正目标的类型、所述源坐标的第一预置值、和与要校正的每个记忆色校正目标有关的所述目的地坐标的第二预置值,确定在通过所述图像信号构成的图像内是否存在用户指定的所述记忆色校正目标,分析所述图像的颜色分布,根据所述图像中的颜色分布的分析结果为存在于所述图像内的每个所述记忆色校正目标调整所述第一预置值和所述第二预置值中的至少一个,并将调整的值设置成每个所述记忆色校正目标的所述源坐标和所述目的地坐标。
13.按照权利要求12所述的图像处理装置,
其中所述画面自适应单元包括:
校正目标检测单元,用于检测所述图像内要经受记忆色校正的对象或背景的存在与否、和所述图像内的所述记忆色校正目标的检测区;
记忆色校正确定单元,用于将所述校正目标检测单元的检测结果与用户指定的所述记忆色校正目标的类型相比较,以确定要进行校正的所述记忆色校正目标;
直方图生成单元,用于生成所述图像的颜色空间直方图;
直方图分析单元,用于根据所述颜色空间直方图,计算与所述检测区内的颜色分布分析有关的第一分析结果、和与所述第一预置值和所述第二预置值指定的颜色空间坐标之间的颜色分布分析有关的第二分析结果;以及
源和目的地计算单元,用于根据所述记忆色校正确定单元确定的所述记忆色校正目标、所述第一和第二分析结果、和所述第一和第二预置值,计算存在于所述图像内的每个所述记忆色校正目标的所述源坐标和所述目的地坐标。
14.按照权利要求13所述的图像处理装置,
其中所述直方图分析单元将指示所述检测区中的主要颜色的主要颜色坐标设置成所述第一分析结果,将所述第一预置值和所述第二预置值所指的所述颜色空间坐标之间的区域划分成多个区域,从与所述第一预置值较接近的区域开始,依次确定在各个所述区域中是否存在给定数量或更多的像素,并将作为存在所述给定数量或更多的像素的所述区域的代表性坐标的存在坐标设置成所述第二分析结果。
15.按照权利要求14所述的图像处理装置,
其中当假设所述主要颜色坐标是OC(OCr,OCg,OCb),所述存在坐标是TE(TEr,TEg,TEb),所述第一预置值是OP(OPr,OPg,OPb),所述第二预置值是TP(TPr,TPg,TPb),所述源坐标是O(Ro,Go,Bo),所述目的地坐标是T(Rt,Gt,Bt),且用户可调整的追随度是F1和F2时,所述源和目的地计算单元通过如下表达式(Ex.40)和(Ex.41)计算所述源坐标和所述目的地坐标,其中F1为0~100%,F2为0~100%:
Ro=OPr+(OCr-OPr)×F1
Go=OPg+(OCg-OPg)×F1
Bo=OPb+(OCb-OPb)×F1
(Ex.40)
Rt=TPr+(TEr-TPr)×F2
Gt=TPg+(TEg-TPg)×F2
Bt=TPb+(TEb-TPb)×F2
(Ex.41)。
16.按照权利要求1所述的图像处理装置,
其中所述校正范围计算单元从用户接收所述变换规则的规则限制数的输入,将根据所述校正范围的大小计算的所述校正范围内的各个点坐标的数量与所述规则限制数相比较,并且如果所述规则限制数小于所述校正范围内的各个点坐标的所述数量,则重新计算所述校正范围以使区域范围变小。
17.按照权利要求12所述的图像处理装置,
其中所述校正范围计算单元从用户接收所述记忆色校正目标的优先级的输入,确定各个所述记忆色校正目标的所述校正范围是否相互重叠,并且重新计算各个所述记忆色校正目标的所述校正范围以使所述记忆色校正目标的所述校正范围的缩小比按所述优先级的升序变大。
18.按照权利要求16所述的图像处理装置,
其中所述校正范围计算单元在所述源坐标和所述目的地坐标中的至少一个被调整成使所述源坐标与所述目的地坐标之间的距离减小之后重新计算所述校正范围。
19.按照权利要求13所述的图像处理装置,
其中所述变换单元至少包括第一变换单元和第二变换单元,
其中所述画面自适应单元检测所述图像内作为用户指定的所述记忆色校正目标的第一记忆色校正目标和第二记忆色校正目标的各自显示区,
其中所述校正范围计算单元计算与所述第一和第二记忆色校正目标相对应的各自校正范围,以及
其中所述基于点移动距离计算单元计算所述第一记忆色校正目标的所述校正范围内的各个点的所述变换目的地坐标以使计算的变换目的地坐标反映在所述第一变换单元的变换规则上,并计算所述第二记忆色校正目标的所述校正范围内的各个点的所述变换目的地坐标以使计算的变换目的地坐标反映在所述第二变换单元的所述变换规则上。
20.按照权利要求1所述的图像处理装置,
其中所述颜色空间是RGB、HSV、HSU、YUV、HLS、Lab、和YCM中的任何一个。
21.按照权利要求1所述的图像处理装置,
其中所述变换规则是查找表(LUT)。
22.一种图像处理方法,根据变换规则变换有关输入图像信号的颜色信息,该方法包含:
根据预定颜色空间中的源坐标与目的地坐标之间的位置关系计算所述颜色空间中的校正范围;以及
根据所述源坐标与所述目的地坐标之间的所述位置关系、和所述校正范围内的各个点处的坐标与所述源坐标之间的位置关系,计算所述各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在所述变换规则上。
23.一种计算机可读记录介质,存储有程序,所述程序被计算机执行时实现以下步骤:
根据变换规则变换有关输入图像信号的颜色信息;
根据预定颜色空间中的源坐标与目的地坐标之间的位置关系计算所述颜色空间中的校正范围;以及
根据所述源坐标与所述目的地坐标之间的所述位置关系、和所述校正范围内的各个点处的坐标与所述源坐标之间的位置关系,计算所述各个点处的变换目的地坐标,以使所计算的变换目的地坐标反映在所述变换规则上。
CN201210461712.4A 2011-11-16 2012-11-16 图像处理装置、图像处理方法以及程序产品 Expired - Fee Related CN103118219B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-250926 2011-11-16
JP2011250926A JP5829107B2 (ja) 2011-11-16 2011-11-16 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN103118219A CN103118219A (zh) 2013-05-22
CN103118219B true CN103118219B (zh) 2017-09-01

Family

ID=48280194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210461712.4A Expired - Fee Related CN103118219B (zh) 2011-11-16 2012-11-16 图像处理装置、图像处理方法以及程序产品

Country Status (5)

Country Link
US (2) US9214010B2 (zh)
JP (1) JP5829107B2 (zh)
KR (1) KR101981802B1 (zh)
CN (1) CN103118219B (zh)
TW (1) TW201325260A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811228B2 (ja) * 2013-06-24 2015-11-11 大日本印刷株式会社 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム
TWI501186B (zh) * 2013-06-28 2015-09-21 Hsin Hsu Chou Automatic analysis of jaundice detection methods and computer program products
US9310908B2 (en) * 2013-10-30 2016-04-12 Htc Corporation Color sampling method and touch control device thereof
US10909949B2 (en) * 2015-06-12 2021-02-02 Avago Technologies International Sales Pte. Limited System and method to provide high-quality blending of video and graphics
US10019926B2 (en) * 2015-06-19 2018-07-10 Apple Inc. Adaptive calibration and adaptive transformation matrices for ambient light sensors
JP6586891B2 (ja) * 2016-01-13 2019-10-09 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
CN107040770A (zh) * 2016-02-04 2017-08-11 冠捷投资有限公司 显示设备的画面色温动态调整方法及装置
TWI650732B (zh) * 2016-09-30 2019-02-11 大陸商北京集創北方科技股份有限公司 色彩空間轉換方法
JP6922446B2 (ja) * 2017-06-06 2021-08-18 セイコーエプソン株式会社 プロファイル調整方法
JP7100574B2 (ja) * 2018-12-21 2022-07-13 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
CN112598585A (zh) * 2020-12-07 2021-04-02 京东方科技集团股份有限公司 彩色图像处理方法、装置、电子墨水屏及存储介质
CN112926421B (zh) * 2021-02-07 2024-01-09 杭州睿胜软件有限公司 图像处理方法和装置、电子设备和存储介质
WO2022172676A1 (ja) * 2021-02-09 2022-08-18 ソニーグループ株式会社 撮像装置、画像処理方法、プログラム、画像処理装置
CN113763333B (zh) * 2021-08-18 2024-02-13 安徽帝晶光电科技有限公司 一种亚像素定位方法、定位系统及存储介质
TWI790732B (zh) * 2021-08-31 2023-01-21 宏碁股份有限公司 影像校正方法及影像校正裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0546773A3 (en) * 1991-12-11 1993-09-08 Xerox Corporation Graphical user interface for editing a palette of colours
CN100414447C (zh) * 2002-09-20 2008-08-27 富士施乐株式会社 色彩调整方法、色彩调整设备、色彩转换定义编辑设备以及图像处理设备
CN101355633A (zh) * 2007-07-25 2009-01-28 富士施乐株式会社 颜色调节装置、图像形成装置以及颜色调节方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416890A (en) * 1991-12-11 1995-05-16 Xerox Corporation Graphical user interface for controlling color gamut clipping
JP2002223366A (ja) * 2001-01-26 2002-08-09 Canon Inc 画像処理装置及びその方法、及び画像処理システム
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP4040625B2 (ja) 2002-09-12 2008-01-30 松下電器産業株式会社 画像処理装置、プリンタ装置、撮影装置、及びテレビ受像装置
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
JP4757078B2 (ja) * 2006-03-31 2011-08-24 キヤノン株式会社 色処理方法およびその装置
JP2008182633A (ja) * 2007-01-26 2008-08-07 Konica Minolta Business Technologies Inc 画像処理装置
JP2009214414A (ja) * 2008-03-11 2009-09-24 Ricoh Co Ltd 画像形成装置及び画像形成方法
JP5067276B2 (ja) * 2008-06-17 2012-11-07 セイコーエプソン株式会社 色変換方法、該色変換方法で生成された色変換テーブル、画像処理装置および色変換プログラム
JP2010118881A (ja) 2008-11-13 2010-05-27 Panasonic Corp カラーマネージメントモジュール、カラーマネージメント装置、集積回路、表示装置
US8248678B2 (en) * 2008-11-20 2012-08-21 Eastman Kodak Company Establishing one-dimensional transforms

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0546773A3 (en) * 1991-12-11 1993-09-08 Xerox Corporation Graphical user interface for editing a palette of colours
CN100414447C (zh) * 2002-09-20 2008-08-27 富士施乐株式会社 色彩调整方法、色彩调整设备、色彩转换定义编辑设备以及图像处理设备
CN101355633A (zh) * 2007-07-25 2009-01-28 富士施乐株式会社 颜色调节装置、图像形成装置以及颜色调节方法

Also Published As

Publication number Publication date
KR20130054209A (ko) 2013-05-24
US9818372B2 (en) 2017-11-14
KR101981802B1 (ko) 2019-05-23
CN103118219A (zh) 2013-05-22
JP5829107B2 (ja) 2015-12-09
JP2013105452A (ja) 2013-05-30
TW201325260A (zh) 2013-06-16
US20130120431A1 (en) 2013-05-16
US9214010B2 (en) 2015-12-15
US20160098971A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
CN103118219B (zh) 图像处理装置、图像处理方法以及程序产品
CN102420995B (zh) 自动化raw图像处理方法和装置及处理设备
US8493473B2 (en) System and method for RAW image processing
US7835569B2 (en) System and method for raw image processing using conversion matrix interpolated from predetermined camera characterization matrices
US7787149B2 (en) Method of generating color conversion table, information generation apparatus, recording medium, and image processing apparatus
CN108353125A (zh) 彩色滤波阵列缩放器
US7991227B2 (en) Color adjustment apparatus and computer-readable medium
JP2009055465A (ja) 画像処理装置および方法
CN102663741A (zh) 对彩色数字图像进行视觉立体感知增强的方法及系统
US20210287348A1 (en) Color saturation adjustment in non-uniform color space
CN103369200A (zh) 图像处理设备、成像设备、图像处理方法及程序
CN113850738A (zh) 图像紫边的校正装置及方法
JP2007042033A (ja) 色補正装置および画像表示装置
Chiang et al. Saturation adjustment method based on human vision with YCbCr color model characteristics and luminance changes
CN104681005B (zh) 色彩调整装置与色彩调整方法
JP6039778B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2003078773A (ja) 色調整方法、色調整方法の実行のためのプログラム及びプログラムを格納した媒体
CN109003242B (zh) 一种图像增强处理方法及装置
JP4139590B2 (ja) 多重ルックアップテーブルと補間法とを用いるcmykカラープリンタの黒生成方法
Motomura Categorical color mapping using color-categorical weighting method-Part I: Theory
JP5029779B2 (ja) 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置
JPH0758968A (ja) 色相変換用画像処理方法及び装置
JP3105681B2 (ja) 色変換回路
JP2010165379A (ja) 画像評価方法、画像評価プログラムを記録した媒体および画像評価装置
JP2009205699A (ja) 画像評価方法、画像評価プログラムを記録した媒体および画像評価装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Renesas Electronics Corporation

Address before: Kanagawa, Japan

Applicant before: Renesas Electronics Corporation

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170901

Termination date: 20191116

CF01 Termination of patent right due to non-payment of annual fee