CN109729259A - 图像处理装置、其方法、其系统以及计算机可读介质 - Google Patents

图像处理装置、其方法、其系统以及计算机可读介质 Download PDF

Info

Publication number
CN109729259A
CN109729259A CN201810868289.7A CN201810868289A CN109729259A CN 109729259 A CN109729259 A CN 109729259A CN 201810868289 A CN201810868289 A CN 201810868289A CN 109729259 A CN109729259 A CN 109729259A
Authority
CN
China
Prior art keywords
image
color
shooting
information
color conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810868289.7A
Other languages
English (en)
Other versions
CN109729259B (zh
Inventor
岩渕稔弘
酒井典子
森本将司
大沢千鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN109729259A publication Critical patent/CN109729259A/zh
Application granted granted Critical
Publication of CN109729259B publication Critical patent/CN109729259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供一种能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性的图像处理装置、图像处理方法、图像处理系统、及存储程序的计算机可读介质。图像处理装置(10)包括：图像信息获取部件(11)，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及颜色转换系数计算部件(16)，基于从拍摄颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。

Description

图像处理装置、其方法、其系统以及计算机可读介质
技术领域
本发明涉及一种图像处理装置、图像处理方法、图像处理系统(system)、存储程序(program)的计算机可读介质。
背景技术
近年来，由于数码照相机(digital camera)或智能手机(smartphone)、平板(tablet)等机器的普及，拍摄/浏览数字图像的用户正在增加。此时进行拍摄的环境因照明光等的影响而多种多样，而且，拍摄对象也多种多样。因此，有时在拍摄后，所拍摄的图像并非用户所意图的，因此，一般会对所拍摄的图像的颜色等进行调整。
专利文献1中记载了一种图像学习装置，其具备：初始登记部件，对在受限定的拍摄条件下所拍摄的对象图像进行初始登记；不足图像获取部件，对登记在初始登记部件中的图像进行分析，使摄像装置获取对于学习不足的图像；不足图像追加登记部件，追加登记所获取的对于学习不足的图像；学习样品(sample)提取部件，从登记在不足图像追加登记部件中的图像中提取用于学习的学习样品；以及学习部件，使用所提取的学习样品来进行学习。
而且，在专利文献2中，作为信息处理装置，记载了进行下述处理的装置。即，设置生成学习数据的服务器(server)，所述学习数据用于对从图像输入装置输入的图像进行分类的分类规则(rule)的学习。并且，服务器受理从图像输入装置输入的初始图像。进而，获取与图像输入装置相关的设备(device)信息。进而，基于设备信息来决定用于使初始图像增加的增加参数(parameter)，使用增加参数来使初始图像增加，由此来生成学习数据。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2004-213567号公报
专利文献2：日本专利特开2016-38732号公报
发明内容
[发明所要解决的问题]
由包含颜色转换前的图像信息和颜色转换后的图像信息的图像信息组来制作颜色转换特性(颜色转换模型(model))，通过利用此颜色转换模型，能够进行由拍摄部件所拍摄的照片等的颜色调整。
但是，若拍摄部件的拍摄设定信息不同，例如，尽管是同一拍摄对象，但颜色调整的方向性不同，因而由图像信息组所制作的颜色转换特性有时并非所意图的颜色转换。为了避免此现象，理想的是针对每个拍摄设定信息准备图像信息组，但针对每个拍摄设定信息制作颜色转换特性容易使所需的图像数量及其工时变得庞大。
本发明提供一种图像处理装置等，能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性。
[解决问题的技术手段]
技术方案1所述的发明是一种图像处理装置，其包括：受理部件，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及颜色转换特性制作部件，基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
技术方案2所述的发明是根据技术方案1所述的图像处理装置，其特征在于还包括：选择部件，基于所述拍摄设定信息，选择由所述颜色转换特性制作部件制作所述颜色转换特性要使用的图像。
技术方案3所述的发明是根据技术方案2所述的图像处理装置，其特征在于，所述选择部件选择如下所述的图像，即，在相对于所述拍摄条件中的至少一个的拍摄设定信息中，与相对于其他拍摄设定信息的图像数更多的拍摄设定信息相符的图像、或者与包含此拍摄设定信息的多个拍摄设定信息相符的图像。
技术方案4所述的发明是根据技术方案3所述的图像处理装置，其特征在于，所述选择部件选择如下所述的图像，即，对于相对于拍摄设定信息的图像数的分布，与对应于预定张数以上的极大值的拍摄设定信息、或包含此拍摄设定信息的多个拍摄设定信息相符的图像。
技术方案5所述的发明是根据技术方案4所述的图像处理装置，其特征在于，所述选择部件在存在多个极大值时，当拍摄设定信息之差为预定以上时，选择与取得一个极大值与另一个极大值的拍摄设定信息相符的图像。
技术方案6所述的发明是根据技术方案3所述的图像处理装置，其特征在于，所述选择部件选择如下所述的图像来作为追加图像，即，相对于在相对于所述拍摄条件中的至少一个的拍摄设定信息的所述颜色转换前的图像的张数分布中，对于成为与张数更多的拍摄设定信息相符的高频率图像的拍摄设定信息以外的情况下的图像，对使用利用所述高频率图像所制作的所述颜色转换特性来对所述颜色转换前的图像进行颜色转换时的图像信息、与所述颜色转换后的图像的图像信息进行比较时的差为预定范围内的图像。
技术方案7所述的发明是根据技术方案6所述的图像处理装置，其特征在于，所述选择部件在为所述预定范围内的图像的拍摄设定信息、与取得所述高频率图像的拍摄设定信息之间，存在所述差为所述范围以上的拍摄设定信息时，不选择作为追加图像。
技术方案8所述的发明是根据技术方案1所述的图像处理装置，其特征在于还包括：颜色转换部件，对成为利用所述颜色转换特性进行颜色转换的对象的被颜色转换图像进行颜色转换。
技术方案9所述的发明是根据技术方案8所述的图像处理装置，其特征在于，所述颜色转换部件在对所述被颜色转换图像的拍摄设定信息、与制作所述颜色转换特性时所选择的所述颜色转换前的图像的拍摄设定信息进行比较时的一致度为预定的值以上时，对所述被颜色转换图像进行颜色转换。
技术方案10所述的发明是根据技术方案9所述的图像处理装置，其特征在于还包括：通知部件，当所述一致度小于预定的值时，进行警告通知。
技术方案11所述的发明是一种图像处理方法，其包括：受理工序，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及颜色转换特性制作工序，基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
技术方案12所述的发明是一种图像处理系统，其包括：拍摄装置，对拍摄对象进行拍摄；以及图像处理装置，对由所述拍摄装置所拍摄的图像进行颜色转换，所述图像处理装置包括：受理部件，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及颜色转换特性制作部件，基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
技术方案13所述的发明是一种存储程序的计算机可读介质，所述程序使计算机执行图像处理，所述图像处理包括：受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及基于拍摄对所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
[发明的效果]
根据技术方案1的发明，能够提供一种图像处理装置，能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性。
根据技术方案2的发明，能够选择适合于制作颜色转换特性的图像。
根据技术方案3的发明，能够更容易地选择适合于制作颜色转换特性的图像。
根据技术方案4的发明，能够选择更适合于制作颜色转换特性的图像。
根据技术方案5的发明，能够进一步选择更适合于制作颜色转换特性的图像。
根据技术方案6的发明，能够进一步选择能用于制作颜色转换特性的图像。
根据技术方案7的发明，能够进一步选择能用于制作颜色转换特性的图像。
根据技术方案8的发明，能够配合拍摄部件的拍摄设定信息来进行被颜色转换图像的颜色转换。
根据技术方案9的发明，在进行被颜色转换图像的颜色转换时，可知晓与所制作的颜色转换特性适合到何种程度。
根据技术方案10的发明，能够使用户知晓所制作的颜色转换特性并不适合于进行被颜色转换图像的颜色转换。
根据技术方案11的发明，能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性。
根据技术方案12的发明，能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性。
根据技术方案13的发明，能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性。
附图说明
图1是表示本实施方式中的图像处理系统的结构例的图。
图2是表示本实施方式中的图像处理装置的功能结构例的框图。
图3的(a)至图3的(f)是表示图像信息获取部件所获取的图像信息组的示例的图。
图4是表示分析部件制作相对于f值的设定的颜色转换前的图像的张数分布时的第1例的图。
图5是表示分析部件制作相对于f值的设定的颜色转换前的图像的张数分布时的第2例的图。
图6是表示分析部件制作相对于f值的设定的颜色转换前的图像的张数分布时的第3例的图。
图7是表示选择追加图像的方法的图。
图8A至图8B是表示颜色调整前的图像信息、与颜色调整后的图像信息的组的示例的图。
图9是表示颜色转换模型的一例的图。
图10是说明制作颜色转换模型时的图像处理装置的动作的流程图。
图11是说明对被颜色转换图像进行颜色转换时的图像处理装置的动作的流程图。
图12是说明在图10的步骤中，分析部件决定峰值(极大值)的方法的流程图。
图13是说明在图10的步骤中，选择部件选择追加图像的方法的流程图。
图14A是表示分析部件对两个拍摄设定信息进行分析的情况的图。图14B是表示选择部件为了选择追加图像而算出色差(dE)的情况的图。
[符号的说明]
1：图像处理系统
10：图像处理装置
11：图像信息获取部件
12：分析部件
13：选择部件
14：区域决定部件
15：图像信息提取部件
16：颜色转换系数计算部件
17：通知部件
18：颜色转换部件
40：摄像机
具体实施方式
以下，参照附图来详细说明本发明的实施方式。
＜图像处理系统整体的说明＞
图1是表示本实施方式中的图像处理系统1的结构例的图。
如图所示，本实施方式的图像处理系统1具备：图像处理装置10，对由摄像机40所拍摄的原图像进行颜色调整(颜色转换)；显示装置20，基于由图像处理装置10所输出的显示信息来显示图像；输入装置30，供用户对图像处理装置10输入各种信息；以及摄像机40，对拍摄对象S进行拍摄，生成用于在图像处理装置10中进行颜色调整的图像信息。
图像处理装置10例如是所谓的通用个人计算机(Personal Computer，PC)。并且，图像处理装置10在操作系统(Operating System，OS)的管理下，使各种应用软件(application software)进行动作，由此来进行颜色调整等。
图像处理装置10具备作为运算部件的中央处理器(Central Processing Unit，CPU)以及作为存储部件的主存储器(main memory)及硬盘驱动器(Hard Disk Drive，HDD)。此处，CPU执行OS(Operating System，基本软件)或应用程序(应用软件)等各种软件。而且，主存储器是存储各种软件或用于其执行的数据等的存储区域，HDD是存储针对各种软件的输入数据或来自各种软件的输出数据等的存储区域。
进而，图像处理装置10具备用于进行与外部的通信的通信接口(interface)。
显示装置20在显示画面20a上显示图像。显示装置20例如包含PC用的液晶显示器(display)、液晶电视(television)或者投影机(projector)等具备显示图像的功能的设备。因此，显示装置20中的显示方式并不限定于液晶方式。另外，图1所示的示例中，在显示装置20内设有显示画面20a，但在使用例如投影机来作为显示装置20的情况下，显示画面20a为设于显示装置20外部的屏幕(screen)等。
输入装置30包含键盘或鼠标等。输入装置30是用于用来进行颜色调整的应用软件的启动、结束，或者进行颜色调整时，供用户对图像处理装置10输入用于进行颜色调整的指示。
摄像机40是拍摄装置的一例，例如具备：光学系统，对入射的光进行会聚；以及作为摄像部件的图像传感器(image sensor)，对经光学系统会聚的光进行检测。
光学系统是将单个镜头(lens)或多个镜头组合而构成。光学系统通过镜头的组合及对镜头表面实施的涂层(coating)等而去除了各种像差。影像传感器是将电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)等摄像元件排列而构成。
图像处理装置10及显示装置20经由数字视频接口(Digital Visual Interface，DVI)而连接。另外，也可取代DVI而经由HDMI(注册商标)(High-Definition MultimediaInterface(高清晰度多媒体接口))或DisplayPort等来连接。
而且，图像处理装置10与输入装置30例如经由通用串行总线(Universal SerialBus，USB)而连接。另外，也可取代USB而经由IEEE1394或RS-232C等来连接。
进而，图像处理装置10及摄像机40在图1所图示的示例中，利用有线而连接，例如经由USB、IEEE1394、RS-232C而连接。借此，由摄像机40所拍摄的图像的图像信息通过有线被送往图像处理装置10。但并不限于此，也可为无线局域网络(Local Area Network，LAN)、蓝牙(Bluetooth)(注册商标)等无线连接。进而，也可不将图像处理装置10及摄像机40连接，而经由安全数字(Secure Digital，SD)卡等存储卡(memory card)等，来将图像信息交接给图像处理装置10。
此种图像处理系统1中，首先，用户先通过摄像机40来对拍摄对象S进行拍摄。由摄像机40所拍摄的图像为原图像，原图像的图像信息被送往图像处理装置10。然后，在显示装置20中，显示进行颜色调整之前的图像即原图像。接下来，当用户使用输入装置30来对图像处理装置10输入用于进行颜色调整的指示时，由图像处理装置10对原图像进行颜色调整。所述颜色调整的结果例如被反映给显示装置20上显示的图像，重新绘制与颜色调整前的图像不同的颜色调整后的图像并显示于显示装置20。
而且，图像处理装置10中，基于颜色调整的结果来制作颜色转换特性(颜色转换模型)。“颜色转换模型”是颜色调整前的图像信息与颜色调整后的图像信息的关系。而且“颜色转换模型”也可以说是表示颜色调整前的图像信息与颜色调整后的图像信息的关系的函数。例如，当图像信息为包含红(R)、绿(G)、蓝(B)的RGB数据时，若将颜色调整前的图像信息设为(Ra，Ga，Ba)、颜色调整后的图像信息设为(Rb，Gb，Bb)，则表示(Ra，Ga，Ba)与(Rb，Gb，Bb)的关系。
进而，图像处理装置10中，基于颜色转换模型，来制作将颜色调整前的原图像的图像信息颜色转换至颜色调整后的图像信息的转换关系。“转换关系”是用于将颜色调整前的图像信息转换为颜色调整后的图像信息的转换信息。所述转换关系可作为查阅表(Look upTable，LUT)而制作。LUT可设为多维LUT。而且，也可设为一维LUT。进而，转换关系也可为多维矩阵而非LUT。转换关系除了多维LUT、LUT、矩阵以外，也可作为用于学习的教师数据(输入/输出数据对)而保持。
转换关系在图像信息为RGB数据的情况下，是用于将颜色调整前的图像信息即(Ra，Ga，Ba)转换为颜色调整后的图像信息即(Rb，Gb，Bb)设为(Ra，Ga，Ba)→(Rb，Gb，Bb)的信息。通过使用此转换关系，能够进行与先前进行的颜色调整同样的颜色调整。即，当新产生颜色调整前的图像信息时，通过使用此转换关系来进行颜色转换，从而能够进行与先前进行的颜色调整同样的颜色调整，生成颜色调整后的图像信息。另外，本实施方式中，下文有时将成为使用转换关系来进行所述颜色转换(颜色调整)的对象的图像称作“被颜色转换图像”。
在转换关系为多维LUT的情况下，此处为三维LUT，将(Ra，Ga，Ba)直接转换为(Rb，Gb，Bb)。即，设为(Ra，Ga，Ba)→(Rb，Gb，Bb)。而且，在转换关系为一维LUT的情况下，对R、G、B分别进行转换。即，设为Ra→Rb、Ga→Gb、Ba→Bb。本实施方式中，例示了RGB色彩空间内的转换，但也可为CMYK等其他色彩空间的转换。此时，图像信息成为包含C(青色(Cyan))、M(品红色(magenta))、Y(黄色(Yellow))、K(黑色)各色的CMYK数据。并且，在转换关系为多维LUT的情况下，此处为四维LUT，将颜色调整前的图像信息即(Ca，Ma，Ya，Ka)转换为颜色调整后的图像信息即(Cb，Mb，Yb，Kb)设为(Ca，Ma，Ya，Ka)→(Cb，Mb，Yb，Kb)。而且，在转换关系为一维LUT的情况下，对C、M、Y、K分别进行转换。即，设为Ca→Cb、Ma→Mb、Ya→Yb、Ka→Kb。
另外，本实施方式中的图像处理系统1并不限于图1的形态。例如，作为图像处理系统1，可例示平板终端。此时，平板终端具备触控面板(touch panel)，通过此触控面板来进行图像的显示，并且输入触摸等用户指示。即，触控面板作为显示装置20及输入装置30发挥功能。另外，作为摄像机40，可使用内置于平板终端的摄像机。而且，同样也可使用触控监视器(touch monitor)来作为将显示装置20及输入装置30统合的装置。其是使用触控面板来作为所述显示装置20的显示画面20a。此时，基于由图像处理装置10所输出的图像信息，在触控监视器上显示图像。并且，用户通过触摸此触控监视器等，来输入用于进行颜色调整的指示。
此处，若对拍摄对象S进行拍摄时的摄像机40的拍摄条件或所述拍摄条件中的拍摄设定信息不同，则例如即使在拍摄同一拍摄对象S时，色彩再现也不同。即，若摄像机40的拍摄条件或所述拍摄条件中的拍摄设定信息不同，则所拍摄的图像的色彩不同。因此，即使在拍摄同一拍摄对象S的情况下，若拍摄设定信息不同，则颜色调整的方向性也将不同。另外，此处所谓“拍摄条件”，是指对拍摄对象S进行拍摄时的摄像机40的整个设定。本实施方式中，“拍摄条件”中，必须注意容易对图像的色彩再现造成影响的条件。具体而言，“拍摄条件”例如是f值、ISO感光度、快门速度(shutter speed)。对拍摄对象S进行拍摄时的照明等环境条件也可包含在拍摄条件中。而且，所谓“拍摄设定信息”，是指拍摄条件中的变量中的设定值的信息，例如，f值为9成为拍摄设定信息。
因而，在制作颜色转换特性(颜色转换模型)时，也必须考虑拍摄设定信息。若未考虑拍摄设定信息而制作颜色转换模型，则颜色转换模型的精度有时会变低。即，当进行颜色转换时，若不考虑拍摄设定信息，则会导入颜色调整的方向性不同的数据，因此其成为使关于从图像信息的多个组导出的颜色转换模型的精度下降的一个原因。并且，此时，对于基于颜色转换模型而制作的转换关系，精度也下降，因此难以再现先前进行的颜色调整。即，实现不了所意图的颜色转换。
为了避免此现象，例如考虑针对拍摄条件或所述拍摄条件中的每个拍摄设定信息而分开制作颜色转换模型。但是，拍摄设定信息存在多个，而且其范围宽度也广。并且，在制作与所有拍摄设定信息、范围宽度对应的颜色转换模型时，必须关于其分别对拍摄对象S进行拍摄而准备图像信息组。但是，此时，所需的图像信息组的数量容易变得庞大，并且，制作颜色转换模型的工时也容易变得庞大。与此相对，若减少图像信息组的数量，则颜色转换模型的精度将下降。
而且，在以往技术的对在受限定的拍摄条件下所拍摄的对象图像进行初始登记，对初始登记的图像进行分析，并使摄像装置获取对于学习不足的图像的方法中，首先，难以在特定的拍摄条件下收集固定的图像。进而，此方法中，与所述情况同样，所需的图像变得非常多，并且所收集的图像的特征产生偏差。其结果，颜色转换模型的精度容易下降。
进而，另一以往技术的决定用于使初始图像增加的增加参数，使用增加参数来使初始图像增加，由此来生成学习数据的方法中，只是使特定拍摄条件的图像增加，难以弥补学习数据的不足。其结果，同样，颜色转换模型的精度容易下降。
因此，本实施方式中，将图像处理装置10的结构设为以下那样，以制作适合于拍摄图像信息的摄像机40的拍摄设定信息的颜色转换模型。
＜图像处理装置10的说明＞
图2是表示本实施方式中的图像处理装置10的功能结构例的框图。另外，图2中，选择图像处理装置10所具有的各种功能中的与本实施方式有关的功能来图示。
如图所示，本实施方式的图像处理装置10具备：图像信息获取部件11，获取图像信息；分析部件12，分析拍摄设定信息；选择部件13，进行图像信息组的选择；区域决定部件14，决定提取图像信息的区域；图像信息提取部件15，提取图像信息；颜色转换系数计算部件16，算出作为转换关系的颜色转换系数；通知部件17，进行对用户的通知；以及颜色转换部件18，对被颜色转换图像进行颜色转换。
图像信息获取部件11对于摄像机40所拍摄的颜色调整(颜色转换)前的图像、及用户进行了颜色调整后的颜色调整后的图像，获取各个图像信息来作为图像信息组。而且，图像信息获取部件11获取被颜色转换图像的图像信息，所述被颜色转换图像成为利用以后述的方法所制作的颜色转换模型来进行颜色转换的对象。
这些图像信息为用于在显示装置20中进行显示的数据格式，例如为所述的RGB数据。另外，图像信息获取部件11也可以利用其他数据格式来获取图像信息，对其进行颜色转换而设为RGB数据等。
如上所述，图像信息获取部件11作为受理图像信息组的受理部件发挥功能，所述图像信息组包含颜色转换前的图像信息及颜色转换后的图像信息。
图3的(a)至图3的(f)是表示图像信息获取部件11所获取的图像信息组的示例的图。
此处，表示了准备三组对作为商品的衣服或穿着有作为商品的衣服的人物进行拍摄时的图像信息的情况。其中，图3的(a)及图3的(b)分别是对羽绒服(down-jacket)Dj进行拍摄时的图像信息组。此处，图3的(a)为颜色调整前的图像，图3的(b)为颜色调整后的图像。同样，图3的(c)及图3的(d)分别是对穿着有衬衫(shirt)Sh的人物进行拍摄时的图像信息组。此处，图3的(c)为颜色调整前的图像，图3的(d)为颜色调整后的图像。进而，图3的(e)及图3的(f)分别是对连衣裙(one piece)Dr进行拍摄时的图像信息组。此处，图3的(e)为颜色调整前的图像，图3的(f)为颜色调整后的图像。
这样，本实施方式中，通过准备多组颜色调整(颜色转换)前的图像与颜色调整后的图像，从而获取包含更多颜色的图像信息组。
分析部件12对摄像机40所拍摄的图像的拍摄设定信息进行分析。此处，分析部件12对拍摄颜色调整(颜色转换)前的图像时的拍摄设定信息进行分析。
以下，对分析部件12所进行的拍摄设定信息的分析进行详述。
分析部件12利用作为图像信息的报头(header)而使用的可交换图像文件格式(Exchangeable image file format，Exif)信息，进行拍摄设定信息的分析。所述Exif信息中，例如包含f值(镜头的焦距除以有效孔径所得的值，表示镜头的明亮度的指标、光圈)、ISO感光度(表示胶卷(film)能够记录弱到何种程度的光的国际规格，但在数码相机的情况下，表示在摄像机内使从镜头进入的光放大何种程度的指标)、快门速度(打开快门的时间)等信息。并且，本实施方式中，分析部件12首先制作相对于拍摄设定信息的至少一个的颜色调整前的图像的张数分布。此处，进行关于下述情况的说明，即，分析部件12制作相对于拍摄条件中的一个即f值的设定的颜色调整前的图像的张数分布。
图4是表示分析部件12制作相对于f值的设定的颜色调整前的图像的张数分布时的第1例的图。图4中，横轴表示f值，纵轴表示颜色调整前的图像的张数。
图4所图示的示例中，随着f值从2开始增加，颜色调整前的图像的张数增加，当f值为11时，取得峰值(peak)(极大值)P。进而，当f值较11进一步增加时，颜色调整前的图像的张数减少。即，此时，颜色调整前的图像的张数在f值为11时取得一个峰值P，在此峰值P前后，随着f值远离对应峰值P的f值，颜色调整前的图像的张数大致减少。并且，此峰值P时的张数为预定的阈值以上。另外，以下，有时将如图4的情况那样，颜色调整前的图像的张数存在一个阈值以上的峰值(峰值P)的情况称作“案例(case)1”。
而且，图5是表示分析部件12制作相对于f值的设定的颜色调整前的图像的张数分布时的第2例的图。图5中，横轴也表示f值，纵轴也表示颜色调整前的图像的张数。
图5所图示的示例中，随着f值从2开始增加，颜色调整前的图像的张数增加，当f值为9时，取得第一个峰值(极大值)P1。进而，当f值较9进一步增加时，颜色调整前的图像的张数减少，f值为11时取得极小值。并且，当f值较11进一步增加时，颜色调整前的图像的张数增加，当f值为16时，取得第二个峰值P2。进而，当f值较16进一步增加时，颜色调整前的图像的张数减少。并且，所述峰值P1、P2时的张数为预定的阈值以上。即，此时，颜色调整前的图像的张数在f值为9与16时，取得两个峰值P1、P2，在此峰值P1、P2前后，随着f值远离对应峰值P1、P2的f值，颜色调整前的图像的张数大致减少。另外，以下，有时将如图5的情况那样，颜色调整前的图像的张数存在多个阈值以上的峰值(峰值P1、P2)的情况称作“案例2”。
进而，图6是表示分析部件12制作相对于f值的设定的颜色调整前的图像的张数分布时的第3例的图。图6中，横轴也表示f值，纵轴也表示颜色调整前的图像的张数。
图6所图示的示例中，颜色调整前的图像的张数在f值的整体范围上大致固定，针对哪个f值的值也无取得峰值(极大值)。另外，以下，有时将如图6的情况那样，颜色调整前的图像的张数无阈值以上的峰值的情况称作“案例3”。
而且，分析部件12进一步对拍摄所述被颜色转换图像时的拍摄设定信息进行分析。
分析部件12对于被颜色转换图像，也进行与图4至图6中所说明的同样的拍摄设定信息的分析。即，此时，制作相对于f值的被颜色转换图像的张数分布。
进而，分析部件12算出对被颜色转换图像的拍摄设定信息、与制作颜色转换特性(颜色转换模型)时所选择的颜色转换前的图像的拍摄设定信息进行比较时的一致度。即，分析部件12分析被颜色转换图像的拍摄设定信息与由后述的选择部件13所选择的颜色转换前的图像的拍摄设定信息一致到何种程度。即，“一致度”也可为表示被颜色转换图像的拍摄设定信息、与制作颜色转换特性(颜色转换模型)时所选择的颜色转换前的图像的拍摄设定信息一致到何种程度的指标。例如，也可为在被颜色转换图像的拍摄设定信息中，包含制作颜色转换特性(颜色转换模型)时所选择的颜色转换前的图像的拍摄设定信息的比例。例如，作为制作颜色转换特性(颜色转换模型)时所选择的颜色转换前的图像的拍摄设定信息，当在f值为11时，100张被颜色转换图像中的f值为11的图像有50张时，一致度为50％。由此，能够判断为了对被颜色转换图像进行颜色转换而使用的颜色转换模型是否适当。即，若一致度更大，则可认为是更适合于对被颜色转换图像进行颜色转换的颜色转换模型，若一致度更小，则可认为是更不适合于对被颜色转换图像进行颜色转换的颜色转换模型。
选择部件13基于拍摄设定信息，来选择供颜色转换系数计算部件16制作颜色转换模型的图像。
本实施方式中，选择部件13选择与相对于拍摄条件中的至少一个的拍摄设定信息中，相对于其他拍摄设定信息的图像数更多的拍摄设定信息相符的图像。具体而言，当观察相对于拍摄设定信息的至少一个的颜色转换前的图像的张数分布时，选择部件13选择张数更多的高频率图像。即，所谓“高频率图像”，是指与相对于拍摄设定信息的至少一个的颜色转换前的图像的张数分布中张数更多的拍摄设定信息相符的图像。
更具体而言，选择部件13选择如下所述的图像来作为高频率图像，即，关于相对于拍摄设定信息的图像数的分布，与对应于预定张数以上的极大值的拍摄设定信息相符的图像。若在图4的示例中进行说明，则作为阈值，可如图示那样设定预定的张数，作为此张数以上并且取得峰值(极大值)的图像，将f值为11的图像设为高频率图像。而且，图5的示例中，作为阈值，可如图示那样设定预定的张数，作为此张数以上并且取得峰值(极大值)的图像，将f值为9与16的图像设为高频率图像。与此相对，图6的示例中，由于不存在成为阈值以上的张数的情况，因此无高频率图像。
另外，当如图5那样存在多个峰值(极大值)时，优选的是，选择部件13在拍摄设定信息之差为预定以上时，选择取得各个图像张数为极大值的图像来作为高频率图像。即，当如图5那样存在多个峰值时，在此峰值偏离预定的差以上时，将取得各个极大值的图像设为高频率图像，但当小于预定的差时，即，峰值彼此接近时，将任一峰值高的图像(张数多的图像)设为高频率图像。
另外，所述示例中，对于拍摄设定信息的一个，将取得峰值(极大值)的图像设为高频率图像，但对于峰值前后的与拍摄设定信息相符的图像，也可一并作为高频率图像进行处理。图4的示例中，除了f值为11的图像以外，可将f值为10与13的图像一并作为高频率图像进行处理。而且，图5的示例中，除了f值为9及16的图像以外，可将f值为9前后的8与10的图像和f值为16前后的14与18的图像作为高频率图像进行处理。即，选择部件13也一并选择与包含取得峰值的拍摄设定信息的多个拍摄设定信息相符的图像来作为高频率图像。是否作为高频率图像进行处理的判断也可使用一致度，也可将包含在预定的一致度中的图像设为高频率图像。
而且，优选的是，选择部件13选择如下所述的图像来作为追加图像，即，对于成为高频率图像的拍摄设定信息以外的情况下的图像，对使用利用高频率图像所制作的颜色转换模型来对颜色转换前的图像进行颜色转换时的图像信息、与对应的颜色转换后的图像的图像信息进行比较时的差，为预定的范围内的图像。此处，作为所述差，为色值的差，例如为色值间的欧几里得(Euclid)距离即色差(dE)。但并不限于此，例如也可为色值的至少一个差。例如也可为HSL色彩空间内的亮度的差(dL)、色调的差(dh)等。而且，也可为L＊a＊b＊色彩空间内的彩度的差(dC)、色调角的差(dθ)等。
即，在使用高频率图像所制作的颜色转换模型的精度佳的情况下，使用所述颜色转换模型对颜色转换前的图像进行颜色转换所得的色值、与由图像信息获取部件11所获取的对应的颜色转换后的图像的图像信息的色值之差变得更小。与此相对，在所述颜色转换模型的精度不佳的情况下，此差变得更大。因而，通过观察此差，从而在使用所述颜色转换模型时，可知晓精度变佳时的拍摄设定信息。因而，对于以此拍摄设定信息所拍摄的图像，也设为用于制作颜色转换模型的追加图像，使用于制作颜色转换模型的图像信息组的数量增加，其结果，颜色转换模型的精度容易变得更佳。即，所谓“追加图像”，是指除了高频率图像以外，作为对于制作适合于特定拍摄设定信息的颜色转换模型为优选的图像而追加的图像。
图7是表示选择追加图像的方法的图。图7中，横轴表示f值，纵轴表示色差(dE)。
图7中，f值表示9～16之间的色差。另外，此处，假设f值为11时存在所述峰值，对于取得极大值的图像，即高频率图像是f值为11时的图像。并且，决定预定的阈值，将与色差为此阈值以下的拍摄设定信息对应的图像设为追加图像。即，此时，所谓“差为预定范围内”，是指色差为此阈值以下的范围。本例中，对于以f值为10、13、16的拍摄设定信息所拍摄的图像，也设为用于制作颜色转换模型的追加图像。即，对于与f值为10、11、13、16的拍摄设定信息对应的图像信息组，也用于制作颜色转换模型。而且，对于以f值为9、14的拍摄设定信息所拍摄的图像，不设为追加图像，对于与此拍摄设定信息对应的图像信息组，不用于制作颜色转换模型。
而且，在选择追加图像时，选择部件13在为预定范围内的图像的拍摄设定信息、与取得高频率图像的拍摄设定信息之间，存在所述差为所述范围以上的拍摄设定信息时，也可不选择作为追加图像。
即，图7的示例中，f值为16时，色差为阈值以下，但在与取得高频率图像的拍摄设定信息即f值为11时之间，作为成为阈值以上的拍摄设定信息，存在f值为14的情况。因而，对于以f值为16的拍摄设定信息所拍摄的图像，不设为追加图像。
区域决定部件14对于颜色调整(颜色转换)前的图像与颜色调整后的图像中的其中任一个图像，决定提取图像信息的区域。
即，区域决定部件14例如决定从图3的(a)至图3的(f)所示的图像中，从哪个位置获取图像信息。此时，颜色调整是对作为商品的衣服的部位进行。即，对于商品的颜色，要求更严格地进行色彩再现，以使实际商品的颜色与作为图像而显示的商品的颜色一致。因此，容易成为进行颜色调整的对象。
具体而言，例如，区域决定部件14将背景以外的部位设为提取图像信息的区域。因此，区域决定部件14必须判断背景与背景以外的部位。此处，背景的图像信息与图像左端的图像信息大致相同。因此，可将图像左端的图像信息跟图像信息大幅变化的部位设为背景以外的部位。此时，在对与图像左端的图像信息进行比较的图像信息进行采样(sampling)时，例如在图像中以预定的间隔决定像素位置，比较各像素位置的像素的图像信息与图像左端的像素的图像信息。而且，也可将预定尺寸的掩模(mask)适用于图像信息，对此掩模内的图像信息的平均值、与图像左端的像素的图像信息进行比较。
进而，作为另一方法，基于图像信息来进行频率分析，获取发生高频的像素位置。所述像素位置成为背景以外的部位的轮廓，因此将所述轮廓的内侧设为背景以外的部位。进而，作为又一方法，从图像中央规定预定尺寸的范围，将其内部设为背景以外的部位。
区域决定部件14对于颜色调整(颜色转换)前的图像及颜色调整后的图像中的任一图像，进行如以上说明的处理，决定提取图像信息的区域。
图像信息提取部件15从由区域决定部件14所指定的颜色调整(颜色转换)前的图像或颜色调整后的图像中的其中一个图像的区域内、和另一个图像的与此对应的区域内，提取图像信息。这也可以说是：从颜色调整前的图像提取图像信息，并且从颜色调整后的图像提取图像信息，以作为图像中的彼此对应的位置的图像信息组。
即，从颜色调整前的图像及颜色调整后的图像中，在图像中相同的位置处，提取颜色调整前的图像信息及颜色调整后的图像信息。
图8A至图8B是表示颜色调整前的图像信息与颜色调整后的图像信息的组的示例的图。
此处，图8A表示颜色调整前的图像与从其中提取的颜色调整前的图像信息的示例。此处，颜色调整前的图像为罩衫(blouse)的图像，将在其中的Br1～Br5所示的部位处提取的图像信息表示为RGBa1～RGBa5。此时，罩衫为蓝色单色，RGBa1～RGBa5均为表示蓝色的RGB数据。
而且，图8B表示颜色调整后的图像与从其中提取的颜色调整后的图像信息的示例。此处，将在与图8A同样的Br1～Br5所示的部位处提取的图像信息表示为RGBb1～RGBb5。
图像信息提取部件15中，通过以上说明的方法，获取颜色调整(颜色转换)前的图像信息和与此对应的颜色调整后的图像信息来作为所提取的图像信息组。
颜色转换系数计算部件16制作颜色转换模型。因而，颜色转换系数计算部件16作为制作对图像进行颜色转换的颜色转换特性(颜色转换模型)的颜色转换特性制作部件发挥功能。此时，颜色转换系数计算部件16如上所述，基于从拍摄颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，来制作颜色转换模型。所述所选择的图像是所述高频率图像及追加图像。进而，颜色转换系数计算部件16基于颜色转换模型来制作三维LUT等转换关系。
图9是表示颜色转换模型的一例的图。
此处，横轴表示颜色调整(颜色转换)前的图像信息，纵轴表示颜色调整后的图像信息。颜色调整前的图像信息及颜色调整后的图像信息为RGB数据，图9中，颜色调整前的图像信息图示为RGBa，颜色调整后的图像信息图示为RGBb。
并且，黑圈Pr是对颜色调整前的图像信息与颜色调整后的图像信息进行描绘(plot)者，此处，表示颜色调整前的图像信息与颜色调整后的图像信息的组为12个。
而且，实线Js是颜色调整前的图像信息与颜色调整后的图像信息的关系，表示由颜色转换系数计算部件16所制作的颜色转换模型。所述颜色转换模型如上所述，也可以说是表示颜色调整前的图像信息与颜色调整后的图像信息的关系的函数，若将此函数设为f，则也可表示为RGBb＝f(RGBa)。所述颜色转换模型可利用公知的方法来制作。但是，优选使用加权回归模型或神经网络(neural network)等相对于非线性特性的拟合(fitting)性能高的方法。但是，并不限定于非线性特性，也可使用采用矩阵(Matrix)模型的线性特性。
通知部件17对用户进行警告通知。作为此警告通知，并无特别限制，有通过在显示装置20上显示警告消息(message)来通知的方法、或通过语音或警告音等声音来通知的方法。
颜色转换部件18使用由颜色转换系数计算部件16所制作的转换关系，对被颜色转换图像进行颜色转换。由此，被颜色转换图像受到颜色转换而成为颜色转换图像。
＜图像处理装置10的动作说明＞
接下来说明图像处理装置10的动作。
图10是对制作颜色转换模型时的图像处理装置10的动作进行说明的流程图。另外，以下说明的图像处理装置10的动作也可作为图像处理装置10制作颜色转换模型的图像处理方法来理解。
当制作颜色转换模型时，首先，图像信息获取部件11对于颜色调整(颜色转换)前的图像及颜色转换后的图像，获取各个图像信息来作为图像信息组(步骤S101：受理工序)。此时，颜色调整前的图像是由摄像机40所拍摄的图像，颜色调整后的图像是用户使用图像处理装置10等，对由摄像机40所拍摄的图像进行颜色调整后的图像。
接下来，分析部件12对于图像信息获取部件11所获取的图像信息组中的颜色调整(颜色转换)前的图像分析拍摄设定信息。其结果，算出图4至图6中所说明的相对于拍摄设定信息的至少一个(此处，例如为f值)的颜色调整(颜色转换)前的图像的张数分布(步骤S102：分析工序)。
进而，分析部件12决定此分布中的峰值(极大值)(步骤S103：峰值决定工序)。
接下来，选择部件13基于峰值的位置，并基于由分析部件12所分析的拍摄设定信息，选择高频率图像，来作为供颜色转换系数计算部件16制作颜色转换模型的图像(步骤S104：高频率图像选择工序)。
接下来，选择部件13对于取得高频率图像的拍摄设定信息以外的情况下的图像，选择追加图像(步骤S105：追加图像选择工序)。其是使用对高频率图像所制作的转换关系，通过图7中说明的方法来进行。
然后，选择部件13将在步骤S104及步骤S105中选择的高频率图像及追加图像，决定为用于制作颜色转换模型的图像(步骤S106：图像决定工序)。
接下来，区域决定部件14在高频率图像及追加图像中，对于颜色调整(颜色转换)前的图像与颜色调整后的图像中的其中任一个图像，决定提取图像信息的区域(步骤S107：提取区域决定工序)。
进而，图像信息提取部件15从由区域决定部件14所指定的颜色调整(颜色转换)前的图像或颜色调整后的图像中的其中一个图像的区域内、和另一个图像的与此对应的区域内，提取图像信息(步骤S108：图像信息提取工序)。
继而，颜色转换系数计算部件16基于步骤S108中所提取的图像信息来制作颜色转换特性(颜色转换模型)(步骤S109：颜色转换特性制作工序)。
进而，颜色转换系数计算部件16基于步骤S109中制作的颜色转换模型，制作再现颜色调整的转换关系(步骤S110：转换关系制作工序)。
图11是说明对被颜色转换图像进行颜色转换时的图像处理装置10的动作的流程图。
在对被颜色转换图像进行颜色转换时，首先，图像信息获取部件11获取被颜色转换图像(步骤S201：被颜色转换图像获取工序)。
接下来，分析部件12对被颜色转换图像分析拍摄设定信息。其结果，算出图4至图6所说明的相对于拍摄设定信息的至少一个(此处，例如为f值)的被颜色转换图像的张数分布(步骤S202：被颜色转换图像分析工序)。
然后，分析部件12对被颜色转换图像的拍摄设定信息、与制作颜色转换模型时所选择的颜色转换前的图像的拍摄设定信息进行比较，算出一致度(步骤S203：一致度计算工序)。
然后，分析部件12判断一致度是否为预定的阈值以上(步骤S204：一致度判断工序)。
其结果，当一致度为预定的阈值以上时(步骤S204中为是(Yes))，颜色转换部件18决定要使用的转换关系(步骤S205：转换关系决定工序)，进行被颜色转换图像的颜色转换(步骤S206：颜色转换工序)。其结果，输出被颜色转换图像经颜色转换的颜色转换图像。
另一方面，在步骤S204中，当一致度小于预定的阈值时(步骤S204中为否(No))，通知部件17对用户进行警告通知(步骤S207：警告通知工序)。此时，被颜色转换图像的颜色转换中止。但是，在用户了解的前提下，也可前进至步骤S206而进行被颜色转换图像的颜色转换。
接下来详述图10的步骤S103。
图12是说明在图10的步骤S103中，分析部件12决定峰值(极大值)的方法的流程图。
首先，分析部件12从步骤S102中所制作的相对于f值的颜色调整(颜色转换)前的图像的张数分布中，获取最多的图像的张数A(步骤S301)。
接下来，分析部件12判断张数A是否为预定的阈值C1以上(步骤S302)。
其结果，若张数A小于预定的阈值C1(步骤S302中为否)，则分析部件12判断图6所示的本次案例为案例3的情况(步骤S303)。即，此时，无法制作颜色转换模型。
与此相对，若张数A为预定的阈值C1以上(步骤S302中为是)，则分析部件12获取对应于张数A的拍摄设定信息以外的拍摄设定信息中的张数B(步骤S304)。所述张数B获取多个。
然后，分析部件12分别算出差值D，以作为各拍摄设定信息中的张数B与其次的拍摄设定信息中的张数B的差值(步骤S305)。
接下来，分析部件12判断差值D中是否存在预定的阈值C2以上者(步骤S306)。由此，能够判断是否存在陡峭的峰值。
其结果，若差值D存在预定的阈值C2以上者(步骤S306中为是)，即，若存在陡峭的峰值，则分析部件12判断是否存在阈值C1以上的张数B(步骤S307)。由此，能够判断陡峭的峰值是否为阈值C1以上。
然后，若存在阈值C1以上的张数B(步骤S307中为是)，即，若存在阈值C1以上的陡峭峰值，则分析部件12算出对应于张数A的拍摄设定信息与此对应于张数B的拍摄设定信息的拍摄设定信息的差E(步骤S308)。
其结果，若拍摄设定信息的差E为阈值C3以上(步骤S309)，即，若拍摄设定信息远离，则判断在对应于张数A的拍摄设定信息与此对应于张数B的拍摄设定信息之间是否存在小于阈值C1的拍摄设定信息(步骤S310)。由此，能够判断是否为独立的峰值而非连续的峰值。
然后，若在对应于张数A的拍摄设定信息与此对应于张数B的拍摄设定信息之间存在小于阈值C1的拍摄设定信息(步骤S310中为是)，即，若为独立的峰值，则分析部件12判断为图5所示的案例2的情况(步骤S311)。即，此时，存在多个峰值。
另一方面，对于步骤S306中为否的情况(无陡峭的峰值的情况)、步骤S307中为否的情况(无阈值C1以上的陡峭峰值的情况)、步骤S309中为否的情况(峰值间的差小而拍摄设定信息的差小的情况)、及步骤S310中为否的情况(并非独立峰值的情况)，判断为图4所示的案例1的情况(步骤S312)。即，此时，仅存在一个峰值。
接下来详述图10的步骤S105。
图13是说明在图10的步骤S105中，选择部件13选择追加图像的方法的流程图。
首先，选择部件13对于一个峰值，获取高频率图像的图像信息组及拍摄设定信息(步骤S401)。
接下来，颜色转换系数计算部件16由关于高频率图像的图像信息组来制作颜色转换模型，进而制作转换关系(步骤S402)。所述转换关系是为了选择追加图像而暂定制作。
然后，选择部件13获取除了取得高频率图像的拍摄设定信息以外的其他拍摄设定信息的图像信息组(步骤S403)。
进而，颜色转换部件18对于步骤S403中所获取的图像信息组中的颜色调整(颜色转换)前的图像的图像信息，使用步骤S402中制作的转换关系进行颜色转换(步骤S404)。
然后，选择部件13算出颜色调整(颜色转换)后的图像的图像信息与步骤S404中进行了颜色转换后的图像信息的色差(dE)(步骤S405)。
接下来，选择部件13判断是否已对所有峰值结束处理(步骤S406)。
其结果，若尚未对所有峰值结束处理(步骤S406中为否)，则返回步骤S401。
与此相对，若已对所有峰值结束处理(步骤S406中为是)，则如图7中所说明的那样，选择色差(dE)小于阈值者来作为追加图像(步骤S407)。
另外，根据所述示例，对下述情况进行了说明，即，分析部件12对作为拍摄设定信息的f值等一者进行分析，但也可对多个拍摄设定信息进行分析。
图14A是表示分析部件12对两个拍摄设定信息进行分析的情况的图。
图14A所图示的示例表示了制作相对于f值及ISO感光度这两个拍摄设定信息的颜色调整(颜色转换)前的图像的张数分布的情况。图14A相对于图4至图6，对应于将拍摄设定信息由一个设为两个的情况。并且表示了：此时也能够求出峰值(极大值)P，作为拍摄设定信息，在f值为9且ISO感光度为200时取得峰值P。
而且，图14B是表示选择部件13为了选择追加图像而算出色差(dE)的情况的图。
图14B所图示的示例表示制作相对于f值及ISO感光度这两个拍摄设定信息的色差(dE)分布的情况。图14B相对于图7，对应于将拍摄设定信息由一个设为两个的情况。
根据以上详述的图像处理装置10，在制作适合于拍摄部件的拍摄设定信息的颜色转换特性时，能够选择更优选的图像信息组来作为高频率图像。并且，从高频率图像中进一步选择追加图像，基于它们来制作颜色转换特性。即，高频率图像作为对于制作适合于特定拍摄设定信息的颜色转换特性为最优选的图像信息组，是成为所谓的教师点的图像的总集。进而，追加图像是对于制作适合于特定拍摄设定信息的颜色转换特性可允许的范围的图像信息组。
并且，由此，能够较以往简单地针对拍摄图像信息的拍摄部件的每个拍摄设定信息来制作颜色转换特性。
＜程序的说明＞
此处，以上进行了说明的本实施方式中的图像处理装置10所进行的处理例如是作为应用软件等程序而准备。
因而，本实施方式中，图像处理装置10所进行的处理可作为用于使计算机实现下述功能的程序来理解，即：受理功能，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及颜色转换特性制作功能，基于从拍摄颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
另外，实现本实施方式的程序当然能通过通信部件来提供，也可保存在只读光盘(Compact Disc Read-Only Memory，CD-ROM)等记录介质中而提供。
以上，对本实施方式进行了说明，但本发明的技术范围并不限定于所述实施方式所记载的范围。根据权利要求的记载当明确，对所述实施方式添加各种变更或改良的也包含在本发明的技术范围内。

Claims (13)

1.一种图像处理装置，其特征在于包括：
受理部件，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及
颜色转换特性制作部件，基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
2.根据权利要求1所述的图像处理装置，其特征在于还包括：
选择部件，基于所述拍摄设定信息，选择由所述颜色转换特性制作部件制作所述颜色转换特性要使用的图像。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述选择部件选择如下所述的图像，即，在相对于所述拍摄条件中的至少一个的拍摄设定信息中，与相对于其他拍摄设定信息的图像数更多的拍摄设定信息相符的图像、或者与包含此拍摄设定信息的多个拍摄设定信息相符的图像。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述选择部件选择如下所述的图像，即，对于相对于拍摄设定信息的图像数的分布，与对应于预定张数以上的极大值的拍摄设定信息、或包含此拍摄设定信息的多个拍摄设定信息相符的图像。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述选择部件在存在多个极大值时，当拍摄设定信息之差为预定以上时，选择与取得一个极大值与另一个极大值的拍摄设定信息相符的图像。
6.根据权利要求3所述的图像处理装置，其特征在于，
所述选择部件选择如下所述的图像来作为追加图像，即，相对于在相对于所述拍摄条件中的至少一个的拍摄设定信息的所述颜色转换前的图像的张数分布中，对于成为与张数更多的拍摄设定信息相符的高频率图像的拍摄设定信息以外的情况下的图像，对使用利用所述高频率图像所制作的所述颜色转换特性来对所述颜色转换前的图像进行颜色转换时的图像信息、与所述颜色转换后的图像的图像信息进行比较时的差为预定范围内的图像。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述选择部件在为所述预定范围内的图像的拍摄设定信息、与取得所述高频率图像的拍摄设定信息之间，存在所述差为所述范围以上的拍摄设定信息时，不选择作为追加图像。
8.根据权利要求1所述的图像处理装置，其特征在于还包括：
颜色转换部件，对成为利用所述颜色转换特性进行颜色转换的对象的被颜色转换图像进行颜色转换。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述颜色转换部件在对所述被颜色转换图像的拍摄设定信息、与制作所述颜色转换特性时所选择的所述颜色转换前的图像的拍摄设定信息进行比较时的一致度为预定的值以上时，对所述被颜色转换图像进行颜色转换。
10.根据权利要求9所述的图像处理装置，其特征在于还包括：
通知部件，当所述一致度小于预定的值时，进行警告通知。
11.一种图像处理方法，其特征在于包括：
受理工序，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及
颜色转换特性制作工序，基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
12.一种图像处理系统，其特征在于包括：
拍摄装置，对拍摄对象进行拍摄；以及
图像处理装置，对由所述拍摄装置所拍摄的图像进行颜色转换，
所述图像处理装置包括：
受理部件，受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息及颜色转换后的图像的图像信息；以及
颜色转换特性制作部件，基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
13.一种存储程序的计算机可读介质，所述程序使计算机执行图像处理，其特征在于，所述图像处理包括：
受理图像信息组，所述图像信息组包含颜色转换前的图像的图像信息、及颜色转换后的图像的图像信息；以及
基于从拍摄所述颜色转换前的图像时的拍摄条件中所设定的拍摄设定信息，制作对图像进行颜色转换的颜色转换特性。
CN201810868289.7A 2017-10-31 2018-08-02 图像处理装置、其方法、其系统以及计算机可读介质 Active CN109729259B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-210438 2017-10-31
JP2017210438A JP6977483B2 (ja) 2017-10-31 2017-10-31 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Publications (2)

Publication Number Publication Date
CN109729259A true CN109729259A (zh) 2019-05-07
CN109729259B CN109729259B (zh) 2022-07-05

Family

ID=66245705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810868289.7A Active CN109729259B (zh) 2017-10-31 2018-08-02 图像处理装置、其方法、其系统以及计算机可读介质

Country Status (3)

Country Link
US (1) US10834370B2 (zh)
JP (1) JP6977483B2 (zh)
CN (1) CN109729259B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7408973B2 (ja) 2019-09-18 2024-01-09 富士フイルムビジネスイノベーション株式会社 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム
JP2021144574A (ja) 2020-03-13 2021-09-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
JP2021149825A (ja) 2020-03-23 2021-09-27 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060045381A1 (en) * 2004-08-31 2006-03-02 Sanyo Electric Co., Ltd. Image processing apparatus, shooting apparatus and image display apparatus
CN102855607A (zh) * 2012-07-18 2013-01-02 中国科学院自动化研究所 一种基于机器学习的遥感图像色彩校正方法
US20130148177A1 (en) * 2011-12-09 2013-06-13 Brother Kogyo Kabushiki Kaisha Display control apparatus and computer program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213567A (ja) 2003-01-08 2004-07-29 Ntt Docomo Inc 画像学習装置及びその学習方法
JP2006094297A (ja) * 2004-09-27 2006-04-06 Fuji Xerox Co Ltd 画像形成装置、画像処理装置、画像処理方法及びそのプログラム
KR100953788B1 (ko) * 2005-05-12 2010-04-21 올림푸스 메디칼 시스템즈 가부시키가이샤 생체 관측 장치
JP4254806B2 (ja) * 2006-05-23 2009-04-15 ブラザー工業株式会社 画像形成装置及び記録媒体
JP6433187B2 (ja) 2014-08-07 2018-12-05 キヤノン株式会社 情報処理装置、その制御方法およびコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060045381A1 (en) * 2004-08-31 2006-03-02 Sanyo Electric Co., Ltd. Image processing apparatus, shooting apparatus and image display apparatus
US20130148177A1 (en) * 2011-12-09 2013-06-13 Brother Kogyo Kabushiki Kaisha Display control apparatus and computer program
CN102855607A (zh) * 2012-07-18 2013-01-02 中国科学院自动化研究所 一种基于机器学习的遥感图像色彩校正方法

Also Published As

Publication number Publication date
JP6977483B2 (ja) 2021-12-08
US10834370B2 (en) 2020-11-10
JP2019083445A (ja) 2019-05-30
US20190132565A1 (en) 2019-05-02
CN109729259B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US7944483B2 (en) Apparatus, method and program for photography
US20050243347A1 (en) Conversion of color image to monochrome image
CN109729259A (zh) 图像处理装置、其方法、其系统以及计算机可读介质
JP2005210526A (ja) 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
CN104660905B (zh) 拍照处理方法及装置
CN102088539B (zh) 一种预拍照画质评价方法和系统
JPWO2008044524A1 (ja) 画像分類プログラム、画像分類装置および電子カメラ
CN106416218A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
JP6915483B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP3649468B2 (ja) 撮影機能付き電子アルバムシステム
CN101854469B (zh) 图像处理设备和图像处理方法
JP6915482B2 (ja) 画像処理装置、画像処理システムおよびプログラム
CN105122787B (zh) 摄像装置、校准系统、校准方法
CN104335571B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
JP4682782B2 (ja) 画像処理装置
CN110460783B (zh) 阵列摄像模组及其图像处理系统、图像处理方法和电子设备
JP2002368982A (ja) 画像処理装置および画像処理方法および記録媒体
CN108737736A (zh) 一种移动终端焦点控制方法、移动终端及存储介质
Wang et al. Measuring Perceptual Color Differences of Smartphone Photographs
CN113840080A (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
CN107454374B (zh) 图像处理装置、图像处理方法以及图像处理系统
JP6939455B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
KR20100069501A (ko) 영상 처리 방법 및 장치, 및 이를 이용한 디지털 촬영 장치
JP4292873B2 (ja) 画像処理方法、画像処理装置及び画像記録装置
CN112055191B (zh) 白平衡调整的方法、图像采集设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No.3, 7-fan-3, Kawasaki, Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant