CN110225223B - 图像处理设备及其控制方法 - Google Patents

图像处理设备及其控制方法 Download PDF

Info

Publication number
CN110225223B
CN110225223B CN201910156684.7A CN201910156684A CN110225223B CN 110225223 B CN110225223 B CN 110225223B CN 201910156684 A CN201910156684 A CN 201910156684A CN 110225223 B CN110225223 B CN 110225223B
Authority
CN
China
Prior art keywords
color
color space
peripheral
difference
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910156684.7A
Other languages
English (en)
Other versions
CN110225223A (zh
Inventor
小野光洋
浦野萌美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110225223A publication Critical patent/CN110225223A/zh
Application granted granted Critical
Publication of CN110225223B publication Critical patent/CN110225223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6016—Conversion to subtractive colour signals
    • H04N1/6019—Conversion to subtractive colour signals using look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明涉及一种图像处理设备及其控制方法。所述图像处理设备包括：控制单元，其被配置为基于第一颜色空间中的特定颜色和所述特定颜色的周边颜色之间的差，来控制用于将基于所述第一颜色空间的图像数据转换成基于第二颜色空间的图像数据的转换特性，其中，所述控制单元将第一转换特性改变为第二转换特性，使得通过所述第二转换特性转换后的所述特定颜色和所述周边颜色之间的色差大于通过所述第一转换特性转换后的所述特定颜色和所述周边颜色之间的色差。

Description

图像处理设备及其控制方法
技术领域
本发明涉及用于处理图像的图像处理技术。
背景技术
用于网络照相机的图像数据符合诸如国际电信联盟无线电通信部门(ITU-R)所创建的推荐ITU-R BT.709等的标准。图像数据符合该标准化标准，使得由此还定义了该图像数据的颜色空间的色域。然而，在所定义的颜色空间的色域外的宽色域中的图像数据通过色域映射被映射到由标准定义的颜色空间的色域上。作为色域映射的方法，日本特开2016-178459论述了用于在维持特定颜色的同时、使显示设备上所显示的被摄体的颜色的整体印象与该被摄体的实际颜色的整体印象一致的方法。
然而，利用日本特开2016-178459中描述的方法，尽管在要通过色域映射将图像数据映射到由标准定义的颜色空间的色域上时可以维持特定颜色，但可能无法维持特定颜色与其周边颜色之间的关系。因此，例如，存在如下情况：在通过色域映射将图像数据映射到由标准定义的颜色空间上之后，特定颜色和周边颜色不能彼此区分开、或者特定颜色和周边颜色之间的关系改变。
发明内容
根据本发明的方面，一种图像处理设备，包括：控制单元，其被配置为基于第一颜色空间中的特定颜色和所述特定颜色的周边颜色之间的差，来控制用于将基于所述第一颜色空间的图像数据转换成基于第二颜色空间的图像数据的转换特性，其中，所述控制单元将第一转换特性改变为第二转换特性，使得通过所述第二转换特性转换后的所述特定颜色和所述周边颜色之间的色差大于通过所述第一转换特性转换后的所述特定颜色和所述周边颜色之间的色差。
根据本发明的方面，一种图像处理设备的控制方法，所述控制方法包括：基于第一颜色空间中的特定颜色和所述特定颜色的周边颜色之间的差，来控制用于将基于所述第一颜色空间的图像数据转换成基于第二颜色空间的图像数据的转换特性，其中，所述控制将第一转换特性改变为第二转换特性，使得通过所述第二转换特性转换后的所述特定颜色和所述周边颜色之间的色差大于通过所述第一转换特性转换后的所述特定颜色和所述周边颜色之间的色差。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出示意系统结构的示例的框图。
图2是示出摄像设备的示意结构的示例的框图。
图3是示出观看者用客户端设备的示意结构的示例的框图。
图4是摄像设备的处理单元的框图。
图5是用于说明使用基本3维查找表(3D LUT)的颜色空间转换处理的图。
图6是示出用于捕获图像并创建3D LUT的处理的流程图。
图7是示出所拍摄图像和颜色指定的示例的图。
图8是用于说明使用校正后的3D LUT的颜色空间转换处理的图。
图9是示出用于创建3D LUT的处理的流程图。
具体实施方式
以下将参考附图来详细说明本发明的典型实施例。
在本典型实施例中，作为图像处理设备的一个应用示例，将说明用于对连接至网络的监视照相机等的摄像设备(即，网络照相机)所拍摄到的图像进行处理的设备。另外，根据本典型实施例的摄像设备不限于网络照相机，并且可以是数字单镜头反光照相机、无反光镜单镜头照相机、紧凑型数字照相机、便携式摄像机、车载照相机、医疗用照相机或工业用照相机。可选地，摄像设备可以是平板终端、个人手持电话系统(PHS)、智能电话、功能型电话、或者安装在诸如手持游戏机等的移动信息终端上的摄像装置。此外，根据本典型实施例的图像处理设备可以安装在诸如网络照相机等的摄像设备上，或者可以安装在专用控制设备、个人计算机(PC)、或者用于控制摄像设备或接收并处理从摄像设备发送来的图像数据的移动信息终端。
图1是示出本典型实施例的网络照相机系统的示意结构的示例的框图。
如图1所示，本典型实施例的网络照相机系统由照相机服务器110、查看器用客户端设备120(以下称为“客户端设备120”)和网络130配置成。
除包括照相机外，照相机服务器110还包括用于连接至网络130的通信设备，并且经由网络130发送照相机所拍摄到的图像数据。此外，照相机服务器110可以发送除图像数据以外的数据。另外，照相机可以与服务器分离。此外，照相机可以拍摄静止图像以及运动图像。
客户端设备120经由网络130访问照相机服务器110以改变照相机的各种设置或者接收照相机所拍摄到的图像数据。此外，在本典型实施例中，客户端设备120对经由网络130从照相机服务器110接收到的图像数据或者先前存储在客户端设备120中的图像数据执行各种处理，或者显示基于处理后的图像数据的图像。
网络130可通信地连接照相机服务器110和客户端设备120。例如，网络130由满足诸如以太网(Ethernet，注册商标)等的通信标准的多个路由器、交换机和线缆配置成。在本典型实施例中，不考虑网络130的通信标准、规模或结构，只要可以毫无困难地执行照相机服务器110和客户端设备120之间的通信即可。因此，可以采用因特网以及无线局域网(LAN)可以用作网络130。
图2是示出本典型实施例的照相机服务器110的结构(主要是照相机的结构)的示例的框图。
在图2中，利用点划线表示光轴O1，并且在光轴O1上配置有透镜光学系统(透镜光学系统由物镜201、调焦透镜202和摄像透镜203配置成)、光圈204、滤波器205、以及图像传感器206。图像传感器206由电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器配置成。图像传感器206对形成在摄像面上的穿过透镜光学系统、光圈204和滤波器205的光的光学图像执行光电转换，以生成图像信号，并且进一步执行模数转换以输出图像数据。从图像传感器206输出的图像数据被发送至处理单元207。以下将详细说明处理单元207的结构和操作。
此外，从图像传感器206输出的图像数据还经由处理单元207被发送至控制单元208。
存储单元209连接至控制单元208，并且控制单元208将从图像传感器206输出的图像数据存储在存储单元209中。此外，控制单元208可以包括中央处理单元(CPU)。在这种情况下，控制单元208中所包括的CPU执行存储单元209或只读存储器(ROM)(未示出)中所存储的控制程序，以实现照相机服务器110的各种功能操作。此外，控制单元208的CPU可以执行程序，以实现照相机服务器110中的与信号处理有关的各个元件的功能的全部或一部分。此外，照相机服务器110的各个元件的至少一部分可以由专用硬件操作。在这种情况下，该专用硬件基于控制单元208的控制而操作。通信单元210也连接至控制单元208。
网络130连接至通信单元210。通信单元210将所拍摄到的图像数据或与所拍摄图像有关的元数据经由网络130发送至客户端设备120。通信单元210可以经由网络130接收来自客户端设备120的命令以将该命令发送至控制单元208。此外，通信单元210可以使诸如外部存储器或外部计算机等的外部装置(未示出)连接至控制单元208，使得可以将所拍摄图像传送至外部装置。另外，诸如外部计算机等的外部装置可以经由通信单元210向控制单元208发送命令，以提供用于开始或结束摄像操作的指示。
图3是示出本典型实施例的客户端设备120的示意结构的示例的框图。
在图3中，CPU 301总体控制客户端设备120所执行的操作。ROM 302是存储CPU 301执行处理所需的控制程序的非易失性存储器。随机存取存储器(RAM)303用作CPU 301的主存储器或工作区。换句话说，在要执行处理时，CPU 301将所需程序从ROM 302加载到RAM303上，并且执行该程序以实现各种功能操作或信号处理。CPU 301执行该程序以实现客户端设备120的各个元件的功能的全部或一部分。然而，客户端设备120的各个元件的至少一部分可以由专用硬件操作。在这种情况下，该专用硬件基于CPU 301的控制而操作。
例如，硬盘驱动器(HDD)304存储CPU 301执行使用程序的处理所需的各种数据或信息。此外，例如，HDD 304存储通过CPU 301所执行的使用程序的处理而获取到的各种数据或信息。
操作输入单元305是用于从诸如电源按钮、键盘或鼠标(均未示出)等的操作装置获取操作信号的输入单元。
显示单元307显示从照相机服务器110获取到的图像、或者用于输入照相机服务器110的各种控制参数的图形用户界面(GUI)。
通信单元306执行用于使得客户端设备120能够与网络130进行通信的处理。具体地，通信单元306经由网络130接收照相机服务器110所拍摄到的图像数据。此外，例如，通信单元306将CPU 301基于从操作输入单元305接收到的操作信号所生成的照相机设置命令经由网络130发送至照相机服务器110，并且接收响应或者除图像数据以外的所需数据。
图4是示出本典型实施例的照相机服务器110的处理单元207的内部结构的示例的框图。
在图4中，校正处理单元401基于透镜光学系统的特性或图像传感器206的传感器特性来对所输入的图像数据执行校正。
预处理单元402对输入至预处理单元402的图像数据执行诸如增益调整、降噪处理、白平衡(WB)调整或清晰度处理等的预显像处理。
存储处理单元403将预处理单元402执行了预处理的图像数据或者显像处理单元404执行了显像处理的图像数据存储在存储器中。存储处理单元403的存储器可以是诸如所谓的安全数字(SD)卡等的可拆卸的半导体存储器。后处理单元405对以下所述的显像处理后的图像数据执行诸如降噪处理或颜色校正处理等的图像处理。
显像处理单元404对从图像传感器206接收到的RAW图像数据执行显像处理(诸如去马赛克处理、包括颜色空间压缩的色调曲线(tone curve)处理、或者颜色空间转换处理)。显像处理单元404所执行的显像处理包括颜色空间转换处理，其中该颜色空间转换处理用于将RAW图像中所包括的颜色空间(以下称为“RAW颜色空间”)的颜色转换成作为照相机服务器110发送图像所利用的发送颜色空间的标准颜色空间(以下称为“标准颜色空间”)的颜色。在本典型实施例中，对于显像处理单元404所执行的显像处理中的颜色空间转换处理，将使用以下所述的颜色转换表(即，三维查找表(以下称为“3D LUT”))。在本典型实施例中，尽管使用3D LUT作为表现转换特性的信息，但该信息不限于3D LUT。例如，可以使用表现转换特性的函数或算术方程式。
在本典型实施例中，在控制单元208所执行的控制下，将3D LUT设置到处理单元207的显像处理单元404。此外，在本典型实施例中，预先准备了基本3D LUT。然后，根据本典型实施例，可以根据需要修改预先设置到显像处理单元404的基本3D LUT，并且通过修改基本3D LUT来控制在显像处理单元404的显像处理中执行的颜色空间转换处理。尽管以下将说明该操作的详情，但基本3D LUT的修改可以由客户端设备120执行，或者可以由照相机服务器110的控制单元208通过基于来自客户端设备120的信息而控制处理单元207来执行。
这里，在3D LUT生成处理的详细说明之前，将说明如本典型实施例那样的用例以及针对该用例要注意的点，其中在该用例中，将照相机服务器110的照相机所拍摄的图像发送至并显示在客户端设备120上。
在本典型实施例中，作为一个示例，将说明重视特定颜色与其周边颜色之间的差的用例。作为重视特定颜色与其周边颜色之间的差的用例，例如，假定通过监视照相机拍摄在诸如游乐场等的休闲厅中使用的硬币、并且基于所拍摄图像中的硬币的颜色来判断该硬币是正规的还是非正规的。在该用例中，客户端设备120还必须维持照相机服务器110所拍摄到的图像中的正规硬币的颜色和非正规硬币的颜色之间的差。因此，在客户端设备120无法维持该色差的情况下，存在对硬币的正规性或非正规性作出误判断的风险。此外，作为其它用例，例如，假定通过照相机拍摄果园中的果实的图像、并且通过检查所拍摄图像中的果实的颜色是成熟果实的目标颜色还是未成熟果实的颜色来判断果实的成熟程度。在该用例中，同样，客户端设备120也必须维持所拍摄图像中的成熟果实和未成熟果实的颜色之间的差。因此，在客户端设备120无法维持该色差的情况下，存在可能对果实的成熟程度作出误判断的风险。
另一方面，在将所拍摄图像从照相机服务器110发送至客户端设备120的情况下，照相机服务器110的显像处理单元404执行用于将作为所拍摄图像的颜色空间的RAW颜色空间转换成作为由标准指定的颜色空间的标准颜色空间的颜色空间转换处理。通过使用3DLUT来执行上述的颜色空间转换处理，并且将颜色空间转换处理后的图像数据从照相机服务器110发送至客户端设备120。然后，在通过使用3D LUT的颜色空间转换处理将RAW颜色空间的所拍摄图像转换成标准颜色空间的图像的情况下，存在客户端设备120不能维持所拍摄图像中的特定颜色和周边颜色之间的差的情况。
图5是用于说明照相机服务器110的显像处理单元404通过使用预设的基本3D LUT所执行的颜色空间转换处理的图。图5是示出亮度和饱和度的颜色空间的图。在图5中，利用实线表示照相机服务器110的照相机特有的RAW颜色空间701，而利用虚线表示标准颜色空间702。
显像处理单元404所执行的颜色空间转换处理所使用的基本3D LUT是用于将照相机服务器110的照相机特有的RAW颜色空间701转换成标准颜色空间702的颜色转换表，并且各个RGB值被六个格子(grid)划分开。在使用基本3D LUT的颜色空间转换处理中，执行处理，使得被视为输入颜色的RAW颜色空间701内的颜色中的、在标准颜色空间702的色域内可再现的一个颜色与颜色空间转换处理后的一个颜色一致。另一方面，在使用基本3D LUT的颜色空间转换处理中，将被视为输入颜色的RAW颜色空间701内的颜色中的、在标准颜色空间702的色域外的不可再现颜色映射到标准颜色空间702的色域的边界部分。
换句话说，对RAW颜色空间701内的颜色中的在标准颜色空间702的范围内的一个颜色进行转换，使得使用基本3D LUT的颜色空间转换处理的输入颜色和输出颜色彼此一致。然而，在标准颜色空间702的范围外的其它颜色被压缩到标准颜色空间702的边界部分。例如，如图5所示，通过使用基本3D LUT的颜色空间转换处理，将RAW颜色空间701内的格子中的在标准颜色空间702的范围内的格子721转换成与格子721的位置基本相同的位置(即，基本相同的颜色)的格子731。另一方面，作为使用基本3D LUT的颜色空间转换处理的结果，RAW颜色空间701内的格子中的在标准颜色空间702的范围外的格子720被压缩到标准颜色空间702的边界部分的格子730处。
因此，在包括所拍摄图像的特定颜色及其周边颜色的格子的一部分位于标准颜色空间的色域外的情况下，位于该色域外的颜色被压缩到标准颜色空间的边界部分，使得客户端设备120不能维持所拍摄图像的特定颜色和周边颜色之间的差。在这种情况下，例如，在客户端设备120通过查看由照相机服务器110摄像得到的硬币的颜色来判断在休闲厅处使用的硬币是正规硬币还是非正规硬币的用例中，存在可能对正规硬币和非正规硬币作出误判断的风险。换句话说，在重视所拍摄图像的特定颜色与其周边颜色之间的差的用例下，在照相机服务器110对所拍摄图像执行颜色空间转换处理并发送其结果的情况下，客户端设备120必须维持所拍摄图像中的颜色之间的差。
因此，在本典型实施例中，在执行颜色空间转换处理时根据需要修改颜色空间转换处理所使用的基本3D LUT，使得客户端设备120也可以维持所拍摄图像中的特定颜色和周边颜色之间的色差。换句话说，在本典型实施例中，通过修改基本3D LUT来控制颜色空间转换处理，使得客户端设备120也可以维持所拍摄图像中的特定颜色和周边颜色之间的色差。
以下将参考图6～图9来详细说明本典型实施例中的3D LUT的生成处理(例如，用于通过修改基本3D LUT来控制颜色空间转换的处理)。用于修改基本3D LUT的处理可以由客户端设备120或照相机服务器110执行。在以下所述的典型实施例中，将说明客户端设备120所执行的用于修改基本3D LUT的处理。
首先，将参考图6的流程图来说明客户端设备120所执行的、用于根据需要修改3DLUT的控制处理的示例。在该示例中，在客户端设备120的控制下，修改先前设置到照相机服务器110的处理单元207的显像处理单元404的基本3D LUT。在以下所述的图6的流程图中，CPU 301执行从图3的ROM 302加载在RAM 303上的程序，以执行客户端设备120所要执行的处理。此外，图2的控制单元208控制各个单元以执行照相机服务器110所要执行的处理。
在图6的步骤S501中，客户端设备120的CPU 301在从照相机服务器110发送来的运动图像中捕获图像。这里，从照相机服务器110发送至客户端设备120的运动图像的帧是显像处理单元404执行了显像处理的图像。因此，在步骤S501中，CPU 301捕获显像处理后的图像。所捕获图像是照相机服务器110的显像处理单元404在显像处理中执行了颜色空间转换处理的标准颜色空间的图像。
图7是示出在步骤S501中捕获到的图像600的示例的图。如图7所示，在所捕获图像600中包括作为认识对象的正规游戏币601和作为识别对象的非正规游戏币604。
客户端设备120的CPU 301将与所捕获图像有关的帧信息(例如，可以用来识别从运动图像中捕获到的图像的诸如帧编号等的信息)连同图像请求命令一起经由通信单元306发送至照相机服务器110。照相机服务器110的控制单元208经由通信单元210接收到图像请求命令，以基于该命令中所包括的帧信息来指定客户端设备120所捕获到的图像。如上所述，照相机服务器110将显像处理前的图像存储在存储处理单元403中，使得控制单元208从所存储的显像处理前的图像中指定与客户端设备120所捕获到的图像有关的帧信息相对应的图像。然后，控制单元208将所指定的显像处理前的图像数据经由通信单元210发送至客户端设备120。换句话说，此时从照相机服务器110发送至客户端设备120的显像处理前的图像是没有执行颜色空间转换处理的RAW颜色空间的图像。客户端设备120接收到显像处理前的图像数据，并且将该图像数据存储在RAM 303或HDD 304中。
随后，在步骤S502中，客户端设备120的CPU 301使用在步骤S501中捕获到的图像来设置作为认识对象的正规硬币601中的认识对象颜色的位置。在这种情况下，CPU 301对所捕获图像600设置正规硬币601中的认识对象的颜色区域603和包围该硬币601的具有矩形形状的区域602。另外，区域602的形状不限于矩形形状，并且区域602可以呈其它形状，只要可以包围硬币601即可。然后，对于所设置的矩形区域602内的认识对象的颜色区域603，CPU 301将预设的变化范围内的颜色设置为指定颜色，并且将该指定颜色中所包括的颜色的各像素的区域作为指定颜色区域存储在RAM 303或HDD 304中。该变化范围可以是预先设置的，或者可以由用户经由客户端设备120的显示单元307的GUI任意设置。在用户可以设置变化范围的情况下，可以显示与用户所设置的变化范围相对应的指定颜色区域，并且用户可以通过在查看显示单元307的显示的同时设置变化范围来指定要指定的颜色区域。
接着，在步骤S503中，CPU 301使用在步骤S501中捕获到的图像来针对作为识别对象的非正规硬币604执行与步骤S502中所执行的处理相同的处理，并且设置非正规硬币604中的作为识别对象的颜色区域606和具有矩形形状的区域605。此外，通过与步骤S502中的处理相同的处理，CPU 301将变化范围内的颜色设置为指定颜色，并且将被设置为指定颜色的颜色的各像素的区域存储为指定颜色区域。
如上所述，通过步骤S502和S503的处理，将基于所捕获图像的、作为认识对象的正规硬币601中的指定颜色和作为识别对象的非正规硬币604中的指定颜色设置为判断范围的颜色信息。
接着，在步骤S504中，CPU 301进行宽色域中的认识对象颜色和识别对象颜色的设置。在本典型实施例中，宽色域对应于照相机服务器110的照相机所拍摄到的RAW图像的RAW颜色空间中的色域，并且宽色域是相对于作为在照相机服务器110发送图像时的发送颜色空间的标准颜色空间的色域相对更宽的色域。在步骤S504中，在宽色域中，进行正规硬币601的认识对象颜色的设置和非正规硬币604的识别对象颜色的设置。因此，通过将从照相机服务器110获取到的显像处理前的RAW图像与在步骤S501中捕获到的图像相关联地使用，CPU 301执行与步骤S502和S503中的处理相同的处理，以设置宽色域中的认识对象颜色和识别对象颜色。
然后，将基于RAW图像所获取到的宽色域中的与正规硬币601和非正规硬币604有关的颜色信息设置为要与基于上述的所捕获图像的判断范围中的颜色进行比较的颜色信息。例如，用于上述比较的颜色信息存储在RAM 303或HDD 304中，并且用于如下所述修改基本3D LUT。另外，基于RAW图像所获取到的颜色信息可以是相应的指定颜色区域的RGB值的平均值，或者可以是与用于转换成XYZ空间或L*a*b空间的所创建的RAW图像的配置文件有关的信息。在本典型实施例中，宽色域中的认识对象颜色对应于重视照相机所拍摄到的图像中的特定颜色与其周边颜色之间的差的用例中的特定颜色，而宽色域中的识别对象颜色对应于特定颜色的周边颜色。
在步骤S505中，CPU 301基于通过步骤S502和S503中的处理所获取到的判断范围的颜色信息以及通过步骤S504中的处理所获取到的颜色信息来执行色域的判断。例如，CPU301判断在步骤S504中从RAW图像获取到的颜色信息是否落在作为照相机服务器110的发送颜色空间的标准颜色空间的范围内。然后，作为色域判断的结果，如果CPU 301判断为在步骤S504中获取到的颜色信息落在标准颜色空间的范围(色域)内(步骤S505中为“是”)，则图5中的流程图的处理结束。另一方面，如果CPU 301判断为在步骤S504中获取到的颜色信息不在标准颜色空间的范围(色域)内(步骤S505中为“否”)，则处理进入步骤S506。
在上述典型实施例中，尽管基于图像来获取颜色信息，但可以通过使用色度计来测量颜色，并且可以基于通过使用色度值所获取到的颜色信息来执行直到步骤S505为止的处理。
在处理进入步骤S506时，执行3D LUT的生成处理。将3D LUT用于在照相机服务器110的显像处理单元404执行显像处理时执行的颜色空间转换处理。在本典型实施例中，通过修改预先设置到显像处理单元404的基本3D LUT来生成用于颜色空间转换处理的3DLUT。步骤S506中的3D LUT生成处理可以由客户端设备120的CPU 301执行，或者可以在照相机服务器110的控制单元208的控制下由处理单元207执行。以下将说明步骤S506中的LUT修改处理的详情。
接着，将参考图8和图9来说明通过在图6的步骤S506中修改基本3D LUT的3D LUT生成处理的详情。这里，首先将说明客户端设备120的CPU 301生成3D LUT的示例。以下将说明在照相机服务器110的控制单元208的控制下处理单元207生成3D LUT的示例。
图8是用于说明使用通过修改基本3D LUT所生成的3D LUT的颜色空间转换处理的图。与上述的图5中的图相同，图8中的图示出亮度和饱和度的颜色空间。在图8中，利用实线表示RAW颜色空间701，而利用虚线表示标准颜色空间702。
在图8的示例中，利用标绘点910表示RAW颜色空间701中的上述的作为特定颜色的认识对象颜色，并且利用标绘点910表示的认识对象颜色位于标准颜色空间702的色域外。此外，上述的作为周边颜色的识别对象颜色是包括RAW颜色空间701的标绘点910的格子(称为“周边格子920”)的范围内的颜色。此外，在图8中，亮度LT表示作为显像处理单元404执行颜色空间转换处理时的目标的亮度。在该示例中，亮度LT是50％的亮度点。
在本典型实施例中，通过修改基本3D LUT所生成的3D LUT是用于将图8的RAW颜色空间701中的标绘点910和周边格子920转换成标准颜色空间702中的标绘点911和周边格子921的3D LUT。换句话说，修改后的3D LUT是用于将标绘点910和周边格子920转换成位于连接标绘点910和亮度LT的直线上的如下位置处的LUT，其中该位置与标准颜色空间702的边界分离了与标绘点910和周边格子920之间的色差相对应的量。
图9是示出用于通过如图8所示修改基本3D LUT来生成3D LUT的处理的流程的流程图。图9中的流程图的处理示出用于通过在图6中的步骤S506中修改基本3D LUT来生成3DLUT的处理的详情。
在图9的步骤S801中，客户端设备120的CPU 301如上所述获取RAM 303或HDD 304中所存储的颜色信息，并且计算这些颜色之间的差(称为“存储色差”)。这里，用于计算色差的颜色信息是在上述的步骤S504中获取并存储的RAW颜色空间中的颜色信息。因此，在步骤S801中，计算RAW图像的RAW颜色空间(宽色域空间)中的正规硬币的颜色和非正规硬币的颜色之间的差作为存储色差，并且在图8的示例中，该色差对应于标绘点910和周边格子920之间的色差。在本典型实施例中，例如，使用CIE ΔE 1976的颜色空间中的色差作为色差。然而，也可以使用CIE ΔE 1994或CIE ΔE 2000的颜色空间中的色差。
接着，在步骤S802中，CPU 301针对作为特定颜色的认识对象执行使用基本3D LUT的颜色空间转换处理。在图8的示例中，针对标绘点910获取颜色空间转换处理后的标绘点。
此外，在步骤S803中，针对作为周边颜色的识别对象颜色，CPU 301执行使用基本3D LUT的颜色空间转换处理。在图8的示例中，针对周边格子920获取颜色空间转换处理后的周边格子。
此外，作为图8中的标绘点911，CPU 301设置具有如下的位置关系的标绘点：在步骤S802和S803中获取到的颜色空间转换处理后的标绘点和周边格子之间的色差基本上等于在步骤S801中获取到的存储色差。通过上述处理，CPU 301可以在维持标绘点910和周边格子920之间的色差的关系的同时执行转换。同样，在存在相对于标绘点911的色差小于在步骤S801中获取到的存储色差的周边格子的情况下，CPU 301连续地执行处理。
接着，在步骤S804中，CPU 301针对在步骤S803中执行了颜色空间转换处理的格子执行平滑处理。由于在通过直到S803为止的步骤的处理而被重定位的周边格子和与该周边格子相邻的非重定位格子之间产生间隙，因此CPU 301在平滑处理中消除该间隙以使间隔均匀。例如，CPU 301通过修改相邻的非重定位格子并且使该非重定位格子和重定位后的周边格子之间的间隔均匀，来执行用于填充格子之间的间隙的平滑处理。
通过上述处理，可以实现如下的处理：将图8中的标绘点910和格子920转换成位于连接标绘点910和亮度LT的直线上的、与标准颜色空间702的边界分离了与存储色差相对应的量的标绘点911和周边格子921。在本典型实施例中，CPU 301将基本3D LUT修改为用于执行上述的颜色空间转换处理的3D LUT。将修改后的3D LUT从客户端设备120发送至照相机服务器110，并且将其设置到处理单元207的显像处理单元404。
通过上述处理，将维持RAW颜色空间中的作为特定颜色的认识对象颜色和作为周边颜色的识别对象颜色之间的色差的、颜色空间转换处理后的图像从照相机服务器110发送至客户端设备120。因此，针对重视具有宽色域的空间中的特定颜色与其周边颜色之间的差的用例(例如，基于休闲厅中安装的监视照相机所拍摄到的图像中包括的硬币的颜色来判断正规硬币和非正规硬币的用例)，可以提高判断精度。
在上述典型实施例中，客户端设备120修改基本3D LUT。在以下所述的典型实施例中，照相机服务器110从客户端设备120获取与存储颜色有关的信息，并且在照相机服务器110的控制单元208的控制下处理单元207修改基本3D LUT。这里，将参考图9的流程图来说明照相机服务器110执行用于通过在图6的步骤S506中修改基本3D LUT来生成3D LUT的处理的典型实施例。
在照相机服务器110修改基本3D LUT的情况下，在图9的步骤S801中，照相机服务器110的控制单元208从客户端设备120获取如上所述所存储的颜色信息。照相机服务器110的控制单元208同样地基于从客户端设备120获取到的颜色信息来计算存储色差。
接着，在步骤S802中，照相机服务器110的控制单元208使处理单元207执行与上述的CPU 301所执行的颜色空间处理相同的颜色空间转换处理、即作为特定颜色的认识对象颜色的颜色空间转换处理。此外，在步骤S803中，控制单元208使处理单元207同样地执行作为周边颜色的识别对象颜色的颜色空间转换处理。然后，控制单元208设置具有如下的位置关系的标绘点：在步骤S801中获取到的存储色差与在步骤S802和S803中获取到的颜色空间转换处理后的标绘点和周边格子之间的色差基本上彼此相等。此外，在存在相对于标绘点911的色差小于在步骤S801中获取到的存储色差的周边格子的情况下，控制单元208同样连续地执行处理。
接着，在步骤S804中，控制单元208使处理单元207同样地执行颜色空间转换处理后的周边格子的平滑处理。然后，控制单元208同样地将设置到处理单元207的显像处理单元404的基本3D LUT修改为用于执行颜色空间转换处理的3D LUT。通过使用修改后的3DLUT，照相机服务器110可以将维持RAW颜色空间中的作为特定颜色的认识对象颜色和作为周边颜色的识别对象颜色之间的色差的、颜色空间转换处理后的图像发送至客户端设备120。
在上述典型实施例中，客户端设备120指定特定颜色和周边颜色。然而，这些颜色也可以由照相机服务器110指定。
在上述典型实施例中，指定特定颜色及其周边颜色，并且通过获取这些颜色之间的色差来生成3D LUT。然而，为了执行颜色空间转换处理，可以指定相对于特定颜色的色差，并且可以同样地生成维持所指定的色差的3D LUT。
在上述典型实施例中，通过生成可以维持所指定的特定颜色与其周边颜色之间的色差的3D LUT来执行颜色空间转换处理。然而，可以通过生成增大特定颜色和周边颜色之间的色差的3D LUT来执行颜色空间转换处理。还可以通过同样地修改基本3D LUT来生成增大特定颜色和周边颜色之间的色差的3D LUT。在执行用于增大特定颜色与其周边颜色之间的色差的颜色空间转换处理的情况下，可以更容易地从视觉上辨认出特定颜色和周边颜色之间的差。
此外，对诸如3D LUT等的转换特性的修改不限于上述。可以修改转换特性，使得通过使用修改后的转换特性所转换后的特定颜色和周边颜色之间的色差变得大于通过使用修改前的转换特性所转换后的特定颜色和周边颜色之间的色差。
本发明可以以如下方式实现：将用于实现根据上述典型实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，使得该系统或设备的计算机中的一个或多个处理器读取并执行该程序。此外，本发明也可以利用实现一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。
上述典型实施例仅仅是体现本发明的示例，并且不应被解释为限制本发明的技术范围。换句话说，在没有背离本发明的技术精神或主要特征的情况下，可以以各种形式实现本发明。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，包括：
指定单元，其被配置为指定第一颜色空间中的特定颜色和所述特定颜色的周边颜色；
控制单元，其被配置为基于所述特定颜色和所述周边颜色之间的差，来控制用于将基于所述第一颜色空间的图像数据转换成基于比所述第一颜色空间窄的第二颜色空间的图像数据的转换特性，
其中，在所述第一颜色空间中的所述特定颜色和所述周边颜色超出所述第二颜色空间的范围的情况下，所述控制单元将第一转换特性改变为第二转换特性，使得通过所述第二转换特性转换后的所述特定颜色和所述周边颜色之间的色差大于通过所述第一转换特性转换后的所述特定颜色和所述周边颜色之间的色差。
2.根据权利要求1所述的图像处理设备，还包括生成单元，所述生成单元被配置为生成基于所述第一颜色空间的图像数据，
其中，通过所述转换特性来将所生成的基于所述第一颜色空间的图像数据转换成基于所述第二颜色空间的图像数据。
3.根据权利要求1所述的图像处理设备，还包括：
通信单元，其被配置为与摄像设备进行通信，所述摄像设备用于拍摄基于所述第一颜色空间的图像数据，以将基于所述第一颜色空间的图像数据转换成基于所述第二颜色空间的图像数据，
其中，所述通信单元获取与所述摄像设备所拍摄到的基于所述第一颜色空间的图像数据有关的颜色信息，
基于所述通信单元所获取到的颜色信息，来指定所述第一颜色空间中的特定颜色和所述特定颜色的周边颜色之间的差，以及
所述控制单元基于所述第一颜色空间中的特定颜色和所述特定颜色的周边颜色之间的差来控制所述摄像设备的所述转换特性。
4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述控制单元控制所述第二转换特性，以维持所述第一颜色空间中的所述特定颜色和所述周边颜色之间的差。
5.根据权利要求1至3中任一项所述的图像处理设备，其中，所述控制单元控制所述第二转换特性，以增大所述第一颜色空间中的所述特定颜色和所述周边颜色之间的差。
6.根据权利要求1至3中任一项所述的图像处理设备，其中，所述控制单元基于所述指定单元所指定的所述特定颜色和所述周边颜色之间的色差来控制所述第二转换特性。
7.根据权利要求1至3中任一项所述的图像处理设备，其中，所述转换特性通过查找表来表现。
8.根据权利要求7所述的图像处理设备，其中，所述控制单元将用于表现所述第一转换特性的查找表改变为如下的查找表，该查找表用于将位于连接作为转换的目标的亮度和所述第一颜色空间中的所述特定颜色的直线上的、与所述第二颜色空间的边界分离了所述色差的颜色指定为转换后的所述第二颜色空间中的所述特定颜色。
9.根据权利要求8所述的图像处理设备，其中，所述控制单元将用于表现所述第一转换特性的查找表改变为如下的查找表，该查找表用于设置所述第二颜色空间中的所述周边颜色以建立如下的位置关系：相对于转换后的所述第二颜色空间中的所述特定颜色的色差等于所述第一颜色空间中的所述特定颜色和所述周边颜色之间的差。
10.根据权利要求9所述的图像处理设备，还包括被配置为执行平滑处理的单元，所述平滑处理用于使得基于改变后的查找表而转换后的所述第二颜色空间中的格子之间的间隔均匀。
11.一种图像处理设备的控制方法，所述控制方法包括：
指定第一颜色空间中的特定颜色和所述特定颜色的周边颜色；
基于所述特定颜色和所述周边颜色之间的差，来控制用于将基于所述第一颜色空间的图像数据转换成基于比所述第一颜色空间窄的第二颜色空间的图像数据的转换特性，
其中，在所述第一颜色空间中的所述特定颜色和所述周边颜色超出所述第二颜色空间的范围的情况下，所述控制将第一转换特性改变为第二转换特性，使得通过所述第二转换特性转换后的所述特定颜色和所述周边颜色之间的色差大于通过所述第一转换特性转换后的所述特定颜色和所述周边颜色之间的色差。
CN201910156684.7A 2018-03-02 2019-03-01 图像处理设备及其控制方法 Active CN110225223B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-037241 2018-03-02
JP2018037241A JP7057159B2 (ja) 2018-03-02 2018-03-02 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN110225223A CN110225223A (zh) 2019-09-10
CN110225223B true CN110225223B (zh) 2022-03-25

Family

ID=65635552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910156684.7A Active CN110225223B (zh) 2018-03-02 2019-03-01 图像处理设备及其控制方法

Country Status (4)

Country Link
US (1) US10939018B2 (zh)
EP (1) EP3534601B1 (zh)
JP (1) JP7057159B2 (zh)
CN (1) CN110225223B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841458B2 (en) * 2018-03-02 2020-11-17 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218271A (ja) * 2001-01-19 2002-08-02 Sharp Corp 画像処理装置、画像形成装置、並びに画像処理方法
CN101123669A (zh) * 2006-08-07 2008-02-13 三星电子株式会社 图像转换方法和设备及具有该转换方法和设备的成像设备
CN102055988A (zh) * 2009-11-04 2011-05-11 佳能株式会社 图像处理设备及其控制方法
CN103002193A (zh) * 2012-09-29 2013-03-27 天津科技大学 数字图像调整系统和方法
CN105027546A (zh) * 2013-03-07 2015-11-04 Eizo株式会社 颜色调整装置、图像显示装置及颜色调整方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4666274B2 (ja) * 2001-02-20 2011-04-06 日本電気株式会社 カラー画像処理装置及びその方法
JP4329271B2 (ja) * 2001-03-22 2009-09-09 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像形成装置、および画像処理方法
JP2009038593A (ja) * 2007-08-01 2009-02-19 Canon Inc 色処理装置およびその方法
EP2246818A4 (en) * 2008-01-24 2011-08-03 Panasonic Corp IMAGE SIGNAL PROCESSING DEVICE AND IMAGE SIGNAL PROCESSING PROGRAM
JP5446474B2 (ja) 2009-05-29 2014-03-19 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP6135490B2 (ja) * 2013-12-12 2017-05-31 ソニー株式会社 動画画像処理システムおよび動画画像処理方法
JP6011558B2 (ja) * 2014-02-06 2016-10-19 コニカミノルタ株式会社 色合せ精度の検証方法、画像形成システム用プログラム、および画像形成システム用プログラムを記録した記録媒体
KR102190233B1 (ko) 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
JP6485146B2 (ja) 2015-03-19 2019-03-20 富士ゼロックス株式会社 色変換情報生成装置及びプログラム
US10819882B2 (en) * 2018-02-28 2020-10-27 Panasonic Intellectual Property Management Co., Ltd. Image processing device and imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218271A (ja) * 2001-01-19 2002-08-02 Sharp Corp 画像処理装置、画像形成装置、並びに画像処理方法
CN101123669A (zh) * 2006-08-07 2008-02-13 三星电子株式会社 图像转换方法和设备及具有该转换方法和设备的成像设备
CN102055988A (zh) * 2009-11-04 2011-05-11 佳能株式会社 图像处理设备及其控制方法
CN103002193A (zh) * 2012-09-29 2013-03-27 天津科技大学 数字图像调整系统和方法
CN105027546A (zh) * 2013-03-07 2015-11-04 Eizo株式会社 颜色调整装置、图像显示装置及颜色调整方法

Also Published As

Publication number Publication date
EP3534601A1 (en) 2019-09-04
JP2019153900A (ja) 2019-09-12
CN110225223A (zh) 2019-09-10
EP3534601B1 (en) 2021-12-22
JP7057159B2 (ja) 2022-04-19
US10939018B2 (en) 2021-03-02
US20190273842A1 (en) 2019-09-05

Similar Documents

Publication Publication Date Title
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
EP2538661A1 (en) Image processing apparatus and image processing method
KR20120118383A (ko) 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
CN110225223B (zh) 图像处理设备及其控制方法
JP5962169B2 (ja) デジタルカメラ、色変換プログラムおよび記録制御プログラム
US20190132565A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP6891189B2 (ja) 色差を測定する装置、システム、及び記録媒体
JP6265625B2 (ja) 画像処理装置及び画像処理方法
JP2010026734A (ja) 画像処理装置およびその方法
US20190073558A1 (en) Information processing apparatus, information processing method, and computer program
JP2007097032A (ja) 画像表示装置、画像表示方法およびディジタルカメラ
JP5743456B2 (ja) 画像処理装置、画像処理方法及び撮像装置
US10217196B2 (en) Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium
JP2023090492A (ja) 画像処理装置および画像処理方法、撮像装置
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP6939455B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP7286328B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110225318B (zh) 图像处理设备和图像处理方法
JP2014042138A (ja) 画像処理装置、コンピュータプログラム、およびデジタルカメラ
US20240114251A1 (en) Server device and program
JP2019165398A (ja) 画像処理装置、画像処理方法及びプログラム
US20220078321A1 (en) Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium
JP5627252B2 (ja) 撮像装置及びその制御方法
JP5520135B2 (ja) 画像処理装置
WO2022044915A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant