CN110915204B - 图像处理装置、图像处理方法、存储介质和成像装置 - Google Patents

图像处理装置、图像处理方法、存储介质和成像装置 Download PDF

Info

Publication number
CN110915204B
CN110915204B CN201880046933.0A CN201880046933A CN110915204B CN 110915204 B CN110915204 B CN 110915204B CN 201880046933 A CN201880046933 A CN 201880046933A CN 110915204 B CN110915204 B CN 110915204B
Authority
CN
China
Prior art keywords
color reproduction
image
reproduction processing
processing
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880046933.0A
Other languages
English (en)
Other versions
CN110915204A (zh
Inventor
张婷
明贺阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110915204A publication Critical patent/CN110915204A/zh
Application granted granted Critical
Publication of CN110915204B publication Critical patent/CN110915204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles
    • H04N2201/326—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles relating to the rendering or output medium, device or process, e.g. monitor, paper or printer profile

Abstract

信号处理单元30对由成像单元22生成的图像信号执行预处理、去马赛克处理、颜色再现处理等。控制单元55使用在经历再现处理之前的图像信号和经历了颜色再现处理的图像信号来检测特性变化超过预定变化量的图像区域。另外，显示单元43基于经历了颜色再现处理的图像信号执行图像显示，而控制单元55使得可以在由显示单元43显示的图像中识别执行了超过预定变化量的颜色再现处理的图像区域。控制单元55还将指示特性变化超过预定变化量的图像区域的检测结果的区域信息与经历了颜色再现处理的图像信号相关联，然后使记录单元41将所述区域信息记录在记录介质上，或者使信号输出单元42将所述区域信息输出到外部装置。因此，本发明使得能够检测表现出由颜色再现处理导致的不自然的控制变化的图像区域。

Description

图像处理装置、图像处理方法、存储介质和成像装置
技术领域
本技术涉及图像处理装置、图像处理方法、程序和成像装置，并且使得能够检测通过颜色再现处理生成的具有不自然的图像特性的图像区域。
背景技术
通常，在成像装置中，已经提出了用于避免画面中的过度曝光(clipped white)和曝光不足(clipped black)的技术。例如，专利文献1的成像装置从直通图像检测LED光源，并且当检测到LED 光源时，设定划分区域，使得用于检测亮度的划分区域的数量增加。另外，成像装置调整每个设定的划分区域的尺寸以匹配具有高指向性的LED光源，使得所划分的测光值不受其他光源的影响。此外，成像装置基于所划分的测光值执行动态范围扩展处理，并且向被LED 光源照射的部分或当存在LED光源时的高亮部分赋予适当的阶度(gradation)。
引用列表
专利文献
专利文献1：日本专利申请特许公开第2012-119780号
发明内容
本发明要解决的问题
顺便提及，在成像装置中，执行颜色再现处理不仅是为了避免过度曝光和曝光不足，而且还为了呈现具有自然的颜色和期望的颜色特性的捕获图像。在颜色再现处理中，当使用具有与假定的照明光不同的波长特性的照明光时，可能生成具有诸如不自然的颜色或阶度之类的图像特性的部分。例如，在执行与具有比LED光源的带宽更宽的带宽的照明光相对应的颜色再现处理，并且除了使用假定的照明光之外还使用具有窄带宽的LED光源等的情况下，如果对捕获图像的图像信号执行颜色再现处理，则由于具有窄带宽的照明光的影响，可能生成具有诸如不自然的颜色或阶度之类的图像特性的部分。
在这种背景下，本技术的目的是提供如下图像处理装置、图像处理方法、程序和成像装置，该图像处理装置、图像处理方法、程序和成像装置可以检测通过颜色再现处理生成的具有不自然的图像特性的图像区域。
问题的解决方案
该技术的第一方面是：
一种图像处理装置，包括：
颜色再现处理单元，所述颜色再现处理单元对图像信号执行颜色再现处理；以及
区域检测单元，所述区域检测单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域。
在该技术中，颜色再现处理单元对图像信号执行颜色再现处理，该颜色再现处理是白平衡调整、色阶变换处理或颜色空间变换处理中的至少一个，并且区域检测单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域。例如，区域检测单元使用基于判定对象像素的预定区域中的像素的颜色再现处理之前的像素信号和颜色再现处理之后的像素信号来计算其色散，并且将颜色再现处理之前和之后的色散变化量超过阈值的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。注意，可以根据诸如被摄体的颜色和纹理水平、或图像的亮度之类的图像属性中的至少一个来调整阈值。另外，区域检测单元可以将颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的像素信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。区域检测单元还可以将色散变化量超过阈值、以及颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。
另外，设置有警告单元以向用户通知由区域检测单元检测到的超过预定变化量的颜色再现处理被执行。警告单元能够在基于颜色再现处理之后的图像信号的显示图像中识别经历了超过预定变化量的特性变化的图像区域。另外，设置有生成光谱信息的传感器单元，并且区域检测单元根据基于图像信号的光源分析结果与基于由传感器单元生成的光谱信息的光源分析结果之间的比较结果来检测是否发生经历了超过预定变化量的特性变化的图像区域。
此外，设置有混合处理单元，以按照由区域检测单元设定的混合比率，将经受颜色再现处理单元的颜色再现处理的图像信号和未经受颜色再现处理的图像信号进行混合。区域检测单元根据超过预定变化量的特性变化的检测结果来设定混合比率。例如，区域检测单元随着特性变化的变化量的增加或者经历了超过预定变化量的特性变化的图像区域的面积的增加而减小在由颜色再现处理单元执行颜色再现处理之后的图像信号的比率。
该技术的第二方面是：
一种图像处理方法，包括：
对图像信号执行颜色再现处理；以及
通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域。
该技术的第三方面是：
一种用于使计算机执行图像信号处理的程序，所述程序使计算机执行：
对图像信号执行颜色再现处理的过程；以及
通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域的过程。
注意，本技术的程序是可以通过以计算机可读格式向可以执行各种程序代码的通用计算机提供的存储介质、通信介质、诸如光盘、磁盘或半导体存储器之类的存储介质提供的程序，或者是可以通过诸如网络之类的通信介质提供的程序。通过以计算机可读格式提供这样的程序，在计算机上实现与该程序相对应的处理。
该技术的第四方面是：
一种成像装置，包括：
颜色再现处理单元，所述颜色再现处理单元对由成像单元生成的图像信号执行颜色再现处理；以及
控制单元，所述控制单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，生成指示检测结果的检测信息，并且将所述检测信息与颜色再现处理之后的图像信号相关联。
在该技术中，在颜色再现处理单元中对由成像单元生成的图像信号执行颜色再现处理，并且基于颜色再现处理之后的图像信号在显示单元上显示图像。另外，颜色再现处理之后的图像信号被记录在记录介质上或输出到外部装置。控制单元使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经受特性变化超过预定变化量的颜色再现处理的图像区域，并且生成指示检测结果的检测信息。另外，控制单元执行显示控制，所述显示控制使得可以在显示单元上显示的图像中识别经受特性变化超过预定变化量的颜色再现处理的图像区域。此外，控制单元将所生成的检测信息与颜色再现处理之后的图像信号相关联，并且将检测信息记录在记录介质上或者将检测信息输出到外部装置。
发明的效果
根据该技术，对图像信号执行颜色再现处理。另外，通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域。因此，可以检测通过颜色再现处理生成的具有不自然的图像特性的图像区域。注意，本说明书中描述的效果仅仅是说明性的，而不是限制性的。因此，可以获得附加的效果。
附图说明
图1是示出图像处理装置的配置的图。
图2是示出在将图像处理装置应用于成像装置的情况下的配置的图。
图3是示出颜色再现处理单元的配置的图。
图4是示出第一判定处理示例的流程图。
图5是示出第二判定处理示例的流程图。
图6是示出第三判定处理示例的流程图。
图7是示出第四判定处理示例的流程图。
图8是示出第五判定处理示例的流程图。
图9是示出成像装置的操作示例的图。
图10是示出当执行第四检测操作时的成像装置的配置的图。
图11是示出当执行校正操作时的颜色再现处理单元的配置的图。
图12是示出车辆控制系统的示意性配置的示例的框图。
图13是示出外部信息检测器和成像部分的安装位置的示例的说明图。
具体实施方式
在下文中，将描述用于执行本技术的模式。注意，将按以下顺序给出描述。
1、图像处理装置的配置
2、成像装置的配置
3、不自然区域检测操作
3-1、第一检测操作
3-1-1、不自然区域的第一判定处理示例
3-1-2、不自然区域的第二判定处理示例
3-1-3、不自然区域的第三判定处理示例
3-1-4、不自然区域的第四判定处理示例
3-1-5、不自然区域的第五判定处理示例
3-2、第二检测操作
3-3、第三检测操作
3-4、第四检测操作
4、不自然区域校正操作
5、应用示例
<1、图像处理装置的配置>
图1示出本技术的图像处理装置的配置。图像处理装置10具有颜色再现处理单元11和区域检测单元12。颜色再现处理单元11对图像信号DVin执行颜色再现处理，以生成具有自然颜色或由用户期望的图像特性的图像的图像信号DVout。区域检测单元12使用在颜色再现处理单元11执行颜色再现处理之前和之后的图像信号来检测特性变化超过预定变化量的图像区域，并且生成指示检测结果的检测信息AR。注意，将在图像处理装置所应用于的成像装置的配置和操作中描述颜色再现处理单元11和区域检测单元12的细节。
<2、成像装置的配置>
图2示出在将本技术的图像处理装置应用于成像装置的情况下的配置。成像装置20具有成像光学系统21、成像单元22、信号处理单元30、记录单元41、信号输出单元42、显示单元43、用户接口 (I/F)单元51和控制单元55。注意，信号处理单元30具有颜色再现处理单元，并且控制单元55还用作区域检测单元。
成像光学系统21包括聚焦透镜、变焦透镜等。成像光学系统21 基于来自控制单元55的控制信号来驱动聚焦透镜、变焦透镜等，以在成像单元22的成像面上形成被摄体光学图像。另外，成像光学系统21可以设置有光圈(iris)(光圈(aperture))机构、快门机构等。注意，成像光学系统21可以从成像装置20的主体部分拆卸或固定地附连到成像装置20的主体部分。
诸如互补金属氧化物半导体(CMOS)、电荷耦合器件 (CCD)等图像传感器用作成像单元22。成像单元22执行光电转换以生成与被摄体光学图像相对应的图像信号，并且将图像信号输出到信号处理单元30。
信号处理单元30包括预处理单元31、去马赛克处理单元32、颜色再现处理单元33、YC生成单元34和分辨率变换器35。注意，信号处理单元30不限于图2中所示的配置，并且可以省略如稍后将描述的一些功能块，或者可以具有图2中未示出的功能块。
信号处理单元30的预处理单元31对由成像单元22生成的图像信号执行噪声去除处理、增益调整处理、模拟/数字变换处理、缺陷像素校正等。
例如，在如下情况下设置去马赛克处理单元32：在成像单元22 中使用马赛克滤色器，并且成像面上的像素是任意颜色分量(例如，红色分量、蓝色分量和绿色分量)。去马赛克处理单元32使用由预处理单元31处理的图像信号执行去马赛克处理，以从一个像素指示一个颜色分量的图像信号生成一个像素指示每个颜色分量的图像信号 (诸如三原色的图像信号)，并且将图像信号输出到颜色再现处理单元33。注意，通过去马赛克处理生成的图像信号不限于三原色，并且可以生成四色图像的图像信号。另外，成像单元22的像素排列可以是拜耳排列、条带(stripe)排列等，只要可以实现同步即可。另外，成像单元22的像素排列不限于三原色像素，而是可以是互补色像素。此外，在由成像单元22生成三原色的图像信号的情况下，不需要设置去马赛克处理单元32，并且将由预处理单元31处理的图像信号输出到颜色再现处理单元33。
接下来，将描述颜色再现处理单元33的配置。图3示出颜色再现处理单元的配置。颜色再现处理单元33具有白平衡调整单元 331、矩阵变换器332和第一用户指定颜色变换器335-1至第n用户指定变换器335-n。
白平衡调整单元331校正由被摄体的色温环境的差异、成像单元 22中使用的滤色器的灵敏度的差异等导致的颜色之间的不平衡。例如，白平衡调整单元331对于三原色图像信号上的每个颜色执行适当的增益调整，从而可以将被摄体的非彩色(achromatic)部分的颜色平衡再现为非彩色颜色。白平衡调整单元331将白平衡调整之后的图像信号输出到矩阵变换器332。公式(1)至(3)例示由白平衡调整单元331执行的处理。
Rout＝WBr×Rin...(1)
Gout＝WBg×Gin...(2)
Bout＝WBb×Bin...(3)
请注意，“Rin、Gin、Bin”指示白平衡调整之前的三原色信号，“Rout、Gout、Bout”指示白平衡调整之后的三原色信号，而“WBr、 WBg、WBb”指示用于颜色信号的白平衡增益。根据照明光的光源分析结果来设定白平衡增益。另外，代替单独设定白平衡增益“WBr、 WBg、WBb”，可以参考高灵敏度的颜色分量(诸如绿色信号)的颜色信号来调整红色信号和蓝色信号的增益。即，可以通过将WBg固定为“1”来设定“WBr、WBb”。注意，照明光的光源分析可以由稍后描述的解调处理单元36来执行，或者可以由白平衡调整单元331来执行。
矩阵变换器332使用矩阵系数对每个颜色信号执行矩阵运算，以便提高颜色再现性。注意，矩阵变换也被称为线性矩阵变换。预先以表的形式提供矩阵系数，并且矩阵变换器332例如使用与照明光的光源等相对应的表的矩阵系数来执行矩阵运算。矩阵变换器332将矩阵变换之后的图像信号输出到第一用户指定变换器335-1。公式(4) 表示矩阵表达式。
[表达式1]
Figure BDA0002366039070000091
注意，“Rin、Gin、Bin”指示矩阵变换之前的三原色信号，“Rout、 Gout、Bout”指示矩阵变换之后的三原色信号，而“X00、X01、X02、 Y00、Y01、Y02、Z00、Z01、Z02”指示矩阵运算系数。
第一至第n用户指定颜色变换器335-1至335-n执行由来自用户接口单元51的操作信号指定的颜色变换。例如，颜色变换是伽玛调整、使用预先生成并且存储以供用户执行期望的颜色变换的查找表 (LUT)或颜色决定列表(CDL)进行的颜色分阶(color grading)、颜色空间变换等。
LUT是预先生成并且存储以供用户执行期望的颜色变换的表。另外，CDL是这样的列表，其中对于每个颜色信号提供诸如斜率、偏移和功率(power)之类的参数，以便用户可以执行期望的颜色变换。在颜色空间变换中，例如，在RGB颜色空间中执行白平衡调整和矩阵变换、并且将从信号处理单元30输出的图像信号作为其他颜色空间(诸如YUV颜色空间或HSV颜色空间)的图像信号输出的情况下，执行从RGB颜色空间到要输出的图像信号的颜色空间的颜色空间变换。
返回参照图2，YC生成单元34从由颜色再现处理单元33处理的图像信号生成亮度信号和色差信号。注意，YC生成单元34的处理可以由颜色再现处理单元33中的用户指定颜色变换器来执行。
分辨率变换器35将从颜色再现处理单元33输出的颜色再现处理之后的图像信号变换为具有期望的图像尺寸的图像信号。分辨率变换器35例如将颜色再现处理之后的图像信号或由YC生成单元34生成的亮度信号和色差信号变换为记录分辨率信号或显示单元43的显示分辨率信号。另外，例如，分辨率变换器35将记录分辨率信号变换为与显示单元43的显示分辨率相对应的信号。
解调处理单元36执行用于获取用于自动聚焦(AF)处理、自动曝光(AE)处理、自动白平衡(AWB)处理等的解调值的解调处理。例如，解调处理单元36使用画面上的特定区域或期望的被摄体区域作为解调区域，以检测解调区域的对比度并且生成AF解调值，检测解调区域的亮度并且生成AE解调值，或者生成其他值。解调处理单元36将通过解调处理获取的解调值输出到控制单元55。另外，解调处理单元36基于在对白色被摄体进行成像时的图像信号来检测照明光的光源，并且将光源检测结果输出到白平衡调整单元331、矩阵变换器332或控制单元55。
记录单元41设置有固定或可拆卸的记录介质。记录单元41将由颜色再现处理单元33处理的图像信号或由YC生成单元34生成的亮度信号和色差信号、以及由分辨率变换器35变换为记录分辨率的图像信号或亮度信号和色差信号记录到记录介质。另外，记录单元41将记录在记录介质上的信号输出到分辨率变换器35或显示单元43。另外，记录单元41可以将通过对记录分辨率的亮度信号和色差信号执行编码处理而获得的编码信号记录在记录介质上，并且可以将通过对记录在记录介质上的编码信号执行解码处理而获得的信号输出到显示单元43等。另外，记录单元41将从控制单元55供应的检测信息与要记录的信号相关联地记录在记录介质上。例如，记录单元41记录从控制单元55供应的检测信息作为要记录的信号的元信息。
信号输出单元42将由颜色再现处理单元33处理的图像信号或由 YC生成单元34生成的亮度信号和色差信号输出到外部装置。另外，信号输出单元42可以对亮度信号和色差信号执行编码处理，并且将所获得的编码信号输出到外部装置。此外，信号输出单元42将从控制单元55供应的检测信息与输出到外部装置的信号相关联地输出到外部装置。例如，当将由颜色再现处理单元33处理的图像信号输出到外部装置等时，信号输出单元42输出从控制单元55供应的检测信息作为图像信号的元信息。
将液晶显示元件、有机EL显示元件等用作显示单元43。显示单元43基于由分辨率变换器35变换为显示分辨率的颜色再现处理之后的图像信号来显示图像。显示单元43还显示成像装置20的菜单、操作设定、操作状态等。此外，显示单元43可以基于颜色再现处理之后的图像信号在显示的图像中识别特性变化超过预定变化量的图像区域。
用户接口(I/F)单元51包括操作开关或操作按钮、操作拨盘、遥控信号接收部分等，以及生成与用户操作相对应的操作信号并且将操作信号输出到控制单元55。
例如，控制单元55具有中央处理单元(CPU)、只读存储器 (ROM)、随机存取存储器(RAM)和其他部件。只读存储器 (ROM)存储由中央处理单元(CPU)执行的各种程序。随机存取存储器(RAM)存储诸如各种参数之类的信息。CPU执行存储在 ROM中的各种程序，并且控制每个单元，从而基于来自用户接口单元51的操作信号在成像装置20中执行与用户操作相对应的操作。另外，控制单元55基于由信号处理单元30的解调处理单元36获取的解调值，执行自动聚焦(AF)控制功能、自动曝光(AE)或自动白平衡(AWB)控制功能等。
此外，控制单元55具有区域检测单元的功能，该区域检测单元检测经历了超过预定变化量的特性变化的图像区域。控制单元55使用在颜色再现处理单元33执行颜色再现处理之前和之后的图像信号来检测由于颜色再现处理而导致的具有诸如不自然的颜色或灰度 (grayscale)之类的图像特性的图像区域。然后，控制单元55生成指示检测结果的检测信息。另外，控制单元55将所生成的检测信息输出到信号处理单元30，将基于检测信息的警告显示信号叠加在颜色再现处理之后的图像信号上，并且在显示单元43上实时显示警告图像，该警告图像在基于颜色再现处理之后的图像信号的显示图像上指示经历了超过预定变化量的特性变化的图像区域。此外，控制单元 55将检测信息输出到记录单元41，并且将检测信息与图像处理之后的图像信号相关联地记录在记录介质上。另外，控制单元55将检测信息输出到信号输出单元42，并且将检测信息与图像处理之后的图像信号相关联地输出到外部装置。注意，检测信息包括指示由于颜色再现处理而导致具有不自然的图像特性的区域的信息(坐标和面积) 以及帧号。另外，检测信息可以包括解调信息(色散、色散的变化量等)。
以此方式，如果与图像信号相关联地记录或输出检测信息，则对记录的或输出的图像信号执行后处理(post processing)的装置可以使用与图像信号相关联的检测信息来有效地对由于颜色再现处理而导致具有不自然的图像特性的图像区域执行图像校正处理。
<3、不自然区域检测操作>
接下来，将描述检测通过颜色再现处理生成的具有不自然的图像特性的图像区域(也被称为不自然区域)的操作。控制单元55从颜色再现处理单元33获取未处理的图像信号和经处理的图像信号，并且基于所获取的图像信号，检测由于颜色再现处理而经历了超过预定变化量的特性变化的图像区域。此外，控制单元55生成指示检测到的图像区域的检测信息。
<3-1、第一检测操作>
在第一检测操作中，将描述执行矩阵变换作为颜色再现处理并且通过矩阵变换来检测经历了超过预定变化量的特性变化的图像区域的情况。在该情况下，控制单元55从颜色再现处理单元33获取矩阵变换之前的图像信号，并且保持该图像信号。另外，控制单元55从颜色再现处理单元33获取矩阵变换之后的图像信号，并且从同一帧的矩阵变换之前和之后的图像信号中，检测通过矩阵变换而导致具有不自然的图像特性的图像区域，例如通过矩阵变换使灰度大大劣化的图像区域。
接下来，将参考流程图描述第一检测操作中的不自然区域判定处理示例。注意，流程图示出用于一帧的图像的处理示例。
<3-1-1、不自然区域的第一判定处理示例>
图4是示出第一检测操作中的不自然区域的第一判定处理示例的流程图。在第一判定处理示例中，每个像素被顺序地设定为判定对象像素，并且对于矩阵变换之前和之后的每个颜色信号计算判定对象像素的色散。当矩阵变换之前和之后的色散的变化量在任意颜色信号中超过阈值时，判定对象像素被判定为特性变化超过预定变化量的图像区域的像素(下文中被称为“检测区域像素”)。
当检测通过颜色再现处理生成的具有不自然的图像特性的图像区域的操作模式被选择时，控制单元55执行图4中所示的处理。在图 4的步骤ST1中，控制单元获取特性变化量。控制单元55将包括基于判定对象像素的多个像素的判定区域设定为矩阵变换之前的图像和矩阵变换之后的图像。控制单元55使用矩阵变换之前的图像中的判定区域中的像素信号来对于每个颜色信号计算色散。另外，控制单元 55使用矩阵变换之后的图像中的判定区域中的像素信号来对于每个颜色信号计算色散。此外，控制单元55对于每个颜色信号计算矩阵变换之前和之后的色散的变化量作为特性变化量，并且进行到步骤 ST2。注意，色散不限于指示判定区域内的像素值的变化的统计量。例如，可以将基于判定对象像素的预定像素范围内的信号波形用作判定对象像素所位于的行内的色散。另外，判定区域不限于包括多个像素的区域。可以将一个像素区域用作判定区域，并且可以将判定对象像素的像素值用作色散。
在步骤ST2中，控制单元判定特性变化量是否等于或大于阈值。控制单元55将在步骤ST1中获取的特性变化量(色散变化量) 与阈值进行比较。阈值可以预先设定，或者可以根据对其执行矩阵变换的图像来调整。例如，控制单元55对于影响使用像素信号计算的色散的图像的每个属性设定系数，并且根据对于每个属性设定的系数确定用于调整阈值的阈值调整系数。具体地，在从图像信号计算色散的情况下，色散根据被摄体自身的颜色、纹理水平和图像亮度而极大地变化。因此，控制单元55使用被摄体自身的颜色、纹理水平和图像亮度作为图像属性，并且根据对于每个属性设定的系数来调整阈值。通过以此方式调整阈值，与阈值是固定的情况相比，可以准确地检测具有不自然的图像特性的图像区域。注意，纹理水平例如指示预定处理单位中的信号水平波动。当处理单位是平坦的图像部分时，纹理水平低，而当处理单位是诸如边缘之类的图像部分时，纹理水平高。
公式(5)表示阈值调整系数kth。注意，在公式(5)中，“kc”是与被摄体的色度相对应的系数，“kt”是与纹理水平相对应的系数，并且“kb”是与画面的亮度相对应的系数。随着色度增加，系数kc在“0<kc<1”的范围内增加。随着纹理水平增加，系数kt在“0<kt<1”的范围内增加。随着图像变得更亮，系数kb在“0<kb<1”的范围内增加。
kth＝kc×kt×kb...(5)
控制单元55将通过将预设最大阈值Thmax乘以阈值调整系数 kth而获得的判定阈值Th(如公式(6)中所示)与特性变化量进行比较。注意，可以对于每个颜色信号计算判定阈值Th，或者可以对于每个颜色信号使用相等的值。
Th＝Thmax×kth...(6)
另外，控制单元55可以对用于计算阈值调整系数kth的属性进行加权。例如，要被分配低权重的属性的系数范围被设定为小于“1”且大于下限值PW的范围，并且随着权重更低，使下限值PW更接近于“1”。如果以此方式调整下限值PW，则对于具有低权重的属性，阈值调整系数kth的变化减小。
此外，关于属性的系数的范围不限于小于“1”。例如，当属性是预定条件时，用于每个属性的系数是“1”，并且此时的阈值是标准阈值Thstd。另外，控制单元55可以根据属性的变化将系数调整为大于或小于“1”的值，使用调整后的系数来计算阈值调整系数kth，并且根据所计算的阈值调整系数kth和标准阈值Thstd来计算判定阈值 Th。另外，在对属性进行加权的情况下，控制单元55根据权重来改变系数调整量。例如，当权重低时，控制单元55对于变化减小调整量。
如果在步骤ST1中计算的每个颜色信号的特性变化量中的任一个等于或大于阈值，则控制单元55进行到步骤ST3，并且如果颜色信号的特性变化量均不等于或大于阈值，则控制单元55进行到步骤 ST4。
在步骤ST3中，控制单元将判定对象像素设定为检测区域像素。由于判定对象像素的特性变化量等于或大于阈值，因此控制单元 55将判定对象像素设定为检测区域像素，并且进行到步骤ST4。
在步骤ST4中，控制单元判定画面内的判定是否完成。如果画面中存在尚未判定像素是否经历了超过预定变化量的特性变化的像素，则控制单元55进行到步骤ST5，并且如果已经对所有像素进行了判定，则控制单元55进行到步骤ST6。
在步骤ST5中，控制单元更新判定对象像素。控制单元55将尚未判定像素是否经历了超过预定变化量的特性变化的像素设定为新的判定对象像素，并且返回到步骤ST1。
在步骤ST6中，控制单元生成检测信息。控制单元55生成指示包括步骤ST3中设定的检测区域像素的图像区域的检测信息。
<3-1-2、不自然区域的第二判定处理示例>
图5是示出第一检测操作中的不自然区域的第二判定处理示例的流程图。在第二判定处理示例中，当矩阵变换之前的不饱和的判定对象像素例如通过矩阵变换而变为饱和时，即，改变为上溢状态时，判定对象像素被判定为经历了超过预定变化量的特性变化的检测区域像素。注意，饱和状态不限于上溢状态或稍后描述的下溢状态。矩阵变换之后的判定对象像素的像素值已经达到由用户等设定的上限值或下限值的状态可以被视为饱和状态。
当检测通过颜色再现处理生成的具有不自然的图像特性的图像区域的操作模式被选择时，控制单元55执行图5中所示的处理。在图 5的步骤ST11中，控制单元获取特性变化量。控制单元55使用判定对象像素中的矩阵变换之后的每个颜色信号的像素值作为判定对象像素的特性变化量，并且进行到步骤ST12。
在步骤ST12中，控制单元判定特性变化量是否已经改变为上溢状态。当在步骤ST11中获取的每个颜色信号的特性变化量中的任一个改变为上溢状态时，即，当颜色信号处理之前的不饱和的像素值在处理之后改变为上溢状态时，控制单元55进行到步骤ST13。另外，在其他情况下，即，如果特性变化量不处于上溢状态，或者如果特性变化量处于上溢状态并且处理之前的像素值是饱和的，则控制单元 55进行到步骤ST14。
在步骤ST13中，控制单元将判定对象像素设定为检测区域像素。由于判定对象像素已经通过矩阵变换从不饱和状态改变为上溢状态，因此控制单元55将判定对象像素设定为检测区域像素，并且进行到步骤ST14。
在步骤ST14中，控制单元判定画面内的判定是否完成。如果在画面中存在尚未判定像素是否经历了超过预定变化量的特性变化的像素，则控制单元55进行到步骤ST15，并且如果已经对于所有像素进行了判定，则控制单元55进行到步骤ST16。
在步骤ST15中，控制单元更新判定对象像素。控制单元55将尚未判定像素是否经历了超过预定变化量的特性变化的像素设定为新的判定对象像素，并且返回到步骤ST11。
在步骤ST16中，控制单元生成检测信息。控制单元55生成指示包括步骤ST13中设定的检测区域像素的图像区域的检测信息。
<3-1-3、不自然区域的第三判定处理示例>
图6是示出第一检测操作中的不自然区域的第三判定处理示例的流程图。在第三判定处理示例中，当矩阵变换之前的不饱和的判定对象像素例如通过矩阵变换而变为饱和时，即，改变为下溢状态时，判定对象像素被判定为经历了超过预定变化量的特性变化的检测区域像素。
当检测通过颜色再现处理生成的具有不自然的图像特性的图像区域的操作模式被选择时，控制单元55执行图6中所示的处理。在图 6的步骤ST21中，控制单元获取特性变化量。控制单元55使用判定对象像素中的矩阵变换之后的每个颜色信号的像素值作为判定对象像素的特性变化量，并且进行到步骤ST22。
在步骤ST22中，控制单元判定特性变化量是否已经改变为下溢状态。当在步骤ST21中获取的每个颜色信号的特性变化量中的任一个改变为下溢状态时，即，当颜色信号处理之前的不饱和的像素值在处理之后改变为下溢状态时，控制单元55进行到步骤ST23。另外，在其他情况下，即，如果特性变化量不处于下溢状态，或者如果特性变化量处于下溢状态并且处理之前的像素值是饱和的，则控制单元 55进行到步骤ST24。
在步骤ST23中，控制单元将判定对象像素设定为检测区域像素。由于判定对象像素通过矩阵变换从不饱和状态改变为下溢状态，因此控制单元55将判定对象像素设定为检测区域像素，并且进行到步骤ST24。
在步骤ST24中，控制单元判定画面内的判定是否完成。如果在画面中存在尚未判定像素是否经历了超过预定变化量的特性变化的像素，则控制单元55进行到步骤ST25，并且如果已经对所有像素进行了判定，则控制单元55进行到步骤ST26。
在步骤ST25中，控制单元更新判定对象像素。控制单元55将尚未判定像素是否经历了超过预定变化量的特性变化的像素设定为新的判定对象像素，并且返回到步骤ST21。
在步骤ST26中，控制单元生成检测信息。控制单元55生成指示包括步骤ST23中设定的检测区域像素的图像区域的检测信息。
<3-1-4、不自然区域的第四判定处理示例>
图7是示出第一检测操作中的不自然区域的第四判定处理示例的流程图。在第四判定处理示例中，当满足第一至第三判定处理示例中的任意判定条件时，判定对象像素被判定为经历了超过预定变化量的特性变化的检测区域像素。
当检测通过颜色再现处理生成的具有不自然的图像特性的图像区域的操作模式被选择时，控制单元55执行图6中所示的处理。在图7的步骤ST31中，控制单元获取特性变化量。与第一判定处理示例的步骤ST1类似，控制单元55获取色散变化量作为特性变化量。另外，与第二判定处理示例的步骤ST11和第三判定处理示例的步骤 ST21类似，控制单元55获取判定对象像素的矩阵变换之后的每个颜色信号的像素值作为特性变化量，并且进行到步骤ST32。
在步骤ST32中，控制单元判定特性变化量是否等于或大于阈值。与第一判定处理示例的步骤ST2类似，控制单元55将所获取的色散变化量与阈值进行比较。如果色散变化量等于或大于阈值，则控制单元55进行到步骤ST35，并且如果色散变化量不等于或大于阈值，则控制单元55进行到步骤ST33。
在步骤ST33中，控制单元判定特性变化量是否已经改变为上溢状态。与第二判定处理示例的步骤ST12类似，控制单元55判定矩阵变化之后的每个颜色信号的像素值中的任一个是否已经改变为上溢状态。如果对于任意颜色信号的在处理之前的像素值是不饱和的并且在处理之后已经改变为上溢状态，则控制单元55进行到步骤ST35。另外，在其他情况下，即，如果矩阵变换之后的像素值不处于上溢状态，或者如果矩阵变换之后的像素值处于上溢状态并且处理之前的像素值是饱和的，则控制单元55进行到步骤ST34。
在步骤ST34中，控制单元判定特性变化量是否已经改变为下溢状态。与第三判定处理示例的步骤ST22类似，控制单元55判定矩阵变换之后的每个颜色信号的像素值中的任一个是否已经改变为下溢状态。如果任意颜色信号中的在处理之前的像素值是不饱和的并且在处理之后改变为下溢状态，则控制单元55进行到步骤ST35。另外，在其他情况下，即，如果矩阵变换之后的像素值不处于下溢状态，或者如果矩阵变换之后的像素值处于下溢状态并且处理之前的像素值是饱和的，则控制单元55进行到步骤ST36。
在步骤ST35中，控制单元将判定对象像素设定为检测区域像素。如果满足以下条件中的任一个，则控制单元55将判定对象像素设定为检测区域像素，并且进行到步骤ST36。具体地，判定对象像素的色散变化量等于或大于阈值，色散等于或大于阈值，矩阵变换之后的像素值处于上溢状态并且在矩阵变换之前是不饱和的，或者矩阵变换之后的像素值处于下溢状态并且在矩阵变换之前是不饱和的。
在步骤ST36中，控制单元判定画面内的判定是否完成。如果在画面中存在尚未判定像素是否经历了超过预定变化量的特性变化的像素，则控制单元55进行到步骤ST37，并且如果已经对所有像素进行了判定，则控制单元55进行到步骤ST38。
在步骤ST37中，控制单元更新判定对象像素。控制单元55将尚未判定像素是否经历了超过预定变化量的特性变化的像素设定为新的判定对象像素，并且返回到步骤ST31。
在步骤ST38中，控制单元生成检测信息。控制单元55生成指示包括步骤ST35中设定的检测区域像素的图像区域的检测信息。
<3-1-5、不自然区域的第五判定处理示例>
图8是示出第一检测操作中的不自然区域的第五判定处理示例的流程图。在第五判定处理示例中，当满足第一判定处理示例、以及第二判定处理示例和第三判定处理示例中的任一个中的判定条件时，判定对象像素被判定为经历了超过预定变化量的特性变化的检测区域像素。
当检测通过颜色再现处理生成的具有不自然的图像特性的图像区域的操作模式被选择时，控制单元55执行图8中所示的处理。在图 8的步骤ST41中，控制单元获取特性变化量。与第一判定处理示例的步骤ST1类似，控制单元55获取色散变化量作为特性变化量。另外，与第二判定处理示例的步骤ST11和第三判定处理示例的步骤 ST21类似，控制单元55获取判定对象像素的矩阵变换之后的每个颜色信号的像素值作为特性变化量，并且进行到步骤ST42。
在步骤ST42中，控制单元判定特性变化量是否等于或大于阈值。与第一判定处理示例的步骤ST2类似，控制单元55将所获取的色散变化量与阈值进行比较。如果色散变化量等于或大于阈值，则控制单元55进行到步骤ST43，并且如果色散变化量不等于或大于阈值，则控制单元55进行到步骤ST46。
在步骤ST43中，控制单元判定特性变化量是否已经改变为上溢状态。与第二判定处理示例的步骤ST12类似，控制单元55判定矩阵变换之后的每个颜色信号的像素值中的任一个是否已经改变为上溢状态。如果对于任一个颜色信号的在处理之前的像素值是不饱和状态并且在处理之后改变为上溢状态，则控制单元55进行到步骤ST45。另外，在其他情况下，即，如果矩阵变换之后的像素值不处于上溢状态，或者如果矩阵变换之后的像素值处于上溢状态并且处理之前的像素值是饱和的，则控制单元55进行到步骤ST44。
在步骤ST44中，控制单元判定特性变化量是否已经改变为下溢状态。与第三判定处理示例的步骤ST22类似，控制单元55判定矩阵变换之后的每个颜色信号的像素值中的任一个是否已经改变为下溢状态。如果任意颜色信号中的在处理之前的像素值是不饱和的并且在处理之后已经改变为下溢状态，则控制单元55进行到步骤ST45。另外，在其他情况下，即，如果矩阵变换之后的像素值不处于下溢状态，或者如果矩阵变换之后的像素值处于下溢状态并且处理之前的像素值是饱和的，则控制单元55进行到步骤ST46。
在步骤ST45中，控制单元将判定对象像素设定为检测区域像素。如果判定对象像素的色散变化量等于或大于阈值，以及矩阵变换之后的像素值处于上溢状态并且在矩阵变换之前是不饱和的，或者矩阵变换之后的像素值处于下溢状态并且在矩阵变换之前是不饱和的，则控制单元55将判定对象像素设定为检测区域像素，并且进行到步骤ST46。
在步骤ST46中，控制单元判定画面内的判定是否完成。如果在画面中存在尚未判定像素是否经历了超过预定变化量的特性变化的像素，则控制单元55进行到步骤ST47，并且如果已经对于所有像素进行了判定，则控制单元55进行到步骤ST48。
在步骤ST47中，控制单元更新判定对象像素。控制单元55将尚未判定像素是否经历了超过预定变化量的特性变化的像素设定为新的判定对象像素，并且返回到步骤ST41。
在步骤ST48中，控制单元生成检测信息。控制单元55生成指示包括步骤ST45中设定的检测区域像素的图像区域的检测信息。
注意，当满足第一至第三判定处理示例的所有判定条件时，控制单元55可以将判定对象像素设定为检测区域像素。
如上所述，控制单元55执行上述判定处理中的任一个；顺序地将每个像素设定为判定对象像素；判定该判定对象像素是否是检测区域像素，该检测区域像素是经历了超过预定变化量的特性变化的图像区域的像素；以及生成指示包括检测区域像素的图像区域的检测信息。此外，控制单元55控制信号输出单元42以将检测信息与经处理的图像信号相关联地输出到外部装置，或者控制记录单元41以将检测信息与经处理的图像信号相关联地记录在记录介质上。
此外，控制单元55可以基于检测信息来警告用户。例如，控制单元55将检测信息输出到信号处理单元30，以在图像信号上叠加基于检测信息的警告显示信号。在该情况下，在基于由信号处理单元 30处理的图像信号而在显示单元43上显示的图像中，例如，在经历了超过预定变化量的特性变化的图像区域中提供警告显示图像(例如，斑马图案等)。因此，用户可以容易地实时地判定哪个图像区域通过执行颜色再现处理而导致具有不自然的图像特性。注意，警告显示图像可以被提供为图标显示等，该图标显示等指示已经生成了具有不自然的图像特性的图像区域。另外，控制单元55不限于使用图像给出警告，并且可以使用诸如声音、振动、警告灯等手段给出警告。此外，如果组合地执行这些警告，则可以更肯定地识别已经通过颜色再现处理生成了具有不自然的图像特性的图像区域。
另外，如果对于每个帧提供警告显示图像，则在短帧周期的情况下，该警告显示图像可能被忽略，在所述短帧周期中，检测到经历了超过预定变化量的特性变化的图像区域(不自然区域)。另外，当校正不自然区域的图像时，需要对于每个帧执行不自然区域判定处理。因此，控制单元55可以对于每个帧执行不自然区域判定处理，并且当检测到不自然区域时可以在预定时段内提供警告显示图像。
图9示出成像装置的操作示例。这里，图9的(a)示出矩阵变换之前的图像，并且图9的(b)示出矩阵变换之前的图像中的线位置Ls处的三原色信号Rin、Gin和Bin。另外，图9的(c)示出矩阵变换之后的图像，并且图9的(d)示出矩阵变换之后的图像中的线位置Ls处的三原色信号Rout、Gout和Bout。此外，图9的(e) 示出将警告显示图像WD叠加在矩阵变换之后的图像上的情况。
例如，在图9的(d)中，矩阵变换之后的红色信号Rout和绿色信号Gout由于具有高信号电平的蓝色信号Bin的影响而改变为下溢状态。在图9的(e)中，提供了指示处于下溢状态的图像区域的警告显示图像WD，从而可以容易地识别发生了不自然的色阶 (colorgradation)变换的图像区域。注意，虽然图9示出矩阵变换之后的红色信号和绿色信号由于具有高信号电平的蓝色信号的影响而下溢的情况，但是输入图像和照明光的光源、或成像单元的光谱特性可能会导致在其他颜色中发生相同的现象。即使在这样的情况下，通过执行上述处理，也可以容易地检测已经执行了不自然的色阶变换的图像区域。
如上所述，通过执行第一检测操作，即使生成由于矩阵变换而具有不自然的图像特性的图像区域，诸如由于矩阵变换而使阶度大大劣化的图像区域，也可以容易地实时地检测该区域。此外，由于如上所述以像素为单位判定是否为检测区域像素，因此可以高准确度地指定由于矩阵变换而具有不自然的图像质量特性的图像区域。
<3-2、第二检测操作>
在第二检测操作中，将描述如下情况，其中执行白平衡调整作为颜色再现处理，并且通过白平衡调整来检测经历了超过预定变化量的特性变化的图像区域。在该情况下，控制单元55从颜色再现处理单元33获取白平衡调整之前的图像信号，并且保持该图像信号。另外，控制单元55从颜色再现处理单元33获取白平衡调整之后的图像信号，并且根据同一帧的白平衡调整之前和之后的图像信号来检测被调整为不自然的颜色的图像区域。
控制单元55使用白平衡调整之前和之后的图像信号执行与第一检测操作中的第一判定处理示例至第五判定处理示例中的任一个相类似的处理。即，控制单元55基于使用白平衡调整之前和之后的图像信号计算的色散变化量以及由于白平衡调整而导致的图像信号的饱和状态的变化，执行与第一检测操作相类似的处理，以生成指示通过白平衡调整而被调整为不自然的颜色的图像区域的检测信息。
另外，在第二检测操作中，当将作为特性变化量的色散变化量与阈值进行比较时，控制单元55可以通过对于影响根据白平衡调整之前和之后的图像信号计算的色散的、图像的每个属性设定系数，通过使用如上所述地计算的阈值调整系数kth来调整阈值。
如上所述，在第二检测操作中，即使生成已经通过白平衡调整而被调整为不自然的颜色的图像区域，也可以实时地检测该图像区域。另外，与第一检测操作相类似，由于以像素为单位判定是否为检测区域像素，因此可以高准确度地指定通过白平衡调整而被调整为不自然的颜色的图像区域。
另外，在第二检测操作中，与第一检测操作相类似，可以基于检测信息向用户给出警告，或者可以将检测信息与颜色再现处理之后的图像信号相关联以记录或输出到外部装置。此外，在基于检测信息向用户给出警告的情况下，通过使用与第一检测操作不同的警告显示图像、或根据第一检测操作的检测结果和根据第二检测操作的检测结果的警告显示图像，警告显示图像的差异使得可以检测哪个处理生成具有不自然的图像质量特性的图像区域。
<3-3、第三检测操作>
在第三检测操作中，将描述如下情况，其中执行用户指定颜色变换作为颜色再现处理，并且通过用户指定颜色变换来检测经历了超过预定变化量的特性变化的图像区域。在用户指定颜色变换中，如上所述地执行诸如伽玛校正、颜色分阶和颜色空间变换之类的处理。这里，为了简化说明，将仅描述使用查找表(LUT)进行颜色分阶的情况，并且使用LUT进行的颜色分阶被称为LUT变换。预先生成LUT以供用户执行所期望的颜色变换，并且将LUT存储在用户指定颜色变换器中。
LUT变换可以被分类为使用一维1DLUT的处理(例如，色调变换)和使用三维3DLUT的处理(例如，即使由于色调变换而存在色度的变化，也实现所期望的色调和色度的处理)。另外，取决于目的，这些处理可以独立地或组合地执行。此外，1DLUT和3DLUT 具有各种表数量和准确度。当执行自然的处理时，控制单元55通过假定在判定对象像素中从LUT变换之前的图像信号计算的色散与从 LUT变换之后的图像信号计算的色散之间的变化量不大来判定所述判定对象像素。另外，当执行自然的处理时，控制单元55通过假定不饱和图像信号在LUT变换之后很少进入上溢状态或下溢状态来判定所述判定对象像素。具体地，控制单元55使用LUT变换处理之前和之后的图像信号来执行与第一检测操作中的第一判定处理示例至第五判定处理示例中的任一个相类似的处理。即，控制单元55基于使用LUT变换处理之前和之后的图像信号计算的色散变化量、以及由于LUT变换处理而导致的图像信号的饱和状态的变化来执行与第一检测操作相类似的处理，以生成指示由于LUT变换处理而经历了不自然的变换处理的图像区域的检测信息。注意，在第三检测操作中，对于第一至第n用户指定颜色变换器335-1至335-n中的每个用户指定颜色变换器，可以通过使用颜色变换之前和之后的图像信号来生成指示经历了不自然的变换处理的图像区域的检测信息。另外，在连续执行处理的多个用户指定颜色变换器当中，可以通过使用输入到第一用户指定颜色变换器的图像信号和从最后用户指定颜色变换器输出的图像信号来生成指示经历了不自然的变换处理的图像区域的检测信息。
如上所述，在第三检测操作中，即使通过用户指定颜色变换生成具有不自然的图像特性的图像区域，也可以实时地检测该图像区域。另外，与第一检测操作类似，由于以像素为单位判定是否为检测区域像素，所以可以高准确度地指定由于用户指定颜色变换而具有不自然的图像特性的图像区域。
另外，在第三检测操作中，与第一和第二检测操作相类似，可以基于检测信息向用户给出警告，或者可以将检测信息与颜色再现处理之后的图像信号相关联以记录或输出到外部装置。此外，在基于检测信息向用户给出警告的情况下，通过使用与第一和第二检测操作不同的警告显示图像，警告显示图像的差异使得可以检测哪个处理生成具有不自然的图像质量特性的图像区域。
<3-4、第四检测操作>
在上述第一至第三检测操作中，已经描述了基于颜色再现处理之前和之后的图像信号来检测通过颜色再现处理生成的具有不自然的图像特性的图像区域的操作。接下来，在第四检测操作中，将描述如下情况，其中与成像单元22分开地设置估计照明光的传感器单元，并且还使用从该传感器单元输出的传感器信号来检测是否会发生不自然的颜色再现处理。
图10示出当执行第四检测操作时的成像装置的配置。注意，在图10中，与执行第一至第三检测操作中的任一个的图2中所示的成像装置的部件相对应的部件由相同的附图标记来表示。
成像装置20a具有成像光学系统21、成像单元22、信号处理单元30、记录单元41、信号输出单元42、显示单元43、用户接口 (I/F)单元51、传感器单元53和控制单元55a。
成像光学系统21包括聚焦透镜、变焦透镜等，并且基于来自控制单元55a的控制信号驱动聚焦透镜、变焦透镜等，以在成像单元 22的成像面上形成被摄体光学图像。
诸如互补金属氧化物半导体(CMOS)、电荷耦合器件 (CCD)等图像传感器用作成像单元22。成像部分22生成与被摄体光学图像相对应的图像信号，并且将图像信号输出到信号处理单元 30。
信号处理单元30包括预处理单元31、去马赛克处理单元32、颜色再现处理单元33、YC生成单元34和分辨率变换器35。注意，信号处理单元30可以省略如上所述的一些功能块，或者可以具有图10 中未示出的功能块。
信号处理单元30的预处理单元31对由成像单元22生成的图像信号执行噪声去除处理、增益调整处理、模拟/数字变换处理、缺陷像素校正等。
去马赛克处理单元32使用由预处理单元31处理的图像信号来执行去马赛克处理，以从一个像素指示一个颜色分量的图像信号生成一个像素指示每个颜色分量的图像信号，并且将图像信号输出到颜色再现处理单元33。
颜色再现处理单元33执行白平衡调整、矩阵变换、用户指定颜色变换等，并且将颜色再现处理之后的图像信号输出到YC生成单元 34。
YC生成单元34根据由颜色再现处理单元33处理的图像信号生成亮度信号和色差信号。另外，分辨率变换器35将从颜色再现处理单元33输出的颜色再现处理之后的图像信号等变换为记录分辨率或显示分辨率的图像信号，以及将记录分辨率的图像信号输出到记录单元41，并且将显示分辨率的图像信号输出到显示单元43。另外，解调处理单元36执行用于获取用于自动聚焦(AF)处理、自动曝光 (AE)处理、自动白平衡(AWB)处理等的解调值的解调处理，并且将所获取的解调值输出到控制单元55a。
记录单元41将由颜色再现处理单元33处理的图像信号或由YC 生成单元34生成的亮度信号和色差信号、以及由分辨率变换器35变换成记录分辨率的图像信号或亮度信号和色差信号记录到记录介质。另外，记录单元41将从控制单元55a供应的检测信息与要记录的信号相关联地记录在记录介质上。信号输出单元42将由颜色再现处理单元33处理的图像信号或由YC生成单元34生成的亮度信号和色差信号输出到外部装置。另外，信号输出单元42将从控制单元55a供应的检测信息与输出到外部装置的信号相关联地输出。
将液晶显示元件、有机EL显示元件等用作显示单元43。显示单元43基于由分辨率变换器35变换成显示分辨率的颜色再现处理之后的图像信号来显示图像。显示单元43还基于来自控制单元55的控制信号来显示成像装置20的菜单、操作设定、操作状态等。此外，显示单元43可以基于颜色再现处理之后的图像信号在所显示的图像中识别特性变化超过预定变化量的图像区域。
将液晶显示元件、有机EL显示元件等用作显示单元43。显示单元43基于由分辨率变换器35变换成显示分辨率的颜色再现处理之后的图像信号来显示图像。显示单元43还显示成像装置20的菜单、操作设定、操作状态等。此外，显示单元43可以基于颜色再现处理之后的图像信号在所显示的图像中识别特性变化超过预定变化量的图像区域。
用户接口(I/F)单元51包括操作开关或操作按钮、操作拨盘、遥控信号接收部分等，并且生成与用户操作相对应的操作信号并且将操作信号输出到控制单元55。
例如，将多光谱传感器或高光谱传感器用作传感器单元53。多光谱传感器具有比成像单元22更高的波长分辨率，并且可以获取宽光谱范围内的光谱图像，以及高光谱传感器可以获取具有比多光谱传感器更高的波长分辨率的光谱图像。传感器单元53生成具有比成像单元22更高的波长分辨率的宽光谱传感器信号(光谱图像信号)，并且将传感器信号输出到控制单元55a。
控制单元55a具有中央处理单元(CPU)、只读存储器 (ROM)、随机存取存储器(RAM)和其他部件。只读存储器 (ROM)存储由中央处理单元(CPU)执行的各种程序。随机存取存储器(RAM)存储诸如各种参数之类的信息。CPU执行存储在 ROM中的各种程序，并且控制每个单元，从而基于来自用户接口单元51的操作信号在成像装置20中执行与用户操作相对应的操作。另外，控制单元55a基于由信号处理单元30的解调处理单元36获取的解调值，执行自动聚焦(AF)控制、自动曝光(AE)控制等。
此外，控制单元55a基于颜色再现处理单元33的解调结果和从传感器单元53供应的传感器信号(光谱图像信号)，检测是否会通过颜色再现处理生成具有不自然的图像特性的图像区域。控制单元 55a可以将状况检测结果输出到信号处理单元30，或者可以将状况检测结果包括在检测信息中。控制单元55a在状况检测结果中指示通过颜色再现处理单元33中的处理操作判定的照明光和基于从传感器单元53供应的传感器信号判定的照明光是否彼此一致。另外，控制单元55a可以在状况检测结果中包括指示通过颜色再现处理单元33中的处理操作判定的照明光的信息和指示基于从传感器单元53供应的传感器信号判定的照明光的信息。
在如上所述地配置的成像装置20a中，传感器单元53具有比成像单元22更高的波长分辨率，并且可以获取具有宽光谱的光谱图像。因此，控制单元55a可以以比使用由成像单元22生成的图像信号估计光源的情况更高的准确度来估计光源。因此，在第四检测操作中，控制单元55a将基于由传感器单元53生成的光谱图像信号的光源估计结果与基于由成像单元22生成的图像信号的光源估计结果 (例如，在颜色再现处理单元33中的白平衡调整中使用的光源估计结果)进行比较，以及如果光源估计结果不同，则控制单元55a检测到可能发生不自然的颜色再现处理，并且生成检测信息。
如上所述，在第四检测操作中，通过使用具有比成像单元更高的波长分辨率的传感器单元的检测结果，可以准确地判定是否会发生不自然的颜色再现处理。另外，例如，如果向用户通知状况判定结果，则可以掌握在成像开始时可能发生不自然的颜色再现处理的状况下是否执行成像。
<4、不自然区域校正操作>
接下来，将给出对通过不自然区域检测操作检测到的图像区域执行用于减少不自然性的校正操作的情况的描述。在不自然区域校正操作中，将颜色再现处理之后的图像信号和未经受颜色再现处理的图像信号进行混合，并且根据特性变化是否超过预定变化量的检测结果来设定混合处理的混合比率。
图11示出当执行用于减少不自然性的校正操作时的颜色再现处理单元的配置。注意，图11中所示的配置示例示出对通过矩阵变换生成的具有不自然的图像特性的图像区域执行校正操作的情况下的配置。
颜色再现处理单元33a具有白平衡调整单元331、矩阵变换器 332、单位矩阵变换器333、混合处理单元334以及第一用户指定颜色变换器335-1至第n用户指定变换器335-n。
白平衡调整单元331校正由被摄体的色温环境的差异、成像单元 22中使用的滤色器的灵敏度的差异等导致的颜色之间的不平衡。白平衡调整单元331将白平衡调整之后的图像信号输出到矩阵变换器 332、单位矩阵变换器333和控制单元55(55a)。
矩阵变换器332使用矩阵系数对每个颜色信号执行矩阵运算，以便提高颜色再现性。注意，预先以表的形式来提供矩阵系数，并且矩阵变换器332例如使用与照明光的色温等相对应的表的矩阵系数来执行矩阵运算。矩阵变换器332将矩阵变换之后的图像信号输出到混合处理单元334和控制单元55(55a)。
单位矩阵变换器333通过将矩阵系数设定为相等的固定值(例如“1”)，对每个颜色信号执行矩阵运算。单位矩阵变换器333将矩阵变换之后的图像信号输出到混合处理单元334。注意，通过设定相等的固定值，矩阵运算之后的图像信号是未经受颜色再现处理并且对于每个颜色信号利用相同增益来调整的图像信号。例如，当所有矩阵系数被设定为“1”时，矩阵运算之后的图像信号等于矩阵运算之前的图像信号。
混合处理单元334对从矩阵变换器332供应的图像信号和从单位矩阵变换器333供应的图像信号执行混合处理。混合处理单元334以从控制单元55指示的混合比率α来混合图像信号，并且将混合处理之后的图像信号输出到第一用户指定颜色变换器335-1。
第一至第n用户指定颜色变换器335-1至335-n执行由来自用户接口单元51的操作信号指定的颜色变换。
与上述第一检测操作相类似，控制单元55(55a)从由矩阵变换器332进行的矩阵变换之前和之后的图像信号检测通过矩阵变换而生成的具有不自然的图像特性的图像区域。另外，控制单元55(55a) 基于诸如色散变化量、通过矩阵变换使像素从不饱和状态变为饱和的频度、像素的色散变化量超过阈值的频度、以及包括通过矩阵变换从不饱和状态变为饱和的图像像素的图像区域的面积和位置之类的混合比率判定要素来设定混合比率。然后，控制单元55(55a)将指示所设定的混合比率的控制信号输出到混合处理单元334。例如，控制单元55(55a)随着色散变化量的增加而增加从单位矩阵变换器333供应的图像信号的比率，并且使得矩阵变换器332中的不自然的色阶不明显。另外，控制单元55(55a)随着通过矩阵变换从不饱和状态变为饱和的像素的频度的增加而增加从单位矩阵变换器333供应的图像信号的比率，并且使得由矩阵变换器332处理的图像中的不自然的色阶的像素不明显。另外，控制单元55(55a)可以通过组合地使用与上述混合比率判定要素有关的多个判定结果来设定混合比率，并且可以通过对与混合比率判定要素有关的判定结果进行加权来设定混合比率。此外，控制单元55(55a)可以将混合比率设定为例如在与混合比率判定要素有关的任意判定结果是预定判定结果时预先设定的预定值。
顺便提及，与被摄体的平坦部分相比，更可能在边缘部分生成通过颜色再现处理而导致的超过预定变化量的特性变化。因此，例如，信号处理单元30的解调处理单元36可以执行边缘检测，并且控制单元55(55a)可以对由解调处理单元36检测到的边缘部分执行混合处理。替选地，控制单元55(55a)可以设定混合比率，以使得例如从单位矩阵变换器333供应的图像信号的比率在平坦部分比在边缘部分更低。例如，控制单元55(55a)可以通过以此方式设定混合比率并且减弱边缘部分处的颜色再现处理来避免不自然性。
注意，尽管已经在上述校正操作中描述了对于通过矩阵变换生成的具有不自然的图像特性的图像区域的校正操作，但是可以对于白平衡调整和用户指定颜色变换执行类似的处理。即，控制单元可以根据超过预定变化量的特性变化的检测结果来设定混合比率，并且颜色再现处理单元可以根据由控制单元设定的混合比率来混合经处理的图像信号和未经处理的图像信号。因此，可以校正具有不自然的图像特性的图像区域。
另外，如果颜色再现处理单元33a执行校正操作以减少不自然性，则当对由成像装置20(20a)生成的图像信号执行后处理时，可以减轻后处理负荷。
<5、应用示例>
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以被实现为安装在诸如汽车、电动汽车、混合动力电动汽车、摩托车、自行车，个人移动装置、飞机、无人机、轮船和机器人之类的任何类型的移动目标上的装置。
图12是示出车辆控制系统的示意性配置示例的框图，该车辆控制系统是可以应用根据本公开的技术的移动控制系统的示例。
车辆控制系统12000包括通过通信网络12001连接的多个电子控制单元。在图12中所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、外部信息检测单元 12030、内部信息检测单元12040和集成控制单元12050。另外，作为集成控制单元12050的功能配置，示出微计算机12051、音频图像输出单元12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元12010用作用于生成车辆的驱动力的驱动力生成装置(诸如内燃机或驱动电机)、用于将驱动力传送到车轮的驱动力传送机构、调整车辆的转向角的转向机构、以及控制器(诸如生成车辆的制动力的制动装置)。
车身系统控制单元12020根据各种程序控制装备在车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置的控制器，或诸如前照灯、尾灯、制动灯、方向信号灯或雾灯之类的各种灯的控制器。在该情况下，车身系统控制单元12020可以接收从代替按键的便携式装置发送的无线电波或各种开关的信号的输入。车身系统控制单元12020接收这些无线电波或信号的输入，并且控制车辆的门锁装置、电动窗装置、灯等。
外部信息检测单元12030检测装备有车辆控制系统12000的车辆外部的信息。例如，成像部分12031连接到外部信息检测单元 12030。外部信息检测单元12030使得成像部分12031捕获车辆外部的图像，并且接收捕获图像。外部信息检测单元12030可以基于接收到的图像来执行人、车辆、障碍物、标志、路面上的字符等的目标检测处理或距离检测处理。
成像部分12031是光学传感器，该光学传感器接收光并且输出与接收到的光的量相对应的电信号。成像部分12031可以输出电信号作为图像，或者可以输出电信号作为距离测量信息。另外，由成像部分 12031接收的光可以是可见光或诸如红外光之类的不可见光。
内部信息检测单元12040检测车辆内部的信息。例如，检测驾驶员状态的驾驶员状态检测器12041连接到内部信息检测单元12040。驾驶员状态检测器12041包括例如用于捕获驾驶员图像的相机，并且内部信息检测单元12040可以基于从驾驶员状态检测器12041输入的检测信息来计算驾驶员的疲劳程度或注意力集中程度，或者确定驾驶员是否睡着了。
微计算机12051可以基于由外部信息检测单元12030或内部信息检测单元12040获取的车辆外部或内部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元12010。例如，微计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协调控制，所述高级驾驶员辅助系统的功能包括车辆的防撞或减震、基于车辆间距离的跟随行驶、车辆速度维持行驶、车辆碰撞警告、车道偏离警告等。
另外，例如，微计算机12051可以基于由外部信息检测单元 12030或内部信息检测单元12040获取的车辆周围的信息来控制驱动力生成装置、转向机构、制动装置等，以在不依赖于驾驶员的操作的情况下执行旨在自主地行进的自动驾驶的协调控制。
另外，微计算机12051可以基于由外部信息检测单元12030获取的车辆外部信息向车身系统控制单元12020输出控制命令。例如，微计算机12051可以根据由外部信息检测单元12030检测到的先前车辆或迎面而来的车辆的位置来控制前照灯，并且执行旨在防止眩光的协同控制，诸如从远光灯切换为近光灯。
音频图像输出部分12052将音频或图像中的至少一个的输出信号发送到输出装置，该输出装置能够在视觉上或在听觉上将信息通知给车辆的乘客或车辆外部。在图12的示例中，音频扬声器12061、显示器12062和仪表板12063被示出为输出装置的示例。显示器12062 可以包括例如车载显示器或抬头显示器中的至少一个。
图13是示出成像部分12031的安装位置的示例的图。
在图13中，包括成像部分12101、12102、12103、12104和 12105作为成像部分12031。
例如，成像部分12101、12102、12103、12104和12105被设置在诸如车辆12100的前鼻(front nose)、侧后视镜、后保险杠、后门以及车厢中的挡风玻璃的上部之类的位置处。设置在前鼻上的成像部分12101和设置在车厢中的挡风玻璃的上部上的成像部分12105主要获取车辆12100的前方的图像。设置在侧后视镜上的成像部分 12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门上的成像部分12104主要获取车辆12100的后方的图像。设置在车厢中的挡风玻璃的上部上的成像部分12105主要用来检测先前车辆或行人、障碍物、交通信号灯、交通标志、车道等。
注意，图13示出成像部分12101至12104的成像范围的示例。成像范围12111指示设置在前鼻中的成像部分12101的成像范围，成像范围12112和12113分别指示设置在侧后视镜上的成像部分12102 和12103的成像范围，并且成像范围12114指示设置在后保险杠或后门中的成像部分12104的成像范围。例如，通过叠加由成像部分12101至12104捕获的各个图像数据，可以获得从上方观看的车辆 12100的鸟瞰图像。
成像部分12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像部分12101至12104中的至少一个可以是包括多个成像器件的立体相机，或者可以是具有用于相差检测的像素的成像器件。
例如，微计算机12051可以基于从成像部分12101至12104获得的距离信息来测量与成像范围12111至12114中的每个三维目标的距离以及该距离的时间变化(相对于车辆12100的相对速度)，以提取在与车辆12100大致相同的方向上以预定速度(例如，0km/h或更大)行进的三维目标当中的、尤其在车辆12100的行进路径上的最接近的三维目标作为先前车辆。另外，微计算机12051可以设定要预先确保在先前车辆之前的车辆间距离，并且执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随开始控制)等。如上所述，例如，可以在不依赖驾驶员的操作的情况下执行旨在自主地行进的自动驾驶的协调控制。
例如，基于从成像部分12101至12104获得的距离信息，微计算机12051可以通过将数据分类为诸如两轮车辆、普通车辆、大型车辆、行人、电话杆和其他三维目标之类的三维目标来提取关于三维目标的三维目标数据，并且使用该数据来自动避让障碍物。例如，微计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可见的障碍物和几乎不可见的障碍物。然后，微计算机12051可以确定指示与每个障碍物发生碰撞的危险程度的碰撞风险，以及当碰撞风险是设定值或更大值、并且存在发生碰撞的可能性时，可以通过音频扬声器12061或显示器12062向驾驶员输出警告，或者通过驱动系统控制单元12010执行强制的减速或避让转向，执行用于避免碰撞的驾驶支持。
成像部分12101至12104中的至少一个可以是检测红外光的红外相机。例如，微计算机12051可以通过判定在由成像部分12101至12104捕获的图像中是否存在行人来识别行人。例如，通过提取由作为红外相机的成像部分12101至12104捕获的图像中的特征点的过程、以及对指示目标的轮廓的一系列特征点执行模式匹配处理以判定目标是否为行人的过程，执行这样的行人识别。如果微计算机12051 判定在由成像部分12101至12104捕获的图像中存在行人并且识别出行人，则音频图像输出部分12052控制显示器12062以在所识别的行人上叠加用于强调的正方形轮廓。另外，音频图像输出部分12052可以控制显示器12062以在期望的位置处显示指示行人的图标等。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。在上述配置中，根据本公开的技术可以应用于例如成像部分 12031、12101、12102、12103、12104和12105，或者可以应用于外部信息检测单元12030等。成像部分12031、12101、12102、 12103、12104、12105或外部信息检测单元12030可以使用本技术来检测通过颜色再现处理生成的具有不自然的图像特性的图像区域，并且将显示呈现给驾驶员等，使得具有不自然的图像特性的图像区域不明显，例如在确认车辆外部状况时，可以防止将注意力集中在具有不自然的图像特性的图像区域上。另外，当使用由成像部分12031、 12101、12102、12103、12104、12105等获取的捕获图像执行自动驾驶控制时，即使通过颜色再现处理生成具有不自然的图像特性的图像区域，也可以在不受具有不自然的图像特性的图像区域影响的情况下执行驾驶控制。
说明书中描述的一系列处理可以通过硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下，记录有处理序列的程序被安装在要执行的专用硬件中所集成的计算机的存储器中。替选地，可以在能够执行各种类型的处理的通用计算机上安装并且执行该程序。
例如，该程序可以预先记录在作为记录介质的硬盘、固态驱动器 (SSD)或只读存储器(ROM)上。替选地，可以将程序临时地或永久地存储(记录)在可移除记录介质上，例如软盘、压缩盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘(BD)(注册商标)、磁盘或半导体存储卡。这样的可移除记录介质可以被提供为所谓的套装软件。
除了将程序从可移除记录介质安装到计算机之外，还可以通过诸如局域网(LAN)或因特网之类的网络，以无线或有线方式将程序从下载站点传输到计算机。计算机可以接收以这种方式传输的程序，并且将其安装在诸如内置硬盘之类的记录介质上。
注意，说明书中描述的效果仅是示例并且不受限制，以及可以获得本文中未描述的附加效果。另外，本技术不应被解释为限于上述技术的实施例。该技术的实施例以示例的形式公开了本技术，并且明显的是，本领域技术人员可以在不偏离本技术的要旨的情况下对实施例进行修改和替换。换句话说，应当考虑权利要求的范围以便确定本技术的要旨。
另外，根据本技术的图像处理装置还可以具有以下配置。
(1)一种图像处理装置，包括：
颜色再现处理单元，所述颜色再现处理单元对图像信号执行颜色再现处理；以及
区域检测单元，所述区域检测单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域。
(2)根据(1)所述的图像处理装置，其中，
当基于判定对象像素的预定区域中的颜色再现处理之后的像素信号的色散相对于颜色再现处理之前的像素信号的色散的变化量超过阈值时，所述区域检测单元判定所述判定对象像素是经历了超过预定变化量的特性变化的图像区域中的像素。
(3)根据(2)所述的图像处理装置，其中，
所述区域检测单元根据基于颜色再现处理之前的图像信号的图像的属性来调整阈值。
(4)根据(3)所述的图像处理装置，其中，
所述区域检测单元使用被摄体的颜色和纹理水平、和图像的亮度中的至少一个作为图像的属性。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
所述区域检测单元将颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的像素信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。
(6)根据(1)所述的图像处理装置，其中，
当基于判定对象像素的预定区域中的颜色再现处理之后的像素信号的色散相对于颜色再现处理之前的像素信号的色散的变化量超过阈值，以及所述判定对象像素的像素信号在颜色再现处理之前是不饱和的并且在颜色再现处理之后变为饱和的时，所述区域检测单元判定所述判定对象像素是经历了超过预定变化量的特性变化的图像区域中的像素。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，
所述颜色再现处理单元包括白平衡调整、色阶变换处理和颜色空间变换处理中的至少一个作为颜色再现处理。
(8)根据(1)至(7)中任一项所述的图像处理装置，还包括：警告单元，所述警告单元向用户通知由所述区域检测单元检测到的超过所述预定变化量的特性变化的发生。
(9)根据(8)所述的图像处理装置，其中，
所述警告单元能够在基于颜色再现处理之后的图像信号的显示图像中识别经历了超过预定变化量的特性变化的图像区域。
(10)根据(1)所述的图像处理装置，还包括生成光谱信息的传感器单元，其中，
所述区域检测单元根据基于图像信号的光源分析结果与基于由所述传感器单元生成的光谱信息的光源分析结果之间的比较结果，检测是否发生经历了超过预定变化量的特性变化的图像区域。
(11)根据(1)至(10)中任一项所述的图像处理装置，还包括：混合处理单元，所述混合处理单元执行颜色再现处理之后的图像信号和未经受颜色再现处理的图像信号的混合处理，其中，
所述区域检测单元根据超过预定变化量的特性变化的检测结果来设定由所述混合处理单元执行的混合处理的混合比率。
(12)根据(11)所述的图像处理装置，其中，
所述区域检测单元随着特性变化量的增加或经历了超过预定变化量的特性变化的图像区域的面积的增加而减小颜色再现处理之后的图像信号的比率。
工业实用性
在该技术的图像处理装置、图像处理方法、程序和成像装置中，对图像信号执行颜色再现处理，并且通过使用颜色再现处理之前和之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域。因此，由于可以检测通过颜色再现处理生成的不自然的颜色的图像区域，因此该技术适合于摄像机、具有成像功能的电子设备等。
附图标记列表
10 图像处理装置
11 颜色再现处理单元
12 区域检测单元
20、20a 成像装置
21 成像光学系统
22 成像单元
30 信号处理单元
31 预处理单元
32 去马赛克处理单元
33、33a 颜色再现处理单元
34 YC生成单元
35 分辨率变换器
36 解调处理单元
41 记录单元
42 信号输出单元
43 显示单元
51 用户接口(I/F)单元
53 传感器单元
55、55a 控制单元
331 白平衡调整单元
332 矩阵变换器
333 单位矩阵变换器
334 混合处理单元
335-1至335-n 第1至第n用户指定颜色变换器

Claims (21)

1.一种图像处理装置，包括：
颜色再现处理单元，所述颜色再现处理单元对图像信号执行颜色再现处理；以及
区域检测单元，所述区域检测单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，
其中所述区域检测单元将颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的像素信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。
2.根据权利要求1所述的图像处理装置，其中，
所述颜色再现处理单元包括白平衡调整、色阶变换处理和颜色空间变换处理中的至少一个作为颜色再现处理。
3.根据权利要求1所述的图像处理装置，还包括：警告单元，所述警告单元向用户通知由所述区域检测单元检测到的超过所述预定变化量的特性变化的发生。
4.根据权利要求3所述的图像处理装置，其中，
所述警告单元能够在基于颜色再现处理之后的图像信号的显示图像中识别经历了超过预定变化量的特性变化的图像区域。
5.根据权利要求1所述的图像处理装置，还包括生成光谱信息的传感器单元，其中，
所述区域检测单元根据基于图像信号的光源分析结果与基于由所述传感器单元生成的光谱信息的光源分析结果之间的比较结果，检测是否发生经历了超过预定变化量的特性变化的图像区域。
6.一种图像处理装置，包括：
颜色再现处理单元，所述颜色再现处理单元对图像信号执行颜色再现处理；以及
区域检测单元，所述区域检测单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，
其中当基于判定对象像素的预定区域中的颜色再现处理之后的像素信号的色散相对于颜色再现处理之前的像素信号的色散的变化量超过阈值，以及所述判定对象像素的像素信号在颜色再现处理之前是不饱和的并且在颜色再现处理之后变为饱和的时，所述区域检测单元判定所述判定对象像素是经历了超过预定变化量的特性变化的图像区域中的像素。
7.根据权利要求6所述的图像处理装置，其中，
所述区域检测单元根据基于颜色再现处理之前的图像信号的图像的属性来调整阈值。
8.根据权利要求7所述的图像处理装置，其中，
所述区域检测单元使用被摄体的颜色和纹理水平、和图像的亮度中的至少一个作为图像的属性。
9.一种图像处理装置，包括：
颜色再现处理单元，所述颜色再现处理单元对图像信号执行颜色再现处理；
区域检测单元，所述区域检测单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域；以及
混合处理单元，所述混合处理单元执行颜色再现处理之后的图像信号和未经受颜色再现处理的图像信号的混合处理，
其中所述区域检测单元根据超过预定变化量的特性变化的检测结果来设定由所述混合处理单元执行的混合处理的混合比率。
10.根据权利要求9所述的图像处理装置，其中，
所述区域检测单元随着特性变化量的增加或经历了超过预定变化量的特性变化的图像区域的面积的增加而减小颜色再现处理之后的图像信号的比率。
11.一种图像处理方法，包括：
对图像信号执行颜色再现处理；以及
将颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的像素信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。
12.一种图像处理方法，包括：
对图像信号执行颜色再现处理；以及
通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，
其中当基于判定对象像素的预定区域中的颜色再现处理之后的像素信号的色散相对于颜色再现处理之前的像素信号的色散的变化量超过阈值，以及所述判定对象像素的像素信号在颜色再现处理之前是不饱和的并且在颜色再现处理之后变为饱和的时，判定所述判定对象像素是经历了超过预定变化量的特性变化的图像区域中的像素。
13.一种图像处理方法，包括：
对图像信号执行颜色再现处理；
通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域；以及
执行颜色再现处理之后的图像信号和未经受颜色再现处理的图像信号的混合处理，
其中根据超过预定变化量的特性变化的检测结果来设定混合处理的混合比率。
14.一种存储了用于使计算机执行图像信号处理的程序的存储介质，所述程序使计算机执行：
对图像信号执行颜色再现处理的过程；以及
将颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的像素信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素的过程。
15.一种存储了用于使计算机执行图像信号处理的程序的存储介质，所述程序使计算机执行：
对图像信号执行颜色再现处理的过程；以及
通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域的过程，
其中当基于判定对象像素的预定区域中的颜色再现处理之后的像素信号的色散相对于颜色再现处理之前的像素信号的色散的变化量超过阈值，以及所述判定对象像素的像素信号在颜色再现处理之前是不饱和的并且在颜色再现处理之后变为饱和的时，判定所述判定对象像素是经历了超过预定变化量的特性变化的图像区域中的像素。
16.一种存储了用于使计算机执行图像信号处理的程序的存储介质，所述程序使计算机执行：
对图像信号执行颜色再现处理的过程；
通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域的过程；以及
执行颜色再现处理之后的图像信号和未经受颜色再现处理的图像信号的混合处理的过程，
其中根据超过预定变化量的特性变化的检测结果来设定混合处理的混合比率。
17.一种成像装置，包括：
颜色再现处理单元，所述颜色再现处理单元对由成像单元生成的图像信号执行颜色再现处理；以及
控制单元，所述控制单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，生成指示检测结果的检测信息，并且将所述检测信息与颜色再现处理之后的图像信号相关联，
其中所述控制单元将颜色再现处理之前的像素信号是不饱和的并且颜色再现处理之后的像素信号是饱和的像素判定为经历了超过预定变化量的特性变化的图像区域的像素。
18.一种成像装置，包括：
颜色再现处理单元，所述颜色再现处理单元对由成像单元生成的图像信号执行颜色再现处理；以及
控制单元，所述控制单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，生成指示检测结果的检测信息，并且将所述检测信息与颜色再现处理之后的图像信号相关联，
其中当基于判定对象像素的预定区域中的颜色再现处理之后的像素信号的色散相对于颜色再现处理之前的像素信号的色散的变化量超过阈值，以及所述判定对象像素的像素信号在颜色再现处理之前是不饱和的并且在颜色再现处理之后变为饱和的时，所述控制单元判定所述判定对象像素是经历了超过预定变化量的特性变化的图像区域中的像素。
19.一种成像装置，包括：
颜色再现处理单元，所述颜色再现处理单元对由成像单元生成的图像信号执行颜色再现处理；
控制单元，所述控制单元通过使用颜色再现处理之前的图像信号和颜色再现处理之后的图像信号来检测经历了超过预定变化量的特性变化的图像区域，生成指示检测结果的检测信息，并且将所述检测信息与颜色再现处理之后的图像信号相关联；以及
混合处理单元，所述混合处理单元执行颜色再现处理之后的图像信号和未经受颜色再现处理的图像信号的混合处理，
其中所述控制单元根据超过预定变化量的特性变化的检测结果来设定由所述混合处理单元执行的混合处理的混合比率。
20.根据权利要求17-19中的任一项所述的成像装置，还包括：显示单元，所述显示单元基于颜色再现处理之后的图像信号来显示图像，其中，
所述控制单元能够在所述显示单元上显示的基于颜色再现处理之后的图像信号的显示图像中识别经历了超过预定变化量的特性变化的图像区域。
21.根据权利要求17-19中的任一项所述的成像装置，其中，
所述控制单元将所述检测信息与颜色再现处理之后的图像信号相关联，并且将所述检测信息记录在记录介质上或者将所述检测信息输出到外部装置。
CN201880046933.0A 2017-07-21 2018-05-30 图像处理装置、图像处理方法、存储介质和成像装置 Active CN110915204B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-141731 2017-07-21
JP2017141731 2017-07-21
PCT/JP2018/020716 WO2019017081A1 (ja) 2017-07-21 2018-05-30 画像処理装置と画像処理方法とプログラムおよび撮像装置

Publications (2)

Publication Number Publication Date
CN110915204A CN110915204A (zh) 2020-03-24
CN110915204B true CN110915204B (zh) 2022-07-26

Family

ID=65015692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046933.0A Active CN110915204B (zh) 2017-07-21 2018-05-30 图像处理装置、图像处理方法、存储介质和成像装置

Country Status (3)

Country Link
US (1) US11172173B2 (zh)
CN (1) CN110915204B (zh)
WO (1) WO2019017081A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071091A1 (ja) * 2018-10-04 2020-04-09 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP6632750B1 (ja) * 2019-03-11 2020-01-22 マレリ株式会社 画像表示装置
JP2022099436A (ja) * 2020-12-23 2022-07-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN115955611B (zh) * 2022-03-28 2023-09-29 荣耀终端有限公司 图像处理方法与电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229198A (ja) * 2004-02-10 2005-08-25 Sony Corp 画像処理装置および方法、並びに、プログラム
CN101552873A (zh) * 2008-04-04 2009-10-07 索尼株式会社 成像设备、图像处理设备以及曝光控制方法
JP2010206725A (ja) * 2009-03-05 2010-09-16 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体
CN101867826A (zh) * 2009-04-15 2010-10-20 佳能株式会社 图像处理设备和图像处理方法
JP2012119780A (ja) * 2010-11-29 2012-06-21 Fujifilm Corp 撮像装置、撮像方法及びプログラム
CN102651136A (zh) * 2011-02-28 2012-08-29 国际商业机器公司 图像的颜色映射方法及装置
CN102917183A (zh) * 2011-08-04 2013-02-06 索尼公司 成像装置、图像处理方法和程序
CN103167292A (zh) * 2011-12-16 2013-06-19 株式会社东芝 自动白平衡调整系统、自动白平衡调整方法及照相机模块
JP2017126952A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP5406998B1 (ja) * 2013-03-07 2014-02-05 Ｅｉｚｏ株式会社 色調整装置、画像表示装置、及び色調整方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229198A (ja) * 2004-02-10 2005-08-25 Sony Corp 画像処理装置および方法、並びに、プログラム
CN101552873A (zh) * 2008-04-04 2009-10-07 索尼株式会社 成像设备、图像处理设备以及曝光控制方法
JP2010206725A (ja) * 2009-03-05 2010-09-16 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体
CN101867826A (zh) * 2009-04-15 2010-10-20 佳能株式会社 图像处理设备和图像处理方法
JP2012119780A (ja) * 2010-11-29 2012-06-21 Fujifilm Corp 撮像装置、撮像方法及びプログラム
CN102651136A (zh) * 2011-02-28 2012-08-29 国际商业机器公司 图像的颜色映射方法及装置
CN102917183A (zh) * 2011-08-04 2013-02-06 索尼公司 成像装置、图像处理方法和程序
CN103167292A (zh) * 2011-12-16 2013-06-19 株式会社东芝 自动白平衡调整系统、自动白平衡调整方法及照相机模块
JP2017126952A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム

Also Published As

Publication number Publication date
US11172173B2 (en) 2021-11-09
US20200154083A1 (en) 2020-05-14
CN110915204A (zh) 2020-03-24
WO2019017081A1 (ja) 2019-01-24

Similar Documents

Publication Publication Date Title
US11910099B2 (en) Real-time HDR video for vehicle control
CN110915204B (zh) 图像处理装置、图像处理方法、存储介质和成像装置
US11082626B2 (en) Image processing device, imaging device, and image processing method
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
CN110463194B (zh) 图像处理装置和图像处理方法以及图像捕获装置
KR101367637B1 (ko) 감시장치
CN108886603B (zh) 车载用显示装置
JP2014107852A (ja) 撮像装置
CN109479093B (zh) 图像处理装置和图像处理方法
CN109479092B (zh) 图像处理设备和图像处理方法
JPWO2019003675A1 (ja) 撮像装置とフリッカー補正方法およびプログラム
CN113826105A (zh) 图像识别装置和图像识别方法
CN111095909B (zh) 摄像控制设备、摄像设备、控制方法及计算机可读介质
US10063827B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
US20200402206A1 (en) Image processing device, image processing method, and program
WO2020049806A1 (ja) 画像処理装置および画像処理方法
WO2022215234A1 (ja) 画像処理装置および画像処理方法
WO2021166601A1 (ja) 撮像装置、および撮像方法
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP2024000625A (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant