CN107431793A - 图像处理装置和图像处理方法以及程序 - Google Patents

图像处理装置和图像处理方法以及程序 Download PDF

Info

Publication number
CN107431793A
CN107431793A CN201680016399.XA CN201680016399A CN107431793A CN 107431793 A CN107431793 A CN 107431793A CN 201680016399 A CN201680016399 A CN 201680016399A CN 107431793 A CN107431793 A CN 107431793A
Authority
CN
China
Prior art keywords
processing
image
images
pixel value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680016399.XA
Other languages
English (en)
Inventor
江藤博昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107431793A publication Critical patent/CN107431793A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种生成晕光区域减小、并且以高精度表示被写体的颜色和灰度的图像的装置和方法。本发明具有图像处理单元，所述图像处理单元接收与成像元件的输出图像对应的RAW图像并且对接收的RAW图像执行图像处理。所述图像处理单元执行去马赛克处理，用于生成R图像、G图像以及B图像，其中，通过对所述RAW图像去马赛克，为所有像素设置R、G以及B中的每个颜色；并且在去马赛克处理之后，为所述R图像、G图像以及B图像中的每一个执行白平衡处理，并且在白平衡处理之后，还执行在G图像的饱和像素区域中估计G像素的像素值的处理。在像素值估计处理中，应用经过白平衡处理并且位于与待估计其像素值的G像素相同的像素位置处的R图像和B图像。

Description

图像处理装置和图像处理方法以及程序
技术领域
本公开涉及一种图像处理设备、一种图像处理方法以及一种程序。更具体地，本公开涉及一种图像处理设备、一种图像处理方法以及一种程序，用于执行将拍摄图像内的诸如曝光过度高亮区域等像素区域恢复为其原始灰度和颜色的处理。
背景技术
例如，在摄像机和数码相机中使用的诸如电荷耦合装置(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器等固态成像装置实现光电转换，包括与入射光量成比例的蓄积电荷并输出与蓄积电荷成比例的电信号。然而，光电转换装置具有其蓄积电荷量的上限，并且当接收到固定或更多量的光时，蓄积电荷的量达到饱和水平。结果，发生所谓的曝光过度高亮，使得具有固定或更大等级的亮度的主体区域被设置为饱和亮度水平。
避免这种曝光过度高亮的一种技术是通过控制光电转换装置的电荷蓄积周期并且例如根据外部光的变化调整曝光时间来控制对其最佳电平的灵敏度的处理。例如，对于明亮的主体，通过高速释放快门来减少曝光时间，减少光电转换装置的电荷蓄积期间，并且在蓄积电荷量达到饱和水平之前输出电信号。这种处理使得可以输出精确地再现适合于主体的灰度的图像。
然而，在拍摄具有混合亮区域和暗区域的被写体的拍摄期间高速释放快门，由于在黑暗区域中的曝光时间不足导致的信噪比(S/N)劣化，导致图像质量下降。为了精确地再现具有混合亮区域和暗区域的主体的拍摄图像中的亮区域和暗区域的亮度级，需要以下处理：通过使用在图像传感器上仅具有少量入射光的像素中的长的曝光时间来实现高S/N，并避免在具有大量入射光的像素中饱和。
连续拍摄具有不同曝光时间的多个图像并合成这些图像被称为实现这种处理的技术。即，该技术通过使用合成处理生成单个图像，该合成处理包括连续和单独拍摄长时间曝光图像和短时间曝光图像，并且将长时间曝光图像用于暗图像区域，将短时间曝光图像用于亮图像区域，可能导致长时间曝光图像中的曝光过度高亮。因此，可以通过合并多个不同的曝光图像来获取没有曝光过度高亮的具有宽的动态范围的图像，即宽动态范围图像(高动态范围(HDR)图像)。
例如，PTL 1(JP 2000-50151A)公开了通过拍摄具有多个不同的曝光时间设置的两个图像并合并这些图像来获取宽动态范围图像的配置。
然而，使用多个图像(长时间和短时间曝光图像)的这种处理可以用作静止图像的处理。然而，难以将该处理用于视频。这样做的原因在于，为构成视频的每个帧交替拍摄长时间和短时间曝光图像并处理图像，导致各种问题，包括较低的显示帧速率、更大的处理负担以及难以实现实时显示。
如果在检查用相机实时拍摄的运动图像之后需要继续进行处理，例如，当使用内窥镜执行手术时，需要在拍摄和观察的图像之间的相同性，即实时性。
如上所述在合并多个图像的处理之后显示图像，导致延迟显示图像。因此，当与内窥镜一样需要实时显示时，不可能执行多图像合并处理。
【引用列表】
【专利文献】
【PTL 1】
JP 2000-50151A
发明内容
【技术问题】
例如，根据上述内容设计本公开，并且本公开的目的是提供一种图像处理设备、一种图像处理方法以及一种程序，其更精确地再现包括在拍摄图像、视频和静止图像内的诸如曝光过度高亮等高亮度区域的颜色和灰度，以生成高质量的图像。
【问题的解决问题】
本公开的第一方面是一种图像处理设备，包括图像处理部，其输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理。所述图像处理部包括去马赛克处理部、白平衡处理执行部以及像素值估计部。去马赛克处理部通过对RAW图像去马赛克来生成为所有像素设置RGB各颜色的红色、绿色和蓝色(RGB)图像。白平衡处理执行部白平衡由所述去马赛克处理部生成的RGB各图像。像素值估计部在所述白平衡处理之后产生的G图像的饱和像素区域中执行G像素值估计处理。所述像素值估计部使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后产生的R图像和B图像的像素值来执行像素值估计处理。
此外，本公开的第二方面是一种用于在图像处理设备中执行图像处理的图像处理方法。所述图像处理设备包括图像处理部，其输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理。所述图像处理部执行去马赛克处理、白平衡处理以及像素值估计处理。去马赛克处理通过对RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像、B图像。白平衡处理白平衡由所述去马赛克处理生成的RGB各图像。像素值估计处理在所述白平衡处理之后产生的G图像的饱和像素区域中执行G像素值估计处理。在像素值估计处理中，所述像素值估计部使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后产生的R图像和B图像的像素值来执行像素值估计处理。
此外，本公开的第三方面是一种使图像处理设备执行图像处理的程序。所述图像处理设备包括图像处理部，其输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理。所述程序使所述图像处理部执行去马赛克处理、白平衡处理以及像素值估计处理。去马赛克处理通过对RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像。白平衡处理白平衡由所述去马赛克处理生成的RGB各图像。像素值估计处理在所述白平衡处理之后产生的G图像的饱和像素区域中执行G像素值估计处理。
在像素值估计处理中，所述程序使所述图像处理部通过与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后产生的所述R图像和B图像的像素值来执行像素值估计处理。
应当注意，根据本公开的程序是例如程序，该程序可以由存储介质或者通信介质以计算机可读形式提供给能够执行各种程序代码的信息处理设备或提供给计算机系统。通过以计算机可读形式提供这种程序，在信息处理设备和计算机系统上实现适合该程序的处理。
通过基于稍后将描述的本公开的实施例的详细描述和附图，本公开的其他目的、特征和优点将变得显而易见。应当注意，本说明书中的系统是指多个设备的逻辑集合的配置，并不限于具有设置在同一个壳体中的相应配置的设备。
【发明的有益效果】
根据本公开的实施例的配置，实现了用于生成以高精度表示被写体的颜色和灰度的具有减小的曝光过度高亮区域的图像的设备和方法。
具体地，该设备包括图像处理部，其输入与成像装置的输出图像对应的RAW图像，并对输入的RAW图像执行图像处理。图像处理部执行去马赛克处理、白平衡处理以及进一步的像素值估计处理。去马赛克处理通过对RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像。白平衡处理白平衡在所述去马赛克处理之后产生的相应RGB图像。像素值估计处理在所述白平衡处理之后产生的G图像的饱和像素区域中执行G像素值估计处理。在像素值估计处理中，通过使用在与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后产生的R图像和B图像的像素值来执行像素值估计处理。
本公开中的处理使得可以生成和输出以高精度表示被写体的颜色和灰度的、具有减小的曝光过度高亮区域的图像。
应当注意，本说明书中描述的效果仅仅是说明性的而不是限制性的，并且可能存在额外的效果。
附图说明
图1是描述作为成像设备的拍摄图像的示例的具有曝光过度高亮的图像的示图；
图2是描述拜耳模式的示图，这是成像装置中的像素设置的示例；
图3是描述去马赛克处理的示图；
图4是描述在曝光过度高亮区域与在去马赛克之后产生的图像之间的对应关系的示图；
图5是描绘在去马赛克之后产生的RGB图像的曝光过度高亮发生区域中的像素值的示例的示图；
图6是描述白平衡(WB)处理的示图；
图7是描述剪切处理的示图；
图8是描述G像素值估计处理的示图；
图9是描述G像素值估计处理的示图；
图10是描述人们观察到的颜色的示图；
图11是描述G像素值估计处理的示图；
图12是描述色调映射处理的示图；
图13是描述由色调映射处理生成的输出图像的示图；
图14是描述由本公开的图像处理设备执行的图像处理顺序的流程图的示图；
图15是描述本公开的图像处理设备的配置示例的示图；
图16是描述本公开的图像处理设备的配置示例的示图；
图17是描述本公开的图像处理设备的配置示例的示图。
具体实施方式
下面将参考附图，给出本公开的图像处理设备、图像处理方法和程序的详细描述。应当注意，将根据以下条目给出描述：
1、关于由本公开的图像处理设备执行的处理的概要
2、关于通过执行像素值估计处理来减少曝光过度高亮(blown-out highlight)区域的实施例
3、关于由图像处理设备执行的处理的处理顺序
4、关于图像处理设备的配置示例
5、本公开的配置的结论
1、关于由本公开的图像处理设备执行的处理的概要
首先，将参考之前的图1，给出由本公开的图像处理设备执行的处理的概要的描述。
图1示出了用成像设备拍摄的苹果的图像的示例，这是图像处理设备的示例。
光从图中所示的苹果的前上部照射出来，具有多个反射光的区域呈现为“曝光过度高亮”区域。
“曝光过度高亮”区域是由于丢失了被写体的原始颜色和灰度而输出并显示为完全白色的区域。
虽然在图中所示的示例中拍摄了红苹果，但是在曝光过度高亮区域中根本没有再现苹果的红色，并且不可能在这些区域中检查颜色和灰度。
以下将简要描述发生曝光过度高亮区域的原因。
图2示出了成像设备中的成像装置的示例。
图2所示的成像装置具有以称为拜耳模式的模式规则地并排设置的RGB像素。
成像装置包括均选择性地通过RGB颜色中的一个的滤波器，并且滤波器设置在积累与光量成比例的电荷的半导体装置上。
成像装置的输出图像是在每个像素中具有R、G或B像素值的图像。成像装置的该输出图像将被称为RAW图像。
RAW图像记录每像素一种颜色的像素值，即RGB中的一种。
诸如数字信号处理器(DSP)等成像设备的图像处理部输入成像设备的输出(RAW图像的模拟/数字(A/D)转换数据)，并且执行使用输入的RAW图像为每个像素设置所有RGB各像素值的处理。这个处理被称为去马赛克或去拜耳处理。
将参考图3描述去马赛克处理。
去马赛克处理被作为如下处理而执行：使用如图3的(1)所示的RAW图像(具有为每个像素设置的R、G或B像素值)来生成具有为每个像素设置的所有RGB颜色的图像，即图3的(2)至图3的(4)所示的RGB图像。
在该去马赛克处理中，例如，当生成图3的(2)所示的R图像时，执行处理以使用周围的R像素值通过内插处理计算在RAW图像中的G和B像素位置处的R像素值。
另一方面，当生成图3的(3)所示的G图像时，执行处理以使用周围的G像素值通过内插处理计算在RAW图像中的R和B像素位置处的G像素值。
当生成图3的(4)所示的B图像时，执行处理以使用周围的B像素值通过内插处理计算在RAW图像中的R和G像素位置处的B像素值。
由于这些处理，进行了基于RAW图像将RGB各像素值设置为所有像素的去马赛克处理。
接下来，将参考前述图4，给出由去马赛克处理基于RAW图像和曝光过度高亮区域生成的RGB图像之间的关系的描述。
图4的(a)是示意性地示出参考图1说明的具有曝光过度高亮区域的苹果的图像的示例以及曝光过度高亮区域的放大图。
假设在图4的(a)所示的曝光过度高亮区域的放大图中对应于水平线PQ的像素位置处的RGB图像的像素位置是由在图4的(b)所示的每个RGB图像中具有白色矩形区域的从顶部开始的第三行构成的像素区域。
图4的(b)所示的每个RGB图像是通过参考图3描述的去马赛克处理从RAW图像生成的图像。
图4的(b)所示的每个RGB图像中的具有白色矩形区域的从顶部开始的第三像素区域P至Q等于图4的(a)所示的曝光过度高亮区域的放大图中的水平线PQ。
图5示出了PQ行中的像素值的示例。
图5的(b)是与图4的(b)相同的示图。
图5的(c)是示出在每个RGB图像中的行P到Q的像素值的示图。
为每个RGB绘制P和Q之间的像素值。
垂直轴对应于每个像素的像素值。100％表示成像装置的完全蓄积电荷比，并且等于饱和像素值。例如，当像素值由8位数字数据(0到255)表示时，100％等于255(11111111)的位值。
在图中所示的示例中，R和G图像在P和Q之间的所有像素位置处具有100％或更小的像素值而没有饱和像素值。
然而，G图像在P和Q之间的中心部分的给定区域中具有100％的像素值。这表示在该区域中像素值饱和。
成像设备的图像处理部使用图5的(c)所示的去马赛克之后产生的RGB图像来执行白平衡(WB)处理。
将参考图6描述白平衡(WB)处理的示例。
图6的(c)是与图5的(c)相同的示图。
图6的(d)是示出通过白平衡(WB)处理的在每个RGB图像中的行P到Q的像素值的校正示例的示图。
进行白平衡处理，以使输出图像的白色区域更接近其实际的白色。
例如，白平衡处理作为如下处理而执行：根据成像装置特性，将每个RGB各像素值乘以给定的WB参数的处理。
在图6的(d)所示的示例中，通过将R像素值乘以乘法参数2.5来计算在WB处理之后产生的R像素值。
此外，通过将B像素值乘以乘法参数2.0来计算在WB处理之后产生的B像素值。
通常，WB处理作为如下处理而执行：通过相对于G像素仅将R和B乘以给定参数来改变R和B像素值中的每一个。
如图6的(d)所示，在WB处理之后产生的最大R像素值接近200％，B像素的最大像素值也接近200％。
应当注意，200％等于成像装置的100％蓄积电荷的两倍的电荷蓄积量。当由8位数字数据(0到255)表示时，200％等于255(11111111)的位值的两倍，即510的位值，这是不能由8位数据表示的值。
成像设备的图像处理部还基于白平衡处理(RGB图像)之后产生的图像，生成用于输出到显示部的数据或用于存储在存储部中的图像数据。
将参考图7描述该处理。
图7的(d)是与图6的(d)相同的示图。
图7的(e)是描述基于在图7的(d)所示的白平衡处理(RGB图像)之后产生的图像，生成用于输出到显示部或用于存储在存储部中的图像数据的处理示例的示图。
通常的显示设备，特别是能够显示标准动态范围(SDR)图像的显示设备，可以输出图中所示的0％至100％的像素值，例如，8位数字数据(0至255)，但不能输出等于图中所示的100％至200％的像素值(位值0到510)。
因此，当基于白平衡处理(RGB图像)之后产生的图像生成用于输出到显示部或用于存储在存储部中的图像数据时，执行剪切处理，以将具有100％或更多像素值的所有RGB各像素值设置为100％。
即，执行图7的(e)所示的剪切处理。
作为前面参考图6描述的白平衡(WB)处理的结果，其像素被设置为100％或更多的区域已经出现在R和B图像中。执行剪切处理，以将具有100％或更多像素值的所有这些像素区域设置为100％。
结果，确定图7的(e)所示的RGB输出像素值并将其输出到显示部。
图7的(e)中所示的相应RGB各像素值是图4的(a)所示的曝光过度高亮区域的在行P至Q的区域中的输出像素值RGB。
如图7的(e)所示，对于在P到Q区域的中心部分的所有RGB，像素值饱和。
输出8位数字数据(0到255)的显示设备为RGB产生最大输出255。
即，RGB像素都具有其最大输出像素值，其在该区域中产生具有曝光过度高亮区域的输出。
在曝光过度高亮区域中，完全不可能识别被写体的原始颜色和灰度，从而显著降低图像质量。
2、关于通过执行像素值估计处理来减少曝光过度高亮区域的实施例
接下来将给出通过执行G像素值估计处理来减少曝光过度高亮区域的实施例的描述。
图8的(d)是与参考图6的(d)描述的示图相同的示图，是示出在去马赛克之后产生的RGB图像上的白平衡(WB)处理的示例的示图。
如参考图7所述，执行切断在白平衡(WB)处理之后产生的RGB图像的100％或更多像素区域的剪切处理，会导致给定长度的饱和像素值区域的出现，其中，在P到Q区域的中心区域中，R＝G＝B＝100％，并且该区域变为曝光过度高亮区域。
参考前述图8的(f)，给出减少该曝光过度高亮区域的本公开的处理示例的描述。
图8的(f)示出了通过使用在白平衡(WB)处理之后产生的RGB图像来估计G图像的100％或更多饱和像素区域中的被写体的像素值的处理示例。
如前面参考图6所述，在白平衡(WB)处理中，R和B像素值乘以1或更大的白平衡乘法参数。由于该处理，R和B图像的像素值被设置为相当于成像装置的饱和像素值的100％或更多。
然而，在白平衡处理中，G图像中通常不会经常发生像素值转换。因此，不会发生100％或更多的像素值。
在本公开的处理中，执行处理以基于由白平衡处理生成的R和B图像来估计G图像的饱和像素区域(100％区域)的像素值的处理。
具体地，通过使用在白平衡处理之后产生的R图像的相同像素位置(x，y)处的像素值R(x，y)和在白平衡处理之后产生的R图像的相同像素位置(x，y)处的像素值B(x，y)，来估计在G图像的饱和像素区域(100％区域)中的每个坐标位置(x，y)处的G像素的像素值G(x，y)。
在图8的(f)所示的G图像中，像素区域P到Q内的像素区域G1到G2为饱和像素区域(100％)。
通过使用在相同像素位置(x，y)处的白平衡处理之后产生的R和B图像的像素值R(x，y)和B(x，y)来估计该像素区域G1至G2的G像素值。
下面将参考图9以下给出G像素值估计处理的具体示例的描述。
图9示出了传统拍摄图像，图9的(a)示出了发生曝光过度高亮区域的面积，图9的(b)示出了用于G像素值估计处理的RGB图像中的相应像素位置的示例。
包括图9的(a)中的曝光过度高亮区域的一个像素线区域被表示为P至Q。图9的(b)中所示的每个RGB图像中的具有白色矩形区域的从顶部开始的第三像素区域P至Q等同于图9的(a)所示的曝光过度高亮区域的放大图中的水平线PQ。
例如，假设图9的(b2)所示的G图像中的粗体框中所示的一个像素位置(x，y)＝(2，3)的像素值为G(2，3)。当像素值G(2，3)是饱和像素值(100％)时，估计该像素位置(2，3)的原始像素值，即，100％或更多的原始像素值G(2，3)。
具体地，通过使用在与坐标位置(2，3)相同的位置处进行白平衡(WB)处理之后产生的R和B图像的像素值R(2，3)和B(2，3)，来估计像素值G(2，3)的原始像素值，即，100％或更多的原始像素值。
该估计处理是基于以下现象进行的处理：从被写体观察到的颜色取决于光源特性、物体的反射率和视觉特性。
将参考图10给出从被写体观察到的颜色的描述。
如图10所示，从被写体观察到的颜色由以下计算公式定义：
颜色＝光源特性×物体的反射率×视觉特性
图10的(a)示出了太阳作为光源的示例。
太阳的光源S(λ)具有约400至760nm波长的光，作为可见范围内的光。
图10的(b)示出了作为被写体的示例的红苹果。如图所示，在长波长范围的红色部分，红苹果的反射率高。然而，反射率不为0，甚至在对应于蓝色区域的短波长范围内，苹果也具有给定的反射率。
图10的(c)示出了人眼的视觉特性。
人眼具有传输与具有相应波长的R、G、B各光束的输入成比例的信号的个别细胞。
人眼拥有具有三种不同视觉敏感度特性(如图10的(c)底部所示的R、G、B各曲线)的细胞，基于这些细胞的输出来区分颜色。
因此，待由人观察被写体来区分的颜色取决于三个因素，即光源特性、物体的反射率和视觉特性，并且可以通过例如以下公式表示：
颜色＝光源特性×物体的反射率×视觉特性
从图10的(b)所示的物体的反射率可以理解的是，给定量的反射率从短(蓝)到长(红)波长(B至G至R)连续保持，而不降至0。
可以预测，即使以简化地方式根据短波长光(B)的反射率和长波长光(R)的反射率来发现，在中等波长范围内的G的反射率不会显著地偏离。
本公开的处理是以下的处理：其尝试基于这种预测来根据R和B像素的实际像素值估计在对应于曝光过度高亮区域的饱和像素值区域中的G像素的原始像素值。
将给出参考图11的G像素值估计处理的具体示例的描述。
根据如图11所示的以下两个步骤来计算饱和像素值区域中的G像素值。
(步骤S1)
在G(x，y)值的有效范围内，找出G(x，y)与R(x，y)的比率以及G(x，y)与B(x，y)的比率。
GR_ratio(x,y)＝G(x,y)/R(x,y)
GB_ratio(x,y)＝G(x,y)/B(x,y)
(步骤S2)
在G(x，y)值的无效范围内通过使用GR_ratio和GB_ratio根据以下公式估计像素值G(x，y)。
G(x,y)＝max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
其中，max(a，b)是从a和b中选择最大值的处理。
步骤S1中的处理是在G(x，y)值有效的范围内使用RGB各像素值的处理。在图11中，例如，G图像的P到G1区域和G2到Q区域是在饱和像素值(100％)或以下具有有效像素值的区域，并且使用这些区域中的像素值来找出与R(x，y)的比率以及与B(x，y)的比率。
比率(ratio)的计算公式，即
GR_ratio(x,y)＝G(x,y)/R(x,y)
GB_ratio(x,y)＝G(x,y)/B(x,y)
上述公式中使用的RGB的像素位置都是相同的坐标位置。
应当注意，对于G(x，y)值为有效的待使用范围部分的像素值，各种设置是可能的。然而，一种优选的方式是使用最接近待估计的像素位置的、具有有效像素值的像素位置。
步骤S2中的处理是在G(x，y)值无效的范围内(即在G像素值在饱和像素值(100％)的区域中)计算新的估计的像素值的处理。
通过使用在步骤S1中计算的GR比率(GR_ratio)和GB比率(GB_ratio)，根据以下公式计算饱和像素值(100％)区域中的估计像素值G(x，y)。
G(x,y)＝max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
上述公式中使用的RGB的像素位置都处于同一坐标位置。
因此，估计出了在G(x，y)值无效的范围内(即G像素值为饱和像素值(100％)的区域中)的像素值。
其结果是在图11所示的G图像中的虚线所示的100％至200％的范围内的像素值。
如图11所示，该G像素值估计处理生成图像数据，该图像数据具有为RGB中的每一个设置的范围从0％到200％的像素值。
然而，由0％至200％的像素值组成的RGB图像可以用能够输出高动态范围图像的HDR显示设备来显示，但是不能用公共SDR显示设备来显示。
为了使SDR显示设备显示这种图像，需要执行将具有图11所示的0％至200％的像素值的RGB图像转换成具有0％至100％的像素值的图像的处理。该像素值转换处理被称为色调映射处理。
下面将参考图12给出该色调映射处理的描述。
色调映射处理是通过将HDR图像转换成具有低动态范围的普通SDR图像的处理，生成可以由普通SDR显示设备输出的像素值构成的图像。
图12的(1)示出了通过执行G像素值估计处理而生成的RGB图像，该G像素值估计处理使用前面参考图11所述的白平衡(WB)处理之后产生的RGB图像。
RGB图像的像素值落在0％至200％范围内，并且等同于具有不能由普通SDR显示设备表示的动态范围的HDR图像。
应当注意，从0％到100％的像素值等于例如可以由在从0到255的范围内的8位数据表示的像素值，并且从0％到200％的像素值例如等于在从0到511的范围内的像素值。
能够输出8位数据的SDR显示设备可以输出从0到255的像素值，但是不能输出从0到511的像素值。
色调映射处理作为如下处理而执行：将相当于HDR图像的(具有从0到511的像素值)RGB图像转换为具有从0到255的像素值的SDR图像。
将描述色调映射处理的示例。
例如，色调映射处理作为使用光电转换函数(OETF)的处理而执行。具体地，例如，执行色调映射处理，作为根据以下公式转换像素值的处理：
公式1
在上述公式中，
V：输出电压
L：亮度
a、b、c、d、e：转换因子(转换参数)
应当注意，例如，根据显示部的特性，适当地设定“a”、“b”、“c”、“d”以及“e”。
上述公式是定义SDR显示设备的输出像素值的输出电压(V)的计算公式的示例。
用于色调映射处理的像素值转换公式不限于上述公式，并且可以根据显示设备的特性使用各种转换公式。
如图12的(2)所示，色调映射处理将具有0％至200％的像素值的HDR等效图像转换为由0％至100％的像素值组成的SDR等效图像。
转换后产生的图像信号全部由100％或以下的像素值构成，例如，在8位数字数据的0到255范围内的像素值，并且可以用SDR显示设备显示。
图13的(3)示出了由色调映射处理生成的RGB图像信号的示例。
所有的RGB图像信号都落在可以例如由作为有效像素值可以输出到SDR显示设备的8位数据表示的像素值(0％至100％)的范围内。
当这些RGB图像信号显示在SDR显示设备上时，如图13的(4)所示，可以显示并输出没有较多曝光过度高亮区域的图像或具有减小的曝光过度高亮区域的图像。
上述处理可以以逐个拍摄的图像为单位来执行，并且不仅可以用于静止图像，而且可以用于视频。
作为静止图像的动态范围扩展处理的前述多个长曝光图像和短曝光图像的合成处理需要处理时间，并且难以将合成处理用于视频。
然而，使用G像素值估计处理的上述配置可以以构成视频的逐个拍摄的图像(逐个帧)为单位来执行，使得可以显示拍摄的视频，而不引起处理时间延迟太多。
特别地，当需要通过实时检查拍摄图像来执行处理时，色调映射是最佳处理。
一个具体的示例是内窥镜。当使用内窥镜进行手术时，需要拍摄图像和观察图像之间的同一性，即实时性。
使用G像素值估计处理的上述配置允许立即校正和显示拍摄图像，使其对于需要实时性的拍摄和显示处理是最佳的。
3、关于由图像处理设备执行的处理的处理顺序
接下来，将参考图14所示的流程图给出本公开的图像处理设备执行的处理顺序的描述。
将给出由本公开的图像处理设备执行的处理的描述，具体地，给出了参考图14所示的流程图的、用于通过执行上述的具有饱和像素值的G像素的像素值估计处理、来生成要输出到显示部或存储在存储器或其他存储设备中的图像数据的顺序。
应当注意，例如，由具有程序执行功能的图像处理部(例如，DSP)执行根据图14所示的流程的处理。该程序被存储在存储部(存储器)中，并被读入图像处理部内，以供执行。
下面将给出图14所示的流程的相应步骤中的处理的描述。
(步骤S101)
首先，在步骤S101中，图像处理设备的图像处理部输入所获取的作为成像装置的输出的RAW图像。
如前面参考图2等所述，RAW图像是对于每个像素位置而言设置了R、G和B像素值中的仅一个的图像数据。
(步骤S102)
接下来，在步骤S102中，图像处理部对RAW图像执行去马赛克处理。
如前面参考图3所述，去马赛克处理是以下这种处理：通过使用在每个像素(即仅为RGB中的一个设置的像素值)中具有一种颜色的RAW图像来生成具有为每个像素设置所有RGB颜色的图像，即，图3的(2)至3(4)中所示的RGB图像。
当生成图3的(2)所示的R图像时，例如，去马赛克处理作为如下处理而执行：使用周围的R像素值在RAW图像中的G和B像素位置处进行R像素值的内插处理。
同样，对于G和B图像，执行内插处理，以使用周围的G和B像素值来内插没有设置像素值的像素，来生成G和B图像。
(步骤103)
接下来，在步骤S103中，图像处理部进行白平衡(WB)处理。
进行白平衡处理，以使输出图像的白色区域更接近其实际的白色。
如前面参考图6所述，例如，白平衡处理作为如下处理而执行：根据成像装置特性将每个RGB各像素值乘以给定的WB参数的处理。
在图6的(d)所示的示例中，通过将R像素值乘以乘法参数2.5来计算在WB处理之后产生的R像素值。
此外，通过将B像素值乘以乘法参数2.0来计算在WB处理之后产生的B像素值。
通常，WB处理作为如下处理而执行：仅将R和B乘以相对于G像素的给定参数来改变R和B像素值中的每一个的处理。
如图6的(d)所示，在WB处理之后产生的最大R像素值接近200％，B像素的最大像素值也接近200％。
(步骤S104)
接下来，在步骤S104中，图像处理部对具有饱和像素值(100％)的G像素执行像素值估计处理。
该处理是前面参考图8到11描述的处理。
具体地，图像处理部执行步骤1和2的以下处理：
(步骤S1)
在G(x，y)值的有效范围内，找出G(x，y)与R(x，y)的比率以及G(x，y)与B(x，y)的比率。
GR_ratio(x,y)＝G(x,y)/R(x,y)
GB_ratio(x,y)＝G(x,y)/B(x,y)
(步骤S2)
通过在G(x，y)值的无效范围内使用GR_ratio和GB_ratio，根据以下公式估计像素值G(x，y)。
G(x,y)＝max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
其中，max(a，b)是从a和b中选择最大值的处理。
因此，在G(x，y)值无效的范围内，即G像素值为饱和像素值(100％)的区域中，计算估计像素值。
其结果是在图11所示的G图像中的虚线所示的100％至200％的范围内的像素值。
(步骤S105)
接下来，在步骤S105中，图像处理部执行适合于显示部(信号被输出到显示部)的特性的信号转换处理，即色调映射处理。
对于前面参考图8到11描述的成像装置，由白平衡处理和G像素值估计处理生成的图像数据具有从0％到100％的输出像素值范围扩展到从0％至200％的范围的像素值。
假设成像装置的输出像素值的范围为0％到100％的像素值为例如0到255的8位像素值，0％到200％的像素值对应于像素值为0到511。
能够输出8位数据的SDR显示设备可以输出0到255的像素值，但不能输出0到511的像素值。
色调映射处理作为如下处理而执行：将等同于HDR图像(具有从0到511的像素值)的RGB图像转换为具有从0到255的像素值的SDR图像的处理。
应当注意，如前所述，色调映射作为使用OETF的处理而执行。
色调映射处理生成可以输出到SDR显示设备的图像数据。
该处理等同于前面参考图12和13描述的处理。
(步骤S106)
最后，在步骤S106中，图像处理设备的图像处理部经由显示部或输出部外部输出由色调映射处理在步骤S105中生成的生成信号。或者，信号被存储在存储器中。
如前面参考图13所述，显示部上显示的图像没有更多曝光过度高亮区域或具有减小的曝光过度高亮区域。
应当注意，参考图14所示的流程图描述的处理是作为以逐个拍摄的图像为单位的处理来执行的。当拍摄图像是静止图像时，通过单个拍摄的静止图像的处理来执行该流程。当拍摄图像是视频时，通过对于每个帧重复执行构成视频的逐个帧的处理来执行该流程。
根据图14所示的流程的处理作为如下处理而执行：以构成视频的逐个拍摄的图像(逐个帧)为单位的处理，使得可以显示拍摄的视频，而不引起处理时间延迟太多。
当需要如前所述通过实时检查拍摄图像来执行处理时，该处理是最佳处理。具体地，例如，当使用内窥镜进行手术时，需要拍摄和观察的图像之间的同一性，即实时性。根据图14所示的流程的处理允许立即校正和显示拍摄图像，使得其对于需要实时性的拍摄和显示处理是最佳的，如当使用内窥镜进行手术时一样。
4、关于图像处理设备的配置示例
接下来，参考图15以下给出根据以上实施方式执行以上处理的图像处理设备的配置示例的描述。
应当注意，根据以上实施例的处理不限于成像设备，并且可以在输入RAW图像并进行图像处理的个人计算机(PC)和其他设备中执行。
首先参考图15给出成像设备(根据上述实施例执行处理的图像处理设备的示例)的配置示例的描述。
图15是示出成像设备10的配置示例的示图。成像设备10包括广泛分类的光学、信号处理、记录、显示和控制系统。
光学系统包括透镜11、光圈12和成像装置(图像传感器)13。透镜11收集被写体的光学图像。光圈12调整来自透镜11的光学图像的光量。成像装置13将收集的光学图像光电转换成电信号。
成像装置13例如包括CCD图像传感器或CMOS图像传感器。
成像装置13例如是具有滤色器(具有由前面参考图2描述的RGB像素构成的拜耳模式)的成像装置。
每个像素具有为RGB各颜色中的一个设置的像素值，以与滤色器模式匹配。
应当注意，图2所示的成像装置13的像素模式是示例，并且成像装置13可以具有各种其他设置模式。
再次参考图15，将继续描述成像设备10的配置。
信号处理系统包括采样电路14、A/D转换部15和图像处理部(DSP)16。
采样电路14例如通过相关双采样(CDS)电路实现，并且通过对来自成像装置13的电信号进行采样来生成模拟信号。这降低了成像装置13产生的噪声。采样电路14获得的模拟信号是用于显示被写体的拍摄图像的图像信号。
A/D转换分15将从采样电路14提供的模拟信号转换为数字信号，并将数字信号提供给图像处理部16。
图像处理部16对从A/D转换部15输入的数字信号执行给定的图像处理。
具体而言，图像处理部16输入如前面参考图2说明的以各像素为单位的由RGB颜色中的一个颜色的像素值数据构成的图像数据(RAW图像)，并且执行例如降噪处理，用于减少在输入RAW图像中包含的噪声。
应当注意，除了降噪处理，图像处理部16还执行为RAW图像的每个像素位置设置对应于RGB的所有颜色的像素值的去马赛克处理、白平衡(WB)调整、伽马校正、以及用于相机的其他普通信号处理任务。
此外，图像处理部16执行具有饱和像素值的上述G像素估计处理、随后进行色调映射处理等。
记录系统包括编码或解码图像信号的编码/解码部17和记录图像信号的存储器18。
编码/解码部17对图像信号、由图像处理部16处理的数字信号进行编码，并将图像信号记录到存储器18。此外，编码/解码部17从存储器18读取和解码图像信号并将信号提供给图像处理部16。
显示系统包括数字/模拟(D/A)转换部19、视频编码器20和显示部21。
D/A转换部19将由图像处理部16处理的图像信号转换为模拟信号，并将该信号提供给视频编码器20。视频编码器20将来自D/A转换部19的图像信号编码为具有与显示部21匹配的格式的视频信号。
显示部21例如由液晶显示器(LCD)等实现，并且基于通过在视频编码器20中编码所获得的视频信号来显示适合于视频信号的图像。另一方面，显示部21在拍摄被写体期间用作取景器。
控制系统包括定时生成部22、操作输入部23、驱动器24和控制部(中央处理单元(CPU))25。另一方面，图像处理部16、编码/解码部17、存储器18、定时生成部22、操作输入部23和控制部25经由总线26彼此连接。
定时生成部22控制成像装置13、采样电路14、A/D转换部15和图像处理部16的操作定时。操作输入部23包括按钮和开关，接收用户的快门操作和其他命令输入，并将适合用户操作的信号提供给控制部25。
给定的外围设备连接到驱动器24，并且驱动器24驱动连接的外围设备。例如，驱动器24从作为外围设备连接的诸如磁盘、光盘、磁光盘等记录介质或半导体存储器读取数据，并将数据提供给控制部25。
控制部25整体地控制成像设备10。例如，控制部25例如包括具有程序执行功能的CPU，经由存储器18或驱动器24从连接到驱动器24的记录介质读取控制程序，并且基于控制程序和来自操作输入部23的命令，整体地控制成像装置10的操作。
图16是示出图15所示的成像设备10的图像处理部16的配置示例的示图。
去马赛克处理执行部31输入例如使用具有包括参考图2描述的模式的滤色器模式的成像装置(图像传感器)13拍摄的图像(RAW图像)，并执行通过信号处理将每个像素恢复到其所有颜色的去马赛克处理。
白平衡(WB)处理执行部32执行前面参考图6描述的白平衡(WB)处理。例如，白平衡(WB)处理执行部32例如根据成像装置的特性，执行将每个RGB各像素值乘以给定的WB参数的处理。
在图6的(d)所示的示例中，白平衡(WB)处理执行部32通过将R像素值乘以乘法参数2.5来计算在WB处理之后产生的R像素值。此外，白平衡(WB)处理执行部32通过将B像素值乘以乘法参数2.0来计算在WB处理之后产生的B像素值。
像素值估计部33对具有饱和像素值(100％)的G像素执行像素值估计处理。
该处理是前面参考图8到11描述的处理。
具体地，像素值估计部33执行步骤1和2的以下处理：
(步骤S1)
在G(x，y)值的有效范围内，根据以下公式，找出G(x，y)与R(x，y)的比率以及G(x，y)与B(x，y)的比率。
GR_ratio(x,y)＝G(x,y)/R(x,y)
GB_ratio(x,y)＝G(x,y)/B(x,y)
(步骤S2)
通过在G(x，y)值的无效范围内使用GR_ratio和GB_ratio、根据以下公式估计像素值G(x，y)。
G(x,y)＝max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
其中，max(a，b)是从a和b中选择最大值的处理。
如上所述，在G(x，y)值无效的范围内，即G像素值为饱和像素值(100％)的区域中，计算被写体的像素值。
输出信号生成部34执行适合于显示部(信号被输出至该显示部)的特性的信号转换处理，即色调映射处理。
如上所述，对于成像装置，由白平衡处理和G像素值估计处理生成的图像数据具有从0％到100％的输出像素值范围扩展的从0％至200％的范围内的像素值。
假设成像装置的输出像素值的范围为0％到100％的像素值为例如0到255的8位像素值，0％到200％的像素值对应于像素值为0到511。
能够输出8位数据的SDR显示设备可以输出0到255的像素值，但不能输出0到511的像素值。
色调映射处理作为以下处理而执行：将等同于HDR图像(具有从0到511的像素值)的RGB图像转换为具有从0到255的像素值的SDR图像的处理。
应当注意，如前所述，色调映射作为使用OETF的处理而执行。
色调映射处理生成可以输出到SDR显示设备的图像数据。
该处理等同于前面参考图12和13描述的处理。
应当注意，根据以上实施例的处理不限于成像设备，并且可以在输入RAW图像并且如前所述执行图像处理的PC和其他设备中执行。
将参考图17给出诸如PC等图像处理设备的硬件配置示例的描述。
图17是描述诸如PC等图像处理设备的硬件配置示例的示图。
CPU71用作根据存储在只读存储器(ROM)72或存储部78中的程序执行各种处理的数据处理部。例如，CPU71根据以上实施例中描述的顺序进行处理。随机存取存储器(RAM)73存储要由CPU71执行的程序和数据。CPU 71、ROM 72和RAM 73通过总线74相互连接。
CPU 71经由总线74连接到输入/输出(I/O)接口75，并且输入部76和输出部77连接到I/O接口75。输入部76包括各种开关、键盘、鼠标、麦克风等。输出部77包括显示器、扬声器等。CPU71根据从输入部76输入的指令执行各种处理，并将处理结果例如输出到输出部77。
连接到I/O接口75的存储部78例如包括硬盘，并且存储要由CPU 71执行的程序和各种数据。通信部79用作经由互联网、局域网和其他网络传送数据的传输/接收部，并且还用作用于广播波的传输/接收部，并且与外部设备通信。
连接到I/O接口75的驱动器80驱动诸如磁盘、光盘、磁光盘等可移动介质81或诸如存储卡等半导体存储器，并将数据记录到可移除介质81或从可移除介质81读取数据。
5、本公开的配置的结论
因此，已经参考具体实施例详细描述了本公开的实施例。然而，不言而喻，本领域技术人员可以设想在不脱离本公开的要点的情况下修改或替代实施例。即，已经公开了本发明，作为说明，并且不应被限制性地解释。应当考虑权利要求部，来判断本公开的要点。
应当注意，本说明书中公开的技术可以具有以下配置：
(1)一种图像处理设备，包括：
图像处理部，其可操作为输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理，其中，
所述图像处理部包括：
去马赛克处理部，通过对RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像；
白平衡处理执行部，白平衡由所述去马赛克处理部生成的RGB各图像；以及
像素值估计部，在所述白平衡处理之后产生的G图像的饱和像素区域中执行G像素值估计处理，并且
所述像素值估计部使用与成为像素值估计对象的G像素相同的像素位置处使用在所述白平衡处理之后产生的R图像和B图像的像素值来执行像素值估计处理。
(2)根据特征(1)所述的图像处理设备，其中，
所述像素值估计部在除了在白平衡处理之后产生的G图像的饱和像素区域以外的有效像素区域中为像素位置(x，y)计算G像素值与R像素值的比率GR_ratio(x，y)以及G像素值与B像素值的比率GB_ratio(x，y)。并且
所述像素值估计部针对与成为像素值估计对象的所述G像素相同的像素位置处的所述白平衡处理之后生成的所述R图像和所述B图像的像素值适用所述像素值的比率来估计饱和像素区域中的G像素值。
(3)根据特征(2)所述的图像处理设备，其中，
所述像素值估计部从成为G像素值估计对象的像素位置附近的有效像素区域中选择用于计算像素值比率的G图像的有效像素位置。
(4)根据特征(2)或(3)所述的图像处理设备，其中
所述像素值估计部根据以下公式计算在白平衡处理之后产生的G图像的饱和像素区域中的像素位置(x，y)的像素值G(x，y)：
G(x,y)＝max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
其中，max(a，b)是从a和b中选择最大值的过程。
(5)根据特征(1)到(4)中任一项所述的图像处理设备，其中，
所述图像处理部还包括：
输出信号生成部，被适配为通过对在所述白平衡处理之后生成的所述R图像和所述B图像以及具有由所述像素值估计部计算出的G像素值的所述G图像执行色调映射处理并校正所述像素值来生成输出图像。
(6)根据特征(5)所述的图像处理设备，其中，
所述输出信号生成部通过使用光电转换函数(OETF)来校正像素值。
(7)根据特征(1)到(6)中任一项所述的图像处理设备，其中
所述白平衡处理执行部通过将由所述去马赛克处理部生成的所述R图像和所述B图像乘以预先定义的乘法因子来校正所述像素值。
(8)根据特征(1)到(7)中任一项所述的图像处理设备，其中，
所述成像装置具有拜耳模式。
(9)根据特征(1)到(8)中任一项所述的图像处理设备，其中，
所述图像处理设备是具有成像装置的成像设备。
(10)根据特征(1)到(8)中任一项所述的图像处理设备，包括：
输入部，被适配于输入成像设备的RAW图像、拍摄的图像。
(11)一种用于在图像处理设备中执行图像处理的图像处理方法，所述图像处理设备包括图像处理部，其可操作为输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理，其中，所述图像处理方法包括：
由所述图像处理部执行：
去马赛克处理，被适配为通过对所述RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像；
白平衡处理，被适配为白平衡由所述去马赛克处理生成的RGB各图像；以及
像素值估计处理，被适配为在所述白平衡处理之后生成的所述G图像的饱和像素区域中执行G像素值估计处理，并且
在所述像素值估计处理中，使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后生成的所述R图像和所述B图像的像素值来执行像素值估计处理。
(12)一种促使图像处理设备执行图像处理的程序，所述图像处理设备包括图像处理部，其可操作为输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理，所述程序促使所述图像处理部执行：
去马赛克处理，被适配为通过对所述RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像；
白平衡处理，被适配为白平衡由所述去马赛克处理生成的RGB各图像；以及
像素值估计处理，被适配为在所述白平衡处理之后生成的所述G图像的饱和像素区域中执行G像素值估计处理，并且
在所述像素值估计处理中，使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后产生的所述R图像和所述B图像的像素值来执行像素值估计处理。
在说明书中描述的这系列处理可以由硬件、软件或组合这两者的配置执行。如果这系列处理由软件执行，则将记录处理顺序的程序安装到嵌入专用硬件内的计算机的存储器中并执行。或者，将程序安装到能够执行各种处理任务的通用计算机中并执行。例如，程序可以预先记录到记录介质。除了将程序从记录介质安装到计算机之外，还可以通过经由诸如互联网等网络接收程序，将程序安装到诸如硬盘等内置记录介质中。
应当注意，说明书中描述的各种处理可以不仅根据描述按时间顺序执行，而且可以根据执行处理的设备的处理能力并行或单独地或必要时执行。另一方面，本说明书中的系统是指多个设备的逻辑集合的配置，并不限于具有设置在同一个壳体中的相应配置的设备。
【工业实用性】
因此，如上所述，根据本公开的实施例的配置，实现了用于生成以高精度表示被写体的颜色和灰度的具有减小的曝光过度高亮区域的图像的设备和方法。
具体地，该设备包括图像处理部，其输入与成像装置的输出图像对应的RAW图像，并对输入的RAW图像执行图像处理。图像处理部执行去马赛克处理、白平衡处理以及进一步的G像素的像素值估计处理。去马赛克处理通过对RAW图像去马赛克来生成具有所有像素被设置为RGB各颜色的RGB图像。白平衡处理白平衡在所述去马赛克处理之后产生的相应RGB图像。像素值估计处理在所述白平衡处理之后产生的G图像的饱和像素区域中执行G像素值估计处理。在像素值估计处理中，通过在与经过像素值估计的G像素相同的像素位置处使用在所述白平衡处理之后产生的R和B图像的像素值来执行像素值估计处理。
本公开中的处理使得可以生成和输出以高精度表示被写体的颜色和灰度的具有减小的曝光过度高亮区域的图像。
【附图标记列表】
10 成像设备
11 镜头
12 光圈
13 成像装置
14 采样电路
15 模拟/数字(A/D)转换部
16 图像处理部(DSP)
17 编码/解码部
18 存储器
19 数字/模拟(D/A)转换部
20 视频编码器
21 显示部
22 定时生成部
23 操作输入部
24 驱动器
25 控制部
31 去马赛克处理执行部
32 白平衡(WB)处理执行部
33 像素值估计部
34 输出信号生成部
71 CPU
72 ROM
73 RAM
74 总线
75 输入/输出接口
76 输入部
77 输出部
78 存储部
79 通信部
80 驱动器
81 可移动介质。

Claims (12)

1.一种图像处理设备，包括：
图像处理部，可操作为输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理，其中，所述图像处理部包括：
去马赛克处理部，被适配为通过对所述RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像；
白平衡处理执行部，被适配为白平衡由所述去马赛克处理部生成的RGB各图像；以及
像素值估计部，被适配为在白平衡处理之后生成的所述G图像的饱和像素区域中执行G像素值估计处理，并且
所述像素值估计部使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后生成的所述R图像和所述B图像的像素值来执行像素值估计处理。
2.根据权利要求1所述的图像处理设备，其中，
所述像素值估计部在除了在所述白平衡处理之后生成的所述G图像的饱和像素区域以外的有效像素区域中为像素位置(x，y)计算G像素值与R像素值的比率GR_ratio(x，y)以及G像素值与B像素值的比率GB_ratio(x，y)；以及
所述像素值估计部针对与成为像素值估计对象的所述G像素相同的像素位置处的所述白平衡处理之后生成的所述R图像和所述B图像的像素值使用所述像素值的比率来估计饱和像素区域中的G像素值。
3.根据权利要求2所述的图像处理设备，其中，
所述像素值估计部从成为G像素值估计对象的像素位置附近的所述有效像素区域中选择用于计算所述像素值的比率的G图像的有效像素位置。
4.根据权利要求2所述的图像处理设备，其中，
所述像素值估计部根据以下公式计算在所述白平衡处理之后生成的所述G图像的所述饱和像素区域中的像素位置(x，y)的像素值G(x，y)：
G(x,y)＝max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
其中，max(a，b)是从a和b中选择最大值的处理。
5.根据权利要求1所述的图像处理设备，其中，
所述图像处理部还包括：
输出信号生成部，被适配为通过对在所述白平衡处理之后生成的所述R图像和所述B图像以及具有由所述像素值估计部计算出的G像素值的所述G图像执行色调映射处理并校正所述像素值来生成输出图像。
6.根据权利要求5所述的图像处理设备，其中，
所述输出信号生成部通过使用光电转换函数来校正所述像素值。
7.根据权利要求1所述的图像处理设备，其中，
所述白平衡处理执行部通过将由所述去马赛克处理部生成的所述R图像和所述B图像乘以预先定义的乘法因子来校正所述像素值。
8.根据权利要求1所述的图像处理设备，其中，
所述成像装置具有拜耳模式。
9.根据权利要求1所述的图像处理设备，其中，
所述图像处理设备是具有成像装置的成像设备。
10.根据权利要求1所述的图像处理设备，包括：
输入部，被适配于输入成像设备的RAW图像、拍摄的图像。
11.一种用于在图像处理设备中执行图像处理的图像处理方法，所述图像处理设备包括图像处理部，所述图像处理部能够操作为输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理，其中，所述图像处理方法包括：
由所述图像处理部执行：
去马赛克处理，被适配为通过对所述RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像；
白平衡处理，被适配为白平衡由所述去马赛克处理生成的RGB各图像；以及
像素值估计处理，被适配为在所述白平衡处理之后生成的所述G图像的饱和像素区域中执行G像素值估计处理，并且
在所述像素值估计处理中，使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后生成的所述R图像和所述B图像的像素值来执行像素值估计处理。
12.一种使图像处理设备执行图像处理的程序，所述图像处理设备包括图像处理部，所述图像处理部可操作为输入与成像装置的输出图像对应的RAW图像，并对所输入的RAW图像执行图像处理，所述程序使所述图像处理部执行：
去马赛克处理，被适配为通过对所述RAW图像去马赛克来生成为所有像素设置RGB各颜色的R图像、G图像和B图像；
白平衡处理，被适配为白平衡由所述去马赛克处理生成的RGB各图像；以及
像素值估计处理，被适配为在所述白平衡处理之后生成的所述G图像的饱和像素区域中执行G像素值估计处理，并且
在所述像素值估计处理中，使用与成为像素值估计对象的G像素相同的像素位置处的所述白平衡处理之后产生的所述R图像和所述B图像的像素值来执行像素值估计处理。
CN201680016399.XA 2015-03-26 2016-03-02 图像处理装置和图像处理方法以及程序 Pending CN107431793A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015063983 2015-03-26
JP2015-063983 2015-03-26
PCT/JP2016/056352 WO2016152414A1 (ja) 2015-03-26 2016-03-02 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN107431793A true CN107431793A (zh) 2017-12-01

Family

ID=56978737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016399.XA Pending CN107431793A (zh) 2015-03-26 2016-03-02 图像处理装置和图像处理方法以及程序

Country Status (5)

Country Link
US (1) US10412356B2 (zh)
EP (1) EP3276956B1 (zh)
JP (1) JP6702306B2 (zh)
CN (1) CN107431793A (zh)
WO (1) WO2016152414A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009587A (zh) * 2019-04-09 2019-07-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112837230A (zh) * 2019-11-22 2021-05-25 佳能株式会社 图像处理装置、图像处理方法和计算机可读介质
CN115426449A (zh) * 2022-07-30 2022-12-02 荣耀终端有限公司 一种拍照方法和终端
CN116091364A (zh) * 2023-04-07 2023-05-09 天津汉云工业互联网有限公司 图像模糊处理方法、装置、电子设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
CN107369145B (zh) * 2017-06-16 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
RU2712436C1 (ru) 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
JP7426480B2 (ja) * 2019-11-05 2024-02-01 グーグル エルエルシー 画像処理パイプラインのハイライト復元
KR20220010285A (ko) 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060103739A1 (en) * 2004-11-12 2006-05-18 Fuji Photo Film Co., Ltd. Digital camera, and signal processing method and signal processing apparatus for the same
US20080285884A1 (en) * 2007-01-18 2008-11-20 Fujifilm Corporation Image processing method, apparatus and program as well as imaging apparatus
US20120294527A1 (en) * 2011-05-19 2012-11-22 Rastislav Lukac Method for processing highlights and saturated regions in a digital image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2010068064A (ja) 2008-09-09 2010-03-25 Ricoh Co Ltd 撮像装置及び撮像方法
JP5277863B2 (ja) 2008-10-22 2013-08-28 株式会社リコー 撮像装置および撮像方法
JP5803233B2 (ja) 2011-02-14 2015-11-04 株式会社リコー 撮像装置および撮像方法
CN102959958B (zh) * 2011-02-28 2015-05-27 富士胶片株式会社 彩色成像设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060103739A1 (en) * 2004-11-12 2006-05-18 Fuji Photo Film Co., Ltd. Digital camera, and signal processing method and signal processing apparatus for the same
US20080285884A1 (en) * 2007-01-18 2008-11-20 Fujifilm Corporation Image processing method, apparatus and program as well as imaging apparatus
US20120294527A1 (en) * 2011-05-19 2012-11-22 Rastislav Lukac Method for processing highlights and saturated regions in a digital image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SYEDZ: "Automatic correction of saturated regions in photographs using cross-channel correlation", 《PACIFIC GRAPHICS 2009》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009587A (zh) * 2019-04-09 2019-07-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112837230A (zh) * 2019-11-22 2021-05-25 佳能株式会社 图像处理装置、图像处理方法和计算机可读介质
CN112837230B (zh) * 2019-11-22 2024-02-06 佳能株式会社 图像处理装置、图像处理方法和计算机可读介质
CN115426449A (zh) * 2022-07-30 2022-12-02 荣耀终端有限公司 一种拍照方法和终端
CN116091364A (zh) * 2023-04-07 2023-05-09 天津汉云工业互联网有限公司 图像模糊处理方法、装置、电子设备和存储介质
CN116091364B (zh) * 2023-04-07 2023-06-06 天津汉云工业互联网有限公司 图像模糊处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20180077397A1 (en) 2018-03-15
EP3276956A4 (en) 2018-10-31
US10412356B2 (en) 2019-09-10
EP3276956B1 (en) 2021-07-21
JPWO2016152414A1 (ja) 2018-01-18
JP6702306B2 (ja) 2020-06-03
EP3276956A1 (en) 2018-01-31
WO2016152414A1 (ja) 2016-09-29

Similar Documents

Publication Publication Date Title
CN107431793A (zh) 图像处理装置和图像处理方法以及程序
CN102204258B (zh) 图像输入装置
JP5171434B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
JP4466569B2 (ja) カラー画像再生装置
CN105323474B (zh) 摄像设备及其控制方法
CN103813097B (zh) 摄像装置以及摄像方法
CN101983510B (zh) 自适应局部白平衡调节的系统与方法
CN102340673B (zh) 一种针对交通场景的摄像机白平衡方法
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
CN107396079B (zh) 白平衡调整方法和装置
CN104796600B (zh) 图像合成装置和图像合成方法
JP2009105576A (ja) 画像処理装置及び方法、及び撮像装置
CN107409201A (zh) 图像处理装置、图像处理方法和程序
CN111970432A (zh) 一种图像处理方法及图像处理装置
CN107580205B (zh) 白平衡调整方法和装置
JP2010193037A (ja) 擬似カラー画像生成装置、及びプログラム
JP2021140663A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
CN107409200A (zh) 图像处理装置、图像处理方法和程序
CN102090054B (zh) 成像设备，图像处理设备和图像处理方法
GB2399252A (en) Edge enhancement and colour reduction processing of an image
JP2004229055A (ja) 画像処理装置
JP2003199115A (ja) デジタル画像の品質を改善する改善方法
CN105934941B (zh) 摄像装置、视频信号处理方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171201