CN101155313B - 光源估计方法和系统 - Google Patents
光源估计方法和系统 Download PDFInfo
- Publication number
- CN101155313B CN101155313B CN2007101533304A CN200710153330A CN101155313B CN 101155313 B CN101155313 B CN 101155313B CN 2007101533304 A CN2007101533304 A CN 2007101533304A CN 200710153330 A CN200710153330 A CN 200710153330A CN 101155313 B CN101155313 B CN 101155313B
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- effective
- white balance
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008859 change Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Abstract
提供一种颜色渲染技术,更具体地讲,提供一种估计用于白平衡的光源的光源估计方法、介质和系统。该光源估计方法包括:从输入的图像数据检测多个有效图像;基于一个或多个估计的光源来确定用于白平衡的光源,其中,所述一个或多个估计的光源是基于每一有效图像中包括的数据而获得的。
Description
本申请要求于2006年9月28日提交到韩国知识产权局的第10-2006-0095021号韩国专利申请的优先权,该申请公开于此以资参考。
技术领域
本发明的一个或多个实施例涉及颜色渲染(rendering),更具体地讲,涉及一种为白平衡而估计光源(illuminant)的光源估计方法、介质和系统。
背景技术
色温(color temperature)是用于描述光的颜色的术语,通常以开氏温度(K)测量。通常,人类视觉的特点在于自动调节颜色敏感度。因此,人类视觉系统可能无法准确地察觉光的色温的变化。另一方面,诸如照相机或摄像机的图像拾取装置能够精确地感测到光源的色温。因此,由图像拾取装置在不同的光源下捕捉到的图像实际上可能将同一物体渲染为不同颜色。
例如,在晴天,日光的色温高,从而图像拾取装置捕捉到的相应图像通常会显得发蓝。另一方面,在日出之前或日落之后,日光的色温低,图像拾取装置捕捉到的相应图像通常会显得发红。为了解决这一问题,已提出了自动白平衡(AWB)。AWB是一种在图像的R、G和B成分中的至少一种由于光源的色温而过盛时校正图像中的颜色失真的技术。
然而,传统的白平衡技术可能无法根据图像中所渲染的物体的颜色和大小来对这些图像执行一致的颜色渲染,即使这些图像是在同一光源下捕捉到的。
此外,传统白平衡技术的光源估计性能可能显著劣化,尤其是在图像不包括光源信息时或者在图像仅包括与光源相似的物体颜色时。
发明内容
本发明的一个或多个实施例包括一种能够通过稳定的光源估计来改善颜色渲染性能的光源估计方法、介质和系统。
本发明的另外方面和优点将在下面的描述中被部分地阐述,并且部分地根据描述将变得明显,或者可通过实施本发明而了解。
为了实现上述和/或其它方面和优点,本发明的实施例包括一种光源估计方法,该方法包括:从多个输入的图像的数据中检测多个有效图像,其中,每一有效图像是被确定为与相应的先前图像明显不同的相应的当前图像;基于至少一个估计的光源来确定用于所述多个输入的图像中的至少一个图像的白平衡的光源,其中,所述至少一个估计的光源是基于有效图像中的至少一个而获得的。
为了实现上述和/或其它方面和优点,本发明的实施例包括一种具有光源估计的系统,该系统包括:图像检测模块,从多个输入的图像的数据中检测多个有效图像,其中,每一有效图像是被确定为与相应的先前图像明显不同的相应的当前图像;光源确定模块,基于至少一个估计的光源来确定用于所述多个图像中的至少一个图像的白平衡的光源,其中,所述至少一个估计的光源是基于有效图像中的至少一个而获得的。
附图说明
通过下面结合附图对实施例的描述,本发明的这些和/或其他方面和优点将变得明显并更易于理解,其中:
图1示出根据本发明实施例的图像显示系统;
图2示出根据本发明实施例的光源估计设备/系统;
图3是解释亮度-色度空间中的无彩色轴梯度的概念的曲线图;
图4示出根据本发明实施例的光源估计方法;
图5示出根据本发明实施例的光源估计设备/系统;
图6示出根据本发明实施例的另一光源估计方法。
具体实施方式
现在将详细描述本发明的实施例,其示例示出于附图中,在附图中,相同的标号始终表示相同的部件。下面将参照附图描述实施例以解释本发明。
图1示出根据本发明实施例的图像显示系统100。参照图1,图像显示系统100可包括光源估计设备200、白平衡设备300和图像输出设备400。图像显示系统100可包括(或者可以是)数码相机、数字视频摄像机和数字监视 照相机,尽管为了简单起见,本申请将光源估计设备200、白平衡设备300和图像输出设备400称为设备,但是光源估计设备200、白平衡设备300和图像输出设备400可同样被实现为系统。
因此,这里的设备/系统200可从输入的图像数据检测多个有效图像,并基于一个或多个估计的光源来识别用于白平衡的光源,其中,所述一个或多个估计的光源是基于包括在每一有效图像中的数据而获得的。下面将参照图2更详细地描述设备200。
白平衡设备/系统300可使用由光源估计设备200识别出的光源对输入的图像数据执行白平衡。由于白平衡是公知的,所以将省略对其进一步的详细描述。
图像输出设备/系统400可显示例如通过白平衡设备300所执行的白平衡而获得的图像。仅作为示例,图像输出设备400可被实现为液晶显示器(LCD)、等离子显示面板(PDP)、发光二极管(LED)、有机LED(OLED)或柔性显示器。
图2示出根据本发明实施例的光源估计设备/系统200。参照图2,光源估计设备200可包括例如图像输入模块210、图像检测模块220和光源确定模块230。
图像输入模块210可接收从预定的图像源输入的图像数据,并输出组成输入的图像数据的多个子像素(即,R、G和B成分)。输入的图像数据可包括例如多个RGB信号或者其它信号。如果输入的图像数据是RGB格式,则图像输入模块210可将输入的图像数据转换为包含多个亮度信号的图像数据(例如,具有YCrCb格式的图像数据),需要注意的是,可选的实施方式同样适用。
图像检测模块220可比较包括在输入的图像数据中的多个图像,并检测具有与其各自的先前图像不同的运动信息和/或光源信息的一个或多个图像。为此,图像检测模块220可包括例如第一计算单元221、第二计算单元222和确定单元223。
第一计算单元221计算第一参数,该第一参数用于检测图像是否具有与先前图像不同的运动信息。仅作为示例,第一参数可包括当前图像的亮度和先前图像的亮度之间的绝对差和(SAD,以下称为第一SAD)。以下,将更详细地描述基于第一SAD检测具有与先前图像不同的运动信息的图像。第一 计算单元221可计算当前图像的多个像素与其先前图像的各个相应像素之间的亮度差。之后,第一计算单元221可对亮度差的绝对值求和,从而获得关于当前图像的第一SAD。如果关于当前图像的第一SAD大于第一阈值,则确定单元223可确定当前图像具有与先前图像不同的运动信息。
第二计算单元222可计算第二参数,该第二参数用于检测图像是否具有与其先前图像不同的光源信息。仅作为示例,第二参数可包括规一化的SAD(以下,称为第二SAD)。第二SAD可以是在当前图像的平均亮度和先前图像的平均亮度被规范化(standardize)时所获得的SAD。
以下,将更详细地描述基于第二SAD检测具有与其先前图像不同的光源信息的图像。第二计算单元222可计算例如当前图像的平均亮度和先前图像的平均亮度。然后,第二计算单元222可对当前图像的平均亮度和先前图像的平均亮度进行规范化,以使当前图像的平均亮度和先前图像的平均亮度变得相等。例如,如果当前图像的平均亮度为100,先前图像的平均亮度为110,则第二计算单元222可对当前图像的平均亮度进行规范化,以使得当前图像的平均亮度能够变得等于先前图像的平均亮度(即,110)。可选地,第二计算单元222可对先前图像的平均亮度进行规范化,以使得先前图像的平均亮度能够变得等于当前图像的平均亮度(即,100)。一旦当前图像的平均亮度与先前图像的平均亮度变得相等,则第二计算单元222可计算当前图像的多个像素与先前图像的各个相应像素之间的亮度差。之后,第二计算单元222对亮度差的绝对值求和,从而获得关于当前图像的第二SAD。如果关于当前图像的第二SAD大于第二阈值,则确定单元223可确定当前图像具有与先前图像不同的光源信息。
如上所述,确定单元223可通过将第一SAD和第一阈值比较来检测当前图像是否具有与其先前图像不同的运动信息,或者通过将第二SAD和第二阈值比较来检测当前图像是否具有与其先前图像不同的光源信息。
可选地,确定单元223可通过比较第一SAD和第二SAD来检测当前图像是否具有与其先前图像不同的运动信息或光源信息。详细地讲,如果比较的结果指示第一SAD和第二SAD相似,并且都大于第一阈值,则确定单元223可确定当前图像具有与先前图像不同的运动信息。如果比较的结果指示第一SAD不同于第二SAD,并且第一SAD大于第一阈值,则确定单元223可确定当前图像具有与先前图像不同的光源信息。这里,应该理解,图像检 测模块220所检测到的图像(例如,相对于至少一个先前图像具有足够明显的改变的图像)被定义为“有效”图像。
光源确定模块230可基于多个估计出的光源来确定用于白平衡的光源,所述多个估计出的光源是基于包括在每一有效图像中的数据而获得的。为此,光源确定模块230包括例如参数计算单元231、光源估计单元232、存储单元233、光源选择单元234、光源更新单元235和光源校正单元236。
参数计算单元231可计算例如能够代表图像检测模块220所提供的每一有效图像的参数。在一个实施例中,能够代表每一有效图像的参数可对应于例如亮度方差(variance)、色度方差、色度变化率和无彩色轴梯度(achromaticaxis gradient)。
亮度方差是有效图像的亮度分布信息。具有大的亮度方差的有效图像可被解释为包含具有不同反射系数的多个面。为了更好地理解亮度方差,应该确认术语“方差”的定义。这里,“方差”是每一变量相对于其平均值的均方差(average squared deviation)。当方差小时,大多数变量值位于它们的平均值附近,即,变量值的分布均匀。另一方面,当方差大时,大多数变量值与它们的平均值相差很大,即,变量值的分布不均匀。
同时,物体可能具有反射系数不同的多个面。渲染具有反射系数不同的相当多的面的物体的图像的亮度方差大于渲染具有反射系数不同的较少面的物体的图像的亮度方差。因此,具有大的亮度方差的图像可被解释为是具有相当多的反射系数不同的面的图像。
色度方差表示有效图像的色度分布信息。如同具有大的亮度方差的图像一样,具有大的色度方差的图像可被解释为是包含相当多的反射系数不同的面的图像。
色度变化率表示有效图像的色度的变化率,即,当前有效图像的色度相对于先前有效图像的色度改变了多少。在当前有效图像的色度高于先前有效图像的色度的情况下,当前有效图像的色度变化率等于当前有效图像的色度相对于先前有效图像的色度所增加的程度。另一方面,在当前有效图像的色度低于先前有效图像的色度的情况下,当前有效图像的色度变化率等于当前有效图像的色度相对于先前有效图像的色度所减小的程度。当前有效图像和先前有效图像之间的间隔可被任意确定。这里,当前有效图像和先前有效图像之间的间隔可以是一对相邻帧之间的间隔。详细地讲,这里的术语“输入 的图像数据”表示运动画面,而从输入的图像数据中提取的每一有效图像可被认为是一帧。因此,当前有效图像和先前有效图像之间的间隔可被认为是一对相邻帧之间的间隔。参数计算单元231还可包括用于调节当前有效图像和先前有效图像之间的间隔(即,一对相邻帧之间的间隔)的机制。
无彩色轴梯度是亮度-色度空间的亮度轴与在亮度-色度空间中具有最大亮度的有效图像数据(以下,称为最大亮度点)和亮度-色度空间中具有最小亮度的有效图像数据(以下,称为最小亮度点)之间所画的直线之间的角度θ。参照图3,无彩色轴梯度将变得更明显。
上述参数,如亮度方差、色度方差、色度变化率或无彩色轴梯度可用于从多个估计出的光源信息中选择执行白平衡所需的光源信息,其中,所述多个估计出的光源信息分别是从多个有效图像获得的。
再参照图2,光源估计单元232可基于包括在有效图像中的数据来估计有效图像的光源。如果图像检测模块220提供超过一个的有效图像,则光源估计单元232可估计所提供的每一有效图像的光源。由于基于包括在图像中的数据来估计图像的光源是公知的,所以将省略对其进一步的详细描述。
存储单元233可存储能够代表每一有效图像的参数以及关于估计出的每一光源的信息,所述估计出的每一光源是基于包括在每一有效图像中的数据而获得的。存储单元233可被实现为例如非易失性存储装置、易失性存储装置或诸如硬盘驱动器(HDD)的存储介质,非易失性存储装置比如高速缓存器、只读存储器(ROM)、可编程ROM(PROM)、可擦写PROM(EPROM)、电EPROM(EEPROM)或闪速存储器,易失性存储装置比如随机存取存储器(RAM),需要注意的是,可选的实施方式同样适用。
光源选择单元234可确定能够代表每一有效图像的参数(如亮度方差、色度方差、色度变化率或无彩色轴梯度)是否满足预定义的条件。此外,光源选择单元234可从光源估计单元232所提供的估计出的光源中选择分别与满足预定义的条件的有效图像对应的一个或多个光源。这里,满足这样的预定义的条件的有效图像将被定义为“全局图像(global image)”。
根据不同的实施例,下面将更详细地描述确定作为全局图像的有效图像的示例,需要注意的是,可选的示例也适用。作为一个示例,具有大于预定义的阈值的亮度方差的有效图像可被识别为全局图像。可选地,具有大于预定义的阈值的色度方差的有效图像可被识别为全局图像。可选地,具有小于 预定义的阈值的无彩色轴梯度的有效图像可被识别为全局图像。可选地,具有小于预定义的阈值的色度变化率的有效图像可被识别为全局图像。如上所述,如果代表有效图像的至少一个参数满足预定义的条件,则该有效图像可被确定为全局图像。
光源更新单元235可将通过光源选择单元234而获得的全局图像的数量与预定义的阈值进行比较,并根据比较的结果有选择地更新执行白平衡所需的光源。详细地讲,如果比较的结果指示通过光源选择单元234获得的全局图像的数量大于预定义的阈值,则光源更新单元235可任意选择通过光源选择单元234选择的光源之一,即,任意选择通过光源选择单元234获得的全局图像的光源之一,并用该任意选择的光源更新先前存储的光源。
可选地,光源更新单元235可计算通过光源选择单元234选择的光源的中值(median)(即,通过光源选择单元234获得的全局图像的光源的中值),并用计算的结果更新先前存储的光源。
另一方面,如果比较的结果指示通过光源选择单元234获得的全局图像的数量少于预定义的阈值,则光源更新单元235可保留先前存储的光源。
光源校正单元236可校正光源更新单元235所提供的更新后的光源。详细地讲,在一个实施例中,光源校正单元236可校正更新后的光源,以使得当转换为RGB格式时,更新后的光源可具有1∶1∶1的RGB比例。
图4示出根据本发明实施例的光源估计方法。
参照图4,在操作S410,可通过例如图像输入模块210接收输入的图像数据。
在操作S420,可由例如图像检测模块220从输入的图像数据中检测多个有效图像。换言之,图像检测模块220可从输入的图像数据中检测具有与其各自的先前图像不同的运动信息或光源信息的一个或多个图像。操作S420包含:计算关于当前图像的第一SAD和第二SAD,并通过将第一SAD和第二SAD与各自相应的阈值比较来确定当前图像是否是有效图像。
可通过对当前图像的多个像素与先前图像的各个相应像素之间的亮度差的绝对值求和来获得关于当前图像的第一SAD。作为进一步的示例,可通过对当前图像的平均亮度和先前图像的平均亮度进行规范化,然后对当前图像的多个像素和先前图像的各个相应像素之间的亮度差的绝对值求和,来获得关于当前图像的第二SAD。
在操作S430,可由例如参数计算单元231来计算能够代表例如由图像检测模块220提供的每一有效图像的参数。所述参数的例子包括亮度方差、色度方差、色度变化率和无彩色轴梯度中的至少一种,需要注意的是,可选的实施方式同样适用。
在操作S440,可由例如光源估计单元232基于包括在每一有效图像中的数据来估计每一相应有效图像的光源。
在操作S450,可由例如光源选择单元234确定有效图像的参数是否满足预定义的条件,如果有效图像的参数满足预定义的条件,则可将该有效图像识别为全局图像并选择该有效图像的光源。所述预定义的条件可以是例如:色度变化率是否小于预定义的阈值,亮度方差是否大于预定义的阈值,色度方差是否大于预定义的阈值,或者无彩色轴梯度是否小于预定义的阈值。
在操作S460,可由例如光源更新单元235将在操作S450中获得的全局图像的数量与预定义的阈值进行比较,并根据比较的结果有选择地更新执行白平衡所需的光源。操作S460包含:如果比较的结果指示在操作S450中获得的全局图像的数量大于预定义的阈值,则计算在操作S450中获得的全局图像的光源的中值并用计算的结果来更新先前存储的光源;如果比较的结果指示在操作S450中获得的全局图像的数量小于预定义的阈值,则保留先前存储的光源。
在操作S470,可由例如光源校正单元236来校正在操作S460中获得的更新的光源。
在实施例中,一旦在操作S460中获得的更新的光源被校正,则白平衡设备300可根据校正的光源对输入的图像数据执行白平衡。然后,可由图像输出设备400来显示通过白平衡而获得的图像。
这里,作为示例,光源估计设备200可基于通过光源选择单元234获得的全局图像的数量是否大于预定义的阈值来有选择地更新执行白平衡所需的光源信息。以下,将参照图5更详细地描述这样一种光源估计设备/系统,该光源估计设备/系统基于能够代表每一有效图像的参数来决定是否更新用于执行白平衡的光源信息。
图5示出根据本发明实施例的光源估计设备/系统500。参照图5,图像输入模块510、第一计算单元521、第二计算单元522、确定单元523、参数计算单元531、光源估计单元532、存储单元533和光源校正单元536可被认 为与图2中所示的它们各自的对应部件相似,因此,将省略对其进一步的详细描述。
如果代表有效图像的参数满足预定义的条件,则光源选择单元534可从光源估计单元532所提供的多个估计的光源中选择与该有效图像对应的光源。例如,光源选择单元534可从光源估计单元532所提供的估计的光源中选择与色度变化率小于预定义的阈值的有效图像对应的光源。
可选地,例如,光源选择单元534可从光源估计单元532所提供的估计的光源中选择与亮度方差大于预定义的阈值的有效图像对应的光源。
可选地,光源选择单元534可从光源估计单元532所提供的估计的光源中选择与色度方差大于预定义的阈值的有效图像对应的光源。
可选地,光源选择单元534可从光源估计单元532所提供的估计的光源中选择与无彩色轴梯度小于预定义的阈值的有效图像对应的光源,同样需要注意的是,可选的实施方式同样适用。
光源更新单元535可根据光源选择单元534所选择的光源来更新能够用于执行白平衡的光源信息。详细地讲,如果光源选择单元534从光源估计单元532所提供的估计的光源中选择了超过一个的光源,则光源更新单元535可计算选择的光源的中值,并用计算的结果来更新先前存储的光源。
图6示出根据本发明实施例的光源估计方法。
参照图6,在操作S610中,可由例如图像输入模块510来接收输入的图像数据。
在操作S620,可由例如图像检测模块520从输入的图像数据检测多个有效图像。例如,在实施例中,图像检测模块520可从输入的图像数据中检测具有与其各自的先前图像不同的运动信息或光源信息的一个或多个图像。操作S620包含:计算关于当前图像的第一SAD和第二SAD,并通过将第一SAD和第二SAD与各自相应的阈值比较来确定当前图像是否是有效图像。
例如,可通过对当前图像的多个像素和先前图像的各个相应像素之间的亮度差的绝对值求和来获得关于当前图像的第一SAD。
可通过对当前图像的平均亮度和先前图像的平均亮度进行规范化,然后对当前图像的多个像素和先前图像的各个相应像素之间的亮度差的绝对值求和来获得关于当前图像的第二SAD,这也仅是示例。
在操作S630,可由例如参数计算单元531计算能够代表例如由图像检测 模块520提供的每一有效图像的参数。所述参数的例子包括亮度方差、色度方差、色度变化率和无彩色轴梯度中的至少一种,需要注意的是,可选的实施方式同样适用。
在操作S640,可由例如光源估计单元532基于包括在每一有效图像中的数据来估计每一相应有效图像的光源。
在操作S650,可由例如光源选择单元534确定有效图像的参数是否满足预定义的条件,并且如果有效图像的参数满足预定义的条件,则可选择该有效图像的光源。所述预定义的条件可以是例如:色度变化率是否小于预定义的阈值,亮度方差是否大于预定义的阈值,色度方差是否大于预定义的阈值,或者无彩色轴梯度是否小于预定义的阈值,同样需要注意的是,可选的实施方式同样适用。
在操作S660,可由例如光源更新单元535根据在操作S650中选择的光源更新执行白平衡所需的光源信息。如果在操作S650中选择了超过一个的光源,则操作S660可包含:计算选择的光源的中值,并用计算的结果来更新先前存储的光源。
在操作S670,可由例如光源校正单元636来校正例如在操作S660中获得的更新的光源。
在一个实施例中,一旦在操作S660中获得的更新的光源被校正,则白平衡设备300可根据校正的光源对输入的图像数据进行白平衡。然后,可由图像输出设备400来显示通过白平衡而获得的图像。
这里潜在使用的术语“模块”表示(但不限于)执行特定任务的软件和/或硬件组件,如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块可方便地构造为驻留在可寻址存储介质上,并被构造为在一个或多个处理器上运行。因此,作为示例,模块可包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子例程、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。组件和模块中提供的操作可被组合为更少的组件和模块,或者被进一步分为另外的组件和模块。
上面已参照根据本发明实施例的用户接口、方法和/或计算机程序产品的流程图对本发明的实施例进行了描述。应该理解,流程图中的每一方框以及流程图中方框的组合可通过计算机程序指令来实现。这些计算机程序指令可 被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器,以产生机器从而使得通过计算机或其它可编程数据处理设备或系统的处理器运行的指令创建实现一个流程图方框或多个流程图方框中所指定的操作的机制。
此外,流程图的每一方框可代表可包含用于执行指定的逻辑操作的一个或多个可执行指令的模块、代码段或一部分代码。还应该注意的是,在一些可替换实现方式中,方框中示出的操作可以不按顺序而发生。例如,根据所包含的操作,连续示出的两个方框实际上可以基本同时执行,或者有时,这两个方框可以以相反的顺序执行。
除了上述实施例之外,本发明的实施例还可通过介质(例如,计算机可读介质)中/上的计算机可读代码/指令来实现,以控制至少一个处理部件执行上述任何实施例。所述介质可对应于允许存储和/或传输计算机可读代码的任何介质。
计算机可读代码可以以各种方式被记录或传送到介质上,例如,所述介质的例子包括:记录介质,如磁存储介质(例如,ROM、软盘、硬盘等)和光学记录介质(例如,CD-ROM或DVD);传输介质,如载波以及通过互联网。因此,根据本发明的实施例,所述介质还可以是信号,如合成信号或比特流。所述介质还可以是分布式网络,从而计算机可读代码以分布式方式被存储/传送和执行。此外,仅作为示例,所述处理部件可包括处理机或计算机处理器,并且处理部件可分布和/或包括在单个装置中。
如上所述,根据本发明的一个或多个实施例,通过校正可能由于没有光源信息或者具有与物体颜色相似的光源信息的输入的图像数据而发生的光源估计误差,可提高实现光源估计的图像处理的精度以及颜色渲染的性能。
尽管已显示和描述了本发明的几个实施例,但是本领域技术人员应该理解,在不脱离权利要求及其等同物限定其范围的本发明的原理和精神的情况下,可对这些实施例进行改变。
Claims (17)
1.一种光源估计方法,包括:
从多个输入的图像的数据中检测多个有效图像,其中,所述有效图像为具有与相应的先前图像不同的运动信息和/或光源信息的图像;
确定用于所述多个输入的图像中的至少一个图像的白平衡的光源,
其中,确定用于白平衡的光源的步骤包括:
基于包括在每一有效图像中的数据来估计相应的有效图像的光源;
计算代表每一有效图像的参数,
如果代表相应的有效图像的参数满足预定义的条件,则选择所述有效图像的估计的光源作为用于白平衡的光源。
2.如权利要求1所述的光源估计方法,其中,检测多个有效图像的步骤包括:
计算当前图像的多个像素和先前图像的相应像素之间的亮度差;
通过对计算出的亮度差的绝对值求和来计算第一绝对差和;
如果第一绝对差和大于第一阈值,则确定当前图像具有与相应的先前图像不同的运动信息。
3.如权利要求1所述的光源估计方法,其中,检测多个有效图像的步骤包括:
对先前图像的平均亮度和当前图像的平均亮度进行规范化,使得当前图像的平均亮度和先前图像的平均亮度变得相等;
计算当前图像的多个像素和先前图像的相应像素之间的亮度差;
通过对计算出的亮度差的绝对值求和来计算第二绝对差和;
如果第二绝对差和大于第二阈值,则确定当前图像具有与相应的先前图像不同的光源信息。
4.如权利要求1所述的光源估计方法,其中,如果代表相应的有效图像的参数满足预定义的条件,则所述有效图像被确定为全局图像;
其中,确定用于白平衡的光源的步骤还包括:如果确定的全局图像的数量大于预定义的阈值,则计算全局图像的中值,并用计算的结果更新用于白平衡的光源。
5.如权利要求1所述的光源估计方法,其中,所述参数包括亮度方差、色度方差、色度变化率和无彩色轴梯度中的至少一个。
6.如权利要求1所述的光源估计方法,其中,
如果代表相应的有效图像的参数满足预定义的条件,则确定该有效图像是全局图像;
其中,确定用于白平衡的光源的步骤还包括:如果确定的全局图像的数量大于预定义的阈值,则任意选择全局图像的光源之一来更新用于白平衡的光源。
7.如权利要求6所述的光源估计方法,其中,所述参数包括亮度方差、色度方差、色度变化率和无彩色轴梯度中的至少一个。
8.如权利要求6所述的光源估计方法,还包括:校正更新的光源。
9.一种具有光源估计的系统,包括:
图像检测模块,从多个输入的图像的数据中检测多个有效图像,其中,所述有效图像为具有与相应的先前图像不同的运动信息和/或光源信息的图像;
光源确定模块,确定用于所述多个输入的图像中的至少一个图像的白平衡的光源,其中,光源确定模块包括:
光源估计单元,基于包括在每一有效图像中的数据来计算相应的有效图像的光源;
参数计算单元,计算代表每一有效图像的参数;
光源选择单元,如果代表相应有效图像的参数满足预定义的条件,则所述光源选择单元选择所述有效图像的估计的光源作为用于白平衡的光源。
10.如权利要求9所述的系统,其中,图像检测模块包括:
第一计算单元,计算当前图像的多个像素和先前图像的相应像素之间的亮度差,并通过对计算出的亮度差的绝对值求和来计算第一绝对差和;
确定单元,如果第一绝对差和大于第一阈值,则确定当前图像具有与相应的先前图像不同的运动信息。
11.如权利要求9所述的系统,其中,图像检测模块包括:
第二计算单元,对先前图像的平均亮度和当前图像的平均亮度进行规范化,使得当前图像的平均亮度和先前图像的平均亮度变得相等,计算当前图像的多个像素和先前图像的相应像素之间的亮度差,并通过对计算出的亮度差的绝对值求和来计算第二绝对差和;
确定单元,如果第二绝对差和大于第二阈值,则确定当前图像具有与相应的先前图像不同的光源信息。
12.如权利要求9所述的系统,其中,如果代表有效图像的参数满足预定义的条件,则光源选择单元确定该有效图像为全局图像;
其中,光源确定模块还包括:光源更新单元,如果确定的全局图像的数量大于预定义的阈值,则光源更新单元计算全局图像的光源的中值,并用计算的结果来更新用于白平衡的光源。
13.如权利要求9所述的系统,其中,所述参数包括亮度方差、色度方差、色度变化率和无彩色轴梯度中的至少一个。
14.如权利要求9所述的系统,其中,如果代表有效图像的参数满足预定义的条件,则光源选择单元确定该有效图像是全局图像;
其中,光源确定模块还包括:光源更新单元,如果确定的全局图像的数量大于预定义的阈值,则光源更新单元任意选择全局图像的光源之一来更新用于白平衡的光源。
15.如权利要求14所述的系统,其中,所述参数包括亮度方差、色度方差、色度变化率和无彩色轴梯度中的至少一个。
16.如权利要求14所述的系统,其中,光源确定模块还包括:光源校正单元,校正更新的光源。
17.如权利要求9所述的系统,还包括:
白平衡单元,基于确定的用于白平衡的光源来执行白平衡;
图像输出单元,输出白平衡单元的结果。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20060095021A KR100855470B1 (ko) | 2006-09-28 | 2006-09-28 | 광원 추정 방법 및 장치 |
KR1020060095021 | 2006-09-28 | ||
KR10-2006-0095021 | 2006-09-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101155313A CN101155313A (zh) | 2008-04-02 |
CN101155313B true CN101155313B (zh) | 2011-09-21 |
Family
ID=38972951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101533304A Active CN101155313B (zh) | 2006-09-28 | 2007-09-17 | 光源估计方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8139855B2 (zh) |
EP (1) | EP1906675A1 (zh) |
JP (1) | JP5205007B2 (zh) |
KR (1) | KR100855470B1 (zh) |
CN (1) | CN101155313B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9123223B1 (en) | 2008-10-13 | 2015-09-01 | Target Brands, Inc. | Video monitoring system using an alarm sensor for an exit facilitating access to captured video |
CN101577831B (zh) * | 2009-03-10 | 2013-08-21 | 北京中星微电子有限公司 | 启动白平衡调节的控制方法和控制装置 |
US8659670B2 (en) | 2009-04-20 | 2014-02-25 | Qualcomm Incorporated | Motion information assisted 3A techniques |
WO2010132237A1 (en) * | 2009-05-11 | 2010-11-18 | Dolby Laboratories Licensing Corporation | Light detection, color appearance models, and modifying dynamic range for image display |
KR101590771B1 (ko) | 2009-08-27 | 2016-02-02 | 삼성전자주식회사 | 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법 |
US8420996B2 (en) * | 2009-12-23 | 2013-04-16 | Nokia Corporation | Intensity estimation using binary sensor array with spatially varying thresholds |
KR102013240B1 (ko) * | 2012-02-02 | 2019-08-22 | 삼성전자주식회사 | 영역별 특성에 기초한 영상 부호화 방법 및 그 장치, 그리고 영상 복호화 방법 및 그 장치 |
CN104063846B (zh) | 2013-03-20 | 2018-07-13 | 三星电子株式会社 | 用于基于检测到的信息来处理图像的方法和装置 |
EP3068647B1 (en) * | 2013-11-15 | 2023-05-10 | Gentex Corporation | Imaging system including dynamic compensation for color attenuation for vehicle windscreens |
CN104702930B (zh) * | 2013-12-06 | 2016-12-07 | 青岛海信移动通信技术股份有限公司 | 一种确定白平衡光源的方法及装置 |
US10031925B2 (en) * | 2014-10-15 | 2018-07-24 | Thinkcx Technologies, Inc. | Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph |
CN107801013B (zh) * | 2017-10-30 | 2019-05-17 | Oppo广东移动通信有限公司 | 白平衡处理方法及装置、电子装置和计算机可读存储介质 |
CN110111744B (zh) * | 2019-04-08 | 2021-01-08 | 重庆惠科金渝光电科技有限公司 | 一种显示模组的驱动方法、驱动系统和显示装置 |
KR102315200B1 (ko) * | 2019-08-23 | 2021-10-22 | 주식회사 아이닉스 | 자동 화이트 밸런스를 위한 영상 처리 장치 및 그 처리 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0442269A2 (en) * | 1990-01-17 | 1991-08-21 | Hitachi, Ltd. | White balance adjusting system for a color image pickup apparatus |
EP0663779A2 (en) * | 1993-12-22 | 1995-07-19 | Goldstar Co. Ltd. | A white-balance adjusting apparatus and a method thereof for a video camera |
EP1335590A1 (en) * | 2002-02-01 | 2003-08-13 | Nikon Corporation | Electronic camera using previous image pickup settings for current image pickup |
CN1732696A (zh) * | 2002-11-12 | 2006-02-08 | 索尼株式会社 | 光源估计设备和方法、成像设备及图像处理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2776437B2 (ja) * | 1987-02-18 | 1998-07-16 | ミノルタ株式会社 | 自動ホワイトバランス調整装置 |
JPH07128147A (ja) | 1993-11-04 | 1995-05-19 | Nippon Telegr & Teleph Corp <Ntt> | 正反射成分を用いた光源色推定装置 |
KR100322189B1 (ko) | 2000-04-19 | 2004-09-07 | 삼성테크윈 주식회사 | 디지털 영상의 광원 분광 분포 추정 방법 |
JP2002247598A (ja) | 2001-02-16 | 2002-08-30 | Olympus Optical Co Ltd | 画像処理装置及び画像処理方法 |
JP4314822B2 (ja) | 2002-02-13 | 2009-08-19 | 株式会社ニコン | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2003348601A (ja) * | 2002-05-27 | 2003-12-05 | Fuji Photo Film Co Ltd | オートホワイトバランス制御方法及び電子カメラ |
JP2004040417A (ja) | 2002-07-02 | 2004-02-05 | Sony Corp | 撮像装置およびホワイトバランス補正方法 |
JP5042453B2 (ja) * | 2004-12-15 | 2012-10-03 | 三星電子株式会社 | ストロボ制御装置、ストロボ制御プログラム、ストロボ制御方法 |
US7421121B2 (en) * | 2005-02-08 | 2008-09-02 | Micron Technology, Inc. | Spectral normalization using illuminant exposure estimation |
US7876970B2 (en) * | 2006-01-13 | 2011-01-25 | Qualcomm Incorporated | Method and apparatus for white balancing digital images |
-
2006
- 2006-09-28 KR KR20060095021A patent/KR100855470B1/ko active IP Right Grant
-
2007
- 2007-08-09 JP JP2007208363A patent/JP5205007B2/ja active Active
- 2007-09-07 US US11/898,056 patent/US8139855B2/en active Active
- 2007-09-14 EP EP20070116461 patent/EP1906675A1/en not_active Withdrawn
- 2007-09-17 CN CN2007101533304A patent/CN101155313B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0442269A2 (en) * | 1990-01-17 | 1991-08-21 | Hitachi, Ltd. | White balance adjusting system for a color image pickup apparatus |
EP0663779A2 (en) * | 1993-12-22 | 1995-07-19 | Goldstar Co. Ltd. | A white-balance adjusting apparatus and a method thereof for a video camera |
EP1335590A1 (en) * | 2002-02-01 | 2003-08-13 | Nikon Corporation | Electronic camera using previous image pickup settings for current image pickup |
CN1732696A (zh) * | 2002-11-12 | 2006-02-08 | 索尼株式会社 | 光源估计设备和方法、成像设备及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
KR100855470B1 (ko) | 2008-09-01 |
EP1906675A1 (en) | 2008-04-02 |
KR20080029226A (ko) | 2008-04-03 |
JP2008085996A (ja) | 2008-04-10 |
US20080080764A1 (en) | 2008-04-03 |
US8139855B2 (en) | 2012-03-20 |
CN101155313A (zh) | 2008-04-02 |
JP5205007B2 (ja) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101155313B (zh) | 光源估计方法和系统 | |
US9679366B2 (en) | Guided color grading for extended dynamic range | |
US11030727B2 (en) | Display apparatus and display method | |
JP5855187B2 (ja) | ビデオシーケンスにおけるショットチェンジ検出のためのシステム及び方法 | |
US20170061594A1 (en) | Image processing apparatus | |
EP3023939B1 (en) | Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation | |
US20040247179A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP5352859B2 (ja) | 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置 | |
US8928748B2 (en) | Digital photographing apparatus, method of controlling the same and recording medium having recorded thereon computer program to implement the method | |
JP2014187610A (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
US20200135127A1 (en) | Display apparatus of multi display system and control method thereof | |
CN110111341B (zh) | 图像前景获取方法、装置及设备 | |
US20130156343A1 (en) | System for communicating relationship data associated with image characteristics | |
US8803998B2 (en) | Image optimization system and method for optimizing images | |
CN111489673A (zh) | 显示装置及其显示方法 | |
CN106683047B (zh) | 一种全景图像的光照补偿方法和系统 | |
TWI503790B (zh) | 多重目標影像辨識與追蹤方法 | |
US11080829B2 (en) | Control apparatus and control method | |
KR20100067268A (ko) | 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법 | |
JP6058720B2 (ja) | 情報出力装置、検知装置、プログラム及び情報出力方法 | |
EP4294003A2 (en) | Image-based determination apparatus and image-based determination system | |
JP2007150945A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR102315200B1 (ko) | 자동 화이트 밸런스를 위한 영상 처리 장치 및 그 처리 방법 | |
JP2008097474A (ja) | 動画像フェード検出装置及びフェード検出プログラム | |
CN108475432B (zh) | 360度全景图像及360度全景视频的识别方法及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |