CN1354950A - 真实彩色光线的虚拟放大 - Google Patents

真实彩色光线的虚拟放大 Download PDF

Info

Publication number
CN1354950A
CN1354950A CN00808690A CN00808690A CN1354950A CN 1354950 A CN1354950 A CN 1354950A CN 00808690 A CN00808690 A CN 00808690A CN 00808690 A CN00808690 A CN 00808690A CN 1354950 A CN1354950 A CN 1354950A
Authority
CN
China
Prior art keywords
image
image point
maximum
dynamic range
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN00808690A
Other languages
English (en)
Other versions
CN1179546C (zh
Inventor
布赖恩·G·詹姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASENTEC TECHNOLOGY Co Ltd
Original Assignee
ASENTEC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASENTEC TECHNOLOGY Co Ltd filed Critical ASENTEC TECHNOLOGY Co Ltd
Publication of CN1354950A publication Critical patent/CN1354950A/zh
Application granted granted Critical
Publication of CN1179546C publication Critical patent/CN1179546C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Toys (AREA)
  • Luminescent Compositions (AREA)
  • Holo Graphy (AREA)

Abstract

本发明涉及一种方法,该方法用于增强一种数字图像而不会使得色彩失真。该方法的结果是一种调节后的图像,该图像保全了所述输入数字图像中的每个象点的本质色彩,同时改变了有效聚光能力,就象虚拟拍摄一样。该图像增强过程在RGB色彩空间中进行,且包括以下步骤:确定象点的三个一组的RGB的R、G以及B值中的最大强度,并将该步对所有象点同样来一遍。通过一换算函数对该象点最大值进行换算,该换算函数限定在系统动态范围的域和范围之内。将运用到象点最大值上的换算系数同样运用到三个一组的R、G、以及B中的每一个上。比较好的是,换算函数是一条连续函数,该函数平滑地逼近系统动态范围的最大值和最小值,从而在保持色彩真实的同时产生一种令人愉悦的审美增强效果。在一法医摄影实施例中,在RGB色彩空间内选定图像的一部分,并将其基本上规范到整个动态范围,由此突出该令人关心的区域,完全不影响R、G、以及B之间的比值从而保持色彩的真实。

Description

真实彩色光线的虚拟放大
技术领域
本发明涉及增强彩色数字图象的方法。尤其是,该方法在不超出图像的固有动态范围的条件下采用一种换算函数以改变图像内三原色(RGB)像点的色彩强度。
背景技术
如果有人想拍摄教堂上的雕花玻璃窗,那么其所得到的图像以现代审美口味来看就比较暗。这样就会丧失雕花玻璃的实际美感。而且,尽管摄影师可以通过缩小摄影装置的光圈来增大图像的景深,但是这样做会牺牲聚光量并且也会导致图像色彩暗淡。而且,由于静态的成像设备只能使用预定的光圈和曝光时间记录图像,所以对于明暗之间有巨大差异的图像只能采取折中的方式,根据或明或暗区域不同而进行调节对胶片或录影带的曝光度,试图适当地显示出其中的细节。而图像增强方法对采用上述方式获得的图像比较有利。
观察者的通常反应是希望使得暗区变得明亮一些,从而将肉眼难以辨认的细节显示出来。当采用增亮处理时,现有技术会导致一种或两种不理想的效果:或者色彩被过度而接近于灰色(想象象一扇近似黑白的且严重褪色的雕花玻璃窗);或者较为明亮的区域在色彩和其它一些方面会极度失真,以致于完全模糊。失真的区域可能会是最令人关注一些部位,例如面部的一些细节。
传统的数字图像处理方法在需要实际水准的增亮时会有这些相同的问题。需要采用“标准”增强来使得图像变亮(即使其淡出)然后对色彩进行放大。这种方案仅仅是一种近似解法,且仅仅对本来就不是太差的图像起作用。如果采用相当大的照明度,图像的色彩就会严重失真。
在Kou等人(以下称“Kuo”)的美国专利US5982926中,Kou建议,彩色图像,特别是源于录象制品的图像,通过将RGB色彩空间转换成HSV模型色彩空间可以较为有效地增强彩色图像。之后所有的操作都可以在转换后的HSV色彩空间上进行。一旦处于HSV色彩空间中,接着Kuo就将色彩信息(即色度(Hue))从其余的图像成分(饱和度和亮度)中隔离并清除掉。Kou建议,在不导致色彩或色度(Hue)成分失真的情况下可以增强饱和度和亮度成分。Kou的彩色图像是由HSV色彩空间内的一些像素来表示的。一旦转换之后,Kuo就会将HSV色彩空间反向转换成RGB色彩空间,始终要求该过程有效进行。在优选实施例中,Kuo会调节纯度(V)和饱和度(S)。概括来说,Kuo会首先将RGB色彩空间转换成HSV模型色彩空间,分别将纯度V和饱和度S代入两个时序变换函数,并最终将转变成的HSV色彩空间反向转换回到RGB色彩空间以便显示图像。
令人起敬的是,申请人声明饱和度的控制确实会影响色彩,并且Kuo的技术没有使得真实色彩增强。彩色照片具有三个色彩自由度,即红R、绿G以及兰B,而黑白照片则只有一个自由度。对这三个值进行任何转换都会产生另外三个值,其中每个值都含有一个色彩成分而不仅仅是一个单一的色彩值(即色度(Hue)),还含有两个其它独立的结构成分(即,饱和度和亮度)。对于色彩,在感觉上色度比饱和度更重要,但是,饱和度也是一个色彩成分。对象点的饱和度进行调节会导致象点中RGB的比例发生变化,并由此而导致其色彩发生变化。如果饱和度发生变化,例如略微使图像变得明亮,其结果会和录影装置或照相机所拍摄到的处于比较明亮或曝光度较强的条件下的真实世界的物体的图像有所不同。
而且,需要注意的是,Kuo强调且试图使得计算方面的经常性开支或费用最小化。不幸的是,Kuo除了要对HSV像素要进行调节(通常是两项)外,他还引入了RGB-HSV以及HSV-RGB这两次转换。从RGB色彩空间到HSV色彩空间的转换以及反向转换都涉及到使用计算强度较大的数学函数。
因此,这就证明需要一种能够在图像增强过程中保持每个象点的真实色彩而进行高效计算的方法。
本发明就是要通过提供一种技术来解决这些问题,采用这种技术,无论所需要将图像增亮到何种程度,无论亮度的特性如何,图像中所有象点的色彩在任何条件下都能得到保全。
发明概述
本发明的作用是对数字影象记录器所拍摄到的光线进行虚拟放大。这就意味着,一旦采用本发明对所拍摄的图像进行处理,被处理图像中的每个象点就会被改变,就象数字图像记录器对该象点采用了不同的聚光能力或过程一样,包括模拟使用较大的光圈或较长的聚光时间。这种得到改进的聚光过程可以统一地施加到整个被处理图像上或者对象点进行逐个改变。由于保证不会超过数字记录器的动态范围、在最初的RGB色彩空间进行操作、并且对彩色象点中的各个R、G以及B值进行相同地处理,所以,虚拟光线放大方法能保护原始图像的真实色彩。
在优选实施例中,并且还是在RGB色彩空间中,从数字图像的每个象点中选取出三个一组的RGB值。对应于每个象点确定出RGB三个值中的最大值。确定所有象点最大值中的最大值、或图像的最大值,并确定换算函数,该换算函数为每个象点最大值设定换算系数。确定换算系数或限定换算系数的函数,并将这些系数或函数运用到象点最大值上,特别是运用到图像的最大值上,从而使得结果值不超过该系统所已知的动态范围。将运用到象点最大值上的完全相同的换算系数也运用到该象点的所剩下的R、G、以及B值上,从而保持R、G、以及B值相互之间的比率或比值,并从而保持真实色彩。
该增强作用非常有效,仅仅需要采用相同的换算系数进行三次简单的放大运算,从而增强每个彩色象点。而且,优选的是,如果形成用于所确定的象点最大值的换算系数查询表,那么就可以只需进行一次换算系数的计算。动态范围通常为0-255(255为256种不同光强度的最大值),因此,对于一种具有约为250,000个象点的常见图像,其中至少有1000个象点的强度相同,因此可以在平均每1000个象点上采用相同的换算系数到,这样就节省了许多次计算。对于目前正变得越来越普通的较大图像,这种方法将会节省更多的计算次数。
因此,从广义上讲,本发明是提供了一种在不导致色彩失真的情况下调节数字图像的方法。该图像由一些彩色象点构成,每个象点至少具有三个独立的代表三原色R、G、以及B强度的值。RGB值中的每一个都位于该系统的动态范围的最大值和最小值之间。
本方面的方法包括以下步骤:
·在RGB色彩空间内确定出RGB三个值之中的象点最大值;
·将所确定的换算系数运用到每个象点最大值上,该换算系数使得换算后的象点最大值总是小于或等于该系统的动态范围的最大值;以及
·将所确定的用于象点最大值的相同换算系数用于该象点的其它两个R、G、以及B值。
在采用上述方法进行调节后,构成调节后的图像的各象点都具有换算后的新RGB值,其中各象点的RGB值之间的比值在换算后和换算前相同,保持不变,因此能保持真实色彩。
优选的是,换算系数由一个连续的换算函数获得。该换算函数使得图像至少一部分范围规范成动态范围的一部分,而始终不会超出动态范围的最大值。由于动态范围的数量级低于图像中象点的个数,所以,首先要建立一个换算系数的查询表来提高计算效率。
优选的换算函数是条柔和的“S”形曲线,该曲线能使得大多数数字图像产生愉悦的增强的艺术效果。
在另一个优选实施例中,人们可以仅仅选择图像的一部分,通常是曝光不够的区域,并将子图像范围充分地规范为该系统的整个动态范围,从而增强其中的细节部分,且对于任何象点其所有的值始终都不会超过系统的动态范围,且同时通过保持各象点的RGB值之间的比值而保持真实色彩。
                     附图简要说明
在这些图中,给出了几幅数字图像。由于本申请涉及在不致使色彩失真的条件下增强彩色数字图像,因此,在灰度级的打印媒介中就不能恰当地再现所得到的结果。原始彩色图像已经提供给了各个专利局。
图1所示的是一个原理性的线性函数的图解,该线性函数用于将每个R、G、B中的象点最大值最作为输入值校正成调节后的输出象点最大值,这两个最大值都被限制在系统的动态范围之内。该特定函数是一种单位函数,且不会执行任何校正,除非输入值通过预先将所有象点最大值中的最大值换算成1.0而被规范到动态范围内;
图2是一个用Visual Basic语言编写的简单程序,用来读入数字屏幕图像,选取彩色象点,找出象点最大值,将校正系数运用到该象点最大值上,将该校正系数运用到该象点的所有RGB值上,并将校正后的彩色象点回写到屏幕上;
图3所示的是一个换算函数的图解,该函数用于改善由于故意曝光不足(例如采用较小的光圈而加大景深)而形成的图像;
图4所示的是一个换算函数的图解,该函数通过将范围的20%换算成约100%或基本上整个动态范围以增强象点最大值中的特定区域的反差,该区域落于图像范围的0.3-0.5之间,并且消除暗区和明区之间的反差;
图5是相应于图4的图解,该图增强了落于图像范围的0.1-0.2之间的暗区内的象点最大值;
图6是相应于图4的图解,该图增强了落于图像范围的0.9-1.0之间的明区内的象点最大值;
图7a是用Visual Basic语言编写的简单程序,该程序采用GUI(图像用户接口)界面选择一个x1,y1以及x2,y2窗口区域,读入该窗口内的数字屏幕图像,选取彩色象点,找出象点最大值,将校正系数运用到该象点最大值上,并建立一个象点最大值出现机率的柱状图;
图7b是用Visual Basic语言编写的简单程序,该程序用来生成第三实施例的柱状图;
图8是一个图解,该图图释了叠加在单位对角线上的可变换算函数,该可变函数通过对图像进行增亮处理而使之产生愉悦的审美增强效果,该换算函数是一条平滑的曲线,例如三次曲线,这种曲线削约了暗区和并增亮了明区;
图9a-9f所示的是一座寺院几幅照片,这些照片分别是,原始照片、采用现有技术增亮后的照片、采用现有技术进行反差调节后增亮的照片、采用现有技术进行饱和度调节后增亮的照片、采用本发明第一实施例进行增强后的照片、以及采用本发明第二实施例进行增强后的照片;
图10a-10f所示的是一石柱群的几幅照片,这些照片分别是,原始照片、采用现有技术增亮后的照片、采用现有技术进行反差调节后增亮的照片、采用现有技术进行饱和度调节后增亮的照片、采用本发明第一实施例进行增强后的照片、以及采用本发明第二实施例进行增强后的照片;
图11a以及11b分别是一卫星的原始照片和采用本发明的第三实施例进行增强处理后的照片;
图12a以及12b分别是一小型飞船的原始照片和采用本发明的第三实施例进行增强处理后的照片;
图13a以及13b分别是一汽车牌照的原始照片和采用本发明的第三实施例进行增强处理后的照片;
图14a、14b以及14c分别是雪中滑雪者和轨迹的原始照片和两幅采用本发明的第三实施例进行增强处理后的照片,其中各幅对照片的不同部分进行增强处理。
优选实施例的详细说明
首先,采用某种型式的数字图像记录器拍摄一幅图像。数字图像记录器分为两类:物化的和虚拟的。物化数字图像记录器是通过测量光的能量来记录数字图像的装置,例如数字相机。和传统的胶片相机一样,数字相机具有一“透镜组合体”,该组合体使得光线聚集并通过一批数字传感器记录图像,从而使得每个象点的值表示光线的实际测量值。也可以象对传统照片进行数字扫描一样得到数字图像。在一帧照片中,通过传统相机形成聚光,并将图像记录在胶片上。因此,物化数字图像记录器是形成胶片图像/印制图像的相机和使该图像数字化的扫描仪的结合体。其它例子包括数字电影,数字化电影,数字X光片等等。
虚拟数字记录器为计算机成像装置,它能模拟现实。计算程序能完全在计算机自身内部通过对照相法进行合乎逻辑的模拟生成一种“虚拟映象”(和在虚拟现实中一样)。这些看起来象照片的数字图像都有实际存在的“计算机模型”。那些带有令人刺激的仿真恐龙的电影就是一例。
透镜组合体是在进行各种形式的摄影时进行聚光的装置。在这种组合体中至少有一个透镜,且通常为具有这种透镜的一个系统。该透镜组合体还包括光圈挡(孔径光阑)和快门,光圈挡和快门两者一起控制聚光能力。
透镜的聚光能力通常根据物镜自身的表面积来进行测量的。如果一个透镜的表面积是另一个透镜的两倍的话,那么其聚光能力也是另一个的两倍。在实际情况下,透镜组合体能从两个方面对实际聚集的光量进行控制。第一方面控制为调节光圈,调节光圈可以改变单位时间内收集的光量。两倍的面积意味着单位时间内能收集两倍的光线量。第二方面控制称之为快门,快门能改变光线进入相机主体的时间。快门打开的时间延长到两倍意味着有两倍的光能进入相机主体。
真实彩色数字图像由一些坐标方格状象点构成,其中每个象点具有三个独立的测量值,这三个独立的测量值分别表示光的红绿兰(RGB)三种成分的强度。这就是常说的RGB色彩空间。有各种不同的计算机文件格式用于存储这些图像,可以采用各种“压缩方法”节省计算机磁盘存储空间。不管压缩方法如何,所有这种数字文件格式都可以储存带有RGB值的坐标方格状象点。
目前,对于RGB值中的每个值来说,通过存储器或系统存储的普通的标准最大值为255。因此,每个RGB成分的强度范围为0到255。目前许多文件格式存储的值的范围可达到0到1023,而且还可能有更高范围的格式。
动态范围
每种装置,包括我们的数字图像记录器,都具有一种“动态范围”,该范围为其记录能量相对波动范围方面的能力的一个尺度。如上所述,该动态范围通常由存储装置、存储器或系统设定,通常为0到255。在照相时,成功的技巧是要使用所有的动态范围而不超过该范围。在一帧照片中,该技巧就是要在不损失任何部位的细节的情况下,既要拍摄到明区的细节,也要拍摄到暗区的细节。
在胶片摄影中,当底片的重要的区域变得完全模糊,即意味着光线在该区域太强以致于没有未发生变化的胶片晶粒留下。照片的冲洗区域内的反差消失,这种消失也可称之为“超出了系统的动态范围”。
在数字摄影中,光能的强度可以通过光电传感器测得。这些值作为真实彩色格式计算机文件被存储起来。当该坐标格的区域设定为最大值时(例如255),就会超过该系统的动态范围。因此,明区内的偏差,假设为256-300,就会仅仅被记录为255,并且该区域内的细节就会因此消失。
采用一种受到限制的动态范围,由于本案采用数字图像,所捕获的光量会对图像有极大的影响。假设有一幅图像含有一种特殊象点,该特殊象点的光线经测量位于该记录装置的动态范围内。例如,光线发自于褐色表面。从三种色彩强度红(R)绿(G)兰(B)方面对光点进行测量。如果第二幅图像是在双倍的曝光时间下获得的,那么,对每个象点来说,包括我们所假设的那个象点,进入记录装置内的光量也将为两倍。如果光的范围保持在该系统的动态范围之内,那么所有的三个RGB值都会翻倍,即原来为褐色的象点其色彩依然为褐色。吸收光量的翻倍意味着其强度测量值将会翻倍,即R翻倍、G翻倍以及B也翻倍。
就数字信息而言,例如,当光量翻倍时(通过增大光圈或延长曝光时间),相关的RGB值也会翻倍。分别为50、30、20的RGB值翻倍后为100、60、40,因为100=50*2;60=30*2;以及40=20*2。
当每个传感器接收到翻倍后的能量时,每个传感器就会产生两倍的激励。两倍的红色光能量传达给红色光传感器,且其它能量不会对其产生影响。两倍的绿色光能量传达给绿色光传感器。并且两倍的兰色光能量传达给兰色光传感器。
随着聚光能力的增加,同一象点的三原色的三个测量值也随着下表1中所示的那样成比例的增加,因此,色彩保持不变,仅仅只是变亮了。
表1.增加聚光能力对RGB测量值的影响聚       说明        红色   绿色   兰色   绿色/红色   兰色/红色光能力
1  “基准,一个单  50     30     20     0.600        0.400
    位”
1.1    上升10%    55     33     22     0.600        0.400
1.2    上升20%    60     36     24     0.600        0.400
1.3    上升30%    65     39     26     0.600        0.400
1.4    上升40%    70     42     28     0.600        0.400
1.5    上升50%    75     45     30     0.600        0.400
2       两倍       100    60     40     0.600        0.400
2.5     两倍半     125    75     50     0.600        0.400
3       三倍       150    90     60     0.600        0.400
4       四倍       200    120    80     0.600        0.400
5       五倍       250    150    100    0.600        0.400
在表1中,需要指出的是,无论聚光能力如何变化,绿色/红色的比值和兰色/红色的比值保持不变。
聚光能力的基准水平是人为规定的,是为了方便起见。什么是表1中象点的色彩的“校正”测量呢?从阴天户外环境中拍摄到的图像可以测量到强度为50、30、20的彩色象点,而在一种明亮室内布景中测量该彩色象点,其三原色强度则为200、120、80,在该布景中采用了四倍的聚光能力。
尽管可以根据所收集到的能量来校正聚光能力,但是在实践中很少这样做。我们自己的眼睛的聚光能力是可以变化的。街灯在夜晚看起来非常明亮而在白天就显得非常暗淡,这是因为人眼的虹膜在夜晚会自动的扩张而在白天会收缩,这是为了应付自然界中的在亮度等级方面的极端偏差的需要。申请人没有发现有这样一种记录装置,该装置具有足够宽的动态范围,能应付从自然光到采用相同的聚光背景照亮的人造城市夜晚之间的范围。能够产生较好的图像的东西部分是因为聚光能力能随着光线而变化,因此,记录结果不会超出动态范围之外。所以,对于同一彩色象点,测量值50、30、20和200、120、80都是有效的。
对于任何三个一组的数字,即红绿兰的各强度值,它们总共有六种可能的比值方式,即,G/R、B/R、G/B、R/G、R/B以及B/G。其中仅有两个是唯一,其它四个都是多余的,且是前面两个的变化形式。例如根据G/R和B/R可以得出其它比值,如:
绿/兰=(绿/红)/(兰/红)
红/绿=1/(绿/红)
红/兰=1/(兰/红)
兰/绿=(兰/红)/(绿/红)
在理论上,可以选择六个比值中的任何两个。为了说明方便,选择绿/红和兰/红的比值进行说明。
对三个一组的RGB强度值进行有效的选择将会使得从RGB三个值中选出最大值的过程得到简化。就RGB值分别为50、30、20的情况而言,红色恰好是最大值,且强度和两个比值的计算为:
强度=红色测量值=50
比值1=绿/红=30/50=0.600
比值2=兰/红=20/50=0.400
反过来,人们可以进行反向运算恢复红绿兰的值,例如:
红=强度=50
绿=强度*比值1=红*绿/红=50*0.600=30
兰=强度*比值2=红*兰/红=50*0.400=20
三个一组的RGB的这种人为表示方法是比较有用的,因为对于任何象点来说,这两个比值都与聚光能力无关。聚光量的多少仅仅影响到强度成分。
太强的聚光能力会导致色彩的测量值失真,因为三原色RGB中至少有一种色彩会超过动态范围,且这种色彩将不能得到精确定表示。假设先前举例所用的象点在任意基准水平的聚光能力下的强度为50、30、20。如果对该图像进行重新录制,但是是在非常高的聚光能力下进行的,那么至少有一种色彩会超出动态范围之外。
表2-增加聚光能力以超出系统的动态范围之外聚       说明      红色    绿色    兰色    绿色/红色    兰色/红色光能力
1      基准       50      30      20       0.600        0.400
3      三倍       150     90      60       0.600        0.400
5      五倍       250     150     100      0.600        0.400
5.1    5.1倍      255     153     102      0.600        0.400
5.2    5.2倍      255     156     104      0.612        0.408
6      六倍       255     180     120      0.706        0.471
7      七倍       255     210     140      0.824        0.549
8      八倍       255     240     160      0.941        0.627
9      九倍       255     255     180      1.000        0.706
10     十倍       255     255     200      1.000        0.784
11     十一倍     255     255     220      1.000        0.863
12     十二倍     255     255     240      1.000        0.941
13     十三倍     255     255     255      1.000        1.000
1 “基准,一个单  50      30      20       0.600        0.400
位”
需要指出的是,在超过5.1倍的聚光能力后无论是绿/红比值还是兰/红比值都不是恒定的(因为其色彩已经饱和)。因为记录装置(为数字传感器或胶片传感器)所能测量到的能量有一最大值,因此对于任何物体来说都存在有效聚光能力的实际限制。在表2中,当聚光能力超过基准的5倍时,动态范围就几乎被用足。象点的强度为250,而可被存储的最大值也为255。准确地说是在5.1倍的聚光能力时达到该最大值。尽管在5.1倍时象点的强度为255,但是两个比值依然分别为0.600和0.400。在5.1倍的聚光能力时,会有更多的光线进入记录装置。尽管红色传感器有数字260可存,但是它却存储不了,因为超过了动态范围,而该值被限幅为255并由255替代260存储起来。尽管在绿色和兰色传感器中存储有正确的数字,但是,记录的整个色彩是不正确的,且这种情况是通过警示两个比值变得不同于正确的比值0.600和0.400而显示出来的。在六倍的聚光能力时,有更多的光线进入,且相应的失真会更严重。比值也极其不同且错误,该比值为0.706和0.471,这些相应会导致一种极其不同的色彩。在8.5倍的聚光能力时,兰色传感器也会测量到限幅值。该光线将以其红色和兰色这两种原色的强度相同方式被记录下来。那么兰色和红色的比例现在为1.000,且先前已经失真的色彩(红棕色)现在进一步失真成一种橙黄色。最终,在12.25倍的聚光能力时,所有的传感器都处于限幅状态,且色彩将以全强度三原色被记录下来,即为白色。
重要的是要避免所聚集的光量超过记录系统的能力(其动态范围),因为这会导致色彩的失真。
三个一组的RGB值中的任何一个都可以选为基准颜色。如果绿色为最强的色彩,且假设该彩色的各成分强度为30、50、20(其和前面所举的红色例子一样具有相同的基准聚光能力),那么在表3中表现出相同的性质。
表3.以绿色为最强色彩增加聚光能力的效果聚光能力    说明      红色     绿色     兰色     绿色/红色    兰色/红色
1       基准       30       50       20        1.667        0.667
3       三倍       90       150      60        1.667        0.667
5       五倍       150      250      100       1.667        0.667
5.1     5.1倍      153      255      102       1.667        0.667
5.2     5.2倍      156      255      104       1.635        0.667
6       六倍       180      255      120       1.417        0.667
7       七倍       210      255      140       1.214        0.667
8       八倍       240      255      160       1.063        0.667
9       九倍       255      255      180       1.000        0.706
10      十倍       255      255      200       1.000        0.784
11      十一倍     255      255      220       1.000        0.863
12      十二倍     255      255      240       1.000        0.941
13      十三倍     255      255      255       1.000        1.000
如表所示,出现了相同的状态,其中绿色/红色和兰色/红色的比值以极其相同的方式失真。在该例中,红色/绿色和兰色/绿色的比值(0.600和0.400)与先前以红色为例进行描述的50、30、20中的比值相同。
因此,无论三个一组的RGB值中的哪一个是最大值,都存在一种对称性,且该强度要被定义为(红、率、以及兰色中的)最大强度值和色彩比例结果(红色/强度、绿色/强度、兰色/强度)。这三个比值中有一个一定等于1,因为该强度总会与其中一个分子相等。就表1中的红色而言,RGB=50、30、20,因此,该强度=Max(50,30,20),该强度为50,且色彩比值为(50/50,30/50,20/50)=(1,0.600,0.400)。
因此,对于红、绿、以及兰分别为最大值时的情况表示如下:色彩强度     最大强度    R/S    G/S    B/S50,30,20     红色       1     0.6    0.430,50,20     绿色       0.6   1      0.430,20,50     兰色       0.6   0.4    1
如前面所假设的,对于相同的图像,与另一背景相比,当相机聚集到更多的光线时,如果我们位于该记录系统的动态范围之内的话,那么所给定的象点会具有这样的性质,即所测量到的三原色的比值保持不变。和将象点想象成一个三个数一组的RGB值不同的是,我们可以将象点想象成一个强度值和一些比值。或者说,对于我们所举例到的其基准强度为50的象点50、30、20,色彩比例为1,0.600和0.400。
增强图像
只要色彩比例没有变化,就可以在不对色彩产生负面影响的情况下对图像进行调节。例如,如果记录装置收集到的光量不够充足,我们就能在保持色彩的同时对光能或光线强度进行虚拟放大。
为了采用校正系数2对光线进行虚拟放大或换算,该强度在不改变色彩比例的情况下会翻倍:例如,例示象点(50,30,20)的最大强度翻倍为100,这就导致了彩色象点的强度为50*2*(1,0.6,0.4)=(100,60,40)。简而言之,通过将R、G、以及B的值乘以2可以获得相同的结果。
通过将三原色乘以或换算相同的倍数可以实现真实彩色光线的虚拟放大。只要输出值位于动态范围之内,就不会有色彩失真。如果R、G、或B值经计算后大于存储图像的文件格式所用的范围(如255),该动态范围就被超出。
通过采用代数换算表达式或函数所产生的校正,人们能够确保对三个一组的数据进行放大换算后得出的值不会超出动态范围。
参见图1,X轴表示象点的强度(即红、绿、兰中的最大值)。刻度0-1表示动态范围(如0-255)的极限。对于图中所示的线性对角线,强度为50(50/256=0.2)的象点其强度通过单位函数进行比例收缩后得出一输出值0.2。因此,单位对角线与一种“非处理”状态对应,其中输出等于输入。而且一旦比例函数与单位函数有偏差,输出值就会与输入值不同,从而导致图像产生变化。
将动态范围缩小成从0到1.0,就是简单地将当前强度值(三个一组的RGB值中的最大值)除以该动态范围可存储在最大值。假设该最大值为255。任取一象点,该象点的最大强度值在0到255之间。为了将最大强度值缩小为0到1.0,人们就需要将该强度除以255。
输入和输出轴表示三个一组的RGB值中的最大值。该输入值假设为象点的最大值。输出值为三个一组的RGB值的调节后最大值,该最大值为采用该方法计算所得的结果。
象点最大值
从三个一组的RGB值中找出最大值的方法为,从其中选出一个值并假设其为最大值,将该最大值与另一个值比较,如果该另一值大,则将该另一值设为最大值。下面三行伪代码说明了如何选择象点的最大值:
Strength=red
          将红色的强度值赋予strength
IF strength<green THEN strength=green
          如果strength的值小于绿色的强度值,则将
       strength的值重置为绿色的强度值。
IF strength<blue THEN strength=blue
          如果strength的值小于兰色的强度值,则将
       strength的值重置为兰色的强度值。
参见图1,任何缩放比例或校正系数都被限制在1×1的图表中。输入轴的定义域限制在0-1.0之间,输出轴的定义域限制在0-1.0之间。这就意味着调节或校正后的象点的强度将不会超出动态范围。
任何绘制在受限图表中的换算函数都可用于真实色彩光线的虚拟放大。特殊曲线图的特性将会影响到最终的美感和使用。要尽可能适当地选择特定函数以利于使用:无论该函数是用来调节整幅图像或一部分图像的明亮度,还是进行其它调节。
换算函数校正的两个实施方式包括:形成校正系数的查询表(由动态范围指定的有限数);另一种效率不高的方式是依次对每个象点进行独立地计算。人们能够想到,在一帧图像中,特定象点的强度值可能会在一些其它象点上重复许多遍。因此,为了进行高效率的计算,如果有查询表的话,那么计算一次得出的校正系数可以被多次使用。
对于查询表方法,一旦确定特定换算函数所需的参数已知,那么所有校正系数(通常为256,这依赖于动态范围的极限值)就可以通过一子程序计算出来并将结果存储在一查询表中,因此,每个只需计算一次。然后采用述这种方式(一种伪代码例子)简单地查询校正系数:
corr=corra(strength)
          其中corr是当前象点的特定校正系数;
              corra()是存储校正系数的查询表或数组;
并且
              strength为当前象点的RGB值中的最大值。
其它(效率较差的)方式是采用一函数计算一特定象点的校正系数,依次对每一个象点进行计算,伪代码可以是:
corr=correct(strength)
          其中corr是当前象点的特定校正系数;
              correct()是校正函数,该函数通过简单地
        “调用”其名称这种方式来执行;以及
             strength为当前象点的RGB值中的最大值。
图解换算函数上的给定点将用于生成校正系数或校正因子,该函数给出输入值和输出值。校正因子等于输出值/输入值。
为了保持各个色彩比值,三个一组的RGB值的所有三个数都由相同的校正系数corr进行放大,该校正系数corr由该象点的最大值来确定并被用来计算象点最大值。
因此,红色=红色*corr;绿色=绿色*corr;兰色=兰色*corr,其中红色、绿色、兰色对于当前象点在校正前后始终保持比值不变。将这四种假设条件接合起来的结果就真实色彩光线虚拟放大。永远不会超过动态范围且色彩总是保持不变。
实际实施
可以采用各种方式读入图像。申请人已经通过在一所显示的图像上解释该方法而避免了复查各种图形计算机文件格式的需要。申请人意识到,目前Visual Basic(一种在Windows操作系统下可操作的编程语言,这都是Microsoft Corporation的商标)以及许多其它的现代编程语言都具有一些简单的命令,这些命令都能够读入图像。在Visual Basic中,有一个命令是pbox.Picture=LoadPicture(file_in),其中pbox是一个“图片框目标程序”(“picture box object”),该程序用于显示图像,Picture是一种“方法”(“Method”),该方法将图片分配给该目标程序,LoadPicture()是读入图片文件的函数,而file_in是待读入文件的文件名。一旦Visual Basic调用该命令,就会读入该图像文件并通过被称为“图片框目标程序”的编程“工具”(“tool”)在屏幕上显示出来。有一种类似的方法来保存图片。
参见图2,该简化后的代码图示出在一图像上采用真实色彩光线的虚拟放大方法的Visual Basic实施方式。该简化后的技术至少需要一个16位的显卡,24位的显卡更好。图2中的代码涉及到从显卡本身上选取色彩值。这并不是效率最高的技术,且通过将图像存储在主RAM存储器可以得到极大的改进。这将会从根本上消除对显卡的访问,并消除将RGB值从一种可变的复合色彩中剥离出来的选取步骤,这种复合色彩通过Visual Basic函数pbox.Picture(lcol,irow)恢复。访问存储器可以使得效率增加7倍。
简而言之,该方法可以对矩形显示图像的象点进行调节。例如,图像可能比较暗,其所有象点最大值中的最大强度仅为128,或者说仅仅为该系统动态范围的一半。就最简单的情况而言,可以用一线性函数将该图像范围换算成该动态范围。因此,通过将最大值128规范成255,则所有象点最大值的强度就会翻倍。因此,换算函数仅仅是一常量2,且对于任何象点最大值该查询结果为2。对于每一栏图像,从色彩值中抽出兰绿红。象点最大值设定为红色,而绿色和兰色通过比较后被重新设定为三者之中的最大值。在查询表中查询校正系数,在本例中该校正系数为2。RGB中的每个值都放大2倍,放大后的最大值为128*2或256,即动态范围的最大值。改进后的象点被写回到屏幕,所有的色彩都被受到保全且不会超出动态范围。
应用一换算函数的效果
换算函数的无限虚拟选择在应用到图像上时会产生不同的效果以适于各种不同的对象。有时图像的质量决定要使用哪种函数(例如对较暗的图像进行增亮处理就用结构简单点的函数),或者决定要使用一种比较特别的函数,该特定函数仅仅增强图像内的特定强度(例如,从狭窄的部分中抽取细节,而不太关心对图像其它部分的影响)。
应用一虚拟透镜
光圈和快门自身都会产生问题。如果被拍摄的物体正在移动,快门只能开启一段很短的时间,或者由于物体自身的运动而导致图像模糊不清。
当光圈增大时,景深(即焦距的长度范围)会降低。即使在对焦正确的时候,光圈打开的较大也意味着只有在很短的距离范围内是清晰的。这种“失真”是由于透镜自身的球面形状造成的。当光圈较小时,由于所使用的透镜部位仅仅是几乎为平面的透镜中心部分,所以景深比较好。最小的设定光圈能够提供最大的景深。
实际上,拍摄(以及通常进行聚光时)都是这两种效果的折衷选择。通过选择较小的光圈和速度较慢的快门,静景可以采用较大的景深。赛车则只能以牺牲景深为代价进行拍摄,由于快门不可能开启太长时间,因此,光圈就必须开启的大一些以收集更多的光线。
假设采用质量“正常”的透镜拍摄移动迅速的东西,而摄影师又不想牺牲景深。如果不采用本发明的方法,摄影师将将毫无办法。因此,通过设定该控制以收集极少的光线,按照通常的拍摄思维,未经修正的图像将会极暗,但是景深得到保全。假设摄影师收集到的光量为充分利用动态范围的光量的四分之一(25%)。该图像几乎是黑的,其记录下来的最高值为63,而动态范围的极值为255。可以对该图像进行校正以使得暗区中的细节显示出来。
因此,在第一实施例中,参见图3,图中所示的是一条直线,该直线终止于点(x,1.0),其中x为整个被测图像的最大值。该最大值可以采用一种改进的柱状图方法找出来。在本例中,x为0.25,但是它可以为0-1.0之间的任何值。在本发明的优选实施例中,采用相同的方式增加虚拟光线,该相同的方式除了能具有与高级透镜相应的景深外,还会使得光圈开的更大。也可以采用该方法来补偿这样的“错误”,即由于透镜的设定不当而导致的太暗的照片。
虚拟虹膜
在第二实施例中,参见图8,采用该曲线图使得图像的最暗部分依然较暗,模糊不清的部分将变得明亮,而且使得图像中明亮的部分几乎不受影响。在采用本发明的真实色彩光线虚拟放大时,图8以及类似的形状比较平滑的非线性曲线图具有模仿虹膜的效果。输出的图像刚好与人们的视觉记忆经验极其相似。申请人将这种增强作用称为“虚拟虹膜”。
这种非线性曲线图的平缓的特性确保高质量的输入图像在处理后所形成的图像具有吸引力。保持这种令人产生美感的结果的重要方面在于曲线图保持平滑,曲线的斜率不会等于零而且始终平缓地变化,从而总体上形成一种纯粹的增亮效果。
在图8中,换算函数逼近系统动态范围的最大值和最小值的渐近线。该函数越逼近动态范围的最大值和最小值的切线,校正的就越严格。
细节的虚拟增强
简单来说,任何一帧照片都仅仅是一种光圈和快门设定状态产生的结果。在从事研究工作时,这就有令人烦恼的限制,即照片中某个区域中的一些细节不是太明显。在第三实施例中,提供了一种方法使得某个不太明显的区域中的细节显示出来。
参见图4,选择一个令人感兴趣的区域,且采用柱状图的方式发现该区域内的最小强度象点为0.30且最大强度象点为0.50。该区域仅仅占用了动态范围的20%,这就意味着反差不是太明显,或者说肉眼实际上无法分辨。
采用图4中所示的三段式线性换算函数将这些较小的反差变成较大的反差作为输出值,从而该指定区域则在80%的动态范围上变动。
在输入侧,在0.30之前和0.50之后的坡度比较小的直线所产生的结果是图像较暗和较亮的部分内细节都会不清晰。但是每个象点产生的色彩不会被破坏,且图像比较明亮的部分提供了比较好的参照。
可以选取照片中的任何区域。参见图5,在非常暗的区域内的细节都可以显示出来,例如在阴影内模糊不清的笔迹。图6图释了如何将明区内的细节(雪地中的轨迹)显示出来方法。通过简单地选择感兴趣的区域和采用该校正方法能够对任何数量的区域进行细节增强。
更特别的是,图像的任何区域或部分都能得到优化。首先,需要对该区域进行标识。在一种图像用户界面中,这种标识采用鼠标进行“点击和拖动”操作就可以简单地完成。这种操作在鼠标被按住后通过采用操作系统(Windows)以面向对象的程序设计技术就可以完成标识。在Visual Basic有一子程序(用于每个程序),鼠标按钮一松开就执行该子程序。
用户可以选择在图像中选择任意矩形区域。在共用存储器中以如下方式储存这该“坐标”,即xdwn,ydwn,xup,yup。见在图像上的重叠矩形框的例示照片#1和#2。
在虚拟透镜和虚拟细节增强中,我都提到了一种“改进的柱状图方法”。柱状图简化了出现机率数的计量而非出现机率值。
例如,如表4所示,根据一组RGB值:
表4-标准柱状图方法
“独立地选取红绿兰的值”象点#    红色    绿色    兰色    值    #出现次数
1     1       1       1
2     0       0       1       0        2
3     2       2       1       1        11
4     4       3       1       2        3
5     4       4       4       3        7
6     3       2       1       4        5
7     5       1       1       5        2
8     3       3       1
9     4       3       1     总计       30
10    3       3       5
在该例子中,有10个象点,每个象点有三个值(红色,绿色以及兰色),且这30个值中的每个值都位于0-5的范围内。通过将每个值(0,1,2,3,4以及5)出现的次数累计起来计算出标准的柱状图。
改进的柱状图方法,其中strength=max(red,green,blue),由表5说明如下:
表5-改进后的柱状图方法
“红绿兰的值作为单位,最大值的柱状图”象点#  红色  绿色  兰色  最大强度  值  #出现次数
1    1    1     1       1
2    0    0     1       1       0      0
3    2    2     1       2       1      2
4    4    3     1       4       2      1
5    4    4     4       4       3      2
6    3    2     1       3       4      3
7    5    1     1       5       5      2
8    3    3     1       3
9    4    3     1       4      总计    10
10   3    3     5       5
简单来说,就是在用于建立柱状图的最大强度中找出其出现的次数而不是分别找出红绿兰的值。
这与本专利申请的本质一致,即红色、绿色以及兰色的值作为一个具有一强度值和一些比值的单元来对待,而不是作为三个独立的值来对待。
通过假设位于行和列的范围内的那些象点建立柱状图,行的范围为从xdwn到xup(rows=xdwn to xup),列的范围为从ydwn到yup(columns=ydwn to yup)
参见图7a,图中提供了一个例示代码,通过该代码用于建立改进柱状图。
在这一点上,就标记区域中三个一组的RGB的最大强度而言,其累计值已知且构成柱状图。象通过柱状图数据反映的那样,确定头尾的重要强度值。
为了避免出现无意义的或饱和的记录元件以及其它方面的“偏离值”的错误(这些错误对该区域都不具有代表性),人们可以将相关的象点限制为出现机率数2%和98%,以代表最大和最小的相关RGB强度值。
通过柱状图计数出的强度值的次数总计后等于最终的累计值,因此,2%和98%的值很容易找到。图7b中的代码确定了强度指数的范围(hmin和hmax),该范围与用户所选择则图框内的强度的范围相应。
参见图4,改进的柱状图方法发现0.30(动态范围的最小值)和0.50(动态范围的最大值)分别为图像中用户所选择的部分的最小强度值和最大强度值。(见采用图框框住的图片示例#1,#2)。
也可以假设对由改进后的柱状图方法计算出的范围进行改进以使得该范围在动态范围主要部分上变化。
因此,该输入值范围hmin和hmax会被转变成什么范围呢?我们想使之占据动态范围的绝大部分。比较好的设想是动态范围的80%,这样就能够剩下一点比较暗的区域和比较明亮的区域,以便还可用这些区域作为参考基准。
在所使用的代码中,所选区域的输出强度范围起初设置为0.1到动态范围最大值0.9。随后重新设置为0.2到0.9,在经过多次研究后发现这两个数字的确显得更好。
该代码被用来根据改进柱状图方法计算查询表,该改进柱状图方法用来确定输入强度范围和0.2到0.9之间的(几乎)任意的输出范围,该范围如下。
图4中的曲线图从总体感觉上而言可以被看作三条线段,每条线段都有两个端点。
表6-线段
线段            起点              终点
 #1            (0,0)        (xmin,0.20)
 #2         (xmin,0.20)     (xmax,0.90)
 #3         (xmax,0.90)     (1.0,1.0)
其中xmin和xmax已经通过改进的柱状图方法计算出来了。也就是说:
xmin=hmin/drmx
xmax=hmax/drmx
根据动态范围对两条输入轴进行测量。输入值由象点的强度(RGB中的最大值)计算得出。曲线图不会超出0到1这个“框”。在任何具体的处理过程中任何换算函数都必须完全满足这些限制条件。
在此保持不变的是,输出值是由和在上面图2中所描述的程序相同的程序来计算,且查询表不是保持曲线图不变,准确地说是保持输入值与输出值的比值不变。
每条线段都可用“斜截式”代数式来表达,代数式的通用表达式为y=m*x+b。对于三段线段中的每一段,都可以确定出线性方程和换算系数。从三个方程中可以得出一批校正系数或换算系数。用系统动态系统的范围除输出值就得到输出值与输入值之间的比值。
这种虚拟的细节增强技术,或由于其深入揭示通常比较模糊的区域的能力而称之为法医摄影(forensic flash)技术,使得任何目标区域的动态范围最大化,从而增强其细节。这种技术不限于目标区域,而是与用户所选择的区域具有相似强度的照片任何部分都将可以得到增强。由于可选择任何目标区域,因此,可在同一帧照片上进行多次有价值的校正。由于这种校正的“真彩”特性,可以将那些比被用户选中的强度范围还强的区域保留下来作为有用的基准。
实施例
虚拟拍摄—虚拟虹膜
图9和10中所示的例子图释了对实体聚光装置或摄影装置所形成图像的局限性进行校正的情况。每帧图像对应一种光圈和快门设定状况意味着照片可能会根据人们曾经存在的体验记忆而改变。当存在体验反差时眼睛的虹膜就会自我调节。在一个阳光明媚的公园内,当人们从有阳光的地方走向阴暗位置时虹膜就会扩大,从而你记忆中草都是绿色的,而照出的照片却经常将阴暗处的草显示成黑色。
照片#1(图9a-9f)为旅游者照的一寺院的照片
该图例解释了各种现有处理技术和本发明是如何增强图像的。现有技术的处理方法是对图像进行“调整”(“play”),直到其亮度看起来满足你的要求为止。这种做法具有较强的主观性,而专门使用者需要是擅长于作出必要折衷的那种人。在图9a中,由照片扫描形成的原始图像非常暗,但是依然占用系统256的动态范围的全部/绝大部分范围(象点最大值在强度值5和254之外)。
图9b-9d图释了几种图像增亮的现有技术。图9b是将图像的亮度增加80%的结果。尽管图9b中的图像比较亮,色彩褪色比较利害,且天空的色彩也产生了变化。图9c图释了采用现有技术对图9b进行增亮后的图像,其中反差设定为50%。增加反差的目的是试图恢复在增亮过程中牺牲的色彩。需要注意的是该图像失去了多少细节。该处理过程将许多象点挤出边界,即位于动态范围之外。图9d图释了采用现有技术对图9b进行增亮后的图像,其中饱和度设定为50%。增加饱和度是恢复色彩的另一种技术。结果,天空几乎返回到和其本来的色彩,但是图像中的其余部分的色彩失真严重且难看。
由于采用了本发明的技术,照片显示的非常清楚,在图9f中尤其显著。在图9f中,图像的范围5到254被线性映射为0-255。由于原始图像几乎已经占据了整个范围,所以产生的效果比较小。但是,它确实确保了我们的输出图像占据了整个动态范围。在图9f中,采用了图8中的换算函数来获得高级图像。图像中的所有的色彩都是真实的,由于其是扫描形成的且鲜艳悦目,正如其在眼中所成的像一样,没有丢失任何细节。
照片#2(图10a-10f),为旅游者拍摄到的石柱群的照片
在原始图片图10a中,由于这种极端的照明条件,石头处于阴影中。在图10f中,本发明的虚拟虹膜处理方法采用和眼睛虹膜自动活动相同的方式进行补偿,将质量较差的照片转变成质量较好的照片。
尤其是在图10a中,物体非常暗,而且还占用了动态范围的全部或绝大部分(仅有1%采样点(hits)位于强度范围5到253之外)。该图像已经采用过其它方法进行过“预处理”以显示出细节部位,即可以看出天空几乎是白色的,但是云彩依然可以看得见(在本申请中使该图再生时不需要将实际存在的云彩保存下来)。现有技术已经“尽其所能”对其进行了处理,但是物体依然很暗。图10b所示的是采用现有技术增亮了60%后的图像。尽管图像比较亮,但是色彩褪色的比较严重,且石头也失去了其全部的色彩。许多细节也由于仅仅采用这种方法而丢失。需要指出的是,即使在灰度级绘制图中,石头所固有的“红色”岩石也变白了,且在图10b所示图像的左侧极为明显。图10c是将反差设定为40%后对图10b增亮后的图像。需要指出的是,在一些区域内石头恢复了一些色彩,而在其它区域则没有恢复。还需要明确是,该图像丢失了许多细节部分。图10d是将饱和度设定为15%后对图10b增亮后的图像。其中色彩得到了改善,这种得到改善的色彩“在某种程度上要是合适的那种”,但是其中增加一些人工色彩,例如红色和黄色。即使在不需要太多校正的照片中,每个象点饱和度的控制都是以不同的RGB比值结束的,而不是保持不变。最好的情况是,人们可以以一种折衷的解决方式结束。
由于采用了本发明的技术,在图10e中,图像范围6-255被映射为0-255,以确保输出的图像位于整个动态范围。在图10f中,还是采用图8中的换算函数,以便获得高级的真实色彩,且不会丢失细节部分。
法院用摄影—虚拟细节增强
照片#3(图11a,11b)一卫星的照片
在图11a中,卫星处于阴影中,且表面比较暗。这在反差极大的照明空间中经常会出现。这样可能会看不见重要的“对接”(“docking”)孔。采用第三实施例的法医摄影校正技术,在该暗区中选择一个窗口或图框,并采用柱状图方法建立一条适于该区域的校正曲线图。
在图11b中,处理后的图像将该暗区中的细节部分都显示,其中用白色圆圈进行标识的对接孔现在也显示出来。
照片#4(图12a,12b)小型飞船照片
在原始图像图12a中,飞船的下侧处于阴影中。当在摄影时将透镜直接对准天空时这种情况经常发生。具体而言,就是由于尾部不较暗,可能会看不见识别标记。
采用第三实施例中的原理,选定尾部区域并采用柱状图方法建立一适于该区域的校正曲线图。结果,如图12b所示,处理后的图像显示出了先前不较模糊的字迹。现在就能识别出该飞船为COLIMBIA N3A。
照片#5(图13a,13b)汽车牌照照片
在原始图像图13a中,汽车牌照几乎完全被阴影遮盖。由于读不出牌照,所以也辨识不了该汽车。采用第三实施例,选定该牌照并采用柱状图方法建立一适于该区域的校正曲线图。
结果,如图13b所示,处理后的图像显示出该汽车根本不具备普通的牌照,而是两个单词:Classic Mustang。
照片#6(图14a,14b)雪地中轨迹的照片
在图14a中,有两个人在滑雪。他们的轨迹是可以辨认的,但是模糊不清。采用第三实施例的法庭用摄影校正技术,在雪中轨迹的过渡曝光的区域中选择一个窗口或图框,并采用柱状图方法建立一条适于该区域的校正曲线图。
在图14b中处理后的图像显示出了过渡曝光区域内的细节部分。雪地中的轨迹变得清晰可见。
同样,在照片中滑雪者的面部的较暗区域选择一个窗口或图框。图14c就是采用柱状图方法建立一个仅仅适用于照片中的该区域的校正曲线图并采用该曲线进行校正后的结果。滑雪者的特征相对于在图14a所示的原始照片所示的特征而言要清晰可见得多。
概述
在此表述的关键构思是下面六种因素的结合:在RGB色彩空间进行校正;校正曲线图;限定校正轴线;限制系统动态范围的域和范围;曲线图的特性;以及三个一组的RGB值中的每一值都采用相同的系数进行校正。
对RGB色彩空间进行这种校正是为了保持色彩真实不变的需要。任何校正曲线图都可以用来实施上述技术特征。输入和输出轴线代表了RGB三个一组的值中的最大值。输入值是三个一组的RGB值中的假设的最大值,而输出值是与三个一组的RGB值中的最大值相应的值,该值是采用真实色彩光线虚拟放大的计算结果。校正系数限制在动态范围之内。这意味着被计算象点的强度被限制在动态范围之内。在该限制条件下作出的曲线图都能够用于该处理方法。特定曲线图的特性将会影响到校正的重点。而且,所有三个RGB值都必须采用由该曲线图所导出的换算系数进行放大。曲线图上的每一给定的点都有一输入值和输出值。校正值等于这两个值的比值(两者相除的值)而三个一组的RGB值中的所有三个值都用输入值与输出值之间的比值进行放大。
这些假设的结果产生了一套处理方法,该方法能在改变有效聚光能力的同时保全输入数字图像中的每个象点的本质色彩,这种方法根据点对点的基础可简便易行。
上述实施例之间的所有区别在于在强制条件下改变曲线图。通过真实色彩光线虚拟放大,仅仅需要明确图像增强要求和确定满足这种要求的曲线图就可以得到一种有效的新结果。
按照条约第19条的修改
1.一种对以数字格式进行储存的图像数据库进行重新处理的方法,该图像数据库是由大量彩色象点中每个象点的R、G以及B数据的强度值构成的,RGB强度值数据的最大值被限制在数字格式的动态范围之内,该方法包括以下步骤:
a)选取每个彩色象点的RGB数据;
b)根据所选取的RGB数据确定每个R、G以及B强度值;
c)通过每个R、G或B强度值之间的比较确定出一象点最大值,以得出一些各彩色象点的象点最大值;
d)对每个象点最大值施以一预定换算系数,以确定各彩色象点的换算后象点最大值,每个换算系数的大小使得换算后的象点最大值小于或等于数字格式的动态范围;
e)将一彩色象点的换算系数运用到该彩色象点的剩下两个R、G以及B强度值中每一个强度值上,从而获得三个新的换算后的R、G以及B强度值,并由此得出每个彩色象点经过重新处理后的RGB数据,每个彩色象点的R、G以及B强度值之间的比值在进行换算后和换算前保持不变;以及
f)将源于这些大量的彩色象点的经过重新处理后的RGB数据作为重新处理后的数字图像数据库保存起来。
2.如权利要求1所述的方法,该方法还包括以下步骤:
a)确定这些象点最大值中的最大值和最小值;以及
b)建立一个连续的换算函数,根据该函数确定每个象点的换算系数,且该函数至少使得图像强度范围的一部分规范到该数字格式的动态范围的一部分上,从而当对每个象点最大强度值施以预定的换算系数时,这些象点最大值中的最大值经换算后的输出值将小于或等于该动态范围,且这些强度值没有一个经过换算后所得出输出值大于动态范围;且
c)对每个象点最大强度值施以该连续换算函数,以获取一些相应的象点换算系数,将一象点换算系数运用到其相应的象点最大值,并且也运用到该彩色象点的两个其它的R、G以及B强度值中的每一个上,使得每个彩色象点都获得三个新换算后的R、G以及B强度值,依此类推对所有的彩色象点进行该过程。
3.如权利要求2所述的方法,该方法还包括以下步骤:
a)至少一部分动态范围的所述换算系数存储在一查询表中;以及
b)在该查询表中查询与一象点最大值相应的换算系数并将其施加到该象点最大值上,且也施加到该象点的两个剩下的R、G以及B强度值中的每一个值上,从而调节并使得每个彩色象点获得三个新RGB强度值,依此类推对所有的彩色象点进行该过程。
4.如权利要求2所述的方法,其特征在于:图像强度的范围可以规范到该动态范围上。
5.如权利要求2所述的方法,其特征在于:图像强度范围的一部分可以规范到动态范围的相当大的一部分上。
6.如权利要求2所述的方法,其特征在于:该换算函数是线性函数。
7如权利要求2所述的方法,其特征在于:换算函数是非线性函数。
8.一种对以数字格式进行储存的图像数据库的一子库进行增强的方法,该图像数据库是由大量彩色象点中每个象点的R、G以及B数据的强度值构成,RGB强度值数据的最大值被限制在该数字格式的动态范围之内,该方法包括以下步骤:
a)指定图像中需要增强的一部分,该部分代表由彩色象点构成的图像子区域;
b)根据该图像子区域内的每个彩色象点的三个R、G以及B强度值之间的比较确定一象点最大值,以建立一些象点最大值;
c)确定该图像子区域中所有象点最大值中的最大值和最小值,以建立一象点最大值的子范围;
d)通过将象点最大值的子范围基本上规范到整个动态范围上,确定用于该图像子区域的连续换算函数;
e)对每个象点最大强度值施以该连续换算函数,以获取一些相应的象点换算系数,将一象点换算系数运用到该彩色象点的两个其它的R、G以及B强度值中的每一个上,以获得三个新R、G以及B强度值,并由此确定出该图像子区域中的每个彩色象点的经过重新处理后的RGB数据,对该图像子区域中的每个彩色象点而言,R、G以及B确定值之间的比值在换算后和换算前保持不变。

Claims (8)

1.一种调节数字图像的方法,该方法不会导致色彩失真,该图像由一些彩色象点构成,每个象点至少具有三个独立值,这三个独立值表示三原色R、G以及B的强度值,每个值位于该系统的动态范围的最大值和最小值之间,该方法包括以下步骤:
a)在RGB色彩空间中确定每个象点的三个RGB值之中的最大值,以建立一些象点最大值;
b)对每个象点最大值施以一预定换算系数,以获得换算后象点最大值,该换算系数使得换算后的象点最大值小于或等于该系统的动态范围的最大值;且
c)对每个所述象点的R、G以及B值中的剩下两个值施以该预定换算系数,从而进行调整并获得每个象点三个换算后的RGB值,使得一个象点的R、G以及B值之间的比值在进行换算后和换算前保持不变。
2.如权利要求1所述的方法,该方法还包括以下步骤:
a)确定该图像中象点最大值中的最大值和最小值;以及
b)建立一个连续的换算函数,根据该函数预定每个象点的换算系数,且该函数至少使得图像范围的一部分规范到动态范围的一部分上,从而当对每个象点最大值施以预定的换算系数时,象点最大值中的最大值换算后的输出值将小于或等于动态范围的最大值,且且这些值没有一个经过换算后所得出输出值大于动态范围;且
c)对每个象点最大值施以该连续换算函数,以获取一些相应的象点换算系数,将一象点换算系数施加给相应的象点最大值,并且也施加给该象点的两个其它的RGB值中的每一个,以便调节并使得每个象点获得三个新RGB值,依此类推对所有的象点进行该过程。
3.如权利要求2所述的方法,该方法还包括以下步骤:
a)至少一部分动态范围的所述换算系数存储在一查询表中;以及
b)从该查询表中查询与一象点最大值相应的换算系数并将其施加到该象点最大值上,且也施加到该象点的两个剩下的RGB值中的每一个值上,从而调节并使得每个象点获得三个新RGB值,依此类推对所有的象点进行该过程。
4.如权利要求2所述的方法,其特征在于:图像的范围可以规范到动态范围上。
5.如权利要求2所述的方法,其特征在于:图像的一部分范围可以规范到动态范围的相当大的一部分上。
6.如权利要求2所述的方法,其特征在于:该换算函数是线性函数。
7如权利要求2所述的方法,其特征在于:换算函数是非线性函数。
8.一种增强由一些彩色象点构成的数字图像的方法,每个象点具有一些表示三原色R、G以及B的值,每个值位于该图像的动态范围的最大值和最小值之间,该方法包括以下步骤:
a)指定图像中需要增强的一部分,该部分是由其中的图像象点构成的子区域;
b)确定该图像子区域内的每个象点的三个RGB值中的最大值,以建立一些象点最大值;
c)确定该子区域中所有象点最大值中的最大值和最小值,以建立一图像部分范围;
d)通过将该子区域象点最大值的范围规范到该图像的基本整个动态范围上,确定用于该图像子区域的连续换算函数;
e)对每个象点最大值施以该连续换算函数,以获取一些相应的象点换算系数,将一象点换算系数施加给相应的象点最大值,并且也施加给该象点的两个其它的RGB值中的每一个,以便调节并使得每个象点获得三个新RGB值,依此类推对所有的象点进行该过程,从而一个象点的R、G以及B值之间的比值在进行换算后和换算前保持不变。
CNB008086907A 1999-04-13 2000-04-10 真实彩色光线的虚拟放大 Expired - Lifetime CN1179546C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12904199P 1999-04-13 1999-04-13
US60/129,041 1999-04-13

Publications (2)

Publication Number Publication Date
CN1354950A true CN1354950A (zh) 2002-06-19
CN1179546C CN1179546C (zh) 2004-12-08

Family

ID=22438204

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008086907A Expired - Lifetime CN1179546C (zh) 1999-04-13 2000-04-10 真实彩色光线的虚拟放大

Country Status (13)

Country Link
EP (1) EP1177678B1 (zh)
JP (1) JP4841039B2 (zh)
KR (1) KR20010113791A (zh)
CN (1) CN1179546C (zh)
AT (1) ATE250309T1 (zh)
AU (1) AU771979B2 (zh)
CA (1) CA2368544C (zh)
DE (1) DE60005332T2 (zh)
GB (1) GB2363933B (zh)
HK (1) HK1048213B (zh)
MX (1) MXPA01010248A (zh)
NZ (1) NZ514714A (zh)
WO (1) WO2000062528A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
US11138701B2 (en) 2018-08-20 2021-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, storage medium, and electronic apparatus
US11138700B2 (en) 2018-08-20 2021-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for image processing, non-transitory computer readable medium, and electronic device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893793B1 (ko) 2011-05-17 2018-10-04 삼성전자주식회사 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
CN108711142B (zh) * 2018-05-22 2020-09-29 深圳市华星光电技术有限公司 图像处理方法及图像处理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3684825A (en) * 1971-02-19 1972-08-15 Rca Corp Contrast compression circuits
JPS59163953A (ja) * 1983-03-08 1984-09-17 Canon Inc 画像処理装置
US4736244A (en) * 1984-12-12 1988-04-05 Fuji Photo Film Co., Ltd. Color film inspection system and data output method therefor
US4729016A (en) * 1985-05-06 1988-03-01 Eastman Kodak Company Digital color image processing method and apparatus employing three color reproduction functions for adjusting both tone scale and color balance
US5398123A (en) * 1988-08-31 1995-03-14 Canon Kabushiki Kaisha Image processing method and apparatus capable of automatic color masking
JP2748678B2 (ja) * 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
EP0603908A3 (en) * 1992-12-25 1996-02-07 Dainippon Screen Mfg Method and apparatus for converting image signals.
JP3335507B2 (ja) * 1995-09-19 2002-10-21 京セラミタ株式会社 カラー画像調整装置およびカラー画像調整方法
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN104364820B (zh) * 2012-10-08 2018-04-10 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
US11138701B2 (en) 2018-08-20 2021-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, storage medium, and electronic apparatus
US11138700B2 (en) 2018-08-20 2021-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for image processing, non-transitory computer readable medium, and electronic device

Also Published As

Publication number Publication date
KR20010113791A (ko) 2001-12-28
NZ514714A (en) 2003-11-28
DE60005332D1 (de) 2003-10-23
ATE250309T1 (de) 2003-10-15
JP4841039B2 (ja) 2011-12-21
AU3800100A (en) 2000-11-14
CN1179546C (zh) 2004-12-08
CA2368544A1 (en) 2000-10-19
WO2000062528A1 (en) 2000-10-19
MXPA01010248A (es) 2003-07-21
GB2363933A (en) 2002-01-09
CA2368544C (en) 2006-10-03
JP2002542678A (ja) 2002-12-10
DE60005332T2 (de) 2004-06-17
EP1177678B1 (en) 2003-09-17
HK1048213B (zh) 2005-09-16
HK1048213A1 (en) 2003-03-21
AU771979B2 (en) 2004-04-08
EP1177678A1 (en) 2002-02-06
GB0124644D0 (en) 2001-12-05
GB2363933B (en) 2003-08-27

Similar Documents

Publication Publication Date Title
CN1264121C (zh) 数字图象锐化系统
CN1290312C (zh) 除去读取双面或重叠原稿产生的透印的图像处理装置及其方法
CN1311404C (zh) 使用了图像生成历史信息的图像的逆光处理
CN1134975C (zh) 图像处理装置
CN1219395C (zh) 摄像装置和摄像方法
CN1093968C (zh) 图象处理装置
CN100350431C (zh) 增强以批模式处理的肖像图像的方法和系统
CN1207895C (zh) 图象处理方法和装置
CN1732682A (zh) 图像处理装置及图像处理程序
CN100346651C (zh) 图像显示系统、投影机及图像处理方法
CN1526115A (zh) 降低图象处理装置的更新频率的方法和系统
CN1310521C (zh) 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1592915A (zh) 用户可定义的图像基准点
CN101053249A (zh) 图像处理方法、图像存储方法、图像处理装置及文件格式
CN1306722A (zh) 摄影装置及其方法
CN1134727C (zh) 打印机
CN1692629A (zh) 图像处理设备和方法
CN1396775A (zh) 分割像素图像的方法和装置
CN1874410A (zh) 成像装置和成像装置中的成像结果处理方法
CN101061704A (zh) 色彩调整装置及方法
CN1669333A (zh) 图像数据处理方法、图像数据处理装置和计算机程序
CN1487737A (zh) 图像处理方法及装置和彩色变换表生成方法及装置
CN1102887A (zh) 投影镜头和图象显示装置
CN1645942A (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN1871847A (zh) 信号处理系统、信号处理方法以及信号处理程序

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20041208

CX01 Expiry of patent term