CN101253764B - 成像照相机处理单元和方法 - Google Patents
成像照相机处理单元和方法 Download PDFInfo
- Publication number
- CN101253764B CN101253764B CN2006800312596A CN200680031259A CN101253764B CN 101253764 B CN101253764 B CN 101253764B CN 2006800312596 A CN2006800312596 A CN 2006800312596A CN 200680031259 A CN200680031259 A CN 200680031259A CN 101253764 B CN101253764 B CN 101253764B
- Authority
- CN
- China
- Prior art keywords
- pixel
- target
- user
- unit
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 title description 10
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000009826 distribution Methods 0.000 claims description 22
- 238000005520 cutting process Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 15
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 13
- 239000000203 mixture Substances 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 15
- 238000013507 mapping Methods 0.000 description 14
- 238000005286 illumination Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 238000012958 reprocessing Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 108010079528 visinin Proteins 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
为了允许对照相机输出图像如何捕获原始场景进行更好的用户控制,被安排来构成图像捕获照相机系统(400)的一部分的成像照相机单元(401)包括:用户接口(420),允许用户经由输入(403)在从成像传感器(406)接收的所捕获图像(Io)中指定他偏爱的目标(101)的几何位置的至少一个指示(gp);用户可调整的目标分割单元(410),被安排成根据所述指示(gp)来确定作为目标(101)的一部分的一组像素(sg);以及颜色合成监视单元(412),被安排成根据该组像素(sg)中像素的至少一个颜色属性来确定至少一个统计量(ST)。
Description
技术领域
本发明涉及一种用于确定最佳输出图像Is,或换句话说,用于确定那个图像的最佳外观(look)的成像照相机(imaging camera)单元。
本发明还涉及用于在照相机中确定这样的最佳外观输出图像的方法,以及对这样的方法的算法步骤编码的计算机程序产品。
背景技术
现代照相机通过提供(专有的)自动优化过程,而脱离用户控制去进行遵循物理成像原理的图像捕获优化的冗长工作。
清晰度优化(自动聚焦)便是这样一个优化的例子。它是一个合适进行优化的属性,因为它非常依赖透镜系统的物理属性:在正常的照相机中不是所有的目标(深度平面)都能够是清晰的,但是无论如何可以使例如用户指向的中央区域清晰(通过简单的物理和/或数学分析,诸如象查看线扩展(line spread)),且通常这便足以符合用户的期望。实际上,即使在不利的自动聚焦条件下,许多用户仍可以用现代照相机通过自动聚焦获得比通过他们人工聚焦更清晰的画面。
自动化的另一个例子是自动曝光,其使得用户不用对场景进行测光且不必使用换算表,系统会知道它的动作是什么。
然而,这些系统的缺点在于,实践表明:非常多的捕获的图像看起来并没有好到像它们能够达到的那种程度,或者甚至某些图像看起来明显很难看(这一点可以用照相机全景拍摄城市风景来很好地说明,为何对于其中照出了许多天空的画面,当在低动态范围的显示器上再现时建筑物可能甚至会变得不能识别)。
按照发明人的说法,自动曝光甚至根本就不值得要:与简单的可优化的属性如清晰度不同,场景的颜色补偿是一个作为画面的艺术质量的属性,就像它的几何组成,即,对其应当存在一种技术系统去影响它,但优选地是以一种不冗长乏味的方式。
发明内容
所以,希望有一种技术,给用户提供对于他所捕获(capture)的图像的增加的控制,具体在于,他已经有许多编辑,和多少类似于在PC照片编辑软件中可能存在的那些的图像改进设施,因为是在捕获的时间用户对于要捕获什么和如何捕获(例如,像素上的噪声量)仍拥有完全的控制,但是后来在原始3D场景与特定的摄影表示之间可能有不可修复的数据丢失。而且,在捕获期间用户可能已经能决定他想要如何“最佳地”存储该画面供以后使用,并且只要照管好捕获的信息(例如,在黑色中没有丢失细节的限幅(clipping)),那么如果仍需要的话,许多实际的捕获参数,诸如像素亮度,无论如何都可以是稍后能进一步改变的(“可校正的”)。
成像照相机单元(401)可使这一点易于实现,其中该成像照相机单元(401)被安排来构成图像捕获照相机系统(400)的一部分,其包括:
-用户接口(420),允许用户经由输入(403)在从成像传感器(406)接收的所捕获图像(Io)中指定他偏爱的目标(101)的几何位置的至少一个指示(gp);
-半自动目标分割(segmentation)单元(410),被安排成根据所述指示(gp)来确定作为目标(101)的一部分的一组像素(sg);以及
-颜色合成监视单元(412),被安排成根据该组像素(sg)中像素的至少一个颜色属性来确定至少一个统计量(ST),
该成像照相机单元还包括目标变换单元(414),被安排成根据经由变换接口单元(450)提供到目标变换单元(414)的用户的具体要求(sp),来对该组像素(sg)中像素的该至少一个颜色属性施加变换,其中目标变换单元(414)被安排成对该组像素之外的像素的该至少一个颜色属性施加不同的变换或不施加变换。
人类视觉系统以与照相机完全不同的方式来观看场景和场景中的目标。并不仅仅是大多数当前的照相机是线性的(例如,CCD;至少就传感器而论,且并非是施加来得到输出图像信号的逆伽玛特性),然而人类视觉系统是非线性的(例如,在相同的范围中,例如0-255,可以捕获更多的亮度),具有取决于场景条件(例如,平均亮度)而可调整的非线性函数。人类视觉系统也是高度地(智能地)可调整的。在阳光下拍摄汽车画面的照相机可以产生一幅在汽车上带有严重阴影的图像,在不知道原始捕获条件的情况下,在观看环境中对于观看者来说这些阴影可能变得令人讨厌。人将趋向于把整个目标看作为“汽车”,且可能甚至没有注意到阴影(即,大脑“校正”它们,使得它们变得不太引人注意)。
即使对于复杂的目标,诸如在其表面上反射各种周围颜色的圣诞银球,人也仍然可以合理地确定圣诞银球的颜色。
按照本发明,人类视觉系统为达到上述的“正确的场景表示图像”(我们用这个来指一幅更适合于离线的人观看的图像,即,没有刺目的阴影等等-而且特别是,没有太多的被限幅的颜色-即,稍微有点象画家来画图像-给予人现实的效果:即,例如具有不太深的阴影的汽车画面,以及或许还有被补偿的明亮的阳光照明)而需要做的事情的困难部分,即,理解场景、和它的最相关的目标、以及它们的关系,由分割的人工指示部分来照管。即,作为它的至少一个重要的目标,本发明提供场景的一个良好表征,以用于进一步分析,这允许更智能的照相机算法。
此外,用户具有另外的控制以使得按照他的希望(和给定的物理限制)场景目标看起来最和谐,或者需要或者不需要捕获另外的照片(即,根据存储器中当前存在的任何东西-可能是已经重新合成的图像,或者是带有附加数据的图像组)。
成像照相机单元(401)的一个实施例包括捕获优化单元(424),其被安排来优化用于捕获至少一个另外图像的至少一个捕获参数(cp)。
于是图像处理的自动部分(改变传感器的捕获参数,诸如象曝光持续时间,或后处理所输出的传感器捕获的图像,诸如应用颜色修正)对于用户可以是相当简单的,并将典型地牵涉到基于场景的物理现实性的麻烦的数学处理,这是人不善于完成且不想做的(诸如,举例而言,根据由用户选择的不同图像目标中像素的颜色的统计测度来确定最佳曝光)。但该优化是在与现有的捕获优化系统相比、对场景中的重要内容有较大增加的控制的基础上完成的。捕获参数(cp)可以是例如快门速度、孔径、放大因子、对比度调节、色温校正、和偏色(color cast)去除中的一个或几个。
在较简单的一个变例中,灰度值范围是例如经由一个合成画面(601)而可修改的,该合成画面显示所捕获图像(Io)中用户选择的目标和背景目标中至少某些彼此有关的目标的像素组的范围(range)。
如果成像照相机单元(401)包括空间修改单元(416),则是有利的,空间修改单元(416)被安排成根据另一用户具体要求(spp)来修改目标(101)的该组像素(sg)的该至少一个颜色属性的几何分布(profile)。
虽然对于许多图像而言,范围重新分布对于用户将是足够的,但这并没有给他提供对于其它类型图像的足够控制,例如一幅图像,其中一小部分场景被过度照明且可能是以几何上相关的方式,例如,目标的某个部分非常接近于发光体,而另一部分处在阴影中。
于是用户可以移动范围,但这并不会有助于他,因为被限幅到白色的像素将变为被限幅到灰色的像素,而跨目标的对比度可能仍旧太大而不是按照用户所希望的和谐的。他可能想要指定例如更平滑地演变的颜色分布。
如果成像照相机单元(401)包括状态确定单元(415),则是更有利的,状态确定单元(415)被安排成取决于由用户确定的最终图像(Is)外观,即例如他把目标范围移动到哪个位置,来确定是否需要捕获另外的图像,例如因为目标是带有许多噪声地被捕获的。于是照相机可以自动捕获另一个图像,并从其中填补该目标,或仅仅使用户关注该事实并请求他拍摄至少一个其它的图像。
分割部分的许多实施例落入权利要求的范围,例如,成像照相机单元(401)用户接口可被安排,使得目标(101)的几何位置的该至少一个指示(gp)包括该目标(101)的轮廓的具体要求。
在将来,更多的人将使用充当照相机的、被不同地命名的设备。
等价于成像照相机单元的是一种在照相机(400)中确定由该照相机的成像传感器(406)捕获的画面(Io)中目标(101)的像素的至少一个颜色属性的至少一个统计量(ST)的方法,包括:
-允许用户在所捕获图像(Io)中指定他偏爱的目标(101)的几何位置的至少一个指示(gp);
-根据所述指示(gp)来确定作为目标(101)的一部分的一组像素(sg);以及
-根据该组像素(sg)中像素的该至少一个颜色属性来确定至少一个统计量(ST),
根据用户提供的具体要求(sp),对该组像素(sg)中像素的该至少一个颜色属性施加变换,
对该组像素之外的像素的该至少一个颜色属性施加不同的变换或不施加变换。
附图说明
通过参考下文所描述的实施方案和实施例、以及参照附图,按照本发明的方法和设备的这些和其它方面将是明显的并得以阐明,这些附图仅仅用作举例说明较一般性概念的非限制性特定例图,其中虚线被使用来表示部件是可选的,非虚线的部件不一定是必需的。
在图上:
图1示意地显示供拍照的场景;
图2示意地显示电子图像传感器的色域(gamut);
图3示意地显示捕获的图像,和现有技术的曝光优化;
图4示意地显示包括本发明的不同实施例的聚集的照相机;
图5示意地显示用户接口将允许用户对分割目标做什么;
图6示意地显示用于把目标颜色范围映射到要输出的最终图像的接口;
图7示意地显示用于把空间颜色分布应用于到分割的目标的接口;以及
图8示意地显示如何增加阴影效果。
具体实施方式
图1显示对于摄影师来说以困难著称的场景,即结婚场景(而且该场景可包含室内和室外部分)。新郎101穿黑色礼服,即典型地导致深颜色,而新娘103穿白色婚纱,这也必须忠实地复现。原则上,当该场景被最佳地照明时(这是至少业余摄影师很少注意的事情),应当没有问题。黑色典型地反射百分之几的落在其上的光,而白色可以具有约90-95%的反射。所以,该场景对比度比值可以是约100/1。还要定义的是单位(1)需要是多少,即,多小的灰度值差值照相机仍应当记录。
典型的-或许是稍微保守的-值是:人感知2%的亮度差值,这对于在1到95%之间的反射导致230个代码(或8比特)的需求量。然而,对于等价的线性系统而言,将需要4700个代码(13比特=8192个代码)以编码梯级(step)该梯级对于1%反射的黑色,是与最小2%的可感知梯级(step)一样大的,这种差别直接说明了非线性的效果(诸如在存储或传输之前把逆伽玛施加到所捕获的数据)。
这个100/1范围对于许多数码照相机不应当太成问题,这些照相机即使是在以稍微太多或太少的曝光(照相机的自动曝光应当照管这一点)来捕获这样的照明良好的场景的情况下,例如仍可具有15个电子的总噪声(传感器+电子装置,诸如D/A转换器)和例如85000个电子的阱深度(well-depth),导致5700的对比度比值(密度=3.75或13比特)。
然而,典型的场景可以在目标反射之上加上照明的强烈变化。例如,表面上方1米处的灯在沿表面3米远处只产生十分之一的照明度,使得该场景对比度比值已经为1000∶1。
在典型的室内场景中,可能有许多阴影113,如果它们是在另一个房间,则有时较严重。可能用户想要把这些其它房间区域看作为幽暗的(即,没有内部目标结构),但他可能想要看见在其它房间中的某些信息(正如他用他的人类视觉系统在该场景上可以做到的),或至少具有某些信息,使得他可以进行稍后的后处理。另一方面,有来自(向阳的)室外物体109、或光源107、或光源的镜面反射的高照明。
另一个可能的问题是由物体-如物体151-造成的,该物体太靠近强光源151,例如在曝光时被特别地照亮。这些物体可能是过度照明的,并且至少在该物体的一部分上失去了它们的特征色度。
在室外场景中,效果甚至可能更糟。带有阴影部分的、阳光充足的照片对于消费者的爱好来说可能反差过于强烈(特别是当在对比度和色彩也被提升的显示器上观看时),且室内部分(例如,门打开的车库的内部)在总的场景中可能是欠照明的,使内容有点看不见,这不能通过照片处理进行后校正,因为数据没有被存储在所捕获的图像中。
真实的场景可能具有例如3000∶1的对比度比值,这(对于2%人类视觉灵敏度,已经需要150000个可区分的传感器输出代码)将需要,且对于现在的照相机和普通用户而言是更具有挑战性的。
这是由具有如图2示意地例示的直方图函数的典型数码照相机的用户所经历的,图2上显示了场景亮度210的直方图和由传感器捕获的数字值220(Io*)的直方图,相对传感器的传输特性200。应当指出,同样在照相机中,传输特性200可以通过改变例如快门速度来进行调整(箭头290)。
沿传输特性200的线性部分212的场景目标亮度211被合理地成像(虽然由于非理想的照相机滤色镜而仍旧有色差)。
但对于用户想要捕获的许多图像,场景216的相当大比例的较暗部分(较低的目标亮度Lin)被映射到传感器的最小代码值215,导致该暗部的细节丢失(也称为限幅或风蚀(blown out)),例如,同样被很差地照明的新郎礼服的一些部分。例如,CCD对于每个像素需要至少一个电子,所以任何东西稍少也将给出一个零输出代码,但现实中总是有噪声N,所以场景的最低代码值并不真实地代表场景,相反地在具有很多噪声的照相机中它们对于用户而言可能是非常令人讨厌的。在高场景目标亮度一侧218,出现类似的情形:由于照相机具有最大值MAX,所以所有较高的亮度都被映射到相同的值,例如255。这种细节的丢失见于例如白花中、或新娘婚纱的强照明部分中。较高亮度确实导致光电子,且甚至可造成恼人的伪像模糊现象(artifact blooming),但所有那些典型地是高出最大值的。
另一个类似的伪像是在强照明下目标的变色(decoloration)和减饱和(desaturation)。另外,天空可能看起来是很淡的蓝色(蓝通道饱和,但红色和绿色也变高,从而加入防蓝变(anti-blue))。
用户可以在直方图窗口中从许多上溢和下溢值看出他的捕获是不恰当的(且可能是把照相机的自动优化设置为ON(开)便会如此),但他不能采取适当的行动。即使有见识的用户也可能只被留给在几个差的自动优化之间的选择。而且,照相机近来已变得如此流行-突然出现在各种便携式设备中,例如象移动电话中-使得许多普通用户将没有正规摄影师对光度计的知识,但他们仍旧想要很好的画面。
为了在照相机中得到场景的更好的动态范围的捕获,进行了不断的开发,诸如包围式曝光(bracketing)(其中从以不同的曝光值拍摄的多个接连的图像来合并成像良好的区域),或双像素传感器(具有大的、灵敏的和小的、不太灵敏的协同定位的像素),但用户对于所使用的固定算法几乎没有影响,且他所具有的影响是亮度测量的困难的不同选项。
电子曝光典型地查看场景中的亮度(或在近似线性下捕获的像素的(R,G,B)值),并根据“平均”亮度来设置捕获参数(例如,快门速度等等)。
这是一个好的物理现实的模型:如上所述,目标反射在约0.5%与99%之间,且不管(外界)照明如何这都是倍增的(multiplicative),(外界)照明可以在大于7个数量级上变化(例如,夏季的外面的100000lx)。所以正如人类视觉系统随可得到的亮度而改变它的响应曲线(由于视锥光化学、视锥蛋白漂白、神经适应性等等)一样,照相机可以通过改变孔径、快门时间和放大而做到同样的事情。
然而,如果场景色域(例如,亮度)大于颜色表示空间(例如,PAL,JPEG)的色域,则照明测量有另一个问题,因为它可能是错误的平均,从而例如导致较暗的区域不可表示。在本文中,我们将涉及到两种色域:
-传感器的色域,即,考虑噪声、阱深度、和捕获参数诸如快门速度,哪些颜色可以被忠实地表示(通过首先被最佳地成像),以及哪些将映射到现有的代码(非可逆的双重分配,被称为限幅);
-颜色表示空间的色域(可能必须应用另外的色域映射,该映射可能是部分可逆的,以便稍后获得要显示的更大的色域;按照本发明,这个映射优选地也是智能的,即,是在用户的控制下的)
因此,按照本发明,用户在捕获和最后的再现上(对于用户优化的画面而言)拥有最佳控制(例如,对于‘理论上的’显示,这样,最后的映射需要仅仅做一次,优选地是在照相机中进行,正如在本发明中那样)。
如果传感器具有无限的(完美的)色域,那么如果我们必须对传感器输出进行到太小的表示空间的色域映射(例如,在其中经典的湿式照相术找到了处理加亮区的相当好的方法,而电子照相术还没有找到的情况中),即使在该色域接近人类视觉系统的色域时,仍旧有问题(且常常有色域失配,使得问题更严重)。
在本文中我们没有涉及输出设备-诸如电视显示器或报纸印刷品的色域。我们假设在给定合理的颜色表示后,考虑显示器的物理性质和观看环境,可以在显示器侧完成朝显示器色域的最佳色域映射(例如,电视典型地具有约50∶1的对比度比值,或者当在白天观看时甚至更小,因此黑色的增亮是所期望的)。
图3显示了将被捕获时的图像。注意与原始场景相比较的几何上的改变:这将导致以下事实,即:在场景中在照相机的某些位置处,由于传感器的照明是几何相关的,所以图像的某些区域可能会很差地成像(太亮或太暗,例如变暗的阴影313)。应当指出,为了给出场景的正确的3D感受,也需要某种程度的阴影,但摄影师/艺术家将想要施加与所需的捕获物理性质无关的合理的光效(且对捕获诸如像素亮度进行控制的本发明允许在相同的时间/用户动作去控制阴影,因此来后检验/校正3D显现)。
典型的照相机曝光算法将测量几个区域301,...,305中的亮度,并且计算亮度分布测度。用户典型地对中央区域301位置拥有控制,但其它区域然后在尺寸和位置方面被固定(并给出场景的亮度的平均良好的指示)。然而,如新娘103那样的重要目标可能仅仅被部分地采样(在这种情形下,甚至不是她的面部,而面部很可能是最重要的区域),而另一方面,这些区域可以采样离群值(outlier value),诸如区域303采样来自外界物体的光。这将由于它的高的像素亮度而极大地贡献至总的场景亮度测度,从而降低曝光,使得重要的目标,诸如这对新人的面部与用户所希望的相比通常太暗(且最暗的区域变为只有噪声)。用户想要的是:外界的像素可以被单独地处理,并且也被给予某些用户选择的值(很可能甚至是哪一个或许并不重要:它应当是场景中的一个亮部,以及在像素亮度方面与场景的其余部分是和谐的,即,至少没有限幅/模糊、以及没有像当前在许多照相机中那样的褪去的颜色)。
或许特定的不太重要的目标,如猫105,应当与背景场景的其余部分(目标115和119)融合,即,是适度地可识别的(与周围背景相比较具有类似的但不同的充足亮度),以及优选地被和谐地成像。
替换地,用户也可以决定对它的颜色表示拥有更好的控制。
现有技术照相机的另一个可能性是测量某个(困难的或重要的)局部(spot)的亮度并考虑这一点来捕获图像,不过整个场景的最终得到的图像也取决于这个单个测量。
在任何情形下,不管是由于硬件/软件限制,或是由于用户缺乏经验,当代的照相机都不那么容易得到和谐的、类似人类视觉的图像(当在不同的观看环境下再现这些图像时,会导致另外的问题)。用户所想要的是:利用一种与几何操纵一样容易的技术来达到正确颜色的方式(人在分析/合成图像的几何内容方面是非常有技巧的,例如,甚至最业余的人也可能组织该对新人按特定姿势和所有人之间的次序、站在房间中的一个漂亮的地点前面-尽管通过窗口泄漏的光可能会破坏他的照片)。
本发明并没有完全忘掉良好的灯光,当然,智能灯光是照相术的一半,但是直接的互动会允许用户立即看见-按照他们偏好的-最好结果看起来会是什么样子,然后他便可以决定是否仍旧想要,或者甚至必需去调节灯光或场景,或者他应当在哪里以及如何重新捕获图像。另一方面,最简单的实施例并不必需更多额外的用户互动,其例如对于快速的假日捕获(holiday capturing)是值得要的。
图4显示按照本发明的照相机400,其包括图像处理成像照相机单元401的多个不同的实施例选项(例如,专用ASIC,或它的一部分,或在通用处理器上运行的软件)。
包括了一个典型的半自动目标分割单元410,其被安排成根据由用户给出的(例如在一个自动确定的分段内点击,或优选地在一个自动分割部分之前)(即用户可调整的)目标的几何位置的至少一个指示gp,来在由诸如CCD或CMOS的成像传感器406(其经由诸如数字数据总线那样的输入403被连接到成像照相机单元401)捕获的图像Io中选择目标,诸如新郎101。
该至少一个分割的目标(即,一组像素sg和它们的值)被输入用于颜色合成监视单元412,该单元分析该目标内像素的颜色。例如,它可以推导出平均亮度或离群颜色量,或目标颜色的任何空间统计量ST。
对于本发明的成像照相机单元,可改变两组参数(或是单独的一个或是二者):捕获参数、和到颜色表示输出图像Is的映射参数,其要被存储到存储器460(例如,盘、照相机中的固态存储器,...)上,或通过任何网络被传送。
捕获参数由捕获优化单元424计算。这个单元424可被安排成简单到用于推导出任何基于像素直方图的曝光值(从颜色合成监视单元412得到统计属性作为输入),至此,代替根据整个图像的固定部分的传统照相机,是根据至少一个重要目标的被分割的像素的颜色(例如,对于新郎101,或两个目标新娘103+新郎101的组;曝光例如被确定为使得它们映射到CCD的线性部分的中间范围)。然而,还可以考虑照相机的能力,例如,如果照相机允许包围式曝光的话,代替用中间的固定数量的光圈(stop)来捕获两个图像,按照本发明,捕获优化单元424被安排成以对于第一用户选择的目标(新郎)最佳的曝光来捕获第一图像,而以对于第二用户选择的目标(新娘)最佳的曝光来捕获第二图像,并且如果不能从这两个捕获图像得到按照用户偏好的最佳图像的话,则很可能对于场景的周围环境来捕获第三图像。例如,颜色合成监视单元412可被安排成对于不包括该至少一个分割出的重要目标的场景的所有部分计算最佳参数,以及如果必要的话(取决于在可能的变换后周围环境的颜色将拟合的程度)为智能的基于目标的包围式曝光来捕获对于周围环境的第二图像。
捕获优化单元424然后将例如设置快门402打开时间(404是透镜)。
如果用户仅仅控制捕获参数,则由半自动目标分割单元410执行的目标分割无需是完美的(即,无需精确到像素,可以有某些背景像素粘结到新娘,且她的婚纱的某些部分可能在所选目标区域中丢失-这放松了对目标分割算法的复杂性要求,并节省了计算),但它应当比仅仅选择新娘的无论什么地方(甚至不是她的头部)的固定区域更好。因为分割是半自动的(即,自动获得的区域的图像处理与用户选择/校正的混合),并且分割的结果可以通过例如在所捕获图像之上画出边界曲线(藉助于第二图像缓冲器)而被看到,所以如果未选择新娘足够的部分或者选择了不感兴趣的部分,则用户可以进行校正(例如,通过点击相邻的-可能被过度分割的-分段,来把它们连接到新娘目标或使它们与新娘目标断开)。
半自动分割一直是最好的分割方式,将场景理解的最困难部分,或至少是用户指示他在场景中找到什么是最重要部分的最低要求留给用户,而把像素收集的冗长工作留给设备。
它是在质量与所费时间之间的优化。对于最高的质量、但最多的操作,用户接口420目标选择模块421允许用户精确地画出围绕目标的轮廓线,例如,利用触针(stylus)432来接触照相机的显示器434。这可能是用户在他们的家庭环境下想要的,或是带有三角架的职业摄影师关注场景的精确捕获时想要的(虽然这在假日中当人们想要快速地拍摄几个镜头时不太想要)。
在用户想要影响输出图像Is的再现(即,由传感器捕获的像素值被转换成要在例如JPEG或OpenEXR文件中输出的、最后的传感器值的方式)的情形下,他典型地可能想要精确的分割。
对于这种轮廓线描画的情形,半自动目标分割单元410分割算法仅仅是所画边界内部的像素的导出(在计算机图形学中其本身是已知的)。
但典型地,半自动目标分割单元410和用户接口420被安排成向用户提供各种劳动强度较低的半自动分割模式。目标选择模块421可被安排成向用户给出多个边界描画选项中的选项,例如连续地、或是通过标记出少许要被连接的点。在图5中显示了可如何把用户接口420安排成在当前所捕获图像之上反映所述选择的例子。
选择新娘,并且半自动地获得的目标区域510被画做在新娘之上的轮廓线512。另外,给出了通过点击点501、502等等而勾画出一个区域的例子,这些点可以通过目标选择模块421的算法用线性线条、样条(spline)等等来连接。在本例中,由用户来选择大致的周围区域520(通过用户接口用代码CS标记出)以使得它包括所有周围颜色(暗角、家具、外界)的少量颜色,即,有关用户认为在场景背景中典型的或重要的东西的大略选择。优选地,外界被选择为单独的区域,以使得它不影响其它像素的捕获和/或再现。
从想要的目标周围的点开始(例如,它周围的矩形,其可以甚至用最简单的用户接口按钮画出:例如,照相机背面的接口430上的转轮431可被使用来把光标550安置到周围的矩形的左上角,然后安置到右下角),通过观看诸如灰度值、颜色、纹理图案等等这样的属性,分割的自动部分可以形成更好地拟合的目标分割,所述属性是正如从现有技术的图像处理分割中熟知的。例如,数学蛇形(mathematical snake)可被使用来把它们自己锁定到目标的边界(应当指出,我们在本文中可互换地使用分段-是二维像素组和边界-是围绕分段的一维组,因为本领域技术人员将知道如何利用它们的任一项或二者来实施等价的算法)。例如,作为困难的、离群的灰度值目标的新娘和新郎可以与他们的周围环境甚至仅在灰度值上也有许多不同,而不需要检验特定的纹理模板图案。
替换地,手动部分可以简单到在目标内点击(例如,把光标550至少安置在新娘的面部),以及如果必要的话根据用户指示点击位置来校正自动分割的目标。接口例如可以呈现新娘目标分段的过度分割,用户可以通过(例如,用触针432)点击它们而把它们收集到最后的目标中。
因为理想情况下人们想要的是目标,而不是恒定的灰度值分段(例如,把很多有相同灰度值的像素加到自动曝光算法并不会给出获得最适当曝光的全面的影响,而且对于再现映射,人们将愿意有尽可能多的真实目标),所以在成像照相机单元401中引入运动估计单元422(或类似的区域-例如块相关单元)是有利的,运动估计单元422的输出(例如,具有同等运动的分段)可以被半自动目标分割单元410使用,直接用于生成目标分段(所有像素在当前时刻或在多个画面上具有与当前图像中光标点击的像素相同的运动),或者作为对一个进一步精细化算法的输入(诸如举例而言,基于颜色的数学蛇形对块精度的基于运动的分割进行精细调谐,以变为像素精确的)。这个运动估计单元422可能由于其它原因而已经在照相机中存在,例如由于运动视频照相机(motionvideo camera)中的时间上变换,或图像稳定化等等。
有利地,运动估计单元422被安排成推导出在跨许多秒的在前时间帧上人的微运动的测度。
如果运动估计单元422被安排成根据运动视差推导出不同的深度,使得例如易于分割外界的目标109,则也是有利的。
可选地,还可以包括分段跟踪模块411。它被安排成从第一捕获图像(用户对其进行分割)到具有优化的捕获参数的第二捕获图像跟踪分段,以便考虑中间的照相机运动,尽管这并不是严格地必须的(当例如只改变捕获参数时),因为照相机将是在近似相同的位置,看到近似相同的场景(统计量已经对捕获的图像进行计算),所以该优化的捕获参数仍旧是有效的。但当用户也想要应用一个优化的再现时,重新确定用户优选的目标分段是有用的,因为避免了加倍的用户互动,且可以达到更好的多画面合成。
有利地,分段跟踪模块411还被安排成考虑运动目标的信息,用于以后的半自动分割。例如,可以从先前四处运动的目标,比如走向他们位置的人来收集直方图(在视频照相机(video camera)中,这可以是元输出,例如象所分割的目标子画面的时间序列加上其统计颜色描述符,在该事件的过去记录旁边,例如过去的十秒,而静物照相机例如可以预扫描场景-例如以较低的分辨率、质量等等,以便节省电池电力-甚至是在用户真正决定捕获该图像之前),直方图可被存储,特别是在该区域具有特定的尺寸,或具有极端亮度值(比平均值更暗或更亮,所以潜在地有问题)的情况下。
由于对摄影师来说最感兴趣的通常是人,故还可以包括面部检测器413,用于在决定需要存储运动区域的哪些直方图供以后使用期间给予输入。面部检测器可被安排成利用基于像素颜色的值、和/或在面部区域组成部分(例如,眼睛间,鼻子距离)之间的几何关系等等的算法,且面部检测器本身是已知的。
照相机用户接口420具有分析模式控制单元,它允许用户例如经由转轮431选择许多优化程序。当该模式被设置为FA时,半自动目标分割单元410和/或颜色合成监视单元412(例如通过应用不同的软件)被配置来查找包括面部的分段,分别确保面部像素的-可能更大地加权的-贡献出现在颜色合成统计量ST中。
将这个直方图作为可能感兴趣的目标来预先存储有助于随后的分割:模式识别技术可被使用来允许标识哪个直方图最接近于用户在要最佳地捕获的图像上选择的目标,以及如上所述,除了由分段跟踪模块411进行的运动估计得到的区域的几何映射以外,该分割还可以考虑直方图的内容(例如,对应于该颜色或纹理直方图的子部分的子分段需要存在于当前分割的目标上,除非它们已变为封闭的(occluded))。
附加于或者替换捕获的用户控制的基于目标的优化,如上所述成像照相机单元401可被安排成允许用户去修改到要输出的最终图像Is的映射参数(分别在它的表示空间)以达到悦目的最终合成。
此外可包括目标变换单元414,它被安排成在变换接口单元的控制下对像素颜色(我们用此来表示它的亮度和/或它的色度,或类似的像素颜色表示参数)施加修改,即,相对于目标的周围环境来重新安置目标的颜色(由此,周围的(图像的其余部分或目标的空间附近区)颜色可以保持相同或局部地遵循所选择的目标颜色),该变换接口单元被安排成向用户提供选项以按其喜好去改变颜色参数。
这样的变换接口的例子被象征性地显示在图6中(是用户在照相机显示器434上所看到的)。当然要理解,这个图仅仅被使用来公开用户与目标变换单元的互动所需要的技术成分,以及有可能设计出具有类似技术可能性的其它接口。
分割的目标可以有利地通过两种描述符来在数学上进行描述,即,第一种仅仅是范围(是它的最暗到它的最亮像素的延伸区,或是它的根据特定的预定义准则消除了某些离群像素例如像素噪声的子区域),而第二种是像素颜色的空间分布(它理想地是二维的,但对于简单的接口,可以根据预定的算法生成一维概要)。应当指出,在我们说到颜色的场合下,这可以仅仅是亮度,或者是另一个颜色测度(例如,饱和的红色目标由于镜面反射而在它的分布上具有减饱和的部分,在这种情形下,一维变量可以是某个红色测度,或蓝-黄坐标,或几个颜色坐标的一维合成)。在权利要求的范围内,本领域技术人员还可以设计出多维描述符,但为了简明起见,我们不用这样的信息来使本说明复杂化。
图6显示用于重新安置范围的最小用户努力(effort)接口,对于多数用户来说这将是他们需要的全部,因为它允许例如新郎目标在最终图像Is上比在所捕获的输入图像Io上看起来更亮一点-因此看起来更好。
子画面601被显示在所捕获的画面(或照相机当前显示的任何东西)之上。在其中显示了输出颜色空间(例如8比特JPEG)的范围(或色域)624(也可以显示传感器的当前的捕获范围)。在本例中-或许通过使用包围式曝光-新娘目标的范围603(O1)(它被用符号623来有利地标识,符号623诸如是图标化的-例如多色调分色的(posterized)-小版本的目标分段)和新郎目标的范围605(O2)在输出图像Is的输出颜色空间内被很好地成像。有利地,也显示灰度级625,以使得用户可以近似地-至少就照相机显示器434允许而言-看到在范围624中的点对应什么灰度值。输出色域624的边界也可以用线611和符号612来指示。
变换接口单元450被安排成允许用户在他认为例如新郎目标仍太暗的情形下修改新郎目标的范围。光标621允许他抓取该范围,以及将它向上移位(目标的亮度改变),或改变范围的极值点之一-例如,下限Lo1(也修改目标内的对比度)。他将很可能想要对当前欠曝光的猫目标范围607(O3)这样做。目标变换单元414可被安排成做出某些自动建议,并且根据用于和谐色域映射的预定算法,已经经由用户接口向用户给出映射不同目标的第一可能性(在这种情形下,用户动作,且因此是做为被发送到目标变换单元的、其请求的数学表示的具体要求sp,可以是非常简单的,比如几个点击,以便用预定的步幅将所选的目标范围的灰度值向上或向下移动)。
除了显示感兴趣的目标以外,也显示场景的其余部分的指示符,例如背景的一部分。在本例中,通过图标化至少一部分太亮的像素(范围609)而显示了显得过度曝光的背景区域的一部分608。这允许用户修改整个背景区域,或定义另外的分段以用于校正(窗外的每样东西)到一个光,但是是在色域内。
在修改所选目标的颜色范围的同时,目标变换单元414被安排成经由弹性常数对图像的其余部分的颜色也施加修改。例如,对于20%的弹性,如果新郎的亮度增加10个单位,则图像目标的其余部分和场景背景增加2个单位(可以有另外的色域映射,使得例如新娘的最亮像素仅仅改变1个单位,以避免限幅)。可以在仅仅一组目标之间定义一个弹性(例如,新娘和新郎通过一个动作变得更亮,但画面的其余部分没有改变)。对于0%的弹性,目标可以与它的周围环境无关地被修改。目标变换单元414还可被安排成通过几何分布来施加其它目标颜色的弹性颜色变换,典型地仅仅在所修改的目标的周围(环形分布优于例如基于目标边界-整形的分布的距离变换)。所以,为要被修改的目标确定中心点(例如,质心,或用户为分割目标而点击的地方)。通常按照基于范围的修改来对目标内的像素进行修改,例如,如果新娘范围603的下限Lo1向上移动到Lo1’,则目标内的颜色点x按照下式改变:
其中x’是新的颜色,x是原始颜色,以及Uo1是新娘范围603的原始上限,或是另一个预定义的函数,该函数起到更象移位而不是拉伸的作用,带有在该范围上的另一个映射分布(上面的点保持固定或变为共同移动)。
在新娘目标之外的和邻近的点然后按照下式进行变换:
x′=F(x,r)=G(x)H(r),
r是一个点到中心点的距离,以及径向函数H具有例如高斯整平的(level-off)形状。
这模拟了用附加的聚光灯照亮新娘,且它可以使得新娘与周围环境更和谐。所有的修改的结果立即在下面的最终图像上显示。
在某些情形下,目标变换单元414可以在需要重新捕获时将对所捕获图像Io的某些变换纯粹作为后处理来执行。理论上,于是这个处理可以在家中同样很好地进行,虽然用户将因而在他不能得到悦目的变换结果的情形下-例如因为不可修复的加亮区、噪声等等,失去所有重新捕获的可能性(他可以用第二次假期去威尼斯,但不能要求女王再次庆祝她的二十岁生日;职业摄影师通过拍摄大量照片来解决这个问题,但在他们的工作室的宁静环境中在进行某些编辑后仍会或多或少有一些猜疑:他们是否捕获了真正好的照片;本发明增加了这种可能性)。
对于其它情形,状态确定单元415通过考虑捕获和想要的最终结果的物理性质而确定-自动地或请求用户-捕获另外的图像是否明智。例如,猫被很糟地成像,如果用户想要看到它隐藏在黑暗中的话,这不一定是问题。然而,如果他想要提升它的光亮度,则噪声和多色调分色将占主导,所以更好的是用对应于预期范围的曝光来捕获第二图像。
此外在状态确定单元415与捕获优化单元424之间存在数据链路485,这允许了所选目标的最后再现的统计量的传输(例如,平均的再现灰度值等等)。
分段跟踪模块411可以帮助融合,例如,它可以用新图像中相应小片(patch)的颜色值来给第一图像中猫的原始定位的小片重新着色。当然,优选地,该成像照相机单元还可被安排成请求用户捕获最后的图像,这实际上可以激活几个图像的优化的快速接连捕获(按照用户想要的最后的再现)。
用户有不同的原因要对目标进行分割,其对应于分析模式控制单元470的模式。模式DO,主要目标模式,已经被描述。分割出一个或几个感兴趣的目标,然后,计算例如(该成像的或至少一个成像的)最佳捕获参数,以使得至少这些目标很好地照出来(或者用户还可以如通过图6所解释地修改它们的颜色,这也许甚至是通过单个的第一捕获来进行,该第一捕获对于主要目标并不是那么最佳的)。
另一种类型的目标是一个离群目标,在把照相机置于OL模式后被分割。这可以是例如在窗口后的每个东西。于是当对曝光进行优化时,照相机便排除这些目标像素(即,通过切除窗口目标而选择所有的屋内目标)。可选地,对于窗口目标可以完成另外的捕获,或用户可以用通过图6说明的变换接口单元450来仅仅变换来自单个捕获的窗口像素。
第三模式是校正动作模式CA。在这种情形下,目标被很糟地曝光,例如靠近明亮的灯光150的花瓶目标151。至少它的某些像素已被限幅到白色,而不是漂亮的(且困难的)粉红的花瓶颜色。对于这样的目标,不仅仅能够调节范围(虽然在许多情形下这已经足够),而且也能够对空间分布进行控制,将是有利的,因为由于灯光的安置、目标的形状等等而会使照明具有空间特性。
此外,可选地包括空间修改单元416。它也具有不同的模式,这些模式可经由空间模式控制单元471选择。
藉助于图7例示了EQ(均衡颜色)模式的一个例子。
第一子窗口701显示在第一高曝光E1和第二低曝光E2下捕获的主要目标的颜色分布。可以应用任何算法来把二维区域中不同的颜色C(例如,亮度Y、颜色坐标c、或它们的某种组合)转换成在遵循路线的坐标x上的一维分布,例如,优选地是在目标的最亮和最暗区域之间的(典型地弯曲的)主要单调(monotonous)的路线,或Z字型路线或无论什么路线。由于对于长快门时间都接近灯150,所以目标的某些(区域770)变为过度曝光和被限幅到白色(或至少是接近白色的浅色)。在本例中,目标的其余部分也可能太亮,但至少显示了可辨别的颜色,但是有高的对比度。高对比度(也许由于灯光相反侧的阴影)暗示着在欠曝光的第二捕获的画面上(分布E2)有太暗的区域(区域771)。用户可能想要花瓶看起来是很好地均匀的粉红色,即,有较小的对比度。他可能首先调节目标的平均颜色(应注意到图7显示了可以完全在该目标“内”执行的颜色变换的例子,即,不考虑或不修改周围环境,因为目标的平均亮度可能没有显著地改变,而是它的对比度显著改变,这模拟了使它被不同地照明:用更软而不是生硬的、带有阴影的照明)。
这可以例如由用户把由空间修改单元416数学地推导出的中央颜色(例如,所有颜色的平均值,或几何平均值,也考虑沿目标的几何位置,照顾在目标的质心附近捕获的颜色)移动到新的位置705(或许他想要平均起来一个较亮的颜色)而完成。为了确定沿目标的对比度,他还将典型地例如通过输入最亮颜色的值U’应当是什么(端点708)而给出一个颜色跨度指示。另一个端点708可以数学地推导出来,或者也可以由用户确定。想要的分布变化F的最简单表示是直线(像素颜色的真实变化量将沿该直线被映射),但它也可以是更复杂的函数,如下面所述的。
子窗口651显示目标的最后的再现结果,优选地也是带有某些周围的像素。(例如,第二捕获的)所有的实际成像的像素被映射到新的较小对比度分布,例如通过如下的函数保持相对的颜色变化性:
其中M是某一中心颜色(例如,所有颜色的平均值),而Uo是原始最亮的颜色,以及C’是变换之后的任一像素颜色。
考虑到目标的几何形状(例如,预先假设一个细长的圆柱形状),可以应用更复杂的函数。
空间修改单元416被安排成确定最好使用所捕获的两个图像中的哪个图像(例如,对于高的x值,E2只具有嘈杂的或黑色限幅的值,因此,最好使用第一图像),并且即使是在按照用户的希望最好捕获另一个图像的情况下(例如,由于用户想要使较暗的部分变得相当亮,所以最好对这个区域进行灯光曝光)。这再次举例说明了本发明的优点。用户可以总是动态地(on the fly)对图像中每个被选择的目标(或非理想性)给出它的首选项(preference),而照相机然后可以仍旧采取所有需要的动作,以便在给定实际的约束条件后达到最完美的画面。
用户也可能想要以更复杂的方式对该分布进行整形(即,颜色动态特性在图像平面上如何演变),例如,他对于该花瓶的大部分可能想要美好的均匀的粉红色,但还产生一些暗的阴影。因而他可以引入另一个选择点621,并且例如改变超出621以外的较暗区域的斜率。
为了看见值对应于图像的哪个部分-并且特别是那些不适当的值-光标611允许用户选择沿任一曲线的x或相应的C值,以及窗口661显示目标的哪个部分对应于想要的颜色(典型地是在所选的那个上面和下面的少许颜色值)。在本例中,显示了花瓶上的阴影小片663,对于它,用户可以接受坏的成像,因为用户对它不太感兴趣。
同样地,用户可以把另一个光标712安置在图像上,以便选择他可能想要改变的分布的各部分,因为这对于他是更直观的。光标711然后被自动地协同安置。
除了应用更软的分布以外,创建一个增强的阴影效果也可以通过切换到模式SE(阴影增强)来施加。这被象征性地例示于图8。空间修改单元416因而包括阴影确定单元417,它被安排成确定阴影(通常是梯度)分布是否存在,以及确定预定义的属性,诸如至少它的方向。边缘检测器可被使用来区分大的跳跃(诸如对于花瓶的暗的内部)和平滑的梯度,以及只选择梯度子区域用于进一步处理。阴影通常是二维的(区域803),但为了简化起见,我们说明一维分布。花瓶梯度由有变化亮度的区域组成,从最高变化到最暗亮度Y0(例如区域801,它可以被显示为在亮度g+-e内的所有像素,e是公差)。再则,可以例如沿主要梯度805构建原始分布850,它可以在经整形的目标旁边向用户显示它自己(图8.2)。在最简单的接口中,用户通过拖动光标853和/或855而简单地缩放这个分布,以得到最后的分布851。可以应用更先进的分布-优选地主要通过自动算法以使得对用户的接口同样地简单-它例如朝目标(边界小片811)的颜色极值或几何极值来对缩放比例进行舍入(round off),或取决于像素离主要方向和/或目标边界(正交向量813)有多远来舍入缩放比例。
另外的空间分布不单可以在目标内被应用,而且可以把它与周围像素相联系。模式MB(合并背景)按照某些内插分布来内插外界目标像素和周围像素的值。
模式EB(浮雕)加强与周围环境的差值(例如,通过在目标内施加稍微的向上滚动和在较暗的周围环境中施加稍微的向下滚动,中间有梯度),使得目标凸出,仿佛被照明一样。
可以应用许多另外的空间分布。
应当理解,虽然为了简化起见,以上的处理被线性地描述,但在变换中将考虑表示空间灰度系数(gamma)、人类视觉模型和其它颜色建模,用户仅仅必须拖曳和观看结果。
以上我们已主要讨论了本发明用于改变被成像目标像素的亮度(灰度值),但同样的原理可以应用于其它的颜色属性,例如,校正一个例如是过于偏蓝色的目标(因为它太靠近窗口),使它变得更黄,与场景中白炽光照明的目标一致。所以我们使用了一般性的措词:颜色。自动白平衡在这方面是类似的(两者都朝想要的最后的表示色域进行最佳地映射),事实上,三个色通道自己都是单色的。
在本文中公开的算法成分可能在实践中(整个地或部分地)实现为硬件(例如,专用集成电路的部分),或实现为在专用数字信号处理器或通用处理器等上运行的软件。
在计算机程序产品下应当理解为命令集的任何物理实现,使得处理器-通用或专用-在一系列的把命令加到处理器中的装载步骤(它可包括中间转换步骤,如到中间语言和最后的处理器语言的翻译)之后能够执行本发明的任何特征功能。具体地,该计算机程序产品可以实现为在诸如象盘或带的载体上的数据、在存储器上存在的数据、通过有线或无线网络连接传送的数据、或在纸上的程序代码。除了程序代码以外,程序所需要的特征数据也可以体现为计算机程序产品。
典型地,成像照相机单元被构建在照相机内,但可能是在分开的部件中,例如象包括图像处理ASIC的插入卡。
本方法的工作所需要的某些步骤可能已经存在于处理器的功能性中,而不是在计算机程序产品中描述,诸如数据输入和输出步骤。
应当指出,上述的实施例是举例说明本发明,而不是限制本发明。除了如在权利要求中被组合的本发明的元素组合以外,元素的其它组合也是可能的。元素的任何组合可以在单个专用元素中实现。
在权利要求中的括号之间的任何参考标号不打算用来限制权利要求。单词“包括”并不排除在权利要求中未列出的元素或方面的存在。在元素之前的单词“一”或“一个”并不排除多个这样的元素的存在。
Claims (14)
1.一种成像照相机单元(401),被安排来构成图像捕获照相机系统(400)的一部分,所述成像照相机单元包括:
-用户接口(420),允许用户经由输入(403)在从成像传感器(406)接收的所捕获图像(Io)中指定他偏爱的目标(101)的几何位置的至少一个指示(gp);
-半自动目标分割单元(410),被安排成根据所述指示(gp)来确定作为所述目标(101)的一部分的一组像素(sg);以及
-颜色合成监视单元(412),被安排成根据该组像素(sg)中像素的至少一个颜色属性来确定至少一个统计量(ST),
该成像照相机单元还包括目标变换单元(414),被安排成根据经由变换接口单元(450)提供到目标变换单元(414)的用户的具体要求(sp),来对该组像素(sg)中像素的该至少一个颜色属性施加变换,其中目标变换单元(414)被安排成对该组像素之外的像素的该至少一个颜色属性施加不同的变换或不施加变换。
2.如权利要求1中要求的成像照相机单元,其中该目标变换单元被安排成通过以下方式来施加所述不同的变换,即:经由弹性常数对该组像素之外的像素的该至少一个颜色属性施加修改。
3.如权利要求1中要求的成像照相机单元(401),包括捕获优化单元(424),被安排成使得用于捕获至少一个另外图像的至少一个捕获参数(cp)优化。
4.如权利要求3中要求的成像照相机单元(401),其中该至少一个捕获参数(cp)属于以下组:快门速度、孔径、放大因子、对比度调节、色温校正、和偏色去除。
5.如权利要求1中要求的成像照相机单元(401),其中目标变换单元(414)和变换接口单元(450)被安排成允许用户指定所述目标(101)的该组像素(sg)中像素的灰度值范围。
6.如权利要求5中要求的成像照相机单元(401),其中变换接口单元(450)被安排成显示合成画面(601),该合成画面包括所捕获图像(Io)中至少两个范围的像素组。
7.如权利要求1中要求的成像照相机单元(401),包括空间修改单元(416),被安排成根据另一用户具体要求(spp)来修改所述目标(101)的该组像素(sg)的该至少一个颜色属性的几何分布。
8.如权利要求1或7中要求的成像照相机单元(401),包括状态确定单元(415),被安排成取决于由用户确定的最终图像(Is)外观而确定是否需要捕获另外的图像。
9.如权利要求7或从属于权利要求7的权利要求8中要求的成像照相机单元(401),其中空间修改单元(416)被安排成减小所述目标(101)的该组像素(sg)的所述至少一个颜色属性的值的扩展。
10.如权利要求1中要求的成像照相机单元(401),其中所述目标(101)的几何位置的该至少一个指示(gp)包括该目标(101)的轮廓的具体说明。
11.一种静止画面或视频照相机,包括被连接到如权利要求1或7中要求的成像照相机单元(401)的成像传感器(406)。
12.一种在照相机(400)中确定由该照相机的成像传感器(406)捕获的画面(Io)中目标(101)的像素的至少一个颜色属性的至少一个统计量(ST)的方法,包括:
-允许用户在所捕获图像(Io)中指定他偏爱的目标(101)的几何位置的至少一个指示(gp);
-根据所述指示(gp)来确定作为所述目标(101)的一部分的一组像素(sg);以及
-根据该组像素(sg)中像素的所述至少一个颜色属性来确定所述至少一个统计量(ST),
根据用户提供的具体要求(sp),对该组像素(sg)中像素的该至少一个颜色属性施加变换,
对该组像素之外的像素的该至少一个颜色属性施加不同的变换或不施加变换。
13.如权利要求12中要求的确定的方法,其中通过以下方式来施加所述不同的变换,即:经由弹性常数对该组像素之外的像素的该至少一个颜色属性施加修改。
14.一种在照相机(400)中确定由该照相机的成像传感器(406)捕获的画面(Io)中目标(101)的像素的至少一个颜色属性的至少一个统计量(ST)的设备,其包括:
-用于允许用户在所捕获图像(Io)中指定他偏爱的目标(101)的几何位置的至少一个指示(gp)的装置;
-用于根据所述指示(gp)来确定作为所述目标(101)的一部分的一组像素(sg)的装置;以及
-用于根据该组像素(sg)中像素的所述至少一个颜色属性来确定所述至少一个统计量(ST)的装置,
用于根据用户提供的具体要求(sp),对该组像素(sg)中像素的该至少一个颜色属性施加变换的装置,
用于对该组像素之外的像素的该至少一个颜色属性施加不同的变换或不施加变换的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP05107835.0 | 2005-08-26 | ||
EP05107835 | 2005-08-26 | ||
PCT/IB2006/052831 WO2007023425A2 (en) | 2005-08-26 | 2006-08-16 | Imaging camera processing unit and method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101253764A CN101253764A (zh) | 2008-08-27 |
CN101253764B true CN101253764B (zh) | 2010-10-13 |
Family
ID=37734114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800312596A Active CN101253764B (zh) | 2005-08-26 | 2006-08-16 | 成像照相机处理单元和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8237809B2 (zh) |
EP (1) | EP1922862B1 (zh) |
JP (1) | JP5139293B2 (zh) |
KR (1) | KR20080037738A (zh) |
CN (1) | CN101253764B (zh) |
RU (1) | RU2008111509A (zh) |
WO (1) | WO2007023425A2 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
RU2450476C2 (ru) | 2006-05-24 | 2012-05-10 | Конинклейке Филипс Электроникс Н.В. | Устройство и способ определения оптимальной задней подсветки |
US20080229210A1 (en) * | 2007-03-14 | 2008-09-18 | Akiko Bamba | Display processing system |
JP5414154B2 (ja) * | 2007-03-29 | 2014-02-12 | 京セラ株式会社 | 画像送信装置、画像送信方法および画像送信プログラム |
JP5313037B2 (ja) * | 2009-05-11 | 2013-10-09 | パナソニック株式会社 | 電子カメラ、画像処理装置および画像処理方法 |
KR101627214B1 (ko) * | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
US9754629B2 (en) | 2010-03-03 | 2017-09-05 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
CN102783132B (zh) | 2010-03-03 | 2016-08-03 | 皇家飞利浦电子股份有限公司 | 用于定义颜色状态的装置和方法 |
US8934050B2 (en) * | 2010-05-27 | 2015-01-13 | Canon Kabushiki Kaisha | User interface and method for exposure adjustment in an image capturing device |
US8625021B2 (en) * | 2010-08-30 | 2014-01-07 | Canon Kabushiki Kaisha | Image capture with region-based adjustment of imaging properties |
US8823829B2 (en) * | 2010-09-16 | 2014-09-02 | Canon Kabushiki Kaisha | Image capture with adjustment of imaging properties at transitions between regions |
TWI432010B (zh) * | 2010-10-22 | 2014-03-21 | Silicon Motion Inc | 電子系統和疤痕影像修補方法 |
US8687091B2 (en) | 2010-11-03 | 2014-04-01 | Canon Kabushiki Kaisha | Image capturing systems and methods utilizing customizable look management |
JP5505729B2 (ja) * | 2011-01-27 | 2014-05-28 | アイシン・エィ・ダブリュ株式会社 | 案内装置、案内方法、および、案内プログラム |
US8836816B2 (en) * | 2011-05-19 | 2014-09-16 | Foveon, Inc. | Method of adjusting the brightness of a digital camera image |
US8605199B2 (en) * | 2011-06-28 | 2013-12-10 | Canon Kabushiki Kaisha | Adjustment of imaging properties for an imaging assembly having light-field optics |
WO2013062532A1 (en) * | 2011-10-25 | 2013-05-02 | Hewlett-Packard Development Company, L.P. | Capturing workflow data using gesture tracking |
CN102523386B (zh) * | 2011-12-16 | 2014-01-29 | 中国科学院西安光学精密机械研究所 | 基于直方图均衡化的自动曝光方法 |
RU2510897C2 (ru) * | 2012-08-06 | 2014-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) | Способ сегментации сложноструктурированных растровых полутоновых изображений на основе составных морфологических операторов |
JP5950756B2 (ja) * | 2012-08-21 | 2016-07-13 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US9407814B2 (en) | 2012-12-21 | 2016-08-02 | Nvidia Corporation | Approach for camera control |
US20150054843A1 (en) * | 2013-08-20 | 2015-02-26 | Nvidia Corporation | Color-correct alpha blending texture filter and method of use thereof |
CN103428439B (zh) * | 2013-08-22 | 2017-02-08 | 浙江宇视科技有限公司 | 一种成像设备自动曝光控制方法及装置 |
KR102124014B1 (ko) * | 2013-10-29 | 2020-06-17 | 삼성전자주식회사 | 영상 촬상 장치 및 이의 보케 영상 생성 방법 |
JP2015119277A (ja) * | 2013-12-17 | 2015-06-25 | オリンパスイメージング株式会社 | 表示機器、表示方法及び表示プログラム |
US10040394B2 (en) * | 2015-06-17 | 2018-08-07 | Geo Semiconductor Inc. | Vehicle vision system |
US11493454B2 (en) | 2015-11-13 | 2022-11-08 | Cognex Corporation | System and method for detecting defects on a specular surface with a vision system |
CN105469361B (zh) * | 2015-12-24 | 2018-12-04 | 努比亚技术有限公司 | 一种局部图像处理方法和装置 |
KR101822169B1 (ko) * | 2016-03-11 | 2018-01-25 | 삼성전자주식회사 | 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 |
AU2017245322A1 (en) * | 2017-10-10 | 2019-05-02 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting frames of a video sequence |
CN110086989B (zh) * | 2019-04-25 | 2021-01-05 | 安庆师范大学 | 一种模拟环境智能造景的系统及方法 |
WO2023043457A1 (en) * | 2021-09-17 | 2023-03-23 | Hewlett-Packard Development Company, L.P. | Exposures for areas of image sensors |
KR102681209B1 (ko) * | 2023-10-10 | 2024-07-03 | 코드비전 주식회사 | 동영상 편집 기능을 제공하는 전자 장치 또는 그의 동작 방법. |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5412487A (en) * | 1991-11-27 | 1995-05-02 | Hitachi, Ltd. | Video camera and apparatus for extracting an object |
EP0735753A2 (en) * | 1995-03-28 | 1996-10-02 | Matsushita Electric Industrial Co., Ltd. | Image recording apparatus and image reproducing apparatus |
CN1450796A (zh) * | 2002-04-08 | 2003-10-22 | 三菱电机株式会社 | 检测和/或追踪图像或图像序列中颜色区域的方法和装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5524070A (en) * | 1992-10-07 | 1996-06-04 | The Research Foundation Of State University Of New York | Local adaptive contrast enhancement |
JPH07282250A (ja) * | 1994-04-12 | 1995-10-27 | Toppan Printing Co Ltd | 色変換方法及び色変換装置 |
EP0813336B1 (en) * | 1996-06-12 | 2007-08-08 | FUJIFILM Corporation | Image processing method and apparatus |
DE69736347T2 (de) * | 1997-05-09 | 2007-07-12 | Stmicroelectronics S.R.L., Agrate Brianza | Digitale Photographievorrichtung mit einer Bildverarbeitungsvorrichtung |
JPH11136568A (ja) * | 1997-10-31 | 1999-05-21 | Fuji Photo Film Co Ltd | タッチパネル操作式カメラ |
US6400831B2 (en) * | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
US6344860B1 (en) * | 1998-11-27 | 2002-02-05 | Seriate Solutions, Inc. | Methods and apparatus for a stereoscopic graphic user interface |
US6825884B1 (en) * | 1998-12-03 | 2004-11-30 | Olympus Corporation | Imaging processing apparatus for generating a wide dynamic range image |
JP2000224470A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
US6718378B1 (en) * | 1999-04-30 | 2004-04-06 | Canon Kabushiki Kaisha | Device management information processing apparatus method and storage medium |
JP2001268439A (ja) * | 2000-03-16 | 2001-09-28 | Minolta Co Ltd | 合成画像の作成方法 |
US7457476B2 (en) * | 2001-10-03 | 2008-11-25 | Anoto Ab | Optical sensor device and a method of controlling its exposure time |
US7042522B2 (en) * | 2002-08-01 | 2006-05-09 | Samsung Electronics Co., Ltd. | Adaptive contrast enhancement method using time-varying nonlinear transforms on a video signal |
US7046924B2 (en) * | 2002-11-25 | 2006-05-16 | Eastman Kodak Company | Method and computer program product for determining an area of importance in an image using eye monitoring information |
US20040246360A1 (en) * | 2003-06-05 | 2004-12-09 | Stavely Donald J. | System and method for displaying preview images to a camera user |
US7496228B2 (en) * | 2003-06-13 | 2009-02-24 | Landwehr Val R | Method and system for detecting and classifying objects in images, such as insects and other arthropods |
US7412105B2 (en) * | 2003-10-03 | 2008-08-12 | Adobe Systems Incorporated | Tone selective adjustment of images |
JP2005130045A (ja) * | 2003-10-21 | 2005-05-19 | Konica Minolta Photo Imaging Inc | 撮像装置及びこれに用いる撮像素子 |
JP4289225B2 (ja) * | 2004-06-18 | 2009-07-01 | 株式会社ニコン | 画像処理装置および画像処理方法 |
-
2006
- 2006-08-16 KR KR1020087007037A patent/KR20080037738A/ko not_active Application Discontinuation
- 2006-08-16 EP EP06795671.4A patent/EP1922862B1/en active Active
- 2006-08-16 RU RU2008111509/09A patent/RU2008111509A/ru not_active Application Discontinuation
- 2006-08-16 JP JP2008527557A patent/JP5139293B2/ja active Active
- 2006-08-16 US US12/064,336 patent/US8237809B2/en active Active
- 2006-08-16 CN CN2006800312596A patent/CN101253764B/zh active Active
- 2006-08-16 WO PCT/IB2006/052831 patent/WO2007023425A2/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5412487A (en) * | 1991-11-27 | 1995-05-02 | Hitachi, Ltd. | Video camera and apparatus for extracting an object |
EP0735753A2 (en) * | 1995-03-28 | 1996-10-02 | Matsushita Electric Industrial Co., Ltd. | Image recording apparatus and image reproducing apparatus |
CN1450796A (zh) * | 2002-04-08 | 2003-10-22 | 三菱电机株式会社 | 检测和/或追踪图像或图像序列中颜色区域的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20080037738A (ko) | 2008-04-30 |
EP1922862A2 (en) | 2008-05-21 |
US8237809B2 (en) | 2012-08-07 |
WO2007023425A3 (en) | 2007-10-11 |
JP2009506614A (ja) | 2009-02-12 |
EP1922862B1 (en) | 2017-08-02 |
JP5139293B2 (ja) | 2013-02-06 |
WO2007023425A2 (en) | 2007-03-01 |
RU2008111509A (ru) | 2009-10-10 |
US20080303913A1 (en) | 2008-12-11 |
CN101253764A (zh) | 2008-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101253764B (zh) | 成像照相机处理单元和方法 | |
JP6700322B2 (ja) | 改善されたhdrイメージ符号化及び復号化方法、装置 | |
CN103891294B (zh) | 用于hdr图像编码和解码的装置与方法 | |
CN108521859B (zh) | 用于处理多个hdr图像源的装置和方法 | |
JP6619813B2 (ja) | 特定のディスプレイに対する高ダイナミックレンジ画像の最適化 | |
CN102783132B (zh) | 用于定义颜色状态的装置和方法 | |
US8982146B2 (en) | Image acquisition and display system and method using information derived from an area of interest in a video image implementing system synchronized brightness control and use of metadata | |
CN100377576C (zh) | 数字视频处理装置及其处理方法 | |
JP2018061288A (ja) | Hdr画像符号化及び復号のための輝度領域ベース装置及び方法 | |
CN101547316A (zh) | 图像抓取设备和方法 | |
CN102158648B (zh) | 影像截取装置及影像处理方法 | |
CN104580878A (zh) | 电子装置以及自动效果方法 | |
CN101547309A (zh) | 图像处理设备、图像处理方法和程序 | |
CN104935826A (zh) | 用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质 | |
CN107258078B (zh) | 简单但通用的动态范围编码 | |
CN101547308A (zh) | 图像处理装置、图像处理方法和程序 | |
CN105915816A (zh) | 用于确定给定场景的亮度的方法和设备 | |
US20230171508A1 (en) | Increasing dynamic range of a virtual production display | |
CN105208286A (zh) | 一种模拟慢速快门的拍摄方法及装置 | |
JP2006093757A (ja) | 画像処理装置と撮像装置、および画像処理プログラム | |
CN114125408A (zh) | 图像处理方法及装置、终端和可读存储介质 | |
CN109391804A (zh) | 摄像装置、图像处理装置及系统、控制方法和存储介质 | |
EP4220539A1 (en) | Automatic luminance adjustment for hdr video coding | |
Jishnu et al. | An Effective Multi-exposure Fusion Approach Using Exposure Correction and Recursive Filter | |
JP2024039874A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |