CN1026928C - 彩色图象增强的系统与方法 - Google Patents
彩色图象增强的系统与方法 Download PDFInfo
- Publication number
- CN1026928C CN1026928C CN88106544A CN88106544A CN1026928C CN 1026928 C CN1026928 C CN 1026928C CN 88106544 A CN88106544 A CN 88106544A CN 88106544 A CN88106544 A CN 88106544A CN 1026928 C CN1026928 C CN 1026928C
- Authority
- CN
- China
- Prior art keywords
- mask
- value
- image
- degree
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/36—Scanning of motion picture films, e.g. for telecine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/11—Scanning of colour motion picture films, e.g. for telecine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Ink Jet Recording Methods And Recording Media Thereof (AREA)
- Color Image Communication Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Color Television Image Signal Generators (AREA)
- Silicon Compounds (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
为一帧图象或一系列图象例如电影彩色增强的系统及方法。通过数字式地捕获图象,交互地确定对应于图象中有相似色相度的景物的掩模,从这些掩模中生成区域并为每一区域定出彩色传输函数以将图象灰度信息转换成色相度、辉度和饱和度的特征值。然后对每一区域中的灰度值通过那个区域的彩色传输函数进行处理,并将产生的彩色加于图象上,存贮起来使今后调用和显示。
Description
本申请是于1987年8月3日立卷的美国专利申请SN081,116的部分继续。
本发明涉及单色或多色图像的彩色增强系统与方法。将彩色传输函数作用于无色灰度信息,推得色相度,辉度及饱和度的特征值(三要素),而将原像的数字化灰度等级信息与这三要素的特征值相关联。
从严格的数学观点来看,在黑白胶片上产生的图像是一维的(亮度),而原景物可看成是三维的,这里色相度(英文字头为H),辉度(英文字头L)及饱和度(英文字头S)即是这三个维,这即彩色的HLS模型。胶片乳胶的化学变化,及照像机的机构和滤光片,本质上将三维信息经复杂的映像退化成一维,并永远地失去了原来的色相度,辉度及饱和度的信息。
应该指出,辉度与亮度是不同的。因为黑白图像的亮度是由HLS体系的三元素的复杂相互作用产生的,亮度与辉度间只有统计相关,但二者并不相同。
对于彩色表征体系彩色即是光的绝对性质(其波长或频度),也是相对性质,因为它与人的感觉有关。因此,提出了各种不同的彩色“体制”,使感觉的彩色能定量化。这些模型中有一种CIE色品度,它结合所谓三原色能将彩色定量(三原色自身是不能被人类观察看到)。(参见FOley & VanDam,Fundamentals of Interactive Computer Graphics,Addison Wesley,Reading,MA1984PP·606-608·)除彩色的理论模型(CIE色品,色相度-辉度-饱和度、及红-绿-蓝)之外,还有
在不同介质中再现彩色用的多种表征体系,例如阴极射线管用的红绿兰体系,印刷用的加工彩色体系,及视频广播用的NTSC、PAL及SECAM体系。事实上,所有这些模型都是彩色的理论绝对区域及人类感觉彩色的相对区域的相当小的子集。
彩色分析的一个特别有用的理论模型(Ostwald W.,Colour Science,Winsor & Winson,London,1931)是色相度,辉度和饱和度的HLS模型。该模型利用三维圆柱空间(绝对理论彩色空间),其内部有一个有共同底面的一对圆锥为界面的空间(感知空间)。园柱的轴线(从两圆锥的顶点到顶点)是辉度轴,下顶点的辉度是零(全黑),而上圆锥的顶点具有的辉度为1(全白)。由辉度轴算起的距离(垂直于该轴)决定饱和度(一种颜色与其互补色相补的比例),该轴代表零饱和度(基色与其补色的量相等,因而无色),而圆锥表面代表对给定辉度的最大感知饱和度。最后,围绕辉度轴的角位移表示色相度,(如同一个通常的彩色轮)与互补色相距180°。
以HLS锥模型定义的实空间指向顶端与底端来表示彩色更白或更黑这一事实,可看出这些彩色失掉了色相度。饱和度是一个特征量,主要取决于合成颜色的波长带的窄度或纯度。在该空间的正中心是中灰色,它表示对所有波长的光的适中的辐射或反射。
例如,RGB体系用于阴极射线管显示中,三个电子枪的每一个(红、绿、蓝)都由指示其相应强度的信号直接控制。HLS彩色可以转化成RGB表示(参见Foley & VanDam,PP·648-9),但是必须对许多HLS组合进行“剪裁”以表示成RGB。这一点对NTSC制录相也是对的(NTSC制录相也称作YIQ),它比
RGB有受到更大限制的区域。因此,利用RGB或NTSC标准的录相系统,不是每一种“真实世界”彩色都可被重现。按照Foley及VanDam的说法,“HSV(色相度、饱和度、数值)中的V和HLS中的L都不相应于YIQ模型中的辉度,因此在某一空间中定义的两种不同彩色可以很容易地具有相同的辉度,因而在黑白电视及录相带上是不可区别的。”(Foley & VanDam P·618)
大约1970年以来,发展了几种给单色图象添加彩色的技术。通常,这些技术基于视频方法,以一定的方式扩充视频信号,典型的方法是将色度分量信号迭加于已存在的辉度信号。这种技术的结果外表上与Thomas Edison获得的没有什么不同,Thomas Edison在其早期尝试中通过涂画界区给黑白胶片染色,即在黑白画面上形成彩色区域。因为这些技术都依赖于视频技术,这些体系的共同缺点是,缺乏彩色的生动性及不能准确地重现彩色。
本发明包括一种对一幅图象或一系列图象(例如运动图片)进行彩色增强的体系和方法,通过数字式地捕获图象,相互关联地决定与景物相应的区域或有相似色相度的图象区域的面积,决定将图象的每一象元的灰度信息转化成特定色相度,辉度及饱和度的彩色传输函数。然后通过该区域的彩色传输函数对每一区域的灰度值进行处理,生成的彩色产生于图象内存中存贮起来,以便今后恢复或显示用。
图1示出按照本发明的方法生成两幅邻帧画面信息。
图2示出按照本发明的方法的一种具体方式的部分图象内存结构。
图3示出本发明的图象内存结构的区域内存部分的复制。
图4表示图3中的复制区域内存部分中存贮的数值的修正。
图5表示应用HLS彩色模型给图2-4的图象内存结构中存贮
的象元阵列加色。
图6示出依照本发明的方法进行“直方图切片”操作。
图7示出依照本发明的方法进行“直方图下乘”操作。
图8示出依照本发明的方法进行“直方图上乘”操作。
图9示出依照本发明的方法进行“彩色弯曲”(color bending)操作。
一般过程概述。首先对欲加色进行彩色增强的影片以预定的分辨率进行数字化记录。对于最终产品存于录相带上的情况,采用适中的分辨率(例如NTSC=525行,PAL=640,HDTV=1125~1500)。当最终产品用于影院放映时,采用1024行分辨率或更高的分辨率。数字化过程(示于图1)是通过液体门控器以掩掉画痕及其他缺陷,对每一帧原始影片(典型情况是黑白片)进行投影。用视频相机例如硒砷碲视象管获取一幅投影图象,将视频信号数字化并存贮在随机存取存贮器的帧缓冲区中。数字化过程允许调节落于胶片上的光强,使对正在被数字化的一帧图获得最好反差(γ修正)。获取一帧图之后,将其数字表示存于非易失存贮器中以便今后加工。数字化过程一帧接一帧地重复进行,在每一帧上都要标记时间及顺序指示(SMPTE时间码)。
对每一场景(一系列画面)选出一帧作为存在于该系列的多数单元的代表。该“主帧”用作该场景系列中增强其他帧的模板。由于这个原因,对主帧的处理要特别小心。
当主帧被增色及确定之后,将它们与组成场景的其他帧一起送至工作站,在那里一帧一帧地追踪出决定加彩色的区域。每帧被增色后被重存于非易失性存贮器中,并送至中央存贮器中,在那里将所有增色后的场景按照它们原来的次序最终组装成最后产品影片。
主帧增色。主帧着色师的第一个任务是定出组成景物的图象面积,
赋之以相似的色相度。可将几种软件工具用于增色器以辅助这个计算机交互确定过程。
“自由操作”模式使得能够画出,消去以及控制尺度可变的光标。将欲加工的主帧图象迭放在屏幕上,指示装置控制显示在屏幕上的交互光标。指示装置的运动导致光标的模拟运动,由该运动选出的画面基元(显示在被称为“掩模板”的图画平面上)用来定出面积的边界。因为光标大小可缩至只有一个象元,所以能够产生的最小区域也是一个象元。
着色师可用的第二个画图方法是一种确定多边形,而不是完全自由操作图形的方法。利用指示装置,着色师可指示顶点的准确位置,这些顶点决定多边形面积的周边。每个顶点都可被指定或取消,当完成之后这些顶点完全决定一个闭合路径。
用自由操作或多边形方法定出闭合周界之后,应用两种填充算法之一,包围的面积可被指定为区域(把那些点放在掩模板中)。“面积填充”将指定闭合形状内直至限定该面积边界的所有图画单元。“动画填充”将确定的边界与边界识别算法相结合,以便填充如黑笔线那样的界线围成的面积,这是动画的典型做法。动画填充模式填充至或稍许超过这样的深边界线。
当有共同色相度的所有景物的面积都被确定之后,最后一步是给该面积选定和加上给定的色相度。通过交互地指向显示在视频屏幕上的色盘可选择彩色,然后通过操纵视频屏幕上的控制指示器能够改善该面积的灰度信息,如下所述。经选择之后,加于该面积的彩色可被显示(总起来说被称为彩色掩模)。彩色掩模被确定之后,其相关象元被定作一个“区域”,掩模板被清除,而且以类似的方法决定另外
的掩模,对每个色相度它将被显示在该帧图象中。
一旦所有区域都被定下来之后,着色师即将区域,放在下面的这帧图象及给每一区域指定的彩色存贮起来,以便以后通过着色师调用,着色师利用每一场景的一系列帧图象及已确定的主帧来套用上述过程。
由主帧至整个场景的外推增色过程,是由指令、跟踪以及景物的出现与消失来进行的。一个场景的一帧图象中一般有少于5%的象元在相继帧中发生变化。因为电影每秒拍摄24帧,所以除最快的运动景物之外所有运动的增加都是极少的,易于被跟踪。一旦运动被确定之后,所要做的只是调节这些区域并将这些区域加上主帧上予定的彩色。
帧至帧追踪的含意是,复制前帧或主帧区域内存内容的予定部分及在接续帧的处理中使用这些部分的能力。复制后可对新区域内存内容作小的调节并将它们与新帧一同保存。重要的是,因为数字化过程保证了亮度与灰度的一致性,也因为彩色是由艺术导演加工主帧时予定的,所以帧至帧和场景至场景的总的一致性也得到保证。
帧至帧的追踪的最简单的形式是帧中的运动是由摄影机的摇动产生的结果。在这种情况下,完整的区域内存都可以从前一帧复制,并沿摇动的方向“移位”。这个移位在与摇动相反的一端产生未定面。因此必须将这个面积加于已存在的区域以完成加色。
当只有帧中某些景物运动时,区域内存的相应部分也可平移。在这种操作中,区域内存中的要移动的这部分由操作者指定,并手工地移至新的位置,因而在新位置上改变了区域内存的以前内容。然后对老位置必须重新确定和/或添加一个或几个事先存在的区域以便加色。
在极复杂的场景中,存在好几种运动(特别是景物与摄影机的复
合运动),要使用“求差”法。将面积已定而且已对其加上彩色的一帧从相联的下一帧中减去,以便得到变化了的那些象元(按灰度值)。这些差出的面积作为对比复盖显示在须处理的下一帧图上。另一种方法是,可利用灰度图象的边界检测算法及可改正前一帧的区域内存。于是检测到的差别引起下一帧的区域按要求进行调整或删除。研究该复盖与从前一帧复制来的区域结构的一致性,制片着色师能很快地标定须加进区域结构的面积以及从给定区域移出的面积,并重新分配。
最后的操作是要保证没有景物从帧中完全显现或消失。如果景物消失,则其区域必须除去。类似地,对各新出现的景物必须“在飞行中”为它们定出一个区域并指定一种彩色。对下一个邻帧图象调整区域以后,着色师又将图象以及其区域内存一同存贮,并对每个邻帧重复该过程。
为了能控制质量及复视一系列已增色的帧图象,使用两种观察模式:电影模式与循环模式。在电影模式中,一系列帧图象顺序显示,交替地先向前面方向,然后立即向相反方向。操作者可控制显示速度。在循环模式中,显示的方向与速度直接与指示装置相联系,允许对帧至帧转换进行精细控制。
硬件概述。本发明的方法是实现RTI站图象处理系统的特殊目的版本,与个人计算机连接(例如IBM/个人计算机AT)。RTI图象处理子系统(可由Recognition Technolog,Inc.of Holliston,MA提供)包括视频数字化器,流水线结构象元处理器,及图象存贮器,都通过主计算机母线及同步视频母线二者互相连接。如上所述,视频数字化器从视频相机得到输入信号对电影图象进行数字化,将其信息输出至高清晰度彩色阴极射线管(尽管不必须,但可通过通常的NTSC视频电路连接)。通过主计算机的CPU,其存
贮器,相连的宏存贮设备,以及包括指示装置和键盘的I/O设备,主计算机允许图象处理子系统与用户通讯。
本发明最佳实施例的图象处理子系统包括,有512×512空间分辨率的图象存贮器,8位亮度分辨率,4位区域标定。或者,同一系统可装配成6位亮度分辨率及6位区域标定,或7位亮度分辨率及5位区域标定。(一位附加位系统保留用于建造掩模位板)。关于RTI站的构造和操作的一般信息以及它的有关软件库(PRILIB)可从Recognition Technology公司出版的下列手册中找到:PRILIB/500教学版本100,RTILIB/500用户手册版本A。
尽管当前使用的方法采用512行空间分辨率,本领域的专业人士应该明白,增加至或超过2000行分辨率也在本发明的范围内。此外,图象存贮器可以是更大的帧存贮器,比如4096×4096×16位的一部分。这时图象的显示指向该帧存贮的存贮器指针来控制。为进行彩色选择,主CPU装有24位RGB视频板(例如一种AT&T Information Systems公司的产品Targa24)。与HLS圆锥公共基面相应的彩色轮显示在视频屏幕上。使用指示器,着色师选择轮上的一种特定彩色,于是同时决定了色相度(彩色轮上的角位置)和饱和度(至中心的距离)。如同后面将较仔细地描述的该特定24位RBG值被立即转送至HLS坐标空间,与校正过的图象灰度进行相关联,经再转换用作在RGB监视器上的输出。
软件概述。现在让我们参看图1-4。按照本发明的方法,一系列数字化单色图象以灰度值阵列可存贮于计算机的随机存取存贮器中。例如,可用8位信息表示每个象元,因而允许表示总数为256个独
立灰度值。(当然可用更多位达到灰度信息的更好的分辨率及动态范围。)数字化步骤可选择地包括使用备查表格以增加反差,调节γ,增加边界清晰度或“扩展”模糊图象的灰度。与用来存贮灰度值的内存相关联的是区域内存,用于以数个区域之一唯一地指认每一图象元(在图2-5中用四位内存结构描绘)。除图象存贮器及区域存贮器结构外,掩模板存贮器也与图象相关联用于指认图象元。通过常用的技术,这些存贮器结构的内容或部分内容可以从一个结构拷贝至另一个(例如从区域存贮器至掩模板存贮器),或从一个帧存贮器至另一个(如图3所描绘的、帧1区域存贮器至帧2区域存贮器的传送)。当然复制的内容可被操作员修改以符合基础帧内容,如图4所示。
如图5-9所描绘的,着色师按照自己的意愿利用一些由软件执行的工具控制彩色传输函数的组成。为了计算效率,HLS圆柱空间的辉度轴用〔0……1000〕的整数表示(与通常表示成〔0……10〕区间的实数的情形相反)。帧灰度按照灰度值为128的辉度缺省值为500,与整数范围线性相关,每个离散灰度单位相应于辉度的每个整数。(因此,255灰度按照缺省设定,相应于627辉度。)
为了按系统改变建造的彩色传输函数,着色师实际上用直方图技术处理帧灰度信息,例如平移、压缩及伸展。
特殊地、整个灰度可通过相对于辉度比例的灰度(GS)简单的“滑动”作出,以显现发光的多或少(图6)。除了GS=128相应于L=500之外,操作员也可选择L=750以便图象更明亮。类似地选择L=350可使这帧图象变暗。如图6所描绘的,落入相应于灰度的HLS圆锥空间内的部分彩色传输函数将由这种滑动操作控
制。在极端情形下,该操作生成传输函数的阈值,超过阈值后所有灰度值或被显示为白色(高于上阈值时)或为黑色(低于下阈值)。
清单1
void slide_map(); /*滑动亮度变换*/
void stretch_map(); /*延伸或压缩亮度变换*/
void bend_on(); /*启动彩色弯曲*/
void bend_off(); /*中止彩色弯曲*/
void slide_bend(); /*彩色弯曲的滑动区*/
void stretch_bend(); /*彩色弯曲的延伸区*/
/*局部常数……*/
#define TRUE 1
#define FALSE 0
/*局部静态数据……*/
static int brt_1=0; /*滑道(ramp)始端亮度值*/
static int brt_u=1000;/*滑道终端亮度值*/
static int bend=FALSE;/*彩色弯曲时启动逻辑真*/
static int mark1; /*下部彩色弯曲重叠标识*/
static int mark2; /*上部彩色弯曲重叠标识*/
/*总数据(及外观)……*/
extern int hue_1; /*原色相度值-〔0…360〕*/
extern int sat_1; /*原饱和度值-〔0…1000〕*/
extern int hue_2; /*第二色相度值-〔0…360〕*/
extern int sat_2; /*第二饱和度值-〔0…1000〕*/
/*弯曲的第二真确=确实真*/
void slide_map(dbrt)
int dbrt; /*亮度变化-〔-999…999〕*/
{
/*确保所需的亮度变化在区域内*/
dbrt=max(dbrt,-999);
dbrt=min(dbrt,999);
/*检验限定的情况*/
if((dbrt<0)&&(brt_1<-dbrt)){
stretch_map(-brt_1,1000-brt_u);
return;
}
/*简单情况:使用变化*/
brt_1+=dbrt;
brt_u+=dbrt;
if(bend){
mark1+=dbrt;
mark2+=dbrt;
}
/*滑动变换结束*/
着色师可用的另一种操作是对灰度以一个值进行比例乘(示于图7-8)。当乘数值是小于1的分数时,使灰度按比例压缩,即使256个离散灰度值与少于256个整数辉度值相关联。与乘数的值大于1时,发生灰度“延伸”,使256个灰度值与大于256的辉度范围相对应。这类相乘也可用某一端的灰度作为固定点,结果得到如图7-8所描绘的四种变化。
清单2
void stretch_map(db_low,db_up)
int db_low; /*下部滑道点的变化*/
int db_up; /*上部滑道点的变化*/
{
int newbrt_1,newbrt_u,newmark_1,newmark_u;
double fmark1,fmark2,rlen,newrlen;
/*检验变化参数在区域内*/
db_low=min(db_low,999);
db_low=max(db_low,-999);
db_up=min(db_up,999);
db_up=max(db_up,-999);
/*将变化使用于下部滑道点*/
newbrt_1=brt_1+db_low;
newbrt_1=max(newbrt_1,0);
newbrt_1=min(newbrt_1,999);
/*将变化使用于上部滑道点*/
newbrt_u=brt_u+db_up;
newbrt_u=max(newbrt_u,1);
newbrt_u=min(newbrt_u,1000);
/*确保新组合是真确的*/
if((db_up==0)&&(newbrt_1>=newbrt_u))
newbrt_1=newbrt_u-1;
else if(newbrt_u<=newbrt_1)
newbrt_u=newbrt_1+1;
/*为新滑道重新启动彩色弯曲标识*/
if(bend){
rlen=(double)(brt_u-brt_1); /*普通滑道*/
newrlen=(double)(newbrt_u-newbrt_1);/*新滑道*/
fmark1=(double)(mark1-brt_1)/rlen;
fmark2=(double)(mark2-brt_1)/rlen;
mark1=(int)(fmark1*newrlen)+newbrt_1;
mark2=(int)(fmark2*newrlen)+newbrt_1;
}
/*将新滑道点移入正式滑道点*/
brt_1=newbrt_1;
brt_u-newbrt_u;
}
/*延伸变换结束*/
在描绘反射光(由彩色光源发出,由彩色面反射出,或二者共同产生)时,需要将彩色传输函数“弯曲”。如图9所示,着色师可为决定弯曲的性质及程度的函数选定一对“弯曲点”,这两点,如图9所示,(如点A与点B)决定了三条线段的端点(OB、BA及A1)。这三条线段中,前一条和最后一条都与单一的操作员选定的色相度相
关联,而线段AB表示色相度与饱和度的混合。点A与B的位置被缺省设定为当前灰度范围的25%和75%,因而提供了二分之一灰度的彩色混合。但是,可由操作员更改这两个位置以改变彩色弯曲“率”。
清单3
void bend_on()
{
int midpoint,ramplen;
if(bend)return; /*已完成,空*/
ramplen=(brt_u-brt_1+1); /*普通滑道长度*/
midpoint=brt_1+ramplen/2; /*普通滑道中点*/
mark1=midpoint-ramplen/4; /*彩色重叠的底*/
mark2=midpoint+ramplen/4; /*彩色重叠的顶*/
}
/*弯曲启动结束*/
void bend_off()
{
bend=FALSE;
}
/*弯曲截止结束*/
void slide_bend(dbend)
int dbend:
{ /*在弯曲区内变化- 999到999*/
int ovlplen;
/*若弯曲未启动,空*/
if(lbend)return;
/*确保有余地进入所需要的方向*/
if((dbend<0)&&(mark1==brt_1))return;
if((dbend>0)&&(mark2==brt_u))return;
/*确保所需要的变化在区域内*/
dbend=(dbend<0)?max(dbend,brt_1-mark1);
min(dbend,brt_u-mark2);
/*使用变化*/
mark1+=dbend; /*新标志1的位置*/
mark2+=dbend; /*新标志2的位置*/
}
/*滑动-弯曲结束*/
void stretch_bend(sfact)
int sfact;
{ /*延伸因子(-100到100)*/
double fact,hmarklen,markfact,marklen,midpoint,ramplen;
/*计算浮动点的延伸因子*/
fact=(sfact>=0)?1.0+(double)sfact/100.0;
1.0=(double)(-sfact)/100.0;
/*得到弯曲的浮动点滑道,重叠长度和中点*/
ramplen=(double)(brt_u-brt_1+1);
marklen=(double)(mark2-mark1+1);
midpoint=(double)mark1+marklen/2.0;
/*计算和修正百分重叠*/
markfact=marklen/ramplen;
markfact*=fact: /*使用变化*/
hmarklen=(ramplen*markfact)/2.0;/*半个新标志长度*/
/*计算新标志点*/
mark1=max((int)(midpoint-hmarklen),brt_1);
mark2=min((int)(midpoint+hmarklen),brt_u);
/*延伸-弯曲结束*/
作为一个弯曲的例子,考虑选择色相度OB作为肉色调,而色相度A1作为橙色(如脸部在反射火光下看到的)。线段BA将含有不太明亮区域的肉色调的色相度,但对较明亮部分将取越来越多的橙色。当然,A与B点位置的选择或者加入附加弯曲点完全在该技术的精神
之内。
因为区域的决定包含了一切有类似色相度的景物,所以区域会有宽范围的图象基元灰度值。为了在最终增色图象中精确再现灰度值,必须确定彩色传输函数,以将一维灰度转换成一套三维HLS值。由主帧着色师在显示的彩色轮上选取的一点,竖直地延伸一条平行于圆柱HLS空间轴线的线段。该线段穿过表示区域内欲加彩色的HLS圆锥内各点,并构成了彩色传输函数。例如,灰度值为190的8位象元表示在图5的灰度上。彩色传输函数靠上段的对应点决定了加于该区域内的灰度值为190的图象基元的单一HLS值。而不落在HLS圆锥空间内的线段,相应于纯白(在L=0.5以上的区域)或纯黑(在L=0.5以下的区域)。将会发现,因为彩色传输函数横截HLS坐标空间的部分高度,则落于灰度任一极端的点,当以彩色显示时相应地饱和较少。这使得显示的彩色比利用恒定饱和度的体系要真实得多。
反射最明亮的部分是那些由于入射效果角引起的特别明亮的反射的区域。无色反射最明亮部分是利用上文所述的直方图延伸技术制成的,将较亮灰度值部分“拉”出HLS圆锥之外,因此使它们呈现白色,该拉伸的程度控制反射最明亮部分的形象。
再参看图9,那里图示出可以实现反射最明亮部分及彩色光源反射的方法。事实上,尽管按HLS双圆锥是人的感觉的最好表示,而彩色和光线实际物理性质的最好表示却是用HLS圆柱,圆柱的轴是灰度,半径是饱和度。在该圆柱之内,内接着圆锥感觉空间。该圆锥决定了人的感觉极限,而圆锥的准确形状与尺寸因人而异。
(例如,色盲人的圆锥有切平的侧面,夜盲人有极端平切的下园
锥。)通过处理表征图象的灰度信息可以影响将灰度变换成色相度,辉度和饱和度的彩色传输函数,从而产生各种效果。
名词表:
图象-单色或彩色模拟(非数字)图片。
图象基元-图象上的离散位置。
亮度-通过单色图象传送的光的绝对量(与入射光强度有关。)
数字式的捕获图象-记录表示图象特征的数字数据,由这些数据可再生出图象。
灰度值-通过单色图象上一点传送的相对光量(与入射光强度有关)。
辉度-从彩色图象上的一点发射的或通过一点传送的光的绝对量。
色相度-从彩色图象上的一点发射的或通过一点传送的光的峰值波长或基波波长。
饱和度-在彩色图象的给定面积中,基波相对互补点的相对数(更多基波=更高的饱和度)。
区域-存贮器用于指定一组图象基元的数据结构,已决定的彩色传输函数将作用于这组图象基元。
掩模-存贮器中的一个数据结构(通常是图板),用来指定将被作用的一组图象基元,例如区域内的一部分。
布图-用于指定一个或几个图象区域的数据结构(通常是多位图板),每个这样的区域都包括代表一个或几个景物的图象基元,或者有共同性质的图象面积。
反射最明亮部分-由光源的定向(入射角)反射造成的高亮度(单色)或高辉度(彩色)区域。
本发明的方法与设备可用于无色图象的增色,例如静止像片、电影、录相带图象、遥测数据等。
Claims (15)
1、一种图象增色的方法,其特征在于,它包括以下步骤:
a.数字式地捕获图象,成为一系列图象基元,每个象元具有代表其亮度的灰度值;
b.确定一块或多块掩模,每块包括一个或多个闭合象元区域,表示具有相同的操作员指定的色相度的图象中的操作员感受到的一个或多个景物;
c.为每块所述掩模确定彩色传输函数,为每块所述掩模中的每个象元灰度值指定特征的色相度、辉度及饱和度值组合;
d.将每块所述掩模的所述彩色传输函数用于所述相应的象元灰度值,从而推得相应于每一灰度值的特征色相度、饱和度及辉度值组合;
e.将推得的色相度、饱和度和辉度的值指配给对应于每块所述掩模的所述图象基元。
2、根据权利要求1所述的方法,其特征在于,其中步骤(c)进一步包括以下步骤:
a.选取一个操作员随意决定的欲加于相应每块所述掩模的图象元之上的色相度值;
b.选取辉度值范围,以表示与每块所述掩膜相应的所述象元的亮度;
c.选取饱和度值的范围,以表示相应于每块所述掩模的象元饱和度;
d.建立预定的彩色传输函数,将所述辉度值范围与所述饱和度值范围相关联。
3、根据权利要求2所述的方法,其特征在于,其中步骤(a)又包括:
对于至少一块操作员确定的掩模,已根据权利要求2的步骤(a)设定了一个操作员随意决定选取的色相度值,
选择至少一个任意的第二色相度值表示操作员设定的照明源的色相度;以及
其中权利要求2的步骤(d)中还包括:建造预定的色相度-辉度-饱和度传输函数,将所述饱和度和辉度值的范围与所述第一和第二色相度值相关联。
4、根据权利要求1所述的方法,其特征在于,其中步骤(b)中至少一个所述区域由下列步骤决定:
a.选择灰度上下阈值,表示有共同亮度的连续象元组的边缘;
b.分析所述捕获的图象的预定面积(画笔尖)中象元,决定它们的中间亮度;以及
c.如果所述预定面积内的图象元的中间亮度高于所述下阈值或低于所述上阈值,则将所述象元标记为包括在所述区域。
5、根据权利要求1所述的方法,其特征在于,其中至少一个所述区域是这样决定的,即使用指示装置手工地设定一个或多个面积的边界以确定一个掩模。
6、根据权利要求1所述的方法,其特征在于,它还包括下列步骤:
a)指定所述获取的图象作为主帧;
b)数字式地获取与存储多帧附加的图象,作为一系列象元,每一个都具有表示其亮度的灰度值;
c)与所述主帧一起存储所述主帧的所述掩模;
d)顺序选出所述被存储的各帧图象,对每一帧:
e)将所述选出之帧与前一帧比较,以决定所述景物位置的差;
f)通过选择地拣出不再确定所述景物的象元,加入确定所述景物的象元,根据所述景物的所述被决定的位置的差修改一份每一所述主帧掩模的拷贝,建立一修改的掩模;以及
g)与所述的选出帧一起存储所述修改过的掩模。
7、根据权利要求1的所述的方法,其特征在于,在步骤b中确定的所述一块或多块掩模是第一列掩模,而步骤e中的所述色相度、推得的色相度饱和度和辉度值被赋于第二列掩模中的第二列象元,每一个这种掩模在形状、尺寸和位置上都对应于所述第一列掩模中的一掩模,存储为所述第二列掩模的所述象元所赋的值,作为输出图象的记录。
8、根据权利要求1所述的方法,其特征在于,其中步骤(d)进一步包括以下步骤:
a)确定相应于所述象元灰度值的所述特定饱和值是否超过最大饱和值极限,该极限接近相应于所述象元灰度值的特定辉度值的最大的、看得见的可觉察的饱和值;以及
b)如果所述特定饱和值是超过了相应于所述象元灰度值的特定辉度值的最大饱和值时,指定所述最大饱和值作为所述象元的新饱和值。
9、根据权利要求8所述的方法,其特征在于,其中所有特定辉度值的所述最大饱和值限定了一个在色相度、辉度和饱和度(HLS)坐标系中的双锥空间的边界。
10、根据权利要求9所述的方法,其特征在于,其中所述双锥空间相对于位于最大特定辉度值和最小特定辉度值之间的中间的中心点是对称的。
11、根据权利要求9所述的方法,其特征在于,其中所述双锥空间相对于所述中心点是不对称的。
12、根据权利要求3所述的方法,其特征在于,其中所述预定的色相度-辉度-饱和度传输函数适合于使所述操作员确定的掩模的色相度值在其较亮的部分显示,好像所述操作员确定的掩模色相度值是所述操作员设定的照明源的色相度值。
13、根据权利要求1所述的方法,其特征在于它还包括下列步骤:
a)指定待着色的一个图象、掩模确定区域信息和来自以前的图象的彩色信息;
b)至少一个所述掩模确定区域沿着一预定的轴移动一预定的距离至一移动的位置且将待着色的所述图象的掩模确定区域信息存储在该移动的位置。
14、根据权利要求13所述的方法,其特征在于,其中所述至少一个所述掩模确定区域包括以前的图象中的全部掩模确定区域。
15、根据权利要求13所述的方法,其特征在于,包括指定那些象素的另一个步骤,那些象素是在以前的图象的掩模确定区域内而不是在相应的移动的掩模确定区域至另外的掩模确定区域内。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8111687A | 1987-08-03 | 1987-08-03 | |
US081,116 | 1987-08-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1036279A CN1036279A (zh) | 1989-10-11 |
CN1026928C true CN1026928C (zh) | 1994-12-07 |
Family
ID=22162195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN88106544A Expired - Fee Related CN1026928C (zh) | 1987-08-03 | 1988-08-03 | 彩色图象增强的系统与方法 |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP0302454B1 (zh) |
JP (1) | JP2935459B2 (zh) |
KR (1) | KR970005225B1 (zh) |
CN (1) | CN1026928C (zh) |
AT (1) | ATE131297T1 (zh) |
DE (1) | DE3854753T2 (zh) |
ES (1) | ES2083360T3 (zh) |
GR (1) | GR3019223T3 (zh) |
IE (1) | IE76718B1 (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7907793B1 (en) | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
US5031117A (en) * | 1990-02-13 | 1991-07-09 | International Business Machines Corporation | Prioritization scheme for enhancing the display of ray traced images |
US5332968A (en) * | 1992-04-21 | 1994-07-26 | University Of South Florida | Magnetic resonance imaging color composites |
EP1405269A2 (en) * | 2001-05-04 | 2004-04-07 | Legend Films, Llc | Image sequence enhancement system and method |
US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US8897596B1 (en) | 2001-05-04 | 2014-11-25 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with translucent elements |
US9031383B2 (en) | 2001-05-04 | 2015-05-12 | Legend3D, Inc. | Motion picture project management system |
CN1294530C (zh) * | 2001-11-05 | 2007-01-10 | 夏普株式会社 | 彩色图象处理方法、彩色图象处理器、彩色显示器、以及用于实施彩色图象处理方法的计算机程序 |
CN1323374C (zh) * | 2002-04-26 | 2007-06-27 | 韩国电子通信研究院 | 根据终端用户的色觉特征自适应变换可视内容的方法和系统 |
KR100722449B1 (ko) * | 2005-08-09 | 2007-05-28 | 주식회사 대우일렉트로닉스 | 텔레비전의 영상 처리 방법 |
CN101193229B (zh) * | 2006-11-21 | 2011-01-12 | 深圳Tcl新技术有限公司 | 一种电视功能界面换肤的方法及系统 |
EP2266096B1 (en) | 2008-03-13 | 2020-04-29 | TP Vision Holding B.V. | Method and apparatus for improving the perceptual quality of color images |
FR2953049A1 (fr) * | 2009-11-23 | 2011-05-27 | Alcatel Lucent | Procede et systeme d'assistance au choix de couleurs |
US8730232B2 (en) | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9113130B2 (en) | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
WO2013057646A1 (en) * | 2011-10-17 | 2013-04-25 | Koninklijke Philips Electronics N.V. | Commissioning lighting systems |
US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
MX2019007259A (es) | 2016-12-26 | 2019-09-05 | Akzo Nobel Coatings Int Bv | Un sistema de composición de revestimiento, el metodo de preparación y el uso del mismo. |
CN111724297B (zh) * | 2019-03-21 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | 图像处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4189743A (en) * | 1976-12-20 | 1980-02-19 | New York Institute Of Technology | Apparatus and method for automatic coloration and/or shading of images |
-
1988
- 1988-08-02 DE DE3854753T patent/DE3854753T2/de not_active Expired - Fee Related
- 1988-08-02 AT AT88112567T patent/ATE131297T1/de not_active IP Right Cessation
- 1988-08-02 IE IE235688A patent/IE76718B1/en not_active IP Right Cessation
- 1988-08-02 EP EP88112567A patent/EP0302454B1/en not_active Expired - Lifetime
- 1988-08-02 ES ES88112567T patent/ES2083360T3/es not_active Expired - Lifetime
- 1988-08-03 JP JP63192880A patent/JP2935459B2/ja not_active Expired - Lifetime
- 1988-08-03 CN CN88106544A patent/CN1026928C/zh not_active Expired - Fee Related
- 1988-08-03 KR KR88009896A patent/KR970005225B1/ko not_active IP Right Cessation
-
1996
- 1996-03-06 GR GR960400630T patent/GR3019223T3/el unknown
Also Published As
Publication number | Publication date |
---|---|
KR890004547A (ko) | 1989-04-22 |
ES2083360T3 (es) | 1996-04-16 |
EP0302454A2 (en) | 1989-02-08 |
IE882356L (en) | 1989-02-03 |
DE3854753T2 (de) | 1996-08-08 |
GR3019223T3 (en) | 1996-06-30 |
KR970005225B1 (en) | 1997-04-14 |
ATE131297T1 (de) | 1995-12-15 |
CN1036279A (zh) | 1989-10-11 |
IE76718B1 (en) | 1997-11-19 |
JPH021077A (ja) | 1990-01-05 |
JP2935459B2 (ja) | 1999-08-16 |
DE3854753D1 (de) | 1996-01-18 |
EP0302454A3 (en) | 1990-07-11 |
EP0302454B1 (en) | 1995-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1026928C (zh) | 彩色图象增强的系统与方法 | |
CN1977542A (zh) | 利用感知规律提取主色以产生来自视频内容的环境光 | |
CN1231832C (zh) | 图象显示系统、图象处理方法和投影机 | |
CN1114888C (zh) | 图像处理方法、设备和系统 | |
CN1153444C (zh) | 图象处理装置及方法 | |
CN1172527C (zh) | 图像显示系统、投影仪及图像处理方法 | |
US20100271513A1 (en) | Selection of decorative picture suitable for input picture | |
CN1229970C (zh) | 图像处理装置、图像处理方法和存储介质 | |
CN1890987A (zh) | 投影仪颜色校正方法 | |
CN101049008A (zh) | 图像处理设备和图像处理方法 | |
CN1479915A (zh) | 图像显示系统、投影机、图像处理方法与信息存储媒体 | |
CN1591172A (zh) | 图像处理方法和装置 | |
CN1454011A (zh) | 彩色编辑装置和彩色编辑方法 | |
CN1922861A (zh) | 彩色图像和单色图像的图像处理 | |
CN101079952A (zh) | 图像处理方法和图像处理设备 | |
CN1934851A (zh) | 颜色管理系统和方法 | |
CN1445650A (zh) | 面向像素子分量的图像的硬件加强图形加速 | |
CN1892756A (zh) | 投影图像的位置调整方法 | |
CN1977569A (zh) | 来自视频内容的环境照明和伴随受感知规律和用户偏好影响的发射 | |
CN1386004A (zh) | 数码相机和颜色调节装置 | |
JP2005210208A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN1191723C (zh) | 图象处理系统、投影机和图像处理方法 | |
CN1977529A (zh) | 从通过未着色色空间映射的视频内容得到的环境光的主色提取 | |
CN1213593C (zh) | 图像输出装置 | |
JP4146506B1 (ja) | モザイク画像生成装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C15 | Extension of patent right duration from 15 to 20 years for appl. with date before 31.12.1992 and still valid on 11.12.2001 (patent law change 1993) | ||
OR01 | Other related matters | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |