CN101578859B - 基于编辑状态的图像数字处理 - Google Patents

Abstract

在一种用于由图像记录产生输出的方法中，确定提供图像记录的输入单元的类型。图像记录被分类到预定的多个不同编辑状态中的一个。该分类将确定的输入单元类型用作输入。编辑状态包括未编辑状态和充分编辑状态。图像记录被数字化增强。在增强的过程中，图像记录的实质性修改被限制。当编辑状态为充分编辑时增强被限制得较多，并且当编辑状态不是充分编辑时，增强被限制得较少。图像记录被渲染以适应于预定的输出单元。以可视的形式输出得到的图像记录。

Description

基于编辑状态的图像数字处理

技术领域

本发明涉及用于使用图像记录的方法，并涉及使用图像记录的系统，诸如电视系统，本发明尤其涉及基于编辑状态的电视数字处理。

背景技术

数字成像已经极大提高了消费者能力，来由同一输出系统上的专业和业余图像记录制作可视图像。文中使用术语“可视图像”来指可以在视觉上感知的图像，诸如用显示器产生的光图像，以及用打印机或印刷机产生的硬拷贝图像。文中使用术语“图像记录”来指数字静态图像、视频序列或多媒体记录。输出系统有时候提供对输出图像记录的最小的自动化数字处理。在其它情况下，提供“一刀切”处理。这些方法在窄输入范围的情况下工作效果最佳，而对于不适合该窄范围的图像记录没有帮助。手动(用户指导的)数字处理一般可用，并且在诸如编辑和打印个别静态图像的一些情况下不是特别难以承担。在另一方面，对于编辑视频序列，手动数字处理可能是非常难以承担的。手动处理也不适合于在不定期观看的过程中使用。因此，显示图像的输出系统，文中也称之为“显示系统”，特别适合于自动数字处理。

回放系统的示例包括家庭娱乐系统、电视机以及提供类似功能的便携式装置。现在，很多回放系统包括应用复杂图像处理算法的子系统。这样的算法可以改变噪声、对比度、色彩平衡、亮度以及其它图像质量参数中的一个或多个。这样的算法可以在很大程度上改善消费者图像记录，特别是从未编辑过的图像记录或者用缺少复杂图像处理的摄像机采集的图像记录。这样的算法还可以修改专业图像记录的“外观”。文中和授予Morton的美国专利第6868190号以及授予Bogdanwicz等的美国专利第6972828号一样意义地使用术语“外观”，将这两个专利并入本文作为参考。这些专利公开了用于在电影中维持期望的“外观”的步骤。“外观”包括图像记录的特征，比如：锐度、颗粒、色阶、色饱和度、稳像以及噪声。这些参考文献教示了已知外观的输入图像记录的修改，以创建不同外观的输出图像记录。不幸的是，在很多情况下，输入记录的外观是未知或未表征的。

修改专业制备的图像记录的外观将提出是否已损害艺术价值的问题。许多回放系统的一个缺点是完全自动地修改图像记录。如果外观改变了，这将是有问题的。

如Parulski等的“Source-adaptive encoding options for HDTVand NTSC”，SMPTE Journal，Oct 1992，674-683页所述，根据源来修改电视图像的编码/压缩是已知的。

授予Savakis等的美国专利第6671405号教示了：使用贝叶斯网或网络组来提供根据消费者图像的逻辑次序的消费者图像的自动分级，逻辑次序基于强调和吸引力的自动评定，但是，图像的分级是为了自动相册页装配而确定的。美国专利第6671405号描述了基于人类观察者的偏好的地面实况研究而选择的若干特征。这些特征包括：与人相关的特征-人的存在与否、皮肤或脸部面积的量以及基于脸部尺寸的靠近程度；客观特征-图像的色彩性和锐度；以及与主体相关的特征-主体的尺寸，以及基于主体映射的构图质量。因此，特征提取级的输出表示特定特征存在(或不存在)的统计证据；然后，分类级对输出进行集成以计算表示图像具有网络被设计为检测的类型的可能性的值。

因此，希望提供克服这些缺点的方法和系统。

发明内容

本发明由权利要求限定。在广泛的层面上，本发明提供了一种用于由图像记录产生可视输出的方法和系统。在该方法中确定提供图像记录的输入单元。图像记录是多种不同类型中的一种。图像记录被分类为预定的多种不同编辑状态中的一种。该分类将确定的输入单元类型用作输入。编辑状态包括未编辑状态和充分编辑状态。图像记录被数字化增强。在增强的过程中，限制图像记录的实质性修改。当编辑状态为充分编辑时，对增强的限制较大；当编辑状态不同于充分编辑时，对增强的限制较小。图像记录被渲染以适应于预定的输出单元。以可视的形式输出所得的图像记录。

本发明的有利效果是提供了改进的方法和系统，其中通过应用基于图像记录的源的图像处理来改善图像记录的输出。

附图说明

通过参照结合了附图的本发明实施例的以下说明，本发明的上述和其它特征、目的以及实现它们的方法将变得更明显，并且可以更好地理解发明本身，在附图中：

图1是示出一些可能的内容源的本系统的实施例的示意图。

图2是本系统的另一实施例的示意图。

图3是本系统的又一实施例的示意图。

图4是图1-3的实施例的工作原理图。

图5是举例说明图4的两条不同的图像处理路径的详细示意图。

图6是该方法的实施例的流程图。

图7是图6的方法的特定修改形式的某些细节的流程图。

图8是权利要求5的图像处理路径的替代的另一详细示意图。

对于不同附图中的特定特征，详细的程度不同。

具体实施方式

本发明包括文中所述的实施例的组合。对“特定实施例”等的提及指的是存在于至少一个本发明实施例中的特征。对“实施例”或“特定实施例”等的不同提及不一定指相同的一个或多个实施例；然而，这些实施例并非互不相容，除非另有说明，或者对于本领域技术人员来说很明显。在提及“方法”或“多种方法”等时单数和/或复数的使用不是限制性的。

像早先所述的那样，对数字静态图像、视频序列或多媒体记录使用“图像记录”。图像记录包括一个或多个数字图像，并且还可以包括元数据，诸如声音或文本注释。特定图像记录可以是单个数字文件，或者多个相关联的数字文件。元数据可以存储在和相关的数字图像相同的图像文件中，或者可以单独存储。图像记录的示例包括静态图像、视频序列和多媒体视频演示。对于视频序列，图像的序列是单个图像记录。序列中的每一个图像(帧)也是图像记录，并且可以被作为图像记录来处理。如果将视频序列作为较短的多帧序列的集合来处理，那么这些帧序列中的每一个也是图像处理。虽然文中一般与图像记录的图像特征相关地描述该方法和系统，可以用相同的方式来处理可进行数字处理的其它特征，诸如音频。同样地，这里的讨论一般针对的是可视图像的产生和显示。除了从上下文中显而易见的内容以外，适用于静态图像的显示的考虑适用于由打印机、印刷机等产生的硬拷贝图像的输出。

文中所使用的术语“显示器”包括产生光图像的任何装置，包括发光面板、反光面板和投影机。“显示器”不限于独立的显示器，而是包括作为其它设备的一部分的显示器，诸如手机、电视机或个人视频播放器的显示器。显示器以特定的视频帧速率来演示视频。视频帧速率是由源材料和显示器以及系统的其它组件的能力预先确定的。在文中的视频序列中，由于较慢的速率易于产生有害闪烁，优选的情况是帧速率为24帧每秒或更高。一种方便的速率是30帧/秒，因为该速率一般用于广播用户视频。

文中使用术语“渲染”等来指的数字处理修改图像记录以使得图像记录在特定输出装置的限制范围内。这些限制范围包括色域、可用色阶等。

在以下说明中，一些特征被描述为“软件”或“软件程序”。本领域技术人员将认识到，也可以容易地在硬件中构建该软件的等效形式。由于图像处理算法和系统是众所周知的，本说明着重于形成该方法的一部分的算法和特征，或者与该方法更直接地配合的算法和特征。文中讨论的计算机化系统的类型的一般特征是众所周知的，并且本说明一般限于与本发明的方法直接相关的那些方面。可以从本领域中已知的这些系统、算法、组件和元件中选择在文中没有特别示出或描述的用于产生或处理其中涉及的图像信号的这些算法和设备以及硬件和/或软件的其它方面。在给出如文中所述的说明的情况下，所有的额外软件/硬件实施方式是常规的，并且在本领域普通技术范围内。

还应当注意的是，可以以软件和/或硬件的组合形式来实施本发明，并且本发明不限于在物理上连接和/或位于相同的物理位置之内的装置。附图中举例说明的一个或多个组件可以位于远处，并且可以通过网络来连接。一个或多个组件可以以无线的方式，诸如通过射频链路，直接地或者经由网络进行连接。

可以在多种用户背景和环境中采用本发明。示范性的背景和环境包括而不限于固定和移动用户装置上的使用、批发和零售商业使用、信息站上的使用，以及用作经由诸如互联网或蜂窝式通信网的网络提供的服务的一部分。

应当理解的是，可以用本领域技术人员所熟知的多种方式来修改示出和描述的电路。还应当理解的是，这里根据物理电路来描述的各种特征可以被可选择地提供为固件功能、软件功能，或者二者的组合。同样地，文中作为分立单元来说明的组件可以被方便地组合或共用。可以在分散的位置中提供多个组件。

数字图像包括一个或多个数字图像通道或色彩分量。各数字图像通道是像素的二维阵列。各像素值与由与像素的物理区域对应的成像采集装置接收到的光量相关。对于彩色成像应用，数字图像通常由红色、绿色和蓝色数字图像通道组成。可将动态成像应用视为数字图像的序列。本领域技术人员应当认识到，本发明可以应用于而不是限于任何文中所述的应用的数字图像通道。尽管数字图像通道被描述为按行和列排列的像素值的二维阵列，本领域技术人员应当认识到本方面可应用于非直线阵列而达到相同效果。

在每种背景下，本发明可以是独立的，或者可以是更大的系统解决方案的组件。此外，人类接口，例如扫描或输入、数字处理、对用户的显示、用户请求或处理指令(如果需要)的输入、输出，可以各自在相同或不同的装置和物理位置上，并且这些装置和位置之间的通信可以经由公共或专用网络连接，或基于媒介的通信。在与本发明的公开一致的情况下，本发明的方法可以是完全自动的，可以具有用户输入(完全或部分手动)，可以使用户或操作员观看以接受/拒绝结果，或者可以用在别处讨论的元数据以外的元数据来辅助(这样的元数据可以是用户提供的、测量装置提供的，或者由算法确定的)。另外，这些方法可以用多种工作流程用户接口方案来进行接口连接。

图1示出了本系统10的实施例。在该实施例中，回放系统利用机顶盒12和显示器14由图像记录产生可视输出。机顶盒提供的功能包括但不限于：模拟调谐、数字通道选择、媒体回放(使用，例如，DVD播放器或存储卡读取器)，以及程序存储器(例如，利用硬盘驱动器)。一系列可能的输入被分成三种一般类型的内容源，它们被分为：“专业”内容16(例如，地面广播电视、DVD)、“消费者”内容18(例如，便携式摄像机、DSC、婴儿监视摄像机)，以及“特殊”内容20(例如，视频游戏、互联网电视)。显示器的形式可以是，例如，电视机，或者电视接收器和独立监视器。

图2举例说明了系统10的另一实施例。在该实施例中，利用诸如DVD播放器、个人数字助理(PDA)、数字静态和/或视频摄像机或者移动电话的单片便携式显示装置来显示可视输出。该装置具有外壳或壳体302、显示器301、存储器304、控制单元306、输入单元308，以及连接于控制单元306的用户控制装置310。壳体302可以手持，即，足够小和轻，以便于一般人用单手握住。信号路径314连接组件302、304、306、308、310，并且在该实施例中，如所说明地，系统组件和信号路径位于外壳302内。

系统还可以采用便携式计算机、信息站，或者其它便携式或非便携式计算机硬件和计算机化设备的形式。在所有的情况下，一个或多个组件和信号路径可以整体地或部分地位于外壳之外。图3示出了包括台式计算机和各种外设的实施例。在该实施例中，可以产生显示图像或打印图像。计算机系统110包括控制单元112(作为个人计算机在图3中举例说明)，其用于接收和处理软件程序，以及用于执行其它处理功能。显示器114电连接于控制单元112。形式为键盘116和鼠标118的用户控制装置也连接于控制单元112。可以和用于读取和写入的适当的组件(CD/DVD读取器/写入器和硬盘驱动器122、存储卡读取器132)一起提供多种可移动存储器(用CD-ROM 124、DVD 126、软盘125和存储卡130来举例说明)。存储器可以是内部或者外部的，并且可以利用有线或无线连接，直接地或者经由局域网或诸如互联网的广域网来访问之。数字摄像机134可以经由插接站136、有线连接138或无线连接140间断地与计算机连接。打印机128也可以连接于控制单元112，以便打印来自计算机系统110的输出的硬拷贝。控制单元112可以具有到诸如局域网或互联网的外部网络的网络连接127，诸如电话线、以太网电缆或无线链路。

图2和3没有示出输入列表，但是可以和图1的输入列表相同或相似的输入列表一起使用。

系统的不同组件可以完全独立，或者可以和其它组件共用一个或多个硬件和/或软件特征。图4示出了适用于图1-3的所有实施例的功能组件的原理图。没有举例说明或讨论的其它特征是本领域技术人员所熟知的。例如，系统可以是移动电话摄像机。

用户控制装置310可以包括任何形式的变换器，或者能够接收来自用户的输入并将该输入转换成可为处理器所用的形式的其它装置。例如，用户接口可以包括触摸屏输入、触摸板输入、4路开关、6路开关、8路开关、触笔系统、跟踪球系统、操纵杆系统、语音识别系统、姿势识别系统、键盘、远程控制装置或其它的这种系统。用户控制装置可以包括一个或多个传感器，该传感器可包括光传感器、生物测量传感器，以及本领域中已知的可用于检测系统环境中的条件和将该信息转换成可由系统处理器使用的形式的其它传感器。光传感器可以包括一个或多个普通摄像机和/或多光谱传感器。传感器还可以包括适合于采集声音的音频传感器。传感器还可包括用于测量无意识的身体和心理反应的生物测量传感器或其它传感器，这些传感器包括但不限于语音变化、身体活动、眼运动、瞳孔放大、身体温度以及p4000波传感器。用户控制装置可以是本地的或者远程的。将通信单元的硬件和软件与和一个或多个早先述及的述用户控制装置结合起来的有线或无线远程控制装置222可以包括在系统中，并经由接口224起作用。

通信单元或系统可以包括：例如，一个或多个光、射频或其它变换器电路，或者其它系统，这些系统将图像和其它数据转换成可利用光信号、射频信号或其它形式的信号传送至诸如远程存储系统或远程显示装置的远程装置的形式。通信系统可被用来为输入单元提供图像记录，以及提供来自主计算机、服务器计算机、网络(未单独举例说明)、远程存储系统，或远程输入的其它数据。通信系统为处理器提供来自通过其接收的信号的信息和指令。一般地，通信系统适用于通过诸如以下网络的通信网络与远程存储系统进行通信：常规电信网络；诸如互联网的数据传送网；蜂窝式、点对点或其它形式的移动电信网络；诸如有线或无线局域网的局部通信网络；或者任何其它常规的有线或无线数据传送系统。

系统可以包括一个或多个输出装置，其直接地或通过适当的硬件提供可视输出。输出可以是与图像记录对应的一个或多个硬拷贝或软拷贝图像的形式，或者以包括数字形式的一个或多个图像的存储数字文件的形式提供输出。输出装置包括，但不限于，数字摄影打印机128、软拷贝显示器301以及DVD写入器122。打印机可以利用多种已知技术在接收媒介上记录图像，这些已知技术包括但不限于：传统四色胶印或其它的接触印刷；丝网印刷；诸如在Rochester，New York，USA的EastmanKodak公司出售的NexPress 2100打印机中使用的干静电显影；热打印技术；按需滴墨的喷墨技术和连续喷墨技术。为了以下讨论，打印机被描述为具有在纸张接收器上生成彩色图像的类型；应当理解的是，这并不是必要的，并且可以利用打印诸如黑色和白色的单色图像、灰度或棕褐色调图像的打印机，以及利用在在其它类型的接收器上打印的打印机来实施文中要求保护的方法和设备。输出装置还可以包括输出的组合，诸如打印的图像和诸如CD或DVD的存储单元上的数字文件，CD和DVD可以与诸如个人媒体播放器或平面电视的任何家庭和便携式观看装置一起使用。

显示器301具有产生光图像的显示面板303，以及在其中安装有显示面板的壳体。显示器可以具有与特定用途相关的附加特征。例如，显示器可以是电视接收器，其对来自天线或有线电视系统的电视信号进行解码。

控制单元可以具有多个处理器，如图4所示，或者可以具有提供多种功能的单个处理器。控制单元可以在多组件系统的任何组件中，并且如果控制单元具有一个以上的可分离模块，则可以在系统的不同组件之间分配这些模块。可以方便地提供该系统，使得控制单元位于系统的视频序列的正常路径上，并且提供不同的模块，为不同类型的节目内容优化各不同的模块。例如，对于用于家庭娱乐的系统，可以方便地将控制单元安置在电视机和/或机顶盒中。在特定实施例中，控制单元具有多个分离的模块，而这些模块在电视机和机顶盒的二者之一中。

在图4的实施例中，控制单元306具有控制处理器202、音频处理器204，以及两个数字音频处理器206、208。利用存储的软件和数据，控制处理器基于来自用户控制和输入单元的信号来操作系统的其它组件。下面与该方法相关地讨论控制处理器的一些操作。音频处理器向驱动扬声器212的音频放大器210提供信号。数字视频处理器将信号送至多路复用器214(在图4中标记为“MUX”)，该多路复用器214将信号送至驱动显示面板303的显示驱动器215。(可以改为用一对显示驱动器(未示出)来驱动显示面板。各显示驱动器将被替换地使用，并且将操作来自相应数字视频处理器的信号。)用于处理器的参数是由专用存储器216或存储器304提供的。

控制处理器可以包括但不限于：可编程数字计算机、可编程微处理器、可编程逻辑处理器、多个电路、减小为集成电路形式的多个电路，或者多个分立组件。可以在固定或可移动存储器上提供必要的程序，或者，如在本领域中人们所熟知的，控制处理器可以被编程以在内部存储需要的软件程序。

“存储器”指的是设置在半导体存储器或磁存储器等中的物理存储器的一个或多个大小适当的逻辑单元等。系统的存储器可以存储计算机程序产品，其具有存储在计算机可读存储媒介中存储的程序。存储器可以包括常规存储装置，其包括固态、磁、光或其它数据存储装置，并且存储器可以固定在系统内，或者可以是可移动的。例如，存储器可以是内部存储器，比如，诸如SDRAM或闪存EPROM存储器，或者作为选择，存储器可以是可移动存储器，或者是内部存储器和可移动存储器的组合。可移动存储器可为任何类型，诸如插入插槽并经由存储器接口与处理器连接的紧凑式闪存(CF)或安全数字(SD)型卡。使用的其它类型的存储装置包括但不限于：PC卡、多媒体卡(MMC)，或嵌入式和/或可移动硬盘驱动器。包括但不限于控制程序的数据也可以存储在诸如个人计算机、计算机网络或其它数字系统的远程存储器系统中。

除了操作系统所必需的功能以外，如以下将详细描述的，控制单元还提供对图像记录的渲染、修复和增强功能。在图4的实施例中，由两个视频处理器以及音频处理器来提供这些功能。可以以适于或便于满足特定要求的方式为这些附加功能提供不同数目的视频和音频处理器，或者，可以使用由可编程处理参数控制的单个处理器单元。可以提供附加功能，诸如图像记录的手动编辑，以及自动化(机器控制的)操作中的手动干预。可以以和控制处理器相同地方式来提供必要的程序。图像修改还可以包括元数据，即，与图像记录相关的非图像信息的添加或修改。

系统具有多个输入单元308。各输入单元设置了一个或多个输入端口218以便于特定系统使用。各输入端口能够利用输入选择器220向控制单元发送图像记录。各输入端口可接受不同种类的输入。例如，一个输入端口可接受来自DVD的图像记录，另一输入端口可接受来自卫星电视的图像记录，并且另一输入端口可接受来自通过有线或无线连接进行连接的个人计算机的内部存储器的图像记录。

每个输入单元提供都被预先确定为具有节目内容的一共同特性的一个或多个输入端口的逻辑和/或物理组合，该共同特性允许图像增强过程中的共同处理。例如，参照图1，为可能被专业制作的广播内容提供一个输入单元，并且为可能被非专业制作的非广播内容提供第二输入单元。输入单元的另一示例(未示出)是用于具有受限图像特征的特殊内容，诸如视频游戏内容和互联网电视。

输入端口、输入单元的数目和不同类型，以及内容的类型都是不受限制的。输入端口可以包括可向处理器提供适当数字数据的任何形式的电子电路或其它电路或系统，或者与它们进行接口连接。可以为可采集用于图像记录的内容数据和/或可获取已由其它装置制备或利用其它装置制备的图像记录的摄像机或者其它采集装置提供一个或多个输入端口。例如，输入端口可以包括一个或多个插接站、间断式链接的外部数字采集和/或显示装置、与有线电信系统的连接、提供与无线电信网络的无线连接的移动电话和/或无线宽带收发器。又例如，电缆链路提供与电缆通信网络的连接，并且碟形卫星天线卫星系统提供与卫星通信系统的连接。互联网链路提供与远程服务器中的远程存储器的通信连接。光盘播放器/写入器提供对记录在光盘上的内容的访问。输入端口可以提供来自存储卡、光盘、软盘或装置内部存储器的图像记录。一个或多个输入端口可提供来自节目安排供应方的图像记录，这些输入接口可以设置在机顶盒150中。通向节目安排供应方的输入端口可包括其它服务或内容，诸如用于更新系统的图像处理和其它组件功能的程序。例如，输入端口可包括提供节目内容及更新的电缆调制解调器，或者与该电缆调制解调器连接-该节目内容及更新从电缆头端输出，或者从系统可访问的web网站或服务器接收。

参照图5，控制单元在提供增强功能时展示了两条或更多条不同的图像处理路径。每条路径具有不同的逻辑。在特定实施例中，这些路径还在物理组件方面不同。(图5中的两个变换单元224、226各自包括各自的一组变换228、230。变换单元各自表示提供所要求功能必须的硬件和软件。)作为选择，可以根据需要利用，例如，现场可编程门阵列来配备单条图像处理路径。在该情况下，只要选择了不同的路径，就对现场可编程门阵列进行重新编程。不同路径的图像处理在应用于相应的图像记录的增强方面是不同的。

各路径包括多个图像记录处理变换。这些变换可被分为三种：渲染变换，其只限于使图像记录适应于特定输出装置；修复变换，其只限于非实质性地改变图像记录；以及增强变换，其包括实质性地改变图像。

渲染变换的示例包括图像记录的改变以适应于显示器的灰度级、色域和白点。渲染图像可以产生剪裁过的、分辨率和/或对比度级别降低的，或者以其他方式相对于原始图像记录被删减了的显示图像。

虽然两种变换都增强，基于修复变换不实质性地改变图像记录而增强变换实质性地改变感知的图像记录，可以区分修复变换组和增强变换组。(修复变换可以为局部观看环境进行调整，诸如具有色偏的环境光照、闪光、外部音频噪声等)。修复变换的目的是只修复成像链中的恶化，从而不实质性地改变图像记录。增强变换的目的是改善原始图像记录中的缺陷，并从而实质性地改变图像记录。在本方法和系统中，修复变换和增强变换被处理为呈现对输入图像记录的修改的连续体，由阈值将该修改的连续体分成两种类型。可以基于包括预期为输入的不同类型的图像记录的训练集的迭代修改的可接受性来经验化地预设在修复(非实质性)和增强(实质性)之间的阈值。可以相似的方式设定一系列路径的多个阈值。

阈值或多个阈值可采取多种形式。简单的形式是一组二进制条件，对于考虑为修复性的变换组，必须满足所有的这些二进制条件。例如，修复变换组是否保留，诸如，锐度、颗粒、色阶、色饱和度、稳像以及噪声的特定的预定图像特性的全部现有值，或改变任何现有值。作为选择，概率规则可被用来确定与阈值进行比较的值。例如，可以以贝叶斯网的形式来提供单个或一组规则。可以经验化地或者通过自动分类技术的使用，诸如遗传算法的使用，来确定适当的规则和阈值。这些技术的使用为本领域技术人员所熟知。

在特定实施例中，系统具有两条路径：专业路径或充分编辑路径，对于该路径，假设在节目制作过程中采用了大量的编辑；以及非专业或未编辑路径，对于该路径，假设在节目制作过程中没有采用编辑或采用了不多的编辑。专业路径包括渲染和修复变换，但不包括增强变换，以限制图像处理，使其不实质性地改变传播的图像记录。非专业路径包括渲染变换、修复变换和增强变换。允许传播的图像记录的实质性修改。

在所有的情况下，可以组合特定路径上的变换。在上一个实施例中，为了便于实施，可以特别方便地组合非专业路径的可组合的修复变换和增强变换。该实施例的修改形式具有多个编辑状态，每个编辑状态在从未编辑状态到充分编辑状态的递增序列中的多个级别的相应的一个级别上。编辑状态的级别可以步进，并且数字化增强的限制可以与编辑状态的相应级别成比例。

在特定实施例中，系统的控制单元具有两个不同的图像处理器或物理模块。各处理器专门用于相应的路径。在该情况下，各路径可以选择性地从各自的输入单元到显示器彼此完全分开。由于两个模块和/或相应的变换可以彼此独立地更新或修改，这是有利的。单个模块和变化组可能改变起来更复杂。作为选择，路径可以部分地组合以允许通用的渲染和修复变换的使用。如果使用了单个处理器，则可以通过对不同的路径使用不同的视频和/或音频处理参数来提供不同的路径。

参照图8，在特定实施例中，路径共用一些逻辑组件。通过输入单元A 308或输入单元B 308输入图像记录，然后该图像记录沿相应的路径前进。由于两个输入单元308都向修复变换Z(附图标记802)发送图像记录，两条路径一开始是在一起的。然后，路径A向增强变换Y(附图标记804)发送图像记录，然后将该图像记录送至多路复用器805。路径B绕开变换Y 804，并发送至多路复用器805。图像记录随后被发送至修复变换X(附图标记806)。然后，路径A向增强变换W(附图标记808)发送图像记录，随后将该图像记录送至多路复用器810。路径B绕开变换W 808并发送至多路复用器810。然后，图像记录被发送至渲染变换812，并到显示驱动器215和显示器301。由来自输入单元B的信号807对通过多路复用器810的传输进行控制。可以由控制单元306作为控制单元306确定图像记录来自输入单元B的结果来提供该信号。作为选择，可以由诸如与项807对应的信号线的更简单的逻辑元件来进行该确定，当在输入单元B中接收到图像记录时，该信号线发送。本领域技术人员应当理解的是，可以作为修复处理，诸如图8中变换Z 802进行的修复处理，的一部分来执行MPEG或JPEG解压缩或其它类型的电视信号解码(诸如NTSC解码)。

现在参照图6，在该方法中，一开始通过输入端口之一将图像记录接收到系统中并且确定提供图像记录的输入单元的类型602。按编辑状态对图像记录进行分类604。分类604将确定的输入单元的类型用作输入。编辑状态是包括未编辑和充分编辑的多个不同的可能的预定编辑状态中的一个。图像记录被数字化增强606。在增强过程中对图像记录的实质性修改进行限制608。当编辑状态为充分编辑时对增强进行较大的限制，并且当编辑状态不为充分编辑时对增强进行较小的限制。图像记录被渲染610以适应于预定输出单元，并且利用输出单元，以可视的形式输出渲染并增强的图像记录612。

输入单元的类型可以直接或间接地指示图像记录的源。在直接指示的示例中，系统可具有构建在电视接收器中的不同输入端口，诸如一对不同的读卡器和与调谐器的有线电视连接。两个读卡器一起形成一个输入单元。来自该输入单元的图像记录被分类为来自消费者内容源。有线电视连接-调谐器形成另一输入单元。来自该输入单元的图像记录被分类为来自专业源。作为可选的示例，电视接收器可被配置为使用多输入连接器等，而具有不同的来自外部装置的输入，这些外部装置包括诸如便携式摄像机和数字静态摄像机的消费者型装置，以及诸如DVD和有线电视机顶盒的专业型装置。在该情况下，由诸如特定输入单元或源的指定的用户行为来定义输入单元，或者由与系统连接的输入装置的类型的自动(机器控制的)识别来定义输入单元。对于用户没能进行指定的情况，可提供缺省的输入单元。

图像记录的分类可以只基于确定的输入单元类型。在该情况下，查询表等可被用来执行该分类。在特定实施例中，每个源对应于输入单元的不同类型，并且分类包括确定提供图像记录的输入单元的类型。例如，一个源可以被定义为广播信号，其与充分编辑的编辑状态预先关联，并且另一源可以被定义为非广播信号，其与未编辑的编辑状态预先关联。与广播信号源相关联的输入单元可以是与服务供应方的电缆连接。与非广播信号源相关联的输入单元可以是存储卡读取器。

图像记录的分类还可以使用附加信息，或者作为替代，或者与确定的输入单元类型相结合。附加信息可以是元数据和/或分析结果。可以提供一个或多个查询表等以关联具体信息与特定源。

在每个源与一种编辑状态级别预先关联的情况下，图像记录的源可以被视为分类的一部分。可以广泛或狭窄地定义源，可以理解，若狭窄地定义源，则有少量编辑状态级别，多个源可能不得不被分配给相同级别的编辑状态。图像记录可被分类到其中的预定的一组编辑状态可具有与预定源的一对一对应关系，或者若干不同的源可对应于单个编辑状态。目前优选后一种方法，因为其更有可能反应真实的消费者使用。该方法还允许在环境改变时的能容易地改变。例如，此时，具有高清信号的图像记录相对不太可能是来自消费者。包括指示高清内容的元数据或分析结果的所有图像记录可以被预先分配到充分编辑状态。假以时日，当该情况改变时，并且当高清消费者采集变得更普遍时，分类可以被更新以反映该情况。可经由任意的上述端口将更新送至系统。另外，当添加了新的源时，更新可被送至系统，这些更新增加了系统选择正确编辑状态、添加编辑状态、添加算法以及应用适当算法的能力。高清信号和输入单元的存储卡端口的使用的结合可以具有与充分编辑状态的缺省对应关系，并且只要环境改变，消费者(或制造商)就可以被给与改变到未编辑状态的选项。类似地，可以通过，例如允许添加提供对“专业”效果的指示的元数据，允许消费者将作品分类为“专业”。

元数据可以直接地或间接地指示源。这样的元数据的示例是给来自数字摄像机的数字静态图像或视频片段提供的摄像机标识，或者给专业图像记录提供的元数据版权通知。同样地，元数据可以指示DVD是由商业服务通过转换VHS录像带来制造的。类似地，可以提供元数据来标识电影的导演，或者指示或建议源的一些其它特征。表示消费者摄像机中的未设置时钟的，指示未来的、或不可能的、或者甚至不太可能的日期的元数据可以被认为是非专业源的指示。

图像记录中的数字图像的分析针对图像的语义和非语义显著特征。显著特征包括语义显著特征和结构显著特征，前者为具有与采集的图像中的主题对应的可识别意义的图像记录中的结构，后者为与该主题无关的图像记录的特征。在授予Savakis等的题为“METHOD FOR AUTOMATTCASSESSMENT OF EMPHASIS AND APPEAL IN CONSUMER IMAGES”的美国专利第6671405号中讨论了显著特征的属性和使用，将该专利并入本文作为参考。

用于分析诸如色阶、对比度等的图像记录的结构显著特征的技术对于本领域技术人员来说是熟知的。可以使用用于检测语义显著特征的多种数据检测和减少技术，诸如人脸检测、皮肤检测、人检测以及其它目标物体检测。为了相同的目的，还可以使用视频序列的时域图像分析。模式分类技术可被用来表征复杂数据。

类似于授予Savakis等的美国专利第6671405号的方法可被用来提供与图像记录的源相关的分析结果。贝叶斯网或一组网络被来用提供图像记录的自动分级。在贝叶斯网中，特征提取级的后面是分类级。特征提取级的输出表示特定特征的存在(或不存在)的统计证据。这些输出随后被分类级集成以计算表示图像具有网络被设计为要检测的类型的可能性的值。具体特征的选择可以基于利用人类观察者的地面实况研究。诸如人的存在或不存在、皮肤量或面部面积以及基于面部大小的靠近程度的人特征，可以是对进一步确定谁在图像中的语义理解的输入。通过额外地确定图像格式，可以使用并扩展诸如图像记录的色彩性和锐度的客观特征。

人特征可以是对该方法有用的输入。人的图像可以有助于确定图像的源是专业或业余。例如，如果系统已被训练为辨别多个人为家庭成员，可做出这样的推断：包含家庭成员的任何图像记录是用业余设备采集的，并且可以应用对于这些图像最适当的图像处理路径。

该方法可以被设计为检测不太可能由消费者应用的文本和图形，诸如标题和致谢名单，并且可以在该基础上指示不同的源。

色彩性和动态范围也可被用作适用于实施本发明的网络的客观特征。专业编辑的图像记录可能将充分利用色调和色彩的可用范围。消费者采集的图像记录可能控制得稍差，并存在曝光不足的问题。

锐度可被用作客观特征。专业编辑的图像记录很少提供失焦的影像。由于消费者采集系统要搜寻以找到对象，消费者采集的图像记录常常失焦。另外，不同的采集系统可以具有不同的保持聚焦的能力，并且优选的处理可以相应地不同。

图像格式可以被用作客观特征。在撰写该申请的时候，对于很多消费者来说，任何源提供的高清信号都不太可能是源自消费者。虽然这在将来可能会改变，目前可以假设被确定为高清的任何信号是源自专业的，并且以远不同于其它信号的方式来处理。

场景改变频率可以被用作客观特征。可以通过确定影像中的突然不连续性来检测场景改变。对于视频，该动态相关的客观特征可被用来确定专业和业余图像记录之间的差别，因为专业编辑的视频序列倾向于具有很短的场景，而业余视频序列倾向于具有很长的场景。

与图像记录相关的音频的结构特征可被用作客观特征。特别地，与专业编辑的图像记录相关的噪声水平通常很低，而与消费者采集的图像记录相关的噪声水平通常很高。另外，专业编辑的图像记录的平衡和平均水平性被很好地控制，而消费者采集的图像记录的平衡和平均水平性有多很多的变化。类似地，专业编辑的图像记录更可能具有笑声轨道、沉默期，以及大量的立体声区分。

检测的特征被输入给分类级，其中确定用于推断图像序列的源的值。可以使用贝叶斯网。应当理解的是，除了在特别说明的情况下，本发明在用于这些目的的特定技术方面不受限制。例如，可以由以下系统单独地或相结合地提供模式分类：基于规则的系统、语义知识网方法、基于框架的知识系统、神经网络、基于模糊逻辑的系统、遗传算法机制，以及基于经验化的系统。

分类可以使用两种或更多种信息的分级结构中的附加信息，其中最高的可用信息优先。例如，在特定实施例中，确定标识或指示图像记录源的元数据是否与图像记录相关联。如果检测到这样的元数据，则该元数据所指示的源单独确定编辑状态级别。如果没有检测到这样的元数据，则输入单元的类型单独确定编辑状态。类似地，在另一实施例中，分析图像记录，产生指示图像记录源的分析结果或非指示性的结果。如果指示性的分析结果可用，则分析结果所指示的源确定编辑状态级别。如果没有检测到这样的指示性分析结果，则输入单元的类型单独确定编辑状态。

在对图像记录分类时可以总是考虑附加信息，或者可以使附加信息的使用成为用户选项。在该情况下，用户可以将一用户可选择的特征设定到第一状态或第二状态。在第一状态中，查明关于输入记录的附加信息的可用性，并且当附加信息可用时，该信息被用作分类时的输入。在第二状态中，为图像记录分配输入单元的相应类型的编辑状态。

图7示出了结合以上特征的方法。在该实施例中，确定输入端口700。自动检测或由用户来选择使用的输入端口。然后，进行读取指示与图像记录相关的源的元数据的尝试702。当该元数据可用时，图像记录被分类到只由指示的源确定的编辑级别。如果检测到这样的元数据，则由该元数据指示的源单独确定编辑状态级别，并且加载704并应用705与该编辑状态相关联的具体处理。当该元数据不存在或不能被读取时，分析图像记录706。当分析结果指示源时，图像记录被分类到与该源相关的编辑状态，并且加载708并应用709相应的软件。当分析结果不指示源时，则图像记录被分类到与用于该输入端口的输入单元的类型相关联的编辑状态，并且加载710并应用711相应的处理。在图7中，提供了另一选项，其中用户可以强制用输入单元的类型来进行分类。该选项的检测713导致相应软件的加载710和应用711。

再参照图6，根据编辑状态来数字化增强图像记录，并且为特定输出单元渲染图像记录。渲染提供输出匹配，其中图像记录被调整以便处于特定输出装置的限制范围内。这些限制包括色域、可用色阶等。图像记录被可选地数字恢复。如早先述及的，各编辑状态与不同的图像处理路径相关联。这些路径至少在所提供的数字化增强方面不相同。增强可以提供多种多样的图像记录修改。例如，可能的增强包括：边缘增强、色阶修改(直方图伸展和平移)、局部和全局对比度及亮度改变，以及色饱和度的变化。

对各图像记录单独地使用该方法。如早先述及的，视频序列或多媒体演示可以被当作单个图像记录或多个图像记录的集合来处理。在该方法中，可以基于由分类确定的图像记录的编辑状态来确定将特定视频序列等当作一个图像记录还是多个图像记录来处理。为了该目的，可以(从同一输入单元)提供附加的编辑状态或子状态。例如，关于艺术欣赏的演讲的多媒体演示可以具有限于恢复和渲染的艺术品的静态图像的数字处理，以及包括恢复、渲染和增强的演讲者的视频的数字处理。

编辑状态的概念基于这样的假设：专业制备的作品已经经历了比消费者制备的作品更多的编辑。该假设不一定成立，但是可能对于很多情况都是正确的。还可以根据需要来提供编辑状态的附加级别。编辑状态的类别代表概括，并且在个别情况下可能正确或可能不正确。例如，读卡器可能读取专业制作的文件，而DVD播放器播放的DVD可能是通过转换通过拷贝低质量消费者录像带而制作的消费者视频来制作的。该方法和系统是冒着在将图像记录分类到编辑状态时出错的风险来提供便利性的折衷。可以通过经验化地调节编辑状态级别，使得该风险可接受。编辑状态包括与任意最低级别对应的未编辑状态，以及与任意最高级别对应的充分编辑状态。如名称所建议的，优选的情况是，最低级别包括没有任何编辑的图像记录，并且最高级别包括已经经历了多很多的大规模编辑的图像记录。可以为更高级的用户提供这些级别之间的阈值的调整、附加级别的添加以及适当阈值的调整。如果出现系统不能推断对图像记录的编辑状态的情况，由于最不可能产生增强对于其不是想要或必要的图像记录被错误地增强的令人不快的状况，系统所采用的缺省可以是最高级别。

以下是一些不同路径的示例。第一个示例是消费者录像机路径。该路径基于录像机具有质量有限的麦克风和音频产生值的假设，提供数字化增强。提供音频处理以降低环境噪声，以便使音频电平均衡(消除很安静和很大声的部分)。还以假设早先没有提供足够的稳定化为依据，对图像记录进行数字图像稳定化。图像稳定化可以采用Rabbani等在2005年5月17日提交的题为“IMAGE SEQUENCE STABILIZATION METHODAND CAMERA FIAVING DUAL PATH IMAGE SEQUENCE STABILIZATION”的公开号为US2006/0274156A1的美国专利申请中描述的稳定化算法，其中稳定化包括原始图像记录的裁剪。也以类似的假设为依据来矫正图像色彩和色阶。该相同的路径(和相同的编辑状态)还可以用于在家庭计算机上制作的DVD。

另一路径是用于好莱坞电影或其它专业电影的DVD。假设由专业电影制作的DVD基于导演认真控制DVD原版盘处理以确保其符合导演的艺术视角。除了对于渲染，该路径将色彩、色调和噪声处理排除在外，或者只包括已被预先确定为不改变图像记录的“外观”的恢复性图像变换。目的是使显示的图像记录看起来尽可能地接近于导演所希望显示的图像记录。

另一路径用于地面电视节目。可以假设内容意在具有特定的外观，但是输入的图像记录被恶化。恢复可被提供给已知恶化的范围。另外，提供诸如一些限量的色彩和色调调整的适度限制的增强以及噪声清除，以便冒着造成想要“外观”的一些损失的风险来改善更多的恶化。

Claims (30)

1.一种用于由图像记录产生可视输出的方法，所述方法包括步骤：

确定提供图像记录的多个不同类型输入单元中之一；

将图像记录分类到预定的多个不同编辑状态之一，所述分类将确定的输入单元的所述类型用作输入，所述编辑状态包括未编辑状态和充分编辑状态；

数字化增强图像记录；

限制所述增强过程中图像记录的实质性修改，当所述编辑状态为充分编辑时对所述增强的限制较多，并且当所述编辑状态不是充分编辑时对所述增强的限制较少；

渲染图像记录以适应于预定输出单元；以及

输出所述渲染和增强的图像记录。

2.如权利要求1所述的方法，其中所述限制进一步包括：当所述编辑状态为充分编辑时提供第一图像处理路径；以及当所述编辑状态为未编辑时提供第二图像处理路径，各所述路径具有不同的一组图像处理变换。

3.如权利要求2所述的方法，其中所述提供进一步包括：响应于所述分类，对现场可编程门阵列进行编程。

4.如权利要求1所述的方法，其中当所述编辑状态为充分编辑时所述增强只为恢复性。

5.如权利要求1所述的方法，其中所述输入单元有两种不同的类型，并且所述分类进一步包括：当所述输入单元为所述两种不同类型中的一种时，向图像记录分配所述未编辑状态；以及当所述输入单元为所述两种不同类型中的另一种时，向图像记录分配所述充分编辑状态。

6.如权利要求1所述的方法，其中所述编辑状态是从未编辑状态到充分编辑状态的递增序列中的多个级别中的一个，所述限制与所述序列中的相应的所述编辑状态的级别成反比。

7.如权利要求6所述的方法，其中所述分类进一步包括推断多个预定源中的一个源为图像记录的相应源，各所述源与所述级别中的相应的一个级别预先相关联。

8.如权利要求7所述的方法，其中所述源中的一个源为广播信号而所述源中的另一源为非广播信号，所述广播信号与所述充分编辑的编辑状态预先相关联，所述非广播信号与所述未编辑的编辑状态预先相关联。

9.如权利要求1所述的方法，进一步包括：

查明关于输入记录的附加信息的可用性；以及

当所述附加信息可用时，将所述附加信息用作所述分类时的输入。

10.如权利要求9所述的方法，其中所述查明进一步包括确定与图像记录相关的元数据的可用性，所述元数据指示多个预定图像记录源中的相应的一个源，各所述源与所述编辑状态中的一个预先相关联。

11.如权利要求10所述的方法，其中所述分类进一步包括：当所述元数据可用时，向图像记录分配与相应的所述源相关联的编辑状态。

12.如权利要求11所述的方法，其中所述查明进一步包括：分析所述图像记录，以便提供：指示所述多个预定图像记录源中的一个源的分析结果以及非指示性的结果中之一。

13.如权利要求12所述的方法，其中所述分类进一步包括：当所述元数据不可用并且所述分析结果可用时，向图像记录分配与由所述分析结果指示的相应的源相关联的编辑状态。

14.如权利要求13所述的方法，其中输入单元的每个所述类型与所述编辑状态中的一个预先相关联，并且所述分类进一步包括：当所述元数据和所述分析结果不可用时，向图像记录分配相应的输入单元的所述类型的编辑状态。

15.如权利要求1所述的方法，其中输入单元的每个所述类型与所述编辑状态中的一个预先相关联，并且所述分类进一步包括：

用户将用户可选择的特征设定到第一状态或第二状态；在所述第一状态中，查明关于输入记录的附加信息的可用性，并且当所述附加信息可用时，将所述附加信息用作在所述分类时的输入；在所述第二状态中，向图像记录分配相应的输入单元的所述类型的编辑状态。

16.如权利要求1所述的方法，其中所述图像记录包括音频和视频内容两者，并且所述增强改变所述音频内容和所述视频内容两者。

17.一种用于由图像记录产生可视输出的方法，所述方法包括步骤：

确定关于图像记录的一项或多项信息，所述确定的项包括提供图像记录的多个不同类型的输入单元中的相应的之一；

基于所述信息将图像记录分类为多个不同编辑状态中的一个，所述编辑状态是从未编辑状态到充分编辑状态的递增序列中的多个编辑状态中的一个；

利用多个不同组的图像处理变换中的相应的一组来处理所述图像记录，各所述组与所述编辑状态中的相应一个编辑状态相关联，利用所述组中的每个组进行的所述处理包括渲染图像记录以适应于预定的显示器，利用与所述充分编辑状态相关联的所述组进行的所述处理与利用与所述未编辑状态相关联的所述组进行的所述处理相比，被相对更多的限制了图像记录的实质性修改；以及

在所述处理之后提供图像记录的可视输出。

18.一种用于由图像记录产生可视输出的方法，所述方法包括步骤：

确定提供图像记录的多个不同类型输入单元中之一；

基于确定的输入单元类型将图像记录分类为多个编辑状态中的一个，所述多个编辑状态具有从未编辑状态到充分编辑状态的递增序列中的不同级别；

渲染图像记录以适应于预定的显示器；

数字化增强图像记录；以及

限制所述增强过程中图像记录的实质性修改，所述限制与所述分类的编辑状态的相应的级别成反比，由此，当所述编辑状态为充分编辑状态时所述限制最大，并且当所述编辑状态为未编辑状态时所述限制最小；

输出所述渲染和增强的图像记录。

19.一种用于由图像记录产生可视输出的系统，所述系统包括：

输出单元；

具有第一和第二图像记录处理路径的控制单元，各所述路径操作地连接于所述输出单元，各所述路径包括多个图像记录处理变换，所述第一图像记录处理路径只具有渲染变换和恢复变换，所述第二图像记录处理路径具有渲染变换、恢复变换和增强变换，所述渲染变换限于使图像记录适合于所述显示面板，所述恢复变换限于非实质性地改变图像记录，所述增强变换包括实质性地改变图像记录；

多个输入单元，各所述输入单元操作地连接于所述路径中的仅一条路径，各所述输入单元具有一个或多个输入端口，各所述输入端口能够将图像记录发送给所述路径中的相应的一条路径。

20.如权利要求19所述的系统，其中所述控制单元具有物理上可区分的第一和第二模块，所述第一模块具有操作地专门连接于第一所述输入单元的所述第一所述图像记录处理路径，所述第二模块具有操作地专门连接于第二所述输入单元的所述第二图像记录处理路径。

21.如权利要求20所述的系统，其中所述第一模块的所述一个或多个输入端口限于第一类型的图像记录输入，并且所述第二模块的所述输入端口限于第二类型的图像记录输入。

22.如权利要求21所述的系统，其中所述第一类型的图像记录输入为广播信号，而所述第二类型的图像记录输入为非广播信号。

23.如权利要求20所述的系统，其中所述输出单元为显示器，其具有壳体以及所述壳体中的显示面板。

24.如权利要求20所述的系统，进一步包括容纳所述显示器、控制单元和输入单元的壳体，所述壳体为手持式，一个或多个所述输入单元可无线连接于相应的图像记录源。

25.如权利要求20所述的系统，其中所述控制单元具有包括所述变换的编程，所述编程经由一个或多个所述输入端口至少部分地更新。

26.如权利要求23所述的系统，进一步包括机顶盒；并且其中所述的两个模块都在所述显示器和所述机顶盒的二者之一中。

27.一种电视系统，包括：

显示器，其具有壳体以及所述壳体中的显示面板；

机顶盒；

控制单元，其安装在所述显示器和所述机顶盒的二者之一中，所述控制单元具有两个或更多个物理上可区分的模块，各所述模块具有第一和第二图像记录处理路径，各所述路径操作地连接于所述显示面板，各所述路径包括多个图像记录处理变换；所述第一图像记录处理路径只具有渲染变换和恢复变换，所述第二图像记录处理路径具有渲染变换、恢复变换和增强变换，所述渲染变换限于使图像记录适合于所述显示面板，所述恢复变换限于非实质性地改变图像记录，所述增强变换包括实质性地改变图像记录；

多个输入单元，各所述输入单元操作地专门连接于所述路径中的仅一条，各所述输入单元具有一个或多个输入端口，各所述输入端口能够将图像记录发送给所述路径中的对应的一条。

28.如权利要求27所述的系统，其中所述第一模块的所述一个或多个输入端口限于第一类型的图像记录输入，并且所述第二模块的所述输入端口限于第二类型的图像记录输入。

29.如权利要求28所述的系统，其中所述第一类型的图像记录输入为广播信号，而所述第二类型的图像记录输入为非广播信号。

30.如权利要求28所述的系统，其中从相应的所述输入单元到所述显示面板，各所述路径与其它的一条或多条路径完全分开。

Images