解决方案
方法
本发明涉及一种用于从数字图象和/或与几何转换有关的格式化信息,特别是与装置链的失真和/或色差有关的格式化信息计算转换图象的方法。该方法包括由几何转换的近似计算转换图象的步骤。采用这种方法,该计算在存储资源,存储器带宽,计算能力和电能消耗方面都是很经济的。该方法在起随后的应用中,不会出现任何可见的或者使人烦恼的缺陷。
数字图象是由象素构成的,下文中称为数字象素。转换图象由在下文中被称为转换象素的象素组成。该转换象素由转换位置和转换值表征。优选地,根据本发明,该方法包括通过采用一种通用算法来计算转换象素值的步骤,通用算法包括以下过程:
-过程(a),在数字图象内,对每个转换位置,由格式化信息选择一个数字象素块的过程,
-过程(b),对每个转换位置,从转换信息计算在所述数字象素块之内的数字位置的过程,
-过程(c),对所述转换位置,根据所述数字象素块的数字象素值和所述数字位置值计算转换象素的值的过程。
格式化信息包括多个参数。通过这些参数可以选择至少-个与所述几何转换有关的数学函数。借助这个或这些数学函数,可以由转换位置计算数字象素和数字位置。
计算数字象素和数字位置。
优选地,根据本发明,该通用算法通过以下方式而执行:
-选择转换象素,其在下文中称为初始转换象素,
-对初始转换象素采用通用算法的过程(a)、(b)和(c),以得到初始数字象素块和初始数字位置。
对于除了初始转换象素之外的每个转换象素,进行一种最佳算法,该算法包括以下过程:
-过程(d),从初始数字块和/或每个初始转换位置计算数字图象之内的一个数字象素块的过程,
-过程(e),从初始数字块和/或从每个初始转换位置,计算数字象素块之内的一个数字位置的过程,
-过程(f),根据数字象素块的数字象素的值和数字位置的象素值计算转换象素的值和过程。
通过将技术特点进行组合,可以对初始数字点采用需要复杂计算的格式化信息,也可以通过在其他点上采用更简单的算法而降低整体的计算时间,而同时保持几何转换的好的近似性。
该方法结合硬件和/或软件处理装置一起使用。优选地,根据本发明,最佳化算法专门采用整数或定点数据。对技术特征的组合得到:可以在不采用浮点处理器或者运算器的情况下执行通用算法和最佳算法,即使过程(a)和(b)执行浮点计算,这是由于(a)和(b)的执行频率要比(c)和(d)的执行频率低得多,并且由于可以对少数采用任何浮点运算的情况进行模拟。通过将技术特点组合,则可在一照相装置中嵌入该算法,例如,消耗尽可能少的电流和执行尽可能迅速的操作。
优选地,根据本发明,该方法还包括量化数字位置以获得量化数字位置的步骤。对技术特征的组合得到,可以结合有限的输入次数来应用采用步骤(c)和(f),因此可以将系数列表并因此采用更小的缓存,而在主存中得到一较小的带宽。
优选地,根据本发明,该方法还包括计算系数块的步骤。通过以下步骤而执行过程(c)和(f):
-采用量化数字位置选择一系数块,
-由系数块和数字象素块计算转换象素的值。
通过对技术特征进行组合可以得到在编译之前进行系数块的计算。
根据本发明的替换实施例,计算转换象素的值的过程(c)和(f)还可应用于除了几何转换之外的转换,特别地可用于减少图象模糊。因此可以应用多个图象转换同时消耗更少的能量和时间。
数字图象可以来源于具有多个通道的检测器。该通道可以被组合以产生彩色面。优选地,根据本发明,在这种情况中,用于计算转换象素值的过程(c)和(f)也可以组合所述通道以获得彩色面。对技术特征的组合得到:在三个彩色面RGB的情况下,采用通用算法和/或最佳化算法的计算时间和电耗最多除以三。对技术特征进行组合得到更好的精确度。而且通过组合技术特征,在采用其中组合有通道组合函数的装置中,特别是数字照相装置中,可以以最小的额外成本增加几何转换的过程。
数字图象也可以由彩色面来组成。优选地,在此情况中根据本发明,该方法可以将一种不同的几何转换应用于每个彩色面以校正色差。
优选地,根据本发明,该方法还包括采用其他的几何转换来对几何转换进行组合的步骤,特别是变焦效果,其根据数字图象是可变的。通过对技术特征的组合,可以以所采用的时间和能量上的较小的额外成本而对数字图象进行其他的几何转换,特别是一种变焦效果,其与几何转换的同时发生。通过对技术特征进行组合,可以将几何转换应用于一数字图象,所述图象经历了其他的几何转换。
格式化信息可以依赖于依从于数字图象的可变特征,特别是数字图象的大小。优选地,在这种情况中,根据本发明,该方法还包括对数字图象确定可变特征的值的步骤。过程(a)和(b)使用该格式化信息,所述格式化信息取决于以此方式获得的用于所述可变特性的值。通过对技术特征进行组合,采用取决于一可变特征的格式化信息的方法简化为采用不取决于任何可变特征的格式化信息的方法。
优选地,根据本发明,所述格式化信息与装置链的失真效果和/或色差有关。所述参数与测得的字段(measured field)有关。
转换图象同通过对数字图象进行几何转换而获得的图象相比显示一差别。优选地,在这种情况中,根据本发明,该方法还包括以下步骤:
-选择一阈值,
-选择通用算法和/或最佳化算法和/或初始转换点的步骤,使得该差别低于所述阈值。
通过组合技术特征,可以使用于接近某一图象质量级的计算时间达到最小。
转换图象与通过对数字图象进行几何转换而得到的图象相比可以显示一差别。优选地,在此情况中,根据本发明,该方法还包括以下步骤:
-选择一阈值的步骤,
-选择通用算法和/或最佳化算法和/或初始转换点和/或量化的数字位置的量化步骤,通过这种方式该差别低于所述阈值。
通过组合技术特征,可以使用于接近某一图象质量级的计算时间达到最小。
优选地,根据本发明,该方法还包括对转换位置进行分类的步骤,使得由过程(a)和/或(d)所选择的数字象素块具有指定平均数量的公用数字象素。通过组合技术特征,小尺寸的或者具有少量寄存器的缓存足以包括连续重复过程(a)和/或(d)所需的大部分象素值。通过组合技术特征通常也可以大大的减少存储器带宽。通过对技术特征进行组合,没有必要在存储器中保持完整的数字图象。通过组合技术特征,也不必一定在存储器中保持完整的转换图象。通过对技术特征进行组合,从而降低了成本和耗电。
系统
本发明涉及用于从一数字图象和与几何转换有关的格式化信息,特别是与装置链的失真和/或色差有关的格式化信息计算转换图象的系统。该系统包括计算装置,用于从几何转换的近似而计算转换图象。
该数字图象是由象素构成的,其以下文中称为数字象素。转换图象由下文中称为转换象素的象素构成。转换象素由转换位置和转换值来表示。优选地,根据本发明,该系统包括计算装置,用于通过提供了通用算法的数据处理装置来计算转换象素值,该通用算法包括以下过程:
-过程(a),在数字图象内,对每个转换位置,从格式化信息选择一数字象素块的过程,
-过程(b),对每个转换位置从格式化信息计算一个在所述数字象素块之内的数字位置的过程,
-过程(c),对所述转换位置,根据所述数字象素块的数字象素值和所述数字位置值计算转换象素的位置的过程。
格式化信息包括若干参数。通过这些参数可以选择至少一个与所述几何转换有关的数学函数。借助这个或这些数学函数,可以由转换位置计算该数字象素块和数字位置。
优选地,根据本发明,该通用算法通过以下方式而执行:
-选择转换象素,在下文中称为初始转换象素,
-对初始转换象素采用通用算法的过程(a)、(b)和(c),以得到初始数字象素块和初始数字位置。
对于除初始转换象素之外的转换象素,该计算装置应用一种最佳化的算法,该算法包括以下过程:
-过程(d),从初始数字块和/或每个初始转换位置选择数字图象之内的一个数字象素块的过程,
-过程(e),从初始数字块和/或从每个初始转换位置,计算数字象素块之内的一个数字位置的过程,
-过程(f),根据数字象素块的数字象素的值和数字位置的象素值计算转换象素的值的过程。
通过硬件和/或软件处理装置执行该通用算法或者最佳化算法。根据一有利的替换实施例,该最佳化算法专门采用整数或定点数据。
优选地,根据本发明,该系统还包括数据处理装置,用于量化数字位置,以获得量化的数字位置。
优选地,根据本发明,该系统还包括计算装置,用于计算系数块。过程(c)和(f)由计算装置通过以下过程而执行的:
-采用量化数字位置选择一系数块,
-由系数块和数字象素块计算转换象素的值。
,也可以将对转换象素的值进行计算的过程(c)和(f)应用于除了几何转换之外转换,特别是应用于减少图象模糊。
数字图象来源于可以具有多个通道的检测器。可以组合该通道以产生彩色面。优选地,根据本发明,用于计算转换象素值的过程(c)和(f)也可以组合通道以获得彩色面。
优选地,根据本发明,该数字图象是由彩色面组成的。该系统使得数据处理装置能够对每种彩色面应用一不同的几何转换,以校正色差。
优选地,根据本发明,该系统使数据处理装置能够将几何转换与另一几何转换相结合,特别是变焦效果,所述几何转换根据数字图象而改变。
格式化信息可以依赖于依从于数字图象的可变特征,特别是数字图象的大小。优选地,在这种情况中,根据本发明,该系统还包括数据处理装置,用于对当前考虑的数字图象确定可变特征值。执行过程(a)和(b)的计算装置使用依从于按此方式获得的用于可变特征的值的格式化信息。
优选地,根据本发明,格式化信息与装置链的失真效果和/或色差有关。所述参数与测得的字段(measured field)有关。
转换图象与对数字图象应用几何转换而得到的图象相比显示一差别。优选地,在此情况中根据本发明,该系统还包括数据处理装置,采用该装置可以采用一通用算法和/或一最佳化算法和/或初始转换点,采用这种方式使得该差别低于一选定的阈值。
转换图象与对数字图象应用几何转换而得到的图象相比显示一差别。优选地,在此情况中根据本发明,该系统还包括数据处理装置,采用该装置可以应用一通用算法和/或一最佳化算法和/或初始转换点和/或量化的数据位置的量化,同时使得该差别低于一选定的阈值。
优选地,根据本发明,该系统还包括数据处理装置,用于对转换的位置进行分类,这样通过过程(a)和/或(b),该数字象素块具有指定平均数量的公用数字象素。
详细描述
结合指示性的和非限制性的实例,在阅读了本发明的替换实施例的说明后,本发明的其他特征和优点将变得明确,其中:
装置
具体结合图10,现描述装置P25的概念。在本发明的含义范围中,装置P25可以具体是:
-图象捕获装置,例如一次性相机装置,数码相机,反射装置,扫描仪,传真机,内诊镜,可携式摄像机,监视照相机,游戏机,集成到或连接到电话、个人数字助理或计算机的照相机,热能相机,或回波描记装置,
-图象恢复装置,例如屏幕,投影仪,电视机,虚拟实境目镜或打印机,
-有视觉缺陷,例如散光的人,
-一种有望能被模仿的装置,用以产生例如看上去具有类似于莱卡相机装置所产生的图象的外观的图象,
-有增加模糊的边缘效果的图象处理设备,例如变焦软件,
-与多个装置P25等效的虚拟装置,
可考虑更加复杂的装置P25,例如扫描/传真/打印一体机,照片打印冲洗设备,视频会议装置,作为装置P25或多个装置P25。
装置链
结合图10,现描述装置链P3的概念。装置链P3定义为一组装置P25。装置链P3的概念中也包含顺序的概念。
以下实例组成了装置链P3:
-单个装置P25,
-图象捕获装置和图象恢复装置,
-拍照装置,扫描仪或打印机,例如在照片打印冲洗设备中,
-数字拍照装置或打印机,例如在照片打印冲洗设备中,
-扫描仪,屏幕或打印机,例如在计算机中,
-屏幕或投影仪,以及人眼,
-一种装置和另一种有望被模仿的装置,
-一个拍照装置和一台扫描仪,
-一个图象捕获装置和图象处理软件,
-图象处理软件和图象恢复装置,
-以上各例的组合,
-另一组装置P25。
缺陷
结合图10,现描述缺陷P5的概念。装置P25的缺陷P5定义为涉及光学系统和/或检测器和/或电子单元和/或集成到装置P25中的软件的特征的缺陷;缺陷P5的实例包括:失真缺陷,模糊缺陷,渐晕缺陷,色差缺陷,演色缺陷,闪光均匀性缺陷,检测器噪声,粒度,散光以及球面象差缺陷。
数字图象
具体结合图1,现描述数字图象INUM的概念。数字图象INUM定义为由装置P25捕获、修改或恢复的数字图象。数字图象INUM可来源于装置链P3中的一个装置P25。数字图象INUM可以是提交到装置链P3中的一个装置P25。更通常的情况是,数字图象INUM可以来自和/或提交到装置链P3的一个装置P25。在动画图象的情况中,诸如由按时间顺序排列的静止图象组成的视频图象中,数字图象INUM定义为图象序列中的一幅静止图象。
格式化信息
具体参考图10,现描述格式化信息IF的概念。格式化信息IF定义为涉及几何转换的数据,一个实例是涉及装置链P3中一个或多个装置P25的缺陷P5的数据,通过考虑到装置P25的缺陷P5,采用该数据可以计算一转换图象ITR。缺陷P5可以具体地是几何失真和/或色差缺陷。格式化信息IF可以通过采用各种方法基于测量,和/或基于参考的捕获和恢复、或者基于模拟的方法而产生。要产生格式化信息IF,可以使用多种基于测量和/或模拟和/或校准的方法和系统,例如上文描述的校准方法。
要产生格式化信息IF,有可能使用在例如以Vision IQ的名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为“用于产生与几何失真相关的格式化信息的方法和系统”。此申请描述了用于产生涉及装置链P3中装置P25的格式化信息IF的方法。装置链P3具体包括至少一个图象捕获装置和/或至少一个图象恢复装置。此方法包括产生相关于该链中至少一个装置的几何失真的格式化信息IF的步骤。
装置P25可能捕获或恢复介质上的图象。装置P25根据图象不同,包含至少一个固定特征和/或一个可变特征。固定特征和/或可变特征可以关联于一个或多个特征值,例如焦距和/或调焦特征以及相应特征的特征值。此方法包含从测得的字段产生涉及该装置的几何失真的测得的格式化信息的步骤。格式化信息IF可以包含测得的格式化信息。
为产生格式化信息IF,可以使用在例如以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“降低图象处理装置更新频率的方法和系统”。该申请描述了降低图象处理装置更新频率的方法,特别是软件和/或组件的更新频率。图象处理装置使得有可能改变来自或发送到装置链P3的数字图象的质量。装置链P3具体包括至少一个图象捕获装置和/或至少一个图象恢复装置。图象处理装置使用涉及装置链P3中至少一个装置P25的缺陷的格式化信息IF。该格式化信息IF依赖于至少一个变量。格式化信息IF使得能够建立变量的一部分与标识符之间的联系。借助于标识符,通过考虑标识符和图象,有可能确定对应于该标识符的变量的值。技术特征的组合使得有可能确定变量的值,特别是在图象处理装置发布之前无法得到该变量的物理意义和/或内容的情况下。技术特征的组合还使得能够从空间上分隔开校正软件两次更新之间的时间。技术特征的组合还使得生产装置和/或图象处理装置的多个经济活动参与者可以独立于其他经济选手来更新他们的产品,即使后者完全改变了产品的特性或是不能强迫客户更新产品。技术特征的组合还使得能够首先以少数经营者和开拓性用户开始,然后逐渐开始使用新的功能。
为产生格式化信息IF,可以采用以Vision IQ的名义与本发明同一天提交的,题目为“用于向图象处理装置提供标准格式的格式化信息的方法和系统”的国际专利申请中所说明的方法。该申请说明了一种向图象处理装置,特别是软件和/或元件,提供采用标准格式的格式化信息的方法。该格式化信息IF涉及装置链P3的缺陷。装置链P3具体地包括至少一个图象捕获装置和/或一个图象恢复装置。图象处理装置采用格式化信息IF修改源自或发送到装置链P3的至少一个图象的质量。格式化信息IF包括表征图象捕获装置的缺陷P5的缺陷,特别是失真特征的数据、和/或表示图象恢复装置的缺陷,特别是失真特征的数据。
方法包括采用格式化信息IF填写所述标准格式的至少一个字段的步骤。该字段是由字段名称指定的。该字段包括至少一个字段值。
为搜索格式化信息IF,有可能使用在例如以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“改变至少一个来自或被送往装置链的图象质量的方法和系统”。该申请描述了改变来自或发送到指定装置链的至少一个图象的质量的方法。该指定装置链包括至少一个图象捕获装置和/或至少一个图象恢复装置。由独立的经济活动选手逐渐引入在市场上的图象捕获装置和/或图象恢复装置属于未确定的一组装置。该组装置中的装置P25显示可以由格式化信息表示的缺陷P5。对于所讨论的图象,该方法包括以下步骤:
-对涉及该组装置中的装置的格式化信息源进行目录编辑的步骤,
-在用这种方法编辑的格式化信息IF中自动搜索涉及指定装置链的特定的格式化信息的步骤,
-在考虑到用这种方法获得的特定格式化信息的同时,通过图象处理软件和/或图象处理组件自动修改数字图象INUM的步骤。
可变特征
现描述可变特征的概念。根据本发明,可变特征定义为一个可测量因素,该因素可以在一幅数字图象INUM和通过同一个装置P25捕获、修改或恢复的另一幅图象之间变动,并对装置P25捕获、修改或恢复的图象的缺陷P5产生影响。特别是:
-全局变量,对于一给定数字图象INUM是不变的,作为装置链P25的特征的一个实例,在捕获或恢复该图象时,与用户的调节有关或与装置P25的自动操作相关,
-局部变量,在给定数字图象INUM中可变的,一个例子是图象中的x、y坐标,和ρ、θ坐标,可以在必要时进行局部处理,处理根据数字图象INUM的区域不同而变化。
从一个装置到P25到另一个装置时可变,从一个数字图象INUM到由同一个装置P25捕获、修改或恢复的另一个图象而言却是固定的,这样的可测量因素,通常不被看作可变特征。例如具有固定焦距的装置P25的焦距。
格式化信息IF可依赖于至少一个可变特征。
通过可变特征,可以具体理解:
-光学系统的焦距,
-对图象进行的重新确定尺寸(数字变焦系数:部分图象的放大;和/或欠取样:图象象素数目的减少),
-非线性亮度校正,例如伽玛校正,
-轮廓增强,例如装置P25使用的模糊消去等级,
-检测器和电子单元的噪声,
-光学系统的光圈,
-调焦距离,
-胶片上的帧数,
-曝光不足或曝光过度,
-胶卷或检测器的灵敏度,
-打印机使用的纸类型,
-图象中检测器中心的位置,
-图象相对于检测器的旋转,
-投影仪相对于屏幕的位置,
-使用的白色平衡,
-闪光和/或其电源的激活,
-曝光时间,
-检测器增益,
-压缩,
-对比度,
-装置P25的用户使用的另一个调节,例如操作模式,
-装置P25的另一个自动调节。
可变特征值
现描述可变特征值VCV的概念。可变特征值VCV定义为捕获、修改或恢复指定数字图象INUM时可变特征的值。
可参数化模型
在本发明的意义中,将可参数化模型定义为依从于与一个或者多个装置P25的一个或者多个缺陷有关的可变特征的数学模型。与装置的缺陷P25相关的格式化信息IF可以具有依从于可变特征的可参数化模型的的参数形式。
计算转换图象
结合图1,对本发明的方法和系统的普通实例给予说明。
数字图象INUM包括一组在图象INUM表面规则分布的定义为象素PX-num.1到PX-num.n的图象元素。在图1中,这些象素具有矩形的形状,但是它们也可以具有其他的形状,例如圆形;这取决于在用于图象捕获或者恢复装置中指定用于承载图象的表面的类型。此外,在图1中,示出的象素是连接在一起的,但是实际上象素之间通常存在一定的间隔。
转换图象ITR也包括一组定义为转换象素PXTR.1到PXTR.n的象素。转换象素由转换位置pxtr和转换值vxtr来表示。
转换图象是通过对一图象进行转换而得到的校正的或者改变的图象。这处转换可以是一种几何转换,是通过在计算中结合有考虑到例如所使用的装置的缺陷或者将引入到图象中的特征的情况后的格式化信息而进行的。
需要注意的是,该格式化信息可以涉及有限数量的转换象素和/或可以结合有依从于图象(诸如焦距、调焦、光圈等)的变量特征的值VCV。在这种情况下可以存在一个补充步骤,该补充步骤通过例如插值法执行,采用这种方法可以简化为简单的格式化信息,诸如不具有任何可变特征的装置的信息,这样具有可变焦距的装置的情况可简化为具有固定焦距的装置的情况。
例如函数x′,y′=f(x,y,t),其中t是可变特征,格式化信息可以由有限数目的值(xi,yi,ti,f(xi,yi,ti))组成。因此有必要计算x,y,t的其他值的近似值。根据同样的公式,t可以是一向量并且可以同时包括多个可变特征。在出现失真的情况下,必要时格式化的信息可以由向量组成,采用该向量每点随后的移位可以被表示,或者由一组表示在初始校正阶段所采用的测量点的离散的元素组成,或者任何对应于此离散组的近似的任何函数,采用这种方式以降低格式化信息的大小。
对于格式化信息可以不仅包括与初始阶段使用和设计的装置有关的数据,而且也包括在拍摄时刻能够提供有关装置调节的细节(焦距、调焦、光圈、速度、闪光等)的Exif或者其他格式的所有信息。
数字图象INUM表示,例如一个矩形的图象的捕获。在图1中,以实黑线表示对应于矩形的踪迹的象素。由于捕获装置的失真,该矩形发生失真,如图1中所示的图象INUM。本发明通过在其他因素之间,结合了根据一期望的最终精度的近似的计算CAPP,来获得具有位置pxtr的转换象素的值vxtr并且在转换图象ITR上得到一矩形,其中这些象素的位置和值有效校正到所述的近似范围中。
我们注意到,采用算法CAPP可以在失真的情况下,将失真的图象还原成完美的或者接近完美的图象。此算法也可以将失真的图象还原为另一图象,图象在必要时是发生不同的失真,通过采用这种方式以产生一个与已知类型的图象(白点效果,负失真等)极其相似的图象。此同一算法也可以将失真的图象还原成一种不完美的(在图1所示的直线的意义上)但是对观察者的眼睛是最佳的图象,这样有可能在必要时对人眼感受的几何缺陷进行补偿。
图2a所示为根据本发明的改进的方法和系统的实例。在数字图象和在转换图象中只示出了对此方法和系统的有用的象素。在转换图象中示出了一象素PXTR.i,其值是待被确定的。对应于在转换图象中的转换象素pxtr.i的位置,在数字图象中存在一个位置pxnum.i,该位置是由格式化信息(IF)得到的,在失真的情况中,格式化信息(IF)包括例如必须被加到pxnum.i上的位移向量,以退回到pxtr.i。
本发明包括在图3中所示和说明的不同的步骤。
首先,识别转换图象中的转换象素PXTR.i的位置pxtr.i(步骤ET1)。在后续步骤(ET2)中,如果图象ITR中的位置是已知的,通过表示用于图象捕获和/或恢复的装置的特征的格式化信息IF可从中推断出数字图象INUM的象素块BPNUM.i的位置,该块围绕对应于转换象素PXTR.i的一点的位置pxnum.i。根据图2a的实例,一个象素块包括5×5个象素。
随后的步骤中(步骤ET3),对于象素PXTR.i的转换位置pxtr.i,使用格式化信息来计算对应于象素PXTR.i的数字象素块的点的数字位置pxnum.i。在图2a中可以明显的看出,该点不一定对应于象素块BPNUM.i的象素的中心的位置。因此可以理解象素PXTR.1的转换值不对应于数字象素的值。
在下一步骤(ET4)的过程中,如果已知块BPNUM.i中一点pxnum.i的位置,位于块BPUNM.i中的虚象素的值被计算并且将点pxnum.i作为中心。此虚象素PXFIC具有一个值,该值必须考虑在所述块中围绕点pxnum.i的象素的值,并因此必须考虑在块中此点的位置。根据一简单方法,可以取围绕该点的象素的值的平均值。
也可以通过对每个象素的值分配一个系数,该系数是相对于该点的位置pxnum.i的象素的距离的函数,而取块的象素值的平均值。这等效于对整个象素块取下面的和。
∑vxnum.j×Cj(数字位置pxnum.i)
其中,vxnum.j=块中的象素的值,
Cj=作为该点的位置pxnum.i的函数的象素的系数。
块的每个象素的系数,作为点的位置pxnum.i的函数,可以以不同的方式而计算。第一方法是采用一个解析的表达式,用于计算块的每个象素的系数,例如,作为近似表面的数量级(order)的函数、计算器的精度的函数和块中位置pxnum.i的函数。
一种更加简单的方式是通过量化位置pxnum.i的技术而限制块中的点的可能位置的数目。在这种情况中,将对块中的点的每个可能位置建立一个系数表。对于一个块中的各个位置的不同的量化值,将计算多个系数系列,其中在每个系列中,该块的每个象素有一个系数值。
然后,在上述步骤ET4中,块中的点的位置pxnum.i将被量化,这样将可以获得一列系数,其中块的每个象素具有一个有用的系数。可以充分地用相同象素的值的系列乘以此列系数。
图4所示为这种方法的简图。将点的位置pxnum.i量化为一所述值,其可以采用从a到n的有限数量的值。
对于每个所述点的位置值,可得到一个系数Ca到Cn的表。例如,对于值“a”,表QU1允许访问系数表a1到an。借助于值“a”,例如可以访问表Ca。表Ca包括与象素块BPNUM.i所包括的象素一样多的系数a1到an。这些系数的每一个是根据块中点的位置pxnum.i而计算的,这样来对每个象素值分配一个权重。很容易理解的是在块中距离位置为pxnum.i的点最远的象素具有较小的权重,而最近的象素具有较大的权重。
通过系数的表Ca和块BPNUM.i的象素值组,进行以下运算:
∑(vxnum.j×Cj)
采用这种方式以得到虚象素PXFIC,并且此值将被分配到转换图象ITR的象素pxtr.i。
在一实例中,有可能考虑借助格式化信息由转换象素的位置而得到的点pxnum.i的位置可以由一个整数部分(或者一个第一地址号)以及一个十进制部分(或者一个第二地址号)而表示。作为一个实例,对于上述的地址pxnum.i的量化可以单独地关联到十进制部分。
对于整数部分也可以作为图象INUM中的象素块BPNUM.i的地址,或者更确切地说是此块的定义的象素的地址,例如块的象素PXnum.1。
十进制部分将指定块中点的地址。对于此地址,其有可能对选项号进行量化,以及确定可仅以有限位数表达地址,因此限制了系数表Ca到Cn的数目。例如,如果块中的地址以3位表示,则有必要提供8个系数表Ca到Cn。
因此,即使步骤ET2和ET3执行浮点计算,也可以无须浮点处理器或者运算器而执行本发明的方法,这是由于这些步骤较步骤ET4以更低的频率执行,并且由于有可能对采用任何浮点运算的少数情况进行模拟,使得可以在一拍照装置中嵌入所述算法,例如,当消耗至少可能的电流并且尽可能的运算时。在这种情况中,根据本发明所述的系统包括硬件和/或软件处理装置而无浮点处理器或运算器。
然而,也可以采用与所谓的定点处理器或者运算器(例如:TexasInstruments信号处理处理器TMS320C54XX)相对的所谓的浮点处理器或者运算器(例如:Intel Pentium处理器)。
也可以将上述方法应用于转换图象的所有象素,以便从数字象素的值获知其值。
通过实例的方式,对于此方法的实例,采用了一正方形的数字象素块。然而如图2b、2c和2d所示,此块能够具有任意其他形状(圆形、六边形等)。
现在将对本发明的方法和系统的改进给予说明,其中可以得到更快的处理速度。假设对于每个转换象素,使用格式化信息对数字图象中的点的位置进行计算所花费的时间可以被省去。
图5a所示为计算一转换图象的方法的一替换实施例的实例的组合图。
首先(步骤ET0),在转换图象中选择一定数目的象素,将这些象素定义为初始转换象素。例如,选择四个象素PXINIT.1至PNINIT.4。
将上述方法应用于每个转换象素。这就是为什么图5a显示出与图3相同的步骤ET1到ET4。一旦将步骤ET1到ET4应用于初始转换象素PXINIT.1到PXINIT.4,该系统则查询自身步骤(ET5)以确定是否处理了所有的初始转换象素,该系统准备好进入该方法的下一步骤ET6。在步骤ET5结束时,情况如图5b所示,具有:
-四个转换象素PXINIT.1至4在转换图象ITR中,;
-初始数字象素的四个块BPINIT.1到4在数字图象INUM中,包括点pninit.1到4。在图象INUM中的块BPINIT.1到4的位置是已知的(见方法的步骤ET2)。在其各自块中的点pninit.1到4的位置也是已知的(见方法的步骤ET3)。
现在有必要计算转换图象的任意转换象素PXTR.i的值。在图5c中,此象素PXTR.i位于转换象素之间,但是并不一定如此。
因此,在步骤ET6中,选择一象素PXTR.i并且得到其在转换图象中的位置pxtr。
在步骤ET7中,计算象素PXTR.i相对于转换象素PXINIT.1到4的相对位置。例如,给出有关所有这些象素的位置(px.1、px.2等)的信息,计算出初始转换象素之间的距离11到14,以及象素PXTR.i到初始转换象素PXINIT.1到4的距离d1.1,d1.2,d2.1,...,d4.2。这样象素PXTR.i的位置表示为相对于初始转换象素和/或相对于分离初始转换象素的距离的相对位置。因此可以用距离的百分比来表示此相对位置。也可以以一个双线性的关系形式表示此位置:
(d1.1)(d2.1)(px.4)+(1-d1.1)(d2.1)(px.3)+
(d1.1)(1-d2.1)(px.2)+(1-d1.1)(1-d2.1)(px.1)
或者任何其他高阶的关系。
在步骤ET8中,包括由在数字图象上的转换象素PXTR.i的数学投影而得到的点的数字象素块BPNUM.i位于前面计算的正比关系的基础之上。
在步骤ET9中,采用相同的比例规则,在数字图象上存在在块PBNUM.i中由转换象素PXTR.i的数学投影而得到的确定的位置pxnum.i。
在此步骤中,将使用的比例规则应用到该图象中的点组以计算该时间比使用格式化信息更经济。
如上所述,可以量化点pxnum.i的位置,并且以有限的位数对其进行表达。可以采取与在计算初始转换象素值的过程中所采用的相同的量化基准,因此允许将同样的系数表应用于数字象素块,以得到象素PXFIC的值并且因此得到转换象素PXTR.i的值(步骤ET10)。
需要注意的是:
-可将初始转换象素排列在规则的矩阵中,并且该矩阵间隔可以是2的幂,从而能够受益于处理器的并行指令,特别是Intel的MMS、SSE或者SSE2指令或者AMD的3Dnow指令。
-采用双线性插入,可以定位一象素块(步骤ET8)并且在此设置的象素块(步骤ET9)中定位一点。
根据本发明的一替换实施例,可以假设在多个步骤执行对象素值进行计算的方法,从而减小块尺寸和由计算器所执行的加法和/或乘法最终个数。对于表示本领域的技术人员称为数学可分离的插值运算符的系数Cj的某些值,可以对中间结果运用通用的和/或最佳算法,首先用于一水平几何转换,然后用于一垂直的几何转换,这样理论上将处理块所需的乘法和/或加法的个数降低一倍。
还需要注意的是:
-对转换象素和数字象素的位置的量化,使得可以建立稳定且有限维数的系数表,以便可以使用更小的缓存并且可以在主存中具有更小的带宽。上述情况是可能的,因为步骤ET3和ET10的计算只依赖于象素块中的数字位置。
-系数表可以在系统中构建一次且仅是一次。当然,可以根据不同大小的数字象素块可以有多个不同尺寸的不同类型的系数表。例如,通过改变量化精确度,可以修改处理操作的近似性程度并因此可以修改所得到的转换图象的质量。也可以有多个具有相同大小的系数表,但是其中对于一个数字象素块中一点的相同位置,不同类型的表包含不同值的系数,在实际上对不同类型的不同缺陷(失真、渐晕、模糊等)进行补偿。
-系数表大小的一种有利设置为4×4,但并不一定如此。
-所述系数也可以是那些双三次插值的系数,并且也可以以标量积的形式对步骤ET3和ET10进行计算。
如前所述,通过在有限位数对象素位置进行量化得到处理运算的近似,其产生一转换图象,该转换图象与完全通过数学转换而得到的图象相比显示一差异。在这种条件下,在方法中可以确定通过提供一个选择阈值的步骤而限制这种近似。通过确定量化不低于一指定的阈值,该步骤将具体的涉及对量化阈值进行的选择,以这种方式在象素块中得到一不低于此阈值的一点的多个数字位置。因此可以使得到指定质量的转换图象的计算时间最佳化。
图8示出本发明的改进,采用改进可以节省存储器循环时间,以及处理时间。可以容易地理解,对两个相邻转换象素的值的计算导致使用两个具有共同象素的数字象素块,即将对这些共同象素的值读取两次(根据此实例)。本发明的改变的目标在于避免此双次读取。因此通过对转换象素进行分类从而可以采用一确定的次序对其进行处理。例如,可以确定逐行对转换图象的转换象素进行处理,并且在每行中逐象素地,通过从左至右地跟踪每行。在图8中,例如,可以首先处理象素PXTR.1,然后象素PXTR.2等。
根据在上述内容中所述的对象素PXTR.1的处理导致:
-选择一数字象素块BPNUM1,
-在此象素块中设置一点,
-根据该点的位置和该块的象素值计算转换象素PXTR.1的值。
根据本发明的方法和系统的改进,将象素BPNUM.1的值保存在临时存储器中。对于实际情况,例如可以在缓存中存储这些象素的值。
对象素PXTR.2的处理,例如导致对数字象素块BPNUM.2的选择,其处理与前述所采用的块BPNUM.1共同的象素。由于这些象素的值保存在临时存储器中,系统需要仅对BPNUM.2的象素值进行搜索;在图8中,这些象素是块BPNUM.2的右栏的象素。在对象素PXTR.2进行处理之后,块BPNUM.2的象素值保存于存储器中,从而准备好对下一转换象素,PXTR.3进行处理。
根据本发明的一个替换实施例,也允许仅将两个连续使用的象素块所共有的象素值存储在存储器中。通常,仅将在两个连续使用的象素块中共有的平均数量的象素的值存储在临时存储器中。
上述说明是在失真校正的范围内提供的,但是本发明也适用于对模糊进行校正或者减小,这样可以进行多个图象的转换同时消耗较少的能量和时间。
这种相同的说明也适用于装置链的情况,其中一个或者多个装置可以显示诸如失真的缺陷。通过简单的向量求和可以在失真空间中传输格式化信息的组合,这样可以在单个传送内对装置链的全部缺陷进行处理。
也可以在同一转换中组合多个类型的校正,从而在彩色图象检测器中填充离散的GRB和/或CMYK值,抑制图象的渐晕、增加放大或者变焦距效果、或者透视改变。
图6简要地给出计算步骤(ET4或者ET10),其中对于每个转换象素的值的计算,可以提供补充系数表,采用该表可以进行其他的校正。例如,在图6中,可以在校正失真后,从系数表Ca到Cn计算校正象素值。借助于系数表CA到CN,可以校正其他诸如图象模糊、渐晕等缺陷。如图6所示的上述表之间的相乘,或者任何其他可以组合系数表的运算,使得可以对多个不同类型的校正进行组合,并且因此使处理时间和能量消耗达到得到节约。这种安排使可以有选择地采用一种校正或者另外一种校正,或者如果用户希望的话应用所有的校正。
现在将对本申请有关彩色图象的处理,有关在上述方法和系统的实例进行说明。
可以认为一种彩色图象是来源于多个通道,并且提供多个图象平面或者彩色平面。
如图7所示,一彩色图象被认为是由一红色图象INUMR、一绿色图象INUMV,以及一蓝色图象INUMB组成的。
对于计算转换象素的值的计算步骤,或者如图3的步骤ET3或者图5a的ET9的步骤执行上述方法。因此已知每个图象INUMR、INUMV和INUMB中的数字象素块(BPNUMR、BPNUMV、BPNUMB)的位置,以及在这些块中对应于其值待被计算的转换象素的点的位置。也已知组成块BPNUMR、BPNUMV以及BPNUMB的不同象素的值。
借助于对应于待被计算的转换象素的点的位置,可以获得系数表,诸如图7中的表C1。如上所述,通过对块的象素值与来自系数表的对应系数的乘积的结果进行求和来执行该计算
∑(vxnum.j×Cj)。
对红色图象的块BPNUMR进行此运算,然后对于绿色图象块BPNUMV进行此运算并最后对于蓝色图象块BNUMB进行此运算。这样可以得到转换象素红色、绿色和蓝色分量的值。
通过这种方法和系统,可以节省彩色的时间和能量消耗。因此可以将这种处理运算引入一个数字拍照装置中。也可以考虑将几何转换附加到处理运算。
本发明可应用于处理其中不同彩色或者彩色通道(r,g,b)的数目是不相同的彩色图象。例如,诸如图9a所示的三色图象IMrvb,可以对应于一个红色象素和一个绿色象素,包括两个绿色象素,在通常采用彩色检测器的情况中眼睛对绿色的波长是非常敏感的。此外,从图象的软件处理的角度来看,彩色图象被认为包括与图象中的基本色彩同样多的图象(或者彩色平面)。例如,图9a的图象IMrvb被认为包含三个彩色平面,每种彩色平面可以独立地进行处理,以便得到三种转换图象。此外,有利地可以对于这些转换图象的每个图象的每个象素分配一个值。对应于图9a的彩色图象平面Imr、IMv以及Imb,图9b示出三个转换图象平面ITRr,ITRv以及ITRb。通过采用上述方法,并且通过对于每个转换彩色象素(例如红)取对应数字彩色图象(在所选的中平面Imr)的数字象素块,可以计算不同的转换图象平面的每个象素的值。
此外,通过将本方法和系统应用于彩色图象中,可以将彩色平面的处理进行组合,以节约时间和电能。
特别地,可以在转换彩色图象平面和数字彩色图象平面之间规定应用相同的几何转换,以对例如失真进行补偿。
也可以对不同的彩色平面应用不同的几何转换,以对色差和/或失真进行校正。
需要注意的是,在一个RGB图象中(具有三个通道),可以通过三取一个象素的方式而得到转换图象平面。
在上述说明中,转换图象和数字图象通过几何转换而相互对应。可以将特别地由所采用的装置的固定的和已知的特征而产生的第一指定几何转换与第二几何转换相组合,所述第二几何转换例如是一个可变的转换,该转换是数字图象的函数,并且特别地例如图象捕获条件(例如变焦效果)的函数,因此可以以很小的时间和能量的附加成本在其他采用的实例中应用其他的几何转换,所采用实例中应用的变焦效果、同时将第一几何转换应用于数字图象,并且也可以将可变的几何转换应用于数字图象,所述数字图象已经历过第一几何转换。
具体地,第二几何转换可以是:
-旋转
-90度或者180度的旋转,
-平移,
-变焦效果,
-重定尺度效果,
-远景变化,
-参考帧变化,
-投影,
-由一函数表示的几何转换,使用该函数可以从x和y坐标计算x′坐标和y′坐标,
-恒等式,
-这些实例的组合,
-任何线性的或者非线性的几何转换。
可以为各种目的而对两个几何转换进行组合:
-为了采用第二几何转换,特别地一个变焦效果,同时地对数字图象应用第一几何转换,以在当几何转换与失真相关的情况下,例如可以得到具有与数字图象相同尺寸的转换图象,尽管重定尺寸效果对于得到直边的图象边缘是必要的;
-对链中的多个装置的失真进行组合,从而在一个步骤对其进行校正;
-在该情况中,例如,当数字拍照装置通过采用变焦效果而产生各种尺寸的图象,并且其中几何转换与装置的几何失真有关,采用变焦效果对几何转换的组合可以对失真进行校正;涉及应用于数字图象的处理操作的历史信息对此是有用的。
可以以各种方式对两个几何转换进行组合:
-通过对参数进行的计算,
-通过对数学函数进行的计算,例如在向量场的情况对向量进行加法运算,或者在多项式的情况中对多项式进行组合;该数学函数可以是从坐标x和y计算x′和y′的函数,
-通过在步骤ET2和ET3的处理步骤的每次迭代进行计算;在此情况中,通过采用最佳化算法以采用图5a所示的,可以使第二几何转换应用于初始转换点的额外计算时间非常短。
本发明不仅可应用于任何图象处理的系统,而且也可应用于摄影装置,摄影机,监视相机,webcam型计算机相机等。
可以采用以此方式,即以软件形式或者硬线组件的形式描述的本发明的实例。
图11所示为根据本发明的实例。该系统包括计算装置MC。上述计算装置MC采用根据本发明所述的方法,以从图象INUM由特征变量的值VCV和与几何转换有关的格式化信息IF,特别是涉及装置链P3的失真和/或色差的格式化信息IF计算转换图象ITR。
系统可以包括数据处理装置MTI,特别地用于实施根据本发明的方法,用于:
-量化数字位置,以得到量化的数字位置,和/或
-通过对每个彩色平面进行一种不同的几何转换而对色差进行校正,从而将几何转换与另一几何转换相组合,特别是变焦效果,该效果根据数字图象而变化,
-用当前的数字图象来确定可变特征的值VCV,例如,通过使用以Exif格式所记录在包括数字图象地INUM的文件中的数据,
-对转换位置进行分类。
应用本发明以降低成本
成本降低被定义为用于降低装置链P3的装置P25的成本,特别是装置链或者装置的光学系统的成本,而采用的方法和系统,该方法包括:
-减少透镜的数目,和/或
-简化透镜的形状,和/或
-设计一具有缺陷P5的光学系统,该缺陷大于对装置或者装置链所预期的缺陷,或者从目录中选择相同的光学系统,和/或
-采用降低装置或者装置链的成本而增加缺陷P5的材料,组件,处理操作或者制造方法。
如本发明所述的方法和系统可用于降低装置或者装置链的成本:可以设计一个数字光学系统,以产生与装置链或者装置的缺陷P5相关的格式化信息IF,为使用此格式化信息实现图象处理装置,无论这些装置是否是集成的,以对由装置或者装置链所得来的或者向其发送的图象质量进行修改,采用这种方式采用图象处理装置的装置或者装置链的组合能够以降低的成本捕获、修改或者恢复期望质量的图象。