发明内容 方法
本发明关于用于产生与装置链的装置的缺陷相关的格式化信息的一种方法。该格式化信息被送往图像处理装置、特别是软件,以实现对由该图像处理装置处理的图像的品质的修改。该装置链具体包括至少一个图像捕获装置和/或至少一个恢复装置和/或至少一个观察器。该方法包括产生表征该装置链的装置的缺陷的数据的步骤。该数据在下文中称为格式化信息。
图像捕获装置
装置链包括至少一个图像捕获装置,尤其是扫描仪。在根据本发明的一个优选的实施例中,该方法在此情形中更具体地设计为产生与图像捕获装置的缺陷相关的格式化信息。该方法还包括产生表征图像捕获装置的缺陷、特别是锐度特征的数据的步骤。格式化信息还包括表征图像捕获装置的缺陷的数据。
装置链包括至少一个图像捕获装置。为了产生与图像捕获装置的缺陷、特别是失真特征相关的格式化信息,优选地,根据本发明,该方法包括用于计算格式化信息的第一算法。通过此第一算法,有可能在以下范围内作出一选择:
在一组可参数化变换模型中,
在一组可参数化逆变换模型中,在一组合成的图像中,
在一组参考画面中以及在一组变换的图像中。
该选择基于:
参考画面,和/或
变换的图像,和/或
可参数化变换模型,使用所述变换模型可将参考图像变换为变换的图像,其中,所述参考图像是通过使用图像捕获装置捕获参考画面而得到的,和/或
可参数化逆变换模型,使用所述逆变换模型可使变换的图像变换为参考图像,和/或
合成的图像,其从参考画面获得和/或从参考图像获得。
该选择以这样一种方式来进行,使得变换的图像接近于与合成的图像。变换的图像与合成的图像相比表现出偏差。
格式化信息至少部分地由所选择的可参数化变换模型的参数和/或由所选择的可参数化逆变换模型的参数组成。
优选地,根据本发明,有可能通过第一计算算法在一组数学投影中选择一个数学投影,使用所述数学投影,可从参考画面来构建合成图像。
该装置链包括至少一个图像捕获装置。优选地,根据本发明的另一个可替选的实施例,为了产生与图像捕获装置的缺陷、特别是失真特征相关的格式化信息,该方法包括用于计算格式化信息的第二算法。第二算法包括以下步骤:
选择至少一个参考画面,
使用图像捕获装置捕获每个参考画面的至少一个参考图像。
第二算法还包括在一组可参数化的变换模型中以及在一组合成的图像中选择以下内容的步骤:
可参数化的变换模型,使用所述变换模型可将参考图像变换为变换的图像,和/或
合成的图像,其从参考画面获得和/或从参考图像获得,
使得合成的图像接近于变换的图像。变换的图像同合成的图像相比表现出偏差。格式化信息至少部分地由所选择的可参数化变换模型的参数和/或由可参数化逆变换模型的参数组成。通过使用可参数化逆变换模型,该变换的图像可以变换为参考图像。
优选地,根据本发明,有可能通过使用第二计算算法,在一组数学投影中选择一个数学投影,通过所述数学投影,可以从参考画面来构建合成的图像。
优选地,根据本发明,该方法包括用于计算偏差的第三算法。用于计算偏差的此第三算法包括以下步骤:
计算变换的图像和合成的图像之间的偏差,
使偏差与格式化信息相关联。
装置链包括至少一个图像捕获装置。图像或者多个图像是画面、特别是由用户借助于图像捕获装置捕获的动态画面的图像。优选地,根据本发明的这另一可替选的实施例,为了产生与图像捕获装置的缺陷、特别是失真特征相关的格式化的信息,该方法包括用于计算格式化信息的第四算法。此第四算法包括以下步骤:
由至少一个参考画面到一表面上的指定的数学投影构建合成图像类,
使用图像捕获装置捕获至少一个参考画面的至少一个参考图像,
在一组可参数化的变换模型中选择可用来使参考图像被变换为与参考画面的合成图像类接近的变换的图像的可参数化变换模型。
变换的图像与合成图像类相比较表现出偏差。格式化信息至少部分地由所选可参数化的变换模型的参数所组成。
优选地,根据本发明,该方法包括用于计算偏差的第五算法。该第五算法包括以下步骤:
计算该变换的图像与合成图像类之间的偏差,
使偏差与格式化信息相关联。
可变焦距-图像捕获装置
装置链的图像捕获装置具有至少一个依赖于图像的可变特征,特别是焦距和/或光圈。格式化信息的一小部分与具有一个或多个可变特征的图像捕获装置的缺陷相关。每个可变特征可以与一个值相关联,以形成一个组合,其由该组可变特征和值组成。优选地,在此情形中,根据本发明,该方法还包括为上述组合的一预定的选择产生上述小部分格式化信息的步骤。在上述小部分格式化信息中以此方式捕获的格式化信息被输入到格式化信息的域中。此格式化信息在下文中称为测得的格式化信息。
优选地,根据本发明,该方法包括从测得的格式化信息获得与一任意组合相关的小部分格式化信息的步骤。与一任意组合相关的该小部分格式化信息在下文中称为扩展格式化信息。
格式化信息可以包括扩展格式化信息,其不是且代替测得的格式化信息。
测得的格式化信息和上述扩展格式化信息可能显示出插入偏差。优选地,根据本发明,该方法还包括选择零个或者一个或者多个可变特征的步骤,以这样一种方式,使得针对以此方式选择的可变特征所获得的用于扩展格式化信息的插入偏差低于预定的插入阈值。对技术特征的组合得到:对图像品质的修改采用简单的计算。对技术特征的组合还得到:扩展格式化信息是简洁的。对技术特征的组合还得到:被消除的可变特征对于缺陷的影响最小。
图像恢复装置
装置链可以包括至少一个图像恢复装置、特别是打印机或者可视显示屏。该方法还设计成向图像处理装置、特别是软件提供与图像恢复装置的缺陷相关的格式化信息。优选地,在此情形中,根据本发明,该方法还包括产生表征图像恢复装置的缺陷、特别是失真特征的数据的步骤。格式化信息还包括表征恢复装置的缺陷的数据。
装置链包括至少一个图像恢复装置。优选地,根据本发明,为了产生与该图像恢复装置的缺陷、特别是失真特征相关的格式化的信息,该方法包括用于计算格式化信息的第六算法。通过该第六算法,可以在以下范围内作出选择:
在一组可参数化的恢复变换模型中,
在一组可参数化的逆恢复变换模型中,
在一组数学恢复投影中,
在一组恢复参考中以及在一组校正的参考恢复图像中。
由此第六算法进行的选择基于:
恢复参考,和/或
校正的参考恢复图像,和/或
可参数化的恢复变换模型,使用该变换模型可以将恢复参考变换为校正的参考恢复图像,和/或
可参数化的逆恢复变换模型,使用该变换模型可将校正的参考恢复图像变换为恢复参考,和/或
数学恢复投影,使用该数学恢复投影可以从修正的参考恢复图像构建合成的恢复图像。
由此第六算法所作的选择通过这样一种方式,使得合成的恢复图像接近于恢复的参考,其通过使用图像恢复装置对恢复参考进行恢复而获得。恢复的参考同合成的恢复图像相比表现了恢复偏差。格式化信息至少部分地由所选择的可参数化恢复变换模型的参数和/或所选择的可参数化逆恢复变换模型的参数组成。
装置链包括至少一个图像恢复装置。优选地,在此情形中,根据本发明的一可替选的实施例,为了产生与图像恢复装置的缺陷、特别是失真特征相关的格式化信息,该方法包括用于计算格式化信息的第七算法。第七算法包括以下步骤:
选择至少一个恢复参考,
使用图像恢复装置将恢复参考恢复为恢复的参考。
通过使用此第七算法,还有可能在一组可参数化的恢复变换模型中以及在一组数学恢复投影中选择:
可参数化的恢复变换模型,通过它可将恢复参考变换为校正的参考恢复图像,以及
数学恢复投影,通过它可以从校正的参考恢复图像构建合成的恢复图像。
第七算法以这样一种方式进行选择,使得合成的恢复图像接近于恢复的参考。恢复的参考与合成的恢复图像相比表现出恢复偏差。格式化信息至少部分地由所选择的可参数化的恢复变换模型的参数和/或由可参数化的逆恢复变换模型的参数组成。使用可参数化的逆恢复变换模型,有可能将校正的参考恢复图像变换为恢复参考。
装置链包括至少一个图像恢复装置。优选地,根据本发明的其它可替选的实施例,为了产生与图像恢复装置的缺陷、特别是失真特征相关的格式化信息,该方法包括用于计算格式化信息的第八算法。该第八算法包括选择校正的参考恢复图像的步骤。该第八算法还包括在一组可参数化的恢复变换模型中、在一组数学恢复投影中以及在一组恢复参考中作出选择的步骤。此选择基于:
恢复参考,和/或
可参数化的恢复变换模型,通过它可以将恢复参考变换为校正的参考恢复图像,和/或
可参数化的逆恢复变换模型,通过它可以将校正的参考恢复图像变换为恢复参考,和/或
数学恢复投影,通过它可以从校正的参考恢复图像构建合成的恢复图像。
第八算法通过这样一种方式进行此选择,使得合成的恢复图像接近于恢复的参考,所述恢复的参考通过使用图像恢复装置对恢复参考进行恢复而获得。恢复的参考同合成的恢复图像相比表现出恢复偏差。格式化信息至少部分地由所选择的可参数化恢复变换模型的参数和/或所选择的可参数化逆恢复变换模型的参数组成。
优选地,根据本发明,该方法包括用于计算恢复偏差的第九算法。此第九算法包括以下步骤:
计算恢复的参考和合成的恢复图像之间的恢复偏差,
使恢复偏差同上述格式化信息相关联。
技术特征的组合得到,例如在该装置的制作过程中,有可能自动地验证该方法在可接受的公差范围内产生了格式化信息。
可变焦距-图像恢复装置
装置链的图像恢复装置可以具有至少一个依从于该图像的可变恢复特征,特别是焦距和/或光圈。格式化信息的一小部分与具有一个或多个可变恢复特征的图像恢复装置的缺陷相关。每个可变恢复特征可以与一个值相关,以形成一个恢复组合,其由该组可变恢复特征和值组成。优选地,在此情形中,根据本发明,该方法还包括产生上述小部分格式化信息以用于上述恢复组合的预定的选择的步骤。在上述小部分格式化信息中以此方式获得并被输入到格式化信息的域中的格式化信息在下文中称为测得的格式化恢复信息。
优选地,根据本发明,该方法包括从测得的格式化恢复信息获得与一任意组合相关的所述小部分格式化信息的步骤。与一任意恢复组合相关的小部分格式化信息在下文中称为扩展格式化恢复信息。
格式化信息可以包括扩展格式化恢复信息,其不是且代替测得的格式化恢复信息。
测得的格式化恢复信息和上述扩展格式化恢复信息可表现出恢复插入偏差。优选地,在此情形中,根据本发明,该方法还包括选择零个或者一个或者多个可变恢复特征的步骤,以这样一种方式,使得针对以此方式选择的可变恢复特征所获得的用于扩展格式化恢复信息的恢复插入偏差低于预定的恢复插入阈值。技术特征的组合得到:图像品质的修改采用简单的计算。技术特征的组合还得到:扩展格式化恢复信息是简洁的。技术特征的组合还得到:被消除的可变恢复特征对缺陷的影响最小。
优选地,根据本发明,恢复装置相关联于图像捕获装置,以便以数字形式从恢复参考恢复恢复的参考。该方法使得为了产生与恢复装置的缺陷相关的格式化信息,使用与图像捕获装置相关的格式化信息,所述图像捕获装置与恢复装置相关联。
装置链包括至少两个装置。优选地,在此情形中,根据本发明,为了产生与装置链的装置的缺陷相关的格式化信息,该方法还包括以下步骤:
产生与装置链中的每个装置相关的格式化信息的步骤,
将与装置链的每个装置相关的格式化信息组合的步骤,以便获得与装置链相关的格式化信息。
系统
本发明关于一种用于产生与装置链的装置的缺陷相关的格式化信息的系统。格式化信息被送往图像处理装置、特别是软件,用于修改由图像处理装置处理的图像的品质。装置链具体包括至少一个图像捕获装置和/或至少一个恢复装置和/或至少一个观察器。该系统包括数据处理装置,用于产生表征装置链的装置的缺陷的数据。该数据在下文中称为格式化信息。
图像捕获装置
装置链包括至少一个图像捕获装置、特别是扫描仪。优选地,在此情形中,根据本发明,该系统更具体地设计成产生与图像捕获装置的缺陷相关的格式化信息。该系统包括数据处理装置,用于产生表征图像捕获装置的缺陷、特别是锐度特征的数据。格式化信息还包括表征图像捕获装置的缺陷的数据。
装置链包括至少一个图像捕获装置。优选地,根据本发明,为了产生与图像捕获装置的缺陷、特别是失真特征相关的格式化信息,数据处理装置能够采用用于计算格式化信息的第一算法。通过采用上述第一计算算法的数据处理装置,有可能在一组可参数化的变换模型中、在一组可参数化的逆变换模型中、在一组合成的图像中、在一组参考画面中以及在一组变换的图像中作出一选择。
该选择基于:
参考画面,和/或
变换的图像,和/或
可参数化的变换模型,使用它可将通过借助于图像捕获装置捕获参考画面而得到的参考图像变换为变换的图像,和/或
可参数化的逆变换模型,使用它可将变换的图像变换为参考图像,和/或
从参考画面获得的和/或从参考图像获得的合成的图像。
数据处理装置以这样一种方式作出此选择,使得变换的图像接近于合成的图像。变换的图像与合成的图像相比表现出偏差。格式化信息至少部分地由所选择的可参数化的变换模型的参数和/或由所选择的可参数化的逆变换模型的参数组成。
优选地,根据本发明,采用第一计算算法的数据处理装置包括计算装置,用于在一组数学投影中选择一个数学投影,使用该数学投影可以从该参考画面构建合成的图像。
装置链包括至少一个图像捕获装置。优选地,根据本发明的一个可替选的实施例,为了产生与图像捕获装置的缺陷、尤其是失真特征相关的格式化信息,数据处理装置采用用于计算格式化信息的第二算法。采用第二计算算法的数据处理装置包括计算装置,用于选择至少一个参考画面。通过使用图像捕获装置,有可能捕获每个参考画面的至少一个参考图像。使用计算装置还有可能在一组可参数化的变换模型中以及在一组合成的图像中选择:
可参数化的变换模型,使用它可将参考图像变换为变换的图像,和/或
合成的图像,其从参考画面获得和/或从参考图像获得。
计算装置以这样一种方式作出此选择,使得合成的图像接近于变换的图像。变换的图像与合成的图像相比表现出偏差。格式化信息至少部分地由所选择的可参数化的变换模型的参数和/或由所选择的可参数化的逆变换模型的参数组成。通过使用可参数化的逆变换模型,变换的图像可以变换为参考图像。
优选地,根据本发明,可用来采用第二计算算法的计算装置包括特定的计算装置,用于在一组数学投影中选择一个数学投影,使用该数学投影可以从参考画面构建合成的图像。
优选地,根据本发明,数据处理装置能够采用第三算法来计算偏差。为了此目的,数据处理装置包括计算装置,其适用于:
计算变换的图像和合成的图像之间的偏差,
使偏差与上述格式化信息相关联。
优选地,根据本发明的另一可替选的实施例,该系统使得为了计算与装置链的图像捕获装置相关的格式化信息,其还使用至少一个参考画面。该图像捕获装置为每个参考画面构建了参考图像。为了计算相对于图像捕获装置的格式化信息,该系统还包括计算和处理装置,以用于:
由至少一个参考画面到一表面上的指定的数学投影来构建合成的图像类,
在一组可参数化的变换模型中选择可用来将参考图像变换为变换的图像的变换模型,所述变换的图像接近于参考画面的合成图像类。
该变换的图像与合成图像类相比表现出偏差。格式化信息至少部分地由所选择的可参数化的变换模型的参数组成。
优选地,根据本发明,该系统包括计算装置,用于:
计算变换的图像和合成图像类之间的偏差,
使偏差与上述格式化信息相关联。
可变的焦距-图像捕获装置
优选地,根据本发明,该系统使得装置链的图像捕获装置具有依赖于图像的至少一个可变特征,特别是焦距和/或光圈。格式化信息的一小部分与具有该一个或多个可变特征的图像捕获装置的缺陷相关。每个可变特征可以与一个值相关,以形成一个组合,其由该组可变特征和值组成。该系统还包括数据处理装置,用于为上述组合的预定的选择产生上述小部分格式化信息。在上述小部分格式化信息中以此方式获得并被输入到格式化信息的域中的格式化信息在下文中称为测得的格式化信息。
优选地,根据本发明,数据处理装置能够从测得的格式化信息获得与一任意组合相关的所述小部分格式化信息。与一任意组合相关的小部分格式化信息在下文中称为扩展格式化信息。
格式化信息可以包括扩展格式化信息,不是且代替测得的格式化信息。
测得的格式化信息以及上述扩展格式化信息表现出插入偏差。优选地,根据本发明,该系统还包括选择装置,用于选择零个或者一个或者多个可变特征,以这样一种方式,使得针对以此方式选择的可变特征所获得的用于扩展格式化信息的插入偏差低于预定的插入阈值。
图像恢复装置
该装置链可以包括至少一个图像恢复装置,尤其是打印机或者可视显示屏。该系统设计成向图像处理装置、特别是软件提供与图像恢复装置的缺陷相关的格式化信息。优选地,在此情形中,根据本发明,该系统还包括数据处理装置,用于产生表征图像恢复装置的缺陷、尤其是失真特征的数据。格式化信息还包括表征恢复装置的缺陷的数据。
优选地,在装置链包括至少一个图像恢复装置的情形下,为了产生与图像恢复装置的缺陷、尤其是失真特征相关的格式化信息,该系统包括用于在以下范围内进行选择的计算装置:
在一组可参数化的恢复变换模型中,
在一组可参数化的逆恢复变换模型中,
在一组数学恢复投影中,
在一组恢复参考中以及在一组校正的参考恢复图像中。
由计算装置作出的选择是基于:
恢复参考,和/或
校正的参考恢复图像,和/或
可参数化的恢复变换模型,使用它可将恢复参考变换为校正的参考恢复图像,和/或
可参数化的逆恢复变换模型,使用它可将校正的参考恢复图像变换为恢复参考,和/或
数学恢复投影,使用它可以从校正的参考恢复图像构建合成的恢复图像。
计算装置以这样一种方式作出此选择,使得合成的恢复图像接近于恢复的参考,其通过使用图像恢复装置对恢复参考进行恢复而得到。该恢复的参考与合成的恢复图像相比表现出恢复偏差。格式化信息至少部分地由所选择的可参数化恢复变换模型的参数和/或由所选择的可参数化逆恢复变换模型的参数组成。
装置链可以包括至少一个图像恢复装置。优选地,在根据本发明的此可替选的实施例的情形下,为了产生与图像恢复装置的缺陷、特别是失真特征相关的格式化信息,该系统包括用于选择至少一个恢复参考的计算装置。通过使用图像恢复装置,有可能将恢复参考恢复为恢复的参考。通过使用计算装置还有可能在一组可参数化的恢复变换模型以及一组数学恢复投影中选择:
可参数化的恢复变换模型,使用它可使恢复参考变换为校正的参考恢复图像,以及
数学恢复投影,使用它可以从校正的参考恢复图像构建合成的恢复图像。
计算装置以这样一种方式作出此选择,使得合成的恢复图像接近于恢复的参考。恢复的参考同合成的恢复图像相比表现出恢复偏差。格式化信息至少部分地由所选择的可参数化的恢复变换模型的参数和/或由所选择的可参数化的逆恢复变换模型的参数组成。使用可参数化的逆恢复变换模型,有可能将校正的参考恢复图像变换为恢复参考。
装置链包括至少一个图像恢复装置。优选地,在根据本发明的此可替选的实施例的情形下,为了产生与图像恢复装置的缺陷、特别是失真特征相关的格式化信息,该系统包括计算装置,用于选择校正的参考恢复图像。通过使用计算装置,还有可能在一组可参数化的恢复变换模型中,在一组数学恢复投影中,以及在一组恢复参考中选择:
可参数化的恢复变换模型,使用它可将特定的恢复参考变换为校正的参考恢复图像,和/或
可参数化的逆恢复变换模型,使用它可将校正的参考恢复图像变换为恢复参考,和/或
数学恢复投影,使用它可以从校正的参考恢复图像构建合成的恢复图像。
计算装置以这样一种方式进行此选择,使得合成的恢复图像接近于恢复的参考,其通过使用图像恢复装置对恢复参考进行恢复而得到。恢复的参考与合成的恢复图像相比表现出恢复偏差。格式化信息至少部分地由所选择的可参数化恢复变换模型的参数和/或由所选择的可参数化逆恢复变换模型的参数组成。
优选地,根据本发明,该系统包括计算装置,用于:
计算恢复的参考和合成的恢复图像之间的恢复偏差,
使恢复偏差与上述格式化信息相关联。
可变焦距-图像恢复装置
装置链的图像恢复装置可以具有至少一个依从于图像的可变恢复特征、特别是焦距和/或光圈。格式化信息的一小部分与具有该一个或多个可变恢复特征的图像恢复装置的缺陷相关。每个可变恢复特征可以与一个值相关,以形成一个恢复组合,其由该组可变恢复特征和值组成。优选地,在根据本发明的此可替选的实施例的情形下,该系统在此情形下还包括数据处理装置,用于为恢复组合的预定选择产生所述小部分格式化信息。以此方式在该小部分中获得并输入到格式化信息的域中的格式化信息在下文中称为测得的格式化恢复信息。
优选地,根据本发明,该系统包括数据处理装置,用于根据测得的格式化恢复信息获得与一任意的组合相关的小部分格式化信息。构成与一任意的恢复组合相关的小部分格式化信息的的格式化信息在下文中被称为扩展格式化恢复信息。
该格式化信息可以包括扩展格式化恢复信息,其不是且代替测得的格式化恢复信息。
该测得的格式化恢复信息和上述扩展格式化恢复信息显示出插入偏差。优选地,在此情形中,根据本发明,该系统还包括选择装置,用于选择零个或者一个或者多个可变的恢复特征,以这样一种方式,使得针对以此方式选择的可变恢复特征所获得的用于扩展格式化恢复信息的恢复插入偏差低于预定的恢复插入阈值。
根据本发明的一个可替选的实施例,该恢复装置与一个图像捕获装置相关联,以便以数字形式根据恢复参考恢复恢复的参考。优选地,在此情形中,该系统包括数据处理装置,其用于产生与恢复装置的缺陷相关的格式化信息,方法是使用相关于图像捕获装置的格式化信息,该图像捕获装置与恢复装置相关联。
装置链可以包括至少两个装置。优选地,在本发明的此可替选实施例的情形中,为了产生相关于装置链的装置的缺陷的格式化信息,该系统还包括数据处理装置,用于产生与装置链的每个装置相关的格式化信息,并且用于组合与装置链的每个装置相关的格式化信息,以这样一种方式以便获得与装置链相关的格式化信息。
具体实施方式
图1示出了画面3,其包括物体107、传感器101以及传感器表面110、光学中心111、传感器表面110上的观察点105、穿过观察点105的观察方向106、光学中心111、画面3、以及与传感器表面110几何相关联的表面10。
图2示出了图像103,图像恢复装置19以及在恢复介质190上获得的恢复的图像191。
图3示出了画面3,图像捕获装置1以及由像素104组成的图像103。
图4a和4b示出了参考画面9的两个可替选版本。
图5示出了一组织图,其采用了画面3、给出画面3的数学图像70的数学投影8、给出了画面3的图像103以用于所使用的特征74的实际投影72、给出图像103的校正的图像71的可参数化变换模型12,该校正的图像71与数学图像70相比表现出差异73。
图6示出组织图,其采用了图像103、给出了图像103的恢复的图像191以用于所使用的恢复特征95的实际恢复投影90、给出图像103的校正的恢复图像94的可参数化恢复变换模型97、数学恢复投影96,其给出校正的恢复图像94的数学恢复图像92并且与恢复的图像191相比表现出恢复差异93。
图7示出一系统,其包括图像捕获装置1,其由光学系统100、传感器101以及电子单元102组成。图7也示出了包括图像103的存储区16、包括格式化信息15的数据库22、以及用于将由图像103和格式化信息15组成的完整的图像120传输到包含图像处理软件4的计算装置17的装置18。
图8示出了由域91组成的格式化信息15。
图9a到9d示出了数学图像70,图像103,与该图像的对应点的实际位置50和实际形状51相比较的一点的数学位置40和一点的数学形状41。
图10示出了特征点的阵列80。
图11示出了一组织图,其采用图像103、所用的特征74、以及特征的数据库22。格式化信息15是从特征74获得的,特征74被使用并存储在数据库22中。完整的图像120是从图像103和格式化信息15获得的。
图12示出了一组织图,其采用了参考画面9、给出了参考画面9的合成图像类7的数学投影8、以及给出了参考画面9的参考图像11以用于所使用的特征74的实际投影72。此组织图也采用了可参数化变换模型12,其给出了参考图像11的变换的图像13。变换的图像13与合成图像类7相比表现出偏差14。
图17示出了一组织图,其采用了恢复参考209、给出了上述恢复参考209的恢复的参考211以用于所使用的恢复特征95的实际的恢复投影90、给出上述恢复参考209的校正的参考恢复图像213的可参数化的恢复变换模型97、根据上述校正的参考恢复图像213产生上述恢复参考209的可参数化的逆恢复变换模型297。此组织图还采用数学恢复投影96,其给出了校正的参考恢复图像213的合成的恢复图像307。上述合成的恢复图像307同恢复的参考211相比表现出恢复偏差214。
定义和详细描述
通过阅读以下内容,本发明的其它特征和优点将变得明显:
-下文阐述的对所采用的技术术语的定义,这些定义参考图1至图17的实例,这些实例是指示性的而不是限制性的,
图1至图17的描述。
画面
画面3定义为三维空间中的一个地点,包含被光源照亮的物体107。
图像捕获装置,图像,图像捕获
参考图3至图7,现描述何谓图像捕获装置1和图像103。图像捕获装置1定义为由光学系统100、一个或多个传感器101、电子单元102和存储区16构成的装置。通过所述图像捕获装置1,有可能从画面3获得记录在存储区16中或被传输到一外部设备的静止的或动画的数字图像103。动画图像由按时间排列的静止图像序列103构成。所述图像捕获装置1的具体形式可以是摄影装置、摄像机、与PC相连或集成在其中的相机、与个人数字助理相连或集成在其中的相机、与电话相连或集成在其中的相机、视频会议装置、测量相机、或对可见光以外的波长敏感的装置,如热相机。
图像捕获定义为图像捕获装置1用来计算图像103的方法。
在装置配备有多个可互换子组件的情况下,特别是在光学系统100中,图像捕获装置1定义为装置的一种特殊配置。
图像恢复装置,恢复的图像,图像恢复
参考图2,现描述何谓图像恢复装置19。这样的图像恢复装置19的具体形式可以是可视的显示器屏幕、电视屏幕、平面屏幕、投影仪、虚拟现实护目镜以及打印机。
这样的图像恢复装置19由以下组成:
-电子单元,
-一个或多个光源、电子源或墨源,
-一个或多个调节器:用于调制光、电子或墨的设备,
-调焦设备,其具体形式在光投影仪的情形中可以是一光学系统,在CRT屏幕的情形中是电子束调焦线圈,在平面屏幕的情形中是滤光器,
-恢复介质190,其具体形式在CRT屏幕、平面银幕或投影仪的情形中是屏幕,在打印机的情形中是在其上进行打印的打印介质,在虚拟图像投影仪的情形中是空间中的虚拟表面。
通过使用所述图像恢复装置19,有可能从图像103获得恢复介质190上的恢复的图像191。
动画图像由按时间排列的静止图像序列组成。
图像恢复定义为图像恢复装置19用来显示或打印图像的方法。
在恢复装置19配备有多个可互换子组件或可以彼此相对移动的子组件,特别是在恢复介质190的情况下,图像恢复装置19定义为一种特殊配置。
传感器表面,光学中心,焦距
参考图1,现描述传感器表面110的定义。
传感器表面110定义为在图像捕获的时刻,图像捕获装置1的传感器101的敏感表面绘画的空间形状。该表面通常是平面。
光学中心111定义为在图像捕获的时刻,空间中与图像103关联的一个点。在传感器表面110为平面的情况下,焦距定义为该点111与平面110之间的距离。
像素,像素值,曝光时间
参考图3,现描述像素104和像素值的定义。
像素104定义为通过创建上述传感器表面110的通常规则的网格获得的传感器表面110的单元区。像素值定义为与该像素104关联的一个数字。
图像捕获定义为确定每个像素104的值。这些值的组构成图像103。
在图像捕获期间,像素值是通过以下方法获得的:在像素104的表面上,在定义为曝光时间的一段时间期间,对源自画面3经由光学系统100的部分光通量进行积分,并将该积分的结果转换为一数字值。对光通量的积分和/或将该积分结果转换为一数字值是通过电子单元102完成的。
像素值概念的该定义可应用于黑白或彩色图像103的情况,不管它们是静止的还是动画的。
但是,随具体情况的不同,也可通过以下不同方式获得当前讨论的部分光通量:
a)在彩色图像103的情况下,传感器表面110通常由多种类型的像素104构成,所述多种类型的像素104分别与不同波长的光通量相关联,例如红、绿和蓝像素。
b)在彩色图像103的情况下,也可能有并排设置的多个传感器101,每一个接收部分光通量。
c)在彩色图像103的情况下,使用的颜色可能不同于红色、绿色和蓝色,例如对于北美NTSC电视,并且可能不止三种颜色。
d)最后,在隔行电视扫描相机的情况下,产生的动画图像由包含偶数行的图像103和包含奇数行的图像103交替构成。
所用配置,所用调节,所用特征
所用配置定义为如光学系统100的图像捕获装置1的可移动子组件的列表,光学系统100安装在图像捕获装置1上,如果其为可互换的。所用配置具体由以下特征来表征:
-光学系统100的类型,
-光学系统100的序列号或其它标志。
所用调节定义为:
-以上定义的所用配置,以及
-在所用配置中可得到的并且影响图像103内容的手工或自动调节的值。这些调节可以由用户进行,特别是通过按钮的方式,或可以由图像捕获装置1计算得到。这些调节可以存储在装置中,特别是存储在一可移动介质上,或是存储在连接到装置的任何设备上。这些调节可以具体包括调焦调节,对光学系统100的光圈和焦距的调节,曝光时间调节,白色平衡调节,以及合成图像处理调节,如数字变焦,压缩和对比度。
所用特征74或所用特征组74定义为:
a)涉及图像捕获装置1的固有技术特征的参数,所述参数是在图像捕获装置1的设计步骤期间确定的。例如,这些参数可以包括所用配置的光学系统100的公式,该公式影响所捕获图像的几何缺陷和锐度;所用配置的光学系统100的公式具体包括光学系统100中透镜的形状,排列和材料。
这些参数还可以包括:
-传感器101的几何特征,也就是传感器表面110以及在这个表面上像素104的形状和相对排列,
-电子单元102产生的噪声,
-用于从光通量到像素值的转换的方程。
b)与图像捕获装置1的固有技术特征关联的参数,所述参数是在图像捕获装置1的制造步骤确定的,具体包括:
所用配置的光学系统100中透镜的精确定位,
-光学系统100相对于传感器101的精确定位。
c)与图像捕获装置1的技术特征关联的参数,所述参数是在捕获图像103的时刻确定的,具体包括:
-传感器表面110相对于画面3的位置和取向,
-所用调节,
-外部因素,如温度,如果它们具有影响。
d)用户的优先选择,特别是图像恢复所用的色温。例如,用户通过按按钮选择的这些优先选择。
观测点,观测方向
参考图1,现给出观测点105和观测方向106的定义。
数学表面10定义为与传感器表面110几何相关联的表面。例如,如果传感器表面是平面,则数学表面10就有可能与传感器表面重合。
观测方向106定义为穿过画面3中至少一点并穿过光学中心111的直线。观测点105定义为观测方向106与表面10的交叉点。
观测颜色,观测强度
参考图1,现描述观测颜色和观测强度的定义。观测颜色定义为由给定瞬间的所述画面3沿着所述观测方向106发射、透射或反射的,并从所述观测点105观测到的光的颜色。观测强度定义为由所述画面3在同一瞬间沿着所述观测方向106发射的,并从所述观测点105观测到的光的强度。
颜色具体地可以用为波长的函数的光强度来表征,或者也可以由如用色度计测量的两个值来表征。强度可以用如用光度计测量的值来表征。
所述观测颜色和所述观测强度具体取决于物体107在画面3中的相对位置,当前的照明源,以及观测时物体107的透明度和反射特征。
数学投影,数学图像,数学点,点的数学颜色,
点的数学强度,点的数学形状,点的数学位置
具体参考图1,5,9a,9b,9c和9d,现描述以下概念:数学投影8、数学图像70、数学点、点的数学颜色、点的数学强度、点的数学形状41以及点的数学位置40。
参考图5,现描述如何由至少一个画面3的指定的数学投影8在数学表面10上构造数学图像70。
首先描述指定数学投影8的概念。
指定的数学投影8使数学图像70与下述各项相关联:
捕获图像103时的画面3,
以及所用特征74。
指定的数学投影8是一种变换,用来由捕获图像时的画面3和所用特征74确定数学图像70的每个点的特征。
优选地,数学投影8使用以下方式定义:
点的数学位置40定义为观测点105在数学表面10上的位置。
点的数学形状41定义为观测点105的几何的点状的形状。
点的数学颜色定义为观测颜色。
点的数学强度定义为观测强度。
数学点定义为所考虑的观测点105的数学位置40、数学形状41、数学颜色和数学强度的关联。数学图像70由所述数学点的组构成。
画面3的数学投影8是数学图像70。
实际投影,实际点,点的实际颜色,
点的实际强度,点的实际形状,点的实际位置
参考图3、5、9a、9b、9c和9d,现描述以下概念:实际投影72、实际点、点的实际颜色、点的实际强度、点的实际形状51以及点的实际位置50。
在图像捕获过程中,图像捕获装置1将画面3的图像103与所用特征74相关联。源自画面3、沿着观测方向106的光穿过光学系统100,到达传感器表面110。
对于所述观测方向,则获得所定义的实际点,其与数学点相比存在差异。
参考图9a到9d,现描述实际点与数学点之间的差异。
与所述观测方向106关联的实际形状51不是传感器表面上的点,但它在三维空间中具有云的形状,在该三维空间中与一个或多个像素104相交。引起这些差异的具体原因是:图像捕获装置1的慧差、球差、散光、聚集到像素104中、色差、场深度、衍射、寄生反射以及场曲率。它们产生图像103模糊或者缺乏锐度的印象。
此外,与所述观测方向106关联的实际位置50与点的数学位置40相比存在差异。引起这个差异的具体原因是几何失真,这产生变形的印象:例如,竖直的墙看上去弯曲了。还有一个事实引起这个差异:像素104的数目有限,因此实际位置50只能具有有限数目的值。
此外,与所述观测方向106关联的实际强度与点的数学强度相比存在差异。引起这些差异的具体原因是伽马和虚光:例如,图像103的边缘看起来更暗。另外,信号中可能会加有噪声。
最后,与所述观测方向106相关联的实际颜色与点的数学颜色相比存在差异。引起这些差异的原因是伽马和色偏。另外,信号中可能会加有噪声。
实际点定义为所考虑的观测方向106的实际位置50、实际形状51、实际颜色和实际强度的关联。
画面3的实际投影72由实际点的组组成。
可参数化变换模型,参数,校正图像
可参数化变换模型12(或简称为可参数化变换12)定义为可通过图像103和参数值得到校正图像71的数学变换。如下文所述,所述参数可以具体通过所用特征74计算得出。
通过所述可参数化变换12,对于图像103的每个实际点,有可能通过参数值、通过所述实际点的实际位置以及通过图像103的像素值,确定所述实际点的校正位置、所述实际点的校正颜色、所述实际点的校正强度以及所述实际点的校正形状。例如,可以通过作为实际位置函数的固定次数多项式来计算校正位置,多项式的系数依赖于所述参数的值。例如,校正颜色和校正强度可以是像素的值的加权和,所述系数由参数值以及实际位置决定,或者也可以是图像103的像素的值的非线性函数。
可参数化逆变换模型212(或简称为可参数化逆变换212)定义为可通过校正图像71和参数值得到图像103的数学变换。如下文所述,所述参数可以具体通过如下所述的所用特征74来计算。
通过所述可参数化逆变换212,对于校正图像71的每个点,有可能通过所述参数的值以及校正图像71,确定对应于校正图像71的所述点的图像103的实际点,且具体是所述实际点的位置、所述实际点的颜色、所述实际点的强度和所述实际点的形状。例如,实际点的位置可以通过作为校正图像71的点的位置的函数的固定次数多项式计算得出,多项式的系数由参数值决定。
所述参数具体可以具体包括:所用配置的光学系统100的焦距或如一组透镜的位置的相关值、所用配置的光学系统100的调焦或如一组透镜的位置的相关值、所用配置的光学系统100的光圈或如光阑(diaphragm)的位置的相关值。
数学图像和校正图像之间的差异
参考图5,对于给定的画面3以及给定的所用特征74,数学图像70和校正图像71之间的差异73定义为:由表征全部或部分校正点以及全部或部分数学点的位置、颜色、强度和形状的数字确定的一个或多个值。
例如,对于给定的画面3以及给定的所用特征74,数学图像70和校正图像71之间的差异73可以确定为:
-存在选出的特征点,例如可以是规则设置的点构成的正交阵列80的点,如图10所示。
-例如,对每个特征点,通过求得分别对于实际点和数学点表征校正位置、校正颜色、校正强度和校正形状的每个数字之间的差异的绝对值之和来计算差异73。上述差异的绝对值的求和函数可以替换为另一函数,例如求平均、求平方和以及其它能够组合这些数字的函数。
参考画面
参考画面9定义为某些特征已知的画面3。例如,图4a示出了参考画面9,其由一张包含规则设置的黑色实心圆的纸构成。图4b示出了另一张纸,包含同样的圆,还具有彩色线和区域。圆用来测量点的实际位置50,线用来测量点的实际形状51,彩色区域用来测量点的实际颜色和实际强度。参考画面9可以由除了纸以外的其他材料构成。
参考图像
参考图12,现描述参考图像11的概念。参考图像11定义为使用图像捕获装置1得到的参考画面9的图像。
合成图像,合成图像类
参考图12,现描述合成图像207和合成图像类7的概念。合成图像207定义为通过参考画面9的数学投影8得到的数学图像70。合成图像类7定义为通过对用于一组或多组所用特征74的一个或多个参考画面9的数学投影8得到的一组数学图像70。在只有一个参考画面9且只有一组所用特征74的情况下,合成图像类7只包括一个合成图像207。
变换的图像
参考图12,现描述变换的图像13的概念。变换的图像13定义为通过将可参数化变换模型12应用到参考图像11得到的校正图像。
与合成图像类接近的变换的图像,偏差
参考图12,现描述与合成图像类7接近的变换的图像13的概念以及偏差14的概念。
变换的图像13和合成图像类7之间的差异定义为所述变换的图像13和所述合成图像类7的任意一个合成图像207之间的最小差异。
参考图12,以下描述第四算法,在参考画面9和所用特征74的不同的情况下,使用该算法可在可参数化变换模型12中进行选择可用来将每个参考图像11变换为与对应于所述参考图像11的参考画面9的合成图像类7接近的变换的图像13的变换模型。
-在给定的参考画面9与一组给定的所用特征74关联的情况下,选择可参数化变换12(以及它的参数),用来将参考图像11变换成与合成图像类7表现出最小差异的变换的图像13。这样,就认为合成图像类7和变换的图像13接近。偏差14定义为所述的差异。
-在一组给定的参考画面关联于多组给定的所用特征74的情况下,选择可参数化变换12(以及它的参数)作为每个参考画面9的变换的图像13和所考虑的每个参考画面9的合成图像类7之间的差异的函数。存在选出的可参数化变换12(以及它的参数),可用来将参考图像11变换成变换的图像13,使得所述差异的和最小化。该求和函数可以替换为另一个函数,如求积函数。这样,就认为合成图像类7和变换的图像13接近。偏差14定义为例如通过计算所述差异的平均从所述差异得到的值。
-在某些所用特征74未知的情况下,有可能通过捕获至少一个参考画面9的多个参考图像11来确定这些特征。在这种情况下,同时确定未知特征和可参数化变换12(及其参数),通过该变换可以将参考图像11变换为变换的图像13,使得所述差异的和最小化,特别是通过迭代计算,或者求解关于所述差异的和和/或乘积和/或所述差异的任何其它适当组合的方程。这样,就认为合成图像类7和变换的图像13是接近的。例如,未知特征可以是传感器表面110和所考虑的参考画面9的相对位置和取向。偏差14定义为从所述差异得到的值,例如通过计算其平均得到的值。参考图12,现描述第一计算算法,使用该算法可以在以下范围作出选择:
-在一组可参数化变换模型中,
-在一组可参数化逆变换模型中,
-在一组合成图像中,
-在一组参考画面以及一组变换的图像中。
该选择基于:
-参考画面9,和/或
-变换的图像13,和/或
-可参数化变换模型12,使用该变换模型可将借助于图像捕获装置1捕获参考画面9得到的参考图像11变换为变换的图像13,和/或
-用来将变换的图像13变换为参考图像11的可参数化逆变换模型212,和/或
-从参考画面9和/或参考图像11得到的合成图像207。
所采用的选择是使变换的图像13和合成图像207之间的差异最小化的选择。这样,就认为合成图像207和变换的图像13接近。偏差14定义为所述的差异。
优选地,根据本发明,有可能借助于第一计算算法在一组数学投影中选择一个数学投影8,所述数学投影可用来从参考画面9构造合成图像207。
参考图12,接着描述第二计算算法,包括以下步骤:
-选择至少一个参考画面9,
-借助于图像捕获装置1捕获每个参考画面9的至少一个参考图像11。
该第二算法还包括在一组可参数化变换模型和一组合成图像中选择以下内容的步骤:
-可用来将参考图像11变换为变换的图像13的可参数化变换模型12,和/或
-从参考画面9和/或参考图像11得到的合成图像207,
所采用的选择是使变换的图像13和合成图像207之间的差异最小化的选择。这样,就认为合成图像207和变换的图像13是接近的。偏差14定义为所述的差异。
优选地,根据本发明,有可能通过第二计算算法在一组数学投影中选择一个数学投影8,所述数学投影可用来从参考画面9构造合成图像207。
最佳变换
最佳变换定义为:
-可参数化变换模型12中的一种变换,通过该变换,可将每个参考图像11变换为与对应于所述参考图像11的参考画面9的合成图像类7接近的变换的图像13,和/或
-可参数化变换模型12,其中的可参数化变换模型、如变换的图像13接近合成图像207,和/或
-可参数化逆变换模型212,其中的可参数化逆模型、如变换的图像13接近合成图像207。
校准
校准定义为一种方法,通过该方法,对于一种或多种所用配置,可得到有关图像捕获装置1的固有特征的数据,其中,每种配置都包含与图像捕获装置1关联的光学系统100。
情况1:该情况只有一种配置,所述方法包括以下步骤:
-在所述图像捕获装置1中安装所述光学系统100的步骤,
-选择一个或多个参考画面9的步骤,
-选择若干所用特征74的步骤,
-为所述所用特征捕获所述参考画面9的图像的步骤,
-为对应于相同的所用特征74的每一组参考画面9计算最佳变换步骤。
情况2:该情况考虑对应于给定图像捕获装置1和同类型的所有光学系统100的所有配置,所述方法包括以下步骤:
-选择一个或多个参考画面9的步骤;
-选择若干所用特征74的步骤;
-例如通过由光线跟踪计算该光学系统的软件,从所用特征74、特别是从所用配置的光学系统100的公式,以及从参数的值计算图像103的步骤,
-为对应于相同的所用特征的每一组参考画面9计算最佳变换步骤。
情况3:该情况考虑对应于给定光学系统100和同类型的所有图像捕获装置1的所有配置,所述方法包括以下步骤:
-在所考虑的类型的图像捕获装置1上安装所述光学系统100的步骤,
-选择一个或多个参考画面9的步骤,
-选择若干所用特征74的步骤,
-为所述所用特征捕获所述参考画面9的图像的步骤,
-为对应于相同的所用特征的每一组参考画面9计算最佳变换步骤。
优选地,可由图像捕获装置1的制造商对情况1中的每个装置和配置进行校准。这种方法更加精确,但加入了更多的限制,且特别适用于光学系统100不是可互换的情况。
可替换地,可由图像捕获装置1的制造商对情况2中的每种装置类型和配置进行校准。这种方法没有第一种精确,但是更加简单。
可替换地,可由图像捕获装置1的制造商或第三方对情况3中的每种装置类型和光学系统100进行校准。这是一种折衷的方法,其中,可在一种类型的所有图像捕获装置1上使用一个光学系统100,而不需要为图像捕获装置1和光学系统100的每一组合重复进行校准。在图像捕获装置1具有不可互换的光学系统的情况下,这种方法允许为每一种给定类型的装置只进行一次校准。
可替换地,对情况1中的每个图像捕获装置1和配置,可由装置销售商或安装者进行校准。
可替换地,对情况3中的每个光学系统100和每种类型的装置,可由装置的销售商或安装者进行校准。
可替换地,对情况1中的每个装置和配置,可由装置的使用者进行校准。
可替换地,对情况3中的每个光学系统100和每种类型的装置,可由装置的使用者进行校准。
数字光学系统的设计
数字光学系统的设计定义为用来减少光学系统100的成本的方法,降低成本通过以下手段来实现:
-设计具有缺陷、特别是实际点定位中的缺陷的光学系统100,或是从目录中选择上述系统,
-减少透镜的数目,和/或
-简化透镜的形状,和/或
-使用较廉价的材料,处理操作或制造过程。
所述方法包括以下步骤:
-选择可接受的差异(在上述限定的含义范围内)的步骤,
-选择一个或多个参考画面9的步骤,
-选择若干所用特征74的步骤,
所述方法还包括以下步骤的重复:
-选择光学公式的步骤,该公式具体包括透镜的形状,材料和排列,
-通过采用例如由光线跟踪计算光学系统的软件,或通过对原型进行测量,从所用特征74、特别是从所用配置的光学系统100的公式计算图像103的步骤,
-为对应于相同的所用特征74的每一组参考画面9计算最佳变换的步骤,
-验证差异是否可接受直到差异可接受的步骤。
格式化信息
与图像103关联的格式化信息15或格式化信息15被定义为以下的数据的全部或一部分:
-涉及图像捕获装置1的固有技术特征、特别是失真特征的数据,和/或
-涉及捕获图像时图像捕获装置1的技术特征、特别是曝光时间的数据,和/或
-涉及所述用户优先选择、特别是色温的数据,和/或
涉及偏差14的数据。
特征数据库
特征数据库22定义为包含格式化信息15的数据库,该格式化信息用于一个或多个图像捕获装置1和一个或多个图像103。
所述特征数据库22可以集中存储或分布存储,特别是可以:
-集成到图像捕获装置1,
-集成到光学系统100,
-集成到可移动存储设备,
-在图像捕获过程中集成到连接到其它元件的PC或其它计算机,
-图像捕获之后集成到连接到其它元件的PC或其它计算机,
-集成到能够读取与图像捕获装置1共享的存储介质的PC或其它计算机,
-集成到与PC或其它计算机连接的远程服务器,计算装置本身与其它图像捕获元件连接。
域
参考图8,现描述域91的定义。与图像103关联的格式化信息15可以以若干形式记录,并构造成一个或多个表,但是它在逻辑上对应于所有或部分域91,包括:
(a)焦距,
(b)场深度,
(c)几何缺陷。
所述几何缺陷包括图像103的几何缺陷,由与拍摄特征74关联的参数和代表拍摄时图像捕获装置1的特征的可参数化变换来表征。通过所述参数和所述可参数化变换,有可能计算图像103的点的校正位置。
所述几何缺陷还包括虚光,由与拍摄特征74关联的参数和代表拍摄时图像捕获装置1的特征的可参数化变换来表征。通过所述参数和所述可参数化变换,有可能计算图像103的点的校正强度。
所述几何缺陷还包括色偏,由与拍摄特征74关联的参数和代表拍摄时图像捕获装置1的特征的可参数化变换来表征。通过所述参数和所述可参数化变换,有可能计算图像103的点的校正颜色。
所述域91还包括(d)图像103的锐度。
所述锐度包括图像103分辨率中的模糊,由与拍摄特征74关联的参数和代表拍摄时图像捕获装置1的特征的可参数化变换来表征。通过所述参数和所述可参数化变换,有可能计算图像103的点的校正形状。模糊具体包括:慧差、球差、散光、聚集到像素104中、色差、场深度、衍射、寄生反射以及场曲率。
所述锐度还包括场深度中的模糊,特别是球差、慧差和散光。所述模糊取决于画面3的点相对于图像捕获装置1的距离,由与拍摄特征74关联的参数和代表拍摄时图像捕获装置1的特征的可参数化变换来表征。通过所述参数和所述可参数化变换,有可能计算图像103的点的校正形状。
所述域91还包括(e)量化方法的参数。所述参数取决于传感器101的几何特征与物理特征,电子单元102的体系结构以及可以使用的任何处理软件。
所述参数包括表示像素104的强度随源自所述画面3的波长和光通量改变的函数。所述函数具体包括伽马信息。
所述参数还包括:
-所述传感器101的几何特征,特别是所述传感器101的敏感元件的形状、相对位置和数目,
-表示图像捕获装置1的噪声的空间和时间分布的函数,
-表示图像捕获的曝光时间的值。
所述域91还包括(f)由图像捕获装置1执行的数字处理操作,特别是数字变焦和压缩的参数。这些参数取决于图像捕获装置1的处理软件和用户的调节。
所述域91还包括:
(g)表示用户的优先选择的参数,特别是关于图像103的模糊程度和分辨率。
(h)偏差14。
格式化信息的计算
格式化信息15可以在若干步骤中计算并记录在数据库22中。
a)图像捕获装置1的设计结尾的步骤。
通过这个步骤,有可能获得图像捕获装置1的固有技术特征,特别是:
-电子单元102产生的噪声的空间和时间分布,
-光通量到像素值的转换公式。
-传感器101的几何特征。
b)数字光学系统的校准或设计结尾的步骤。
通过这个步骤,有可能获得图像捕获装置1的其它固有技术特征,具体是对于一特定数目的所用特征的值的最佳相关联的变换和相关联的偏差14。
c)通过按钮、菜单、可移动介质或与其它设备的连接选择用户优先选择的步骤。
d)图像捕获步骤
通过该步骤(d),有可能获得图像捕获装置1在捕获图像时的技术特征,特别是曝光时间,其由手工或所进行的自动调节来确定。
通过步骤(d),还可能获得焦距。焦距的计算通过:
-对所用配置中光学系统100的可变焦距的透镜组的位置的测量,或
-输入定位电机的一设定值,或
-制造商给出的值,如果焦距是固定的。
此时,可以通过分析图像103的内容来确定所述焦距。
通过步骤(d),也有可能获得场深度。场深度的确定通过:
-对所用配置中光学系统100的调焦透镜组的位置的测量,或
-输入定位电机的设定值,或
-制造商给出的值,如果场深度是固定的。
通过步骤(d),也有可能获得几何缺陷和锐度缺陷。几何缺陷和锐度缺陷对应于一个变换,该变换借助于在步骤(b)结尾得到的特征数据库22的变换组合计算得出。该组合被选择以表示对应于所用特征74的参数的值,所述特征特别是焦距。
通过步骤(d),也有可能获得由图像捕获装置1执行的数字处理的参数。这些参数是通过手工或所进行的自动调节确定的。
根据步骤(a)至(d),可以通过以下装置或软件来进行对格式化信息15的计算:
-集成到图像捕获装置1的设备或软件,和/或
-PC或其它计算机中的驱动软件,和/或
-PC或其它计算机中的软件,和/或
-以上三项的组合。
可以以如下形式存储前述步骤(b)和(d)中的变换:
-通用的数学公式,
-用于每个点的数学公式,
-用于某些特征点的数学公式,
该数学公式可以通过以下描述:
-一列系数;
-一列系数和坐标;
通过这些不同的方法,有可能在可用于存储公式的存储器大小和可用于计算校正的图像71的计算能力之间达到折衷。
另外,为了检索数据,数据库22中记录与数据相关联的标识符。这些标识符具体包括:
-图像捕获装置1的类型和参考的标识符,
-光学系统100的类型和参考的标识符,如果光学系统100为可移动的
-其它任何可移动元件的类型和索引的标识符,所述可移动元件链接到所存储的信息,
-图像103的标识符,
-格式化信息15的标识符。
完成的图像
如图11所示,完成的图像120定义为与格式化信息15关联的图像103。优选地,该完成的图像120可具有文件P100的形式,如图14所示。完成的图像120还可以分为多个文件。
可以通过图像捕获装置1来计算完成的图像120。还可以通过外部计算设备、如计算机来计算完成的图像。
图像处理软件
图像处理软件4定义为接受一个或多个完成的图像120作为输入并对这些图像执行处理操作的软件。这些处理操作具体可以包括:
-计算校正的图像71,
-在现实世界中进行测量,
-组合若干图像,
-提高图像相对于现实世界的保真度,
-提高图像的主观质量,
-在画面3中检测物体或人107,
-在画面3中加入物体或人107,
-在画面3中替换或修改物体或人107,
-从画面3中移除阴影,
-向画面3中加入阴影,
-在图像库中搜索物体。
所述图像处理软件可以:
-集成到图像捕获装置1,
-在计算装置17上运行,该计算装置通过传输装置18连接到图像捕获装置1。
数字光学系统
数字光学系统定义为图像捕获装置1、特征数据库22以及计算装置17的组合,该组合允许:
-图像103的图像捕获,
-计算完成的图像,
-计算校正的图像71,
优选地,用户直接获得校正的图像71。如果需要,用户可以要求禁止自动校正。
特征数据库22可以:
-集成到图像捕获装置1,
-在图像捕获过程中集成到连接到其它元件的PC或其它计算机,
-在图像捕获之后集成到连接到其它元件的PC或其它计算机,
-集成到能够读取与图像捕获装置1共享的存储介质的PC或其它计算机,
-集成到与PC或其它计算机连接的远程服务器,计算装置本身与其它图像捕获元件连接。
计算装置17可以:
-与传感器101一起集成到一组件上,
-与电子单元102的一部分一起集成到一组件上,
-集成到图像捕获装置1,
-在图像捕获过程中集成到连接到其它元件的PC或其它计算机,
-在图像捕获之后集成到连接到其它元件的PC或其它计算机,
-集成到能够读取与图像捕获装置1共享的存储介质的PC或其它计算机,
-集成到与PC或其它计算机连接的远程服务器,计算装置本身与其它图像捕获元件连接。
完整链的处理
以上段落基本上提出了对概念的精确描述,以及根据本发明用于向图像处理软件4提供涉及图像捕获装置1的特征的格式化信息15的方法和系统。
在以下段落中,给出这些概念的扩展定义,并补充说明根据本发明向图像处理软件4提供涉及图像恢复装置19的特征的格式化信息15的方法和系统。将以这种方式阐述完整链的处理。
通过对完整链的处理,有可能:
-改进从该链的一端到另一端的图像103的质量,在校正图像捕获装置1和图像恢复装置19的缺陷的同时,获得恢复的图像191,和/或
-在视频投影仪中,结合提高图像质量的软件使用质量和成本均较低的光学系统。
与图像恢复装置关联的定义
基于图2、17和6,现描述在格式化信息15中怎样考虑图像恢复装置19如打印机、可视显示器屏幕或投影仪的特征。
本领域的技术人员可以通过利用图像捕获装置1情形下提供的定义的类推来推断对图像恢复装置19情形下的定义的补充或修改。但是,为了阐明该方法,现具体结合图6和图17,描述主要的补充或修改。
通过所用的恢复特征95,指定了图像恢复装置19的固有特征,在图像恢复时刻图像恢复装置19的特征,以及图像恢复时用户的优先选择。具体在投影仪的情况下,所用恢复特征95包括所用屏幕的形状和位置。
通过可参数化恢复变换模型97(或简称为可参数化恢复变换97),指定与可参数化变换模型12类似的数学变换。通过可参数化逆恢复变换模型297(或简称为可参数化逆恢复变换297),指定与可参数化逆变换模型212类似的数学变换。
通过校正的恢复图像94,指定通过将可参数化恢复变换97应用到图像103得到的图像。
通过数学恢复投影96,指定一数学投影,该数学投影使数学恢复图像92与校正的恢复图像94相关联,所述数学恢复图像92在与恢复介质190的表面几何关联的数学恢复表面上。该数学恢复表面的数学恢复点的形状、颜色和强度根据校正的恢复图像94计算得到。
通过实际恢复投影90,指定关联恢复的图像191与图像103的投影。图像103的像素值由恢复装置19的电子单元转换为驱动恢复装置19的调制器的信号。在恢复介质190上获得实际恢复点。所述实际恢复点由形状、颜色、强度和位置来表征。上文描述的在图像捕获装置1的情形中聚集到像素104中的现象在图像恢复装置的情形中不出现。另一方面,会出现相反的现象,具体结果是直线呈现阶梯状。
恢复差异93指定为恢复的图像191和数学恢复图像92之间的差异。该恢复差异93利用差异73类推得到。
通过恢复参考209,指定图像103,在该图像中,已知像素104的值。通过恢复的参考211,指定通过恢复参考209的数学恢复投影90得到恢复的图像191。通过校正的参考恢复图像213,指定对应于恢复参考209、用于可参数化恢复变换模型97和/或可参数化逆恢复变换模型297的校正的恢复图像94。通过合成恢复图像307,指定通过校正的参考恢复图像213的数学恢复投影96得到的数学恢复图像92。
由最佳恢复变换指定:
-对于恢复参考209和所用恢复特征95,可用来将图像103变换成校正的恢复图像94,使得其数学恢复投影92与恢复的图像191相比表现出最小的恢复差异93,和/或
-可参数化恢复变换模型中的可参数化恢复变换97,使得恢复的参考211与合成恢复图像307相比表现出最小的恢复差异93,和/或
-可参数化逆变换模型中的可参数化逆恢复变换297,使得恢复的参考211与合成恢复图像307相比表现出最小的恢复差异93。
这样,就认为恢复的参考211和合成恢复图像307是接近的。
数字光学恢复系统的恢复校准方法和设计的方法与图像捕获装置1的情形中数字光学系统的校准和设计方法可相比。但是,在某些步骤存在差异,特别是在以下步骤:
-选择恢复参考209的步骤;
-执行所述恢复参考的恢复的步骤;
-计算最佳恢复变换的步骤。
优选地,根据本发明,该方法包括第六算法,用来计算格式化信息15。通过该第六算法有可能在以下范围中做出选择:
-在一组可参数化的恢复变换模型中,
-在一组可参数化的逆恢复变换模型中,
-在一组数学恢复投影中,
-在一组恢复参考以及一组校正的参考恢复图像中。
由该第六算法作出的选择基于:
-恢复参考209,和/或
-校正的参考恢复图像213,和/或
-可用来将恢复参考209变换为校正的参考恢复图像213的可参数化的恢复变换模型97,和/或
-可用来将校正的参考恢复图像213变换为恢复参考209的可参数化逆恢复变换模型297,和/或
-可用来从校正的参考恢复图像213构造合成恢复图像307的数学恢复投影96。
第六算法以这样的方式作出选择,使得合成恢复图像307接近于使用图像恢复装置19对恢复参考209进行恢复获得的恢复的参考211。恢复的参考211与合成恢复图像307相比存在恢复偏差214。
根据本发明的一个可替换实施例,本方法包括第七算法,用来计算格式化信息。该第七算法包括以下步骤:
-选择至少一个恢复参考209,
-通过图像恢复装置19将恢复参考209恢复为恢复的参考211。
通过该第七算法,还有可能在一组可参数化恢复变换模型和一组数学恢复投影中选出:
-可用来将恢复参考209变换为校正的参考恢复图像213的可参数化恢复变换模型97,和/或
-可用来从校准的参考恢复图像213构造合成恢复图像307的数学恢复投影96。
通过第七算法以这样的方式进行选择,使得合成恢复图像307接近于恢复的参考211。该恢复的参考与合成恢复图像307相比存在恢复偏差214。通过可参数化逆恢复变换模型297,有可能将校正的参考恢复图像213变换为恢复参考209。
根据本发明的另一个可替换实施例,该方法包括用来计算格式化信息的第八算法。该第八算法包括选择校正的参考恢复图像213的步骤。该第八算法还包括在一组可参数化恢复变换模型和一组数学恢复投影中以及在一组恢复参考中进行选择的步骤。该选择基于:
-恢复参考209和/或
-可用来将恢复参考209变换为校正的参考恢复图像213的可参数化恢复变换模型97,和/或
-可用来将校正的参考恢复图像213变换为恢复参考209的可参数化逆恢复变换模型297,和/或
-可用来从校正的参考恢复图像213构造合成恢复图像307的数学恢复投影96。
第八算法以这样的方式作出选择,使得合成恢复图像307接近于由图像恢复装置19对恢复参考209进行恢复获得的恢复的参考211。恢复的参考211与合成恢复图像307相比存在恢复偏差。
优选地,根据本发明,该方法包括第九算法,用来计算恢复偏差214。该第九算法包括以下步骤:
-计算恢复的参考211与合成恢复图像307之间的恢复偏差214,
-使恢复偏差214与格式化信息15相关联。
技术特征的组合使得有可能例如在制造该装置期间自动验证该方法已产生公差在可接受范围内的格式化信息。
涉及图像捕获装置1以及涉及图像恢复装置19的格式化信息15可端对端地用于同一个图像。
在几何失真的情况下,也有可能将涉及每一个装置的格式化信息15组合起来以例如通过增加矢量域获得涉及该装置链的格式化信息15。
上文给出图像捕获装置1的情况下域的概念。这个概念也可以通过类推到图像恢复装置19的情况下来应用。但是量化方法的参数要替换成信号重建方法的参数,也就是:恢复介质190的几何特征及其位置,表示图像恢复装置19的噪声的时间和空间分布的函数。
根据本发明的一个可替换实施例,恢复装置19与图像捕获装置1关联,以便以数字形式从恢复参考209恢复出恢复的参考211。该方法使得:为了产生涉及恢复装置19的缺陷P5的格式化信息15,使用涉及与该恢复装置关联的图像捕获装置1的格式化信息15,以便例如以这样的方式校正图像捕获装置1的缺陷,使得恢复的参考211只包含恢复装置19的缺陷P5。
概念的一般化
本发明包含的并在权利要求中指明的技术特征已经通过基本上参考数字类型的图像捕获装置、也就是产生数字图像的装置进行了限定、描述和图示。可容易理解,同样的技术特征适用于为以下装置的组合的图像捕获装置的情况:基于银技术的装置(使用感光卤化银胶片、底片或反转胶片的摄影或电影装置)与从显影的感光胶片中产生数字图像的扫描仪的组合。当然,在这种情况中,可以适当地修改至少一些所使用的定义。这些修改在本领域技术人员的能力范围之内。为表明这种修改的显而易见性,只需要提及:在基于银技术的装置和扫描仪的组合的情况下,在借助于扫描仪将胶片表面的基本区域数字化之后,参考图3示出的像素和像素值的概念必须应用到该基本区域。这种定义的转置是不言而喻的,且可以扩展到所用配置的概念中。例如,所用配置中包含的图像捕获装置1的可移动子组件列表可以由基于银技术的装置中有效使用的摄影胶片的类型补充。
通过阅读以下参考图1至17描述的定义和实例,本发明的其它特征和优点会变得明显,所述定义和实例是指示性而非限定性的。
装置
具体参考图2、3和13,现描述装置P25的概念。在本发明的含义内,装置P25可以具体是:
-图像捕获装置1,如一次性相机装置,数码相机装置、反射装置、扫描仪、传真机、内诊镜、可携式摄像机、监视相机、游戏机、集成到或连接到电话、个人数字助理或计算机的相机、热相机或回波描记装置,
-图像恢复工具19或图像恢复装置19,如屏幕、投影仪、电视机、虚拟现实护目镜或打印机,
-装置,包括它的设备,如投影仪、屏幕以及它们的定位方式,
-观测者相对于图像恢复装置19的定位,其具体引起视差,
-有视觉缺陷,如散光的人或观测者,
-有望可被模仿的装置,用以产生例如看上去类似于莱卡牌装置所产生的外观的外观,
-具有增加模糊的边缘效应的图像处理设备,如变焦软件,
-与多个装置P25等效的虚拟装置,
可考虑更加复杂的装置P25,如扫描仪/传真机/打印机、照片打印微型实验室或视频会议装置作为装置P25或多个装置P25。
装置链
具体参考图13,现描述装置链P3的概念。装置链P3定义为一组装置P25。装置链P3的概念还包括顺序的概念。
以下实例组成了装置链P3:
-单个装置P25,
-图像捕获装置和图像恢复装置19,
-例如照片打印微型实验室中的照片装置,扫描仪或打印机,
-例如照片打印微型实验室中的数码相机或打印机,
-例如计算机中的扫描仪、屏幕或打印机,
-屏幕或投影仪,以及人眼,
-一个装置和另一个有望可被模仿的装置,
-照片装置和扫描仪,
-图像捕获装置和图像处理软件,
-图像处理软件和图像恢复装置19,
-以上实例的组合,
-另一组装置P25。
缺陷
参考图13,现描述缺陷P5的概念。装置P25的缺陷P5定义为涉及光学系统和/或传感器和/或电子单元和/或集成到装置P25中的软件的特征的缺陷;缺陷P5的实例包括:几何缺陷、锐度缺陷、色度学缺陷、几何失真缺陷、几何色差缺陷、几何虚光缺陷、对比度缺陷、色度学缺陷,特别是色渲染和色偏、闪光均匀性缺陷、传感器噪声、纹理、散光缺陷和球差缺陷。
图像
参考图2、5、6和13,现描述图像103的概念。图像103定义为由装置P25捕获或修改或恢复的数字图像。图像103可来源于装置链P3中的装置P25。图像103可以被送到装置链P3中的装置P25。更通常的情况是,图像103可以来自和/或被送到装置链P3。在由按时间顺序排列的静止图像组成的动画图像、如视频图像中,图像103定义为图像序列中的一个静止图像。
格式化信息
参考图7、8、10和13,现描述格式化信息15的概念。格式化信息15定义为涉及缺陷P5或表征装置链P3中一个或多个装置P25的缺陷P5的数据,通过考虑到装置P25的缺陷P5,该数据使图像处理装置P1能够修改图像103的质量。
要产生格式化信息15,可以使用各种基于测量和/或模拟和/或校准的方法和系统,如上文描述的校准方法。
要传输格式化信息15,可以使用包含完成图像120的文件P100。例如,图像捕获装置1如数码相机装置可以产生多个文件,所述文件包含图像103、从装置的内存中拷贝的格式化信息15,以及包含所用调节的Exif格式的数据。
要产生格式化信息15,有可能例如使用以Vision IQ的名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为“Method and system for producing formatted information related togeometric distortions”。此申请描述了涉及装置链3中的装置P25的格式化信息15的产生方法。装置链P3具体包括至少一个图像捕获装置和/或至少一个图像恢复装置。此方法包括产生涉及该链中的至少一个装置P25的几何失真的格式化信息15的步骤。
优选地,使得装置25有可能捕获或恢复介质上的图像。装置25根据图像不同,包含至少一个固定特征和/或一个可变特征。固定特征和/或可变特征可以关联于一个或多个特征值,特别是焦距和/或调焦以及它们所关联的特征值。此方法包括从测得的域产生涉及该装置的几何失真的测得的格式化信息的步骤。格式化信息15可以包括测得的格式化信息。
要产生格式化信息15,有可能例如使用以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“Method and system for producing formatted information related to thedefects of at least one appliance of a chain,especially to blurring”。该申请描述了产生涉及装置链3中的装置P25的格式化信息15的方法。装置链P3具体包括至少一个图像捕获装置和/或至少一个图像恢复装置。该方法包括生成涉及链中至少一个装置P25的缺陷P5的格式化信息15的步骤。优选地,可用来捕获或恢复图像的装置25根据图像(I)不同包含至少一个固定特征和/或一个可变特征。固定和/或可变特征可以关联于一个或多个特征值,特别是焦距和/或调焦以及它们的相关特征值。该方法包括从测得的域产生涉及装置P25的缺陷P5的测得的格式化信息的步骤。格式化信息15可以包括测得的格式化信息。
要产生格式化信息15,有可能例如使用以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“Method and system for reducing update frequency of image processingmeans”。该申请描述了降低图像处理装置P1更新频率、特别是软件和/或组件的更新频率的方法。图像处理装置使得有可能修改来自或送到装置链P3的数字图像的质量。装置链P3具体包括至少一个图像捕获装置和/或至少一个图像恢复装置。图像处理装置P1采用涉及装置链P5中至少一个装置的缺陷P5的格式化信息15。该格式化信息15依赖于至少一个变量。格式化信息15使得有可能在一部分变量和一部分标识符之间建立对应。借助于标识符,通过考虑标识符和图像,有可能确定对应于该标识符的变量的值。技术特征的组合使得有可能确定变量的值,特别是仅在图像处理装置P1发布之后知道变量的物理重要性和/或内容的情况下。技术特征的组合还使得可以分隔开校正软件两次更新之间的时间。技术特征的组合还使得产生装置和/或图像处理装置的多个经济参与者可以独立于其他经济参与者来更新他们的产品,即使后者完全改变了产品的特性或是不能强迫客户更新产品。技术特征的组合还使得可以首先以少数经济参与者和先进用户开始,然后逐渐开始使用新的功能。
为搜索格式化信息15,有可能例如使用以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“Method and system for modifying the quality of at least one imagederived from or addressed to an appliance chain”。该申请描述了修改至少一个来自或送到指定装置链的图像103的质量的方法。该指定装置链包括至少一个图像捕获装置和/或至少一个图像恢复装置。在市场上由独立的经济活动参与者逐渐引入的图像捕获装置和/或图像恢复装置属于未确定的一组装置。该组装置中的装置P25存在可以由格式化信息15表征的缺陷P5。对于所讨论的图像,该方法包括以下步骤:
-对涉及该组装置中的装置P25的格式化信息的源的目录进行编译的步骤,
-在用这种方法编译的格式化信息15中自动搜索涉及指定装置链的特定的格式化信息的步骤,
-在考虑到用这种方法获得的特定格式化信息的同时,通过图像处理软件和/或图像处理组件自动修改图像的步骤。
为使用格式化信息15,可以例如使用以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“Methodand system for calculating a transformed image from a digital image andformatted information related to a geometric transformation”。该申请描述了根据数字图像和涉及几何变换的格式化信息15、尤其是涉及装置链P3的失真和/或色差的格式化信息15来计算变换的图像的方法。该方法包括根据几何变换的近似计算变换的图像的步骤。由此可得出这种计算就存储器资源、存储器带通和计算能力来说是经济的,因此就耗电量来说也是经济的。由此还可得出在随后的使用中,变换的图像不存在任何可见的或令人讨厌的缺陷。
为使用格式化信息15,可以例如使用以Vision IQ名义与本申请同一天申请的国际专利申请中描述的方法和系统,该申请名为:“Methodand system for modifying a digital image,taking into account its noise”。该申请描述了根据数字图像和涉及装置链P3的缺陷P5的格式化信息15计算变换的图像的方法。装置链P3包括图像捕获装置和/或图像恢复装置。装置链P3包含至少一个装置P25。该方法包括根据格式化信息15和/或数字图像自动确定特征数据的步骤。技术特征的组合使得在随后的使用中,变换的图像不存在任何可见的或令人讨厌的缺陷,特别是涉及噪声的缺陷。
图像处理装置
具体参考图7和13,现描述图像处理装置P1的概念。在本发明的含义范围内,图像处理装置P1定义为例如图像处理软件4和/或组件和/或设备项和/或系统,它们能够通过利用格式化信息15修改图像103的质量以便产生修改的图像,如校正的图像71或校正的恢复图像97。修改后的图像可送到装置链P3的第二装置,该装置与装置P25相同或不同,例如装置链P3中的以下装置。
由图像处理装置P1对图像质量进行的修改例如包括:
-抑制或削弱图像103中装置链P3的一个或多个装置P25的缺陷P5,和/或
-修改图像103,以增加装置链P3中一个或多个装置P25的至少一个缺陷P5,使得修改后的图像类似于用一个或多个装置P25捕获的图像,和/或
-修改图像103,以增加装置链P3中一个或多个装置P25的至少一个缺陷P5,使得对修改后图像的恢复类似于用一个或多个装置P25恢复的图像,和/或
-通过考虑涉及装置链P3中的人眼P25的视觉缺陷P5的格式化信息15修改图像103,使得对于所有或部分缺陷P5,人眼察觉到对修改后图像的恢复是经校正的。
校正算法定义为图像处理装置P1用来修改取决于缺陷P5的图像质量的方法。
图像处理装置P1可以采取多种从属于本申请的形式。
图像处理装置P1可以完全或部分集成到装置P25中,如在以下实例中:
-产生修改后图像的图像捕获装置,如其中集成了图像处理装置P1的数码相机装置,
-显示或打印修改后图像的图像恢复装置19,如其中包括了图像处理装置P1的视频投影仪,
-可以校正其元件缺陷的混合装置,如扫描仪/打印机/传真机,其中包括了图像处理装置P1,
-产生修改后图像的专业的图像捕获装置,如其中包括了图像处理装置P1的内诊镜。
在图像处理装置P1集成到装置P25中的情况下,装置P25实际上校正自己的缺陷P5,且装置链P3的装置P25可以通过例如以传真机、扫描仪和打印机设计来确定。但是,用户只能使用装置链P3中的装置P25的一部分,例如,在传真机也可以用作一独立的打印机的情况下。
图像处理装置P1可以完全或部分集成到计算机中,例如通过以下方式:
-在如Windows或Mac OS的操作系统中,为自动修改来自或送到多个装置P25的图像的质量,所述图像质量可能随图像103或随时间改变,P1例如是扫描仪、照片装置和打印机;自动校正可以例如在将图像103输入到系统中时,或者在用户请求打印时进行,
-在如PhotoshopTM的图像处理应用中,为自动修改来自或送到多个装置P25的图像的质量,所述图像的质量可能随图像103或随时间改变,P1例如是扫描仪,照片装置和打印机;自动校正可以例如在用户激活PhotoshopTM中过滤器命令时进行。
-在照片打印装置中(如照相洗印服务或英文中的微型实验室),为自动修改从多个照片装置得到的图像的质量,所述图像质量可能随图像103或随时间改变,P1例如是一次性相机、数码相片装置和压缩盘,自动校正可以考虑相片装置以及集成的扫描仪和打印机,且校正可以在起始打印作业时施加。
-在服务器上,例如在因特网上的服务器上,为自动修改来自多个照片装置的图像的质量,所述图像质量可能随图像103或随时间改变,P1例如是一次性相机、数码相片装置,自动校正可以考虑例如相片装置以及打印机,且该校正可以在服务器上记录图像103时施加,或在起始打印作业时施加。
在图像处理装置P1集成到计算机中的情况下,为了实用,图像处理装置P1与多个装置P25兼容,且装置链P3中的至少一个装置P25可以在一个图像103和另一个之间改变。
为向图像处理装置P1提供标准格式的格式化信息15,有可能例如使该格式化信息15与图像103相关联:
-在文件P100中,
-通过使用装置链P3中的装置P25的标识符,如文件P100中Exif格式的数据,以便在特征数据库22中检索格式化信息15。
可变特征
基于图13,现描述可变特征P6的概念。根据本发明,可变特征P6定义为可测量因子,该因子可以在一个图像103和通过同一个装置P25捕获、修改或恢复的另一个图像之间改变,并对装置P25捕获、修改或恢复的图像的缺陷P5产生影响。特别是:
一对给定图像103来说是固定的全局可变特征,例如在捕获或恢复该图像时装置P25的特征,其与用户的调节有关或与装置P25的自动功能有关,如焦距,
-局部可变特征,在给定图像103中,该特征是可变的,例如图像中的x,y坐标或ρ,θ坐标,允许图像处理装置P1应用依赖于图像的域而不同的局部处理。
可以在一个装置P25和另一个之间改变但是对从一个图像103到由同一个装置P25捕获、修改或恢复的另一个图像而言是固定的可测量因子,通常不被看作可变特征P6。例如具有固定焦距的装置P25的焦距。
以上描述的所用调节是可变特征P6的实例。
格式化信息15可依赖于至少一个可变特征P6。
通过可变特征P6,具体可以理解:
-光学系统的焦距,
-对图像进行的重新确定尺寸(数字变焦因子:部分图像的放大;和/或欠采样:图像像素数目的减少),
-非线性亮度校正,如伽马校正,
-轮廓增强,如装置P25使用的模糊消去水平,
-传感器和电子单元的噪声,
-光学系统的光圈,
-调焦距离,
-胶片上的帧数,
-曝光不足或曝光过度,
-胶片或传感器的灵敏度,
-打印机使用的纸类型,
-图像中传感器中心的位置,
-图像相对于传感器的旋转,
-投影仪相对于屏幕的位置,
-使用的白色平衡,
-闪光和/或其电源的激活,
-曝光时间,
-传感器增益,
-压缩,
-对比度,
-装置P25的用户使用的另一种调节,如操作模式,
-装置P25的另一种自动调节,
-装置P25执行的另一种测量。
在恢复装置19的情况下,可变特征P6也可以定义为可变恢复特征。
可变特征值
基于图13,现描述可变特征值P26的概念。可变特征值P26定义为捕获、修改或恢复指定图像时可变特征P6的值,如可以从存在于文件P100中的Exif格式的数据获得。图像处理装置P1然后可以将图像103的质量作为可变特征P6的函数来通过使用依赖于可变特征P6的格式化信息15,以及通过确定可变特征的值P26来处理或修改图像103的质量。
在恢复装置19的情况中,可变特征P6的值也可以定义为可变恢复特征。
测得的格式化信息,扩展的格式化信息
如图15所示,格式化信息15或格式化信息15的一小部分可以包括测得的格式化信息P101以说明一原始的测量,如涉及在阵列80的一定数目的特征点处的几何变形缺陷的数学域。如图15所示,该格式化信息15或格式化信息15的一小部分,例如通过对阵列80的真实点而非特征点进行插值,可以包括扩展的格式化信息P102,该扩展的格式化信息P102可以由测得的格式化信息P101计算得到。从上述可以看出,格式化信息项15可以依赖于可变特征P6。根据本发明,组合P120定义为由可变特征P6以及可变特征的值P26组成的组合,如包括焦距,调焦,光阑孔径,捕获速度,光圈等以及相关联的值的组合P120。难以想象涉及不同组合P120的格式化信息15可以怎样计算,尤其是由于组合P120的某些特征会不断改变,如焦距和距离。
本发明规定通过从测得的格式化信息P101进行插值来计算形式为扩展格式化信息P102的格式化信息15,该标准的格式化信息P101涉及已知可变特征P6的预先选定的组合P120。
例如,涉及以下组合P120的测得的格式化信息P101用来计算依赖于作为可变特征P6的焦距的扩展格式化信息P102:“焦距=2,距离=7,捕获速度=1/100”的组合,“焦距=10,距离=7,捕获速度=1/100”,“焦距=50,距离=7,捕获速度=1/100”。通过该扩展格式化信息P102,具体有可能确定涉及以下组合的格式化信息:“焦距=25,距离=7,捕获速度=1/100”。
测得的格式化信息P101与扩展格式化信息P102可存在插值偏差P121。本发明可包括选择0个、1个或多个可变特征P6的步骤,使得针对以此方式选择的可变特征P6所获得的用于扩展格式化信息P102的插入偏差P121小于预定的插入阈值。实际上,某些可变特征P6可能对缺陷P5产生的影响比其他特征要小,且将这些可变特征P6近似地看作常量所引入的误差可能只是最小值;例如,调焦调节对虚光缺陷只产生轻微的影响,所以不能作为选定的可变特征P6的一部分。可变特征P6可以在产生格式化信息15的时刻选择。技术特征的组合使得图像质量的修改采用简单的计算。技术特征的组合还使得扩展格式化信息P102是紧凑的。技术特征的组合还使得被消除的可变特征P6对缺陷P5的影响最小。技术特征的组合还可以使得可以通过格式化信息15按指定精度来修改图像质量。
在恢复装置19的情况中,,组合120还可以定义为恢复组合。
在恢复装置19的情况中,测得的格式化信息P101还可以定义为测得的格式化恢复信息。
在恢复装置19的情况中,扩展格式化信息P102还可以定义为扩展的格式化恢复信息。
在恢复装置19的情况中,插值偏差P121也可以定义为插值恢复偏差。
可参数化模型,参数
参考图5、6和16,现描述参数P9和可参数化模型P10的概念。在本发明的含义范围内,可参数化模型P10定义为可依赖于变量P6并且涉及一个或多个装置P25的一个或多个缺陷P5的数学模型;上文描述的可参数化变换模型12、可参数化逆变换模型212、可参数化恢复变换模型97和可参数化逆恢复变换模型297均为可参数化模型P10的实例;例如,可参数化模型P10可以涉及:
-数码照片装置的锐度缺陷或模糊,
-可有望被模仿的照片装置的几何虚光缺陷,
-投影仪的几何失真缺陷和几何色差缺陷,
-与扫描仪组合的一次性相机的锐度缺陷或模糊缺陷。
涉及装置P25的缺陷P5的格式化信息15可以表示为依赖于可变特征P6的可参数化模型P10的参数P9的形式。通过可参数化模型P10的参数P9,有可能在一组数学函数、如多变量多项式中确定数学函数P16;通过该数学函数P16,有可能将图像质量修改为变量P6的指定值的函数。
通过这种方式,图像处理装置P1可以使用可参数化变换模型P10的参数P9来计算修改后的图像,例如计算图像中一个点的校正的强度或校正的恢复强度。
色平面
具体参考图15,现描述彩色图像103的色平面P20的概念。图像103可以通过各种方式分解为色平面P20:平面数目(1、3或更多),精度(8位无符号、16位有符号、浮点等)和平面(相对于标准颜色空间)的权。此时图像103可以通过各种方式分解为色平面P20:由红色像素组成的红色平面、绿色平面、蓝色平面(RGB)或强度、饱和度、色调等;另一方面,可能存在如PIM的颜色空间,或可能是负像素值,以便能够表示减色,所述减色不能用正的RGB表示;最后,有可能使用8位或16位或使用浮点值对像素值编码。举例说明如何使格式化信息15与色平面P20相关:对于红色平面、绿色平面和蓝色平面,锐度缺陷的表征可以不同,从而允许图像处理装置P1针对每个色平面P20采用不同的方式来校正锐度缺陷。
提供格式化信息
具体基于图8、13、15和16,现描述本发明的一个可替选实施例。为向图像处理装置P1提供标准格式的格式化信息15,本系统包括数据处理装置,且本方法包括用格式化信息15填充标准格式的至少一个域91的步骤。域91则可以具体包含:
-涉及缺陷P5的值,例如为参数P9的形式,使得图像处理装置P1可以使用参数P9通过考虑缺陷P5来修改图像质量,和/或
-涉及锐度缺陷的值,例如为参数P9的形式,使得图像处理装置P1可以使用参数P9通过考虑锐度缺陷来修改图像质量,并且可以计算图像中一个点的校正的形状或校正的恢复形状,和/或
-涉及色度学缺陷的值,例如为参数P9的形式,使得图像处理装置P1可以使用参数P9通过考虑色度学缺陷修改图像质量,并且可以计算图像中一个点的校正的颜色或校正的恢复颜色,和/或
-涉及几何失真缺陷和/或几何色差缺陷的值,例如为参数P9的形式,使得图像处理装置P1可以使用参数P9通过考虑几何失真缺陷和/或几何色差缺陷来修改图像质量,并且可以计算图像中一个点的校正的位置或校正的恢复位置,和/或
-涉及几何虚光缺陷的值,例如为参数P9的形式,使得图像处理装置P1可以使用参数P9通过考虑几何虚光缺陷来修改图像质量,并且可以计算图像中一个点的校正的强度或校正的恢复强度,和/或
-涉及偏差14的值,和/或
-为依赖于图像103的可变特征P6的函数的值,例如依赖于对应于焦距的可变特征P6的多项式的系数和项,使用该系数和项有可能将图像中一个点的校正的强度计算为该点离中心的距离的函数,通过这种方式,图像处理装置可以在捕获图像103的时刻针对图像捕获装置任意焦距值计算一个点的校正的强度。
-涉及格式化信息的值,该格式化信息涉及色平面P20,
-涉及格式化信息的值,
-涉及测得的格式化信息的值,
-涉及扩展格式化信息的值。
产生格式化信息
具体基于图7、12和17,现描述本发明的一个可替选实施例。本发明可以使用上文描述的数据处理装置和第一算法和/或第二算法和/或第三算法和/或第四算法和/或第五算法和/或第六算法和/或第七算法和/或第八算法,来产生涉及装置链P3中的装置P25的缺陷P5的格式化信息15。
应用本发明来降低成本
降低成本定义为降低装置链P3中的装置P25的成本,特别是装置或装置链中的光学系统的成本,该方法包括:
-减少透镜数目,和/或
-简化透镜形状,和/或
-设计一个缺陷P5大于装置或装置链的期望缺陷的光学系统,或是从目录中选择该光学系统,和/或
-使用对装置或装置链成本较低且增加缺陷的材料、组件、处理操作或制造方法。
根据本发明的方法和系统可以用来降低装置或装置链的成本:有可能设计一个数字光学系统,以产生涉及装置或装置链的缺陷的格式化信息,以使用该格式化信息使集成或非集成的图像处理装置P1能够修改来自或送到该装置或装置链的图像的质量,从而使该装置或装置链与图像处理装置的组合能够以降低的成本捕获、修改或恢复具有期望质量的图像。