CN112544076A

CN112544076A - 用于映射图像传感器的不均匀性的方法和系统

Info

Publication number: CN112544076A
Application number: CN201980051228.4A
Authority: CN
Inventors: T·金普
Original assignee: Barco Corp
Current assignee: Barco Corp
Priority date: 2018-07-31
Filing date: 2019-07-26
Publication date: 2021-03-23
Anticipated expiration: 2039-07-26
Also published as: WO2020025509A1; US11902504B2; CN112544076B; GB201812446D0; EP3831060A1; US20210281829A1

Abstract

一种用于映射具有图像传感器元件的便携式图像传感器的不均匀性的方法，每一图像传感器元件具有坐标。该方法包括图像传感器使用不同图像传感器元件捕获来自测试图案的属性的图像。图像传感器的不均匀性可通过将该属性的值与相应图像传感器元件坐标存储在查找表中来被映射。

Description

用于映射图像传感器的不均匀性的方法和系统

技术领域

本发明涉及用于带针对图像传感器的不均匀性的补偿的可视化的方法和系统。

背景技术

用于专业应用的可视化解决方案通常需要严格的质量和性能要求。对于许多领域，这些显示器需要针对特殊标准(例如，用于医疗显示器的DICOM GSDF标准)来精确校准，并且需要执行定期质量保证测试以验证是否维持了正确的校准状态。这种校准和质量保证测试要求对显示器行为进行精确的光学测量。通常，可以使用高质量和昂贵的测量装备(例如，色度计和光谱仪)来执行这些测量。测量装备可以保持在显示系统外部，或者内置在显示系统中。

消费者显示系统的质量已经提高，并且越来越多的消费者显示系统被用于专业应用。这些显示器通常没有配备用于执行质量保证和校准的精确但更昂贵类型的光学测量系统。

尽管近几年嵌入式数字相机(诸如智能手机相机)的质量提高，但它们仍然不足以校准专业应用的可视化解决方案。例如，嵌入式数字相机图像的固有质量和重复性已经不足。例如，嵌入式数字相机会受到显著且未知的(设备相关的)镜头不均匀性的影响，这影响测量。相机参数通常是针对每一所拍摄图像自动地设置的，这造成低重复性水平。因此，不适合使用嵌入式数字相机来测量外部显示器的可靠特征并将其用于质量保证和校准目的。

专利申请US20160292376A1公开了一种使用智能手机执行医疗显示器的校准的方法。他们没有讨论如何校准智能手机相机本身。

专利申请US20170359560A1或WO2017/213685公开了通过建立第一图像的像素和每一后续图像的像素之间的对应关系，来从诸如纸质照片之类的物理物品生成合成图像。该方法描述了一种计算机实现的方法，其包括使用相机在第一相机位置捕获物理物品的第一图像，基于第一图像检测与该物理物品相关联的边界，生成覆盖，所述覆盖包括定位在与所述物理物品相关联的一个或多个边界内的多个对象，用所述相机捕获所述物理物品的后续图像，其中每一后续图像是在相应的后续相机位置捕获的，并且在后续图像的捕获期间，显示包括覆盖的图像预览。该方法还包括建立第一图像的像素和每一后续图像的像素之间的对应关系并生成物理物品的合成图像，其中合成图像的每一像素值基于第一图像和后续图像的对应像素值。然而，所描述的方法被用于去除要被转换成电子版本的物理照片的眩光。

发明内容

本发明的目的是提供一种用于映射图像传感器(诸如便携式图像传感器)的不均匀性的方法，在每一情形中，所述图像传感器包括图像传感器区域中的图像传感器元件，由此每一图像传感器元件可具有坐标并且可被配置成对来自测试图案的属性进行成像。

该方法可包括以下步骤：针对对同一测试图案进行成像的至少两组不同的图像传感器元件，

定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件能够对测试图案进行成像，

以及捕获测试图案的图像，

以及对来自测试图案的属性和图像传感器元件坐标进行配准，以及

通过将每一经配准属性和图像传感器元件坐标的值存储在查找表中来映射图像传感器(诸如便携式图像传感器)的不均匀性。

上述方法中的优选步骤是提供图像传感器和测试图案之间的相对移动(诸如提供便携式图像传感器和测试图案之间的相对移动)，随后定位图像传感器(或定位便携式图像传感器)，使得该组图像传感器元件可以对测试图案进行成像。诸如便携式图像传感器之类的图像传感器相对于测试图案的相对移动的步骤可以包括移动诸如便携式图像传感器之类的图像传感器，以及定位诸如便携式图像传感器之类的图像传感器，使得该组图像传感器元件能够对测试图案进行成像。

因而，以上步骤可以变成：

对于对同一测试图案进行成像的至少两组不同的图像传感器元件：

移动图像传感器(诸如便携式图像传感器)，并定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件能够对测试图案进行成像，

以及捕获测试图案的图像，

相对于测试图案移动图像传感器(诸如便携式图像传感器)通常比相对于图像传感器(诸如便携式图像传感器)移动测试图案更容易执行。

通过使不同的图像传感器元件对同一测试图案(或测试图案的一个或多个子单元)进行成像，该方法使得有可能映射图像传感器(诸如便携式图像传感器)的不同成像部分的行为。该映射可被存储在查找表中，并被用于补偿图像传感器(诸如便携式图像传感器)的不均匀行为。

作为补充或替换，可以存在主参考点和位于相对于测试图案的固定位置处的至少一个次参考点，并且该方法还可包括图像传感器(诸如便携式图像传感器)和主参考点之间的相对移动直到主参考点与次参考点交叠的步骤。该步骤可包括移动图像传感器，诸如便携式图像传感器，直到主参考点与次参考点交叠。

作为补充或替换，该方法可包括次参考点是视觉标记、听觉队列、图标、文本消息或触觉信号中的任一者。

作为补充或替换，该方法可包括当主参考点与次参考点交叠时提供视觉或听觉确认的步骤。

作为补充或替换，该方法可包括当主参考点与次参考点交叠时触发测试图案的图像的捕获的步骤。

这具有提供一种用于指导图像捕获的方法的优点。例如，它可以确保使用大量的图像传感器元件来对测试图案进行成像。

作为补充或替换，第一组图像传感器元件中的一个图像传感器元件可以位于图像传感器区域之处或其中心，并且不同于第一组的至少第二组图像传感器元件中的一个图像传感器元件可位于图像传感器区域的中心和末端之间的线上。该方法可包括使用第一组和至少一组第二组图像传感器元件来采集测试图案的图像的步骤。另外，至少第二组图像传感器元件中的一个图像传感器元件可以位于末端处。

这具有在图像中映射从图像传感器(诸如便携式图像传感器)的中心向图像传感器(诸如便携式图像传感器)的外边缘的系统衰减效应的优点。

作为补充或替换，可以使用不同各组的图像传感器元件来多次重复捕获测试图案的图像的步骤，其中对于每一组图像传感器元件，该方法提取属性值。

当提取了所有属性值时，该方法还可包括以下步骤：

在所有所提取的属性值上对属性值取平均，以及

将平均属性值指派给所有各组图像传感器元件。

这给出以下优点：将不同图像传感器元件之间的噪声和其他变化平均掉，使得图像传感器(诸如便携式图像传感器)对于同一测试图案给出相同的响应，而与图像传感器(诸如便携式图像传感器)内的位置无关。

作为补充或替换，属性值可以是图像传感器亮度或图像传感器色点中的至少一者。

作为补充或替换，测试图案可由显示器输出，或可被实现在包括纸或其他天然纤维、聚合物或金属的片材上。

作为补充或替换，该方法还可包括对测试图案序列进行成像的步骤，使得该成像可以与输出该序列的显示器同步。

这具有提供自动成像序列的优点。

在本发明的另一实施例中，提供了一种用于映射包括图像传感器元件的图像传感器(诸如便携式图像传感器)的不均匀性的系统，由此每一图像传感器元件可具有坐标并且可被配置成对来自测试图案的属性进行成像，

由此该系统可被配置成针对对同一测试图案进行成像的至少两组不同的图像传感器元件，实现以下步骤：

定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件对测试图案进行成像，

捕获测试图案的图像，

对来自测试图案的属性和图像传感器元件坐标进行配准，以及

该系统优选地被配置成移动图像传感器(诸如便携式图像传感器)，并定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件能够对测试图案进行成像，因而，该系统可被配置成针对对同一测试图案进行成像的至少两组不同的图像传感器元件，实现以下步骤：

移动图像传感器(诸如便携式图像传感器)，并定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件对测试图案进行成像，

捕获测试图案的图像，

另外，该系统可被配置用于图像传感器(诸如便携式图像传感器)相对于测试图案的相对移动，并且该相对移动将定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件可对测试图案进行成像。

因而，该系统可被配置成针对对同一测试图案进行成像的至少两组不同的图像传感器元件，实现以下步骤：

相对于测试图案来相对地移动图像传感器(诸如便携式图像传感器)，并定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件对测试图案进行成像，

捕获测试图案的图像，

通过使不同的图像传感器元件对同一测试图案(或测试图案的一个或多个子单元)进行成像，该系统使得有可能映射图像传感器(诸如便携式图像传感器)的不同成像部分的行为。这可针对测试图案的一个或多个子单元来完成。该映射可被存储在查找表中，并被用于补偿图像传感器(诸如便携式图像传感器)的不均匀行为。

作为补充或替换，成像区域可包括成像区域中的主参考点和相对于测试图案的固定位置处的至少一个次参考点，使得当主参考点和次参考点之间存在交叠时，可为图像传感器(诸如便携式图像传感器)定义成像位置。

作为补充或替换，该参考点可以是视觉标记、听觉队列、图标、文本消息或触觉信号中的任一者。

作为补充或替换，该系统可被配置成在主参考点和次参考点之间可存在交叠时向图像传感器(诸如便携式图像传感器)提供视觉或听觉确认。

作为补充或替换，该系统可被配置成在主参考点和次参考点之间存在交叠时使用图像传感器(诸如便携式图像传感器)立即捕获测试图案的图像。

作为补充或替换，诸如便携式图像传感器之类的图像传感器可被配置成使用第一组和至少一组第二图像传感器元件来采集测试图案的图像，其中第一组图像传感器元件中的一个图像传感器元件可以位于图像传感器区域的中心，而不同于第一组的至少第二组图像传感器元件中的一个图像传感器元件可以位于图像传感器区域的中心和末端之间的线上。

作为补充或替换，末端可以是图像传感器区域的边或角。

作为补充或替换，至少第二组图像传感器元件中的一个图像传感器元件可以位于图像传感器区域的末端处。

这具有如下优点：提供一种用于在图像中映射从图像传感器(诸如便携式图像传感器)的中心向图像传感器(诸如便携式图像传感器)的外边缘系统衰减效应的系统。

作为补充或替换，诸如便携式图像传感器之类的图像传感器可被配置成使用不同的各组图像传感器元件多次重复地捕获测试图案的图像，其中对于每一组图像传感器元件，可以提取属性值，并且该系统可被配置成在所有所提取的属性值上对属性值取平均，并将平均属性值指派给所有各组图像传感器元件。

这给出提供了一种以下系统的优点：该系统用于将不同图像传感器元件之间的噪声和其他变化平均掉，使得图像传感器(诸如便携式图像传感器)对于同一测试图案给出相同的响应，而与图像传感器(诸如便携式图像传感器)内的位置无关。

作为补充或替换，图像传感器属性可以是亮度或色彩。

作为补充或替换，该系统可包括显示器，并且其中测试图案可被输出在显示器上或可被实现在包括纸或其他天然纤维、聚合物或金属的片材上。

作为补充或替换，显示器可被配置成与诸如便携式图像传感器之类的图像传感器对序列的采集同步地输出测试图案序列。

这具有提供用于自动成像序列的系统的优点。

作为补充或替换，测试图案可包括子单元，由此每一子单元可至少具有图像传感器元件的大小。

在本发明的又一实施例中，提供了一种用于映射图像传感器(诸如便携式图像传感器)的不均匀性的系统，其中每一图像传感器包括图像传感器区域中的图像传感器元件，每一图像传感器元件可以具有坐标并且被配置成对来自测试图案的属性进行成像，该系统可被配置成针对对同一测试图案进行成像的至少两组不同的图像传感器元件，实现以下各项：

用于定位图像传感器(诸如便携式图像传感器)，使得该组图像传感器元件对测试图案进行成像的装置，

用于捕获测试图案的图像的装置，

用于对来自测试图案的属性和图像传感器元件坐标进行配准的装置，以及

用于通过将每一经配准属性和图像传感器元件坐标的值存储在查找表中来映射图像传感器(诸如便携式图像传感器)的不均匀性的装置。

该系统优选地具有用于移动图像传感器(诸如便携式图像传感器)的装置，以及用于定位图像传感器(诸如便携式图像传感器)的装置，使得该组图像传感器元件能够对测试图案进行成像。因而，该系统可被配置成针对对同一测试图案进行成像的至少两组不同的图像传感器元件，实现以下各项：

用于移动图像传感器(诸如便携式图像传感器)并定位图像传感器(诸如便携式图像传感器)使得该组图像传感器元件对测试图案进行成像的装置，

用于捕获测试图案的图像的装置，

该系统可包括用于图像传感器(诸如便携式图像传感器)和测试图案之间的相对移动以及相对于测试图案定位图像传感器(诸如便携式图像传感器)使得该组图像传感器元件对测试图案进行成像的装置，

用于捕获测试图案的图像的装置，

通过使不同的图像传感器元件对同一测试图案(或测试图案的一个或多个子单元)进行成像，该系统使得有可能映射图像传感器(诸如便携式图像传感器)的不同成像部分的行为。该映射可被存储在查找表中，并被用于补偿图像传感器(诸如便携式图像传感器)的不均匀行为。

作为补充或替换，该系统具有在主参考点和次参考点之间可存在交叠时向图像传感器(诸如便携式图像传感器)提供视觉或听觉确认的装置。

作为补充或替换，该系统具有在主参考点和次参考点之间存在交叠时使用图像传感器(诸如便携式图像传感器)立即捕获测试图案的图像的装置。这公开了用于引导图像捕获的装置。例如，它可以确保使用大量的图像传感器元件来对测试图案进行成像。

作为补充或替换，诸如便携式图像传感器之类的图像传感器可具有使用第一组和至少一组第二图像传感器元件来采集测试图案的图像的装置，其中第一组图像传感器元件中的一个图像传感器元件可以位于图像传感器区域的中心，而不同于第一组的至少第二组图像传感器元件中的一个图像传感器元件可以位于图像传感器区域的中心和末端之间的线上。

作为补充或替换，末端可以是图像传感器区域的边或角。

作为补充或替换，至少第二组图像传感器元件中的一个图像传感器元件可以位于末端处。

作为补充或替换，诸如便携式图像传感器之类的图像传感器可具有使用不同的各组图像传感器元件多次重复地捕获测试图案的图像的装置，其中对于每一组图像传感器元件，可提供用于提取属性值的装置，并且该系统可具有在所有所提取的属性值上对属性值取平均的装置，以及将平均属性值指派给所有各组图像传感器元件的装置。

作为补充或替换，图像传感器属性可以是亮度或色彩。

这具有提供用于自动成像序列的系统的优点。

作为补充或替换，测试图案可包括子单元，每一子单元可至少具有图像传感器元件的大小。

在本发明的又一实施例中，提供了一种包括软件的计算机程序产品，当该软件在一个或多个处理引擎上被执行时能够执行本发明的方法中的任一者。作为补充或替换，可存在包括该计算机程序产品的app(应用)。

作为补充或替换，可存在能存储该计算机程序产品的非瞬态信号存储介质。

这具有如下优点：映射规程能被实现在app中，该app也可具有应用所得的查找表的装置。该app能与测试图案协作并定义相对于测试图案的一个或多个参考点。

附图说明

图1示出了用于显示校准的系统。

图2示出了包括相机传感器的不同位置的本发明的实施例。

图3示出了包括不同测试图案的本发明的实施例。

图4a)-e)示出了包括视觉标记的本发明的实施例。

定义

“图像传感器”可由作为“图像传感器元件”(或像素)的子单元组成，这些子单元一起可以捕获图像并将该信息作为电信号来传输。信号可以是模拟的或数字的。图像传感器元件的量(即数量)可以给出捕获图像的最高分辨率。

图像传感器可以对对象(例如测试图案)的属性进行成像。此类属性可包括各种波长的反射或发射电磁辐射的行为。对于相机应用，通常考虑的是人眼可见的波长。常见的辐射测量是亮度。

“便携式图像传感器”可以是嵌入在诸如举例而言膝上型设备、移动电话、智能手机、平板、掌垫等计算处理设备中的图像传感器。在本发明的上下文中，它还可以包括驻定计算机。计算处理设备具有用于提供可以在内部或外部显示设备上输出的内容的装置。

具有图像传感器元件(或像素)的图像传感器的“不均匀性”可包括跨不同图像传感器元件(或像素)的特定属性(例如输出亮度或色调)的变化。这将导致图像传感器(诸如便携式图像传感器)的不同部分将采集该属性的不同值。

“测试图案”可包括具有形状、色彩和梯度的各种特征，这些特征尤其被设计用于表征图像传感器元件的行为。测试图案可被输出在电子显示器上或由例如纸或其他天然纤维、聚合物或金属制成的固体薄片上。

“图像特征”是可以从中检索属性的测试图案的一部分。如果图像特征大于图像传感器元件，则可以用多个或一组图像传感器元件对其成像。

“子单元”可被定义为由图像传感器成像的测试图案的最小可分辨特征，其至少具有图像传感器元件的大小。

“失真”可由光学像差引起，并导致待成像对象的连续直线不被再现为直线，而是例如再现为弯曲或不连续的线。

“软件应用程序”或“app”可以是计算机程序产品，其被配置成处置数字或计算机化系统中各设备之间的数据交换。App可以位于远程应用程序服务器上并经由本地客户端来访问。App可以在计算机化设备上执行专用任务。

“镜头衰减”或“渐晕”对应于由于光衰减而使图像的角变暗。镜头衰减可归因于图像传感器(当光以一定角度照射传感器时，图像传感器元件对光较不敏感)和诸如镜头本身之类的光学元件。

“参考点”或虚拟点可以是由到固定参考点的距离所定义的位置。例如，图像传感器区域内的固定参考点可以是图像传感器区域的中心或边缘。参考点则可以是距该固定参考点一定距离的任何点或固定参考点本身。图像(例如测试图案)的固定参考点可以例如是测试图案的中心或测试图案的边缘。它也可以是位于测试图案外部的点，只要固定参考点和测试图案之间的距离不变。

“便携式设备”包括图像传感器，诸如相机和显示器。图像传感器或相机可以作为光学扫描仪来操作。例如，“便携式设备”可以是掌垫、PDA、膝上型设备、智能手机、平板。相机包括具有视野的图像传感器和有源显示区。便携式设备还可包括计算机程序产品，例如智能手机应用程序或智能手机“app”或软件app。便携式设备可具有以下缺陷中的至少一者：

相机系统(诸如膝上型设备、平板、PDA、掌垫、移动电话或智能手机相机系统)中的光学不均匀性：例如，智能手机相机具有需要补偿的光学不均匀性(例如，未知镜头衰减)。

关于相机图像传感器(诸如智能手机图像传感器)的图像传感器元件噪声和图像传感器元件可变性：智能手机传感器通常具有比高质量测量装备更高的图像传感器元件噪声。这优选地需要校正。

相机参数相关挑战：需要控制和仔细配置相机设置(增益/偏移/积分时间)。

光谱敏感度挑战：诸如智能手机相机之类的相机具有非完美和未知(设备相关)的光谱敏感度。因此，色彩(和亮度)测量固有地是不可靠的。

“条形码”是视觉的、机器可读的形式的数据表示。条形码对数据进行编码，该数据可通过读取该条形码来恢复。条形码可以是能由机器视觉装置读取和解释的一维或二维图案。例如，条形码可以通过改变平行线的宽度和间距来表示数据。这些是可以通过特殊的光学扫描仪(诸如条形码读取器)进行扫描的线性或一维(1D)条形码。另外，存在二维条形码，诸如QR码，它可以利用形状，诸如正方形、矩形、三角形、六边形、点、圆、条形、矩形、点和其他几何图案对数据进行编码。这些图案被称为矩阵码或二维条形码。例如，可以使用在诸如移动电话、NDA、PDA、智能手机、掌垫、平板等便携式设备上运行的应用程序来读取或解构二维条形码，例如使用作为扫描仪来操作的内置相机。条形码的子单元携带经编码信息或经编码数据，其可以用条形码扫描仪来解码。例如，QR码可包括用于如下各项的标记：

-定位(取向)

-数据矩阵的大小

-QR码版本

-实际数据

-码区域结尾处的外边界。

“计算机程序产品”可以是在处理器上运行的软件应用程序，例如智能手机的应用程序，或者它可以是智能手机“app”或概括而言软件app。

对“相对运动”的任何引用包括在任何方向上的位置改变以及测试图案和移动设备或图像传感器的取向改变。因此，测试图案可以保持静止，并且移动设备或图像传感器(诸如便携式图像传感器)的位置或取向可以改变，或者测试图案的位置或取向可以改变，并且移动设备或图像传感器(诸如便携式图像传感器)的位置或取向可以保持静止，或者测试图案和图像传感器(诸如便携式图像传感器)这两者的位置或取向可以改变。

具体实施方式

本发明的实施例借助用于基于智能手机(或平板、PDA、掌垫、移动电话、膝上型设备，等等)相机测量来执行可视化系统的QA(质量保证)和校准的可靠系统提供了一种解决方案。通过本发明的实施例可以解决以下问题中的至少一个问题或多个问题或全部问题：

1)诸如便携式设备上的相机之类的相机系统(诸如智能手机相机系统)中的光学不均匀性：相机(诸如智能手机相机)在其产生的图像中具有光学不均匀性，这需要进行补偿(例如补偿未知镜头衰减)。

2)相机图像传感器(诸如智能手机图像传感器)的图像传感器元件噪声和图像传感器元件可变性：诸如智能手机传感器之类的图像传感器通常具有比高质量测量装备更高的图像传感器元件噪声。这优选地要被校正。

3)相机参数相关挑战：需要控制和仔细配置相机设置(增益/偏移/积分时间)。

4)光谱敏感度挑战：诸如智能手机相机之类的相机具有非完美和未知(设备相关)的光谱敏感度。因此，色彩(和亮度)测量固有地是不可靠的。

因此，本发明实施例的目的是提供一种用于可视化设备(诸如房间显示器)的具有包括相机和显示器的便携式设备的可靠校准系统，该设备具有以上在1)、2)、3)和/或4)项中列出的缺陷中的至少一者。这可以通过执行本发明实施例的以下四个步骤来获得。

1.设立连接。连接待校准显示器和便携式设备。这些设备可以连接到可以主控校准应用程序的服务器。

2.定义图像传感器参数的最优设置。这一步骤的目的是找出给出不同测试图案的最佳可能成像的图像传感器参数(例如增益、偏移、积分时间等)。

3.对测试图案执行受控测量序列。这一步骤的原理是用图像传感器7的不同图像传感器元件对示出在房间显示器2上的测试图案的相同部分进行成像。以此方式，可以映射图像传感器元件之间的差异。

4.使用步骤3的差异来设立校准映射。在这一步骤中，步骤3中获得的差异可以通过例如取平均来被消除。

当已经执行了这四个步骤时，便携式设备可被用于例如校准或测试显示器，例如房间显示器2。在这一后续校准或测试规程中使用的测试图案也可以在校准便携式设备2时使用。图3示出了包括测试图案的一些示例的本发明的实施例：具有从黑到白的梯度的亮度测试图案20，具有例如红、绿、蓝和白色块的色彩测试图案21，具有中心黑条的不同厚度的分辨率目标22。

下面将更详细地描述这四个步骤。

1.设立连接

根据本发明的方法的该第一步骤是设立便携式设备和待校准或测试的可视化系统或房间显示设备之间的连接。便携式设备将具有图像传感器。

图1示出了本发明的实施例，该实施例包括装置1，该装置1具有带有源显示区3的房间显示器2和便携式设备4(例如智能手机或上述其他移动设备)，该便携式设备具有带视野8的图像传感器7和有源显示区5。便携式设备4还可包括计算机程序产品10，例如智能手机应用程序或智能手机“app”或软件app。房间显示器2在其有源显示区3上输出内容6。内容6由图像传感器7成像并被输出在便携式设备4的显示区5上。内容6例如可以是QR码或条形码11、测试图案或任意图像或视频内容。房间显示器2和便携式设备4可以连接到包括校准应用程序14的服务器9。本发明的实施例的总体目的可以是确保便携式设备4的图像传感器7表现出足够均匀的行为，使得其可被用于执行显示器(例如房间显示器2)的质量保证检查或校准。内容6可以是测试图案，例如如图3所示。

在便携式设备4和房间显示器2之间进行连接。这例如可以通过生成条形码(例如QR码或条形码11)并在房间显示器2上显示该条形码来实现。便携式设备4然后可以例如经由提供与哪一显示器已经生成该码以及要校准或测试的显示器的身份有关的信息的应用10来读取条形码11。

从架构的视角，房间显示器2可以是包括以下各项的系统的一部分：

a.带有用于连接到(运行校准应用程序的)服务器的web浏览器和web应用程序的工作站，或

b.在工作站上运行的独立应用程序，并且工作站或显示器也经由诸如wifi、蓝牙……等信道连接到便携式设备4以用于与便携式设备4通信，或

c.在工作站上运行但连接到服务器以与便携式设备4交换信息的独立应用程序，或

d.上述任何一项都是可能的，但应用程序或web浏览器运行在房间显示器2内，而不是在工作站上。

2.定义图像传感器参数的最优设置

根据本发明的实施例的方法的第二步骤包括找出图像传感器参数的最优设置。

这一步骤的目的可以是找出可提供不同测试图案的最佳可能成像的图像传感器参数(例如增益、偏移、积分时间等)。

在图1的装置中，一系列不同的测试图案12将显示在显示器2上，并由便携式设备4的图像传感器7成像。可以在使用图像传感器的不同参数集的同时对每一测试图案多次成像，例如参数包括

·增益，

·偏移，

·积分时间，

·聚焦，

·滤光器或光谱设置，

·图像传感器的位置/取向。

通过物理地移动图像传感器(或图像传感器的外壳)，可以将图像传感器置于不同的位置和/或取向。或者，可以将图像传感器置于相对于测试图案的不同位置和/或取向。一个选项是物理地移动图像传感器(或图像传感器的外壳)。或者，可以相对于彼此来移动图像传感器或测试图案或这两者。因此，测试图案可以被移动并且图像传感器(诸如便携式图像传感器)可以保持静止，或者反之亦然，或者它们两者都可以被移动。图2示出了本发明的实施例，该实施例包括便携式设备4在采用三个不同位置时对测试图案12成像。测试图案12可以在有源显示区3上具有任意形状和位置。或者，可以将多个不同的测试图案(如12)布置成测试图案序列13。

图像传感器7和校准应用程序14之间可存在同步，校准应用程序14在房间显示器2上渲染并输出测试图案序列13。以此方式，当图像传感器7采集一个或多个图像时，测试图案13可按稳定的方式被示出。作为补充或替换，每一测试图案13可以用例如QR码来标记，使得便携式设备4可标识正被成像的个体图案。测试图案序列13的生成可以是动态过程，其中参数设置取决于所采集的图像。例如：可以连续增加的曝光时间来采集一系列图像，直到找出最优曝光时间。

如在本发明的任何实施例中使用的图像传感器7可以是便携式图像传感器，例如图像传感器可以位于移动设备中，例如移动设备中的相机。

可以预先定义所需精度，例如描述为所选色彩度量(例如DeltaE2000)中的可接受的最大误差。停止准则此时可以是当达到所需精度时。典型值可以是例如2个DeltaE2000单位。

3.对所采集的测试图案执行受控测量序列

根据本发明的方法的第三步骤包括对测试图案执行受控测量序列。这一步骤的原理是用图像传感器7或不同图像传感器的不同图像传感器元件对示出在房间显示器2上的测试图案12的同一部分进行成像。以此方式，可以映射图像传感器元件之间的差异。

图4a)-e)示出了本发明的实施例，包括受控测量序列。

便携式设备4的图像传感器7可以采集显示器2的图像30。图4a)示出了标记31-35如何覆盖在图像30上。这些标记可以源自已执行的计算机程序产品(例如“app”)。然后，可通过遵循特定指令将便携式设备移动到各种位置(例如，通过用户或机械设备的辅助)。

在图4的当前示例中，此类指令可包括将图像传感器的中心连续地指向标记序列中的每一标记。图像传感器的中心被示为虚线(例如图4e)中的线36和37)的交点。或者，可以改变便携式设备相对于测试图案的相对位置或取向，以便将图像传感器的中心连续地指向标记序列中的每一标记。因此，在所有情形中，可以移动便携式设备并且保持测试图案静止，或者可以移动测试图案并且可以保持便携式设备静止，或者两者都可以移动，以便将图像传感器的中心连续地指向标记序列中的每一标记。

对于图像传感器的中心和标记之间的每一成功对准，可以拍摄一个或多个图像，并且可以移除对应标记或使对应标记不可见或更新对应标记(例如外观改变，例如变灰或者颜色或图案改变，等等)，以确认其已被使用。表1示出了在步骤4a)到4e)中移除标记时的示例。

表1

对准准则可包括将图像传感器7定位在相对于房间显示器2的合适视角以限制图像扭曲失真。如果角度变得过大，则归因于图案的失真而难以正确地执行图案检测。此外，显示器具有视角相关特性，其中当在与显示表面法线成一角度来观察时，与在显示表面法线的方向上观察时相比，亮度和色彩发生变化。现代显示器在与显示器表面法线成60-70°角时具有相当稳定的行为。然而，当以更大角度来查看时，测量值将不再代表显示表面法线方向上的显示行为。

标记可以一个接一个序贯地被示出，或者它们也可以一起被示出，这取决于受控测量序列是否要求相机遵循特定的轨迹/序列，或者正确的位置(与次序无关)是否足够。

本发明的方法的优选实现是，当相机相对于标记中的每一者被正确定位时，使在便携式设备4上运行的校准应用程序自动进行采集。这避免了用户必须手动启动采集。

覆盖中示出的标记的确切数量及其确切位置可取决于需要执行受控测量序列的所需条件。这些标记不一定必须放置在显示器本身的覆盖中，它们也可以放置在显示器“外部”的开放空间中。而且，这些标记不一定必须以对称的方式放置，从而意味着在标记位置上有一种对称性。代替标记，还可能示出需要遵循的完整轨迹指示，例如线。

如果标记被放置得更远，则在其下采集显示器的图像的视角增大。添加更多标记将具有可能以更多视角进行更多采集的后果，并且从而导致不同采集之间的更多交叠。

本发明不限于视觉标记。其他指导可以通过如下指示来提供：例如向前或向后移动、倾斜/旋转图像传感器(诸如便携式图像传感器)、横向移动来向左/向右/向上/向下移动相机。这可以通过使用图标、标记、听觉队列等来实现。代替移动图像传感器(诸如便携式图像传感器)，可以改变图像传感器(诸如便携式图像传感器)相对于测试图案的相对位置或取向。因此，图像传感器(诸如便携式图像传感器)可以被移动并且测试图案保持静止，或者图像传感器(诸如便携式图像传感器)可以被保持静止并且测试图案可以被移动，或者它们两者可以都被移动。

对于要表征的测试图案的部分或全部，可以遵循受控测量序列，以确保测试图案的准确测量。此类受控测量序列可涉及改变诸如便携式图像传感器之类的图像传感器的位置(例如水平、垂直移动)、改变取向/旋转、改变诸如便携式图像传感器之类的图像传感器的放大级(变焦)、改变诸如便携式图像传感器之类的图像传感器距受测显示器的距离，在不同图像传感器采集之间更改图像传感器设置(偏移、增益、曝光时间，如适用[光谱]滤光器设置)。这些移动中的任一者可以是相对位置或取向的变化。

在一个实现中，可以一个接一个地示出测试图案，并且对于每一测试图案，应用受控测量序列。在另一实现中，可以是在经历测量序列时，对于受控测量序列中的每一(或一些)步骤，示出多个测试图案。或者在又另一实现中，前两种办法的组合是可能的(例如，在具有测试图案的一些图像(诸如运动图像)上执行整个受控测量序列，同时针对受控测量序列的选定设置示出具有测试图案的各静态图像)。

4.使用步骤3的差异来设立校准映射。

在这一步骤中，步骤3中获得的差异可以通过例如在所获得的值之间取平均来被消除。在步骤3中以受控方式获得若干采集(在图像传感器(诸如便携式传感器)的不同位置处，同一测试图案)的基本原因可以是，通过组合这些采集，使用图像传感器(诸如便携式设备图像传感器)获得可靠的亮度和色彩测量是可能的(这通过单个采集是不可能获得的)。

根据优选实施例，可以单独地、连续地或并行地执行以下处理步骤以组合多个采集：

a.解决便携式设备镜头衰减的问题

-通过以以下方式选择标记的位置：显示器上示出的测试图案的(每一部分)将至少基本上沿轴被成像并且优选地在至少一个角被成像。例如，测试图案的一部分可以由相邻图像传感器元件在包括整个图像传感器区域的中心和边缘两者的线上连续成像。为了提高精度，可以对测试图案的不同部分重复该规程。

-通过组合(缝合或加权缝合)，生成针对(未知)镜头衰减进行校正的所采集图像是可能的。例如，可以相对于中心值对各值进行归一化。在使用不同测试图案的情形中，则可相对于所有中心值的平均值对各值进行归一化。

b.解决便携式设备图像传感器元件噪声的问题：

由于给定的测试图案(的一部分)将被多次成像，并且使用图像传感器(诸如便携式设备图像传感器)的不同图像传感器元件来成像，因此对这些多次采集的图像传感器元件值进行平均并因此去除消费者便携式设备相机中存在的噪声是可能的。这意味着需要执行映射以确定测试图案的哪个部分正由哪一个体图像传感器元件成像。可以对与测试图案的特定部分相对应的图像传感器元件所进行的所有采集进行平均，并且因此可以消除相机图像传感器元件噪声。图像传感器元件噪声在本上下文中指亮度和色彩噪声两者。

推荐在执行涉及个体图像传感器元件降噪的处理步骤之前，首先执行针对镜头衰减(或概括而言，镜头不均匀性)的校正步骤。

基于步骤4中生成的可靠测量图像，随后可以对这些图像执行正常的校准和QA步骤，以校准或执行对显示器的质量保证测试。

作为补充或替换，使用数据库值来进行便携式设备的光谱补偿是可能的。

另外，可以通过存储所有测量数据并将其用作信息源来执行大数据分析。

作为补充或替换，附加的透明校准图可附连在边框上，并用具有与显示器发所射的光谱相同的光谱特性的光或显示器背光本身来进行背光。校准图可包括与显示器的原色中的至少一者的光谱特性相对应的至少一些色块。背光可以具有附加色源，该色源随着时间的推移在光谱方面非常稳定并且仅在校准或质量保证动作期间被激活。通过依次启用/禁用校准图的背光，非常精确地校准图像传感器(诸如便携式图像传感器)的光谱行为是可能的。

Claims

1.一种用于映射图像传感器的不均匀性的方法，所述图像传感器包括图像传感器区域中的图像传感器元件，每一图像传感器元件具有坐标且被配置成对来自测试图案的属性进行成像，

所述方法包括以下步骤：针对对同一测试图案进行成像的至少两组不同的图像传感器元件，

-相对地移动所述图像传感器和所述测试图案并相对于彼此来定位所述图像传感器和所述测试图案，使得所述一组图像传感器元件对所述测试图案进行成像，

-捕获所述测试图案的图像，

-对来自所述测试图案的所述属性和图像传感器元件坐标进行配准，以及

通过将每一经配准属性和图像传感器元件坐标的值存储在查找表中来映射所述图像传感器的不均匀性。

2.如权利要求1所述的方法，其特征在于，所述相对移动步骤包括移动所述图像传感器以使得所述一组图像传感器元件对所述测试图案进行成像，或者包括彼此所述图像传感器静止并移动所述测试图案以使得所述一组图像传感器元件对所述测试图案进行成像，或者移动所述图像传感器和所述测试图案两者以使得所述一组图像传感器元件对所述测试图案进行成像。

3.如权利要求1或2所述的方法，其特征在于，所述图像传感器区域包括主参考点和位于相对于所述测试图案的固定位置处的至少一个次参考点，并且所述方法还包括移动所述图像传感器直至所述主参考点与所述次参考点交叠的步骤。

4.如权利要求3所述的方法，其特征在于，所述次参考点是视觉标记、听觉队列、图标、文本消息或触觉信号中的任一者。

5.如权利要求3或4所述的方法，其特征在于，还包括当所述主参考点与所述次参考点交叠时提供视觉或听觉确认的步骤。

6.如权利要求3到5中的任一项所述的方法，其特征在于，还包括当所述主参考点与所述次参考点交叠时触发所述测试图案的图像的捕获的步骤。

7.如权利要求1到6中的任一项所述的方法，其特征在于，第一组图像传感器元件中的一个图像传感器元件位于所述图像传感器区域的中心，并且不同于所述第一组图像传感器元件的至少第二组图像传感器元件中的一个图像传感器元件位于所述图像传感器区域的中心与末端之间的线上，所述方法包括使用所述第一组图像传感器元件和所述至少一组第二组图像传感器元件快采集所述测试图案的图像的步骤。

8.如权利要求7所述的方法，其特征在于，所述末端是所述图像传感器区域的边缘或角。

9.如权利要求7或8所述的方法，其特征在于，所述至少第二组图像传感器元件中的一个图像传感器元件位于末端。

10.如权利要求1到9中的任一项所述的方法，其特征在于，使用不同各组的图像传感器元件来多次重复捕获所述测试图案的图像的步骤，其中对于所述各组图像传感器元件中的每一组，所述方法提取所述属性值。

11.如权利要求10所述的方法，其特征在于，还包括在所有属性值已被提取时的以下步骤：

-在所有所提取的属性值上对所述属性值取平均，以及

-将平均属性值指派给所有各组图像传感器元件。

12.如权利要求1到11中的任一项所述的方法，其特征在于，所述属性值是图像传感器亮度或所述图像传感器色点中的至少一者。

13.如权利要求1到12中的任一项所述的方法，其特征在于，所述测试图案由显示器来输出。

14.如权利要求1到13中的任一项所述的方法，其特征在于，所述测试图案被实现在包括纸或其他天然纤维、聚合物或金属的片材上。

15.如权利要求10到14中的任一项所述的方法，其特征在于，还包括对测试图案序列进行成像，使得所述成像与所述显示器输出所述序列同步的步骤。

16.如任一前述权利要求所述的方法，其特征在于，所述图像传感器是便携式图像传感器。

17.一种用于映射图像传感器的不均匀性的系统，所述图像传感器包括图像传感器区域中的图像传感器元件，每一图像传感器元件具有坐标且被配置成对来自测试图案的属性进行成像，

由此所述系统被配置成针对对同一测试图案进行成像的至少两组不同的图像传感器元件，实现以下步骤：

-相对于彼此移动所述图像传感器和所述测试图案并定位所述图像传感器和所述测试图案的相对位置，使得所述一组图像传感器元件对所述测试图案进行成像，

-捕获所述测试图案的图像，

-对来自所述测试图案的属性和图像传感器元件坐标进行配准，以及

通过将每一经配准属性和图像传感器元件坐标的值存储在查找表中来映射所述便携式图像传感器的不均匀性。

18.如权利要求17所述的系统，其特征在于，相对于彼此移动所述图像传感器和所述测试图案是移动所述图像传感器以使得所述一组图像传感器元件对所述测试图案进行成像，或者包括保持所述图像传感器静止并移动所述测试图案以使得所述一组图像传感器元件对所述测试图案进行成像，或移动所述图像传感器和所述测试图案两者以使得所述一组图像传感器元件对所述测试图案进行成像。

19.如权利要求17或18所述的系统，其特征在于，所述成像区域包括所述成像区域中的主参考点和相对于所述测试图案的固定位置处的至少一个次参考点，使得当所述主参考点和次参考点之间存在交叠时，为所述图像传感器定义成像位置。

20.如权利要求17到19中的任一项所述的系统，其特征在于，所述图像传感器被配置成使用第一组图像传感器元件和至少一个第二组图像传感器元件来采集测试图案的图像，其中所述第一组图像传感器元件中的一个图像传感器元件位于所述图像传感器区域的中心，并且不同于所述第一组图像传感器元件的至少所述第二组图像传感器元件中的一个图像传感器元件位于所述图像传感器区域的中心与末端之间的线上。

21.如权利要求20所述的系统，其特征在于，所述末端是所述图像传感器区域的边缘或角。

22.如权利要求20或21所述的系统，其特征在于，所述至少第二组图像传感器元件中的一个图像传感器元件位于末端。

23.如权利要求17或22中的任一项所述的系统，其特征在于，所述图像传感器被配置成使用不同各组图像传感器元件多次重复地捕获所述测试图案的所述图像，其中对于所述各组图像传感器元件中的每一者提取属性值，并且所述系统被配置成在所有所提取的属性值上对所述属性值取平均并将平均属性值指派给所有各组图像传感器元件。

24.如权利要求17到23中的任一项所述的系统，其特征在于，所述图像传感器属性是亮度或色彩。

25.如权利要求17到24中的任一项所述的系统，其特征在于，包括显示器，并且其中所述测试图案被输出在所述显示器上。

26.如权利要求17到25中的任一项所述的系统，其特征在于，所述测试图案由包括纸或其他天然纤维、聚合物或金属的片材来提供。

27.如权利要求17到26中的任一项所述的系统，其特征在于，所述测试图案包括子单元，每一子单元具有至少图像传感器元件的大小。

28.一种包括软件的计算机程序产品，所述软件在一个或多个处理引擎上被执行时执行权利要求1至16所述的方法中的任一者。

29.一种包括如权利要求28所述的计算机程序产品的app。

30.一种非瞬态信号存储介质，所述非瞬态信号存储介质存储权利要求28所述的计算机程序产品。