CN107743637B

CN107743637B - 用于处理外围图像的方法和设备

Info

Publication number: CN107743637B
Application number: CN201680015509.0A
Authority: CN
Inventors: P.吉洛特尔; F.厄本; L.图尔班
Original assignee: InterDigital Madison Patent Holdings SAS
Current assignee: InterDigital Madison Patent Holdings SAS
Priority date: 2015-03-13
Filing date: 2016-03-02
Publication date: 2023-02-24
Anticipated expiration: 2036-03-02
Also published as: EP3268930A1; JP7247249B2; KR20170127445A; US20180068425A1; KR102483680B1; JP2018514977A; EP3268930B1; JP2021170769A; CN107743637A; WO2016146386A1; EP3067857A1; US10593027B2

Abstract

公开了用于处理在显示时扩展到中心图像的边界之外的至少一个外围图像的方法。该方法包括将外围图像的亮度调整到人类视觉特性，其中处理外围图像的亮度使得从观看者的视场中的外围图像发出的呈现的光保持为低，并接近于仅通过中心视图呈现的光。根据第一实施例，该方法包括：通过将光校正函数应用到输入亮度，将外围图像的亮度调整到参考反射率水平，其中这样的光校正函数是通过测量调整到显示外围图像的表面的参考反射率水平的显示的外围图像的呈现的亮度水平得到的。根据第二实施例，进一步调节亮度到关于参考反射率的真实反射率。根据第三实施例，增加外围图像中移动对象的亮度。

Description

用于处理外围图像的方法和设备

1.技术领域

在下文中，公开了一种用于处理图像的设备和方法。特别地，公开了一种用于处理扩展到中心图像的边界之外的至少一个外围图像的设备和方法。

2.背景技术

本节旨在向读者介绍本领域的各个方面，这可能与以下描述和/或要求保护的本原理的各个方面有关。这种讨论被认为有助于向读者提供背景信息，以便更好地了解本原理的各个方面。因此，应当理解，将以这个角度理解这些叙述，而不作为现有技术的承认。

今天的电影大多是仅用于中心屏幕而产生的。为了改善用户体验，将额外的内容投影在电视或电影院屏幕的周围，从而扩展用户周围的原始场景。这样通过填充观众视野的系统增强了用户的沉浸感，即，其给予用户更好的在场景中的感觉。例如，使用宽视角的相机、用于110到360捕获的摄像机平台捕获这样的内容或者使用计算机生成的图像来创建这样的内容。

然而，以与原始视频一致的方式扩展视频内容并且在视觉上令人满意是困难的。

在扩展视频内容的方法中，第一种是利用宽视角的捕获额外的内容。然而，至少因为后期制作需要管理更多的图像(中心和侧面图像)，这样的技术需要大量的人工工作。此外，因为它旨在改善用户体验，扩展需要特别的注意，不应当打扰或为观众制造麻烦。

用于扩展视频内容的简单技术是Philips的技术Ambilight，在WO2004/006570中公开，其研究了在中心图像中颜色的分布，并使用安装在屏幕边缘上的RGB LED将图像的主要颜色投影在屏幕周围。光投影仅在电视机周围有限的区域内在完成，并不提供背景、形状或运动印象的细节。然而，在高亮度图像的情况下，以颜色和光的形式符合内容这种扩展可能不是最佳的，因为这种技术增加了太多的背景光。扩展不应该打扰或为观众制造麻烦，因为其旨在改善用户体验。

用于扩展视频的另一种技术是AAides等人公开在“Multiscale ultrawidefoveated video extrapolation”(IEEE International Conference on ComputationalPhotography(ICCP)2011，第1-8页)中的技术。算法的关键思想是在空间和时间维度上使用补丁匹配(Patch-Match)算法(使用视频立方体，而不是图像块)将视频外推到其边界之外。当选择正确的补丁时，该方法会不利于(penalize)可能导致分心的补丁。此外，由于人类视觉对偏离眼睛中心越远的细节越不敏感，所以算法以不同的分辨率计算。当以从更粗糙的分辨率到更高分辨率完成外推时，得到最好的结果。然而，使用这样的技术，因为扩展的大小受到限制，可能不能填充用户的全部视场。此外，对于其他计算机生成的图像，可能不能保留艺术意图。实际上，用户可能会因侧面的图像而分散注意力，或者观看条件的修改可能太有吸引力。

因此，即使扩展对于沉浸性而言是理想的，扩展可能不适合于舒适的观看体验，特别是当扩展的投影引起太多的光时。因此需要一种处理扩展内容以便改善用户体验的方法。

3.发明内容

根据本原理，描述了其中处理外围图像的亮度的实施例，使得来自观看者视野中的外围图像的光保持为低。换句话说，周边视图的亮度减小，使得当显示视图时，通过中心视图和周边视图呈现的全局亮度保持在接近仅通过中心视图呈现的亮度。

为此，公开了一种用于处理扩展中心图像的边界的至少一个外围图像的方法。该方法包括基于人类视觉特性调整外围图像的亮度。

更具体地，根据第一实施例，该方法包括通过将光校正函数应用到外围图像的亮度，将外围图像的亮度调整到参考反射率水平，其中通过测量调整为显示外围图像的表面的参考反射率水平的显示的外围图像的呈现的亮度水平获得光校正函数。根据第一实施例的具体特征，光校正函数是使得在外围图像的亮度高于高亮度阈值的情况下降低亮度，并且在外围图像的亮度低于低亮度阈值的情况下不修改亮度。有益地，低亮度阈值和高亮度阈值分别对应于当以所述参考反射率水平显示所述外围图像时，用于所述外围图像的增加的亮度的显示的外围图像的低的呈现的亮度水平和高的呈现的亮度水平。换句话说，通过实验获得阈值，其中显示具有增加的亮度水平的外围图像。

在外围投影反射太多光使得视图的视场中全局光比从中心视图的原始意图更高的情况下，特别适合这样的实施例。

根据第一实施例的变型，调整外围图像的亮度包括应用调整到参考反射率水平的光校正函数；并且降低外围图像的亮度以适应显示的全局亮度水平。这种变型特别适于将为参考环境获得的光校正函数调整为用户环境或用户偏好。根据具体特征，调整所述外围图像的亮度进一步包括关于参考反射率水平应用依赖于显示外围图像的表面的反射率水平的线性函数。

在外围投影由于黑色侧壁而没有足够的光反射的情况下，特别适合这种变型。

根据第二实施例，该方法包括增加外围图像中的移动对象的亮度。有益地，这种基于对象的调整增加了移动对象的外观。

根据第二方面，公开了一种用于处理至少一个外围图像的设备，其在显示时扩展显示的中心图像的边界。该设备包括，至少一个处理器，配置为通过对外围图像的亮度应用光校正函数来将所述外围图像的亮度调整为参考反射率水平，其中通过测量调整为显示外围图像的表面的参考反射率水平的显示的外围图像的呈现的亮度水平获得光校正函数。根据另一实施例，公开了一种用于在至少一个屏幕上投影视频数据的设备，其中视频数据包括中心图像和至少一个外围图像。投影设备包括至少一个处理器，其配置成根据本原理调整外围图像的亮度。

根据另一实施例，该设备包括用于根据本原理调整外围图像的亮度的部件。

根据第三方面，一种计算机程序产品，其包括用于在计算机上执行该程序时，执行根据公开的任何实施例和变型的处理方法的步骤的程序代码指令。

一种处理器可读介质，其中存储有用于使处理器至少执行根据所公开的任何实施例和变型的处理方法的步骤的指令。

根据第四方面，公开了一种可由计算机读取的非暂时性程序存储设备，其有形地体现了可由计算机执行的指令程序，以执行根据公开的任何实施例和变型的处理方法。

虽然没有明确描述，但是本实施例可以以任何组合或子组合来使用。此外，对于处理方法描述的任何特征或实施例与旨在处理所公开的方法的设备和存储程序指令的计算机可读存储介质兼容。

4.附图说明

在附图中，图示了本原理的实施例。其示出了：

-图1描绘了根据本原理的实施例的处理设备；

-图2表示根据本原理的实施例的图1的处理设备的示例性架构；

-图3示出了用于显示外推图像的示例性布置；

-图4图示了包括中心图像和在亮度调整之前和之后生成和显示的超出中心图像的左边界和右边界的外推图像的示例性图像；

-图5表示根据本原理的实施例的用于显示多个视频的方法的流程图；

-图6表示根据本原理的实施例的通过空间量化以获得两个图像的相对定位的变换的解释。

5.具体实施例

图1描绘了根据本原理的实施例的用于调整扩展超出中心图像的边界的至少一个外围图像的亮度的处理设备1。将视频内容扩展到围绕屏幕，特别是用于使用宽视野的剧院、家庭影院或头戴式(HMD)设备。这些种类的显示器被称为沉浸式显示器。例如，为了将视频内容扩展到围绕屏幕，外推内容以创建外围(或侧面)投影。这可以通过使用适当的图像处理技术来从原始中心内容进行外推来完成。然而，可以从具有大视场的照相机获得外围内容。因此，处理设备1包括配置成接收至少一个外围视频的输入10。外围视频可以从源获得。根据本原理的不同实施例，源属于这样的集合，包括：

-本地存储器，例如视频存储器、RAM、闪存、硬盘；

-存储器接口，例如与大容量存储器、ROM、光盘或磁性支架的接口；

-通信接口，例如。有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(例如IEEE 802.11接口或蓝牙接口)；以及

-图像捕获电路(例如，如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体)的传感器)。

将输入10链接到模块12，模块12配置成响应于人类视觉特性来调整至少一个外围视频的亮度。调整的外推视频可以存储在存储器中，或者可以发送到目的地。作为示例，这样的信息存储在远程或本地存储器中，例如，视频存储器或RAM、硬盘。在一个变型中，将信息发送到存储接口(例如，与大容量存储器、ROM、闪存、光盘或磁性支架的接口)和/或通过通信接口(例如，点对点连接的接口、通信总线、点对多点连接或广播网络)。在一个变型中，处理设备1还包括用于外推周围视频的模块。

图2表示根据本原理的示例性实施例的处理设备1的示例性架构。处理设备1包括一个或多个处理器110，例如CPU、GPU和/或DSP(数字信号处理器的英文首字母缩略词)以及内部存储器120(例如RAM、ROM、EPROM)。处理设备1包括适于显示输出信息和/或允许用户输入命令和/或数据的一个或多个输入/输出接口130(例如键盘、鼠标、触摸板、网络摄像头、显示器)；以及可以在处理设备1外部的电源140。处理设备1还可以包括网络接口(未示出)。

根据本原理的示例性和非限制性的实施例，处理设备1还包括存储在存储器120中的计算机程序。计算机程序包括指令，当由处理设备1，具体地由处理器110，执行时，使处理设备1执行参照图5描述的处理方法。根据一个变型，计算机程序存储在处理设备1外部的非暂态的数字数据支持上，例如，在本领域所有已知的外部存储介质(如HDD、CD-ROM、DVD、只读和/或DVD驱动器和/或DVD读/写驱动器)上。因此，处理设备1包括用于读取计算机程序的接口。此外，处理设备1可以通过相应的USB端口(未示出)访问一个或多个通用串行总线(USB)型存储设备(例如，“记忆棒”)。

根据示例性和非限制性的实施例，处理设备1是属于一组的设备，包括：

-移动设备；

-通信设备；

-游戏设备；

-平板(或平板电脑)；

-笔记本电脑；

-静态图片照相机；

-摄像机；

-编码芯片；

-解码芯片；

-静态图片服务器；

-视频服务器(例如广播服务器，视频点播服务器或网络服务器)；

-投影设备或投影仪；

-剧院投影机；

-家庭影院显示器；以及

-头戴设备(HMD)。

图3示出了用于显示这种外围图像的示例性布置。将来自电影或视频内容的主要图像显示在中心屏幕30上，而外围图像被显示在显示区域32和/或34上的中心屏幕30的边界之外以提供沉浸感。例如，这样的布置可以存在于剧院中，其中中心投影仪将电影或视频内容投影到中心显示屏幕上，而左投影仪将第一外推图像投影到左显示屏幕上，右投影仪将第二外推图像投影到右显示屏幕上，以及可选地，提供投影仪用于上显示屏幕。该布置的一个变型包括一个包括3个光学器件的单个投影仪P，以便在3个不同的方向投影图像。这种布置也可以作为基于家庭影院或HMD的投影仪来存在。然而，本原理不限于图像投影，而是与任何种类的图像显示兼容。例如，将外围图像显示在HMD的面板上。

图4图示了包括中心图像40和在中心图像的左边界和右边界之外生成和显示的外推图像42、44的示例性图像。可以看出，增强的外推图像44具有比外推图像42更低亮度，以保持已经表现出高亮度水平的原始图像40的视觉体验。实际上，与中心图像相比，增强的外推图像示出降低的高亮度水平，同时它们保持低的水平，以便在黑暗场景中不会释放(loose)信息。高亮度水平是当外围图像的像素的亮度水平超过高阈值亮度水平，而低亮度水平是当外围图像的像素的亮度水平低于低阈值亮度水平时。例如，图像像素的亮度是由量化为8位的灰度级表示，因此在[0-255]之间，低阈值亮度为40，以及高阈值亮度为200。

图5表示了根据本原理的具体和非限制性的实施例的用于处理扩展超出中心图像的边界的至少一个外围图像的方法的流程图。

这些实施例以视频的图像的非限制性的方式公开，这样的图像对应于视频的时间t。然而，本原理不限于单个外围图像的处理，而是迭代地应用该处理来处理整个视频。此外，该方法可以顺序地或并行地重复应用于外围图像的每个像素，以获得增强的外围图像。根据在外围的表面是平滑的情况下适用的第一变型，调整是全局的，对每个像素应用相同的处理。根据在表面不均匀的情况下适用的第二变型，或者在外围图像包含向高光移动的对象的情况下，调整是局部的，处理可以根据像素定位而变化。

在步骤S10中，外围图像的亮度调整为人类视觉的特征以增强沉浸的体验。为此，光校正函数迭代地应用于来自每个中心图像的外围图像，其中图像序列形成原始视频或电影以便输出增强的外围图像。有益地，校正函数应用于每个外围图像(左、右、上...)。

然后，在补充步骤S20中，根据如图3所描述的布置来显示中心图像和增强的外围图像。

现在描述至少3个实施例，其公开了增强观看者沉浸体验的光校正函数的变体。

根据第一实施例，调整外围图像的亮度包括在外围图像的高亮度水平的情况下降低外围图像的亮度水平。根据第一实施例的另一具体特征，调整外围图像的亮度包括在外围图像的低亮度水平的情况下不修改亮度水平。有益的是在这种实施例中，通过保持低和中等亮度水平的光调整保持一定的对比度，同时通过限制高亮度水平，光调整减少外围和全局的环境光。

在第一实施例的变型中，调整外围图像的亮度包括在外围图像的高亮度水平的情况下增加外围图像的亮度水平。有益地，这种实施例适于反射低的光的黑色侧壁的情况。本领域技术人员将理解，该实施例还适于显示相对于参考反射率水平修改反射率的外围图像的表面的任何颜色或材料。

根据第一实施例的另一具体特征，公开了非线性的光校正函数。在外围图像的高亮度水平的情况下，非线性光校正函数降低亮度水平，并且在外围图像的低亮度水平的情况下不修改亮度水平。

如本领域技术人员知道的，主要基于视杆感光细胞的人类周围视觉对于低到中等的光和运动更敏感，对于颜色和分辨率更不敏感。在低光条件下眼睛的视力称为暗视觉。暗视觉发生在10^-3.5至10^-6cd/m²的亮度水平。有益地，光校正函数使外围投影的图像/视频适应人的视觉感受。

在非限制性实施例中，公开了响应于主观的观看者体验的非线性光校正函数。在体验中，投影具有均匀亮度水平的中心视图，而外围图像的亮度增加使得观看者感觉到或者受到外围图像打扰。这样的体验导致外围图像光l(输入亮度)的每个值的感知或呈现的阈值P(输出亮度)的确定。结果如图6所示，其中亮度水平归一化为[0-255]的8位灰度级。输入亮度水平在X轴上表示，以及感知阈值的输出亮度水平在Y轴上表示。那些感知阈值P对于低亮度值是准线性的，即在150的阈值T以下，而对于高值，即高于150的阈值T，它们在200附近达到最大值M，如图6中所示。这样的从输入亮度到输出亮度的传递函数根据以下公式建模：

L(t)＝aI(t)⁴+bI(t)³+cI(t)²+dI(t)+e

其中L(t)是在对应于时间t的增强外围图像中的像素的最终亮度值；

I(t)是在同一时刻t的外围图像中的相同像素原始亮度值；

以及a、b、c、d、和e是根据实验结果获得的系数a＝8×10^-8、b＝-5×10^-5 、c＝0.008、d＝0.6225、e＝3.0312。

根据特定特性，系数不依赖于外围图像中的像素定位，并且对每个像素应用相同的非线性光校正函数。

然而，本原理不限于上述函数，并且对实验结果建模的任何线性或非线性函数与第一实施例兼容。此外，由于实验结果取决于观看者环境，本原理不限于上述实验结果。因此，如前所述，即使在具有低反射的反射率的黑色侧壁的在外围图像的高亮度水平的情况下，非线性函数也可以增加外围图像的亮度水平。

根据第二实施例，公开了线性光校正函数。在显示外围图像的高反射率水平的表面(例如白色屏幕)的情况下，线性光校正函数降低外围图像的亮度水平。相反，在显示外围图像的低反射率水平的表面(例如黑色屏幕)的情况下，线性光校正函数增加外围图像的亮度水平。实际上，线性函数响应投影外围图像的表面的反射率水平。在改进(refinement)中，对于标准或参考反射率水平确定光校正函数，然后将这种线性校正函数应用于(输入)亮度，以进一步将亮度调整为实际反射率水平。

双向反射分布函数(记为BRDF)是四维函数，它定义了光如何在不透明表面的反射。BRDF返回沿着一个方向存在的反射的辐射亮度L^surface与从另一方向在表面上入射的辐射照度E^surface的比值。因此，以入射光(辐射照度)和表面性质(辐射亮度)的函数表示的由非均匀外围屏幕反射的局部光量建模为：

E^surface(θ_i,φ_i)在表面上在方向(θ_i,φ_i)上的辐射照度

L^surface(θ_r,φ_r)在表面上在方向(θ_r,φ_r)上的辐射亮度

其中(θ_i,φ_i)是表示相对于表面法线定义的入射的入射光L_i方向的角度，

(θ_r,φ_r)是相对于表面法线定义的朝向观察者的出射光方向L_r的角度。

BRDF具有单位sr^-1，立体角(sr)是立体角度的单位。

在漫反射的情况下，辐射亮度L^surface由下式给出：

θ_i为强度I的入射光源的法向角；

并且ρ_d表示表面的反照率或反射系数，其表示表面的漫反射率或反射能力。

因此，如果知道表面辐射亮度L，则假设观看者V处于与侧壁垂直的法线N的方向，为外围图像亮度确定光衰减系数∝，其是表面辐射亮度L和源强度I的函数，剧院背后的投影仪P如图3所示：

∝＝L/I

根据第一变型，例如，通过投影已知强度I的白色图像(或更一般地，对于确定的光样式)并用例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体)的传感器捕获反射光来测量表面辐射亮度L。因此，实验结果允许通过测量L和I来估计∝。在这种变型中，用投影的样式和手动调整的剧院中执行校准阶段。根据该变型，可以测量像素的表面辐射亮度，从而允许像素的亮度调整。

因此，线性光校正函数由以下公式建模：

L_a(t)＝α.I(t)

其中L_a(t)是对应于时间t的增强的外围图像中的像素的最终亮度值；

I(t)是在同一时刻t外围图像中相同像素的原始亮度值。

根据第二变型，通过假设通过其反照率(albedo)ρd已知表面反射率来简化系数∝的计算，例如通过假设侧壁(即，投影图像的表面)由覆盖有黑色挂毯的混凝土制成，或相反地，通过假设侧墙是白色屏幕(用于表示，黑色丙烯酸涂料ρd＝0.05，白色丙烯酸涂料ρd＝0.8)。因此，仅需要知道从图3中的源P到表面的法线N的角度θ_i是已知的。

虽然没有明确描述，但是本实施例可以以任何组合或子组合来使用。例如，本原理不限于响应于侧面屏幕反射率的所描述的线性光校正函数，而是可以与上述加权函数或非线性函数组合。因此，本领域技术人员将注意到，在侧壁的反射率低的情况下，即使在高输入亮度的情况下，可以相对于输入亮度增加组合亮度(由以对于低反射率参数化的线性变量和一些观看环境为特征的非线性的变量得到)输入亮度。

根据第三实施例，公开了另一加权光校正函数。在外围图像中移动对象的情况下，加权光校正函数增加亮度水平。有益地，这种函数允许高亮用于侧视图的一些移动对象以增强沉浸性。如前详细所述的，人类周围视觉具有对运动更高的敏感性。本领域技术人员将注意到，在第一变型中，通过增加这些移动对象的对比度，在生成外推图像时完成这种处理。在第二变型中，这种处理是与先前实施例中公开的亮度调整一起执行的。

在这种情况下，最终亮度值具有系数β的权重，系数β的值取决于对象的“兴趣”(interest)。为外推图像的每个像素(由其坐标(i,j)表示)定义β_(i,j)的值。例如，在时间t基于所考虑的像素/对象的运动M(t)和显著性S(t)来计算β。

然后(t)＝β_(i,j)(M(t),S(t)).l(t)

其中(i,j)是像素的坐标；

(t)是对应于时间t的增强的外围图像中的像素(i,j)的最终亮度值；

l(t)是在相同时间t的外围图像中的相同像素的原始亮度值。

该实施例特别地适用于对象穿过中心视频的情况。虽然扩展计算避免了在外围放入分散注意力的内容，但进入或退出图像的对象有时会在到达外围图像时消失。为了校正这个问题，在主内容中检测和跟踪对象，然后根据它们计算出的运动以及附加的适应周边视觉的模糊将其粘贴到周边视频中。

根据特定特征，以动态的方式应用函数以引起例如在场景变化的情况下平滑的光图像的时间变化。

有益地，该方法是迭代的，并且将描述的用与至少一个外围图像的光调整应用于外推视频的每个外围图像。

本文描述的实现可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在上下文中讨论了单一的实现形式(例如，仅作为方法或设备讨论)，所讨论的特征的实现也可以以其他形式(例如，程序)来实现。例如，装置可以在适当的硬件，软件和固件中实现。例如，这些方法可以在装置(如处理器)中实现，装置一般指的是处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。例如，处理器还包括通信设备，如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间的信息通信的其他设备。

本文描述的各种过程和特征的实现可以体现在各种不同的设备或应用中，具体例如，设备或应用。这种设备的示例包括编码器、解码器、处理解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人计算机、手机、PDA和其他通信设备。应该清楚，设备可以是移动的，甚至安装在移动车辆中。

另外，这些方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现产生的数据值)可以存储在处理器可读介质上，例如，如集成电路、软件载体或其他存储设备(例如，如硬盘、压缩软盘(“CD”)、光盘(例如，如通常称为数字通用盘或数字视频盘的DVD)、随机存取存储器(“RAM”)或只读存储器(“ROM”))。指令可以形成有形地体现在处理器可读介质上的应用程序。例如，指令可以是硬件、固件、软件或组合。例如，指令可以在操作系统、单独的应用程序或两者的组合中找到。因此，处理器的特征可以在于，例如，既是配置成执行过程的设备，也是包括具有用于执行过程的指令的处理器可读介质(如存储设备)的设备。此外，除了或代替指令，处理器可读介质可以存储由实现产生的数据值。

如本领域技术人员显而易见的，实施方式可以产生例如携带可以存储或传输的信息的各种格式的信号。例如，信息可以包括用于执行方法的指令或者由所描述的实现之一产生的数据。例如，可以将信号格式化为携带作为所述实施例的写入或读取的语法的规则的数据，或者携带作为由所描述的实施例写入的实际语法值的数据。例如，这样的信号可以被格式化为电磁波(例如，使用频谱的射频部分)或作为基带信号。例如，格式化可以包括对数据流进行编码和使用编码数据流调制载波。例如，信号携带的信息可以是模拟或数字信息。信号可以通过各种不同的已知的有线或无线连接传输。信号可以存储在处理器可读介质上。

已经描述了许多实现。然而，应当理解，可以进行各种修改。例如，可以将实现的原件组合、补充、修改或删除不同以产生其他实现。此外，普通技术人员将理解，其他结构和过程可以替代所公开的结构和过程，并且所得到的实现将以至少基本上相同的方式执行至少基本上相同的功能，以实现至少与所公开的实施方式基本相同的结果。因此，本申请考虑了这些和其他实施方案。

Claims

1.一种用于处理至少一个外围图像的方法，所述至少一个外围图像显示在扩展到显示中心图像的屏幕的边界之外的表面上，所述至少一个外围图像对应于所述中心图像的扩展，所述方法包括：

获取所述表面的两个或更多个局部区域的反射率水平的信息表示；

通过将光校正函数应用到所述至少一个外围图像的亮度，根据所述反射率水平的所述信息表示调整所述至少一个外围图像的亮度，

其中，在所述反射率水平的所述信息表示指示所述表面的高反射水平的情况下，所述光校正函数降低所述至少一个外围图像的所述亮度，

其中，在所述反射率水平的所述信息表示指示所述表面的低反射水平的情况下，所述光校正函数增加所述至少一个外围图像的所述亮度，并且

其中，调整所述至少一个外围图像的亮度包括单独地调整所述至少一个外围图像的两个或更多个局部区域的亮度。

2.根据权利要求1所述的方法，其中通过捕获以确定的强度投影到所述表面上的光的反射获取所述反射率水平的所述信息表示。

3.根据权利要求1所述的方法，其中根据所述表面的反照率以及所述表面的法线与投影所述至少一个外围图像的投影仪之间的角度值获取所述反射率水平的所述信息表示。

4.根据权利要求1-3之一所述的方法，其中所述光校正函数使得在所述至少一个外围图像的所述亮度高于高亮度阈值的情况下所述亮度降低，在所述至少一个外围图像的所述亮度低于低亮度阈值的情况下不修改所述亮度。

5.根据权利要求4所述的方法，其中所述低亮度阈值和高亮度阈值分别对应于所述显示的至少一个外围图像的低的呈现的亮度水平和高的呈现的亮度水平，用于当所述至少一个外围图像以参考反射率水平显示时增加所述至少一个外围图像的亮度。

6.根据权利要求1-3之一所述的方法，其中调整所述外围图像的亮度包括：

应用调整到参考反射率水平的光校正函数；以及

降低所述外围图像的亮度以适应于全局亮度水平。

7.根据权利要求1-3之一所述的方法，其中调整所述至少一个外围图像的亮度包括增加所述至少一个外围图像中移动对象的亮度。

8.一种用于处理至少一个外围图像的设备，所述至少一个外围图像显示在扩展到显示中心图像的屏幕的边界以外的表面上，所述至少一个外围图像对应于所述中心图像的扩展，所述设备包括与处理器相关联的存储器，所述处理器配置成：

9.根据权利要求8所述的设备，其中通过捕获以确定的强度投影到所述表面上的光的反射获取所述反射率水平的所述信息表示。

10.根据权利要求8所述的设备，其中根据所述表面的反照率以及所述表面的法线与投影所述至少一个外围图像的投影仪之间的角度值获取所述反射率水平的所述信息表示。

11.根据权利要求8-10之一所述的设备，其中所述设备属于包括视频投影设备的系统。

12.根据权利要求8-10之一所述的设备，其中所述处理器进一步配置成增加在所述至少一个外围图像中移动对象的亮度。

13.一种包括程序代码的指令的计算机程序产品，所述指令用于在计算机上执行所述程序时执行根据权利要求1-7之一所述的方法的步骤。

14.一种其中已经存储有指令的处理器可读介质，所述指令使得处理器执行根据权利要求1-7之一所述的方法的步骤。