CN101661154B - 数字呈现器 - Google Patents

Abstract

本发明涉及一种数字呈现器，提供用于显示图像的技术。根据本发明的用于显示图像的设备包括：底座，能够支持对象，所述底座具有底座臂；照相机系统，耦合到底座臂，所述照相机系统被配置为拍摄对象的多个图像；照明系统，具有多个照明器，被配置为对对象进行照明；照明器控制系统，被配置为控制所述多个照明器；以及聚焦控制系统，被配置为调节照相机系统的聚焦。

Description

数字呈现器

技术领域

本发明一般地涉及数字呈现器。

背景技术

数字呈现器可以用于显示从打印材料(例如幻灯照片(transparency)、文件、书等)到诸如幻灯片、照片或胶片的其它介质的各种介质以及三维物理对象。

与模拟高射投影仪不同，数字呈现器可以使用数字(静止或视频)照相机拍摄二维或三维对象的图像，然后传送到其它输出装置(例如电视屏幕或计算机监视器)或者通过LCD投影仪进行显示等。

数字呈现器一般包括光源，能够提供足够的照明以检测和拍摄要显示的介质或对象的图像。在这点上，由于数字呈现器依赖于用于进行照明的光源，所以当用照相机拍摄图像时，来自要显示的对象表面的镜面反射(高亮或眩光)可能对拍摄的图像的质量有不利影响。

另外，如果拍摄其图像的材料的表面不够平坦，则拍摄的图像可能模糊或者焦点失调。例如，装订的文件(例如书或杂志)的书脊(或装订处)附近的页面部分趋向于弯曲，其结果是，这些部分可能没有接收到均匀或足够的照明，这可能使从这些部分拍摄的图像模糊并焦点失调。

传统的数字呈现器可以采用多个光源和/或照相机，并且需要对这些照相机和/或光源进行关键性的定位以便实现正确的功能，但是这些系统实现起来非常麻烦并且成本高。

发明内容

这里公开了图像显示方法和设备的实施例。在非限制性示例形式的一个实施例中，图像显示设备包括：底座，能够支持对象；照相机，被配置为拍摄对象的多个图像；照明系统，容纳多个照明器；照明控制系统，被配置为控制多个照明器提供的照明；以及聚焦控制系统，被配置为控制照相机的聚焦。

在另一实施例中，用于显示图像的方法包括：拍摄对象的多个图像；比较所述多个图像的相应像素；从所述多个图像的相应像素中选择一个像素；根据所选择的像素形成图像；以及输出图像。

提供本发明内容用于以简化的形式引入下面在具体实施方式中进一步描述的概念的选择。本发明内容不意图限定请求保护的主题的关键特征或必要特征，也不意图用于限制请求保护的主题的范围。

附图说明

图1示出数字呈现器的一个说明性实施例的示意图；

图2示出根据一个说明性实施例显示对象的图像的流程图；

图3示出根据一个说明性实施例处理通过调节照明器而获得的图像的像素的流程图；以及

图4示出根据一个说明性实施例处理通过调节照相机聚焦而拍摄的图像的像素的流程图。

具体实施方式

在以下详细说明中，参考构成说明书的一部分的附图。在附图中，除非上下文另有说明，类似的附图标记通常表示类似的部件。在详细说明书、附图及权利要求中描述的说明性实施例不意味着限制。可以使用其它实施例并且可以进行其它改变，而不脱离这里呈现的主题的精神或范围。容易理解，可以以各种不同的配置排列、替换、组合和设计主要在这里描述并且在附图中示出的本发明的部件，所有这些都被明确考虑到并且构成本发明的一部分。

图1示出数字呈现器100的说明性实施例。数字呈现器100包括底座110、通过底座臂130附着到底座110上的照相机系统120、容纳多个照明器150的照明系统140、照明器控制系统160、以及聚焦控制系统170。在另一实施例中，尽管在图1中没有示出，照明器150可以与照相机系统120分开，而布置在通过另一个底座臂(未示出)附着到底座110上的外壳中。照相机系统120可以是数字(静止或视频)照相机，能够以电子格式拍摄图像并将它们转换为数字位流。照相机系统120还可以包括在图1中没有示出的光学部件(例如镜头、光栅、滤波器、镜等)，用于正确地引导、增强和收集从要拍摄其图像的对象反射的光。在另一实施例中，数字呈现器100还可以包括液晶显示器(LCD，liquid crystal display)或其它显示装置(例如平板阴极射线管、等离子体显示器等)，以允许呈现器100的用户检查和控制通过照相机系统120拍摄的图像的质量。可以将诸如书、幻灯照片或三维模型的对象180放置在底座110上。在一个实施例中，照相机系统120可以通过线性滑动组件、气压缸组件或其它传统高度调节装置(在图1中未示出)朝向或远离底座110移动。高度调节装置可以连接到电机单元(未示出)使得可以自动调节照相机系统120的高度。在照明器150与照相机系统分开布置的实施方式中，也可以通过线性滑动组件、气压缸组件或其它高度调节装置来调节照明器的高度(即与底座110的距离)。

多个照明器150可以照亮对象180以提供照明和/或视觉效果，使得照相机系统120可以检测和拍摄要显示的对象的图像。

可以使用各种光源，例如发光二极管(LED，light-emitting diode)、卤素灯、冷阴极射线管、白炽灯等，作为照明器150。在非限制性示例形式的一个实施例中，可以使用LED照明器，其中照明器150可以布置在照相机系统120周围，从而从上面照亮要显示的对象180。在另一实施例中，照明器150可以与底座110一体化，使得可以在要显示的对象180下方从底座提供照明。

在一个说明性实施例中，照明器控制系统160可以单独对多个照明器150供电和/或断电，并且可以在各个照明器单独启动或供电和/或断电时控制照相机系统120以拍摄对象180的图像。例如，由于对照明器150中的每一个单独供电和断电，因此照相机系统120可以在对相应的照明器供电时拍摄对象180的图像。照相机系统120可以与照明器控制系统160同步，使得照相机系统120拍摄各自对应于启动的相应照明器150的多个图像。因此，例如，对于每个照明器150，可以在对该照明器150通电而照明器150中的其它照明器断电时拍摄图像。另外，照相机系统120可以包括存储装置(例如随机存取存储器(RAM，random access memory)、闪速存储器、磁带、盘驱动器等)，在图1中没有示出，用于存储拍摄的图像。

在一些说明性实施例中，聚焦控制系统170可以用于通过调节系统120中的照相机镜头的聚焦和/或通过相对于底座110升高、降低或操作照相机系统120来对照相机系统120进行聚焦。视野深度(DOF，Depth offield)可以描述为照相机系统120和对象180之间的距离的范围，在该范围内对象180的图像的清晰度可以被视为是可接受的。DOF根据照相机类型、光圈和焦距而变化。根据这里公开的内容，本领域的技术人员将明白，当图像被描述为对好焦时，也意味着图像点在DOF内。

在一些说明性实施例中，聚焦控制系统170可以使照相机系统120在多个焦距处拍摄对象180的图像。此外，照相机系统120可以与聚焦控制系统170同步，以便可控地调节照相机聚焦并且拍摄对象180的图像，其中拍摄的每个图像对应于相应的一个焦距。此外，照相机系统120可以包括多个帧存储器，用于存储拍摄的图像。

图2示出用于显示对象的图像的处理200的说明性实施例的流程图。虽然为了说明的目的，以下对处理200的说明引用图1的实施例中的元件，但是请求保护的主题不局限于这一点，因此不应当将处理200看作是对使用呈现器100拍摄图像的处理的限制。在框210，例如可以通过照相机系统120拍摄对象180的多个图像。在一个实施例中，可以在对多个照明器中不同的一个供电而其它照明器断电时拍摄多个图像中的每一个。因此，在对每个照明器供电时，照相机系统120可以拍摄对象180的图像，并将该图像存储在存储器中(例如RAM、闪速存储器等)。例如，可以将每个图像存储在照相机系统120的对应的帧存储器中。可以重复框210，直到所有照明器都被单独供电并且获取了对应的图像为止。例如，如果使用M个照明器，则可以获取对象180的M个图像。在一个说明性实施例中，M可以是2或更大。在另一说明性实施例中，M可以从6到8。在其它说明性实施例中，可以选择性地对一组照明器供电并拍摄对应的一组的图像。

在另一说明性实施例中，在框210，在照相机的多个焦距处拍摄多个图像。例如，随着照相机系统120的聚焦的变化，可以拍摄对象180的多个图像，每个图像对应于照相机的不同焦距。可以重复该图像获取处理，并且可以将每个图像存储在照相机系统120的存储器中。如上所述，代替直接改变照相机系统120的聚焦，通过相对于照相机系统120移动底座110可以实现类似变焦的效果。

在框220，相互比较多个图像的相应像素，在框230，响应于比较相应的像素从多个图像的相应像素中选择一个像素。在框240，将选择的像素组合以形成最终的图像在框250输出。

图3示出在通过调节照明器获取图像时处理图像的像素的处理300的说明性实施例的流程图。

在图3中，K代表图像的第K个像素的序号，M代表该图像的像素的最大数量。在非限制性示例形式的一个实施例中，如果照相机系统120拍摄对象180的图像并将其转换为8×8像素的图像，则M是64，K在1到64之间变化。Li代表所获取的多个图像中的第i个图像。在其它实施例中，如果照相机系统120拍摄对象180的图像，并将其转换为16×16像素的图像，则M是256，K在1到256之间变化。例如，如果获取了6个图像，则i在1到6之间变化。类似地，如果获取了8个图像，则i在1到8之间变化。Li[K]代表Li的第K个像素。为了简单，Li[K]还代表第K个像素的亮度值。

在处理300的框310，将K初始化为0，在框320将K增加1。在框330，如果K大于M(像素的最大数)，则可以认为处理了所有像素，结束处理300。否则，在框340判断多个图像的所有第K个像素是否都具有大于上限亮度阈值(T_H)的亮度值。亮度(brightness)，也称为辉度(luminance)，可被看作通过特定区域或从特定区域发射的光的量，辉度的标准单位是坎德拉每平方米(candela per square meter)(cd/m²)。在一些实施例中，上限亮度阈值可以从大约5cd/m²到大约20cd/m²，从大约10cd/m²到大约20cd/m²，从大约15cd/m²到大约20cd/m²，从大约5cd/m²到大约10cd/m²，从大约5cd/m²到大约15cd/m²，或者从大约10cd/m²到大约15cd/m²。在其它实施例中，上限亮度阈值可以是大约5cd/m²、大约10cd/m²、大约15cd/m²、或大约20cd/m²。

当所有像素都具有大于上限亮度阈值的亮度值时，可以确定对象180的表面在对应于第K像素的图像点处是“亮”的。因此，在框350，输出第K像素的最小亮度值作为第K像素的亮度值。如果这些像素中的至少一个具有低于该上限阈值的亮度，则处理300前进到框360。

在框360，判断所有图像的第K个像素是否都具有小于下限亮度阈值(T_L)的亮度值。在一些实施例中，下限亮度阈值可以从大约0.1cd/m²到大约5cd/m²，从大约0.5cd/m²到大约5cd/m²，从大约1cd/m²到大约5cd/m²，从大约2.5cd/m²到大约5cd/m²，从大约0.1cd/m²到大约0.5cd/m²，从大约0.1cd/m²到大约1cd/m²，从大约0.1cd/m²到大约2.5cd/m²，从大约0.5cd/m²到大约1cd/m²，或者从大约1cd/m²到大约2.5cd/m²。在其它实施例中，下限亮度阈值可以是大约0.1cd/m²、大约0.5cd/m²、大约1cd/m²、大约2.5cd/m²、或大约5cd/m²。

当所有像素都具有小于该阈值的亮度值时，可以确定对象180的表面在对应于第K像素的图像点处是“暗”的。因此，在框370，输出这些像素的最大亮度值作为第K像素的亮度值。如果这些像素中的至少一个具有大于该下限阈值的亮度，则处理300前进到框380。

在框380，输出这些像素的平均亮度作为第K像素的亮度值。在计算平均亮度值时，可以进行各种考虑。例如，如果针对图像的特定区域采样的像素数量相对较小(例如获取了5个或更少的图像)，则可以使用所有像素用于平均亮度计算。然而，如果采样的像素数量相对较大(例如获取了10个或更多的图像)，则可以将具有较高或较低亮度值的一些像素从平均计算中排除。

当在处理300中处理了所有像素时，可以根据得到的(即合成的)亮度值形成对应于对象180的图像(框240)。因此，可以从针对各个照明器150获得的多个图像中的各个图像得到由此形成的图像的像素。然后，在框250通过外部显示装置输出对应于物理对象180的图像。

在另一实施例中，回到图2，在框210，可以通过改变照相机系统120的聚焦来拍摄多个图像。图4示出在拍摄多个图像时处理图像的像素的处理400的说明性实施例的流程图，其中每个图像对应于照相机系统120的不同焦距。

在图4中，K代表图像的第K个像素的序号，M代表该图像的像素的最大数量。例如，如果照相机系统120拍摄对象180的图像并将其转换为8×8像素的图像，则M是64，K在1到64之间变化。Fi代表获取的多个图像中的第i个图像。例如，如果获取了6个图像，则i在1到6之间变化。Fi[K]代表Fi的第K个像素。

回到图4，在框410，将K初始化为0，在框420将K增加1。在框430，如果判断为K大于M(像素的最大数量)，则可以认为处理了所有像素，结束处理400。否则，在框440计算每个Fi[K]的聚焦量度，并且输出在对象180的同一图像点处的聚焦量度中最大的聚焦量度。

在一个说明性实施例中，可以使用自动选择方法来调节照相机的聚焦并从同一图像点处的多个图像的像素中确定合适的像素。自动选择方法是光学系统的特征，能够针对对象获得正确的聚焦。在一个说明性实施例中，自动选择方法可以是聚焦寻形(SFF，Shape from Focus)方法。在图像中，可以将与镜头的距离不同的对象在不同的距离处聚焦。SFF方法可以利用诸如镜头位置和/或焦距的照相机参数来调节照相机系统的聚焦。根据SFF方法，可以通过改变照相机的光学系统(optic)直到关注的点聚好焦来重建景深(depth of the scene)。光学系统改变可以通过改变镜头位置和/或相对于照相机改变对象位置来获得。

可以使用以下高斯透镜公式来获得聚焦时对象点的深度：1/f＝1/u+1/v，其中f是焦距，u是对象与镜头平面的距离，v是聚焦的图像与镜头面的距离。如果图像检测器与图像平面一致，即s＝v，则图像检测器可以获得清楚的或聚焦的图像。如果图像检测器位于距离v处(s＝v)，则可以获得清晰(sharp)的图像。然而，如果图像检测器位于距离s处(s≠v)，则获得点源的模糊图像。因此，模糊程度取决于镜头的焦距f和距离u和s。如果f和v是已知的，则可以使用上面给出的高斯透镜公式来确定对象的距离u。

当I(x，y)是点(x，y)处的图像强度时，对应的拉普拉斯算子是： ${\▿}^{2}I=\frac{{\∂}^{2}I}{{\∂x}^2}+\frac{{\∂}^{2}I}{\∂y^2}.$ 可以针对给定图像窗口的每个像素确定拉普拉斯算子，并且准则函数可以表述为：

对于 ${\▿}^{2}I(x,y)\≥T,$ $\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{\▿}^{2}I(x,y)$ 其中，T是阈值。然而，在该拉普拉斯算子的情况下，x和y方向上的二阶导数具有相反的符号并且趋向于相互抵消。也就是说，该偏导数在大小上近似相等但是符号相反。因此，可以使用如下改进的拉普拉斯算子：

${\▿}_M^{2}I=\left|\frac{{\∂}^{2}I}{{\∂x}^2}\right|+\left|\frac{{\∂}^{2}I}{{\∂y}^2}\right|.$

该改进的拉普拉斯算子的大小大于或等于上述拉普拉斯算子。对拉普拉斯算子的离散近似可以是3×3的矩阵或算符。为了适应纹理元素尺寸的可能变化，可以使用用于计算导数的像素之间的变化间隔(步长)来确定偏导数。因此，可以根据下式确定对改进的拉普拉斯算子的离散近似：

${\▿}_{\mathrm{ML}}^{2}I(x,y)=|2I(x,y)-I(x-\mathrm{step},y)-I(x+\mathrm{step},y)|+$

$|2I(x,y)-I(x,y-\mathrm{step})-I(x,y+\mathrm{step})|$

最后，点(i，j)处的聚焦度量可以计算为点(i，j)周围的小窗口中大于阈值的改进的拉普拉斯算子的和：

对于 ${\▿}_{\mathrm{ML}}^{2}I(i,j)\≥T,$ $F(x,y)=\underset{i=x-N}{\overset{i=x+N}{\mathrm{\Σ}}}\underset{j=y-N}{\overset{j=y+N}{\mathrm{\Σ}}}{\▿}_{\mathrm{ML}}^{2}I(i,j)$

其中，参数N确定用于计算聚焦量度的窗口尺寸。该聚焦量度可以称为改进的拉普拉斯求和(SML，Sum-Modified-Laplacian)。

在SFF中，通过连续改变镜头和图像检测器之间的距离可以获得图像序列。在每个像素处，可以确定给出最大清晰度量度的图像帧。可以将整个图像序列看作是图像体(volume)Vi，x，y，其中x、y和i分别表示列、行和图像帧的编号。对于该序列中的每个图像，可以在每个像素处计算聚焦量度

获得聚焦度量体MLi，x，y。可以使用F(x，y)计算改进的拉普拉斯求和(SML)体SMLi，x，y，其中SML体代表该像素周围小的(大约15×15)的2D图像邻域。

根据SML体，可以确定图像序列中给出最大清晰度量度的图像帧。该图像帧代表最终深度图。由此确定的图像帧中的像素的灰度级(与图像辐照度(irradiance)成比例)对应于针对该像素的聚焦图像的灰度级值。可以使用针对该图像帧的照相机参数值来计算对应于该像素的对象点的距离。

当在图4中处理了所有像素时，回到图2的框240，根据选择的像素形成对应于对象180的图像。因此，该图像的像素可能来自通过SFF获得的多个图像中的不同图像。然后，回到图2的框250，通过外部显示装置输出对应于物理对象180的图像。

在另一实施例中，可以使用预设置方法代替自动选择方法来调节照相机聚焦并从同一点处的多个图像的像素中确定合适的像素。预设置方法可以包括以预定次数将镜头的聚焦从较低点改变到较高点。在一些说明性实施例中，预定次数的数量可以从2到10、从5到10、从7到10、从2到5、从2到7或者从5到7。在其它说明性实施例中，预定次数的数量可以是2、5、7或10。为了确定像素，预设置方法还可以使用用于SFF的聚焦量度。在一些实施例中，当在图4中处理了所有像素时，可以根据确定的像素形成对应于物理对象180的图像(框240)，并通过外部显示装置输出该图像(框250)。在其它实施例中，可以在处理了像素中的至少一部分之后形成对应于物理对象180的图像。

在其它实施例中，可以使用其它聚焦度量。例如，聚焦度量可以基于但不限于使用FFT(快速傅立叶变换)的功率谱中的高频能量、图像灰度级的方差(variance)、图像梯度(image gradient)的L1范数(norm)、图像梯度的L2范数、图像的二阶导数的L1范数、拉普拉斯能量、改进的拉普拉斯算子、图像的直方图熵、局部方差的直方图以及用于指定几种方法的微分系数总和(Sum-Modulus-Difference)，相应地，请求保护的主题不局限于这些方面。

根据本发明，本领域技术人员应当理解，这里描述的设备和方法可以用硬件、软件、固件、中间件或者它们的组合来实现，并且可以在系统、子系统、部件或其子部件中使用。例如，用软件实现的方法可以包括用于执行该方法的操作的计算机代码。该计算机代码可以存储在机器可读介质中，例如处理器可读介质或计算机程序产品中，或者作为用载波实施的计算机数据信号或通过载波调制的信号通过传输介质或通信链路进行传输。机器可读介质或处理器可读介质可以包括能够以机器(例如处理器或计算机等)可读并且可执行的形式存储或传送信息的任何介质。

普通技术人员应当理解，可以以不同的顺序来实施在所述方法中执行的功能，并且作为示例提供了所略述的步骤，这些步骤中的一部分是可选的、可以组合成较少的步骤、或者扩展为包括附加步骤，而不偏离本发明的实质。

根据上述描述，应当理解，这里为了说明的目的描述了本发明的不同实施例，可以进行各种变形，而不脱离本发明的范围和精神。因此，这里公开的各种实施例不是限制性的，由所附权利要求指出真正的范围和精神。

Claims (18)

1.一种用于显示图像的设备，包括：

底座，能够支持对象，所述底座具有底座臂；

照相机系统，耦合到底座臂，所述照相机系统被配置为拍摄对象的多个图像；

照明系统，具有多个照明器，被配置为对对象进行照明；

照明器控制系统，被配置为控制所述多个照明器；以及

聚焦控制系统，被配置为调节照相机系统的聚焦；

其中聚焦控制系统还能够使照相机系统在多个焦距处拍摄对象的多个图像，每个图像对应于所述多个焦距中的相应的一个焦距。

2.根据权利要求1所述的设备，其中照明器控制系统被配置为对所述多个照明器供电和断电，并且被配置为控制照相机系统在对照明器中的至少一部分供电时拍摄对象的图像。

3.根据权利要求2所述的设备，其中能够单独地对各个照明器供电和断电。

4.根据权利要求3所述的设备，其中照相机系统还被配置为从对象的所述多个图像的相应像素中选择像素，直到图像的所有像素都被选择为止。

5.根据权利要求4所述的设备，其中被配置为选择像素包括：被配置为至少部分基于对象的所述多个图像的相应像素的亮度从相应像素中选择像素。

6.根据权利要求5所述的设备，其中相应像素的亮度包括相应像素的平均亮度。

7.根据权利要求6所述的设备，其中照相机系统还能够基于所选择的像素形成对应于对象的图像。

8.根据权利要求1所述的设备，其中底座能够移动以调节照相机系统的聚焦。

9.根据权利要求1所述的设备，其中照相机系统还被配置为从对象的多个图像的相应像素中选择像素，直到图像的所有像素都被选择为止。

10.根据权利要求9所述的设备，其中被配置为选择像素包括：被配置为响应于聚焦度量选择像素。

11.根据权利要求10所述的设备，其中照相机系统还被配置为至少部分通过如下计算改进的拉普拉斯求和来产生聚焦度量：

对于 ${\▿}_M^{2}I(i,j)\≥T,$ $F(x,y)=\underset{i=x-N}{\overset{i=x+N}{\mathrm{\Σ}}}\underset{j=y-N}{\overset{j=y+N}{\mathrm{\Σ}}}{\▿}_M^{2}I(i,j),$

其中

是基于常规拉普拉斯算子

的改进的拉普拉斯算子

或其离散近似，I(i，j)表示像素(i，j)处的图像强度，T是阈值，F(x，y)表示像素(x，y)处的改进的拉普拉斯求和，N是确定用于计算聚焦度量窗口尺寸的参数。

12.根据权利要求11所述的设备，其中照相机系统还能够基于所选择的像素形成对应于对象的图像。

13.一种用于显示图像的方法，包括：

拍摄对象的多个图像；

比较所述多个图像的相应像素；

从所述多个图像中的至少一部分的相应像素中选择至少一个像素；

根据所选择的像素形成图像；以及

输出图像；

其中拍摄对象的多个图像包括：以预定次数改变焦距。

14.根据权利要求13所述的方法，其中拍摄对象的多个图像包括：通过单独地对多个照明器供电和断电来拍摄对象的图像。

15.根据权利要求14所述的方法，其中比较所述多个图像的相应像素包括：比较所述多个图像的相应像素的亮度。

16.根据权利要求15所述的方法，其中相应像素的亮度包括所述多个图像的相应像素的平均亮度。

17.根据权利要求16所述的方法，其中从所述多个图像中的至少一部分的相应像素中选择至少一个像素包括：响应于聚焦度量选择至少一个像素。

18.根据权利要求17所述的方法，其中响应于聚焦度量选择至少一个像素包括：使用如下改进的拉普拉斯求和，

对于 ${\▿}_M^{2}I(i,j)\≥T,$ $F(x,y)=\underset{i=x-N}{\overset{i=x+N}{\mathrm{\Σ}}}\underset{j=y-N}{\overset{j=y+N}{\mathrm{\Σ}}}{\▿}_M^{2}I(i,j),$

其中

是基于常规拉普拉斯算子

的改进的拉普拉斯算子

或其离散近似，I(i，j)表示像素(i，j)处的图像强度，T是阈值，F(x，y)表示像素(x，y)处的改进的拉普拉斯求和，N是确定用于计算聚焦度量窗口尺寸的参数。

Images