CN103293934A - 全息显示装置以及利用3d视频的冗余生成全息图的方法 - Google Patents

Abstract

公开了一种全息显示装置以及利用3D视频的冗余生成全息图的方法。存储单元存储前一3D图像帧的全息图。控制单元基于当前3D图像帧和前一3D图像帧生成指示当前3D图像帧中包含的3D点当中的需要更新的3D点的更新图，并修改所述更新图以进一步包括指示与需要更新相关的3D点的更新的信息。

Description

全息显示装置以及利用3D视频的冗余生成全息图的方法

技术领域

本发明涉及全息显示装置以及利用3D视频的冗余生成全息图的方法，更具体地，涉及用于考虑3D视频的冗余生成计算机制全息图（CGH）的全息显示装置以及利用3D视频的冗余生成全息图的方法。

背景技术

总体上，计算机制全息图（CGH）可以分为归因于射线追踪法的计算方法、利用查找表（LUT）的计算方法、应用快速傅里叶变换的方法等。并且，CGH还可以分为具有宽视角的总全息图的方法以及具有有限视角的子全息图的方法。查找表还可以用于计算子全息图，由此显著增强计算速度。

在根据现有技术生成总全息图时，存在M.Lucente的论文“interactive computationof holograms using a look-up table”（1993）中的使用被称为CM2的并行处理机（其利用查找表算法实现速度提升）的计算速度快26倍的增强结果，并且存在Seung-CheolKim的论文“effective generation of digital holograms of three-dimensional objects using anovel look-up table method”（2008）中的使用Matlab编程语言在普通PC中可操作的系统中实现的计算速度快大约70倍的另一增强结果。

甚至在今天，在使用诸如图形处理单元（GPU）的快速并行计算解决方案来计算CGH的情况下，在全球已经进行了针对利用查找表实时实现CGH计算能力的研究。

对于使用子全息图法的CGH生成，基本上使用的LUT的量变得显著小于总全息图。在总全息图的情况下，假设总全息图具有1920*1080的分辨率并且子全息图针对2米内的观看者形成观看窗口，如果位于距离全息图1米处的物点具有与观看窗口的尺寸对应的分辨率的LUT，则其能够呈现一个相同的物点。

按照6至12mm的尺寸（其略大于普通人的眼睛瞳孔的尺寸）构造观看窗口。如果通过像素单元进行转换，当像素尺寸为156μm时，可以将LUT构造为具有大约76*76的分辨率。相比总全息图，子全息图对观看者能够观看事物的眼睛范围设置了限制。然而，在使用LUT的情况下，子全息图的优点在于将LUT构造为尺寸显著小于常规总全息图中使用的LUT的尺寸。利用此，便于构造基于子全息图的实时全息图显示系统。SeeReal公司2007年在SID发起的VISIO20prototype能够以有限硬件能力（GPU:NVIDIA7900GTX）展示实时全息图。

自然地，如果以高规格设计硬件，则可以在不使用显示查找表的情况下生成实时全息图。然而，针对能够利用低硬件规格的构造生成实时全息图的解决方案，使用查找表可以非常有效。

发明内容

因此，本发明的实施方式致力于一种全息显示装置和利用3D视频的冗余生成全息图的方法，其基本避免了由于现有技术的限制和缺点导致的一个或更多个问题。

本发明的一个目的在于提供一种全息显示装置和利用3D视频的冗余生成全息图的方法，该方法能够防止在利用3D视频的冗余生成全息图的情况下出现幻影图像效应。

本发明的附加优点、目的和特征将部分地在下文中进行描述，并且部分地由本领域普通技术人员通过阅读下文而显而易见或者可从本发明的实践中得知。通过本发明的说明书、权利要求和附图特别指出的结构，可实现和获得本发明的目的和其它优点。

为了实现这些目的和其它优点，并且根据本发明的目的，如本文具体实施和广义描述的，根据本发明的利用3D视频的冗余生成全息图的方法可以包括以下步骤：基于当前3D图像帧和前一3D图像帧生成指示所述当前3D图像帧中包含的3D点当中的需要更新的3D点的更新图；修改所述更新图以进一步包含指示与所述需要更新的3D点相关的3D点的更新的信息；以及基于修改的更新图生成所述当前3D图像帧的全息图。

优选地，相关的3D点包括由于所述需要更新的3D点而导致幻影图像的3D点。

优选地，相关的3D点包括被所述需要更新的3D点遮挡的3D点。

优选地，相关的3D点位于距所述需要更新的3D点在规定距离内。

优选地，相关的3D点位于距所述需要更新的3D点的位置在规定像素距离内。

优选地，生成全息图包括以下步骤：利用所生成的更新图检查所述需要更新的3D点的百分比是否超过预设百分比；如果所述需要更新的3D点的百分比不超过所述预设百分比，则基于所述修改的更新图修改所述前一3D图像帧的全息图；以及输出修改的全息图，作为所述当前3D图像帧的全息图。

更优选地，生成全息图还包括以下步骤：如果所述需要更新的3D点的百分比超过所述预设百分比，则新生成所述当前3D图像帧的全息图。

优选地，修改更新图包括以下步骤：确定用于确定相关的3D点的像素距离；以及通过利用半径被设置为所确定的像素距离的掩模对所生成的更新图执行膨胀运算来修改所述更新图。

优选地，修改更新图包括以下步骤：确定用于确定相关的3D点的像素距离；检查所生成的更新图中是否存在两个邻近像素之间具有变化的值的点；以及如果变化点存在，则将距包括所述两个邻近像素的3D点更新指示信息的像素在所确定的像素距离内的像素中包括的信息修改为3D点更新指示信息。

为了实现这些目的和其它优点，并且根据本发明的目的，如本文具体实施和广义描述的，一种根据本发明的全息显示装置可以包括：存储单元，其被构造为存储前一3D图像帧的全息图；以及控制单元，其基于当前3D图像帧和前一3D图像帧生成指示所述当前3D图像帧中包含的3D点当中的需要更新的3D点的更新图，所述控制单元修改所述更新图以进一步包括指示与所述需要更新的3D点相关的3D点的更新的信息，所述控制单元基于修改的更新图生成所述当前3D图像帧的全息图。

优选地，所述全息显示装置还包括被构造为显示当前3D图像帧的全息图的显示单元。

更有选地，所述显示单元包括呈现干涉条纹的空间光调制器以及将光施加到该空间光调制器的光源。

附图说明

包括附图以提供对本发明的进一步理解，并且附图被并入本说明书并构成本说明书的一部分，附图示出本发明的实施方式，并与说明书一起用于说明本发明的原理。附图中：

图1是针对根据本发明的一个优选实施方式的全息显示装置的构造的图示；

图2是根据本发明的全息显示装置中的3D表示区域中的3D点的图示；

图3是针对3D点的条纹图案的图示；

图4是针对幻影图像效应的图示；

图5是用于生成更新图的处理的图示；

图6是针对在前一时刻（t-1）合成全息图的情况的图示；

图7是针对在当前时刻（t）合成全息图的情况的图示；

图8是要与因图像之间的差异而请求更新的3D点关联地更新的3D点的图示；

图9是针对3D表示空间中的距离与3D图像帧中的距离之间的关系的图示；

图10是针对根据本发明的一个优选实施方式生成全息图的方法的流程图；

图11是针对根据本发明的一个优选实施方式修改更新图的方法的流程图；

图12是根据一个实施方式的3D图像帧的图示；

图13是根据一个实施方式的结构单元的图示；

图14是针对根据一个实施方式的膨胀计算的结果的图示；以及

图15是针对根据本发明的另一个优选实施方式修改更新图的方法的流程图。

具体实施方式

现在将详细描述本发明的优选实施方式，这些优选实施方式的示例被例示在附图中。在该情况下，附图中描绘的以及通过附图描述的本发明的一些构造或动作被解释为至少一个实施方式，该至少一个实施方式不对本发明的技术思想及其核心构造和动作进行限制。

尽管本说明书中使用的术语是考虑本发明的功能从当前广泛使用的通用术语中选择出来的，但是它们可以根据从事对应领域的技术人员的意图、习惯、新技术的出现等来改变。偶尔，一些术语可以由申请人任意选择。在该情况下，任意选择的术语的含义应当在本发明的详细描述的对应部分中描述。因此，本说明书中使用的术语需要基于本说明书中公开的对应术语和总体事物的实质含义来进行理解，而不应当被理解为这些术语的简单名称。

并且，针对根据本说明书中公开的本发明的概念的实施方式的具体结构/功能描述仅出于解释根据本发明的实施方式的目的而进行例示。根据本发明的概念的实施方式可以按照各种形式实现，由此本发明的实施方式不受限制。

由于根据本发明的概念的实施方式能够添加各种修改并且具有多种形式，所以具体实施方式例示在附图中并且将在本说明书中进行详细解释。然而，根据本发明的概念的实施方式可以不限于具体公开的形式，并且应当理解，包括了本发明的思想和技术范围中包含的所有修改例和等效例/替代例。

在本发明中，诸如第一第二等的术语可以用于解释各种组件。然而各种组件不应当被这些术语限制。这些术语可以用于将组件彼此区分的目的。例如，第一组件可以被称为第二组件或者第二组件可以被称为第一组件，只要它们在所附权利要求及其等效物范围内即可。

图1是针对根据本发明的一个优选实施方式的全息显示装置的构造的图示。

参照图1，根据本发明的全息显示装置100可以包括接收单元101、解复用器140、视频解码器144、音频解码器148、显示单元150、音频输出单元160、输入装置170、存储单元180和控制单元190中的至少一个。根据实施方式，全息显示装置100还可以包括图像记录装置195。

例如，全息显示装置100是具有附加于广播接收功能的计算机辅助功能的智能显示装置。并且，全息显示装置100可以按照在实现广播接收功能的同时具有附加的互联网功能的方式配备有诸如手写输入装置、触摸屏、触摸板、魔力遥控器等的便于使用的接口。并且全息显示装置100能够按照在有线/无线互联网功能的支持下连接到互联网和计算机的方式执行诸如电子邮件、网络浏览、银行、游戏等功能。针对各种功能，可以使用标准化的通用操作系统（OS）。例如，由于各种应用能够在通用OS内核上自由地添加或删除，所以可以执行各种用户友好的功能。具体地说，例如，全息显示装置100可以包括网络电视、混合广播宽带电视（HBBTV）、智能电视、开放混合电视（OHTV）等中的一种。在一些情况下，全息显示装置100可以应用于智能电话、个人计算机（PC）或家用电器。

接收单元101能够接收广播数据、图像数据、音频数据、信息数据和应用数据。图像数据可以包括用于显示2D图像或3D图像的数据。并且3D图像可以包括全息图和立体图像中的至少一个。全息图可以包括计算机制全息图（CGH）。

3D图像可以包括具有多个3D图像帧的3D视频。作为实施方式的一部分，3D图像帧可以包括具有特定宽度和面积的2D图像帧和对应的深度图像。在该情况下，2D图像帧包括彩色图像数据。彩色图像数据包括像素值。在以下描述中，2D图像帧被称为彩色图像。深度图像可以表示为灰度级并具有与2D图像帧的像素分辨率相同的分辨率。包括在深度图像中的像素可以分别具有与包括在2D图像帧中的像素一一对应的深度值。深度值可以表示为灰度级。作为示例，灰度级可以具有范围从0至255的值。

全息显示装置100能够利用位于深度图像的坐标（u,v）处的像素的像素值（u,v）来计算3D空间（X,Y，Z）中的与2D图像帧的一个像素对应的位置。X是与位置（X,Y,Z）对应的像素在2D图像帧中的X轴上的坐标值，Y是与位置（X,Y,Z）对应的像素在2D图像帧中的Y轴上的坐标值。作为实施方式的一部分，全息显示装置100能够利用下式1计算深度值Z。在该情况下，深度值Z可以指示Z轴上的坐标值。

[式1]

Z=Zn+D(u,v)/255*(Zf–Zn)

在该情况下，Zn可以指示3D表示区域的深度值当中的最接近全息图图像侧的前景的深度值（Z轴上的坐标值）。Zf可以指示3D表示区域的深度值当中的最远离全息图图像侧的背景的深度值（Z轴上的坐标值）。灰度级被假设为范围从0至255。并且3D表示区域是指表示3D场景的空间区域，其被重建为全息图。3D表示区域的深度值可以由3D表示区域的背景的深度值（Zf）与3D表示区域的前景的深度值（Zn）之间的差值的绝对值（|Zf-Zn|）来限定。

可以根据全息显示装置100生成深度图像数据的方法来修改式1。

接收单元101可以包括调谐器110、解调制器120、移动通信单元115、网络接口单元130、语音检测单元133和外部信号接收单元135。调谐器110经由广播网络接收包括数据的流信号，解调制器120对接收到的流信号进行解调制。移动通信单元115可以经由诸如2G通信网络、3G通信网络、4G通信网络等的移动通信网络接收数据。并且，网络接口单元130可以经由网络收发数据，外部信号接收单元135可以从外部装置接收应用和内容并且从图像记录装置195接收图像帧。在该情况下，图像帧可以包括用户拍摄的图像帧。

解复用器140将由解调制器120输出的流信号解复用为视频信号和音频信号。并且，解复用器140可以从移动通信单元115、网络接口单元130或外部信号接收单元135接收图像数据、音频数据、广播数据、信息数据和应用数据。

视频解码器144对由解复用器140解复用的视频信号进行解码，并向显示单元150输出经解码的视频信号。

音频解码器148对由解复用器140解复用的音频信号进行解码，并向音频输出单元160输出经解码的音频信号。

显示单元150显示图像152。图像152可以包括全息图。显示单元150可以包括被构造为显示全息图的干涉条纹的空间光调制器（SLM）并且可以包括诸如透镜、反射镜等用于对由空间光调制器显示的干涉条纹进行成像的光学器件。

空间光调制器（SLM）在空间中对光进行调制。空间光调制器可以包括用于按照一个或更多个独立光源的开关、消隐或调制束的方式控制强度、颜色和/或相位的装置。空间光调制器包括可控像素的矩阵，并且这些像素通过改变所通过的光的振幅和/或相位来重建物点。例如，空间光调制器可以分立地或连续地实现为声光调制器（AOM）并且可以包括液晶显示器（LCD）。

空间光调制器根据由控制单元190生成的全息图的全息图值显示干涉条纹。导致由空间光调制器显示的干涉条纹的光在用户眼睛前方传播，并且接着能够重建3D场景（下文简称为场景）。该场景可以按照从位于全息图重建的周期性间隔中的可见范围重建的方式来看见。可见范围是用户能够以足够良好的可见性看见整个重建场景的限制范围。可见范围内的波场彼此交叠，使得重建的场景能够对于用户变得可见。可见范围可以位于用户的眼睛处或者在用户的眼睛附近。可见范围可以在X、Y和Z的方向上移位，并且通过公知的位置检测或跟踪方法来跟踪用户的位置。利用两个可见范围，即，利用每个眼睛一个可见范围是可以的。并且，可以进行编码，以使得观看者能够感知单个物体或者整个场景，就如同单个物体或整个场景位于空间光调制器的后面一样。

在以下描述中，构造重建的3D场景的各个点被定义为3D点或物点。

显示单元150能够按照连接到控制单元190的方式操作。显示单元150能够显示图形用户界面（GUI）153，该图形用户界面153提供全息显示装置与操作系统之间便于使用的接口或者操作系统中有效的应用之间的便于使用的接口。

音频输出单元160从音频解码器148和控制单元190接收音频数据，并且接着能够输出从所接收到的音频数据生成的声音161。

输入装置170可以包括设置在显示单元150上或设置在显示单元150前方的触摸屏或者被构造为从遥控器111接收信号的通信单元。输入装置170能够从遥控器111接收遥控器发送的信号。

根据实施方式的一部分，接收单元101可以包括被构造为从遥控器111接收信号的通信单元。具体地说，外部信号接收单元135能够从遥控器111接收遥控器发送的信号。

存储单元180总体上提供用于存储由全息显示装置100使用的程序代码和数据的地方。在该情况下，程序代码可以包括由接收单元101接收的应用的程序代码或者在制造全息显示装置100的过程中存储的应用的程序代码。并且这些应用可以按照诸如HTML、XML、HTML5、CSS、CSS3、Java脚本、Java、C语言、C++、Visual C++、C#等的编程语言来编写。

存储单元180能够存储根据3D点的距离预先计算的条纹图案。并且存储单元180能够存储基于3D图像帧生成的全息图。存储单元180执行临时保存当前显示的3D图像帧之前的3D图像帧的全息图的缓冲功能。在该情况下，存储单元180能够存储全息图的全息图值。全息图值可指空间光调制器可控的全息图像素的像素值。在显示彩色的情况下，全息图像素可以包括呈现主彩色的多个子像素，并且全息图值可以包括多个子像素的像素值。并且，全息图值是指全息图的全息图点值。

存储单元180可以利用只读存储器（ROM）、随机存取存储器（RAM）、硬盘驱动器等中的至少一个来实现。程序代码和数据可以保存在可移除存储介质中或者（如果需要）加载/安装在全息显示装置100上。在该情况下，可移除存储介质可以包括CD-ROM、PC卡、存储卡、软盘、磁带、网络组件等中的一个。

控制单元190执行命令，并且执行与全息显示装置100关联的操作。例如，控制单元190能够利用从存储单元180获取的命令控制全息显示装置100的组件之间的输入/输出、数据接收和处理。

控制单元190进行执行程序代码、生成数据以及与操作系统一起使用数据的操作。操作系统总体上是公知的，不进一步描述其细节。例如，操作系统可以包括Windows系列OS、UNIX OS、Linux OS、Palm OS、DOS、安卓OS、Macintosh OS等中的一个。操作系统和其它计算机代码以及数据可以保存在通过连接到控制单元190进行操作的存储单元180中。

控制单元190可以实现在单个芯片、多片芯片或者多个电子部件上。例如，专用或嵌入式处理器、单功能处理器、控制器、ASIC和/或各种体系结构可以用于控制单元190。

控制单元190可以识别用户动作，并且接着能够基于所识别的用户动作控制全息显示装置100。在该情况下，用户动作能够包括全息显示装置100或遥控器的物理按键的选择、在触摸屏的显示侧执行的规定手势动作或软键选择、从由图像记录装置195拍摄的图像识别的规定手势动作、由语音识别识别的规定语音使能动作等中的一个。手势可以包括触摸手势和空间手势。

控制单元190能够构造与从特定宽度W和特定面积H的3D图像数据获得的一组3D点对应的Pi，其由接收单元101接收。可以从构造3D图像数据的N（=W*H）个像素构造N个3D点集合。3D点集合Pi可以由下式2限定。

[式2]

Pi=(Xi,Yi,Zi),(i=1,…,N)

输入装置170接收手势171，控制单元190执行用于执行与手势171相关的操作的命令。此外，存储单元180可以包括手势操作程序181，该手势操作程序181可以是操作系统或者独立应用的一部分。手势操作程序181可以包括用于识别手势171的出现并将手势171和/或响应于手势171应当采取何种动作通知给至少一个软件代理。

图2是根据本发明的全息显示装置中的3D表示区域中的3D点的图示。

参照图2，3D点（P(X,Y，Z)）在Z轴上的坐标值Z具有在3D表示区域的前景在Z轴上的坐标值Zn与3D表示区域的背景在Z轴上的坐标值Zf之间的值。

控制单元190针对3D点计算3D点与点（h）之间的距离，3D点各自的条纹图案应当记录在全息图图像侧210的点（h）上。控制单元190控制已经根据针对3D点计算的距离而预先计算的条纹图案与点（h）交叠。各自的条纹图案应当记录在点（h）上的点包括3D点。在该情况下，各个3D点可以与通过垂直于全息图图像侧210而穿过点（h）的直线具有比角度θ小的角度。在该情况下，角度θ可以由下式3确定。

[式3]

θ=arcsin(λ/(2p))

在该情况下，λ是用于全息图的回放的光的波长，P是显示单元150的面板的像素的尺寸。显示单元150的面板可以包括空间光调制器（SLM），并且P可以指示空间光调制器的像素的尺寸。

例如，控制单元190计算与垂直于全息图图像侧210的线具有比角度θ小的角度的3D点（P）与点（h）之间的距离（d），并接着控制根据所计算的距离（d）预先计算出的条纹图案与点（h）交叠。

控制单元190能够按照控制应当记录在全息图图像侧210的各个点上的条纹图案与全息图图像侧210的各个点交叠的方式生成全息图。

图3是针对3D点的条纹图案的图示。

参照图3，图像300是与点光源对应的条纹图案的示例。控制单元190基于从存储单元180计算的距离（d）访问条纹图案300，并且控制所访问的条纹图案300与点（h）交叠。

图4是针对幻影图像效应的图示。

参照图4，假设用户401在右边看到左边的全息图图像。3D点所在的区域表示为区域A。在该情况下，3D点的条纹图案应当记录在点（h）上。更靠近全息图图像的物体410被称为前景，更远离全息图图像的另一物体420/430被称为背景。

在通过计算点（h）与包括在区域A中的3D点之间的距离并使得与所计算的距离相关的条纹图案能够与点（h）交叠来生成全息图图像的情况下，可能导致应当由于被前景遮挡而不能被看见的背景图像显现的问题。背景图像显现的现象被称为幻影图像效应。并且，构造背景图像的3D点当中的导致该现象的3D点应当被定义为导致幻影图像的3D点。

图5是用于生成更新图的处理的图示。

参照图5，在利用全息图显示3D视频的情况下，控制单元190将前一时刻（t-1）的3D图像帧510与当前时刻（t）的3D图像帧520进行比较，接着计算已经变化的3D点530和540。并且，控制单元190生成指示需要更新所计算的3D点530的更新图。

作为实施方式的一部分，控制单元190计算作为3D图像帧510的彩色图像511与3D图像帧520的彩色图像521之间的差信号的强度差信号530。控制单元190计算作为3D图像帧510的深度图像512与3D图像帧520的深度图像522之间的差信号的深度差信号540。控制单元190计算根据将强度差信号530与深度差信号540相加得到的差信号550。控制单元190生成呈现3D点的更新图。在更新图中，由差信号550指示的差值超过阈值的3D点被设置为1，并且差值不超过该阈值的3D点被设置为0。在该情况下，“1”是指示3D点需要更新的信息，然而“0”是指示3D点无需更新的信息。

图6是针对在前一时刻（t-1）合成全息图的情况的图示。

图6示出了合成前一时刻（t-1）的3D图像帧的全息图的情况。

在图6中，示出了其中记录有关于3D点的深度信息的深度图以及指示是否要更新3D点的更新图。3D表示区域对应于块610。并且，3D点620、630和640分别根据对应的深度值显示在3D表示区域610中。

图7是针对在当前时刻（t）合成全息图的情况的图示。

图7示出了合成当前时刻（t）的3D图像帧的全息图的情况。

在图7中，示出了其中记录有关于3D点的深度信息的深度图以及指示是否要更新3D点的更新图。3D表示区域对应于块710。并且，3D点720、730和740分别根据对应的深度值显示在3D表示区域710中。

参照图7，更新图750指示在时刻t已经根据物体的运动而改变的3D点。在更新图750中，空白点表示值0，填充有黑色的点751/752表示值1。点751/752指示应当更新相关的3D点721/741。

图7中的时刻t的3D图像帧对应于图6中的时刻t-1的3D图像帧的3D点620在与X轴平行的方向上向上移位一个像素的情况。在用户看来，更新图中的实际变化区域对应于填充有黑色的点751和752。然而，3D点731中出现变化。为此，由于3D点731被3D点721遮挡，所以3D点731导致幻影图像效应。

控制单元190修改更新图750，以使得同样能够更新3D点731。更新图760是根据前一更新图750修改的图。在经修改的更新图760中，与3D点731相关的点761填充有黑色。

在以下描述中，由于图像之间的差异而需要更新的3D点应当被称为差异3D点，并且要与该差异3D点关联地更新的3D点应当被称为幻影3D点。例如，3D点721/741是差异3D点，而3D点731是幻影3D点。

图8是要与因图像之间的差异而需要更新的3D点关联地更新的3D点的图示。

参照图8，控制单元190能够将距差异3D点在规定距离内的3D点确定为幻影3D点。

作为实施方式的一部分，控制单元190能够基于前景3D点810与背景3D点820在X-Y平面上的距离C计算规定的距离。按照位于区域A的边界上的方式，前景3D点810在3D表示区域中具有前景的深度值（Zn），并且背景3D点820在3D表示区域中具有背景的深度值（Zf）。在该情况下，距离C成为距可能被差异3D点遮挡的背景点的最大距离。全息显示装置100能够将距差异3D点在最大距离内的3D点确定为幻影3D点。因此，本发明在无需用于搜索所有3D点中导致幻影效应的3D点的处理的情况下防止了幻影图像效应，并且更快速地生成不具有幻影图像效应的全息图。

距离C可以基于下式4来提取。

[式4]

$C=\sqrt{({(\mathrm{Xf}-\mathrm{Xn})}^2+{(\mathrm{Yf}-\mathrm{Yn})}^2)}$

在该情况下，Xf和Yf分别指示背景3D点820处的X轴上的坐标值和Y轴上的坐标值。Xn和Yn分别指示前景3D点810处的X轴上的坐标值和Y轴上的坐标值。

作为实施方式的一部分，控制单元190能够基于下式5的值E确定规定的距离。

[式5]

E=D*tan(arcsin(λ/(2P))

在该情况下，D是3D表示区域的深度值（|Zf-Zn|），λ是用于全息图的回放的光的波长，P是显示面板的像素的尺寸。

图9是针对3D表示空间中的距离与输入图像帧中的距离之间的关系的图示。

参照图9，在3D空间中与在X-Y平面上距Z轴达Zf的距离C对应的图像中的像素距离C□可以表示为式6。

[式6]

C□=f*(c/Zf)

在该情况下，“f”为焦距。

在3D图像帧中，控制单元190能够将位于距离3D图像帧中的差异3D点的位置在规定的像素距离以内的3D点确定为幻影3D点。具体地说，控制单元190能够将位于距3D图像帧的2D图像帧中的差异3D点在规定距离以内的3D点确定为幻影3D点。

作为实施方式的一部分，控制单元190能够基于下式7的值Q来确定规定的像素距离。

[式7]

Q=(f/Zf)*|Zf-Zn|*tan(arcsin(λ/(2P))

在该情况下，f是焦距，Zf是3D表示区域的背景的深度值，Zn是3D表示区域的前景的深度值，λ是用于全息图的回放的光的波长，P是显示面板的像素的尺寸。式7的值Q是与式5的值E对应的图像中的像素距离。

在式7中，λ和P是常数。如果Zf、Zn和f不变，则Q为常数。如果按照将更新图中与表示为1的像素相距Q的像素表示为1的方式修改更新图，则能够防止幻影图像效应。

图10是针对根据本发明的一个优选实施方式生成全息图的方法的流程图。

参照图10，接收单元101接收包括3D视频的信号[S100]。在该情况下，所接收到的信号可以包括广播信号。3D视频包括多个3D图像帧，多个3D图像帧可以包括彩色图像和深度图像。

控制单元190基于包括在3D视频中的彩色图像和深度图像构造3D点集合[S105]。所构造的3D点集合可以由上述式2来限定。所构造的3D点集合可以对应于包括在3D视频中的一个3D图像帧。

控制单元190利用当前3D图像帧和前一3D图像帧生成更新图[S110]。当前3D图像帧可以包括当前要显示的3D图像帧，前一3D图像帧可以包括先前显示的3D图像帧。更新图包括指示需要更新的3D点的信息，并且可以通过参照图5描述的方法生成。

作为实施方式的一部分，当前3D图像帧和前一3D图像帧分别对应于图5所示的3D图像帧520和3D图像帧510。并且更新图可以包括图7所示的更新图750。

控制单元190检查需要更新的3D点是否超过3D图像帧中包括的3D点的一半[S115]。作为实施方式的一部分，在步骤S115中，控制单元190能够检查需要更新的3D点的百分比是否等于或大于预设百分比。在该情况下，3D点的百分比指示需要更新的3D点占3D图像帧中包括的3D点的总数的百分比。并且，预设百分比可以包括30%至70%之间的范围内的值，并且，优选地，包括40%至60%之间的范围内的值。

如果需要更新的3D点不超过一半，则控制单元190修改更新图，以进一步包括指示幻影3D点的更新的信息[S120]。作为实施方式的一部分，经修改的更新图可以包括图7所示的更新图760。控制单元190能够通过参照图8或图9描述的方法确定幻影3D点。

作为实施方式的一部分，步骤S120可以包括图11所示的处理或者图15所示的处理。

控制单元190利用步骤S120中修改的更新图生成前一3D图像帧的变化部分的全息图[S125]。在该情况下，变化部分是指由经修改的更新图指示为要更新的3D点。

控制单元190利用步骤S120中修改的更新图生成当前3D图像帧的变化部分的全息图[S130]。变化部分是指由经修改的更新图指示为要更新的3D点。

控制单元190从前一3D图像帧的全息图中删除在步骤S125中生成的全息图，并且添加在步骤S130中生成的全息图[S135]。具体地说，控制单元删除在经修改的更新图中表示为1的前一3D图像帧的3D点的条纹图案，并添加当前3D图像帧的对应3D点的条纹图案。换言之，仅针对变化的3D点（即，在经修改的更新图中表示为1的3D点）新合成全息图图像，由此减少生成当前3D图像帧的全息图图像所需的时间。在该情况下，控制单元190能够访问存储单元180中的前一3D图像帧的全息图值。

如果需要更新的3D点超过一半，则控制单元190利用在步骤S105中构造的当前3D图像帧的3D点集合新生成当前3D图像帧的全息图[S140]。

控制单元190将作为步骤S135或者步骤S140的结果而生成的全息图保存在存储单元180中[S145]。

控制单元控制作为步骤S135或者步骤S140的结果而生成的全息图进行显示[S150]。在该情况下，所生成的全息图的全息图值可以应用于显示单元150的空间光调制器的像素。

图11是针对根据本发明的一个优选实施方式修改更新图的方法的流程图。

图11所示的修改更新图的方法涉及修改支持全视差的更新图的方法。

参照图11，控制单元190确定用于修改更新图的距离[S200]。在该情况下，该距离可以包括差异3D点与要计算的幻影3D点之间的空间距离或者3D图像帧内的像素距离。空间距离可以基于式4和式5来确定，像素距离可以基于式7来确定。

控制单元190对更新图执行膨胀运算[S210]。控制单元190能够使用具有被设置为在步骤S200中确定的距离的半径的掩模，作为膨胀运算的掩模。根据膨胀运算，掩模的中心像素位于输入图像的各个像素处，接着输入图像的与掩模的黑色区域交叠的像素被着色为黑色。控制单元190按照选择图10所示的在步骤S110中生成的更新图中的表示为1的像素作为输入图像的方式执行膨胀运算。通过执行膨胀运算，控制单元190将距更新图中的表示为1的像素的距离小于步骤S200中计算的距离的各个像素表示为1。

图12是根据一个实施方式的3D图像帧的图示，图13是根据一个实施方式的结构单元的图示，并且图14是针对根据一个实施方式的膨胀计算的结果的图示。具体地说，图14是针对对图12所示的更新图执行膨胀运算的结果的图示。

参照图12至图14，假设图10所示的在步骤S110中生成的更新图对应于图12所示的更新图1200，并且图11所示的在步骤S200中确定的距离是像素距离“1”。更新图1200中的黑色像素指示与对应的像素相关的3D点需要更新，并且白色像素指示与对应的像素相关的3D点无需更新。

控制单元190利用具有被设置为像素距离“1”的半径的掩模1300对更新图1200执行膨胀运算。在该情况下，掩模1300对应于图13所示的用于形态学运算的结构单元。

作为膨胀运算的结果，图12所示的更新图1200被修改为图14中的更新图1400。经修改的更新图1400中的斜线像素指示经膨胀的区域，并且还指示要修改为黑色的区域。具体地说，经修改的更新图1400中的斜线像素指示需要附加地更新的3D点。

图15是针对根据本发明的另一个优选实施方式修改更新图的方法的流程图。

图15所示的更新图修改方法涉及修改支持水平视差的更新图的方法。

参照图15，控制单元190确定用于修改更新图的距离[S300]。在该情况下，该距离可以包括差异3D点与要计算的幻影3D点之间的空间距离或者3D图像帧内的像素距离。空间距离可以基于式4和式5来确定，并且像素距离可以基于式7来确定。

控制单元190检索在更新图中两个邻近像素的值改变的情况[S310]。作为实施方式的一部分，假设指示3D点的更新的像素值在更新图中表示为1，并且不指示3D点的更新的像素值在更新图中表示为0，在步骤S310中，控制单元190能够检索两个邻近像素的值改变为“01”或“10”的情况。

在两个邻近像素的值改变的情况下，控制单元190基于在步骤S300中确定的距离修改像素值[S320]。控制单元190将在从具有指示更新的像素值的一个像素到另一个像素的方向上位于确定的距离内的像素改变为具有指示更新的像素值。

根据本发明的全息显示装置及其操作方法不限于以上描述中提到的实施方式的构造和方法。这些实施方式可以按照全部或者部分地选择性组合以进行各种修改的方式来重新构造。

因此，本发明可以提供以下效果和/或特征。

根据本发明的利用3D视频的冗余生成全息图的全息显示装置和方法，由于在利用3D视频的冗余生成全息图时由更新的一个3D点所遮挡的另一个3D点被一起更新，所以能够防止幻影图像效应的出现。并且，通过更新位于以3D点为中心的规定距离内的3D点而不对所有3D点应用幻影图像消除方法，能够更快速地生成不具有幻影图像效应的全息图。

此外，根据本发明的操作全息显示装置的方法能够利用可以由提供给全息显示装置的处理器读取的记录介质中的处理器可读代码来实现。该处理器可读记录介质可以包括能够存储处理器可读数据的所有类型的记录装置中的至少一种。例如，该处理器可读记录介质可以包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等中的一种，并且还可以包括诸如经由互联网的传输的载波形式的实现等。此外，由于处理器可读记录介质分布到经由网络连接的计算机系统，所以处理器可读代码可以由分布式系统来保存和执行。

虽然已经参照本发明的优选实施方式描述和例示了本发明，但是本发明不限于上述具体实施方式。对于本领域技术人员而言明显的是，在不脱离本发明的精神和范围的情况下，可以做出各种修改和变化。因而，本发明旨在覆盖本发明的落在所附权利要求及其等效物的范围内的修改和变化。

本申请要求于2012年2月29日提交的韩国专利申请No.10-2012-0021325的优先权，通过引用将其全部并入本文，如同在此完全阐释一样。

Claims (15)

1.一种利用3D视频的冗余生成全息图的方法，该方法包括：

基于当前3D图像帧和前一3D图像帧生成指示所述当前3D图像帧中包含的3D点当中的需要更新的3D点的更新图；

修改所述更新图以进一步包含指示与所述需要更新的3D点相关的3D点的更新的信息；以及

基于修改的更新图生成所述当前3D图像帧的全息图。

2.根据权利要求1所述的方法，其中，所述相关的3D点包括由于所述需要更新的3D点而导致幻影图像的3D点和被所述需要更新的3D点遮挡的3D点中的至少一种。

3.根据权利要求1所述的方法，其中，所述相关的3D点位于距所述需要更新的3D点在规定距离内，并且其中，所述规定距离基于下式的值C来确定：

C=D*tan(arcsin(λ/(2P))，

其中，D是3D表示区域的深度值，λ是用于全息图的回放的光的波长，并且P是显示面板的像素的尺寸。

4.根据权利要求1所述的方法，其中，所述相关的3D点位于距所述需要更新的3D点的位置在规定像素距离内，并且其中，所述规定像素距离基于下式的值Q来确定：

Q=(f/Zf)*|Zf-Zn|*tan(arcsin(λ/(2P))，

其中，f是焦距，Zf是3D表示区域的背景的深度值，Zn是3D表示区域的前景的深度值，λ是用于全息图的回放的光的波长，P是显示面板的像素的尺寸。

5.根据权利要求1所述的方法，其中，生成全息图包括：

利用所生成的更新图检查所述需要更新的3D点的百分比是否超过预设百分比；

如果所述需要更新的3D点的百分比不超过所述预设百分比，则基于所述修改的更新图修改所述前一3D图像帧的全息图；以及

输出修改的全息图，作为所述当前3D图像帧的全息图。

6.根据权利要求5所述的方法，其中，生成全息图还包括：

如果所述需要更新的3D点的百分比超过所述预设百分比，则新生成所述当前3D图像帧的全息图。

7.根据权利要求1所述的方法，其中，修改所述更新图包括：

确定用于确定所述相关的3D点的像素距离；以及

通过利用半径被设置为所确定的像素距离的掩模对所生成的更新图执行膨胀运算来修改所述更新图。

8.根据权利要求1所述的方法，其中，修改所述更新图包括：

确定用于确定所述相关的3D点的像素距离；

检查所生成的更新图中是否存在两个邻近像素之间具有变化的值的点；以及

如果变化点存在，则将距包括所述两个邻近像素的3D点更新指示信息的像素在所确定的像素距离内的像素中包括的信息修改为3D点更新指示信息。

9.一种全息显示装置，所述全息显示装置包括：

存储单元，所述存储单元被构造为存储前一3D图像帧的全息图；以及

控制单元，所述控制单元被构造为基于当前3D图像帧和前一3D图像帧生成指示所述当前3D图像帧中包含的3D点当中的需要更新的3D点的更新图，所述控制单元修改所述更新图以进一步包括指示与所述需要更新的3D点相关的3D点的更新的信息，所述控制单元基于修改的更新图生成所述当前3D图像帧的全息图。

10.根据权利要求9所述的全息显示装置，其中，所述相关的3D点对应于由于所述需要更新的3D点而导致幻影图像的3D点和被所述需要更新的3D点遮挡的3D点中的至少一种。

11.根据权利要求9所述的全息显示装置，其中，所述相关的3D点位于距所述需要更新的3D点在规定距离内，并且其中，所述规定距离基于下式的值C来确定：

C=D*tan(arcsin(λ/(2P))，

其中，D是3D表示区域的深度值，λ是用于全息图的回放的光的波长，并且P是显示面板的像素的尺寸。

12.根据权利要求9所述的全息显示装置，其中，所述相关的3D点位于距所述需要更新的3D点在规定像素距离内，并且其中，所述规定像素距离基于下式的值Q来确定：

Q=(f/Zf)*|Zf-Zn|*tan(arcsin(λ/(2P))，

其中，f是焦距，Zf是3D表示区域的背景的深度值，Zn是3D表示区域的前景的深度值，λ是用于全息图的回放的光的波长，P是显示面板的像素的尺寸。

13.根据权利要求9所述的全息显示装置，其中，所述控制单元利用所生成的更新图检查所述需要更新的3D点的百分比是否超过预设百分比，其中，如果所述需要更新的3D点的百分比不超过所述预设百分比，则所述控制单元基于所述修改的更新图修改前一3D图像帧的全息图，并且其中，所述控制单元输出修改的全息图，作为所述当前3D图像帧的全息图。

14.根据权利要求13所述的全息显示装置，其中，如果所述需要更新的3D点的百分比超过所述预设百分比，则所述控制单元新生成所述当前3D图像帧的全息图。

15.根据权利要求9所述的全息显示装置，该全息显示装置还包括：

被构造为显示所述当前3D图像帧的全息图的显示单元，该显示单元包括：

被构造为呈现所述当前3D图像帧的全息图的干涉条纹的空间光调制器；以及

被构造为将光施加到所述空间光调制器的光源。

Images