CN102656620B

CN102656620B - 用于从标准视频流驱动3d双目眼镜的方法

Info

Publication number: CN102656620B
Application number: CN201080057908.6A
Authority: CN
Inventors: F·P·赫尔曼
Original assignee: Kopin Corp
Current assignee: Kopin Corp
Priority date: 2009-11-13
Filing date: 2010-11-15
Publication date: 2017-06-09
Anticipated expiration: 2030-11-15
Also published as: CN102656620A; US9438896B2; WO2011060347A1; US20110181707A1

Abstract

一种视频眼镜设备，其中驱动并行并排视频信号作为供给左和右显示器的模拟信号而定时由共同采样时钟控制。左显示采样时钟脉冲串在活跃视频时段期间出现，而右显示脉冲串在活跃视频时段的相同部分期间出现。

Description

用于从标准视频流驱动3D双目眼镜的方法

相关申请

本申请要求于2009年11月13日提交的第61/261,104号美国临时申请的权益，其全部教导通过引用结合于此。

技术领域

本申请总体涉及光学领域，并且特别地涉及一种视频眼镜设备。

背景技术

消费者视频设备

消费者越来越多地使用便携设备(比如Apple^TM iPod^TM Touch^TM)或者智能电话(比如iPhone^TM和Google^TM Android^TM设备)来存储(或者经由网络访问)电视节目、电影和其它视频内容。这些设备的小型外形规格便于在个人的口袋中携带。然而小屏幕尺寸可能提供欠理想的观看体验。

已经知道头戴式显示器很长时间。这些显示器的某些类型如同一对眼镜那样佩戴。它们可以具有用于左眼和右眼两者的显示元件以提供立体视频图像。它们可以被设计成向外界呈现烟熏塑料“太阳镜”外观。市面上的产品如今可以在小型便携紧凑外形规格中提供相当沉浸的观看体验从而提供“大屏幕”体验而又同时保持与iPod和智能电话的便携性兼容。

在这些头戴式显示设备中，用于每只眼的光学成像路径通常包括模制塑料封装中的用于背光照明的发光二极管(LED)、偏振膜和微显示器液晶显示(LCD)元件。在光路中的工件(piece)之中，微显示器元件通常占据中心位置。适当小的彩色LCD面板可从比如KopinCorporation of Taunton,Massachusetts这样的来源获得。Kopin的显示器(比如型号)根据所得视频的所需质量可以提供QVGA、VGA、WVGA、SVGA以及甚至更高分辨率。

立体3D技术

同时，全尺寸平板电视越来多地可用于观看三维内容。这引起3D内容可用性的对应增加从而使得也希望在便携设备上观看这样的内容。

立体视觉(stereoscopy)是一种通过向左和右眼呈现略微不同视图来显示三维图像的方法。最常见方法使用单个屏幕或者显示设备与用于分离用于左和右眼的图像的某一光学装置组合。这些方法包括：

1.浅浮雕(anaglyph)技术，其中观看者佩戴具有有色滤光器(普遍为红色和青色)的眼镜。

2.使用具有相反偏振滤光器(线性偏振或者圆偏振)的被动眼镜的相似技术。

3.与示出交织的左和右场的显示设备同步的主动快门眼镜。

4.自动立体视觉技术，其中无需眼镜，因为在显示器本身上执行光学分离(通常用棱镜光学器件控制发射角并且将光引向左和右眼)。

所有上述技术在某一程度上受串扰伪像(artifact)影响，其中每只眼接收用于另一只眼的一些光。这些伪像减少3D图像的感知质量。

一种替代技术通过使用双目眼镜中的分离微显示器来完全消除眼间串扰。构造眼镜使得每只眼集中于单个显示器并且用单独视频信号驱动两个显示器。

立体视频信号和格式

视频电子设备的安装基础包括很少针对立体3D的支持。在多数情况下，因此更希望适配现有2D设备、信号和格式以操纵3D内容。一些方法包括：

1.空间分离(上下或者并排)

2.空间交织(偶数/基数行或者列)

3.时间交织(交替帧或者场)

随着每种显示系统已经选择最有利于所用特定显示技术的方法，各种格式已经不断出现。

YouTube^TM已经引入针对3D视频的支持并且已经选择“眼交叉眼并排(cross-eyedside-by-side)”作为它的标准上传格式。(YouTube网站提供各种其它回放格式的选项。)由于YouTube广为流行，所以该格式可能变成用于交换3D内容的事实上标准。

眼交叉眼并排格式将图像拆分成左右两半并且将左眼数据置于右半个图像中而将右眼数据置于左半个图像中。“平行”并排格式将左和右图像置于它们的对应一半中。两种格式都很好地适合于视频眼镜上的显示，因为可以实现格式转换不使用帧缓冲存储器。

以往也已经采用各种方式用于适配眼镜以操纵流视频。图1是典型现有技术的2D视频眼镜系统的高级框图。驱动电子器件20接收输入视频流10(数字或者模拟)并且执行任何必需信号处理(例如缩放、去交织、色空间转换、伽马校正等)。它输出适合于两个显示50-L、50-R的视频信号30，所述信号在上文提到的基于液晶显示器(LCD)的视频眼镜的情况下可以是在适当电压范围的多个模拟信号。例如视频信号30可以包括单独红、绿和蓝(RGB)通道输出。驱动电子器件20也向显示器50输出数字时钟和控制信号40，这些信号在LCD的情况下将通常为一个或者多个采样时钟信号。

图2是用于这样的2D系统的高级时序图，该时序图更具体示出了视频输出流30和采样时钟信号40-1。水平时段60是为了扫描显示器的一行而必需的时间(对于480p格式视频信号而言通常为31.7μS)并且包括活跃视频时段61和不活跃“回扫(retrace)”时段62。采样时钟40-1在活跃时段61期间(并且在一些显示器上也在回扫时段62期间)切换(或者“猝发(burst)”)。请注意采样时钟不按比例，因为通常会每个像素有一个时钟并且因此每个水平时段60有数以百计的时钟。在该2D系统中，向左50-L和右50-R显示器二者呈现相同视频30和控制40信号，这些显示器因此显示相同图像。

在适于示出3D视频的眼镜的现有技术实施方式中，如图3和图4中所示，两个显示器也接收相同视频信号30，但是用单独控制信号42-L、42-R驱动它们。例如，如果输入3D视频是“并排”格式，则控制信号42-L、42-R通常相对于2D情况有所修改以便为每只眼选择输入视频信号的不同部分。

比较图2与图4，注意在3D系统的该现有技术实施方式中，水平时段60保持与针对2D情况相同，但是3D实施方式需要近似双倍采样频率以通过重新采样模拟信号来实现1：2缩放操作。(频率可以有些变化以根据需要实现其它缩放比。)因此驱动电子器件20必须被修改成支持该方式；否则较高带宽可能损失显示性能。

可以使该方法适配于其它格式。适配可以包括：

·可以通过反转左和右时钟的作用来支持眼交叉眼并排格式。

·可以通过使用相位相反而频率相同的两个时钟作为输入来支持列交织格式。

发明内容

本发明是一种用于从各种格式的输入视频流驱动三维视频眼镜的技术。在一个实施例中，共同采样时钟用来并行驱动左和右显示器。

更具体而言，一种能够显示三维视频内容的视频眼镜设备接收数字视频信号，该信号具有编码于其中的将在左和右显示器上显示的信息。左通道和右通道视频驱动器向相应左和右显示器中的每个显示器提供单独的左和右视频信号。向左和右视频驱动器施加时钟信号，从而用于左视频驱动器的活跃采样时钟时段在与用于右视频驱动器的活跃采样时钟时段相同的时间期间出现。

在一种配置中，左和右数字缩放器被连接成接收相应左和右数字视频流、应用水平缩放因子。缩放因子可以依赖于显示器之一的水平行中的像素数目与输入数字视频信号的水平行中的像素数目之比。缩放器可以重复像素或者使用线性或者其它像素插值技术。当输入信号是具有三个色通道的彩色信号时，针对每个通道并且针对每只眼独立执行缩放。

在更多其它实施例中，像素位置移位器可以将左或者右数字视频信号中的至少一个数字视频信号相对于彼此水平移位。可能希望这样的调整以适应视频源材料或者观看者的瞳孔间距离(IPD)的变化。

附图说明

将从对如附图中所示本发明示例实施例的下文更具体描述中清楚前述内容，在这些附图中，相似标号在所有不同视图中指代相同部分。附图未必按比例，而是着重于例示本发明的实施例。

图1是现有技术的二维视频眼镜系统的高级框图。

图2是用于图1的现有技术系统的高级时序图。

图3是现有技术的三维视频眼镜系统的高级框图。

图4是用于图3的现有技术系统的高级时序图。

图5是根据本发明一个示例实施例的三维视频眼镜系统的高级框图。

图6是用于图5的示例实施例的时序图。

图7是瞳孔间距离实施方式的高级框图。

具体实施方式

下文描述本发明的示例实施例。

在第一示例实施例中，用从输入视频流导出的两个相应视频信号驱动头戴式视频眼镜装置的左和右显示器。供给两个显示器的控制信号(比如采样时钟输入)可以相同并且可以具有与用于显示2D内容的时钟时段相同的时钟时段。

图5是一个这样的示例实施方式的框图，其中在驱动电子器件块100中示出了附加细节。这里假设输入视频信号110已经是数字视频信号(然而如果为模拟则在驱动电子器件100中包括A/D转换步骤(未示出))。首先向行缓冲存储器120写入每行输入视频。在两个流125-L、125-R(每个流各自用于左和右视频通道)中向一对数字缩放器130-L、130-R读出行缓冲器的内容。两个缩放的视频信号馈给一对视频驱动器140-L、140-R，这些驱动器又馈给左150-L和右150-R显示元件。

在一个实施例中，显示器150-L、150-R可以各自是分辨率为854×480、对角外形规格尺寸为0.44”的KopinWVGALVS显示器。这样的显示器150可以由视频驱动器140(比如Kopin的KCD-A251显示驱动器专用集成电路(ASIC))驱动。

在该实施例中，输入视频流110可以是以“并排”格式布置像素的480p彩色数字视频信号。彩色数字视频信号又由各自具有8位分辨率的3个通道(R，G，B)构成。

在该情况下，行缓冲存储器120为24位宽。行缓冲器120可以实施为单缓冲器、双缓冲器或者一对FIFO。无论任何设计的缓冲器120都经常小到足以相配于FPGA或者相似可编程逻辑器件中并且可以与显示控制逻辑的其它部件集成。

在该示例实施例中，使用共计六个数字缩放器130(每个缩放器各自用于左和右显示器中的每个显示器的R、G、B通道)，因为每个色通道的插值优选地与其它通道分离地完成。数字缩放器130“弥补”在较高分辨率显示与向每只眼馈给的现在较低分辨率的输入信号之间的水平分辨率差异。数字缩放器130可以实施为以输入视频流110和两个显示器150的水平分辨率的像素的简单重复。在缩放因子为简单整数倒数(比如2：1)的情况下，缩放130可以实施为像素的简单重复。然而在其它情况下，当缩放因子不是整数倒数时，可以使用更复杂的缩放技术(比如线性插值)。在任一情况下，优选地在数字域中实施缩放器130，这可以实现比重新采样模拟信号的现有技术方法可能实现的结果更好的结果。

用于数字缩放器130的一些例子考虑包括以下考虑：

·通常用每水平行720个活跃“非方形”像素对分辨率为480p的标准2D视频流编码。对于3D“并排”输入视频流格式，则有可用于每只眼的360个像素。如果裁剪图像用于在一对宽VGA(WVGA)(864×480)显示器上呈现，则适当缩放比与在该情况(2：1)下相比略大。首先考虑可以从输入流省略一些像素。例如SMPTERP-187指定720个可用像素中的708个像素宽的干净孔(aperture)。在实践中，普遍使用704个像素的孔，这在并排格式中造成360个像素中的352个像素可用于左和右输入流中的每个输入流。此外有可能的是每个输出显示器150中的864个像素中的仅854个像素可用。在该情况下，缩放器130的纵横比实施的水平纵横比可以是854/352或者约80/33(略大于(2：1))。

·在另一实施方式中，输入视频流是每水平行有1280个活跃方形像素的720p分辨率彩色视频信号。当3D“并排”立体编码与该输入视频流一起使用时，精确的(2：1)缩放比适合于向对应的一对1280×720显示器驱动两个640×720半输入图像。在该例子中，所有像素在输入流中和在显示器上可用。

·也使用标准1280×720p格式，水平缩放比4：3可以用来预备两个(近似)尺寸为854×720的半图像。如果也执行按照2：3的竖直缩放，则854×480输出可以显示于一对宽VGA显示器上。

ο一种简单的竖直缩放方法是跳行(line skipping)，这在该情况下将每三行跳过一行以针对每三个输入行产生2个输出行。所得图像伪像可能在许多应用中不可接受。然而跳行较其它方法而言的优点在于它无需附加存储器。

ο可以通过在相继行之间的插值或者通过在多行上的较高阶空间滤光来获得更好的缩放结果。在该情况下，图5的行缓冲期将被扩展成容纳多行。相同存储器可以用于水平和竖直缩放二者。

·标准1080p视频格式每水平行具有1920个活跃方形像素。当3D“并排”立体与该类型的输入信号一起使用时，(2：1)缩放比也适合于向一对1920×1080显示器驱动两个960×1080半图像。

在经历缩放器130-L、130-R的任何必需缩放之后，输出流传递至左和右显示驱动器140-L和140-R。每个显示驱动器140通常包括一个或者多个D/A转换器和一个或者多个视频放大器。

图6呈现用于该示例实施方式的时序图。采样时钟频率无需如在现有技术方法中那样加倍。新方法因此不向标准格式显示器增加带宽要求，因此不削弱显示性能。

在2D与3D模式之间的选择性的切换

在另一实施例中，可以通过改变数字缩放器中的缩放因子而将3D系统选择性地切换到2D模式。也就是说，向每个显示器150-L、150-R发送无缩放的相同缓冲输出而不是施加插值。

软IPD和会聚调整

在另一实施方式中，任何上文描述的3D方法可以适配为提供软瞳孔间距离(IPD)或者会聚调整。

具体而言，物理显示器150的可用分辨率超过输入流110中的呈现图像的分辨率并不罕见。例如“宽VGA”显示器(比如上文提到的KopinWVGA)可以具有多达864个活跃列、但是经常用来显示水平分辨率仅为854、768、720或者640个像素的内容。在这些情形中，驱动电子器件100将通常使活跃图像水平居中并且将不活跃“侧部”像素列驱动成黑色。然而通过变化所得左和右黑边界的尺寸，图像的位置可以在活跃像素阵列内水平移动。

由于所描述的3D方法向两个显示器提供独立信号，所以有可能独立控制左和右显示器上的边界尺寸。例如右移左图像和左移右图像将改变立体会聚并且使图像显得更接近观看者。以该方式，可以经由电子控制调整立体图像的会聚以实现最优观看而无需对显示器或者透镜位置的机械调整。可能希望这样的调整以适应视频源材料或者观看者的瞳孔间距离(IPD)的变化。这然后可以影响观看者感知的3D深度。

在这样的实施例中，如图7中所示，可以通过将用于左和右眼的水平像素行相对于彼此移位来施加IPD调整145-L、145-R。可以经由输入147(比如拇指滚轮或者其它设置输入)向用户提供用于控制IPD移位量的输入，其继而控制移位量。

应当理解IPD调整无需依赖于特定缩放因子并且实际上可以应用于其它3D视频眼镜系统(比如完全不应用缩放因子的系统)。可以在缩放器140-L、140-R之前或之后执行水平移位，比如通过改变数字缩放器140-L、140-R从行缓冲存储器120读取的地址(如图7中所示)或者通过在每只眼中的像素由缩放器140-L、140-R输出之后将它们移位。只要这样的系统产生用于左和右显示器的单独视频输入流，就可以使用IPD调整技术。

尽管已经参照本发明的示例实施例具体示出和描述本发明，但是本领域技术人员将理解可以在本发明中做出形式和细节上的各种改变而不脱离所附权利要求涵盖的本发明范围。

Claims

1.一种视频眼镜设备，包括：

接收器，用于接收数字视频流，所述数字视频流具有编码于其中的三维视频信息；

左显示器；

右显示器；

左视频驱动器和右视频驱动器，用于接收所述数字视频流并且向所述左显示器和右显示器中的相应显示器提供左视频信号和右视频信号；以及

时序控制器，用于生成将在所述左显示器向所述左视频信号以及在所述右显示器向所述右视频信号施加的采样时钟信号，从而用于所述左视频驱动器的活跃采样时钟时段在与用于所述右视频驱动器的活跃采样时钟时段相同的时间期间出现。

2.根据权利要求1所述的设备，还包括：

左数字缩放器和右数字缩放器，连接成接收相应的左数字视频流和右数字视频流、将水平缩放因子应用于所述左数字视频流和右数字视频流并且向所述左视频驱动器和右视频驱动器提供相应输入。

3.根据权利要求2所述的设备，还包括：

行缓冲储存器，耦合到输入视频流并且提供所述左数字视频流和右数字视频流。

4.根据权利要求3所述的设备，其中所述左数字缩放器和右数字缩放器应用的缩放因子依赖于所述左显示器和右显示器中的至少一个显示器的水平扫描行中的像素数目和所述输入视频流的水平扫描行中的像素数目的一半。

5.根据权利要求2所述的设备，其中所述左数字缩放器和右数字缩放器使用线性插值。

6.根据权利要求3或4所述的设备，其中所述输入视频流包括至少三个通道的彩色视频，并且所述左数字缩放器和右数字缩放器与其它色通道独立地应用于给定色通道的像素。

7.根据权利要求1所述的设备，还包括：

像素位置移位器，用于将左数字视频信号或者右数字视频信号中的至少一个数字视频信号相对于彼此移位。

8.根据权利要求1所述的设备，还包括：

像素位置移位器，用于将左数字视频信号或者右数字视频信号中的至少一个数字视频信号移位以控制会聚点或者瞳孔间距离。

9.一种视频眼镜设备，包括：

头戴式眼镜，被配置为拥有:

左显示器和右显示器；

10.根据权利要求9所述的设备，其中所述像素位置移位器接受输入信号，所述输入信号指示对所需瞳孔间距离(IPD)或者会聚点中的至少一个的调整。