CN101385360A - 用于无线立体视频流的方法和装置 - Google Patents

Abstract

无线拍摄装置(102)配置为以可移除方式连接到补充拍摄装置(101)，并包括配置为与补充拍摄装置通信以确定指定的角色(如，“主机”或“从属机”)的机器可读软件指令。当指定的角色为“主机”时，该软件指令能够执行步骤：捕获第一视频帧；指令补充拍摄装置(101)捕获第二视频帧；从补充拍摄装置(101)接收第二视频帧；组合第一帧和第二帧以生成与立体视觉图像相关的组合帧，并无线发射组合帧到移动设备(140)。当指定的角色为"从属机"时，无线拍摄装置(102)能够执行步骤：捕获第一视频帧并发送该第一视频帧到补充拍摄装置(101)。

Description

用于无线立体视频流的方法和装置

技术领域

概括而言，本发明涉及视频流，更具体地说，涉及用于在移动设备领域的无线立体视频流的系统和方法。

背景技术

如便携式电话、个人数字助理(PDAs)等移动设备，近年来非常流行。这种流行部分上是由于逐渐增加的加入这些设备的特征。例如，移动便携式电话结合数字拍摄装置、MP3播放器和其它音频和视频装置曾经保留的功能并非少见。

许多移动设备用户——特别是年轻用户——感兴趣于使用移动设备捕获偷拍或瞬间图像(candid or spur-of-the-moment images)，然后在移动设备上直接显示该图像(或者通过电话到电话网络发射)，以致该图像就可以同期与朋友共享。

立体视觉(或者“3-D”)成像是具有高度娱乐性形式的摄影术，应用于电影工业多年，并且由于成像技术的进步而正更加流行。捕获尽管拍摄装置已发展用于捕获立体视觉图像，但这样的系统趋于庞大和昂贵。即，因为现有技术的设备需要昂贵的拍摄装置元件物理地连接到或集成到移动设备中，需要额外的印刷电路板空间和封闭的体积。

此外，尽管可能组合两个拍摄装置到便携式电话或其它移动设备以生成立体视觉图像，但是这样的系统可能不受那些不需要3-D特征、可能在购买这样的设备上犹豫的用户的欢迎。

因此，需要提供在移动设备上以经济灵活的方式获取和显示立体视觉图像的系统和方法。通过后面对发明的详细描述和附加权利要求，并结合附图和所述公开的背景技术，本发明其它令人满意的特征和特性将会变得明显。

附图简述

结合下面附图参考详细说明和权利要求可以更完整地理解本发明，其中在整个附图中同样的参考数字涉及相似的元件。

图1是依照一个实施例的视频流系统总体示意图；

图2是依照另一个实施例的视频流系统总体示意图；

图3是依照一个实施例的拍摄装置的示意方块图；

图4是描述依照本发明的典型的视频流方法的流程图；

图5A和5B是示意性地描述用于无线拍摄装置的一组典型连接器的方块图。

具体实施方式

下面的详细描述仅仅是在本质上说明，并非旨在限制本发明或本发明的应用和使用。此外，本发明无意被前述的技术领域、背景技术、摘要或下面的详细描述中出现的任何陈述或暗示的理论所限制。

在此，根据功能和/或逻辑电路元件和多个处理步骤来描述本发明。应当认识到这些块元件可通过配置为执行指定功能的许多硬件、软件和/或固件元件而被实现。例如，本发明的一个实施例可使用多个集成电路元件，如，存储器元件、数字信号处理元件、逻辑元件、查找表等，能在一个或更多微处理器或其它控制设备的控制下执行多种功能。另外，本领域技术人员将认识到，本发明可以被实现为与许多数据传输协议结合，并且这里描述的系统仅仅是该发明的一种典型的应用。

为了简短起见，关于数字图像获取、数字图像处理、数字图像压缩、信号处理、多种已知的标准和规范(如，蓝牙设置标准)、数据传输、信令、网络控制、模拟和数字电话、和系统的其它功能方面(和系统的独立操作组件)的常规的技术，在此可能不被详细描述。此外，在此包括的多幅图中出现的连接线旨在表现多个元件间的示例功能关系和/或物理耦合。应当注意到，许多可选择的或附加的功能关系或物理连接可出现在实际实施例中。

对于在此使用的术语“耦合的”和“连接”，除非另外说明，“连接”指一个节点/特征直接接合(或直接通信于)另一节点/特征，并不必要是机械地。同样地，除非另外说明，“耦合”指一个节点/特征直接或间接地接合(或直接或间接的通信于)另一节点/特征，并不必要是机械地。即，在此使用的关于拍摄装置和或其它元件的术语“耦合”，是指以电力或信号信息可从一个传送到另一个的方式联系两个或更多电路或系统。如，见NEW IEEE STANDARD DICTIONARY OFELECTRICAL AND ELECTRONICS TERMS(5th edition，1993)(新IEEE电学和电子术语标准字典)。因此，例如，尽管图3的示意图描述了元件布置的一个例子，但是在实际实施例中可出现附加的插入元件、设备、特征、或组件。

参考图1，依照一个实施例的立体视频流系统一般包括移动设备140、第一拍摄装置102和第二或“补充”拍摄装置101。每台拍摄装置101和102分别具有相应的视场120和122，其中物体130或其它场景落入视场120和122。拍摄装置101和102各自能够捕获物体130的图像。在这点上，为清楚起见，被拍摄装置102捕获的图像(如，包括单一视频帧的图像)被称为“第一图像”，被拍摄装置101捕获的图像被称为“第二图像”。每个拍摄装置101和102也至少具有一个连接器110、112、114和116，这将结合图5和图6被详细描述。

移动设备140涉及诸如移动电话、PDA等的任何设备，其包括显示器142和用户接口146。移动设备140配置为显示从拍摄装置102并通过链路150发射的组合图像得到的立体视觉图像144。在这点上，显示器142可以包括任何能够单独地或与多种观看辅助设备结合地将三维图像传送给人的系统。在一个实施例中，显示器142是自动立体视觉显示器一如，不使用特殊眼镜或插入装备，对每只眼睛呈现图像的“立体像对”中不同的一副图像的显示器。

结合图1中的系统总体图，参考图4中的流程图，现在描述一种典型的立体视频流方法。在这点上，应当理解，与图4中方法有关地被执行多项任务可通过软件、硬件、固件或其任意组合执行。为了说明的目的，下面典型方法可能涉及上面提到的与图1-3有关的元件。在多个实施例中，部分所述方法可通过所述系统的不同元件执行。也应当认识到，图4中的方法可包括许多附加、插入或可选择的任务，并且不需要按图示的顺序中执行。

首先，拍摄装置101以允许随后断开的方式连接于拍摄装置102(步骤402)。即，拍摄装置101以可移除方式连接到拍摄装置102。该连接的特征在下面做进一步详细地论述。

在两拍摄装置101和102之间连接和合适的同步信号交换之后，关于哪个拍摄装置应当扮演“主机”，哪个拍摄装置应当扮演“从属机”的确定404被作出。为清楚起见，应当注意到，当一个实施例在蓝牙通信领域中被论述时，这些“主机/从属机”的指定并不意在被用作那些在应用蓝牙标准中的被确切地定义的术语。

该“主机/从属机”的指定可以以许多种方式并且依照多种标准被做出。例如，在一个实施例中，两个拍摄装置通信并确定哪一个具有最大剩余电池电量，并且该拍摄装置指定为主机。在两个拍摄装置基本上具有同样的电池电量的情况下，选择则可随机或者依照任何其它标准来确定。

在主机/从属机指定404被确定后，无线连接150在主机拍摄装置(如图1所示的拍摄装置102)与移动设备140之间建立。例如，连接150可以是蓝牙连接或依照其它任何已知或今后发展的通讯协议的连接。

主机拍摄装置102捕获与视场122相应的图像(步骤408)。几乎在同一时刻，从属机拍摄装置101捕获与视场120相应的图像(步骤410)并且发送该图像(通过连接112，114)到主机拍摄装置102。在一个实施例中，从属机拍摄装置101响应来自主机拍摄装置102的请求捕获图像。

接着，主机拍摄装置102处理第一图像和第二图像以生成组合图像或帧，然后将其通过连接150发送到移动设备140(步骤412)。拍摄装置101和102被适当地物理配置，以使相应于视场120和122的两图像，通过主机电话102组合，对应成一立体视觉图像。更特别地，拍摄装置101和102被设置为提供有效的“视差”，以致图像可以被组合以保留深度信息。例如，组合第一图像和第二图像可以包括将第二视频图像数据简单链接到第一视频图像数据。在另一个实施例中，使用关于第二帧的数据改变第一帧。帧改变方法的例子可以这样被建立，例如，Siegel et al.，Compression of Stereo Image Pairs and Streams，Stereoscopic Displays and Virtual Reality Systems，Vol.2177，258-68(1994)(Siegel等人的压缩立体图像对和流，立体视觉显示和虚拟现实系统)。可选择地，一副图像可以在组合步骤中被旋转。例如，如果一个拍摄装置在拍摄装置被连接时与另一拍摄装置成颠倒关系，那么组合步骤将包括将图像的一副旋转180°。

最后，移动设备140处理接收到的组合图像并在显示器142上显示立体视觉图像144。在这一点上，存在多种用于生成立体视觉图像的运算。如，见Zabih et al.，Non-parametric Local Transforms forComputing Visual Correspondence(Zabih等人的用于计算视觉通信的无参数本地变换)，3d European Conference on Computer Vision，151-58(1994)。在移动设备140运行于视频模式(而不是静止图像模式)的情况下，处理循环回到步骤408，连续的图像依照更新频率被显示。

在一个实施例中，每个拍摄装置101和102依据其被指定为“主机”或“从属机”拍摄装置，操作各不相同。换一种说法，一个指定的无线拍摄装置102被配置为以可移除方式连接到补充拍摄装置101，其中拍摄装置102被配置为与补充拍摄装置101通信，以确定“主机/从属机”角色的指定。当拍摄装置102被指定的角色为“主机”时，其捕获第一视频帧，指令补充拍摄装置101捕获第二视频帧；从补充拍摄装置101接受第二视频帧；组合第一帧和第二帧以生成与立体视觉图像(如，关于物体130的)有关的组合帧，然后通过通信连接150将组合帧无线发射到移动设备140。在拍摄装置102被指定的角色为“从属机”的情况下，其捕获第一视频帧(如，响应于来自主机拍摄装置的请求)，然后发送第一视频帧到主机拍摄装置。

在一个实施例中，主机拍摄装置配置为发送时钟信号到从属机拍摄装置。这有助于图像获取或其它功能的同步。在发明的另一个实施例中，主机拍摄装置配置为与从属机拍摄装置通信以确定，这两个拍摄装置哪个是立体视觉像对的“右”拍摄装置，以及哪个是立体视觉像对的“左”拍摄装置。这可以通过多种方式完成。例如，在一个实施例中，标签被分配到拍摄装置连接器(如，“左”和“右”标签)。当拍摄装置被连接到一起，主机拍摄装置识别哪个连接器被占用—“左”或“右”—并且相应地做出确定。依照另一实施例，使用加速计或其它相对或绝对位置传感器。

在另一个实施例中，从拍摄装置102发送的组合图像在传输前被压缩，然后在显示前被移动设备140解压缩。任何适宜的压缩算法都可以使用，包括多种MPEG格式，如MPEG2、MPEG4等。

由于希望允许在移动电话等之间分享图像，依照一个实施例的视频流系统允许传输视频到远程移动电话。这样一个实施例示于图2，其中拍摄装置101和102--其通过拍摄装置间接口202通信并发送合成立体视觉流150到移动设备140--进一步配置为通过蜂窝网络206通信。即，根据传统的信令方法，移动设备140建立通过蜂窝网络206的连接204和与远程移动电话(RMP)208之间的连接210。那么，立体视觉流150能够被发射到RMP208并且被RMP208浏览。

参考图3，依照一个实施例的典型的拍摄装置101包括微处理器302、存储器314、拍摄装置模块310、键盘(或其他I/O组件)312、音频多媒体数字信号编解码器322、麦克风320、指示器318、电池316、和一个或更多连接器110和112。微处理器包括和/或配置为执行与ICI逻辑电路304、固件306、和无线电设备308相关的指令。

拍摄装置模块310包括任何适宜的配置为获取数字图像，处理该图像，和传输该图像到微处理器302的硬件和软件的组合。在这点上，拍摄装置模块310可以包括多种CCD图像组件、信号处理器、镜头等。获取的图像的分辨率、位深度、和更新，可以依据需要的速度、质量等而被选择。拍摄装置模块310可以实施任何传统上连同静态和视频成像而被使用的多种图像处理技术。

键盘312包括一个或更多I/O组件—例如，一个或更多键、按钮、开关、定点设备(pointing device)、触摸屏等等。在一个实施例中，键盘312包括I/O组件配置为允许用户控制成像(如，开/关、曝光设置、快门释放等)和拍摄装置101的操作，描述如下。

音频多媒体数字信号编解码器322包括适宜的能够提供通过设在拍摄装置101内部(和/或外部)的麦克风320接收的音频的编码和解码的软件和/或硬件组件。这样的多媒体数字信号编解码器和麦克风是为人熟知的技术，因此不需要在此进一步论述。将音频多媒体数字信号编解码器322和麦克风320包括在拍摄装置101中允许接收和传输立体音频到移动设备140。电池316包括一个或更多电源，无论一次性的或可重复充电的，能够为存在于拍摄装置101中的多个组件提供电力。

微处理器302是任何适宜的能够实现此处所述功能的半导体设备，无论单独或与其它插件组合(如，易失性或非易失性存储器314)，所述功能包括相关于ICI逻辑电路304、固件306、和无线电设备308的那些。在一个实施例中，固件306包括蓝牙固件，并且无线电设备308是依据可应用的蓝牙标准操作的无线电。至于关于蓝牙通信协议更多的信息，例如，参见蓝牙SIG核心规范v2.0以及下列等等(BluetoothSIG core specification v2.0 et seq)。ICI逻辑电路304包括能够执行上面描述的与图4有关的拍摄装置互用性功能的机器可读指令。

连接器或多个连接器110和112允许一个拍摄装置以可移除方式连接到另一个拍摄装置，以致立体图像能够被生成。任何类型和数目的连接器可以被使用；然而，在一个实施例中，每个拍摄装置包括是“对称”的连接器。在此使用的关于连接器的术语“对称”，意指每个连接器允许与具有相同连接器的另一个拍摄装置的连接，但是仅在关于第一个拍摄装置具有特定的旋转对称的一个方向上。

更具体地，参考图5和6中的示意图，拍摄装置101具有连接器110和112，并且拍摄装置102具有相似配置的连接器114和116。关于这个例子的目的，假设拍摄装置101和102正被从后面观察(如，与成像方向相反的方向)。图5和图6所示的“L”和倒转的“L”形仅仅抽象表述了连接器，并无意于在几何上限定。

如图6所示，因为连接器112和连接器114在一个方向结合在一起，拍摄装置101能够以可移除方式连接于拍摄装置102。如果拍摄装置102将要绕水平轴线旋转180°，或如果将要沿垂直轴线旋转180°，那么拍摄装置101就不能连接于拍摄装置102。连接器110和112是关于拍摄装置101对称，即，关于拍摄装置的一些点(如，成像组件中心)，连接器110和112呈现双重旋转对称。

总的来说，多种视频流系统和方法已经被提供。依照一个实施例，一种方法被提供以用于将立体视频从第一拍摄装置和第二拍摄装置流式传送到移动设备，该方法包括：以可移除方式将第一拍摄装置附接到第二拍摄装置；通过第一拍摄装置捕获第一视频帧；通过第二拍摄装置捕获第二视频帧；发送第二视频帧到第一拍摄装置；组合第一帧和第二帧以生成组合帧；从第一拍摄装置无线发射组合帧到移动设备；在移动设备上显示自组合帧得到的立体视觉图像。在一个实施例中，通过第一和第二拍摄装置上都具有的接口连接器连接第一拍摄装置和第二拍摄装置，使拍摄装置以可移除方式附接。

进一步的实施例包括为第一和第二拍摄装置确定“主机”和“从属机”的指定。例如可这样实现：测量第一拍摄装置的第一电池电平；测量第二拍摄装置的第二电池电平；如果第一电池电平大于第二电池电平，指定第一拍摄装置为“主机”，如果第二电池电平大于第一电池电平，指定第二拍摄装置为“主机”。进一步的实施例包括通过指定为“主机”的拍摄装置提供时钟信号给指定为“从属机”的拍摄装置。一个实施例还包括通过指定为“主机”的拍摄装置请求指定为“从属机”的拍摄装置获取第二帧。另一个实施例包括为第一和第二拍摄装置确定“左”和“右”的指定。

依照另一个实施例，该方法还包括，在第二拍摄装置压缩--在移动设备解压缩--该组合帧。在一个实施例中，组合步骤包括链接第二视频帧到第一视频帧。在另一个中，该组合包括使用来自第二帧的数据改变第一帧。还有另一个实施例包括从第一和第二拍摄装置发射立体音频到移动设备。

依照本发明的一个实施例的用于流式传送立体视频的系统包括：第一拍摄装置配置为捕获第一图像；第二拍摄装置连接于第一拍摄装置，第二拍摄装置配置为捕获第二图像并发送第二图像到第一拍摄装置；第一拍摄装置配置为组合第一图像和第二图像以生成组合图像，并且无线发射组合图像到移动设备；移动设备配置为显示自组合图像得到的立体视觉图像。在一个实施例中，系统还包括接口连接器配置为以可移除方式连接第一拍摄装置和第二拍摄装置。

依照一个实施例的无线拍摄装置配置为以可移除方式连接到补充拍摄装置，该无线拍摄装置包括机器可读软件指令，配置为执行步骤：与该补充拍摄装置通信以确定指定的角色，其中指定的角色从由“主机”和“从属机”组成的组中选择；当指定的角色是“主机”时，执行步骤：捕获第一视频帧；指令补充拍摄装置捕获第二视频帧；接收来自该补充拍摄装置的第二视频帧；组合第一帧和第二帧以生成与立体视觉图像相关的组合帧；无线发射组合帧到移动设备；当指定的角色是“从属机”时，执行步骤：捕获第一视频帧；发送第一视频帧到补充拍摄装置。

依照另外的实施例，拍摄装置进一步执行在无线拍摄装置压缩组合帧以及在移动设备解压缩组合帧。

在一个实施例中，机器可读软件指令进一步配置为当指定角色为“主机”时执行提供时钟信号到补充拍摄装置。

在另一个实施例中，机器可读软件指令进一步配置为基于无线拍摄装置的第一电池电平和补充拍摄装置的第二电池电平确定指定的角色。

而在另一个实施例中，机器可读软件指令进一步配置为与补充拍摄装置通信以确定无线拍摄装置是立体视觉像对的“左”或“右”。在一个实施例中，拍摄装置还包括蓝牙无线电。在另一个中，拍摄装置还包括配置为促进到补充拍摄装置的可移除连接的对称接口连接器对。

尽管已经提出了至少一个实施例，但应当认识到，存在大量的变形例。也应当认识到，这里描述的一个或多个示例性实施例，并非旨在在任何方式上限制发明的范围、应用和结构。更确切地，前述细节描述将向本领域技术人员提供实现所描述的一个或多个实施例的方便的说明。需要理解的是，在不脱离本发明在附加权利要求及其合法的等效物中提出的范围的情况下，可以做出元件在功能和布置上的多种改变。

Claims (15)

1.一种用于将立体视频从第一拍摄装置和第二拍摄装置流式传送到移动设备的方法，所述方法包括：

以可移除方式将所述第一拍摄装置附接到所述第二拍摄装置；

通过所述第一拍摄装置捕获第一视频帧；

通过所述第二拍摄装置捕获第二视频帧；

发送所述第二视频帧到所述第一拍摄装置；

组合所述第一帧和所述第二帧，以生成组合帧；

从所述第一拍摄装置将所述组合帧无线发射到所述移动设备；

在所述移动设备上显示自所述组合帧得到的立体视觉图像。

2.如权利要求1所述的方法，还包括：

确定所述第一拍摄装置和所述第二拍摄装置的“主机”和“从属机”的指定。

3.如权利要求2所述的方法，其中所述确定的步骤包括：

测量所述第一拍摄装置的第一电池电平；

测量所述第二拍摄装置的第二电池电平；

如果所述第一电池电平大于所述第二电池电平，则指定所述第一拍摄装置为“主机”，如果所述第二电池电平大于所述第一电池电平，则指定所述第二拍摄装置为“主机”。

4.如权利要求2所述的方法，还包括：通过被指定为“主机”的拍摄装置，向被指定为“从属机”的拍摄装置提供时钟信号。

5.如权利要求2所述的方法，还包括：通过被指定为“主机”的拍摄装置，请求被指定为“从属机”的拍摄装置获取所述第二视频帧。

6.如权利要求1所述的方法，还包括：

确定所述第一拍摄装置和所述第二拍摄装置的“左”和“右”的指定。

7.如权利要求1所述的方法，还包括：

在所述第二拍摄装置压缩所述组合帧；

在所述移动设备解压缩所述组合帧。

8.如权利要求1所述的方法，其中所述组合的步骤包括：将所述第二视频帧链接到所述第一视频帧。

9.如权利要求1所述的方法，其中所述组合的步骤包括：使用来自所述第二帧的数据来改变所述第一视频帧。

10.如权利要求1所述的方法，还包括：将立体音频从所述第一拍摄装置和所述第二拍摄装置发射到所述移动设备。

11.一种用于流式传送立体视频的系统，包括：

第一拍摄装置，被配置为捕获第一图像；

连接于所述第一拍摄装置的第二拍摄装置，所述第二拍摄装置被配置为捕获第二图像并发送所述第二图像到所述第一拍摄装置；

所述第一拍摄装置被配置为组合所述第一图像和所述第二图像，以生成组合图像，并且无线发射所述组合图像到移动设备；

所述移动设备被配置为显示自所述组合图像得到的立体视觉图像。

12.如权利要求11所述的系统，还包括接口连接器，被配置为以可移除方式附接所述第一拍摄装置和所述第二拍摄装置。

13.如权利要求11所述的系统，其中所述第一拍摄装置和所述第二拍摄装置被配置为分别地直接发送所述第一图像和所述图像到所述移动设备，并且其中所述移动设备被配置为组合所述第一图像和所述第二图像，以生成所述组合图像。

14.一种无线拍摄装置，被配置为以可移除方式连接到补充拍摄装置，所述无线拍摄装置包括机器可读软件指令，该指令被配置为执行下述步骤：

与所述补充拍摄装置通信以确定指定角色，其中所述指定角色从由“主机”和“从属机”组成的组中选择；

当所述指定角色是“主机”时，执行下述步骤：

捕获第一帧；

指令所述补充拍摄装置捕获第二帧；

接收来自所述补充拍摄装置的所述第二帧；

组合所述第一帧和所述第二帧，以生成与立体视觉图像相关的组合帧，

无线发射所述组合帧到移动设备。

当所述指定角色是“从属机”时，执行下述步骤：

捕获第一帧；

发送所述第一帧到所述补充拍摄装置。

15.如权利要求14所述的无线拍摄装置，还包括对称的接口连接器对，被配置为促进到所述补充拍摄装置的可移除连接。

Images