CN101091395A - 用于电子设备的多照相机解决方案 - Google Patents

用于电子设备的多照相机解决方案 Download PDF

Info

Publication number
CN101091395A
CN101091395A CNA2004800447039A CN200480044703A CN101091395A CN 101091395 A CN101091395 A CN 101091395A CN A2004800447039 A CNA2004800447039 A CN A2004800447039A CN 200480044703 A CN200480044703 A CN 200480044703A CN 101091395 A CN101091395 A CN 101091395A
Authority
CN
China
Prior art keywords
video
merging
video flowing
frame
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800447039A
Other languages
English (en)
Inventor
T·埃诺南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101091395A publication Critical patent/CN101091395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种用于处理电子设备中的两个或更多照相机的视频流的方法、电子设备和计算机程序产品，包括：用第一和第二照相机捕获(202，204)至少第一和第二视频流(1，1’，1”；2，2’，2”)并将所述第一和第二视频流合并(206)为一个合并后的视频流。

Description

用于电子设备的多照相机解决方案
技术领域
本发明涉及一种在电子设备中使用两个或更多照相机的方法，并涉及对应的包括一个两照相机或多照相机解决方案的电子设备。本发明特别涉及在利用单个照相机接口和视频处理/编码管道时，同时地使用两个或更多照相机。
背景技术
如今，在如移动电话和最近的PDA这样的电子设备中照相机的使用已经非常普遍。在移动设备中使用这种技术的初期，这样的照相机用于拍摄静止照片，例如用在MMS中。但是，随着技术的进步，它们越来越多地用于拍摄视频剪辑。
使用某种形式的话机机壳，特别是翻盖型话机，就可能在关闭位置以及打开位置都拍摄照片(或视频)时出现问题。另外，用户想要在拍摄他们本人照片的同时能够拍摄他们正在看的风景的照片，即应当有可能在两个方向上拍摄照片，通常这两个方向是彼此相差最大到180°。使用“直板”话机机壳(“砖块型”)，也希望能同时拍摄话机用户的照片(自拍模式)和从用户的视点看到的照片。为了实现这样的目的，使用了这种特定的装置，例如可旋转照相机或照相机光学部件。尽管一方面这看起来是一个适当的解决方案，但是另一方面移动电子设备中机械上可移动部分的数量应当保持在尽可能地少。这样的机械解决方案使用户操作起来不很舒服，并且考虑到在不利用它时设备中的空间是浪费的，也不能用于其他更有用的使用目的。具有可移动照相机的这种结构也会在频繁使用时易于损坏。
因此，另一种解决方案是提供在单个设备中具有两个照相机的移动电话。例如，一个指向前方以如传统照相机拍摄照片，以及另一个用于拍摄手持该设备的人的照片。这样的双照相机与可旋转照相机或类似的照相机相比能够更方便地集成到机壳中，并且当然地提供了更耐用的实现方式。但是，这与可旋转或其他可移动照相机相比也呈现了几个缺点。这样装配的电话或通常的移动电子设备的成本将明显较高，因为必须提供双倍的照相机的一些硬件部分。一般，制造商将简单地购买两个独立的并基本上完整的照相机模块集成到设备中。
提供两个照相机会带来关于照相机接口、预处理和视频编码管道、以及物理尺寸的几个挑战，因为传统上应用引擎一次只支持一个照相机。如果两个照相机连接到系统中，在预处理和视频编码方面会出现新的问题。由于空间限制，两个单独的照相机也很难装到移动电子设备内部。
专利申请GB2394381A描述了一种具有两个机壳部分并包括两个照相机的翻盖/扭转移动电话。一次只使用一个照相机，并且利用检测两个机壳部分之间的位置关系的传感器来执行两个照相机之间的切换。根据检测到的位置，开始/停止第一或第二照相机的操作。
专利申请GB2379828A描述了一种具有两个照相机的移动电话，它能够分别从话机的前端和后端拍摄照片。这里，两个照相机模块或者一个照相机模块和一个可切换反光设备背对背提供，使得电话能从前侧或后侧拍摄照片。用户能够切换到各个照相机观看模式来从电话的各个侧面拍摄照片。
尽管已知包括两个照相机的移动电子设备，它们传统上不能够同时操作以提供两个单独的视频流，因为只提供一个照相机接口和一个信号处理路径。
只使用照相机来拍摄(静止的或单个的)照片将假定不会导致用户同时拍摄他自己的照片以及他正在观看的风景的强烈愿望，因为依次地这样做，即拍完一张照片再拍另一张照片将舒服得多(关于聚焦、变焦和选择照片中想要的部分)。但是有了记录视频剪辑的能力，可能会出现这样的愿望。
因此，很明显在单个移动电子设备中提供两个照相机使得用户能够同时记录两个视频剪辑或视频流将会是有利的。
例如用户可能希望记录他观看到的风景，同时记录他对这种风景的反应。这样的特征对于一种视频会议应用将是有用的，例如一边显示做报告的人的图像，同时呈现提纲或草图。能够同时观看讲话人将不仅对于例如耳聋的人，而且对于改善其他听众的理解也是有利的。在休闲领域的另一个应用可能是记录坐过山车的过程并同时记录乘客本人的脸，这与只显示乘客看到的景象相比将大大加深产生的印象。
发明内容
本发明的目的在于提出一种更有效地使用在单个设备中的两个照相机的方法，其能够更好地符合上面讨论过的要求。本发明还提出了一种对应的电子设备，它提供两个可同时操作的照相机，同时保持硬件部件数量尽可能少。本发明的方法和设备都不需要对将这样装配的电子设备的应用引擎/软件平台、照相机接口和视频处理/编码管道作大的改变。
按照发明的一个方面，提供一种用于处理电子设备中的两个或更多照相机的视频流的方法。该电子设备可以是移动电话、个人数字助理(PDA)或便携的或非便携的计算机。该方法包括由第一和第二照相机捕获至少第一和第二视频流，并且将所述至少第一和第二视频流合并为合并后的视频流。该方法使得能够使用单个照相机接口和视频处理管道以便同时使用两个或更多照相机，这使得相应地操作的设备与单个照相机实现方式相比需要最低数量的附加硬件部件。该方法通过应用引擎和软件平台的较小改变还使得能够同时处理两个或更多视频流。
在一个示例性实施例中，通过产生合并后的视频流来执行合并，其中所述合并后的视频流的帧分别由所述至少第一和第二视频流的帧交替提供。例如，在两个视频流的情况下，所述合并后的视频流的奇数帧可以由所述第一视频流的帧提供，并且偶数帧可以由所述第二视频流的帧提供，反之亦然。这当然可以扩展到n个视频流(其中n≥2)，例如使得合并后的视频流的每个第n帧由第n个视频流的帧提供。可选地，提供帧也可以包括替换地提供帧组。例如，所述合并后的视频流的前五帧可以由所述第一视频流的帧提供，并且接下来的五帧可以由所述第二视频流提供，反之亦然。这提供了一种以非常直接的方式执行合并的方法。产生的合并后的视频流的尺寸/宽高比等于至少两个原始视频流的尺寸/宽高比，这能够大大简化进一步的处理。但是，在该方法的特定实施例中采样速率将是原始流的两倍。
在一个示例性实施例中，通过产生合并后的视频流来执行合并，其中所述合并后的视频流的帧的段分别由所述至少第一和第二视频流的对应帧的段提供。在一个具有两个视频流的简单示例中，这可以例如这样执行，使得合并后的视频流的一半由第一视频流的帧提供，并且合并后的视频流的另一半由第二视频流的帧提供。这提供了多种取决于包含的视频流的特定应用和尺寸/宽高比的可适用的实现方式。甚至复杂的合并也可以以此方式执行，例如一种画中画模式。
在一种示例性实施例中，至少两个片段彼此相邻排列。这包括并排排列的帧或者甚至以垂直的方式相邻排列的帧。哪种排列最适用于特定的目的将取决于涉及的宽高比。例如两个16∶9视频流将假定进行合并以形成16∶18，而不是32∶9的合并后的视频流。但是，这种执行合并的方式很容易实现，并且仍提供很大量的适合于多种应用的灵活性。
在一个示例性实施例中，通过产生合并后的视频流执行合并，其中所述合并后的视频流的一帧中的行交替地分别由所述至少第一和第二视频流中的帧中的行提供。例如，在两个视频流的情况下，所述合并后的视频流的每帧的奇数行可以由所述第一视频流的帧中的行提供，并且偶数行可以由所述第二视频流的帧中的行提供。交替提供行也可以包括交替提供行的组。这样的合并的优点将在该说明书中的下文中论述。
在一个示例性实施例中，该方法还包括处理所述合并后的视频流。如也将在下文中解释的那样，特定的处理步骤能够有利地对合并后的视频流执行而不是接下来对单独的分离输出流执行。
在一个示例性实施例中，该方法还包括将所述合并后的视频流分离为分别对应于所述第一和第二视频流的第一和第二输出视频流，从而呈现可用于进一步处理、存储或显示的所述第一和第二输出视频流。如果对合并后的视频流没有执行处理，输出视频流应当与原始视频流相同。但是当作为对合并步骤的补充执行分离时，可以执行处理并且输出视频流将仍然对应于原始视频流。
按照本发明的另一方面，提供一种计算机程序产品，其包括用于当所述程序产品运行在计算机或网络设备上时，执行本发明的方法的程序代码装置。
按照本发明的另一方面，提供一种计算机程序产品，其包括用于当所述程序产品运行在计算机或网络设备上时，执行本发明的方法的具体化到计算机可读介质上的程序代码装置。
按照本发明的另一方面，提供一种计算机程序产品，其包括用于当所述程序产品运行在计算机或网络设备上时，执行本发明的方法的可从服务器上下载的程序代码。
按照本发明的第二方面，提供一种电子设备，其包括至少第一和第二光学部件，例如透镜组或透镜系统、至少第一和第二图像传感器，其中所述第一图像传感器与所述第一光学部件相关联，第二图像传感器与所述第二光学部件相关联。图像传感器适合于分别捕获第一和第二视频流。该设备还包括适合于产生所述至少第一和第二视频流的合并后的视频流的视频合并器单元。这样的一种设备能够提供同时使用由光学部件和图像传感器组成的两个或更多照相机的可能性，同时保持硬件部件的数量很少。如前所述，这样的同时使用使得能够在商业领域以及休闲或娱乐活动中有多种有利的应用。SWIS/视频电话应用仅为一个示例。
在示例性实施例中，视频合并器单元适合于生成合并后的视频流，从而所述合并后的视频流的帧交替地分别由所述至少第一和第二视频流的帧或帧组提供。
在示例性实施例中，视频合并器单元适合于生成合并后的视频流，从而所述合并后的视频流的帧的段分别由所述至少第一和第二视频流各个帧的段或段组提供。
在示例性实施例中，视频合并器单元适合于生成合并后的视频流，从而所述合并后的视频流的帧中的行交替地分别由所述至少第一和第二视频流的帧中的行或行的组来提供。
在本发明的一个示例性实施例中，该设备中的光学部件彼此取向在180°处。光学部件的这种排列很容易实现并且当然最适合于记录用户看到的风景并同时记录用户自己的目的。然而应当注意到对于提到的物体这仅是最典型的解决方案，但是使用其他的取向，如近似90°、45°、135°或其他的取向也在本发明的范围内。
在本发明的一个示例性实施例中，该设备包括视频处理单元，适合于处理所述合并后的视频流。如将在后面描述的那样，存在特定的处理方法，可以有利地甚至在静止的合并后的视频流上，而不是传统上在分离的输出视频流上执行。
在本发明的一个示例性实施例中，该设备还包括照相机接口，用于使得能够用所述移动电子设备的应用引擎访问所述合并后的视频流。本发明使得能够仅仅使用单个接口，而不需要具有两个独立的接口和处理这些接口的处理器的复杂和高成本解决方案。从应用引擎的角度来看，合并后的视频流可以进行处理，就好像它仅仅是一种传统的视频流一样。其他任何部分都可以容易地用软件处理，从而执行本发明的两照相机或多照相机解决方案将仅仅需要稍微进行修改。
在本发明的一个示例性实施例中，该设备还包括视频分离器单元，适合于将所述合并后的视频流分离为分别对应于所述第一和第二视频流的第一和第二输出视频流，从而呈现能够用于进行进一步处理、存储或显示的所述第一和第二输出视频流。这提供了多种应用或输出视频流的使用。在附图的说明中将给出更详细的解释。
在本发明的一个示例性实施例中，该设备的实现使得所述第一和第二图像传感器组合成为一个整体图像传感器。对于双照相机解决方案，这当然是一种可能的模式。这包括与适当的光学反射设备(将在下文中更详细地解释)组合的单个图像传感器的使用，以及一种“双侧”传感器，即用两侧都具有光敏区域的硅制造的传感器，的使用。
在本发明的一个示例性实施例中，该设备还包括用于将由所述第一和第二光学部件观看的视点分别导向到所述第一和所述第二图像传感器的光学反射元件。以这种方式，可以利用单个图像传感器，甚至主要是传统类型的图像传感器，从附图中这一点将变得更明显。
在本发明的一个示例性实施例中，该设备还包括机壳，并且所述第一和第二光学部件合并到可在至少第一和第二位置设置的可伸缩元件中，其中所述光学部件至少部分缩回到所述机壳中的所述第二位置中并且可在所述第一位置进行操作。例如，第一位置可以是“打开”位置，例如其中可伸缩元件翻开，并且第二位置可以是“关闭”位置，例如其中可伸缩元件折叠起来。这提供了用于当透镜组不使用时，保护透镜组避免弄脏和划伤的良好的机械解决方案。可伸缩元件可以手动翻开，或者电动马达可以用于该目的。
在本发明的一个示例性实施例中，该设备还包括开关，适合于当所述可伸缩元件设置到所述第一位置和/或当所述可伸缩元件设置到所述第二位置时启动。这使得能够进行与软件应用相关的照相机的自动启动或关闭。照相机硬件也可以只在需要时供电，从而节省能量，在移动电子设备中通常能量是有限的。
所述电子设备可以是诸如移动终端、移动电话、PDA等的移动电子设备。
附图说明
通过参考附图，将更全面地理解本发明，附图仅仅作为举例说明的示例来提供，并且不意图将本发明限制为描述的特定实施例。在图中
图1示出了按照本发明的方法的一个实施例；
图2举例说明了本发明如何能够从电子设备的应用引擎/软件平台的观点来实现；
图3示出了按照本发明的一个实施例，两个相应的视频流如何能够被合并以提供单个合并后的视频流；
图4示出了按照本发明的另一个实施例，两个视频流如何能够被合并以提供单个合并后的视频流；
图5举例说明了按照本发明的一个移动电子设备可能的硬件实现；
图6举例说明了按照本发明的一个移动电子设备替换的硬件实现；
图7举例说明了按照本发明的一个移动电子设备的另一种硬件实现；以及
图8示出了按照本发明的电子设备的机壳中合并两个照相机的实施例。
应当注意到，本发明也能够应用到两个以上的视频流和两个以上的照相机中。但是，为了简化的目的，进一步的说明将分别涉及两个视频流和照相机。
具体实施方式
图1举例说明了本发明如何能够实现在一个移动电子设备中处理两个视频流的方法。在步骤202和204中，捕获或记录两个视频流。接着，在步骤206中，那两个视频流合并为单个合并后或组合后的视频流。这一合并后的视频流现在能够提供到照相机接口，即使该接口仅仅适合于处理单个视频流。但是，可以应用某种限制，从而实现这样的一个接口，这将在下文中进行解释。步骤208应当看作可选择的，并且可以在本发明的其他可能实施例中不出现。在该步骤中，可以对合并后的视频流执行处理，例如使视频流经历编码过程。应当注意到，该步骤也可以包括在例如各自电子设备的内部存储器或像MMC等的存储器卡的存储器设备中存储合并后的视频流。接着，在步骤210中，两个视频流再次从合并后的视频流中进行分离。因为它们在可选步骤208中可能受到的一些处理，所以这不一定会产生与原始的两个视频流相同的两个视频流，这取决于进行的处理。但是，分离或提取基本上与合并过程互补地执行。如将在下文中解释的那样，如果合并的执行方式使得视频流的各个帧组合成为合并后的视频流的单个帧，则也有这样的可能的实现方式，其中将取决于实际应用并不完全互补地进行合并/分离处理。在步骤212和214中，显示分离后的两个视频流。应当理解显示将仅仅意味着以一种举例说明的方式。可能的替换方式能够例如是在存储器设备中存储两个视频流，使它们受到进一步的处理，或者甚至将两个视频流不同地对待(保存一个并显示另一个)。后者可以例如对于在设备的存储器卡上记录对应于用户视点的视频流，同时暂时在设备的RAM存储器中缓冲显示用户的脸的视频流是有用的，从而让用户确定他想要将其存储，还是要将其删除。这也可以应用到只能显示一个视频流的设备中，其中存储另一个视频流以便以后进行显示。
图2示出了按照本发明移动电子设备的应用引擎或软件平台如何能够处理合并后的视频流。合并后的视频流馈送到用作视频流的输入接口的照相机接口114。分离器单元118进行操作以从合并后的视频流中分离两个视频流。这样的分离器单元118可以作为一种预处理单元来实现。分离后的两个视频流接着输入到编码单元120，它执行视频流期望的编码，例如执行某种压缩以减少所需带宽。以这种方式执行视频流处理是有利的，因为不需要对照相机接口114进行改变。这提供了合并后的视频流包括能够由照相机接口处理的格式，特别是涉及帧尺寸(宽高比、分辨率)和采样频率(每秒帧数)。接着，在该图中描述的处理程序将仅仅需要小的改变来处理两个视频流，它们可以只在软件中在很多情况下单独完成。尽管这里描述的情况建议编码单元120能够同时编码两个视频流，但是当然也可能使用一些对技术人员来说是已知的缓存技术，以执行允许使用一次只能处理一个流的编码单元的顺序编码。
取决于期望的编码种类，编码甚至可以是与这里描述的不同的，可对静止的合并后的数据流执行。这将当然是有利的，因为将只须使用一个编码器。但是，如果静止的合并后的视频流的编码可行，这很大程度上取决于期望的编码方法的种类和合并后的视频流由原始视频流组成的方式。
图3示出了按照本发明合并两个单独视频流为单个合并后的视频流的可能实施例，两个单独视频流分别包括单个帧1，1’，1”和2，2’，2”的序列。这里，产生的视频流通过使用视频流1的连续帧作为将产生的单个视频流的奇数帧，同时视频流2的帧用于产生的视频流的偶数帧来组成。将注意到，合并后的单个视频流将通常包括为两个原始流的采样速率(每个时间单位中的帧数)两倍高的采样速率。这特别关系到与合并步骤联合所需要的缓冲(两个照相机和合并器单元之间的帧缓冲器)。否则，可能对合并后的单个视频流所需要的预-缓冲器将开始装满，因为每个时间单位将进入两帧，并且将只输出一帧。尽管如此，在特殊的情况下可能使用这样的方案是有用的，但是同时要接受预-缓冲器的容量将接着限制视频剪辑的记录时间的事实。例如，如果视频剪辑只记录到像MMC卡等的存储器设备上，并且将随后显示，这时可能是足够的。在这种情况下，缓冲器容量能够调整到对特定类型/尺寸的存储器卡或设备足够的程度，例如对使用电子设备的内置存储器是足够的。这种方法的一个优点将是视频处理硬件和/或软件将只需要处理包括“常规”采样速率而不是双倍采样速率的视频流。
图4示出了按照本发明合并两个单独视频流为单个合并后的视频流的另一个可能实施例，两个单独视频流分别包括单个帧1，1’，1”和2，2’，2”的序列。这里，产生的视频流由具有由所述第一视频流提供的帧的一段和由所述第二视频流提供的所述帧的另一段组成。在最简单的情况下，这能够意味着两个包括相等宽高比的帧的视频流如在图中所描述的以垂直的方式(流1提供产生的帧中的上一半，流2提供下一半)或水平的方式放到一起。关于哪种可能性是最适当的判断将取决于原始视频流的宽高比和产生的视频流的理想宽高比/尺寸。在该实施例中，产生的单个视频流具有与原始两个视频流相同的采样速率，但是分别具有原始视频流两倍的高度或宽度。但是，除了这里举例说明的明显的可能性之外，还可能有特殊的情况，那时将帧“放到一起”的更复杂的方式能够是适用的。例如，能够应用一种模式，其中段甚至部分地重叠，即一个段是“优选的”，将其重叠的其他段的一部分丢弃或重写。也可能有在产生的帧中的两段的任何其他适当的几何排列。以这种方式执行合并的优点在于它在合并中以及在接下来的分离步骤中的简便性。采样速率等于两个原始视频流的采样速率。当然照相机接口和视频处理/编码管道必须适合于处理产生的帧尺寸和宽高比。本发明方法的这种实施例将特别对在图7中描述的硬件配置有用，因为这可以简单地提供所需的单个合并后的视频流，甚至不需要特殊的在前合并步骤。
在本发明的范围内有可能的另一种合并方法包括通过使奇数行由第一视频流提供并且偶数行由第二视频流提供来组成合并后的视频流。尽管一种“隔行”方式的合并可能看起来与本发明的其他方法相比更复杂，但是可能有这样的特殊情况，其中可用的处理设备或硬件使得这样的一种方法更有利。这特别涉及到可能需要的缓冲(尤其是缓冲器尺寸)和/或像RAM存储器等的参与存储器设备的访问次数。这里，该合并的隔行方式可能有助于回避可能发生某种定时问题，因为合并是以行-取向的方式而不是以帧-取向的方式执行的。这也可能更适合于这样的情况，其中缓冲器太小而不能缓冲整个帧，但能够缓冲帧中的行。
图5示出了一种按照本发明的两照相机的配置的可能实施例。提供两个光学部件102，104，例如透镜系统。光学部件102，104之间提供两个例如CCD或CMOS型的图像传感器106，108。在本发明的上下文中，取代两个分离的图像捕获传感器，具有在两侧有两个光敏区域的组合的图像传感器将具有优势。对应的图像传感器能够用衬底产生，其中在两侧上都施加光敏层，而不是如传统上那样仅在一侧施加光敏层。由两个传感器侧面102，104捕获的图像接着传送到合并器单元110，它与存储器单元112和照相机接口114耦合。在合并器单元110中，两个仍然分离的视频流将合并为一个单个视频流，其中包括原始的两个视频流的信息。照相机接口将接着使得电子设备(未示出)访问单个合并后的视频流用于进一步处理/显示。本发明的一个很大的优点在于由于执行了合并，这样的接口可以是仅仅能够处理单个视频流的类型的接口，而不是处理两个单独视频流的类型的接口。仅仅预先需要是其应当能够处理视频流的实际宽高比/尺寸和/或采样速率(每个时间单位的帧数)。但是这能够与提供处理两个单独的视频流相比容易得多地来实现。合并器单元110也可以有选择地包括某种预-处理性能，或者为了那样的目的，专用的预-处理单元(未示出)可以插入到合并器单元110和照相机接口114之间。
图6示出了按照本发明的两照相机配置的替换实施例。与图5类似，两个照相机光学部件在不同的方向提供，例如隔开180°，即背对背。如图中所描述的，光学反射元件，例如棱镜或适当形成的镜子这样提供，从而由光学部件观看的图像导入到图像传感器106。该图像传感器106的两个部分(在图中用虚线分隔线表示)分别捕获来自第一和第二光学部件的各个图像。这里描述的配置具有这样的优点，那就是可以使用单个图像传感器，因此这能够是一种传统类型的传感器，它能够处理所需的图像尺寸。图像传感器已经输出了一个信号，该信号对应于与图4联合描述的单个视频流。该信号输出到合并器单元110，它以与图5所示的相同的方式连接到存储器单元112和照相机接口114。对于与图5中描述的相同的那些元件的更详细描述，请参照图5。但是应当注意到，在这里描述的实施例中，合并器单元110与图5中的合并器相比可以更简单地实现，因为没有两个单独的输入信号，而仅仅有一个已经严密对应于图4中描述的合并方法的输入信号。因此，当使用这样的合并方法时，合并器110单元将不得不真正地“处理”输入信号，从而导出合并后的视频流，但仅仅执行很基本的信号转换。但是，如果需要的话，合并器单元110当然还可以用按照本发明的其他合并方法操作。
图7示出了按照本发明的两个照相机的配置的再一个实施例。每个包括一个光学部件和一个图像传感器的两个照相机模块分别提供在机壳10中，指向不同的方向，例如互相在180°取向，即“背靠背”。每个模块捕获一个视频流，并且两个视频流接着输出到耦合到存储器单元112和照相机接口114的合并器单元110。后三个元件已经在上文中描述过。尽管这里描述的配置需要两个完整的照相机模块，即两个完整的光学部件和图像传感器的组，但是该实施例也可以依赖于对应的传统单元。
图8示出了按照本发明的两照相机解决方案的实施例。可伸缩的铰链型元件8提供在移动电子设备8的机壳上。在铰链元件8中，安排了两个照相机102，104(其中照相机104指向与照相机102的方向相反的方向，并且在此不可见)。当用户不想使用照相机时该铰链元件可以折叠起来。在该方式中，将保护照相机102，104特别地将保护透镜组不被弄脏和划伤。对应的设备也将更小型化，并由于没有可见的突出部分将提供“更光滑”的外观。在铰链元件8上，可以提供启动开关(未示出)。这样的开关能够用于例如启动/激励照相机硬件并自动开始电子设备中的照相机应用，和/或当铰链元件8关闭时终止照相机应用。例如视频剪辑记录或拍摄应用的各种照相机应用的自动启动方便地使得用户能够立即拍摄照片或记录视频。
应当注意到，尽管以上描述关注于具有两个照相机并从而具有两个视频流的示例性使用情况，但是本发明的概念当然也可应用于任何更大数量的照相机和视频流。

Claims (21)

1.一种用于处理电子设备中的两个或更多照相机的视频流的方法，该方法包括：
-由第一和第二照相机(4，6)捕获(202，204)至少第一和第二视频流(1，1’，1”；2，2’，2”)，以及
-将所述第一和第二视频流(1，1’，1”；2，2’，2”)合并为合并后的视频流。
2.根据权利要求1所述的方法，其中
-通过产生合并后的视频流来执行所述合并，其中所述合并后的视频流的帧分别由所述至少第一和第二视频流的帧交替提供。
3.根据权利要求1所述的方法，其中
-通过产生合并后的视频流来执行所述合并，其中所述合并后的视频流的帧的段分别由所述至少第一和第二视频流的帧的段提供。
4.根据权利要求3所述的方法，其中所述段彼此相邻地排列。
5.根据权利要求1所述的方法，其中
-通过产生合并后的视频流执行合并，其中所述合并后的视频流的一帧中的行分别由所述至少第一和第二视频流中的帧中的行交替地提供。
6.根据前述任何一个权利要求所述的方法，还包括：
-处理(208)所述合并后的视频流。
7.根据前述任何一个权利要求所述的方法，还包括：
-将所述合并后的视频流分离(210)为分别对应于所述第一和第二视频流的第一和第二输出视频流，以呈现可用于进一步处理、存储或显示(212，214)的所述第一和第二输出视频流。
8.一种计算机程序产品，其包括程序代码装置，用于当所述程序产品运行在计算机或网络设备上时，执行权利要求1到7中任一个的方法。
9.一种计算机程序产品，其包括嵌入到计算机可读介质上的程序代码装置，用于当所述程序产品运行在计算机或网络设备上时，执行权利要求1到7中任一个的方法。
10.一种计算机程序产品，包括可从服务器上下载的程序代码，用于当所述程序产品运行在计算机或网络设备上时，执行权利要求1到7中任一个的方法。
11.一种电子设备，其包括：
-至少第一(102)和第二(104)光学部件；
-至少第一和第二图像传感器(106，108)，其中所述第一图像传感器(106)与所述第一光学部件(102)相关联，并且所述第二图像传感器(108)与所述第二光学部件(104)相关联，所述图像传感器(106，108)适合于分别捕获至少第一(1，1’，1”)和第二(2，2’，2”)视频流；以及
-适合于产生所述至少第一和第二视频流的合并后的视频流的视频合并器单元。
12.根据权利要求11所述的电子设备，其中所述视频合并器单元适合于
-生成所述合并后的视频流，从而所述合并后的视频流的帧分别由所述至少第一和第二视频流的帧交替地提供。
13.根据权利要求11所述的电子设备，其中所述视频合并器单元适合于
-生成所述合并后的视频流，从而所述合并后的视频流的帧的段分别由所述至少第一和第二视频流的帧的段提供。
14.根据权利要求11所述的电子设备，其中所述视频合并器单元适合于
-生成所述合并后的视频流，从而所述合并后的视频流的帧中的行分别由所述至少第一和第二视频流的帧中的行交替地提供。
15.根据权利要求11到14中任一个所述的电子设备，还包括适合于处理所述合并后的视频流的视频处理单元。
16.根据权利要求11到15中任一个所述的电子设备，还包括照相机接口(114)，用于使得能够由所述移动电子设备的应用引擎访问所述合并后的视频流。
17.根据权利要求11到16中任一个所述的电子设备，还包括视频分离器单元(118)，适合于将所述合并后的视频流分离(210)为分别对应于所述第一和第二视频流的第一和第二输出视频流，以呈现可用于进一步处理、存储或显示(212，214)的所述第一和第二输出视频流。
18.根据权利要求11到17中任一个所述的电子设备，其中所述第一(106)和第二(108)图像传感器组合为一个整体图像传感器。
19.根据权利要求11到18中任一个所述的电子设备，还包括反射元件(116)，用于将由所述第一(4)和所述第二(6)光学部件观看的视图分别导向到所述第一(106)和所述第二(108)图像传感器。
20.根据权利要求11到19中任一个所述的电子设备，还包括机壳(10)，并且其中所述第一(102)和第二(104)光学部件合并到可在至少第一和第二位置设置的可伸缩元件(8)中，其中所述光学部件在所述第二位置中至少部分地缩回到所述机壳(10)中并且可在所述第一位置进行操作。
21.根据权利要求20所述的电子设备，还包括开关，适合于当所述可伸缩元件(8)设置到所述第一位置和/或当所述可伸缩元件(8)设置到所述第二位置时被启动。
CNA2004800447039A 2004-12-23 2004-12-23 用于电子设备的多照相机解决方案 Pending CN101091395A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2004/004265 WO2006067545A1 (en) 2004-12-23 2004-12-23 Multi-camera solution for electronic devices

Publications (1)

Publication Number Publication Date
CN101091395A true CN101091395A (zh) 2007-12-19

Family

ID=36601427

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800447039A Pending CN101091395A (zh) 2004-12-23 2004-12-23 用于电子设备的多照相机解决方案

Country Status (4)

Country Link
US (1) US20060139463A1 (zh)
KR (1) KR100908028B1 (zh)
CN (1) CN101091395A (zh)
WO (1) WO2006067545A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716560A (zh) * 2012-09-28 2014-04-09 Lg伊诺特有限公司 电视机装置
CN105493501A (zh) * 2013-04-30 2016-04-13 微软技术许可有限责任公司 虚拟视觉相机
CN105744207A (zh) * 2014-11-17 2016-07-06 广达电脑股份有限公司 视频图像的撷取装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162532B2 (en) 1998-02-23 2007-01-09 Koehler Steven M System and method for listening to teams in a race event
CA2348353A1 (en) 2001-05-22 2002-11-22 Marc Arseneau Local broadcast system
EP2498210A1 (en) 2005-07-22 2012-09-12 Kangaroo Media, Inc. System and methods for enhancing the experience of spectators attending a live sporting event
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US20080239061A1 (en) * 2007-03-30 2008-10-02 Cok Ronald S First portable communication device
US20080266444A1 (en) * 2007-04-27 2008-10-30 Micron Technology, Inc. Method, apparatus, and system for continuous autofocusing
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
KR101378880B1 (ko) * 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
US20090047995A1 (en) * 2007-08-15 2009-02-19 Sony Ericsson Mobile Communications Ab Portable communication device having a dual camera module with a common image sensor element
US8159551B2 (en) * 2007-09-26 2012-04-17 Sony Ericsson Mobile Communications Ab Portable electronic equipment with automatic control to keep display turned on and method
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
AU2009299115A1 (en) * 2008-10-02 2010-04-08 Yepp Australia Pty Ltd Imaging system
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8744420B2 (en) 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
US8493482B2 (en) * 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US10182250B2 (en) * 2010-12-14 2019-01-15 Fancaster, Inc. Management of broadcast content
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
US20120221960A1 (en) * 2011-02-28 2012-08-30 Robinson Ian N Collaborative workspace viewing for portable electronic devices
US9088727B2 (en) * 2011-04-06 2015-07-21 Pelco, Inc. Spatially-varying flicker detection
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
US9241131B2 (en) 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
KR102123945B1 (ko) * 2013-07-08 2020-06-17 엘지전자 주식회사 전자 기기 및 그 구동 방법
US9832422B2 (en) * 2013-10-22 2017-11-28 Avaya Inc. Selective recording of high quality media in a videoconference
JP6355333B2 (ja) * 2013-12-27 2018-07-11 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、プログラム
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
KR102516769B1 (ko) * 2016-08-25 2023-03-31 삼성전기주식회사 듀얼 카메라 모듈
CN107360358A (zh) * 2017-09-05 2017-11-17 信利光电股份有限公司 一种摄像模组
US11553216B2 (en) 2017-10-26 2023-01-10 Halo Innovative Solutions Llc Systems and methods of facilitating live streaming of content on multiple social media platforms
US11323407B2 (en) 2017-10-26 2022-05-03 Halo Innovative Solutions Llc Methods, systems, apparatuses, and devices for facilitating managing digital content captured using multiple content capturing devices
US10693830B2 (en) 2017-10-26 2020-06-23 Halo Innovative Solutions Llc Methods, systems, apparatuses and devices for facilitating live streaming of content on multiple social media platforms
KR20210087263A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3697682A (en) * 1971-06-11 1972-10-10 Bell Telephone Labor Inc Video signal processing
US4300161A (en) * 1980-03-03 1981-11-10 Bell Telephone Laboratories, Incorporated Time compression multiplexing of video signals
TW303570B (zh) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
JP3862356B2 (ja) * 1997-04-23 2006-12-27 キヤノン株式会社 レンズ駆動制御装置及びそれを有した撮影装置
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US7590178B2 (en) * 2001-03-12 2009-09-15 Robert Bosch Gmbh Method of multiplexing a number of video signals with a compressor
WO2003017678A1 (en) * 2001-08-15 2003-02-27 Munich University Of Technology Multiplexed mpeg compression
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
JP2003189168A (ja) * 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
JP3914855B2 (ja) * 2002-10-15 2007-05-16 パナソニック モバイルコミュニケーションズ株式会社 携帯端末

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716560A (zh) * 2012-09-28 2014-04-09 Lg伊诺特有限公司 电视机装置
CN103716560B (zh) * 2012-09-28 2018-04-10 Lg伊诺特有限公司 电视机装置
CN105493501A (zh) * 2013-04-30 2016-04-13 微软技术许可有限责任公司 虚拟视觉相机
CN105744207A (zh) * 2014-11-17 2016-07-06 广达电脑股份有限公司 视频图像的撷取装置

Also Published As

Publication number Publication date
KR20070086448A (ko) 2007-08-27
KR100908028B1 (ko) 2009-07-15
US20060139463A1 (en) 2006-06-29
WO2006067545A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
CN101091395A (zh) 用于电子设备的多照相机解决方案
CN102077575B (zh) 通过多图像捕获进行的变焦
JP4783465B1 (ja) 撮像装置及び表示装置
CN103986867B (zh) 一种图像拍摄终端和图像拍摄方法
US20070057866A1 (en) Image capturing and displaying method and system
US20190230283A1 (en) Two-lens spherical camera
US20010034222A1 (en) Image capture and processing accessory
US20070268394A1 (en) Camera, image output apparatus, image output method, image recording method, program, and recording medium
JP2003189168A (ja) 携帯電話用カメラ
US20060164509A1 (en) Stereo camera/viewer
JP2011205374A (ja) 表示装置
CN100512381C (zh) 电子设备和用于在电子设备中形成图像信息的方法
CN102209195A (zh) 成像装置、图像处理装置、图像处理方法以及程序
CN102209142A (zh) 成像装置、图像处理装置、图像处理方法以及程序
US20100048243A1 (en) Clamshell-type mobile phone with camera
US20160360121A1 (en) Portable device with successive extension zooming capability
JP2006345246A (ja) 立体撮影機能付き携帯電話機
US9154758B2 (en) Digital signal processor and digital image processing apparatus adopting the same with concurrent live view frame and picture image processing
JP2006121229A (ja) ステレオカメラ
CN101656828B (zh) 照相机
JP2010245691A (ja) 複眼撮像装置
CN111860363A (zh) 一种视频图像的处理方法及装置、电子设备、存储介质
CN208609085U (zh) 摄像头模组和电子设备
KR20200018921A (ko) 복합 줌 영상생성장치
US20190238825A1 (en) Adding new imaging capabilities to smart mobile device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20071219