CN104782114A - 用于捕获与构造全景或立体图像流的方法与装置 - Google Patents

用于捕获与构造全景或立体图像流的方法与装置 Download PDF

Info

Publication number
CN104782114A
CN104782114A CN201380059682.7A CN201380059682A CN104782114A CN 104782114 A CN104782114 A CN 104782114A CN 201380059682 A CN201380059682 A CN 201380059682A CN 104782114 A CN104782114 A CN 104782114A
Authority
CN
China
Prior art keywords
pixel
stereo
picture
devices
panorama
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380059682.7A
Other languages
English (en)
Other versions
CN104782114B (zh
Inventor
R·奥利尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qi Luoputike Co
Original Assignee
Qi Luoputike Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qi Luoputike Co filed Critical Qi Luoputike Co
Publication of CN104782114A publication Critical patent/CN104782114A/zh
Application granted granted Critical
Publication of CN104782114B publication Critical patent/CN104782114B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

为了捕获与构造场景的全景或立体图像流，利用至少一个图像捕获设备(C,)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像重迭或不重迭，这些相继捕获操作是依一频率(F)进行，而此频率定义在两次相继捕获操作的开始间的捕获时间(T)。对于各次捕获操作，(a)对各个捕获图像的像素进行数字处理，以便利用所述像素使用短于或等于该捕获时间(T)的处理时间以形成一最终全景或立体图像；以及(b)在短于或等于该捕获时间(T)之时段上产生一先前形成的最终全景或立体图像。各个所捕获图像之各个像素的数字处理(a)至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。

Description

用于捕获与构造全景或立体图像流的方法与装置
技术领域
本发明是关于一种用于捕获并构造立体或全景图像流的方法与装置。此全景或立体图像流可为按如电影方式所储存、转发或发布，或者是进行处理以自该全景或立体图像流获取其一或多张静态图像。
背景技术
在“单拍”式全景图像捕获领域，已知有多款图像捕获设备，例如CCD或CMOS类型的相机，而各个图像捕获设备含有图像传感器，例如是CCD或CMOS类型的图像传感器，这些传感器耦接于光学装置(透镜)藉以将某场景的图像投射至该图像传感器上。图像捕获设备的光轴的指向会在不同的方向上，并且图像捕获的光学视域可针对于该图像的完整全景视域而重迭。国际专利申请WO 2012/032236公开一种光学装置，此装置极为紧凑，并且含有三个经标注为“光学群组”的图像捕获设备，同时使得能够以360°视域进行“单拍”式全景图像捕获。
在本文中，该词汇“全景图像”应依其广泛意义所解读，不限于捕获单一360°视域的图像，而是更广泛地适用于依照延伸视域构造的图像，此延伸视域相较于该全景图像捕获所使用之图像捕获设备中的每一个所覆盖的光学视域更为宽广。
利用这项全景图像捕获方法，图像捕获设备中的每一个可在有限光学视域内依像素矩阵的形式获取一场景的图像，然后将这些图像转发至外部的数字处理装置，此数字处理装置使得能够在它们的重迭区域处进行数字方式的图像”缝合”，藉此产生最终的全景图像。
各个像素矩阵代表由一图像捕获设备所捕获的图像，这是来自于一球形区域之3D表面被该图像捕获设备所观看到的二维投射。此二维投射依据各个图像捕获设备而定，并且尤其按照图像捕获透镜的光学特性，以及图像捕获设备在图像捕获过程中的空间指向(即偏指(Yaw)、俯仰(Pitch)和横滚(Roll))，而定。
在现有技术里，要将图像经数字缝合以构成一全景图像，可例如在当并行排置由这些图像传感器所送出的图像时进行，而且是通过在它们的重迭区域处进行图像数字缝合，藉此方式来得到最终全景图像。在此情况下，实施数字缝合并不对像素的二维投射进行修改，同时该最终全景图像的像素会保留所源自之图像传感器的二维投射。
此数字缝合可为自动地执行，如在国际专利申请WO2011/037964或美国专利申请2009/0058988中所公开那样；或者可通过手动辅助而以半自动的方式执行，即如在国际专利申请WO2010/01476中所公开那样。
以下文献中亦提议一种用于全景图像构造的数字图像缝合解决方案，其标题为：“Image Alignment and Stitching:A Tutorial”，作者Richard Szeliski，2005年1月26日。此文中是对所储存图像静态地，然非以动态方式，执行数字缝合，因此在该文章中所公开的数字缝合解决方案确无法使得构造动态的全景图像流，更别提在当正进行图像捕获时按照实时方式构造动态的全景图像流。
而在立体图像捕获的领域里，已知该方法可包含捕获某场景的两个平面图像，随后是数字处理这两张平面图像藉以产生一使得能够感知深度与廓形的立体3D图像。
前述的全景或立体图像捕获及构造方法会有如下缺点，即利用由具备分别或独立光学装置之传感器所获取的图像以构造一全景或立体图像，这会在最终数字图像里出现均质性的问题(无论是全景或立体图像皆然)，特别是在相对色度、白平衡、曝光时间与自动增益方面尤甚。
此外，前述的图像数字缝合方法需要计算时间，这会不利于如电影般依实时方式进行全景图像的捕获及构造操作。
在美国专利申请2009/0058988中，为改善处理时间并使得能够以实时数字缝合来进行全景图像捕获，例如提议一种基于低分辨率映射的数字缝合解决方案。
发明目的
广义而言，本发明之目的为提议一种利用一或多台图像捕获设备来进行全景或立体图像流捕获及构造的新技术解决方案。
尤其，根据本发明的第一具体方面，此新解决方案使得能够加快数字处理速度，并因而有助于实时地捕获并构造全景或立体图像流。
更进一步，根据本发明的另一具体方面，此新解决方案使得能够修补前述归因于分别或独立光学装置之传感器实施方式的不便性，并且特别是使得能够更简易地获得高质量的全景或立体图像。
在本发明中，全景或立体图像流可为例如按照电影方式所储存、转发或发布，或者是使得能够稍后处理以自该流静态地提取一或多个全景或立体图像。
发明内容
根据本发明之第一方面，本发明的主要目的为一种用于捕获与构造场景之全景或立体图像流的方法，其中利用至少一个图像捕获设备(Ci)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像重迭或不重迭，这些相继捕获操作是依一频率(F)进行，而此频率定义在两次相继捕获操作的开始间的捕获时间(T)；并且对于各次捕获操作，(a)对各个捕获图像的像素进行数字处理，以便利用所述像素使用短于或等于该捕获时间(T)的处理时间以形成一最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时段上产生先前形成的最终全景或立体图像；并且各个所捕获图像之各个像素的数字处理(a)至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。
本发明之另一目的为一种用于捕获与构造全景或立体图像流的装置。该装置含有一个或更多图像捕获设备(Ci)，使得能够按像素集格式捕获至少两个不同图像；以及电子处理装置，使得能够利用这些所捕获图像以构造全景或立体图像；这些电子处理装置利用所述图像捕获设备使得能够按照像素格式对一场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，这些相继捕获操作是依一频率(F)进行，而此频率定义在两次相继捕获操作之开始间的捕获时间(T)；并且这些电子处理装置适于针对各次捕获操作，(a)对各个所捕获图像的像素进行数字处理，以便利用这些像素使用短于或等于该捕获时间(T)的处理时间来形成一最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时间间隔期间产生一先前形成的最终全景或立体图像；而且利用这些电子处理装置对各个图像之各个像素的数字处理至少包含保留或抛弃该像素，并且在保留像素的情况下，使用对于该最终全景或立体图像上之各个位置的预定加权因子(W)为该像素分配该最终全景或立体图像上的一个或多个不同位置。
根据本发明的第二方面，本发明之目的亦在于一种用于捕获与构造一场景之全景或立体图像流的方法，其特征在于利用至少一图像捕获设备(Ci)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，并且，在这些图像捕获操作的过程中，这些所捕获图像的像素经数字处理以形成全景或立体图像，并且产生一全景或立体图像流，并且各个所捕获图像之各个像素的数字处理至少包含保留或抛弃该像素，并且当保留该像素时，使用对于该最终全景或立体图像上之各个位置的预定加权因子(W)为该像素分配该最终全景或立体图像上的多个不同位置。
根据本发明的该项第二方面，本发明之目的亦在于一种用于捕获与构造全景或立体图像流的装置，其特征在于该装置包括：一个或更多图像捕获设备(Ci)，使得能够按像素集格式捕获至少两个不同图像；以及电子处理装置，使得能够利用这些图像捕获设备(Ci)按照像素格式执行场景的至少两个不同图像的多个相继捕获操作，这些图像重迭或不重迭，并且适于在捕获操作期间对所捕获图像的像素进行数字处理，以便形成一最终全景或立体图像并且生成全景或立体图像流，对各个捕获图像之各个像素的数字处理至少包含保留或抛弃该像素，并且在保留像素的情况下，使用对于该最终全景或立体图像上的各个位置的预定加权因子(W)为该像素分配该最终全景或立体图像上的一个或多个不同位置。
根据本发明的第三方面，本发明之目的亦在于一种用于捕获与构造一场景之全景或立体图像流的方法，其中，利用至少一个图像捕获设备，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，其中这些图像捕获设备中的每一个使得能够按像素集格式捕获图像，并且送出至少依照第一时钟信号(H_sensor)而同步化的像素流作为对于各个所捕获图像的输出。各个所捕获图像的各个像素被数字处理，以便利用这些像素产生最终全景或立体图像作为按照至少第二时钟信号(H)而同步化的像素流。
根据本发明的该项第三方面，本发明之目的亦在于一种用于捕获与构造全景或立体图像流的装置，所述装置包括：一个或更多图像捕获设备，所述图像捕获设备使得能够按照像素格式对场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭；以及电子处理装置，使得能够利用这些所捕获图像构造全景或立体图像流。各个图像捕获设备适于送出至少依照一第一时钟信号(H_sensor)所同步化的像素流作为对于各个所捕获图像的输出。这些电子处理装置被设计为对所捕获图像的各个像素进行数字处理，以便利用这些像素以产生最终全景或立体图像作为按照至少一个第二时钟信号(H)所同步化的像素流。
根据本发明的第四方面，本发明之目的亦在于一种用于捕获或构造场景的至少一个全景或立体图像的方法，其中利用至少一个图像捕获设备(Ci)以捕获该场景的至少两个不同图像，这些图像可为重迭或不重迭，各个图像捕获设备使得能够对按照像素集格式的图像进行捕获，并且对于各个所捕获图像送出一像素流作为输出；其中各个所捕获图像的像素流经数字处理，以便利用这些像素形成至少一个最终全景或立体图像，并且对应于各个所捕获图像的像素流之各个像素的数字处理至少包含保留或抛弃该像素，而且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。
根据本发明的该项第四方面，本发明之目的亦在于一种用于捕获与构造至少一全景或立体图像的装置，该装置含有一个或更多个图像捕获设备(Ci)，使得能够捕获至少两个不同图像，这些图像为重迭或不重迭，各个图像传感器(Ci)适于送出对于各个所捕获图像的像素流；以及电子处理装置，使得能够在图像捕获操作的过程中利用各个所捕获图像的像素流构造一全景或立体图像。这些电子处理装置被设计为通过保留或抛弃像素来处理各个所捕获图像之像素流的各个像素，而且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个不同位置。
附图说明
经阅览后文中本发明之一或更多优选实施例的详细说明，并参照于附图，将能知晓本发明的特征和优点，此等说明系经提供作为本发明的非限制或穷举性范例，而其中：
－图1为一根据本发明之装置的电子架构范例略图。
－图2为图1装置之主要电子信号的定时器范例。
－图3表示一”鱼眼”透镜的捕获区域之光学/像素视域间的对应性范例。
－图4为在一最终全景图像之一部分中利用图像传感器所捕获的像素矩阵的重映射范例。
－图5说明在该最终全景图像之像素Pi,j与利用图像传感器所捕获之像素矩阵间的几何对应性范例。
－图6A至6I表示对于RAW类型图像之特定情况的不同重映射图式。
－图7A至7D说明一传感器线至一全景图像上之重映射的不同范例。
－图8说明对于三张图像为形成一最终全景图像之重映射的特定范例。
具体实施方式
图1表示一种使得能够捕获与构造全景图像之本发明装置1的特定范例。
在本特定范例里，该装置1含有三个例如CCD或CMOS类型的图像捕获设备C1、C2、C3，其中的每一个使得能够按像素矩阵格式捕获图像，以及电子处理装置10，其使得能够利用由这些图像传感器C1、C2、C3送出的像素以构造一全景图像。一般说来，这些图像捕获设备C1、C2、C3中的每一个含有像是CCD或CMOS类型的图像传感器，该传感器耦接于光学装置(透镜)，光学装置(透镜)含有一或更多透镜，而透镜对准于该图像传感器并使得能够将光线聚焦于该图像传感器上。
这些图像捕获设备C1、C2、C3的光轴是按不同方向所指向，同时它们的光学视域会涵盖整个最终全景图像场域，且这些光学视域最好是出现重迭。
在本文献中，该词汇”全景图像”应依其广泛意义所解读，不限于根据360°视域所构造的全景图像，而是更一般性地依照延伸视域所构造的图像，此延伸视域相较于该全景图像捕获所使用之图像捕获设备中的每一个所涵盖的光学视域更为宽广。
仅为示范之目的，所述图像捕获设备C1、C2、C3可例如含有三个紧凑光学装置的光学群组，这可如国际专利申请WO 2012/03223中所公开那样并且使得能够“单拍”捕获全景图像。
最好，然非必要，本发明装置1含有便携式设备，藉以达到简易搬送并且运用于各种位置之目的。
现参照图2，这些数字处理装置10送出一基本频率H10，这是利用例如石英所产生的，并且可用以对这些图像捕获设备C1、C2、C3中的每一个之图像传感器的操作进行计时。
在输出方面，这些图像捕获设备C1、C2、C3中的每一个之图像传感器会在“Pixels”数据总线上对于各个所捕获图像送出一像素流，此流是依照一第一时钟信号(H_sensor)所同步化，而该时钟信号则是由这些图像捕获传感器中的每一个利用该基本时钟H10，以及两个信号”Line Valid”和”Frame Valid”所产生。由这些图像捕获传感装置C1、C2、C3中的每一个所产生的时钟信号(H_sensor)会更特别地拥有相同的频率。
这些电子处理装置10使得能够利用由这些图像捕获设备C1、C2、C3之图像传感器所送出的像素，并且以一可比拟于这些图像捕获设备C1、C2、C3在该”Pixels”数据总线上送出表示该最终全景图像之像素流者作为输出的方式，来构造一全景图像。
这些电子处理装置10之”Pixels”数据总线的大小与这些图像捕获设备C1、C2、C3之”Pixels”数据总线的大小可为相同或者互异，而且最好是较大。例如，但非限制本发明范畴，这些图像捕获设备C1、C2、C3的”Pixels”数据总线可为八位，而这些电子处理装置10的”Pixels”数据总线则是16位。
由这些电子处理装置10所产生的像素流是同步于一第二时钟信号(H)，此信号是由这些电子处理装置10利用该基本时钟信号以及两个由这些电子处理装置10所产生的”Line Valid”和”Frame Valid”信号所产生。
图2说明前述之本发明的信号同步操作的一特定且非限制性范例。然此图式中并未显示在该”Pixels”数据总线上传送的数据。
现参照图2，这些相继捕获操作为周期性的并且是依一频率F计时，而此频率定义等于在两次相继捕获操作开始之间的时间间隔(t)长度的捕获时间T(T＝1/F)。
更特定说，在图2上，这些图像捕获设备C1、C2、C3中的每一个之信号”Frame Valid”的上升沿使这些图像捕获设备C1、C2、C3所捕获图像之像素在这些图像捕获设备C1、C2、C3中的每一个的”Pixels”数据总线上的传输操作的开始点同步。而这些图像捕获设备C1、C2、C3中的每一个之信号”Frame Valid”的下降沿则是表示在该”Pixels”数据总线上由这些图像捕获设备C1、C2、C3所捕获的图像的像素传输操作的结束处。这些由这些图像捕获设备C1、C2、C3所送出之”Frame Valid”信号的上升沿(或下降沿)会在时间线上略微地移位。
这些图像捕获设备C1、C2、C3的”Line Valid”信号同步于该”Frame Valid”信号的各个上升沿，并且表示一串图像像素之传输操作的开始处。而该”Frame Valid”信号的下降沿则表示一串图像像素之传输操作的结束处。这些三个图像捕获设备C1、C2、C3里各个”Pixels”数据总线上的各个所传图像的像素是分别地利用这些图像捕获设备C1、C2、C3中的每一个所送出之各个时钟信号“H_sensor”由这些电子处理装置10以并行方式所采样。
现参照图2，由这些电子处理装置10所送出之“Frame Valid”信号的上升沿使在电子处理装置之“Pixels”数据总线上运用这些图像捕获设备C1、C2、C3所送出像素而构造的最终全景图像之传输操作的开始点同步。此上升沿是由这些电子处理装置10利用这些图像捕获设备C1、C2、C3所送出之“Frame Valid”信号的上升沿自动地产生，并且特别是在当检测到最近发生的上升沿时所产生，这也就是在图2所示特定范例里由该图像捕获设备C1所送出之“Frame Valid”信号的上升沿。
而由这些电子处理装置10所送出之“Frame Valid”信号的下降沿则是使在电子处理装置10之“Pixels”数据总线上运用这些图像捕获设备C1、C2、C3所送出像素而构造的最终全景图像之传输操作的结束同步。
由这些电子处理装置10所送出的“Line Valid”信号同步于由这些电子处理装置10所送出之“Frame Valid”信号的各个上升沿，并且表示一串全景图像像素之传输操作的开始点。而由这些电子处理装置10所送出之“Line Valid”信号的各个下降沿则是表示一串全景图像像素之传输操作的结束。
在这些电子处理装置10的”Pixels”数据总线上之各个全景图像的像素写入处理是按照时钟信号”H”同步的，此信号是由这些电子处理装置10所产生，并且可由另一外部电子装置(例如该装置11)运用以在该数据总线上读取像素。
根据本发明的替代性实施例，这个由这些电子处理装置10所送出的时钟信号“H”可为同步或异步于由这些图像捕获设备C1、C2、C3所送出的“H_sensor”时钟信号。该“H”时钟信号的频率可为等于或不同于由这些图像捕获设备C1、C2、C3所送出的“H_sensor”时钟信号。最好，该“H”时钟信号的频率大于由这些图像捕获设备C1、C2、C3所送出的“H_sensor”信号，即如图2所示。
在图2所示的特定情况下，对于各次捕获操作将会利用这些图像捕获设备C1、C2、C3并行地进行三次图像捕获，并且在此特定情况下，该时间间隔(t)为分隔该图像捕获设备C1，亦即首先在其“Pixels”数据总线上传送像素的图像捕获设备，的“Frame Valid”信号的两个相继上升沿的时间间隔。
在分隔两个相继图像捕获操作开始之时间间隔(t)的过程里，这些电子处理装置10会进行：
(a)对各个所捕获图像的像素进行数字处理，以便利用这些像素来构造最终全景图像；对于图1所示架构与图2所示信号，这些就是在这些图像捕获设备C1、C2、C3之“Pixels”数据总线上传送至这些电子处理装置10的像素；并且
(b)产生最终全景图像；对于图1所示架构与图2所示信号，这些就是这些电子处理装置10使用由这些电子处理装置10在该时间间隔(t)过程中生成的“Frame Valid”信号的上升与下降沿在它们的“Pixels”数据总线上所送出作为输出的像素。
因此通过这些电子处理装置按照与相继的图像捕获操作相同的速率以实时方式产生相继的全景图像流。例如，若这些图像捕获设备C1、C2、C3被设计为每秒送出25个图像，则于两次相继图像捕获操作间的各个时间间隔(t)的捕获时间T等于40ms，此值对应于25Hz的捕获频率F，并且这些电子处理装置也是每秒产生25个全景图像(亦即每40ms有一个全景图像)。
该捕获时间T(即两次相继图像捕获操作间的各个时间间隔(t)的长度)将根据这些图像捕获设备C1、C2、C3的技术而定。实际上，该捕获时间T将最好是短于或等于1秒，并且甚至更佳地为短于或者等于100ms。
最好，在分隔两次相继图像捕获操作开始点的各个时间间隔(t)期间中所产生的最终全景图像源自这些像素在此相同时间间隔(t)过程中的数字处理(a)。在此情况下，各个相继全景图像可为实时性地产生，并且是与为构造该特定全景图像的图像捕获操作几乎同时地进行，而在将用于构造后续全景图像的后续图像捕获操作之前。
在另一替代性实施例里，在分隔两次相继图像捕获操作开始点的各个时间间隔(t)期间所产生的最终图像源自这些像素在先前时间间隔(t)期间，例如前一的时间间隔(t)，所进行的的数字处理(a)。在此情况下，各个相继全景图像可为实时性地产生，并且是相对于用于构造该全景图像的图像捕获操作而具有略微的时间移位。
在另一替代性实施例里，可在一给定捕获周期(N)的过程中开始(即由这些电子处理装置10所送出之“Frame Valid”信号的上升沿)产生各个全景图像，并且可在后续的捕获周期(N+1)过程中结束(即由这些电子处理装置10所送出之“Frame Valid”信号的下降沿)。最好，然非必要，由这些电子处理装置10所送出的“Frame Valid”信号之上升沿与下降沿间的时间间隔是短于或等于该捕获时间T。
针对各个图像捕获操作所进行的像素处理(a)可相对于图像捕获周期而在时间线上移位。最好，然非必要，在图像捕获操作过程中来自所有捕获图像而待用以构造最终全景图像之像素的处理时间会短于或等于该捕获时间T。例如，为形成一最终全景图像，利用在第N个捕获周期过程中所捕获图像的像素的处理(a)可由这些电子处理装置10在后续的图像捕获周期过程中(例如在第N+1个捕获周期的过程里)进行。
这些电子处理装置10含有电子、数字编程数据处理单元，其可根据本发明无区分地运用任何已知的电路装置所实施，如一或多个FPGA类型的可编程电路，和/或一或多个ASIC类型的特定电路，或者是可编程处理单元，而它们的电子架构使得能够实施一微控制器或微处理器。
在如图1所示的本发明特定变化项目中，按如像素集组而由这些电子处理装置10所送出的相继全景图像流会由额外的电子处理装置11进行处理，这些装置可包含例如DPS类型电路，并且使得能够例如储存在存储器内，并且/或是将该全景图像流以电影方式实时地显示在屏幕上。
在本发明的另一变化里，可将这些额外电子处理装置11设计为处理由这些电子处理装置10所送出的相继全景图像流以作为自该流提取一或多个全景图像的提取设备。
一般说来，在特定的替代性实施例里，各个图像捕获设备C1、C2、C3含有“鱼眼”透镜类型的光学装置，其连接至一捕获矩阵，并且各个所捕获图像的特征在于三组空间指向信息，这些信息通常称为偏指(Yaw)、俯仰(Pitch)和横滚(Roll)，而且在图像捕获的过程中是特定于该图像捕获设备的空间指向。
现参照图3，一“鱼眼”透镜显现一有效球形中心检测表面(即图3上的灰色表面及白色表面)，而且由图像传感器所捕获之图像的有效像素已知为获自于该图像捕获设备的检测表面的仅一部分的二维投射(即图3中的864像素乘900像素)。
因此，通常表示由图像捕获设备C1、C2或C3所捕获图像的各个像素矩阵是源自一球形3D表面部分里被该图像捕获设备C1、C2或C3所观看到的二维投射。此二维投射依据各个图像捕获设备C1、C2或C3而定，并且尤其是按照该图像捕获设备C1、C2或C3的光学装置，以及该图像捕获设备C1、C2或C3在图像捕获过程中的空间指向(偏指(Yaw)、俯仰(Pitch)和横滚(Roll))而定。
为提供范例，在图4中显示一对应于由图像捕获设备Ci(例如图1的图像捕获设备C1、C2或C3)所捕获之图像的像素矩阵。在该图中，黑色像素是对应于位在图像捕获设备Ci的“鱼眼”透镜的有效中心圆形部分之外部的像素。利用该图像捕获设备Ci所捕获之图像的各个像素源自一称为“映射”的操作，此操作对应于如前文所述该球形3D表面部分中被该图像捕获设备Ci之“鱼眼”透镜所观看到并且特定于该图像捕获设备Ci的二维投射。
在本发明之前，为利用各个图像捕获设备Ci所捕获的图像以构造一全景图像，这些图像通常是会在它们的重迭区域处经由图像数字“缝合”处理并行排置，藉此得到最终的连续全景图像。重点是须了解在现有技术中所引用的这种数字缝合处理并不会修改像素的二维投射，故而其保留在最终全景图像上。
在本发明中，不同于前述的现有技术数字缝合，若要构造最终全景图像，由各台传感器Ci所捕获之各个图像的有效像素会被重映射在该最终全景图像上，其中这些像素的至少一部分会重映射至该最终全景图像上，最好是当受到一新二维投射时，此投射是不同于来自这些图像捕获设备Ci并由此导出这些像素之图像上的二维投射。所以利用这些图像捕获设备C1、C2或C3来构造单一虚拟全景图像捕获设备。此像素重映射会透过各个所捕获图像之各个像素的处理(a)自动地进行，这至少包含保留或抛弃该像素，而且当保留该像素时，将使用用于该最终全景图像上之各个位置的加权因子为该像素分配该最终全景图像上的一或更多位置。
图4中仅显示该最终全景图像的一部分，此一部分对应于该全景图像中源生于由单一图像捕获设备Ci所捕获图像之像素的重映射的部分。
现参照图4，位在由图像捕获设备Ci所捕获图像之第一条直线上的像素P1,8会被例如以四个位于该最终全景图像第一条直线上之四个不同相邻位置的像素P1,9、P1,10、P1,11、P1,12重映射到该最终全景图像上，这可表现为从该原始图像将此像素拉开至该最终全景图像。所以，此像素P1,8在该最终全景图像上的映射对应于此像素在该最终全景图像上的二维投射，这不同于此像素在由图像处理装置所捕获之原始图像上的二维投射。像素在该最终全景图像上的这种拉开可例如有利地实施为部分地或整体地补偿图像捕获设备之“鱼眼”透镜在靠近上方边缘处的光学扭曲。对于位在下方边缘处的像素可有利地实施相同的像素拉开。
为供比较，由图像捕获设备Ci所捕获之图像的中心像素P8,8会以唯一像素P11,11等同地重映射至该最终全景图像上，这是因为图像捕获设备的“鱼眼”透镜在透镜的中心处并不会或几乎不会产生光学扭曲。
位于由传感器Ci所捕获图像的左下方区域上的像素P10,3是以例如三个在该最终全景图像的两条相邻直线上之三个相邻且不同位置处的像素P17,4、P18,4、P18,5重映射在该最终全景图像上，这对于该原始图像的此像素P10,3而言会转译为在两个方向上放大到该最终全景图像内。从而，此像素P10,3在该最终全景图像上的映射对应于此像素在该最终全景图像上的二维投射，这不同于此像素在由图像捕获设备所捕获之原始图像上的二维投射。
在该原始图像之各个像素的重映射操作过程中，亦即自该图像捕获设备Ci到该最终全景图像上，像素是可以无需在该最终全景图像上加以保留或复原。这会出现在例如位于由至少两台图像捕获设备所捕获的图像之重迭区域内的像素。在图像捕获设备的重迭区域里，将只会保留来自这些传感器之一的单一像素，而对应于其他传感器的其他像素则不会予以保留。在本发明的其他变化中，至少两台图像捕获设备的重迭区域内，可以利用原始图像像素的平均值或组合以构造最终图像像素。
在像素的重映射操作过程中，当像素被保留并且已被分配该最终全景图像上的一或更多不同位置时，最好是对于该最终全景图像上之各个位置，亦即对于该最终全景图像的各个像素，利用范围自0至100％的加权因子以进行该分配操作。参照图5可更佳地了解该加权因子方法以及内在的理由。
现参照图5，该最终全景图像之各个像素Pi,j的中心C在实施上并非对应于由一图像捕获设备Ci所捕获的图像之像素的中心，而是几何地对应于由图像捕获设备Ci所捕获的图像上的特定真实位置P，此位置在如图4所表示的特例中是离开中心，位在下方角落的邻近范围内，并且对应于由图像捕获设备Ci所捕获的图像之像素P1的左侧。因此，在此特定范例里，将不仅会利用到像素P2，而亦利用其相邻像素P1、P3、P4并同时对各个像素P1、P2、P3、P4的的贡献加权，例如考虑到该位置P相对于各个像素P1、P1、P2、P3、P4之中心的质心，以构造该像素Pi,j。在本特定范例里，该像素Pi,j含有例如25％的像素P1，35％的像素P2，15％的像素P3以及5％的像素P4。
本发明适用于所有类型的图像格式，包含：RAW、YUV及RGB衍生项目。对于RGB图像来说，在进行过色彩构造后(称为对于各个图像像素的R、G、B信息)，将可利用相邻像素以实施前述的加权。
然对于RAW图像而言，其中由于各个像素仅表现一个色度成分，将会利用具有与该最终全景图像的像素相同之色彩的邻近像素来实施前述的加权。可参照图6A至6I以更佳地了解这种对于RAW格式之加权的特定情形。
图6A至6I说明，对于依RAW类型格式编码之像素的情况，最终全景图像的像素Pi,j与由图像捕获设备Ci所捕获的图像之像素矩阵间的各种对应关系。在这些图式中，字母R、G、B分别地对应于“红光”、“绿光”及“蓝光”像素。Wi为由该图像捕获设备所捕获的原始图像的像素Ri、Gi或Bi之最终图像上的加权因子。
图6A对应于如下情况，即该最终全景图像之红像素Pi,j的中心对应于由图像捕获设备Ci所捕获之图像里的真实位置P，而这是位于由该图像捕获设备Ci所捕获之图像的蓝像素(B)上。在此情况下，会利用邻近该蓝像素B的红像素R1、R2、R3、R4通过分别地施用加权因子W1、W2、W3、W4以构造该最终全景图像的此红像素Pi,j。而这些加权因子W1、W2、W3、W4的数值将会是例如依照位置P相对于各个像素R1、R2、R3、R4之中心的质心而定。例如，若该位置P位在该像素P的中心处，则在此时所有的加权因子W1、W2、W3、W4都将会是25％。
图6B对应于如下情况，即该最终全景图像之蓝像素Pi,j的中心对应于由一传感器Ci所捕获之图像里的真实位置P，其位于由图像捕获设备Ci所捕获之图像的红像素(R)上。
图6C对应于如下情况，即该最终全景图像之绿像素Pi,j的中心对应于由传感器Ci所捕获之图像里的真实位置P，其位于由图像捕获设备Ci所捕获之图像的蓝像素(B)上。
图6D对应于如下情况，即该最终全景图像之绿像素Pi,j的中心对应于由传感器Ci所捕获之图像里的真实位置P，其位于由图像捕获设备Ci所捕获的图像的红像素(R)上。
图6E对应于如下情况，即该最终全景图像之绿像素Pi,j的中心对应于由传感器Ci所捕获之图像里的真实位置P，其位于由图像捕获设备Ci所捕获之图像的绿像素(G5)上。
图6F对应于如下情况，即该最终全景图像之红像素Pi,j的中心对应于由传感器Ci所捕获之图像里的真实位置P，其位于由图像捕获设备Ci所捕获之图像的绿像素(G)上。
图6G对应于如下情况，即该最终全景图像之蓝像素Pi,j的中心对应于由传感器Ci所捕获之图像里的真实位置P，其位在由图像捕获设备Ci所捕获之图像的绿像素(G)上。
图6H对应于如下情况，即该最终全景图像之红像素Pi,j的中心对应于由图像捕获设备Ci所捕获之图像里的真实位置P，其位在由一图像捕获设备Ci所捕获之图像的红像素(R5)上。
图6I对应于如下情况，即该最终全景图像之蓝像素Pi,j的中心对应于由传感器Ci所捕获之图像里的真实位置P，其位在由一图像捕获设备Ci所捕获之图像的蓝像素(B5)上。
最后，无论图像的编码格式如何，对由图像捕获设备Ci所捕获的图像中的各个像素之最终全景图像的重映射方法皆至少包含保留或抛弃该像素，并且当保留该像素以使用该最终全景图像之各个位置(亦即对于各个像素)的预定义加权因子为该像素分配该最终全景或立体图像上的一或更多不同位置。在本文献中，最终全景图像上之“位置”的概念与最终全景图像上之“像素”的概念合并。
根据本发明，当合理地进行像素重映射时，可以至少部分地校正例如在各个图像捕获设备Ci中的各个透镜的最终图像上的扭曲情况。
同时亦根据本发明，可例如由额外电子处理装置11将这些图像捕获设备C1、C2、C3以及这些电子处理装置10视为是对于全景图像的唯一虚拟传感器。因此，该额外电子处理装置11可对于由这些电子处理装置10所送出的最终全景图像实施例如已知的图像处理算法(尤其是用于白平衡、曝光时间与增益管理的算法)，这在适用时，相较于在构造该全景图像之前实施这些算法以对于由这些图像捕获设备C1,C2,C3送出的各个图像进行图像处理来说，使得能够获得更为均匀的最终图像，特别是在色度、白平衡及曝光时间与增益方面。
仅为简便之目的，然非限制本发明的范围，在图7A至7D中提供来自一“鱼眼”透镜的原始图像之直线L的像素重映射特定范例，以便考虑该“鱼眼”透镜的光学扭曲以及其空间指向(偏指(Yaw)、俯仰(Pitch)和横滚(Roll))。重映射取决于该直线L相较于该“鱼眼”透镜之中心以及下方与上方边缘的位置而定(参见图7A、7B、7C)，或者是依照该“鱼眼”透镜的空间指向而定(如图7D)。
图8中提供一特定范例，此图说明分别地由三个图像捕获设备C1、C2、C3所捕获之三个图像I1、I2、I3，以及从这些图像I1、I2、I3之像素的重映射所获得的最终全景图像(I)。
在本发明的框架里，可经由实施不同于这些图像捕获设备C1、C2、C3之二维投射的任何类型二维投射来利用像素重映射来构造最终全景图像，例如为了在一最终全景图像上自动地并入特殊效果之目的。尤其可实施下列的已知投射方式：
-平面性或直线性投射；
-圆柱形投射；
-墨卡托投射；
-球形或等长方形投射。
为进行重映射操作，本领域技术人员必须以各个情况为基础预先定义各图像捕获设备Ci之各个像素的重映射，同时针对各图像捕获设备Ci的各个像素决定是否保留此像素，并且在此情况下对应于该最终全景图像的像素或多个像素，以及此原始像素对于该最终全景图像之各个像素的加权因子。
此重映射可为例如依照下列类型的“对应表”所实施，即使用像素PX,Y对于该最终全景图像的像素(PXpano,Ypano)的加权因子W，对各个图像捕获设备Ci中的保留在该最终全景图像上的各个像素PX,Y分配该最终全景图像上的一或多个像素(PXpano,Ypano)。在下列表格里，为便于简化，仅按示范性目的纳入图4中所举例列出的特定像素。
传感器Ci
对于图1所示架构的特定情况，会按照储存在这些存储器之一内的“对应表”，利用这些电子处理装置10以自动地进行对于各图像捕获设备C1、C2、C3中各个像素之最终全景图像的重映射操作。在本发明的另一变化里，亦可通过电子处理装置10利用储存在该存储器内的校准及动态计算算法以自动地进行对于各图像捕获设备C1、C2、C3中各个像素之最终全景图像的重映射计算操作。
在图1的范例里，获自于该重映射操作之全景图像的各个像素(PXpano,Ypano)会被送出作为这些电子处理装置10的输出(“Pixels”)，同时按照由这些电子处理装置10送出的”H”时钟信号所同步化。根据替代性实施例，这个由这些电子处理装置10所送出的“H”时钟信号可与由这些图像传感器C1、C2、C3所送出的“H_sensor”时钟信号同步或异步。
图1的架构的一优点为使得额外的电子处理装置11能够把图像传感器C1、C2、C3以及这些电子处理装置10“视”为单一虚拟全景传感器。
图1的装置可有利地运用在当这些电子处理装置10获取这些像素时进行像素的实时重映射。
本发明不限于实施三个固定的图像捕获设备C1、C2、C3，而是可更一般地以至少两个固定的图像捕获设备C1、C2所实施。
在本发明的框架里还可预期运用单一移动图像捕获设备，而各图像捕获则是对应于该移动图像捕获设备C1、C2、C3的不同指向和/或位置。
在前述实施例的特定变化中，捕获频率F等于这些图像捕获设备C1、C2、C3的捕获频率。然在其他变化里，该捕获频率F可小于这些图像捕获设备C1、C2、C3的捕获频率，这些电子处理装置仅处理由这些传感器中的每一个所送出的m(m≥2)个图像中的一图像，这对应于这些相继捕获操作的频率，而此频率小于由这些图像捕获设备C1、C2、C3送出图像的频率。
本发明并不受限于构造全景图像。本发明亦可适用于构造立体图像。

Claims (134)

1.一种用于捕获与构造场景的全景或立体图像流的方法，其特征在于，利用至少一个图像捕获设备(Ci)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像重迭或不重迭，这些相继捕获操作是依一频率(F)进行，而此频率定义在两次相继捕获操作的开始间的捕获时间(T)；并且对于各次捕获操作，(a)对各个捕获图像的像素进行数字处理，以便利用所述像素使用短于或等于该捕获时间(T)的处理时间以形成一最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时段上产生一先前形成的最终全景或立体图像；并且各个所捕获图像之各个像素的数字处理(a)至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。
2.如权利要求1所述的方法，其中最终全景或立体图像是按与该捕获频率F相同的频率所产生的。
3.如权利要求1或2之任一项所述的方法，其中该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
4.如权利要求1至3之任一项所述的方法，其中各个最终全景或立体图像是在分隔两次相继图像捕获操作的开始的时间间隔(t)过程中相继地产生的。
5.如权利要求4所述的方法，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
6.如权利要求4所述的方法，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
7.如权利要求1至6之任一项所述的方法，其中进行各个像素的数字处理，使得来自这些所捕获图像之像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
8.如权利要求1至7之任一项所述的方法，其中来自这些所捕获图像的多个像素中的每一个会被分配该最终全景或立体图像上的多个不同位置。
9.如权利要求1至8之任一项所述的方法，其中来自这些所捕获图像的多个像素中的每一个被使用不为零、且严格地小于100％的加权因子(W)而分配该最终全景或立体图像上的至少一个位置。
10.如权利要求1至9之任一项所述的方法，其中，利用至少两个图像捕获设备(C1,C2)以捕获一场景的至少两个不同图像。
11.如权利要求1至9之任一项所述的方法，其中是利用至少三个图像捕获设备(C1,C2,C3)捕获一场景的至少三个不同图像。
12.如权利要求1至11之任一项所述的方法，其中各个图像捕获设备(Ci)被设计为送出至少依照第一时钟信号(H_sensor)而同步化的像素流作为对于各个图像的输出，并且各个全景或立体图像是被送出作为按照至少一个第二时钟信号(H)而同步化的像素流。
13.如权利要求12所述的方法，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
14.如权利要求12所述的方法，其中该第二时钟信号(H)为同步于第一时钟信号(H_sensor)。
15.如前述权利要求之任一项所述的方法，其中利用至少一个图像捕获设备对所捕获图像之像素的数字处理是利用预先储存的“对应表”所执行的，该表针对所捕获图像的每个像素对该特定像素在该最终全景或立体图像上的相对应位置进行编码；以及针对该像素在该最终全景或立体图像上的各个位置使用该像素在该最终全景或立体图像上的加权因子(W)进行编码。
16.一种用于捕获与构造全景或立体图像流的装置，该装置包括：一个或更多图像捕获设备(Ci)，使得能够按像素集格式捕获至少两个不同图像；以及电子处理装置(10)，使得能够利用这些所捕获图像以构造全景或立体图像，其特征在于这些电子处理装置(10)利用所述图像捕获设备使得能够按照像素格式对一场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，这些相继捕获操作是依一频率(F)进行，而此频率定义在两次相继捕获操作之开始间的捕获时间(T)；并且这些电子处理装置(10)适于针对各次捕获操作，(a)对各个所捕获图像的像素进行数字处理，以便利用这些像素使用短于或等于该捕获时间(T)的处理时间来形成一最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时间间隔期间产生一最终且先前形成的全景或立体图像；而且利用这些电子处理装置(10)对各个图像之各个像素的数字处理至少包含保留或抛弃该像素，并且在保留像素的情况下，使用对于该最终全景或立体图像上之各个位置的预定加权因子(W)为该像素分配该最终全景或立体图像上的一个或多个不同位置。
17.如权利要求16所述的装置，其中这些电子处理装置(10)适于以与该捕获频率(F)相同的频率来相继产生这些最终全景或立体图像。
18.如权利要求16或17之任一项所述的装置，其中该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
19.如权利要求16至18之任一项所述的装置，其中这些电子处理装置被设计为在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中相继地产生各个最终全景或立体图像。
20.如权利要求19所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
21.如权利要求19所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
22.如权利要求16至21之任一项所述的装置，其中这些电子处理装置(10)被设计为对各个像素进行数字处理，使得来自这些所捕获图像之像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
23.如权利要求16至22之任一项所述的装置，其中这些电子处理装置(10)被设计为通过为来自这些所捕获图像的多个像素中的每一个分配该最终全景或立体图像上的一个或多个不同位置以对来自这些所捕获图像的多个像素进行处理。
24.如权利要求16至23之任一项所述的装置，其中这些电子处理装置(10)被设计为通过利用不为零、且严格地小于100％的加权因子(W)，向来自这些所捕获图像的多个像素中的每一个分配该最终图像上的至少一个位置以对来自这些所捕获图像的多个像素进行处理。
25.如权利要求16至24之任一项所述的装置，其中含有至少两个图像捕获设备(C1,C2)。
26.如权利要求16至24之任一项所述的装置，其中含有至少三个图像捕获设备(C1,C2,C3)。
27.如权利要求16至25之任一项所述的装置，其中各个图像捕获设备(Ci)被设计为送出至少依照第一时钟信号(H_sensor)而同步化的像素流作为对于各个图像的输出，并且这些电子处理装置适于送出各个全景或立体图像作为按照至少一个第二时钟信号(H)而同步化的像素流。
28.如权利要求27所述的装置，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
29.如权利要求27所述的装置，其中该第二时钟信号(H)相较于该第一时钟信号(H_sensor)为同步。
30.如权利要求16至29之任一项所述的装置，其中电子处理装置(10)包括预先储存的对应表，该表针对由至少一个图像捕获设备(Ci)所捕获图像的每个像素对该像素在该最终全景或立体图像上的相对应位置进行编码；以及针对该像素在该最终全景或立体图像上的各个位置使用该像素在该最终全景或立体图像上的加权因子(W)进行编码。
31.如权利要求16至30之任一项所述的装置，其特征在于该装置为便携式。
32.一种用于捕获与构造场景的全景或立体图像流的方法，其特征在于利用至少一图像捕获设备(Ci)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，并且，在这些图像捕获操作的过程中，这些所捕获图像的像素经数字处理以形成全景或立体图像，并且产生一全景或立体图像流，并且各个所捕获图像之各个像素的数字处理至少包含保留或抛弃该像素，并且当保留该像素时，使用对于该最终全景或立体图像上之各个位置的预定加权因子(W)为该像素分配该最终全景或立体图像上的一个或多个不同位置。
33.如权利要求32所述的方法，其中这些相继捕获操作是按一频率(F)所计时，此频率定义两次相继捕获操作之开始间的捕获时间(T)。
34.如权利要求33所述的方法，其中，对于各次捕获操作，(a)每个所捕获图像的像素被数字处理以便利用这些像素以形成一最终全景或立体图像，而处理时间短于或等于所述捕获时间(T)，以及(b)在短于或等于该捕获时间(T)之时间间隔中产生最终全景或立体图像。
35.如权利要求32至34之任一项所述的方法，其中这些相继捕获操作是按一频率(F)所计时，此频率定义两次相继捕获操作之开始间的捕获时间(T)，并且是以与该图像捕获频率(F)相同的频率相继地产生这些最终全景或立体图像。
36.如权利要求32至35之任一项所述的方法，其中这些相继捕获操作是按一频率(F)所计时，此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
37.如权利要求32至36之任一项所述的方法，其中各个最终全景或立体图像在分隔两次相继图像捕获操作之开始的各个时间间隔(t)过程中相继地产生。
38.如权利要求37所述的方法，其中在分隔两次相继捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
39.如权利要求37所述的方法，其中在分隔两次相继捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
40.如权利要求32至39之任一项所述的方法，其中进行各个像素的数字处理，使得这些所捕获图像之像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
41.如权利要求32至40之任一项所述的方法，其中这些所捕获图像的多个像素中的每一个会被分配该最终全景或立体图像上的多个不同位置。
42.如权利要求32至41之任一项所述的方法，其中这些所捕获图像的多个像素中的每一个会使用不为零、且严格地小于100％的加权因子(W)被分配该最终全景或立体图像上的位置。
43.如权利要求32至42之任一项所述的方法，其中，利用至少两个不同的图像捕获设备(C1,C2)以捕获该场景的至少两个不同图像。
44.如权利要求32至42之任一项所述的方法，其中，利用至少三个图像捕获设备(C1,C2,C3)以捕获至少三个不同图像。
45.一种用于捕获与构造全景或立体图像流的装置，其特征在于该装置包括：一个或更多图像捕获设备(Ci)，使得能够按像素集格式捕获至少两个不同图像；以及电子处理装置(10)，使得能够利用这些图像捕获设备(Ci)按照像素格式执行场景的至少两个不同图像的多个相继捕获操作，这些图像重迭或不重迭，并且适于在捕获操作期间对所捕获图像的像素进行数字处理，以便形成一最终全景或立体图像并且生成全景或立体图像流，对各个捕获图像之各个像素的数字处理至少包含保留或抛弃该像素，并且在保留像素的情况下，使用对于该最终全景或立体图像上的各个位置的预定加权因子(W)为该像素分配该最终全景或立体图像上的一个或多个不同位置。
46.如权利要求45所述的方法，其中这些电子处理装置(10)利用该图像捕获设备以按这些相继捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继捕获操作之开始间的捕获时间(T)。
47.如权利要求46所述的装置，其中，对于各次捕获操作，这些电子处理装置(10)适于(a)对各个捕获图像的像素进行数字处理，以便利用所述像素使用短于或等于该捕获时间(T)的处理时间以形成一最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时段上产生一最终且先前形成的全景或立体图像。
48.如权利要求45至47之任一项所述的装置，其中这些电子处理装置(10)使得能够利用该图像捕获设备以按这些相继图像捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且适于以按与该捕获频率(F)相同的频率来产生这些最终全景或立体图像。
49.如权利要求45至48之任一项所述的装置，其中这些电子处理装置(10)使得能够利用所述图像捕获设备以按这些相继图像捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
50.如权利要求45至49之任一项所述的装置，其中这些电子处理装置(10)被设计为在分隔两次相继图像捕获操作之开始的每个时间间隔(t)过程中相继地产生各个最终全景或立体图像。
51.如权利要求50所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
52.如权利要求50所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
53.如权利要求45至52之任一项所述的装置，其中这些电子处理装置(10)被设计为对各个像素进行数字处理，使得来自这些所捕获图像之像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
54.如权利要求45至53之任一项所述的装置，其中这些电子处理装置(10)被设计为通过为来自这些所捕获图像的多个像素分配该最终全景或立体图像上的一个或多个不同位置来对来自这些所捕获图像的多个像素进行处理。
55.如权利要求45至54之任一项所述的装置，其中这些电子处理装置(10)被设计为被使用不为零、且严格地小于100％的加权因子(W)而为来自这些所捕获图像的多个像素中的每一个分配该最终全景或立体图像上的至少一个位置来处理来自这些所捕获图像的多个像素。
56.如权利要求45至55之任一项所述的装置，含有至少两个图像捕获设备(C1,C2)。
57.如权利要求45至55之任一项所述的装置，含有至少三个图像捕获设备(C1,C2,C3)。
58.如权利要求45至56之任一项所述的装置，其中这些图像捕获设备(Ci)中的每一个被设计为送出至少依照第一时钟信号(H_sensor)而同步化的像素流作为对于各个所捕获图像的输出，并且这些电子处理装置(10)适于以送出各个最终全景或立体图像作为按照至少一个第二时钟信号(H)而同步化的像素流。
59.如权利要求58所述的装置，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
60.如权利要求58所述的装置，其中该第二时钟信号(H)相较于第一时钟信号(H_sensor)为同步。
61.如权利要求45至60之任一项所述的装置，其中这些电子装置(10)包括预先储存的对应表，该表针对使用至少一个图像捕获设备(Ci)所捕获图像的每个像素对该像素在该最终全景或立体图像上的相对应位置进行编码；以及针对该像素在该最终全景或立体图像上的各个位置使用该像素在该最终全景或立体图像上的加权因子(W)进行编码。
62.如权利要求45至61之任一项所述的装置，其特征在于该装置为便携式。
63.一种用于捕获与构造场景的全景或立体图像流的方法，其中利用至少一个图像捕获设备(Ci)，按照像素格式对该场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，其中这些图像捕获设备(Ci)中的每一个使得能够按像素集格式捕获图像，并且送出至少依照第一时钟信号(H_sensor)而同步化的像素流作为对于各个所捕获图像的输出，并且其中各个所捕获图像的各个像素被数字处理，以便利用这些像素产生最终全景或立体图像作为按照至少第二时钟信号(H)而同步化的像素流。
64.如权利要求63所述的方法，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
65.如权利要求63所述的方法，其中该第二时钟信号(H)为同步于第一时钟信号(H_sensor)。
66.如权利要求63至65之任一项所述的方法，其中这些相继图像捕获操作是按一频率(F)所计时，此频率定义两次相继图像捕获操作之开始间的捕获时间(T)。
67.如权利要求66所述的方法，其中，对于各次捕获操作，(a)每个所捕获图像的像素经数字处理以便利用这些像素使用短于或等于该捕获时间(T)的处理时间以构造最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时间间隔的过程里产生最终全景或立体图像。
68.如权利要求63至67之任一项所述的方法，其中，各个所捕获图像之各个像素的数字处理至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。
69.如权利要求63至68之任一项所述的方法，其中这些相继图像捕获操作是按一频率(F)所进行，此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且是以与该图像捕获频率(F)相同的频率产生这些最终全景或立体图像。
70.如权利要求63至69之任一项所述的方法，其中这些相继图像捕获操作是按一频率(F)所进行，此频率定义两次图像捕获操作之开始间的捕获时间(T)，而且该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
71.如权利要求63至70之任一项所述的方法，其中各个最终全景或立体图像是在分隔两次相继图像捕获操作之开始的各个时间间隔(t)过程中相继地产生的。
72.如权利要求71所述的方法，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
73.如权利要求71所述的方法，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
74.如权利要求63至73之任一项所述的方法，其中进行各个像素的数字处理，使得该所捕获图像之像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
75.如权利要求63至74之任一项所述的方法，其中这些所捕获图像的多个像素中的每一个被分配该最终全景或立体图像上的多个不同位置。
76.如权利要求63至75之任一项所述的方法，其中这些所捕获图像的多个像素中的每一个被使用不为零、且严格地小于100％的加权因子(W)而被分配该最终全景或立体图像上的至少一个位置。
77.如权利要求63至76之任一项所述的方法，其中利用至少两个图像捕获设备(C1,C2)捕获场景的至少两个不同图像。
78.如权利要求63至76之任一项所述的方法，其中利用至少三个图像捕获设备(C1,C2,C3)捕获一场景的至少三个不同图像。
79.如权利要求63至78之任一项所述的方法，其中各个图像捕获设备(Ci)被设计为送出至少依照一第一时钟信号(H_sensor)而同步化的像素流作为对于各个所捕获图像的输出，并且各个全景或立体图像被送出作为按照至少一第二时钟信号(H)而同步化的像素流。
80.如权利要求79所述的方法，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
81.如权利要求79所述的方法，其中该第二时钟信号(H)为同步于该第一时钟信号(H_sensor)。
82.一种用于捕获与构造全景或立体图像流的装置，该装置包含：一个或更多图像捕获设备(Ci)，所述图像捕获设备(Ci)使得能够按照像素格式对场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭；以及电子处理装置(10)，使得能够利用这些所捕获图像构造全景或立体图像流，各个图像捕获设备适于送出至少依照一第一时钟信号(H_sensor)所同步化的像素流作为对于各个所捕获图像的输出，并且这些电子处理装置(10)被设计为对所捕获图像的各个像素进行数字处理，以便利用这些像素以产生最终全景或立体图像作为按照至少一个第二时钟信号(H)所同步化的像素流。
83.如权利要求82所述的装置，其中这些电子处理装置(10)使得能够利用该图像捕获设备以按这些相继捕获操作的频率(F)进行这些图像捕获操作，此频率定义两次相继捕获操作之开始间的捕获时间(T)。
84.如权利要求83所述的装置，其中，对于各次捕获操作，这些电子处理装置(10)适于(a)数字处理各个所捕获图像的像素以便利用这些像素使用短于或等于该捕获时间(T)的处理时间来形成最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时间间隔中产生先前形成的最终全景或立体图像。
85.如权利要求82至84之任一项所述的装置，其中，各个图像之各个像素的由这些电子处理装置(10)所进行的数字处理至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的多个不同位置。
86.如权利要求82至85之任一项所述的装置，其中这些电子处理装置(10)使得能够利用该图像捕获设备以按这些图像捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且适于以按与该捕获频率(F)相同的频率来相继地产生这些最终全景或立体图像。
87.如权利要求82至86之任一项所述的装置，其中这些电子处理装置(10)使得能够利用该图像捕获设备以按这些图像捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
88.如权利要求82至87之任一项所述的装置，其中这些电子处理装置(10)被设计为在分隔两次相继捕获操作之开始的时间间隔(t)过程中相继地产生各个最终全景或立体图像。
89.如权利要求88所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中的像素数字处理。
90.如权利要求88所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中的像素数字处理。
91.如权利要求82至90之任一项所述的装置，其中这些电子处理装置(10)被设计为对各个像素进行数字处理，使得来自这些所捕获图像之像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
92.如权利要求82至91之任一项所述的装置，其中这些电子处理装置(10)被设计为通过为这些所捕获图像的多个像素中的每个分配该最终全景或立体图像上的多个不同位置以对这些所捕获图像的多个像素进行处理。
93.如权利要求82至92之任一项所述的装置，其中这些电子处理装置(10)系被设计为通过利用不为零、且严格地小于100％的加权因子(W)，向来自这些所捕获图像的多个像素中的每一个分配该最终图像上的至少一个位置以对来自这些所捕获图像的多个像素进行处理。
94.如权利要求82至93之任一项所述的装置，含有至少两个图像捕获设备(C1,C2)。
95.如权利要求82至93之任一项所述的装置，含有至少三个图像捕获设备(C1,C2,C3)。
96.如权利要求82至95之任一项所述的装置，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
97.如权利要求82至95之任一项所述的装置，其中该第二时钟信号(H)相较于该第一时钟信号(H_sensor)为同步。
98.如权利要求82至97之任一项所述的装置，其中这些电子处理装置(10)含有包括预先储存的对应表，该表针对由至少一个图像捕获设备(Ci)所捕获图像的每个像素对该像素在该最终全景或立体图像上的相对应位置进行编码；以及针对该像素在该最终全景或立体图像上的各个位置使用该像素在该最终全景或立体图像上的加权因子(W)进行编码。
99.如权利要求82至98之任一项所述的装置，其中该装置为便携式。
100.一种用于捕获或构造场景的至少一个全景或立体图像的方法，其中利用至少一个图像捕获设备(Ci)以捕获该场景的至少两个不同图像，这些图像可为重迭或不重迭，各个图像捕获设备(Ci)使得能够对按照像素集格式的图像进行捕获，并且对于各个所捕获图像送出一像素流作为输出；其中各个所捕获图像的像素流经数字处理，以便利用这些像素形成至少一个最终全景或立体图像，并且对应于各个所捕获图像的像素流之各个像素的数字处理至少包含保留或抛弃该像素，而且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个位置。
101.如权利要求100所述的方法，允许捕获并构造场景的多个全景或立体图像流，其中利用至少一个图像捕获设备(Ci)按照像素格式对该场景之至少两个不同的图像进行多次相继捕获操作，这些图像为重迭或不重迭，并且其中这些相继图像捕获操作是依一频率(F)进行，此频率定义在两次相继捕获操作之开始间的捕获时间(T)。
102.如权利要求101所述的方法，其中，对于各次捕获操作，(a)使用短于或等于该捕获时间(T)的处理时间对所捕获图像像素进行数字处理，以便利用这些像素以形成最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时间间隔的过程里产生前次形成的最终全景或立体图像。
103.如权利要求100至102之任一项所述的方法，其中这些相继捕获操作是按一频率(F)所进行的，此频率定义两次相继捕获操作之开始间的捕获时间(T)，并且是以与该捕获频率(F)相同的频率产生这些相继的最终全景或立体图像。
104.如权利要求100至103之任一项所述的方法，其中这些相继捕获操作是按一频率(F)所进行的，此频率定义两次相继捕获操作之开始间的捕获时间(T)，而且该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
105.如权利要求100至104之任一项所述的方法，其中各个最终全景或立体图像是在分隔两次相继捕获操作之开始的各个时间间隔(t)过程中相继地产生的。
106.如权利要求105所述的方法，其中在分隔两次相继捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
107.如权利要求105所述的方法，其中在分隔两次相继捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
108.如权利要求100至107之任一项所述的方法，其中进行各个像素的数字处理，使得这些所捕获图像之像素的至少一部分在在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
109.如权利要求100至108之任一项所述的方法，其中这些所捕获图像的多个像素中的每一个会被分配该最终全景或立体图像上的多个不同位置。
110.如权利要求100至109之任一项所述的方法，其中这些所捕获图像的多个像素中的每一个使用不为零且严格地小于100％的加权因子(W)被分配该最终全景或立体图像上的至少一位置。
111.如权利要求100至110之任一项所述的方法，其中利用至少两个图像捕获设备(C1,C2)捕获场景的至少两个不同图像。
112.如权利要求100至110之任一项所述的方法，其中利用至少三个图像捕获设备(C1,C2,C3)以捕获场景的至少两个不同图像。
113.如权利要求100至112之任一项所述的方法，其中该图像捕获设备(Ci)被设计为送出至少依照一第一时钟信号(H_sensor)所同步化的像素流作为对于各个所捕获图像的输出，并且各个最终全景或立体图像被送出作为按照至少第二时钟信号(H)所同步化的像素流。
114.如权利要求113所述的方法，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
115.如权利要求113所述的方法，其中该第二时钟信号(H)为同步于该第一时钟信号(H_sensor)。
116.如权利要求100至115之任一项所述的方法，其中利用至少一个图像捕获设备对所捕获图像之像素的数字处理是参照预先储存的对应表所执行，该表针对用至少一个图像捕获设备所捕获的图像的每个像素来对该像素在该最终全景或立体图像上的相对应位置进行编码；以及针对该像素在该最终全景或立体图像上的各个位置使用该像素在该最终全景或立体图像上的加权因子(W)进行编码。
117.一种用于捕获与构造至少一个全景或立体图像的装置，其中至少包含：一个或更多个图像捕获设备(Ci)，使得能够捕获至少两个不同图像，这些图像为重迭或不重迭，各个图像传感器(Ci)适于送出对于各个所捕获图像的像素流；以及电子处理装置(10)，使得能够在图像捕获操作的过程中利用各个所捕获图像的像素流构造一全景或立体图像，这些电子处理装置(10)被设计为通过保留或抛弃像素来处理各个所捕获图像之像素流的各个像素，而且当保留该像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子(W)向该像素分配在该最终全景或立体图像上的一个或更多个不同位置。
118.如权利要求115所述的装置，允许捕获并构造全景或立体图像流，其中这些电子处理装置(10)使得能够利用一个或更多个这些图像捕获设备(Ci)按照像素格式对场景之至少两个不同的图像进行多次图像捕获操作，这些图像为重迭或不重迭，并且这是依这些相继图像捕获操作的频率(F)进行，而此频率定义在两次相继捕获操作之开始间的捕获时间(T)。
119.如权利要求118所述的装置，其中，对于各次捕获操作，这些电子处理装置(10)适于(a)数字处理各个所捕获图像的像素以便利用这些像素使用短于或等于该捕获时间(T)的处理时间以形成最终全景或立体图像，以及(b)在短于或等于该捕获时间(T)之时间间隔的过程里产生先前形成的最终全景或立体图像。
120.如权利要求117至119之任一项所述的装置，其中这些电子处理装置(10)使得能够利用该图像捕获设备按这些图像捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且适于按与该捕获频率(F)相同的频率来相继地产生这些最终全景或立体图像。
121.如权利要求117至120之任一项所述的装置，其中这些电子处理装置(10)使得能够利用该图像捕获设备按这些相继捕获操作的频率(F)进行这些相继图像捕获操作，而此频率定义两次相继图像捕获操作之开始间的捕获时间(T)，并且其中该捕获时间(T)为短于或等于1秒s，并且最好是短于或等于100ms。
122.如权利要求117至121之任一项所述的装置，其中这些电子处理装置(10)被设计为在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中相继地产生各个最终全景或立体图像。
123.如权利要求122所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在相同的时间间隔(t)过程中所进行的像素数字处理。
124.如权利要求122所述的装置，其中在分隔两次相继图像捕获操作之开始的时间间隔(t)过程中所产生的最终全景或立体图像源自在前一时间间隔(t)过程中所进行的像素数字处理。
125.如权利要求117至124之任一项所述的装置，其中这些电子处理装置(10)被设计为对各个像素进行数字处理，使得这些像素的至少一部分在经受与这些相同像素在所源自的图像捕获设备的图像上的二维投射不同的二维投射之后被映射到该最终全景或立体图像上。
126.如权利要求117至125之任一项所述的装置，其中这些电子处理装置(10)被设计为通过为来自这些所捕获图像的多个像素中的每一个分配该最终全景或立体图像上的一个或多个不同位置以对来自这些所捕获图像的多个像素进行处理。
127.如权利要求117至126之任一项所述的装置，其中这些电子处理装置(10)被设计为通过利用不为零、且严格地小于100％的加权因子(W)，向来自这些所捕获图像的多个像素中的每一个分配该最终图像上的至少一个位置以对来自这些所捕获图像的多个像素进行处理。
128.如权利要求117至127之任一项所述的装置，含有至少两个图像捕获设备(C1,C2)。
129.如权利要求117至127之任一项所述的装置，含有至少三个图像捕获设备(C1,C2,C3)。
130.如权利要求117至129之任一项所述的装置，其中这些图像捕获设备(Ci)中的每一个被设计为送出至少依照第一时钟信号(H_sensor)所同步化的像素流作为对于各个所捕获图像的输出，并且这些电子处理装置适于送出各个全景或立体图像作为按照至少第二时钟信号(H)所同步化的像素流。
131.如权利要求130所述的装置，其中该第二时钟信号(H)相较于各个第一时钟信号(H_sensor)为异步。
132.如权利要求130所述的装置，其中该第二时钟信号(H)相较于该第一时钟信号(H_sensor)为同步。
133.如权利要求117至132之任一项所述的装置，其中这些电子处理装置(10)含有预先储存的对应表，该表针对由至少一个图像捕获设备(Ci)所捕获图像的每个像素对该像素在该最终全景或立体图像上的相对应位置进行编码；以及针对该像素在该最终全景或立体图像上的各个位置使用该像素在该最终全景或立体图像上的加权因子(W)进行编码。
134.如权利要求117至133之任一项所述的装置，其特征在于该装置为便携式。
CN201380059682.7A 2012-11-15 2013-11-12 用于捕获与构造全景或立体图像流的方法与装置 Expired - Fee Related CN104782114B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1260880 2012-11-15
FR1260880A FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
PCT/FR2013/052707 WO2014076402A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques

Publications (2)

Publication Number Publication Date
CN104782114A true CN104782114A (zh) 2015-07-15
CN104782114B CN104782114B (zh) 2019-05-07

Family

ID=47754666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380059682.7A Expired - Fee Related CN104782114B (zh) 2012-11-15 2013-11-12 用于捕获与构造全景或立体图像流的方法与装置

Country Status (15)

Country Link
US (1) US20150288864A1 (zh)
EP (1) EP2920956A1 (zh)
JP (2) JP2016503618A (zh)
KR (1) KR20150084807A (zh)
CN (1) CN104782114B (zh)
AU (1) AU2013346603B2 (zh)
BR (1) BR112015010788A8 (zh)
CA (1) CA2889811A1 (zh)
FR (4) FR2998126B1 (zh)
HK (1) HK1212835A1 (zh)
IL (1) IL238622A0 (zh)
IN (1) IN2015DN03812A (zh)
MX (1) MX355297B (zh)
TW (2) TW201804432A (zh)
WO (1) WO2014076402A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
US10943340B2 (en) 2016-04-18 2021-03-09 Avago Technologies International Sales Pte. Limited Blending images
EP3249929A1 (en) 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
KR101925011B1 (ko) * 2017-03-14 2019-02-27 한국과학기술원 워터마크 삽입/검출 방법 및 장치
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
TWI642301B (zh) * 2017-11-07 2018-11-21 宏碁股份有限公司 影像處理方法與電子系統
US20220198605A1 (en) * 2019-03-10 2022-06-23 Google Llc 360 Degree Wide-Angle Camera With Baseball Stitch
KR102294071B1 (ko) * 2020-07-21 2021-08-26 금오공과대학교 산학협력단 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법
KR102555534B1 (ko) * 2021-06-28 2023-07-17 한국과학기술원 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US20040061787A1 (en) * 2002-09-30 2004-04-01 Zicheng Liu Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US20090201361A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic Camera With Multiple Image Sensors Using Timed Shutters
CN102088555A (zh) * 2009-12-03 2011-06-08 索尼公司 全景图像合成器、全景图像合成方法和程序
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及系统、移动终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4499319B2 (ja) * 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
JP2004159014A (ja) * 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
TWI269648B (en) * 2004-03-09 2007-01-01 Chuin-Mu Wang Method and system for examining fitness by photography
PL2562578T3 (pl) 2007-03-16 2017-12-29 Kollmorgen Corporation System do panoramicznego przetwarzania obrazu
CN201118859Y (zh) * 2007-07-27 2008-09-17 浙江大学 单体式实时全景无缝无失真视频摄像机
CN101119482B (zh) * 2007-09-28 2011-07-20 北京智安邦科技有限公司 一种全景监控方法及设备
WO2010001476A1 (ja) 2008-07-04 2010-01-07 清正工業株式会社 医療廃棄物処理装置
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム
TWI379245B (en) * 2009-04-27 2012-12-11 Asustek Comp Inc Method for continuously outputting character by video-recording
WO2011037964A1 (en) 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
FR2964757B1 (fr) 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130321573A1 (en) * 2012-05-30 2013-12-05 Texas Instruments Incorporated Identification and display of time coincident views in video imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US20040061787A1 (en) * 2002-09-30 2004-04-01 Zicheng Liu Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US20090201361A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic Camera With Multiple Image Sensors Using Timed Shutters
CN102088555A (zh) * 2009-12-03 2011-06-08 索尼公司 全景图像合成器、全景图像合成方法和程序
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及系统、移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICHARD SZELISKI: "Image Alignment and Stitching: A Tutorial", 《FOUNDATIONS AND TRENDS IN COMPUTER GRAPHICS AND VISION》 *

Also Published As

Publication number Publication date
AU2013346603B2 (en) 2017-09-07
FR3011968B1 (fr) 2016-05-06
FR3012001B1 (fr) 2016-05-06
FR3011968A1 (fr) 2015-04-17
MX355297B (es) 2018-04-12
IL238622A0 (en) 2015-06-30
TW201804432A (zh) 2018-02-01
KR20150084807A (ko) 2015-07-22
EP2920956A1 (fr) 2015-09-23
FR2998126B1 (fr) 2014-12-26
HK1212835A1 (zh) 2016-06-17
IN2015DN03812A (zh) 2015-10-02
CA2889811A1 (fr) 2014-05-22
JP2016503618A (ja) 2016-02-04
WO2014076402A1 (fr) 2014-05-22
FR2998126A1 (fr) 2014-05-16
TW201435792A (zh) 2014-09-16
AU2013346603A1 (en) 2015-05-14
JP2019041389A (ja) 2019-03-14
BR112015010788A2 (pt) 2017-07-11
FR3012001A1 (fr) 2015-04-17
TWI612495B (zh) 2018-01-21
FR3012000B1 (fr) 2016-05-06
BR112015010788A8 (pt) 2019-10-01
MX2015006121A (es) 2015-08-06
CN104782114B (zh) 2019-05-07
FR3012000A1 (fr) 2015-04-17
US20150288864A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
CN104782114A (zh) 用于捕获与构造全景或立体图像流的方法与装置
US11659282B2 (en) Image processing system and image processing method
CN107249096B (zh) 全景摄像机及其拍摄方法
US10819971B2 (en) Mapping of spherical image data into rectangular faces for transport and decoding across networks
JP5353393B2 (ja) 画像処理装置及び画像処理方法等
US8384803B2 (en) Camera system and method for amalgamating images to create an omni-focused image
CN101689292B (zh) Banana多媒体数字信号编解码器
CN101188774B (zh) 图像处理设备和图像处理方法
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN107911682B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN102308590A (zh) 三维图像输出装置和三维图像输出方法
JP2014056466A (ja) 画像処理装置及び方法
KR20090088325A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
JP2008172342A (ja) 立体画像記録装置および立体画像記録方法
CN102081796A (zh) 图像拼接方法和装置
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
CN112488918A (zh) 基于rgb-d图像和多相机系统的图像插值方法及装置
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置
CN106131498B (zh) 全景视频拼接方法及装置
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
CN112581365A (zh) 一种跨尺度自适应信息映射成像方法及装置、介质
TWI382267B (zh) 自動景深捕捉系統及自動景深捕捉方法
CN111754398A (zh) 利用图像拼接技术生成虚拟现实图像的方法和装置
CN115811608A (zh) 一种图像传感器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1212835

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190507

CF01 Termination of patent right due to non-payment of annual fee