CN103168315B - 手持式设备上的立体(3d)全景图创建 - Google Patents

手持式设备上的立体(3d)全景图创建 Download PDF

Info

Publication number
CN103168315B
CN103168315B CN201180051076.1A CN201180051076A CN103168315B CN 103168315 B CN103168315 B CN 103168315B CN 201180051076 A CN201180051076 A CN 201180051076A CN 103168315 B CN103168315 B CN 103168315B
Authority
CN
China
Prior art keywords
picture
image
frame
group photo
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180051076.1A
Other languages
English (en)
Other versions
CN103168315A (zh
Inventor
I·巴科维斯奇
P·比乔伊
G·苏珊
P·斯特克
L·默里
A·德里姆巴里安
P·科科伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
DigitalOptics Corp Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalOptics Corp Europe Ltd filed Critical DigitalOptics Corp Europe Ltd
Publication of CN103168315A publication Critical patent/CN103168315A/zh
Application granted granted Critical
Publication of CN103168315B publication Critical patent/CN103168315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种产生立体全景图像的技术，包括使便携式照相机设备进行摇摄以及采集多个图像帧。采集景象部分的多个至少部分重叠图像帧。该方法涉及配准图像帧，包括确定成像设备在图像帧的采集之间的位移。产生多个全景图像，包括根据空间关系接合景象的图像帧，以及确定多个全景图像之间的立体对应部分关系。基于立体对应部分关系处理多个全景图像，以形成立体全景图像。

Description

手持式设备上的立体(3D)全景图创建
优先权
本申请要求于2010年9月9日提交的美国专利申请序列号12/879,003的优先权。
技术领域
本发明涉及使用便携式和/或手持式照相机、数码相机、诸如照相机电话或其他手持式设备的其他支持照相机的设备以及具有图像采集能力的基于处理器的便携式设备的立体(3D)全景成像。
背景技术
全景照片是具有非同寻常的大视场、夸大的纵横比或二者的照片。例如，水平全景照片的宽度远大于其高度，且具有相对于其垂直视角而言大的水平视角。垂直全景照片的高度可以远大于其宽度，且具有相对于水平视角而言大的垂直视角。有时也被简单称为“全景图”的全景照片或全景图像可以提供独特且有时惊人的景象视图。
全景成像涉及采集扩展的水平景象图像的序列，且将这些图像组合成单个扩展图像。这使得能够使用具有有限视场(field-of-view)的普通光学系统的标准照相机捕获“全景的”、典型地是室外景象。
备选方法是使用已知为具有高达170’的增强视场的鱼眼的专用光学镜头捕获景象。这种专用透镜需要对透镜元件的昂贵制造和精确机械加工。在数码相机中实施全景成像方法支持以小成本实现类似的结果。历史上，一直使用专门制备的照相机获得全景照片。一种全景照相机在移动胶卷经过透镜后面的狭窄曝光狭缝的同时，使用旋转透镜和本体跨过大视场进行掠扫。在较早的商业模型之后，这种旋转照相机(有时称为“Cirkut型”照相机)可以拍摄360度或更大视场的照片。移动镜头照相机以类似原理操作，但是相对于静止本体和胶卷旋转其透镜和曝光狭缝。移动镜头照相机可以拍摄具有略微小于180度的视场的照片。
形成全景照片的另一方法可以涉及拍摄若干重叠的标准或常规照片(每个典型地具有约3:2的纵横比或其他小于全景照片中所需纵横比的值)并将它们一起接合成单个较大照片。该接合典型地使用针对组成部分照片(例如使用数码相机拍摄的照片)的数字表示的计算机操作来完成。将数字图像组合成较大照片的处理被称为“缝合”或“拼接”。原则上，可以缝合任意数目的组成部分图像，且所得的全景画可以覆盖高达360度或更大的视场。
缝合可能在计算方面是敏感的。例如，执行图像缝合的软件可以在缝合组成部分图像之前，校正可能在组成部分图像中存在的失真，诸如镜头失真和透视失真。另外，找到组成部分图像之间的正确对准和颜色或色调平衡可能涉及反映图像片段之间对准的“良好度”的相关系数的多次计算。诸如视角变化或镜头渐晕之类的效果所导致的色调变化可以被校正或以其他方式调节。执行缝合所需的时间随着组成部分图像的尺寸或分辨率增加而急剧增加。
一些现代数码相机提供一种模式，该模式帮助照相机的用户拍摄组成部分照片的集合以用于稍后缝合成全景照片。例如，全景模式可以使用照相机上的显示屏幕来帮助用户设计每个组成部分照片，以用于与集合中原先的照片进行适当重叠，且可以确保针对集合中所有组成部分照片的一致曝光设置。
数码相机的至少一个现有模型可以针对低分辨率“屏幕略图(screennail)”图像的集合执行缝合，从而使得摄影者可以检测诸如组成部分图像中的不足重叠之类的某些问题。“屏幕略图”可以包括类似于“缩略图”图像的数字图像的小低分辨率副本，且尺寸被调整以符合照相机上的显示。典型的屏幕图钉图像例如可以具有约320×240个像素。该能力在美国专利申请20060182437(Hewlett-Packard)中描述。
然而，原先的数码相机并未实时地执行高分辨率或全分辨率图像的缝合，因为在数码相机中使用的相对简单的处理器不能足以快速地执行计算敏感的缝合算法以提供满意的用户体验。原先，希望将高分辨率组成部分图像缝合成全景图的照相机用户必须将组成部分图像上载到外部计算机，并且使用计算机上执行的软件来执行缝合。该现有方法涉及使用计算机(可能包括在计算机上安装附加软件)，并且使用户不能立即打印或共享全景图。
最近，描述了很多在数码相机或诸如照相机手机或智能手机的手持式成像设备上直接创建全景图像的技术。
作为示例，Sorek等人的US20090022422(Hewlett-Packard)描述了一种方法，该方法基于帧的内容组合至少第一和第二图像帧，并且基于预定对准在变换域中组合这些帧以形成合成图像。该方法采用每个图像中感兴趣的公共特征并且使用这些特征来确定两个图像之间的水平和垂直对准。图像的组合可以部分地在执行剩余偏移的图像域中且部分地在可以执行块偏移的变换域中执行。
在Linder等人的US20090021576(三星)(也见US20090022422)中描述了在照相机或照相机手机内产生全景图像的另一方法。该方法使用视频流作为构建全景图像的基础，该视频流可以在很多现有技术照相机中采集。它首先采集多个视频帧，接着是从图像/视频序列选择初始帧。该方法还允许采集附加静态图像以补充原始视频流。附加视频和静态图像可以与原始图像缝合且重叠对准，和/或可以使用运动检测增强缝合处理。该方法看上去依赖于引导照相机或照相机手机的用户来移动设备以采集附加图像。注意该美国公布的专利申请还包括对相关文献的非常详细的回顾。
在US20060268130中描述另一方法，该US20060268130描述了如下方法，其用于在同时处理较高分辨率图像的相应序列的同时，从景象的相对低分辨率图像序列“实时”产生全景图像、显示全景图像以供用户批准，从而使得一旦用户承认了低分辨率版本，可以获得高分辨率全景图像以进行存储。注意该技术与US20090021576的相似之处在于它使得用户能够在用户控制下实现用户修改和/或重新捕获或添加图像。两个申请均给出了用户界面的重要细节。
现有技术成像设备当前能够捕获帧速率为60pfs的720p或更高的HD视频以及尺寸为3000×2000像素的静态图像。这种较大图像以及涉及对准图像以防止难看的“接缝”出现在全景图中的增加精确度的处理需求对于全景图像创建提出了新的挑战，尤其在它希望无需用户干涉的情况下、“实时”地可靠创建可接受的图像时。在手持式设备上创建立体(3D)全景图像的希望也提出了新挑战。
发明内容
在本发明中提供了产生立体全景图像的技术方案，以便解决或者至少部分上缓解现有技术中的缺陷。
根据本公开的一个方面，提供了一种用于产生立体全景图像的方法。该方法包括：在便携式成像设备跨过景象进行摇摄之时，自动采集所述景象的部分的多个图像帧，其中所述多个图像帧至少部分重叠；其中所述多个图像帧使用所述便携式成像设备的光学成像传感器而被自动采集；从所述多个图像帧的第一子集中提取第一组图像片；根据所述第一组图像片构造第一全景图像；其中所述第一组图像片中的每个图像片与所述第一组图像片中的每个其他图像片来自不同的帧；从所述多个图像帧的第二子集中提取第二组图像片；根据所述第二组图像片构造第二全景图像；其中所述第二组图像片中的每个图像片与所述第二组图像片中的每个其他图像片来自不同的帧；其中所述第一子集和所述第二子集是不同的且不具有共同的图像帧；其中所述第一组图像片中的每个图像片具有在所述第二组图像片中的相对应的移位图像片；其中所述第一组图像片中的每个图像片与在所述第二组图像片中的相对应的移位图像片之间的位移是恒定的；使用所述第一全景图像和所述第二全景图像形成立体全景图像；以及执行存储所述立体全景图像、传送所述立体全景图像和显示所述立体全景图像其中一个或多个。
根据本发明的另一方面，还提供了一种使用便携式成像设备产生全景图像的设备。该设备包括：用于在便携式成像设备跨过景象进行摇摄之时，自动采集所述景象的部分的多个图像帧的装置，其中所述多个图像帧至少部分重叠；其中所述多个图像帧使用所述便携式成像设备的光学成像传感器而被自动采集；用于从所述多个图像帧的第一子集中提取第一组图像片的装置；用于根据所述第一组图像片构造第一全景图像的装置；其中所述第一组图像片中的每个图像片与所述第一组图像片中的每个其他图像片来自不同的帧；用于从所述多个图像帧的第二子集中提取第二组图像片的装置；用于根据所述第二组图像片构造第二全景图像的装置；其中所述第二组图像片中的每个图像片与所述第二组图像片中的每个其他图像片来自不同的帧；其中所述第一子集和所述第二子集是不同的且不具有共同的图像帧；其中所述第一组图像片中的每个图像片具有在所述第二组图像片中的相对应的移位图像片；其中所述第一组图像片中的每个图像片与在所述第二组图像片中的相对应的移位图像片之间的位移是恒定的；用于使用所述第一全景图像和所述第二全景图像形成立体全景图像的装置；以及用于执行存储所述立体全景图像、传送所述立体全景图像和显示所述立体全景图像其中一个或多个的装置。
附图说明
图1说明根据某些实施例的数字成像设备的特征，该数字成像设备被配置成从主图像采集和处理链产生全分辨率主图像和经过子采样或经过尺寸调整的图像。
图2示出用于两个图像帧的水平图像廓图(profile)的示例图示，包括针对两个图像帧中的每一个绘制用于每一行的列的求和，其中示出的图示基本是重叠的。
图3示出在沿着图2的廓图计算差异之后的这些廓图的示例图示，其中同样示出的图示基本是重叠的。
图4示出说明图2和3的两个图像帧之间的运动估算的图示。
图5示出像素偏移与从视频或序列图像帧测量的水平照相机移动的帧数目之间的关系的图示。
图6示出像素偏移与从视频或序列图像帧测量的垂直照相机移动的帧数目之间的关系的图示。
图7A说明从在帧之间基本水平且稍微垂直移动的照相机而获得的顺序图像缝合在一起的三个图像，其中三个图像中的每一个稍微水平且基本垂直地与一个或两个相邻图像重叠。
图7B说明通过在垂直方向中剪裁图7A的缝合在一起的三个图像中的两个或更多而产生的全景图像。
图8是说明根据某些实施例将参考廓图与偏移廓图的插值进行比较的图示。
图9是说明根据某些实施例相对于子像素偏移的廓图之间的误差变化的图示。
图10说明根据某些实施例作为处理的一部分在重叠区域上彼此相向传播的两个轮廓(contour)的演进。
图11示出根据某些实施例从两个图像产生且通过处理混合的全景图像。
图12说明图11示出的全景图像的产生中使用的混合遮罩(mask)。
图13说明根据某些实施例的图像混合处理。
图14A-14B说明通过在图像捕获之间使得数码相机移位几个厘米捕获两个图像，所述图像捕获可以用于产生三维组成部分图像且与另外的三维组成部分图像组合以产生立体全景图像。
图15说明来自全景掠扫序列的图像帧，其示出图14A-14B的数码相机的相对水平空间位移，其中图像对被合并以形成立体全景图像。
图16A-16B说明在全景掠扫半径和将被合并以形成立体全景图像的图像对的捕获之间数码相机位移的远远更短的距离之间的关系。
图17说明使用来自各个关键帧的左和右剪裁产生立体(3D)全景图像的技术。
具体实施方式
提供用于产生立体(3D)全景图像的方法。将曝光水平固定以用于使用便携式成像设备采集图像的全景掠扫序列。成像设备对景象进行摇摄(panning)。使用便携式成像设备的光学和成像传感器，采集景象部分的多个至少部分重叠的图像帧。对图像帧进行配准，包括确定在图像帧的采集之间成像设备的位移。产生多个全景图像，包括根据空间关系接合景象的图像帧以及确定多个全景图像之间的立体对应部分关系。基于立体对应部分关系处理多个全景图像以形成立体全景图像。立体全景图像被存储、传送和/或显示。
位移的确定可以涉及测量位移。位移可以包括在一个、两个或三个维度(包括正交于深度维度的一个或两个维度以及深度维度本身)中的位移。
立体对应部分关系的确定可以涉及使得具有第一预定范围(配置成提供选择的立体效果)内的相对位移的图像帧成对；组合成对的图像帧，以形成组成部分立体图像；以及保留在第二预定范围内与相邻成对图像帧重叠的成对图像帧。第一预定范围可以是5-7.5cm。
部分重叠可以介于10％至50％的重叠之间。该方法还包括将成对图像帧的接合与下一图像帧的采集或产生或二者交错。第一预定范围可以被限制为15％或小于成像设备的摇摄半径。
根据某些实施例，在数字成像设备跨过全景景象的单次掠扫期间，捕获多个重叠图像的单个集合。在这种掠扫期间，确定这些多个图像中的每一个之间的帧至帧像素位移。这些可能涉及通过预定校准的照相机的实际物理位移；在一些实施例中，照相机可以合入运动检测子系统，该运动检测子系统可以用作用于测量帧至帧像素位移的备选。来自这种掠扫的初始图像可以用作关键帧或基础图像。
可以通过将附加图像接合到该基础图像来创建掠扫景象的第一全景图像。然后，确定从第一关键帧图像具有相对物理位移的第二关键帧图像。在一个实施例中，位移可以处于5-7.5cm的范围内，这是人眼之间的距离的量级，不过其他距离也足以提供立体效果。下面参考图14A-17描述涉及不同位移距离的实施例。
可以从相对帧至帧像素位移，或如果它并入了运动感测子系统则通过确定照相机相对运动，或通过其某种组合，来确定相对物理位移。也可以确定和记录该第二基础图像相对于第一基础图像的垂直像素位移。这是需要的，以便在手持式设备中垂直对准第二全景图像和第一全景图像。可以创建相同掠扫景象的第二位移的全景图像。两个全景图像垂直对准且被剪裁以消除非重叠区域。它们然后可以转换成标准立体图像格式，且可以可选地被压缩。所得的立体全景图像被存储、传送和/或显示。
此处提供了使用便携式成像设备采集全景图像的其他方法。在一个方法中，固定曝光水平，以便使用便携式成像设备采集全景图像。成像设备跨过全景景象进行摇摄。对全景景象的重叠部分的至少两个相对低分辨率图像帧进行采集和处理。处理包括对相对低分辨率图像帧的集合进行分类和保留。确定相对低分辨率图像帧的集合中的每个图像之间的相对位移。还确定相对低分辨率图像帧的每对图像之间的近似最佳缝合线。该方法还包括采集且存储对应于相对低分辨率图帧的集合的主图像帧的集合。基于相对低分辨率图像的集合的相应图像的相对位移，对主图像帧进行配准或对准或二者。针对低分辨率图像对确定的一个或多个近似最佳缝合线被映射到被接合以形成主全景图像的配准和/或对准的一个或多个相应主图像帧对。
近似最佳缝合线的确定可以包括确定在近似最佳缝合线附近的alpha混合图。近似最佳缝合线到高分辨率图像的映射还可以包括对混合图进行映射，其中高分辨率图像的接合包括基于alpha混合图的映射混合图像。接合可以包括混合主图像帧的集合，包括将用于一系列相对低分辨率图像帧映射到主系列图像帧的alpha混合图。
被接合以形成全景图像的组成部分图像帧中的一个或多个可以被剪裁。可以采集景象的组成部分的两个、三个或更多低分辨率图像帧的集合。当连续图像之间的水平重叠落在预定范围之外时，可以告知用户和/或丢弃图像。
该方法还包括针对相对低分辨率图像执行子像素图像配准以防止相对低分辨率序列到主序列的alpha混合图的映射中的像素偏移。主序列的数字图像对的接合可以与相对低分辨率图像的子像素配准交错和/或与相对低分辨率图像的相应对的采集和/或产生和/或接合交错。
使用便携式成像设备产生全景图像的另一方法包括固定针对使用便携式成像设备采集全景图像的曝光水平以及使成像设备跨过全景景象进行摇摄。使用便携式成像设备的光学装置和成像传感器，采集和处理所述全景图像的重叠部分的至少两个图像帧的集合。处理包括分类以及保留包括一个或多个重叠图像帧对的图像帧的集合。确定重叠图像帧集合中的每一个之间的相对距离，包括确定用于每个图像对的重叠区域。基于相对位移来对集合的图像进行配准和/或对准。针对每对重叠图像帧确定alpha混合图和/或最佳缝合线。一对或多个对图像帧被接合以形成被存储、传送和/或显示的全景图像。
相对位移的确定可以包括确定重叠图像帧的集合的图像对之间的相对水平位移。图像列中的像素值可以跨过第一和第二图像中的每一个进行求和，以确定用于每个图像的水平图像廓图。可以确定跨过图像中每一个的列差异廓图。可以根据图像列差异廓图确定图像对之间的相对误差函数。相对误差函数的最小值指示图像对之间的水平位移的像素列的相对数目。
相对位移的确定还可以包括确定重叠图像帧的集合的图像对之间的相对垂直位移。图像行中的像素值可以跨过第一图像和第二图像中的每一个进行求和，以确定用于每个图像的垂直图像廓图。可以确定跨过图像中的每一个的行差异廓图。可以根据图像行差异廓图，确定图像对之间的相对误差函数。相对误差函数的最小值指示图像对之间的垂直位移的像素行的相对数目。
在计算图像对之间的相对误差函数之前，可以将平滑函数应用于每个图像的列和/或行差异廓图。
使用alpha混合图或最佳缝合线或二者执行接合。
接合可以基于确定近似最佳缝合线和alpha混合图。近似最佳缝合线可以包括图像对的重叠像素之间约50％的混合比，且该图可以从近似最佳缝合线附近的图像对中，提供用于重叠像素的混合比。
该方法还可以包括使图像帧对的接合与下一图像帧的采集和/或产生交错。全景图像也可以被剪裁成均匀的垂直高度。
提供使用包括光学装置、图像传感器和处理器的便携式成像设备产生全景图像的超分辨率方法。针对使用便携式成像设备获取全景图像，曝光水平是固定的。成像设备摇摄全景景象。采集或处理图像的两个或更多集合，每个集合包括全景景象的部分的至少两个图像帧。该方法包括分类且保留两个或更多集合的多个图像。确定图像帧的两个或更多集合中的每一个内的每个相邻帧对之间的相对位移。该方法还包括彼此在图像集合中的每一个内配准的图像。所述两个或更多集合中的每一个被接合以形成两个或更多基本重叠的全景图像。这些图像被组合以形成基本相同景象的较高分辨率图像，该较高分辨率全景图像被存储、传送和/或显示。
两个或更多基本重叠全景图像的组合可以包括应用超分辨率技术。较高分辨率图像的剪裁可以包括从一个或多个组成部分全景图像中移除一个或多个非重叠区域。
该方法还可以包括确定在图像帧的两个或更多集合中每一个的第一或其他相应获取帧之间的相对位移。可以对从两个或更多集合中的每一个的图像得出的组合全景图像进行配准。
该方法可以包括使得图像帧对的接合与下一图像帧的采集和/或产生交错。
提供产生全景图像的另一方法，该方法包括使得被配置成用于采集数字图像的基于处理器的设备跨过景象进行摇摄。在摇摄期间，使用该设备采集多个主序列图像。多个图像中的每一个包括全景景象的不同角度范围。同样，在摇摄期间，采集对应于多个主序列图像的相对低分辨率图像，和/或对主序列图像进行子采样，以产生相对低分辨率图像。相对低分辨率图像被接合，以形成将被显示的低分辨率全景图。基于相对低分辨率图像的接合在设备上实时合成多个主序列图像，以形成主序列全景图像。
接合可以包括缝合和/或匹配曝光、颜色平衡或亮度或其组合；对准和/或配准图像的边缘区域以及混合匹配的对准图像。混合可以包括模糊在全景图像的相邻组成部分图像之间产生的接缝线。
针对使用便携式成像设备采集全景图像，可以固定曝光水平。接合可以包括对准和/或配准图像的边缘区域以及混合匹配的对准图像。混合可以包括模糊在全景图像的相邻组成部分图像之间产生的接缝线。
合成可以包括估算摇摄的全局运动以及确定全局运动是否足够。
合成可以包括估算相对景象位移且确定相对景象位移是否足够。该方法包括在确定相对景象位移不足时，告知用户、丢弃图像中的一个或多个个、和/或中断该方法。当帧至帧重叠包括介于10％至40％或介于20％至30％的范围时，可以确定相对景象位移充足，或者如果帧至帧重叠处于诸如10-40％、20-30％的预定范围之外，则确定相对景象位移不足。估算相对位移可以包括用于多个图像对的多维运动估算。
该方法可以在使用或不使用用户干涉以及使用或不使用设备运动测量的条件下执行。全景图像可以在存储之前被压缩。
相对低分辨率图像的接合可以包括产生alpha混合图，且alpha混合图可以用在主序列图像的接合中。
提供用于产生全景图像的另一方法。该方法涉及使用基于处理器的图像采集设备，该设备被配置成用于采集全景景象的主序列数字图象，且产生和/或采集对应于主序列的相对低分辨率图像的序列。该设备摇摄全景景象。在摇摄期间，使用设备来采集数字图像的主序列。数字图像的主序列中的每一个包括不同角度范围的全景景象。基本对应于与主序列的数字图像基本相同的全景景象的相对低分辨率图像的序列被采集和/或产生。相对低分辨率图像的序列的图像被接合以形成相对低分辨率全景图像。产生相对低分辨率图像的序列的接合图。数字图像的主序列基于该图接合以形成主全景图像，该主全景图像被显示、存储、进一步处理和/或传送。
该方法还包括在摇摄期间估算相对景象位移。全景景象的部分可以在摇摄期间，至少部分地基于相对景象位移的估算来选择性地捕获。该方法可以包括在确定相对景象位移不足(例如，当确定帧至帧重叠处于10％和40％或20％至30％之间的范围或其他设置或选择范围之外)时，告知用户、丢弃图像中的一个或多个、和/或中断该方法。
估算相对景象位移可以涉及针对多个图像对的多维位移估算。可以基于相对景象位移的估算确定序列中连续图像之间的水平(长全景图像维度)和垂直偏移。如果序列的图像小于来自序列的原先图像的阈值水平偏移，它可以被丢弃。当设备的摇摄不超过阈值运动时，可以告知用户。当垂直偏移超过使用系列的另一图像的阈值偏移时，可以告知用户和/或可以丢弃序列的图像。
主序列和相对低分辨率图像的接合可以包括缝合。缝合可以涉及对准和/或配准图像的边缘区域，以及混合匹配的对准图像。针对使用便携式成像设备获取全景图像，曝光水平可能是第一位的，和/或接合可以涉及匹配曝光、颜色平衡和/或亮度。混合可以包括模糊在全景图像的相邻组成部分图像之间产生的接缝线。
该图可以包括alpha混合图，该alpha混合图包括从相对低分辨率图像的接合确定的近似最佳缝合接缝的信息。主序列的接合可以包括用于低分辨率序列到主序列的alpha混合图的映射。该方法可以涉及相对低分辨率图像的子像素图像配准，以防止在低分辨率序列到主序列的alpha混合图的映射期间出现像素偏移。相对低分辨率图像序列和/或主序列的接合可以部分地基于相对景象位移的估算。
还提供了能够在照相机内产生全景图像的支持便携式照相机的设备，该设备包括镜头、图像传感器、处理器和其中具有嵌入的代码的处理器可读介质，所述代码用于对处理器进行编程以执行此处描述的全景图像产生方法中的任意一个。
还提供了其中具有嵌入的代码的处理器可读存储介质，所述代码用于对处理器进行编程以执行此处描述的全景图像产生方法其中任意一个。
提出在能够捕获HD视频或高分辨率静态图像的数字成像设备内产生高分辨率全景图像的方法。该方法无需用户干涉或无需成像设备的运动的外部检测的条件下执行。而且，“实时地”且考虑这种设备上有限的存储器资源(一般一次可以存储少量高分辨率视频帧或静态图像)的情况下，来执行所述方法。
该方法涉及用户以自然速度使设备跨过希望捕获全景图像的景象进行摇摄。当用户摇摄场景时，该设备以它捕获正常视频序列时相同的方式来显示景象。
该方法涉及比主高分辨率视频或静止图像更低分辨率的图像序列的捕获或产生。支持照相机的设备可以合并产生“预览流”、低分辨率图像序列的硬件，其典型地用于提供由成像传感器捕获的数据的实时显示。当这种预览流不可用时，设备仍可以具有“图像子采样单元”，该单元可以几乎立即产生全图像或视频帧的较低分辨率版本。
图1说明配置成捕获全分辨率主图像且从主图像采集和处理链产生子采样(经过尺寸调节)图像的数字成像设备。传感器102捕获全分辨率图像，且图像数据被应用于传感器处理104和成像管道106。图像子采样器108例如通过仅选择全分辨率图像数据中整体像素的一部分1/n或以其他方式提供子采样图像，从全分辨率图像数据产生子采样图像，例如其中子采样图像的每个像素表示高分辨率图像中的n个像素。在110，高分辨率图像可以是压缩的JPEG。压缩的全尺寸图像111可以与子采样图像114一起存储在存储器112中，该存储器112可以是临时图像存储器112。通过接合子采样图像114中的两个或更多个，低分辨率全景图像116可以被产生，且临时存储在图像存储112中。低分辨率全景图像116可以被显示或不被显示。图像后处理器118基于在低分辨率全景图像116的产生中收集的信息，产生高分辨率图像120，由此有利地节省计算资源。高分辨率全景图像120可以与全尺寸图像111一起存储在诸如SD卡或等同物之类的图像存储122中。
可以根据另一实施如下处理低分辨率图像(或低分辨率图像)。首先，可以获得初始低分辨率图像或视频帧，且将其用作第一参考帧。相应的高分辨率图像被存储。接下来，在某些实施例中获得附加的低分辨率图像，且诸如在美国公布的专利申请2008/0309769中所描述，可以在参考帧和每个附加图像帧之间应用全局运动估算的可选方法，以确定其水平和垂直偏移。如果水平偏移小于预定范围，则可以与相应高分辨率图像将一起低分辨率帧丢弃。在某些实施例(例如静态照相机)中，相应高分辨率图像的采集可能仍未完成。在这种情况中，高分辨率图像捕获可以简单地被丢弃且可以启动新的采集。
当在某一时帧内没有实现足够的水平运动时，处理可以暂停和/或可以显示错误消息，诸如“用户未使照相机摇摄”。备选地，警告哔哔声可以向用户指示更快速摇摄。在垂直偏移超过预定阈值时，可以提供错误指示以警告用户他们正在“漂移”。在某些实施例中，在用户在全景处理中以合理速度使设备跨过景象摇摄时，不涉及用户方向。
一旦已经实现了预定水平偏移，例如，在一个实施例中，帧至帧重叠例如可以设置在10-30％和20-40％之间或20％和30％之间，则保留该帧且存储相应的高分辨率图像。该保留帧变成下一参考帧，且重复该处理。
在基于用户选择、预定限制或由于设备存储器的限制确定足够数目的重叠帧之后，暂停采集处理。接下来，使用尤其对于低分辨率嵌入设备有效的方法来“接合”低分辨率图像。所得的低分辨率图像然后被剪裁，且可选地可以被显示以供用户接受。
在形成低分辨率全景图的低分辨率图像接合处理结束时，可以创建用于全景图中低分辨率或参考图像帧的相邻对之间的重叠区域接合的alpha混合图。该相同图然后可以有利地用于接合相应的高分辨率图像，以创建高分辨率全景图。该alpha混合图的使用意味着接合算法不必针对高分辨率图像进行重复(这将是资源敏感的)，因为已经从低分辨率图像的接合有利地确定了每个图像对之间的“最佳接缝”。
在某些实施例中还提供针对低分辨率图像执行子像素图像配准的方法，以确保当从低分辨率向高分辨率图像对映射alpha混合图时不发生像素偏移。该高分辨率全景图像然后被压缩成JPEG且被存储。
在某些实施例中，低分辨率对的接合与新低分辨率图像帧的采集交错。在其他实施例中，当在图像采集链内提供足够的硬件支持时，高分辨率图像部分的接合和JPEG压缩可以与低分辨率图像的获取、配准和接合交错。
图像缝合
根据某些实施例中，当应用于全景图像的产生时，图像缝合可以涉及以下步骤中的任意一个或全部：
1.图像校准，包括透视校正、渐晕校正和/或色差校正，其中可以在该可选阶段处理图像以改善结果。
2.图像配准，包括用于平移、旋转和/或焦距的分析，其中可以使用直接的或基于特征的图像对准方法。直接对准方法可以搜索最小化重叠像素之间的绝对差异的求和的图像取向。基于特征的方法通过识别在多个图像中出现的特征且重叠它们来确定适当的图像取向。
3.图像混合或以其他方式组合分段可以涉及以下任意一个或全部：颜色校正，包括针对颜色、对比度和/或亮度匹配组成部分图像的接合区域，以避免接缝的可见性；动态范围扩展；和/或运动补偿、去重影和/或去模糊，以补偿移动对象。
根据某些实施例的技术不涉及步骤1，而是在采集将被处理成全景图像的图像序列之前固定照相机曝光。另外，在某些实施例中，图像配准可以涉及基于图像行和图像列的全局图像分析，来确定图像的相对位移，而不是基于可能涉及针对每个相邻图像的像素进行计算的本地化逐个像素分析。
在步骤3中，在涉及在单个操作中确定alpha混合图和/或图像接缝的实施例中，可以消除局部对比度和/或亮度水平的颜色校正和/或分析。
有利地，根据某些实施例的技术可以在无需常规图像缝合算法中使用的某些标准步骤的条件下执行，和/或同时简化某些步骤，以提供尤其适于可以具有相对低的系统存储器和/或计算资源的嵌入式技术系统中实施的方法。这样，根据某些实施例的“缝合”技术可以被称为“接合”，因为它与常规缝合算法极大地不同。
自动全景成像
为了创建需要很少用户输入或无需用户输入的自动全景图像，根据某些实施例可以采用以下步骤。首先，为了确保可以组合所有采集的图像而无需明显的帧间颜色或色调调节，在采集需要处理的图像的主集合之前，针对成像设备固定曝光水平。该水平可以简单地固定在适于采集全景序列的初始帧的水平。在其他实施例中，可以允许用户手动增加或减小曝光水平。在备选实施例中，可以提示用户执行全局景象的预扫描，使得可以确定整个景象上的平均曝光水平。该“预扫描”可以涉及在主采集掠扫之前跨过全景景象掠扫照相机手机。
根据某些实施例，全景图创建的第二阶段涉及用户使设备以自然速度跨过希望捕获全景图像的景象进行掠扫或摇摄。该设备可以可选地在用户掠扫景象时以与捕获正常水平序列或组合静态图像时相同的方式实时地显示景象。在掠扫或摇摄的结束时，采集处理可以以很多方式其中任意一种终止：通过检测(i)在随后的图像帧(用户保持照相机在固定位置)之间没有变化(或低于阈值的变化)；(ii)后续图像帧(用户非常快速地将照相机移动到不同视场)之间没有相似性(或相似性低于阈值)；(iii)照相机的突然运动(对于装配有运动传感器的照相机)；(iv)开关按下或“无反应(deadman)”开关释放；(v)时间间隔的消逝；(vi)采集的主图像帧的阈值数目或设备的存储器容量的饱和；或上述事件的各种组合。
在全景掠扫期间照相机手机采集图像的同时，可以连续地处理这些图像，使得可以实时采集全景图像。根据某些实施例，在该处理期间，很多采集的图像可以在分类处理中丢弃，而与最终全景图相关的图像被保留。再者，这些图像可以实时地配准。可以对配准的图像执行混合操作。
在某些实施例中，可以针对主采集图像或视频帧的子采样版本执行分类、配准和初始混合。
分类处理可以使得相应的主图像帧能够被保留或立即丢弃，使得在全景掠扫期间存储少量全尺寸图像。
配置和混合处理可以实现将在采集图像时确定的低分辨率图像之间的最佳“接缝线”。只要全景掠扫终止，则可以使用来自相应低分辨率或预览图像的配准和最佳接缝信息，将保留的全分辨率图像可以无延时接合在一起。
所得的高分辨率全景图像然后可以被压缩成JPEG格式且被存储。在某些实施例中，低分辨率对的接合与新的低分辨率帧的采集交错。
在其他实施例中，当在图像采集链内提供足够的硬件支持时，高分辨率图像的部分的接合和/或JPEG压缩的一个或更多片段还可以与低分辨率图像的采集、分类、配准和/或混合交错。
图像配准
在某些实施例中，确定一个图像帧相对于下一个图像帧的x&y像素位移。该位移信息然后可以用于选择将在全景图像的创建中使用的图像帧。在本上下文中，可以使用在US20060171464和US20080309769描述的实施例。描述了使用图像处理技术的视频稳定化的方法。根据某些实施例的技术涉及估算图像帧的一个或更多对(或序列)的帧间水平和垂直位移。
该图像帧位移信息可以用于选择将与原先图像帧重叠所需数目像素的图像帧。在某些实施例中，它备选地可以用于引导照相机采集(或完全采集)新的全分辨率图像。
下面给出对帧间位移测量的更深度的描述。在这种说明书中，第二图像帧(图像2)与第一图像帧(图像1)进行比较以确定帧间X、Y位移。
为了测量x方向中(水平)的位移，图像1和图像2中的列被求和，其处理解释如下。
在示例性实施例中，图像1&2的廓图被求和，且然后使用长度15的运行平均核来进行平滑。该长度可以是可变的，例如使得长度可以增加以进一步平滑廓图。根据该示例性实施例，沿着列对图像像素值求和，且来自列的求和形成此处可以被称为廓图的矢量。为简单起见，在RGB图像的情况中仅使用G通道，且在YUV图像的情况中仅使用Y通道。在这种情况中，可以使用包括关于图像细节的足够信息的任意颜色通道。使用长度适应于图像尺寸和噪声量的卷积核对来自两个配准图像的廓图进行平滑以及求差值。在某些实施例中，长度是可变的且可以增加或减少。
这具有过滤小特征和噪声的效果。以这种方式，运动估算基于运动序列中的强边缘。这还意味着X、Y位移的估算对于曝光中的变化更鲁棒。该估算方法针对在曝光水平、噪声水平和分辨率方面变化的宽范围图像景象极其适用。
水平(X)位移估算对所有列求和，而垂直(Y)位移估算沿着图像行进行求和。此后，运动估算的处理是相同的，因此下面仅概括用于水平位移的细节。最初地，针对图像1和2求和每一行的所有列。这用于从位移估算创建图像廓图。
％对图像求和
horl＝sum(iml)；％沿着列的对图像求和以创建水平廓图
hor2＝sum(im2)；
MATLAB中上面的处理等价于下面的等式，
horl＝y＝ly＝niml(x,y)
其中n是行数。这创建了如下图2中所示作为列的求和值的水平图像廓图与行数目的关系的图示。图2说明当列被求和时且在计算差异之后的图像廓图。
下一步骤是对廓图求差值且平滑。这具有使得位移估算对于图像之间的强度差异不变的效果。
ProfileDifferences(廓图差异)
horl＝diff(horl)；％获得沿着用于im1&im2的廓图差异)
hor2＝diff(hor2)；
这等于下面的等式，
horli＝xi-xi+lfori＝1:m-1,
其中m是行数。
图3说明计算差异之后的图像廓图。图3示出作为列的求和值的水平图像廓图与行数的关系的图示。
然后使用下面的MATLAB代码对廓图进行平滑以减小噪声影响。在MATLAB中，使用等价于下面示出的运行平均过滤器的卷积函数，
然后使一个图像廓图相对于另一个偏移1个像素偏移。在每个偏移，计算绝对差异的求和以发现最小化这些差异的偏移。
herr(i+radius+1-imx)＝sum(abs(hor1-hor2))/w1
这等同于下面的等式，
herri＝i-30i+30hor1-hor2(i)w1
上面的操作的结果是误差函数的图示，从该误差函数我们发现在水平方向中提供图像1和图像2之间的帧至帧位移量的最小值的位置。对于图4中的示例，测量的位移是-1个像素。
图4说明通过绘制使廓图偏移而发现的绝对差异的求和与像素偏移的关系的运动估算。图4说明在计算差异之后的图像廓图。
图4中最小值的位置指示廓图之间的位移。
如前所述针对垂直位移估算实施相同的处理。如上所述，针对全局值且针对4个子区域计算x和y运动估算二者。下面描述用于过滤由于景象内的主题运动导致的误差的方法。在该部分中，不存在用于仅仅描述逻辑操作的计算。
图5中示出的图示说明沿着水平方向(图像帧数目)的像素中的累积x偏移。图5说明示出作为像素偏移的照相机总水平移动与帧数目的关系的累积图示。
针对垂直位移重复相同处理。图6中示出相对于第一图像帧的垂直位移的示例。图6说明示出作为像素偏移的照相机总垂直移动与帧数目的关系的累积图示。
US20080309769中描述的原始位移估算算法被设计为跟踪相对于第一帧而不是帧到帧的xy偏移。
为了扩展该位移测量技术以还提供针对其保留图像的分类机制，我们保留来自所有早先图像的位移信息且使用它们来调节用于后续图像的搜索区域。因而来自帧1和2的信息用于调节用于图像1和3的搜索区域。
这一直执行直到从图像1到图像1+n的总x偏移超过给定像素数目。此时，图像1+n变成新参考帧且后续偏移相对于它配准。所有中间帧2、3...n可以被丢弃，且仅帧1和1+n被保留。该处理重复直到某一事件终止全景采集处理。
用于分类处理的位移值被选择以确保在需要接合在一起的图像之间存在足够的重叠。它也可以变化以考虑图像帧上的镜头或光学失真。因而，在存在足够的边缘失真时，在图像帧之间可能需要更大的重叠。
作为示例，对于低失真透镜和480×640的低分辨率视频帧，水平方向中140个像素的重叠可能是适当的；对于高失真透镜，可能需要250+个像素的重叠。在后一种情况中，图像的后续混合不能使用全图像帧——因为太失真而不能在混合处理中使用，在每个图像的每个结尾丢去弃高达25％(150个像素)。
这种处理针对视频帧的完整序列被重复。结果是可以读取序列中任意图像帧的x和y偏移。这然后允许选择图像以创建全景图像。然后选择相对彼此具有例如500个像素的像素偏移的图像。然后使用x方向中500个像素的像素偏移以及计算的y偏移，将图像2接合到图像1。该过程重复以将多个连续图像接合在一起。
图7A和图7B的图像是使用全局运动估算算法与测量的x&y位移配准的三个图像帧的示例。对于该全景图像，选择具有620个像素的水平位移的帧。图7A说明根据某些实施例，从通过算法选择的视频帧产生且与计算的x&y偏移对准的全景图像。图7B说明图7A的全景图像的剪裁版本。
具有子像素精确度的图像配准
根据某些实施例的图像配准方法可以计算至少具有一个像素精确度的水平和垂直位移。当希望从低分辨率图像伸缩为全分辨率图像时，该算法配置成防止在使用卷积算法时否则会跨过接缝线的部分出现的明显误差。
例如，在QVGA分辨率的一个像素配准误差可以转换成720pHD分辨率的6个像素的误差。为了处理该问题，根据某些实施例，图像配准方法被扩展，以计算使具有子像素精确度(即分数精度)的图像位移。
基于廓图的样条过采样的估算，可以用于以高像素精确度对准图像。算法的基础可以是Catmull-Rom样条(A＝-0.5的立方样条)。为了保持良好的性能水平，廓图可以初始地对准于一个像素精确度。过采样步骤可以用于使用预定子像素步长发现±1个像素范围内的位移。
当前实施方式可以假设1/256个像素的最小步长。归功于该样条函数，系数可以被预计算且存储在具有256个元素的查找表中。在子采样对准中，可以将最小步长值作为单位。在一些实施例中，为了实现1/4个像素的精确性，其对于低分辨率图像的最实际放大可能足够的，用于估算的步长尺寸可以设置为64。
第二廓图使用台阶增量左、右偏移，且使用样条插值计算样本间的值。因为偏移针对所有廓图样本是均匀的，它可以涉及尽可能少的单组系数，以处理所有样本。图8说明步骤之一。
图1示出在示例性实施例中比较廓图1和廓图2的插值的图示。使用方块标记的插值，且使用圆圈标记的参考值被用于针对给定偏移计算误差的求和。产生至少误差求和的偏移以固定点格式返回8位小数值。下一图片显示误差与偏移图示的示例。
图2说明根据某些实施例误差度量值与子像素偏移的关系。误差函数在考虑的范围内是平滑的，且不具有确保发现正确小数偏移的局部最小值。
源于HD视频的全景图——照相机内实施方式
在从HD视频帧创建全景图的情况中，上述图像配准处理太耗时且耗费存储器而不能允许实时照相机内实现。在该情况中，在示例中说明根据某些实施例的技术，如下：
1.HD帧被下采样为QVGA；
2.第一QVGA帧被认为是参考帧；
3.根据某些实施例QVGA帧与参考帧配准；
4.当达到帧之间某一数量的重叠时，根据某些实施例，当前帧和参考帧被接合或缝合在一起。在接合处理的结尾，可以通过沿着接缝线应用模糊核创建alpha混合图；
5.alpha混合图可以被上采样为HD帧分辨率；
6.使用在步骤5产生的图将HD帧混合在一起；
7.当前帧变成参考帧，步骤3-7重复，直到已经达到某一帧数目。
下面的部分说明算法的某些有利组成部分。
图像接合算法
该算法的目的是发现两个重叠图像之间的最佳接缝位置，使得图像可以合并以创建全景图。接缝必须经过如下区域，在该区域中，这两个图像之间的差异是最小值以便不产生明显切口。
一般思想是使两个轮廓在重叠区域的相对边开始，这两个轮廓将以依赖于重叠图像之间的局部差异的速度彼此相向移动。轮廓跨过图像以某一弹性水平地传播，使得某些像素可以更快地移动，不过如果相邻像素具有较低的速率，它们被阻止。该思想是像素快速地通过重叠图像之间存在较大差异的区域移动，且在图像之间存在小或可忽略差异的区域减速。这样，水平相向传播的两个轮廓在两个图像之间的近似最佳或近最佳接缝处相遇。
一旦轮廓遇到像素，它们就被分配给与轮廓相关的相关图像。因而，从左向右传播的轮廓将把像素和左手图像关联。从右向左移动的轮廓将把像素与重叠图像对的右手图像关联。在重叠区域中不存在更多未分配像素时，该处理停止。
两个重叠组成部分图像被认为在水平方向或全景图的长方向中或摇摄的方向中重叠。所以，存在仅属于左手(LH)图像的区域和仅属于右手(RH)图像的区域。则存在重叠区域，其中像素可以从LH图像或RH图像或基于其的一些组合或计算选择。每个轮廓在该重叠区域的LH或RH边界开始。LH边界完全属于LH图像，同时该技术涉及沿着图像的像素行向右移动该边界以及同时向左移动RH边界。
每个边界移动的(相对)速度通过重叠LH和RM图像像素之间的(相对)差异确定。在RH和LH像素之间存在极少差异时，轮廓更缓慢地移动，因为这是具有图像接缝而不是更快速移动片段的更好位置。在存在大差异时，轮廓更快地移动，因为接缝不应出现在RH和LH图像像素之间的高差异区域中。在某些实施例中，在重叠区域中，可以从LH或RH图像选择像素。还注意此处“速度”在重叠区域内的轮廓片段之间是相对的。
现在，因为像素差异中的变化，某些行中的轮廓像素将比其上面(或下面)的行更快地传播。在某些实施例中，行向右(针对LH轮廓)或向左(针对RH轮廓)传播的速度也部分地通过其相邻行限制。在这些实施例中，轮廓被称为是“弹性”的。因而，在一行将基于RH和LH图像之间的大差异非常快速地移动时，因为上面(或下面)的行以明显更低的速度移动，它可以减速，且反之亦然。
现在当LH轮廓向右传播时，该传播“边界线”(或“状态线”)之后(或其左边)的像素100％取自LH图像，而RH轮廓右边的类似像素取自RH图像。最终，这两个“状态线”将开始在某些点相遇，且当它们“碰撞”时它们简单地在相遇点停止传播。最终，这两个轮廓将跨过重叠区域的所有行相遇且确定通过重叠区域的最终接缝线。
备选实施例可以使用涉及在一个方向中传播轮廓(轮廓不能返回)的技术，这类似于Sethian等人在AFastMarchingLevelSetMethodforMonotonicallyAdvancingFronts,ProceedingsfromtheNationalAcademyofSciences,submittedOctober20,1995中描述的技术。
在某些实施例中，可以使用类似于Dijkstra算法的方法，该算法例如在Dijkstra,E.W.(1959)"Anoteontwoproblemsinconnexionwithgraphs".NumcrischcMathcmatik1:269-271,http://www-m3.ma.rum.de/twikL/pub/MN0506,/WebHome/dijkstra.pdf,和/或Sniedovich,M.(2006)."Dijkstra'salgorithmrevisited:thedynamicprogrammingconnexion"(PDF).JournalofControlandCybernetics35(3):599-620,http://matwbn.icm.cdu.pL/ksiazki/cc/cc35/cc3536.pdf中提及。可以通过对求解不同等式获得的值进行分类管理轮廓演进。它是PC上相对快的算法，但是涉及重复分类(在每个轮廓更新1个像素)和动态数据结构。这样，尤其涉及嵌入式平台的某些实施例不使用Dijkstra方法。
在某些实施例中，FIFO队列用于执行且实现有利技术，既使不使用存储器分配。图10说明将在全景图中使用的相邻图像之间的重叠区域上彼此相向传播的两个轮廓。
轮廓的传播可以通过包括256个优先FIFO桶的集合的队列控制。255号桶编有最高优先权，而0号桶具有最低优先权。只要重叠区域的新点被添加到队列，它变成等于重叠图像之间的加权差异的桶编号。差异处于0至255的范围。在某些实施例中，如果点将从队列被移除，则将它从最高权限非空桶中去除。添加到队列中的每个点使用识别点所属的轮廓的标志进行标记。
示例传播算法可以如下进行：
1.通过向队列添加重叠区域的左和右垂直边缘处的点来初始化轮廓。右边缘处的点与左边缘处的点被不同地标记；
2.如上所述根据规则从队列去除第一点；
3.如果存在非分配点，检查左、右、上、下方向。如果这种点存在，将它们添加到队列中，为它们分配与源点具有的标记相同的标记；以及
4.如果队列不为空，转向2。
因为噪声和一些细节的存在，轮廓的形状可以变得极其复杂，这意味着轮廓具有较大的长度，需要较大的存储器数量来维持队列。为了平滑轮廓形状且减小需要的存储器的数量，可以通过以下矩阵定义的过滤器平滑重叠图像之间的差异：
1 2 1
2 4 2
1 2 1
随后，通道差异可以通过加权平均dI＝(2dG+dR+dB)/4组合成一个值。该过滤操作可以等价于使用3×3模糊核来模糊接缝线。在备选实施例中，可以使用其他模糊技术，或核尺寸可以增加到5×5或其他值。
在图11提供了从两个图片创建的完全全景图的示例。图11说明根据某些实施例从两个图像创建且混合的全景图。
为了改善效率，可以使用从两个图像的重叠区域的缩小版本以减小的分辨率计算接缝线。重叠部分可以使用额外图像填补,以例如允许整数倍的减小因子。在某些实施例中，填补部分不被考虑，而是直接分配给适当的图像。在接合图像未被放大的某些实施例中，可以省略接缝线的模糊。
在某些实施例中，接合图尺寸可以精确地是通过填补(padding)来扩展的图像重叠区域的减小尺寸。在计算接合线之后，可以按照与用于减小的因子相同的因子来放大该图。
在一个实施例中，在确定接缝线以后，通过使用3×3高斯核模糊接缝线来创建灰度alpha混合图。接缝线和alpha混合图然后被放大到某一输出分辨率。在一个实施例中，使用双线性插值实现放大。该实施例使用alpha混合图来接合高分辨率图像，由此避免“盒形”接缝。归功于混合图的模糊过渡，接合线变得在全分辨率时较不可见。在接合图像未被放大的某些实施例中，可以省略接缝线的模糊。图12说明用于创建图11中说明的全景图像的混合遮罩(mask)。
只要两个接合图像的亮度一致，在使用该方法创建的接缝是不可见或不易被注意到的。通过在捕获用于合成最终的全景图的图像集合之前固定成像设备的曝光来避免亮度中的变化。
在某些实施例中，采用匹配尖锐和模糊图像对的技术可以用于克服跨越图像集合的亮度中的变化。这种实施例可以采用从US2008/0219581或USSN12/485,316抽取的技术。例如，单个模糊主图像采集中的多个短曝光时间(SET)图像(诸如预览图像)可以用于创建多个视频帧。
在备选实施例中，可以提示照相机用户提示执行全景景象的预采集掠扫，使得可以确定跨过整个景象的最佳曝光水平。用户然后使得照相机返回到原始位置，且基于景象的预采集掠扫来固定曝光水平。
在其他实施例中，曝光可以在采集每个图像时变化，且用于记录图像之间的相对曝光差异的详细“delta图”被记录，并且用于在确定最佳接缝线之前执行色调平衡和/或颜色匹配。在一些实施例中，颜色匹配可以整合在成像链中，且可以直接从曝光“delta图”获得调节数据。
全景图的两个图像之间的接缝的布置可以容易地通过修改所计算的这两个图像之间的重叠区域像素之间的图像差异来控制。例如，面部跟踪算法的输出可以用于选择不希望图像接缝的区域。在轮廓跨过两个图像之间的重叠区域传播之前，该重叠区域内的任意“面部区域”可以具有人工增加的图像差异，以减小轮廓传播算法用于确定跨过面部区域的切割的接缝的可能性或完全防止传播算法于确定跨过面部区域的切割的接缝。
类似的逻辑可以应用于其中图像细节更易被观察者觉察的图像景象前景部分。在某些实施例中，较不希望图像接缝跨越这种区域。因而在另一备选实施例中，来自实时面部跟踪器或前景/背景检测器的输出可用于全景算法，且修改图像接合操作以适应面部跟踪器和/或前景/背景区域检测器的输出。具体而言，可以对位于两个图像之间的重叠区域中的前景区域、对象和/或检测面部区域进行标记，使得接缝线不跨越这种区域。在该实施例的改进中，并不完全防止接缝跨越确定区域，但是图像差异被人工增加以使得这种可能性较小。在又一改进中，图像差异中的人工增加基于深度图像，接缝逐渐传更倾向于跨越更接近图像的远背景的对象。
可以在某些实施例中利用的示例性面部跟踪和前景/背景技术在美国专利7,606,417、7,460,695、7,469,055、7,460,694、7,403,643和7,315,631以及美国公布的申请号20090273685、US20060285754、US20090263022、20070269108、US20090003652和US20090080713,以及2009年6月5日提交的序列号12/479,593和2009年10月2日提交的12/572,930中描述，包括公开的备选实施例。
在面部或前景区域或对象跨越两个图像之间的整个重叠区域延伸的情况中，误差条件可以被信号发送且采集处理可以被放弃。备选地，当希望接缝跨越面部区域时，可以应用结合面部美化技术(例如间美国专利申请序列号12/512,843、12/512,819和12/512,716，包括公开的备选实施例)的更复杂算法。这种算法可以包括皮肤的纹理分析以及皮肤区域的后续特征感知(feature-ware)平滑。在其他实施例中，可以采用例如眼睛、鼻子、嘴巴和发际线的原理面部特征的知识与例如下巴和侧面的外面部轮廓的知识的组合。
在备选实施例中，这些可以通过面内的面部取向和面部姿势的知识而得以进一步改进。这种知识可以使用在美国专利7,565,030和7,440,593以及美国公布的申请号US20090179998、US20070269108、US2008/0219517和US2008/0292193中的任意一个中描述的主动外观模型或旋转选择分类器。
前景和背景区域
在前景对象明显比背景景象更靠近成像设备时，在重叠区域中可能出现视差效果。在这种情况中，误差条件可以被信号发送。备选地，(多个)前景对象和背景景象可以分别接合，且前景在背景景象上重新合成。在这种实施例中，来自重叠相同重叠区域的附加图像的信息可以用于促进前景对象的精确接合以及用于确定接合背景景象内对象的最佳定位。来自附加图像的信息还可以用于扩展图像背景，且提供由于视差导致的由背景对象隐藏的细节。它们在有利地确定如何接合用于图像的背景的接缝时是有用的。
在这种情形中，可以利用关于前景对象的精确范围/距离的附加信息，其中它可以从成像设备获得。
在一个示例实施例中，一个或更多前景对象包括一个或更多人脸以及相关身体轮廓(例如头&肩膀，或也许是躯干和手臂或甚至腿中的多个)的可能部分。在该示例中，面部中的至少之一被确定为位于两个图像帧的重叠区域中的全景图内。由于视差，该前景轮廓将看上去在两个图像中位移。如果应用正常接合和/或缝合，剪影(silhouette)将在水平方向中拉伸，产生“胖面部”的效果。在个人甚至更靠近成像设备的更极端的示例中，可以在最终的集合全景图像中创建人的“镜图”。为了避免不希望的效应，例如根据美国专利7,469,071和7,606,417以及美国公布的申请2009/0273685、2006/0285754、2007/0147820、2009/0040342和2007/0269108中的任意一个，将前景/背景分离应用于组成部分图像中的每一个。(多个)前景区域可以从要接合和/或缝合的任意两个相邻图像中的每一个切掉。在一个实施例中，这些“切掉”区域使用来自其他图像帧的数据填充，该其他图像帧与相同剪影区域重叠，仍露出由于不同视差导致的背景的不同部分。在足够数据不可用时，可以采用附加的填充和插值技术。然后可以使用正常算法接合背景图像。
前景区域还可以通过匹配位置以及可选地匹配诸如眼睛、嘴巴、发际线和/或下巴的面部特征的形状来单独对准(例如，针对面部区域)。在对准之后，它们可以使用常规算法接合。可选地，在可以从每个图像获得完整剪影的情况中，作为单独接合前景区域的备选方案，可以选择前景区域其中之一以便合成到已经接合的背景图像上。前景对象合成到背景的位置可以选择在两个原始位置的中间点或其他位置。用户甚至可以选择将前景图像定位在全景图内的不同位置，从而使得所确定的是全景图中的最独具风景的部分。备选地，前景位置可以被选择以便沿着用于背景区域的接合接缝覆盖较高对比度的点。
可以有利地采用宽范围的面部分析技术和方法以进一步增强这种前景轮廓的外观，诸如美国专利7,565,030或美国个公布的申请2009/0179998、2008/0013798、2008/0292193、2008/0175481、2008/0266419、2009/0196466、2009/0244296、2009/0190803、2008/0205712、2008/0219517和2009/0185753以及公布的PCT申请WO2007/142621中所描述。在分离前景面部区域之后，可以通过在重新合成到背景全景景象之前应用各种图像处理技术来增强这些编前景面部区域。根据这些实施例，前景/背景分离以及前景和背景图像组成部分的独立分析和处理可以用于有利地提供增强的全景图像。
照相机内图像混合处理
图13还说明根据某些实施例包括全景图像产生处理的图像混合处理。图12中示出5个图像，这5个图像将被接合以形成比组成部分图像中任意一个的5倍略小的全景图像。下面说明了图像混合矩形，其中当形成全景图像时将形成接缝。在图13中的图像混合矩形和组成部分图像下面说明形成的全景图像的一部分。
在示例性实施例中，表面选择可以用于指示将应用投影算法的全景用户界面。可以例如根据RichardSzeliski的“ImageAlignmentandStitching：ATutorial”(2004年9月27日初步草稿，技术报告，MSR-TR-2004-92，8-10页)和美国公布专利申请2006/0062487、2006/0018547、2005/0200706、2005/0008254和2004/0130626中任意一个，使用3D投影算法。
超分辨率：合成图像的组合
另一实施例还提供了仅使用低分辨率(相对低分辨率)图像创建高分辨率(高分辨率)全景图的方式。术语“低分辨率”此处意味着与术语“高分辨率”相比，其中低分辨率图像具有比高分辨率图像低的分辨率，而不意味着特定分辨率。这种实施例适于低分辨率(&低成本)设备。它是可以与芯片上照相机解决方案组合的方法，该解决方案可以与具有超光学装置&CPU能力的HD设备竞争。
在该实施例中，采集全景景象的低分辨率摇摄视频序列。没有采集高分辨率图像，因而接缝线并不像其他实施例中那样被转换成高分辨率图像。而且，在分类处理期间，丢弃较少的图像帧。相反，较大比例的图像帧可以被分类到若干不同全景图像集合其中之一。
因而，可以通过执行边缘配准和重叠图像的接合来创建两个或更多合成全景图像。在一个示例性实施例中，图像帧如下接合：帧1+4+7+10用于形成一个全景图像集合，帧2+5+8+11形成第二全景图像集合，且帧3+6+9+12形成第三全景图像集合；这三个不同的图像集合用于创建三个不同的全景图像P1、P2、P3，这些图像可以几乎但不必完全重叠。注意，不必保留所有图像：例如，可以存在帧3和帧4之间采集的附加图像(即图像3-2、3-3和3-4)，但是因为这些图像之间的位移不足,或因为P1、P2和P3被认为是足够的，或者其他原因，这些图像可能已经被丢弃。
超分辨率技术然后应用于单个高分辨率全景图像。使用来自其他帧集合的重叠图像可以帮助每个全景帧集合的边缘配准。
用于手持式设备的全景观看模式
在创建全景图像之后，它可能随后在手持式设备上观看图像时使用不便。然而，如果与在采集期间采用的原始(水平)运动相关的信息与图像一起保存，则根据某些实施例可以提供有利的观看模式。
根据这种观看模式的示例，照相机手机的屏幕可以使用全景图像的中央部分的全高度视图打开(在下面说明中的方括弧内的部分)：
-----[---]-----
如果照相机现在向左摇摄，该运动被测量且显示的图像的部分相应地调节(与原先一个相比，在下面说明中方括弧中的部分向左移)。
--[---]--------
或者如果用户完全向右移动(与原先两个中的任意一个相比，在下面的说明中，方括弧中的部分向右移动)：
----------[---]
因而可以以捕获原始宽全景景象的属性的方式提供用于显示的完整全景图。用户还可以获得在垂直方向中以全分辨率观看全景景象的不同部分、片段或组成部分的益处。
当系统存储了与用于捕获原始全景图像的运动相关的数据时，提供“锁眼”或“窥孔”观看的修改。该运动数据可以用于控制后续用户观看图像。尤其在手持式设备上，在捕获期间且在回放期间，该运动可以被测量，尽管可以例如使用鼠标输入在台式机上模拟手持式运动。
备选实施例涉及回放原始视频剪辑，但是根据用户在观看期间如何移动手持设备控制回放的方向和/或速度。
手持式设备上的立体全景图创建
可以通过执行重叠图像的边缘配准和接合来创建两个合成立体(3D)全景图像。两个全景图像空间偏移某一距离，在某些实施例中，该距离大约等于一对人眼的距离，例如5至7或8cm。实际可以选择较大的位移以产生选择的缩放效果。在任意情况中，前景对象与背景看起来从不同于的透视。当对象更靠近照相机时，这种差异增强。
图14A-14B说明通过在图像捕获之间位移几个厘米的数码相机的两个图像的捕获，所述图像捕获可以用于产生三维组成部分图像且与另外的三维组成部分图像组合以产生立体全景图像。图15说明来自全景掠扫序列的图像帧，其示出图14A-14B的数码相机的相对水平空间位移，其中图像对被合并以形成立体全景图像。注意，在图15中使用矩形表示图像，就好像存在垂直以及水平位移一样。然而，图15中说明的明显的垂直位移意味着在图15的说明中区分各个图像/帧，且并非必然指示全景掠扫中捕获的图像帧之间的任意垂直位移。垂直和水平位移中的波动在如上所述配准和缝合处理中被处理。
从图14A和14B可以看出，立体图像对可以包括捕获的两个图像，这两个图像具有可以被选择用以提供可配置3D效果的足够相对位移。例如，5-7cm的位移将是人眼之间距离的量级，这通过属性定位以提供3D成像。例如2cm或10cm或12cm(见下面的示例)或3cm至9cm或4cm至8cm的较大或稍微较小的距离也是可行的。立体基础可以固定或在某些实施例中有利地是可配置的。例如，该位移距离可以是用户(或OEM/ODM)访问以选择性地增强3D效果的参数。
如上所述，某些实施例的5至7或8cm的位移源于母属性。这些数字是指观察者点(例如眼睛)的物理位置。基于用于捕获立体全景图像的数码相机或支持照相机的设备、照相机手机、照相机音乐播放器等的光学装置的已知特性，可以将这些数字转换或变换成像素距离。在下面详细描述的图17的实施例中，例如两个剪裁之间的距离是可配置的。测试中，既使当这些剪裁重叠(使得它们中心之间的距离非常小)时，仍观察明显的良好3D效果。简而言之，位移距离可以依赖于采集条件和所需3D效果，在非常小和非常大之间变化。
就当获得两个图像以创建立体效果时低于5cm(2英寸)的照相机设备的光轴的相对位置而言，随着距离变小，将存在减小的立体效果。较大的距离创建增强的立体效果，这等同于“观察者”向景象移动。简而言之，焦平面看上去移动得更加靠近观察者。这意味着立体图像可以被创建且使用7cm的分离且然后是8cm接着是9、10、12、14cm的分离观看，且因而看上去就好像观看者移向景象。前景对象将变得3D效果逐渐增强且看上去向观看者移动，而背景将保留“在背景中”。因而，距离可以根据所需的3D体验改变、配置和/或选择。关于用于立体效果的位移距离的任意外部限制将一定程度地依赖于被捕获的景象。例如，如果存在靠近的前景对象，则非常大的立体分离(比如>20cm)将使得前景对象失真。如果不存在靠近的前景对象，则可以使用例如20-30cm或更高的较高位移值。即在某些实施例中，立体距离基于景象中前景对象的接近度的确定。最近的前景对象越靠近，起始立体分离距离越小，直至例如约5cm的下限。
在某些实施例中，开始于类似相对位移且贯穿以下图像的合并保持该位移的两个全景序列可以提供立体全景对，且可以在3D显示系统或设备中被观看。两个全景序列可以从单个掠扫得出，或者备选地从相同或类似全景景象的多于一次的掠扫得出，例如，在其他可能的备选中，特别是，用户可以从左向右掠扫，且然后通过从右向左移动回来而立即返回以便将照相机指向从原始起点的原始方向中。
在图14A、14B和15说明的示例实施例中，图像帧如下接合：帧1+3+5+7用于形成一个全景图像集合，则帧2+4+6+8形成第二全景图像集合。这两个分离的图像集合用于创建两个分离的全景图像P1、P2，全景图像P1、P2几乎但是并非必然完全重叠，且包括如图15所示彼此左右偏离的组成部分图像。
不必保留所有图像；例如，可以存在帧1和帧2之间采集的附加图像(比如图像1-2、1-3和1-4)，但是它们被丢弃。图15甚至示出帧1和帧2之间捕获的一个帧，以及帧2和帧3之间捕获的两个帧，以及在帧3和帧4之间的两个帧等等，这些帧在该示例中是在立体全景图中未被使用的捕获帧。在照相机移动小于阈值(例如5cm、4cm、3cm等)之后捕获的第二图像可以被舍弃。由于在另一照相机移动和/或景象位移小于阈值(例如帧1中捕获的景象范围的50％,60％,70％,80％,90％等)之后捕获，或者由于图像模糊或具有盲眼或因其他原因不令人满意，第四和第五图像可以被舍弃(例如见美国公布的专利No.20070201724、20070201725、20070201726、20090190803、2008061328)。
在该实施例中，手持式设备可以合并测量照相机的外部移动的组件。这可以通过使用加速计、陀螺仪或其他物理传感器实现。还可以通过使用帧至帧配准组件实现，该帧至帧配准组件可以确定图像或视频捕获序列的连续帧之间的像素移动且被校准以将该像素移动与图像采集设备的外部物理移动关联。
在该实施例中，掠扫的不同帧用于构建全景图像。可以从单个掠扫运动得出两个全景图。第二掠扫中的每个帧在预定可接受范围(例如5-7.5cm，或参见上面的讨论)内相对于第一全景图中的相应帧移位。允许帧帧位移技术的运动传感器或其他校准用于确定照相机何时移动5-7.5cm，或另外选择或配置位移距离。
照相机可以通过用户或在机械旋转支撑附件圆形地或在小于圆形掠扫移动范围内移动。单次掠扫创建两个空间距离的全景图，同时用户不需要移动或捕获第二全景图。
图16A-16B说明全景扫描半径与将被混合以形成立体全景图的图像对的捕获之间短得多的数码相机移位距离之间的关系。例如5-7.5cm的帧间距离(落后)将有些小于掠扫半径(例如1.2m)或人手臂的其他长度，从而使得每对帧之间的运动几乎平行于景象。例如，0.075m远小于1.2m(约6％)，且实验显示甚至高达15％提供良好的立体全景图像。
图17说明根据其他实施例使用来自各个关键帧的左和右剪裁产生立体(3D)全景图像的技术。在这些实施例中，取代针对两个立体全景图选择不同关键帧，可以针对关键帧中的每一个选择“左”和“右”剪裁。即，相同的关键帧用于两个全景图像，而第一全景图开始于关键帧的LH部分且第二位移全景图开始于关键帧的RH部分。关键图像的LH部分的最左边缘与RH部分的最右边缘之间的距离应当等于(像素)与人眼距离对应的5-8cm物理位移，或如上所述根据所需的3D效果配置、改变或选择。既使在其他所述实施例中，仍可以使用剪裁。
图17说明的方法至少具有以下优点：
立体基础可以固定，且不需要附加测量来保持它固定。在其他方法中，因为用户执行的可变摇摄速度，立体基础可能难以控制。
当相同的关键帧用于左和右全景图时，对于左和右仅执行一次配准。该特征使得配准处理减半，且防止了保持立体基础中的某些不稳定性。
该实施例还通过选择足够窄的剪裁很好地处理了透视失真。
在这些实施例中可以使用多于两个的剪裁，以具有若干立体基础。在备选实施例中，可以捕获多于两个全景图像。在这种实施例中，第一和第二全景图像可以具有比如7cm的固定位移，第二和第三全景图像可以具有比如5cm的另一位移。可以由第一和第二全景图像创建一个立体图像；同时可以从第一和第三立体图像创建第二立体图像。当景象之间的位移为12cm时，可以具有增强的立体效果。
该第二立体全景图像可以具有向主景象移动用户透视的明显效果。换句话说，较宽的立体位移(12cm)使得前景对象看上去更近。如果创建多个附加全景图，则可以创建如下立体效果：创建用户向景象更深入移动(或在图像以相反顺序显示时从景象移回来)的幻觉。该技术实现了合并3D摇摄效果的十分复杂的幻灯片效果的创建。这不同于简单缩放为图像景象，因为前景对象的3D视图变化且变化范围直接涉及这些对象与照相机的距离。在另一备选实施例中，这种立体摇摄/缩放效果的序列可以被捕获，以使用照相机创建从单个全景摇摄得出的3D视频序列。
尽管已经描述和说明了本发明的示例性附图和特定实施例，应当理解本发明的范围不限于讨论的特定实施例。因而，实施例将被认为是说明性而非限制性的，且应当理解本领域技术人员可以在不偏离下面的权利要求书提及的本发明的范围以及结构和功能等价的条件下，在这些实施例中做出变化。
另外，在可以根据此处的优选和备选实施例和权利要求执行的方法中，以所选的拓扑序列描述了操作。然而，序列可以被选择为针对拓扑便利性排序，且并不旨在暗示用于执行操作的任意特定顺序，除非明确地说明特定顺序是必须的或被本领域技术人员理解为是必须的。

Claims (20)

1.一种用于产生立体全景图像的方法，该方法包括：
在便携式成像设备跨过景象进行摇摄之时，自动采集所述景象的部分的多个图像帧，
其中所述多个图像帧至少部分重叠；
其中所述多个图像帧使用所述便携式成像设备的光学成像传感器而被自动采集；
从所述多个图像帧的第一子集中提取第一组图像片；
根据所述第一组图像片构造第一全景图像；
其中所述第一组图像片中的每个图像片与所述第一组图像片中的每个其他图像片来自不同的帧；
从所述多个图像帧的第二子集中提取第二组图像片；
根据所述第二组图像片构造第二全景图像；
其中所述第二组图像片中的每个图像片与所述第二组图像片中的每个其他图像片来自不同的帧；
其中所述第一子集和所述第二子集是不同的且不具有共同的图像帧；
其中所述第一组图像片中的每个图像片具有在所述第二组图像片中的相对应的移位图像片；
其中所述第一组图像片中的每个图像片与在所述第二组图像片中的相对应的移位图像片之间的位移是恒定的；
使用所述第一全景图像和所述第二全景图像形成立体全景图像；以及
执行存储所述立体全景图像、传送所述立体全景图像和显示所述立体全景图像其中一个或多个。
2.根据权利要求1所述的方法，进一步包括测量所述第一子集和所述第二子集的图像帧之间的位移，以使得所述第一组图像片中的每个图像片具有在所述第二组图像片中的相对应的移位图像片。
3.根据权利要求2所述的方法，其中所述位移包括至少两个维度中的位移。
4.根据权利要求3所述的方法，其中所述至少两个维度包括正交于深度维度的两个维度。
5.根据权利要求4所述的方法，其中所述位移包括在包括深度维度的三个维度中的位移。
6.根据权利要求1所述的方法，其中所述第一组图像片中的每个图像片与在所述第二组图像片中的相对应的移位图像片之间的位移通过以下方式确定：
使得具有第一预定范围内的相对位移的图像帧成对，所述第一预定范围被配置成提供所选的立体效果；
组合成对图像帧以形成组成部分立体图像；以及
保留与相邻成对图像帧具有的重叠在第二预定范围内的成对图像帧。
7.根据权利要求6所述的方法，其中所述第一预定范围包括5-7.5cm。
8.根据权利要求1所述的方法，其中所述部分重叠包括10％至50％的重叠。
9.根据权利要求1所述的方法，还包括使图像帧对的接合与下一图像帧的采集或产生或二者交错。
10.根据权利要求6所述的方法，其中所述第一预定范围不大于所述成像设备的摇摄半径的15％。
11.一种使用便携式成像设备产生全景图像的设备，该设备包括：
用于在便携式成像设备跨过景象进行摇摄之时，自动采集所述景象的部分的多个图像帧的装置，
其中所述多个图像帧至少部分重叠；
其中所述多个图像帧使用所述便携式成像设备的光学成像传感器而被自动采集；
用于从所述多个图像帧的第一子集中提取第一组图像片的装置；
用于根据所述第一组图像片构造第一全景图像的装置；
其中所述第一组图像片中的每个图像片与所述第一组图像片中的每个其他图像片来自不同的帧；
用于从所述多个图像帧的第二子集中提取第二组图像片的装置；
用于根据所述第二组图像片构造第二全景图像的装置；
其中所述第二组图像片中的每个图像片与所述第二组图像片中的每个其他图像片来自不同的帧；
其中所述第一子集和所述第二子集是不同的且不具有共同的图像帧；
其中所述第一组图像片中的每个图像片具有在所述第二组图像片中的相对应的移位图像片；
其中所述第一组图像片中的每个图像片与在所述第二组图像片中的相对应的移位图像片之间的位移是恒定的；
用于使用所述第一全景图像和所述第二全景图像形成立体全景图像的装置；以及
用于执行存储所述立体全景图像、传送所述立体全景图像和显示所述立体全景图像其中一个或多个的装置。
12.根据权利要求11所述的设备，进一步包括用于测量所述第一子集图像帧和所述第二子集图像帧的图像帧之间的位移的装置，以使得所述第一组图像片中的每个图像片具有在所述第二组图像片中的相对应的移位图像片。
13.根据权利要求12所述的设备，其中所述位移包括至少两个维度中的位移。
14.根据权利要求13所述的设备，其中所述至少两个维度包括正交于深度维度的两个维度。
15.根据权利要求14所述的设备，其中所述位移包括在包括深度维度的三个维度中的位移。
16.根据权利要求11所述的设备，其中所述第一组图像片中的每个图像片与在所述第二组图像片中的相对应的移位图像片之间的位移通过以下方式确定：
使得具有第一预定范围内的相对位移的图像帧成对，所述第一预定范围被配置成提供所选的立体效果；
组合成对图像帧以形成组成部分立体图像；以及
保留与相邻成对图像帧具有的重叠在第二预定范围内的成对图像帧。
17.根据权利要求16所述的设备，其中所述第一预定范围包括5-7.5cm。
18.根据权利要求11所述的设备，其中所述部分重叠包括10％至50％的重叠。
19.根据权利要求11所述的设备，还包括使图像帧对的接合与下一图像帧的采集或产生或二者交错。
20.根据权利要求16所述的设备，其中所述第一预定范围不大于所述成像设备的摇摄半径的15％。
CN201180051076.1A 2010-09-09 2011-09-09 手持式设备上的立体(3d)全景图创建 Active CN103168315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/879,003 2010-09-09
US12/879,003 US10080006B2 (en) 2009-12-11 2010-09-09 Stereoscopic (3D) panorama creation on handheld device
PCT/IB2011/002715 WO2012032412A2 (en) 2010-09-09 2011-09-09 Stereoscopic (3d) panorama creation on handheld device

Publications (2)

Publication Number Publication Date
CN103168315A CN103168315A (zh) 2013-06-19
CN103168315B true CN103168315B (zh) 2016-01-20

Family

ID=45509542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180051076.1A Active CN103168315B (zh) 2010-09-09 2011-09-09 手持式设备上的立体(3d)全景图创建

Country Status (7)

Country Link
US (2) US10080006B2 (zh)
JP (1) JP5969992B2 (zh)
KR (1) KR101711036B1 (zh)
CN (1) CN103168315B (zh)
DE (1) DE112011103011T5 (zh)
GB (1) GB2498284B8 (zh)
WO (1) WO2012032412A2 (zh)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
WO2011040864A1 (en) 2009-10-01 2011-04-07 Scalado Ab Method relating to digital images
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
CN103189796B (zh) * 2010-09-20 2015-11-25 瑞典移动影像股份公司 用于形成图像的方法
JP5510238B2 (ja) * 2010-09-22 2014-06-04 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012068380A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5696419B2 (ja) * 2010-09-30 2015-04-08 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
WO2012061549A2 (en) * 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
WO2012072606A1 (en) 2010-11-29 2012-06-07 DigitalOptics Corporation Europe Limited Portrait image synthesis from multiple images captured on a handheld device
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
FR2969353A1 (fr) * 2010-12-20 2012-06-22 St Ericsson Sa Procede de realisation d'une image panoramique a partir d'une sequence video et appareil de mise en oeuvre.
WO2012110894A1 (en) 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
CN102971770B (zh) * 2011-03-31 2016-02-10 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US9251562B1 (en) * 2011-08-04 2016-02-02 Amazon Technologies, Inc. Registration of low contrast images
US9191649B2 (en) * 2011-08-12 2015-11-17 Qualcomm Incorporated Systems and methods to capture a stereoscopic image pair
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
US8493460B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of differently scaled images
US9402065B2 (en) * 2011-09-29 2016-07-26 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
KR101804199B1 (ko) * 2011-10-12 2017-12-05 삼성전자주식회사 입체 파노라마 영상을 생성하는 장치 및 방법
JP5870636B2 (ja) * 2011-11-09 2016-03-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US8259161B1 (en) 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
WO2013136053A1 (en) 2012-03-10 2013-09-19 Digitaloptics Corporation Miniature camera module with mems-actuated autofocus
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9098922B2 (en) * 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
CN104798364B (zh) 2012-06-07 2018-08-17 数位光学欧洲有限公司 Mems快速对焦照相机模块
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
KR101698657B1 (ko) * 2012-07-04 2017-01-20 인텔 코포레이션 파노라마 기반 3d 비디오 코딩
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
CN103679668B (zh) * 2012-09-18 2016-11-23 成都方程式电子有限公司 图像拼接反馈系统
CN103679667B (zh) * 2012-09-18 2016-06-08 成都方程式电子有限公司 方向自适应性图像拼接方法
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
FR2996014B1 (fr) * 2012-09-26 2015-12-25 Interactif Visuel Systeme I V S Procede d'aide a la determination de parametres de vision d'un sujet
JP5493114B1 (ja) * 2012-10-24 2014-05-14 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
IES20120509A2 (en) 2012-11-27 2014-06-04 Digitaloptics Corp Europe Ltd Digital image capture device having a panorama mode
US8988586B2 (en) 2012-12-31 2015-03-24 Digitaloptics Corporation Auto-focus camera module with MEMS closed loop compensator
KR101613176B1 (ko) * 2013-03-18 2016-04-29 포토내이션 리미티드 움직임 추정 방법 및 장치
US9269187B2 (en) 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
KR20230142635A (ko) 2013-04-08 2023-10-11 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US9563105B1 (en) * 2013-04-10 2017-02-07 Ic Real Tech Inc. Screw coupler enabling direct secure fastening between communicating electronic components
KR102068048B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 3차원 영상 제공 시스템 및 방법
EP3005232A4 (en) * 2013-05-29 2017-03-15 Kang-Huai Wang Reconstruction of images from an in vivo multi-camera capsule
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9247129B1 (en) * 2013-08-30 2016-01-26 A9.Com, Inc. Self-portrait enhancement techniques
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
WO2015066571A1 (en) 2013-11-01 2015-05-07 The Lightco Inc. Methods and apparatus relating to image stabilization
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
EP3069510A4 (en) * 2013-11-18 2017-06-28 Nokia Technologies Oy Method and apparatus for enhanced digital imaging
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
US20150277550A1 (en) * 2014-04-01 2015-10-01 Moju Labs, Inc. Face-Centered Motion-Based Content Navigation
US10432896B2 (en) 2014-05-30 2019-10-01 Placemeter Inc. System and method for activity monitoring using video data
CN104573164B (zh) * 2014-07-07 2017-10-31 贵州电力试验研究院 小步长系统等值历史电流源信息更新的硬件实现方法
US10102285B2 (en) * 2014-08-27 2018-10-16 International Business Machines Corporation Consolidating video search for an event
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
EP3086554B1 (de) * 2015-04-24 2019-04-24 Visual Vertigo Software Technologies GmbH System und verfahren zur herstellung und abgabe stereoskopischer videofilme
JP6272387B2 (ja) * 2015-05-29 2018-01-31 キヤノン株式会社 撮像素子および撮像装置
CN104992408B (zh) 2015-06-30 2018-06-05 百度在线网络技术（北京）有限公司 用于用户终端的全景图像生成方法和装置
CN106303495B (zh) * 2015-06-30 2018-01-16 深圳创锐思科技有限公司 全景立体图像的合成方法、装置及其移动终端
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
US10264238B2 (en) * 2015-11-12 2019-04-16 Bitanimate, Inc. Stereoscopic mapping
SG10201510773PA (en) * 2015-12-30 2017-07-28 Creative Tech Ltd A method for creating a stereoscopic image sequence
EP3398016A4 (en) * 2016-01-03 2019-08-28 HumanEyes Technologies Ltd ADAPTIVE IMAGE ASSEMBLY DURING THE PROCESS OF CREATING A PANORAMIC IMAGE
CN105657268A (zh) * 2016-01-11 2016-06-08 塔里木大学 一种基于多分辨率的多视点视频拼接融合算法
US11100335B2 (en) 2016-03-23 2021-08-24 Placemeter, Inc. Method for queue time estimation
CN106097244A (zh) * 2016-06-03 2016-11-09 上海小蚁科技有限公司 用于拼接图像的方法和装置以及用于组合图像的方法
JP6606480B2 (ja) * 2016-08-12 2019-11-13 日本電信電話株式会社 パノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラム
US10346950B2 (en) 2016-10-05 2019-07-09 Hidden Path Entertainment, Inc. System and method of capturing and rendering a stereoscopic panorama using a depth buffer
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
WO2018101936A1 (en) * 2016-11-30 2018-06-07 CapsoVision, Inc. Method and apparatus for image stitching of images captured using a capsule camera
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN109996072B (zh) * 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置
CN110248207B (zh) * 2018-03-08 2021-03-16 株式会社理光 图像现实感展示服务器、展示方法和记录介质及展示系统
US11188752B2 (en) * 2018-03-08 2021-11-30 Regents Of The University Of Minnesota Crop biometrics detection
WO2019207464A2 (en) 2018-04-23 2019-10-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN108765561A (zh) * 2018-05-30 2018-11-06 链家网（北京）科技有限公司 房屋虚拟三维模型生成过程中隐私信息处理方法及装置
JP6751426B2 (ja) * 2018-09-07 2020-09-02 一般財団法人Ｎｈｋエンジニアリングシステム 撮像装置
US10733742B2 (en) * 2018-09-26 2020-08-04 International Business Machines Corporation Image labeling
US10686980B1 (en) * 2019-01-22 2020-06-16 Daqri, Llc Systems and methods for generating composite depth images based on signals from an inertial sensor
US11107205B2 (en) * 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
US10616483B1 (en) * 2019-02-27 2020-04-07 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of generating electronic three-dimensional walkthrough environment
CN109977853B (zh) * 2019-03-25 2023-07-14 太原理工大学 一种基于多辨识设备的井下工人全景监控方法
US10867220B2 (en) 2019-05-16 2020-12-15 Rpx Corporation Systems and methods for generating composite sets of data from different sensors
CN114821700A (zh) * 2019-09-27 2022-07-29 深圳看到科技有限公司 画面帧更新方法、更新装置及存储介质
CN110866868A (zh) * 2019-10-25 2020-03-06 江苏荣策士科技发展有限公司 一种双目立体图像的拼接方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
TWI738423B (zh) * 2020-07-17 2021-09-01 智崴資訊科技股份有限公司 球幕顯示器的顯示方法
WO2022157984A1 (ja) * 2021-01-25 2022-07-28 三菱電機株式会社 画像合成装置、画像合成方法、及びプログラム
CN112906589B (zh) * 2021-03-01 2023-05-26 天地伟业技术有限公司 一种基于帧间作差法的mems面内动态特性分析方法
CN114742876B (zh) * 2022-06-13 2022-09-06 菏泽市土地储备中心 一种土地视觉立体测量方法
CN115049547B (zh) * 2022-08-16 2022-10-21 成都数之联科技股份有限公司 一种航拍图像实时增量拼接方法及系统及装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578851A (zh) * 2007-01-12 2009-11-11 高通股份有限公司 全景成像技术
CN101771829A (zh) * 2008-12-31 2010-07-07 华晶科技股份有限公司 全景图像产生方法

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970663A (en) * 1989-04-28 1990-11-13 Avid Technology, Inc. Method and apparatus for manipulating digital video data
JP2998285B2 (ja) * 1991-05-28 2000-01-11 ミノルタ株式会社 カメラ
US5384615A (en) * 1993-06-08 1995-01-24 Industrial Technology Research Institute Ambient depth-of-field simulation exposuring method
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
EP1099343A4 (en) * 1998-05-13 2007-10-17 Infinite Pictures Inc PANORAMIC FILMS SIMULATING A DISPLACEMENT IN A MULTI-DIMENSIONAL SPACE
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
US6317141B1 (en) * 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US7477284B2 (en) * 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
US6952212B2 (en) * 2000-03-24 2005-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Frame decimation for structure from motion
US6856472B2 (en) * 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
WO2002093916A2 (en) * 2001-05-14 2002-11-21 Elder James H Attentive panoramic visual sensor
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
JP2003219225A (ja) * 2002-01-25 2003-07-31 Nippon Micro Systems Kk 動体画像監視装置
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
JP4487775B2 (ja) * 2002-10-15 2010-06-23 セイコーエプソン株式会社 複数の画像データのパノラマ合成処理
JP4048907B2 (ja) * 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
US20040189849A1 (en) * 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
JP2004334843A (ja) * 2003-04-15 2004-11-25 Seiko Epson Corp 複数の画像から画像を合成する方法
CN100468181C (zh) * 2003-04-30 2009-03-11 佳能株式会社 光量调节装置和拍摄装置
WO2004110264A1 (ja) * 2003-06-11 2004-12-23 Kose Corporation 肌の評価方法および画像のシミュレーション方法
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8494286B2 (en) * 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
WO2007142621A1 (en) 2006-06-02 2007-12-13 Fotonation Vision Limited Modification of post-viewing parameters for digital images using image region or feature information
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
GB2405764A (en) 2003-09-04 2005-03-09 Sharp Kk Guided capture or selection of stereoscopic image pairs.
US7343048B2 (en) * 2003-09-18 2008-03-11 Arcsoft, Inc. Edge based alignment algorithm
JP2005123667A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp 複数の画像データからの静止画像データの生成
US7409105B2 (en) * 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
US7746404B2 (en) 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
US7606441B2 (en) * 2003-11-27 2009-10-20 Seiko Epson Corporation Image processing device and a method for the same
US7813589B2 (en) * 2004-04-01 2010-10-12 Hewlett-Packard Development Company, L.P. System and method for blending images into a single image
JP4356621B2 (ja) 2004-04-16 2009-11-04 ソニー株式会社 撮像装置及び撮像方法
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
US20070103544A1 (en) * 2004-08-26 2007-05-10 Naofumi Nakazawa Panorama image creation device and panorama image imaging device
US8204133B2 (en) * 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20110102553A1 (en) 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8488023B2 (en) 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7768544B2 (en) * 2005-01-21 2010-08-03 Cutler Ross G Embedding a panoramic image in a video stream
KR100677562B1 (ko) * 2005-02-03 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 장치
US20060182437A1 (en) * 2005-02-11 2006-08-17 Williams Karen E Method and apparatus for previewing a panoramic image on a digital camera
US8004558B2 (en) * 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US7474848B2 (en) * 2005-05-05 2009-01-06 Hewlett-Packard Development Company, L.P. Method for achieving correct exposure of a panoramic photograph
US7839429B2 (en) * 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus
JP4693159B2 (ja) * 2005-07-20 2011-06-01 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US7639897B2 (en) * 2006-01-24 2009-12-29 Hewlett-Packard Development Company, L.P. Method and apparatus for composing a panoramic photograph
IES20060559A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
JP4970468B2 (ja) * 2006-02-14 2012-07-04 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像ぼかし処理
US7551754B2 (en) 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
EP2033142B1 (en) * 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
KR20080023774A (ko) 2006-09-12 2008-03-17 동부일렉트로닉스 주식회사 씨모스 이미지 센서의 포토 다이오드
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
US7809212B2 (en) * 2006-12-20 2010-10-05 Hantro Products Oy Digital mosaic image construction
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
JP5049356B2 (ja) * 2007-02-28 2012-10-17 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US7747107B2 (en) * 2007-03-06 2010-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for retargeting images
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
WO2008131823A1 (en) * 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8031961B2 (en) * 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US20090086021A1 (en) * 2007-09-27 2009-04-02 Rockwell Automation Technologies, Inc. Dynamically generating real-time visualizations in industrial automation environment as a function of contect and state information
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
CN101981911B (zh) * 2008-01-18 2016-06-29 快图有限公司 图像处理方法和装置
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
GB0813432D0 (en) 2008-07-22 2008-08-27 Spirogen Ltd Pyrrolobenzodiazepines
CN106919911A (zh) * 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
US9307165B2 (en) * 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance
JP4655146B2 (ja) 2008-12-22 2011-03-23 ブラザー工業株式会社 画像形成装置
CN102265597B (zh) 2008-12-26 2013-10-09 松下电器产业株式会社 摄像装置
WO2010093430A1 (en) * 2009-02-11 2010-08-19 Packetvideo Corp. System and method for frame interpolation for a compressed video bitstream
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20110028208A1 (en) 2009-07-30 2011-02-03 LAI Games International Pte. Ltd Game using independent-source game data
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US20120019613A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20110141229A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20120019614A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141224A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US20110141226A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
WO2011069698A1 (en) 2009-12-11 2011-06-16 Tessera Technologies Ireland Limited Panorama imaging
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578851A (zh) * 2007-01-12 2009-11-11 高通股份有限公司 全景成像技术
CN101771829A (zh) * 2008-12-31 2010-07-07 华晶科技股份有限公司 全景图像产生方法

Also Published As

Publication number Publication date
GB201305502D0 (en) 2013-05-08
CN103168315A (zh) 2013-06-19
KR101711036B1 (ko) 2017-02-28
JP5969992B2 (ja) 2016-08-17
GB2498284B8 (en) 2017-07-05
US10080006B2 (en) 2018-09-18
US11115638B2 (en) 2021-09-07
GB2498284B (en) 2017-05-24
JP2013541884A (ja) 2013-11-14
GB2498284A (en) 2013-07-10
DE112011103011T5 (de) 2013-11-07
US20190089941A1 (en) 2019-03-21
WO2012032412A3 (en) 2012-08-02
US20110141227A1 (en) 2011-06-16
KR20130103527A (ko) 2013-09-23
WO2012032412A2 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
CN103168315B (zh) 手持式设备上的立体(3d)全景图创建
US20120019613A1 (en) Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20120019614A1 (en) Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US8294748B2 (en) Panorama imaging using a blending map
CN104365092B (zh) 用于图像融合的方法和设备
EP2328125B1 (en) Image splicing method and device
CN101542529B (zh) 图像的深度图的生成方法和图像处理单元
US9749601B2 (en) Imaging device, image display method, and storage medium for displaying reconstruction image
US7778491B2 (en) Oblique image stitching
US7006709B2 (en) System and method deghosting mosaics using multiperspective plane sweep
EP2545411B1 (en) Panorama imaging
US20110141226A1 (en) Panorama imaging based on a lo-res map
JP6371553B2 (ja) 映像表示装置および映像表示システム
US10055898B1 (en) Multi-video registration for video synthesis
US20110141224A1 (en) Panorama Imaging Using Lo-Res Images
US20110141225A1 (en) Panorama Imaging Based on Low-Res Images
JP2002514359A (ja) モザイク画像を作成する方法及び装置
JP3524147B2 (ja) ３次元画像表示装置
CN109584512A (zh) 一种山地灾害预警方法及预警系统
JP5713256B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
Roman Multiperspective imaging for automated urban visualization
Gurrieri et al. A model for the omnidirectional acquisition and rendering of stereoscopic images for human viewing
JP2012107971A (ja) 画像処理装置および距離計測装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Ireland Galway

Applicant after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: Ireland Galway

Applicant before: Digitaloptics Corporation Europe Limited

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: DIGITAL OPTICAL EUROPE CO., LTD. TO: KUAITU CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant