CN105684440A - 用于增强数字成像的方法和装置 - Google Patents

用于增强数字成像的方法和装置 Download PDF

Info

Publication number
CN105684440A
CN105684440A CN201380080498.0A CN201380080498A CN105684440A CN 105684440 A CN105684440 A CN 105684440A CN 201380080498 A CN201380080498 A CN 201380080498A CN 105684440 A CN105684440 A CN 105684440A
Authority
CN
China
Prior art keywords
image
digital picture
digital
disparity map
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380080498.0A
Other languages
English (en)
Inventor
T·皮尔卡南
S·森
J·科霍南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105684440A publication Critical patent/CN105684440A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

公开了用于形成图像的合成摇摄的方法、装置和计算机程序。基于由一对数码相机拍摄的一对数字图像及其校准信息，视差图针对该对数字图像中的图像对象而被形成。使用该对数字图像形成组合图像。使用视差图来分割组合图像以包括前景区域和背景区域。形成合成摇摄图像的序列，以使对于每个组合图像：在前景区域和背景区域之间施加透视移位；并且裁剪透视移位图像的移位部分。

Description

用于增强数字成像的方法和装置
技术领域
本申请一般涉及增强数字成像。
背景技术
本节未经表示现有技术状态的本文中所描述的任何技术许可的情况下图示了有用的背景信息。
数码相机由于具有相机功能的移动电话已经变得非常普及。还有具有相机功能的各种其它便携式设备，但是移动电话实际上总是通过它们的用户随身携带。数字图像的所得增长已经使得能够拍摄取悦它们相应摄影师的众多图像。需要增强图像观看体验已经通过人们所看到的绝对数量的图像而得以强调。
已经开发出了各种技术方案以增强拍摄数字图像的体验。光学和数字图像稳定已经使得能够进行让摄影师更自由地使用他们的数码相机的更长的曝光时间。3D成像利用一对相机和特殊显示器和/或由观众佩戴的3D眼镜。已经开发出了不同的音调效果和失真以润色图像，从而使它们更加赏心悦目。甚至还有将运动结合到静止图像的图像(还被称为电影动图)。电影动图也需要合适的运动(诸如在风中移动的一些草或从水龙头流出的水)。还有，图像观看已经通过合适的滑进和滑出效果在各种滑动展示中得以增强。仍然需要进一步增强数码相机的使用体验。
发明内容
在权利要求中对本发明的示例的各种方面进行陈述。
根据本发明的第一示例方面，提供了一种装置，包括：
至少一个存储器，其被配置成存储校准信息；
两个数字图像捕获单元，其被配置成以彼此给定的偏移来拍摄相应对的数字图像，该两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在该对数字图像的每幅数字图像中；
该至少一个存储器被进一步配置成存储该对数字图像；
处理器，其被配置成：
基于校准信息和该对数字图像产生用于该对数字图像的视差图；
使用该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪透视移位图像的移位部分。
视差图可以针对该对数字图像中的图像对象而被形成。
可以通过将组合图像分割成前景区域和背景区域来执行组合图像的分割。
可以通过移位前景区域和背景区域中的至少一个区域来施加透视移位。
两个数字图像捕获单元可以由两个数码相机形成。可替代地，两个数字图像捕获单元可以由公共数码相机形成和光学图像分离器形成，所述光学图像分离器具有两个偏移且基本上平行的图像输入端口。光学图像分离器可以包括选自以下各项组成的组的一个或多个部件：镜子、棱镜、无焦点光学元件、出瞳扩大器、和焦点光学元件。
该对数字图像可以具有基本上重叠的视场。当拍摄该对数字图像时，光轴可以平行或几乎平行(例如，高达1，2，3，4或5度差)。
可以通过镶嵌来执行由该对数字图像形成组合图像。
可以用(多个)基于深度的分割算法来执行场景的分割。用户可以被允许识别前景区域以有助于分割。
处理器可以进一步被配置成形成合成摇摄图像序列的动画文件。
该装置进一步可以包括光学图像稳定单元，其被配置成光学地稳定该对数字图像的数字图像中的至少一幅图像。
处理器可以被配置成控制光学图像稳定单元并且控制图像捕获单元，以便拍摄将受到光学图像稳定单元影响的视图在合成摇摄方向上从一幅图像移位到另一幅图像的多幅图像。
该装置还可以包括显示器。该处理器可以进一步被配置成在显示器上呈现预览，以图示可以用图像捕获单元的当前视图产生的合成摇摄。
该装置可以进一步包括用户输入。该处理器可以进一步被配置成使用户能够确定至少一个参数并且在以下各项中的任一项或多项中使用所述至少一个参数：视差图的产生、组合图像的形成、组合图像的分割，以及合成摇摄图像序列的形成。
用户输入可以包括触摸屏。该处理器可以被配置成通过识别手势(诸如在触摸屏上轻扫)来至少部分地形成所述至少一个参数。
处理器可以被配置成控制光学图像稳定单元以执行图像稳定和视图移位两者。光学图像稳定可以被执行到在视图移位之后可能的程度。
处理器可以被配置成使得数字图像捕获单元拍摄多对数字图像，并且使得光学图像稳定单元对于不同对的数字图像以不同的方式执行视图的移位。处理器可以被配置成基于多对数字图像来执行视差图的产生。处理器可以被配置成使用多对数字图像执行组合图像的形成。
处理器还可以进一步被配置成使用图像捕获单元的改变的相互几何结构以有助于视差图的产生或细化视差图。
根据本发明的第二示例方面，提供了一种装置，包括：
至少一个存储器，其被配置成存储校准信息；
以彼此给定的偏移的两个数字图像捕获单元，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在用两个图像捕获单元中的每个图像捕获单元拍摄的图像中；
处理器，其被配置成使用于形成视频对象的装置顺序地：
使得两个数字图像捕获单元捕获一对数字图像；
在至少一个存储器中存储所捕获的一对数字图像；
基于校准信息和该对数字图像产生用于该对数字图像的视差图；
由该对数字图像形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
由顺序地形成的组合图像来形成合成摇摄图像，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪图像的移位部分。
视差图可以针对该对数字图像中的图像对象而被形成。
可以通过将组合图像分割成前景区域和背景区域来执行组合图像的分割。
可以通过移位前景区域和背景区域中的至少一个区域来施加透视移位。
第一和第二示例方面中的任一方面的装置可以由便携式设备、手持设备、数码相机、摄录像机、游戏设备、移动电话、游戏设备、膝上型计算机和平板计算机中的任一个组成，或包括便携式设备、手持设备、数码相机、摄录像机、游戏设备、移动电话、游戏设备、膝上型计算机和平板计算机中的任一个。
根据本发明的第三示例方面，提供了一种装置，被配置成作为第一示例实施例的装置并且作为第二示例实施例的装置操作，使得如同第一示例方面的装置一样，一系列的合成摇摄图像由一对数字图像形成，并且如同第二示例方面一样，另一系列的合成摇摄图像由另一对数字图像形成。
根据本发明的第四示例方面，提供了一种方法，包括：
存储校准信息；
通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应对的数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在该对数字图像的每幅数字图像中；
存储该对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
使用该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪透视移位图像的移位部分。
根据本发明的第五示例方面，提供了一种方法，包括：
存储校准信息；
使用两个数字图像捕获单元以彼此给定的偏移来形成视频图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在用两个图像捕获单元中的每个图像捕获单元拍摄的图像中；和
顺序地：
使用两个数字图像捕获单元来捕获一对数字图像；
存储所捕获的一对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
由该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
由顺序地形成的组合图像来形成合成摇摄图像，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪图像的移位部分。
根据本发明的第六示例方面，提供了一种装置，包括处理器，其被配置成：
存储校准信息；
通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应对的数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现该对数字图像中的每幅数字图像中；
存储该对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
使用该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪透视移位图像的移位部分。
根据本发明的第七示例方面，提供了一种装置，包括处理器，其被配置成：
存储校准信息；
使用两个数字图像捕获单元以彼此给定的偏移来形成视频图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在用两个图像捕获单元中的每个图像捕获单元拍摄的图像中；和
顺序地：
使用两个数字图像捕获单元来捕获一对数字图像；
存储所捕获的一对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
由该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
由顺序地形成的组合图像形成合成摇摄图像，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪图像的移位部分。
根据本发明的第八示例方面，提供了一种装置，包括：
至少一个处理器；和
至少一个存储器，其包括计算机程序代码；
所述至少一个存储器和所述至少一个计算机程序代码被配置成与所述至少一个处理器一起使得该装置至少执行以下操作：
存储校准信息；
通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应对的数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在该对数字图像的每幅图像中；
存储该对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
使用该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪透视移位图像的移位部分。
根据本发明的第九示例方面，提供了一种装置，包括：
至少一个处理器；和
至少一个存储器，其包括计算机程序代码；
所述至少一个存储器和所述至少一个计算机程序代码被配置成与所述至少一个处理器一起使得该装置至少执行以下操作：
存储校准信息；
使用两个数字图像捕获单元以彼此给定的偏移来形成视频图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在用两个图像捕获单元中的每个图像捕获单元拍摄的图像中；
顺序地：
使用两个数字图像捕获单元来捕获一对数字图像；
存储所捕获的一对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
由该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
由顺序地形成的组合图像来形成合成摇摄图像，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪图像的移位部分。
根据本发明的第十示例方面，提供了一种计算机程序，包括：
当计算机程序在处理器上运行时：
用于存储校准信息的代码；
用于通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应对的数字图像的代码，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在该对数字图像的每幅图像中；
用于存储该对数字图像的代码；
用于基于校准信息和该对数字图像来产生用于该对数字图像的视差图的代码；
用于使用该对数字图像来形成组合图像的代码；
用于使用视差图来分割组合图像以包括前景区域和背景区域的代码；和
用于形成合成摇摄图像序列的代码，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪透视移位图像的移位部分。
根据本发明的第十一示例方面，提供了一种计算机程序，包括：
当计算机程序在处理器上运行时：
用于存储校准信息的代码；
用于使用两个数字图像捕获单元以彼此给定的偏移来形成视频图像的代码，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可能出现在用两个图像捕获单元中的每个图像捕获单元拍摄的图像中；和
用于顺序地执行以下各项的代码：
使用两个数字图像捕获单元来捕获一对数字图像；
存储所捕获的一对数字图像；
基于校准信息和该对数字图像来产生用于该对数字图像的视差图；
由该对数字图像来形成组合图像；
使用视差图来分割组合图像以包括前景区域和背景区域；
由顺序地形成的组合图像来形成合成摇摄图像，以使对于每个组合图像：
在前景区域和背景区域之间施加透视移位；和
裁剪图像的移位部分。
第十或第十一示例方面的计算机程序可以是包括计算机可读介质的计算机程序产品，所述计算机可读介质在其中承载体现用于与计算机一起使用的计算机程序代码。
任何前述的存储器介质可以包括数字数据存储装置，诸如数据盘或磁盘、光学存储装置、磁性存储装置、全息存储装置、光磁存储装置、相变存储器、电阻随机存取存储器、磁性随机存取存储器、固体电解质存储器、铁电随机存取存储器、有机存储器、或聚合物存储器。存储器介质可以形成为除了存储存储器之外没有其他实质功能的设备，或者它可以被形成为具有其它功能的设备的一部分，包括但不限于计算机的存储器、芯片组、和电子设备的子组件。
本发明的不同的非结合示例方面和实施例已经在前面进行了图示。前述中的实施例仅用来解释可以在本发明的实现方式中利用的所选方面或步骤。可以仅参照本发明的某些示例方面呈现一些实施例。应当理解，对应的实施例还可以应用于其它示例方面。
附图说明
为了更完整的理解本发明的示例实施例，现在参照结合附图所作的以下描述，其中：
图1示出了用作可以用其解释本发明的一些示例实施例的引用的示意性系统；
图2示出了图1的成像装置的框图；
图3示出了根据本发明的示例实施例的成像单元的框图；
图4a至图4d示出了具有说明性裁剪图像对应关系的两个数字图像捕获单元的视场；
图5a至图5d是示出了当利用光学图像稳定时两个数字图像捕获单元的类似视场；
图6示出了图示例如用于捕获具有合成摇摄效果的静止图像的根据示例实施例的过程的流程图；和
图7示出了图示例如用于捕获具有合成摇摄效果的视频图像的根据示例实施例的过程700的流程图。
具体实施方式
通过参照附图中的图1至图7理解本发明的示例实施例及其潜在优点。在该文档中，相似附图标记表示相似部件或步骤。
以下描述首先描述了适合于在其之后描述了关于一些过程的更具体结构和示例的实施一些示例实施例的各种一般结构。
图1示出了用作可以用其解释本发明的一些示例实施例的引用的示意性系统100。该系统100包括设备110(诸如相机电话、游戏设备、安全相机设备、个人数字助理、平板计算机、或带有具有视场130的成像单元120的数码相机。该设备110还包括显示器140。图1还示出了用户105和由成像单元120和背景160(诸如图像对象后面的帘幕)成像的图像对象150。
在图1中，与图像对象150处的视场相比较，图像对象150相对较小。紧挨着图像对象150，存在连续背景160和二次对象155。尽管这种设置绝不是必须的，但是它用来简化图1和本发明的一些示例实施例的描述。
图2示出了本发明的示例实施例的成像装置200的框图。成像装置200适合于作为设备110操作。该装置200包括通信接口220、耦合至通信接口模块220的主机处理器210、和耦合至主机处理器210的存储器240。
存储器240包括工作存储器和非易失性存储器(诸如只读存储器、闪速存储器、光学或磁性存储器)。在存储器240中，典型地，最初至少在非易失性存储器中，存在可操作以由主机处理器210加载并且执行的所存储的软件250。软件250可以包括一个或多个软件模块，并且可以采用计算机程序产品的形式，该计算机程序产品是存储在存储器介质中的软件。成像装置200还包括各自耦合至主机处理器210的一对数字图像捕获单元260和取景器270。取景器270在示例实施例中通过使用被配置成示出实况相机视图的显示器来实现。数字图像捕获单元260和处理器210经由相机接口280相连。
在一个示例实施例中，两个数字图像捕获单元260由两个数码相机形成。在另一示例实施例中，两个数字图像捕获单元由公共数码相机和光学图像分离器形成，该光学图像分离器具有两个偏移且基本上平行的图像输入端口。因此，图像传感器的一部分用来捕获一幅数字图像，并且图像传感器的另一部分用来捕获另一幅数字图像。光学图像分离器包括例如选自由以下各项组成的组的一个或多个部件：镜子、棱镜、无焦点光学元件、出瞳扩大器、以及焦点光学元件。例如，公共图像传感器可以布置在两个输入端口之间并且与其光学地连接。
在示例实施例中，该对数字图像具有基本上重叠的视场。
在示例实施例中，当拍摄该对数字图像时，图像捕获单元260的光轴可以平行或几乎平行(例如，高达1，2，3，4或5度差)。在成像装置200配备有用于图像捕获单元中的至少一个图像捕获单元的光学图像稳定的情况下，可以在由光学图像稳定提供的中心位置处确定每个图像捕获单元260的光轴。
在示例实施例中，图像捕获单元260就它们可能具有的以下功能性的任一种而言是相同的：焦距、图像捕获角度、自动曝光控制、自动白平衡控制、以及自动聚焦控制。在示例实施例中，图像捕获单元260在这些功能性的一个或多个共享公共控制。然而，在另一示例实施例中，相机单元与这些功能性的一种或多种功能性不同。根据所需实现方式视适当情况而定对结合信息形成的图像执行软件匹配。这种匹配只能针对所需裁剪面积(croparea)。
术语“主机处理器”是指不同于数字图像捕获单元260中的一个或多个处理器的装置200中的处理器(在图3中被称为(多个)相机处理器330)。取决于实现方式，本发明的不同示例实施例以不同的方式共享图像信息的处理以及成像单元300的控制。还有，在一个示例实施例中，动态(onthefly)执行处理，并且在另一示例实施例中，离线执行处理。如同一个示例实施例中一样，还可能的是可以动态处理给定数量的图像或图像信息，并且在其之后，使用离线操作模式。动态操作例如是指与拍摄图像同步发生的并且典型地在可以拍摄下一图像之前完成的这样的实时或近实时的操作。
应当理解，本文档中的任何耦合是指功能或操作耦合；在耦合的元件之间可能存在介于中间的部件或电路。
通信接口模块220被配置成通过一个或多个本地链接提供本地通信。链路可以是有线和/或无线链路。进一步地或可替换地，通信接口220可以实现适合于建立与其它用户的链路或用于数据传送(例如，使用因特网)的电信链路。这样的电信链路可能是使用以下各项中的任一项的链路：无线局域网络链路、蓝牙、超宽带、蜂窝或卫星通信链路。通信接口220可以被集成到装置200中或被集成到可以插入到装置200的合适的插槽或端口中的适配器、卡等中。尽管图2示出了一个通信接口220，但是该装置可以包括多个通信接口220。
本文档中所提及的任何处理器选自比如由以下各项中的至少一项组成的组：中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、图形处理单元、专用集成电路(ASIC)、现场可编程门阵列、微控制器、和任何数目的其组合和任何其组合。图2示出了一个主机处理器210，但是装置200可以包括多个主机处理器。
如前述所提及的，存储器240可以包括易失性和非易失性存储器，诸如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、随机存取存储器(RAM)、闪速存储器、数据盘、光学存储装置、磁性存储装置、智能卡等。在一些示例实施例中，在装置200中仅存在易失性或非易失性存储器。而且，在一些示例实施例中，装置包括多个存储器。在一些示例实施例中，各个元件被集成。比如，存储器240可以被构造成装置200的一部分或者插入到插槽、端口等中。更进一步地，存储器240可以仅用作存储数据的目的，或者它可以被构造成用作其它目的(诸如处理数据)的装置的一部分。对于各种其它元件，还可以想到类似选项。
本领域技术人员应当理解，除了图2所示的元件之外，装置200可以包括其它元件，诸如麦克风、显示器以及附加电路(诸如另一输入/输出(I/O)电路、存储器芯片、专用集成电路(ASIC)、用于特定目的的处理电路(诸如源编码/解码电路、信道编码/解码电路、加密/解密电路等)。附加地，装置200可以包括用于当外部电源不可用时，向装置供电的一次性或可再充电电池(未示出)。
在示例实施例中，图像捕获单元包括测距仪(诸如超声检测器、分裂像素传感器、光相位检测、和/或用于确定到图像捕获单元可见的一个或多个图像对象的距离的图像分析器。
还有用的是实现在本文档中使用具有变化范围的术语“装置”。在一些更广泛的权利要求和示例中，该装置可以是指仅在图2中呈现的或甚至在没有图2的特征中的任一个的情况下实现的特征子集。在一个示例实施例中，术语“装置”是指处理器210，处理器210的输入被配置成从数字图像捕获单元260接收信息，并且处理器210的输出被配置成向取景器提供信息。比如，图像处理器可以包括处理器210并且所讨论的设备可以包括相机处理器330和图3所示的相机接口280。
图3示出了本发明的示例实施例的成像单元300的框图。数字图像捕获单元300包括两个偏移定位的目标310、图像稳定单元312中相应的两个光学图像稳定器315、和各自距离两个目标310更远的两个图像传感器320、相机处理器330、包括数据(诸如用户设置344)的存储器340、以及软件342，相机处理器330用该软件342可以管理成像单元300的操作。相机处理器330作为示例实施例的图像处理电路操作。还提供输入/输出或相机接口280以使信息能够在成像单元300和主机处理器210之间交换。图像传感器320比如是CCD或CMOS单元。在CMOS单元的情况下，图像传感器320还可以包含在具有图像传感器320的公共硅芯片上实现的内置模拟到数字转换。在备选示例实施例中，在图像传感器320和相机处理器330之间提供单独的A/D转换。
相机处理器330特别留意以下功能的一个或多个功能的示例性实施例：数字图像稳定、像素颜色插值、白平衡校正、边缘增强、纵横比控制、暗角校正、用于高动态范围成像的后续图像的组合、Bayer重建滤波、色像差校正、灰尘效果补偿、以及向下缩放图像。
在示例实施例中，相机处理器330很少执行处理或根本不执行处理。在其中成像单元300仅形成数字化图像用于例如通过主机处理器210进行后续处理的示例实施例中，完全省略了相机处理器330。对于大多数的以下描述，可以使用相机处理器330、主机处理器210、它们的组合、或任何其它处理器或多个处理器来执行处理。
图4a至图4d示出了具有说明性裁剪图像430对应关系的两个数字图像捕获单元260的视场410，420。示出了两个图像对象440和450。图5a至图5d示出了当采用光学图像稳定以拓宽可用于说明性裁剪图像的组合视场或者画布时，具有说明性裁剪图像530对应关系的两个数字图像捕获单元260的类似视场510，520。
图5a示出了其中两者的视场510，520如图4a中的一样的情形。图5b图示了其中视场510，520的组合通过使用一个数字图像捕获单元的光学图像稳定进行变窄，以使视场510中的一个视场与另一个视场更多地重叠的情形。如参照图6随后更加详细地所解释的，这种改变可以用来增强两个数字图像捕获单元260的组合图像的分割。
图5c图示了其中视场510，520的组合通过使用一个数字图像捕获单元的光学图像稳定进行拓宽以使视场510中的一个视场与另一个视场更少地重叠的情形。
在图5d中，移位到另一视场520以拓宽组合的视场。图5b、图5a、图5c和5d可以被看作是演示光学图像稳定如何可以用来拓宽可用于形成组合图像的组合的视图或者画布的序列。
在图4a至图4d和图5a至5d中，图示了视场的水平移位。应当理解，可以沿着任何线性轴线(水平、垂直、对角)并且在任一方向上执行移位，还可能根据所需的实现方式向后或沿着非线性路径执行移位。
图6示出了图示根据示例实施例的过程600的流程图。该过程可以例如使用具有两个数字图像捕获单元260的成像装置200来执行。校准信息被存储在至少一个存储器605中。在制造成像装置200时或者在稍后的阶段例如通过成像装置200的用户来存储校准信息。这些图像捕获单元以彼此给定的偏移来拍摄相应对的数字图像，这些图像捕获单元具有重叠的视场，以使一些图像对象可能出现在该对数字图像中的每幅图像中，610。
该对数字图像被存储在至少一个存储器中，615。
在该过程600中，可以例如由处理器执行进一步的步骤如下：
基于校准信息和该数字图像产生用于该对数字图像的视差图，620；
使用该对数字图像来形成组合图像，625；
使用视差图来分割组合图像以包括前景区域和背景区域，630；
形成合成摇摄图像序列，以使对于每个组合图像，635：
在前景区域和背景区域之间施加透视移位，640；和
裁剪透视移位图像的移位部分，645。
在示例实施例中，视差图针对该对数字图像中的图像对象而被形成。
在示例实施例中，通过将组合图像分割成前景区域和背景区域来执行组合图像的分割。
在示例实施例中，通过移位前景区域和背景区域中的至少一个区域来施加透视移位，640。
在示例实施例中，前景区域可以是不连续的。
在示例实施例中，背景区域可以是不连续的。
在示例实施例中，前景区域是指出现在成像装置200的给定的距离范围处的显著对象或多个对象。在另一示例实施例中，前景区域是指不同距离范围处的显著对象。例如，图像捕获单元260的一个或多个可以被配置成捕获具有深聚焦范围的图像(例如，使用小孔径和/或小焦距)，以便获得范围由近至远的对象的清晰图像。然后，可以例如基于自动对象识别算法(诸如显著对象检测)和/或基于用户输入(例如，在触摸显示器上用套索捕捉)选择所需的显著对象。所排除的图像部分可以不管背景区域中的对象离成像装置260的距离被定义为背景区域。在示例实施例中，然后适当地处理背景区域来以所需的方式强调前景区域。在示例实施例中，所讨论的处理选自由以下各项组成的组：模糊、减少所有颜色的总亮度、减少一些颜色通道的亮度、减少颜色饱和度、减少对比度、以及调色(例如，使用深褐色或黑色和白色处理)。
可以例如循环执行合成摇摄图像序列的形成635，其中，如果合成图像序列准备就绪，则检查它，650，并且如果没有，则重复另一轮步骤640至步骤645，或以其它方式结束该程序，655。
在示例实施例中，通过镶嵌来执行由该对数字图像形成组合图像，625。
在示例实施例中，用(多个)基于深度的分割算法来执行场景的分割，630。用户可以被允许识别前景区域以有助于分割
比如，看图4a至图5d，凳子540驻留在前景区域中并且面部550驻留在背景区域中。在这种背景下，前景区域可以是指比背景区域更靠近成像装置200驻留的图像部分，该背景区域是指远离成像装置200的图像部分。尽管术语“图像对象”还应当被广义地理解，但是这两个部分包括一些图像对象。比如，一个均匀部分可能出现在不同距离处的组合图像的不同部分处，因此形成前景区域和背景区域两者。
由于两个数字图像捕获单元，可能看到前景区域后面并且形成3D视图。形成625组合图像并且分割630组合图像可以用来施加640透视移位，使得前景区域和背景区域可以相对于彼此透视移位。这种透视移位以与实际摇摄相机的效果对应的方式改变这些区域的关系。在示例实施例中，只有背景区域被移位。在另一示例实施例中，前景区域被移位但小于从成像装置200到前景区域中的对象的距离，该距离将在现实生活中导致相机摇摄。在另一示例实施例中，通过仿制可能由现实生活摇摄导致的效果来执行透视移位，使得基于所估计或测量的离成像装置的距离来执行前景区域和背景区域的移位。
通过裁剪组合图像的移位部分，可以进一步强调摇摄效果。而且，摇摄效果可以由一对静止图像产生，即，可以形成摇摄效果并且同时停止运动。
如图5a至图5d所图示的，光学图像稳定可以用来控制图像捕获单元以将受影响的视场在合成摇摄方向上从一幅图像移位到另一幅图像。
在示例实施例中，呈现显示器上的预览以图示可以用图像捕获单元的当前视图产生的合成摇摄。
在示例实施例中，至少一个参数的用户确定是用于以下各项中的任一项或多项的输入：视差图的产生、组合图像的形成、组合图像的分割、以及合成摇摄图像序列的形成。例如，用户输入可以通过识别诸如在触摸屏上轻扫之类的手势用触摸屏来获得。
在示例实施例中，光学图像稳定用来执行图像稳定和视图的移位用于产生合成摇摄效果。在这种情况下，光学图像稳定可以执行到在视图的移位之后可能的程度。
在可以由图5a至图5d所图示的示例实施例中，控制数字图像捕获单元以拍摄多对数字图像，并且光学图像稳定单元用来对于不同对的数字图像以不同的方式执行视图的移位。可以基于多对数字图像来产生视差图。然后可以使用多对数字图像来执行组合图像的形成。图像捕获单元的改变的相互几何结构可以用来有助于产生视差图或细化视差图。
在示例实施例中，动画文件由合成摇摄图像序列形成。
图7示出了图示根据示例实施例的过程700的流程图。该过程700可以例如使用具有两个数字图像捕获单元260的成像装置200来执行。如前述所解释的，两个数字图像捕获单元260以彼此给定的偏移并且具有重叠的视场，以使一些图像对象可能出现在用两个图像捕获单元中的每个图像捕获单元拍摄的图像中。
存储校准信息，605。
控制用于形成视频图像的成像装置，以顺序地，710：
使两个数字图像捕获单元捕获一对数字图像，715；
存储所捕获的一对数字图像，720；
基于校准信息和该对数字图像产生用于该对数字图像的视差图，725；
由该对数字图像来形成组合图像，730；
使用视差图来分割组合图像以包括前景区域和背景区域，735；
由顺序地形成的组合图像来形成合成摇摄图像，以使对于每个组合图像，740：
在前景区域和背景区域之间施加透视移位，745；和
裁剪图像的移位部分，750。
在示例实施例中，在步骤755至步骤715中重复地重新开始操作直至捕获了所需数量对的数字图像为止(当形成视频图像没有准备就绪时)。当视频图像形成准备就绪时，该过程从步骤755前进到程序结束，760。
在另一示例实施例中，在进一步处理(诸如视差图的产生725、组合图像的形成730、分割735、以及序列的形成740)之前，首先捕获多对数字图像。
在示例实施例中，在返回到捕获新一对的数字图像时，使用光学图像稳定用于移位图像捕获单元260中的至少一个图像捕获单元的视场。在这种情况下，捕获715一对数字图像可以被理解为包括视场的任选移位。
不同于图6所图示的过程600，由图7所图示的过程700通过顺序地捕获这些对的数字图像来形成视频图像。尽管在很大程度上与图6的过程6相对应形成摇摄效果，但是操作并不基于单对的数字图像。因此，运动没有如同图6的过程600一样被停止，同时仍然可能形成摇摄效果，例如，即使成像装置200是固定的或不移动的。图7的过程可以用于例如监控相机系统中，以使能够更好地看到阻碍人员与对象后面。
不以任何方式限制下文出现的权利要求的范围、解释或应用，本文中所公开的示例实施例的一个或多个的技术效果在于可以由一对数字图像形成合成摇摄效果以增强数字成像的用户体验。本文中所公开的示例实施例的一个或多个示例实施例的另一技术效果在于在捕获图像或视频图像之前，通过数字成像装置的用户预览并且调整合成摇摄效果。本文中所公开的示例实施例的一个或多个的另一技术效果在于当一些以其它方式阻挡的图像部分通过合成摇摄变得可见时，通过合成摇摄效果可以向观看者呈现更多的信息。
本发明的实施例可以以软件、硬件、应用逻辑、或软件、硬件和应用逻辑的组合来实现。软件、应用逻辑和/或硬件可以驻留在固定的、可移动或可远程访问的存储介质上。如果需要，则软件、应用逻辑和/或硬件的一部分可以驻留在成像装置上，并且软件、应用逻辑和/或硬件的一部分可以驻留在包含成像装置的主机设备上，并且软件、应用逻辑和/或硬件的一部分可以驻留在处理器、芯片组或专用集成电路上。在示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任一种上。在本文档的背景中，“计算机可读介质”可以是能够包含、存储、传达、传播或传送指令以供通过或者结合指令执行系统、装置或设备(诸如计算机)使用的任何非暂态介质或器件，而计算机的一个示例在图2中得以描述并且描绘。计算机可读介质可以包括可以是可以包含或存储指令以供通过或结合指令执行系统、装置或设备(诸如计算机)使用的任何介质或器件的计算机可读存储介质。
如果需要，则本文中所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。更进一步地，如果需要，则之前所描述的功能的一个或多个可以是可选的或者可以组合。
尽管本发明的各种方面在独立权利要求中得以陈述，但是本发明的其它方面包括来自所描述的实施例和/或具有独立权利要求的特征的从属权利要求的特征的其它组合，而不是仅仅在权利要求中明确陈述的组合。所附的摘要通过引用并入本文作为一个示例实施例。
本文中还应当注意，尽管上述描述了本发明的示例实施例，但是这些描述不应当被视为有限制意义。相反，存在在不脱离如在所附权利要求所限定的本发明的范围的情况下做出的几个变型和修改。

Claims (59)

1.一种装置，包括：
至少一个存储器，被配置成存储校准信息；
两个数字图像捕获单元，被配置成以彼此给定的偏移来拍摄相应的一对数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在所述一对数字图像的每幅数字图像中；
所述至少一个存储器被进一步配置成存储所述一对数字图像；
处理器，被配置成：
基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图；
使用所述一对数字图像形成组合图像；
使用所述视差图分割所述组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在所述前景区域和背景区域之间施加透视移位；和
裁剪所述透视移位图像的移位部分。
2.根据权利要求1所述的装置，其中，所述视差图针对所述一对数字图像中的所述图像对象而被形成。
3.根据权利要求1或2所述的装置，其中，通过将所述组合图像分割成所述前景区域和所述背景区域来执行所述组合图像的所述分割。
4.根据前述权利要求中的任一项所述的装置，其中，通过移位所述前景区域和所述背景区域中的至少一个区域来施加所述透视移位。
5.根据前述权利要求中的任一项所述的装置，其中，所述两个数字图像捕获单元由两个数码相机形成。
6.根据前述权利要求中的任一项所述的装置，其中，所述两个数字图像捕获单元由公共数码相机和光学图像分离器形成，所述光学图像分离器具有两个偏移且基本上平行的图像输入端口。
7.根据前述权利要求中的任一项所述的装置，其中，所述一对数字图像具有基本上重叠的视场。
8.根据前述权利要求中的任一项所述的装置，其中，所述处理器被配置成通过镶嵌执行由所述一对数字图像形成组合图像。
9.根据前述权利要求中的任一项所述的装置，其中，所述处理器被配置成使用至少一个基于深度的分割算法来执行场景的所述分割。
10.根据前述权利要求中的任一项所述的装置，其中，所述处理器被配置成使所述装置的用户能够识别所述前景区域以有助于所述分割。
11.根据前述权利要求中的任一项所述的装置，其中，所述处理器进一步被配置成形成所述合成摇摄图像的所述序列的动画文件。
12.根据前述权利要求中的任一项所述的装置，还包括：光学图像稳定单元，被配置成光学地稳定所述一对数字图像的所述数字图像中的至少一幅数字图像。
13.根据权利要求12所述的装置，其中，所述处理器进一步被配置成控制所述光学图像稳定单元并且控制所述图像捕获单元，以便拍摄将受到光学图像稳定单元影响的所述视图在所述合成摇摄的方向上从一幅图像移位到另一幅图像的多幅图像。
14.根据权利要求12或13所述的装置，其中，处理器被配置成控制所述光学图像稳定单元以执行图像稳定和所述视图的所述移位两者。
15.根据权利要求14所述的装置，其中，所述处理器被配置成使得所述光学图像稳定被执行到在所述视图的所述移位之后可能的程度。
16.根据权利要求12至15中的任一项所述的装置，其中，所述处理器进一步被配置成使所述数字图像捕获单元拍摄多对所述数字图像，并且使所述光学图像稳定单元对于不同对的数字图像以不同的方式执行所述视图的所述移位。
17.根据权利要求16所述的装置，其中，所述处理器进一步被配置成基于所述多对数字图像来执行所述视差图的所述产生。
18.根据权利要求16或17所述的装置，其中，所述处理器进一步被配置成使用所述多对数字图像来执行所述组合图像的所述形成。
19.根据权利要求12至18中的任一项所述的装置，其中，所述处理器进一步被配置成使用所述图像捕获单元的改变的相互几何结构以有助于所述视差图的所述产生或细化所述视差图。
20.根据前述权利要求中的任一项所述的装置，还包括显示器。
21.根据权利要求20所述的装置，其中，所述处理器被配置成使在所述显示器上呈现预览以图示能够用所述图像捕获单元的当前视图产生的合成摇摄。
22.根据前述权利要求中的任一项所述的装置，还包括用户输入。
23.根据权利要求22所述的装置，其中，所述处理器进一步被配置成使用户能够确定至少一个参数并且在以下各项中的任一项或多项中使用所述至少一个参数：所述视差图的所述产生；所述组合图像的所述形成；所述组合图像的所述分割；以及所述合成摇摄图像序列的所述形成。
24.根据权利要求22或23所述的装置，其中，所述用户输入包括触摸屏。
25.根据权利要求24所述的装置，其中，所述处理器被配置成至少部分地通过识别诸如在所述触摸屏上轻扫之类的手势形成所述至少一个参数。
26.一种装置，包括：
至少一个存储器，被配置成存储校准信息；
以彼此给定的偏移的两个数字图像捕获单元，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在用所述两个图像捕获单元中的每个图像捕获单元拍摄的图像中；
处理器，被配置成使得用于形成视频图像的所述装置顺序地：
使所述两个数字图像捕获单元捕获一对数字图像；
在所述至少一个存储器中存储所捕获的一对数字图像；
基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图；
由所述一对数字图像形成组合图像；
使用所述视差图分割所述组合图像以包括前景区域和背景区域；
由顺序地形成的所述组合图像形成合成摇摄图像，以使对于每个组合图像：
在所述前景区域和背景区域之间施加透视移位；和
裁剪所述图像的移位部分。
27.根据权利要求26所述的装置，其中，所述视差图针对所述一对数字图像中的所述图像对象而被形成。
28.根据权利要求26或27所述的装置，其中，通过将所述组合图像分割成所述前景区域和所述背景区域来执行所述组合图像的所述分割。
29.根据权利要求26至28中的任一项所述的装置，其中，通过移位所述前景区域和所述背景区域中的至少一个区域来施加所述透视移位。
30.根据前述权利要求中的任一项所述的装置，其中，所述装置包括以下各项中的至少一项：便携式设备、手持设备、数码相机、摄录像机、游戏设备、移动电话、游戏设备、膝上型计算机、以及平板计算机。
31.一种方法，包括：
存储校准信息；
通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应的一对数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在所述一对数字图像的每幅数字图像中；
存储所述一对数字图像；
基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图；
使用所述一对数字图像来形成组合图像；
使用所述视差图来分割所述组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在所述前景区域和背景区域之间施加透视移位；和
裁剪所述透视移位图像的移位部分。
32.根据权利要求31所述的方法，其中，所述视差图针对所述一对数字图像中的所述图像对象而被形成。
33.根据权利要求31或32所述的方法，其中，通过将所述组合图像分割成所述前景区域和所述背景区域来执行所述组合图像的所述分割。
34.根据权利要求31至33中的任一项所述的方法，其中，通过移位所述前景区域和所述背景区域中的至少一个区域来施加所述透视移位。
35.根据权利要求31所述的方法，其中，所述一对数字图像具有基本上重叠的视场。
36.根据权利要求31或32所述的方法，还包括：通过镶嵌执行由所述一对数字图像来形成组合图像。
37.根据权利要求31至36中的任一项所述的方法，还包括：使用至少一个基于深度的分割算法来执行场景的所述分割。
38.根据权利要求31至37中的任一项所述的方法，还包括：使用户能够识别所述前景区域以有助于所述分割。
39.根据权利要求31至38中的任一项所述的方法，还包括：形成所述合成摇摄图像的所述序列的动画文件。
40.根据权利要求31至39中的任一项所述的方法，还包括：光学地稳定所述一对数字图像的所述数字图像中的至少一幅数字图像。
41.根据权利要求40所述的方法，还包括：控制所述光学图像稳定单元和所述图像捕获单元，以拍摄将受到光学图像稳定影响的所述视图在所述合成摇摄的方向上从一幅图像移位到另一幅图像的多幅图像。
42.根据权利要求40或41所述的方法，包括：执行图像稳定和所述视图的所述移位。
43.根据权利要求42所述的方法，包括：执行所述光学图像稳定到在所述视图的所述移位之后可能的程度。
44.根据权利要求40至43中的任一项所述的方法，还包括：拍摄多对所述数字图像，并且执行所述光学图像稳定以对于不同对的数字图像以不同的方式执行所述视图的所述移位。
45.根据权利要求44所述的方法，其中，所述产生所述视差图是基于所述多对数字图像。
46.根据权利要求44或45所述的方法，还包括：使用所述多对数字图像来执行所述组合图像的所述形成。
47.根据权利要求40至46中的任一项所述的方法，还包括：使用所述图像捕获单元的改变的相互几何结构以有助于所述视差图的所述产生或细化所述视差图。
48.根据权利要求31至47中的任一项所述的方法，还包括：显示预览以图示合成摇摄，所述合成摇摄能够用所述图像捕获单元的当前视图来产生。
49.根据权利要求31至48中的任一项所述的方法，还包括：接收至少一个参数的用户确定，并且在以下各项中的任一项或多项中使用所述至少一个参数：所述视差图的所述产生、所述组合图像的所述形成、所述组合图像的所述分割、以及所述合成摇摄图像序列的所述形成。
50.根据权利要求49所述的方法，其中所述至少一个参数至少部分地通过识别用户在触摸屏上的手势来确定。
51.一种方法，包括：
存储校准信息；
使用两个数字图像捕获单元以彼此给定的偏移来形成视频图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在用所述两个图像捕获单元中的每个图像捕获单元拍摄的图像中；和
顺序地：
使用所述两个数字图像捕获单元来捕获一对数字图像；
存储所捕获的一对数字图像；
基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图；
由所述一对数字图像形成组合图像；
使用所述视差图来分割所述组合图像以包括前景区域和背景区域；
由顺序地形成的所述组合图像形成合成摇摄图像，以使对于每个组合图像：
在所述前景区域和所述背景区域之间施加透视移位；和
裁剪所述图像的移位部分。
52.根据权利要求51所述的方法，其中，所述视差图针对所述一对数字图像中的所述图像对象而被形成。
53.根据权利要求51或52所述的方法，其中，通过将所述组合图像分割成所述前景区域和所述背景区域来执行所述组合图像的所述分割。
54.根据权利要求51至53中的任一项所述的方法，其中，通过移位所述前景区域和背景区域中的至少一个区域来施加所述透视移位。
55.一种装置，包括处理器，所述处理器被配置成：
存储校准信息；
通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应的一对数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在所述一对数字图像中的每幅数字图像中；
存储所述一对数字图像；
基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图；
使用所述一对数字图像来形成组合图像；
使用所述视差图来分割所述组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在所述前景区域和背景区域之间施加透视移位；和
裁剪所述透视移位图像的移位部分。
56.根据权利要求55所述的装置，其中，所述处理器包括至少一个存储器，所述至少一个存储器包含可执行指令，所述可执行指令在由所述处理器执行时使得所述装置执行根据权利要求31至51中的任一项所述的方法。
57.一种装置，包括：
至少一个处理器；和
至少一个存储器，包括计算机程序代码；
所述至少一个存储器和所述至少一个计算机程序代码被配置成与所述至少一个处理器一起使所述装置执行至少以下操作：
存储校准信息；
通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应的一对数字图像，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在所述一对数字图像的每幅数字图像中；
存储所述一对数字图像；
基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图；
使用所述一对数字图像来形成组合图像；
使用所述视差图来分割所述组合图像以包括前景区域和背景区域；
形成合成摇摄图像序列，以使对于每个组合图像：
在所述前景区域和背景区域之间施加透视移位；和
裁剪所述透视移位图像的移位部分。
58.一种计算机程序，包括当所述计算机程序在处理器上运行时：
用于存储校准信息的代码；
用于通过两个数字图像捕获单元以彼此给定的偏移来拍摄相应的一对数字图像的代码，所述两个数字图像捕获单元具有重叠的视场，以使一些图像对象可以出现在所述一对数字图像的每幅数字图像中；
用于存储所述一对数字图像的代码；
用于基于所述校准信息和所述一对数字图像来产生用于所述一对数字图像的视差图的代码；
用于使用所一对数字图像来形成组合图像的代码；
用于使用所述视差图来分割所述组合图像以包括前景区域和背景区域的代码；和
用于形成合成摇摄图像序列的代码，以使对于每个组合图像：
在所述前景区域和背景区域之间施加透视移位；和
裁剪所述透视移位图像的移位部分。
59.根据权利要求58所述的计算机程序，其中，所述计算机程序是计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质承载在其中体现用于与计算机一起使用的计算机程序代码。
CN201380080498.0A 2013-11-18 2013-11-18 用于增强数字成像的方法和装置 Pending CN105684440A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2013/051078 WO2015071526A1 (en) 2013-11-18 2013-11-18 Method and apparatus for enhanced digital imaging

Publications (1)

Publication Number Publication Date
CN105684440A true CN105684440A (zh) 2016-06-15

Family

ID=53056832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380080498.0A Pending CN105684440A (zh) 2013-11-18 2013-11-18 用于增强数字成像的方法和装置

Country Status (4)

Country Link
US (1) US20160292842A1 (zh)
EP (1) EP3069510A4 (zh)
CN (1) CN105684440A (zh)
WO (1) WO2015071526A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289234A (zh) * 2018-01-05 2018-07-17 武汉斗鱼网络科技有限公司 一种虚拟礼物特效动画展示方法、装置和设备
JP2020510875A (ja) * 2017-03-10 2020-04-09 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
US11882280B2 (en) 2018-09-21 2024-01-23 Lg Electronics Inc. Method for decoding image by using block partitioning in image coding system, and device therefor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3096512B1 (en) * 2015-05-18 2017-03-22 Axis AB Method and camera for producing an image stabilized video
WO2020042004A1 (en) * 2018-08-29 2020-03-05 Intel Corporation Training one-shot instance segmenters using synthesized images
US11276177B1 (en) * 2020-10-05 2022-03-15 Qualcomm Incorporated Segmentation for image effects

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706195A (zh) * 2002-10-18 2005-12-07 沙诺夫股份有限公司 使用多个摄像机以允许全景可视的方法和系统
CN1981522A (zh) * 2004-05-07 2007-06-13 科巴尔特娱乐有限公司 立体电视信号处理方法、传输系统与观众增强
CN101521747A (zh) * 2008-02-29 2009-09-02 卡西欧计算机株式会社 具有用于拍摄摇摄图像的摇摄模式的摄像装置
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
CN102843523A (zh) * 2011-03-29 2012-12-26 索尼公司 方法、装置和手持机
CN102957862A (zh) * 2011-08-18 2013-03-06 佳能株式会社 摄像设备和摄像设备的控制方法
CN102959943A (zh) * 2010-06-24 2013-03-06 富士胶片株式会社 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序
CN103168315A (zh) * 2010-09-09 2013-06-19 数字光学欧洲有限公司 手持式设备上的立体(3d)全景图创建
US20130235220A1 (en) * 2012-03-12 2013-09-12 Raytheon Company Intra-frame optical-stabilization with intentional inter-frame scene motion

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2466811A1 (en) * 2001-11-21 2003-06-05 Viatronix Incorporated Imaging system and method for cardiac analysis
US8368720B2 (en) * 2006-12-13 2013-02-05 Adobe Systems Incorporated Method and apparatus for layer-based panorama adjustment and editing
US20110216160A1 (en) * 2009-09-08 2011-09-08 Jean-Philippe Martin System and method for creating pseudo holographic displays on viewer position aware devices
JP5663934B2 (ja) * 2010-04-09 2015-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2012002046A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法
US8937644B2 (en) * 2012-03-21 2015-01-20 Canon Kabushiki Kaisha Stereoscopic image capture
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706195A (zh) * 2002-10-18 2005-12-07 沙诺夫股份有限公司 使用多个摄像机以允许全景可视的方法和系统
CN1981522A (zh) * 2004-05-07 2007-06-13 科巴尔特娱乐有限公司 立体电视信号处理方法、传输系统与观众增强
CN101521747A (zh) * 2008-02-29 2009-09-02 卡西欧计算机株式会社 具有用于拍摄摇摄图像的摇摄模式的摄像装置
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
CN102959943A (zh) * 2010-06-24 2013-03-06 富士胶片株式会社 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序
CN103168315A (zh) * 2010-09-09 2013-06-19 数字光学欧洲有限公司 手持式设备上的立体(3d)全景图创建
CN102843523A (zh) * 2011-03-29 2012-12-26 索尼公司 方法、装置和手持机
CN102957862A (zh) * 2011-08-18 2013-03-06 佳能株式会社 摄像设备和摄像设备的控制方法
US20130235220A1 (en) * 2012-03-12 2013-09-12 Raytheon Company Intra-frame optical-stabilization with intentional inter-frame scene motion

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KE COLIN ZHENG，SING BING KANG,等: "Layered Depth Panoramas", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2007. CVPR "07》 *
KE COLIN ZHENG等: "Parallax photography：Creating 3D cinematic effects", 《PROCEEDINGS OF GRAPHICS INTERFACE》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020510875A (ja) * 2017-03-10 2020-04-09 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
JP2022033897A (ja) * 2017-03-10 2022-03-02 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
JP7361088B2 (ja) 2017-03-10 2023-10-13 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
CN108289234A (zh) * 2018-01-05 2018-07-17 武汉斗鱼网络科技有限公司 一种虚拟礼物特效动画展示方法、装置和设备
CN108289234B (zh) * 2018-01-05 2021-03-16 武汉斗鱼网络科技有限公司 一种虚拟礼物特效动画展示方法、装置和设备
US11882280B2 (en) 2018-09-21 2024-01-23 Lg Electronics Inc. Method for decoding image by using block partitioning in image coding system, and device therefor

Also Published As

Publication number Publication date
EP3069510A1 (en) 2016-09-21
WO2015071526A1 (en) 2015-05-21
EP3069510A4 (en) 2017-06-28
US20160292842A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
CN102821238B (zh) 宽视场超高分辨率成像系统
US9191578B2 (en) Enhanced image processing with lens motion
CN105684440A (zh) 用于增强数字成像的方法和装置
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN105530431A (zh) 一种反射式全景成像系统及方法
CN107690649A (zh) 数字拍摄装置及其操作方法
CN101577795A (zh) 一种实现全景图像的实时预览的方法和装置
CN201523430U (zh) 一种全景视频监控系统
WO2012008224A1 (ja) 画像撮像装置
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN103986867A (zh) 一种图像拍摄终端和图像拍摄方法
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US20100128108A1 (en) Apparatus and method for acquiring wide dynamic range image in an image processing apparatus
CN104782110A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN104871058A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN109564376A (zh) 时间复用可编程视场成像
JP2019533957A (ja) 端末のための撮影方法及び端末
US20140085422A1 (en) Image processing method and device
CN104885440A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN102388617A (zh) 复眼摄像装置及其视差调整方法和程序
CN103888641A (zh) 图像处理装置及图像再对焦方法
CN105791793A (zh) 图像处理方法及其电子装置
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
JP2020107956A (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160615