CN103329548A - 用于图像处理的主、辅图像捕获设备及其相关方法 - Google Patents

用于图像处理的主、辅图像捕获设备及其相关方法 Download PDF

Info

Publication number
CN103329548A
CN103329548A CN2011800650362A CN201180065036A CN103329548A CN 103329548 A CN103329548 A CN 103329548A CN 2011800650362 A CN2011800650362 A CN 2011800650362A CN 201180065036 A CN201180065036 A CN 201180065036A CN 103329548 A CN103329548 A CN 103329548A
Authority
CN
China
Prior art keywords
image
capture device
main
scene
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800650362A
Other languages
English (en)
Inventor
巴赫拉姆·代希
迈克尔·麦克纳姆
伊扎特·H，伊扎特
塔索斯·玛卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3DMedia Corp
Original Assignee
3DMedia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3DMedia Corp filed Critical 3DMedia Corp
Publication of CN103329548A publication Critical patent/CN103329548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于图像处理的主、辅图像捕获设备及其相关方法，一方面，所述方法可包括利用主、辅图像捕获设备来进行图像处理。所述方法可包括利用主要图像捕捉设备捕捉场景的第一图像，所述第一图像具有第一质量特性。进一步的，所述方法可包括利用辅助图像捕捕获设备捕捉场景的第二图像，所述第二图像具有第二质量特性。第二质量特性可能稍逊于第一质量特性。所述方法同样还包括通过调整一被捕获图像的至少一个参数来创建与第一质量特性相近似和匹配的多个调整后的图像。进一步的，该方法可包括利用调整后的图像来进行图像处理。

Description

用于图像处理的主、辅图像捕获设备及其相关方法
 
相关申请交叉引用
[0001]本申请要求美国实用专利（申请序列号13/115,589、申请日2011.05.25）的优先权，其要求了美国临时专利（申请序列号61/427,278、申请日2010.12.27）的优先权；其公开的内容通过引用将其全部并入本文。
技术领域
本发明公开的主题涉及图像处理，尤其是涉及用于图像处理的主、辅图像捕获设备及其相关方法。
背景技术
立体或三维的图像是基于人眼视觉原理，两个独立的检测器从稍微不同的位置和/或角度，在一场景中检测到相同的对象，并投影到两个平面。由此产生的图像传输到处理器结合起来，给出的第三个维度的感知，即深度场景。
一些观看立体影像的技术已被开发出来，包括使用彩色或偏振滤光器来分开两个图像，通过使用快门装置得到连续图像传输来进行时间选择，或者将观察者眼中的图像进行物理分离和分别投影到每只眼中。此外，现在一些非常适合用于显示立体图像的显示设备已被开发出来。例如数码相机、个人电脑、数码相框、机顶盒、高清晰度电视（HDTV）等。
数字图像捕获设备的应用，例如数码相机、数码摄像机（或摄像机），与带内置摄像头的手机，在数字图像捕捉中的已流行并广泛应用，因为使用这些设备拍摄的图像是数字格式的，所以图像可以很容易分配和编辑。例如，数字图像可以很容易在网络发布，如因特网。此外，在图像捕获设备或个人电脑上可以使用适当的软件对数字图像进行编辑处理。
常规的图像捕获设备捕捉的数字图像是二维的，现在迫切需要一种能够使用常规设备生成三维图像的方法和系统，另外，还需要提供一种系统，其改进的技术用来处理图像生成三维图像或二维图像。
发明内容
本发明以简化的形式提供了一种优选的机理，并在下文进一步阐述；本文的目的不是要确定关键功能或所要求保护主题的基本特征，也不是用来限制所要求保护的主题范围。
本发明公开了一种用于图像处理的主、辅图像捕获设备及其相关方法。根据一方面，所述方法可包括利用主、辅图像捕获设备来进行图像处理，每个捕获设备均包括一图像传感器和镜头。所述方法可包括利用主要图像捕获设备捕捉场景中的第一图像，该第一图像具有第一质量特性。另外，该方法包括利用辅助图像捕获设备捕捉场景中的第二图像，该第二图像具有第二质量特性；第二质量特性可能稍逊于第一质量特性。所述方法同样还包括通过调整一被捕获图像的至少一个参数来创建与第一质量特性相近似和匹配的多个调整后的图像。进一步的，所述方法还可包括利用调整后的图像来进行图像处理。
另一方面，本发明方法可包括利用主、辅图像捕获设备来产生不模糊的静态图像。还包括利用主要图像捕获设备捕捉场景中的第一图像，进一步的，本发明方法包括利用辅助图像设备来产生场景中的多个其它图像和基于多个其它图像来确定动态模糊内核。而且，本发明还可包括应用动态模糊内核从场景的第一图像中去除模糊。
另一方面，本发明方法可包括利用主、辅图像捕获设备来产生无手抖的视频序列，包括利用主要图像捕获设备来捕获场景图像的第一序列。而且本发明方法还包括利用辅助图像捕获设备捕获场景图像的第二序列。本发明方法可包括创建一个视差图，而且，本发明方法可包括确定一个对象，其在序列中两个连续的图像间具有相同的视差。本发明方法还包括确定具有相同视差的对象作为非运动物体。进一步地，本发明方法还包括可以计算非运动物体的振动运动矢量，本发明方法还包括可以对基于图像生成的场景视频和静态图像之一进行振动补偿。
附图说明
前面的概述，以及以下各种实施例的详细描述，在结合附图时能够更好地被理解，本发明的目的，参考图示意出的实施例的描述。然而，本发明公开的主题并不限于在附图中所披露的具体方法和手段。
]图1为本发明实施例用于捕捉场景图像和执行图像处理的包括主、辅图像捕获设备在内的示例性图像捕获系统的方框图。
图2为本发明实施例利用图1所示的系统进行图像处理的示例性方法的流程图，其中，图1所示的设备单独或联合其它适用的设备一起使用。
图3A和3B为本发明实施例包括主、辅图像捕获设备的示例性摄像机的透视图。
图4为本发明实施例包括主、辅图像捕获设备的示例性数码相机的透视图。
图5为本发明实施例创建立体图像对的示例性方法的步骤示意图。
图6为本发明实施例3D建构的一示例方法的流程图。
图7为本发明实施例用于帧匹配的一示例方法的流程图。
图8为本发明实施例用于图像视图匹配的一示例方法的流程图。
图9为本发明实施例用于颜色和亮度匹配的一示例方法的流程图。
图10A和10B为本发明实施例利用主、辅图像捕获设备来生成高动态范围图像的一示例方法的流程图。
图11为本发明实施例利用包括主、辅图像捕获设备的系统来消除运动模糊的一示例方法的流程图。
图12为本发明实施例在包括主、辅图像捕捉设备在内的系统中的视频稳定的一示例方法的流程图。
图13A和13B为本发明实施例一移动电话的透视图，其面对用户的位置装有辅助图像捕获设备，面对场景其它位置装有主要图像捕获设备。
图13C为本发明实施例另一移动电话的剖视图。
图14A、14B和14C为本发明实施例另一种移动电话不同角度的示意图，其面对用户的位置装有辅助图像捕获设备，面对场景另一位置装有主要捕获图像设备。
图15A、15B、15C和15D为本发明实施例一种示例移动电话不同角度的示意图，其面对用户的位置装有辅助图像捕获设备，面对场景另一位置装有主要图像捕获设备。
具体实施方式
本发明公开的主题描述了特异性，以满足法定要求。然而，描述本身并不限制本专利的范围，相反，本发明人认为要求保护的主题也可能以其他方式体现出来，包括与其他现有或将来的技术的结合、与本文描述不同的步骤或不同的原理。此外，虽然术语“步骤”可用于此处包含采用的方法的不同方面，但该术语不应解释为在本发明公开的不同的步骤其中或之间包含某些特定的顺序，除非各个步骤的顺序有明确地描述。
根据本发明公开主题的实施例中，主要的和辅助的图像捕获设备以及用于图像处理和相关的方法被公开。每个主要的和辅助的图像捕获设备包括一个图像传感器和一镜头，在一实施例中，主要的图像捕获设备捕捉一场景中具有第一质量特性的图像，其可包含特定的分辨率、特定的传感器的大小和/或像素间距、独特的视角和焦距、特定的色彩准确性和特殊的镜头失真特性等。辅助图像捕获设备捕捉场景中的另一图像，与主要图像捕获设备捕获的图像的质量特性相比，该图像具有至少在一个方面较低的质量特性。一个或多个被捕获图像的一个或多个参数可被调整以创建多个调整后的图像，其与主要图像捕获设备捕获的图像质量特性近似或匹配。例如，一个或多个图像的裁剪因子、尺寸、焦距、缩放参数中的一个或多个可被调整来与图像的分辨率和/或近似视场匹配。在另一个例子中，至少一个捕获设备的失真特性能被计算出来，一个改变的程序可以应用于捕获设备与其他传感器的图像数据的对齐中。在又一个实施例中，一张图像的一种颜色可被调整以符合或接近其他图像的颜色。调整后的图像可用于图像处理，例如，一个或多个立体静态图像或视频序列可以在基于捕获的图像和调整后的图像的基础上进行定位和修改过程中得到。在又一个实施例中，从主、辅图像捕获设备中获得的数据，例如，但不限于，如视差图，可被用来从主要捕获设备的数据中创建一个新的视图，其利用了基于渲染技术（DIBR）的深度图像来创建立体图像对。
在本发明的其它实施例中，当提取并列型图像来创建立体图像时，主、辅图像捕获设备可被用来计算合适的立体库。被捕获图像计算得出的视差数据可被用来计算理想的立体库，以得到具有舒适视觉属性的立体图像。在相同的实施例中，所捕获设备的实时数据可以被用来确定主要捕获设备的正确定位，来得到第二画面。
在本发明的另一实施例中，利用主、辅图像计算的视差图可被放大或者缩小，以创建与两捕获设备真正分离产生的图像相比不同的立体图像，其在理想立体库与两个捕获设备的固定分离提供的立体库相比无论是大还是小时，是非常有用的。
在本发明的另一实施例中，由于一些移动物体或者那些太远或太近不能舒适观看的物体，利用主、辅图像计算的视差图可被用来确认大或无穷大的差距的物体。在这种情况下，大视差的对象能从一个图像移动到另一个图像，或者在相同的图像里移动，或者能从一个或两个图像中移除来纠正如此大的视差。物体的运动或移除导致的未填充的区域，可被其它图像的数据填充或被相同图像的数据插入。
在本发明的其它实施例，主、辅图像捕获设备可被用来生成不模糊的静态图像。在许多情况下，传统的摄像机在捕获高速运动的物体并保持适度曝光方面，其能力有限。ISO增益在没有显著噪声的同时只能增加到一定量，，因此，必需的快门速度很难实现，这可能会导致高速运动时图像的模糊。本发明公开的主题包括，当使用一个高速辅助摄像系统时，其提供了减少和/或消除这种模糊的方法。例如，一主要图像捕获设备可被用来捕获场景中的图像。一辅助图像捕获设备可被用来捕获场景中多个其它的图像。而且在基于多个其它图像的基础上可以确定一运动模糊内核，所述运动模糊内核可被用来从场景的第一图像中移除模糊。
在本发明的其它实施例，主、辅图像捕获设备可被用来生成无手抖的视频序列。例如，一主要图像捕获设备可被用来捕获场景中一个序列的图像。一辅助图像捕获设备可被用来捕获场景中其它序列的图像。接着，视差图可生成。而且，在序列中两个连续的图像间具有相同视差的物体可被确定。当确定对象具有相同视差时，该对象被确定为一非运动的物体。接下来，非运动物体的振动运动矢量就会被计算出来。基于图像基础上生成的场景的视频和/或静态图像中的抖动得到补偿。
立体，或三维的，内容是基于人眼视觉原理。两个独立的检测器从稍微不同的角度在多个图像中检测到相同的对象，并投影到两个平面。多个图像被转移到处理器，处理器将捕获的图像合并在一个视图内（如左眼或右眼）、分析各个图像、可能插入额外的帧/帧视图。每个图像都会为另一只眼晴生成相对应的视图。然后将这两个图像或序列相结合，创造出立体的（三维）的内容。由此产生的三维内容可以进一步被编码使用，但不限于一个公知的编码格式如JPEG，MPEG，H.264，等等。所产生的内容还可以集合声音储存在一种常用的数字媒体中，如AVI，MPG等。在本发明的其它实施例，主、辅图像捕获设备可被用来产生一种焦点合成的图像，主要捕获装置能通过配置可在所需的焦距捕获图像，而辅助传感器可用于捕获在不同的焦距的图像。这两个捕获设备捕获的数据能被结合起来生成一个焦点合成的图像。
常规图像捕获设备在重现场景的动态范围时能力有限，因此其捕获的内容也是有限的，在特定的很亮和很暗的物体共存的场景中，典型的图像传感器获得正确曝光的图像是不可能的，摄像头也无法重现用户看到什么。本发明公开的主题允许系统中的两个摄像头适当调整曝光设置来分别捕获亮区和暗区，以创建一个亮区和暗区平衡的高动态范围（HDR）场景图像。
本发明实施例可在摄像机或包括主、辅图像捕获设备的其它图像捕获系统上实现。每一个主、辅图像捕获设备可包括一图像传感器和一个或多个镜头。摄像机可在移动设备如移动电话或智能手机上实现。而且，本发明公开的实施例还可以基于允许用户捕获一对二维视频序列的技术，其中，一个来自摄像机的主要图像捕获设备，另一个来自辅助图像捕获设备来生成一三维视频序列。本发明公开的功能可在硬件、软件和/或固件内实现，例如，但不限于，其可在相机、数码相机、另一种类型的视频相机（或摄像机）、个人电脑、 数码相框、机顶盒、高清电视、电话等类似装置内执行。
在一个示例中，一个便携式捕获设备例如手机，摄像头，或者一部分可能包含本发明实施例的主、辅图像捕获设备。辅助图像捕获设备可连接到或者结合相机或手机来拍摄场景中一个或多个图像。由辅助图像捕获设备捕获的图像数据可以与主要图像捕获设备捕获的一个或多个图像的数据结合起来创建一个三维的图像或视频序列。在辅助图像捕获设备的附件的示例中，辅助图像捕获设备可被装在一个可旋转的液晶显示器外壳的后面，其中，液晶显示器壳体在打开的位置，该辅助图像捕获设备的图像平面平行或接近平行于主要图像捕获设备的图像平面。在手机上，向内面对的摄像头主要用于视频会议，通过修改它的设计并允许它从握着手机的人或与主摄像头同一视场的场景中捕捉图像，来使其作为辅助图像设备。辅助图像捕获设备及其镜头有一个质量特征，该质量特征比主要图像捕获装置及其透镜的质量特征低。值得注意的是，三维图像或视频的质量和分辨率可直接取决于主要图像捕获设备及其镜头的质量和分辨率，而不直接取决于辅助图像捕获装设备及其镜头的质量和分辨率。这种三维的静态图像或视频序列可在一合适的立体显示器上查看或显示。
本文实施例描述的方法可以在能够捕获静态图像或视频序列的系统上实现，该系统还能显示三维图像或视频和在处理器上执行计算机可执行的指令。例如，所述系统可以是数码相机、视频相机（或摄像机）、个人电脑、数码相框、机顶盒、高清晰度电视、电话或类似的装置。所述系统的功能可包括如下方法：选择视频片段，在主要的视频序列对每个图像创建对应的视图，纠正和配准至少两个视图，匹配视图的颜色和边缘，执行序列的稳定，计算一个稀疏或稠密深度图，合成视图，改变对象的感知深度，和任何最终显示特定的转换来创建一个单一的、高质量的立体视频序列。
图1示出了根据本发明公开的主题实施例的一个示例性图像捕获系统100的方框图，其包括一个主要图像捕获装置102和辅助图像捕获装置104用于捕获场景中的图像和执行图像处理。系统100为一种能够捕获场景中多个连续的、静态数字图像的数码相机，设备102和104均可各自捕获场景中多个连续的、静态数字图像。在另外一个例子中，系统100可以是视频摄像机，其能够捕获包括多个静态场景图像在内的视频序列。在这个例子中，设备102和104均可各自捕获包括多个静态场景图像在内的视频序列。系统100的用户可以定位系统在不同的位置拍摄一个场景的不同视角的图像。拍摄到的图像可以经过适当的存储和处理，生成所述的三维图像。例如，在捕捉场景的不同视角的图像之后，系统100单独或者结合计算机如106，来利用上述图像生成和向用户展示三维的场景图像。
参照图1所示，主、辅图像捕获设备102和104可分别包括图像传感器108和110，图像传感器110比图像传感器108质量小。例如，利用图像传感器110捕获的图像质量特性可能比用图像传感器108捕获的图像质量特性低，图像传感器108和110可各自包括一系列电荷耦合器件（CCD）或CMOS传感器。图像传感器108和110可通过镜头112和114分别暴露于场景中，其通过各自的曝光控制机理，镜头114比镜头112质量低。本发明实施例系统100可包括模拟和数字电路，如，但不限于，存储器116，其存储程序的指令序列并至少结合一CPU118来控制系统100，CPU118执行程序指令序列，以便使系统100的图像传感器108和110暴露在场景中，并得到对应场景的数字图像。数字图像可被捕获并存储在存储器116中，存储器116的所有或一部分是可拆卸的，以便将数字图像传输到其它设备如计算机106上。进一步的，可以提供一个输入/输出（I / O）接口120给系统100，这样，即使存储器116不可拆卸也能方便的进行图像传输。系统100还可以包括一个由CPU118控制的显示器122，显示器122可被操作来显示捕获的实时图像和用户的实时观看。
本发明公开的主题的实施例中，存储器116和CPU118可一起操作来实现图像处理器124的功能，图像处理器124执行包括生成三维图像在内的图像处理。图像处理器124可控制主要图像捕获设备102和辅助图像捕获设备104来捕获场景中的图像。进一步的，所述的图像处理器124还可以处理图像和生成三维图像。图2说明了本发明实施例系统100进行图像处理的一个示例性方法的流程图，其单独使用或与其它的合适的设备一起使用。参照图2，所述方法包括利用主要图像捕获设备来捕获场景的第一图像（200）。例如，图1所示的图像处理器124可控制主要图像捕获设备102来捕获场景图像。该被捕获的图像可具有一个特定的质量特征，其中可包括特定的分辨率，特定的传感器大小和/或像素间距，独特的视角和焦距，特定的颜色准确度，特定的镜头变形特征等。该被捕获的图像可以是主要图像捕获设备102捕获的多个图像中的一个。不同的图像可包括场景中具有相同或不同视角的图像。CPU106可执行在存储器104上的存储指令，由此在存储器104上存储捕获的图像。
图2所示的方法包括利用一个辅助图像捕获设备来捕获场景中另外的图像（202）。例如，图1所示的图像处理器124可控制辅助图像捕获设备104来捕获场景的图像。辅助图像设备104捕获的图像可能有一个特定的质量特性，其低于由主要图像捕获设备102捕获图像的质量特征。
图2所示的方法包括204：调整一个或多个捕获图像的一个或多个参数来生成多个调整后的图像，其与主要图像捕获设备102捕获的图像的质量特性近似或匹配。例如，图像处理器124可调整裁剪因子，大小，缩放等，或由主要图像捕获设备102和辅助图像捕获设备104捕获的一个或多个图像结合起来，使得捕获的图像的分辨率相匹配。在另一个例子中，图像处理器124可调整裁剪因子，大小，缩放等，或由主要图像捕获设备102和辅助图像捕获设备104捕获的一个或多个图像结合起来，这样可使其它捕获图像的视野相近似。在又一个例子中，图像处理器124可调整图像的颜色使其与其它图像的颜色相近或匹配。
图2所示的方法包括206：利用调整后的图像进行图像处理。图像处理功能可包括任何定位，纠正，视差计算，立体库计算或基于深度的渲染来生成立体图像或视频序列，还包括高动态范围（HDR）技术来使亮区和暗区平衡，消除运动模糊的反模糊技术，视频稳定技术和焦点合成功能。
图3A和3B阐述了本发明实施例包含主、辅图像捕获设备的一示例性摄像机300的透视图。摄像机300包括一个可旋转的部件302，其可以设置成如图3A所示的一个关闭的状态或如图3B所示的一个打开的状态。用户可沿着折叶304手动旋转部件302，使得部件302处于关闭或打开的状态。在这个例子中，部件304包括一个液晶显示器（因为其装在部件304的对面，故图中未指出）。在打开时，液晶显示器可以被用户观看。在部件304的一侧面306（即相对液晶显示器的一侧），本发明实施例辅助图像捕获设备308被定位用来捕获图像。
在这个例子中，摄像机300的主体310包括主要图像捕获设备。主要图像捕获设备312可被定位在主体310前面的部分。捕获设备308和312可以如下设置使得主、辅图像捕获设备的图像平面相互平行或近似平行。当可旋转部分306达到合适的位置来捕获3D视频或本发明实施例的其它应用时，安装在可旋转部分306和主体310之间的微动开关或磁性开关能够告知用户，这个告知信息可以显示在液晶屏幕上，或任何其他适用的技术，例如：打开指示灯如LED灯等。
图4阐述了本发明实施例包含主、辅图像捕获设备的一个示例性数码相机400的透视图。参照图4，相机400包括一个主体402，主体402包含主要图像捕获设备404和辅助图像捕获设备406。捕获设备404和406可被装在主体402上任意合适的位置。
在一个实施例中，辅助图像捕获设备的分辨率和帧速率可以相同或等于主要图像捕获设备的分辨率和帧速率。在传感器的帧速率不同的情况下，分段恒定的，线性的或其他合适的帧间插值技术可用于补偿辅助图像捕获装置捕获的视频序列中的的丢失帧。这可能适用于如下两种情况：辅助图像捕获装置输出的视频流，或在恒定的或可变帧速率下捕捉的一组连续的图像。
此外，辅助图像捕获设备的镜头的质量和焦距，变焦能力（如可用），可与主要图像捕获设备镜头的相等。然而，在主、辅摄像机的光学关系上仍有局限性。在主摄像机变焦镜头的最短焦距时，辅助摄像机可能有相同的视角，因此需要辅助摄像机的等效焦距等于主焦距最广的焦距。同样的，然而，数字变焦数量实际上的限制可通过摄像头之间合理配对数据实现，例如可以限制最长的变焦焦距介于4倍到8倍的最短焦距之间，但这不是对本文所描述设计的一个具体的限制。在主要镜头有变焦能力而辅助镜头没有变焦能力的情况下，辅助图像捕获设备的图像传感器的分辨率比主要图像捕获设备的图像传感器的分辨率高。这种更高的分辨率可能会允许更准确的“数字变焦”，该过程进一步详细讨论如下。值得注意的是，主、辅图像捕获设备的传感器最优的质量规格不应被视为绝对的要求。换句话说，本发明并不限于上述系统的最优规格。
根据本发明实施例中，主、辅图像捕获设备传感器间的距离和两个传感器平面间的角度可以是恒定的或自适应性的。在后一种情况下，辅助传感器和镜头可被连接到，例如，可旋转部件里的一个滑动机构，例如，图3A和3B所示的可旋转部件302。例如，辅助传感器和镜头的位置和角度可由用户控制，由步进电机手动控制或由基于计算机自动控制，由此，在基于一个被捕获的场景的基础上，可以确定辅助传感器和主要传感器之间合适的距离。
图5阐述了本发明实施例创建立体图像对的一示例性方法的步骤。在这个实施例中，通过修改由一个辅助图像捕获设备直接捕获的图像或视频序列（如图5中虚线所示），可以来创建立体图像对。这个示例技术可能最适用于高质量的辅助图像捕获设备，同样适用于视频和静态的应用。
在另一个实施例中，一种采用基于深度图像的合成工艺对包含一个视频序列的多个图像帧进行处理的方法，通过对硬件的配置具体描述。主、辅图像捕获设备的匹配镜头/传感器的光学组合是可加以利用的，但在实际应用中，这可能是不可行的，主要是因为主要摄像头的变焦要求和辅助摄像头空间的局限性。在这种情况下，如果视频捕捉是必需的，本发明实施例方法是最合适的。在图5所示的例子中，通过修改由一个辅助图像捕获设备捕获和间接利用深度图和视图合成（如图5中实线表示）得到的图像或视频序列，可以来创建立体图像对。
参照图5，直接利用辅助图像捕获设备的过程中，一个主要图像捕获设备可以捕获一视频序列500。此外，辅助图像捕获设备可捕获一视频序列502。视频序列500和502捕捉于相同的场景和大致相同的时间内。视频序列500的图像可直接利用，不需要修改就可生成一个三维的视频序列504，视频序列504中也同时包含辅助图像捕获设备捕获的调整后的图像。在对辅助图像捕获设备捕获的图像调整的第一个步骤中，可以对图像帧插值506。随后的步骤中，图像的分辨率可被调整，例如，数码变焦508。再然后，调整图像的颜色和/或亮度510。在直接三维重建图像时，上述图像可结合主要图像捕获设备捕获的图像来产生三维图像序列504。
利用深度图和视图合成（如图5中实线表示）来创建立体图像对的例子中，主要图像捕获设备捕获的图像和辅助图像捕获设备的调整图像可以用来计算得到深度图512。
最后，根据另一个实施例，可能最适合于静态图像捕捉和/或低质量的辅助摄像系统，辅助摄像头的图像数据能用来与主要摄像头关联，提取最小和最大差异来确定近及远的对焦窗口，并且应用这些数据来计算场景的最佳立体基线。然后用户可以得到多种方式的指导来将第二捕获图像移动一个适当的偏移以完成一个立体对。
图6阐述了本发明实施例3D建构的一个示例性方法的流程图。图6中所示的步骤可以通过适当的硬件，软件，和/或固件来实现。例如，所述步骤可通过图1所示的图像处理器124来实现，参照图6，该方法可顺序应用于主视频序列或图像集中的每个帧（步骤600）。主视频序列或图像集可由主要图像捕获设备捕获。然后，该方法包括确定主要和辅助的图像或帧是否同步（602）。确保辅助序列的每个帧对应于主序列中的唯一的一个帧是非常重要的。因此，如果已知辅助摄像机的帧速率不同于主要摄像机的帧速率，帧间插值方法可被用来实现这个目的。由于两个摄像头的光学可能是不一致的，就必须先配置它们的输出以便三维定位，因此可对于一个给定的图像对进行深度提取。因此，当确定主要和辅助的图像或帧同步时，所述方法可以继续执行步骤604。反之，当确定主要和辅助的图像或帧不同步时，所述方法可以继续执行步骤606。值得注意的是，如果在两个摄像机之间的同步信息已经可用的情况下，如绝对或相对时间戳，或已知帧速率的两相机同步帧，如下所述发生的同步和图像修正过程的顺序是可以逆转的。即首先选择匹配帧，然后应用视图修改和颜色/亮度调整。这种技术的一个例子在图6中说明。
在步骤604中，所述方法包括从辅助视频序列或图像集中找到相匹配的图像或帧。在一个例子中，图像或帧可以基于捕获的时间匹配。其他匹配的图像或帧的例子将进一步详细描述。
在步骤604之后，该方法可包括调整尺寸，分辨率，和调整辅助帧的变焦水平来与相应的主帧匹配（608）。例如，所捕获图像的一个或多个裁剪因子，大小，和缩放可被调整以与相应图像的视场近似和分辨率匹配。其它的例子将进一步描述。
在步骤608之后，该方法还包括调整辅助帧的颜色和/或亮度与相应的主帧匹配（610），例如，辅助图像一个区域的颜色可被调整来与相应主图像的相应区域的颜色匹配。在另一个例子中，可识别图像捕获设备的重叠视图的区域。在这个例子中，可以提取该区域的颜色特征。其次，在这个例子中，颜色匹配和校正操作可使图像均衡。为了这个目的，一个示例性的方法包括调平辅助帧的每个R，G和B通道，使得其像素颜色的平均值等同于主框架的像素颜色的平均值。如果认为辅助帧和主要帧一起能直接用来创建立体图像对的话，这种方法更适合。另外，在两个帧中所有像素的RGB值可以调整，以使得相应的平均值是中性的灰色（[ 128，128，128 ]）。任一摄像机适当的颜色的“修正”并不是必需的，而摄像机输出的方式使得特征匹配更准确则是必需的。为此，可以在大范围内，或在图像的本地窗口，提高校正的准确度。其他的例子将进一步详细描述。
参照步骤606，该方法包括调整辅助序列的一些N帧的颜色和/或亮度来与主帧附近的帧匹配（612）。这个步骤的例子将进一步详细描述。随后，该方法可包括调整辅助帧的颜色和/或亮度来匹配相应的主帧（614）。此外，如果这应该在试图同步两个摄像头之前实施的话，平均化进一步扩展到测量和校正超过一个窗口的N帧的平均。随后，该方法可以包括从辅助视频序列或图像集中发现匹配的图像或帧（614）。这些数码变焦和窗口颜色均衡操作的同时，实际的同步过程可能会被执行。用于色彩均衡的相同的N窗口的数据可被用来识别像素类型和各个摄像机帧内的运动，特别是针对摄像机可能的重叠区域，其中的具体细节可能取决于摄像机光学和摄像机已知的分离（立体库），其由摄像机设计物理定义。如果任何图像稳定机制用于主摄像机时，最理想的要么应该是这个机制的信息，其可在这个时候应用于辅助视频序列上，或这个相同的机制必须用于辅助摄像机以及两个摄像机之间的精确同步上。
图6所示的方法可包括确定辅助帧是否接受直接被应用（616）。直接使用可接受的标准可包括两个传感器的比较有效分辨率（这要依赖于绝对分辨率，和主、辅摄像头组合之间视角的任何差异导致的缩放必要的变化），两图像间不可纠正的颜色差异的数量和程度，两个相机噪声分布的差异，不可纠正的失真的程度和数量等为例。当确定辅助帧是可以接受时，所述方法可以继续执行步骤618，其中辅助帧被用作补偿帧。
相反地，当确定辅助帧是不可以接受时，所述方法可以继续执行步骤620，其中创建一视差图。例如，为一个或多个图像的像素的水平位置偏移生成视差图，例如立体静态图像。所述方法可包括生成深度图622。例如，视差图可被用来生成一个场景的深度图，这将进一步描述。然后可合成主要帧的补偿视图（624）。
在步骤618和624之后，该方法可包括显示和/或存储3D帧（626），其中包括主帧和调整后的辅助帧。在步骤628中，所述方法包括确定是否有附加的帧或图像待处理。当确定有额外的帧或图像时，该方法可以继续处理下一步骤600去处理下个帧。否则，该方法可以执行结束步骤630。
图7阐述了本发明实施例用于帧匹配的一种示例性方法的流程图。该方法为图6所示方法中步骤604或614的一个具体例子。图7所示的步骤可通过适当的硬件，软件，和/或固件实现。例如，所述步骤可通过图1所示的图像处理器124来实现。参照图7，该方法从步骤700开始。
然后，图7所示的方法可包括确定是否可以发现一个精确的匹配帧（700），例如，可以确定是否可发现一个与主帧匹配的辅助帧。例如，辅助帧和主要帧具有相同的时间戳，当确定找到一个精确的匹配帧时，可从辅助序列中选择匹配的帧（704），然后方法结束（步骤706）。
当确定没找到一个精确的匹配帧时，执行步骤708。在步骤708中，该方法包括确定时间戳是否可用于两个帧。当确定时间戳可用于两个帧时，该方法包括利用帧间插值来合成一个匹配帧的步骤（710）。当确定时间戳可用时，在主、辅捕获设备之间有一个已知的偏移量。基于主、辅捕获设备的偏移量的加权平均法能被用来合成所需的帧，其利用目标视频序列中先前和下一个帧的图像数据。更先进的技术如可以使用运动评估技术来估计移动物体的运动以及补偿这一因素。
当确定时间戳不可用于两个帧时，该方法包括确定视频序列中是否有一个场景被用来同步帧（712）。这个步骤包括从主、辅捕获设备提取特征的帧匹配技术。在一个序列中帧的特征与在第一个序列附近的其它序列的多个帧的特征相比，当确定视频序列的场景不能被用来同步帧，且精确的三维建构不可能的时候（步骤714）时，该方法结束（步骤706）。
当确定视频序列中的场景能被用来同步帧时，所述方法可包括调整图像的颜色和/或视角（716），同步两个序列（718），和创建用于显示主、辅捕获设备帧间偏移量的时间戳（720）。该方法可进行到步骤702来处理下一个主要帧。
图8阐述了本发明实施例图像视图匹配的一个示例性方法的流程图。该方法为图6所示方法中步骤606或608的一个具体例子。图8所示的步骤可通过适当的硬件，软件，和/或固件实现。例如，所述步骤可通过图1所示的图像处理器124来实现。参照图8，该方法从步骤800开始。
然后，该方法包括确定焦距信息是否是可用的（802）。当确定焦距信息可用时，所述方法可包括计算辅助图像的匹配视窗（804）。当确定焦距信息不可用时，所述方法可包括利用定位找到辅助图像对应的视图（806）。这可以使用各种方法完成，包括关键点的识别和匹配，块的边界匹配以及其他不成熟的方法来看图像的各种统计数据，或者与本发明所述的其它例子组合。
图8所示的方法包括裁剪辅助图像来匹配主要图像的视野（步骤808）。裁剪的辅助帧可以放大或缩小以匹配主帧的大小（步骤810），随后，该方法结束（步骤812）。
[0073]图9阐述了本发明实施例用于颜色和亮度匹配的一种示例性方法的流程图。该方法为图6所示方法中步骤610或612的一个具体例子。图9中的步骤可通过适当的硬件，软件，和/或固件实现。例如，所述步骤可通过图1所示的图像处理器124来实现。参照图9，该方法从步骤900开始。
在步骤902中，该方法包括确定色彩校准的信息是可用于主、辅图像捕获设备的。当确定色彩校准的信息是可用的时候，该方法可包括在基于校准信息的基础上，使辅助帧的颜色和/或亮度与主帧匹配（步骤906）。随后，该方法结束（步骤906）。
当确定色彩校准的信息是不可用的时候，该方法可继续执行步骤908来确定帧是否可直接或间接用于3D建构。当确定这些帧可直接用于3D建模时，该方法可继续执行步骤910，如本文下面所述。当确定这些帧可间接用于3D建模时，该方法可继续执行步骤912，其确定是否需要定位/特征检测。当确定这种检测被需要时，该方法可包括这两个帧的颜色或亮度信息的匹配以供参考（914）。当确定这种检测不需要时，该方法可执行步骤914和910，其中辅助帧的颜色信息与主帧匹配。随后，该方法结束（步骤906）。
在这一点上，该系统应具备的，来自每个摄像机的图像对被认为具备颜色均衡的，同步的和代表等效的视图；在一个实施例中，直接使用辅助数据，捕获的立体对，可以发送到静态图像或视频压缩来创建立体3D。否则，提取像素差异用于视差向深度转换。任何视差提取的过程可以利用。视差，和转换的深度措施（根据视差方程，深度=基线*焦距/差距），与主摄像头光学的具体特征一起测量，即该摄像机镜头的焦距和摄像机传感器的像素间距。对立体创建的另一个实施例，深度被比较以找出最大和最小深度的窗口，其中的信息可以被反馈到一个过程中计算出一个合适的立体库，并指导用户如何采取第二捕获以创建所需的立体对。
实现三维创建的一个实施例中，对于一个视频序列中具有栅格数据和近似深度图的给定的图像帧，相应的图像（或视图）可被合成。对基于深度的图像视图合成的任何合适的技术可被利用，虽然首先体现了深度信息向像素的Z轴测量转换，其次是关于y轴的栅格数据的角位移。在这个例子中，视频序列的初始图像对的深度剖面应分析，以确定观众的屏幕平面的定位。这样，一些像素的百分比可能落在前面或后面，发生的中心点（0,0,0）的旋转代表了二维图像的中心在一个深度相当于屏幕平面距离的选择。该方法提供了一种选择帧对的感知深度的能力（使用较大的旋转角度来创建一种较大的立体基线，或反之亦然），其可联合相机的自动对焦机构的输入作为帧中物体的近似焦距（短距离决定的是目标小立体库，和长距离则相反）。利用初始栅格数据可合成一个图像，或者，两个图像可以通过相对旋转的合成产生左、右两个图像。值得注意的是，被选作一个序列的第一图像的屏幕平面和旋转角度不能事后改变。
最终的3D视频序列的建立包括各个帧序列的视频编码，其方式与3D视频定位一致。任何合适的技术可被利用。
图10A和10B描述了本发明实施例利用主、辅图像捕获设备生成高动态范围图像的一种示例性方法的流程图。图10A和10B中的步骤可通过适当的硬件，软件，和/或固件实现。例如，所述步骤可通过图1所示的图像处理器124来实现。参照图10A和10B，该方法从步骤1000开始。其中，根据本发明的实施例具有主、辅图像捕获设备的系统可进入现场查看模式以便向用户显示图像。
图10A和10B中所示的方法包括分析场景来确定场景中的亮区和暗区（步骤1002），进一步的，该方法还可包括确定一个或多个焦点对象或兴趣对象的亮度情况（步骤1004），随后，该方法可包括设置主图像捕获设备的捕获特征来使焦点对象最佳曝光（步骤1006）。
图10A和10B中所示的方法包括确定场景中停留物体的曝光条件（步骤1008）。当确定物体有相同的曝光时，该方法结束（步骤1010）。当确定有感光过度时，该方法包括减少辅助图像捕获设置的感光度来使得过度曝光的区域具有理想的曝光条件的步骤（1012）。当确定有曝光不足的情况时，所述方法可包括增加辅助图像捕获设置的感光度来使得过度曝光的区域具有理想的曝光条件的步骤（1014）。
 随后，所述方法包括通过同时启动主、辅图像捕获设备来捕获图像的步骤（1016）。接下来，该方法可以包括对辅助图像捕获设备捕获的图像进行视图的匹配步骤（1018）。例如，所述的方法参照图8可以实现。其次，该方法可以包括对辅助图像捕获设备捕获的图像执行颜色或亮度的匹配步骤。例如，所描述的方法参照图9可以实现。然后，所述方法可以包括对主图像捕获设备捕获的图像和辅助图像捕获的校准和均衡数据之间进行适当的变换合成最终图像（步骤1022），其用于补偿主要图像捕获设备捕获图像中感光过度和曝光不足的区域。所述方法然后结束（步骤1024）。
本实施例公开了用于模糊校正的系统和方法。在这个例子中，高速运动导致了图像的模糊。辅助图像捕获设备可被用来校正图像模糊，如下：给定一个高分辨率的低速主相机（MC）和一个低分辨率的高速第二相机（SC），通过SC的估计运动流可减少图像模糊，并利用此信息来找到MC模糊内核。然后模糊内核用来去除MC图像里的模糊。
图11阐述了本发明实施例利用包含主、辅图像捕获设备的系统来消除运动模糊的一种示例性方法的流程图。图11中的步骤可通过适当的硬件，软件，和/或固件实现。例如，所述步骤可通过图1所示的图像处理器124来实现。参照图11，该方法从步骤1100开始，其中，根据本发明实施例包含主、辅图像捕获设备的系统可进入运动去模糊模式。
图11所示的方法包括利用辅助图像捕获设备来捕获高速图像（1102）。进一步的，所述方法利用主要图像捕获设备来聚焦和捕获主要图像（1104）。利用辅助图像捕获设备捕获的最后N个图像可被用来计算运动模糊内核（1106），随后，所述方法包括应用从辅助成像仪提取的运动模糊内核来消除模糊（步骤1108）。该方法结束（步骤1110）。
按照本文所公开的实施例，可提供视频的稳定。例如，图12阐述了本发明实施例包括主、辅图像捕获设备的系统中视频稳定的一个示例性方法的流程图。图12中的步骤可通过适当的硬件，软件，和/或固件实现。例如，所述步骤可通过图1所示的图像处理器124来实现。参照图12，该方法从步骤1200开始，其中，根据本发明实施例包含主、辅图像捕获设备的系统可进入视频稳定模式。在这个模式中，主、辅图像捕获设备可捕获场景的图像序列（步骤1202）并均衡以及校准视频序列中的图像（步骤1204）。
图12所示的方法包括当补偿相机抖动时（步骤1212）通过增加一个元素到计算中来协助视频和/或静态图像稳定（步骤1210）。典型的图像稳定算法依赖于帧间时间位移的分析与评估（视频或其他相机捕捉数据的），并且场景中移动的物体易引入误差到计算中。利用辅助摄像机，对一个单一的时间实例（帧）的两个相机视图之间的偏移可被计算，作为这个过程中一个附加的“结构”部件。图像的时间相关的块/区域之间的“结构性”偏移量的变化示出了这些位置的移动物体，然后其可以被排除在整体稳定的计算之外。然后所述方法结束（步骤1214）。进一步地，该方法包括创建视差图（1206）。方法还包括确定在两个连续帧间有不同视差的图像中的对象为移动的物体，其中，具有相同视差的对象为非移动的物体，且这种情况下唯一的运动是由于抖动（1208）。
图12所示的方法包括计算振动运动矢量（1210）。而且，该方法还包括对抖动的补偿（1212）。振动运动矢量可以通过如下方法得出：对被捕获的框架间进行运动补偿分析，
消除移动物体的运动矢量，利用余下的运动矢量来计算振动矢量。然后，该方法结束（步骤1214）。
根据本发明实施例，主、辅图像捕获设备可以是一个移动手机的部件，辅助图像捕获设备被配置为第一位置面对用户，第二位置面对被捕获图像的场景。辅助图像捕获设备可包括从场景向辅助图像捕获设备引导光的路径的一种机制，这样主、辅图像捕获设备能够捕获场景图像。图13A和13B阐述了本发明实施例一示例性移动电话1300的透视图，其在面对用户的位置具有辅助图像捕获设备1302和在面对场景的其它位置具有主要辅助图像设备1304。
参照图13A，辅助图像捕获设备1302和其镜像机构1306可装在电话1300上。例如，镜像机构1306可以是机械或电子旋转或移动到一个位置，用于从开口（未显示）向设备1302引导光的路径来捕获用户图像。图13B中所示的另一个位置，镜像机构1306可以是机械或电子旋转或移动到一个位置，用于从开口1308向设备1302引导光的路径来与设备1304共同捕获场景图像。
图13C阐述了本发明实施例另一种移动电话的剖视图。参照图13C，镜像结构可被两个固定的光通道1320和1322代替，光通道1320和1322使用光纤材料制成。一个通道1320收集来自场景的光和引导它在一个位置1324，另一个通道1322收集来自视图内场的光和引导它在一个不同的位置1326。然后使用一滑动机构1332来移动传感器1330或者采用其他任何手动或电子控制机构使其到达1324或者1326的位置，根据手机的功能实现合适图像的捕捉。
图14A、14B和14C阐述了本发明实施例一示例性移动电话1400的不同视图，移动电话1400在面对用户的位置具有辅助图像捕获设备1402，面对场景的另一位置具有主要图像捕获设备1404。在这个例子中，辅助图像捕获设备1402可以沿垂直或水平轴旋转到图14A所示的一个位置来捕获用户的图像。设备1402可以旋转到如图14C所示的一个位置来与设备1404一起捕获场景图像。
图15A、15B、15C和15D阐述了本发明实施例一示例性移动电话1500的不同视图，移动电话1500在面对用户的位置具有辅助图像捕获设备1502，面对场景的另一位置具有主要图像捕获设备1504。在这个例子中，设备1502是可从电话1500主体上拆卸的，其定位在电话1500主体的前侧或后侧。设备1502可以连接到电话1500的前端来捕获图15b和15C所示的用户的图像。设备1502可以连接到电话1500的后端来与图15A和15D所示的设备1504来共同捕获场景图像。
这里描述的各种技术可以用软件或硬件实现，在适当的地方，两者相结合。因此，该方法和装置的实施例，或者某些方面或部分，可以把程序代码的形式（即，指示）体现在有形的媒体，如软盘，光盘，硬盘驱动器，或任何其他的机器可读存储介质，其中，程序代码加载到机器上执行，例如，计算机成为本发明的一个设备的实施例。在程序代码在可编程计算机上执行的情况下，计算机一般将包括一个处理器，由处理器可读的存储介质（包括稳定和非稳定的存储器和/或存储元件），至少一个输入设备和至少一个输出装置。一个或多个程序优选地在一个高层次的程序或面向对象编程语言上实施来与计算机系统通信。然而，如果需要的话，程序（S）可以在汇编语言或机器语言实现。在任何情况下，语言可为一编译或解释性语言，并结合硬件实现。
所描述的方法和设备也可以在程序代码的形式上体现，其在一些传输介质中传输，如电线或电缆，通过光纤，或通过任何其他形式的传输，其中，当程序代码被接收并装入机器来执行，如EPROM，门阵列，可编程逻辑器件（PLD），客户端计算机，录像机等设备，所述机器成为本发明公开实施例的装置。当其在一个通用的处理器上实施时，程序代码与处理器相结合提供了一个独特的装置，用于执行本发明的处理过程。
虽然在实施例中已经描述了优选实施例，但是应当理解的是，也可以使用其他类似的实施例，或可以对所描述的实施例中做出修改和补充，用于执行相同而不背离的功能。因此，所公开的实施例不应该被限制到任何单一的实施例，而是根据权利要求书解释本发明的广度和范围。

Claims (20)

1.一种利用主、辅图像捕获设备的方法，其特征在于：每一个捕获设备都包括一图像传感器和一镜头来执行图像处理，所述方法包括如下：
利用主要图像捕捉设备捕捉场景中的第一图像，该第一图像具有第一质量特性；
利用辅助图像捕捉设备捕捉场景中的第二图像，该第二图像具有第二质量特性，第二质量特性稍逊于第一质量特性；
通过调整一被捕获图像的至少一个参数来创建与第一质量特性相匹配和近似的多个调整后的图像；
利用调整后的图像来进行图像处理。
2.如权利要求1所述的方法，其特征在于：调整至少一个参数包括如下：调整一被捕获图像的裁剪因子、尺寸、缩放中的至少一个参数，来与其它被捕获图像的分辨率匹配和视野近似。
3.如权利要求2所述的方法，其特征在于：还包括利用主、辅图像捕获设备的焦距和光学特征来计算视图的重叠领域和分辨率，裁剪以及比例的变化。
4.如权利要求3所述的方法，其特征在于：还包括：
确定图像捕获设备的失真特性；和
执行一转换程序来纠正失真使得第一和第二图像平衡。
5.如权利要求1所述的方法，其特征在于：调整包括图像的颜色在内的至少一个参数来与其它图像的颜色匹配和近似。
6.如权利要求5所述的方法，其特征在于：还包括：
确定图像捕获设备视图的重叠区域；
提取区域颜色属性；和
执行颜色匹配和校正操作来平衡第一和第二图像。
7.如权利要求1所述的方法，其特征在于：还包括基于捕获的图像和调整的图像基础上生成至少一立体静态图像。
8.如权利要求7所述的方法，其特征在于：还包括在基于捕获的图像和调整后的图像联合的基础上执行一种定位和修改过程。
9.如权利要求7所述的方法，其特征在于：还包括生成至少一立体静态图像的像素的水平位置偏移视差图。
10.如权利要求9所述的方法，其特征在于：还包括利用主要图像捕获设备的一视差图和光学特征来计算一预定立体库，以便利用主要图像捕获设备来捕获并列型图像。
11.如权利要求10所述的方法，其特征在于：还包括利用主要图像捕获设备的视图实时数据来确定主要图像捕获设备的位置以捕获第二图像，其用于利用一对并列型图像创建立体图像的过程中。
12.如权利要求7所述的方法，其特征在于：还包括：
利用视差图来生成场景中的深度图；和
利用深度图以将基于渲染技术（DIBR）的深度图像应用来生成立体图像对的第二视图。
13.如权利要求12所述的方法，其特征在于：还包括：缩放深度图的深度值来生成立体对，体现了虚拟立体库不同于主、辅图像捕获设备的真正的分离。
14.如权利要求7所述的方法，其特征在于：还包括：
评估视差图来识别大差距的物体；
执行对象的操作技术来将识别的物体定位在一个预定的深度和使用辅助图像捕获设备的数据定位；和
使用辅助图像捕获设备的数据填充闭塞区。
15.如权利要求7所述的方法，其特征在于：还包括：
利用辅助图像捕获设备来捕获场景中的多个其它的图像，
基于多个其它的图像确定运动模糊内核；和
应用运动模糊内核来消除场景中第一图像的模糊。
16.如权利要求1所述的方法，其特征在于：第一图像和第二图像是由主、辅图像捕获设备各自捕获的视频帧，和
所述方法还包括基于捕获时间的视频帧的匹配。
17.如权利要求1所述的方法，其特征在于：利用主要图像捕获设备在场景主要焦点上捕获具有第一预定曝光水平的第一图像；
利用辅助图像捕获设备在场景中一个黑暗的区域和亮区中捕获具有第二预定曝光水平的第二图像；
调整第二图像的至少一个参数来得到与第一图像近似和匹配第二图像质量特性；
在基于第一图像和调整的第二图像的基础上生成一静态图像，以创建一个高动态范围图像。
18.如权利要求1所述的方法，其特征在于：
利用主要图像捕获设备在主要焦点捕获具有预定焦距的场景第一图像；
利用辅助图像捕获设备捕获场景的第二图像，第二图像具有与预定焦距不同的焦距；和
所述方法还包括调整被捕获图像的至少一参数来生成一焦点合成图像。
19.如权利要求1所述的方法，其特征在于：主、辅图像捕获设备为移动电话的部件，辅助图像捕获设备设置成第一位置面对用户，第二位置面对场景，和
辅助图像捕获设备包含从场景向辅助图像捕捉设备引导光的路径的机制，以便主、辅图像捕获设备捕获场景的第一和第二图像。
20.利用主、辅图像捕获设备生成无抖动的视频序列的方法，其特征在于：包括：
利用主要图像捕获设备来捕获场景的第一序列图像；
利用辅助图像捕获设备来捕获场景的第二序列图像；
创建视差图；
确定序列中两个连续的图像间具有相同的视差的对象；
当确定对象具有相同的视差时，识别对象作为一个非移动物体；
计算非移动物体的振动运动矢量；和
补偿基于图像基础上生成的场景视频和静态图像中的抖动。
CN2011800650362A 2010-12-27 2011-12-09 用于图像处理的主、辅图像捕获设备及其相关方法 Pending CN103329548A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201061427278P 2010-12-27 2010-12-27
US61/427,278 2010-12-27
US13/115,589 US8274552B2 (en) 2010-12-27 2011-05-25 Primary and auxiliary image capture devices for image processing and related methods
US13/115,589 2011-05-25
PCT/US2011/064050 WO2012091878A2 (en) 2010-12-27 2011-12-09 Primary and auxiliary image capture devices for image processing and related methods

Publications (1)

Publication Number Publication Date
CN103329548A true CN103329548A (zh) 2013-09-25

Family

ID=46316193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800650362A Pending CN103329548A (zh) 2010-12-27 2011-12-09 用于图像处理的主、辅图像捕获设备及其相关方法

Country Status (5)

Country Link
US (3) US8274552B2 (zh)
JP (1) JP2014502818A (zh)
KR (1) KR20140051112A (zh)
CN (1) CN103329548A (zh)
WO (1) WO2012091878A2 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763477A (zh) * 2014-02-21 2014-04-30 上海果壳电子有限公司 一种双摄像头拍后调焦成像装置和方法
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
CN104954776A (zh) * 2014-03-24 2015-09-30 宏达国际电子股份有限公司 图像校正方法及其图像撷取装置
CN106170067A (zh) * 2015-05-18 2016-11-30 安讯士有限公司 用于制作稳像视频的方法和摄像机
JP2016541008A (ja) * 2013-10-16 2016-12-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 少なくとも１つの非ステレオカメラのステレオカメラへの変換
CN107223330A (zh) * 2016-01-12 2017-09-29 华为技术有限公司 一种深度信息获取方法、装置及图像采集设备
CN108024056A (zh) * 2017-11-30 2018-05-11 广东欧珀移动通信有限公司 基于双摄像头的成像方法和装置
CN108305281A (zh) * 2018-02-09 2018-07-20 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN108605091A (zh) * 2016-03-04 2018-09-28 索尼公司 信号处理装置和成像装置
CN109314776A (zh) * 2017-05-17 2019-02-05 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
WO2020118624A1 (en) * 2018-12-13 2020-06-18 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
CN111669561A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角图像数据处理方法及装置、介质、设备
CN112868224A (zh) * 2019-04-01 2021-05-28 谷歌有限责任公司 捕获和编辑动态深度图像的技术
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统
CN113692738A (zh) * 2019-02-05 2021-11-23 杰瑞·尼姆斯 一种用于模拟三维图像序列的方法和系统
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479768B2 (en) * 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
TWI422213B (zh) * 2009-07-29 2014-01-01 Mstar Semiconductor Inc 影像畫面偵測裝置及其方法
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012105184A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 表示装置、眼鏡装置及び映像システム
US8873882B2 (en) * 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
US8754977B2 (en) * 2011-07-28 2014-06-17 Hewlett-Packard Development Company, L.P. Second camera for finding focal target in poorly exposed region of frame taken by first camera
WO2013024578A1 (ja) * 2011-08-12 2013-02-21 富士フイルム株式会社 画像再生システムおよび画像ファイル生成装置
EP2562715A1 (en) * 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Portable electric equipment and method of processing a series of frames
KR101335065B1 (ko) * 2011-09-22 2013-12-03 (주)카카오 수신 확인을 제공하는 대화형 메시징 서비스 운용 방법
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
JP5882805B2 (ja) * 2012-03-26 2016-03-09 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
TWI543582B (zh) * 2012-04-17 2016-07-21 晨星半導體股份有限公司 影像編輯方法以及相關之模糊參數建立方法
JP5950678B2 (ja) * 2012-04-27 2016-07-13 キヤノン株式会社 撮像装置、制御方法、及びプログラム
US9288377B2 (en) 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
US9473760B2 (en) * 2012-08-08 2016-10-18 Makerbot Industries, Llc Displays for three-dimensional printers
US8977037B1 (en) * 2012-08-31 2015-03-10 Google Inc. Methods and systems of creating a stereoscopic image
CN108345006B (zh) 2012-09-10 2022-04-08 广稹阿马斯公司 捕捉运动场景的设备、装置和系统
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
US8917324B2 (en) * 2012-09-13 2014-12-23 Jennifer Jinghan Yu Method and apparatus for a camera having simple lens
KR101429349B1 (ko) * 2012-09-18 2014-08-12 연세대학교 산학협력단 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
US10771757B2 (en) * 2012-12-10 2020-09-08 Mediatek Inc. Method and appartus for stereoscopic focus control of stereo camera
WO2014092740A1 (en) * 2012-12-15 2014-06-19 Daniel Lauer Capture systems and methods for use in providing 3d models of objects
KR20140088465A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 디스플레이 방법 및 디스플레이 장치
KR20140109020A (ko) * 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
JP6155471B2 (ja) * 2013-03-11 2017-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置、撮像装置および画像生成方法
US9047666B2 (en) * 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
JPWO2014148031A1 (ja) * 2013-03-19 2017-02-16 パナソニックＩｐマネジメント株式会社 画像生成装置、撮像装置および画像生成方法
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
TWI547142B (zh) * 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的３ｄ顯示器適配
KR102146641B1 (ko) 2013-04-08 2020-08-21 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US20140320604A1 (en) * 2013-04-24 2014-10-30 Nvidia Corporation Reusing a standalone camera as part of a three-dimensional (3d) camera in a data processing device
WO2014198245A1 (de) * 2013-06-13 2014-12-18 Leica Camera Ag Kamera mit opto-elektronischem entfernungsmesser
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
CN107748432A (zh) 2013-07-04 2018-03-02 核心光电有限公司 小型长焦透镜套件
US8811811B1 (en) * 2013-07-18 2014-08-19 Fraunhofer-Gesellscahft zur Foerderung der angewandten Forschung e.V. Camera system and method for generating high-quality HDR images or videos
CN109246339B (zh) 2013-08-01 2020-10-23 核心光电有限公司 用于对对象或场景进行成像的双孔径数字摄影机
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN104463923B (zh) * 2013-09-12 2017-07-11 佳能信息技术（北京）有限公司 图像显示调节设备、图像显示调节方法和显示器
US10306165B2 (en) 2013-12-06 2019-05-28 Huawei Device Co., Ltd. Image generating method and dual-lens device
US9600887B2 (en) * 2013-12-09 2017-03-21 Intel Corporation Techniques for disparity estimation using camera arrays for high dynamic range imaging
CN103780840B (zh) * 2014-01-21 2016-06-08 上海果壳电子有限公司 一种高品质成像的双摄像成像装置及其方法
KR102265109B1 (ko) * 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9504925B2 (en) 2014-02-14 2016-11-29 Right Foot Llc Doll or action figure with facial features customized to a particular individual
US10250799B2 (en) * 2014-05-21 2019-04-02 Google Technology Holdings LLC Enhanced image capture
WO2015189836A1 (en) * 2014-06-12 2015-12-17 Inuitive Ltd. A method for determining depth for generating three dimensional images
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
US9396409B2 (en) 2014-09-29 2016-07-19 At&T Intellectual Property I, L.P. Object based image processing
TWI554098B (zh) * 2014-10-07 2016-10-11 緯創資通股份有限公司 錄影裝置與錄影方法
US20160140733A1 (en) * 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
CN105657237B (zh) * 2014-11-13 2019-02-19 聚晶半导体股份有限公司 图像获取装置及其数字变焦方法
CN112327464A (zh) 2015-01-03 2021-02-05 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
ES2908652T3 (es) 2015-04-16 2022-05-03 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US9426450B1 (en) * 2015-08-18 2016-08-23 Intel Corporation Depth sensing auto focus multiple camera system
KR102347591B1 (ko) * 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
CN105072434B (zh) * 2015-08-24 2017-08-25 广州市乐拓电子科技有限公司 一种全息影像的远程传输系统和方法
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
JP6732440B2 (ja) * 2015-12-04 2020-07-29 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
KR102433623B1 (ko) 2015-12-29 2022-08-18 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
KR102302004B1 (ko) 2016-06-19 2021-09-14 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102657464B1 (ko) 2016-07-07 2024-04-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
CN106534928A (zh) * 2016-10-28 2017-03-22 努比亚技术有限公司 视频处理装置及方法
WO2018122650A1 (en) 2016-12-28 2018-07-05 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
CN115857135A (zh) 2017-02-23 2023-03-28 核心光电有限公司 折叠式摄影机透镜设计
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
KR102530535B1 (ko) 2017-03-15 2023-05-08 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
US10306212B2 (en) * 2017-03-31 2019-05-28 Verizon Patent And Licensing Inc. Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
WO2019102313A1 (en) 2017-11-23 2019-05-31 Corephotonics Ltd. Compact folded camera structure
WO2019150188A1 (en) 2018-02-05 2019-08-08 Corephotonics Ltd. Reduced height penalty for folded camera
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
US10715718B2 (en) * 2018-03-15 2020-07-14 Taiwan Semiconductor Manufacturing Company, Ltd. Phase detect auto-focus three dimensional image capture system
CN108520497B (zh) * 2018-03-15 2020-08-04 华中科技大学 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20230098686A (ko) 2018-04-23 2023-07-04 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
KR102289149B1 (ko) 2018-08-04 2021-08-12 코어포토닉스 리미티드 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
KR102242437B1 (ko) 2019-01-07 2021-04-20 코어포토닉스 리미티드 슬라이딩 조인트를 갖는 회전 메커니즘
CN113891059B (zh) 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
US10956694B2 (en) * 2019-04-05 2021-03-23 Zebra Technologies Corporation Device and method for data capture aiming assistance
CN111292278B (zh) * 2019-07-30 2023-04-07 展讯通信（上海）有限公司 图像融合方法及装置、存储介质、终端
KR102515482B1 (ko) 2019-07-31 2023-03-29 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11568516B2 (en) * 2019-09-12 2023-01-31 Nikon Corporation Depth-based image stitching for handling parallax
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
EP4097773A4 (en) 2020-04-26 2023-11-01 Corephotonics Ltd. TEMPERATURE CONTROL FOR HALL BAR SENSOR CORRECTION
CN117372250A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN111667442B (zh) * 2020-05-21 2022-04-01 武汉大学 一种基于事件相机的高质量高帧率图像重建方法
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的系统
WO2021253186A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
KR102598070B1 (ko) 2020-08-12 2023-11-02 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
KR102480209B1 (ko) * 2021-01-27 2022-12-22 (주)필라넷 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치
EP4241234A4 (en) * 2021-06-03 2024-05-01 Samsung Electronics Co Ltd METHOD AND ELECTRONIC DEVICE FOR RECTIFYING AN IMAGE
WO2023047666A1 (ja) * 2021-09-21 2023-03-30 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6847392B1 (en) * 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
US20080143821A1 (en) * 2006-12-16 2008-06-19 Hung Yi-Ping Image Processing System For Integrating Multi-Resolution Images
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成

Family Cites Families (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3503316A (en) 1965-11-09 1970-03-31 Toppan Printing Co Ltd Apparatus for producing stereoscopic pictures
US3953869A (en) 1974-09-24 1976-04-27 Dimensional Development Corporation Stereoscopic photography apparatus
GB8317407D0 (en) 1983-06-27 1983-07-27 Rca Corp Image transform techniques
IL87306A0 (en) * 1988-08-02 1989-01-31 Technion Res & Dev Foundation Wide dynamic range camera
EP0358196B1 (en) * 1988-09-09 1997-07-30 Canon Kabushiki Kaisha Automatic image stabilization device
US4956705A (en) 1989-03-10 1990-09-11 Dimensional Visions Group Electronic method and apparatus for stereoscopic photography
FR2650465B1 (fr) 1989-07-26 1996-06-21 France Etat Procede de traitement et de transmission par un canal de type " mac " d'une sequence de couple d'images de television stereoscopique
JP2928548B2 (ja) 1989-08-02 1999-08-03 株式会社日立製作所 立体形状検出方法及びその装置
US4980762A (en) 1989-10-13 1990-12-25 Massachusetts Institute Of Technology Method and apparatus for image processing to obtain three dimensional motion and depth
US5369735A (en) 1990-03-30 1994-11-29 New Microtime Inc. Method for controlling a 3D patch-driven special effects system
JPH0560528A (ja) 1991-09-03 1993-03-09 Hitachi Ltd 立体情報入力装置
US5603687A (en) 1992-10-28 1997-02-18 Oktas General Partnership Asymmetric stereo-optic endoscope
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US5444479A (en) 1993-09-02 1995-08-22 Vision Iii Imaging, Inc. Single camera autostereoscopic imaging apparatus
US5448322A (en) 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
US5511153A (en) 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
US5963247A (en) 1994-05-31 1999-10-05 Banitt; Shmuel Visual display systems and a system for producing recordings for visualization thereon and methods therefor
JP3242529B2 (ja) 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
JP3513219B2 (ja) 1994-07-12 2004-03-31 キヤノン株式会社 対応点マッチング方法および装置
JP2846840B2 (ja) 1994-07-14 1999-01-13 三洋電機株式会社 ２次元映像から３次元映像を生成する方法
FR2724033B1 (fr) 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
EP0703716B1 (en) 1994-09-22 2002-11-27 Sanyo Electric Co. Ltd Method of converting two-dimensional images into three-dimensional images
US6414709B1 (en) 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
JP2846830B2 (ja) 1994-11-22 1999-01-13 三洋電機株式会社 ２次元映像を３次元映像に変換する方法
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US5777666A (en) 1995-04-17 1998-07-07 Sanyo Electric Co., Ltd. Method of converting two-dimensional images into three-dimensional images
US5748199A (en) 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US5953054A (en) 1996-05-31 1999-09-14 Geo-3D Inc. Method and system for producing stereoscopic 3-dimensional images
US5874988A (en) 1996-07-08 1999-02-23 Da Vinci Systems, Inc. System and methods for automated color correction
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
DE69739179D1 (de) 1996-07-18 2009-02-05 Sanyo Electric Co Eidimensionale bilder
US5652616A (en) 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6031564A (en) 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6747610B1 (en) 1997-07-22 2004-06-08 Sanyo Electric Co., Ltd. Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image
US6018349A (en) 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US5883695A (en) 1997-09-19 1999-03-16 Paul; Eddie Method and apparatus for producing stereoscopic images with single sensor
WO1999015945A2 (en) 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
US6047078A (en) 1997-10-03 2000-04-04 Digital Equipment Corporation Method for extracting a three-dimensional model using appearance-based constrained structure from motion
EP2252071A3 (en) 1997-12-05 2017-04-12 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
JP4056154B2 (ja) 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US6094215A (en) 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
JP4172554B2 (ja) 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
US6240198B1 (en) 1998-04-13 2001-05-29 Compaq Computer Corporation Method for figure tracking using 2-D registration
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6208348B1 (en) 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
US7116324B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
US6246412B1 (en) 1998-06-18 2001-06-12 Microsoft Corporation Interactive construction and refinement of 3D models from multiple panoramic images
WO2000013423A1 (en) * 1998-08-28 2000-03-09 Sarnoff Corporation Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
US6023588A (en) 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
US6278460B1 (en) 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
JP2000251090A (ja) 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
US6661913B1 (en) 1999-05-05 2003-12-09 Microsoft Corporation System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
GB9912438D0 (en) 1999-05-27 1999-07-28 United Bristol Healthcare Nhs Method and apparatus for displaying volumetric data
US6760488B1 (en) 1999-07-12 2004-07-06 Carnegie Mellon University System and method for generating a three-dimensional model from a two-dimensional image sequence
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
JP2001142166A (ja) 1999-09-15 2001-05-25 Sharp Corp ３ｄカメラ
US6381302B1 (en) 2000-07-05 2002-04-30 Canon Kabushiki Kaisha Computer assisted 2D adjustment of stereo X-ray images
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
AUPQ416699A0 (en) 1999-11-19 1999-12-16 Dynamic Digital Depth Research Pty Ltd Depth map compression technique
US6970591B1 (en) 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
ATE499625T1 (de) 1999-12-13 2011-03-15 Univ Columbia Rektifizierte katadioptrische stereosensoren
US6677981B1 (en) 1999-12-31 2004-01-13 Stmicroelectronics, Inc. Motion play-back of still pictures comprising a panoramic view for simulating perspective
US6980690B1 (en) 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US7373017B2 (en) 2005-10-04 2008-05-13 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US6978051B2 (en) 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
JP2001285894A (ja) 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
US7215809B2 (en) 2000-04-04 2007-05-08 Sony Corporation Three-dimensional image producing method and apparatus therefor
US7027642B2 (en) 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US7224357B2 (en) 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
US6606406B1 (en) 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US6611268B1 (en) 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
US6611664B2 (en) * 2000-06-26 2003-08-26 Kabushiki Kaisha Topcon Stereo image photographing system
US6559846B1 (en) 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US6967659B1 (en) 2000-08-25 2005-11-22 Advanced Micro Devices, Inc. Circuitry and systems for performing two-dimensional motion compensation using a three-dimensional pipeline and methods of operating the same
US6677982B1 (en) 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US6927769B2 (en) 2000-11-21 2005-08-09 Vrex, Inc. Stereoscopic image processing on a computer system
CA2327894A1 (en) 2000-12-07 2002-06-07 Clearview Geophysics Inc. Method and system for complete 3d object and area digitizing
US7155049B2 (en) 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
WO2002069272A2 (en) 2001-01-26 2002-09-06 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
DE10105423C1 (de) 2001-01-31 2002-07-04 Hertz Inst Heinrich Verfahren zur Korrespondenzanalyse von Bildmerkmalen in korrespondierenden Videobildern in Echtzeit
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
DE10116056B4 (de) 2001-03-30 2005-09-08 Karl Storz Gmbh & Co. Kg Endoskopische Visualisierungsvorrichtung mit unterschiedlichen Bildsystemen
US20020190991A1 (en) 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
US20030002870A1 (en) 2001-06-27 2003-01-02 Baron John M. System for and method of auto focus indications
US6947059B2 (en) 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
JP2003092768A (ja) * 2001-09-18 2003-03-28 Canon Inc 撮像装置
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7046840B2 (en) 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
AU2002233198A1 (en) 2001-11-24 2003-06-10 Newsight Corporation Generation of a stereo image sequence from a 2d image sequence
US20040218269A1 (en) 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
DE10201523A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen
US20030152264A1 (en) 2002-02-13 2003-08-14 Perkins Christopher H. Method and system for processing stereoscopic images
JP2003244500A (ja) 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置
JP2003244727A (ja) 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置
US7081892B2 (en) 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7224382B2 (en) 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
IL150131A (en) 2002-06-10 2007-03-08 Rafael Advanced Defense Sys A method for turning a series of monoscopic images into a series of stereoscopic images
WO2004001667A2 (en) 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
JP3928939B2 (ja) * 2002-06-21 2007-06-13 日本放送協会 画像処理装置および画像処理方法
US7400782B2 (en) 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
WO2004021151A2 (en) 2002-08-30 2004-03-11 Orasee Corp. Multi-dimensional image system for digital image input and output
JP4216021B2 (ja) 2002-08-30 2009-01-28 富士重工業株式会社 侵入物検出装置
US7466336B2 (en) 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
JP4072674B2 (ja) 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP5036132B2 (ja) 2002-11-21 2012-09-26 ビジョン サード イメージング，インコーポレイテッド 裸眼立体表示のための視差画像のクリティカルな位置合わせ
US20040100565A1 (en) 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
AU2002952874A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
GB0228875D0 (en) 2002-12-11 2003-01-15 Eastman Kodak Co Three dimensional images
JP4490074B2 (ja) 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
GB0310504D0 (en) 2003-05-07 2003-06-11 Canon Europa Nv Photographing apparatus,device and method for obtaining images to be used for creating three-dimensional model
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8553113B2 (en) 2003-08-20 2013-10-08 At&T Intellectual Property I, L.P. Digital image capturing system and method
GB2405764A (en) 2003-09-04 2005-03-09 Sharp Kk Guided capture or selection of stereoscopic image pairs.
JP3991020B2 (ja) 2003-09-30 2007-10-17 キヤノン株式会社 画像表示方法及び画像表示システム
EP1671216B1 (en) * 2003-10-09 2016-12-07 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US7409105B2 (en) 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
GB2408901B (en) 2003-12-05 2006-07-12 Motorola Inc A decoder for a wireless communication device
GB0329312D0 (en) 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
US8036451B2 (en) 2004-02-17 2011-10-11 Koninklijke Philips Electronics N.V. Creating a depth map
WO2005086078A1 (en) 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for classifying an object
FR2868168B1 (fr) 2004-03-26 2006-09-15 Cnes Epic Appariement fin d'images stereoscopiques et instrument dedie avec un faible coefficient stereoscopique
US8049776B2 (en) 2004-04-12 2011-11-01 Angstrom, Inc. Three-dimensional camcorder
US7512883B2 (en) 2004-06-30 2009-03-31 Microsoft Corporation Portable solution for automatic camera management
EP1613060A1 (en) 2004-07-02 2006-01-04 Sony Ericsson Mobile Communications AB Capturing a sequence of images
JP4581512B2 (ja) 2004-07-02 2010-11-17 オムロン株式会社 ３次元画像処理装置、光軸調整方法、光軸調整支援方法
US7515759B2 (en) 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
KR100601958B1 (ko) 2004-07-15 2006-07-14 삼성전자주식회사 3차원 객체 인식을 위한 양안차 추정 방법
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
JP2006064751A (ja) * 2004-08-24 2006-03-09 Ricoh Co Ltd 静電アクチュエータおよび光走査装置
EP1795006A2 (en) 2004-09-24 2007-06-13 Koninklijke Philips Electronics N.V. System and method for the production of composite images comprising or using one or more cameras for providing overlapping images
JP2006113807A (ja) 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
WO2006062325A1 (en) 2004-12-06 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for correcting image distortion of stereo-camera and method thereof
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US8082120B2 (en) 2005-03-11 2011-12-20 Creaform Inc. Hand-held self-referenced apparatus for three-dimensional scanning
US20060210111A1 (en) 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
US7760962B2 (en) 2005-03-30 2010-07-20 Casio Computer Co., Ltd. Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
US7643062B2 (en) 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
KR100653065B1 (ko) 2005-07-21 2006-12-01 삼성전자주식회사 전자기기 시스템 및 그 제어방법
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
KR100653965B1 (ko) 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
DE602006017940D1 (de) 2005-09-09 2010-12-16 Olympus Medical Systems Corp Medizinisches Stereo-Beobachtungssystem
US20070064098A1 (en) 2005-09-19 2007-03-22 Available For Licensing Systems and methods for 3D rendering
CN101536036A (zh) 2005-09-26 2009-09-16 皇家飞利浦电子股份有限公司 用于跟踪物体或人的运动的方法和设备
JP4356689B2 (ja) 2005-12-08 2009-11-04 ソニー株式会社 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム
US20070165942A1 (en) 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
KR100679054B1 (ko) 2006-02-15 2007-02-06 삼성전자주식회사 입체 영상을 디스플레이하는 장치 및 방법
GB0608841D0 (en) 2006-05-04 2006-06-14 Isis Innovation Scanner system and method for scanning
US7573475B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US7573489B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US7705970B2 (en) 2006-06-05 2010-04-27 The Regents Of The University Of Colorado Method and system for optical imaging and ranging
US7538876B2 (en) 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
US7711201B2 (en) 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
WO2007148219A2 (en) 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US7626612B2 (en) * 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
WO2008033856A1 (en) 2006-09-11 2008-03-20 3Ality Digital, Llc 3d augmentation of traditional photography
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
TWI314832B (en) 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US7857455B2 (en) 2006-10-18 2010-12-28 Reald Inc. Combining P and S rays for bright stereoscopic projection
US7787162B2 (en) 2006-11-16 2010-08-31 Xerox Corporation Smart start of scan (SOS) detector
EP2092760A1 (en) 2006-12-19 2009-08-26 Koninklijke Philips Electronics N.V. Method and system to convert 2d video into 3d video
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
EP1939955A3 (en) 2006-12-27 2015-12-23 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Optical device and system and method for fabricating the device
JP2008172523A (ja) * 2007-01-11 2008-07-24 Fujifilm Corp 多焦点カメラ装置及びそれに用いられる制御方法並びにプログラム
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
GB0708676D0 (en) 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
CN101689299B (zh) 2007-06-20 2016-04-13 汤姆逊许可证公司 用于图像的立体匹配的系统和方法
US7817187B2 (en) 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
JP4264464B2 (ja) * 2007-06-28 2009-05-20 パナソニック株式会社 撮像装置及び半導体回路素子
CN101785025B (zh) 2007-07-12 2013-10-30 汤姆森特许公司 用于从二维图像进行三维对象重构的系统和方法
US20090061381A1 (en) 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
JP2009133753A (ja) 2007-11-30 2009-06-18 Toshiba Corp 画像処理装置及びその方法
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
KR100912715B1 (ko) 2007-12-17 2009-08-19 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
JP5561781B2 (ja) 2008-01-29 2014-07-30 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
GB2458927B (en) 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8350892B2 (en) 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
US8830341B2 (en) 2008-05-22 2014-09-09 Nvidia Corporation Selection of an optimum image in burst mode in a digital camera
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
ZA200903757B (en) 2008-07-29 2010-04-28 Eskom Holdings Pty Ltd Stray-flux detection and analysis system
WO2010019926A1 (en) 2008-08-14 2010-02-18 Real D Stereoscopic depth mapping
WO2010024479A1 (en) 2008-08-26 2010-03-04 Enhanced Chip Technology Inc. Apparatus and method for converting 2d image signals into 3d image signals
US9225965B2 (en) 2008-11-07 2015-12-29 Telecom Italia S.P.A. Method and system for producing multi-view 3D visual contents
US8471895B2 (en) 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
JP5230376B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
TWI393992B (zh) * 2009-02-05 2013-04-21 Nat Univ Chung Cheng High dynamic range image synthesis method
GB2467932A (en) 2009-02-19 2010-08-25 Sony Corp Image processing device and method
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置
JP5348687B2 (ja) * 2009-04-17 2013-11-20 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
US8350894B2 (en) * 2009-04-17 2013-01-08 The Boeing Company System and method for stereoscopic imaging
US8743176B2 (en) 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
BRPI0924540A2 (pt) 2009-06-16 2015-06-23 Intel Corp Aplicações de câmera em um dispositivo portátil
TWI411870B (zh) 2009-07-21 2013-10-11 Teco Elec & Machinery Co Ltd 立體影像產生方法及系統
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
WO2011014421A2 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014420A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011017308A1 (en) 2009-08-04 2011-02-10 Shenzhen Tcl New Technology Ltd. Systems and methods for three-dimensional video generation
WO2011028837A2 (en) 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US8908958B2 (en) 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
KR101214536B1 (ko) 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
EA025307B1 (ru) 2010-08-06 2016-12-30 Тасли Фармасьютикал Груп Ко., Лтд. Применение медицинской композиции в приготовлении лекарственного средства для вторичной профилактики ишемической болезни сердца (ибс) у пациентов с диагнозом стенокардия ii или iii степени по классификации канадского кардиоваскулярного общества
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847392B1 (en) * 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US20080143821A1 (en) * 2006-12-16 2008-06-19 Hung Yi-Ping Image Processing System For Integrating Multi-Resolution Images
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016541008A (ja) * 2013-10-16 2016-12-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 少なくとも１つの非ステレオカメラのステレオカメラへの変換
CN103763477B (zh) * 2014-02-21 2016-06-08 上海果壳电子有限公司 一种双摄像头拍后调焦成像装置和方法
CN103763477A (zh) * 2014-02-21 2014-04-30 上海果壳电子有限公司 一种双摄像头拍后调焦成像装置和方法
CN104954776A (zh) * 2014-03-24 2015-09-30 宏达国际电子股份有限公司 图像校正方法及其图像撷取装置
US9883118B2 (en) 2014-03-24 2018-01-30 Htc Corporation Method of image correction and image capturing device thereof
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
CN106170067A (zh) * 2015-05-18 2016-11-30 安讯士有限公司 用于制作稳像视频的方法和摄像机
CN107223330A (zh) * 2016-01-12 2017-09-29 华为技术有限公司 一种深度信息获取方法、装置及图像采集设备
US10506164B2 (en) 2016-01-12 2019-12-10 Huawei Technologies Co., Ltd. Depth information obtaining method and apparatus, and image acquisition device
CN108605091A (zh) * 2016-03-04 2018-09-28 索尼公司 信号处理装置和成像装置
CN109314776A (zh) * 2017-05-17 2019-02-05 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
CN108024056A (zh) * 2017-11-30 2018-05-11 广东欧珀移动通信有限公司 基于双摄像头的成像方法和装置
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
US10742860B2 (en) 2017-11-30 2020-08-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for double-camera-based imaging
CN108305281A (zh) * 2018-02-09 2018-07-20 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN108305281B (zh) * 2018-02-09 2020-08-11 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
WO2020118624A1 (en) * 2018-12-13 2020-06-18 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
CN113273170A (zh) * 2018-12-13 2021-08-17 杭州他若定位科技有限公司 使用高帧率辅助成像元件使相机移动设备稳定
CN113273170B (zh) * 2018-12-13 2023-04-28 杭州他若定位科技有限公司 使用高帧率辅助成像元件使相机移动设备稳定的方法、装置及存储介质
US11991445B2 (en) 2018-12-13 2024-05-21 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
CN113692738A (zh) * 2019-02-05 2021-11-23 杰瑞·尼姆斯 一种用于模拟三维图像序列的方法和系统
CN111669561A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角图像数据处理方法及装置、介质、设备
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
US11341715B2 (en) 2019-03-07 2022-05-24 Alibaba Group Holding Limited Video reconstruction method, system, device, and computer readable storage medium
US11521347B2 (en) 2019-03-07 2022-12-06 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
CN112868224A (zh) * 2019-04-01 2021-05-28 谷歌有限责任公司 捕获和编辑动态深度图像的技术
CN112868224B (zh) * 2019-04-01 2023-08-29 谷歌有限责任公司 捕获和编辑动态深度图像的方法、装置和存储介质
US11949848B2 (en) 2019-04-01 2024-04-02 Google Llc Techniques to capture and edit dynamic depth images
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统

Also Published As

Publication number Publication date
US20120162379A1 (en) 2012-06-28
US20120314036A1 (en) 2012-12-13
US8441520B2 (en) 2013-05-14
US20130242059A1 (en) 2013-09-19
KR20140051112A (ko) 2014-04-30
US8274552B2 (en) 2012-09-25
WO2012091878A3 (en) 2012-09-07
JP2014502818A (ja) 2014-02-03
WO2012091878A2 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
CN103329548A (zh) 用于图像处理的主、辅图像捕获设备及其相关方法
US11388385B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US8026950B2 (en) Method of and apparatus for selecting a stereoscopic pair of images
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8885026B2 (en) Imaging device and imaging method
US8208048B2 (en) Method for high dynamic range imaging
JP5140210B2 (ja) 撮影装置および画像処理方法
US9544498B2 (en) Method for forming images
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
KR101377325B1 (ko) 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
US8823778B2 (en) Imaging device and imaging method
WO2012029301A1 (ja) 撮影装置、再生装置、および画像処理方法
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
WO2012029299A1 (ja) 撮影装置、再生装置、および画像処理方法
CN102172031A (zh) 三维显示设备、方法、及程序
WO2012037075A1 (en) Method of presenting three-dimensional content with disparity adjustments
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
US10728524B2 (en) Imaging apparatus, imaging method, image generation apparatus, image generation method, and program
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
Doser et al. The glasses are half empty: Turn your sight to autostereoscopic 3-d
Thomas et al. New methods of image capture to support advanced post-production
Tam et al. Performance enhancement of field-sequential stereoscopic video systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130925