CN102859989A - 组合来自多个图像传感器的数据 - Google Patents

组合来自多个图像传感器的数据 Download PDF

Info

Publication number
CN102859989A
CN102859989A CN2011800214306A CN201180021430A CN102859989A CN 102859989 A CN102859989 A CN 102859989A CN 2011800214306 A CN2011800214306 A CN 2011800214306A CN 201180021430 A CN201180021430 A CN 201180021430A CN 102859989 A CN102859989 A CN 102859989A
Authority
CN
China
Prior art keywords
data
line
image
camera
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800214306A
Other languages
English (en)
Other versions
CN102859989B (zh
Inventor
塞尔久·R·戈马
米利沃耶·阿列克西克
黄豪
约瑟夫·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102859989A publication Critical patent/CN102859989A/zh
Application granted granted Critical
Publication of CN102859989B publication Critical patent/CN102859989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示一种组合来自多个传感器的数据的方法。所述方法包括在具有用于单一相机的输入的图像处理器处接收图像数据的多个线。所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据。所述方法还包括产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段经配置以用于产生三维3D图像格式或3D视频格式。

Description

组合来自多个图像传感器的数据
优先权主张
本申请案主张2010年4月5日申请的第61/320,940号美国临时申请案、2010年4月14日申请的第61/324,259号美国临时申请案、2010年6月28日申请的第61/359,312号美国临时申请案和2010年11月11日申请的第61/412,755号美国临时申请案中的每一者的权益，且所述申请案中的每一者以引用的方式并入本文中。
技术领域
本发明大体上涉及组合来自多个图像传感器的数据。
背景技术
技术的进步已产生更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包括无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小、重量轻且易于由用户携带。更具体来说，便携式无线电话(例如，蜂窝式电话和因特网协议(IP)电话)可经由无线网络传送语音和数据包。此外，许多这些无线电话包括并入于其中的其它类型的装置。举例来说，无线电话还可包括数字静态相机和数字视频相机。而且，此些无线电话可处理可执行指令，包括可用以接入因特网的软件应用程序(例如，网页浏览器应用程序)。
另外，无线装置可执行三维(3D)应用程序。在3D应用程序中，通常使用至少两个图像传感器从场景俘获深度信息。来自两个图像传感器的帧数据经组合且处理以推断出距离信息且用以建构3D表示。组合来自所述传感器中的每一者的图像数据通常涉及执行帧同步和线同步，此可导致同步和对准挑战。另外，当源传感器以不同频率或相位提供数据时，滤波来自多个传感器的图像数据且交错此图像数据可为更加复杂的。有效地同步来自多个传感器的数据且有效地处理所述数据以减小总图像处理系统成本和复杂性将为有利的。
发明内容
在多个相机阵列应用中，来自多个传感器中的每一者的图像数据将要在线水平下同步且处理。揭示一种用以组合来自多个传感器的数据的图像处理系统，其中同步且处理来自第一图像传感器和第二图像传感器的图像数据。通过同步且组合来自由所述第一图像传感器产生的第一数据流的第一数据与来自由所述第二图像传感器产生的第二数据流的第二数据来产生同步数据线。图像信号处理器经配置以处理从组合器接收的所述同步数据线且将经处理帧输出到显示器。
在一特定实施例中，揭示一种方法。所述方法包括将共同控制信号提供到待同步的多个图像传感器。所述方法进一步包括接收来自所述多个图像传感器中的第一图像传感器的第一数据线，接收来自所述多个图像传感器中的第二图像传感器的第二数据线，以及组合所述第一数据线与所述第二数据线以产生同步数据线。
在另一特定实施例中，揭示一种设备。所述设备包括第一输入，所述第一输入经配置以经由共同控制信号接收来自待同步的多个图像传感器中的第一图像传感器的第一数据线。所述设备进一步包括：第二输入，所述第二输入经配置以接收来自所述多个图像传感器中的第二图像传感器的第二数据线；以及组合器，所述组合器耦合到所述第一输入和所述第二输入，其中所述组合器经配置以组合所述第一数据线与所述第二数据线以产生同步数据线。
在另一特定实施例中，揭示一种方法。所述方法包括将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。所述方法进一步包括接收来自所述多个图像传感器中的每一者的同步数据输出，组合来自所述多个图像传感器中的每一者的所述同步数据输出以产生同步数据线，以及经由图像处理器的单一相机输入将所述同步数据线提供到所述图像处理器。
在另一特定实施例中，揭示一种设备。所述设备包括传感器同步器，所述传感器同步器经配置以将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。所述设备进一步包括组合器，所述组合器经配置以组合从所述多个图像传感器中的每一者接收的同步数据输出，以产生待经由图像处理器的单一相机输入提供到所述图像处理器的同步数据线。
在另一特定实施例中，揭示一种方法。所述方法包括将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。所述方法进一步包括接收来自所述多个图像传感器中的每一者的同步数据输出。
在另一特定实施例中，揭示一种方法。所述方法包括在多个图像传感器处接收共同控制信号。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。所述方法进一步包括产生来自所述多个图像传感器中的每一者的同步数据输出。
在另一特定实施例中，揭示一种设备。所述设备包括传感器同步器，所述传感器同步器经配置以将共同控制信号提供到多个图像传感器以使所述多个图像传感器产生图像数据。所述设备进一步包括传感器数据接口，所述传感器数据接口经配置以接收来自所述多个图像传感器中的每一者的同步数据输出。
在另一特定实施例中，揭示一种方法。所述方法包括在具有用于单一相机的输入的图像处理器处接收图像数据的多个线。所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据。所述方法进一步包括产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段经配置以用于产生三维(3D)图像格式或3D视频格式。
在另一特定实施例中，揭示一种设备。所述设备包括图像处理器，所述图像处理器具有用于单一相机的输入。所述图像处理器经配置以经由所述输入接收图像数据的多个线。所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据。所述图像处理器经配置以产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段经配置以用于产生三维(3D)图像格式或3D视频格式。
在一特定实施例中，揭示一种将来自多个传感器的数据组合成一帧的方法。所述方法包括接收来自第一图像传感器的第一数据流，接收来自第二图像传感器的第二数据流，以及组合来自所述第一数据流的数据与来自所述第二数据流的数据以产生一帧。所述方法进一步包括在图像信号处理器处处理所述帧以产生经处理帧并输出所述经处理帧以用于显示。所述第一图像传感器和所述第二图像传感器中的每一者直接响应于所述图像信号处理器。
在另一特定实施例中，揭示一种设备。所述设备包括：第一图像传感器，所述第一图像传感器经配置以产生第一数据流；第二图像传感器，所述第二图像传感器经配置以产生第二数据流；以及组合器，所述组合器经配置以组合来自所述第一数据流的第一数据与来自所述第二数据流的第二数据以产生一帧。所述设备进一步包括图像信号处理器，所述图像信号处理器经配置以处理所述帧且将经处理帧输出到显示器。所述第一图像传感器和所述第二图像传感器中的每一者直接响应于所述图像信号处理器。
在另一特定实施例中，揭示一种方法。所述方法包括接收来自第一图像传感器的图像的第一图像数据，接收来自第二图像传感器的图像的第二图像数据，以及同步在图像数据采集期间所述第一图像传感器和所述第二图像传感器的逐线曝光。所述第一图像传感器与所述第二图像传感器彼此独立。所述同步可为逐线的且可为逐帧的。
在另一特定实施例中，揭示一种设备。所述设备包括存储器缓冲器。所述存储器缓冲器包括用以经由每一帧的串流传输以确定性次序对准传入串流的区段和在流之间的可编程间隙区段。
在另一特定实施例中，揭示一种方法。所述方法包括在具有用于单一相机的输入的图像处理器处接收图像数据的多个行行。所述图像数据的每一行包括来自由第一相机俘获的第一图像的一行的数据和来自由第二相机俘获的第二图像的一行的数据。所述方法还包括产生具有三维(3D)图像格式或3D视频格式的输出。所述输出对应于所述第一图像和所述第二图像。
在另一特定实施例中，揭示一种设备。所述设备包括图像处理器，所述图像处理器具有用于单一相机的输入。所述设备还包括组合器，所述组合器经配置以将图像数据的多个行发送到所述图像处理器。所述图像数据的每一行包括来自由第一相机俘获的第一图像的一行的第一数据和来自由第二相机俘获的第二图像的一行的第二数据。所述图像处理器经配置以产生具有三维(3D)图像格式或3D视频格式的输出。所述输出对应于所述第一图像和所述第二图像。
通过所揭示实施例中的至少一者所提供的特定优点在于，单一图像信号处理器可用于同步且控制来自多个图像传感器的图像数据。另一特定优点在于，在流之间具有间隙提供了将图像信号处理器中的经组合流处理为单一帧的灵活性，且通过后续的基于块的处理来避免对流的污染(即，如果间隙与基于最大块的处理相等，则对流的污染得以避免)。
本发明的其它方面、优点和特征将在审阅包括以下章节的完整申请案之后变得显而易见：附图说明、具体实施方式和权利要求书。
附图说明
图1为用以组合来自多个图像传感器的数据的图像处理系统的特定说明性实施例的方框图；
图2为用以组合来自多个图像传感器的数据的图像处理系统的第二说明性实施例的方框图；
图3为用以组合来自多个图像传感器的数据的图像处理系统的第三说明性实施例的方框图；
图4为图2的图像处理系统的所选择部分的特定说明性实施例的方框图，其中第一图像传感器和第二图像传感器接收共同控制数据；
图5为用以组合来自多个图像传感器的数据的图像处理系统的第四说明性实施例的方框图；
图6为第一图像传感器的输出处的第一数据流与第二图像传感器的输出处的第二数据流经组合以形成同步数据线的第一实施例的图解表示；
图7为第一图像传感器的输出处的第一数据流与第二图像传感器的输出处的第二数据流经组合以形成同步数据线的第二实施例的图解表示；
图8为说明来自第一传感器的第一数据流与来自第二传感器的第二数据流之间的二线相位差的相位图的第一实施例的图解表示；
图9为说明来自第一传感器的第一数据流与来自第二传感器的第二数据流之间的一线相位差的相位图的第二实施例的图解表示；
图10为说明多个传感器中的每一者的像素数据且说明同步数据线的图解表示；
图11为说明用于多个传感器的帧有效和线有效信号时序的时序图；
图12为说明来自第一传感器的第一数据流与来自第二传感器的第二数据流之间的三线相位差的相位图的第三实施例的图解表示；
图13为用以组合来自多个图像传感器的数据以产生三维图像格式的图像处理系统的特定说明性实施例的方框图；
图14为说明移动装置的各种实施例的图解表示，所述移动装置具有用以组合来自多个图像传感器的数据的图像处理系统；
图15为说明通过相机阵列俘获的包括图像之间的重叠的多个图像的一实例的图解表示；
图16为说明通过相机阵列俘获的包括图像之间的重叠的多个图像的一实例的图解表示，其中每一图像可具有其自己的移位分量和旋转分量；
图17为说明相机阵列和与所述相机阵列相关联的电连接的特定实施例的方框图；
图18为相机阵列处理系统的第一特定说明性实施例的方框图；
图19为相机阵列处理系统的第一特定说明性实施例的方框图；
图20为说明包括主透镜和布置在阵列中的多个相机的相机系统的图解表示；
图21为说明汽车中的多相机模块的图解表示；
图22为将来自多个传感器的数据组合成同步数据线的方法的特定说明性实施例的流程图；
图23为将共同控制信号提供到多个图像传感器且经由图像处理器的单一相机输入将同步数据线提供到图像处理器的方法的特定说明性实施例的流程图；
图24为将共同控制信号提供到多个图像传感器且接收来自所述多个图像传感器中的每一者的同步数据输出的方法的特定说明性实施例的流程图；
图25为在多个图像传感器处接收共同控制信号且产生来自所述多个图像传感器中的每一者的同步数据输出的方法的特定说明性实施例的流程图；
图26为在具有用于单一相机的输入的图像信号处理器处组合来自多个传感器的数据的方法的特定说明性实施例的流程图；
图27为将来自多个传感器的数据组合成帧的方法的特定说明性实施例的流程图；
图28为同步第一图像传感器和第二图像传感器的逐线曝光的方法的特定说明性实施例的流程图；
图29为组合来自多个传感器的数据以产生三维图像数据的方法的第一说明性实施例的流程图；
图30为组合来自多个传感器的数据以产生三维图像数据的方法的第二说明性实施例的流程图；
图31为同步第一图像传感器和第二图像传感器的逐线曝光的方法的特定说明性实施例的流程图；
图32为组合来自多个传感器的数据以从同步数据线产生三维图像数据的方法的特定说明性实施例的流程图；
图33为用以组合来自多个图像传感器的数据的图像处理系统的特定说明性实施例的方框图；
图34为无线装置的第一说明性实施例的方框图，所述无线装置包括用以组合来自多个图像传感器的数据的图像处理系统；以及
图35为无线装置的第二说明性实施例的方框图，所述无线装置包括用以组合来自多个图像传感器的数据的图像处理系统。
具体实施方式
参看图1，描绘用以组合来自多个传感器的数据的图像处理系统的特定说明性实施例且将其大体上标示为100。图像处理系统100包括多相机模块102、传感器模块104，和单相机芯片模块106。在一特定实施例中，传感器模块104可包括多个传感器，例如图2和图3的传感器202和204，其中所述多个传感器中的每一者经配置以产生包括图像的多个数据线的数据流。单相机模块106可包括具有单一相机输入的图像处理器，例如图2和图3的图像处理器208。将多个传感器的图像数据流的逐线图像数据组合成同步数据线108使得图像处理器能够执行用于多相机处理的格式化，即使所述图像处理器具有单一相机输入仍如此。结果，与使用单独处理器用于每一相机或使用具有多个相机输入的处理器的系统相比，系统100可以减小的成本来实施。
参看图2，描绘用以组合来自多个传感器的数据的图像处理系统的特定说明性实施例且将其大体上标示为200。图像处理系统200包括第一传感器202和第二传感器204。图像处理系统200进一步包括组合器206、图像信号处理器或视频前端208，和传感器同步器230。图像信号处理器208可耦合到显示装置(未图示)。组合器206包括一个或一个以上线缓冲器216。图像处理系统200可集成于至少一个半导体裸片中。
第一传感器202经配置以产生第一数据流，说明为第一图像数据流212。第一图像数据流212包括第一数据线222。第二传感器204经配置以产生第二数据流，说明为第二图像数据流214。第二图像数据流214包括第二数据线224。第一传感器202和第二传感器204可为实质上类似的图像传感器，第一传感器202与第二传感器204彼此独立且接收来自传感器同步器230的共同控制信号234。传感器同步器230经配置以接收控制/数据信号232且将共同控制信号234输出到第一传感器202和第二传感器204，从而使得第一传感器202和第二传感器204能够产生紧密对准的数据流212、214。举例来说，数据流212、214可具有实质上相同的时序特性，例如频率和相位。在一特定实施例中，可从图像信号处理器208接收控制/数据信号232。
组合器206响应于第一图像数据流212和第二图像数据流214。组合器206经配置以在线缓冲器216内组合来自第一图像数据流212的数据与来自第二图像数据流214的数据。在一特定实施例中，线缓冲器216经配置以对准第一数据(例如，来自第一传感器202的第一数据线222)与第二数据(例如，来自第二传感器204的第二数据线224)。在一特定实施例中，组合器206响应于存储于线缓冲器216内的数据且将线数据218提供到图像信号处理器208。在一特定实施例中，线数据218可包括多个行，其中每一行为来自每一传感器202、204的对应行的组合，例如关于图6所描述。
图像信号处理器208经配置以处理线数据218且产生经处理线数据240。在一特定实施例中，经处理线数据240可作为经处理帧数据而提供。尽管已展示两个传感器，但应理解，其它实施例可包括两个以上传感器。举例来说，图3描绘包括两个以上传感器的实施例300。第N传感器305经配置以产生第N数据流，说明为第N图像数据流315。第N图像数据流315包括第N数据线325。第N传感器305可实质上类似于第一图像传感器202和第二图像传感器204，且可接收来自传感器同步器230的共同控制信号234，从而使得第一传感器202、第二传感器204和第N传感器305能够产生紧密对准的数据流212、214、315。举例来说，数据流212、214、315可具有实质上相同的时序特性，例如频率和相位。组合器206响应于第一图像数据流212、第二图像数据流214和第N图像数据流315。组合器206经配置以在线缓冲器216内组合来自第一图像数据流212、第二图像数据流214与第N图像数据流315的数据。
因为从被共同控制的类似传感器(例如，图2的202、204，或图3的202、204、305)接收的数据具有实质上相同的频率和相位，所以在图像数据的单一图像线内可发生在组合器206处所接收的数据流之间的同步。在一特定实施例中，线缓冲器216可针对未对准的最差状况设定尺寸(即，如果同步未对准为三条线，则线缓冲器212应被设定大小以缓冲至少六条线)。结果，可使用单一图像信号处理器有效地处理经组合数据。因此，与多处理器系统相比(例如，向每一传感器指派一处理器)，总的图像系统成本和复杂性可减小。
参看图4，描绘图2的图像处理系统200的所选择部分400的特定说明性实施例。图像处理系统的部分400包括第一传感器202、第二传感器204和传感器同步器230。在一特定实施例中，第一传感器202和第二传感器204为接收来自传感器同步器230的相同起动或复位信号和相同时钟输入的相同传感器或几乎相同传感器。举例来说，第一传感器202和第二传感器204可各自接收来自传感器同步器230的共同控制数据/信号。在一特定实施例中，控制数据/信号可包括控制时钟信号404、控制数据信号406、相机时钟信号408和相机复位信号410。控制数据/信号404到410可经由顺应二导线芯片间通信协议(two wire inter-chip communication protocol)的接口而形成和传输，例如集成电路间(I2C)多主控串行计算机总线。或者，控制数据/信号404到410可根据顺应以下各者的规范的接口而形成和传输：数字相机模块与移动电话引擎之间的串行接口(例如，相机串行接口(CSI))、外围装置(相机)与主机处理器(基带、应用程序引擎)之间的接口(例如，相机串行接口2(CSI-2))、数字相机模块与移动电话引擎之间的并行接口(例如，相机并行接口(CPI))，或其它控制接口。
第一传感器202可经配置以将第一时序数据420和第一传感器图像数据422发送到如图2或图5中的系统中所说明的组合器206。类似地，第二传感器204可经配置以将第二时序数据430和第二传感器图像数据432发送到图2或图5的组合器206。
在操作期间，从时序观点，第一传感器202和第二传感器204各自在相同或几乎相同的条件中操作。举例来说，第一传感器202和第二传感器204各自接收相同控制时钟信号404、相同控制数据信号406、相同相机时钟信号408和相同相机复位信号410。因为第一传感器202和第二传感器204为相同的或几乎相同的，所以第一传感器202和第二传感器204在相同时序条件下实质上类似地操作。举例来说，来自第一传感器202的数据输出与来自第二传感器204的数据输出具有实质上相同的频率和相位。为了说明，来自第一传感器202和第二传感器204的数据输出之间的相位差可小于相位差的单一水平线，从而使得单一图像信号处理器能够用于同步且控制来自两个图像传感器202、204的图像数据。
参看图5，描绘用以组合来自多个传感器的数据的图像处理系统的特定说明性实施例的方框图且将其大体上标示为500。系统500包括第一图像传感器202、第二图像传感器204、组合器206、传感器同步器230和图像信号处理器208。系统500进一步包括寄存器接口510和时钟管理装置512。在一特定实施例中，寄存器接口510可在传感器同步器230内。或者，寄存器接口510可为独立模块。在一特定实施例中，系统500可进一步包括精简型输出格式化器506(以阴影展示)以及输送包化器和格式化器(transportpacker and formatter)508(以阴影展示)。
在一特定实施例中，组合器206经配置以接收来自第一传感器202的第一时序数据420和第一传感器图像数据422。组合器206还经配置以接收来自第二传感器204的第二时序数据430和第二传感器图像数据432。组合器206进一步经配置以接收来自时钟管理装置512的时钟信号526。组合器206使用第一时序数据420、第一传感器图像数据422、第二时序数据430和第二传感器图像数据432来产生提供到图像信号处理器208的同步数据线。图像信号处理器208处理所述同步数据线以产生经处理的数据线数据。可将所述经处理的数据线数据提供到另一组件，例如提供到显示装置。因此，来自多个传感器的图像数据可经组合、处理且再现以用于在显示装置处显示。
在一特定实施例中，第一时序数据420可与第一像素时钟相关联，第一传感器图像数据422可与第一像素大小相关联，第二时序数据430可与第二像素时钟相关联，且第二传感器图像数据432可与第二像素大小相关联。当组合器406组合第一时序数据420、第一传感器图像数据422、第二时序数据430和第二传感器图像数据432以产生同步数据线时，第一图像数据的第一线和第二图像数据的对应线组合成单一图像线。在一特定实施例中，所述单一图像线的大小可为第一图像数据的第一线或第二图像数据的对应线的大小的实质上两倍(例如，第一像素大小或第二像素大小的两倍)，且经组合的单一图像线的像素时钟的速率可为第一像素时钟或第二像素时钟的速率的实质上两倍(例如，可具有为第一像素时钟频率或第二像素时钟频率的两倍的时钟频率)。所产生的同步数据线经由组合器时序数据信号528和组合器图像数据信号530发送到图像信号处理器208。
在一特定实施例中，由组合器206产生的同步数据线可提供到精简型输出格式化器506以产生经格式化数据，所述经格式化数据在提供到图像信号处理器208之前提供到输送包化器和格式化器508。
在一特定实施例中，精简型输出格式化器506接收组合器时序数据信号528和组合器图像数据信号530以产生经格式化数据。经格式化数据可包括输出格式化器时序数据信号536、输出格式化器图像数据信号538、输出格式化器统计数据信号(output formatterstats data signal)540、输出格式化器开始数据信号542，和输出格式化器有效数据信号544。在一特定实施例中，输送包化器和格式化器508接收来自精简型输出格式化器506的经格式化数据536到544，且产生包括输送时序数据信号546和输送图像数据信号548的输送数据流。
在一特定实施例中，寄存器接口510可耦合到图像信号处理器208且耦合到时钟管理装置512。在一特定实施例中，寄存器接口510可接收来自时钟管理装置512的时钟信号527且可耦合到寄存器总线572。时钟管理装置512经配置以接收第二时序数据信号430且输出时钟信号526。在一特定实施例中，时钟信号526为第二时序数据信号430的频率的实质上两倍，以使得组合器206能够在组合来自多个传感器的并发数据的同时维持帧处理速率。
因为来自被共同控制的类似传感器的数据输出具有实质上相同的频率和相位，所以可在图像数据的单一图像线内发生数据流之间的同步。因此，可使用具有对图像数据的单一线的存取权的单一图像信号处理器有效地处理经组合数据。
参看图6，描绘第一图像传感器的输出处的第一数据流与第二图像传感器的输出处的第二数据流经组合以形成同步数据线的特定实施例的图解表示且将其大体上标示为600。第一传感器(例如，图2的第一传感器202)产生对应于图像的第一图像数据的第一数据流602。第二传感器(例如，图2的第二传感器204)产生对应于图像的第二图像数据的第二数据流604。来自第一数据流602的数据与来自第二数据流604的数据经组合以形成数据输出数据流606。
在一特定实施例中，第一数据流602包括与图像的第一图像数据的第一线相关联的数据，且第二数据流604包括与图像的第二图像数据的对应线相关联的数据。第一数据流602包括具有第一线索引值的线数据610、具有第二线索引值的线数据612、具有第三线索引值的线数据614，和具有第四线索引值的线数据616。第二数据流604包括第一数据流的线数据的对应线数据，包括具有第一线索引值的对应线数据620、具有第二线索引值的对应线数据622、具有第三线索引值的对应线数据624，和具有第四线索引值的对应线数据626。
数据输出数据流606包括图像的第一图像数据的第一线与图像的第二图像数据的对应线的组合。如所说明，第一数据流602与第二数据流604经交错以形成数据输出数据流606。举例来说，数据输出数据流606包括具有第一线索引值的经组合线数据630、具有第二线索引值的经组合线数据632，和具有第三线索引值的经组合线数据634。经组合线数据630包括线数据610和对应线数据620。经组合线数据632包括线数据612和对应线数据622。经组合线数据634包括线数据614和对应线数据624。可通过在线缓冲器(例如，图2的线缓冲器216)内组合对应线而产生每一经组合线630到634。
在一特定实施例中，来自第一数据流602的数据与来自第二数据流604的数据经组合以产生形成帧660的多个同步数据线。帧660可包括多个行642，其中每一行对应于一线索引值且存储包括第一图像数据的具有所述线索引值的一线和第二图像数据的具有所述线索引值的对应线的同步数据线。举例来说，帧660的第一行可包括经组合线数据630，帧660的第二行可包括经组合线数据632，帧660的第三行可包括经组合线数据634，等等。每一同步图像数据线形成帧660的部分，使得帧660中的数据对准。
以匹配对来自所述图像传感器的图像数据的读取次序的行642的次序来描绘帧660(即，来自图像传感器的顶部线(线索引1)的经组合数据在帧660的顶部线中，且来自图像传感器的下一条线(线索引2)的经组合数据在帧660的下一条线中)。或者，在其它实施例中，帧660的行可能不匹配对图像数据的读取次序，且可替代地对应于图像数据的任何其它次序。举例来说，帧660的顶部行可对应于线索引2，而帧660的下一行可对应于线索引1。帧660可为可编程的，使得行642中的每一者可经编程以对应于图像数据的线索引值中的任一者。
在一特定实施例中，第一图像数据的第一线610与第一像素大小(例如，每条线的像素的数目)和第一像素时钟相关联，且第二图像数据的对应线620与第二像素大小和第二像素时钟相关联。产生数据流602、604的第一传感器和第二传感器经配置以接收共同时钟信号和共同复位信号。当第一图像数据的第一线610与第二图像数据的对应线620组合成单一图像线时，所述单一图像线的大小为第一图像数据的第一线610或第二图像数据的对应线620的大小的实质上两倍，且经组合的单一图像线的像素时钟信号(例如，第三像素时钟信号)具有为第一像素时钟信号或第二像素时钟信号的时钟速率的实质上两倍的时钟速率。举例来说，经组合线数据630可具有为线数据610的图像大小的实质上两倍或对应线数据620的图像大小的实质上两倍的图像大小。类似地，经组合线数据630的像素时钟频率可具有为与线数据610相关联的第一像素时钟信号的频率的实质上两倍或与对应线数据620相关联的第二像素时钟信号的频率的实质上两倍的频率，使得经组合线数据630的像素时钟频率可与第三像素时钟信号相关联，第三像素时钟信号具有为第一像素时钟或第二像素时钟的频率的实质上两倍的频率。
或者，在具有相等线大小的线数据三个图像传感器经组合的实施方案中，同步线大小可为传感器线大小的实质上三倍，且像素时钟速率可为个别传感器的像素时钟速率的实质上三倍。在可具有不相等大小的任意数目个传感器的一般状况下，可将同步线大小设定为大于或等于经组合的线大小的总和，且像素时钟速率可经设定以使得输出线带宽等于或大于输入带宽的总和。
可在图像信号处理器(例如，图2的图像信号处理器208)处处理帧660，以产生经处理帧650。经处理帧650包括：包括来自第一图像传感器(例如，图2的传感器202)的第一图像数据的第一区段652、包括来自第二图像传感器(例如，图2的传感器204)的第二图像数据的第二区段654，和间隙区段656。间隙区段656可包括安置于第一区段652与第二区段654之间的非图像数据。
在一特定实施例中，第一区段652包括第一图像数据的一线，且第二区段654包括第二图像数据的对应线。在一特定实施例中，间隙区段656可用于边缘滤波，且可包括宽度为大致五个像素的黑色间隙。作为另一实例，可将间隙区段656添加在多个线之间，且具有等于内插核心(interpolation kernel)的大小或通过图像信号处理器应用于帧650的最大二维滤波器的大小的大小。
在一特定说明性实施例中，可从第一区段652或第二区段654收集用于自动曝光、自动聚焦和自动白平衡的统计，第一区段652或第二区段654中的任一者可为来自相应传感器中的一者的完整图像。因此，用于自动曝光、自动聚焦和自动白平衡的统计可从最终图像的一半(例如，第一区段652)收集且可应用于两个传感器，这是由于两个传感器正接收实质上相同的时序信息。因而，来自多个传感器的数据输出具有实质上相同的频率和相位，使得可在图像的图像数据的一条图像线内发生同步。
帧650可存储于存储器中，所述存储器集成于至少一个半导体裸片中。帧650可存储于存储器中，所述存储器并入到例如以下各者的消费型电子装置中：机顶盒、音乐播放器、视频播放器、娱乐单元、导航装置、通信装置、个人数字助理(PDA)、固定位置数据单元和计算机。所述电子装置可利用图像处理方法，包括处理来自多个传感器的图像数据的3D应用程序。
参看图7，描绘第一图像传感器的输出处的第一数据流与第二图像传感器的输出处的第二数据流经组合以形成同步数据线的第二实施例的图解表示且将其大体上标示为700。第一传感器(例如，图2的第一图像传感器202)产生对应于图像的第一图像数据的第一数据流702。第二传感器(例如，图2的第二图像传感器204)产生对应于图像的第二图像数据的第二数据流704。来自第一数据流702的数据与来自第二数据流704的数据经组合以形成数据输出数据流706。
在一特定实施例中，第一数据流702包括与图像的第一图像数据的第一线相关联的数据，且第二数据流704包括与图像的第二图像数据的对应线相关联的数据。第一数据流702包括具有第一线索引值的线数据710、具有第二线索引值的线数据712、具有第三线索引值的线数据714，和具有第四线索引值的线数据716。第二数据流704包括第一数据流的线数据的对应线数据，包括具有第一线索引值的对应线数据720、具有第二线索引值的对应线数据722、具有第三线索引值的对应线数据724，和具有第四线索引值的对应线数据726。
数据输出数据流706包括图像的第一图像数据的第一线与图像的第二图像数据的对应线的组合。如所说明，第一数据流702和第二数据流704与间隙区段708交错以形成数据输出数据流706。举例来说，数据输出数据流706的所说明部分包括具有第一线索引值的经组合线数据730、具有第二线索引值的经组合线数据732，和具有第三线索引值的经组合线数据734。经组合线数据730包括通过间隙区段708与对应线数据720分离的线数据710。经组合线数据732包括通过间隙区段708与对应线数据722分离的线数据712。经组合线数据734包括通过间隙区段708与对应线数据724分离的线数据714。可通过在线缓冲器(例如，图2的线缓冲器216)内组合对应线与对应线之间的间隙区段708而产生每一经组合线730到734。
在一特定实施例中，来自第一数据流702的数据与来自第二数据流704的数据组合以产生形成帧740的多个同步数据线。帧740可包括多个行742，其中每一行对应于一线索引值，且存储第一图像数据的具有所述线索引值的一线，且存储第二图像数据的具有所述线索引值的对应线。举例来说，帧740的第一行可包括经组合线数据730，帧740的第二行可包括经组合线数据732，帧740的第三行可包括经组合线数据734，等等，使得帧740中的数据对准。
在一特定实施例中，第一图像数据的第一线710与第一像素大小(例如，每一线的像素的数目)和第一像素时钟相关联，且第二图像数据的对应线720与第二像素大小和第二像素时钟相关联。产生数据流702、704的第一传感器和第二传感器经配置以接收共同时钟信号和共同复位信号。当第一图像数据的第一线710与第二图像数据的对应线720组合成单一图像线时，所述单一图像线的大小为第一图像数据的第一线710或第二图像数据的对应线720的大小的大致两倍。此外，经组合的单一图像线的像素时钟信号(例如，第三像素时钟信号)具有为第一像素时钟信号或第二像素时钟信号的时钟速率的大致两倍的时钟速率。举例来说，经组合线数据730可具有为线数据710的图像大小的大致两倍或对应线数据720的图像大小的大致两倍的图像大小。类似地，经组合线数据730的像素时钟频率可具有为与线数据710相关联的第一像素时钟信号的频率的大致两倍或与对应线数据720相关联的第二像素时钟信号的频率的大致两倍的频率，使得经组合线数据730的像素时钟频率可与第三像素时钟信号相关联，第三像素时钟信号具有为第一像素时钟或第二像素时钟的频率的大致两倍的频率。
每一间隙区段708可包括非图像数据。在一特定实施例中，通过间隙区段708所形成的在帧740中的非图像数据区域可用于边缘滤波。间隙区段708可包括宽度为大约五个像素的黑色间隙。在其它实施例中，每一间隙区段708具有等于内插核心的大小或由图像处理器(例如，图2的图像处理器208)应用于帧740的最大二维滤波器的大小的大小。可由所述图像处理器处理帧740以产生3D图像。
参看图8，描绘说明来自第一传感器的第一数据流与来自第二传感器的第二数据流之间的二线相位差的相位图的第一实施例的图解表示且将其大体上标示为800。第一传感器(例如，图2的第一传感器202)产生第一数据流，第一数据流包括第一传感器第一线数据802、第一传感器第二线数据804，和第一传感器第三线数据806。第二传感器(例如，图2的第二传感器204)产生第二数据流，第二数据流包括第二传感器第一线数据812、第二传感器第二线数据814，和第二传感器第三线数据816。来自第一数据流的数据与来自第二数据流的数据经组合以形成经组合线820。在图8中所说明的特定实施例中，说明第一线数据、第二线数据和第三线数据。或者，可产生任何数目个线数据(例如，如图6和7中所说明的720条线)。
在图8的特定实施例中，在第一数据流的数据与第二数据流的数据之间存在二线相位差。举例来说，通过组合器(例如，图2的组合器216)可在第一线相位期间接收第一传感器第一线数据802，可在第二线相位期间接收第一传感器第二线数据804，且可在第三线相位期间接收第一传感器第三线数据806和第二传感器第一线数据812。因而，在第一传感器第一线数据802与第二传感器第一线数据812之间存在二线相位差。
经组合线820包括图像的第一图像数据的第一线与图像的第二图像数据的对应线的组合。如所说明，第一数据流与第二数据流经交错以形成经组合线820。举例来说，经组合线820包括具有第一传感器第一线数据802和第二传感器第一线数据812的经组合线数据822，具有第一传感器第二线数据804和第二传感器第二线数据814的经组合线数据824，和具有第一传感器第三线数据806和第二传感器第三线数据816的经组合线数据826。可通过在线缓冲器(例如，图2的线缓冲器216)内组合对应线而产生每一经组合线822到826。线缓冲器可经配置以在产生同步数据线(例如，经组合线数据822)之前缓冲从第一图像传感器接收的下一数据线(例如，第一传感器第二线数据804)的至少一部分。因而，来自多个传感器的具有二线相位差的数据输出可经组合，使得可在图像的图像数据的一条图像线内发生同步。
参看图9，描绘说明来自第一传感器的第一数据流与来自第二传感器的第二数据流之间的一线相位差的相位图的第一实施例的图解表示且将其大体上标示为900。第一传感器(例如，图2的第一传感器202)产生第一数据流，第一数据流包括第一传感器第一线数据902、第一传感器第二线数据904、第一传感器第三线数据906，和第一传感器第四线数据908。第二传感器(例如，图2的第二传感器204)产生第二数据流，第二数据流包括第二传感器第一线数据912、第二传感器第二线数据914、第二传感器第三线数据916，和第二传感器第四线数据918。来自第一数据流的数据与来自第二数据流的数据经组合以形成经组合线920。在图9中所说明的特定实施例中，说明第一线数据、第二线数据、第三线数据和第四线数据。或者，可产生任何数目个线数据(例如，如图6和7中所说明的720条线)。
在图9的特定实施例中，在第一数据流的数据与第二数据流的数据之间存在一线相位差。举例来说，通过组合器(例如，图2的组合器216)可在第一线相位期间接收第一传感器第一线数据902，且可在第二线相位期间接收第一传感器第二线数据904和第二传感器第一线数据912。因而，在第一传感器第一线数据902与第二传感器第一线数据912之间存在一线相位差。
经组合线920包括图像的第一图像数据的第一线与图像的第二图像数据的对应线的组合。如所说明，第一数据流与第二数据流经交错以形成经组合线920。举例来说，经组合线920包括具有第一传感器第一线数据902和第二传感器第一线数据912的经组合线数据922，具有第一传感器第二线数据904和第二传感器第二线数据914的经组合线数据924，具有第一传感器第三线数据906和第二传感器第三线数据916的经组合线数据926，和具有第一传感器第四线数据908和第二传感器第四线数据918的经组合线数据928。可通过在线缓冲器(例如，图2的线缓冲器216)内组合对应线而产生每一经组合线922到926。因而，来自多个传感器的具有一线相位差的数据输出可经组合，使得可在图像的图像数据的一条图像线内发生同步。
参看图10，描绘说明用于多个传感器中的每一者的红绿蓝(RGB)数据且说明同步数据线的图解表示且将其大体上标示为1000。在图10中所说明的实施例中，第一传感器(例如，图3的第一传感器202)产生第一数据流，第一数据流包括第一传感器第一线数据1002、第一传感器第二线数据1004，和第一传感器第三线数据1006。第二传感器(例如，图3的第二传感器204)产生第二数据流，第二数据流包括第二传感器第一线数据1012、第二传感器第二线数据1014，和第二传感器第三线数据1016。第三传感器(例如，图3的第N传感器305)产生第三数据流，第三数据流包括第三传感器第一线数据1022、第三传感器第二线数据1024，和第三传感器第三线数据1026。来自第一数据流的数据、来自第二数据流的数据与来自第三数据流的数据经组合以形成经组合线1020。
作为一说明性实例，根据拜耳滤波器图案(Bayer filter pattern)，第一线数据1002、1012、1022中的每一者包括交替的红色和绿色像素值，第二线数据1004、1014、1024中的每一者包括交替的绿色和蓝色像素值，且第三线数据1006、1016、1026中的每一者包括交替的红色和绿色像素值。
如所说明，第一数据流、第二数据流与第三数据流经交错以形成经组合线数据流1020。举例来说，经组合线数据流1020包括具有第一传感器第一线数据1002、第二传感器第一线数据1012和第三传感器第一线数据1002的经组合线数据1040，具有第一传感器第二线数据1004、第二传感器第二线数据1014和第三传感器第二线数据1024的经组合线数据1050，和具有第一传感器第三线数据1006、第二传感器第三线数据1016和第三传感器第三线数据1026的经组合线数据1060。可通过在线缓冲器(例如，图3的线缓冲器216)内组合对应线而产生每一经组合线1040到1060。每一经组合线1040到1060可包括从待在图像信号处理器(例如，图3的图像信号处理器208)处去马赛克的其相应传感器线数据所读取的原始像素(例如，R、G和B)值。因而，来自多个传感器的数据输出可经组合，使得可在图像的图像数据的一条图像线内发生同步。
尽管图10将原始像素值说明为包括根据拜耳滤波器图案的RGB数据，但在其它实施例中，来自所述传感器的线数据可能不包括拜耳RGB像素值。举例来说，作为说明性非限制实例，所述传感器可替代地提供：亮度、蓝色差色度、红色差色度(YCbCr)值；青、黄、绿和洋红(CYGM)值；红、绿、蓝和翠绿(RGBE)值；红、绿、蓝和白(RGBW)值；或任何其它类型的值。或者或另外，所述传感器中的一者或一者以上可实施全色单元(panchromatic cell)、感光器群组上的微透镜、垂直彩色滤光片，或能够逐线读出原始图像数据的任何其它传感器技术。
参看图11，描绘说明与具有多个传感器的设备相关联的信号时序的时序图的特定实施例且将其大体上标示为1100。所述信号包括第一传感器的帧有效(FV)信号1102和线有效(LV)信号1104，第二传感器的FV 1106和LV 1108，和第三传感器的FV 1110和LV1112。在一特定实施例中，第一传感器、第二传感器和第三传感器可为图3的第一传感器202、第二传感器204和第三传感器305。还结合经组合的线有效/数据信号1116和线负载(LL)信号1118来说明经组合的帧有效信号1114。
在一特定实施例中，信号1114到1118对应于与帧(例如，由组合器产生的图6的帧660)的一个或一个以上同步数据线相关的信令，且信号1102到1112对应于在所述组合器处所接收的信令。如所说明，从第一传感器接收第一线数据1120、第二线数据1122和第三线数据1124，从第二传感器接收第一线数据1130、第二线数据1132和第三线数据1134，且从第三传感器接收第一线数据1140、第二线数据1142和第三线数据1144。
在第一线数据1120和第一线数据1140之前从第二传感器接收第一线数据1130。将第一线数据1130与第二线数据1120的接收之间的相位差说明为第一相位差1180。在第三传感器的第一线数据1140之前接收第一传感器的第一线数据1120，且将第一传感器的第一线数据1120与第三传感器的第一线数据1140的接收之间的相位差说明为第二相位差1182。来自所述传感器中的每一者的线数据可遵循对应帧有效信号的上升沿，从而指示经由图像数据线所接收的数据为来自每一特定传感器的有效线数据。如所说明，经组合的帧有效线1114保持低，从而指示非有效数据，直到例如在图2的组合器206处已接收第一线数据1120、1130和1140中的每一者之后为止。在已接收第一线1120、1130和1140中的每一者之后，经组合的帧有效信号1114上升以指示线有效信号1116上的有效数据。结合在LL行1118上断言的有效信号而产生第一同步数据线1150。在产生第一同步线数据1150之后，经组合的帧有效信号1114保持于有效状态中，而LL信号1118返回到非有效状态，在此之后，在产生第二同步数据线1160后，LL信号1118即刻返回到有效状态，在产生第二同步数据线1160之后产生第三同步数据线1170。
参看图12，描绘说明来自第一传感器的第一数据流、来自第二传感器的第二数据流与来自第三传感器的第三数据流之间的三线相位差的相位图的第一实施例的图解表示且将其大体上标示为1200。第一传感器(例如，图3的第一传感器202)产生第一数据流，第一数据流包括第一传感器第一线数据1202、第一传感器第二线数据1204、第一传感器第三线数据1206，和第一传感器第四线数据1208。第二传感器(例如，图3的第二传感器204)产生第二数据流，第二数据流包括第二传感器第一线数据1212、第二传感器第二线数据1214、第二传感器第三线数据1216，和第二传感器第四线数据1218。第三传感器(例如，图3的第N传感器305)产生第三数据流，第三数据流包括第三传感器第一线数据1222、第三传感器第二线数据1224、第三传感器第三线数据1226，和第三传感器第四线数据1228。来自第一数据流的数据、来自第二数据流的数据与来自第三数据流的数据经组合以形成经组合线1220。在图12中所说明的特定实施例中，说明第一线数据、第二线数据、第三线数据和第四线数据。或者，可产生任何数目个线数据(例如，如图6和7中所说明的720条线)。
在一特定实施例中，在第一数据流的数据、第二数据流的数据与第三数据流的数据之间存在三线相位差。举例来说，通过组合器(例如，图2的组合器216)可在第一线相位期间接收第三传感器第一线数据1222，可在第二线相位期间接收第一传感器第一线数据1202和第三传感器第二线数据1224，可在第三线相位期间接收第一传感器第二线数据1204和第三传感器第三线数据1226，且可在第四线相位期间接收第一传感器第三线数据1206、第二传感器第一线数据1212和第三传感器第四线数据1228。因而，在第一传感器第一线数据1202、第二传感器第一线数据1212与第三传感器第一线数据1222之间存在三线相位差。
经组合线1220包括图像的第一图像数据的第一线与图像的第二图像数据的对应线，与图像的第三图像数据的组合。如所说明，第一数据流、第二数据流与第三数据流经交错以形成经组合线1220。举例来说，经组合线1220包括具有第一传感器第一线数据1202、第二传感器第一线数据1212和第三传感器第一线数据1222的经组合线数据1232，具有第一传感器第二线数据1204、第二传感器第二线数据1214和第三传感器第二线数据1224的经组合线数据1234，和具有第一传感器第三线数据1206、第二传感器第三线数据1216和第三传感器第三线数据1226的经组合线数据1236。可通过在线缓冲器(例如，图3的线缓冲器216)内组合对应线而产生每一经组合线1232到1236。因而，来自多个传感器的具有三线相位差的数据输出可经组合，使得可在图像的图像数据的一条图像线内发生同步。
参看图13，描绘用以组合来自多个传感器的数据以产生3D数据的图像处理系统的特定说明性实施例且将其大体上标示为1300。图像处理系统1300包括第一图像传感器1302和第二图像传感器1304。图像处理系统1300进一步包括组合器1306和图像处理器1308。图像处理器1308耦合到显示装置1310。组合器1306包括至少一个线缓冲器1312。图像处理系统1300可集成于至少一个半导体裸片中。
第一图像传感器1302经配置以产生第一数据流，说明为第一图像数据流1314，且第二图像传感器1304经配置以产生第二数据流，说明为第二图像数据流1316。在一特定实施例中，第一图像数据流1314可与第二图像数据流1316异步。第一图像传感器1302和第二图像传感器1304可为实质上类似的图像传感器，第一图像传感器1302与第二图像传感器1304彼此独立且可接收来自处理器(例如，组合器1306或图像处理器1308)的共同控制信号以产生紧密对准的图像数据流1314、1316。举例来说，图像数据流1314、1316可具有实质上相同的时序特性，例如频率和相位。因为所述共同控制信号可由处理器(例如)经由图2的信号同步器230产生，所以图像传感器1302、1304中的每一者可直接响应于所述单一处理器且由所述单一处理器控制。尽管已展示两个图像传感器1302、1304，但应理解，两个以上图像传感器可与图像处理系统1300一起使用。
组合器1306响应于第一图像数据流1314和第二图像数据流1316。组合器1306经配置以在线缓冲器1312内组合来自第一图像数据流1314的数据与来自第二图像数据流1316的数据。在一特定实施例中，线缓冲器1312经配置以使来自第一图像传感器1302的第一数据与来自第二图像传感器1304的第二数据对准。在一特定实施例中，组合器1306响应于存储于线缓冲器1312内的数据且将帧数据1318提供到图像处理器1308。在一特定实施例中，帧数据1318可包括图像数据的多个行，其中每一行为来自每一传感器1302、1304的对应行的组合，例如关于图3所描述。
图像处理器1308经配置以处理帧数据1318且将经处理帧数据1320输出到显示装置1310。经处理帧数据1320可具有3D图像格式或3D视频格式。
显示装置1310响应于接收到经处理帧数据1320而再现且显示图像数据。因此，来自多个图像传感器的图像数据可经组合、处理且接着再现以用于在显示装置1310处显示。在一特定实施例中，显示装置1310可与图像处理器1308解耦以不直接响应于图像处理器1308。举例来说，显示装置1310可为与图像处理器1308分离的装置。
因为从被共同控制的类似图像传感器1302、1304接收的数据可具有实质上相同的频率和相位，所以可在图像数据的单一图像线内发生数据流1314、1316之间的同步。在一特定实施例中，线缓冲器1312可针对未对准的最差状况设定尺寸(即，如果同步未对准为三条线，则线缓冲器1312应经设定大小以存储至少六条线)。结果，可使用单一图像处理器1308有效地处理经组合数据。因此，与多处理器系统相比(例如，向每一传感器指派一处理器)，总的图像系统成本和复杂性可减小。
多个实施例可经配置以提供3D/立体图像和/或视频数据。举例来说，在一个此类实施例中，第一图像传感器1302和第二图像传感器1304可并排地定位，以便提供左/右(立体)图像。由组合器1306提供的信号被接收且可由图像处理器1308处理以产生3D图像。用户命令可允许图像处理器1308接收且处理来自仅单一传感器(即，第一图像传感器1302或第二图像传感器1304)的数据，以产生二维(2D)图像来代替于产生3D图像。
具有用于单一相机的输入的图像处理器(例如，图像处理器1308)能够通过使用由组合器1306提供的来自两个相机的经组合数据来处理可用于3D处理的数据。图像处理器1308可接收来自组合器1306或来自存储来自组合器1306的图像数据的存储器的图像数据。在一个此类实施例中，图像处理器1308将所接收的图像数据处理为2D图像/视频数据，使得图像处理器1308的后续处理基于来自图像处理器1308的经处理数据提供3D立体图像/视频流。或者，图像处理器1308可经配置以基于所接收的图像数据直接提供3D立体图像/视频流。在一实施例中，3D俘获系统包含实施为第一集成电路的组合器1306和实施为第二集成电路的图像处理器1308。第一集成电路与第二集成电路可(例如)通过串行、并行或I2C总线中的一者或一者以上连接。
组合图像数据流1314、1316以产生帧数据1318使得图像处理器1308能够执行用于多相机3D处理的格式化，即使图像处理器1308具有单一相机输入仍如此。结果，与使用单独处理器用于每一相机或使用具有多个相机输入的处理器的系统相比，系统1300可以减小的成本来实施。
参看图14，描绘说明具有用以组合来自多个图像传感器的数据的图像处理系统的移动装置的各种实施例的图解表示且将其大体上标示为1400。在1402处所说明的特定实施例中，移动装置包括具有两个邻近相机的阵列的图像处理系统。在1404处所说明的特定实施例中，移动装置包括具有布置在同轴(in-line)配置中的三个相机的阵列的图像处理系统。或者，任何数目个相机可布置在同轴配置中。在1406处所说明的特定实施例中，移动装置包括具有3×3相机阵列的图像处理系统。在1408处所说明的特定实施例中，移动装置包括具有5×5相机阵列的图像处理系统。或者，任何数目个相机可布置在二维阵列中。
参看图15，说明由多个相机或图像传感器俘获的图像的阵列的实例且将其大体上标示为1500。如图15中所说明，由一个相机俘获的图像可与由其它相邻相机俘获的图像重叠。在将由所述相机中的每一者俘获的图像组合成单一图像时，图像重叠可为有用的。在图15中所说明的特定实施例中，阵列1500对应于相机或图像传感器的4×4阵列。或者，任何数目个相机可布置在二维阵列中(例如，如图18和19中所说明的5×5阵列)。
每一相机俘获阵列1500的单一相机图像。在图15中所说明的实施例中，阵列1500为4×4阵列。因而，阵列1500包括第一行1502、第二行1504、第三行1506和第四列1508。此外，阵列1500包括第一列1510、第二列1512、第三列1514和第四列1516。作为一说明性实例，可由对应于第一行1502和第四行1516的相机俘获单一相机图像1518。单一相机图像1518可与由相邻单元的其它相机俘获的相机图像重叠。在对应于第一行1502和第四列1516的相机的状况下，相邻单元的相机可包括对应于第一行1502和第三列1514的相机、对应于第二行1504和第三列1514的相机，或对应于第二行1504和第四列1516的相机。举例来说，单一相机图像重叠1520可与由对应于第一行1502和第四列1516的相机俘获的单一相机图像1508相关联。图15说明行1502到1508中的每一者的每一相机和列1510到1516中的每一者的每一相机的绝对对准的理论状况。因而，与由对应于相邻行(例如，第二行1504)的相机俘获的图像的图像重叠可和与由对应于相邻列(例如，第三列1514)的相机俘获的图像的图像重叠相同。
可在特定水平分辨率(“H-res”)下俘获个别图像。为了说明，水平分辨率1522可与由对应于第一行1502和第四列1516的相机俘获的单一相机图像1518相关联。图15说明在每一相机具有相同水平分辨率1522的情况下图像重叠的理论状况。因而，可基于个别相机的水平分辨率1522与一行中单元的数目(“n”)的组合来计算总水平分辨率1524(即，在行1502到1508中的每一者中的像素的数目)。在图15的4×4阵列1500的状况下，在每一行中存在四个单元(即，与列1510到1516中的每一者相关联的单元)。总水平分辨率1524可考虑图像重叠。举例来说，可将总水平分辨率1524计算为H_res*n-overlap*(n-2)，其中overlap指示邻近图像的重叠像素的数目。可执行类似计算以确定总垂直分辨率。
图15说明具有相同图像重叠的每一相机的绝对对准的理论状况。由所述个别相机俘获的图像之间的图像重叠可允许个别图像中的每一者“缝合在一起”成为单一图像。
参看图16，说明由多个相机或图像传感器俘获的图像的阵列的实例且将其大体上标示为1600。如图16中所说明，由一个相机俘获的图像可与由其它相邻相机俘获的图像重叠。在将由所述相机中的每一者俘获的图像组合成单一图像时，图像重叠可为有用的。在图16中所说明的特定实施例中，阵列1600对应于相机或图像传感器的4×4阵列。或者，任何数目个相机可布置在二维阵列中。图16说明归因于机械约束，实现在行或列上相机的绝对对准(如图15中所说明)可能并不可行。
阵列1600的每一图像可具有其自己的旋转1602、移位1604和倾斜(未图示)。一个或一个以上定位容限1606可与每一图像相关联。定位容限1606可包括旋转容限、移位容限、倾斜容限或其组合。在将由所述相机中的每一者俘获的图像组合成单一图像时，图像重叠可为有用的。图16说明在组合所述图像时所使用的图像重叠可考虑由与建造装置相关联的机械约束引起的每一图像的旋转1602、移位1604和倾斜。一旦装置被建造，则图像重叠可为已知且稳定的。因而，图像重叠可经量化且可在稍后阶段校正。
参看图17，说明相机阵列和与所述阵列相关联的电连接的特定实施例且将其大体上标示为1700。图17说明阵列1700的每一相机具有第一类型的接口(即，数据接口1702)和第二类型的接口(即，控制接口1704)。在图17中所说明的实施例中，阵列1700包括3×3相机阵列。或者，阵列1700可包括布置在4×4阵列中的相机(例如，图15和16的阵列1500、1600)，或布置在二维阵列中的任何其它数目个相机。
数据接口1702可包括串行数据总线(例如，移动产业处理器接口(Mobile IndustryProcessor Interface)或标准移动成像架构接口(Standard Mobile Imaging Architectureinterface))。图17中的数据接口1702与阵列1700的第一线1706、阵列1700的第二行1708和阵列1700的第三行1710相关联。与数据接口1702相关联的线可用于收集待并行地处理的来自行1706到1710中的每一者中的相机的数据。作为一说明性实例，对于高达5百万像素(mpix)的分辨率和每秒十帧，可能需要四根导线(例如，差分数据和时钟)。
在图17的说明性3×3阵列1700中，行1706到1710中的每一者包括阵列1700的第一列1712中的相机、阵列1700的第二列1714中的相机，和阵列1700的第三列1716中的相机。因此，数据接口1702可用于收集待并行地处理的来自九个相机的数据。
控制接口1704可包括用以同步阵列1700中的所有相机的线。举例来说，控制接口行可与时钟、复位和I2C通信相关联。在图17的说明性3×3阵列1700中，控制接口1704可用于同步阵列1700的九个相机。
参看图18，说明相机阵列处理系统的特定实施例且将其大体上标示为1800。在所得图像数据组合成最终图像之前，阵列1802中的所有相机可响应于共同控制信号，经对准且处理。在图18中所说明的实施例中，阵列1802包括5×5相机阵列。或者，阵列1802可包括布置在二维阵列中的任何其它数目个相机(例如，图17的3×3阵列1700)。
阵列1802中的所有相机可用使用单一ISP管线的并发图像传感器支持的方法来同步。此外，相机的每一行可使用对准方法来对准。即，图像的一行可被收集、以相同次序对准，且被发送以用于处理为具有大小n*line的单一线，其中n为一行中的相机的数目且line为一个相机的水平大小(即，如图15中所描述的“H_res”)。图18中所说明的5×5阵列1802包括第一行1804、第二行1806、第三行1808、第四行1810和第五行1812。此外，5×5阵列1802包括第一列1814、第二列1816、第三列1818、第四列1820和第五列1822。行1804到1812中的每一者的色彩可在VFE组件处并行地处理，且可在图形处理器或图形处理单元(GPU)组件处处理行1804到1812中的每一者以对准且修整一行中的每一个别图像。在修整和对准之后，可执行GPU处理以将行1804到1812中的全部行组合在一起，从而产生最终图像。
第一行1804可与第一对准块1824相关联，第二行1806可与第二对准块1826相关联，第三行1808可与第三对准块1828相关联，第四行1810可与第四对准块1830相关联，且第五行1812可与第五对准块1832相关联。为了说明，第一对准块1824可适于收集来自第一行1804中的每一相机(即，阵列1802的五个列1814到1822中的五个相机)的图像数据线。第一对准块1824可适于以相同次序对准所述图像数据线且发送所述图像数据线以用于处理为单一线。第一对准块1824可适于将用于处理为单一线的图像数据线发送到第一VFE组件1834以针对色彩进行处理，例如关于图2、3和5的组合器206所描述。可基于相机的数目(即，五个相机)和第一行1804中的每一相机的水平大小(即，如图15中所描述的“H_res”)来确定所述单一线的大小。
第二对准块1826可适于收集来自第二行1806中的每一相机的图像，以相同次序对准所述图像，且将用于处理为单一线的图像发送到第二VFE组件1836。第三对准块1828可适于收集来自第三行1808中的每一相机的图像数据线，以相同次序对准所述图像数据线，且将用于处理为单一线的图像数据线发送到第三VFE组件1838。第四对准块1830可适于收集来自第四行1810中的每一相机的图像数据线，以相同次序对准所述图像数据线，且将用于处理为单一线的图像数据线发送到第四VFE组件1840。第五对准块1832可适于收集来自第五行1812中的每一相机的图像数据线，以相同次序对准所述图像数据线，且将用于处理为单一线的图像数据线发送到第五VFE组件1842。
控制同步块1844可用于以类似于传感器同步器230的方式同步阵列1802的相机中的每一者(即，在图18的说明性5×5阵列1802的状况下的二十五个相机)。在一特定实施例中，控制同步块1834可实施图17的控制接口1704。控制同步块1844可以通信方式耦合到阵列1802的相机中的每一者且耦合到VFE组件1834到1842中的每一者。阵列1802中的所有相机的同步可允许高分辨率上的滚动快门(rolling shutter)的使用。由于所有相机可同时读出，所以滚动快门效应可减弱(随着阵列的大小)。举例来说，在图18的5×5阵列1802中，二十五个相机的同步可减弱与互补金属氧化物半导体(CMOS)相机相关联的滚动快门效应。
第一VFE组件1834可以通信方式耦合到第一GPU组件1846以对准且修整第一行1804中的每一个别图像(即，由五个列1814到1822中的相机俘获的五个图像)。第二VFE组件1836可以通信方式耦合到第二GPU组件1848以对准且修整第二行1806中的每一个别图像。第三VFE组件1838可以通信方式耦合到第三GPU组件1850以对准且修整第三行1808中的每一个别图像。第四VFE组件1840可以通信方式耦合到第四GPU组件1852以对准且修整第四行1810中的每一个别图像。第五VFE组件1842可以通信方式耦合到第五GPU组件1854以对准且修整第五行1812中的每一个别图像。GPU组件1846到1854中的每一者可以通信方式耦合到GPU处理组件1856，GPU处理组件1856适于将行1804到1812中的全部行组合在一起，从而产生最终图像。
在图18中所说明的实施例中，对准块1824到1832中的每一者与其自己的VFE组件和其自己的GPU修整和对准组件相关联。因此，图18说明行1804到1812中的每一者的色彩可使用单独VFE组件并行地处理，且可使用单独GPU组件处理行1804到1812中的每一者以对准且修整特定行中的每一个别图像。或者，对准块1824到1832中的每一者可与单一VFE组件和单一GPU修整和对准组件相关联(参见图19)。
参看图19，说明相机阵列处理系统的特定实施例且将其大体上标示为1900。在组合成最终图像之前，阵列1902中的所有相机可经同步，对准且处理。在图19中所说明的实施例中，阵列1902包括5×5相机阵列。或者，阵列1902可包括布置在二维阵列中的任何其它数目个相机。图19说明单一VFE组件和单一GPU修整以及对准组件可用于处理阵列1902的所有行，而非图18中所说明的多个VFE组件和GPU修整以及对准组件。
图19中所说明的5×5阵列1902包括第一行1904、第二行1906、第三行1908、第四行1910和第五行1912。此外，5×5阵列1902包括第一列1914、第二列1916、第三列1918、第四列1920和第五列1922。第一行1904可与第一对准块1924相关联，第二行1906可与第二对准块1926相关联，第三行1908可与第三对准块1928相关联，第四行1910可与第四对准块1930相关联，且第五行1912可与第五对准块1932相关联。为了说明，第一对准块1924可适于收集来自第一行1904中的每一相机(即，阵列1902的五个列1914到1922中的五个相机)的图像数据线。
第一对准块1924可适于以相同次序对准所述图像数据线且发送所述图像数据线以用于处理为单一线。第二对准块1926可适于收集来自第二行1906中的每一相机的图像数据线，以相同次序对准所述图像数据线，且发送所述图像数据线以用于处理为单一线。第三对准块1928可适于收集来自第三行1908中的每一相机的图像数据线，以相同次序对准所述图像数据线，且发送所述图像数据线以用于处理为单一线。第四对准块1930可适于收集来自第四行1910中的每一相机的图像数据线，以相同次序对准所述图像数据线，且发送所述图像数据线以用于处理为单一线。第五对准块1932可适于收集来自第五行1912中的每一相机的图像数据线，以相同次序对准所述图像数据线，且发送所述图像数据线以用于处理为单一线。
在图19中所说明的实施例中，对准块1924到1932中的每一者可适于将其用于处理的图像发送到单一VFE组件1934以针对色彩进行处理。单一VFE组件1934可处理从五个对准块1924到1932发送的五条线中的每一者。如上文所提及，可基于特定行中的相机的数目(即，五个相机)和所述特定行中的每一相机的水平大小(即，如图15中所描述的“H_res”)来确定来自特定对准块的单一线的大小。因而，由图19的单一VFE组件1934处理的多条线的大小可为由图18的VFE组件1834到1842中的一者处理的单一线的大小的五倍。
控制同步块1936可用于同步阵列1902的相机中的每一者，例如将共同控制信号提供到一个或一个以上行1904到1912中的相机。控制同步块1936可以通信方式耦合到阵列1902的相机中的每一者且耦合到单一VFE组件1934。阵列1902中的所有相机的同步可允许高分辨率上的滚动快门的使用。由于所有相机可同时读出，所以滚动快门效应可减弱(随着阵列的大小)。举例来说，在图19的5×5阵列1902中，二十五个相机的同步可减弱与CMOS相机相关联的滚动快门效应。
单一VFE组件1934可以通信方式耦合到单一GPU组件1938以对准且修整行1904到1912中的每一者中的每一个别图像。因而，与由图18的GPU对准和修整组件1846到1854中的每一者处理的五个图像相比，图19的单一GPU组件1938可对准且修整二十五个图像。单一GPU组件1938可以通信方式耦合到GPU处理组件1940，GPU处理组件1940适于将行1904到1912中的全部行组合在一起，从而产生最终图像。
图20说明包括经配置以聚焦传入光2004的主透镜2002和布置在阵列2006中的多个相机的高分辨率数字相机系统2000。通过组合在阵列2006中的相机中的每一者处所俘获的图像，高分辨率图像可产生为复合(或“马赛克”)图像。举例来说，阵列2006的相机中的每一者可为CMOS型相机或电荷耦合装置(CCD)型相机。主透镜2002可将所俘获场景聚焦到平面2008(被称作主透镜2002的“焦平面”或阵列2006中的相机的“物平面”)，且阵列2006中的每一相机可俘获总图像的一部分。阵列2006的每一相机具有一视场，所述视场在平面2008处部分地重叠其相邻者的视场。此重叠可使得由阵列2006中的相邻相机拍摄的图像能够在逐行基础上对准且在后续处理期间“缝合”在一起，且可提供对所述阵列内的相机的非理想位置和对准的容限(例如关于图16所描述)。
可通过在逐行基础上对准来自阵列2006的相机的图像数据而产生复合图像。举例来说，图20的阵列2006包括具有三个行的3×3阵列。阵列2006的特定行(“阵列行”)内的每一相机可包括具有布置在列和行中的光检测器的图像传感器(“传感器列”和“传感器行”)。一阵列行内的相机可经定位以使得传感器行实质上对准。为了说明，一阵列行中的每一相机的第一传感器行与同一阵列行中的每隔一个相机的相机的第一传感器行实质上对准。
在图像俘获期间，从一阵列行中的每一相机读取具有图像数据的第一传感器行，且将其提供到图像处理电路(例如关于图17到19所描述)。根据所述阵列行中的每一相机的位置合并来自第一传感器行的图像数据。以如同经合并的图像数据是来自较大相机的图像数据的单一行的方式来处理经合并的图像数据。读取、合并第二、第三和后续图像传感器行，且将其提供到图像处理电路以处理为复合图像的行。每一阵列行可与其它阵列行并行地处理。
图20的布置可提供对高分辨率相机的廉价替代物。举例来说，可使用主透镜后方的二十个5百万像素(mpix)的CMOS相机来建造100百万像素(mpix)相机。因为可使用多个CMOS相机来执行图像俘获，其中每一相机俘获图像的一部分，所以与俘获整个图像的单一100mpix的CMOS相机相比，“滚动快门”假影可减少。
参看图21，描绘多相机模块的实施方案的特定实施例且将其大体上标示为2100。系统2100说明安装于汽车上的多相机模块，例如如图1到5中所说明的多相机模块。多相机模块可经配置以产生用于格式化为三维图像或视频数据的同步线数据帧，例如关于图6到7所描述。通过将多相机模块安装到汽车的后部，可获得三维视图以在倒车的同时在内部显示器(未图示)上向汽车的操作者提供深度感觉。应理解，多相机模块可安装到任何类型的车辆，而不限于汽车。
参看图22，描绘将来自多个传感器的数据组合成同步数据线的方法的特定说明性实施例的流程图且将其大体上标示为2200。作为一说明性实例，方法2200可由图2的系统、图3的系统、图5的系统或其任何组合执行。
在2202处，可将共同控制信号提供到待同步的多个图像传感器。举例来说，所述共同控制信号可包括共同时钟信号和共同复位信号，例如图4中所描绘的共同控制信号404到410。
在2204处，可接收来自所述多个图像传感器中的第一图像传感器的第一数据线。在2206处，可接收来自所述多个图像传感器中的第二图像传感器的第二数据线。举例来说，第一传感器和第二传感器可为图2的传感器202、204。
在2208处，所述第一数据线与所述第二数据线可为经组合线以产生同步数据线。举例来说，方法2200可包括在逐线基础上交错从第一图像传感器接收的第一数据流与从第二图像传感器接收的第二数据流。如关于图5中所说明的组合第一传感器图像数据422与第二传感器图像数据432的组合器406所描述，可形成同步数据线。
同步数据线可形成帧(例如，图6的帧660)的部分。所述帧可包括：包括来自第一图像传感器的第一图像数据的第一区段(例如，第一区段652)、包括来自第二图像传感器的第二图像数据的第二区段(例如，第二区段654)，和包括安置于第一区段与第二区段之间的非图像数据的间隙区段(例如，间隙区段656)。在其它实施例中，所述帧可能不包括第一区段与第二区段之间的间隙区段。
可在完成接收第二数据线之前完成接收第一数据线，且可在完成接收第二数据线之后产生同步数据线。作为一实例，在已接收第二传感器第一线数据812之后产生图8的经组合数据线822。
在具有两个以上图像传感器的实施例中，可从所述多个图像传感器中的第三图像传感器接收第三数据线，例如图11中所说明。第三数据线可与第一数据线和第二数据线组合以产生同步数据线，例如图11的第一同步数据线1150。
参看图23，描绘将共同控制信号提供到多个图像传感器且经由图像处理器的单一相机输入将同步数据线提供到图像处理器的方法的特定说明性实施例的流程图，且将其大体上标示为2300。作为说明性非限制实例，方法2300可在图2、3和5的系统中的一者或一者以上处执行。
在2302处，可将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者可响应于所述共同控制信号以产生图像数据。举例来说，可通过耦合到所述多个图像传感器中的每一者的传感器同步器(例如，图2的传感器同步器230)来提供所述共同控制信号。为了说明，所述传感器同步器可经由以下接口来耦合到所述多个图像传感器中的每一者：集成电路间(I2C)控制接口；顺应相机串行接口(CSI)规范的接口；或顺应相机并行接口(CPI)规范的接口。
在2304处，可接收来自所述多个图像传感器中的每一者的同步数据输出。可从所述多个图像传感器中的第一图像传感器接收第一数据线，且可从所述多个图像传感器中的第二图像传感器接收第二数据线。可在完成接收第二数据线之前完成接收第一数据线，且可在完成接收第二数据线之后产生同步数据线，例如在图8中在已接收第二传感器第一线数据812之后所产生的经组合数据线822。
在2306处，可组合来自所述多个图像传感器中的每一者的同步数据输出以产生同步数据线。举例来说，图2的组合器206可在逐线基础上交错从第一图像传感器202接收的第一数据流与从第二图像传感器204接收的第二数据流。
在2308处，可经由图像处理器的单一相机输入将所述同步数据线提供到图像处理器。所述同步数据线可形成具有多个行的帧(例如，图6的帧660)的部分。举例来说，所述帧可包括：包括来自第一图像传感器的第一图像数据的第一区段、包括来自第二图像传感器的第二图像数据的第二区段，和第一区段与第二区段之间的间隙区段。
参看图24，描绘将共同控制信号提供到多个图像传感器且接收来自所述多个图像传感器中的每一者的同步数据输出的方法的特定说明性实施例的流程图，且将其大体上标示为2400。
在2402处，可将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。举例来说，可通过耦合到所述多个图像传感器中的每一者的传感器同步器来提供所述共同控制信号，传感器同步器例如为图2到5的传感器同步器230、图18的控制同步块1844、图19的控制同步块1936或其任何组合。
在2404处，可接收来自所述多个图像传感器中的每一者的同步数据输出。所述同步数据输出可包括从第一图像传感器接收的第一数据线和从第二图像传感器接收的第二数据线。作为说明性非限制实例，来自第一图像传感器的每一所接收数据线与来自第二图像传感器的每一对应数据线之间的相位偏移可为实质上恒定的，例如图9的一线相位差、图8的二线相位差或图12的3线相位差。
参看图25，描绘在多个图像传感器处接收共同控制信号且产生来自所述多个图像传感器中的每一者的同步数据输出的方法的特定说明性实施例的流程图，且将其大体上标示为2500。
在2502处，可在多个图像传感器处接收共同控制信号。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。举例来说，可从耦合到所述多个图像传感器中的每一者的传感器同步器接收所述共同控制信号，传感器同步器例如为图2到5的传感器同步器230、图18的控制同步块1844、图19的控制同步块1936或其任何组合。
在2504处，可产生来自所述多个图像传感器中的每一者的同步数据输出。所述同步数据输出可包括从第一图像传感器接收的第一数据线和从第二图像传感器接收的第二数据线。作为说明性非限制实例，来自第一图像传感器的每一所接收数据线与来自第二图像传感器的每一对应数据线之间的相位偏移可为实质上恒定的，例如图9的一线相位差、图8的二线相位差或图12的3线相位差。
参看图26，描绘在具有用于单一相机的输入的图像信号处理器处组合来自多个传感器的数据的方法的特定说明性实施例的流程图，且将其大体上标示为2600。
在2602处，可在具有用于单一相机的输入的图像处理器处接收图像数据的线。所述图像数据的每一线可包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据。作为一说明性非限制实例，所述图像处理器可包括图2到3或图5的图像信号处理器208、图13的图像处理器1308、图18的VFE 1834到1842、图19的VFE 1934到1942，或其任何组合。
可在所述图像处理器处从耦合到第一相机且耦合到第二相机的组合器接收图像数据的线。可使用组合器同步来自第一相机的第一图像数据和来自第二相机的第二图像数据的逐线读出，以产生图像数据的每一线。举例来说，所述组合器可为图2到3或图5的组合器206、图13的组合器1306、图18的数据对准块1824到1832、图19的数据对准块1924到1932，或其任何组合。
在2604处，可产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段可经配置以用于产生三维(3D)图像格式或3D视频格式。
在一特定实施例中，处理所述输出帧以产生3D图像数据，且将所述3D图像数据发送到显示装置。在另一实施例中，处理所述输出帧以产生3D视频数据，且将所述3D视频数据发送到显示装置，例如图13的显示装置1310。为了说明，所述显示装置可为通信装置、相机、个人数字助理和计算机中的至少一者的组件。
参看图27，描绘将来自多个传感器的数据组合成帧的方法的说明性实施例的流程图且将其大体上标示为2700。作为一说明性实例，方法2700可由图2的系统、图5的系统或其任何组合执行。
在2702处，可从第一图像传感器(例如，图2的第一传感器202)接收第一数据流。第一数据流(例如，图2的第一图像数据流212、图6的第一数据流602，或图5的时序数据信号420和图像数据信号422)可对应于图像的第一图像数据。在2704处，可从第二图像传感器(例如，图2的第二传感器204)接收第二数据流。第二数据流(例如，图2的第二图像数据流214、图6的第二数据流604，或图5的时序信号数据430和图像数据信号432)可对应于图像的第二图像数据。
在2706处，可组合来自第一数据流的数据与来自第二数据流的数据。举例来说，组合器(例如，图2的组合器206或图5的组合器206)可组合来自第一数据流的第一图像数据与来自第二数据流的第二图像数据且产生所得帧。为了说明，第一数据流可包括与第一图像数据的第一线相关联的数据，包括具有第一线索引值的线数据、具有第二线索引值的线数据等等。第二数据流可包括对应于第一数据流的线数据的线数据，包括具有第一线索引值的对应线数据和具有第二线索引值的对应线数据等等。来自第一数据流的具有第一线索引值的线数据与来自第二数据流的具有对应第一线索引值的线数据可彼此附加或组合以形成单一图像线。所述过程可针对每一线索引值重复以产生所得帧(例如，图6的帧660)。在一特定实施例中，所述帧可包括多个行，其中每一行对应于一线索引值，且存储第一图像数据的具有所述线索引值的线，且存储第二图像数据的具有所述线索引值的对应线。在一特定实施例中，当第一图像数据的第一线与第二图像数据的对应线组合成单一图像线时，所述单一图像线的大小为第一图像数据的第一线或第二图像数据的对应线的大小的实质上两倍。
在2708处，可在图像信号处理器处处理所述帧以产生经处理帧。在一特定实施例中，所述图像信号处理器可为图2的图像信号处理器208或图5的图像信号处理器208，且所述经处理帧可为图2的经处理帧240或图6的经处理帧650。在一特定实施例中，所述经处理帧可包括：包括来自第一图像传感器的第一图像数据的第一区段(例如，第一区段652)、包括来自第二图像传感器的第二图像数据的第二区段(例如，第二区段654)，和间隙区段(例如，图6的间隙区段656)。所述间隙区段可包括安置于第一区段与第二区段之间的非图像数据。在一特定实施例中，所述第一区段可包括第一图像数据的线，且所述第二区段可包括第二图像数据的对应线。
在2710处，可输出所述经处理帧以在显示装置处显示。在一特定实施例中，所述第一图像传感器和所述第二图像传感器各自直接响应于所述图像信号处理器，且所述显示装置可与所述图像信号处理器解耦。
参看图28，描绘同步第一图像传感器与第二图像传感器的方法的说明性实施例的流程图且将其大体上标示为2800。作为一说明性实例，方法2800可在图2的系统200、图5的系统600或其任何组合处执行。
在2802处，可从第一图像传感器接收图像的第一图像数据。在一特定实施例中，第一图像传感器可为图2的第一传感器202。在2804处，可从第一图像传感器接收与第一图像数据相关联的第一数据流。在一特定实施例中，第一数据流可由图像传感器产生，且可为图2的第一图像数据流212、图6的第一数据流602，或图5的时序数据信号420和图像数据信号422。
在2806处，可从第二图像传感器接收所述图像的第二图像数据。在一特定实施例中，第二图像传感器可为图2的第二传感器204。在2808处，可从第二图像传感器接收与第二图像数据相关联的第二数据流。在一特定实施例中，第二数据流可由图像传感器产生，且可为图2的第二图像数据流214、图6的第二数据流604，或图5的时序数据信号430和图像数据信号432。
在2810处，可同步在图像数据采集期间所述第一图像传感器和所述第二图像传感器的逐线曝光。在一特定实施例中，所述同步可在包括组合器(例如，图2的组合器206或图5的组合器206)的主机处的对图像的图像数据采集期间发生。在一特定实施例中，所述第一图像传感器与所述第二图像传感器彼此独立。举例来说，图2的第一传感器202和第二传感器204经由控制信号232直接响应于图像信号处理器208，以在保持彼此独立的同时具有类似时序特性。在2812处，可交错第一数据流与第二数据流。在一特定实施例中，所述第一数据流与所述第二数据流可在逐线基础上交错。举例来说，来自第一数据流的具有第一线索引值的线数据与来自第二数据流的具有对应第一线索引值的线数据可彼此附加以形成经交错的单一图像线。
因此，可使用单一图像信号处理器有效地处理经组合数据。因此，与向每一传感器指派一处理器的多处理器系统相比，总的图像系统成本和复杂性可减小。
参看图29，描绘组合来自多个图像传感器的数据以产生3D图像数据的方法的第一说明性实施例的流程图且将其大体上标示为2900。作为一说明性实例，方法2900可由图13的系统执行。
所述方法包括：在2902处，同步来自第一相机和第二相机的第一图像数据的逐线读出以产生图像数据的多个行。来自第一相机的第一图像数据可为来自图1的第一图像传感器1302的图像数据流1314，且第二图像数据可为来自图13的第二图像传感器1304的图像数据流1316。
所述方法包括：在2904处，在具有用于单一相机的输入的图像处理器处接收图像数据的多个行。所述图像数据的每一行包括来自由第一相机俘获的第一图像的一行的数据和来自由第二相机俘获的第二图像的一行的数据。图像数据的行可为图7中所描绘的数据输出流706。
所述方法包括：在2906处，使用图像处理器产生具有3D图像格式和3D视频格式中的一者的输出。所述输出对应于所述第一图像和所述第二图像。在2908处，将所述输出发送到显示装置(例如，图13的显示装置1310)。
参看图30，描绘将来自多个传感器的数据组合成帧的方法的说明性实施例的流程图且将其大体上标示为3000。作为一说明性实例，方法3000可由图13的系统执行。
在3002处，从第一图像传感器(例如，图13的第一图像传感器1302)接收第一数据流。第一数据流(例如，图13的第一图像数据流1314或图7的第一数据流702)可对应于第一图像的第一图像数据。在3004处，可从第二图像传感器(例如，图13的第二图像传感器1304)接收第二数据流。第二数据流(例如，图13的第二图像数据流1316、图7的第二数据流704)可对应于第二图像的第二图像数据。所述第一图像和所述第二图像可为场景的图像。所述场景的第一图像和第二图像可在实质上相同时间拍摄或可在不同时间拍摄。可从与第二图像不同的有利位置拍摄第一图像，使得可从所述场景的第一图像和第二图像确定深度信息。
在3006处，组合来自第一数据流的数据与来自第二数据流的数据。举例来说，组合器(例如，图13的组合器1306)可组合来自第一数据流的第一图像数据与来自第二数据流的第二图像数据且产生所得帧。为了说明，第一数据流可包括与第一图像数据的第一线相关联的数据，包括具有第一线索引值的线数据、具有第二线索引值的线数据等等。第二数据流可包括对应于第一数据流的线数据的线数据，包括具有第一线索引值的对应线数据和具有第二线索引值的对应线数据等等。来自第一数据流的具有第一线索引值的线数据与来自第二数据流的具有对应第一线索引值的线数据可彼此附加或组合以形成单一图像线。所述过程可针对每一线索引值重复以产生所得帧(例如，图7的帧740)。在一特定实施例中，所述帧可包括多个行，其中每一行对应于一线索引值，且存储第一图像数据的具有所述线索引值的线，且存储第二图像数据的具有所述线索引值的对应线。在一特定实施例中，当第一图像数据的第一线与第二图像数据的对应线组合成单一图像线时，所述单一图像线的大小为第一图像数据的第一线或第二图像数据的对应线的大小的实质上两倍。
在3008处，经由用于单一相机的输入来接收帧以作为图像数据的多个行。在一特定实施例中，用于单一相机的输入可为图像处理器(例如，图13的图像处理器1308)的输入。所述帧可为图7的帧740。
在3010处，从所述帧产生输出。所述输出具有3D图像格式和3D视频格式中的一者。所述输出对应于所述第一图像和所述第二图像。所述输出可为图13的经处理的帧数据1320。在3012处，将所述输出发送到显示装置。在一特定实施例中，所述显示装置可为图13的显示装置1310。
参看图31，描绘同步第一图像传感器与第二图像传感器的方法的说明性实施例的流程图且将其大体上标示为3100。作为一说明性实例，方法3100可由图13的系统1300执行。
在3102处，可从第一图像传感器接收图像的第一图像数据。在一特定实施例中，第一图像传感器可为图13的第一图像传感器1302。在3104处，可从第一图像传感器接收与第一图像数据相关联的第一数据流。在一特定实施例中，第一数据流可由所述图像传感器产生，且可为图13的第一图像数据流1314或图7的第一数据流702。
在3106处，可从第二图像传感器接收所述图像的第二图像数据。在一特定实施例中，第二图像传感器可为图13的第二图像传感器1304。在3108处，可从第二图像传感器接收与第二图像数据相关联的第二数据流。在一特定实施例中，第二数据流可由所述图像传感器产生，且可为图13的第二图像数据流1316或图7的第二数据流704。
在3110处，可同步在图像数据采集期间所述第一图像传感器和所述第二图像传感器的逐线曝光。在一特定实施例中，所述同步可在包括组合器(例如，图13的组合器1306)的主机处的对图像的图像数据采集期间发生。在一特定实施例中，所述第一图像传感器与所述第二图像传感器彼此独立。举例来说，图13的第一图像传感器1302和第二图像传感器1304可经由控制信号直接响应于图像处理器1308，以在保持彼此独立的同时具有类似时序特性。在另一实施例中，第一图像传感器1302和第二图像传感器1304经由控制信号直接响应于组合器1306，以在保持彼此独立的同时具有类似时序特性。在3112处，可交错第一数据流与第二数据流。在一特定实施例中，所述第一数据流与所述第二数据流可在逐线基础上交错。举例来说，来自第一数据流的具有第一线索引值的线数据与来自第二数据流的具有对应第一线索引值的线数据可彼此附加以形成经交错的单一图像线。
因此，可使用单一图像处理器有效地处理经组合数据。因此，与向每一传感器指派一处理器的多处理器系统相比，总的图像系统成本和复杂性可减小。
参看图32，描绘使用图像处理器产生3D图像的方法的说明性实施例的流程图且将其大体上标示为3200。所述图像处理器可为图13的图像处理器1308。当图像处理器处理从组合器(例如，图1的组合器1306)接收的帧、来自存储器的帧，或当用户选择使用显示3D图像的装置的变焦特征或摇摄特征来更改所显示的3D图像时，可使用方法3200。
在3202处，图像处理器基于校准矩阵的参数修整第一图像和第二图像。所述校准矩阵可提供用于俘获第一图像和第二图像的第一图像传感器和第二图像传感器的相对位置的调整。两个相机的相对位置可经选择以确保最小场景失真和眼疲劳。可在于第一图像传感器和第二图像传感器的位置相对于彼此固定的情况下拍摄3D图像的装置的制造过程期间确定所述校准矩阵。所述校准可存储于所述装置的存储器中。对于在第一图像传感器、第二图像传感器或两者的位置可调整的情况下拍摄3D图像的装置，所述装置的处理器可用于执行校准例程以确定所述校准矩阵且将所述校准矩阵存储于存储器中。所述校准例程可能需要第一图像传感器和第二图像传感器聚焦于经定位成距所述图像传感器一设定距离的特定校准场景上。可在所述图像传感器相对于彼此的位置调整之后执行所述校准例程。
在3204处，图像处理器检测第一图像中的关键点。所述图像处理器可检测第一图像中的独特(高频率)点。在3206处，图像处理器在第一图像和第二图像中的局域图像小块(image patch)之间进行块匹配，以计算第一图像中的每一经检测关键点的差异。可制造用于每一关键点的可靠性估计器以保证舍弃错误的匹配。在3208处，所述图像处理器基于从所计算的差异所确定的差异范围来确定会聚调整。所述会聚调整考虑到场景深度和显示器几何形状。
在3210处，当会聚调整在将显示3D图像以产生输出的显示装置的能力内时，所述图像处理器基于所述会聚调整而选择性地移位第一图像和第二图像中的至少一者。在3212处，当会聚调整不在用以产生输出的显示装置的能力内时，所述图像处理器使用具有经调整以匹配大多数场景的差异的第一图像。在3214处，所述图像处理器基于显示装置的一个或一个以上显示特性来修剪所述输出。
图33为用以组合来自多个图像传感器的数据的图像处理系统3300的特定实施例的方框图。图像处理系统3300可包括图像传感器装置3302，图像传感器装置3302耦合到第一透镜3304，耦合到第二透镜3306，且耦合到便携式多媒体装置的应用处理器芯片组3308。图像传感器装置3302可包括组合器3310和接收用于单一相机的输入的图像处理器3312。图像处理器3312可接收来自组合器3310或来自便携式多媒体装置的应用处理器芯片组3308的存储器装置3314的单一相机输入。组合器3310可(例如)通过实施图13的系统1300，通过根据图29到31的实施例中的任一者操作或其任何组合来组合来自第一数据流和来自第二数据流的数据以产生帧。
组合器3310经耦合以经由第一模/数转换器3318接收来自第一传感器3316的图像数据。组合器3310经耦合以经由第二模/数转换器3322接收来自第二传感器3320的图像数据。组合器3310或图像处理器3312可控制第一传感器3316和第二传感器3320，第一传感器3316与第二传感器3320可以其它方式彼此独立。在一特定实施例中，图像处理器3312可经由传感器同步器3330(以阴影展示)控制第一传感器3316和第二传感器3320。
在一特定实施例中，包括图像处理电路(例如，组合器3310)的集成电路经配置以产生帧。所述图像处理电路经配置以接收来自第一图像传感器(例如，第一传感器3316)的第一数据流，接收来自第二图像传感器(例如，第二传感器3320)的第二数据流，且组合来自第一数据流和来自第二数据流的数据以产生所述帧。举例来说，图7的第一数据流702与第二数据流704可通过组合器3310进行组合以形成图7的帧740。
可将来自组合器3310的输出发送到便携式多媒体装置的应用处理器芯片组3308的存储器装置3314，发送到图像处理器3312或两者。图像处理器3312可经配置以执行额外图像处理操作，例如由图像处理系统执行的一个或一个以上操作。图像处理器3312可接收来自组合器3310或来自存储器装置3314的帧。图像处理器3312可产生经处理的图像数据，例如具有3D图像格式或3D视频格式的经处理帧。在一实施例中，用于产生经处理的图像数据的平均时间为约20毫秒。图像处理器3312可将经处理的图像数据提供到便携式多媒体装置的应用处理器芯片组3308以用于进一步处理、传输、存储、显示到显示装置3324，或其任何组合。
参看图34，描绘包括如本文中所描述的帧产生器模块的电子装置(例如，无线电话)的特定说明性实施例的方框图且将其大体上标示为3400。装置3400包括耦合到存储器3432的处理器3410。所述处理器包括或耦合到控制器3464。或者，所述电子装置可为机顶盒、音乐播放器、视频播放器、娱乐单元、导航装置、通信装置、个人数字助理(PDA)、相机、固定位置数据单元或计算机。
图34还展示耦合到处理器3410且耦合到显示器3428的显示器控制器3426。编码器/解码器(CODEC)3434也可耦合到处理器3410。扬声器3439和麦克风3438可耦合到CODEC 3434。相机控制器3470也可耦合到处理器3410。第一相机3472和第二相机3473可耦合到相机控制器3470。
图34还指示无线接口3440可耦合到处理器3410且耦合到无线天线3442。在一特定实施例中，处理器3410、显示器控制器3426、存储器3432、CODEC 3434、无线接口3440和控制器3464包括于系统级封装或系统芯片3422中。在一特定实施例中，输入装置3430和电力供应器3444耦合到系统芯片3422。此外，在一特定实施例中，如图34中所说明，显示器3428、输入装置3430、扬声器3439、麦克风3438、无线天线3442和电力供应器3444在系统芯片3422外部。然而，每一者可耦合到系统芯片3422的组件，例如接口或控制器。
在一特定实施例中，处理器3410执行来自处理器可读媒体的处理器可读程序指令，例如存储于存储器3432处的程序指令3482。举例来说，存储器3432可由处理器3410读取，且指令3482可为可由处理器3410执行以执行图22的方法2200的操作指令。举例来说，指令3482可包括可由处理器3410执行以执行以下操作的指令：接收来自第一图像传感器(例如，相机3473)的第一数据流，接收来自第二图像传感器(例如，相机3472)的第二数据流，且组合来自第一数据流和来自第二数据流的数据以产生帧。举例来说，所述第一图像传感器可为图2的第一传感器202且所述第二图像传感器可为图2的第二传感器204。指令3482可进一步包括可由处理器3410执行以在处理器3410处或在图像信号处理器(未图示)处处理所述帧以产生经处理帧的指令。指令3482可进一步包括可由处理器3410执行以输出待在显示装置3428处显示或作为图像数据3480存储于存储器3432处的经处理帧的指令。
参看图35，描绘电子装置(例如，移动电话)的特定说明性实施例的方框图且将其大体上标示为3500。装置3500包括耦合到存储器3504的处理器3502。处理器3502包括或耦合到图像处理器3506。图像处理器3506可接收单一相机输入且可输出3D数据3590。3D数据3590可呈3D图像格式或3D视频格式。或者，电子装置3500可为机顶盒、音乐播放器、视频播放器、娱乐单元、导航装置、通信装置、个人数字助理(PDA)、相机、固定位置数据单元、计算机或其组合。
图35还展示耦合到处理器3502且耦合到显示器3510的显示器控制器3508。编码器/解码器(CODEC)3512也可耦合到处理器3502。扬声器3514和麦克风3516可耦合到CODEC 3512。相机控制器3518也可耦合到处理器3502。相机控制器3518可包括组合器3520。组合器3520可将图像数据提供到图像处理器3506。作为说明性实例，组合器3520可为图13的组合器1306，或经配置以组合来自多个相机的数据的其它硬件电路或处理器，如关于图7所说明。第一相机3522和第二相机3524可耦合到相机控制器3518。
图35还指示无线接口3526可耦合到处理器3502且耦合到无线天线3528。在一特定实施例中，处理器3502、显示器控制器3508、存储器3504、CODEC 3512、相机控制器3518和无线接口3526包括于系统级封装或系统芯片3530中。在一特定实施例中，输入装置3532和电力供应器3534耦合到系统芯片3530。此外，在一特定实施例中，如图35中所说明，显示器3510、输入装置3532、扬声器3514、麦克风3516、无线天线3528和电力供应器3534在系统芯片3530外部。然而，每一者可耦合到系统芯片3530的组件，例如接口或控制器。
在一特定实施例中，处理器3502执行来自处理器可读媒体的处理器可读程序指令，例如存储于存储器3504处的程序指令3536。举例来说，存储器3504可由处理器3502读取，且指令3536可为可由处理器3502执行以执行图25的方法2500的操作指令。举例来说，指令3536可包括可由处理器3502执行以执行以下操作的指令：接收来自第一图像传感器(例如，相机3522)的第一数据流，接收来自第二图像传感器(例如，相机3524)的第二数据流，且使用相机控制器3518的组合器3520组合来自第一数据流和来自第二数据流的数据以产生帧。举例来说，所述第一图像传感器可为图13的第一图像传感器1302，且所述第二图像传感器可为图13的第二图像传感器1304。指令3536可进一步包括可由处理器3502执行以在图像处理器3506处处理所述帧以产生经处理帧的指令。指令3536可进一步包括可由处理器3502执行以将经处理帧作为3D数据输出到显示器控制器3508以用于在显示装置3510处显示或将经处理帧作为图像数据3538存储于存储器3504处的指令。
所属领域的技术人员应进一步了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路和算法步骤实施为电子硬件、由处理器执行的计算机软件，或两者的组合。已在上文大体上就其功能性描述了各种说明性组件、块、配置、模块、电路和步骤。将此功能性实施为硬件还是由处理器执行的软件取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但不应将此些实施方案决策解释为导致脱离本发明的范围。
可通过执行可以计算机可读指令的形式存储于存储器中的程序代码来执行图22到32的方法。在所述状况下，处理器(例如，数字信号处理器(DSP)、图像信号处理器(ISP)或其它处理器)可执行存储于存储器中的指令，以便执行所述图像处理方法中的一者或一者以上。在一些状况下，所述方法可由调用各种硬件组件以加速图像处理的DSP或ISP来执行。在其它状况下，本文中所描述的单元可实施为微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)或其任何组合，或方法可由微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上场可编程门阵列(FPGA)或其任何组合来执行。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现于硬件中、由处理器执行的软件模块中，或所述两者的组合中。软件模块可驻留于随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘、压缩光盘只读存储器(CD-ROM)，或此项技术中已知的任何其它形式的非暂时性计算机可读存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代方案中，处理器和存储媒体可作为离散组件而驻留于计算装置或用户终端中。
提供所揭示实施例的先前描述，以使得所属领域的技术人员能够制作或使用所揭示实施例。所属领域的技术人员将容易明白对这些实施例的各种修改，且本文中所界定的原理可在不脱离本发明的范围的情况下应用于其它实施例。因此，本发明无意限于本文中所展示的实施例，而是将赋予本发明可能与如由所附权利要求书所界定的原理和新颖特征一致的最广范围。

Claims (22)

1.一种产生图像数据的方法，所述方法包含：
在具有用于单一相机的输入的图像处理器处接收图像数据的多个线，其中所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据；以及
产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段，其中所述第一区段和所述第二区段经配置以用于产生三维3D图像格式或3D视频格式。
2.根据权利要求1所述的方法，其中在所述图像处理器处从耦合到所述第一相机和所述第二相机的组合器接收图像数据的所述多个线。
3.根据权利要求2所述的方法，其进一步包含使用所述组合器同步来自所述第一相机的第一图像数据和来自所述第二相机的第二图像数据的逐线读出以产生所述图像数据的每一线。
4.根据权利要求1所述的方法，其进一步包含：
处理所述输出帧以产生3D图像数据；以及
将所述3D图像数据发送到显示装置。
5.根据权利要求1所述的方法，其进一步包含：
处理所述输出帧以产生3D视频数据；以及
将所述3D视频数据发送到显示装置。
6.根据权利要求5所述的方法，其中所述显示装置为通信装置、相机、个人数字助理和计算机中的至少一者的组件。
7.根据权利要求1所述的方法，其中所述图像数据的每一线包括所述第一线数据与所述第二线数据之间的间隙区段，其中所述间隙区段包含非图像数据。
8.根据权利要求1所述的方法，其中用于所述单一相机的所述输入包含单一相机并行接口或串行接口和集成电路间接口。
9.一种用以产生图像数据的设备，所述设备包含：
具有用于单一相机的输入的图像处理器，其中所述图像处理器经配置以经由所述输入接收图像数据的多个线，所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据，
其中所述图像处理器经配置以产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段，其中所述第一区段和所述第二区段经配置以用于产生三维3D图像格式或3D视频格式。
10.根据权利要求9所述的设备，其进一步包含组合器，所述组合器耦合到所述第一相机和所述第二相机，且其中图像数据的所述多个线是在所述图像处理器处从所述组合器接收。
11.根据权利要求10所述的设备，其中所述组合器经配置以对准来自所述第一相机的第一图像数据和来自所述第二相机的第二图像数据的逐线读出以产生所述图像数据的每一线。
12.根据权利要求9所述的设备，其进一步包含图形处理单元，所述图形处理单元经配置以处理所述输出帧以产生3D图像数据或3D视频数据。
13.根据权利要求12所述的设备，其进一步包含显示装置，所述显示装置经耦合以显示所述3D图像数据或所述3D视频数据，其中所述显示装置为通信装置、相机、个人数字助理和计算机中的至少一者的组件。
14.根据权利要求13所述的设备，其中用于所述单一相机的所述输入包含单一相机并行接口或串行接口和集成电路间接口。
15.一种非暂时性计算机可读媒体，其包含指令，所述指令在由处理器执行时致使所述处理器：
经由用于单一相机的输入接收图像数据的多个线，其中所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据；以及
产生输出帧，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段，其中所述第一区段和所述第二区段经配置以用于产生三维3D图像格式或3D视频格式。
16.根据权利要求15所述的非暂时性计算机可读媒体，其中图像数据的所述多个线是从耦合到所述第一相机和所述第二相机的组合器接收。
17.根据权利要求15所述的非暂时性计算机可读媒体，其进一步包含用以致使图形处理器执行以下操作的指令：
处理所述输出帧以产生3D图像数据；以及
将所述3D图像数据发送到显示装置。
18.根据权利要求15所述的非暂时性计算机可读媒体，其进一步包含用以致使图形处理器执行以下操作的指令：
处理所述输出帧以产生3D视频数据；以及
将所述3D视频数据发送到显示装置。
19.一种设备，其包含：
用于在用于单一相机的输入处接收图像数据的多个线的装置，其中所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据；以及
用于产生输出帧的装置，所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段，其中所述第一区段和所述第二区段经配置以用于产生三维3D图像格式或3D视频格式。
20.根据权利要求19所述的设备，其进一步包含用于组合所述第一线数据与所述第二线数据的装置，其中所述用于组合的装置耦合到所述第一相机和所述第二相机且经配置以将图像数据的所述多个线提供到用于所述单一相机的所述输入。
21.根据权利要求19所述的设备，其进一步包含：
用于处理所述输出帧以产生3D图像数据的装置；以及
用于将所述3D图像数据发送到显示装置的装置。
22.根据权利要求19所述的设备，其进一步包含：
用于处理所述输出帧以产生3D视频数据的装置；以及
用于将所述3D视频数据发送到显示装置的装置。
CN201180021430.6A 2010-04-05 2011-04-05 组合来自多个图像传感器的数据 Active CN102859989B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US32094010P 2010-04-05 2010-04-05
US61/320,940 2010-04-05
US32425910P 2010-04-14 2010-04-14
US61/324,259 2010-04-14
US35931210P 2010-06-28 2010-06-28
US61/359,312 2010-06-28
US41275510P 2010-11-11 2010-11-11
US61/412,755 2010-11-11
US13/079,640 US8896668B2 (en) 2010-04-05 2011-04-04 Combining data from multiple image sensors
US13/079,640 2011-04-04
PCT/US2011/031288 WO2011127080A1 (en) 2010-04-05 2011-04-05 Combining data from multiple image sensors

Publications (2)

Publication Number Publication Date
CN102859989A true CN102859989A (zh) 2013-01-02
CN102859989B CN102859989B (zh) 2016-06-08

Family

ID=44120948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180021430.6A Active CN102859989B (zh) 2010-04-05 2011-04-05 组合来自多个图像传感器的数据

Country Status (8)

Country Link
US (1) US8896668B2 (zh)
EP (1) EP2556659A1 (zh)
JP (1) JP2013524688A (zh)
KR (1) KR101400515B1 (zh)
CN (1) CN102859989B (zh)
AR (1) AR081162A1 (zh)
TW (1) TW201207768A (zh)
WO (1) WO2011127080A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431798A (zh) * 2015-05-04 2017-12-01 谷歌公司 捕获图像的直通显示
US9955142B2 (en) 2013-07-05 2018-04-24 Mediatek Inc. On-line stereo camera calibration device and method for generating stereo camera parameters
CN108353122A (zh) * 2015-11-17 2018-07-31 索尼公司 多相机系统、控制多相机系统的方法和相机

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US9049433B1 (en) * 2012-01-06 2015-06-02 John H. Prince High-speed railroad inspection using coordinated 3D cameras
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
JP6041630B2 (ja) * 2012-11-09 2016-12-14 キヤノン株式会社 画像処理装置
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
EP2739049A1 (en) * 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
US9875543B2 (en) * 2012-12-10 2018-01-23 Intel Corporation Techniques for rectification of camera arrays
US9686460B2 (en) * 2012-12-27 2017-06-20 Intel Corporation Enabling a metadata storage subsystem
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US8988509B1 (en) 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
CN106233722B (zh) * 2014-03-20 2018-05-15 高途乐公司 多相机系统中的图像传感器的自动对准
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
EP2950058B1 (en) 2014-05-28 2018-03-28 Axis AB Calibration data in a sensor system
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
EP3206130B1 (en) 2014-07-01 2018-01-31 Axis AB Methods and devices for finding settings to be used in relation to a sensor unit connected to a processing unit
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
US9773334B1 (en) * 2014-09-02 2017-09-26 Rockwell Collins, Inc. High performance, low latency combined vision system for use in degraded visual environments
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9672594B2 (en) * 2014-10-21 2017-06-06 The Boeing Company Multiple pixel pitch super resolution
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9756268B2 (en) * 2015-04-23 2017-09-05 Google Inc. Line buffer unit for image processor
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR101809727B1 (ko) 2016-09-27 2017-12-15 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
CN109391764A (zh) * 2017-08-10 2019-02-26 聚晶半导体股份有限公司 双摄像头图像获取装置及其摄像方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10764512B2 (en) * 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
US10853014B2 (en) 2018-04-17 2020-12-01 Rockwell Collins, Inc. Head wearable device, system, and method
US10965728B2 (en) * 2018-10-22 2021-03-30 Tesla, Inc. Method and system for aggregating and converting sensor data streams
US11032460B2 (en) * 2019-01-18 2021-06-08 Cista System Corp. Image sensor with image receiver and automatic image combining
US10965932B2 (en) * 2019-03-19 2021-03-30 Intel Corporation Multi-pass add-on tool for coherent and complete view synthesis
CN110392149A (zh) 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
GB2595696B (en) * 2020-06-04 2022-12-28 Envisics Ltd Forming a hologram of a target image for projection using data streaming
JP7419204B2 (ja) 2020-09-18 2024-01-22 株式会社東芝 画像処理装置
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11743440B2 (en) 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US20230123736A1 (en) * 2021-10-14 2023-04-20 Redzone Robotics, Inc. Data translation and interoperability

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665313A (zh) * 2004-03-02 2005-09-07 株式会社东芝 产生图像的装置和方法
CN101496415A (zh) * 2006-07-25 2009-07-29 高通股份有限公司 具有双数字传感器的立体图像及视频捕获装置及使用所述装置的方法

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
US4523226A (en) * 1982-01-27 1985-06-11 Stereographics Corporation Stereoscopic television system
JPH0530423A (ja) * 1991-07-25 1993-02-05 Nippon Television Network Corp ワイド画面ｅｄｔｖ信号用映像切替装置
WO1994018789A1 (en) 1993-02-11 1994-08-18 Polycom, Inc. Resolution enhancement system
JPH06350937A (ja) * 1993-06-14 1994-12-22 Pioneer Electron Corp 画像合成再生装置
DE69430153T2 (de) * 1993-06-21 2002-09-05 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten
WO1995006283A1 (en) 1993-08-24 1995-03-02 Downs Roger C Topography processor system
JPH09507349A (ja) 1993-12-29 1997-07-22 ライカ アクチエンゲゼルシャフト 表示装置上に立体ビデオ映像を表示するための方法及び装置
US5786850A (en) * 1994-02-17 1998-07-28 Ultrak, Inc. Multiple room portable camera system
JP3428132B2 (ja) 1994-03-14 2003-07-22 ソニー株式会社 テレビジョン方式及び表示装置
US6064355A (en) 1994-05-24 2000-05-16 Texas Instruments Incorporated Method and apparatus for playback with a virtual reality system
DE19542308A1 (de) 1994-11-25 1996-05-30 Zeiss Carl Fa Verfahren und Vorrichtung zur Darstellung dreidimensionaler Videobilder
JP3771954B2 (ja) * 1995-08-04 2006-05-10 ソニー株式会社 画像表示制御装置および方法
US5995140A (en) 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
US6108005A (en) 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
UA22127C2 (uk) 1996-09-10 1998-04-30 Сергій Іванович Мірошніченко Телевізійhа система високої розрізhяльhої здатhості
US6278480B1 (en) 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
WO2000039998A2 (en) 1998-12-30 2000-07-06 Chequemate International, Inc. System and method for recording and broadcasting three-dimensional video
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7050085B1 (en) * 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
GB2355612A (en) 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
AU2599701A (en) 1999-12-28 2001-07-09 Vrex, Inc. A 3d camera
WO2001097531A2 (en) 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP2001069530A (ja) 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
EP3388784B1 (en) 2001-05-04 2019-07-17 Vexcel Imaging GmbH Method and large format camera for acquiring a large format image of a large area object
US7002618B2 (en) * 2001-06-01 2006-02-21 Stereographics Corporation Plano-stereoscopic DVD movie
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
WO2004001667A2 (en) 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
US20040075741A1 (en) 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
JP4252105B2 (ja) 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置及び画像データ再生装置
KR100477801B1 (ko) 2002-12-26 2005-03-22 한국전자통신연구원 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
US7525576B2 (en) 2003-02-17 2009-04-28 Axis, Ab Method and apparatus for panning and tilting a camera
SE0300428D0 (sv) 2003-02-17 2003-02-17 Axis Ab Digital camera having panning and/or tilting functionality
KR100771299B1 (ko) 2003-06-26 2007-10-29 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
SE0302065D0 (sv) 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
RU2250504C1 (ru) 2003-07-18 2005-04-20 Мироничев Сергей Юрьевич Способ многоканального видеоаудионаблюдения и реализующая его интегрированная высокочастотная система
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP4483261B2 (ja) 2003-10-24 2010-06-16 ソニー株式会社 立体視画像処理装置
JP4293053B2 (ja) 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP2006005608A (ja) 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
JP4424088B2 (ja) 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
US20060054782A1 (en) 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7577881B1 (en) 2005-05-10 2009-08-18 Ikanos Communications Inc. Method and apparatus for an interleaver
JP4665166B2 (ja) 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
US20070146478A1 (en) 2005-07-14 2007-06-28 Butler-Smith Bernard J Stereoscopic 3D rig calibration and viewing device
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP4630149B2 (ja) 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
KR101185870B1 (ko) 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
JP4199238B2 (ja) 2006-01-11 2008-12-17 パナソニック株式会社 撮影システム
US20070248260A1 (en) 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8520079B2 (en) * 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
EP1988713A1 (en) 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Image processing apparatus and method using padding data
JP4720785B2 (ja) 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
US8794526B2 (en) 2007-06-04 2014-08-05 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
US8009200B2 (en) 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
KR101313740B1 (ko) 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
TW200939763A (en) * 2008-03-07 2009-09-16 Sunplus Technology Co Ltd Image processing system and method for processing divisional TV pictures
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
US9544661B2 (en) 2009-09-03 2017-01-10 Lg Electronics Inc. Cable broadcast receiver and 3D video data processing method thereof
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665313A (zh) * 2004-03-02 2005-09-07 株式会社东芝 产生图像的装置和方法
CN101496415A (zh) * 2006-07-25 2009-07-29 高通股份有限公司 具有双数字传感器的立体图像及视频捕获装置及使用所述装置的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955142B2 (en) 2013-07-05 2018-04-24 Mediatek Inc. On-line stereo camera calibration device and method for generating stereo camera parameters
US10033989B2 (en) 2013-07-05 2018-07-24 Mediatek Inc. Synchronization controller for multi-sensor camera device and related synchronization method
CN107431798A (zh) * 2015-05-04 2017-12-01 谷歌公司 捕获图像的直通显示
CN108353122A (zh) * 2015-11-17 2018-07-31 索尼公司 多相机系统、控制多相机系统的方法和相机
CN108353122B (zh) * 2015-11-17 2021-03-05 索尼公司 多相机系统、控制多相机系统的方法和相机

Also Published As

Publication number Publication date
TW201207768A (en) 2012-02-16
AR081162A1 (es) 2012-07-04
US8896668B2 (en) 2014-11-25
JP2013524688A (ja) 2013-06-17
KR20130028095A (ko) 2013-03-18
WO2011127080A1 (en) 2011-10-13
CN102859989B (zh) 2016-06-08
US20120081519A1 (en) 2012-04-05
KR101400515B1 (ko) 2014-05-28
EP2556659A1 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
CN102870401B (zh) 组合来自多个图像传感器的数据
CN102859989B (zh) 组合来自多个图像传感器的数据
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN102917236A (zh) 一种基于单摄像头的立体拍照方法及数码摄像装置
KR20150084807A (ko) 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치
US20140168371A1 (en) Image processing apparatus and image refocusing method
CN111225135A (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US20210344890A1 (en) Video display apparatus and video processing apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant