CN110999274A - 对多个传感器设备中的图像捕获进行同步 - Google Patents

对多个传感器设备中的图像捕获进行同步 Download PDF

Info

Publication number
CN110999274A
CN110999274A CN201880054122.5A CN201880054122A CN110999274A CN 110999274 A CN110999274 A CN 110999274A CN 201880054122 A CN201880054122 A CN 201880054122A CN 110999274 A CN110999274 A CN 110999274A
Authority
CN
China
Prior art keywords
image
sensor
captured
memory
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880054122.5A
Other languages
English (en)
Other versions
CN110999274B (zh
Inventor
哈米德·拉希姆·谢赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110999274A publication Critical patent/CN110999274A/zh
Application granted granted Critical
Publication of CN110999274B publication Critical patent/CN110999274B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

描述了一种对来自具有不同属性的多个图像传感器的图像进行同步的方法。该方法包括：对使用第一图像传感器对第一图像的捕获和使用第二图像传感器对第二图像的捕获进行同步；以及通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将所述捕获的第一图像存储在所述第一图像传感器的传感器上存储器中、或者(b)将所述捕获的第二图像存储在所述第二图像传感器的传感器上存储器中。

Description

对多个传感器设备中的图像捕获进行同步
技术领域
本发明的实施例大体上涉及捕获图像的设备，具体地，涉及一种对来自具有不同属性的多个图像传感器的图像进行同步的方法。
背景技术
对于典型的消费电子产品形状因素(例如智能手机)中的使用CMOS相机传感器技术的多相机系统，可以使用机械快门进行同步。机械快门允许传感器同时全局暴露。然而，机械快门价格昂贵，体积庞大，容易出现故障，而且不能用于捕获视频。
一些CMOS传感器提供了全局快门模式，其中附加的电路可以暂时保持充电。然而，这类CMOS传感器通常具有较高的噪声和较差的图像质量。在多相机系统中，也可以降低所有传感器的速度以匹配最慢的相机。这样的修改可能会使系统整体太慢，也可能使相机参数的动态调整变得困难，并可能导致系统减速和帧下降。一些现有的解决方案还可以通过使用接收图像数据的处理单元来处理视差和物体运动。通过尝试解决这个不适定的问题，可能会牺牲图像质量。
即使在捕获多个图像期间对帧起始进行同步，在传统设备中也可能无法同步捕获图像的其余部分，其中传统设备可能依赖于最大努力同步。
相应地，需要提高多相机系统中的图像数据的同步。
附图说明
图1是具有多个相机的电子设备的示例性框图；
图2是示出了使用匹配的两个相机捕获图像数据的示例性图示；
图3是示出了使用广角相机和长焦相机捕获图像数据的定时差的示例性图示；
图4是示出了使用具有不同属性的多个相机对图像的影响的示例性图示；
图5是用于对来自具有不同属性的多个相机的图像进行合成的电路的示例性框图；
图6是示出了与像素阵列和相机的存储器相关联的不同接口的示例性框图；
图7是示出了捕获和读出与具有不同属性的多个相机相关联的图像数据的示例性图示；
图8是示出了使用具有不同属性的多个相机在对应时间捕获图像数据的示例性图示；以及
图9是示出了用于对来自具有不同属性的多个相机的图像进行同步的方法的示例性流程图。
具体实施方式
描述了对来自具有不同属性的多个图像传感器的图像进行同步的方法。该方法包括：实现被配置为捕获第一图像的第一图像传感器；实现被配置为捕获第二图像的第二图像传感器；对第一图像和第二图像的捕获进行同步；以及将第一图像传感器和第二图像传感器中的至少一个图像传感器的捕获的图像数据存储在第一图像传感器和第二图像传感器中的该至少一个图像传感器的存储器上。
还描述了电子设备。该电子设备包括被配置为捕获第一图像的第一图像传感器；被配置为捕获第二图像的第二图像传感器；以及处理器，其中该处理器执行以下操作：对第一图像和第二图像的捕获进行同步；以及将第一图像传感器和第二图像传感器中的至少一个图像传感器的捕获的图像数据存储在第一图像传感器和第二图像传感器中的该至少一个图像传感器的存储器上。
还描述了其中存储有数据的非暂时性计算机可读存储介质，其中数据表示指令，所述指令可以由处理器执行以执行包括以下步骤的方法：对使用第一图像传感器对第一图像的捕获和使用第二图像传感器对第二图像的捕获进行同步；以及通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将捕获的第一图像存储在第一图像传感器的传感器上存储器中、或者(b)将捕获的第二图像存储在第二图像传感器的传感器上存储器中。
多相机系统通常可以用于高质量的消费者数字摄影，其中移动电话中通常使用两个相机。对两个或更多个异构相机的图像捕获进行同步对于许多应用来说是至关重要的，例如需要不同分辨率或焦距的应用、或者CMOS应用中的滚动快门使同步处理复杂化的应用。
下面阐述的电路和方法描述了具有存储器的CMOS图像传感器，其允许传感器以比与能够实现图像捕获的电路的其他部分相关联的接口速度所支持的速率高得多的速率执行模数(A/D)转换，这种接口例如是到处理单元的接口。此外，DRAM可以集成在具有高带宽本地接口的传感器上。通过使用DRAM存储器和本地接口中的快速A/D转换，可以更有效地对多相机系统进行同步。通过以匹配系统中的最快传感器的速率执行A/D转换(即，基于每单位时间捕获的视场)，在传感器上DRAM中保存结果，并且根据需要通过较慢的接口(其可以由多个相机共享)发送所保存的数据，这些电路和方法克服了现有接口的限制，并且允许图像捕获的有效时间同步。通过在多相机设备中同步图像捕获，下面阐述的电路和方法允许处理单元(通常也称为处理器)只纠正视差，因此不必在不适定情况下纠正视差和运动二者。
虽然说明书包括定义了被认为新颖的本发明的一个或多个实现的特征的权利要求，但是相信通过考虑结合附图的描述，将更好地理解电路和方法。尽管公开了各种电路和方法，但需要理解的是，这些电路和方法仅仅是发明布置的示例，其可以以各种形式具体实现。因此，本说明书中公开的具体结构和功能细节不应被解释为限制，而仅仅作为权利要求的基础并作为教导本领域技术人员在几乎任何适当的详细结构中以各种方式具体实现本发明布置的代表性基础。此外，本文使用的术语和短语并不是为了限制，而是为了提供对电路和方法的可理解的描述。
首先参考图1，示出了具有多个相机的电子设备的框图。示例性电子设备100可以是具有多个相机的任意类型的设备。移动设备100可以包括耦接到多个相机104和105的处理器102。尽管示出了相机104和105，但是应当理解，相机包括图像传感器，并且相机可以相互独立或者可以共享电路。移动设备100可以是适合于发送和接收信息的任意类型的设备，例如智能电话、平板电脑或接收或提供信息的其他电子设备(诸如可穿戴设备)。处理器电路102可以是ARM处理器、X86处理器、MIPS处理器、图形处理单元(GPU)、通用GPU或被配置为执行存储在存储器中的指令的任何其他处理器。处理器电路102可以实现在一个或多个处理设备中，其中这些处理器可以是不同的。例如，电子设备可以包括中央处理单元(CUP)以及GPU。
处理器102可以耦接到用于向用户显示信息的显示器106。处理器102也可以耦接到存储器108，存储器108允许存储与数据有关的信息或者与实现目标相关联的信息。存储器108可以实现为处理器102的一部分，或者除了处理器的任何高速缓冲存储器之外，还可以实现存储器108，如所公知的。存储器108可以包括任意类型的存储器，例如固态驱动器(SSD)、闪存、只读存储器(ROM)或提供长期存储的任何其他存储器元件，其中存储器可以是电子设备的任意类型的内部存储器或电子设备可访问的外部存储器。
还提供了用户接口110以使用户能够输入数据和接收数据。一些活动跟踪可能需要用户的手动输入。用户接口可以包括通常在便携式通信设备(例如，智能电话、智能手表或平板计算机)上使用的触摸屏用户接口以及其他输入/输出(I/O)元件(例如，扬声器和麦克风)。用户接口也可以包括用于输入或输出数据的设备，其可以通过电连接器或无线连接(例如，蓝牙或近场通信(NFC)连接)附接到移动设备。
处理器102还可以耦接到接收输入数据或提供数据的其他元件，包括各种传感器111、惯性测量单元(IMU)112和用于活动跟踪的全球定位系统(GPS)设备113。例如，惯性测量单元(IMU)112可以提供与设备的运动或方位相关的各种信息，而GPS 113提供与设备相关联的位置信息。传感器(其可以是移动设备的一部分或耦接至移动设备)可以包括例如光强(例如环境光线或UV光)传感器、接近传感器、环境温度传感器、湿度传感器、心率检测传感器、皮电响应传感器、皮肤温度传感器、气压计、速度计、高度计、磁力仪、霍尔传感器、陀螺仪、WiFi收发器或可以提供与实现目标相关的信息的任何其他传感器。处理器电路102可以通过输入/输出(I/O)端口144或耦接到天线118的收发器116来接收输入数据。
现在参考图2，该图示出了使用匹配的两个相机捕获图像数据。尽管下文在附图中示出两个相机作为示例，但是应当理解，根据所描述的各种电路和方法，可以实现附加的相机。可以很容易地对来自匹配的(即，具有类似属性的)多个相机的图像组合。然而，使用具有不同属性的多个相机能够改善图像质量(例如通过提供改善的低光能力、光学变焦或其他特征)。使用不同的算法对来自多个相机的图像进行组合，以与由单相机系统提供的图像相比改善质量。
使用具有电子卷帘快门(ERS)的CMOS传感器的传统的产品在曝光和从相机传感器向处理单元读出图像数据方面受到限制。具有ERS的CMOS传感器必须逐行曝光传感器像素，并数字式控制曝光。结果，从来没有一个“瞬时”照片捕获，而是图像的顶部首先曝光，图像的底部在几毫秒后(例如大约30毫秒后)曝光。图像的顶部线与底部线之间的时间差可能受到不同因素的约束，例如包括模数转换吞吐量和相机传感器与处理单元之间的接口速度。
除了ERS，多相机系统还必须考虑视差，视差是由于相机没有对齐的光轴造成的。也即是说，不同相机之间有基线，并且场景中的处于不同深度的不同物体被相机以稍微不同的视角观察到，从而在输出图像中产生视差效应。当下游处理单元(PU)将来自多个相机的图像进行组合以产生一个整合图像时，下游处理单元必须能够处理视差。
在传感器特性不尽相同(例如，不同的兆像素、不同的帧率、不同的焦距等等)的多相机场景中，同步的图像捕获可以缓解下游处理中的很多图像质量(IQ)问题。然而，由于ERS的原因，不足以对曝光开始和读出进行同步。即使图像传感器阵列中的左上角像素开始是同步的，由于传感器特性的差异，以后的像素也可能被不同步地读出。例如如图3所示，读出长焦图像的一部分(整行)所花费的时间t2比读出广角图像的对应部分的时间t1长。时序失配的结果如图4所示，其中由于缺少同步而引起的车辆的相对运动可能会改变处理单元对视差或深度的估计。这种时序失配可能会在各种应用(例如，W/T融合、肖像模式等等)中导致下游问题。
现在参考图5，示出了用于对来自具有不同属性的多个相机的图像进行合成的电路的框图。图5的电路包括第一图像传感器502和第二图像传感器504。图像传感器502和504中的每一个包括用于存储图像数据(即，与图像相关联的像素值)的像素阵列、以及耦接的存储器508，其接收来自像素阵列506的图像数据以及来自控制电路510的控制信号。存储器耦接到像素接口512，像素接口512向处理单元514提供图像数据。
即使像素阵列的CMOS传感器配备有不同的电路来控制ERS速率并且尝试匹配最差传感器，传感器也必须比到处理单元的接口可以接收像素数据的速度更快地向处理单元发送像素数据。例如，在具有两倍焦距差的广角(通常称为广或W)传感器和长焦或变焦(通常称为长或T)传感器的双相机的情况下，广角图像的行的中心四分之一必须以与长焦图像的整行相同的速度读出，以实现完美的同步。因此，长焦相机接口必须能够支持广角传感器的速度的4倍的速度，这可能是不可能的或不现实的。
如果长焦图像传感器接口不能支持广角图像传感器相机接口的速度的4倍的速度，则处理单元必须被配备为处理来自异步的多个传感器的图像数据，并且能够解决这些同步问题。然而，这要求处理单元解决视差问题和同步问题。也即是说，处理单元必须确定来自多相机系统的图像之间的差异是由于不同步(例如，运动物体)引起的还是由于视差引起的。因此，这是处理单元可能很难解决的不适定的问题。为了对视差或物体运动进行准确辨别，视差应当为零(即，相机是光学对齐的(这在消费电子设备的形状因素中是不可行的)，或者只有固定深度的实验室场景(这是不实际的))，或者相机需要完全同步。如果可以以某种方式针对整个图像对相机进行同步，那么在多相机系统中，处理单元只需处理视差问题，这是比同步和视差问题的结合更受约束的待解决问题。图5的在图像传感器502和504上具有存储器的电路使得不同图像传感器检测到的两个图像能够同步，下面将对此进行更详细的描述。
如图6所示，框图示出了与像素阵列和相机的存储器相关联的不同接口。更特别地，镜头602在控制电路510的控制下向像素阵列506提供数据。A/D转换器604使得与图像的像素相关联的模拟值能够转换成数字值，该数字值然后可以存储在传感器上存储器508中，传感器上存储器508例如可以是动态随机存取存储器(DRAM)。像素接口606使得图像数据能够传送到处理单元514。
图6中所示的传感器的实现通过在相机传感器上使用快速A/D转换器和DRAM在多相机系统中执行相机同步，并且消除或大大减少多相机系统中的相机的输出中基于运动的差异。这种相机同步允许下游处理专注于解决视差，因此不必解决处理视差和运动物体分析的不适定问题。
现在参考图7，该图示出了与具有不同属性的多个相机相关联的图像的捕获和读出，并描述了使用图5和图6的电路来对图像进行同步的操作。使用不同的图像传感器(例如，广角图像传感器或长焦图像传感器)会带来很多挑战。具有不同属性的图像传感器的FOV通常可能在时间上不一致，例如当由于不同的传感器特性而可能存在曝光时间差异时。可以使用处理单元的同步/触发器电路以及软件程序延迟来对行重置进行同步。尽管有可能减慢广角FOV的读出以匹配长焦FOV读出，但是这要求对广角图像进行动态FOV调整(例如在变焦转换期间)，这可能由于调整传感器侧裁剪(crops)所需的延迟而导致问题，并且还可能负面影响视频帧率。从相机到处理单元的接口可以是专用的或者通过使用复用器而在多个相机之间被共享。已经对图像捕获进行时间同步的处理单元只需要计算视差。
在本发明的一个实施例中，每个相机能够配置内部FOV，并且读出速度(即，像素阵列到存储器，其对于具有广角相机一半FOV的长焦相机可以是每帧1/120s，其中广角相机以每帧1/30s运行)比从存储器向处理器传送数据的接口速度(其可以是每帧1/30s)快得多。处理单元通过向图像传感器502和504发送控制信号和触发来配置每个图像传感器，如上所述。每个图像传感器使用配置信息将像素阵列读出到存储器中，从而允许图像捕获同步。随后，如图7所示，以更慢的速度将像素信息发送到处理单元。也即是说，长焦传感器的触发被设置成时间t3以确保长焦图像的像素行与广角图像中心像素行对齐，如图所示。
如图7所示，每个相机使用配置信息将像素阵列读出到存储器中，从而允许图像捕获对齐。随后，以更慢的速度将像素信息发送到处理单元。当处理单元现在已经对图像捕获进行时间同步时，处理器单元仅需要计算视差。当如图8所示地广角图像传感器存储包括左侧像素和右侧像素的图像数据(其未由长焦图像传感器存储)时，与广角图像的中心一半相关联的图像数据对应于长焦图像的整行，其中图8的t5和t6对应于单行的读出时间。当存储广角图像和长焦图像的对应数据时，可以以处理单元可以适应的速率(例如，像素接口606)读出该对应数据，该速率可以比在传感器的存储器中存储图像数据的速率(例如，A/D接口604)更慢。
在图7和图8的示例中，其在广角-长焦配置的情况下具有2倍光学变焦，长焦相机读出被加速以匹配广角图像的匹配FOV。对于此示例，这需要长焦图像的读出速度比广角图像的读出速度提高4倍，而广角图像通常不会按到处理器的接口速度来处理。因此，图7中示出了2倍竖直加速，图8中示出了2倍水平加速，其中插入空白以使像素排成一行。然后，以较慢的速率从处理器中读出DRAM内容，如图7所示。可以按照在传统设备中正常处理的那样在系统中对减小广角图像和长焦图像二者上的FOV的任何附加变焦因素进行处理。
因此，本发明通过在相机传感器上使用快速A/D转换器和DRAM来执行多相机系统中的相机同步，并且消除或大大减少多相机系统中的相机的输出中基于运动的差异。每个相机能够配置内部FOV、(到存储器的)读出速度、空白，并且还能够接受外部触发以对捕获进行同步，其中A/D转换和读出速度(像素阵列到存储器)比处理器单元的接口速度快得多(通常每帧1/120s(或更高)vs 1/30s)。例如，处理单元为每个相机/传感器配置同步相关信息，并向每个相机发送捕获触发以对捕获的起始进行同步。计算FOV、延迟和空白信息以最小化或消除来自多个图像传感器的捕获之间的时间差。
现在参考图9，流程图示出了对来自具有不同属性的多个传感器的图像进行同步的方法。在框902处，实现被配置为捕获第一图像的第一图像传感器，例如图像传感器502。在框904处，实现被配置为捕获第二图像的第二图像传感器，例如图像传感器504。在框906处，计算第一图像传感器和第二传感器的同步配置。在框906处，对第一图像和第二图像的捕获进行同步。可以使用处理单元514来对第一图像和第二图像的捕获进行同步，如上所述。在框910处，将第一图像传感器和第二图像传感器中的至少一个图像传感器的捕获的图像数据存储在第一图像传感器和第二图像传感器中的该至少一个图像传感器的存储器(例如，传感器上存储器508)上。在框912处，将所捕获的图像传送到处理器。
可以使用图1至图8所述的电路或者使用一些其他合适的电路来实现图9中的方法的各种元素。尽管描述了方法的特定元素，但是应当理解，可以根据图1至图8的公开来实现方法的附加元素或者与元素相关的附加细节。
应当注意，可以在不同的实现中实现其他变型。例如，系统中可以有两个以上的相机。系统中的一个或多个相机可以没有存储器，并且可以是与其他相机同步的基线相机。根据相机配置，如果带宽允许，则一些相机可以使用高速接口来直接向处理器进行读出。处理单元可以具有与相机传感器的专用点对点像素接口，或者通过某一共享资源(例如，复用器开关)而具有与相机传感器的像素接口。本发明的实施例提供了一种在必须依赖于ERS进行图像捕获的基于CMOS传感器的多相机系统中对图像捕获进行同步的方法。在下面的示例中，描述了具有广角-长焦配置(具有2倍光学变焦)的双相机情形，但是本发明的实施例很容易扩展到具有不同特性(例如，不同的分辨率或FOV)的多于两个的相机。
因此，可以理解的是，已经描述了用于对来自具有不同属性的多个传感器的图像进行同步的新电路和方法。本领域技术人员将会理解，可以看到存在包含所公开发明的大量替代物和等价物。因此，本发明不受上述实现的限制，而仅受所附权利要求的限制。

Claims (14)

1.一种对来自具有不同属性的多个图像传感器的图像进行同步的方法，所述方法包括：
对使用第一图像传感器对第一图像的捕获和使用第二图像传感器对第二图像的捕获进行同步；以及
通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将所述捕获的第一图像存储在所述第一图像传感器的传感器上存储器中、或者(b)将所述捕获的第二图像存储在所述第二图像传感器的传感器上存储器中。
2.根据权利要求1所述的方法，其中通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将所述捕获的第一图像存储在所述第一图像传感器的传感器上存储器中、或者(b)将所述捕获的第二图像存储在所述第二图像传感器的传感器上存储器中包括：将捕获的图像数据存储在所述第一图像传感器的所述传感器上存储器中和所述第二图像传感器的所述传感器上存储器中。
3.根据权利要求1所述的方法，其中从所述第一图像传感器或所述第二图像传感器的像素阵列到传感器上存储器对像素值的读出速度被调整以匹配第二图像传感器上的像素阵列的匹配视场的读出速度。
4.根据权利要求1所述的方法，其中对所述第一图像和第二图像的捕获进行同步包括：在第一时间触发所述第一图像传感器以捕获所述第一图像并且在第二时间触发所述第二图像传感器以捕获所述第二图像。
5.根据权利要求1所述的方法，其中通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将所述捕获的第一图像存储在所述第一图像传感器的传感器上存储器中、或者(b)将所述捕获的第二图像存储在所述第二图像传感器的传感器上存储器中包括：使用第一接口以第一速率存储所述捕获的第一图像或所述捕获的第二图像中的所述至少一项，所述方法还包括以比所述第一速率慢的第二速率从所述传感器上存储器传送所存储的捕获的第一图像或捕获的第二图像。
6.根据权利要求1所述的方法，其中从所述第一图像传感器读出帧的整行的图像数据的时间与从所述第二图像传感器读出所述帧的与所述第一图像传感器的所述整行的视场相对应的部分的图像数据的时间相同。
7.一种电子设备，包括：
第一图像传感器，被配置为捕获第一图像；
第二图像传感器，被配置为捕获第二图像；以及
处理器，耦接到所述第一图像传感器和第二图像传感器，其中所述处理器执行以下操作：
对所述第一图像的捕获和所述第二图像的捕获进行同步；以及
将所述第一图像传感器和所述第二图像传感器中的至少一个的捕获的图像数据存储在所述第一图像传感器和第二图像传感器中所述至少一个的存储器上。
8.根据权利要求7所述的电子设备，其中通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将所述捕获的第一图像存储在所述第一图像传感器的传感器上存储器中、或者(b)将所述捕获的第二图像存储在所述第二图像传感器的传感器上存储器中包括：将捕获的图像数据存储在所述第一图像传感器的所述传感器上存储器中和所述第二图像传感器的所述传感器上存储器中。
9.根据权利要求7所述的电子设备，其中从所述第一图像传感器或所述第二图像传感器的像素阵列到传感器上存储器对像素值的读出速度被调整以匹配第二图像传感器上的像素阵列的匹配视场的读出速度。
10.根据权利要求7所述的电子设备，其中对所述第一图像和第二图像的捕获进行同步包括：在第一时间触发所述第一图像传感器以捕获所述第一图像并且在第二时间触发所述第二图像传感器以捕获所述第二图像。
11.根据权利要求7所述的电子设备，其中通过以下方式存储捕获的第一图像或捕获的第二图像中的至少一项：(a)将所述捕获的第一图像存储在所述第一图像传感器的传感器上存储器中、或者(b)将所述捕获的第二图像存储在所述第二图像传感器的传感器上存储器中包括：使用第一接口以第一速率存储所述捕获的第一图像或所述捕获的第二图像中的所述至少一项，所述方法还包括以比所述第一速率慢的第二速率从所述传感器上存储器传送所存储的捕获的第一图像或捕获的第二图像。
12.根据权利要求7所述的电子设备，其中从所述第一图像传感器读出帧的整行的图像数据的时间与从所述第二图像传感器读出所述帧的与所述第一图像传感器的所述整行的视场相对应的部分的图像数据的时间相同。
13.根据权利要求12所述的电子设备，其中所述处理器进一步基于来自所述第一图像传感器和所述第二图像传感器的图像数据来计算视差。
14.一种计算机程序产品，包括具有程序的一个或多个计算机可读存储介质，所述程序当由至少一个处理器执行时，使所述至少一个处理器执行根据权利要求1至6中任一项所述的方法。
CN201880054122.5A 2017-08-30 2018-06-29 对多个传感器设备中的图像捕获进行同步 Expired - Fee Related CN110999274B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762551905P 2017-08-30 2017-08-30
US62/551,905 2017-08-30
US15/904,068 2018-02-23
US15/904,068 US10863057B2 (en) 2017-08-30 2018-02-23 Synchronizing image captures in multiple sensor devices
PCT/KR2018/007431 WO2019045245A1 (en) 2017-08-30 2018-06-29 SYNCHRONIZATION OF IMAGE CAPTURES IN MULTIPLE SENSOR TYPE DEVICES

Publications (2)

Publication Number Publication Date
CN110999274A true CN110999274A (zh) 2020-04-10
CN110999274B CN110999274B (zh) 2022-04-01

Family

ID=65435849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054122.5A Expired - Fee Related CN110999274B (zh) 2017-08-30 2018-06-29 对多个传感器设备中的图像捕获进行同步

Country Status (5)

Country Link
US (1) US10863057B2 (zh)
EP (1) EP3652930B1 (zh)
KR (1) KR102617898B1 (zh)
CN (1) CN110999274B (zh)
WO (1) WO2019045245A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728529B2 (en) * 2018-09-06 2020-07-28 Qualcomm Incorporated Synchronization of frame captures from multiple cameras with different fields of capture
US11995012B2 (en) * 2022-03-15 2024-05-28 Samsung Electronics Co., Ltd. High speed interface for multi image sensor device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017486A1 (en) * 2002-07-24 2004-01-29 Cooper Alan Neal Digital camera synchronization
US20100157020A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Multiple camera controlling and image storing apparatus for synchronized multiple image acquisition and method thereof
CN103702073A (zh) * 2013-12-11 2014-04-02 天津大学 一拖多个成像传感器同步成像的一体化相机电路
US20150170104A1 (en) * 2012-07-24 2015-06-18 Nec Corporation Time and attendance management device, data processing method thereof, and program
US20150296154A1 (en) * 2013-10-18 2015-10-15 The Lightco Inc. Image capture related methods and apparatus
CN106921820A (zh) * 2015-12-24 2017-07-04 三星电机株式会社 图像传感器和相机模块

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985181B2 (en) * 2000-05-09 2006-01-10 Pixim, Inc. CMOS sensor array with a memory interface
US7518540B2 (en) 2002-07-31 2009-04-14 Quantum Semiconductor Llc Multi-mode ADC and its application to CMOS image sensors
US7319423B2 (en) 2002-07-31 2008-01-15 Quantum Semiconductor Llc Multi-mode ADC and its application to CMOS image sensors
US7667740B2 (en) 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
US8269868B2 (en) 2008-12-26 2012-09-18 Datalogic ADC, Inc. Systems and methods for imaging
FR2940841B1 (fr) 2009-01-06 2011-04-22 Dxo Labs Systeme de capture d'images et utilisation associee pour ameliorer la qualite des images acquises
US8988504B2 (en) 2010-06-03 2015-03-24 Semiconductor Components Industries, Llc Imaging systems with integrated stereo imagers
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9319589B2 (en) 2013-05-31 2016-04-19 Sony Corporation Device and method for capturing images and selecting a desired image by tilting the device
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
US9819875B2 (en) 2015-03-02 2017-11-14 Intel Corporation Multi-camera sync pulse synchronization
US9521348B2 (en) 2015-04-24 2016-12-13 Omnivision Technologies, Inc. Readout circuitry for image sensor
TWI610250B (zh) 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
KR102433293B1 (ko) 2015-12-24 2022-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017486A1 (en) * 2002-07-24 2004-01-29 Cooper Alan Neal Digital camera synchronization
US20100157020A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Multiple camera controlling and image storing apparatus for synchronized multiple image acquisition and method thereof
US20150170104A1 (en) * 2012-07-24 2015-06-18 Nec Corporation Time and attendance management device, data processing method thereof, and program
US20150296154A1 (en) * 2013-10-18 2015-10-15 The Lightco Inc. Image capture related methods and apparatus
CN103702073A (zh) * 2013-12-11 2014-04-02 天津大学 一拖多个成像传感器同步成像的一体化相机电路
CN106921820A (zh) * 2015-12-24 2017-07-04 三星电机株式会社 图像传感器和相机模块

Also Published As

Publication number Publication date
CN110999274B (zh) 2022-04-01
KR20200037370A (ko) 2020-04-08
WO2019045245A1 (en) 2019-03-07
US20190068842A1 (en) 2019-02-28
KR102617898B1 (ko) 2023-12-27
US10863057B2 (en) 2020-12-08
EP3652930A4 (en) 2020-05-20
EP3652930B1 (en) 2022-05-25
EP3652930A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN106576160B (zh) 用于具有模式切换的深度相机模式的成像架构
US11276149B2 (en) Double non-local means denoising
US9639935B1 (en) Apparatus and methods for camera alignment model calibration
CN109788189B (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
US9654672B1 (en) Synchronized capture of image and non-image sensor data
JP6246246B2 (ja) 適応型カメラアレイを有するデバイス
US11871105B2 (en) Field of view adjustment
US10743002B2 (en) Sequential in-place blocking transposition for image signal processing
US11032477B2 (en) Motion stabilized image sensor, camera module and apparatus comprising same
US20210152753A1 (en) Combined Image From Front And Rear Facing Cameras
CN111670573A (zh) 用于通过根据电子装置的移动调整与对象在关注区域中的移动相关联的阈值来拍摄移动画面的电子装置及其操作方法
KR20200043818A (ko) 전자 장치 및 그의 이미지 촬영 방법
CN110999274B (zh) 对多个传感器设备中的图像捕获进行同步
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
US20180211413A1 (en) Image signal processing using sub-three-dimensional look-up tables
US10165173B2 (en) Operating method and apparatus for detachable lens type camera
WO2020142589A1 (en) Face detection in spherical images
WO2022218216A1 (zh) 图像处理方法和终端设备
KR20220145621A (ko) 촬영 시 흔들림을 보정하는 방법 및 그 전자 장치
CN117135459A (zh) 图像防抖方法与电子设备
WO2022019879A1 (en) Wide angle adapter lens for enhanced video stabilization
JP2017225055A (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220401