CN108353122B - 多相机系统、控制多相机系统的方法和相机 - Google Patents

多相机系统、控制多相机系统的方法和相机 Download PDF

Info

Publication number
CN108353122B
CN108353122B CN201680065632.3A CN201680065632A CN108353122B CN 108353122 B CN108353122 B CN 108353122B CN 201680065632 A CN201680065632 A CN 201680065632A CN 108353122 B CN108353122 B CN 108353122B
Authority
CN
China
Prior art keywords
cameras
camera
image
vertical direction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680065632.3A
Other languages
English (en)
Other versions
CN108353122A (zh
Inventor
金子哲夫
内田和弘
中塚盛雄
字佐美真之介
饭塚恭弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108353122A publication Critical patent/CN108353122A/zh
Application granted granted Critical
Publication of CN108353122B publication Critical patent/CN108353122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

当多个拍摄图像被拼接并被合成时，本发明防止焦平面失真在接合处附近突显。本发明提供了多个相机。每个相机具有用于通过光栅扫描方式来输出信号的图像传感器。根据与每个相机的拍摄图像距离垂直方向上的参考位置的偏差量有关的信息，移动被供应给多个相机具有的图像传感器的垂直同步信号的相位中的每一个。即使当由于相机在垂直方向上的安装失对准或个体相机主体的变化而在图像传感器的安装位置中存在偏差等时，在合成图像的接合处附近不存在拍摄时间显著不相同的线，并且防止焦平面失真在该接合处附近突显。

Description

多相机系统、控制多相机系统的方法和相机
技术领域
本技术涉及多相机系统、控制多相机系统的方法和相机。具体而言，本技术涉及通过使用包括图像传感器的相机而构成的多相机系统，该图像传感器通过光栅扫描方式等来输出信号。
背景技术
过去，使用CMOS图像传感器(CMOS成像器)的相机(摄像机)是已知的。已知通过光栅扫描方式输出信号的CMOS图像传感器通过光栅扫描按顺序执行曝光，并且因此发生焦平面失真。当将该类型的相机布置在水平方向上用于成像，并且拼接用相机拍摄的图像以生成全景图像时，如果所安装的相机之间在垂直方向上存在偏差、由于各个相机主体的变化而在所安装的成像器之间存在位置偏差等，则焦平面失真在用相机拍摄的图像的接合处(边界)附近突显。
专利文献1描述了摄像机系统，其中使多个相机与水平脉冲和垂直脉冲同步地操作，这些脉冲在定时上彼此不同，并且各个相机的拍摄图像数据被合成，因此使得能够在单个监视器上同时监视多个相机的图像用于图像再现。另外，专利文献2描述了当利用多个相机拍摄全景图像时向相邻相机的图像提供重叠并使得能够观看连续图像的技术。
引用列表
专利文献
专利文献1：日本专利申请特开第60-259069号
专利文献2：日本专利申请特开第11-261884号
发明内容
技术问题
本技术的目的是当多个拍摄图像被拼接并合成时防止焦平面失真在接合处附近突显。
问题的解决方案
本技术的概念在于一种多相机系统中，该多相机系统包括：多个相机，分别包括图像传感器，该图像传感器中的每个图像传感器通过光栅扫描方式来输出信号；以及多个相位控制单元，根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给多个相机的图像传感器的垂直同步信号的相位。
在本技术中，提供了多个相机。每个相机包括通过光栅扫描方式来输出信号的图像传感器，例如通过光栅扫描按顺序执行曝光的图像传感器，诸如CMOS图像传感器。根据各相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，由多个相位控制单元分别移动被供应给多个相机的图像传感器的垂直同步信号的相位。
例如，多个相位控制单元可以被配置为分别设置在多个相机内部。另外，例如，多个相位控制单元可以被配置为分别设置在多个相机的外部。另外，例如，多相机系统还可以包括中央控制单元，该中央控制单元向多个相位控制单元供应多个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息。在这种情况下，例如，中央控制单元可以被配置为处理多个相机的拍摄图像，并且获得多个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息。另外，在这种情况下，例如，多个相位控制单元中的任何相位控制单元都可以兼作中央控制单元。
另外，例如，多个相机可以是四个相机，并且该四个相机可以被配置为按照包括水平方向上的两个相机乘以垂直方向上的两个相机的二乘二矩阵来布置。另外，例如，多相机系统还可以包括图像处理单元，该图像处理单元对拍摄图像的数据执行拼接处理并获得全景图像数据，拍摄图像的数据是从多个相机输出的。
以这种方式，在本技术中，根据各相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给多个相机的图像传感器的垂直同步信号的相位。因此，当多个拍摄图像被拼接并合成时，在接合处附近不存在拍摄时间大不相同的线，并且防止焦平面失真在该接合处附近突显。
另外，本技术的另一个概念在于相机，该相机包括：多个图像传感器，分别通过光栅扫描方式来输出信号；以及相位控制单元，根据各图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给多个图像传感器的垂直同步信号的相位。
在本技术中，提供了多个图像传感器。每个图像传感器是通过光栅扫描方式来输出信号的图像传感器，例如通过光栅扫描按顺序执行曝光的图像传感器，诸如CMOS图像传感器。根据各图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量的信息，由多个相位控制单元分别移动被供应给多个图像传感器的垂直同步信号的相位。
以这种方式，在本技术中，根据各图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给多个图像传感器的垂直同步信号的相位。因此，当多个拍摄图像被拼接并合成时，在接合处附近不存在拍摄时间大不相同的线，并且防止焦平面失真在该接合处附近突显。
另外，本技术的另一个概念在于相机，该相机包括：图像传感器，通过光栅扫描方式来输出信号；第一输入单元，输入参考垂直同步信号；第二输入单元，输入该垂直同步信号的相移量信息；以及相位控制单元，基于相移量信息来移动参考垂直同步信号的相位，并将结果信号供应给图像传感器。
在本技术中提供了：通过光栅扫描方式来输出信号的图像传感器，例如通过光栅扫描按顺序执行曝光的图像传感器，诸如CMOS图像传感器；第一输入单元，输入参考垂直同步信号；以及第二输入单元，输入该垂直同步信号的相移量信息。相位控制单元基于相移量信息来
移动参考垂直同步信号的相位，并将结果信号供应给图像传感器。以这样的方式，在本技术中，可以基于相移量信息来移动参考垂直同步信号的相位，并将结果信号供应给图像传感器。
发明的有利效果
根据本技术，当多个拍摄图像被拼接并合成时，可以防止焦平面失真在接合处附近突显。应当注意，本说明书中描述的效果仅仅是示例性效果而不是限制性效果，并且可以提供附加的效果。
附图说明
图1是示出作为第一实施例的多相机系统的配置示例的框图。
图2是用于描述构成多相机系统的相机的布置的图。
图3是示出相机的配置示例的框图。
图4是示出多相机系统中的从相机的安装到成像的开始的流程的图。
图5是用于描述可以通过根据拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给各相机的图像传感器的垂直同步信号的相位来防止焦平面失真在合成图像的接合处附近突显的图。
图6是用于描述可以通过根据拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给各个相机的图像传感器的垂直同步信号的相位来防止焦平面失真在合成图像的接合处附近突显的图。
图7是示出作为第二实施例的多相机系统的配置示例的框图。
图8是用于描述构成多相机系统的相机的布置的图。
图9是用于描述可以通过根据拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给各个相机的图像传感器的垂直同步信号的相位来防止焦平面失真在合成图像的接合处附近突显的图。
图10是用于描述可以通过根据拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给各个相机的图像传感器的垂直同步信号的相位来防止焦平面失真在合成图像的接合处附近突显的图。
图11是示出多相机系统的另一配置示例的框图。
图12是示出多相机系统的另一配置示例的框图。
图13是示出多相机系统的另一配置示例的框图。
图14是示出多眼相机的配置示例的框图。
图15是多眼相机的正视图和侧视图。
具体实施方式
在下文中，将描述用于执行本发明的模式(在下文中被称为“实施例”)。应当注意的是，将按照以下顺序给出描述。
1.第一实施例
2.第二实施例
3.修改示例
<1.第一实施例>
[多相机系统的配置示例]
图1示出了作为第一实施例的多相机系统10A的配置示例。该多相机系统10A包括多个(这里是三个)相机(摄像机)，即，相机(相机1)101-1、相机(相机2)101-2和相机(相机3)101-3。另外，多相机系统10A包括中央控制装置102和显示装置103。
相机101-1、101-2和101-3在水平方向上并排布置。图2示出了相机101-1、101-2和101-3的布置状态。图2(a)是从上方观察的相机布局，并且图2(b)是从正面观察的相机布局。如图2(a)所示，在相机中执行成像以使得在相邻相机的拍摄图像中生成重叠。
相机101-1、101-2和101-3中的每一个都包括通过光栅扫描方式来输出信号的图像传感器(成像器)，例如，CMOS图像传感器。另外，相机101-1、101-2和101-3分别包括相位控制单元104-1、104-2和104-3。
相位控制单元104-1、104-2和104-3中的每一个都根据对应相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给图像传感器的垂直同步信号的相位。例如，相机101-1、101-2和101-3的拍摄图像的任何位置被设置为参考位置。在这种情况下，相位控制单元104-1、104-2和104-3中的每一个对诸如同步锁相信号之类的参考垂直同步信号执行相移处理，然后将结果信号供应给图像传感器。这里，每个相机的拍摄图像的位置被设置为例如初始线(第一线)的位置，并且偏差量的信息由线的数量给出。
中央控制装置102向相位控制单元104-1、104-2和104-3中的每一个提供对应相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息。例如，中央控制装置102处理通过利用每个相机对诸如用于校准的方格图案之类的相同对象进行成像而获得的图像(拍摄图像)，并且计算每个相机的拍摄图像距离垂直方向上的参考位置的偏差量。
应该注意的是，基于通过用户查看已经经历拼接处理的全景图像来调节偏差量的操作，中央控制装置102可能获得利用每个相机拍摄的图像距离垂直方向上的参考位置的偏差量的信息。在这种情况下，用户调节偏差量以使得焦平面失真在接合处附近不突显。
另外，中央控制装置102对从相机101-1、101-2和101-3输出的拍摄图像数据执行拼接处理，并获得全景图像数据。显示装置103基于在中央控制装置102中获得的全景图像数据来显示全景图像。显示装置103例如是头戴式显示器或个人计算机。
图3示出了相机101(相机101-1、101-2或101-3)的配置示例。相机101包括输入端子201、输入端子202、系统时钟生成单元203、相移单元204、控制I/F(接口)单元205、图像传感器206、相机信号处理单元207、输出接口单元208，以及拍摄图像数据输出端子209。图像传感器206是通过光栅扫描方式来输出信号的图像传感器，例如，CMOS图像传感器。
输入端子201是用于输入诸如同步锁相信号之类的参考垂直同步信号的端子。系统时钟生成单元207参考参考垂直同步信号并生成与参考垂直同步信号同步的系统时钟。该系统时钟被供应给相机102内的每个块。
输入端子202是用于输入拍摄图像距离垂直方向上的参考位置的偏差量信息(偏移量信息)的端子。如上所述，例如，偏差量信息由线的数量给出。控制I/F单元205将基于线的数量的偏差量信息转换为由例如预定频率的时钟数(例如，100MHz)表示的相移量，并且将结果信息供应给相移单元204。
相移单元204将参考垂直同步信号的相位移动从控制I/F单元205供应的相移量。相移单元204然后将相位被如上所述移动的垂直同步信号作为用于开始帧曝光的垂直同步信号供应给图像传感器206。这里，相移单元204和控制I/F单元205构成相位控制单元104(相位控制单元104-1、104-2或104-3)。
相机信号处理单元207对图像传感器206的输出信号执行传统上已知的相机信号处理并获得拍摄图像数据。拍摄图像数据经由输出I/F单元208而被输出到输出端子209。例如，输出I/F单元208是HDMI接口单元、USB接口单元等。
图4示出了图1所示的多相机系统10A中的从相机101-1、101-2和101-3的安装到成像开始的流程。在步骤ST1中，用户安装相机101-1、101-2和101-3。
接下来，在步骤ST2中，相机101-1、101-2和101-3中的每一个对诸如用于校准的方格图案之类的相同对象进行成像。每个相机的拍摄图像被供应给中央控制装置102。中央控制装置102处理每个相机的拍摄图像，并且计算每个相机的拍摄图像距离垂直方向上的参考位置的偏差量。由中央控制装置102计算出的每个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息被供应给对应的相机。
接下来，在步骤ST3中，为每个相机设置与偏差量的信息相对应的垂直同步信号的相移量。在这种情况下，在每个相机中，偏差量的信息被控制I/F单元205转换为相移量，并且相移量被供应给相移单元204。通过将参考垂直同步信号的相位移动该相移量来获得被供应给图像传感器206的垂直同步信号。
接下来，在步骤ST4中，中央控制装置102例如根据开始成像的用户操作经由在图中未示出的控制I/F向每个相机发送开始成像等的指令。相机接收该指令并开始成像。中央控制装置102对从相机101-1、101-2和101-3输出的拍摄图像数据执行拼接处理、获得全景图像数据、并将全景图像数据供应给显示装置103。结果，显示装置103可以基于全景图像数据来显示图像。
如上所述，在图1所示的多相机系统10A中，根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给相机101-1、101-2和101-3的图像传感器206的垂直同步信号的相位。
因此，即使在所安装的相机之间在垂直方向上存在偏差、由于个体相机主体中的变化而在所安装的图像传感器之间存在位置偏差等，当拍摄图像被拼接然后被合成时，在接合处附近不存在拍摄时间大不相同的线，防止焦平面失真在该接合处附近突显，并获得良好的全景图像。另外，即使当相机的安装精度不高时，也可以良好地执行拼接，并且因此可以降低装配或安装的成本。
图5(a)的左侧示出了相机101-1、101-2和101-3的拍摄图像的示例。“运动图像1”是相机101-1的拍摄图像，“运动图像2”是相机101-2的拍摄图像，并且“运动图像3”是相机101-3的拍摄图像。鉴于所安装的相机之间的垂直方向上的偏差、由于个体相机主体中的变化而产生的所安装的图像传感器之间的位置偏差等，所以各个相机的拍摄图像在垂直方向上具有偏差。
“V1”表示相机101-1的拍摄图像在垂直方向上的位置，“V2”表示相机101-2的拍摄图像在垂直方向上的位置，并且“V3”表示相机101-3的拍摄图像在垂直方向上的位置。另外，“L12”表示在以相机101-1的拍摄图像的位置作为参考位置的情况下的相机101-2的拍摄图像的位置的偏差量。“-L13”表示在以相机101-1的拍摄图像的位置作为参考位置的情况下的相机101-3的拍摄图像的位置的偏差量。
根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给相机101-1、101-2和101-3的图像传感器206的垂直同步信号的相位。因此，各个拍摄图像中的在相同时间拍摄的线变成如交替的长短虚线所指示的垂直方向上相同位置处或非常接近的位置处的线。因此，当拍摄图像被拼接并被合成时，防止焦平面失真在接合处附近突显。图5(a)的右侧示出在拍摄图像被拼接并被合成之后的全景图像的示例。
图6(a)示出了在相机101-1、101-2和101-3的拍摄图像在垂直方向上具有偏差的情况下，当根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给各个相机的图像传感器206的垂直同步信号Vsync的相位时的相机的帧曝光时序图。在这种情况下，在拍摄图像中，如交替的长短虚线所指示，垂直方向上相同位置处或非常接近的位置处的线是在相同时间被拍摄的。这意味着，如上所述，各个拍摄图像中的在相同时间被拍摄的线变成垂直方向上相同位置处或非常接近的位置处的线。
应当注意的是，图5(b)的左侧还以类似于图5(a)的左侧的方式示出了相机101-1、101-2和101-3的拍摄图像的示例。在被供应给相机101-1、101-2和101-3的图像传感器206的垂直同步信号的相位彼此匹配的情况下，如交替的长短虚线所指示，各个拍摄图像中的在相同时间被拍摄的线变成分开位置处的线。因此，当拍摄图像被拼接并被合成时，焦平面失真在接合处附近突显。图5(b)的右侧示出了在拍摄图像被拼接并被合成之后的全景图像的示例。
图6(b)示出了在相机101-1、101-2和101-3的拍摄图像在垂直方向上具有偏差的情况下当被供应给各个相机的图像传感器206的垂直同步信号Vsync的相位彼此匹配时相机的帧曝光时序图。在这种情况下，在拍摄图像中，如交替的长短虚线所指示，垂直方向上相同位置处或非常接近的位置处的线是在分开的时间被拍摄的。这意味着，如上所述，各个拍摄图像中的在相同时间被拍摄的线变成分开位置处的线。
<2.第二实施例>
[多相机系统的配置示例]
图7示出了作为第二实施例的多相机系统10B的配置示例。该多相机系统10B包括四个相机(摄像机)，即，相机(相机1)301-1、相机(相机2)301-2、相机(相机3)301-3以及相机(相机4)301-4。另外，多相机系统10B包括中央控制装置302和显示装置103。这里，相机是用于获得4K图像数据的4K相机。
相机301-1、301-2、301-3和301-4按照包括水平方向上的两个相机乘以垂直方向上的两个相机的二乘二矩阵来布置。图8示出了相机301-1、301-2、301-3和301-4的布置状态。图8(a)是从上方观察的相机布局，图8(b)是从正面观察的相机布局，并且图8(a)是从侧面观察的相机布局。如图8(a)和图8(c)所示，在相机中执行成像以使得在相邻相机的拍摄图像中生成重叠。
相机301-1、301-2、301-3和301-4中的每一个都包括通过光栅扫描方式来输出信号的图像传感器，例如，CMOS图像传感器。另外，相机301-1、301-2、301-3和301-4分别包括相位控制单元304-1、304-2、304-3和304-4。
相位控制单元304-1、304-2、304-3和304-4中的每一个根据对应相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给图像传感器的垂直同步信号的相位。例如，相机301-1、301-2、301-3和301-4的拍摄图像的任何位置被设置为参考位置。
在这种情况下，相位控制单元304-1、304-2、304-3和304-4中的每一个对诸如同步锁相信号之类的参考垂直同步信号执行相移处理，然后将结果信号供应给图像传感器。这里，每个相机的拍摄图像的位置被设置为例如初始线(第一线)的位置，并且偏差量的信息由线的数量给出。尽管将省略详细描述，但是相机301-1、301-2、301-3和301-4具有与上述多相机系统10A中的相机(参见图3)的配置类似的配置。
中央控制装置302向相位控制单元304-1、304-2、304-3和304-4中的每一个提供利用对应相机拍摄的图像距离垂直方向上的参考位置的偏差量的信息。例如，中央控制装置302处理通过利用每个相机对诸如用于校准的方格图案之类的相同对象进行成像而获得的图像(拍摄图像)，并且计算每个相机的图像距离垂直方向上的参考位置的偏差量的信息。
应当注意的是，基于通过用户查看已经经历拼接处理的8K图像来调节偏差量的操作，中央控制装置302可能获得利用每个相机拍摄的图像距离垂直方向上的参考位置的偏差量的信息。在这种情况下，用户调节偏差量以使得焦平面失真在接合处附近不突显。
另外，中央控制装置302对从相机304-1、304-2、304-3和304-4输出的4K拍摄图像数据执行拼接处理，并获得8K图像数据。显示装置303基于在中央控制装置302中获得的8K图像数据来显示8K图像或该图像中的选中部分。显示装置303例如是头戴式显示器或个人计算机。
在图7所示的多相机系统10B中，对从相机304-1、304-2、304-3和304-4的安装到成像的开始的流程的详细描述将被省略，但是该流程类似于图1所示的多相机系统10A中的流程(参见图4)。
如上所述，在图7所示的多相机系统10B中，根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给相机304-1、304-2、304-3和304-4的图像传感器206的垂直同步信号的相位。
因此，即使在所安装的相机之间在垂直方向上存在偏差、由于个体相机主体中的变化而在所安装的图像传感器之间存在位置偏差等，当拍摄图像被拼接然后被合成时，在接合处附近也不存在拍摄时间大不相同的线，防止焦平面失真在这些接合处附近突显，并且获得良好的8K图像。另外，即使当相机的安装精度不高时也可以良好地执行拼接，因此可以降低装配或安装的成本。
图9的左侧示出了相机304-1、304-2、304-3和304-4的拍摄图像的示例。“运动图像1”是相机301-1的拍摄图像，“运动图像2”是相机301-2的拍摄图像，“运动图像3”是相机301-3的拍摄图像，并且“运动图像4”是相机301-4的拍摄图像。
鉴于所安装的相机之间的垂直方向上的偏差、由于个体相机主体中的变化而产生的所安装的图像传感器之间的位置偏差等，各个相机的拍摄图像在垂直方向上具有偏差。“V1”表示相机301-1的拍摄图像在垂直方向上的位置，“V2”表示相机301-2的拍摄图像在垂直方向上的位置，“V3”表示相机301-3的拍摄图像在垂直方向上的位置，并且“V4”表示相机301-4的拍摄图像在垂直方向上的位置。
另外，“L12”表示在相机301-1的拍摄图像的位置作为参考位置的情况下的相机301-2的拍摄图像的位置的偏差量。“L13”表示在相机301-1的拍摄图像的位置作为参考位置的情况下的相机301-3的拍摄图像的位置的偏差量。“L14”表示在相机301-1的拍摄图像的位置作为参考位置的情况下的相机301-4的拍摄图像的位置的偏差量。
根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给相机304-1、304-2、304-3和304-4的图像传感器206的垂直同步信号的相位。因此，如交替的长短虚线所指示，各个拍摄图像中的在相同时间拍摄的线变成垂直方向上相同位置处或非常接近的位置处的线。因此，当拍摄图像被拼接并被合成时，防止焦平面失真在接合处附近突显。图9的右侧示出了在拍摄图像被拼接并被合成之后的图像的示例。
图10示出了在相机304-1、304-2、304-3和304-4的拍摄图像在垂直方向上具有偏差的情况下，当根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给各个相机的图像传感器206的垂直同步信号Vsync的相位时的相机的帧曝光时序图。在这种情况下，在拍摄图像中，如交替的长短虚线所指示，垂直方向上相同位置处或非常接近的位置处的线是在相同时间被拍摄的。这意味着，如上所述，各个拍摄图像中的在相同时间拍摄的线变成垂直方向上相同位置处或非常接近的位置处的线。
如上所述，已经描述了图7所示的多相机系统10B的示例，其中利用四个4K相机执行成像并且获得8K图像(图像数据)。尽管将省略详细描述，但是也可以以类似的方式来配置利用四个HD相机执行成像并且获得4K图像的示例。另外，类似地，本技术也可以应用于不仅四个相机而且更多的相机按照矩阵来布置并且获得高分辨率图像的示例。
<3.修改示例>
应当注意的是，以上实施例已经描述了在每个相机内提供相位控制单元的示例，相位控制单元根据相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给图像传感器的垂直同步信号的相位。然而，也可以想到的是，相机不包括相位控制单元，并且相位控制单元被提供到相机的外部。
图11示出了这种情况下的多相机系统10C的配置示例。在图11中，由相同的附图标记来表示与图1的部分相对应的部分，并且将适当地省略其详细描述。不像图1所示的多相机系统10A，相机101-1、101-2和101-3分别不包括相位控制单元104-1、104-2和104-3。
具有与相位控制单元104-1、104-2和104-3类似的功能的用于相位控制的设备105-1、105-2和105-3被分别提供在相机101-1、101-2和101-3的外部。用于相位控制的设备105(用于相位控制的设备105-1、105-2或105-3)具有与例如包括在图3所示的相机101的配置中的系统时钟生成单元203、相移单元204和控制I/F单元205相对应的功能单元。
图11所示的多相机系统10C也以与图1所示的多相机系统10A类似的方式进行操作，并且根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给相机101-1、101-2和101-3的图像传感器206的垂直同步信号的相位。应当注意的是，图11所示的多相机系统10C对应于图1所示的多相机系统10A，但是多相机系统10C当然也可以以类似的方式被配置为对应于图7所示的多相机系统10B。
另外，以上实施例已经描述了包括中央控制装置的示例，中央控制装置向多个相机的相位控制单元供应各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息。然而，也可以想到的是，不提供中央控制装置，并且多个相位控制单元(相机)中的任何相位控制单元都兼作中央控制装置。
图12示出了这种情况下的多相机系统10D的配置示例。在图12中，由相同的附图标记来表示与图1的部分相对应的部分，并且将适当地省略其详细描述。相机101-1的相位控制单元104-1兼作图1所示的多相机系统10A中的中央控制装置102，即，具有该中央控制装置102的功能。
在图12所示的多相机系统10D中，从相机101-1的相位控制单元104-1向相机101-2和101-3的相位控制单元104-2和104-3中的每一个给出每个拍摄图像距离垂直方向上的参考位置的偏差量的信息。结果，图12所示的多相机系统10D也以与图1所示的多相机系统10A类似的方式进行操作，并且根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给相机101-1、101-2和101-3的图像传感器206的垂直同步信号的相位。
应当注意的是，图12所示的多相机系统10D对应于图1所示的多相机系统10A，但是多相机系统10D当然也可以以类似的方式被配置为对应于图7所示的多相机系统10B。另外，多相机系统10D也可以以类似的方式被配置为对应于图11所示的多相机系统10C。尽管将省略详细描述，但是图13示出了在这种情况下的多相机系统10E的配置示例。
另外，上述实施例已经示出了相机之间的连接或与中央控制装置的连接是通过有线连接来执行的，但是可以执行无线连接。另外，对于相机与外部提供的用于相位控制的设备之间的连接也是如此。
另外，上述实施例已经示出了包括多个相机的多相机系统的示例，但是本技术也可以应用于包括多个图像传感器的多眼相机。
图14示出了多眼相机10F的配置示例。该多眼相机10F包括在壳体401内的多个(这里是六个)图像传感器(成像器)402-1至402-6。图像传感器402-1至402-6按照包括水平方向上的三个相机乘以垂直方向上的两个相机的矩阵来布置。图像传感器402-1至402-6中的每一个都是通过光栅扫描方式来输出信号的图像传感器，例如，CMOS图像传感器。
透镜403-1至403-6分别布置成对应于壳体401中的图像传感器402-1至402-6。图15(a)是多眼相机10F的正视图，并且图15(b)是多眼相机10F的侧视图。以与图7所示的多相机系统10B类似的方式，在每个图像传感器中执行成像以使得在相邻图像传感器的拍摄图像中生成重叠。
回来参考图14，多眼相机10F包括壳体401内的相机信号处理单元404-1至404-6、集成处理单元405和输出I/F单元406，相机信号处理单元404-1至404-6分别对应于图像传感器402-1至402-6。相机信号处理单元404-1至404-6分别对图像传感器402-1至402-6的输出信号执行常规已知的相机信号处理，并且获得拍摄图像数据。
集成处理单元405包括与被包括在多相机系统10A和10B(参见图1和图7)的每个相机中的相位控制单元类似的方式工作的第一功能单元，以与图像传感器402-1至402-6中的每一个相对应。另外，集成处理单元405包括以与多相机系统10A和10B(参见图1和图7)中的中央处理装置类似的方式工作的第二功能单元。
集成处理单元405处理通过利用图像传感器402-1至402-6对诸如用于校准的方格图案之类的相同对象进行成像而获得的图像(拍摄的图像)，并且计算每个图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量。另外，集成处理单元405基于偏差量的信息向各个图像传感器供应相位根据图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量而被移动的垂直同步信号Vs1至Vs6。另外，集成处理单元405对从图像传感器402-1至402-6输出的拍摄图像数据执行拼接处理，并且获得合成图像数据。
输出I/F单元406是用于外部输出在集成处理单元405中获得的合成图像数据的接口单元。例如，输出I/F单元405是HDMI接口单元、USB接口单元等。
在图14所示的多眼相机10F中，根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，分别移动被供应给图像传感器402-1至402-6的垂直同步信号Vs1至Vs6的相位。因此，即使壳体401内的图像传感器402-1至402-6的布置位置存在变化，当拍摄的图像被拼接然后被合成时，在接合处附近不存在拍摄时间大不相同的线，防止焦平面失真在这些接合处附近突显，并且获得良好的合成图像。
已经描述了包括图14所示的多眼相机10F中的六个图像传感器402-1至402-6的示例。尽管将省略详细描述，但是本技术可以类似地应用于不仅包括六个图像传感器而且包括其他数量的图像传感器的多眼相机。另外，在图14所示的多眼相机10F中，已经描述了如下示例：其中，图像传感器402-1至402-6被固定地布置在壳体401内并且所有图像传感器402-1至402-6都被使用。然而，也可以想到可以任意改变图像传感器402-1至402-6的布置的配置，或者可以选择性地使用图像传感器402-1至402-6的一部分的配置。在这样的配置中，当应用本技术时同样可以获得良好的合成图像(全景图像)。
另外，本技术可以具有以下配置。
(1)一种多相机系统，包括：
多个相机，分别包括图像传感器，所述图像传感器中的每个图像传感器通过光栅扫描方式来输出信号；以及
多个相位控制单元，根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给所述多个相机的图像传感器的垂直同步信号的相位。
(2)根据(1)所述的多相机系统，其中
所述多个相位控制单元分别被设置在所述多个相机内部。
(3)根据(1)所述的多相机系统，其中
所述多个相位控制单元分别被设置在所述多个相机的外部。
(4)根据(1)至(3)中任一项所述的多相机系统，还包括
中央控制单元，向所述多个相位控制单元供应所述多个相机的拍摄图像距离所述垂直方向上的参考位置的偏差量的信息。
(5)根据(4)所述的多相机系统，其中
所述中央控制单元处理所述多个相机的拍摄图像，并且获得所述多个相机的拍摄图像距离所述垂直方向上的参考位置的偏差量的信息。
(6)根据(4)或(5)所述的多相机系统，其中
所述多个相机中的任何相机都兼作所述中央控制单元。
(7)根据(1)至(6)中任一项所述的多相机系统，其中
所述多个相机是四个相机，并且
按照包括水平方向上的两个相机乘以垂直方向上的两个相机的二乘二矩阵来布置所述四个相机。
(8)根据(1)至(7)中任一项所述的多相机系统，还包括
图像处理单元，对拍摄图像的数据执行拼接处理并获得全景图像数据，所述拍摄图像的数据是从所述多个相机输出的。
(9)一种控制多相机系统的方法，所述多相机系统包括分别包括图像传感器的多个相机，所述图像传感器中的每个图像传感器通过光栅扫描方式来输出信号，所述方法包括：
根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，移动被供应给所述多个相机的图像传感器的垂直同步信号的相位。
(10)一种相机，包括：
多个图像传感器，分别通过光栅扫描方式来输出信号；以及
相位控制单元，根据各图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动被供应给所述多个图像传感器的垂直同步信号的相位。
(11)一种相机，包括：
图像传感器，通过光栅扫描方式来输出信号；
第一输入单元，输入参考垂直同步信号；
第二输入单元，输入所述垂直同步信号的相移量信息；以及
相位控制单元，基于所述相移量信息来移动所述参考垂直同步信号的相位，并将结果信号供应给所述图像传感器。
(12)根据(11)所述的相机，其中
所述图像传感器是CMOS图像传感器。
标号列表
10A、10B、10C、10D、10E 多相机系统
101-1、101-2、101-3、301-1、301-2、301-3、301-4 相机
102、302 中央控制装置
103、303 显示装置
104-1、104-2、104-3、304-1、304-2、304-3、304-4 相位控制单元
105-1、105-2、105-3 用于相位控制的设备
201 输入端子(用于输入诸如同步锁相信号之类的参考垂直同步信号的端子)
202 输入端子(用于输入偏差量信息(偏移量信息)的端子)
203 系统时钟生成单元
204 移相单元
205 控制I/F单元
206 图像传感器
207 相机信号处理单元
208 输出I/F单元
209 拍摄图像数据输出端子
401 壳体
402-1至402-6 图像传感器
403-1至403-6 透镜
404-1至404-6 相机信号处理单元
405 集成处理单元
406 输出I/F单元

Claims (10)

1.一种多相机系统，包括：
多个相机，分别包括图像传感器，所述图像传感器中的每个图像传感器通过光栅扫描方式来输出信号；
多个相位控制单元，根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息来分别移动被供应给所述多个相机的图像传感器的垂直同步信号的相位；以及
中央控制单元，向所述多个相位控制单元供应所述多个相机的拍摄图像距离所述垂直方向上的参考位置的偏差量的信息，
其中所述多个相机中的任何相机兼作所述中央控制单元。
2.根据权利要求1所述的多相机系统，其中
所述多个相位控制单元分别被设置在所述多个相机内部。
3.根据权利要求1所述的多相机系统，其中
所述多个相位控制单元分别被设置在所述多个相机的外部。
4.根据权利要求1所述的多相机系统，其中
所述中央控制单元处理所述多个相机的拍摄图像，并且获得所述多个相机的拍摄图像距离所述垂直方向上的参考位置的偏差量的信息。
5.根据权利要求1所述的多相机系统，其中
所述多个相机是四个相机，并且
按照包括水平方向上的两个相机乘以垂直方向上的两个相机的二乘二矩阵来布置所述四个相机。
6.根据权利要求1所述的多相机系统，还包括
图像处理单元，对拍摄图像的数据执行拼接处理并获得全景图像数据，所述拍摄图像的数据是从所述多个相机输出的。
7.一种控制多相机系统的方法，所述多相机系统包括分别包括图像传感器的多个相机，所述图像传感器中的每个图像传感器通过光栅扫描方式来输出信号，所述方法包括：
根据各个相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息，移动被供应给所述多个相机的图像传感器的垂直同步信号的相位，
由中央控制单元供应所述多个相机的拍摄图像距离所述垂直方向上的参考位置的偏差量的信息，
其中所述多个相机中的任何相机兼作所述中央控制单元。
8.一种相机，包括：
多个图像传感器，
其中多个图像传感器中的每个图像传感器被配置为通过光栅扫描方式来输出信号；
相位控制单元，被配置为移动被供应给所述多个图像传感器中的相应图像传感器的垂直同步信号的相位，其中
基于所述多个图像传感器的拍摄图像距离垂直方向上的参考位置的偏差量的信息来移动所述相位，以及
从中央控制单元供应拍摄图像的偏差量的信息。
9.一种相机，包括：
图像传感器，被配置为通过光栅扫描方式来输出信号；
第一输入单元，被配置为输入参考垂直同步信号；
第二输入单元，被配置为输入所述垂直同步信号的相移量信息，其中相移量信息是所述相机的拍摄图像距离垂直方向上的参考位置的偏差量的信息；以及
相位控制单元，被配置为：
基于所述相移量信息来移动所述参考垂直同步信号的相位，以及
将相移的参考信号同步信号供应给所述图像传感器；
其中从中央控制单元供应拍摄图像的偏差量的信息。
10.根据权利要求9所述的相机，其中
所述图像传感器是CMOS图像传感器。
CN201680065632.3A 2015-11-17 2016-11-16 多相机系统、控制多相机系统的方法和相机 Active CN108353122B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015224498 2015-11-17
JP2015-224498 2015-11-17
PCT/JP2016/083970 WO2017086348A1 (ja) 2015-11-17 2016-11-16 マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ

Publications (2)

Publication Number Publication Date
CN108353122A CN108353122A (zh) 2018-07-31
CN108353122B true CN108353122B (zh) 2021-03-05

Family

ID=58718904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065632.3A Active CN108353122B (zh) 2015-11-17 2016-11-16 多相机系统、控制多相机系统的方法和相机

Country Status (4)

Country Link
US (1) US10645258B2 (zh)
JP (1) JP6834976B2 (zh)
CN (1) CN108353122B (zh)
WO (1) WO2017086348A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CA3018381A1 (en) * 2016-03-29 2017-10-05 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10834315B2 (en) * 2016-11-08 2020-11-10 Sony Corporation Image transfer apparatus and moving image generating system for transferring moving image data
US11470249B1 (en) * 2017-01-02 2022-10-11 Gn Audio A/S Panoramic camera device
JP6955972B2 (ja) 2017-11-13 2021-10-27 ＮＥｘＴ−ｅ Ｓｏｌｕｔｉｏｎｓ株式会社 制御装置、制御システム、蓄電装置及びプログラム
US11774842B2 (en) 2019-08-16 2023-10-03 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
CN118102109A (zh) * 2020-08-07 2024-05-28 北京图森未来科技有限公司 一种图像采集设备的控制方法、装置、设备及存储介质
CN114422813A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种vr直播视频拼接及展示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243425A (en) * 1991-11-18 1993-09-07 Sensormatic Electronics Corporation Synchronization of vertical phase of the video signals in a video system
CN101247513A (zh) * 2007-12-25 2008-08-20 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
CN102859989A (zh) * 2010-04-05 2013-01-02 高通股份有限公司 组合来自多个图像传感器的数据

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60259069A (ja) 1984-06-05 1985-12-21 Mitsubishi Electric Corp ビデオ・カメラ・システム
US4860101A (en) * 1987-11-06 1989-08-22 Vicon Industries, Inc. Central station synchronization system
JPH11261884A (ja) 1998-03-10 1999-09-24 Hitachi Ltd パノラマ映像放送方法および放送受信装置
TW448686B (en) * 1998-09-14 2001-08-01 Sony Corp External synchronization system using composite synchronization signal, and camera system using the same
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法
JP2013048333A (ja) 2011-08-29 2013-03-07 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP5855538B2 (ja) 2012-06-28 2016-02-09 カシオ計算機株式会社 撮像装置、撮像システム、撮像方法及びプログラム
US20170214903A1 (en) * 2014-03-13 2017-07-27 Sony Corporation Imaging apparatus, imaging system, and control method for imaging apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243425A (en) * 1991-11-18 1993-09-07 Sensormatic Electronics Corporation Synchronization of vertical phase of the video signals in a video system
CN101247513A (zh) * 2007-12-25 2008-08-20 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
CN102859989A (zh) * 2010-04-05 2013-01-02 高通股份有限公司 组合来自多个图像传感器的数据

Also Published As

Publication number Publication date
US20190215420A1 (en) 2019-07-11
US10645258B2 (en) 2020-05-05
JP6834976B2 (ja) 2021-02-24
CN108353122A (zh) 2018-07-31
JPWO2017086348A1 (ja) 2018-09-06
WO2017086348A1 (ja) 2017-05-26

Similar Documents

Publication Publication Date Title
CN108353122B (zh) 多相机系统、控制多相机系统的方法和相机
KR101400515B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
KR102534698B1 (ko) 캡처된 이미지에 대한 패스-스루 디스플레이
KR101512222B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
TW201725894A (zh) 影像捕獲設備、個人電子裝置、系統及可安裝透鏡配置
JP2013214952A (ja) 撮像装置
JP2019114914A (ja) 撮像装置、その制御方法、プログラムならびに撮像システム
JP6141084B2 (ja) 撮像装置
CN109842750B (zh) 摄像装置系统
JP4199238B2 (ja) 撮影システム
TW201733340A (zh) 光學系統及影像捕獲裝置
JP2007017517A (ja) 像振れ補正装置
EP3276939A1 (en) Image capturing device, image capturing system, and vehicle
KR101809727B1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
SG11201903217XA (en) Television broadcast system for generating augmented images
TW201734569A (zh) 移動主體上的影像捕獲裝置
US20220038646A1 (en) Synchronized camera system having two different cameras
JP2017188871A (ja) 撮像装置
KR20100002642U (ko) 다수의 렌즈를 사용하는 결상 영역이 분할된 다중 이미지 획득 카메라

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant