CN110166688A - 摄像设备和摄像设备的控制方法 - Google Patents

摄像设备和摄像设备的控制方法 Download PDF

Info

Publication number
CN110166688A
CN110166688A CN201910117331.6A CN201910117331A CN110166688A CN 110166688 A CN110166688 A CN 110166688A CN 201910117331 A CN201910117331 A CN 201910117331A CN 110166688 A CN110166688 A CN 110166688A
Authority
CN
China
Prior art keywords
image pickup
photographing element
image
pickup scope
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910117331.6A
Other languages
English (en)
Other versions
CN110166688B (zh
Inventor
伊势保章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110166688A publication Critical patent/CN110166688A/zh
Application granted granted Critical
Publication of CN110166688B publication Critical patent/CN110166688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种摄像设备和摄像设备的控制方法。所述摄像设备可以在早期阶段开始合成位置处的连接处理。所述摄像设备包括：第一摄像元件，用于对第一摄像范围进行摄像；第二摄像元件，用于对一部分与所述第一摄像范围重叠的第二摄像范围进行摄像；以及合成单元，用于基于所述第一摄像元件和所述第二摄像元件所输出的像素数据组，来合成与比所述第一摄像范围或所述第二摄像范围宽的摄像范围相对应的图像，其中，所述第一摄像元件和所述第二摄像元件将与第一摄像范围和第二摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元。

Description

摄像设备和摄像设备的控制方法
技术领域
本发明涉及摄像设备和摄像设备的控制方法。
背景技术
作为可以拍摄宽视野图像的摄像设备，已知有全方位照相机由于鱼眼镜头而具有半球上的视野。另一方面，还已知有摄像设备布置多个摄像元件和各自具有窄视野的多个透镜，并且对所获得的图像进行合成，由此实现宽视野。后者与由单个摄像元件构成并且设置有鱼眼镜头等的摄像设备相比，可以生成具有更高分辨率的广角图像。例如，日本特开2006-229789公开了对多个照相机所拍摄到的图像进行合成并显示全景图像的照相机监视系统。
在摄像设备对多个拍摄图像进行合成以生成广角图像的情况下，需要对各个拍摄图像进行拍摄图像之间的连接处理(诸如位置对准和失真校正等的变形处理)，因而处理负荷变得非常大。另外，发生由于运算处理引起的延迟。
发明内容
有鉴于这种情形，本发明旨在提供可以在早期阶段开始合成位置处的连接处理的摄像设备、以及该摄像设备的控制方法。
本发明的一种摄像设备，包括：第一摄像元件，其被配置为对第一摄像范围进行摄像；第二摄像元件，其被配置为对第二摄像范围进行摄像；以及合成单元，其被配置为基于所述第一摄像元件和所述第二摄像元件所输出的像素数据组，来合成与比所述第一摄像范围或所述第二摄像范围宽的第三摄像范围相对应的图像，其中，所述第一摄像元件和所述第二摄像元件将与第一摄像范围和第二摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元。
本发明的一种摄像设备的控制方法，所述摄像设备具有：第一摄像元件，其被配置为对第一摄像范围进行摄像；以及第二摄像元件，其被配置为对第二摄像范围进行摄像，所述控制方法包括：所述第一摄像元件和所述第二摄像元件将与所述第一摄像范围和所述第二摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出；以及基于所述第一摄像元件和所述第二摄像元件所输出的像素数据组，来合成与比所述第一摄像范围或所述第二摄像范围宽的第三摄像范围相对应的图像。
根据本发明，摄像设备可以在早期阶段开始合成位置处的连接处理。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1A和1B示出用于说明摄像设备的概要的示意图。
图2示出用于说明摄像设备的结构的框图。
图3示出用于说明拍摄图像的示意图。
图4示出例示图像的合成处理的流程图。
图5A、5B和5C示出用于说明摄像元件的操作的示意图。
图6A和6B示出例示摄像元件的布置示例的示意图。
图7示出例示摄像元件的读出操作的示意图。
图8A、8B、8C和8D示出例示合成处理的示意图。
图9A、9B、9C和9D示出例示摄像单元的布置示例的示意图。
图10A、10B、10C和10D示出例示摄像单元的布置示例的示意图。
具体实施方式
现在将参考附图来详细说明本发明的典型实施例。
第一实施例
图1A示出根据本发明的第一实施例的摄像设备100的外观的图；并且图1B示出摄像设备100中的摄像单元101～108的布置示例的平面图。摄像设备100具有例如八个摄像单元101～108。摄像单元的数量不限于八个。摄像单元101～108各自是具有透镜光学系统和摄像元件的摄像单元。摄像单元101～108从摄像设备100的中心呈放射状布置，并且被布置成使得能够进行360°拍摄。拍摄视角121～128分别是摄像单元101～108的拍摄视角。例如，摄像单元101～108被布置成使得：如摄像单元101的拍摄视角121和与摄像单元101相邻的摄像单元102的拍摄视角122那样，各个拍摄视角的一部分与另一拍摄视角的一部分重叠。摄像设备100对各个摄像单元101～108所拍摄到的图像进行合成，以生成具有最大为360°的水平视野的广角运动图像。以下将说明用于通过对由多个摄像单元101～108摄像得到的运动图像进行合成来生成广角运动图像的摄像设备100。
图2示出例示摄像设备100的结构示例的图。摄像设备100包括多个摄像单元101～108、控制单元150、存储器160和通信控制单元170。控制单元150包括图像处理电路151、压缩和扩展单元152以及合成处理单元153。合成处理单元153包括图像选择单元154、合成位置调整单元155和图像合成单元156。
控制单元150例如是CPU或MPU，并且控制整个摄像设备100。存储器160具有非易失性存储器和RAM。非易失性存储器存储控制单元150执行的程序、以及各种参数。RAM用作控制单元150的工作区域，并且还用作在图像处理中要使用的存储区域。
摄像单元101～108分别具有摄像元件131～138和透镜光学系统111～118；并且拍摄预定摄像范围内的运动图像，并输出像素数据组。摄像元件131～138各自由CMOS传感器等构成，将已在摄像面上成像的光学图像转换成电信号，并且将所获得的电信号作为运动图像输出至控制单元150。
控制单元150连接至摄像单元101～108，并且对由摄像单元101～108摄像得到的运动图像进行各种图像处理。图像处理电路151对摄像单元101～108的运动图像进行诸如像素插值处理和颜色转换处理等的图像处理，并且将处理后的运动图像存储在存储器160中。合成处理单元153顺次地对已存储在存储器160内的、各个摄像单元101～108的运动图像的各帧的图像进行合成，由此生成广角图像，并且将所生成的广角图像存储在存储器160中。后面将说明合成处理单元153的详情。压缩和扩展单元152对存储器160中所存储的广角图像进行诸如H.264等的压缩运动图像处理，并且将压缩后的运动图像记录在存储器160内的非易失性存储器或者存储卡等的记录介质中。
通信控制单元170是网络处理电路，将控制单元150所生成的广角图像转换成符合通信协议的通信信号，并且将所获得的通信信号经由网络190发送至PC 180。PC 180是诸如个人计算机等的通用计算机，并且经由网络190连接至摄像设备100。PC 180接收摄像设备100中的广角图像，并且发送用于控制摄像设备100的控制信息。
以下将参考图3和图4来说明用于控制摄像设备100的方法。图3示出例示被摄体与图1B的摄像设备100中的各个摄像单元101～104的拍摄视角121～124之间的关系的图。拍摄视角121～124是与图1B的摄像单元101～104相对应的拍摄视角。摄像单元101～108被布置成使得拍摄视角121～128的一部分彼此重叠。
在组合多个拍摄视角121～124的运动图像的情况下，由于根据摄像单元101～104的布置使得在摄像单元101～104中的相邻摄像单元之间存在视差，因此存在拍摄视角121～124彼此重叠的图像区域(图像重叠区域)301～303。在图像重叠区域301～303中，合成位置调整单元155在运动图像的各帧中调整要合成的图像的合成位置。调整合成位置，使得图像重叠区域301～303中的相同被摄体图像彼此重叠。图像合成单元156对各个摄像单元101～108的运动图像进行合成以获得合成图像300。合成图像300是与比各个摄像单元101～108的摄像范围宽的摄像范围相对应的图像。这里，对四个拍摄视角121～124的运动图像进行合成，但合成张数不限于四个。
图4示出例示图像的合成处理的流程图。在步骤S401中，控制单元150将拍摄指示输出至摄像单元101～108。各个摄像单元101～108基于来自控制单元150的拍摄指示来拍摄预定摄像范围的运动图像，并且输出像素数据组。控制单元150将由摄像单元101～108摄像得到的运动图像存储在存储器160的RAM中。
接着，在步骤S402中，图像选择单元154从存储器160内存储的运动图像中选择与图像重叠区域301～303等相对应的部分图像，并且将所选择的部分图像输出至合成位置调整单元155。图像选择单元154判断控制单元150是否从摄像单元101～108输入了预先指定了大小的部分图像。例如，在图像重叠区域301～303等是与摄像单元101～108的100条线相对应的部分像素的情况下，控制单元150从摄像单元101～108接收与100条线相对应的部分像素，并且将这些部分像素存储在存储器160中。图像选择单元154在检测到控制单元150已将部分图像保存在存储器160中时，将存储器160中所存储的与100条线相对应的部分图像输出至合成位置调整单元155。在安装摄像设备100时，控制单元150可以将图像重叠区域301～303等的大小作为参数存储在存储器160中。在安装摄像设备100时，控制单元150根据被摄体距离来设置拍摄视角121～128，并由此可以设置图像重叠区域301～303等。另外，可以将图像重叠区域301～303等设置成根据被摄体适当地改变。
接着，在步骤S403中，合成位置调整单元155调整由摄像单元101～108摄像得到的运动图像的各帧的合成位置。合成位置调整单元155在各个图像重叠区域301等内的要合成的两个图像的各个部分图像中检测同一被摄体，并且计算合成所用的位置校正参数，使得在合成之前的图像中已检测到的同一被摄体的位置一致。位置校正参数包括用于进行各图像的放大、缩小和失真校正等的变形处理的参数、以及用于从校正处理之后的图像进行图像剪切的参数等。可以通过使用现有技术来检测同一被摄体。例如，合成位置调整单元155通过背景相减等进行边缘检测，以提取被摄体的轮廓形状。可选地，合成位置调整单元155可以提取运动矢量，并且通过一起使用颜色像素信息来判断被摄体是否相同。
接着，在步骤S404中，图像处理电路151从摄像单元101～108接收运动图像，并且对这些运动图像进行诸如像素插值处理和颜色转换处理等的图像处理、以及诸如像素缺陷校正和镜头校正等的各种校正处理。图像处理电路151对运动图像进行：用于调整黑电平、焦点和曝光等的检测处理；去马赛克处理；白平衡处理；伽玛校正处理；边缘增强处理；以及噪声抑制处理等等，并且将如此得到的运动图像存储在存储器160中。
在步骤S403中，可以通过仅使用诸如图像重叠区域301～303等的部分图像来调整合成位置，因此步骤S404的处理也可以与步骤S402和S403的处理并行地处理。
接着，在步骤S405中，图像合成单元156对摄像单元101～108的运动图像进行合成处理。首先，图像合成单元156基于合成位置调整单元155所计算出的位置校正参数来进行针对摄像单元101～108的运动图像的位置的校正处理，并且对各帧进行合成。之后，图像合成单元156对合成图像进行适当的缩放处理，将如此得到的图像剪切为所指定的视角大小，并且生成广角图像。
接着，在步骤S406中，压缩和扩展单元152对广角图像进行压缩，并且将压缩后的运动图像输出至通信控制单元170。
接着，在步骤S407中，通信控制单元170基于预定协议来将压缩后的运动图像经由网络190传送至PC 180。
接着，将参考图5A、5B和5C以及图6A和6B来说明本实施例的摄像单元101～108的摄像元件131～138的布置。图5A、5B和5C示出用于说明根据本实施例的各个摄像元件131～138的操作的图。
图5A示出例示摄像元件501的外观的图。摄像元件501对应于图2的各个摄像元件131～138，并且具有像素部502和端子503。像素部502具有各自进行光电转换的多个像素。端子503是用于使像素部502连接至外围电路的端子。摄像元件在半导体基板的正面侧形成有光电转换元件、诸如读出电极等的电极层、以及滤色器或片上透镜等，并且使光从该正面侧入射以进行摄像。例如，放大型(amplification type)固态摄像元件是像素按矩阵形式配置的X-Y地址型固态摄像元件的一种，并且通过使用具有MOS结构等的有源元件(MOS晶体管)来构成像素，以向像素本身赋予放大功能。另外，放大型固态摄像元件通过有源元件放大在作为光电转换元件的光电二极管中累积的信号电荷，并且将如此得到的信号电荷读出为图像。
在该XY地址型固态摄像元件中，例如，大量像素晶体管按二维矩阵形式配置以构成像素部502。XY地址型固态摄像元件开始在各线(line)或各像素中累积与入射光相对应的信号电荷，并且根据地址指定来从各像素顺次读出基于所累积的信号电荷的电流或电压的信号。这里，作为地址指定的示例，XY地址型固态摄像元件使用同时访问一条线并以线为单位从像素部502读出像素信号的列读出方法(列并行输出方法)。
摄像元件与水平同步信号同步地从像素部502的一端顺次读出各水平线的像素数据，通过模数转换器将该像素数据转换成数字值的图像数据，并且输出如此得到的图像数据。
图5B示出例示图5A的像素部502内的像素510的阵列的图；并且图5C是示出像素部502的像素数据的读出定时的时序图。像素部502具有按二维矩阵配置的多个像素。图5C示出水平同步信号Hsync和针对各个像素线511～513的读出定时之间的关系。像素部502具有多个像素线511～513。例如，摄像元件501从像素线511起直到像素线513为止(从上向下)在各个像素线中顺次读出像素数据。以这种方式，根据摄像元件501的布置，在拍摄视角内读出像素数据的顺序改变。
图6A和6B示出例示根据本实施例的摄像元件131～134的布置和要合成的图像之间的关系的图。这里，以下将说明在对四个摄像元件131～134的图像进行合成的情况下的处理。
图6A示出例示摄像元件131～134的布置示例的图。摄像元件131～134彼此相邻地布置，并且对应于图2中的摄像单元101～104的摄像元件131～134。标记在摄像元件131～134中的箭头分别表示摄像元件131～134中的像素数据的读出方向。摄像元件131在左方向上以线为单位读出像素。摄像元件132在作为与摄像元件131中的读出方向相反的方向的右方向上以线为单位读出像素。摄像元件133在左方向上以线为单位读出像素。摄像元件134在作为与摄像元件133中的读出方向相反的方向的右方向上以线为单位读出像素。摄像元件131和132的布置方向相互相差45°。摄像元件133和134的布置方向彼此相差45°。
在摄像元件131和132的像素数据中，像素区域632和633是要首先读出的像素数据。像素区域632和633对应于摄像元件131和132的拍摄视角彼此重叠的图像重叠区域631。
在摄像元件133和134的像素数据中，像素区域642和643是要首先读出的像素数据。像素区域642和643对应于摄像元件133和134的拍摄视角彼此重叠的图像重叠区域641。
在摄像元件132和133的像素数据中，像素区域652和653是要最后读出的像素数据。像素区域652和653对应于摄像元件132和133的拍摄视角彼此重叠的图像重叠区域651。
图6B示出例示合成图像的图。图像合成单元156首先对摄像元件131和132的图像进行合成、使得与摄像元件131的像素区域632和摄像元件132的像素区域633相对应的图像重叠区域631的位置彼此一致，并且获得图6B的合成图像661。随后，图像合成单元156对摄像元件133和134的图像进行合成、使得与摄像元件133的像素区域642和摄像元件134的像素区域643相对应的图像重叠区域641的位置彼此一致，并且获得图6B的合成图像662。之后，图像合成单元156对合成图像661和662进行合成、使得与摄像元件132的像素区域652和摄像元件133的像素区域653相对应的图像重叠区域651的位置彼此一致，并且获得图6B的合成图像663。
各个摄像元件131～138在如此的方向上布置，以使得这些摄像元件输出在相邻的摄像元件131～138之间的图像合成所需的图像重叠区域631和641等的像素区域632、633、642和643等的像素数据。具体地，在读出方向固定的摄像元件131～138的情况下，摄像元件131～138被布置成使得摄像元件131～138中的每个相邻摄像元件的布置方向交错。通过以上述方式布置摄像元件131～138，输出从图像重叠区域631和641等的像素数据开始，因而图像合成单元156可以使合成处理的定时提前。
图7示出例示各个摄像元件131～134和用于驱动摄像元件131～134的驱动信号之间的关系的图。图7的驱动信号包括垂直同步信号700、电子快门信号701和读出信号702。图像数据“图像1”是摄像元件131所输出的图像数据。图像数据“图像2”是摄像元件132所输出的图像数据。图像数据“图像3”是摄像元件133所输出的图像数据。图像数据“图像4”是摄像元件134所输出的图像数据。以下将说明摄像元件131～134的情况，但摄像元件135～138也相同。
控制单元150将共同的垂直同步信号700输出至摄像元件131～134。此外，控制单元150输出针对各个摄像元件131～134共同的诸如曝光时间和读出时间等的拍摄参数。各个摄像元件131～134基于从控制单元150输出的垂直同步信号700和拍摄参数来生成电子快门信号701和读出信号702。电子快门信号701和读出信号702可以是在摄像元件131～134中生成的，或者控制单元150可以将这些信号输出至摄像元件131～134。
摄像元件131～134基于从控制单元150输出的垂直同步信号700，来在时刻T701生成电子快门信号701并且在时刻T702生成读出信号702。在时刻T701，摄像元件131～134响应于电子快门信号701而开始各像素线的曝光。在时刻T702，摄像元件131～134响应于读出信号702而开始针对各个像素线的读出。
摄像元件131首先读出部分图像713。部分图像713对应于图6A的像素区域632和图像重叠区域631。
摄像元件132首先读出部分图像723，并且最后读出部分图像724。部分图像723对应于图6A的像素区域633和图像重叠区域631。部分图像724对应于图6A的像素区域652和图像重叠区域651。
摄像元件133首先读出部分图像733，并且最后读出部分图像734。部分图像733对应于图6A的像素区域642和图像重叠区域641。部分图像734对应于图6A的像素区域653和图像重叠区域651。
摄像元件134首先读出部分图像743。部分图像743对应于图6A的像素区域643和图像重叠区域641。
部分图像713和723对应于图像重叠区域631，并且在相同定时进行曝光和读出。部分图像733和743对应于图像重叠区域641，并且在相同定时进行曝光和读出。部分图像724和734对应于图像重叠区域651，并且在相同定时进行曝光和读出。
通过使摄像元件131～134的曝光和读出的定时同步，摄像元件131～134可以获取相同定时的图像重叠区域631、641和651的部分图像。特别是在具有卷帘快门的摄像元件131～134中，针对各个图像线的读出时间不同，因此由于摄像元件131～134的布置方向改变，图像重叠区域631、641和651的曝光时间可以彼此一致或者变得彼此接近。
特别地，在被摄体是移动体并且摄像元件131～134的拍摄定时不一致的情况下，拍摄图像内的被摄体的位置在要合成的图像之间有所不同。由于使相邻的摄像元件131～134的图像重叠区域631、641和651的图像的读出定时同步，因此移动体的摄像时间段彼此一致，因而可以减轻位置对准的负荷。
接着，将参考图8A、8B、8C和8D来说明减轻由于摄像元件131～134的布置方向而对图像处理产生的负荷的效果。图8A、8B、8C和8D示出例示从摄像元件131～134的图像的读出以及合成处理的图。
图8A示出例示根据本实施例的摄像元件131～134的布置和读出方向的图；并且图8B是示出图8A的摄像元件131～134的操作的时序图。摄像元件131～134对应于图6A的摄像元件131～134，并且读出线在沿各垂直方向延伸的方向上配置。
摄像元件131以线为单位从右侧的像素线向着左侧的像素线读出像素。换句话说，摄像元件131从像素区域632的像素线开始读出。
摄像元件132以线为单位从左侧的像素线向着右侧的像素线读出像素。换句话说，摄像元件132从像素区域633的像素线开始读出，并且在像素区域652的像素线处完成读出。
摄像元件133以线为单位从右侧的像素线向着左侧的像素线读出像素。换句话说，摄像元件133从像素区域642的像素线开始读出，并且在像素区域653的像素线处完成读出。
摄像元件134以线为单位从左侧的像素线向着右侧的像素线读出像素。换句话说，摄像元件134从像素区域643的像素线开始读出。
像素区域632和633对应于摄像元件131和132的图像重叠区域631。像素区域642和643对应于摄像元件133和134的图像重叠区域641。像素区域652和653对应于摄像元件132和133的图像重叠区域651。
图像数据“图像1”是摄像元件131所输出的图像数据。图像数据“图像2”是摄像元件132所输出的图像数据。图像数据“图像3”是摄像元件133所输出的图像数据。图像数据“图像4”是摄像元件134所输出的图像数据。
摄像元件131～134与垂直同步信号Vsync同步，并且分别在时刻T811开始图像数据“图像1”至“图像4”的第一帧的输出。之后，在时刻T813，摄像元件131～134分别完成图像数据“图像1”至“图像4”的第一帧的输出。
摄像元件131从像素区域632的像素线开始读出，并且输出图像数据“图像1”的第一帧。摄像元件132从像素区域633的像素线开始读出，以像素区域652的像素线完成读出，并且输出图像数据“图像2”的第一帧。摄像元件133从像素区域642的像素线开始读出，以像素区域653的像素线完成读出，并且输出图像数据“图像3”的第一帧。摄像元件134从像素区域643的像素线开始读出，并且输出图像数据“图像4”的第一帧。
在时刻T811～T812中，摄像元件131～134分别输出像素区域632、633、642和643的图像数据。在时刻T812，图像选择单元154将像素区域632、633、642和643的图像数据输出至合成位置调整单元155。合成位置调整单元155计算用于调整合成位置的校正参数，使得像素区域632的部分图像和像素区域633的部分图像在图像重叠区域631中彼此重叠。另外，合成位置调整单元155还计算用于调整合成位置的校正参数，使得像素区域642的部分图像和像素区域643的部分图像在图像重叠区域641中彼此重叠。
在时刻T813，摄像元件132和133分别完成像素区域652和653的图像数据的输出。图像选择单元154将像素区域652和653的图像数据输出至合成位置调整单元155。合成位置调整单元155计算用于调整合成位置的校正参数，使得像素区域652的部分图像和像素区域653的部分图像在图像重叠区域651中彼此重叠。
接着，在时刻T814，图像合成单元156基于合成位置调整单元155所计算出的校正参数，来对摄像元件131～134的图像数据“图像1”至“图像4”的第一帧进行合成。压缩和扩展单元152压缩合成后的运动图像。通信控制单元170将压缩后的运动图像经由网络190传送至PC 180。
如上所述，摄像元件131所摄像的摄像范围和摄像元件132所摄像的摄像范围具有与摄像范围的一部分彼此重叠的位置相对应的图像重叠区域631。摄像元件132所摄像的摄像范围和摄像元件133所摄像的摄像范围具有与摄像范围的一部分彼此重叠的位置相对应的图像重叠区域651。摄像元件133所摄像的摄像范围和摄像元件134所摄像的摄像范围具有与摄像范围的一部分彼此重叠的位置相对应的图像重叠区域641。
摄像元件131将拍摄图像中的图像重叠区域631的像素数据在拍摄图像中的非重叠区域的像素数据之前输出。摄像元件132将拍摄图像中的图像重叠区域631的像素数据在拍摄图像中的非重叠区域的像素数据之前输出，并且将拍摄图像中的图像重叠区域651的像素数据在拍摄图像中的非重叠区域的像素数据之后输出。摄像元件133将拍摄图像中的图像重叠区域641的像素数据在拍摄图像中的非重叠区域的像素数据之前输出，并且将拍摄图像中的图像重叠区域651的像素数据在拍摄图像中的非重叠区域的像素数据之后输出。摄像元件134将拍摄图像中的图像重叠区域641的像素数据在拍摄图像中的非重叠区域的像素数据之前输出。
合成位置调整单元155调整摄像元件131的拍摄图像和摄像元件132的拍摄图像的合成位置，使得摄像元件131的拍摄图像中的图像重叠区域631和摄像元件132的拍摄图像中的图像重叠区域631彼此重叠。此时，合成位置调整单元155基于摄像元件131的拍摄图像中的图像重叠区域631的像素数据和摄像元件132的拍摄图像中的图像重叠区域631的像素数据，来调整摄像元件131的拍摄图像和摄像元件132的拍摄图像的合成位置。
另外，合成位置调整单元155调整摄像元件133的拍摄图像和摄像元件134的拍摄图像的合成位置，使得摄像元件133的拍摄图像中的图像重叠区域641和摄像元件134的拍摄图像中的图像重叠区域641彼此重叠。此时，合成位置调整单元155基于摄像元件133的拍摄图像中的图像重叠区域641的像素数据和摄像元件133的拍摄图像中的图像重叠区域641的像素数据，来调整摄像元件133的拍摄图像和摄像元件134的拍摄图像的合成位置。
另外，合成位置调整单元155调整摄像元件132的拍摄图像和摄像元件133的拍摄图像的合成位置，使得摄像元件132的拍摄图像中的图像重叠区域651和图像摄像元件133的拍摄图像中的图像重叠区域651彼此重叠。此时，合成位置调整单元155基于摄像元件132的拍摄图像中的图像重叠区域651的像素数据和摄像元件133的拍摄图像中的图像重叠区域651的像素数据，来调整摄像元件132的拍摄图像和摄像元件133的拍摄图像的合成位置。
图像合成单元156对由合成位置调整单元155调整了合成位置的、摄像元件131的图像、摄像元件132的图像、摄像元件133的图像和摄像元件134的图像进行合成。
根据本实施例的摄像设备100在摄像元件131～134输出了图像数据“图像1”至“图像4”之后，可以在早期阶段开始图像数据“图像1”至“图像4”的合成。为了说明该效果，在图8C和8D中例示出普通的摄像元件131～134的布置作为比较例。
图8C示出例示普通的摄像元件131～134的布置和读出方向的图；并且图8D是示出图8C的摄像元件131～134的操作的时序图。摄像元件131～134在读出线沿水平方向延伸的方向上布置。摄像元件131～134以线为单位从上侧的像素线向着下侧的像素线读出像素。
在摄像元件131中，所有像素线中的右端像素区域是像素区域632。在摄像元件132中，所有像素线中的左端像素区域是像素区域633，并且所有像素线中的右端像素区域是像素区域652。在摄像元件133中，所有像素线中的左端像素区域是像素区域653，并且所有像素线中的右端像素区域是像素区域642。在摄像元件134中，所有像素线中的左端像素区域是像素区域643。
像素区域632和633对应于摄像元件131和132的图像重叠区域631。像素区域642和643对应于摄像元件133和134的图像重叠区域641。像素区域652和653对应于摄像元件132和133的图像重叠区域651。
摄像元件131～134与垂直同步信号Vsync同步，并且分别在时刻T811开始图像数据“图像1”至“图像4”的第一帧的输出。之后，在时刻T813，摄像元件131～134分别完成图像数据“图像1”至“图像4”的第一帧的输出。
摄像元件131在时刻T811开始像素区域632的图像数据的读出，并且在时刻T813完成像素区域632的图像数据的读出。摄像元件132在时刻T811开始像素区域633和652的图像数据的读出，并且在时刻T813完成像素区域633和652的图像数据的读出。摄像元件133在时刻T811开始像素区域653和642的图像数据的读出，并且在时刻T813完成像素区域653和642的图像数据的读出。摄像元件134在时刻T811开始像素区域643的图像数据的读出，并且在时刻T813完成像素区域643的图像数据的读出。
接着，在时刻T814，图像选择单元154将像素区域632、633、642、643、652和653的图像数据输出至合成位置调整单元155。合成位置调整单元155计算用于调整像素区域632、633、642、643、652和653的合成位置的校正参数。
接着，在时刻T815，图像合成单元156基于合成位置调整单元155所计算出的校正参数，来对摄像元件131～134的图像数据“图像1”至“图像4”的第一帧进行合成。
如上所述，摄像元件131～134在时刻T813完成像素区域632、633、652、653、642和643的图像数据的输出。直到该完成为止，合成处理单元153不能开始图像数据“图像1”至“图像4”的合成处理，因而合成处理的开始时间变迟。
与此相比，如图8B所示，根据本实施例的摄像元件131～134在时刻T812完成像素区域632、633、642和643的图像数据的输出。由于此，在时刻T812，合成位置调整单元155可以开始用于调整像素区域632、633、642和643的图像数据的合成位置的校正参数的计算处理。由于此，在时刻T814，图像合成单元156可以在早期阶段开始图像数据“图像1”至“图像4”的合成处理。另外，合成位置调整单元155通过仅使用与图像重叠区域631、641和651相对应的像素区域632、633、642、643、652和653的部分图像数据来调整位置，因而可以减少在位置调整期间要处理的图像数据量。另外，合成处理单元153将各个处理的定时分开；并且可以减少一次要处理的图像数据量，减少存储器的使用量，并且减轻计算处理的负荷。
第二实施例
图9A、9B、9C和9D示出用于说明根据本发明的第二实施例的摄像设备900的图。摄像设备900具有摄像单元901～904。摄像设备900对应于第一实施例的摄像设备100。摄像单元901～904对应于第一实施例的摄像单元101～104。摄像设备900具有与第一实施例的摄像设备100相同的结构，但摄像单元901～904的布置位置有所不同。以下将说明第二实施例不同于第一实施例的点。
图9A示出例示摄像设备900的摄像单元901的布置位置的图。作为一个示例，摄像设备900在同一面上具有四个摄像单元901～904。这里，将示出存在四个摄像单元901～904并且对四个图像数据进行合成的情况的处理，但摄像单元的数量不限于四个。
图9B示出例示图9A的摄像设备900的各个摄像单元901～904的拍摄视角之间的关系的图。拍摄视角921～924分别是摄像单元901～904的拍摄视角。各个摄像单元901～904被布置成使得拍摄视角921～924的一部分彼此重叠。拍摄视角921～924中的箭头示出各个摄像单元901～904的图像数据的读出方向。
图9C示出例示由摄像单元901～904摄像得到的图像911～914的图。标记在图像911～914中的箭头分别表示摄像单元901～904从摄像元件读出图像911～914的方向。各个摄像单元901～904的摄像元件被物理地布置成使得沿箭头的方向读出图像数据。摄像单元901和902的摄像元件是从下侧的像素线向着上侧的像素线读出的。摄像单元903和904的摄像元件是从上侧的像素线向着下侧的像素线读出的。
图像911具有重叠区域931和935。重叠区域931是图像911内的下端的像素线的图像区域。重叠区域935是图像911内的所有像素线的右端部的图像区域。
图像912具有重叠区域932和936。重叠区域932是图像912内的下端的像素线的图像区域。重叠区域936是图像912内的所有像素线的左端部的图像区域。
图像913具有重叠区域933和937。重叠区域933是图像913内的上端的像素线的图像区域。重叠区域937是图像913内的所有像素线的右端部的图像区域。
图像914具有重叠区域934和938。重叠区域934是图像914内的上端的像素线的图像区域。重叠区域938是图像914内的所有像素线的左端部的图像区域。
在图像911和913中，重叠区域931和933是拍摄视角彼此重叠的图像重叠区域。重叠区域931是摄像单元901首先读出的像素线的图像区域。重叠区域933是摄像单元903首先读出的像素线的图像区域。
另外，在图像912和914中，重叠区域932和934是拍摄视角彼此重叠的图像重叠区域。重叠区域932是摄像单元902首先读出的像素线的图像区域。重叠区域934是摄像单元904首先读出的像素线的图像区域。
另外，在图像911和912中，重叠区域935和936是拍摄视角彼此重叠的图像重叠区域。另外，在图像913和914中，重叠区域937和938是拍摄视角彼此重叠的图像重叠区域。
图像选择单元154在检测到重叠区域931～934的读出完成时，将重叠区域931～934的图像数据输出至合成位置调整单元155。合成位置调整单元155计算用于对重叠区域931和933的图像进行合成的校正参数，并且计算用于对重叠区域932和934的图像进行合成的校正参数。
之后，图像选择单元154在检测到重叠区域935～938的读出完成时，将重叠区域935～938的图像数据输出至合成位置调整单元155。合成位置调整单元155计算用于对重叠区域935和936的图像进行合成的校正参数，并且计算用于对重叠区域937和938的图像进行合成的校正参数。
图9D示出用于说明图像合成的图。图像合成单元156基于校正参数来对图像911和913进行合成，以获得合成图像911+913。随后，图像合成单元156基于校正参数来对图像912和914进行合成，以获得合成图像912+914。之后，图像合成单元156对合成图像911+913和合成图像912+914进行合成。
如上所述，图像911和913各自具有摄像范围的一部分彼此重叠的重叠区域931和933。图像912和914各自具有摄像范围的一部分彼此重叠的重叠区域932和934。图像911和912各自具有摄像范围的其它部分彼此重叠的重叠区域935和936。图像913和914各自具有摄像范围的其它部分彼此重叠的重叠区域937和938。
摄像单元901的摄像元件将图像911中的重叠区域931的像素数据在图像911中的非重叠区域的像素数据之前输出。摄像单元902的摄像元件将图像912中的重叠区域932的像素数据在图像912中的非重叠区域的像素数据之前输出。摄像单元903的摄像元件将图像913中的重叠区域933的像素数据在图像913中的非重叠区域的像素数据之前输出。摄像单元904的摄像元件将图像914中的重叠区域934的像素数据在图像914中的非重叠区域的像素数据之前输出。
合成位置调整单元155基于图像911中的重叠区域931的像素数据和图像913中的重叠区域933的像素数据，来调整图像911和图像913的合成位置，使得重叠区域931和重叠区域933彼此重叠。
另外，合成位置调整单元155基于图像912中的重叠区域932的像素数据和图像914中的重叠区域934的像素数据，来调整图像912和图像914的合成位置，使得重叠区域932和重叠区域934彼此重叠。
另外，合成位置调整单元155基于图像911中的重叠区域935的像素数据和图像912中的重叠区域936的像素数据，来调整图像911和图像912的合成位置，使得重叠区域935和重叠区域936彼此重叠。
另外，合成位置调整单元155基于图像913中的重叠区域937的像素数据和图像914中的重叠区域938的像素数据，来调整图像913和图像914的合成位置，使得重叠区域937和重叠区域938彼此重叠。
图像合成单元156对由合成位置调整单元155调整了合成位置的图像911、图像912、图像913和图像914进行合成。
如上所述，摄像单元901～904分别从重叠区域931～934的像素数据开始输出。由此，合成处理单元153可以在早期阶段开始合成处理。另外，合成处理单元153将各个处理的定时分开；并且由此可以减少一次要处理的像素数据量，并减少计算处理的负荷。此外，控制单元150使各个摄像单元901～904的摄像元件的像素数据的曝光时间和读出定时同步，并由此可以使图像重叠区域的曝光时间一致或变得彼此接近。
第三实施例
图10A和10B示出用于说明根据本发明的第三实施例的摄像设备1000的图。图10A示出例示摄像设备1000的摄像单元1001～1004的布置的图。摄像设备1000具有四个摄像单元1001～1004，并且可以合成全天球图像。摄像设备1000对应于第一实施例的摄像设备100。摄像单元1001～1004对应于根据第一实施例的摄像单元101～104。摄像设备1000具有与第一实施例的摄像设备100的结构相同的结构，但摄像单元1001～1004的布置位置有所不同。以下将说明第三实施例不同于第一实施例的点。
摄像设备1000对由四个摄像单元1001～1004摄像得到的图像进行合成，并且生成全天球图像。摄像单元1001～1004中的箭头分别表示摄像单元1001～1004的光轴方向。各个摄像单元1001～1004被布置成使得拍摄视角的一部分彼此重叠。
图10B示出例示摄像单元1001～1004的图像1011～1014的图。图像1011～1014分别是由摄像单元1001～1004摄像得到的图像。图像1011～1014中的箭头表示各个摄像单元1001～1004的摄像元件分别读出图像1011～1014的方向。各个摄像单元1001～1004的摄像元件被物理地布置成根据箭头的方向从图像重叠区域的像素数据开始读出。在摄像单元1001～1004完成了图像重叠区域的像素数据的读出时，合成位置调整单元155计算用于调整合成位置的校正参数。图像合成单元156基于校正参数来对图像1011～1014进行合成。
图像1011和1013各自具有摄像范围的一部分彼此重叠的重叠区域1031和1033。图像1012和1014各自具有摄像范围的一部分彼此重叠的重叠区域1032和1034。图像1011和1012分别具有摄像范围的一部分彼此重叠的重叠区域1035和1036、摄像范围的其它部分彼此重叠的重叠区域1043和1045、以及摄像范围的其它部分彼此重叠的重叠区域1039和1040。图像1013和1014分别具有摄像范围的一部分彼此重叠的重叠区域1037和1038、摄像范围的其它部分彼此重叠的重叠区域1044和1046、以及摄像范围的其它部分彼此重叠的重叠区域1041和1042。
摄像单元1001的摄像元件将图像1011中的重叠区域1031的像素数据在图像1011中的非重叠区域的像素数据之前输出，并且将图像1011中的重叠区域1039的像素数据在图像1011中的非重叠区域的像素数据之后输出。摄像单元1002的摄像元件将图像1012中的重叠区域1032的像素数据在图像1012中的非重叠区域的像素数据之前输出，并且将图像1012中的重叠区域1040的像素数据在图像1012中的非重叠区域的像素数据之后输出。摄像单元1003的摄像元件将图像1013中的重叠区域1033的像素数据在图像1013中的非重叠区域的像素数据之前输出，并且将图像1013中的重叠区域1041的像素数据在图像1013中的非重叠区域的像素数据之后输出。摄像单元1004的摄像元件将图像1014中的重叠区域1034的像素数据在图像1014中的非重叠区域的像素数据之前输出，并且将图像1014中的重叠区域1042的像素数据在图像1014中的非重叠区域的像素数据之后输出。
合成位置调整单元155基于图像1011中的重叠区域1031的像素数据和图像1013中的重叠区域1033的像素数据，来调整图像1011和图像1013的合成位置，使得重叠区域1031和重叠区域1033彼此重叠。
另外，合成位置调整单元155基于图像1012中的重叠区域1032的像素数据和图像1014中的重叠区域1034的像素数据，来调整图像1012和图像1014的合成位置，使得重叠区域1032和重叠区域1034彼此重叠。
另外，合成位置调整单元155调整图像1011和图像1012的合成位置，使得重叠区域1035和重叠区域1036彼此重叠并且重叠区域1043和重叠区域1045彼此重叠。
另外，合成位置调整单元155调整图像1013和图像1014的合成位置，使得重叠区域1037和重叠区域1038彼此重叠并且重叠区域1044和重叠区域1046彼此重叠。
另外，合成位置调整单元155调整图像1011和图像1013的合成位置，使得重叠区域1039和重叠区域1041彼此重叠。另外，合成位置调整单元155调整图像1012和图像1014的合成位置，使得重叠区域1040和重叠区域1042彼此重叠。
图像合成单元156对由合成位置调整单元155调整了合成位置的图像1011、图像1012、图像1013和图像1014进行合成。
第四实施例
图10C和10D示出用于说明根据本发明的第四实施例的摄像设备1200的图。图10C示出例示摄像设备1200的摄像单元1201～1206的布置的图。摄像设备1200具有六个摄像单元1201～1206，并且可以合成全天球图像。摄像设备1200对应于第一实施例的摄像设备100。摄像单元1201～1206对应于根据第一实施例的摄像单元101～106。摄像设备1200具有与第一实施例的摄像设备100的结构相同的结构，但摄像单元1201～1206的布置位置不同。以下将说明本实施例不同于第一实施例的点。
摄像设备1200对由六个摄像单元1201～1206摄像得到的图像进行合成，并且生成全天球图像。摄像单元1201～1206的箭头分别表示摄像单元1201～1206的光轴方向。各个摄像单元1201～1206被布置成使得拍摄视角的一部分彼此重叠。
图10D示出例示各个摄像单元1201～1206的图像1211～1216的图。图像1211～1216分别是由摄像单元1201～1206摄像得到的图像。图像1211～1216中的箭头分别表示各个摄像单元1201～1206的摄像元件读出图像1211～1216的方向。各个摄像单元1201～1206的摄像元件被物理地布置成根据箭头的方向从图像重叠区域的像素数据开始读出。在摄像单元1201～1206完成了图像重叠区域的像素数据的读出时，合成位置调整单元155计算用于调整合成位置的校正参数。图像合成单元156基于校正参数来对图像1211～1216进行合成。合成处理单元153可以通过划分要调整合成位置的像素数据的组合来使合成处理的负荷分散。
图像1211和1213各自具有摄像范围的一部分彼此重叠的重叠区域1231和1032。图像1214和1215各自具有摄像范围的一部分彼此重叠的重叠区域1233和1034。图像1212和1216各自具有摄像范围的一部分彼此重叠的重叠区域1235和1036。
摄像单元1201的摄像元件将图像1211中的重叠区域1231的像素数据在图像1211中的非重叠区域的像素数据之前输出。摄像单元1202的摄像元件将图像1212中的重叠区域1235的像素数据在图像1212中的非重叠区域的像素数据之前输出。摄像单元1203的摄像元件将图像1213中的重叠区域1232的像素数据在图像1213中的非重叠区域的像素数据之前输出。摄像单元1204的摄像元件将图像1214中的重叠区域1233的像素数据在图像1214中的非重叠区域的像素数据之前输出。摄像单元1205的摄像元件将图像1215中的重叠区域1234的像素数据在图像1215中的非重叠区域的像素数据之前输出。摄像单元1206的摄像元件将图像1216中的重叠区域1236的像素数据在图像1216中的非重叠区域的像素数据之前输出。
合成位置调整单元155基于图像1211中的重叠区域1031的像素数据和图像1013中的重叠区域1232的像素数据，来调整图像1211和图像1213的合成位置，使得重叠区域1231和重叠区域1232彼此重叠。另外，合成位置调整单元155基于图像1214中的重叠区域1033的像素数据和图像1215中的重叠区域1234的像素数据，来调整图像1214和图像1215的合成位置，使得重叠区域1233和重叠区域1234彼此重叠。另外，合成位置调整单元155基于图像1212中的重叠区域1035的像素数据和图像1216中的重叠区域1236的像素数据，来调整图像1212和图像1216的合成位置，使得重叠区域1235和重叠区域1236彼此重叠。
图像合成单元156对由合成位置调整单元155调整了合成位置图像1211、图像1212、图像1213、图像1214、图像1215和图像1216进行合成。
如上所述，摄像单元从图像重叠区域的像素数据开始输出。由此，合成处理单元153可以在早期阶段开始合成处理。另外，合成处理单元153将各个处理的定时分开；并由此可以减少一次要处理的像素数据量，并减少计算处理的负荷。
到目前为止，已经基于典型实施例详细说明了本发明，但本发明不限于这些特定实施例，并且还包括了在没有背离本发明范围的范围内的各种形式。可以适当地组合上述实施例的一部分。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种摄像设备，包括：
第一摄像元件，其被配置为对第一摄像范围进行摄像；
第二摄像元件，其被配置为对第二摄像范围进行摄像；以及
合成单元，其被配置为基于所述第一摄像元件和所述第二摄像元件所输出的像素数据组，来合成与比所述第一摄像范围或所述第二摄像范围宽的第三摄像范围相对应的图像，
其中，所述第一摄像元件和所述第二摄像元件将与第一摄像范围和第二摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元。
2.根据权利要求1所述的摄像设备，其中，所述合成单元还被配置为基于与所述第一摄像范围和所述第二摄像范围彼此重叠的位置相对应的像素数据来调整合成位置，所述合成单元从与该重叠的位置相对应的所述第一摄像元件和所述第二摄像元件获取到该像素数据。
3.根据权利要求1或2所述的摄像设备，还包括第三摄像元件，所述第三摄像元件用于对一部分与所述第二摄像范围重叠的第三摄像范围进行摄像，
其中，所述第二摄像元件将与所述第二摄像范围和所述第三摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之后输出至所述合成单元，以及
所述合成单元基于所述第一摄像元件、所述第二摄像元件和所述第三摄像元件所输出的像素数据组，来合成与比所述第一摄像范围、所述第二摄像范围或所述第三摄像范围宽的摄像范围相对应的图像。
4.根据权利要求3所述的摄像设备，还包括第四摄像元件，所述第四摄像元件用于对一部分与所述第三摄像范围重叠的第四摄像范围进行摄像，
其中，所述第三摄像元件将与所述第三摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元，并且将与所述第二摄像范围和所述第三摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之后输出至所述合成单元，
所述第四摄像元件将与所述第三摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元，以及
所述合成单元基于所述第一摄像元件、所述第二摄像元件、所述第三摄像元件和所述第四摄像元件所输出的像素数据组，来合成与比所述第一摄像范围、所述第二摄像范围、所述第三摄像范围或所述第四摄像范围宽的摄像范围相对应的图像。
5.根据权利要求1或2所述的摄像设备，还包括：
第三摄像元件，用于对一部分与所述第一摄像范围重叠的第三摄像范围进行摄像；以及
第四摄像元件，用于对一部分与所述第三摄像范围重叠并且一部分与所述第二摄像范围重叠的第四摄像范围进行摄像，
其中，所述第三摄像元件将与所述第三摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元，
所述第四摄像元件将与所述第三摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元，以及
所述合成单元基于所述第一摄像元件、所述第二摄像元件、所述第三摄像元件和所述第四摄像元件所输出的像素数据组，来合成与比所述第一摄像范围、所述第二摄像范围、所述第三摄像范围或所述第四摄像范围宽的摄像范围相对应的图像。
6.根据权利要求1或2所述的摄像设备，还包括：
第三摄像元件，用于对一部分与所述第一摄像范围重叠的第三摄像范围进行摄像；以及
第四摄像元件，用于对一部分与所述第二摄像范围重叠并且一部分与所述第三摄像范围重叠的第四摄像范围进行摄像，
其中，所述第一摄像元件将与所述第一摄像范围和所述第三摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之后输出至所述合成单元，
所述第二摄像元件将与所述第二摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之后输出至所述合成单元，
所述第三摄像元件将与所述第三摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元，并且将与所述第一摄像范围和所述第三摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之后输出至所述合成单元，
所述第四摄像元件将与所述第三摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出至所述合成单元，并且将与所述第二摄像范围和所述第四摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之后输出至所述合成单元，以及
所述合成单元基于所述第一摄像元件、所述第二摄像元件、所述第三摄像元件和所述第四摄像元件所输出的像素数据组，来合成与比所述第一摄像范围、所述第二摄像范围、所述第三摄像范围或所述第四摄像范围宽的摄像范围相对应的图像。
7.根据权利要求1或2所述的摄像设备，还包括：
第三摄像元件，用于对第三摄像范围进行摄像；
第四摄像元件，用于对一部分与所述第三摄像范围重叠的第四摄像范围进行摄像；
第五摄像元件，用于对第五摄像范围进行摄像；以及
第六摄像元件，用于对一部分与所述第五摄像范围重叠的第六摄像范围进行摄像，
其中，所述合成单元基于所述第一摄像元件、所述第二摄像元件、所述第三摄像元件、所述第四摄像元件、所述第五摄像元件和所述第六摄像元件所输出的像素数据组，来合成与比所述第一摄像范围、所述第二摄像范围、所述第三摄像范围、所述第四摄像范围、所述第五摄像范围或所述第六摄像范围宽的摄像范围相对应的图像。
8.根据权利要求1、2和4中任一项所述的摄像设备，其中，
所述第一摄像元件具有按矩阵形式的像素，并且在第一方向上以线为单位读出像素，以及
所述第二摄像元件具有按矩阵形式的像素，并且在与所述第一方向相反的第二方向上以线为单位读出像素。
9.一种摄像设备的控制方法，所述摄像设备具有：第一摄像元件，其被配置为对第一摄像范围进行摄像；以及第二摄像元件，其被配置为对第二摄像范围进行摄像，所述控制方法包括：
所述第一摄像元件和所述第二摄像元件将与所述第一摄像范围和所述第二摄像范围彼此重叠的位置相对应的像素数据在其它像素数据之前输出；以及
基于所述第一摄像元件和所述第二摄像元件所输出的像素数据组，来合成与比所述第一摄像范围或所述第二摄像范围宽的第三摄像范围相对应的图像。
CN201910117331.6A 2018-02-15 2019-02-15 摄像设备和摄像设备的控制方法 Active CN110166688B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-025185 2018-02-15
JP2018025185A JP7118659B2 (ja) 2018-02-15 2018-02-15 撮像装置、撮像装置の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110166688A true CN110166688A (zh) 2019-08-23
CN110166688B CN110166688B (zh) 2021-07-23

Family

ID=67542296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910117331.6A Active CN110166688B (zh) 2018-02-15 2019-02-15 摄像设备和摄像设备的控制方法

Country Status (3)

Country Link
US (1) US10922787B2 (zh)
JP (1) JP7118659B2 (zh)
CN (1) CN110166688B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR101982751B1 (ko) * 2018-12-27 2019-05-27 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257005A1 (en) * 2010-11-19 2012-10-11 SA Photonics, Inc. High Resolution Wide Field of View Digital Night Vision System
JP2014099820A (ja) * 2012-11-16 2014-05-29 Fujitsu Semiconductor Ltd 画像撮影装置、画像撮影方法
CN104202541A (zh) * 2014-09-26 2014-12-10 北京华建纵横科技有限公司 一种图像合成器
CN104346788A (zh) * 2013-07-29 2015-02-11 展讯通信（上海）有限公司 一种拼接图像的方法和装置
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置
US20170006220A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098914B1 (en) * 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
US7095905B1 (en) * 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP2006229789A (ja) 2005-02-18 2006-08-31 Toshiba Corp カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP4697276B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム
JP5690086B2 (ja) * 2010-07-02 2015-03-25 株式会社キーエンス 拡大観察装置
JP5392199B2 (ja) * 2010-07-09 2014-01-22 ソニー株式会社 画像処理装置および方法
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257005A1 (en) * 2010-11-19 2012-10-11 SA Photonics, Inc. High Resolution Wide Field of View Digital Night Vision System
JP2014099820A (ja) * 2012-11-16 2014-05-29 Fujitsu Semiconductor Ltd 画像撮影装置、画像撮影方法
CN104346788A (zh) * 2013-07-29 2015-02-11 展讯通信（上海）有限公司 一种拼接图像的方法和装置
CN104202541A (zh) * 2014-09-26 2014-12-10 北京华建纵横科技有限公司 一种图像合成器
US20170006220A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置

Also Published As

Publication number Publication date
US20190251662A1 (en) 2019-08-15
US10922787B2 (en) 2021-02-16
CN110166688B (zh) 2021-07-23
JP7118659B2 (ja) 2022-08-16
JP2019140648A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP4869795B2 (ja) 撮像制御装置、撮像システム、および撮像制御方法
JP5675959B2 (ja) 複数の画像センサからのデータの合成
US9185308B2 (en) Imaging apparatus and imaging method
KR101299055B1 (ko) 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램
US8860852B2 (en) Image capturing apparatus
JP2003319240A (ja) 撮像装置
KR20160044945A (ko) 이미지 촬영 장치
JP2000244823A (ja) 撮像素子の欠陥画素補正装置
JP3697172B2 (ja) 信号処理装置及び信号処理方法並びに撮像装置
CN110166688A (zh) 摄像设备和摄像设备的控制方法
JP2007243917A (ja) 撮像装置および画像処理プログラム
JP2001186533A (ja) 画像処理装置
JP2005236662A (ja) 撮像方法、撮像装置及び撮像システム
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP5820720B2 (ja) 撮像装置
JP2006148550A (ja) 画像処理装置及び撮像装置
JP2015231052A (ja) 撮像装置および方法、並びにプログラム
JP2018148512A (ja) 撮像装置と撮像装置の制御方法、及びプログラム
CN114554041A (zh) 摄像装置、摄像方法和存储介质
JP2011087203A (ja) 撮像装置
JP4022682B2 (ja) 撮像装置及び画像出力方法
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP3961975B2 (ja) 信号処理装置及びデジタルカメラ
CN113873178B (zh) 多媒体处理芯片、电子设备和图像处理方法
JP2004135225A (ja) 電子カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant