CN112425148A - 摄像装置、无人移动体、摄像方法、系统及程序 - Google Patents

摄像装置、无人移动体、摄像方法、系统及程序 Download PDF

Info

Publication number
CN112425148A
CN112425148A CN201980036262.4A CN201980036262A CN112425148A CN 112425148 A CN112425148 A CN 112425148A CN 201980036262 A CN201980036262 A CN 201980036262A CN 112425148 A CN112425148 A CN 112425148A
Authority
CN
China
Prior art keywords
wide
image
angle
dynamic
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980036262.4A
Other languages
English (en)
Other versions
CN112425148B (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112425148A publication Critical patent/CN112425148A/zh
Application granted granted Critical
Publication of CN112425148B publication Critical patent/CN112425148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0804—Catadioptric systems using two curved mirrors
    • G02B17/0808—Catadioptric systems using two curved mirrors on-axis systems with at least one of the mirrors having a central aperture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明提供一种即使长焦图像组的各图像之间的重叠区域少也能够良好地合成长焦图像组且不依赖于广角图像的被摄体即场景而能够以高精度合成长焦图像的摄像装置、无人移动体、摄像方法、系统及程序。摄像装置(100)具备：摄像光学系统；定向传感器；宽动态范围图像生成部(302)，生成广角图像的动态范围扩展了的宽动态范围广角图像；图像获取部(2a)，获取宽动态范围广角图像组及由长焦图像构成的长焦图像组；合成信息获取部(2b)，分析所获取的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成部(2c)，生成根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组来合成长焦图像组而得的图像。

Description

摄像装置、无人移动体、摄像方法、系统及程序
技术领域
本发明涉及一种摄像装置、无人移动体、摄像方法、系统及程序，尤其涉及一种在由一边移动摄像位置一边拍摄了被摄体的多个图像(图像组)生成合成图像时，扩展所获取的摄像图像的动态范围的技术。
背景技术
有贴合多个图像而获得更大的图像的技术，被称为全景合成、拼接等。
专利文献1中所记载的马赛克图像合成装置由一边移动一边拍摄的视场窄的图像组合成视场宽的一个图像(马赛克图像)，并作为合成中使用的信息获取拍摄各图像时的相机的位置及姿势信息。
并且，通过分析图像组能够估计相机的位置及姿势信息。专利文献1中记载有如下顺序，即，当已知相对于N张图像中的第j图像(其中，j＜N-1)的相机的位置及姿势信息时，估计关于第j+1图像的相机的位置及姿势信息。
首先，进行第j图像与第j+1图像重叠的区域中存在的特征点的对应关联，并求出适当数量的对应的特征点对。接着，求出使建立对应关联的第j图像中的特征点与第j+1图像中的特征点的最小平方误差最小的、相对于拍摄第j图像时的相机的位置及姿势信息的拍摄第j+1图像时的相机的位置及姿势信息。
根据如此求出的拍摄第1图像至第N图像时的相机的位置及姿势信息，将第1图像至第N图像依次转换(投影)为马赛克图像平面的图像并进行贴合，以合成视场宽的一个马赛克图像。
另一方面，专利文献2中提出有如下图像合成处理装置，即，拍摄广角图像及长焦图像，并且为了获得高清图像而在广角图像中合成一张或多张长焦图像。在此，广角图像及长焦图像为各拍摄一张的图像，只要是来自同一场所的拍摄，则也可以是改变相机的光轴方向而拍摄的图像。这是因为，即使在如广角图像与长焦图像的光轴中心出现偏移的情况下，通过对长焦图像进行投影转换，能够以从广角图像的光轴拍摄的方式对长焦图像进行变形而使两个图像的被摄体像一致。
并且，专利文献3中记载有如下系统，即，用一台相机同时拍摄广角图像及长焦图像，并根据摄像范围稳定的广角图像测量摄像范围的变化量，根据该测量结果，以基于长焦图像的区域匹配等图像处理被抑制在能够正常进行处理的范围内的方式控制搭载有相机的移动体(移动方向或移动速度)，或控制相机(或摄像视角)。
而且，有如下Structure from Motion(SfM/运动恢复结构)法，即，从相机的摄像位置移动的动态图像中，追踪多个特征点的动向，同时估计被摄体的三维结构(Structure)及相机姿势(Motion)。近年，开发出bundle adju stment(集束调整)这一最优化算法，从而成为在实用时间内可实现高精度的输出。
若对动态范围宽的被摄体(或场景)获取摄像图像，则有时会出现高亮部分的过度曝光或阴影部分的曝光不足。作为抑制该过度曝光或曝光不足且更宽的表现被摄体所持有的动态范围的方法之一，已知有动态范围扩展处理(HDR处理：High-dynamic-range(高动态范围))。
在专利文献4中所记载的技术的目的在于，当分析摄像图像而检测障碍物时，通过扩展摄像图像的动态范围，校正过度曝光或曝光不足，并通过再现摄像图像中的微小的花纹或凹凸，使边缘检测易于进行。
以往技术文献
专利文献
专利文献1：日本特开2006-189940号公报
专利文献2：日本特开2007-164258号公报
专利文献3：日本特开2017-022574号公报
专利文献4：日本特开2016-164745号公报
发明内容
发明要解决的技术课题
根据专利文献1中所记载的马赛克图像合成装置，当由视场窄的图像组合视场宽的一个马赛克图像时，为了提取适当数量的对应的特征点，需要较多的视场窄的图像组的重叠部分(图像之间的重叠区域)，因此存在需要多个图像这一问题。另外，虽然通过传感器能够获取拍摄时的相机的位置及姿势信息，但若要获取高精度的信息，则传感器成为高价，或存在图像合成的精度下降这一问题。
另一方面，SfM法需要将多个特征点包含于多个图像中，因此为了良好地进行估计而使用用广角拍摄的图像。广角图像在被摄体的大体三维结构的估计中有效，但各图像内的被摄体像较小，从而存在无法确认被摄体细部这一问题。
专利文献2中所记载的图像合成处理装置在一张广角图像中编入(进行合成)一张或多张长焦图像，并清晰地拍出遍及广范围的被摄体整体并且获得高精度的图像，但并不生成比一张广角图像更广范围的合成图像。
并且，专利文献3中所记载的系统设为如下方式，即，用一台相机同时拍摄广角图像及长焦图像，并根据广角图像测量摄像范围的变化量而控制搭载有相机的移动体或控制相机，由此能够正常地进行基于长焦图像的区域匹配等图像处理，但并不将广角图像的信息利用于长焦图像的合成。
并且，在专利文献4中所记载的技术中，对为了检测障碍物而拍摄的摄像图像仅进行扩展动态范围的处理，但关于拍摄广角图像及长焦图像并合成长焦图像时的动态范围的扩展处理并未提及。
本发明是鉴于这种情况而完成的，其目的在于提供一种即使长焦图像组的各图像之间的重叠区域少也能够良好地合成长焦图像组且不依赖于广角图像的被摄体(场景)而能够以高精度合成长焦图像的摄像装置、无人移动体、摄像方法、系统及程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式即摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由广角光学系统及长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素；宽动态范围图像生成部，根据来自定向传感器的图像信号，生成经由广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；图像获取部，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，宽动态范围广角图像组由通过宽动态范围图像生成部生成的宽动态范围广角图像构成，长焦图像组与宽动态范围广角图像组同时拍摄且由来自定向传感器的图像信号即经由长焦光学系统拍摄的长焦图像构成；合成信息获取部，分析所获取的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成部，生成根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组而合成了长焦图像组的图像。
通过图像获取部获取的广角图像组及长焦图像组为一边改变具备包括具有共同的光轴的广角光学系统及长焦光学系统的摄像光学系统的摄像装置的位置一边拍摄了被摄体的图像组，虽然广角图像组的各图像的中心区域(与长焦图像的视角对应的区域)的图像与长焦图像组的各图像的分辨率不同，但为相同的图像。
因此，通过分析广角图像组能够获取长焦图像组的合成中使用的合成信息，即使长焦图像组的各图像之间的重叠区域少也能够良好地合成长焦图像组。由此，能够大幅减少长焦图像组的拍摄张数，且能够生成高分辨率的合成图像。
并且，分析由扩展了广角图像的动态范围的宽动态范围广角图像构成的宽动态范围广角图像组而获得用于合成长焦图像组的合成信息。因此，不依赖于广角图像的被摄体或场景的光强度的幅度，而能够获取适当的合成信息，并且能够以高精度进行长焦图像组的合成。
优选合成信息获取部分析宽动态范围广角图像组，并检测宽动态范围广角图像的特征点。
根据本方式，检测宽动态范围广角图像的特征点，因此能够获取更适当的合成信息。
优选合成信息获取部通过运动恢复结构法或即时定位与地图构建法分别估计拍摄了宽动态范围广角图像时的摄像位置及姿势和被摄体的立体形状。
优选具备判断部，该判断部根据广角图像的光强度的幅度，判断是否执行基于宽动态范围图像生成部的宽动态范围广角图像的生成，当不进行基于宽动态范围图像生成部的宽动态范围广角图像的生成时，图像获取部获取由广角图像构成的广角图像组及长焦图像组，合成信息获取部分析广角图像组，并获取长焦图像组的合成中使用的合成信息。
根据本方式，通过判断部根据广角图像的光强度的幅度，判断是否执行基于宽动态范围图像生成部的宽动态范围广角图像的生成，因此根据需要，有效地对广角图像进行动态范围的扩展处理。
优选判断部在宽动态范围广角图像中，根据与合成信息获取部所分析的区域对应的广角图像的区域的光强度的幅度进行判断。
根据本方式，根据与合成信息获取部所分析的区域对应的广角图像的区域的光强度的幅度进行判断，因此根据需要，有效地对广角图像进行动态范围的扩展处理。
优选宽动态范围图像生成部根据以少于适度曝光的曝光来拍摄而获得的广角图像，生成宽动态范围广角图像。即，宽动态范围广角图像根据一张广角图像而生成。
优选宽动态范围图像生成部根据曝光不同的两张广角图像，生成宽动态范围广角图像。即，宽动态范围广角图像根据两张广角图像而生成。
优选定向传感器同时接受与曝光不同的多个广角图像对应的光束。
根据本方式，定向传感器能够同时受光与曝光不同的多个广角图像对应的光束，因此根据同时获取的广角图像进行动态范围的扩展处理，因此能够获得像的模糊得到抑制的画质良好的宽动态范围广角图像。
本发明的另一方式即无人移动体搭载上述摄像装置，且具备控制移动的移动控制部，当获取曝光不同的两张广角图像时，移动控制部降低移动速度。根据本方式，当获取曝光不同的两张广角图像时，移动速度降低，因此能够获得像的偏移得到抑制的曝光不同的两张广角图像。
本发明的另一方式即无人移动体搭载上述摄像装置，且具备控制移动的移动控制部。
本发明的另一方式即摄像方法为摄像装置的摄像方法，该摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；和定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由广角光学系统及长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，该摄像方法包括：宽动态范围图像生成步骤，根据来自定向传感器的图像信号，生成经由广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；图像获取步骤，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，宽动态范围广角图像组由在宽动态范围图像生成步骤中生成的宽动态范围广角图像构成，长焦图像组与宽动态范围广角图像组同时拍摄且由来自定向传感器的图像信号即经由长焦光学系统拍摄的长焦图像构成；合成信息获取步骤，分析所获取的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成步骤，生成根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组来合成长焦图像组而得的图像。
优选合成信息获取步骤中，分析宽动态范围广角图像组，并检测宽动态范围广角图像的特征点。
优选合成信息获取步骤中，通过运动恢复结构法或即时定位与地图构建法分别估计拍摄了宽动态范围广角图像时的摄像位置及姿势和被摄体的立体形状。
优选包括判断步骤，该判断步骤中，根据广角图像的光强度的幅度，判断是否执行基于宽动态范围图像生成步骤的宽动态范围广角图像的生成，图像获取步骤中，当不进行基于宽动态范围图像生成步骤中的动态范围广角图像的生成时，获取由广角图像构成的广角图像组及长焦图像组，合成信息获取步骤中，分析广角图像组，并获取长焦图像组的合成中使用的合成信息。
本发明的另一方式即系统为由摄像装置及图像生成装置构成的系统，摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由广角光学系统及长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素；及宽动态范围图像生成部，根据来自定向传感器的图像信号生成经由广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像，图像生成装置具备：图像获取部，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，宽动态范围广角图像组由通过宽动态范围图像生成部生成的宽动态范围广角图像构成，长焦图像组与宽动态范围广角图像组同时拍摄且由来自定向传感器的图像信号即经由长焦光学系统拍摄的长焦图像构成；合成信息获取部，分析所获取的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成部，生成根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组来合成长焦图像组而得的图像。
本发明的另一方式即程序为使计算机执行摄像工序的程序，该摄像工序为摄像装置的摄像工序，该摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；和定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由广角光学系统及长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，该摄像工序包括：宽动态范围图像生成步骤，根据来自定向传感器的图像信号，生成经由广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；图像获取步骤，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，宽动态范围广角图像组由在宽动态范围图像生成步骤中生成的宽动态范围广角图像构成，长焦图像组与宽动态范围广角图像组同时拍摄且由来自定向传感器的图像信号即经由长焦光学系统拍摄的长焦图像构成；合成信息获取步骤，分析所获取的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成步骤，生成根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组来合成长焦图像组而得的图像。
发明效果
根据本发明，即使长焦图像组的各图像之间的重叠区域少也能够良好地合成长焦图像组，由此，能够大幅减少长焦图像组的拍摄张数，且能够生成高分辨率的合成图像，并且根据通过分析宽动态范围广角图像组而获得的合成信息，合成长焦图像，因此不会受到广角图像的被摄体(场景)的光强度的幅度的影响而能够以高精度合成长焦图像。
附图说明
图1是表示构成本发明所涉及的图像生成系统的摄像装置及无人航空器的外观图。
图2是表示无人航空器的电结构的框图。
图3是无人航空器微型机实现的主要功能的框图。
图4是表示控制器的电结构的框图。
图5是表示本发明所涉及的摄像装置的概略结构的框图。
图6是成像透镜的概略结构图。
图7是表示通过长焦光学系统的光的光线轨迹的图。
图8是表示通过广角光学系统的光的光线轨迹的图。
图9是表示成像透镜的驱动系统的概略结构的框图。
图10是通过聚焦机构驱动的长焦光学系统的动作说明图。
图11是图像传感器的概略结构图。
图12是图像传感器的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。
图13是相机微型机实现的主要功能的框图。
图14是表示通过搭载于无人航空器的摄像装置拍摄的被摄体及摄像方式的一例的图。
图15是表示通过搭载于无人航空器的摄像装置拍摄太阳能发电单元的情况的立体图。
图16是表示大致一定地保持无人航空器的高度而一边飞行一边拍摄广角图像及长焦图像的情况的图。
图17是表示图像生成部的实施方式的功能框图。
图18是表示世界坐标系、局部坐标系及图像坐标系的关系的图。
图19是表示使用SfM法并通过合成信息获取部估计的摄像装置的位置及姿势和特征点FP的三维位置的图。
图20是用于说明根据两张广角图像合成两张长焦图像的方法的图。
图21是生成合成图像的概念图。
图22是图像生成方法的流程图。
图23是表示图像生成方法的另一实施方式的流程图。
图24是表示广角图像的图。
图25是表示特征点的检测的结果的一例的图。
图26是表示减少曝光量而拍摄时的广角图像的图。
图27是表示增加曝光量而拍摄时的广角图像的图。
图28是表示宽动态范围广角图像的图。
图29是表示特征点的检测的结果的一例的图。
图30是表示获取曝光不同的两张广角图像及长焦图像时的遮光掩模的图。
图31是表示遮光掩模的排列的例子的图。
图32是图像传感器的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。
图33是图像传感器的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。
图34是表示遮光掩模与滤色器的排列的例子的图。
图35是表示滤色器的排列的图。
图36是表示图像生成部的实施方式的功能框图。
图37是表示摄像装置的动作的流程图。
图38是概念性地表示系统的图。
图39是表示图像生成装置的功能结构例的框图。
具体实施方式
以下，按照附图对本发明所涉及的摄像装置、无人移动体、摄像方法、系统及程序的优选实施方式进行说明。
图1是表示本发明所涉及的摄像装置100及无人移动体的一例及无人航空器10的外观图。
《无人航空器》
无人航空器10为移动体的一例。无人航空器10为所谓的无人机，根据基于控制器12的操作而在大气中飞行。
<无人航空器的外观结构>
如图1所示，无人航空器10构成为在主体框架14中具备多个飞行用螺旋桨16。
主体框架14构成为具备躯干部14A、从躯干部14A以放射状延伸的4个臂部14B(在图1中仅示出了两个)及从躯干部14A以放射状延伸的4个腿部14C(在图1中仅示出了两个)。
螺旋桨16设置于各臂部14B的前端。因此，在本实施方式的无人航空器10中设置有4个螺旋桨16(在图1中仅示出了两个)。
无人航空器10通过使螺旋桨16旋转而产生的浮力从而在大气中飞行。无人航空器10通过单独控制各螺旋桨16的旋转，进行上升、下降、方向转换等。并且，通过单独控制各螺旋桨16的旋转，控制飞行速度。
<无人航空器的电结构>
图2是表示无人航空器的电结构的框图。
无人航空器10具备螺旋桨驱动电机20、电机驱动器22、传感器部24、机身侧无线通信部26、机身侧有线通信部28及无人航空器微型机(微型机：微型计算机)30。
螺旋桨驱动电机20为螺旋桨16的旋转驱动机构。螺旋桨驱动电机20按每个螺旋桨16设置。各螺旋桨驱动电机20的驱动由电机驱动器22单独控制。各电机驱动器22根据来自无人航空器微型机30的指令，控制螺旋桨驱动电机20的驱动。
传感器部24检测机身的飞行状态。传感器部24构成为具备陀螺仪传感器、地磁传感器、加速度传感器、速度传感器、高度传感器及GPS(Global Positi oning System/全球定位系统)等各种传感器类。传感器部24将通过各种传感器检测到的机身的飞行状态的信息输出至无人航空器微型机30。
机身侧无线通信部26在基于无人航空器微型机30的控制下，通过无线与控制器12进行通信，并彼此收发各种信号。例如，当操作了控制器12时，根据该操作，控制信号从控制器12向无人航空器10发送。机身侧无线通信部26接收从控制器12发送的控制信号，并输出至无人航空器10。关于通信方式并无特别限定，可使用常规使用的通信方式(例如，基于无线LAN(Local Area Network/局域网)标准的通信方式、基于特定省电力无线标准的通信方式及利用了移动电话网的通信方式等)。
机身侧有线通信部28在基于无人航空器微型机30的控制下，通过有线与摄像装置100进行通信，并彼此收发各种信号。关于通信方式并无特别限定，可使用常规使用的通信方式(例如，基于USB(Universal Serial Bus/通用串行总线)标准的通信方式等)。
无人航空器微型机30为集中控制无人航空器10的整体动作的控制部。无人航空器微型机30具备CPU(Central Processing Unit/中央处理器)、ROM(Read Only Memory/只读存储器)及RAM(Random Access Memory/随机存取存储器)，并通过执行规定的程序而实现各种功能。程序存储于ROM。
图3是无人航空器微型机实现的主要功能的框图。
无人航空器微型机30通过执行规定的程序，作为移动控制部30a、相机控制部30b、机身侧无线通信控制部30c及机身侧有线通信控制部30d等而发挥功能。
移动控制部30a经由电机驱动器22控制各螺旋桨驱动电机20的驱动，由此控制无人航空器10的飞行(移动)。移动控制部30a根据从控制器12发送的控制信号及从传感器部24输出的机身的飞行状态的信息，控制各螺旋桨驱动电机20的驱动，并控制无人航空器10的飞行。例如，当从控制器12命令了上升时，以机身上升的方式控制各螺旋桨驱动电机20的驱动。并且，当从控制器12命令了下降时，以机身下降的方式控制各螺旋桨驱动电机20的驱动。而且，当从控制器12命令了回转时，以机身向被命令的方向回转的方式控制各螺旋桨驱动电机20的驱动。并且，在拍摄中，以机身以规定的速度飞行的方式控制各螺旋桨驱动电机20的驱动。并且，当获取后面说明的曝光不同的两张广角图像时，移动控制部30a降低移动速度。由此，能够获取像的模糊得到抑制的两张广角图像。
相机控制部30b根据从控制器12发送的控制信号控制摄像装置100。例如，根据来自控制器12的拍摄开始命令，使摄像装置100开始拍摄。并且，根据来自控制器12的拍摄结束命令，使摄像装置100结束拍摄。
机身侧无线通信控制部30c经由机身侧无线通信部26控制与控制器12之间的通信。
机身侧有线通信控制部30d经由机身侧有线通信部28控制与摄像装置100之间的通信。
<控制器的结构>
图4是表示控制器的电结构的框图。
控制器12具备控制器操作部12a、控制器显示部12b、控制器侧无线通信部12c及控制器微型机12d。
控制器操作部12a构成为具备操作无人航空器10及摄像装置100的各种操作部件。在操作无人航空器10的操作部件中例如包含命令无人航空器10的上升、下降的操作部件及命令无人航空器10的回转的操作部件等。在操作摄像装置100的操作部件中例如包含命令拍摄开始、拍摄结束的操作部件等。
控制器显示部12b例如由LCD(Liquid Crystal Display/液晶显示器)构成。在控制器显示部12b例如显示无人航空器10的飞行状态的信息。
控制器侧无线通信部12c在基于控制器微型机12d的控制下，通过无线与无人航空器10进行通信，并彼此收发各种信号。
控制器微型机12d为集中控制控制器12的整体动作的控制部。无人航空器微型机30具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。例如，若操作控制器操作部12a，则生成与其操作相应的控制信号，并经由控制器侧无线通信部12c发送至无人航空器10。并且，例如，经由控制器侧无线通信部12c从无人航空器10获取飞行状态的信息，并显示于控制器显示部12b。程序存储于ROM。
《摄像装置》
图5是表示本发明所涉及的摄像装置100的概略结构的框图。
摄像装置100由单镜头反光相机构成。摄像装置100经由云台搭载于无人航空器10。通过云台调整摄像方向。
摄像装置100根据来自控制器12的摄像命令连续拍摄动态图像。另外，摄像装置100并不限于动态图像，还可以依次拍摄静态图像。
如图5所示，摄像装置100构成为具备成像透镜300、图像传感器210、模拟信号处理部230、记录部232、相机侧有线通信部234及相机微型机236等。
<成像透镜>
图6是成像透镜的概略结构图。
如图6所示，作为摄像光学系统而发挥功能的成像透镜300同时拍摄视角不同的两个图像，因此具有两个光学系统(长焦光学系统310及广角光学系统320)。长焦光学系统310及广角光学系统320在同轴上进行拍摄，因此具有相同的光轴L。尤其本实施方式的成像透镜300的长焦光学系统310及广角光学系统320配置成同心圆状。并且，长焦光学系统310及广角光学系统320拍摄视角不同的图像，因此具有不同的焦距。本例的广角光学系统320为圆形的中央光学系统，长焦光学系统310为相对于中央光学系统以同心圆状配设的环状光学系统。
<长焦光学系统>
本实施方式的长焦光学系统310由反射式长焦光学系统构成。
如图6所示，长焦光学系统310构成为从被摄体侧依次配置有第1透镜310a、第1反射镜310b、第2反射镜310c、光圈310d及共用透镜330。第1透镜310a、第1反射镜310b、第2反射镜310c及光圈310d分别具有环形状。
第1反射镜310b构成反射长焦光学系统的主镜，且朝向第2反射镜310c反射通过了第1透镜310a的光。
第2反射镜310c构成反射长焦光学系统的副镜，且朝向共用透镜330反射由第1反射镜310b反射的光。
光圈310d调整从第2反射镜310c入射于共用透镜330的光的量。光圈310d构成为将多片光圈叶片组合成环状，并缩放其外径而调整光量。
共用透镜330为最终透镜。入射于长焦光学系统310的光从共用透镜330射出，并入射于图像传感器210。共用透镜330与广角光学系统320通用。
图7是表示通过长焦光学系统的光的光线轨迹的图。
如图7所示，光经由第1透镜310a、第1反射镜310b、第2反射镜310c、光圈310d及共用透镜330入射于图像传感器210。
<长焦光学系统>
本实施方式的广角光学系统320由能够利用泛焦进行拍摄的固定焦点的光学系统构成。
如图6所示，广角光学系统320从被摄体侧依次配置有第1透镜320a、第2透镜320b、光圈320c、第3透镜320d、第4透镜320e及共用透镜330。各光学要件配置于长焦光学系统310的内周部同轴上。广角光学系统320为固定焦点，因此各光学要件(包含共用透镜330)固定配置于一定位置。光圈320c也由固定光圈构成，且固定配置于一定位置。
图8是表示通过广角光学系统320的光的光线轨迹的图。
光经由第1透镜320a、第2透镜320b、光圈320c、第3透镜320d、第4透镜320e及共用透镜330入射于图像传感器210。
<成像透镜的驱动系统>
图9是表示成像透镜300的驱动系统的概略结构的框图。
如上所述，广角光学系统320为固定焦点、固定光圈，因此驱动系统仅对长焦光学系统310进行设置。
长焦光学系统310具备作为进行长焦光学系统310的调焦的调焦部而发挥功能的聚焦机构。
聚焦机构通过使长焦光学系统310的一部分光学要件沿轴前后移动，使聚焦位置位移。
图10是通过聚焦机构驱动的长焦光学系统的动作说明图。图10(A)表示使可动部移动至被摄体侧的状态，图10(B)表示使可动部移动至像面侧的状态。
如图9及图10所示，聚焦机构使构成长焦光学系统310的第1透镜310a、第1反射镜310b、第2反射镜310c及光圈310d一体地移动，而使聚焦位置位移。
聚焦机构构成为具备以沿轴一体移动自如的方式支承第1透镜310a、第1反射镜310b、第2反射镜310c及光圈310d(以下，称为“可动部”。)的支承部(未图示)和使该长焦光学系统的可动部沿轴移动的聚焦电机340。聚焦电机340例如由线性电机构成。相机微型机236经由聚焦电机驱动器340a控制聚焦电机340的驱动。
长焦光学系统310作为检测可动部的位置的机构，具备光电断路器342a及MR传感器(MR传感器：Magneto Resistive Sensor/磁阻传感器)342b。光电断路器342a检测可动部位于预先设定的原点。MR传感器342b检测可动部的位移量。通过光电断路器342a检测可动部位于原点，并通过MR传感器342b检测离原点的位移量，由此能够检测相对于原点的可动部的位置。光电断路器342a及MR传感器342b的检测结果输出至相机微型机236。相机微型机236根据光电断路器342a及MR传感器342b的输出，检测可动部的位置。
光圈310d由光圈电机344驱动。相机微型机236经由光圈驱动器344a控制光圈电机344的驱动。
<图像传感器>
图像传感器210为CMOS(CMOS：Complementary Metal Oxide Semiconduc tor/互补金属氧化物半导体)、CCD(CCD：Charged Coupled Device/电荷耦合元件)等固体成像元件，尤其由选择性地受光通过了长焦光学系统310的光及通过了广角光学系统320的光的像素二维状排列的定向传感器构成。
图11是图像传感器210的概略结构图。
如图11所示，图像传感器210具有包含二维状排列的光电转换元件在内的多个像素，且具有选择性地受光通过了长焦光学系统310的光的第1像素212A及选择性地受光通过了广角光学系统320的光的第2像素212B。第1像素212A及第2像素212B在同一平面上交替配置。
图12是图像传感器210的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。
如图12所示，各像素构成为具备光电二极管214、微透镜216及遮光掩模218。微透镜216及遮光掩模218作为对通过长焦光学系统310及广角光学系统320的光束分别进行光瞳分割而选择性地入射于图像传感器210的各像素的光瞳分割机构而发挥功能。
即，微透镜216配置于光电二极管214的前方。微透镜216将长焦光学系统310及广角光学系统320的光瞳像成像于光电二极管214。
遮光掩模218配置于微透镜216与光电二极管214之间。遮光掩模218遮光通过了微透镜216的光的一部分。第1像素212A的遮光掩模218具有遮光通过了广角光学系统320的光L2的形状。具体而言，具有圆形状。第2像素212B的遮光掩模218具有遮光通过了长焦光学系统310的光L1的形状。具体而言，具有环形状。
根据以上结构，第1像素212A选择性地受光通过了长焦光学系统310的光L1，第2像素212B选择性地受光通过了广角光学系统320的光L2。因此，通过获取第1像素212A的图像信号，能够同时获取经由长焦光学系统310获得的图像Im1的图像信号，通过获取第2像素212B的图像信号，能够获取经由广角光学系统320获得的图像Im2的图像信号。
本实施方式的成像透镜300的长焦光学系统310的光轴与广角光学系统320的光轴相同，因此长焦光学系统310的图像Im1成为放大了广角光学系统320的图像Im2的中央部分的图像，且成为没有视差的图像。
另外，当获取彩色图像时，在第1像素212A及第2像素212B中设置有滤色器。滤色器以规定排列配置。例如，由红色、绿色及蓝色这三个颜色构成的滤色器以拜耳排列配置。由此，能够获取彩色图像。
<模拟信号处理部>
在图5中，模拟信号处理部230读取从图像传感器210输出的每个像素的模拟图像信号，并实施规定的信号处理之后，转换为数字信号并输出。从模拟信号处理部230输出的数字图像信号被相机微型机236读取。
<记录部>
记录部232为各种数据的记录部。所拍摄的图像数据记录于记录部232。记录部232例如由SSD(solid state drive/固态硬盘)等使用了非易失性存储器的存储设备构成。另外，本实施方式的摄像装置100在一次拍摄中同时拍摄两个图像(长焦图像及广角图像)，因此在一次拍摄中记录两个图像。具体而言，记录通过长焦光学系统310拍摄的图像数据及通过广角光学系统320拍摄的图像数据。
<相机侧有线通信部>
相机侧有线通信部234在基于相机微型机236的控制下，通过有线与无人航空器10进行通信，并彼此收发各种信号。
<相机微型机>
相机微型机236为集中控制摄像装置100的整体动作的控制部。相机微型机236具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。程序存储于ROM。
图13是相机微型机236实现的主要功能的框图。
如图13所示，相机微型机236通过执行规定的程序，作为数字信号处理部236a、记录控制部236b、相机侧有线通信控制部236c、摄像控制部236d、光圈控制部236e、聚焦控制部236f、透镜位置检测部236g及图像生成部301等而发挥功能。
数字信号处理部236a读取从模拟信号处理部230输出的模拟图像信号，并实施规定的信号处理(例如，颜色插值、色彩分离、色彩平衡调整、伽马校正、图像增强处理等)而生成图像数据。此时，数字信号处理部236a根据图像传感器210的第1像素212A的图像信号生成长焦图像数据，并根据第2像素212B的图像信号生成广角图像数据。
记录控制部236b控制数据向记录部232的读写。通过拍摄获得的图像数据(长焦图像数据及广角图像数据)通过记录控制部236b记录于记录部232。另外，作为动态图像(或多个静态图像)拍摄的长焦图像组及广角图像组中，同时拍摄的长焦图像及广角图像的各图像数据彼此建立关联并被存储。另外，后述的多个宽动态范围广角图像(宽动态范围广角图像组)也与广角图像相同地记录于记录部232。
相机侧有线通信控制部236c经由相机侧有线通信部234控制与无人航空器10之间的通信。
作为从图像传感器210同时获取表示广角图像及长焦图像的图像信号的图像读出部而发挥功能的摄像控制部236d经由图像传感器驱动器210a控制图像传感器210的驱动。更具体而言，以规定的帧速率来拍摄动态图像的方式控制图像传感器210的驱动。
光圈控制部236e经由光圈驱动器344a控制光圈电机344的驱动。更具体而言，以光圈310d成为规定的光圈值(开口量)的方式控制光圈电机344的驱动。光圈值根据从图像传感器210获得的信号而设定。即，以成为适度曝光的方式设定光圈值。
聚焦控制部236f经由聚焦电机驱动器340a控制聚焦电机340的驱动。
透镜位置检测部236g根据来自光电断路器342a及MR传感器342b的输出检测透镜位置。
图像生成部301根据宽动态范围广角图像组及长焦图像组，生成合成了长焦图像组的图像(合成图像)。并且，图像生成部301根据广角图像组及长焦图像组，生成长焦图像组的合成图像。另外，关于图像生成部301的详细内容，将在后面叙述。
<无人航空器的动作>
无人航空器10根据控制器12的操作而在大气中飞行。具体而言，根据基于控制器12的上升命令而上升，根据下降命令而下降。并且，根据回转命令而向被命令的方向回转。
<摄像装置的动作>
摄像装置100也根据控制器12的操作进行拍摄。即，根据基于控制器12的拍摄开始的命令，开始动态图像的拍摄。并且，根据基于控制器12的拍摄结束的命令，结束动态图像的拍摄。在从拍摄开始至命令拍摄结束的期间，连续拍摄动态图像。
在此，本实施方式的摄像装置100在同轴上同时拍摄基于长焦光学系统310的长焦图像及基于广角光学系统320的广角图像。两者为没有视差的动态图像，且分别记录于记录部232。
<拍摄中的无人航空器的动作>
图14是表示通过搭载于无人航空器10的摄像装置100拍摄的被摄体及摄像方式的一例的图。
图14所示的被摄体为设置于地面的太阳能发电设备500，搭载于无人航空器10的摄像装置100通过无人航空器10从上空沿由箭头R表示的飞行路径移动而拍摄太阳能发电设备500。即，无人航空器10以摄像装置100扫描太阳能发电设备500的方式飞行，并从上空拍摄太阳能发电设备500。
太阳能发电设备500构成为有序排列多个太阳能发电单元510。一个太阳能发电单元510构成为有序排列多片太阳能电池模块520。在图14所示的例子中，以纵横5×9排列45片太阳能电池模块520而构成一个太阳能发电单元510。
图15是表示通过搭载于无人航空器10的摄像装置100拍摄太阳能发电单元510的情况的立体图，Zt表示经由长焦光学系统310拍摄的一次拍摄范围，Zw表示经由广角光学系统320拍摄的一次拍摄范围。
在图15所示的例子中，经由长焦光学系统310拍摄的一次拍摄范围Zt为能够覆盖一个太阳能发电单元510的短边方向的长度的范围，经由广角光学系统320拍摄的一次拍摄范围Zw为能够覆盖3个太阳能发电单元510的短边方向的长度的范围。
如图16所示，无人航空器10在拍摄中以大致保持一定高度的方式飞行(包含悬停)。因此，拍摄中的操作仅为回转。
作为移动控制部30a而发挥功能的无人航空器微型机30根据来自传感器部24的输出，控制各螺旋桨驱动电机20的驱动，并以大致保持一定高度的方式飞行。
现在考虑从一定的高度朝向正下方进行拍摄的情况。在该情况下，通过长焦光学系统310拍摄视角θ1的范围X1，通过广角光学系统320拍摄视角θ2的范围X2。
后述的长焦图像的合成中使用的长焦图像组在相邻的长焦图像之间范围X1无需重叠(优选以不产生间隙程度重叠范围X1)，广角图像组在相邻的广角图像之间范围X2需要充分重叠。
<无人航空器的飞行>
无人航空器10也可以是自动飞行预先设定的路径的结构。在该情况下，无需控制器12。无人航空器10根据各种传感器的信息，一边自主控制，一边飞行所确定的路径。另外，在该情况下，也在上述条件下设定飞行速度。
<基于摄像装置的拍摄>
在上述实施方式中，设为根据摄像命令连续拍摄动态图像的结构，但也可以设为周期性地拍摄静态图像的结构。
《所拍摄的图像的合成处理》
通过长焦光学系统310拍摄的多个长焦图像(长焦图像组)及通过广角光学系统320拍摄的多个广角图像(广角图像组)分别记录于记录部232。
对长焦图像组及宽动态范围广角图像组(广角图像组)的后述的图像合成处理由摄像装置100的图像生成部301(图13)进行。在该情况下，相机微型机236通过执行图像生成程序执行上述处理。
<图像合成处理>
图17是表示图像生成部301的实施方式的功能框图。
如图17所示，图像生成部301主要具备宽动态范围图像生成部302、图像获取部2a、合成信息获取部2b及合成图像生成部2c。
宽动态范围图像生成部302扩展所获取的广角图像的动态范围而生成宽动态范围广角图像。宽动态范围图像生成部302根据以少于适度曝光的曝光来拍摄而获得的广角图像，生成宽动态范围广角图像。具体而言，宽动态范围广角图像生成部通过对以少于适度曝光的曝光来拍摄的一张广角图像进行色调映射，从而扩展动态范围。由此，能够抑制广角图像中的过度曝光或曝光不足的像素。并且，宽动态范围图像生成部302根据曝光不同的两张广角图像，能够生成宽动态范围广角图像。具体而言，宽动态范围图像生成部302通过合成曝光量不同的两张广角图像，生成宽动态范围广角图像。
图像获取部2a获取宽动态范围广角图像组及长焦图像组。
合成信息获取部2b分析通过图像获取部2a获取的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息。
《获取合成信息的第1实施方式》
合成信息获取部2b分析宽动态范围广角图像组，并且分别估计作为合成信息拍摄了宽动态范围广角图像组的各宽动态范围广角图像时的摄像装置100的位置及姿势。
具体而言，提取宽动态范围广角图像组的各宽动态范围广角图像重叠的区域(重叠区域)中所包含的特征点，并特定各宽动态范围广角图像之间的特征点的对应关系(分别为局部特征量一致的对应点)。
作为对于宽动态范围广角图像之间的放大缩小(摄像距离的差异)、旋转等具有较强鲁棒性的局部特征量，已知有SIFT(Scale-invariant feature transform/尺度不变特征转换)特征量、SURF(Speed-Upped Robust Feature/加速鲁棒特征)特征量及AKAZE(Accelerated KAZE)特征量。特征量一致的对应点的数量(组数)优选具有数十组以上，因此各宽动态范围广角图像之间的重叠区域优选较大。在图16所示的例子中，各宽动态范广角图像之间的重叠区域超过了图像整体的50％。
而且，根据各宽动态范广角图像之间的对应的多个特征点分别估计摄像装置100的位置及姿势。
<摄像装置的位置及姿势的估计>
图18是表示世界坐标系、局部坐标系及图像坐标系的关系的图。
被摄体(在本例中为包含太阳能发电单元510的太阳能发电设备)的三维位置(三维形状)能够以具有原点O的XYZ正交3轴的世界坐标系来表示。
另一方面，xyz正交3轴的局部坐标系(以下，称为“相机坐标系”)为与世界坐标系独立地移动的摄像装置100(相机)的坐标系。相机坐标系的原点为相机的焦点位置，且光轴方向为z轴。
图像坐标系为表示成像于图像传感器210的图像上的点的二维位置的坐标系。图像上的特征点c的坐标(u，v)能够由自图像传感器210基准位置的像素数及像素间距来求出。
图像坐标系中的特征点c的坐标(u，v)、世界坐标系中的特征点c的坐标(X，Y，Z)、表示相机内部参数的矩阵C及表示相机外部参数的矩阵M之间的关系能够由以下式来表示。
[数式1]
Figure BDA0002804725850000201
相机内部参数包含焦距、图像传感器的图像尺寸、像素间距及图像中心位置等，是事先通过校准能够获取的参数。
表示相机外部参数的矩阵M为从世界坐标向相机坐标的坐标转换矩阵，包含表示摄像装置100的位置的平移向量及表示摄像装置100的姿势的旋转矩阵。
摄像装置100的位置及姿势通过求出表示相机外部参数的矩阵M而能够估计。作为根据多个图像上的特征点估计相机外部参数的方法，已知有运动恢复结构(SfM)法。
SfM法跟踪一边移动摄像装置100(相机)一边拍摄的图像上的多个特征点，并利用这些特征点的对应关系计算相机的位置及姿势和特征点的三维位置。但是，SfM法中能够估计相机与被摄体之间的相对位置以及相机之间的相对位置及姿势，但仅通过图像无法获得比例信息，因此无法估计绝对位置。于是，通过赋予三维位置已知的标记等绝对位置信息或被摄体的尺寸信息(例如，太阳能电池模块520的尺寸信息)等，能够估计绝对位置。
合成信息获取部2b(图17)对所输入的宽动态范围广角图像组使用上述SfM法，并且分别估计作为合成信息拍摄了宽动态范围广角图像组的各宽动态范围广角图像时的摄像装置100的位置及姿势。
另外，合成信息获取部2b并不限于使用SfM法的情况，例如，也可以使用Simultaneous Localization And Mapping(SLAM)(即时定位与地图构建)法。SLAM法中，使用根据输入图像的变化而动态更新的特征点组，能够同时估计特征点的位置和相机的位置及姿势。SLAM法的基本原理记载于非专利文献(Andrew J.Davison，“Real-TimeSimultaneous Localization and Mapping with a Single Camera”，Proceedings ofthe 9th IEEE International Conference on Computer Vision Volume 2、2003、pp.1403-1410)。
图19是表示使用SfM法并通过合成信息获取部2b估计的摄像装置100的位置及姿势和特征点FP的三维位置的图。
在图19中，XYZ坐标系为世界坐标系，在本例中，X-Y平面表示地平面，Z轴表示高度方向(高度)。并且，从摄像装置100的各摄像位置朝向地平面的线段表示摄像装置100的摄像(光轴)方向。
返回图17，合成图像生成部2c生成根据通过合成信息获取部2b获取的合成信息(在本例中，摄像装置100的位置及姿势等)、与广角光学系统320及长焦光学系统310的焦距相关的信息(在本例中，两个光学系统的视角比(焦距之比))及通过图像获取部2a获取的长焦图像组合成了长焦图像组的图像。
图20是表示根据两张宽动态范围广角图像合成两张长焦图像的方法的图。
在图20中，相邻的两张广角图像的摄像范围Zw1、Zw2彼此超过图像整体的50％而重叠，在合成信息获取部2b中，在两张宽动态范围广角图像之间的重叠区域，根据分别对应的多个特征点获取合成信息(分别拍摄了两张广角图像时的摄像装置100的位置及姿势)。合成图像生成部2c以分别拍摄了两张广角图像时的摄像装置100的位置为起点，朝向与摄像装置100的姿势对应的摄像方向将两张广角图像例如以地表面为投影面进行投影，由此能够合成以分别对应的特征点彼此重叠的方式进行了位置对准的广角图像。而且，在本发明中，在宽动态范围广角图像中进行该特征点的检测。
而且，在本发明中，代替宽动态范围广角图像，使用分别与广角图像同时拍摄的长焦图像，反映图16所示的长焦光学系统310的视角θ1与广角光学系统320的视角θ2的视角比(θ1/θ2)并进行投影，由此适当地合成两个长焦图像。长焦光学系统310及广角光学系统320中，[数式1]示出的表示相机内部参数的矩阵C(尤其焦距)不同，因此使用分析广角图像组而获取的合成信息，且反映相机内部参数的差异并进行转换，由此能够适当地合成两个长焦图像。
所合成的两张长焦图像的摄像范围Zt1、Zt2优选两个图像之间的重叠部分较少。这是因为，为了获取用于合成长焦图像的合成信息而不使用相邻的长焦图像之间的重叠部分，并且通过减少长焦图像之间的重叠部分，能够大幅减少长焦图像组的拍摄张数。
另外，即使在长焦图像之间没有重叠部分，也能够合成长焦图像组。在该情况下，在所合成的图像中出现间隙，但通过再次拍摄能够填补该间隙。并且，也能够用宽动态范围广角图像来填补间隙。在该情况下，间隙部分的图像的分辨率下降。
图21是生成合成图像的概念图。
图21示出了摄像装置100大致以直线状飞行时获得的10张宽动态范围广角图像W1～W10及根据从这些宽动态范围广角图像W1～W10获取的合成信息而合成的10张长焦图像T1～T10。另外，在图21中，为了示出宽动态范围广角图像W1～W10及长焦图像T1～T10的摄像范围，将长焦图像T1～T10图示成较小，但长焦图像T1～T10的图像尺寸较大(分辨率较高)。
返回图17，通过合成图像生成部2c合成了长焦图像组的合成图像通过输出至显示部3而能够进行显示，并且，通过输出至记录部4而能够进行保存。
用户通过显示于显示部3的合成图像能够观察被摄体(在本例中为太阳能发电设备500)，尤其在详细观察构成太阳能发电设备500的太阳能发电单元510，进而详细观察构成太阳能发电单元510的太阳能电池模块520时(观察太阳能发电单元510的污垢或缺陷等时)，能够将合成图像放大显示于显示部3。即使在如此放大显示合成图像的情况下，合成图像合成长焦图像而生成，因此分辨率高，从而能够进行详细观察。
《获取合成信息的第2实施方式》
图17所示的合成信息获取部2b分析宽动态范围广角图像组，并且以任意的宽动态范围广角图像为基准，提取与相邻的宽动态范围广角图像的重叠区域所存在的多个特征点(SIFT特征量等一致的多个组的对应点)。
接着，对基准的宽动态范围广角图像的多个特征点计算使相邻的宽动态范围广角图像的对应的特征点一致的相邻的宽动态范围广角图像的投影转换矩阵。
关于特征量一致的特征点的数量(组数)，需要检测为了对两个图像中的一个图像进行几何转换而使用的转换参数的计算所需的数量以上。
投影转换式如下式。
[数式2]
X＝(ax+by+s)/(px+qy+1)
Y＝(cx+dy+t)/(px+qy+1)
投影转换的转换参数是指[数式2]中的a、b、s、c、d、t、p及q这8个参数。并且，(x、y)、(X、Y)分别表示投影转换前后的坐标值。
因此，通过建立将多个组的特征点的坐标值分别代入于[数式2]的8个联立方程式并解开8个联立方程式，能够计算投影转换中使用的8个转换参数。
如此，根据宽动态范围广角图像组计算依次投影转换的转换参数。
合成图像生成部2c将通过合成信息获取部2b获取的投影转换的转换参数作为长焦图像组的合成中使用的合成信息来输入，并根据所输入的合成信息和与广角光学系统320及长焦光学系统310的焦距相关的信息，将相对于与基准宽动态范围广角图像对应的长焦图像的其他长焦图像组进行投影转换，以合成长焦图像组。
《获取合成信息的第3实施方式》
图17所示的合成信息获取部2b分析宽动态范围广角图像组，并且分别估计作为合成信息拍摄了宽动态范围广角图像组的各宽动态范围广角图像时的摄像装置100的位置及姿势和被摄体的立体形状。
此时的宽动态范围广角图像组为对具有立体形状的被摄体以免存在未拍摄区域的方式从各种角度拍摄的图像组。
被摄体的立体形状为在各宽动态范围广角图像之间特征一致的多个特征点的三维位置的集合，优选对多个特征点的三维位置适当进行插值并获取高密度的三维位置。
合成图像生成部2c生成在包含多个特征点的三维位置的被摄体的三维模型表面映射长焦图像组的对应的纹理并合成了长焦图像组的图像。即，合成图像生成部2c根据合成信息获取部2b获取的包含多个特征点的三维位置生成用于识别被摄体形状的多边形网格，从长焦图像组中提取与多边形网格对应的纹理并映射于所生成的多边形网格中。
合成了长焦图像组的三维的合成图像(三维图像)记录于记录部4。合成图像生成部2c或未图示的图像再现部读出记录于记录部4的三维图像，并指定视点位置及投影面等而投影三维图像，由此能够将从任意视点观察的被摄体的图像显示于显示部3。
[图像生成方法]
图22是本发明所涉及的图像生成方法的流程图。
首先，宽动态范围图像生成部302生成宽动态范围广角图像(步骤S10)(宽动态范围图像生成步骤)。然后，图像获取部2a分别输入宽动态范围广角图像组及长焦图像组(步骤S11、S12)(图像获取步骤)。
合成信息获取部2b分析所输入的宽动态范围广角图像组，并获取长焦图像组的合成中使用的合成信息(步骤S13)(合成信息获取步骤)。
合成图像生成部2c生成在步骤S14中获取的合成信息、与摄像装置100的广角光学系统320及长焦光学系统310的焦距相关的信息(视角比)及根据长焦图像组而合成了长焦图像组的合成图像(步骤S14)。关于合成图像的生成，例如通过以摄像装置100的位置为起点朝向摄像装置100的摄像方向反映广角光学系统320与长焦光学系统310的视角比并进行投影来合成长焦图像组的各长焦图像。
另外，虽然宽动态范围广角图像组的各图像的中心区域(与长焦图像的视角对应的区域)的图像与长焦图像组的各图像的分辨率不同，但为相同的图像，因此能够将分析宽动态范围广角图像组而获得的合成信息使用于长焦图像组的合成。
由此，能够大幅减少长焦图像组的拍摄张数，且能够生成高分辨率的合成图像。
图23是表示本发明所涉及的图像生成方法的另一实施方式的流程图，尤其示出了关于生成三维图像的合成信息获取部2b及合成图像生成部2c的处理顺序。
在图23中，合成信息获取部2b提取宽动态范围广角图像组的各宽动态范围广角图像重叠的区域(重叠区域)中所包含的特征点(步骤S100)，并确定各宽动态范围广角图像之间的特征点的对应关系(分别为局部特征量一致的对应点)(步骤S110)。
接着，合成信息获取部2b根据各宽动态范围广角图像之间的对应的多个特征点估计摄像装置100的位置及姿势(步骤S120)。并且，由摄像装置100的位置及姿势的估计结果同时估计特征点的三维位置(步骤S120)。
摄像装置100的位置及姿势的估计能够通过根据多个特征点的图像坐标求出[数式1]中示出的表示相机外部参数的矩阵M来进行估计。另外，作为根据多个图像上的特征点估计相机外部参数的方法，已知有SfM法及SLAM法。
估计在步骤S130中估计出的包含特征点的三维位置的被摄体的立体形状(步骤S140)，并生成对估计出的被摄体的立体形状(三维模型表面)映射长焦图像组的对应的纹理而合成了长焦图像组的图像(三维图像)(步骤S150)。
《动态范围宽的被摄体》
接着，对动态范围宽的被摄体进行说明。
图24是表示通过广角光学系统320拍摄桥梁350而获得的广角图像的图。
桥梁350具有桥墩358，且在桥墩358中存在多个裂纹C。另外，在以下说明中，主要对桥墩358的裂纹C及裂纹C的特征点进行说明而省略对其他部分的说明。
在图24中示出了具有以适度曝光来拍摄的通常的动态范围的广角图像Q1。在桥墩358中存在因朝阳而过度曝光的过度曝光区域V1。并且，在桥墩358中存在因背阴而曝光不足的曝光不足区域V2。即，桥墩358为具有过度曝光区域V1及曝光不足区域V2的动态范围宽的被摄体。在广角图像Q中，尽管在过度曝光区域V1的桥墩358中存在裂纹C，仍无法获得裂纹C的像。并且，在广角图像Q中，尽管在曝光不足区域V2的桥墩358中存在裂纹C，因曝光不足而无法获得裂纹C的像。
图25是表示基于图24所示的广角图像Q1的特征点的检测的结果的一例的图。
特征点F由合成信息获取部2b检测。合成信息获取部2b根据广角图像Q1中的裂纹C的像进行特征点F的检测，因此能够仅在很好地拍出裂纹C的像的区域对特征点F进行检测。在广角图像Q1中无法获得过度曝光区域V1及曝光不足区域V2的裂纹C的像，因此不会对过度曝光区域V1及曝光不足区域V2中的特征点F进行检测。
在此，当合成长焦图像时，合成信息获取部2b所检测的特征点F的数量越多能够获得越准确的合成信息。因此，在本发明中，通过对广角图像进行动态范围的扩展处理，检测较多的特征点F。在以下说明中，对通过获得曝光量不同的两张广角图像而获得宽动态范围广角图像的情况进行说明。
图26是表示减少曝光量来拍摄时的广角图像Q2的图。与以适度曝光来拍摄的广角图像Q1相比，以更少的曝光量来拍摄了广角图像Q2。具体而言，以在广角图像Q1中的过度曝光区域V1中也获得裂纹C的像的方式减少曝光量来拍摄了广角图像Q2。
图27是表示增加曝光量来拍摄时的广角图像Q3的图。与以适度曝光来拍摄的广角图像Q1相比，以更多的曝光量来摄像了广角图像Q3。具体而言，以在广角图像Q1中的曝光不足区域V2中也获得裂纹C的像的方式增加曝光量来拍摄了广角图像Q3。
另外，广角图像Q2从设置有在图30及图32中进行说明的遮光掩模403的第3像素212C获得，广角图像Q3从设置有遮光掩模401的第2像素212B获得。并且，广角图像Q1及广角图像Q2是在相同的摄像位置上同时拍摄的。
图28是表示宽动态范围广角图像的图。
宽动态范围广角图像U由宽动态范围图像生成部302生成。具体而言，宽动态范围广角图像U通过对广角图像Q2及广角图像Q3进行动态范围扩展处理(合成)而生成。所生成的宽动态范围广角图像U扩展了动态范围而能够获得过度曝光区域V1及曝光不足区域V2的裂纹C的像。
图29是表示在宽动态范围广角图像U中进行了特征点F的检测的结果的一例的图。合成信息获取部2b通过根据宽动态范围广角图像U进行特征点F的检测，能够检测更多的特征点F。若与基于通常的动态范围的广角图像U1的特征点F的检测结果(参考图25)进行比较，则在基于宽动态范围广角图像U的特征点F的检测结果中，进行了更多的特征点F的检测。这是因为，在宽动态范围广角图像U中，在过度曝光区域V1及曝光不足区域V2获得了裂纹C的像，因此在过度曝光区域V1及曝光不足区域V2也能够检测特征点F。
如上所述，通过根据宽动态范围广角图像U进行特征点F的检测，能够检测更多的特征点F，从而能够获得更准确的合成信息。
《广角图像的获取方式》
接着，对获取输入于宽动态范围图像生成部302的不同曝光的两张广角图像的例子进行说明。
当获取不同曝光的两张图像时，有改变曝光而进行两次拍摄以获取两张图像的方法。但是，在该方法中，因拍摄两张图像时出现时间上的偏移，因此有时会出现像的偏移。
在此，以下对在摄像装置100中同时获取曝光不同的两张广角图像的方法进行说明。
图30是表示获取曝光不同的两张广角图像及长焦图像时的遮光掩模的图。通过使用图30所示的三种遮光掩模，在一次拍摄中能够同时获得曝光量不同的两张广角图像及长焦图像。从设置有中央孔大尺寸的遮光掩模401及中央孔小尺寸的遮光掩模403的光电二极管214获取曝光量不同的两张摄像图像。在此，曝光量的差异根据遮光掩模的中央孔的尺寸的大小而发生。即，通过改变开口形状的面积而曝光量不同。例如，若将直径设为1/4，则光量成为1/16，由此能够发现4个光圈份的曝光量的差异。另外，用户能够根据遮光掩模的中央孔的尺寸调节相对于适度曝光的曝光量的多少。并且，从设置有环形遮光掩模405的光电二极管214获取长焦图像。
图31是表示在图30中进行说明的三种遮光掩模的排列的例子的图。在图31中，(1)表示中央孔大尺寸的遮光掩模401，(2)表示中央孔小尺寸的遮光掩模403，(3)表示环形遮光掩模405。如图31所示，排列成中央孔大尺寸的遮光掩模401及中央孔小尺寸的遮光掩模403与环形遮光掩模405的棋盘格花纹(黑白格花纹)。具体而言，在4×4的排列中，在a行及c行中交替排列中央孔大尺寸的遮光掩模401与环形遮光掩模405，在b行及d行中交替排列环形遮光掩模405与中央孔小尺寸的遮光掩模403。并且，在I列及III列中，交替排列中央孔大尺寸的遮光掩模401与环形遮光掩模405，在II列及IV列中，交替排列环形遮光掩模405与中央孔小尺寸的遮光掩模403。
图32是设置有图30所示的遮光掩模时的图像传感器210的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。另外，对在图12中已进行说明的部分标注相同的符号，并省略说明。
如图32所示，各像素构成为具备光电二极管214、微透镜216及遮光掩模401、403、405。微透镜216及遮光掩模401、403、405作为对通过长焦光学系统310及广角光学系统320的光束分别进行光瞳分割而选择性地入射于图像传感器210的各像素的光瞳分割机构而发挥功能。
遮光掩模401、403、405配置于微透镜216与光电二极管214之间。遮光掩模401、403、405遮光通过了微透镜216的光的一部分。第1像素212A的遮光掩模405遮光通过了广角光学系统320的光L2。第2像素212B的遮光掩模401遮光通过了长焦光学系统310的光L1。第3像素212C的遮光掩模403遮光通过了长焦光学系统310的光L1。在此，因遮光掩模401及遮光掩模403的中央孔的大小不同(参考图30)而光L1的遮光量不同。因此，能够获取曝光量不同的广角图像。
根据以上结构，第1像素212A选择性地受光通过了长焦光学系统310的光L1，第2像素212B选择性地受光通过了广角光学系统320的光L2，第3像素212C选择性地受光通过了广角光学系统320的光L2。由此，通过获取第1像素212A的图像信号，能够同时获取经由长焦光学系统310获得的长焦图像的图像信号。并且，通过获取第2像素212B及第3像素212C的图像信号，能够同时获取经由广角光学系统320获得的曝光量不同的两张广角图像的图像信号。
图33是获得彩色图像信号时的图像传感器210的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。另外，对在图12及图32中已进行说明的部分标注相同的符号，并省略说明。
在图33中，在微透镜216的与光电二极管214对置的面设置有红色滤色器R。由此，能够获取经由红色长焦光学系统310获得的长焦图像的图像信号及经由红色广角光学系统320获得的曝光量不同的两张广角图像的图像信号。
图34是表示图30所示的三种遮光掩模与滤色器的排列的例子的图。在图33中示出了红色(R)、绿色(G)及蓝色(B)滤色器的排列和与滤色器对应的遮光掩模401、403及405。例如，将蓝色滤色器与遮光掩模405对应地配置的位置以符号405B来表示，红色(R)、绿色(G)及蓝色(B)滤色器的排列与遮光掩模401、403及405之间的对应关系以符号来表示。具体而言，在4×4的排列中，在a行中，排列成符号405B、符号401B、符号405R及符号401R。并且，在c行中，排列成符号405R、符号403R、符号405B及符号403B。并且，在b行及d行中，排列成符号401G、符号405G、符号403G及符号405G。
并且，在I列中，排列成符号405B、符号401G、符号405R及符号401G。在II列中，排列成符号401B、符号405G、符号403R及符号405G。在III列中，排列成符号405R、符号403G、符号405B及符号403G。在IV列中，排列成符号401R、符号405G、符号403B及符号405G。通过设为这种排列，能够大致均等地获得遮光掩模401、403及405的红色(R)、绿色(G)及蓝色(B)像素。
图35是表示通过以图34所示的4×4的排列为一个单位进行其重复而覆盖图像传感器210的整面的滤色器的排列的图。
《其他实施方式》
接着，对本发明的其他实施方式进行说明。
图36是表示本实施方式的图像生成部301的实施方式的功能框图。另外，对在图17中已进行说明的部分标注相同的符号，并省略说明。
图像生成部301主要具备宽动态范围图像生成部302、判断部411、图像获取部2a、合成信息获取部2b及合成图像生成部2c。
判断部411根据广角图像的光强度的幅度，判断是否执行基于宽动态范围图像生成部302的宽动态范围广角图像的生成。然后，仅在通过判断部411判断为执行宽动态范围广角图像的生成时，宽动态范围图像生成部302生成宽动态范围广角图像。另一方面，当通过判断部411判断为不执行宽动态范围广角图像的生成时，宽动态范围图像生成部302不生成宽动态范围广角图像。在该情况下，广角图像输入于图像获取部2a。
判断部411的判断基准能够采用各种基准。例如，判断部411根据广角图像的亮度范围的大小进行判断。具体而言，当亮度范围为阈值以上时，生成宽动态范围广角图像，当亮度范围小于阈值时，不生成宽动态范围广角图像。并且，例如，当广角图像的过度曝光和/或曝光不足的像素的数量为阈值以上时，判断部411判断为生成宽动态范围广角图像，当广角图像的过度曝光和/或曝光不足的像素的数量小于阈值时，判断为不生成宽动态范围广角图像。并且，例如，当广角图像的过度曝光和/或曝光不足的区域的大小为阈值以上时，判断部411判断为生成宽动态范围广角图像，当广角图像的过度曝光和/或曝光不足的区域的大小小于阈值时，判断为不生成宽动态范围广角图像。
并且，判断部411也可以根据在宽动态范围广角图像中与合成信息获取部2b所分析的区域对应的所述广角图像的区域的光强度的幅度进行判断。具体而言，当拍摄在图24、图25及图26中进行说明的桥梁350时，判断部411判断桥梁350的亮度的范围。在该情况下，区域352及区域354不是桥梁350而是背景的区域，因此并不包含于判断的区域。另一方面，区域356为桥梁350的一部分区域，因此包含于判断的区域。
接着，对本实施方式的判断部411的判断的时机进行说明。图37是表示拍摄第1广角图像之后，通过判断部411进行判断，然后拍摄第2广角图像时的摄像装置100的动作的流程图。另外，在以下说明中，省略了关于与第1广角图像及第2广角图像同时获取的长焦图像的获取的说明。
首先，获取第1广角图像(步骤S200)，并输入于宽动态范围图像生成部302。然后，判断部411获取第1广角图像，并判断第1广角图像的亮度范围是否为阈值以上(步骤S201)(判断步骤)。当第1广角图像的亮度范围为阈值以上时，关于下一个广角图像(第2广角图像)，获取用于生成宽动态范围广角图像的广角图像(步骤S203)。具体而言，以少于适度曝光的曝光来拍摄广角图像，或拍摄曝光不同的两张广角图像。如此获取的第2广角图像输入于宽动态范围图像生成部302而生成宽动态范围广角图像(步骤S204)。另一方面，当第1广角图像的亮度范围小于阈值时，通过通常的摄像(不生成宽动态范围广角图像)获取第2广角图像(步骤S205)。
《系统》
在上述说明中，对在摄像装置100中进行长焦图像合成的方式进行了说明，但也可以通过搭载有图像生成装置2的计算机进行长焦图像的合成。
图38是概念性地表示本发明的系统1的图。本发明的系统1由搭载有摄像装置100的无人航空器10及图像生成装置2构成。通过摄像装置100获取的宽动态范围广角图像及长焦图像输入于图像生成装置2。宽动态范围广角图像及长焦图像向图像生成装置2的输入可以在每次进行拍摄时进行，也可以每隔规定期间进行。并且，也可以在结束通过摄像装置100获取所有摄像图像之后，将宽动态范围广角图像及长焦图像一次性地输入于图像生成装置2。另外，宽动态范围广角图像及长焦图像向图像生成装置2的输入通过有线或无线进行。
图39是表示本实施方式的图像生成装置2的功能结构例的框图。另外，对已进行说明的部分标注相同的符号，并省略说明。
图像生成装置2具备图像获取部2a、合成信息获取部2b及合成图像生成部2c。通过图像获取部2a获取由摄像装置100获取的长焦图像及宽动态范围广角图像。然后，通过合成信息获取部2b从宽动态范围广角图像获取合成信息。然后，根据合成信息、与广角光学系统320及长焦光学系统310的焦距相关的信息以及长焦图像组合成长焦图像组。
[其他]
并且，摄像装置100搭载于无人航空器10，但摄像装置100并不限于无人航空器，也可以搭载于有人航空器、人造卫星、汽车、机器人及其他移动体。并且，也可以设为如下方式，即，将摄像装置100搭载于云台等，并且一边使相机回转一边进行拍摄，进而手持来一边改变摄像装置100的位置一边进行拍摄。在该情况下，无需移动体。
为了使计算机作为图像生成装置2发挥功能而安装于计算机的图像生成程序、记录有该图像生成程序的计算机能读取的记录介质(非暂时性记录介质)也是本发明的一方式。
并且，分析宽动态范围广角图像组而获取的合成信息并不限定于本实施方式，只要是根据宽动态范围广角图像之间的重叠区域中所包含的多个特征点获取且使用于长焦图像组的合成的合成信息，则可以是任何信息。并且，所合成的长焦图像可以是二维图像，也可以是三维图像。
而且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，能够进行各种变形是不言而喻的。
符号说明
1-图像生成系统，2-图像生成装置，2a-图像获取部，2b-合成信息获取部，2c-合成图像生成部，3-显示部，4、124、232-记录部，10-无人航空器，12-控制器，12a-控制器操作部，12b-控制器显示部，12c-控制器侧无线通信部，12d-控制器微型机，14-主体框架，14A-躯干部，14B-臂部，14C-腿部，16-螺旋桨，20-螺旋桨驱动电机，22-电机驱动器，24-传感器部，26-机身侧无线通信部，28-机身侧有线通信部，30-无人航空器微型机，30a-移动控制部，30b-相机控制部，30c-机身侧无线通信控制部，30d-机身侧有线通信控制部，100-摄像装置，210-图像传感器，210a-图像传感器驱动器，212A-第1像素，212B-第2像素，214-光电二极管，216-微透镜，218-遮光掩模，230-模拟信号处理部，234-相机侧有线通信部，236-相机微型机，236a-数字信号处理部，236b-记录控制部，236c-相机侧有线通信控制部，236d-摄像控制部，236e-光圈控制部，236f-聚焦控制部，236g-透镜位置检测部，300-成像透镜，301-图像生成部，302-宽动态范围图像生成部，310-长焦光学系统，310a-第1透镜，310b-第1反射镜，310c-第2反射镜，310d-光圈，320-广角光学系统，320a-第1透镜，320b-第2透镜，320c-光圈，320d-第3透镜，320e-第4透镜，330-共用透镜，340-聚焦电机，340a-聚焦电机驱动器，342a-光电断路器，342b-MR传感器，344-光圈电机，344a-光圈驱动器，500-太阳能发电设备，510-太阳能发电单元，520-太阳能电池模块，FP-特征点，Im1、Im2-图像，L-光轴，L1、L2-光，M-矩阵，O-原点，R-箭头，T1～T10-长焦图像，W1～W10-广角图像，X1、X2-范围，Zt、Zt1、Zt2、Zw、Zw1、Zw2-摄像范围，θ1、θ2-视角。

Claims (17)

1.一种摄像装置，其具备：
摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；
定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由所述广角光学系统及所述长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素；
宽动态范围图像生成部，根据来自所述定向传感器的图像信号，生成经由所述广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；
图像获取部，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，所述宽动态范围广角图像组由通过所述宽动态范围图像生成部生成的所述宽动态范围广角图像构成，所述长焦图像组与所述宽动态范围广角图像组同时拍摄且由来自所述定向传感器的图像信号即经由所述长焦光学系统拍摄的长焦图像构成；
合成信息获取部，分析所述获取的所述宽动态范围广角图像组，并获取所述长焦图像组的合成中使用的合成信息；及
合成图像生成部，生成根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组来合成所述长焦图像组而得的图像。
2.根据权利要求1所述的摄像装置，其中，
所述合成信息获取部分析所述宽动态范围广角图像组，并检测所述宽动态范围广角图像的特征点。
3.根据权利要求1或2所述的摄像装置，其中，
所述合成信息获取部通过运动恢复结构法或即时定位与地图构建法分别估计拍摄了所述宽动态范围广角图像时的摄像位置及姿势和所述被摄体的立体形状。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像装置具备：
判断部，根据所述广角图像的光强度的幅度，判断是否执行基于所述宽动态范围图像生成部的所述宽动态范围广角图像的生成，
当不进行基于所述宽动态范围图像生成部的所述宽动态范围广角图像的生成时，所述图像获取部获取由所述广角图像构成的广角图像组及所述长焦图像组，
所述合成信息获取部分析所述广角图像组，并获取所述长焦图像组的合成中使用的所述合成信息。
5.根据权利要求4所述的摄像装置，其中，
所述判断部在所述宽动态范围广角图像中，根据与所述合成信息获取部所分析的区域对应的所述广角图像的区域的光强度的幅度进行判断。
6.根据权利要求1至5中任一项所述的摄像装置，其中，
所述宽动态范围图像生成部根据以少于适度曝光的曝光来拍摄而获得的所述广角图像，生成所述宽动态范围广角图像。
7.根据权利要求1至5中任一项所述的摄像装置，其中，
所述宽动态范围图像生成部根据曝光不同的两张所述广角图像，生成所述宽动态范围广角图像。
8.根据权利要求7所述的摄像装置，其中，
所述定向传感器同时接受与曝光不同的多个所述广角图像对应的光束。
9.一种无人移动体，其搭载权利要求7所述的摄像装置，且具备控制移动的移动控制部，
所述移动控制部在获取曝光不同的两张所述广角图像时降低移动速度。
10.一种无人移动体，其搭载权利要求1至8中任一项所述的摄像装置，且具备控制移动的移动控制部。
11.一种摄像方法，其为摄像装置的摄像方法，所述摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；和定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由所述广角光学系统及所述长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，所述摄像方法包括：
宽动态范围图像生成步骤，根据来自所述定向传感器的图像信号，生成经由所述广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；
图像获取步骤，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，所述宽动态范围广角图像组由在所述宽动态范围图像生成步骤中生成的所述宽动态范围广角图像构成，所述长焦图像组与所述宽动态范围广角图像组同时拍摄且由来自所述定向传感器的图像信号即经由所述长焦光学系统拍摄的长焦图像构成；
合成信息获取步骤，分析所述获取的所述宽动态范围广角图像组，并获取所述长焦图像组的合成中使用的合成信息；及
合成图像生成步骤，生成根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组来合成所述长焦图像组而得的图像。
12.根据权利要求11所述的摄像方法，其中，
所述合成信息获取步骤中，分析所述宽动态范围广角图像组，并检测所述宽动态范围广角图像的特征点。
13.根据权利要求11或12所述的摄像方法，其中，
所述合成信息获取步骤中，通过运动恢复结构法或即时定位与地图构建法分别估计拍摄了所述宽动态范围广角图像时的摄像位置及姿势和所述被摄体的立体形状。
14.根据权利要求11至13中任一项所述的摄像方法，其中，
所述摄像方法包括：
判断步骤，根据所述广角图像的光强度的幅度，判断是否执行基于所述宽动态范围图像生成步骤的所述宽动态范围广角图像的生成，
所述图像获取步骤中，当不进行基于所述宽动态范围图像生成步骤的所述宽动态范围广角图像的生成时，获取由所述广角图像构成的广角图像组及所述长焦图像组，
所述合成信息获取步骤中，分析所述广角图像组，并获取所述长焦图像组的合成中使用的所述合成信息。
15.一种系统，其由摄像装置及图像生成装置构成，其中，
所述摄像装置具备：
摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；
定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由所述广角光学系统及所述长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素；及
宽动态范围图像生成部，根据来自所述定向传感器的图像信号，生成经由所述广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像，
所述图像生成装置具备：
图像获取部，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，所述宽动态范围广角图像组由通过所述宽动态范围图像生成部生成的所述宽动态范围广角图像构成，所述长焦图像组与所述宽动态范围广角图像组同时拍摄且由来自所述定向传感器的图像信号即经由所述长焦光学系统拍摄的长焦图像构成；
合成信息获取部，分析所述获取的所述宽动态范围广角图像组，并获取所述长焦图像组的合成中使用的合成信息；及
合成图像生成部，生成根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组来合成所述长焦图像组而得的图像。
16.一种程序，其使计算机执行摄像工序，所述摄像工序为摄像装置的摄像工序，所述摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；和定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由所述广角光学系统及所述长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，所述摄像工序包括：
宽动态范围图像生成步骤，根据来自所述定向传感器的图像信号，生成经由所述广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；
图像获取步骤，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，所述宽动态范围广角图像组由在所述宽动态范围图像生成步骤中生成的所述宽动态范围广角图像构成，所述所述长焦图像组与所述宽动态范围广角图像组同时拍摄且由来自所述定向传感器的图像信号即经由所述长焦光学系统拍摄的长焦图像构成；
合成信息获取步骤，分析所述获取的所述宽动态范围广角图像组，并获取所述长焦图像组的合成中使用的合成信息；及
合成图像生成步骤，生成根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组来合成所述长焦图像组而得的图像。
17.一种记录介质，其为非暂时性且计算机能读取的记录介质，当通过计算机读取了存储于所述记录介质的指令时，使计算机执行摄像工序，所述摄像工序为摄像装置的摄像工序，所述摄像装置具备：摄像光学系统，包括具有共同的光轴的广角光学系统及长焦光学系统；和定向传感器，具有包含二维状排列的光电转换元件在内的多个像素且包含对经由所述广角光学系统及所述长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，所述摄像工序包括：
宽动态范围图像生成步骤，根据来自所述定向传感器的图像信号，生成经由所述广角光学系统拍摄的广角图像的动态范围扩展了的宽动态范围广角图像；
图像获取步骤，获取一边改变摄像位置一边拍摄了被摄体的宽动态范围广角图像组及长焦图像组，其中，所述宽动态范围广角图像组由在所述宽动态范围图像生成步骤中生成的所述宽动态范围广角图像构成，所述长焦图像组与所述宽动态范围广角图像组同时拍摄且由来自所述定向传感器的图像信号即经由所述长焦光学系统拍摄的长焦图像构成；
合成信息获取步骤，分析所述获取的所述宽动态范围广角图像组，并获取所述长焦图像组的合成中使用的合成信息；及
合成图像生成步骤，生成根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组来合成所述长焦图像组而得的图像。
CN201980036262.4A 2018-06-21 2019-06-04 摄像装置、无人移动体、摄像方法、系统及记录介质 Active CN112425148B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-118240 2018-06-21
JP2018118240 2018-06-21
PCT/JP2019/022149 WO2019244621A1 (ja) 2018-06-21 2019-06-04 撮像装置、無人移動体、撮像方法、システム、及びプログラム

Publications (2)

Publication Number Publication Date
CN112425148A true CN112425148A (zh) 2021-02-26
CN112425148B CN112425148B (zh) 2022-04-08

Family

ID=68983357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980036262.4A Active CN112425148B (zh) 2018-06-21 2019-06-04 摄像装置、无人移动体、摄像方法、系统及记录介质

Country Status (4)

Country Link
US (1) US11122215B2 (zh)
JP (1) JP6964772B2 (zh)
CN (1) CN112425148B (zh)
WO (1) WO2019244621A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770622A (zh) * 2017-06-21 2020-02-07 富士胶片株式会社 摄像装置及移动摄像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7298116B2 (ja) * 2018-08-03 2023-06-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7415439B2 (ja) * 2019-10-28 2024-01-17 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター
WO2021149484A1 (ja) * 2020-01-20 2021-07-29 ソニーグループ株式会社 画像生成装置、画像生成方法、および、プログラム
US11443443B2 (en) * 2020-07-16 2022-09-13 Siemens Industry Software Inc Method and a data processing system for aligning a first panoramic image and a second panoramic image in a navigation procedure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155293A1 (en) * 2011-12-16 2013-06-20 Samsung Electronics Co., Ltd. Image pickup apparatus, method of providing composition of image pickup and computer-readable recording medium
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN106464786A (zh) * 2014-06-27 2017-02-22 富士胶片株式会社 摄像装置
CN106791377A (zh) * 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US20180096487A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Systems and methods for fusing images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4463099B2 (ja) 2004-12-28 2010-05-12 株式会社エヌ・ティ・ティ・データ モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
JP4832878B2 (ja) 2005-12-09 2011-12-07 倉敷紡績株式会社 画像合成処理装置及び方法
EP3223505B1 (en) * 2014-11-21 2019-12-04 FUJIFILM Corporation Imaging device, imaging method, and program
JP6543050B2 (ja) 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法
JP6570904B2 (ja) 2015-07-10 2019-09-04 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム
JP6633746B2 (ja) * 2016-05-17 2020-01-22 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
JPWO2019093090A1 (ja) * 2017-11-10 2020-11-26 シャープ株式会社 画像処理装置、画像撮像装置、画像処理方法およびプログラム
JP7296817B2 (ja) * 2019-08-07 2023-06-23 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155293A1 (en) * 2011-12-16 2013-06-20 Samsung Electronics Co., Ltd. Image pickup apparatus, method of providing composition of image pickup and computer-readable recording medium
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN106464786A (zh) * 2014-06-27 2017-02-22 富士胶片株式会社 摄像装置
US20180096487A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Systems and methods for fusing images
CN106791377A (zh) * 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770622A (zh) * 2017-06-21 2020-02-07 富士胶片株式会社 摄像装置及移动摄像装置

Also Published As

Publication number Publication date
JP6964772B2 (ja) 2021-11-10
US20210075953A1 (en) 2021-03-11
CN112425148B (zh) 2022-04-08
JPWO2019244621A1 (ja) 2021-07-29
US11122215B2 (en) 2021-09-14
WO2019244621A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN110622499B (zh) 图像生成装置、图像生成系统、图像生成方法及记录介质
CN112425148B (zh) 摄像装置、无人移动体、摄像方法、系统及记录介质
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
CN107079087B (zh) 摄像装置及对象物识别方法
US9025060B2 (en) Solid-state image sensor having a shielding unit for shielding some of photo-electric converters and image capturing apparatus including the solid-state image sensor
US20090201361A1 (en) Panoramic Camera With Multiple Image Sensors Using Timed Shutters
US10489885B2 (en) System and method for stitching images
US9560278B2 (en) Imaging device, imaging device drive method, and imaging device control program
US10602067B2 (en) Image processing apparatus, image processing method, image pickup apparatus and storage medium that calculates a correction quality to correct a shake of viewpoint images and a mixture ratio for generation of a virtual viewpoint when generating the virtual viewpoint image using an amount of change in position of an imaging unit
JP5657184B2 (ja) 撮像装置及び信号処理方法
US11012607B2 (en) Imaging apparatus and image composition apparatus
US20210019899A1 (en) Imaging device, distance measurement method, distance measurement program, and recording medium
JP2017181797A (ja) 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
CN112866546B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2023008102A1 (ja) 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム
US20230247290A1 (en) Image capture apparatus and control method thereof
US20230379445A1 (en) Image processing device, moving apparatus, image processing method, and storage medium
JP2023168743A (ja) 撮影システム、ビデオサーバシステム
CN117294963A (zh) 一种基于动态视觉传感器与图像传感器融合的稳像方法
CN115345929A (zh) 全景图像处理方法和全景相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant