CN107005627A - 摄像装置、摄像方法及程序 - Google Patents

摄像装置、摄像方法及程序 Download PDF

Info

Publication number
CN107005627A
CN107005627A CN201580061053.7A CN201580061053A CN107005627A CN 107005627 A CN107005627 A CN 107005627A CN 201580061053 A CN201580061053 A CN 201580061053A CN 107005627 A CN107005627 A CN 107005627A
Authority
CN
China
Prior art keywords
image
optical system
photographs
optical axis
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580061053.7A
Other languages
English (en)
Other versions
CN107005627B (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107005627A publication Critical patent/CN107005627A/zh
Application granted granted Critical
Publication of CN107005627B publication Critical patent/CN107005627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

本发明提供一种能够通过简单的处理结构减少光学系统之间的拍摄光的干涉的影响而获取高质量的图像的摄像装置、摄像方法及程序。本发明的摄像装置(30)具备：摄影光学系统(11)，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统(21)及第2光学系统(22)；成像元件(24)，包括选择性接收透过第1光学系统(21)的光的第1传感器组(24a)和选择性接收透过第2光学系统(22)的光的第2传感器组(24b)；及图像合成部(33)，对在第1光学系统(21)的光轴(L)不同的状态下拍摄的多个第1摄影图像进行对位，并通过对已对位的多个第1摄影图像进行合成而生成第1生成图像，并且对在第2光学系统(22)的光轴(L)不同的状态下拍摄的多个第2摄影图像进行对位，并通过对已对位的多个第2摄影图像进行合成而生成第2生成图像。

Description

摄像装置、摄像方法及程序
技术领域
本发明涉及一种使用光学特性不同的多种光学系统来进行拍摄的摄像装置、摄像方法及程序，尤其涉及一种改善因光学系统之间的拍摄光的干涉(串扰)而有可能降低的摄影图像的画质的技术。
背景技术
摄像装置的技术领域中，已知有通过使用具有多个特性的光学系统进行拍摄而同时获取多种图像的技术。
例如，专利文献1中公开了一种组合有具有多种光学特性的多透镜和定向传感器的摄像装置。根据该摄像装置，能够利用光瞳分割而获取焦距及对焦距离中的至少任一个不同的多个摄影图像。
组合有这种多透镜和定向传感器的摄像装置中，有时在光学特性不同的透镜(光学系统)之间拍摄光进行干涉(串扰)，从而导致在本来意图的图像上重叠未意图的图像成分。例如，当多透镜包括广角透镜和长焦透镜时，广角图像成分和长焦图像成分被混合，其结果，在广角图像上重叠有长焦图像，或者在长焦图像上重叠有广角图像。
关于光学特性不同的透镜(光学系统)之间的这种拍摄光的干涉(串扰)，专利文献3中所公开的摄像装置中，通过进行对应于各透镜的光学特性的图像处理而减少了干扰成分。
以往技术文献
专利文献
专利文献1：国际公开第2013/146506号
发明内容
发明要解决的技术课题
如上述，能够通过图像处理而减少由组合有多透镜和定向传感器的摄像装置拍摄的图像中的干扰成分。然而，有时因被摄体、多透镜和定向传感器的特性及其他摄影条件而很难从图像有效去除这种干扰成分。
尤其，在实际所使用的定向传感器的采样密度较低且无法无视信道之间的空间相位差的情况、所使用的定向传感器的线性度较差的情况、通过定向传感器接收的拍摄光的强度过强或者过弱的情况、定向传感器的相邻像素中泄漏有图像光(摄像信号)的情况、或者被摄体图像具有尖锐边缘(轮廓)成分的情况中，若提高如专利文献3中所公开的图像处理的处理强度，则有时所混入的拍摄光反而被强调而画质得不到充分改善。如此，当通过图像处理减少由组合有多透镜和定向传感器的摄像装置拍摄的图像中的干扰成分时，有可能在图像质量上产生不良影响，尤其当使用了干扰程度较大的定向传感器时很难得到优质的图像。
并且，进行减少光学系统之间的拍摄光的干涉(串扰)的影响的图像处理时，需要考虑伴随这种图像处理中所需要的运算时间(处理时间)、成本及图像处理电路和图像处理程序的安装的系统上的影响。例如，运算处理中需要较长时间，或者用于实现图像处理的成本较高，或者图像处理电路和图像处理程序的安装较复杂的情况成为阻碍实现这种图像处理的原因，因此不优选。
从而，期待从与以往技术中不同的观点提出用于减少光学系统之间的拍摄光的干涉的影响的新技术。尤其，期待提出一种即使在实际摄影状况不佳的情况下，也不会损害所谓能够同时获取多种图像的摄像装置的特性而能够提供高质量的所希望图像的简单的处理结构的新的画质改善技术。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够通过简单的处理结构减少光学系统之间的拍摄光的干涉的影响而获取高质量的图像的摄像方法及其应用技术。
用于解决技术课题的手段
本发明的一方式涉及一种摄像装置，其具备：摄影光学系统，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统及第2光学系统；成像元件，包括选择性接收透过第1光学系统的光的第1传感器组和选择性接收透过第2光学系统的光的第2传感器组；及图像生成部，根据从第1传感器组输出的第1摄影图像生成第1生成图像，并且根据从第2传感器组输出的第2摄影图像生成第2生成图像，图像生成部具有图像合成部，图像合成部对在第1光学系统的光轴不同的状态下拍摄的多个第1摄影图像进行对位，并通过对已对位的多个第1摄影图像进行合成而生成第1生成图像，并且对在第2光学系统的光轴不同的状态下拍摄的多个第2摄影图像进行对位，并通过对已对位的多个第2摄影图像进行合成而生成第2生成图像。
根据本方式，已对位的多个第1摄影图像进行经合成而生成第1生成图像。从而，即使第1摄影图像中包括基于透过第2光学系统的光的干扰图像，在第1生成图像中这种干扰图像的影响被减弱，从而能够使基于透过第1光学系统的光的所希望图像的鲜明度良好。同样地，由于已对位的多个第2摄影图像经合成而生成第2生成图像，因此在第2生成图像中基于透过第1光学系统的光的干扰图像的影响被减弱，从而能够使基于透过第2光学系统的光的所希望图像的鲜明度良好。如此，由于通过图像处理从第1摄影图像生成第1生成图像，且从第2摄影图像生成第2生成图像，因此无需增加特殊的硬件便能够通过简单的处理结构减少光学系统之间的拍摄光的干涉的影响而获取高质量的图像。
优选多个第1摄影图像在第1光学系统的光轴的方向不同的状态下被拍摄并从第1传感器组输出，并且多个第2摄影图像在第2光学系统的光轴的方向不同的状态下被拍摄并从第2传感器组输出。
根据本方式，能够在多个第1摄影图像之间改变基于透过第1光学系统的光的所希望图像和基于透过第2光学系统的光的干扰图像的相对位置，从而能够在第1生成图像中有效地减弱干扰图像的影响。同样地，能够在多个第2摄影图像之间改变基于透过第2光学系统的光的所希望图像和基于透过第1光学系统的光的干扰图像的相对位置，从而能够在第2生成图像中有效地减弱干扰图像的影响。
优选多个第1摄影图像在第1光学系统的光轴相对于被摄体的相对位置不同的状态下被拍摄并从第1传感器组输出，并且多个第2摄影图像在第2光学系统的光轴相对于被摄体的相对位置不同的状态下被拍摄并从第2传感器组输出。
根据本方式，能够在多个第1摄影图像之间改变基于透过第1光学系统的光的所希望图像和基于透过第2光学系统的光的干扰图像的相对位置，从而能够在第1生成图像中有效地减弱干扰图像的影响。同样地，能够在多个第2摄影图像之间改变基于透过第2光学系统的光的所希望图像和基于透过第1光学系统的光的干扰图像的相对位置，从而能够在第2生成图像中有效地减弱干扰图像的影响。
优选图像合成部根据第1光学系统的光轴的状态及第1光学系统的焦距对多个第1摄影图像进行对位，并且根据第2光学系统的光轴的状态及第2光学系统的焦距，对多个第2摄影图像进行对位。
根据本方式，能够根据第1光学系统的焦距主动对多个第1摄影图像进行对位，并且能够根据第2光学系统的焦距，主动对多个第2摄影图像进行对位。
关于图像合成部获取第1光学系统的焦距及第2光学系统的焦距的方法并无特别限定。例如，当能够更换摄影光学系统(第1光学系统及第2光学系统)时，优选在每次更换摄影光学系统时，图像合成部获取第1光学系统的焦距及第2光学系统的焦距。另一方面，当无法更换摄影光学系统(第1光学系统及第2光学系统)时，图像合成部可以预先存储并保持第1光学系统的焦距及第2光学系统的焦距。并且，图像合成部可以根据附随第1摄影图像的数据获取第1光学系统的焦距，也可以根据附随第2摄影图像的数据获取第2光学系统的焦距。
优选图像合成部对多个第1摄影图像进行分析而获取多个第1摄影图像的每一个中的第1标准图像部的位置，并根据第1标准图像部的位置对多个第1摄影图像进行对位，并且对多个第2摄影图像进行分析而获取多个第2摄影图像的每一个中的第2标准图像部的位置，并根据第2标准图像部的位置对多个第2摄影图像进行对位。
根据本方式，无需获取第1光学系统的焦距及第2光学系统的焦距便能够对多个第1摄影图像进行对位并且对多个第2摄影图像进行对位。
优选图像合成部将已对位的多个第1摄影图像的数据相加并计算相加后的数据的平均，由此对多个第1摄影图像进行合成，并且将已对位的多个第2摄影图像的数据相加并计算相加后的数据的平均，由此对多个第2摄影图像进行合成。
根据本方式，能够通过相加平均运算处理对多个第1摄影图像进行合成并且对多个第2摄影图像进行合成。
优选图像合成部根据对应于拍摄时的第1光学系统的光轴的状态而确定的权重计算多个第1摄影图像的数据的加权平均，由此对多个第1摄影图像进行合成，并且根据对应于拍摄时的第2光学系统的光轴的状态而确定的权重计算多个第2摄影图像的数据的加权平均，由此对多个第2摄影图像进行合成。
根据本方式，能够通过加权平均运算处理对多个第1摄影图像进行合成并且对多个第2摄影图像进行合成。
优选对应于第1光学系统的光轴的状态而确定的权重通过基于第1光学系统的光轴的状态的高斯分布来确定，对应于第2光学系统的光轴的状态而确定的权重通过基于第2光学系统的光轴的状态的高斯分布来确定。
根据本方式，能够通过采用了权重的加权平均运算处理对多个第1摄影图像进行合成并且对多个第2摄影图像进行合成，并能够使第1生成图像及第2生成图像中的干扰图像平滑地模糊，该权重通过基于光轴的状态的高斯分布而确定。
优选多个第1摄影图像在第1光学系统的光轴越接近标准状态时被拍摄得越密集，在越远离标准状态时被拍摄得越稀疏，并从第1传感器组输出，并且多个第2摄影图像在第2光学系统的光轴越接近标准状态时被拍摄得越密集，在越远离标准状态时被拍摄得越稀疏，并从第2传感器组输出。
根据本方式，多个第1摄影图像的分布密度根据第1光学系统的光轴的状态与标准状态的关系而改变，从而能够在第1生成图像中使干扰图像有效地模糊。同样地，多个第2摄影图像的分布密度根据第2光学系统的光轴的状态与标准状态的关系而改变，从而能够在第2生成图像中使干扰图像有效地模糊。
优选拍摄多个第1摄影图像时的第1光学系统的光轴的状态的分布密度根据高斯分布而确定，并且拍摄多个第2摄影图像时的第2光学系统的光轴的状态的分布密度根据高斯分布而确定。
根据本方式，由于光轴的状态的分布密度根据高斯分布而确定，因此能够使第1生成图像及第2生成图像中的干扰图像平滑地模糊。
优选图像生成部还具有图像校正部，该图像校正部对第1摄影图像及第2摄影图像进行校正，从而减少第1摄影图像中的透过第2光学系统的光的影响，并且减少第2摄影图像中的透过第1光学系统的光的影响。
根据本方式，由于第1摄影图像中的透过第2光学系统的光的影响减少，并且第2摄影图像中的透过第1光学系统的光的影响减少，因此能够生成有效地减少了干扰图像的第1生成图像及第2生成图像。
优选图像校正部根据由第1摄影图像及第2摄影图像的检测增益分布及干扰增益分布构成的矩阵的逆矩阵进行校正。
根据本方式，通过使用了矩阵的运算处理能够轻松地减少第1摄影图像中的透过第2光学系统的光的影响，并且能够减少第2摄影图像中的透过第1光学系统的光的影响。
优选图像校正部进一步对第1摄影图像进行校正来减少第1光学系统的像差的影响，并且对第2摄影图像进行校正来减少第2光学系统的像差的影响。
根据本方式，第1摄影图像及第2摄影图像中的像差的影响减少，从而能够提高第1生成图像及第2生成图像的画质。
优选多个第1摄影图像在第1光学系统的光轴一维不同的状态下被拍摄并从第1传感器组输出，并且多个第2摄影图像在第2光学系统的光轴一维不同的状态下被拍摄并从第2传感器组输出。
根据本方式，多个第1摄影图像在第1光学系统的光轴一维不同的状态下被拍摄，并且多个第2摄影图像在第2光学系统的光轴一维不同的状态下被拍摄。“光轴一维不同的状态”例如能够通过使光轴的朝向(角度)或光轴相对于被摄体的相对位置线性变化而实现。
优选多个第1摄影图像在第1光学系统的光轴二维不同的状态下被拍摄并从第1传感器组输出，并且多个第2摄影图像在第2光学系统的光轴二维不同的状态下被拍摄并从第2传感器组输出。
根据本方式，多个第1摄影图像在第1光学系统的光轴二维不同的状态下被拍摄，并且多个第2摄影图像在第2光学系统的光轴二维不同的状态下被拍摄。“光轴二维不同的状态”例如能够通过使光轴的朝向(角度)或光轴相对于被摄体的相对位置以平面状变化而实现。
优选摄像装置还具备光学系统驱动器，该光学系统驱动器可通过移动摄影光学系统而改变第1光学系统及第2光学系统的光轴的状态。
根据本方式，能够通过光学系统驱动器主动改变第1光学系统及第2光学系统的光轴的状态。
优选光学系统驱动器为对摄影光学系统进行平摇及俯仰的平摇俯仰装置。
根据本方式，能够通过平摇俯仰装置轻松地改变第1光学系统及第2光学系统的光轴的状态(尤其方向)。
优选摄像装置还具备保持被摄体的被摄体保持部和使被摄体保持部移动的被摄体驱动器。
根据本方式，能够通过使被摄体移动来改变第1光学系统及第2光学系统的光轴相对于被摄体的状态。
本发明的另一方式涉及一种摄像装置的摄像方法，该摄像装置具备：
摄影光学系统，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统及第2光学系统；成像元件，包括选择性接收透过第1光学系统的光的第1传感器组和选择性接收透过第2光学系统的光的第2传感器组；及图像生成部，根据从第1传感器组输出的第1摄影图像生成第1生成图像，并且根据从第2传感器组输出的第2摄影图像生成第2生成图像，其中，在图像生成部中包括如下步骤：对在第1光学系统的光轴不同的状态下拍摄的多个第1摄影图像进行对位；通过对已对位的多个第1摄影图像进行合成而生成第1生成图像；对在第2光学系统的光轴不同的状态下拍摄的多个第2摄影图像进行对位；及通过对已对位的多个第2摄影图像进行合成而生成第2生成图像。
本发明的另一方式涉及一种用于使计算机执行摄像装置的摄像方法中的步骤的程序，该摄像装置具备：摄影光学系统，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统及第2光学系统；成像元件，包括选择性接收透过第1光学系统的光的第1传感器组和选择性接收透过第2光学系统的光的第2传感器组；及图像生成部，根据从第1传感器组输出的第1摄影图像生成第1生成图像，并且根据从第2传感器组输出的第2摄影图像生成第2生成图像，其中，使计算机执行图像生成部中的如下步骤：对在第1光学系统的光轴不同的状态下拍摄的多个第1摄影图像进行对位；通过对已对位的多个第1摄影图像进行合成而生成第1生成图像；对在第2光学系统的光轴不同的状态下拍摄的多个第2摄影图像进行对位；及通过对已对位的多个第2摄影图像进行合成而生成第2生成图像。
发明效果
根据本发明，已对位的多个第1摄影图像经合成而生成第1生成图像，因此在第1生成图像中基于透过第2光学系统的光的干扰图像的影响被减弱，从而能够使基于透过第1光学系统的光的所希望图像的鲜明度良好。并且，根据本发明，已对位的多个第2摄影图像经合成而生成第2生成图像，因此在第2生成图像中基于透过第1光学系统的光的干扰图像的影响被减弱，从而能够使基于透过第2光学系统的光的所希望图像的鲜明度良好。如此，由于通过图像处理从第1摄影图像生成第1生成图像，并且从第2摄影图像生成第2生成图像，因此无需增加特殊的硬件便能够通过简单的处理结构减少光学系统之间的拍摄光的干涉的影响而获取高质量的图像。
附图说明
图1为表示能够应用本发明的数码相机(摄像装置)的一例的立体图。
图2为表示能够应用本发明的自动跟踪摄像装置(摄像装置)的一例的立体图。
图3为表示第1实施方式所涉及的摄影光学系统及成像元件的截面结构的图。
图4为表示图3所示的成像元件的详细截面结构例的图。
图5为表示入射于图3所示的摄影光学系统(尤其第1光学系统)及成像元件(尤其第1传感器组(参考图4))的广角图像光的光路的图。
图6为表示入射于图3所示的摄影光学系统(尤其第2光学系统)及成像元件(尤其第2传感器组(参考图4))的长焦图像光的光路的图。
图7为表示第1实施方式所涉及的摄像装置的功能结构例的框图。
图8为表示图像合成部的功能结构例的框图。
图9为表示对准数据获取部及合成处理部的处理的一例的框图。
图10为表示对准数据获取部及合成处理部的处理的另一例的框图。
图11为表示第1实施方式所涉及的图像生成部中的生成图像数据(第1生成图像数据及第2生成图像数据)的生成流程的流程图。
图12为表示摄像主体部能够通过光学系统驱动器而移动的情况的一例的框图。
图13为表示通过采用了摄影图像数据的相加平均的合成方法获取生成图像数据的情况的一例的流程图。
图14为表示通过采用了摄影图像数据的加权平均的合成方法获取生成图像数据的情况的一例的流程图。
图15(a)～图15(c)为用于说明“具有二维空间分布的信号”与“位移合成的分布”的卷积运算的概念图，图15(a)中例示具有与位置对应的亮度分布的“信号(图像数据)”，图15(b)中例示规定与位置对应的权重的“位移合成的分布(卷积核)”，图15(c)中例示进行了图15(a)所示的信号与图15(b)所示的位移合成的分布的卷积运算的结果。
图16为表示构成位移合成的分布的多个δ函数的强度分布的一例的图，尤其为用于说明根据高斯分布设定多个δ函数的强度分布(权重)的例的图。
图17(a)～图17(b)为表示构成位移合成的分布的多个δ函数的强度分布的另一例的图，图17(a)为用于说明对基于位置的强度分布设定密度差的例的图，图17(b)为用于说明根据高斯分布设定该密度差的例的图。
图18为用于说明基于平摇动作的长焦图像的偏移量的图，图18(a)表示在第1平摇位置拍摄的第2摄影图像(长焦图像)，图18(b)表示在第2平摇位置拍摄的第2摄影图像(长焦图像)。
图19为用于说明基于平摇动作的广角图像的偏移量的图，图19(a)表示在第1平摇位置拍摄的第1摄影图像(广角图像)，图19(b)表示在第2平摇位置拍摄的第1摄影图像(广角图像)。
图20为用于说明包括干扰图像(广角图像)的长焦图像(所希望图像)的偏移量的图，图20(a)表示在第1平摇位置拍摄的第2摄影图像(长焦图像)，图20(b)表示在第2平摇位置拍摄的第2摄影图像(长焦图像)。
图21为用于说明包括干扰图像(长焦图像)的广角图像(所希望图像)的偏移量的图，图21(a)表示在第1平摇位置拍摄的第1摄影图像(广角图像)，图21(b)表示在第2平摇位置拍摄的第1摄影图像(广角图像)。
图22为用于说明第1实施方式中的摄影图像的合成机理的图，图22(a)表示在第1平摇位置获取的“包括干扰图像(广角图像)的长焦图像(所希望图像)”，图22(b)表示图22(a)所示的长焦图像(所希望图像)的一部分与干扰图像(广角图像)的位置关系的概要，图22(c)简化表示图22(b)所示的位置关系，图22(d)表示在第2平摇位置获取的“包括干扰图像(广角图像)的长焦图像(所希望图像)”，图22(e)表示图22(d)所示的长焦图像(所希望图像)的一部分与干扰图像(广角图像)的位置关系的概要，图22(f)简化表示图22(e)所示的位置关系，图22(g)表示基于图22(b)所示的示意图和图22(e)所示的示意图的合成显示例，图22(h)表示与基于图22(c)所示的简化视图和图22(f)所示的简化视图的合成有关的概念图。
图23(a)～图23(b)为表示通过第1实施方式所涉及的摄像装置获取的长焦图像的生成例的图，图23(a)表示多个摄影图像(长焦图像)，图23(b)表示通过多个摄影图像的对位及合成而生成的长焦图像的一例。
图24(a)～图24(b)为表示通过第1实施方式所涉及的摄像装置获取的广角图像的生成例的图，图24(a)表示多个摄影图像(广角图像)，图24(b)表示通过多个摄影图像的对位及合成而生成的广角图像的一例。
图25为表示第2实施方式所涉及的图像生成部的功能结构例的框图。
图26(a)～图26(b)表示受到因第1光学系统和第2光学系统之间的拍摄光的干涉(串扰)而引起的画质降低的影响的广角图像(参考图26(a))及长焦图像(参考图26(b))的一例。
图27为用于说明光学系统之间的拍摄光的干涉的机理的概念图。
图28为表示标准广角图像、标准长焦图像、输出广角图像、输出长焦图像及由检测增益分布及干扰增益分布构成的矩阵的关系的图。
图29为表示对图28所示的行列式应用“由检测增益分布及干扰增益分布构成的矩阵”的逆矩阵而得到的行列式的图。
图30表示将图29的行列式简化表示的行列式。
图31表示构成图30所示的“W1”的元素。
图32表示根据图30所示的行列式导出的“w1_ij”的计算公式。
图33表示根据图30所示的行列式导出的“t1_ij”的计算公式。
图34(a)～图34(b)表示进行“基于由检测增益分布及干扰增益分布构成的矩阵的逆矩阵的校正处理”时的图像例，图34(a)表示广角图像例，图34(b)表示长焦图像例。
图35(a)～图35(b)表示在进行“基于由检测增益分布及干扰增益分布构成的矩阵的逆矩阵的校正处理”之后进行第1实施方式所涉及的“对位后的合成处理”时的图像例，图35(a)表示广角图像例，图35(b)表示长焦图像例。
图36表示在进行“基于由检测增益分布及干扰增益分布构成的矩阵的逆矩阵的校正处理”之后进行第1实施方式所涉及的“对位后的合成处理”时的另一图像例。
图37为表示图像生成部的功能结构的一变形例的框图。
图38为表示图像生成部的功能结构的另一变形例的框图。
图39为例示第3实施方式所涉及的摄像装置的框图。
图40为表示本发明的摄像装置的一实施方式的智能手机的外观的图。
图41为表示图40所示的智能手机的结构的框图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
本发明能够广泛应用于能够使用具有多种光学特性的摄影光学系统来拍摄多种图像的摄像装置、摄像方法、撮像工序及该些应用技术中，能够应用本发明的技术领域并无特别限定。例如，本发明不仅能够应用于根据用户操作而进行拍摄的摄像装置，还能够应用于自动进行拍摄的摄像装置，并且本发明不仅能够应用于拍摄静止图像的摄像装置，还能够应用于拍摄动态图像的摄像装置。
图1为表示能够应用本发明的数码相机10(摄像装置30)的一例的立体图。图1所示的例中，在数码相机10的相机主体的前表面设置有摄影光学系统11及闪光灯13等，在相机主体的上表面设置有释放按钮12等。图1中的符号“L”表示摄影光学系统11的光轴。
图2为表示能够应用本发明的自动跟踪摄像装置14(摄像装置30)的一例的立体图。图2所示的自动跟踪摄像装置14中，包括齿轮19的保持部18和安装在保持部18的摄影光学系统11固定安装在设置于装置主体15上的底座16上。底座16被设置成围绕装置主体15的垂直方向Z的轴旋转自如，并通过未图示的平摇驱动部进行围绕垂直方向Z的轴的平摇动作。齿轮19设置在与水平方向X的轴相同的轴上，从未图示俯仰驱动部经由齿轮19传递驱动力，由此使摄影光学系统11向上下方向转动并进行俯仰动作。这些摄影光学系统11、保持部18(齿轮19)及底座16被防尘及防水用球形罩17覆盖。
以下进行说明的本发明的各实施方式及各变形例例如可以应用于如图1所示的数码相机10，也可以应用于如图2所示的自动跟踪摄像装置14。
<第1实施方式>
图3为表示第1实施方式所涉及的摄影光学系统11及成像元件24的截面结构的图。
摄影光学系统11包括具有彼此独立的特性的第1光学系统21及第2光学系统22，尤其在本实施方式中由焦距不同的光学系统构成第1光学系统21及第2光学系统22。即，本实施方式的摄影光学系统11包括由“广角图像摄影透镜组”构成的第1光学系统21和由“长焦图像摄影透镜组”构成的第2光学系统22，并通过成像元件24同时拍摄广角图像及长焦图像。
图3所示的第1光学系统21包括配置于相同的光轴L上的第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c、第4广角用透镜21d及共用透镜23。另一方面，第2光学系统22包括第1长焦用透镜22a、设有第1长焦用反射镜22c的第1长焦用反射体22b、设有第2长焦用反射镜22e的第2长焦用反射体22d及共用透镜23。本例的第1光学系统21(尤其第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c及第4广角用透镜21d)形成中央光学系统。另一方面，本例的第2光学系统22(尤其第1长焦用透镜22a、第1长焦用反射体22b、第1长焦用反射镜22c、第2长焦用反射体22d及第2长焦用反射镜22e)设置于由第1光学系统21形成的中央光学系统的周边，并与由第1光学系统21形成的中央光学系统一起形成同心圆。另外，共用透镜23配置于光轴L上，并在第1光学系统21与第2光学系统22之间共用。
如此，本例的摄影光学系统11包括具有共用的光轴L并具有彼此不同的焦距的第1光学系统21及第2光学系统22。
成像元件24以多个受光传感器25对于与光轴L呈垂直的方向二维配置的方式构成。尤其，本实施方式的成像元件24同时接收经由第1光学系统21照射的广角图像光和经由第2光学系统22照射的长焦图像光，从而构成能够输出用于生成广角图像(第1摄影图像)的摄像信号和用于生成长焦图像(第2摄影图像)的摄像信号的定向传感器。即，本实施方式的成像元件24具有多个受光传感器25，该受光传感器25与第1光学系统21及第2光学系统22的每一个对应地设置，并对透过第1光学系统21及第2光学系统22中的相对应的光学系统的光进行光瞳分割而选择性受光。
图4为表示图3所示的成像元件24的详细截面结构例的图。
构成本例的成像元件24的多个受光传感器25包括与第1光学系统21对应的“广角图像用第1受光传感器25a”和与第2光学系统22对应的“长焦图像用第2受光传感器25b”，这些第1受光传感器25a及第2受光传感器25b被二维交替配置。成像元件24所包括的多个第1受光传感器25a构成“选择性接收透过第1光学系统21的光的第1传感器组24a”，并输出用于生成广角图像的摄像信号。并且，成像元件24所包括的多个第2受光传感器25b构成“选择性接收透过第2光学系统22的光的第2传感器组24b”，并输出用于生成长焦图像的摄像信号。如此，本例的成像元件24包括与第1光学系统21对应的第1传感器组24a和与第2光学系统22对应的第2传感器组24b。
第1受光传感器25a及第2受光传感器25b的每一个具有微透镜26、光电二极管29及配置有微透镜26和光电二极管29的中间层27。中间层27中设有遮光罩28，在第1受光传感器25a中于光电二极管29的受光面的周边部配置有遮光罩28，并且在第2受光传感器25b中于光电二极管29的受光面的中央部配置有遮光罩28。遮光罩28的配置根据对应于第1光学系统21及第2光学系统22中的哪一个而确定，各遮光罩28遮挡来自非对应的光学系统的光，但并不遮挡来自相对应的光学系统的光而使光电二极管29受光。
本例中，通过包括遮光罩28的受光传感器25而实现对透过第1光学系统21及第2光学系统22中的相对应的光学系统的光进行光瞳分割而选择性受光的多个受光传感器，但也可以通过其他机构实现光瞳分割。例如，可以在微透镜26的前段(例如微透镜26与共用透镜23(参考图3)之间)设置遮光罩28，也可以使用遮光罩28以外的遮光机构(例如液晶快门等)。
另外，中间层27中可以设有遮光罩28以外的部件，例如RGB(红绿蓝)等滤色器或配线/电路类可以设置于中间层27。
图5为表示入射于图3所示的摄影光学系统11(尤其第1光学系统21)及成像元件24(尤其第1传感器组24a(参考图4))的广角图像光W的光路的图。本实施方式中，广角图像光W依次透过第1光学系统21的第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c、第4广角用透镜21d及共用透镜23，从而广角图像在成像元件24上成像。
图6为表示入射于图3所示的摄影光学系统11(尤其第2光学系统22)及成像元件24(尤其第2传感器组24b(参考图4))的长焦图像光T的光路的图。本实施方式中，长焦图像光T透过(透射)第1长焦用透镜22a，并通过第1长焦用反射镜22c及第2长焦用反射镜22e的每一个而反射之后透过共用透镜23，从而长焦图像在成像元件24上成像。如此，通过第1长焦用反射镜22c及第2长焦用反射镜22e的每一个反射而光路被折回，由此能够缩短焦距较长的长焦图像摄影用第2光学系统22在光轴L的方向上的长度。
接着，对有可能在通过上述摄影光学系统11及成像元件24获取的广角图像(第1摄影图像)及长焦图像(第2摄影图像)上产生的画质降低的情况进行说明。
摄影光学系统11及成像元件24中，当经由第1光学系统21到达成像元件24的广角图像光和经由第2光学系统22到达成像元件24的长焦图像光的光瞳分割性不够充分时，广角图像光与长焦图像光的分离变得不够充分，从而可得到广角图像和长焦图像重叠混合在一起的图像。即，若长焦图像光泄漏到意图仅接收广角图像光的第1传感器组24a(第1受光传感器25a的光电二极管29(参考图4))，则得到重叠有一部分长焦图像成分的广角图像。同样地，若广角图像光泄漏到意图仅接收长焦图像光的第2传感器组24b(第2受光传感器25b的光电二极管29(参考图4))，则得到重叠有一部分广角图像成分的长焦图像。
如此，若透过第1光学系统21的拍摄光(广角图像光)和透射第2光学系统22的拍摄光(长焦图像光)之间存在干涉，则构成成像元件24的各受光传感器25的输出中会混入本来不应分离而受光的图像成分的信号。
本案发明人鉴于上述情况进行深入研究的结果，新发现了如下方法：着眼于当摄像装置30(摄影光学系统11)相对于被摄体而相对移动时，在广角图像与长焦图像之间图像位置的变化不同，而通过利用了这种图像变化的不同点的图像处理获取高质量的广角图像及长焦图像这两者。
例如，图3所示的摄影光学系统11中，使用于广角图像的摄影的第1光学系统21和使用于长焦图像的摄影的第2光学系统22具有共用的光轴L，且广角图像的图像中心和长焦图像的图像中心相同。另一方面，当使用第1光学系统21及第2光学系统22拍摄相同的被摄体来作为广角图像及长焦图像时，关于成像元件24上的图像的大小，透过第2光学系统22的被摄体图像(长焦图像)比透过第1光学系统21的被摄体像(广角图像)大。如此，当拍摄相同的被摄体来作为广角图像及长焦图像时，长焦图像中的被摄体像比广角图像中的被摄体像大。因此，关于当通过平摇及俯仰等而第1光学系统21及第2光学系统22的光轴L的状态发生变化时的图像位置，在广角图像中变化量相对变小，而在长焦图像中变化量相对变大。
另外，关于广角图像和长焦图像之间的被摄体像的大小比例，若不考虑像差等其他影响，则与广角透镜(第1光学系统21)的焦距和长焦透镜(第2光学系统22)的焦距之比大致一致。例如，若以“k”表示常数，以“fw”表示广角透镜(第1光学系统21)的焦距，以“ft”表示长焦透镜(第2光学系统22)的焦距，以“θ”表示包括摄影光学系统11的摄像装置30的平摇角度，以“Sw”表示透过广角透镜(第1光学系统21)的像在成像元件24(第1传感器组24a)上的移动量，以“St”表示透过长焦透镜(第2光学系统22)的像在成像元件24(第2传感器组24b)上的移动量，则以下式(1)及式(2)成立。
(1)Sw＝k·fw·tan(θ)
(2)St＝k·ft·tan(θ)
即使在第1光学系统21与第2光学系统22之间被拍摄光互相干涉而产生干扰，通过平摇及俯仰等而第1光学系统21及第2光学系统22的光轴L的状态发生变化的情况下的图像位置的移动量也在广角图像与长焦图像之间不同。因此，在第1光学系统21及第2光学系统22的光轴L的状态变化前后，在本来意图的所希望图像和本来未意图的干扰图像之间位置关系产生偏移。
本案发明人发现了通过利用该“光轴L变化前后的所希望图像与干扰图像的位置关系的偏移”，能够大幅减少广角图像及长焦图像的每一个中的干扰图像的成分的影响，从而极其有效地防止广角图像及长焦图像的视认性恶化的新的方法。
图7为表示第1实施方式所涉及的摄像装置30的功能结构例的框图。
本例的摄像装置30具有上述摄影光学系统11(第1光学系统21及第2光学系统22)及成像元件24(第1传感器组24a及第2传感器组24b)，除此以外还具有图像生成部32(图像合成部33)、主控制器37、图像处理部38、图像存储部39、显示控制器40、显示部41及用户操作部42。图像生成部32(图像合成部33)、主控制器37及图像处理部38例如通过由一个或多个微处理器执行存储在未图示的存储部中的各种软件而实现。
图像生成部32根据从第1传感器组24a输出的第1摄影图像数据D11生成第1生成图像数据D21，并根据从第2传感器组24b输出的第2摄影图像数据D12生成第2生成图像数据D22。本例的图像生成部32具有图像合成部33，该图像合成部33通过对多个摄影图像进行合成而生成生成图像数据。即，图像合成部33对在第1光学系统21的光轴L不同的状态下拍摄的多个第1摄影图像数据D11进行对位，并对这些已对位的多个第1摄影图像数据D11进行合成，由此生成第1生成图像数据D21。同样地，图像合成部33对在第2光学系统22的光轴L不同的状态下拍摄的多个第2摄影图像数据D12进行对位，并对这些已对位的多个第2摄影图像数据D12进行合成，由此生成第2生成图像数据D22。
如此，对多个摄影图像数据进行对位之后进行合成，由此对于所希望的图像成分能够提高清晰度。另一方面，所希望的图像中所包含的干扰图像成分通过对摄影图像进行对位而在摄影图像之间配置于不同的部位，因此合成之后的生成图像数据中，强度变得相对较小，且不明显。这效果在越增加所合成的摄影图像数据的数量时越明显。
对于基于图像合成部33的对位处理及合成处理的具体例，在后面叙述。
另外，优选多个第1摄影图像数据D11的每一个与将相同的被摄体作为摄影对象的图像有关，并且多个第2摄影图像数据D12的每一个也与将相同的被摄体作为摄影对象的图像有关。从而，当被摄体随时间变化时，优选通过缩短图像之间的摄影周期而使被摄体的动作的影响不显现于多个第1摄影图像数据D11及多个第2摄影图像数据D12。
在图像生成部32生成的第1生成图像数据D21及第2生成图像数据D22例如被传送至设置于后段的图像处理部38、图像存储部39及显示控制器40等，或者被传送至控制图像生成部32的主控制器37。
图像处理部38对被传送过来的第1生成图像数据D21及第2生成图像数据D22进行任意图像处理，且可以将图像处理后的第1生成图像数据D21及第2生成图像数据D22传送到图像存储部39、显示控制器40或主控制器37。图像存储部39存储被传送过来的第1生成图像数据D21及第2生成图像数据D22。显示控制器40将根据被传送过来的第1生成图像数据D21及第2生成图像数据D22而再现的广角图像(第1生成图像)和/或长焦图像(第2生成图像)显示于显示部41。
主控制器37与构成摄影光学系统11、成像元件24、图像生成部32、图像处理部38、图像存储部39、显示控制器40、显示部41、用户操作部42及摄像装置30的其他各部连接，从而控制各部中的处理功能。用户操作部42由用户操作而输入有各种指示命令，输入到用户操作部42的各种指示命令被发送至主控制器37，主控制器37能够根据来自用户操作部42的指示命令控制摄像装置30的各部。
图8为表示图像合成部33的功能结构例的框图。
本例的图像合成部33具有对准数据获取部34及合成处理部35，从多个第1摄影图像数据D11生成第1生成图像数据D21，并且从多个第2摄影图像数据D12生成第2生成图像数据D22。
对准数据获取部34获取多个第1摄影图像数据D11彼此之间的位置偏移量及多个第2摄影图像数据D12彼此之间的位置偏移量。即，图像合成部33中输入有在第1光学系统21的光轴L不同的状态下被拍摄的多个第1摄影图像数据D11，并通过对准数据获取部34获取为了消除第1光学系统21的光轴L的偏移而需要的“所输入的多个第1摄影图像数据D11彼此之间的位置偏移量”来作为对准数据。同样地，图像合成部33中输入有在第2光学系统22的光轴L不同的状态下被拍摄的多个第2摄影图像数据D12，并通过对准数据获取部34获取为了消除第2光学系统22的光轴L的偏移而需要的“所输入的多个第2摄影图像数据D12彼此之间的位置偏移量”来作为对准数据。在此所说的“位置偏移量”能够根据任意观点确定，例如能够通过关于“多个第1摄影图像数据D11”及“多个第2摄影图像数据D12”的每一个，为了使图像中的所希望图像(例如主要被摄体)的位置成为相同的位置而需要的像素移位量来表现。
合成处理部35根据通过对准数据获取部34获取的“多个第1摄影图像数据D11彼此之间的位置偏移量”对多个第1摄影图像(广角图像)进行对位，并通过对已对位的多个第1摄影图像(广角图像)进行合成而生成第1生成图像数据D21。同样地，合成处理部35根据通过对准数据获取部34获取的“多个第2摄影图像数据D12彼此之间的位置偏移量”对多个第2摄影图像(长焦图像)进行对位，并通过对已对位的多个第2摄影图像(长焦图像)进行合成而生成第2生成图像数据D22。如此，在对位后进行图像合成，由此能够维持或提高本来意图的所希望图像的画质，并且大幅减少本来未意图的干扰图像的影响。
另外，对准数据获取部34及合成处理部35中的处理方法并无特别限定，能够通过任意方法进行“多个第1摄影图像数据D11的对位及合成”及“多个第2摄影图像数据D12的对位及合成”。
图9为表示对准数据获取部34及合成处理部35的处理的一例的框图。
本例的对准数据获取部34根据移动量基础数据D31获取对准数据D32。即，对准数据获取部34根据用于计算“多个第1摄影图像数据D11彼此之间的位置偏移量”及“多个第2摄影图像数据D12彼此之间的位置偏移量”的运算公式(例如参考上述式(1)及式(2))，从主控制器37等获取计算该位置偏移量时所需要的基础数据(例如上述常数“k”、第1光学系统21及第2光学系统22的焦距“fw”和“ft”及包括摄影光学系统11的摄像装置30的平摇角度“θ”等)来作为移动量基础数据D31，从而计算对准数据D32。而且，合成处理部35根据从对准数据获取部34传送过来的对准数据D32，通过对多个第1摄影图像数据D11进行对位及合成而生成第1生成图像数据D21，并且通过对多个第2摄影图像数据D12进行对位及合成而生成第2生成图像数据D22。
如此，本例的对准数据获取部34(图像合成部33)根据第1光学系统21的光轴L的状态及第1光学系统21的焦距fw对多个第1摄影图像进行对位，并且根据第2光学系统22的光轴L的状态及第2光学系统22的焦距ft对多个第2摄影图像进行对位。从而，本例适用于能够预先掌握“获取多个第1摄影图像数据D11时的第1光学系统21的光轴L的状态的差异量”及“获取多个第2摄影图像数据D12时的第2光学系统22的光轴L的状态的差异量”的情况，例如能够适用于能够通过自动跟踪摄像装置14(参考图2)等主动控制并改变摄影光学系统11的光轴L的状态的情况。
图10为表示对准数据获取部34及合成处理部35的处理的另一例的框图。
本例的对准数据获取部34通过对第1摄影图像数据D11及第2摄影图像数据D12进行分析而获取对准数据D32。即，对准数据获取部34通过对多个第1摄影图像数据D11进行分析而获取“多个第1摄影图像数据D11彼此之间的位置偏移量”，并通过对多个第2摄影图像数据D12进行分析而获取“多个第2摄影图像数据D12彼此之间的位置偏移量”。
另外，用于获取位置偏移量的图像分析方法并无特别限定，对准数据获取部34能够通过进行任意图像分析而获取“多个第1摄影图像数据D11彼此之间的位置偏移量”及“多个第2摄影图像数据D12彼此之间的位置偏移量”。例如，可以是通过图像分析而获取“多个第1摄影图像(广角图像)的每一个中的标准图像部”及“多个第2摄影图像(长焦图像)的每一个中的标准图像部”的位置，并根据通过分析获取的“标准图像部的位置”获取“多个第1摄影图像数据D11彼此之间的位置偏移量”及“多个第2摄影图像数据D12彼此之间的位置偏移量”。另外，在此所说的标准图像部能够根据任意观点确定，并可以根据与边缘(轮廓)有关的图像特征数据或与频率有关的图像特征数据等确定。从而，对准数据获取部34例如可以使用通过利用脸辨识处理等被摄体辨识处理而检测出的主要被摄体像来作为标准图像部，也可以根据摄影图像中的主要被摄体的位置获取“多个第1摄影图像数据D11彼此之间的位置偏移量”及“多个第2摄影图像数据D12彼此之间的位置偏移量”。
而且，合成处理部35根据从对准数据获取部34传送过来的对准数据D32对多个第1摄影图像数据D11进行对位及合成，由此生成第1生成图像数据D21，并且对多个第2摄影图像数据D12进行对位及合成，由此生成第2生成图像数据D22。
如此，本例的对准数据获取部34(图像合成部33)对多个第1摄影图像数据D11进行分析而获取该多个第1摄影图像数据D11的每一个中的第1标准图像部的位置，并根据该第1标准图像部的位置对多个第1摄影图像数据D11进行对位，并且对多个第2摄影图像数据D12进行分析而获取该多个第2摄影图像数据D12的每一个中的第2标准图像部的位置，并根据该第2标准图像部的位置对多个第2摄影图像数据D12进行对位。从而，本例不仅能够应用于能够预先掌握“获取多个第1摄影图像数据D11时的第1光学系统21的光轴L的状态的差异量”及“获取多个第2摄影图像数据D12时的第2光学系统22的光轴L的状态的差异量”的情况，还能够应用于无法预先掌握该些差异量的情况。因此，本例例如可以应用于通过自动跟踪摄像装置14(参考图2)等主动控制并改变摄影光学系统11的光轴L的状态的情况，也可以应用于因数码相机10(参考图1)的抖动等而摄影光学系统11的光轴L的状态随机改变的情况。
图11为表示第1实施方式所涉及的图像生成部32中的生成图像数据(第1生成图像数据D21及第2生成图像数据D22)的生成流程的流程图。
首先，摄影图像数据(第1摄影图像数据D11及第2摄影图像数据D12)可通过图像生成部32获取(图11的步骤S11)。另外，从成像元件24(第1传感器组24a及第2传感器组24b)输出的摄影图像数据可以直接输入到图像生成部32，也可以间接地输入到图像生成部32，也可以是摄影图像数据从成像元件24输入到其他处理部，并从该其他处理部输入到图像生成部32。
而且，在图像生成部32的图像合成部33(对准数据获取部34)，获取表示为了消除第1光学系统21的光轴L的偏移而需要的“所输入的多个第1摄影图像数据D11彼此之间的位置偏移量”及为了消除第2光学系统22的光轴L的偏移而需要的“所输入的多个第2摄影图像数据D12彼此之间的位置偏移量”的对准数据(S12)。
而且，在图像生成部32的图像合成部33(合成处理部35)，对在第1光学系统21的光轴L不同的状态下拍摄的多个第1摄影图像(第1摄影图像数据D11)进行对位(S13)，已对位的多个第1摄影图像(第1摄影图像数据D11)经合成而生成第1生成图像(广角图像：第1生成图像数据D21)(S14)。同样地，在图像生成部32的图像合成部33(合成处理部35)，对在第2光学系统22的光轴L不同的状态下拍摄的多个第2摄影图像(第2摄影图像数据D12)进行对位(S13)，已对位的该多个第2摄影图像(第2摄影图像数据D12)经合成而生成第2生成图像(长焦图像：第2生成图像数据D22)(S14)。
图11所示的上述一系列的处理的应用对象并无特别限定，例如可以对由用户用手保持如图1所示的数码相机10来进行拍摄而获取的摄影图像数据(第1摄影图像数据D11及第2摄影图像数据D12)应用上述一系列的处理。并且，也可以对通过如图2所示的自动跟踪摄像装置14进行拍摄而获取的摄影图像数据(第1摄影图像数据D11及第2摄影图像数据D12)应用上述一系列的处理。尤其，如图2的自动跟踪摄像装置14那样能够主动并准确地改变摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L的状态时，如下述，能够有效提高生成图像(第1生成图像数据D21及第2生成图像数据D22)的画质。
图12为表示摄像主体部44能够通过光学系统驱动器45移动的情况的一例的框图。另外，图12中仅图示了摄像主体部44(摄影光学系统11及成像元件24)、光学系统驱动器45及主控制器37，但图12所示的摄像装置30还包括图7～图10所示的各部(例如图像生成部32等)。
本例的光学系统驱动器45在主控制器37的控制下对包括摄影光学系统11及成像元件24的摄像主体部44进行控制，从而移动摄影光学系统11而改变第1光学系统21及第2光学系统22的光轴L的状态。
光学系统驱动器45的具体方式并无特别限定，例如可以为对如图2所示的摄影光学系统11进行平摇及俯仰的平摇俯仰装置。即，光学系统驱动器45包括平摇驱动部及俯仰驱动部，并通过该光学系统驱动器45对摄像主体部44(摄影光学系统11及成像元件24)进行平摇动作及俯仰动作，由此能够将第1光学系统21的光轴L及第2光学系统22的光轴L设为二维不同的状态。该种情况下，光学系统驱动器45优选根据通过主控制器37预先设定的位置信息(移动量信息)对摄像主体部44(摄影光学系统11及成像元件24)进行平摇俯仰动作。根据预先设定的平摇俯仰量而在第1摄影图像(广角图像)及第2摄影图像(长焦图像)的各图像中所产生的被摄体像的移动量能够根据摄像装置30的设计值预先求出，或者通过在摄像装置30的实际设备中进行校准摄影而预先测出。根据如此得到的“第1摄影图像(广角图像)及第2摄影图像(长焦图像)的各图像中的被摄体像的移动量”对所拍摄的图像组进行校正(对位处理)，以使消除基于摄影光学系统11的光轴L的状态变化的所希望图像的位置变化。
另外，如上述那样多个第1摄影图像(第1摄影图像数据D11)优选在第1光学系统21的光轴L二维不同的状态下被拍摄并从第1传感器组24a输出。但是，也可以在例如第1光学系统21的光轴L一维不同的状态下被拍摄并从第1传感器组24a输出。同样地，多个第2摄影图像(第2摄影图像数据D12)优选在第2光学系统22的光轴L二维不同的状态下被拍摄并从第2传感器组24b输出，但也可以在例如第2光学系统22的光轴L一维不同的状态下被拍摄并从第2传感器组24b输出。
并且，还能够使用能通过主控制器37控制平摇俯仰动作的云台来作为光学系统驱动器45。该情况下，例如可以通过将如图1所示的数码相机10安装并固定在这种云台(光学系统驱动器45)而构成摄像装置30。
另外，基于光学系统驱动器45的“第1光学系统21及第2光学系统22的光轴L的状态的变更”的方式并无特别限定。光学系统驱动器45例如可以改变第1光学系统21及第2光学系统22的光轴L的“方向”，也可以改变相对于被摄体的第1光学系统21及第2光学系统22的光轴L的“相对位置”。即，输入到图像生成部32(图像合成部33)的多个第1摄影图像数据D11可以在第1光学系统21的光轴L的方向不同的状态下被拍摄并从第1传感器组24a输出，也可以在相对于被摄体的第1光学系统21的光轴L的相对位置不同的状态下被拍摄并从第1传感器组24a输出。并且，输入到图像生成部32(图像合成部33)的多个第2摄影图像数据D12可以在第2光学系统22的光轴L的方向不同的状态下被拍摄并从第2传感器组24b输出，也可以在相对于被摄体的第2光学系统22的光轴L的相对位置不同的状态下被拍摄并从第2传感器组24b输出。
另外，改变第1光学系统21及第2光学系统22的光轴L的“方向”或“相对位置”方法并无特别限定。例如，通过如图2所示的平摇俯仰装置使第1光学系统21及第2光学系统22进行平摇俯仰动作而改变光轴L的朝向(角度)，由此能够改变“光轴L的方向”。并且，使第1光学系统21及第2光学系统22相对于被摄体相对滑动而使光轴L向水平方向和/或铅垂方向移动，由此能够改变“光轴L的相对位置”(参考后述图39)。
如此，在主控制器37的控制下，光学系统驱动器45主动控制摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L的状态，由此能够在预先确定的所希望的光轴的状态下获取成为第1生成图像数据D21及第2生成图像数据D22的基础的多个第1摄影图像数据D11及多个第2摄影图像数据D12。由此，图像生成部32(图像合成部33)能够根据多个第1摄影图像数据D11及多个第2摄影图像数据D12生成高画质的第1生成图像数据D21及第2生成图像数据D22。
例如，图像合成部33能够通过采用了摄影图像数据的相加平均的合成方法获取生成图像数据。即，图像合成部33能够通过将已对位的多个第1摄影图像数据D11相加并计算相加后的数据的平均来对多个第1摄影图像进行合成而生成第1生成图像数据D21。并且，图像合成部33能够通过将已对位的多个第2摄影图像数据D12相加并计算相加后的数据的平均来对多个第2摄影图像进行合成而生成第2生成图像数据D22。
图13为表示通过采用了摄影图像数据的相加平均的合成方法获取生成图像数据情况的一例的流程图。首先，通过主控制器37确定摄影用光轴L的状态(图13的S21)。而且，根据该确定由光学系统驱动器45控制摄像主体部44并使摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L移动，并且通过摄像主体部44(摄影光学系统11及成像元件24)对多个第1摄影图像数据D11及多个第2摄影图像数据D12进行拍摄(S22)。如此，根据通过主控制器37预先确定的摄影用光轴L的状态拍摄的多个第1摄影图像数据D11及多个第2摄影图像数据D12在图像生成部32(图像合成部33)进行对位(S23)，并生成第1生成图像数据D21及第2生成图像数据D22。
并且，图像合成部33能够通过采用了摄影图像数据的加权平均的合成方法获取生成图像数据。即，图像合成部33根据对应于拍摄时的第1光学系统21的光轴L的状态而确定的权重计算多个第1摄影图像数据D11的加权平均，由此能够对多个第1摄影图像进行合成而生成第1生成图像数据D21。并且，根据对应于拍摄时的第2光学系统22的光轴L的状态而确定的权重计算多个第2摄影图像数据D12的加权平均，由此能够对多个第2摄影图像进行合成而生成第2生成图像数据D22。
图14为通过表示采用了摄影图像数据的加权平均的合成方法获取生成图像数据的情况的一例的流程图。本例中，也与图13所示的例相同，通过主控制器37确定摄影用光轴L的状态(图14的S31)，并根据该确定，通过光学系统驱动器45使摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L移动，通过摄像主体部44(摄影光学系统11及成像元件24)对多个第1摄影图像数据D11及多个第2摄影图像数据D12进行拍摄而获取(S32)。但是，本例中，关于“多个第1摄影图像数据D11”及“多个第2摄影图像数据D12”的每一个，合成用权重係数通过主控制器37确定(S33)。而且，图像生成部32(图像合成部33)对多个第1摄影图像数据D11进行对位及对多个第2摄影图像数据D12进行对位，并采用合成用权重係数进行加权平均运算而对摄影图像进行合成(S34)，从而生成第1生成图像数据D21及第2生成图像数据D22。
另外，如上述那样能够通过光学系统驱动器45将摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L主动调整成所希望的状态时，对拍摄多个第1摄影图像数据D11及多个第2摄影图像数据D12时的光轴L的状态模式进行研究，由此能够进一步有效地减少干扰成分。
例如，可以根据一维或二维高斯分布而设定拍摄多个第1摄影图像数据D11及多个第2摄影图像数据D12时的光轴L的状态分布。该情况下，残留在图像合成后的第1生成图像数据D21及第2生成图像数据D22的每一个中的干扰图像成分根据第1摄影图像数据D11及第2摄影图像数据D12中所包含的干扰图像成分与高斯分布的卷积而不同，因此成为非常平滑地模糊的图像。因此，基于第1生成图像数据D21及第2生成图像数据D22的图像(广角图像及长焦图像)的每一个在观察时干扰成分不明显而具有所期望的画质。
另外，关于将与相同的被摄体有关的多个图像彼此二维地逐渐偏移位置而重叠合成的情况，在数学上能够以对“具有二维空间分布的信号f”和“位移合成的分布g”进行卷积运算(Convolution：f*g)来表示。
图15为用于说明“具有二维空间分布的信号f”和“位移合成的分布g”的卷积运算的概念图，图15(a)中例示具有与位置对应的亮度分布的“信号f(图像数据)”，图15(b)中例示规定与位置对应的权重的“位移合成的分布g(卷积核)”，图15(c)中例示对图15(a)所示的信号f和图15(b)所示的位移合成的分布g进行卷积运算的结果。另外，图15(a)及图15(c)中，纵轴表示亮度的大小，横轴表示一维位置。并且，图15(b)中，纵轴表示位移合成的分布g的权重的大小，横轴表示一维位置。
从图15(c)也明确可知，将与相同的被摄体有关的多个图像彼此二维地逐渐偏移位置而重叠合成，由此与低频空间频率成分相比，图15(a)所示的图像信号中所包含的高频空间频率成分被强烈抑制。另外，为了方便说明，图15(a)～图15(c)表示以一维位置为标准的关系例，但在以二维位置为标准的情况下相同的关系例也成立。
若成为合成基础的多个图像的数量有限，则位置偏移量变得离散，因此作为卷积运算的核的“位移合成的分布g”成为基于多个δ函数之和的传递函数，将该传递函数博立叶变换而得到的函数表示频率传递特性。
已知在以“均匀地模糊”干扰图像成分为目的的情况下，作为传递函数若使用减少高频成分的低通滤波器则可得到所期望的结果。为了使由上述多个δ函数之和构成的“卷积运算的核(位移合成的分布g)”具有低通滤波器效果，例如能够利用以下方法1和/或方法2。
(方法1)将多个δ函数的强度分布设定成高斯分布状。
(方法2)将多个δ函数的密度分布设定成高斯分布状。
图16为表示构成位移合成的分布g的多个δ函数的强度分布的一例的图，尤其为用于说明根据高斯分布G设定多个δ函数的强度分布(权重)的例的图。图16中，纵轴表示强度(权重)的大小，横軸表示位置。如本例，根据高斯分布G确定构成位移合成的分布g的各δ函数的强度(权重)，由此能够使“卷积运算的核(位移合成的分布)”具有低通滤波器的效果。
将如图16所示的“位移合成的分布g”应用于干扰图像的情况相当于如下合成处理：例如关于通过使位置均等偏移并拍摄而获取的图像的强度(例如亮度)，越接近中央位置(即标准状态的位置)，则使δ函数具有越大的权重，并对摄影图像数据进行加权平均。
从而，如上述那样在图像合成部33通过采用了加权平均的合成方法获取生成图像数据的情况下，例如能够将根据第1光学系统21的光轴L的状态确定的权重根据基于第1光学系统21的光轴L的状态的高斯分布确定，或者将根据第2光学系统22的光轴L的状态确定的权重根据基于第2光学系统22的光轴L的状态的高斯分布确定，由此能够均匀地模糊干扰图像。
图17为表示构成位移合成的分布g的多个δ函数的强度分布的另一例的图，图17(a)为用于说明对根据位置而不同的强度分布设定密度差的例的图，图17(b)为用于说明根据高斯分布G设定该密度差的例的图。图17(a)中，纵轴表示强度(权重)的大小，横轴表示位置。图17(b)中，纵轴表示δ函数的频度(存在数)，横轴表示距表示标准状态的位置的距离。
如图17(a)所示的例，即使构成位移合成的分布g的多个δ函数的强度(权重)彼此相同，也能够通过如下使“卷积运算的核(位移合成的分布)”具有低通滤波器的效果，即对根据位置而不同的δ函数的强度分布设定密度差，以越是接近光轴L的标准状态的位置，则δ函数越密集存在，且越是远离光轴L的标准状态的位置，则δ函数越稀疏地存在的方式确定位移合成的分布g。
关于将如图17(a)所示的“位移合成的分布g”应用于干扰图像的情况相当于如下合成处理：例如在使光轴L的位置偏移而进行拍摄时，使光轴L的配置分布不均等，越是接近中央位置(即标准状态的位置)的位置，则越以高密度进行拍摄而获取多个摄影图像，并将通过该摄影而得到的摄影图像数据相加平均。
从而，如通过上述那样在图像合成部33采用了相加平均的合成方法获取生成图像数据的情况下，第1光学系统21的光轴L越接近标准状态，则多个第1摄影图像被拍摄得越密集，第1光学系统21的光轴L越远离该标准状态，则多个第1摄影图像被拍摄得越稀疏，并从第1传感器组24a输出第1摄影图像数据D11，或者第2光学系统22的光轴L越接近标准状态，则多个第2摄影图像被拍摄得越密集，第2光学系统22的光轴L越远离该标准状态，则多个第2摄影图像被拍摄得越稀疏，并从第2传感器组24b输出第2摄影图像数据D12，从而能够均匀地模糊干扰图像。
并且，尤其如图17(b)所示，关于距标准状态的距离，根据高斯分布G确定构成位移合成的分布g的δ函数的频度(存在数)，由此能够更有效地实现针对干扰图像的低通滤波器的效果。另外，图17(b)所示的δ函数的频度(存在数)根据在从标准状态距规定距离的范围内存在的δ函数的数量而确定。如此，根据高斯分布确定拍摄多个第1摄影图像时的第1光学系统21的光轴L的状态的分布密度，或者根据高斯分布确定拍摄多个第2摄影图像时的第2光学系统22的光轴L的状态的分布密度，由此能够均匀地模糊干扰图像。
另外，图16及图17表示以一维位置为标准的关系例，但在以二维位置为标准的情况下相同的关系例也可成立。
并且，可以组合图16所示的例和图17所示的例。即，在图像合成部33通过采用了加权平均的合成方法获取生成图像数据情况下，光轴L越接近标准状态，则多个摄影图像被拍摄得越密集，光轴L越远离该标准状态，则多个第1摄影图像被拍摄得越稀疏，优选将根据摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L的状态确定的权重根据基于该光轴L的状态的高斯分布设定。并且，在该情况下，如图17(b)所示，也优选根据高斯分布确定拍摄摄影图像时的摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L的状态的分布密度。
另外，构成位移合成的分布g的各δ函数的强度(权重)可以根据高斯分布G(参考图16)以外的分布确定，并且构成位移合成的分布g的多个δ函数的强度分布的密度差也可以根据高斯分布(参考图17(b))以外的分布确定。
图12～图17所示的上述例中，对通过光学系统驱动器45主动控制摄影光学系统11的光轴L的状态的情况进行了说明，但上述“对多个摄影图像进行对位及合成的图像生成方法”还能够应用于非主动控制摄影光学系统11的光轴L的状态的情况。即，由用户用手保持图1所示的数码相机10而进行图像摄影时，也与上述“主动控制摄影光学系统11的光轴L的状态的情况”相同，能够获取减少了干扰图像的影响的所希望图像。
例如，通常使用通过对摄影图像进行分析而检测出图像的抖动成分，并根据该抖动成分减少抖动的影响的抖动校正技术。从而，在通过数码相机10拍摄如上述广角图像及长焦图像的情况下，广角图像及长焦图像的每一个中的所希望图像的信号强度也比干扰图像强，通过使用通常所进行的抖动成分检测方法，能够检测出所希望图像(主要被摄体等)的摄影抖动(手抖)。若在拍摄多个图像时产生摄影抖动，则结果在摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L不同的状态下拍摄图像。从而，对伴随摄影抖动(手抖)获取的多个摄影图像(第1摄影图像数据D11及第2摄影图像数据D12)，与上述“主动控制摄影光学系统11的光轴L的状态的情况”相同，对所希望图像进行对位而进行合成处理，由此不仅能够减少所希望图像中的抖动的影响，还能够减少生成图像(第1生成图像数据D21及第2生成图像数据D22)中的干扰图像的影响。并且，如本例，如数码相机10等那样由用户保持并进行拍摄的摄像装置30中无需设置如平摇-俯仰装置那样的光学系统驱动器45，因此能够简化装置结构，从而以低成本实现，并且还容易小型化。
接着，对本实施方式的具体实施例进行说明。
图18为用于说明基于平摇动作的长焦图像的偏移量的图，图18(a)表示在第1平摇位置拍摄的第2摄影图像(长焦图像)，图18(b)表示在第2平摇位置拍摄的第2摄影图像(长焦图像)。图19为用于说明基于平摇动作的广角图像的偏移量的图，图19(a)表示在第1平摇位置拍摄的第1摄影图像(广角图像)，图19(b)表示在第2平摇位置拍摄的第1摄影图像(广角图像)。另外，图18(a)及图19(a)为分别使用具有相同的光轴L的第1光学系统21及第2光学系统22拍摄的图像。同样地，图18(b)及图19(b)为分别使用具有相同的光轴L的第1光学系统21及第2光学系统22拍摄的图像。并且，图18(a)及图18(b)中所示的“Sw”表示长焦图像中的相同图像部位的位置在第1平摇位置和第2平摇位置之间不同(位置偏移量)，并可由上述式(1)表示。同样地，并且图19(a)及图19(b)中所示的“St”表示广角图像中相同图像部位的位置在第1平摇位置和第2平摇位置之间不同(位置偏移量)，并可由上述式(2)表示。另外，由“Sw”及“St”表示的位置偏移量在图18及图19中表示相同部位的位置偏移量。
从图18及图19也明确可知，即使为相同的平摇移动量，长焦图像的位置偏移量与广角图像的位置偏移量不同，通常，长焦图像的位置偏移量比广角图像的位置偏移量大(Sw＞St)。
图20为用于说明包括干扰图像(广角图像)的长焦图像(所希望图像)的偏移量的图，图20(a)表示在第1平摇位置拍摄的第2摄影图像(长焦图像)，图20(b)表示在第2平摇位置拍摄的第2摄影图像(长焦图像)。图21为用于说明包括干扰图像(长焦图像)的广角图像(所希望图像)的偏移量的图，图21(a)表示在第1平摇位置拍摄的第1摄影图像(广角图像)，图21(b)表示在第2平摇位置拍摄的第1摄影图像(广角图像)。
与参考图18及图19进行说明的位置偏移有关的上述原则同样地可应用于摄影图像包括所希望图像及干扰图像的情况。即，即使将摄影图像意图成长焦图像(参考图20)及广角图像(参考图21)中的任一个图像，关于根据摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L的状态的不同而变化的位置偏移量比，长焦图像比广角图像大(Sw＞St)。
图22为用于说明第1实施方式中的摄影图像的合成机理的图，图22(a)表示在第1平摇位置获取的“包括干扰图像(广角图像)的长焦图像(所希望图像)”，图22(b)表示图22(a)所示的长焦图像(所希望图像)的一部分与干扰图像(广角图像)的位置关系的概要，图22(c)简化表示图22(b)所示的位置关系，图22(d)表示在第2平摇位置获取的“包括干扰图像(广角图像)的长焦图像(所希望图像)”，图22(e)表示图22(d)所示的长焦图像(所希望图像)的一部分与干扰图像(广角图像)的位置关系的概要，图22(f)简化表示图22(e)所示的位置关系，图22(g)表示基于图22(b)所示的示意图和图22(e)所示的示意图的合成显示例，图22(h)表示与图22(c)所示的简化视图和图22(f)所示的简化视图的合成有关的概念图。
如上述，干扰图像(广角图像)与所希望图像(长焦图像)的相对位置根据光轴L的状态而变化。从而，例如图22(a)～图22(c)所示的第1平摇位置中的“干扰图像(广角图像；参考第1干扰成分C1)与所希望图像(长焦图像；参考第1所望图像成分R1)之间的相对距离”比图22(d)～图22(f)所示的第2平摇位置中的“干扰图像(广角图像；参考第2干扰成分C2)与所希望图像(长焦图像；参考第2所望图像成分R2)之间的相对距离”大。如图22(g)及图22(h)所示，若根据所希望图像(参考第1所望图像成分R1及第2所望图像成分R2)的位置对在第1平摇位置拍摄的摄影图像和在第2平摇位置拍摄的摄影图像进行对位，则在“在第1平摇位置拍摄的摄影图像中所包含的干扰图像(参考第1干扰成分C1)”与“在第2平摇位置拍摄的摄影图像中所包含的干扰图像(参考第2干扰成分C2)”之间位置偏移。因此，若根据所希望图像的位置对已对位的“在第1平摇位置拍摄的长焦图像及在第2平摇位置拍摄的长焦图像”进行合成，则所希望图像(长焦图像；参考第1所望图像成分R1及第2所望图像成分R2)在位置一致的状态下被合成，因此成为非常鲜明的图像。但是，干扰图像(广角图像；参考第1干扰成分C1及第2干扰成分C2)在位置不一致的状态下被合成，因此图像强度相对降低而变得不清楚。
图23为表示通过第1实施方式所涉及的摄像装置30获取的长焦图像的生成例的图。图23(a)表示多个摄影图像(长焦图像)，图23(b)表示通过多个摄影图像的对位及合成而生成的长焦图像的一例。图24为表示通过第1实施方式所涉及的摄像装置30获取的广角图像的生成例的图。图24(a)表示多个摄影图像(广角图像)，图24(b)表示通过多个摄影图像的对位及合成而生成的广角图像的一例。
图23及图24各自所示的例中，第1光学系统21(广角图像用光学系统)的焦距与第2光学系统22(长焦图像用光学系统)的焦距之比为“7∶1”，向水平方向H(平摇方向)以1像素单位移动相当于9像素的量的同时向垂直方向V(俯仰方向)以1像素单位移动相当于9像素的量而获取合计81张(＝9×9)摄影图像(第1摄影图像数据D11及第2摄影图像数据D12)(参考图23(a)及图24(a))。而且，通过对81张摄影图像进行对位处理及合成处理而获取生成图像(第1生成图像数据D21(参考图24(b))及第2生成图像数据D22(参考图23(b)))。
从“图23(b)”与“图20(a)及图20(b)”的比较和“图24(b)”与“图21(a)及图21(b)”的比较明确可知，如本实施方式那样对在光轴L不同的状态下获取的多个摄影图像进行对位之后进行合成处理，由此能够非常有效地减少干扰图像的影响。尤其，本实施方式的摄像装置30中，不会损害通过焦距不同的光学系统同时拍摄的多种图像(广角图像及长焦图像)中的任一个的画质，并能够改善所有种类的图像的画质。
<第2实施方式>
本实施方式中，对与上述第1实施方式所涉及的摄像装置30相同或类似的结构赋予相同的符号，并省略其详细说明。
图25为表示第2实施方式所涉及的图像生成部32的功能结构例的框图。
除了上述图像合成部33以外，本实施方式所涉及的图像生成部32还具有对第1摄影图像(广角图像)及第2摄影图像(长焦图像)进行校正的图像校正部60。
该图像校正部60对从成像元件24(第1传感器组24a及第2传感器组24b)传送过来的第1摄影图像数据D11及第2摄影图像数据D12进行校正，从而减少第1摄影图像(广角图像)中的透过第2光学系统22的光的影响，并且减少第2摄影图像(长焦图像)中的透过第1光学系统21的光的影响。而且，通过图像校正部60校正的第1摄影图像数据D11及第2摄影图像数据D12被传送至图像合成部33，从而在图像合成部33生成第1生成图像数据D21及第2生成图像数据D22。
图像校正部60中的上述干扰去除处理的具体方法并无特别限定，例如根据以下方法，图像校正部60能够从摄影图像减少多余光的影响。
<干扰去除处理例>
图26表示受到因第1光学系统21与第2光学系统22之间的拍摄光的干涉(串扰)而引起的画质降低的影响的广角图像(参考图26(a))及长焦图像(参考图26(b))的一例。
如上述，当在摄影光学系统11及成像元件24中光瞳分割性不够充分时，长焦图像光泄漏到意图仅接收广角图像光的第1传感器组24a(参考图4)，因此可得到重叠有一部分长焦图像成分的广角图像(参考图26(a))，且广角图像光泄漏到意图仅接收长焦图像光的第2传感器组24b(参考图4)，因此可得到重叠有一部分广角图像成分的长焦图像(参考图26(b))。
图27为用于说明光学系统之间的拍摄光的干涉的机理的概念图。
图27中，符号“Iw1”表示标准广角图像，符号“It1”表示标准长焦图像。在此所说的“标准广角图像Iw1”及“标准长焦图像It1”为在透过第1光学系统21的拍摄光与透过第2光学系统22的拍摄光之间不发生干涉的状态下拍摄获取的图像。另一方面，符号“Iw2”表示根据从第1传感器组24a(第1受光传感器25a)实际输出的摄像信号而生成的输出广角图像，“It2”表示根据从第2传感器组24b(第2受光传感器25b)实际输出的摄像信号而生成的输出长焦图像。
当通过具备图3所示的摄影光学系统11及成像元件24的摄像装置30(参考图1及图2)拍摄广角图像及长焦图像时，若摄像装置30(尤其成像元件24的遮光罩28)具有充分的光瞳分割性，则从成像元件24输出表示图27所示的标准广角图像Iw1及标准长焦图像It1的摄像信号。然而，如上述，当光瞳分割性不够充分而在广角图像光与长焦图像光之间存在干涉时，如图27所示的输出广角图像Iw2及输出长焦图像It2，从第1传感器组24a及第2传感器组24b的每一个输出表示广角图像及长焦图像混在的多重图像的摄像信号。
例如，如图27所示，将标准广角图像Iw1的拍摄光中的表示通过第1传感器组24a(第1受光传感器25a)适当受光的成分的分布信息(标识)设为“广角检测增益分布D1”，将表示通过第2传感器组24b(第2受光传感器25b)非适当受光的成分的分布信息设为“广角干扰增益分布D2”。并且，标准长焦图像It1的拍摄光中的表示通过第1传感器组24a(第1受光传感器25a)非适当受光的成分的分布信息设为“长焦干扰增益分布D3”，将表示通过第2传感器组24b(第2受光传感器25b)适当受光的成分的分布信息设为“长焦检测增益分布D4”。
该情况下，将通过对标准广角图像Iw1应用广角检测增益分布D1而得到的广角图像成分、即通过第1传感器组24a(第1受光传感器25a)受光的广角图像成分设为“真广角图像成分E1”。并且，将通过对标准长焦图像It1应用长焦干扰增益分布D3而得到的长焦图像成分、即通过第1传感器组24a(第1受光传感器25a)受光的长焦图像成分设为“干扰长焦图像成分E2”。并且，将通过对标准广角图像Iw1应用广角干扰增益分布D2而得到的广角图像成分、即通过第2传感器组24b(第2受光传感器25b)受光的广角图像成分设为“干扰广角图像成分E3”。并且，将通过对标准长焦图像It1应用长焦检测增益分布D4而得到的长焦图像成分、即通过第2传感器组24b(第2受光传感器25b)受光的长焦图像成分设为“真长焦图像成分E4”。
该情况下，根据从第1传感器组24a(第1受光传感器25a)输出的摄像信号而生成的输出广角图像Iw2根据将标准广角图像成分E1和干扰长焦图像成分E2相加后得到的图像而不同。并且，根据从第2传感器组24b(第2受光传感器25b)输出的摄像信号而生成的输出长焦图像It2根据将干扰广角图像成分E3和标准长焦图像成分E4相加后得到的图像而不同。
摄像装置的光瞳分割性越优异，则广角图像光与长焦图像光越以高精度分离并通过成像元件24受光，从而干扰长焦图像成分E2及干扰广角图像成分E3的成分比例接近零(空白)，输出广角图像Iw2接近标准广角图像Iw1，且输出长焦图像It2接近标准长焦图像It1。另一方面，摄像装置的光瞳分割性越差，则广角图像光与长焦图像光分离得越不充分并通过成像元件24受光，从而干扰长焦图像成分E2及干扰广角图像成分E3成分比例增加，在输出广角图像Iw2中干扰长焦图像成分E2的比例变大，且在输出长焦图像It2中干扰广角图像成分E3的比例变大。
如此，当在光学系统之间存在拍摄光的干涉时，从成像元件24输出的摄像信号相当于对将检测增益分布应用于标准图像而得到的图像成分和将干扰增益分布应用于另一信道的图像而得到的图像成分相加而得到的图像成分。通过这种定向传感器(成像元件24)中的干扰(串扰)输出广角图像和长焦图像重叠在一起的图像(摄像信号)，因此从光瞳分割性不够充分的摄像装置输出画质较差的摄影图像。
于是，本实施方式的图像校正部60(参考图25)对广角图像数据及长焦图像数据进行校正处理，由此抑制“混入于广角图像的长焦图像成分(即，透过第2光学系统22并通过第1受光传感器25a接收的长焦图像的拍摄光成分)”的影响及“混入于长焦图像的广角图像成分(即，透过第1光学系统21并通过第2受光传感器25b接收的广角图像的拍摄光成分)”的影响。
在图像校正部60进行的校正处理的具体方法并无特别限定，例如图像校正部60能够根据由广角图像(第1摄影图像)及长焦图像(第2摄影图像)的检测增益分布及干扰增益分布构成的矩阵的逆矩阵对广角图像及长焦图像进行校正处理。
以下，对基于由检测增益分布及干扰增益分布构成的矩阵的逆矩阵的图像校正处理的具体例进行说明。
图28为表示由标准广角图像Iw1、标准长焦图像It1、输出广角图像Iw2、输出长焦图像It2及检测增益分布及干扰增益分布构成的矩阵M的关系的图。另外，图28所示的“标准广角图像Iw1、标准长焦图像It1、输出广角图像Iw2及输出长焦图像It2”分别与图27所示的“标准广角图像Iw1、标准长焦图像It1、输出广角图像Iw2及输出长焦图像It2”对应。
如图28所示，根据从成像元件24(第1受光传感器25a及第2受光传感器25b)输出的摄像信号而生成的输出广角图像Iw2及输出长焦图像It2以“由检测增益分布及干扰增益分布构成的矩阵M”与“通过透过第1光学系统21及第2光学系统22的每一个的拍摄光而生成的原有的广角图像及长焦图像、即标准广角图像Iw1及标准长焦图像It1”的乘积表示。
如图28所示，由检测增益分布及干扰增益分布构成的矩阵M为由广角检测增益分布D1、广角干扰增益分布D2、长焦干扰增益分布D3及长焦检测增益分布D4构成的2×2矩阵。另外，图28所示的“广角检测增益分布D1、广角干扰增益分布D2、长焦干扰增益分布D3及长焦检测增益分布D4”分别与图27所示的“广角检测增益分布D1、广角干扰增益分布D2、长焦干扰增益分布D3及长焦检测增益分布D4”对应。
图29为表示对图28所示的行列式应用“由检测增益分布及干扰增益分布构成的矩阵M”的逆矩阵M-1而得到的行列式的图。如图29所示，通过“由检测增益分布及干扰增益分布构成的矩阵M”的逆矩阵M-1与“根据从成像元件24(第1受光传感器25a及第2受光传感器25b)输出的摄像信号而生成的输出广角图像Iw2及输出长焦图像It2”的乘积，能够获取“原有的广角图像及长焦图像、即标准广角图像Iw1及标准长焦图像It1”。
图30表示将图29的行列式简化表示的行列式。图30中，“W1”统括表示标准广角图像Iw1的像素成分(像素值)，“T1”统括表示标准长焦图像It1的像素成分，“W2”统括表示输出广角图像Iw2的像素成分，“T2”统括表示输出长焦图像It2的像素成分。并且，图30中，“A”、“B”、“C”及“D”统括表示分别构成广角检测增益分布D1、长焦干扰增益分布D3、广角干扰增益分布D2、及长焦检测增益分布D4的元素。
图31表示图30所示的构成“W1”的元素w1_11～w1_mn。即，“W1”由与标准广角图像Iw1的像素成分(像素值)对应的元素w1_11～w1_mn构成。另外，“m”及“n”分别表示2以上的整数，“m”和“n”可以相同也可以不同。
同样地，图30所示的“W2”、“T1”及“T2”也分别由与输出广角图像Iw2、标准长焦图像It1及输出长焦图像It2的像素成分(像素值)对应的元素w2_11～w2_mn、t1_11～t1_mn及t2_11～t2_mn构成(省略图示)。并且，图30所示的“A”、“B”、“C”及“D”也分别由根据广角图像及长焦图像的各像素确定的元素a11～amn、b11～bmn、c11～cmn及d11～dmn构成(省略图示)。
图32表示根据图30所示的行列式而导出的“w1_ij”的计算公式。图33表示根据图30所示的行列式导出的“t1_ij”的计算公式。图32及图33中，“i”表示1～m中的任一个整数，“j”表示1～n中的任一个整数。如图32及图33所示，与标准广角图像Iw1的像素成分(像素值)对应的元素w1_11～w1_mn及与标准长焦图像It1的像素成分(像素值)对应的元素t1_11～t1_mn能够根据输出广角图像Iw2及输出长焦图像It2和逆矩阵M-1通过运算而计算出。
本实施方式的图像校正部60基于由图32及图33表示的运算公式对广角图像数据(第1摄影图像数据D11)及长焦图像数据(第2摄影图像数据D12)进行校正处理，由此能够减少“混入广角图像的长焦图像成分”的影响或“混入长焦图像的广角图像成分”的影响。
从精确地进行校正处理的观点考虑，优选检测增益分布及干扰增益分布由与构成广角图像及长焦图像的每一个的像素数相同数量的元素构成，构成检测增益分布及干扰增益分布的每一元素(每一对应像素)的逆矩阵M-1使用于图像校正部60。但是，如阴影较小的情况等，“构成检测增益分布及干扰增益分布的元素”在“构成广角图像及长焦图像的像素的一部分或全部”中近似的情况中，从优先考虑计算成本的观点考虑，在该近似范围内，可以通过共同的代表值表示“构成检测增益分布及干扰增益分布的元素”。从而，当“构成广角图像及长焦图像的像素的全部”近似时，能够通过单一代表值表示检测增益分布及干扰增益分布，并能够精简且高速进行“基于由检测增益分布及干扰增益分布构成的矩阵的逆矩阵的校正处理”。
另外，基于广角检测增益分布D1、广角干扰增益分布D2、长焦干扰增益分布D3及长焦检测增益分布D4的矩阵M(参考图28～图30的“A”、“C”、“B”及“D”)由拍摄时所使用的摄影光学系统11及成像元件24确定。图像校正部60中存储并保持有从该矩阵M预先导出的逆矩阵M-1的元素，将该存储并保持的逆矩阵M-1的元素应用于输出广角图像Iw2及输出长焦图像It2，由此能够减少广角图像中的长焦图像的拍摄光的影响，并且减少长焦图像中的广角图像的拍摄光的影响。
并且，上述图像校正部60中的“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”对从成像元件24获取的广角图像数据(第1摄影图像数据D11)及长焦图像数据(第2摄影图像数据D12)进行，但并不限定于此。例如，可以对存储在图像存储部39等存储器并输出到图像生成部32的广角图像数据(第1摄影图像数据D11)及长焦图像数据(第2摄影图像数据D12)进行图像校正部60中的“基于由检测增益分布及干扰增益分布构成的矩阵的逆矩阵的校正处理”。
并且，上述图像校正部60中的“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”实际上按每一个构成广角图像数据及长焦图像数据的彩色信道进行。图像校正部60存储并保持与该彩色信道的每一个有关的“由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1”。例如，成像元件24(第1受光传感器25a及第2受光传感器25b)具有RGB(红绿蓝)滤色器，当由RGB数据构成的广角图像数据(第1摄影图像数据D11)及长焦图像数据(第2摄影图像数据D12)作为摄像信号而从成像元件24输出时，图像校正部60保持与RGB的每一个彩色信道有关的“由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1”并将其应用于输出广角图像Iw2及输出长焦图像It2。
图34表示进行“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”时的图像例，图34(a)表示广角图像例，图34(b)表示长焦图像例。图35表示进行“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”之后进行第1实施方式所涉及的“对位后的合成处理”时的图像例，图34(a)表示广角图像例，图34(b)表示长焦图像例。
图34(a)所示的广角图像例中混在长焦图像成分中较明亮的像素成分的情况较为明显。并且图34(b)所示的长焦图像例中混在广角图像成分中尖锐轮廓成分的情况较为明显。另一方面，本实施方式所涉及的图35(a)所示的广角图像例及图35(b)所示的长焦图像例中，图34(a)所示的广角图像例及图34(b)所示的长焦图像例中明显的混在的成分减少，整体上成为视认性优异的高画质的图像。
图36表示在进行“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”之后进行第1实施方式所涉及的“对位后的合成处理”时的另一图像例。
图36(a)表示从成像元件24(第2传感器组24b)输出的长焦摄影图像(第2摄影图像数据D12)的一例，广角图像成分及长焦图像成分以“广角图像成分∶长焦图像成分＝0.49∶0.51”的比率混合在一起。
图36(b)表示从成像元件24(第1传感器组24a)输出的广角摄影图像(第1摄影图像数据D11)的一例，广角图像成分及长焦图像成分以“广角图像成分∶长焦图像成分＝0.51∶0.49”的比率混合在一起。
图36(c)表示通过将“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理(参考图28～图33)”应用于图36(a)所示的长焦摄影图像而得到的长焦图像(第2摄影图像数据D12)。图36(c)所示的例中，在“基于逆矩阵M-1的校正处理”中未能完全去除干扰成分(广角图像成分)，而残留有去除残差。
图36(d)表示通过将“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理(参考图28～图33)”应用于图36(b)所示的广角摄影图像而得到的广角图像(第1摄影图像数据D11)。图36(d)所示的例中，在“基于逆矩阵M-1的校正处理”中未能完全去除干扰成分(长焦图像成分)，而残留有去除残差。
图36(e)表示通过二维改变第2光学系统22的光轴L的状态而获取的多个长焦摄影图像(第2摄影图像数据D12)，即表示多个应用“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理(参考图28～图33)”之后的长焦摄影图像(参考图36(c))。
图36(f)表示通过二维改变第1光学系统21的光轴L的状态而获取的多个广角摄影图像(第1摄影图像数据D11)，即表示多个应用“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理(参考图28～图33)”之后的广角摄影图像(参考图36(d))。
图36(g)表示通过对图36(e)所示的多个长焦摄影图像(第2摄影图像数据D12)进行“对位处理及合成处理(参考图23)”而得到的长焦生成图像(第2生成图像数据D22)。图36(g)所示的例中，第1光学系统21(广角图像用光学系统)的焦距与第2光学系统22(长焦图像用光学系统)的焦距之比为“7∶1”，并表示向水平方向H(平摇方向)以1像素单位移动相当于9像素的量的同时向垂直方向V(俯仰方向)以1像素单位移动相当于9像素的量而从合计81张(＝9×9)长焦摄影图像(第2摄影图像数据D12)得到的长焦生成图像(第2生成图像数据D22)。
图36(h)表示通过对图36(f)所示的多个广角摄影图像(第1摄影图像数据D11)进行“对位处理及合成处理(参考图24)”而得到的广角生成图像(第1生成图像数据D21)。图36(h)所示的例中，第1光学系统21(广角图像用光学系统)的焦距与第2光学系统22(长焦图像用光学系统)的焦距之比为“7∶1”，并表示向水平方向H(平摇方向)以1像素单位移动相当于9像素的量的同时向垂直方向V(俯仰方向)以1像素单位移动相当于9像素的量而从合计81张(＝9×9)广角摄影图像(第1摄影图像数据D11)得到的广角生成图像(第1生成图像数据D21)。
从“图36(g)及图36(h)”与“图36(c)及图36(d)”的比较中明确可知，通过组合“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”和“对位处理及合成处理”，能够提供干扰成分减少、整体上视认性优异的高画质的图像。并且，从“图36(g)及图36(h)”与“图23(b)及图24(b)”的比较明确可知，通过组合“对位处理及合成处理”和“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”，能够进一步有效地减少干扰成分。
尤其，图36(a)所示的长焦图像及图36(b)所示的广角图像中，干扰成分的比率分别为“0.49(＝49％)”，干扰图像相对于本来意图的所希望图像的比例非常大。即使在这种情况下，通过如本实施方式的图像生成部32那样组合基于图像校正部60的校正处理和基于图像合成部33的校正处理，能够获取如图36(g)及图36(h)那样将干扰成分减少至几乎无法视认的水准的生成图像(第1生成图像数据D21及第2生成图像数据D22)。从而，根据本实施方式，即使为图像分离性(光瞳分割性)较低且廉价的成像元件24，也能够获取有效减少了干扰成分的高画质的生成图像，因此非常有用。
另外，图像校正部60可以进行上述“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”以外的校正处理。图像校正部60例如可以进行“通过对广角图像数据(第1摄影图像数据D11)进行校正来减少第1光学系统21的像差的影响的校正处理”或“通过校正长焦图像数据(第2摄影图像数据D12)来减少第2光学系统22的像差的影响的校正处理”。并且，图像校正部60进行如下处理，该处理不仅用于进行位置校正(平行移动)等几何校正，且还进行反映了摄影光学系统11(第1光学系统21及第2光学系统22)的光学特性的梯形校正等变形校正、调整阴影或色调的校正。通过图像校正部60进行适当的图像校正处理，由此本来意图的所希望的图像成分中的噪点和振动等多余成分减少，从而能够得到进一步清晰的生成图像(第1生成图像数据D21及第2生成图像数据D22)。
并且，图25中例示了在比图像合成部33更靠前段设置图像校正部60的例，但设置图像校正部60的位置并无特别限定。例如，如图37所示，可以在图像生成部32设置多个图像校正部(第1图像校正部60a及第2图像校正部60b)，不仅在比图像合成部33更靠前段，在后段也可设置图像校正部(第1图像校正部60a及第2图像校正部60b)。图37所示的图像生成部32中，例如可以是第1图像校正部60a进行上述“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”，图像合成部33根据基于第1图像校正部60a的校正后的摄影图像数据(第1摄影图像数据D11及第2摄影图像数据D12)生成生成图像数据(第1生成图像数据D21及第2生成图像数据D22)，第2图像校正部60b对生成图像数据(第1生成图像数据D21及第2生成图像数据D22)进行其他校正处理。并且，如图38所示，可以在图像生成部32中比图像合成部33更靠后段设置图像校正部60。
<第3实施方式>
本实施方式中，对与上述实施方式所涉及的摄像装置30相同或类似的结构赋予相同的符号，并省略其详细说明。
上述实施方式中，使包括摄影光学系统11及成像元件24的摄像主体部44移动的同时进行拍摄，由此在第1光学系统21的光轴L不同的状态下拍摄多个第1摄影图像(广角图像)，并且在第2光学系统22的光轴L不同的状态下拍摄多个第2摄影图像(长焦图像)。相对于此，本实施方式中，使被摄体移动的同时对其进行拍摄，由此在第1光学系统21的光轴L不同的状态下拍摄多个第1摄影图像(广角图像)，并且在第2光学系统22的光轴L不同的状态下拍摄多个第2摄影图像(长焦图像)。
从而，以下进行说明的本实施方式例如适用于由显微镜等构成摄像装置30的情况。
图39为例示第3实施方式所涉及的摄像装置30的框图。图39中仅图示了摄像主体部44(摄影光学系统11及成像元件24)、光学系统驱动器45、主控制器37、被摄体64、被摄体保持部65及被摄体驱动器66，但图39所示的摄像装置30还包括图7～图10所示的各部(例如图像生成部32等)。
本实施方式的摄像装置30还具备保持被摄体64的被摄体保持部65和在主控制器37的控制下使被摄体保持部65移动的被摄体驱动器66。
被摄体保持部65若能够固定保持被摄体64，则具体的保持方法并无特别限定。
并且，本例的被摄体保持部65通过被摄体驱动器66滑动移动，被摄体驱动器66能够使被摄体保持部65向与摄影光学系统11(第1光学系统21及第2光学系统22)的光轴L呈垂直的方向二维移动。
本实施方式的摄像装置30中，在主控制器37的控制下，使被摄体64通过被摄体保持部65移动的同时通过摄像主体部44对被摄体64进行拍摄，由此能够获取“在第1光学系统21的光轴L不同的状态下拍摄的多个广角图像(第1摄影图像)”及“在第2光学系统22的光轴L不同的状态下拍摄的多个长焦图像(第2摄影图像)”。
另外，如本实施方式那样使被摄体64移动时，通过摄像主体部44获取的摄影图像(第1摄影图像数据D11及第2摄影图像数据D12)中的被摄体像向与“基于被摄体驱动器66及被摄体保持部65的被摄体64的移动方向”相反的方向移动。例如，若被摄体64向水平右方向HR(参考图39)滑动10cm，则摄影图像(第1摄影图像数据D11及第2摄影图像数据D12)中的被摄体像与此相对地向水平左方向(参考图39的符号“HL”)滑动10cm。
与改变基于平摇俯仰装置的摄影光学系统11的光轴L的“朝向(角度)”的情况相比，在如本实施方式那样改变摄影光学系统11的光轴L的“相对位置”的情况中，存在摄影图像(第1摄影图像数据D11及第2摄影图像数据D12)中的被摄体像的运动量变小的趋势。从而，本实施方式的摄像装置30适用于如对比较小的被摄体64进行拍摄那样需要使摄影光学系统11的光轴L的状态精密地变化的情况。
另外，本实施方式中，可以组合基于被摄体驱动器66及被摄体保持部65的被摄体64的移动和基于光学系统驱动器45的摄像主体部44(摄影光学系统11及成像元件24)的移动而获取多个摄影图像(第1摄影图像数据D11及第2摄影图像数据D12)。
<其他变形例>
本发明并不限定于上述实施方式及其变形例，在不脱离本发明的思想的范围内能够进行各种变形。
例如，可以将上述实施方式彼此适当组合，可以对“使被摄体64侧移动而进行拍摄”的上述第3实施方式所涉及的摄像装置30应用上述第2实施方式所涉及的“基于由检测增益分布及干扰增益分布构成的矩阵M的逆矩阵M-1的校正处理”。
并且，上述实施方式中，对由两种光学系统(第1光学系统21及第2光学系统22)构成摄影光学系统11的例进行了说明，但也可以由3种以上的光学系统构成摄影光学系统11。
并且，上述各结构及各功能能够通过任意硬件、软件或两者的组合来适当实现。例如，本发明还能够应用于使计算机执行上述处理步骤(处理工序)的程序、记录有该种程序的计算机可读取记录介质(非暂时性记录介质)或能够安装该种程序的计算机。
并且，能够应用本发明的方式并不限定于图1所示的数码相机10及图2所示的自动跟踪摄像装置14，除了以拍摄为主要功能的相机类以外，本发明还能够应用于除了摄像功能还具备摄像以外的其他功能(通话功能、通信功能或其他计算机功能)的移动设备类。作为能够应用本发明的其他方式，例如，可举出具有相机功能的移动电话和智能手机、PDA(Personal Digital Assistan ts)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
<智能手机的结构>
图40为表示本发明的摄像装置的一实施方式的智能手机101的外观的图。图40所示的智能手机101具有平板状壳体102，并在壳体102的一个面上设置一体形成有作为显示部的显示面板121和作为输入部的操作面板122的显示输入部120。并且，该壳体102具备扬声器131、麦克风132、操作部140及相机部141。另外，壳体102的结构并不限定于此，例如还能够采用单独设置有显示部和输入部的结构，或者折叠结构和具有滑动机构的结构。
图41为表示图40所示的智能手机101的结构的框图。如图41所示，作为智能手机101的主要的构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190及主控制部100。并且，作为智能手机101的主要功能，具备进行经由基站装置和移动通信网的移动无线通信的无线通信功能。
无线通信部110根据主控制部100的命令，在与连接在移动通信网的基站装置之间进行无线通信。使用该无线通信，可接收发送语音数据及图像数据等各种文件数据和电子邮件及接收Web数据和流数据等。
显示输入部120为具备显示面板121及操作面板122的所谓的触摸面板，通过主控制部100的控制，显示图像(静态图像及动态图像)和文字信息等并向用户视觉性传递信息，并且检测与所显示的信息对应的用户操作。
显示面板121将LCD(Liquid Crystal Display)或OELD(Organic Elec tro-Luminescence Display)等用作显示设备。操作面板122以能够辨识显示于显示面板121的显示面上的图像的状态设置，且为通过用户的手指或尖笔检测的一个或多个坐标的设备。若该设备通过用户的手指或尖笔而被操作，则操作面板122将因操作而产生的检测信号输出于主控制部100。接着，主控制部100根据所接收的检测信号检测显示面板121上的操作位置(坐标)。
作为本发明的摄像装置的一实施方式，图40中所例示的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120，并配置成操作面板122完全覆盖显示面板121。当采用该配置时，操作面板122可以在显示面板121以外的区域也具有检测用户操作的功能。换言之，操作面板122可以具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)和针对其以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为“非显示区域”)。
另外，可以使显示区域的大小和显示面板121的大小完全一致，但无需使两者一定一致。并且，操作面板122可以具备外缘部分及其以外的内侧部分这两个感应区域。而且，该外缘部分的宽度可根据壳体102的大小等适当设计。此外，作为采用于操作面板122的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面声波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。
通话部130具备扬声器131及麦克风132，将通过麦克风132输入的用户的语音转换为能够通过主控制部100处理的语音数据而输出到主控制部100，或者将通过无线通信部110或外部输入输出部160接收的语音数据进行解码而从扬声器131输出。并且，如图40所示，例如能够将扬声器131搭载于与设置有显示输入部120面相同的面上，并将麦克风132搭载于壳体102的侧面。
操作部1.40为使用键开关等的硬件键，并接收来自用户的命令。例如，如图40所示，操作部140搭载于智能手机101的壳体102的侧面，且为如下按钮式开关，即通过手指等按压时成为开关打开的状态，将手指移开则通过弹簧等的复原力而成为开关关闭的状态。
存储部150存储主控制部100的控制程序和控制数据、应用软件、与通信对象的名称和电话号码等建立关联的地址数据、收发电子邮件的数据、通过Web浏览器下载的Web数据及已下载的内容数据等，并且暂时存储流数据等。并且，存储部150由内置于智能手机的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的内部存储部151及外部存储部152各自可通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Acces s Memory)或ROM(ReadOnly Memory)等存储介质而实现。
外部输入输出部160起到与智能手机101连结的所有外部设备的接口的作用，用于通过通信等(例如，通用USB(Universal Serial Bus)、IEEE1394等)或网络(例如，互联网、无线LAN(Local Area Network)、蓝牙(Bluet ooth)(注册商标)、RFID(Radio FrequencyIdentification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideba nd)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机101连结的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(Me mory card)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA及有线/无线连接的耳机等。外部输入输出部160可以构成为将接收的从这种外部设备传送的数据传递至智能手机101的内部各构成要件，或者使智能手机101的内部数据被传送到外部设备。
GPS接收部170根据主控制部100的命令接收从GPS卫星ST1、GPS卫星ST2～GPS卫星STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测通过智能手机101的维度、经度及高度而确定的位置。当能够从无线通信部110和/或外部输入输出部160(例如，无线LAN(Local Area Net wor k))获取位置信息时，GPS接收部170还能够使用该位置信息来检测位置。
动作传感器部180例如具备3轴加速传感器，并根据主控制部100的命令检测智能手机101的物理运动。通过检测智能手机101的物理运动，可检测智能手机101的动作方向和加速。该检测结果输出到主控制部100。
电源部190根据主控制部100的命令，向智能手机101的各部供给蓄积于电池(未图示)的电力。
主控制部100具备一个或多个微处理器，并根据存储部150所存储的控制程序或控制数据进行动作，从而统一控制智能手机101的各部。本例中，例如由主控制部发挥图像生成部32(图像合成部33)、主控制器37及图像处理部38的作用。并且，主控制部100具备为了通过无线通信部110进行语音通信及数据通信而控制通信系统的各部的移动通信控制功能和应用程序处理功能。
应用程序处理功能通过主控制部100根据存储部150所存储的应用软件进行动作而实现。作为应用程序处理功能，例如有通过控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能和进行电子邮件的收发的电子邮件功能及预览Web页的Web浏览器功能等。
并且，主控制部100具备根据接收数据、已下载的流数据等图像数据(静止图像或动态图像的数据)而将影像显示于显示输入部120等的图像处理功能。图像处理功能是指，主控制部100对上述图像数据进行解码，并对该解码结果实施图像处理，从而将经过该图像处理而得到的图像显示于显示输入部120的功能。
而且，主控制部100执行针对显示面板121的显示控制和检测通过操作部140或操作面板122的用户操作的操作检测控制。
通过执行显示控制，主控制部100显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指，针对无法容纳于显示面板121的显示区域的大小的图像等，用于接收移动图像的显示部分的命令的软件键。
并且，通过执行操作检测控制，主控制部100检测通过操作部140的用户操作，或者通过操作面板122接收针对上述图标的操作和针对上述窗口的输入栏的文字列的输入，或者接收通过滚动条的显示图像的滚动要求。
而且，通过执行操作检测控制，主控制部100具备判定针对操作面板122的操作位置是否对应于与显示面板121重叠的重叠部分(显示区域)，或者是否对应于其以外的并不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部100还能够检测针对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并非为以往的简单的触摸操作，而是利用手指等描绘轨迹、或者同时指定多个位置、或者将它们进行组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部141为使用CMOS(Complementary Metal Oxide Semiconductor)等摄像元进行电子摄影的数码相机。并且，相机部141能够通过主控制部100的控制，将通过拍摄得到的图像数据例如转换成JPEG(Joint Photographic Experts Group)等压缩的图像数据，并将该图像数据记录到存储部150，或者通过外部输入输出部160和无线通信部110进行输出。图40所示的智能手机101中，相机部141搭载于与显示输入部120相同的面上，但相机部141的搭载位置并不限于此，也可以在壳体102的背面搭载相机部141，而并非设置有显示输入部120的壳体102的表面，或者可以在壳体102搭载多个相机部141。另外，当搭载有多个相机部141时，可以替代供摄影用相机部141而使用单一相机部141进行拍摄，或者可以同时使用多个相机部141进行拍摄。
并且，相机部141能够利用于智能手机101的各种功能。例如，通过相机部获取的图像可以显示于显示面板121，作为操作面板122的操作输入方法之一，可以利用通过相机部141拍摄获取的图像。并且，在GPS接收部170检测位置时，可以参考来自相机部141的图像而检测位置。并且，能够参考来自相机部141的图像，且不使用3轴加速传感器或者并用3轴加速传感器而判断智能手机101的相机部141的光轴方向和当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。
此外，能够将通过GPS接收部170获取的位置信息、通过麦克风132获取的声音信息(可以通过主控制部等进行声音文本变换而成为文本信息)及通过动作传感器部180获取的姿势信息等附加于静态图像数据和动态图像数据而得到的数据记录于存储部150，或者通过输入输出部160或无线通信部110进行输出。
另外，上述图像生成部32、图像处理部38、显示控制器40及主控制器37等(参考图7)例如能够通过主制御部100实现。
符号说明
10-数码相机，11-摄影光学系统，12-释放按钮，13-闪光灯，14-自动跟踪摄像装置，15-装置主体，16-底座，17-球形罩，18-保持部，19-齿轮，21a-第1广角用透镜，21b-第2广角用透镜，21c-第3广角用透镜，21d-第4广角用透镜，21-第1光学系统，22a-第1长焦用透镜，22b-第1长焦用反射体，22c-第1长焦用反射镜，22d-第2长焦用反射体，22e-第2长焦用反射镜，22-第2光学系统，23-共用透镜，24a-第1传感器组，24b-第2传感器组，24-成像元件，25a-第1受光传感器，25b-第2受光传感器，25-受光传感器，26-微透镜，27-中间层，28-遮光罩，29-光电二极管，30-摄像装置，32-图像生成部，33-图像合成部，34-对准数据获取部，35-合成处理部，37-主控制器，38-图像处理部，39-图像存储部，40-显示控制器，41-显示部，42-用户操作部，44-摄像主体部，45-光学系统驱动器，60a-第1图像校正部，60b-第2图像校正部，60-图像校正部，64-被摄体，65-被摄体保持部，66-被摄体驱动器，100-主制御部，101-智能手机，102-壳体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部。

Claims (20)

1.一种摄像装置，其具备：
摄影光学系统，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统及第2光学系统；
成像元件，包括选择性接收透过所述第1光学系统的光的第1传感器组和选择性接收透过所述第2光学系统的光的第2传感器组；及
图像生成部，根据从所述第1传感器组输出的第1摄影图像生成第1生成图像，并且根据从所述第2传感器组输出的第2摄影图像生成第2生成图像，
所述图像生成部具有图像合成部，
该图像合成部对在所述第1光学系统的光轴不同的状态下拍摄的多个所述第1摄影图像进行对位，并通过对已对位的该多个第1摄影图像进行合成而生成所述第1生成图像，
并且对在所述第2光学系统的光轴不同的状态下拍摄的多个所述第2摄影图像进行对位，并通过对已对位的该多个第2摄影图像进行合成而生成所述第2生成图像。
2.根据权利要求1所述的摄像装置，其中，
所述多个第1摄影图像在所述第1光学系统的光轴的方向不同的状态下被拍摄并从所述第1传感器组输出，
并且所述多个第2摄影图像在所述第2光学系统的光轴的方向不同的状态下被拍摄并从所述第2传感器组输出。
3.根据权利要求1所述的摄像装置，其中，
所述多个第1摄影图像在所述第1光学系统的光轴相对于被摄体的相对位置不同的状态下被拍摄并从所述第1传感器组输出，
并且所述多个第2摄影图像在所述第2光学系统的光轴相对于被摄体的相对位置不同的状态下被拍摄并从所述第2传感器组输出。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
所述图像合成部根据所述第1光学系统的光轴的状态及所述第1光学系统的焦距，对所述多个第1摄影图像进行对位，
并且根据所述第2光学系统的光轴的状态及所述第2光学系统的焦距，对所述多个第2摄影图像进行对位。
5.根据权利要求1至3中任一项所述的摄像装置，其中，
所述图像合成部对所述多个第1摄影图像进行分析而获取该多个第1摄影图像的每一个第1摄影图像中的第1标准图像部的位置，并根据该第1标准图像部的位置对所述多个第1摄影图像进行对位，
并且对所述多个第2摄影图像进行分析而获取该多个第2摄影图像的每一个第2摄影图像中的第2标准图像部的位置，并根据该第2标准图像部的位置对所述多个第2摄影图像进行对位。
6.根据权利要求1至5中任一项所述的摄像装置，其中，
所述图像合成部将已对位的所述多个第1摄影图像的数据相加并计算相加后的该数据的平均，由此对所述多个第1摄影图像进行合成，
并且将已对位的所述多个第2摄影图像的数据相加并计算相加后的该数据的平均，由此对所述多个第2摄影图像进行合成。
7.根据权利要求1至5中任一项所述的摄像装置，其中，
所述图像合成部根据对应于拍摄时的所述第1光学系统的光轴的状态而确定的权重计算所述多个第1摄影图像的数据的加权平均，由此对所述多个第1摄影图像进行合成，
并且根据对应于拍摄时的所述第2光学系统的光轴的状态而确定的权重计算所述多个第2摄影图像的数据的加权平均，由此对所述多个第2摄影图像进行合成。
8.根据权利要求7所述的摄像装置，其中，
对应于所述第1光学系统的光轴的状态而确定的所述权重通过基于所述第1光学系统的光轴的状态的高斯分布来确定，
对应于所述第2光学系统的光轴的状态而确定的所述权重通过基于所述第2光学系统的光轴的状态的高斯分布来确定。
9.根据权利要求1至8中任一项所述的摄像装置，其中，
所述多个第1摄影图像在所述第1光学系统的光轴越接近标准状态时被拍摄得越密集，在越远离该标准状态时被拍摄得越稀疏，并从所述第1传感器组输出，
并且所述多个第2摄影图像在所述第2光学系统的光轴越接近标准状态时被拍摄的越密集，在越远离该标准状态时被拍摄得越稀疏，并从所述第2传感器组输出。
10.根据权利要求9所述的摄像装置，其中，
拍摄所述多个第1摄影图像时的所述第1光学系统的光轴的状态的分布密度根据高斯分布而确定，
拍摄所述多个第2摄影图像时的所述第2光学系统的光轴的状态的分布密度根据高斯分布而确定。
11.根据权利要求1至10中任一项所述的摄像装置，其中，
所述图像生成部还具有图像校正部，该图像校正部对所述第1摄影图像及所述第2摄影图像进行校正，从而减少所述第1摄影图像中的透过所述第2光学系统的光的影响，并且减少所述第2摄影图像中的透过所述第1光学系统的光的影响。
12.根据权利要求11所述的摄像装置，其中，
所述图像校正部根据由所述第1摄影图像及所述第2摄影图像的检测增益分布及干扰增益分布构成的矩阵的逆矩阵进行所述校正。
13.根据权利要求11或12所述的摄像装置，其中，
所述图像校正部进一步对所述第1摄影图像进行校正来减少所述第1光学系统的像差的影响，并且对所述第2摄影图像进行校正来减少所述第2光学系统的像差的影响。
14.根据权利要求1至13中任一项所述的摄像装置，其中，
所述多个第1摄影图像在所述第1光学系统的光轴一维不同的状态下被拍摄并从所述第1传感器组输出，
并且所述多个第2摄影图像在所述第2光学系统的光轴一维不同的状态下被拍摄并从所述第2传感器组输出。
15.根据权利要求1至13中任一项所述的摄像装置，其中，
所述多个第1摄影图像在所述第1光学系统的光轴二维不同的状态下被拍摄并从所述第1传感器组输出，
并且所述多个第2摄影图像在所述第2光学系统的光轴二维不同的状态下被拍摄并从所述第2传感器组输出。
16.根据权利要求1至15中任一项所述的摄像装置，该摄像装置还具备光学系统驱动器，该光学系统驱动器能够通过移动所述摄影光学系统而改变所述第1光学系统及所述第2光学系统的光轴的状态。
17.根据权利要求16所述的摄像装置，其中，
所述光学系统驱动器为对所述摄影光学系统进行平摇及俯仰的平摇俯仰装置。
18.根据权利要求1至17中任一项所述的摄像装置，该摄像装置还具备保持被摄体的被摄体保持部和使所述被摄体保持部移动的被摄体驱动器。
19.一种摄像装置的摄像方法，该摄像装置具备：摄影光学系统，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统及第2光学系统；成像元件，包括选择性接收透过所述第1光学系统的光的第1传感器组和选择性接收透过所述第2光学系统的光的第2传感器组；及图像生成部，根据从所述第1传感器组输出的第1摄影图像生成第1生成图像，并且根据从所述第2传感器组输出的第2摄影图像生成第2生成图像，其中，
在所述图像生成部中包括如下步骤：
对在所述第1光学系统的光轴不同的状态下拍摄的多个所述第1摄影图像进行对位；
通过对已对位的所述多个第1摄影图像进行合成而生成所述第1生成图像；
对在所述第2光学系统的光轴不同的状态下拍摄的多个所述第2摄影图像进行对位；及
通过对已对位的该多个第2摄影图像进行合成而生成所述第2生成图像。
20.一种用于使计算机执行摄像装置的摄像方法中的步骤的程序，该摄像装置具备：摄影光学系统，包括具有共用的光轴并具有彼此不同的焦距的第1光学系统及第2光学系统；成像元件，包括选择性接收透过所述第1光学系统的光的第1传感器组和选择性接收透过所述第2光学系统的光的第2传感器组；及图像生成部，根据从所述第1传感器组输出的第1摄影图像生成第1生成图像，并且根据从所述第2传感器组输出的第2摄影图像生成第2生成图像，其中，
使计算机执行所述图像生成部中的如下步骤：
对在所述第1光学系统的光轴不同的状态下拍摄的多个所述第1摄影图像进行对位；
通过对已对位的所述多个第1摄影图像进行合成而生成所述第1生成图像；
对在所述第2光学系统的光轴不同的状态下拍摄的多个所述第2摄影图像进行对位；及
通过对已对位的该多个第2摄影图像进行合成而生成所述第2生成图像。
CN201580061053.7A 2014-11-21 2015-09-30 摄像装置、摄像方法及记录介质 Active CN107005627B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-236546 2014-11-21
JP2014236546 2014-11-21
PCT/JP2015/077674 WO2016080081A1 (ja) 2014-11-21 2015-09-30 撮像装置、撮像方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107005627A true CN107005627A (zh) 2017-08-01
CN107005627B CN107005627B (zh) 2020-03-31

Family

ID=56013640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580061053.7A Active CN107005627B (zh) 2014-11-21 2015-09-30 摄像装置、摄像方法及记录介质

Country Status (5)

Country Link
US (1) US10038856B2 (zh)
EP (1) EP3223505B1 (zh)
JP (1) JP6291595B2 (zh)
CN (1) CN107005627B (zh)
WO (1) WO2016080081A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672827A (zh) * 2017-10-13 2019-04-23 三星电子株式会社 用于组合多个图像的电子装置及其方法
CN112955925A (zh) * 2019-11-01 2021-06-11 深圳市大疆创新科技有限公司 图像处理装置、图像处理方法以及程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6139713B2 (ja) * 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
KR102426728B1 (ko) * 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
CN110622499B (zh) 2017-05-16 2021-02-05 富士胶片株式会社 图像生成装置、图像生成系统、图像生成方法及记录介质
CN112425148B (zh) 2018-06-21 2022-04-08 富士胶片株式会社 摄像装置、无人移动体、摄像方法、系统及记录介质
TWI791206B (zh) * 2021-03-31 2023-02-01 圓展科技股份有限公司 雙鏡頭移動控制系統及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
CN102934025A (zh) * 2010-06-30 2013-02-13 富士胶片株式会社 摄像装置及摄像方法
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
CN103782586A (zh) * 2011-08-24 2014-05-07 富士胶片株式会社 成像设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013024636A1 (ja) * 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
US9549127B2 (en) * 2013-10-18 2017-01-17 Light Labs Inc. Image capture control methods and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
CN102934025A (zh) * 2010-06-30 2013-02-13 富士胶片株式会社 摄像装置及摄像方法
CN103782586A (zh) * 2011-08-24 2014-05-07 富士胶片株式会社 成像设备
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672827A (zh) * 2017-10-13 2019-04-23 三星电子株式会社 用于组合多个图像的电子装置及其方法
CN109672827B (zh) * 2017-10-13 2021-10-22 三星电子株式会社 用于组合多个图像的电子装置及其方法
CN112955925A (zh) * 2019-11-01 2021-06-11 深圳市大疆创新科技有限公司 图像处理装置、图像处理方法以及程序

Also Published As

Publication number Publication date
EP3223505A1 (en) 2017-09-27
US10038856B2 (en) 2018-07-31
CN107005627B (zh) 2020-03-31
EP3223505A4 (en) 2017-10-11
US20170289461A1 (en) 2017-10-05
EP3223505B1 (en) 2019-12-04
JP6291595B2 (ja) 2018-03-14
WO2016080081A1 (ja) 2016-05-26
JPWO2016080081A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
CN107005627A (zh) 摄像装置、摄像方法及程序
CN108604373B (zh) 用于使用多个相机实施无缝缩放功能的系统和方法
US9672604B2 (en) Convolutional color correction
US20180367774A1 (en) Convolutional Color Correction in Digital Images
US10244165B2 (en) Imaging device
CN104704806B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
US20120262607A1 (en) Multocular image pickup apparatus and multocular image pickup method
CN106464786B (zh) 摄像装置
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
CN106030366B (zh) 摄像装置及对焦控制方法
CN105008976B (zh) 摄像装置、信号处理方法、信号处理程序
CN106688228A (zh) 摄像控制装置、摄像控制方法、相机、相机系统及程序
CN104641625B (zh) 图像处理装置、摄像装置及图像处理方法
CN104205827B (zh) 图像处理装置及方法、以及摄像装置
CN106688227A (zh) 多摄像装置、多摄像方法、程序及记录介质
CN105980905B (zh) 摄像装置及对焦控制方法
CN106415348B (zh) 摄像装置及对焦控制方法
WO2006079963A2 (en) Device for registering images
CN104641624A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN107850753A (zh) 检测设备、检测方法、检测程序和成像设备
US20230033956A1 (en) Estimating depth based on iris size
CN104205825A (zh) 图像处理装置及方法以及摄像装置
CN106062608B (zh) 摄像装置及对焦控制方法
CN106133575B (zh) 摄像装置及对焦控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant