CN114175631A - 图像处理设备、图像处理方法、程序和存储介质 - Google Patents

图像处理设备、图像处理方法、程序和存储介质 Download PDF

Info

Publication number
CN114175631A
CN114175631A CN202080054851.8A CN202080054851A CN114175631A CN 114175631 A CN114175631 A CN 114175631A CN 202080054851 A CN202080054851 A CN 202080054851A CN 114175631 A CN114175631 A CN 114175631A
Authority
CN
China
Prior art keywords
image
image processing
distance information
imaging
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054851.8A
Other languages
English (en)
Inventor
佐佐木贵志
森重树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020124031A external-priority patent/JP2021027584A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN114175631A publication Critical patent/CN114175631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的一种图像处理设备包括：输入部件，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；估计部件，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及决定部件，用于根据所述距离信息分布和所估计的深度方向之间的关系，决定表示所述光学系统和所述摄像元件相对于设计位置的偏离程度的评价值。

Description

图像处理设备、图像处理方法、程序和存储介质
技术领域
本发明涉及图像处理设备，并且特别地，涉及与光学系统和摄像元件的长期变化有关的信息以及与图像处理设备的姿势有关的信息。
背景技术
传统上已知有如下的技术，该技术用于通过参考从一对立体照相机获取到的距离信息来诊断由于长期变化等而引起的这些立体照相机之间的相对位置关系的变化，并且用于支持这些立体照相机的校准。例如，专利文献1公开了以下方法。利用机器人的头部上所装配的立体照相机在设置有诊断所用的纹理的基本平坦的面上以预定的位置关系对被摄体进行摄像，并且根据所获得的视差图像通过距离信息的计算来获得平坦度。然后，将所获得的平坦度和预定基准量彼此比较以判断是否需要校准。
现有技术文献
专利文献
专利文献1：日本特开2004-306249
发明内容
问题的解决方案
此外，在未装配在机器人上并且由典型用户使用的数字照相机中，作为光学系统的镜头或使用CMOS的摄像元件可能由于长期变化等而从制造时的附接位置(设计位置)改变。在镜头或摄像元件倾斜的情况下，实际距离和景深之间的关系偏离，并且获取到用户所不期望的图像。因此，同样对于典型用户所使用的数字照相机，期望用于判断是否需要镜头或摄像元件的校准的方法及其解决方案。
另外，在通过使用数字照相机的摄像中，当数字照相机正对要摄像的被摄体并对该被摄体进行摄像时，即使对镜头或摄像元件进行校准，倾斜的摄像设备或不适当的摄像距离也阻止了获得良好的拍摄图像。特别地，深度方向上的倾斜或距离误差导致拍摄图像(中的对象被摄体)变模糊。
因此，本发明的目的是提供如下的图像处理设备，该图像处理设备使得能够基于与到被摄体的距离相对应的距离信息分布来通知与镜头或摄像元件的倾斜有关的信息以及与摄像设备的位置或姿势有关的信息至少之一。
为了解决上述问题，根据本发明的一种图像处理设备包括：输入部件，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；估计部件，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及决定部件，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述光学系统和所述摄像元件相对于设计位置的偏离程度的评价值。
另外，根据本发明的一种图像处理设备包括：输入部件，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；估计部件，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及决定部件，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述图像中的被摄体的深度方向上的偏离程度的评价值。
另外，根据本发明的一种图像处理设备包括：摄像条件获取部件，用于获取与摄像部件所拍摄到的图像有关的摄像条件，所述摄像条件至少包括F数以及将图像偏移量变换成散焦量的变换系数；距离信息获取部件，用于获取距离信息分布，所述距离信息分布是与所述摄像部件所拍摄到的图像的各区域相对应的距离信息的分布；以及图像处理部件，用于基于所述F数和所述变换系数来对所述距离信息分布进行归一化。
另外，根据本发明的一种图像处理方法包括：输入步骤，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；估计步骤，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及决定步骤，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述光学系统和所述摄像元件相对于设计位置的偏离程度的评价值。
另外，根据本发明的一种图像处理方法包括：输入步骤，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；估计步骤，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及决定步骤，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述图像中的被摄体的深度方向上的偏离程度的评价值。
另外，根据本发明的一种图像处理方法包括：摄像条件获取步骤，用于获取与摄像部件所拍摄到的图像有关的摄像条件，所述摄像条件至少包括F数以及将图像偏移量变换成散焦量的变换系数；距离信息获取步骤，用于获取距离信息分布，所述距离信息分布是与所述摄像部件所拍摄到的图像的各区域相对应的距离信息的分布；以及图像处理步骤，用于基于所述F数和所述变换系数来对所述距离信息分布进行归一化。
根据本发明，可以提供使得能够确认光学系统和摄像元件相对于设计位置的偏离程度的图像处理设备。
附图说明
图1是示出根据本发明实施例的图像处理设备的功能结构示例的框图。
图2是示出根据本发明实施例的数字照相机的功能结构示例的框图。
图3是示出根据本发明实施例的计算机的功能结构示例的框图。
图4A示出根据本发明实施例的摄像单元的结构示例。
图4B示出根据本发明实施例的摄像单元的结构示例。
图5A是示出根据本发明实施例的图像处理设备的操作的流程图。
图5B是示出根据本发明实施例的图像处理设备的操作的流程图。
图5C是示出根据本发明实施例的图像处理设备的操作的流程图。
图6示出根据本发明实施例的用于记录静止图像的图像。
图7示出根据本发明实施例的散焦图。
图8是示出根据本发明实施例的图像处理单元306的功能结构示例的框图。
图9示出根据本发明实施例的散焦量变为零的面。
图10示出根据本发明实施例的在聚焦面正常时的散焦图。
图11A示出根据本发明实施例的在光学系统和摄像元件从设计位置偏移的情况下发生的现象。
图11B示出根据本发明实施例的在光学系统和摄像元件从设计位置偏移的情况下发生的现象。
图12示出根据本发明实施例的在聚焦面倾斜时的散焦图。
图13示出根据本发明实施例的表示偏离程度的评价值。
图14示出根据本发明实施例的向用户的通知。
图15示出根据本发明实施例的消失点和深度方向的估计结果。
图16示出根据本发明实施例的散焦图的直方图。
图17A示出根据本发明实施例的肖像场景中的用于记录静止图像的图像、散焦图和该散焦图的直方图。
图17B示出根据本发明实施例的肖像场景中的用于记录静止图像的图像、散焦图和该散焦图的直方图。
图17C示出根据本发明实施例的肖像场景中的用于记录静止图像的图像、散焦图和该散焦图的直方图。
图18示出根据本发明第一实施例的光学系统的光学渐晕特性。
图19A是示出根据本发明第二实施例的照相机设备1900和镜头设备1913的硬件结构示例的框图。
图19B是示出根据本发明第二实施例的照相机设备1900的功能结构示例的框图。
图20是示出根据本发明第二实施例的云台设备2000的硬件结构示例的框图。
图21A示出根据本发明第二实施例的用于对社会基础设施进行摄像的摄像方法。
图21B示出根据本发明第二实施例的用于对社会基础设施进行摄像的摄像方法。
图22是根据本发明第二实施例的摄像系统的操作的流程图。
图23示出根据本发明第二实施例的开关2007。
图24A是与根据本发明第二实施例的照相机设备1900的转动控制有关的图。
图24B是与根据本发明第二实施例的照相机设备1900的转动控制有关的图。
图24C是与根据本发明第二实施例的照相机设备1900的转动控制有关的图。
图25示出根据本发明第二实施例的表2515的结构示例。
具体实施方式
[第一实施例]
以下将参考一些附图来详细说明根据本发明第一实施例的图像处理设备、图像处理方法和图像处理程序。如图1所示，将说明将本发明应用于图像处理设备100的示例，其中作为摄像设备的示例的数字照相机101和作为图像处理设备的示例的计算机102经由通信电路103可通信地彼此连接。然而，在以下的说明中，计算机102所进行的处理也可以由数字照相机101进行。另外，数字照相机101可以是具有摄像功能的任何给定电子装置，并且计算机102可以是能够进行以下所述的处理的任何给定电子装置或者服务器设备中的计算机。计算机102还可以是移动型计算机或台式计算机。
图2是示出根据本发明实施例的数字照相机101的功能结构示例的框图。系统控制单元201例如是CPU，并且从ROM 202读取数字照相机101中所包括的块的操作程序，将这些操作程序加载到RAM 203，并且执行这些操作程序以控制数字照相机101中所包括的块的操作。ROM 202是可重写的非易失性存储器，并且除了存储数字照相机101中所包括的块的操作程序之外，还存储块的操作所需的参数等。RAM 203是可重写的易失性存储器，并且用作在数字照相机101中所包括的块的操作中输出的数据的临时存储区域。
光学系统204在摄像单元205上形成场图像。摄像单元205例如是诸如CCD或CMOS传感器等的摄像元件，对由光学系统204在摄像单元205的摄像元件上形成的光学图像进行光电转换，并且将所获得的模拟图像信号输出到A/D转换单元206。另外，在光学系统204和摄像单元205各自中装配有减少照相机抖动的影响的IS机构。A/D转换单元206对所输入的模拟图像信号应用A/D转换处理，并且将所获得的数字图像数据输出到RAM 203以进行存储。
图像处理单元207对RAM 203中所存储的图像数据应用诸如白平衡调整、颜色插值、缩小/放大以及滤波等的各种类型的图像处理。
记录介质208是可拆卸的存储卡等，在该存储卡上，将RAM 203中所存储的由图像处理单元207进行处理的图像以及由A/D转换单元206进行了A/D转换的图像等作为记录图像进行记录。
通信单元209将记录介质208上所记录的图像数据文件等以有线或无线方式发送到外部设备。
显示单元210显示通过摄像所获得的图像数据或从记录介质208读取的图像数据等，或者显示各种菜单画面。显示单元210还通过显示实时取景图像来用作电子取景器。
操作单元211是供用户向数字照相机101输入各种指示或设置等用的输入装置组，并且包括典型的数字照相机所具有的键和按钮，诸如快门按钮、菜单按钮、方向键和决定键等。另外，在显示单元210是触摸显示器的情况下，显示单元210也用作操作单元211。注意，操作单元211可被配置为省掉诸如麦克风和语音命令识别单元的组合等的物理操作。
检测单元212包括陀螺传感器或传感器，并且获取数字照相机101的角速度信息或姿势信息等。注意，姿势信息包括与数字照相机101相对于水平方向的倾斜等有关的信息。
图3是示出根据本实施例的计算机102的功能结构示例的框图。系统控制单元301例如是CPU，并且从ROM 302读取程序，将这些程序加载到RAM 303，并执行这些程序以控制计算机102中所包括的块的操作。ROM 302是可重写的非易失性存储器，并且除了存储系统控制单元301所执行的程序之外，还存储对块进行控制所需的参数等。RAM 303是可重写易失性存储器，并且使用计算机102中所包括的各块作为所输出的数据的临时存储区域。
通信单元304通过有线或无线通信与诸如数字照相机101等的外部设备进行通信。记录设备305例如是硬盘，并且存储由通信单元304从数字照相机101接收到的图像数据等。
图像处理单元306例如计算从记录设备305加载到RAM 303的图像数据的(后面将说明的)散焦量，根据图像来估计深度方向，或者计算与光学系统和摄像元件相对于设计位置的偏离程度有关的信息。
显示单元307用于显示由在计算机102中工作的OS或应用提供的GUI或各种类型的数据。显示单元307可以包括在计算机102中或者可以作为外部设备而连接。
操作单元308是供用户向计算机102输入各种指示或设置等用的输入装置组，并且通常包括键盘、鼠标或触控板等。另外，在显示单元307是触摸显示器的情况下，显示单元307也用作操作单元308。注意，操作单元308可被配置为省掉诸如麦克风和语音命令识别单元的组合等的物理操作。
图4A示出图2的摄像单元205中的像素的排列结构。如图4A所示，多个像素400二维且规则地排列在摄像单元205中。具体地，多个像素400例如是以二维格子的形式排列的。注意，像素400的排列结构不限于格子形式的排列结构，并且也可以采用其他的排列结构。
图4B以放大方式示出图4A所示的像素400。如图4B所示，各个像素400包括微透镜401以及一对光电转换单元402A和403B(以下分别称为光瞳分割像素402A和403B)。光瞳分割像素402A和403B这两者都具有相同的平面形状，并且该平面形状具有长边方向是y轴方向的矩形形状。在各个像素400中，光瞳分割像素402A和403B被布置成以沿着微透镜401的y轴方向的垂直平分线作为对称轴成轴对称。注意，光瞳分割像素402A和403B的平面形状不限于此，并且也可以采用其他的平面形状。另外，光瞳分割像素402A和403B的布置方式也不限于此，并且也可以采用其他布置方式。
在本实施例中，从二维且规则地排列的光瞳分割像素402A和403B分别输出A图像和B图像作为视差图像。另外，将通过将A图像和B图像相加所获得的A+B图像作为记录静止图像记录在记录介质208上。通过如图4A和图4B所示构成摄像单元205，使穿过光学系统204的光瞳的不同区域的一对光束成像为一对光学图像，并且可以将这些图像作为A图像和B图像输出。注意，用于获取A图像和B图像的方法不限于上述方法，并且可以采用各种方法。例如，可以使用由诸如以空间间隔安装的多个照相机等的摄像设备获取到的视差图像作为A图像和B图像。另外，也可以使用由诸如包括多个光学系统和摄像单元的单个照相机等的摄像设备获取到的视差图像作为A图像和B图像。
以下将说明图像处理设备100的操作。响应于通过数字照相机101的操作单元211输入诸如快门按钮的全按下等的摄像指示，图像处理设备100执行图5A、图5B和图5C所示的处理。注意，图5A和图5C中的处理由数字照相机101执行，并且图5B中的处理由计算机102执行。
首先，在步骤S500中，系统控制单元201从检测单元212检测按下快门按钮时的照相机的状态。这里，作为照相机的状态，检测数字照相机101相对于水平方向的倾斜以及上下方向的朝向。
在后续步骤S501中，系统控制单元201根据在摄像准备状态中确定的曝光条件来进行摄像处理，并且从摄像单元205获取作为一对视差图像的A图像和B图像。注意，也可以读取并获取预先记录在记录介质208上的A图像和B图像。另外，可以将A图像和B图像相加以作为用于记录静止图像的图像而记录在记录介质208上。在图6中示出本实施例中的用于记录静止图像的图像。图6是通过将所拍摄到的A图像和B图像相加所获得的图像。另外，600是自动对焦框。
在后续步骤S502中，系统控制单元201控制图像处理单元207，并且根据在步骤S501中获取到的视差图像来输出表示摄像范围中的空间(二维)散焦量分布的数据。在以下的说明中，表示空间散焦量分布的数据将被称为散焦图。散焦量是从光学系统204聚焦于的距离起的焦点偏移量，因此是距离信息的一种。关于用于获取散焦量的方法，例如，可以使用如在日本特开2008-15754中公开的方法那样的用于计算视差图像之间的相位差的方法。具体地，将视差图像的偏移量与散焦量之间的关系表示为以下表达式。
DEF＝KX·PY·x ···(1)
在表达式(1)中，DEF是散焦量，PY是检测间距(用于布置相同类型的像素的间距)，KX是由穿过光瞳的一对光束的重心的开角程度确定的变换系数，并且x是视差图像的偏移量。
另外，本发明不限于此，并且也可以获取到作为视差图像的偏移量的偏移量的分布作为距离信息分布。
另外，距离信息分布还可以是以通过将视差图像的偏移量乘以检测间距PY所获得的长度(诸如微米等)为单位表示的信息。
另外，本发明不限于此，并且可以通过进一步参考聚焦透镜位置来将距离信息分布从散焦量转换成实际距离的分布。
另外，本发明不限于此，并且还可以获取到通过用Fδ(F是f数，并且δ是容许弥散圆的直径)对散焦量进行归一化所获得的值的分布作为距离信息分布。该分布表示针对δ的模糊量。这里，尽管可以将摄像所用的f数作为f数F应用于整个分布，但为了获得模糊量的更精确分布，优选应用考虑到摄像条件下的光学系统204的光学渐晕特性的有效f数(有效f值)。图18是示出光学渐晕特性V(h)的曲线图，其中横轴表示相对于光学中心的距离(像高)，并且纵轴表示通过在各像高中将该像高的中心的光量设置为1所标准化的光量。根据透镜框或光圈框而发生渐晕，并且在图18中，随着像高增加(接近摄像范围中的端)，光量减少。光学渐晕特性具有取决于镜头的独特特性。这里，通过参考光学渐晕特性，将像高h处的有效f数F'表示为以下表达式。
Figure BDA0003493710420000101
在图7中示出图6中的图像的散焦图。散焦图700由随着距离更近而变得更白(像素值更高)的连续值的灰阶表示。另外，701是自动对焦框，并且聚焦区域(散焦量为零)以灰色表示。另外，702是连接聚焦区域的直线。
随后，在步骤S503中，系统控制单元201将主要包括图像数据的以下信息通过通信单元209发送到计算机102。
-用于记录静止图像的图像
-散焦图
-照相机状态检测信息(与检测到照相机的倾斜有关的信息)
-自动对焦框位置信息
-照相机主体的识别编号(ID)和附接镜头的识别编号(ID)
-诸如F数和ISO感光度等的摄像信息
将上述信息彼此关联地记录或发送。例如，上述信息在使用JPEG格式的情况下可被记录在Exif信息中，或者在使用RAW数据格式的情况下可被作为图像附加信息记录在单个文件中。可选地，可以将必要的信息连同图像一起作为容器文件进行记录或发送，其中在该容器文件中，可以共同存储多个关联的数据。可选地，这些信息可以在无需一起收集的情况下作为不同的文件进行记录或发送。例如，需要进行诸如设置相同的文件名、将它们存储在相同的文件夹中、或者按顺序顺次发送这些数据(接收器可以基于数据的顺序或类型等识别出这些信息彼此相关联)等的处理，使得这些数据文件可被掌握为彼此关联。由于根据与记录或发送有关的文件结构或发送协议的发送控制等不直接与本发明相关、并且可以使用已知的方法，因此将从说明中省略详情。注意，上述信息可被记录在记录介质208上、然后可以通过通信单元209被发送到计算机102，或者可以将记录介质208从数字照相机101移除以读取计算机102中的图像数据。另外，照相机可以不生成散焦图(记录信息分布)，而是可以将成对的视差图像连同上述关联的信息一起记录，并且计算机102可以生成散焦图。
在本实施例中，从步骤S504到步骤S508的处理由计算机102进行。由于从步骤S504至步骤S508的处理由不同于数字照相机101的设备进行，因此用户能够在无需进行特殊照相机操作的情况下知晓与光学系统和摄像元件相对于设计位置的偏离程度有关的信息。另外，尽管在该示例中在数字照相机101中生成散焦图，但视差图像可被发送到计算机102，并且计算机102可以生成散焦图。在连续摄像期间数字照相机101上的计算负荷重的情况下，通过使用于生成散焦图的计算分散到计算机102，可以减少计算与光学系统和摄像元件相对于设计位置的偏离程度有关的信息的时间。另外，通过进一步发送与由使用中的镜头和摄像条件唯一确定的变换系数KX和有效f数F'有关的信息，计算机102可以生成各种距离信息分布。另外，与变换系数KX和有效f数F'有关的信息可以预先存储在计算机102中，并且可以基于所接收到的镜头识别(ID)编号和摄像信息从所存储的信息读取。
图8是示意性示出根据本实施例的计算机102中所包括的图像处理单元306的功能结构示例的框图。现在，以下将通过进一步参考图5B来说明图像处理单元306的操作。注意，图像处理单元306的操作根据利用系统控制单元301的控制来实现。
最初，系统控制单元301接收在步骤S503中发送的信息，并且将所读取的数据加载到RAM 303中(步骤S504)。
随后，在步骤S505中，深度方向估计单元800基于在获取RAM 303上所记录的视差图像时的照相机状态检测信息803(摄像条件)来估计图像中的深度方向。在该示例中，参考散焦量变为零的面来估计深度方向。这里，将参考图9来说明散焦量变为零的面。
图9示出在如下状态下对地面上的平面被摄体901进行摄像：俯瞰光学系统和摄像元件没有从设计位置偏移的数字照相机101，并且数字照相机101相对于水平方向(图9中的x轴方向)的倾斜为零。另外，在自动对焦框903在光轴900和被摄体901彼此相交的点时，连接聚焦区域的面(以下称为聚焦面)是与摄像单元205平行且与光轴900垂直相交的面902。此外，被摄体901的拍摄图像中的聚焦面902也可以由通过自动对焦框903的直线904表示。图10示出被摄体901的拍摄图像的散焦图1000、其中的自动对焦框1001、以及其中的聚焦面1002。根据图10，在光学系统和摄像元件没有从设计位置偏移的照相机正在俯瞰并且其相对于水平方向的倾斜为零的状态下进行摄像的情况下，聚焦面1002是相对于图像的水平直线。此外，由于摄像时的照相机的上下方向的朝向是已知的，因此聚焦面1002上方的部分是远处，并且聚焦面1002下方的部分是近处。也就是说，可以估计为深度方向从拍摄图像的下部向其上部改变。深度方向估计单元800输出表示聚焦面1002的直线的表达式作为深度估计信息804。
根据散焦图802和由深度方向估计单元800获得的深度估计信息804(表示聚焦面的直线的表达式)，偏离程度计算单元801计算与拍摄视差图像的光学系统和摄像元件相对于设计位置的偏离程度有关的信息805(步骤S506)。
这里，将参考图11A和图11B来说明在光学系统和摄像元件从设计位置偏移的情况下发生的现象。图11A示出光学系统204和摄像单元205在设计位置处的状态。在该状态下进行摄像的情况下，聚焦面1100平行于摄像单元205。另一方面，图11B示出光学系统204从设计位置偏移并且发生偏心的状态。在这种情况下，基于Scheimpflug定律，聚焦面1101根据由光学系统204和摄像单元205形成的角度θ而倾斜。在图11B的状态下，在照相机正在俯瞰并且照相机相对于水平方向的倾斜为零的状态下，在图12中，1200表示地面上的平面被摄体的拍摄图像的散焦图，1201表示其中的自动对焦框，1202表示其中的聚焦面。根据图12，应当理解，深度从画面的右下向其左上改变。因此，相对于在光学系统和摄像元件没有从设计位置偏移的状态下的深度变化方向(图10)发生偏离。因此，用户的深度感知和聚焦面之间的关系偏离，这样得到用户所不期望的摄像结果。
偏离程度计算单元801计算由表示散焦图802中的聚焦面1202的直线的表达式和表示由深度方向估计单元800估计的聚焦面的直线1002所形成的角θ_diff，并且使得RAM303将该角θ_diff作为表示偏离程度的评价值805进行存储。图13示出θ_diff。θ_diff越大，光学系统和摄像元件相对于设计位置的偏离越大(需要校准)。注意，在摄像时照相机相对于水平方向倾斜的情况下，可以将该倾斜角度从θ_diff中减去以进行校正，并且即使对于在照相机相对于水平方向倾斜的状态下拍摄到的图像，也可以获得本发明的效果。
在后续步骤S507中，系统控制单元301将所计算出的θ_diff与预先存储的阈值进行比较，并且如果θ_diff大于阈值，则进行步骤S508，且如果θ_diff小于或等于阈值，则结束处理。
在步骤S508中，系统控制单元301将以下信息通过通信单元304发送到数字照相机101，以在用户所使用的照相机中通知光学系统和摄像元件从设计位置偏移。
-检测到偏移的照相机主体的识别编号
-检测到偏移的镜头的识别编号
在步骤S509中，数字照相机101中的系统控制单元201判断是否接收到从计算机102发送来的信息。如果接收到这些信息，则进行步骤S510；如果没有接收到这些信息，则处理结束。
在步骤S510中，系统控制单元301将如图14那样的显示输出到显示单元210，并且推荐用户在客户中心修理照相机和镜头。客户中心从用户(数字照相机101)接收照相机和镜头的ID信息等以及图像数据，这在修理/故障信息的确定或统计等方面是有用的。
以上述方式，根据本实施例，在不会妨碍用户便利性的情况下，可以计算与光学系统和摄像元件相对于设计位置的偏离程度有关的信息，并且可以将该信息通知给用户。
另外，在本实施例中，尽管显示向用户通知光学系统和摄像元件从设计位置偏移的文本，但为了使用户更容易地识别偏移的发生，可以在显示单元210上显示图像。具体地，显示单元210可被配置为显示在步骤S502中生成的图12中的采用灰阶的散焦图、或者通过查找表转换等经过了颜色值转换的散焦图。
另外，在本实施例中，尽管在发生光学系统或摄像元件从设计位置的偏移的情况下向用户显示信息，但在未检测到偏移的发生的情况下或者在这两个情况下，也可以显示信息。根据这种配置，当用户立即需要判断结果时，用户能够知晓是否需要校准。
另外，在本实施例中，尽管说明了通过使用成对的视差图像计算视差量来生成散焦图的情况作为示例，但本发明不限于此。作为用于生成散焦图的方法，例如，可以采用DFD(Depth From DeFocus，散焦深度)方法，其中，根据聚焦位置或f数不同的两个图像之间的相关性来获取散焦图。由于可以通过使用在光圈支架摄像模式上获取到的图像来计算与光学系统和摄像元件相对于设计位置的偏离程度有关的信息，因此用于检测偏移的机会增加，并且可以在适当的定时向用户提供信息。
另外，在本实施例中，尽管根据照相机状态检测信息来估计图像中的深度方向，但本发明不限于此。例如，也可以通过使用与消失点有关的信息来估计深度方向。通过这种配置，即使照相机不包括检测照相机的状态的陀螺仪或传感器，也可以获得本发明的效果，并且用户的便利性增加。现在，以下将说明用于通过使用消失点检测来估计深度方向、并且用于计算与光学系统和摄像元件相对于设计位置的偏离程度有关的信息的方法。
消失点是在通过透明变换将三维空间中的平行线投影到图像平面上的情况下、与这些平行线相对应的画面平面上的直线收敛于的点。也就是说，消失点在实际具有深度的空间被投影到的平面图像上是“无限远点”，并且被识别为与深度方向平行的线的延长线彼此相交的点或者沿深度方向延伸的面的延长收敛于无限远点的点。因此，通过诸如Hough变换等的已知方法来检测图像中的多个直线，并且所检测到的最大数量的直线收敛于的点可被检测为消失点。在图15中示出在图6中检测消失点的结果。
在图15中，1500是消失点。另外，深度方向可被估计为从自动对焦框600朝向消失点的方向1501。深度方向估计单元800将朝向消失点的方向1501作为深度方向估计信息804输出。
偏离程度计算单元801通过使用已知技术来计算散焦图802中的自动对焦框附近的散焦量的梯度(变化方向)。随后，根据与深度方向估计信息804的差，偏离程度计算单元801计算表示光学系统和摄像元件相对于设计位置的偏离程度的评价值。具体地，将朝向消散点的方向和散焦量的梯度方向各自视为矢量，并且矢量之间的差是评价值。光学系统和摄像元件从设计点的偏移越大，评价值越大。
另外，用于参考从图像中提取的特征来估计图像中的深度方向的方法不仅可以使用上述消失点检测，而且可以使用与纹理的密度的变化有关的信息。参考纹理的密度的变化来检测图像中的深度方法。作为方法，例如，可以采用在“Texture StructureClassification and Depth Estimation using Multi-Scale Local AutocorrelationFeatures”,KANG Y,HASEGAWA O,NAGAHASHI H(Tokyo Inst.Technol.),JST-PRESTO(非专利文献)中所述的方法。
具体地，在参考用于记录静止图像的图像在图像中存在均匀纹理(例如，图6中的道路)的情况下，深度方向估计单元800使用随着距离增加、纹理的密度减小这一事实。也就是说，如果在图像中检测到相同纹理的密度逐渐减小的区域，则深度方向估计单元800判断为被预定纹理覆盖的平面正变得远离摄像位置。输出从前侧到相反侧的方向作为深度方向估计信息804。特别地，在聚焦区域中，有可能检测到精细纹理，通过在自动对焦框附近进行上述判断，可以以高精度估计深度方向。此外，通过使用已知的典型物体检测，可以预先检测有可能存在均匀纹理(诸如像道路那样的地面、水面、或者作为在地面或水面的垂直方向上建造的结构物的树篱等)的区域，并且可以限制对象区域。因此，可以减少用于估计深度方向上的位置的分布的处理时间。
另外，与使用消失点的情况一样，偏离程度计算单元801将散焦图802中的自动对焦框附近的散焦量的梯度(变化方向)的矢量与根据纹理的密度的变化所估计的深度方向的矢量之间的差设置为评价值。
另外，在本实施例中，根据单个拍摄图像来计算表示光学系统和摄像元件相对于设计位置的偏离程度的评价值，并且判断是否发生了偏移。然而，本发明不限于此。可以在用户所拍摄到的图像的数量达到一定基准数量的情况下进行判断。通过基于多个拍摄图像中的评价值进行判断，可以增加与是否发生了偏移有关的判断可靠程度。另外，对于与是否向用户通知检测到光学系统和摄像元件从设计位置的偏移的发生有关的条件，通过检查检测到偏移的图像的数量是否达到一定基准数量，可以进一步提高判断可靠程度。
另外，代替针对所有拍摄图像判断光学系统和摄像元件相对于设计位置的偏离程度，优选在预先评价大量图像中的图像是否适合于偏离程度的判断之后进行偏离程度的判断处理。具体地，通过执行上述典型物体检测，进行与是否存在诸如道路等的均匀纹理以及图像是否适合于估计深度方向有关的评价。利用这种配置，可以减少用于判断偏离程度的处理时间。另外，存在诸如道路等的纹理的被摄体也适合于在步骤S502中检测视差图像之间的相位差，因此可以预期更精确的偏离程度评价值。另外，通过将已知的GPS信息作为图像附件信息进行记录，可以判断在拍摄图像中是否有可能包括存在诸如道路等的纹理的被摄体。通过预先从用户所拍摄到的大量图像中选择可以预期包括纹理的图像，可以减少用于计算可靠程度高的评价结果的时间。另外，在具有可拆卸的光学系统的照相机的情况下，收集与针对各附接镜头是否可以检测到光学系统和摄像元件从设计位置的偏移有关的统计。这使得可以判断在光学系统或摄像元件中是否发生了偏移，并且向用户提供更详细的判断结果。
另外，在偏离程度计算单元801中，通过考虑以下详情以高精度地获得散焦图802的梯度，可以获得可靠程度高的评价结果。具体地，获取到所计算出的散焦图的直方图(统计信息)，并且基于直方图的形状，判断是否可以高精度地获得散焦量的梯度。尽管以下将给出说明，但优选选择直方图具有大的宽度和平滑的变化的图像。图16示出图7中的散焦图的直方图。根据图16，散焦量从前侧到相反侧广泛分布，并且此外，散焦量的变化是平滑的。因此，图7中的图像可适合于评价整个图像中散焦量的变化方向。另一方面，图17B示出在如图17A所示的肖像摄像中的人物的半身像的图像的散焦图，并且图17C示出其直方图。由于图像中的散焦量集中于半身像的人物，因此应当理解，该图像不适合于评价整个图像中的散焦量的变化方向。在偏离程度计算单元801中，在与深度方向估计信息804进行比较之前确认散焦图的直方图，并且如果该图像不适合于评价偏离程度，则中断判断处理，由此可以减少计算时间。
另外，为了在步骤S502中以高精度获取视差图像之间的相位差，可以选择S/N高的图像。因此，从大量拍摄图像中优先选择以尽可能低的感光度拍摄到的图像，由此可以提高评价值的可靠程度。
另外，由于视差图像之间的相位差受到光学系统204中的像差影响，因此在与利用深度方向估计单元800的估计结果进行比较之前，优选校正作为光学系统的设计信息所掌握的像差。另外，可以将要比较的区域限制为像差的影响小的区域。以这种方式，可以计算出可靠程度更高的评价结果。
另外，在步骤S510中，在接收到与光学系统和摄像元件从设计位置的偏移的发生有关的检测信息时，向数字照相机101的显示单元输出鼓励用户在客户中心修理照相机和镜头的显示。然而，其他解决方案也是可以的。具体地，在步骤S508中，将表示偏离程度的评价值805进一步发送到数字照相机101。根据表示偏离程度的评价值805，通过驱动光学系统和摄像单元上所装配的IS机构以接近没有发生光学系统和摄像元件从设计位置偏移的状态，可以进行简单的校准。可选地，参考表示偏离程度的评价值805，通过对聚焦面倾斜的区域进行图像处理(锐度或模糊处理)，可以处理图像以接近在没有发生光学系统和摄像元件从设计位置偏移的状态下获得的图像。具体地，与没有发生偏移的状态相比，对散焦量接近聚焦状态的区域进行模糊处理。相反，对与原始散焦量相比接近背景或前侧的区域进行锐度处理。利用上述配置，即使在用户不能修理照相机和镜头的情形中，也可以获取到具有用户所期望的景深的图像，并且可以提高用户便利性。
另外，除了用户的照相机之外，还可以将与光学系统和摄像元件从设计位置偏移的发生有关的检测信息发送到客户中心。客户中心管理由用户自己登记的客户信息以及与所有拥有的装置有关的信息，并且记录光学系统和摄像元件从设计位置偏移的发生次数以及维护次数，由此可以进一步提高用户便利性，诸如减少维修时间等。
另外，在使由用户用于摄像的照相机和镜头一体化的情况下，显示单元201可被配置为向用户呈现是否执行用于将发生的原因区分为光学系统或摄像元件的操作模式。响应于用户选择用于区分原因的操作模式，指示显示单元201鼓励用户拍摄适合于区分原因的图像。作为该指示的具体详情，用户将方格纸粘贴到用户正对的壁上，并且在改变光学系统的摄像条件(焦距、聚焦透镜位置、光圈)的同时拍摄图像。作为分析的结果，如果通过改变光学系统的摄像条件使得判断结果改变，则原因是镜头；如果不论摄像条件如何都检测到偏移的发生，则原因是摄像元件。通过这种配置，可以找到发生光学系统和摄像元件从设计位置偏移的原因，并且可以进行更适当的通知或修理。
[第二实施例]
以下将参考一些附图来详细说明根据本发明第二实施例的图像处理设备、图像处理方法和图像处理程序。注意，与根据上述第一实施例的图像处理设备中的组件基本相同的组件由相同的附图标记来表示，并且将从说明中省略这些组件或者将简要说明这些组件。
第一实施例说明了如下的实施例：计算作为照相机设备100的内部参数的与光学系统和摄像元件相对于设计位置的偏离程度有关的信息，并且向用户通知该信息。本发明的第二实施例将说明如下的实施例：进行作为外部参数的图像处理设备的位置或姿势的校准。
首先，将说明根据本实施例的摄像系统。根据本实施例的摄像系统是对作为社会基础设施检查的对象的结构物的检查对象面进行摄像，并且特别是容易地正对检查对象面并对其进行摄像或者评价拍摄图像。根据本实施例的摄像系统包括作为定期地/不定期地拍摄运动图像或拍摄静止图像的摄像设备的照相机设备、要附接到该照相机设备的镜头设备、以及用于转动该照相机设备的云台设备。
首先，将参考图19A的框图来说明根据本实施例的照相机设备1900和镜头设备1913的硬件结构示例。注意，本实施例中的摄像设备也可被配置为与第一实施例一样的数字照相机101。图19A示出镜头设备1913附接到照相机设备1900的状态。
首先，将说明照相机设备1900的硬件结构示例。根据本实施例的照相机设备1900获取在照相机设备1900的摄像范围中的多个位置处的距离信息分布，基于所获取到的距离信息之间的差来获取与用于转动或平移照相机设备1900的指示有关的信息，并且输出所获取到的信息。这里，与第一实施例一样，距离信息和距离信息分布可以是在一对视差图像之间的图像偏移量和图像偏移量分布、以及通过任何手段所获取到的散焦量和散焦图或者被摄体距离信息和被摄体距离图中的任一个。
CPU(中央处理单元)1901通过使用ROM(只读存储器)1902或RAM(随机存取存储器)1903中所存储的计算机程序或数据来进行各种处理。因此，CPU 1901控制整个照相机设备1900的操作，并且还进行或控制后面将说明的处理作为照相机设备1900所进行的处理。
ROM 1902存储照相机设备1900的设置数据、与照相机设备1900的启动有关的计算机程序或数据、以及与照相机设备1900的基本操作有关的计算机程序或数据等。
RAM 1903具有用于存储从ROM 1902读取的计算机程序或数据或者经由记录介质I/F 1908从存储卡1909读取的计算机程序或数据的区域。RAM 1903还具有用于存储从摄像元件1904输出的拍摄图像、经由外部I/F 1910从外部设备接收到的计算机程序或数据、或者通过照相机通信单元1907从镜头设备1913接收到的数据的区域。RAM 1903还具有在CPU1901进行各种处理时使用的工作区域。以这种方式，RAM 1903可以适当地提供各种区域。
摄像元件1904的像素排列具有与图2中的摄像单元205相同的排列结构，并且生成并输出与经由镜头设备1913进入的光相对应的拍摄图像。显示单元1905是液晶显示器(LCD)或有机EL显示器(OLED)等，并且是在显示画面或取景器画面上显示图像或文本的装置。注意，显示单元105可以不包括在照相机设备1900中，并且例如可以是与照相机设备1900有线地和/或无线地可通信的外部装置。
操作单元1906是诸如按钮、拨盘、触摸面板或操纵杆等的用户接口，并且可以通过用户操作向CPU 1901输入各种指示。
照相机通信单元1907进行照相机设备1900和镜头设备1913之间的数据通信。记录介质I/F 1908是用于将存储卡1909附接到照相机设备1900的接口，并且CPU 1901经由记录介质I/F 1908从存储卡1909读取数据和向存储卡1909写入数据。
作为存储卡1909，例如，已知有诸如SD、CF、CFexpress、XQD或CFast等的卡型记录介质。另外，存储卡109还可以经由无线网络在外部设备上记录数据。
外部I/F 1910是与外部设备的数据通信所用的通信接口，并且CPU 1901经由外部I/F 1910与外部设备进行数据通信。电源单元1910供给和管理照相机设备1900中的电源。
CPU 1901、ROM 1902、RAM 1903、摄像元件1904、显示单元1905、操作单元1906、照相机通信单元1907、记录介质I/F 1908、外部I/F 1910和电源单元1911全部连接到系统总线1912。
接着，将说明镜头设备1913的硬件结构示例。CPU 1914通过使用ROM 1915或RAM1916中所存储的计算机程序或数据来进行各种处理。因此，CPU 1914控制整个镜头设备1913的操作，并且还进行或控制后面将说明的处理作为镜头设备1913所进行的处理。
ROM 1915存储镜头设备1913的设置数据、与镜头设备1913的启动有关的计算机程序或数据、以及与镜头设备1913的基本操作有关的计算机程序或数据等。
RAM 1916具有用于存储从ROM 1915读取的计算机程序或数据或者通过镜头通信单元1919从照相机设备1900接收到的数据的区域。RAM 1916还具有在CPU 1914进行各种处理时使用的工作区域。以这种方式，RAM 1916可以适当地提供各种区域。
镜头通信单元1919进行照相机设备1900和镜头设备1913之间的数据通信。例如，镜头通信单元1919接收从照相机设备1900向镜头设备1913的控制信息，将镜头设备1913的操作状态等发送到照相机设备1900，或者接收来自照相机设备1900的电源供给。
显示单元1917是液晶显示器(LCD)或有机EL显示器(OLED)等，并且是显示镜头设备1913的操作状态等的装置。注意，显示单元1917可以不包括在镜头设备1913中，并且例如可以是与镜头设备1913有线地和/或无线地可通信的外部装置。
操作单元1918是诸如按钮、拨盘、触摸面板或操纵杆等的用户接口，并且可以通过用户操作向CPU 114输入各种指示。另外，通过用户操作操作单元1918所输入的指示可以通过镜头通信单元1919发送到照相机设备1900。
镜头驱动单元1920基于来自CPU 1901或CPU 114的指示来控制镜头设备1913中所包括的光学透镜，并由此控制光圈、聚焦、变焦焦点和照相机抖动校正等。在由镜头驱动单元1920控制光圈、聚焦、变焦焦点和照相机抖动校正等之后经由光学镜头进入的光被上述摄像元件1904接收，并且摄像元件1904生成并输出与所接收到的光相对应的拍摄图像。
CPU 1914、ROM 1915、RAM 1916、镜头通信单元1919、显示单元1917、操作单元1918和镜头驱动单元1920全部连接到系统总线1921。
接着，将参考图20的框图来说明根据本实施例的云台设备2000的硬件结构示例。
CPU 2001通过使用ROM 2002或RAM 2003中所存储的计算机程序或数据来进行各种处理。因此，CPU 2001控制整个云台设备2000的操作，并且还进行或控制后面将说明的处理作为云台设备2000所进行的处理。
ROM 2002存储云台设备2000的设置数据、与云台设备2000的启动有关的计算机程序或数据、以及与云台设备2000的基本操作有关的计算机程序或数据等。
RAM 2003具有用于存储从ROM 2002读取的计算机程序或数据的区域。RAM 2003还具有在CPU 2001进行各种处理时使用的工作区域。以这种方式，RAM 2003可以适当地提供各种区域。
外部I/F 2004是用于通过无线或有线通信从遥控设备2010获取各种指示的通信接口。遥控设备2010是用于向云台设备2000输入各种指示的设备，并且例如可以输入用于改变云台设备2000上所装配的照相机设备1900的平摇角或俯仰角的改变指示。外部I/F2004也可与云台设备2000上所装配的照相机设备1900进行通信。
电源单元2005供给和管理云台设备2000中的电源。显示单元206是液晶显示器(LCD)或有机EL显示器(OLED)等，并且是显示云台设备2000的操作状态等的装置。注意，显示单元2006可以不包括在云台设备2000中，并且例如可以是与云台设备2000有线地和/或无线地可通信的外部装置。
操作单元2007是诸如按钮、拨盘、触摸面板或操纵杆等的用户接口，并且可以通过用户操作向CPU 2001输入各种指示。
驱动单元2008包括用于固定照相机设备1900的基座(固定构件)、以及用于使该基座平摇、使该基座俯仰或者使该基座在XYZ方向上平移的驱动机构。通过控制该驱动机构，驱动单元2008基于经由外部I/F 2004从遥控设备2010接收到的指示等来控制照相机设备1900的平摇角、俯仰角和XYZ方向上的位置。另外，在本实施例中，通过将照相机设备1900装配在上述云台设备2000上来控制照相机设备1900的平摇、俯仰和摄像位置。然而，本发明不限于此，并且例如可应用于诸如无人机等的如下设备，其中通过该设备自身的移动来控制照相机设备1900的平摇、俯仰和摄像位置至少之一。
CPU 2001、ROM 2002、RAM 2003、外部I/F 2004、电源单元2005、显示单元2006、操作单元2007和驱动单元2008全部连接到系统总线2009。
接着，将参考图19B的框图来说明照相机设备1900的功能结构示例。尽管在以下说明中图19B所示的各功能单元主要进行处理，但实际上，CPU 1901执行与该功能单元相对应的计算机程序，由此执行该功能单元的操作。另外，图19B所示的功能单元的至少一部分可以由硬件实现。
被摄体识别单元1928通过使用已知的典型物体检测来识别作为社会基础设施检查的对象的结构物的检查对象面是否包括在拍摄图像中。具体地，被摄体识别单元1928预先存储与作为基础设施检查的对象的结构物有关的特征量，并且将通过摄像所获得的图像和存储图像的特征量进行比较。该结果还用作用于估计图像中的深度方向的信息。作为识别的结果，如果对作为社会基础设施检查的对象的结构物的检查对象面进行摄像，则进行校准处理，使得照相机设备1900相对于结构物的检查对象面处于正对关系。这里，如果检查对象面是平坦的，则由于照相机和结构物处于正对关系，因此假定摄像范围中的散焦量几乎均匀。作为校准的目标，与在第一实施例中所述的用于确定光学系统和摄像元件相对于设计位置的偏离程度的方法一样，可以校正照相机设备1900的位置和姿势，使得摄像范围中的距离信息分布中的值变得均匀(落在预定范围内)。然而，本实施例在下文中示出用于基于摄像范围内的部分区域的散焦量来简单地设置平摇或俯仰方向的控制的方法。
决定单元1922获取设置信息，该设置信息表示“为了使照相机设备1900正对作为社会基础设施检查的对象的结构物的检查对象面而操作照相机设备1900的转动方向和平移方向”的设置信息。该设置信息例如是通过用户操作操作单元1906所确定的。如果由设置信息表示的照相机的驱动是转动方向和横向方向(平摇方向)，则决定单元1922将在照相机设备1900的摄像范围内沿左右方向排列的两个区域中的各区域设置为“用于获取散焦量的区域”。(例如，摄像范围内的左端附近的位置和右端附近的位置)。这里，各区域的最小单位是1像素。
另一方面，如果由设置信息表示的照相机的驱动是转动方向和纵向方向，则决定单元1922将在照相机设备1900的摄像范围内沿上下方向排列的两个区域中的各区域设置为“用于获取散焦量的区域”。(例如，摄像范围内的上端附近的位置和下端附近的位置)。这里，各区域的最小单位也是1像素。
另外，如果由设置信息表示的照相机的驱动是平移，则决定单元1922将在照相机设备1900的摄像范围内沿上下方向和左右方向排列的四个区域中的各区域设置为“用于获取散焦量的区域”。这里，各区域的最小单位也是1像素。
另外，在本实施例中，代替使用由用户设置的设置信息(或无论设置信息如何)，与第一实施例一样，可以在多个区域中获取距离信息，也就是说，可以获取距离信息分布，并且可以基于分布信息的分析结果来控制云台设备2000的驱动(照相机的位置和姿势)。此时，“用于获取散焦量的区域”例如是可以获取散焦量的整个区域。通过获取距离信息分布，例如，通过平面检测获得距离信息的二维或三维倾斜，可以控制照相机的位置和姿势，使得该倾斜正对并且在各方向上变得接近于零。
控制单元1924从照相机设备1900的摄像范围内的由决定单元1922决定的“用于获取散焦量的区域”获取散焦量。获取单元1923获取控制单元1924所获取到的散焦量。差计算单元1925计算获取单元1923所获取到的散焦量和另一散焦量之间的差。
确定单元1926基于由差计算单元1925计算出的差来确定用于通知“用于驱动照相机设备1900的转动程度或平移程度(包括方向)”的通知信息。输出单元1927将由确定单元1926确定的通知信息经由外部I/F 1910输出到云台设备2000。云台设备2000经由外部I/F2004获取通知信息，并且基于该通知信息控制驱动单元2008以将照相机设备1900设置在期望的位置和姿势。
在本实施例中，通过使用这种摄像系统来对作为检查对象的社会基础设施进行摄像，并且基于通过摄像所获得的拍摄图像来检查社会基础设施。将参考图21A和图21B来说明通过使用根据本实施例的摄像系统对社会基础设施进行摄像的摄像方法。
图21A示出作为检查对象的社会基础设施的检查对象面的示例。图21A所示的社会基础设施2100是具有侧面2101并且横向长的壁状结构物。附图标记2102表示在社会基础设施2100基于设计图而被分割并且通过施工缝来建造时发生的接缝部分。部分2102也被称为施工缝部分，但这里被称为接缝以便于理解。可以目视观察接缝部分2102，因此接缝部分2102也用作用于检查操作的单位。附图标记2103表示作为单次检查的对象的区域(检查对象区域)，并且摄像系统对包括检查对象区域2103的摄像区域2104进行摄像。在通过对摄像区域2104进行摄像所获得的拍摄图像中，“与摄像区域2104中的检查对象区域2103的周边区域相对应的部分图像”是用于掌握与相邻检查对象区域的位置关系的信息。因此，该部分图像用于在将图像组合成包括整个社会基础设施2100的单个图像时的对准。另外，与周边区域相对应的部分图像也用于不限于单个检查对象区域的宽范围中的变形的检查。
图21B示出通过使用根据本实施例的摄像系统对摄像区域2104进行摄像的状态。在图21B中，照相机设备1900附接到具有三脚架2108的云台设备2000，并且镜头设备1913附接到照相机设备1900。由照相机设备1900和镜头设备1913组合进行摄像的检查对象面上的摄像范围2109的宽度(该图中的横向方向上的大小)与摄像区域2104的宽度(该图中的横向方向上的大小)相对应。
在检查对象区域2103的摄像完成时，对与检查对象区域2103相邻且尚未摄像的检查对象区域进行摄像。使根据本实施例的摄像系统移动到由附图标记2110表示的位置，并且以基本相同的方式对摄像范围2112中的检查对象区域进行摄像。在完成由附图标记2110表示的位置处的摄像时，为了对与检查对象区域相邻且尚未摄像的检查对象区域进行摄像，使根据本实施例的摄像系统移动到由附图标记2111表示的位置，并且以基本相同的方式对摄像范围2113中的检查对象区域进行摄像。在照相机设备1900装配在诸如无人机等的移动物体上的情况下，用户手动地或自动地将移动物体移动到各摄像位置并且顺次进行摄像。
这里，在本实施例中，照相机设备1900需要正对检查对象区域。在本实施例中，判断照相机设备1900是否正对检查对象区域。如果照相机设备1900没有正对检查对象区域，则发出用于转动或平移照相机设备1900以正对检查对象区域的通知。
为了发出该通知，如上所述，控制单元1924获取由决定单元1922决定的位置的散焦量。用于获取散焦量的方法与第一实施例中的步骤S502中的方法相同，因此从这里的说明中省略。这里，所获取到的散焦量具有连续值，并且与聚焦程度相对应的散焦量可被确定为对于前焦点为“-11”、对于聚焦状态为“0”、以及对于后焦点为“+7”。另外，与第一实施例一样，可以创建表示摄像范围中的空间(二维)散焦量分布的数据，并且控制单元1924可被配置为在散焦量分布(距离信息分布)中获取由决定单元1922决定的位置的散焦量。
接着，将参考图22的流程图来说明根据本实施例的摄像系统的操作。如上所述，用户将摄像系统安装成朝向检查对象面，以通过使用根据本实施例的摄像系统对检查对象面进行摄像。此时，用户可以将照相机设备1900安装在假定基本上正对检查对象区域的方向上。然而，如果不存在结构物或安装位置的基准点并且不存在周围环境的精确测量信息，则不能将照相机设备1900准确地安装成正对检查对象区域。响应于在安装照相机设备1900之后照相机设备1900的电源接通，摄像元件1904所拍摄到的拍摄图像由显示单元1905作为实时取景图像显示在照相机设备1900的背面的显示画面上。随后，根据图22的流程图的处理开始。
在步骤S2200中，被摄体识别单元1928对拍摄图像进行典型的物体检测处理。在本实施例中，由于要摄像的结构物的检查对象面包括在要作为典型物体进行检测的物体中，因此将与表示检查对象面的特征量有关的信息预先存储在ROM 1902中。
在步骤S2216中，被摄体识别单元1928判断在步骤S2200中检测到的物体是否是与照相机设备1900处于正对关系时要摄像的结构物的检查对象面。如果判断为该物体是检查对象面，则处理继续并且进入步骤S2201。另一方面，如果判断为该对象不是检查对象面，则根据图22的流程图的处理结束。
在步骤S2201中，决定单元1922获取设置信息，该设置信息表示“用于使照相机设备1900正对检查被摄体面的照相机设备1900的驱动”。
例如，如图23所示，操作单元1906控制“用于使照相机设备1900正对检查被摄体面的照相机设备1900的驱动”(正对检测方向)。也就是说，操作单元1906具有与操作单元2007相对应的开关，该开关用于将正对检测方向设置为“纵向方向”、“横向方向”和“平移”中的至少任一个。通过操作该开关，用户可以将正对检测方向设置为纵向方向(转动轴＝俯仰轴)和横向方向(转动轴＝平摇轴)中的任一个。决定单元1922获取通过使用开关所设置的正对检测方向作为设置信息。如图21A和图21B所示，如果用户在横向移动的同时对横长结构物进行摄像，则选择横向(转动)方向的正对检测方向。
另外，如上所述，在进行包括XYZ方向上的平移的控制以从正面获得多个区域聚焦的图像的情况下(例如，通过模式设置)，不进行步骤S2201中的正对检测方向的设置。控制单元1924与第一实施例一样基于在拍摄图像中的多个区域中获取到的距离信息分布来估计要聚焦的被摄体的平面的位置和姿势，并且控制云台设备2000(照相机设备1900)的位置和姿势。
作为将正对检测方向设置为纵向方向(转动轴＝俯仰轴)和横向方向(转动轴＝平摇轴)中的任一个的示例，以下将说明将正对检测方向设置为横向方向的情况。
随后，在步骤S2202中，由于正对检测方向是横向方向，因此决定单元1922将在照相机设备1900的摄像范围内沿左右方向排列的两个区域中的各区域设置为“用于获取散焦量的区域”。例如，如图24A所示，决定单元1922将社会基础设施2100中的落在摄像设备1900的摄像范围2402内的摄像区域2104的左端附近的区域2400和右端附近的区域2401设置为“用于获取散焦量的区域”。另外，本实施例不限于此，并且同样在设置正对检测方向的情况下，与第一实施例一样，可以获取到整个画面(整个图像)的散焦量。
在步骤S2203中，控制单元1924如上所述获取到在步骤S2202中设置的位置(在图24A的情况下为区域2400和区域2401)处的散焦量。此时，照相机设备1900不必聚焦于检查对象面，并且获取在步骤S2202中设置的区域中的散焦量。
在步骤S2204中，获取单元1923获取在步骤S2203中获取到的“左侧区域中的散焦量”和“右侧区域中的散焦量”。随后，差计算单元1925通过从“左侧区域中的散焦量”减去“右侧区域中的散焦量”来计算差。
在步骤S2206中，确定单元1926获取与在步骤S2204中计算出的散焦量之间的差相对应的“表示照相机设备1900的转动方向和转动程度的信息”，作为转动指示信息(通知信息)。
这里，如图25所示，在ROM 1902中登记表2515。在表2515中，登记与散焦量之间的差相对应的转动指示信息。在列2516中，登记散焦量之间的差的范围。例如，在列2516中的行2519中登记散焦量之间的差的范围“+11或更大”，并且在列2516中的行2524中登记散焦量之间的差的范围“-5至-10”。
在列2517中，登记与在将使照相机设备1900逆时针转动的情况下的转动量相对应的图标。在列2517中的行2519中登记的图标表示比由列2517中的行2520中所登记的图标表示的转动量大的转动量。在列2517中的行2520中登记的图标表示比由列2517中的行2521中所登记的图标表示的转动量大的转动量。列2517中的行2522至2525中登记的图标表示不需要逆时针转动。
在列2518中，登记与在将使照相机设备1900顺时针转动的情况下的转动量相对应的图标。在列2518中的行2525中登记的图标表示比由列2518中的行2524中所登记的图标表示的转动量大的转动量。在列2518中的行2524中登记的图标表示比由列2518中的行2523中所登记的图标表示的转动量大的转动量。在列2518中的行2519至2522中登记的图标表示不需要顺时针转动。
因此，例如，如果在步骤S2204中计算出的散焦量之间的差是“+7”，则确定单元1926获取到在与包括差“+7”的范围“+10至+5”相对应的行2520中登记的两个图标作为转动指示信息。
另外，例如，如果在步骤S2204中计算出的散焦量之间的差是“-12”，则确定单元1926获取到在与包括差“-12”的范围“-11或更小”相对应的行2525中登记的两个图标作为转动指示信息。
也就是说，在图25的表中，登记了用于通知与散焦量之间的差的符号相对应的转动方向和与散焦量之间的差的绝对值相对应的转动程度的转动指示信息。
在步骤S2214中，输出单元1927将在步骤S2206中获取到的转动指示信息作为“用于向用户通知照相机设备1900的转动方向和转动程度的通知信息”输出到显示单元1905。显示单元1905将该通知信息显示在照相机设备1900的背面的显示画面上。例如，如图24A所示，在照相机设备1900的背面的显示画面上所显示的实时取景图像2404的左下方，显示从列2517获取到的图标2405。另外，在实时取景图像2404的右下方，显示从列2518获取到的图标2406。注意，图标2405和图标2406的显示位置不限于特定显示位置，并且例如，图标2405和图标2406可被显示成叠加在实时取景图像2404上。另外，在图24A中，图标2400a和2401a以叠加方式显示在实时取景图像2404上的与位置2400和位置2401分别相对应的位置处。
看见所显示的图标2405和2406的用户识别出用于逆时针转动照相机设备1900的通知，并且逆时针转动照相机设备1900。图24B示出在照相机设备1900从图24A的状态起逆时针转动之后的状态。
同样在图24B的状态中，由于仍显示图标2409和2410，因此用户类似地识别出用于逆时针转动照相机设备1900的通知，并且逆时针转动照相机设备1900。这里，图标2406和图标2410这两者都表示不需要顺时针转动。另一方面，图标2405和图标2409这两者都表示需要逆时针转动，但图标2409与图标2405相比表示具有更小转动量的转动。图24C示出在照相机设备1900从图24B的状态起进一步逆时针转动之后的状态。
在图24C中，显示表示不需要逆时针转动的图标2413和表示不需要顺时针转动的图标2414。看见所显示的图标2413和2414的用户识别出表示不需要顺时针或逆时针转动照相机设备1900的通知，并且不转动照相机设备1900。
图23示出照相机设备1900装配在云台设备2000上的状态，并且连接了用于云台设备2000的平摇/俯仰操作且用于照相机设备1900的摄像操作的遥控设备2010。此时，通过经由照相机设备1900的外部I/F 1910连接到照相机设备1900，遥控设备2010可以通过使用照相机设备1900来进行摄像。
返回参考图22，在步骤S2215中，CPU 1901判断是否满足用于结束根据图22的流程图的处理的条件。例如，在用户通过操作操作单元1906输入用于结束处理的指示或者断开照相机设备1900的电源的情况下，CPU 1901判断为满足用于结束根据图22的流程图的处理的条件。
作为这种判断的结果，如果满足用于结束根据图22的流程图的处理的条件，根据图22的流程图的处理结束。如果不满足结束条件，则处理进入步骤S2203。
以上述方式，通过将如图23那样装配有照相机设备1900的云台设备2000安装成朝向检查对象面，可以向用户通知用于使照相机设备1900正对检查对象面的转动/平移指示信息。另外，接收到通知的用户根据该通知来操作云台设备2000等，因此照相机设备1900可以准确地正对检查对象面，并且变形的准确检查变得可能。同时，通过使照相机设备1900准确地正对检查对象面，在将对与检查对象面相邻的区域进行摄像时，通过使照相机设备1900平移，可以在统一条件下对检查对象面连续摄像。另外，即使在照相机设备1900的摄像元件1904或镜头设备1913由于长期变化而偏离设计位置时，由于照相机设备1900准确地正对检查对象面，因此变形的准确检查也变得可能。
在本实施例中，尽管用于使照相机设备1900正对检查对象面的转动方向为横向(转动)方向、并且操作云台设备2000的平摇轴，但可以发出用于通过切换正对检测方向来使照相机设备1900在纵向(转动)方向上正对检查对向面的转动指示，并且可以操作俯仰轴。此外，可以同时进行横向(转动)方向和纵向(转动)方向上的检测，并且可以呈现这两个方向上的转动指示信息。
另外，在本实施例中，尽管呈现了散焦量的值的示例、并且将转动指示信息定义为三个类型，但由于散焦量的值根据要使用的像面相位差传感器的类型而不同，因此可以适当乘以系数等以供使用，并且类型不限于这些。
另外，在本实施例中，尽管显示了表示转动方向和转动程度这两者的图标，但可以单独显示表示转动方向的图标和表示转动程度的图标，或者可以仅显示这两者中的任一个。另外，表示转动方向或转动程度的信息不限于图标，并且例如可以是文本信息。另外，用于通知转动方向或转动程度的方法不限于特定通知方法。
另外，在本实施例中，尽管针对不需要转动的方向显示图标，但针对不需要转动的方向不必显示图标。另外，对于需要转动的方向，除了显示图标之外，还可以显示诸如文本信息等的其他信息。
另外，在本实施例中，尽管照相机设备1900装配在云台设备200上，但如上所述，照相机设备1900也可以装配在诸如无人机设备等的UAV(无人驾驶飞行器)上。利用这种配置，可以正对不能安装云台的环境中的对象结构物的检查对象面并对其进行摄像。
另外，在本实施例中，尽管向用户通知转动和/或平移指示信息，但转动和/或平移指示信息也可被输出到云台设备2000。云台设备2000可被配置为根据转动和/或平移指示信息来控制照相机设备1900的转动，并且可以自动使照相机设备1900正对检查对象面。利用这种配置，用户的操作负荷减少，从而提高了便利性。
另外，在本实施例中，尽管照相机设备1900计算散焦量(距离信息分布)，但与第一实施例一样，经由通信电路可通信地连接的计算机可被配置为计算散焦量。
此外，在本实施例中，尽管计算距离信息分布以通过操作云台设备2000来控制照相机设备1900的位置和姿势，但所计算出的距离信息分布的用途不限于此。
例如，CPU 1901将摄像元件1904所拍摄到的一对视差图像的数据以及至少包括F数和KX值的摄像条件与图像数据相关联地记录在存储卡1909等上。基于所记录的一对图像的数据和摄像条件，CPU 1901或者各数据被输出至的外部设备的CPU生成并获取距离信息分布。这里，要获取的距离信息分布是散焦量分布，并且通过基于作为摄像条件的F数(或有效F数)和变换系数KX对各散焦量进行转换来生成模糊图。模糊图可用于与拍摄图像中的模糊有关的质量评价。特别地，在用于社会基础设施检查的摄像中，当要检查检查对象面上的变形等时，除非通过使用检查对象面未模糊的图像进行评价，否则不能正确地进行裂缝检测和裂缝宽度测量等。因此，通过参考散焦量分布(或模糊图)，例如通过仅针对未发生模糊的区域(摄像范围)所进行的测量，可以进行更精确的检查。另外，例如，如果判断为具有大于或等于基准的模糊量的模糊在拍摄图像中以预定比例或更大比例发生，则CPU 1901可以向用户通知该拍摄图像不可用(不能进行变形检测)。作为通知方法，可以在显示单元1905上显示图像或图标，或者可以使用来自另一装置的光、声音或振动等进行通知。另外，CPU1901可以生成上述模糊图，可以生成各模糊量被简单地可视化的图像，并且可以将该图像显示在显示单元上。例如，通过参考模糊图，用户可以手动地或自动地再次拍摄图像或者移动照相机设备1900。
本发明不限于上述实施例，并且可以在未背离本发明的精神和范围的情况下进行各种改变和修改。因此，添加了所附的权利要求书以公开本发明的范围。
[其他实施例]
本发明的目的还可以如下实现。更具体地，将存储有描述了用于实现上述实施例的功能的过程的软件的程序代码的存储介质提供至系统或设备。然后，该系统或设备的计算机(或者CPU或MPU等)读取并执行存储介质中所存储的程序代码。
在这种情况下，从存储介质读取的程序代码自身实现了本发明的新颖功能。存储有程序代码的存储介质以及程序构成了本发明。
作为用于提供程序代码的存储介质，例如，可以给出软盘、硬盘、光盘和磁光盘等。另外，可以使用CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-R、磁带、非易失性存储卡或ROM等。
另外，通过使计算机所读取的程序代码可执行来实现上述实施例的功能。此外，还包括如下的情况：在计算机上工作的OS(操作系统)等根据程序代码的指示来进行实际处理的一部分或全部，并且通过这些处理来实现上述实施例的功能。
此外，还包括以下情况。首先，将从存储介质读取的程序代码写入到插入计算机的功能扩展板或连接到计算机的功能扩展单元中所配备的存储器中。然后，该功能扩展板或功能扩展单元中所包括的CPU等根据程序代码的指示来进行实际处理的一部分或全部。
本申请要求2019年7月31日提交的日本专利申请2019-140818和2020年7月20日提交的日本专利申请2020-124031的权益，这两个申请的全部内容通过引用而被包含于此。

Claims (20)

1.一种图像处理设备，包括：
输入部件，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；
估计部件，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及
决定部件，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述光学系统和所述摄像元件相对于设计位置的偏离程度的评价值。
2.一种图像处理设备，包括：
输入部件，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；
估计部件，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及
决定部件，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述图像中的被摄体的深度方向上的偏离程度的评价值。
3.一种图像处理设备，包括：
第一获取部件，用于获取与摄像部件所拍摄到的图像有关的摄像条件，所述摄像条件至少包括F数以及将图像偏移量变换成散焦量的变换系数；
第二获取部件，用于获取距离信息分布，所述距离信息分布是与所述摄像部件所拍摄到的图像的各区域相对应的距离信息的分布；以及
图像处理部件，用于基于所述F数和所述变换系数来对所述距离信息分布进行归一化。
4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述距离信息分布是与通过用F数和容许弥散圆对被摄体的散焦量的分布进行归一化所获得的分布有关的信息。
5.根据权利要求1至3中任一项所述的图像处理设备，其中，所述距离信息分布是以下信息中的任一个：与被摄体的视差量的分布有关的信息、与被摄体的散焦量的分布有关的信息、与通过用F数和容许弥散圆对被摄体的散焦量的分布进行归一化所获得的分布有关的信息以及与从摄像位置到被摄体的实际距离的分布有关的信息。
6.根据权利要求1至5中任一项所述的图像处理设备，其中，与被摄体的视差量的分布有关的信息是从具有视差的一对图像所获得的。
7.根据权利要求1至6中任一项所述的图像处理设备，其中，所述摄像条件是以下项至少之一：拍摄所述图像时的设备的姿势信息、所述图像中的消失点、所述图像中的纹理的密度的变化以及与在所述图像中是否包括具有已知形状的结构物有关的判断结果。
8.根据权利要求1至7中任一项所述的图像处理设备，其中，所述深度方向的关系是由在所述距离信息分布中散焦量为零的直线和表示由用于估计所述深度方向的部件计算出的聚焦区域的直线所形成的角度。
9.根据权利要求1至8中任一项所述的图像处理设备，其中，所述深度方向的关系是如下矢量之间的差：所述距离信息分布中的散焦量的梯度的矢量；以及用于估计所述深度方向的部件所计算出的所述图像中的朝向消失点的矢量或所述图像中的纹理的密度的变化方向的矢量。
10.根据权利要求2或3所述的图像处理设备，其中，所述图像中的被摄体的深度方向上的偏离程度是所述距离信息分布中的多个位置处的散焦量之间的差。
11.根据权利要求1至9中任一项所述的图像处理设备，包括通知部件，所述通知部件用于通知所述评价值。
12.根据权利要求1至11中任一项所述的图像处理设备，其中，在所输入的图像被判断为包括典型物体的情况下，所述决定部件决定表示所述偏离程度的评价值，所述典型物体包括地面、水面、以及在地面或水面的垂直方向上建造的结构物。
13.根据权利要求12所述的图像处理设备，其中，所述距离信息分布的统计是所述距离信息分布的直方图。
14.根据权利要求1至13中任一项所述的图像处理设备，其中，根据表示所述偏离程度的评价值，通过控制IS机构、对所述图像进行图像处理或者使所述图像处理设备转动来进行校正，使得所述偏离程度减小。
15.根据权利要求1至14中任一项所述的图像处理设备，其中，通过将表示所述偏离程度的评价值与同获取到计算出了所述评价值的图像的所述摄像元件和所述光学系统有关的信息相关联，将所述信息输出到外部设备。
16.一种图像处理方法，包括：
输入步骤，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；
估计步骤，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及
决定步骤，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述光学系统和所述摄像元件相对于设计位置的偏离程度的评价值。
17.一种图像处理方法，包括：
输入步骤，用于输入距离信息分布，所述距离信息分布是从通过使用用于在摄像部件的摄像元件上形成场图像的光学系统所拍摄到的图像而计算出的；
估计步骤，用于根据所述摄像部件的摄像条件来估计所述图像中的深度方向；以及
决定步骤，用于根据所述距离信息分布和所估计的深度方向之间的关系，来决定表示所述图像中的被摄体的深度方向上的偏离程度的评价值。
18.一种图像处理方法，包括：
第一获取步骤，用于获取与摄像部件所拍摄到的图像有关的摄像条件，所述摄像条件至少包括F数以及将图像偏移量变换成散焦量的变换系数；
第二获取步骤，用于获取距离信息分布，所述距离信息分布是与所述摄像部件所拍摄到的图像的各区域相对应的距离信息的分布；以及
图像处理步骤，用于基于所述F数和所述变换系数来对所述距离信息分布进行归一化。
19.一种计算机可执行程序，在所述计算机可执行程序上，描述了用于实现用于控制根据权利要求1至15中任一项所述的图像处理设备的部件的功能的过程。
20.一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行根据权利要求1至15中任一项所述的图像处理设备的部件的功能。
CN202080054851.8A 2019-07-31 2020-07-28 图像处理设备、图像处理方法、程序和存储介质 Pending CN114175631A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019-140818 2019-07-31
JP2019140818 2019-07-31
JP2020124031A JP2021027584A (ja) 2019-07-31 2020-07-20 画像処理装置、画像処理方法およびプログラム
JP2020-124031 2020-07-20
PCT/JP2020/028776 WO2021020358A1 (ja) 2019-07-31 2020-07-28 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Publications (1)

Publication Number Publication Date
CN114175631A true CN114175631A (zh) 2022-03-11

Family

ID=74229872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054851.8A Pending CN114175631A (zh) 2019-07-31 2020-07-28 图像处理设备、图像处理方法、程序和存储介质

Country Status (5)

Country Link
US (1) US20220148208A1 (zh)
EP (1) EP4007265A4 (zh)
KR (1) KR20220035185A (zh)
CN (1) CN114175631A (zh)
WO (1) WO2021020358A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4285279B2 (ja) 2003-03-26 2009-06-24 ソニー株式会社 ロボットに搭載されたステレオ・カメラの診断用装置、並びにロボット装置に搭載されたステレオ・カメラの診断方法
JP5066851B2 (ja) 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
US9183620B2 (en) * 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
JP2019078582A (ja) * 2017-10-23 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7047433B2 (ja) 2018-02-13 2022-04-05 トヨタ自動車株式会社 モータ
JP2020124031A (ja) 2019-01-30 2020-08-13 矢崎総業株式会社 電力分配システム

Also Published As

Publication number Publication date
KR20220035185A (ko) 2022-03-21
EP4007265A4 (en) 2024-01-10
EP4007265A1 (en) 2022-06-01
WO2021020358A1 (ja) 2021-02-04
US20220148208A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN100587538C (zh) 成像设备、成像设备的控制方法
CN108886582B (zh) 摄像装置及聚焦控制方法
US8649574B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
US8004570B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
US7834907B2 (en) Image-taking apparatus and image processing method
WO2017120771A1 (zh) 一种深度信息获取方法、装置及图像采集设备
JP4894939B2 (ja) 撮像装置、表示方法、および、プログラム
US8648961B2 (en) Image capturing apparatus and image capturing method
CN102957862A (zh) 摄像设备和摄像设备的控制方法
JP2017059861A (ja) 情報処理装置、情報処理装置の制御方法、及び情報処理プログラム
CN102265602A (zh) 图像拍摄装置
CN104145475A (zh) 图像处理设备，图像处理方法和程序
JP2013123123A (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5384172B2 (ja) オートフォーカスシステム
JP2021027584A (ja) 画像処理装置、画像処理方法およびプログラム
JP2007133301A (ja) オートフォーカスカメラ
US9420161B2 (en) Image-capturing apparatus
JP2017096808A (ja) 撮像装置、撮像装置の制御方法、及び判定プログラム
JP2020008415A (ja) 測距カメラ
JP6534455B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006184065A (ja) 物体検出装置
JP2020194125A (ja) 情報処理装置、撮像装置、カメラシステム、情報処理方法、プログラム、および、記憶媒体
JP6534456B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220148208A1 (en) Image processing apparatus, image processing method, program, and storage medium
JP4517813B2 (ja) パンニング撮影可能なカメラおよび動画像編集用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination