CN110998404A - 信息处理装置、摄像系统、摄像系统的控制方法及程序 - Google Patents

信息处理装置、摄像系统、摄像系统的控制方法及程序 Download PDF

Info

Publication number
CN110998404A
CN110998404A CN201880051364.9A CN201880051364A CN110998404A CN 110998404 A CN110998404 A CN 110998404A CN 201880051364 A CN201880051364 A CN 201880051364A CN 110998404 A CN110998404 A CN 110998404A
Authority
CN
China
Prior art keywords
image
section
focus
focus control
control position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880051364.9A
Other languages
English (en)
Other versions
CN110998404B (zh
Inventor
森重树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110998404A publication Critical patent/CN110998404A/zh
Application granted granted Critical
Publication of CN110998404B publication Critical patent/CN110998404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

相机平台(102)相对于要检查的对象依次移动摄像设备(101)的摄像方向。摄像设备(101)针对各个摄像方向上拍摄图像以获得对象的各个区部的图像。计算设备(103):记录由摄像设备(101)针对各个摄像方向拍摄的对象的各个区部的聚焦控制位置;在当试图对尚未拍摄的区部的图像进行摄像时AF失败的情况下,基于记录的聚焦控制位置建立聚焦控制位置能相对于AF不成功的区部被调节的范围;以及使得摄像设备(101)在建立的范围内进行聚焦BLK拍摄。

Description

信息处理装置、摄像系统、摄像系统的控制方法及程序
技术领域
本发明涉及一种用于获取用于核查建筑结构等中的微小缺陷的高清晰度图像的技术。
背景技术
例如,为了掌握诸如裂纹、锈迹等缺陷的存在或发生的历史,拍摄高清晰度图像并且使用拍摄图像进行分析,作为对建筑物、水坝、各种基础设施的建筑结构等的检查的一部分。需要在壁面上检测甚至在毫米量级的微小缺陷的存在。因此,将壁面划分成小的区部,并针对各个区部拍摄高清晰度图像。为了对整个壁面无遗漏地拍摄各个区部的图像,需要进行很多次摄像操作。为了完成这个工作,通过将相机平台装置和摄像装置结合来构造摄像系统,以便能够自动进行横摇(panning)和纵摇(tilting)。相机平台装置移动摄像装置,直到摄像装置的摄像方向达到对下一目标区部的图像进行拍摄的方向。当达到这个方向时,相机平台装置自动停止。反复进行这样移动然后停止的操作。每当相机平台装置停止时,摄像装置拍摄图像。为了在拍摄图像中获得高清晰度,需要进行精确的聚焦,以使各个区部的整个区域在景深之内。为了满足这个要求,当摄像装置拍摄图像时,摄像装置使用自动聚焦功能(以下称为AF),其中将靠近画面的中心的点设置为测距点。在该摄像系统中,重复相机平台装置的驱动和停止以及由摄像装置进行的AF聚焦和摄像,直到在整个壁面上针对所有区部中的各个区部无遗漏地完成摄像为止。
然而,在实际的摄像中,存在一种不高的可能性:由于诸如壁面的极低对比度、重复图案的存在等各种因素,所以AF聚焦失败。在AF聚焦失败的情况下,摄像系统使用预定功能在与对先前区部的图像进行拍摄时所使用的聚焦位置相同的聚焦位置处或在预定聚焦位置处进行摄像。在某些情况下,摄像系统进行操作,使得相机平台装置的自动驱动和摄像装置的自动摄像被暂时停止,并且摄像装置由操作者进行操作以进行聚焦。此后,重新开始摄像操作。另外,还公开了基于给予相机平台装置的控制信息来帮助聚焦的以下技术。例如,日本特开2012-42728号公报公开了一种技术,其中,当进行横摇/纵摇操作时,通过基于给予相机平台装置的控制信息的计算,根据先前聚焦位置预测新的聚焦位置,并且基于预测进行聚焦驱动。日本特开2011-81186号公报公开了一种技术,其中,当对新被摄体进行横摇/纵摇操作时,检测相机平台装置的横摇/纵摇移动的量,并确定向新被摄体的聚焦驱动的方向。
然而,当在先前区部所采用的聚焦位置处或在预定聚焦位置处进行摄像时,可能会发生下述问题。例如,根据目标被摄体区部与摄像装置之间的角度,到目标区部的距离可能发生很大的变化,这可能导致拍摄图像具有用在检查中是不可接受的大的散焦。在这种情况下,有必要仅对该区部再次进行摄像。此外,在操作者进行聚焦的情况下,每当操作者进行聚焦时,都会中断自动摄像。另外,在这种情况下,存在的问题是操作者甚至必须长时间停留在摄像装置附近,直到摄像完成为止。在日本特开2012-42728号公报中公开的技术的情况下,基于计算出的预测结果进行聚焦驱动,因此不能保证横摇/纵摇之后的聚焦条件。日本特开2011-81186号公报中公开的技术是通过在横摇/纵摇之后计算聚焦驱动方向来防止在对比AF(contrast AF)操作中的聚焦波动的技术。因此,在AF不起作用的情况下,无法实现聚焦。
发明内容
在一个方面,提供了一种技术,即使在AF不能正常工作的情况下也可以继续摄像操作,而无需因聚焦失败而再次进行摄像。
提供了控制部,其被构造为控制摄像部,摄像部被构造为获取拍摄图像,使得摄像方向相对于作为摄像目标给出的被摄体依次移动从而覆盖作为摄像目标给出的整个被摄体,并且在各个移动后的摄像方向上进行摄像,从而获取被摄体的各个区部的图像;控制部控制所述摄像部进行操作,所述操作包括:记录被摄体的区部中的各个区部的聚焦控制位置,被摄体的图像由所述摄像部在各摄像方向上进行拍摄;在对尚未拍摄图像的区部拍摄图像时通过所述摄像部的自动聚焦功能的聚焦操作不成功的情况下,基于记录的聚焦控制位置,针对尚未拍摄图像的区部,设置聚焦控制位置的可允许范围;以及对尚未拍摄图像的区部进行聚焦包围摄像,从而基于设置的范围改变聚焦控制位置的同时拍摄所述区部的多个图像。
附图说明
图1是摄像系统的示意图。
图2是摄像系统的功能框图。
图3A是示出各个装置的内部构造的示例的框图。
图3B是示出各个装置的内部构造的示例的框图。
图3C是示出各个装置的内部构造的示例的框图。
图4A是示出通过摄像系统拍摄检查目标的图像的方式的图。
图4B是示出通过摄像系统拍摄检查目标的图像的方式的图。
图4C是示出通过摄像系统拍摄检查目标的图像的方式的图。
图5是示出由摄像系统拍摄的图像的图。
图6是示出摄像系统的整体操作的流程图。
图7是根据第一实施例的摄像处理的流程图。
图8是根据第一实施例的预测计算处理的流程图。
图9是选择聚焦控制位置的处理的流程图。
图10是示出根据第一实施例的各种摄像方向的图。
图11A是用于说明根据第一实施例的聚焦控制位置计算的图。
图11B是用于说明根据第一实施例的聚焦控制位置计算的图。
图11C是用于说明根据第一实施例的聚焦控制位置计算的图。
图11D是用于说明根据第一实施例的聚焦控制位置计算的图。
图11E是用于说明根据第一实施例的聚焦控制位置计算的图。
图11F是用于说明根据第一实施例的聚焦控制位置计算的图。
图11G是用于说明根据第一实施例的聚焦控制位置计算的图。
图12是示出聚焦控制位置与到被摄体的距离之间的关系的图。
图13是根据第二实施例的摄像处理的流程图。
图14是根据第二实施例的预测计算处理的流程图。
图15是示出根据第二实施例的各种摄像方向的图。
图16A是用于说明根据第二实施例的聚焦控制位置计算的图。
图16B是用于说明根据第二实施例的聚焦控制位置计算的图。
图16C是用于说明根据第二实施例的聚焦控制位置计算的图。
图16D是用于说明根据第二实施例的聚焦控制位置计算的图。
图16E是用于说明根据第二实施例的聚焦控制位置计算的图。
具体实施方式
下面参照附图详细描述本发明的优选实施例。注意,以下实施例中所示的构造仅以示例的方式给出,并且不用于限制本发明的范围。
<第一实施例>
图1是根据第一实施例的摄像系统的示意图,该摄像系统是摄像装置的示例。
图1所示的摄像系统包括摄像装置101,相机平台装置102,三脚架104和计算操作装置103。在本实施例中,构造摄像系统来拍摄用于在核查诸如建筑物、水坝等的基础设施时检查建筑结构等的壁面等中的微小缺陷的高清晰度图像。
摄像装置101布置在相机平台装置102上,并且相机平台装置102布置在三脚架104上。相机平台装置102是包括能够在横摇方向上进行旋转驱动的横摇驱动单元105和能够在纵摇方向上进行旋转驱动的纵摇驱动单元106的电动相机平台装置。相机平台装置102和摄像装置101经由通信电缆107彼此连接,并且相机平台装置102和计算操作装置103经由通信电缆108彼此连接。摄像装置101和计算操作装置103经由通信电缆107、相机平台装置102和通信电缆108彼此连接。计算操作装置103用作根据本实施例的信息处理装置。计算操作装置103能够至少控制由摄像装置101进行的聚焦包围摄像(focus bracketing imagecapturing),并且进行与在摄像装置101中的聚焦包围摄像相关的计算。在下文中,聚焦包围标示为聚焦BLK。聚焦BLK是在改变摄像装置101中的聚焦方向上的聚焦位置的同时自动拍摄多个图像的功能。
图2是示意性地示出根据第一实施例的摄像系统的功能块的图。
在图2中,摄像装置101的摄像单元202拍摄图像。摄像控制单元203控制整个摄像装置101。图像记录单元204记录由摄像单元202拍摄的图像。聚焦驱动单元205驱动附装至摄像装置101上的光学透镜单元(未示出)的聚焦。光学透镜单元可以是可附装至摄像装置101/可从摄像装置101拆卸的可互换透镜单元,或者可以是固定至摄像装置101的透镜单元。AF测距单元206测量从摄像装置101到被摄体的距离以完成自动聚焦功能(以下标示为AF)。通信单元207在相机平台装置102和计算操作装置103之间进行通信。
相机平台装置102的相机平台控制单元209控制整个相机平台装置102。横摇驱动单元210驱动图1中所示的横摇驱动单元105。纵摇驱动单元211驱动图1所示的纵摇驱动单元106。通信单元212在摄像装置101与计算操作装置103之间进行通信。
计算操作装置103的聚焦BLK摄像控制单元214控制由摄像装置101进行的聚焦BLK摄像。聚焦范围估计单元215估计(预测)在聚焦BLK摄像期间要改变聚焦控制位置的控制范围。聚焦控制位置记录单元216记录相机平台装置102上布置的摄像装置101的摄像操作中所采用的聚焦控制位置。图像选择单元217从经由聚焦BLK摄像拍摄并且记录在摄像装置101中的图像记录单元204中的多个图像选择特定图像。通信单元218在相机平台装置102与摄像装置101之间进行通信。将在后面详细描述由计算操作装置103中的各功能块进行的操作和处理的细节。
图3A至图3C是示出根据第一实施例的摄像系统中的各装置的内部构造的图。图3A示出了摄像装置101的内部构造的示例,图3B示出了相机平台装置102的内部构造的示例,并且图3C示出了计算操作装置103的内部构造的示例。
在图3A中所示的摄像装置101中,CPU 301是控制根据本实施例的整个摄像装置101的中央处理单元。CPU 301通过基于与根据本实施例的摄像装置101相关的控制程序对信息进行计算操作和处理并控制摄像装置101中的各单元(包括硬件单元),来实现摄像装置101的各种功能和由摄像装置101进行的各种处理。
ROM 302是只读存储器,其存储与摄像装置101相关并定义根据本实施例的要由CPU 301进行的操作处理过程的控制程序。ROM 302包括程序ROM,该程序ROM存储用作用于控制摄像装置101中的设备的基本软件(OS)的系统程序,并且ROM 302还包括数据ROM,其存储对系统进行操作时使用的信息。RAM 303是随机存取存储器,并且用作由CPU 301使用的主存储器。RAM303用于加载执行程序,并且在执行程序时还用作工作存储器。
摄像模块304包括图像传感器,AD转换器等。图像传感器接收通过摄像装置101的光学透镜单元(未示出)入射的物光,并将其转换为摄像信号。A/D转换器将从图像传感器输出的摄像信号转换成图像数据。摄像模块304将从A/D转换器输出的图像数据直接或间接地写入到稍后将描述的记录设备311中。
AF测距模块305经由摄像装置101的光学透镜单元测量到被摄体的距离,并确定聚焦控制位置。透镜控制模块306控制光学镜头单元。聚焦驱动模块307基于从透镜控制模块306给出的指令来驱动光学透镜单元的聚焦透镜。光圈驱动模块308基于从透镜控制模块306给出的指令来驱动光学透镜单元中包括的隔板(光圈)。
输入/输出I/F模块309是供用户向摄像装置101输入诸如摄像设置的各种设置的接口模块。当摄像装置101与相机平台装置102和计算操作装置103交换各种信息、控制信号等时,通信模块310进行通信。记录设备311将由摄像模块304拍摄的图像记录在存储卡等中。输入/输出总线312是用于将摄像装置101的上述模块连接的总线,并且包括地址总线、数据总线和控制总线。
在图3B中所示的相机平台装置102中,CPU 313是控制整个相机平台装置102的中央处理单元。CPU 313基于与根据本实施例的相机平台装置102相关的控制程序执行对相机平台装置102中的各个部分(包括硬件)的控制,从而实现相机平台装置102中的各个功能构造和由相机平台装置102进行的处理,如后面所述。
ROM 314是只读存储器,其存储与相机平台装置102相关并定义根据本实施例的由CPU 313进行的操作处理过程的控制程序。ROM 314包括程序ROM,该程序ROM存储用作用于控制相机平台装置102中的设备的基本软件的系统程序,并且ROM 314还包括数据ROM,其存储对系统进行操作时使用的信息。RAM 315是随机存取存储器,并且用作由CPU 313使用的主存储器。RAM 315用于加载执行程序,并且在执行程序时还用作工作存储器。
横摇驱动模块317驱动图1中所示的相机平台装置102的横摇驱动单元105。纵摇驱动模块318驱动图1中所示的相机平台装置102的纵摇驱动单元106。输入/输出I/F模块319是供用户进行相机平台装置102的各种设置的接口模块。摄像装置通信模块316与摄像装置101关于各种信息和控制信号进行通信。计算操作装置通信模块320与计算操作装置103关于各种信息和控制信号进行通信。输入/输出总线321是用于将相机平台装置102的上述模块连接的总线,并且包括地址总线、数据总线和控制总线。
在图3C中所示的计算操作装置103中,CPU 322是控制整个计算操作装置103的中央处理单元。CPU322基于与根据本实施例的计算操作装置103相关的控制程序来执行对计算操作装置103中的各个部分(包括硬件)的控制,从而实现计算操作装置103中的各个功能构造和由计算操作装置103进行的处理,如后面所述。
ROM 323是只读存储器,其存储与计算操作装置103相关并定义根据本实施例的由CPU 322进行的操作处理过程的控制程序。ROM 323包括程序ROM,该程序ROM存储用作用于控制计算操作装置103中的设备的基本软件的系统程序,并且ROM 323还包括数据ROM,其存储对系统进行操作时使用的信息。RAM 324是随机存取存储器,并且用作由CPU 322使用的主存储器。RAM 324用于加载执行程序,并且在执行程序时还用作工作存储器。
显示装置325进行用于将计算操作装置103中的各种信息呈现给用户的显示。输入装置326是供用户向计算操作装置103输入各种信息的装置。硬盘装置328是用作辅助存储装置的HDD。当计算操作装置103与相机平台装置102和摄像装置101交换各种信息、控制信号等时,通信模块327进行通信。输入/输出总线329是用于将计算操作装置103的上述模块连接的总线,并且包括地址总线、数据总线和控制总线。
如上所述,摄像装置101、相机平台装置102和计算操作装置103之间的通信经由上述通信单元、通信模块等来进行。然而,在下文中,为了简化,将省略对在通信期间使用的通信单元等的描述。类似地,尽管经由相机平台装置102进行摄像装置101与计算操作装置103之间的通信,但是在下文中也省略了对在通信期间使用的这些装置的描述。
图4A至图4C是用于说明当建筑物402的壁面403是作为摄像目标(即,检查目标)给出的被摄体并且要检查的壁面403由根据本实施例的摄像系统摄像时进行的操作的图。
在根据本实施例的摄像系统中,摄像装置101布置在相机平台装置102上。相机平台装置102反复进行以恒定角度横摇然后停止的操作。每当相机平台装置102停止时,摄像装置101拍摄图像。结果,对将要检查的建筑物402的壁面403划分成的区部的各个区部进行由摄像装置101进行的摄像。
图4A是以简化方式示出根据本实施例的摄像系统的摄像装置101拍摄建筑物402的壁面403的第一区部的图像的从建筑物402上方观看的方式的概念图。在图4A中,401标示用于拍摄要检查的建筑物402的壁面403的图像的、安装三脚架104的安装位置。相机平台装置102布置在三脚架104上,并且摄像装置101布置在相机平台装置102上,因此,图4A中的安装位置401实际上表示摄像设备101被布置的位置。期望将摄像装置101布置在作为检查目标的壁面403的中心处的垂直线上。然而,在对图像进行拍摄的实际位置处,建筑物或其他障碍物可能使得难以将摄像装置101布置在壁面403的中心处的垂直线上的情况并不罕见。鉴于以上情况,假设图4A所示的安装位置401偏离在壁面403的中心处的垂直线。
此外,设置摄像装置101的摄像方向404(光学透镜单元的光轴方向),使得在对要检查的壁面403的第一区部进行摄像的状态下,要检查的壁面403的端部在如图4A所示的视角419内。在对第一区部的摄像中,摄像装置101对壁面上的交点410进行AF聚焦,在该交点处壁面403与在摄像方向404上的视角419的中心线相交。
当在这种情况下将交点410聚焦时,能够将点图像在摄像装置101的图像传感器的摄像面上会聚成尽可能最小的圆(模糊圆)的聚焦平面416处于平坦平面。即使在从摄像面到被摄体的距离偏离从摄像面到聚焦平面416的距离并且因此点图像会聚的圆的大小不是最小的情况下,如果圆的大小小于图像传感器的像素大小,则无法识别聚焦偏移。如在被摄体侧测量的无法识别聚焦偏移的距离范围称为景深。注意,可以通过基于图像传感器的像素大小、光学透镜单元的焦距和孔径值以及到被摄体的距离的计算来确定景深。在图4A所示的示例中,在相对于聚焦平面416更接近摄像装置一侧上的前景深可以由平面417表示。在远离摄像装置一侧上的后景深可以由平面418表示。因此,当壁面403的一部分在从平面417到平面418的距离范围内时,该部分被认为是聚焦的。因此,在根据本实施例的摄像系统中,当对图4A中所示的壁面403进行摄像时,考虑到上述景深,预先设置摄像装置101的安装位置401和光学透镜单元的焦距和孔径值。
图4B是示出如从建筑物402上方观看的方式的简化概念图,其中相机平台装置102反复进行以恒定角度横摇然后停止的处理,在每当相机平台装置102停止时,摄像装置101拍摄图像。在图4B中,与图4A中所示的摄像方向404一样,摄像方向405、406、...、409各自表示摄像装置101拍摄图像的中心方向(光轴)。摄像方向405表示当在摄像方向404上的摄像完成并且然后驱动相机平台装置102以恒定角度横摇之后相机平台装置102停止时摄像装置101拍摄图像的方向。类似地,摄像方向406、407、...、409各自指示当在驱动相机平台装置102以恒定角度横摇之后相机平台装置102停止时采用的摄像方向。在图4B中,与图4A中所示的摄像方向404的视角409一样,视角420、421、...、424分别表示与摄像装置101的摄像方向405、406、...、409对应的视角。
注意,在壁面403比图4B中的示例中所示向右延伸更远的情况下,因此当对壁面403进行摄像时,与图4B中所示的示例相比,摄像方向与壁面之间的角度出现进一步减小,不可能获得适于检查的高清晰度拍摄图像。在这种情况下,将摄像装置101的安装位置向右移动,并且在移动后的安装位置处,在以上述方式反复进行以恒定角度横摇驱动并且停止的操作的同时进行摄像。可以根据需要多次进行摄像装置101的安装位置的移动。
在下面的描述中,为了简化,假设在建筑物402的高度方向上(即,纵摇方向上)不使用相机平台装置102进行驱动,而仅在横摇方向上进行驱动并且如图4B所示,对被划分为六个要检查的区部的壁面403逐个区部地进行摄像。在图4B中,与图4A中所示的交点410一样,交点411、412、...、415是壁面403与摄像方向406、407、…、409之间的交点。因此,在摄像操作中,摄像装置101相对于各交点411、412、...、415进行对壁面的AF聚焦。
在图4B中,类似于图4A中所示的示例,分别针对在交点411至415进行AF的情况,通过粗实线、细虚线和粗虚线指示聚焦平面、表示前景深的平面和表示后景深的平面。关于景深的范围,已知后景深的范围大于前景深的范围。此外,如图4B所示,还知道随着到被摄体的距离增加,景深的范围也增加。
此外,当对图4B所示的壁面403进行摄像时,定义壁面403上的摄像范围,使得如能够从视角419至视角424看出的存在的大的交叠区域。这确保要检查的被摄体(即,本示例中的壁面403)被完全覆盖,并通过利用所使用的光学透镜单元的像圈的中心部分获得像差较少的高质量的检查图像。在图4B中,摄像范围交叠,使得拍摄先前帧时的视角的末端与拍摄下一帧时的视角的中心对准。然而,交叠率可能与此示例不同。
图4C是示出摄像装置101的取景器画面425的示例的图。在如本实施例中那样拍摄要检查的被摄体的高清晰度图像的情况下,在取景器画面425上显示表示在摄像时的AF中使用的测距点的测距点标记426。在摄像装置101中,在与取景器画面425的整个表面基本上对应的宽区域上布置用于AF的测距点。然而,当拍摄检查目标被摄体的高清晰度图像时,使用提供更高精度的在中心处的测距点。鉴于以上情况,在拍摄检查目标被摄体的高清晰度图像时,在取景器画面425上仅显示表示中心区域中的测距点的高精度测距点标记426。在已经说明了关于由布置在相机平台装置102上以拍摄要检查的壁面403的图像的摄像装置101进行的处理的过程的以上描述中,假设在图4B中的所有交点410至415处AF聚焦是成功的。
图5(a)和图5(b)是示出通过如上所述对检查目标被摄体(壁面)的多个区部中的各个进行摄像而获得的拍摄图像并且示出在根据本实施例的摄像系统中拍摄图像对各个拍摄图像进行的处理的图。
在图5(a)和图5(b)中,501至507分别标示通过以如下所述进行摄像而获得的区部的拍摄图像:以上述方式对相机平台装置102进行横摇驱动,从而将摄像装置101的摄像方向从建筑物的被检查的壁面的左上端向右上端移动。在图5(a)所示的示例中,为了使在拍摄图像501至506之间进行区别更容易,描述在垂直方向上稍微偏移的图像,但实际上没有垂直位移。在获得被检查的壁面的右上区部的拍摄图像507之后,相机平台装置102被横摇驱动使得摄像装置101的摄像方向沿向下纵摇方向移动与一个区部(包括交叠区域)对应的量,并且还移动到壁面的左端。此后,在摄像系统中,以上述方式依次进行横摇驱动和摄像,以从左端区部到右端区部依次地拍摄壁面的区部的图像。
通过以上述方式进行横摇驱动、纵摇驱动和摄像,摄像装置101获取拍摄图像501至509,使得无遗漏地拍摄被检查的建筑物的壁面的所有区部。图5(b)示出了以上述方式经由对相机平台装置102的一系列横摇驱动和纵摇驱动而拍摄的图像的集合。通过将各交叠区域中的图像精确对准从而生成图像,将所有这些拍摄的图像整合成单个图像,就好像要检查的壁面是以高清晰度拍摄的一样。在对基础设施等的检查中,检查者可以使用这种整合图像进行用于核查检查目标中存在或不存在微小缺陷的操作,但是省略了对该检查的详细描述。
图6是示出根据第一实施例的整个摄像系统的整体操作流程的流程图。注意,假设在开始图6的流程图中所示的操作之前,已经进行了诸如以上参考图4A和图4B所述的设置的设置。即,完成了关于摄像装置101的安装位置401、基于对要使用的光学透镜单元中的景深的计算对孔径值和焦距的选择的设置。在对图6的流程图的描述中,将处理步骤S601至S607分别简单地标示为S601至S607。这同样适用于稍后描述的其他流程图。
在图6的流程图中的S601中,相机平台装置102基于用户经由输入/输出I/F模块319输入的指令,进行与要检查的壁面等的摄像范围和相邻区部之间的交叠率相关的设置。此外,在S602中,相机平台装置102基于在S601中设置的信息进行与横摇驱动和纵摇驱动相关的设置,从而使得能够拍摄要检查的壁面的各个区部的图像。
在S603中,摄像装置101进行与孔径值和对应的快门速度等相关联的设置,以适当地拍摄在S601中选择的区部中的各个的图像。此后,摄像装置101等待用户要经由输入/输出I/F模块309输入摄像开始指令。当用户输入摄像开始指令时,则在S604中,摄像装置101通知相机平台装置102和计算操作装置103已经输入了摄像开始指令。
当接收到摄像开始指令时,在S605中,相机平台装置102进行横摇驱动和纵摇驱动操作,以移动摄像装置101的摄像方向,使得摄像装置101如上所述拍摄各区部的图像。每当完成以恒定角度的横摇驱动并且停止摄像方向的移动(改变)时,相机平台装置102将摄像执行指令发送到摄像装置101和计算操作装置103。
当摄像装置101和计算操作装置103从相机平台装置102接收到摄像执行指令时,在S606中,摄像装置101和计算操作装置103执行摄像处理。稍后将描述在S606中进行的摄像处理的细节。接下来,在S607中,计算操作装置103确定在检查被摄体的整个检查范围内(即,针对所有要检查的区部)摄像是否完成。在确定出摄像尚未完成的情况下,处理返回到S605。因此,相机平台装置102进行横摇驱动以允许其拍摄下一个未拍摄区部的图像。另一方面,在S607中确定针对整个检查范围(针对所有区部)完成了摄像的情况下,由摄像系统进行的图6所示的处理结束。
图7是示出由根据本实施例的摄像系统中的摄像装置101和计算操作装置103进行的摄像处理的流程图。更具体地,图7示出了图6所示的S606中的处理的细节。
在图7的S701中,摄像装置101通过AF测距模块305执行用于AF的测距。此外,在S702中,摄像装置101确定在S701中由AF测距模块305进行的测距是否成功。将关于由摄像装置101进行的测距是否成功的确定结果发送到计算操作装置103。在确定出由摄像装置101进行的测距成功的情况下,摄像系统的处理进行到S706。然而,在确定出测距失败的情况下,摄像系统的处理进行到S703。
在计算操作装置103从摄像装置101接收到指示测距失败的确定结果的情况下,则在S703中,计算操作装置103从聚焦控制位置记录单元216获取与作为在拍摄先前区部的图像时摄像装置101的AF聚焦的结果而采用的聚焦控制位置相关的信息。
接下来,在S704中,计算操作装置103预测允许摄像装置101在当前摄像方向上设置聚焦控制位置的范围。此外,在S704中,计算操作装置103生成在预测范围内用于聚焦BLK摄像的摄像参数,并将所得到的摄像参数发送到摄像装置101。稍后将描述S704中的处理的细节。在S704之后,摄像系统的处理进行到S705。
在S705中,摄像装置101在计算操作装置103所预测的范围内根据与聚焦BLK摄像相关的摄像参数来执行聚焦BLK摄像。作为聚焦BLK摄像的执行结果,将经由执行聚焦BLK摄像而获取的多个拍摄图像存储在摄像装置101的图像记录单元204中。此后,结束摄像系统的在图7中所示的处理。
另一方面,如果从摄像装置101接收到的确定结果指示测距成功,则在S706中,计算操作装置103将与作为摄像装置101的AF聚焦的结果而采用的聚焦控制位置相关的信息记录在聚焦控制位置记录单元216中。在S707中,摄像装置101以正常模式进行摄像。
接下来,在S708中,计算操作装置103确定在该区部的先前摄像中是否进行了聚焦BLK摄像。在S708中确定在该区部的先前摄像中没有进行了聚焦BLK摄像的情况下,结束摄像系统的在图7中所示的处理。
相反,在S708中确定在该区部的先前摄像中进行了聚焦BLK摄像的情况下,计算操作装置103在S709中从用于先前聚焦BLK摄像的聚焦控制位置中选择适当的聚焦控制位置。稍后将描述S709中的处理的细节。
此外,在S710中,计算操作装置103从在先前聚焦BLK摄像中拍摄并记录在摄像装置101的图像记录单元204中的图像中选择适当的拍摄图像。即,计算操作装置103选择与在S709中选择的适当聚焦控制位置对应的拍摄图像作为适当的拍摄图像。之后,结束计算系统的在图7中所示的处理。
图8是由根据本实施例的摄像系统的计算操作装置103进行的聚焦位置范围预测处理的流程图。更具体地,图8示出了图7所示的S704中的处理的细节。
在图8的S801中,计算操作装置103的聚焦范围估计单元215确定聚焦BLK摄像控制单元214是否已经从聚焦控制位置记录单元216中成功地获取了在先前区部摄像中采用的AF聚焦控制位置。在未获取聚焦控制位置的情况下,计算操作装置103的处理进行到后述的S809。在已经成功地获取聚焦控制位置的情况下,计算操作装置103的处理进行到S802。
在S801中成功地获取在先前区部摄像中采用的AF聚焦控制位置的情况下,在S802中,聚焦范围估计单元215基于在先前区部摄像中采用的聚焦控制位置来提取聚焦控制位置的位移量。
接下来,在S803中,聚焦范围估计单元215确定聚焦控制位置的位移是否已经通过了极值。注意,极值是当作为被摄体的被拍摄的壁面403与摄像装置101之间的距离通过了相机平台装置102的诸如横摇驱动或纵摇驱动的旋转驱动中的最近点时获得的摄像方向上的聚焦控制位置的值。在确定聚焦控制位置的位移已经通过了极值的情况下,计算操作装置103的处理进行到以下描述的S805。另一方面,在S803中确定聚焦控制位置的位移未通过极值的情况下,聚焦范围估计单元215使处理前进到S804。
在进行到S804之后,聚焦范围估计单元215确定前一区部摄像中采用的AF聚焦控制位置的位移量的绝对值是否大于预定值(D)。在聚焦范围估计单元215确定聚焦控制位置的位移量的绝对值大于预定值(D)的情况下,聚焦范围估计单元215使处理前进到S805,但是在聚焦范围估计单元215确定绝对值不大于预定值(D)的情况下,聚焦范围估计单元215使处理前进到S806。注意,预定值(D)可以被设置为例如使得D=1。
在处理进行到S805的情况下,聚焦范围估计单元215将改变当前区部的聚焦BLK摄像中的聚焦控制位置的方向设置在与先前区部的BLK摄像中改变聚焦控制位置的方向相同的方向上。另一方面,在处理进行到S806的情况下,聚焦范围估计单元在当前执行对区部的聚焦BLK摄像中,对方向进行设置,使得聚焦控制位置要在两个方向上改变。在完成S805或S806之后,聚焦范围估计单元215使处理前进到S807。
在S807中,聚焦范围估计单元215设置一侧可变范围,在该一侧可变范围内,在聚焦BLK摄像中要改变的聚焦控制位置通过将与前一区部摄像中的AF聚焦控制位置的位移量的绝对值相等的值加上预定值“1”(+1)来给出。在S807之后,计算操作装置103的处理进行到S808。
在处理进行到S809的情况下,聚焦范围估计单元215进行设置,使得在区部摄像中在当前执行聚焦BLK摄像时要在两个方向上改变聚焦控制位置,并且使得将“5”设置为要在两个方向中的各个方向上改变聚焦位置的范围。在S809之后,计算操作装置103的处理进行到S808。
在处理进行到S808的情况下,聚焦BLK摄像控制单元214基于聚焦范围估计单元215设置的值,设置在进行聚焦BLK摄像时由摄像装置101使用的摄像参数。因此,摄像装置101根据基于由聚焦范围估计单元215估计的值设置的与聚焦BLK摄像相关的摄像参数来进行聚焦BLK摄像。此后,结束图8中由计算系统进行的处理。
图9是由摄像系统的计算操作装置103进行以从根据本实施例的在先前执行聚焦BLK摄像时使用的聚焦控制位置中选择适当的聚焦控制位置的处理的流程图。注意,图9中的该流程图示出了图7中的S709中的处理流程的细节。
在图9的S901中,图像选择单元217经由聚焦BLK摄像控制单元214从聚焦控制位置记录单元216获取在区部摄像中在先前执行聚焦BLK摄像时使用的聚焦控制位置范围。接下来,在S902中,图像选择单元217获取在当前执行区部摄像时使用的AF聚焦控制位置。
接下来,在S903中,图像选择单元217确定在先前执行区部摄像时基于AF的聚焦控制位置的位移是否已经通过了位移方向反转的极值。在确定聚焦控制位置的位移方向尚未通过极值的情况下,图像选择单元217使处理前进到S905。然而,在确定位移方向已经通过了极值的情况下,处理进行到S904。
在进行到S904之后,图像选择单元217删除图像,使得从摄像装置101的图像记录单元204删除在先前执行聚焦BLK摄像时使用的聚焦控制位置中拍摄的图像当中的、在当前执行摄像时超出AF聚焦控制位置的范围内的图像。在S904之后,图像选择单元217使处理前进到S905。
在S905中,图像选择单元217计算在先前摄像时的AF聚焦控制位置与在当前摄像时的AF聚焦控制位置之间的中间聚焦控制位置。
接下来,在S906中,图像选择单元217从在先前执行聚焦BLK摄像时使用的聚焦控制位置中选择最接近在S905中计算出的聚焦控制位置的聚焦控制位置。结果,在上述图7中的S710中,选择与在S906中选择的聚焦控制位置对应的拍摄图像。
接下来,在S907中,图像选择单元217确定是否存在在S906中选择的作为最接近的聚焦控制位置的两个聚焦控制位置。在S907中确定不存在被选为最接近的聚焦控制位置的两个聚焦控制位置而仅存在被选为最接近的聚焦控制位置的一个聚焦控制位置的情况下,结束由计算系统的在图9中的处理。
另一方面,如果确定存在被选择为最接近的聚焦控制位置的两个聚焦控制位置,则在S908中,图像选择单元217选择具有较短摄像距离的聚焦控制位置。在这种情况下,在上述图7中的S710中,选择与在S908中选择的聚焦控制位置相对应的拍摄图像,作为具有较短摄像距离的拍摄图像。此后,结束图9中的计算系统的处理。
图10是示出在根据本实施例的摄像系统中逐个区部地依次拍摄检查目标被摄体(壁面)的各摄像方向的图。
在图10中,位置1001表示布置有上述摄像装置101的相机平台装置102的安装位置401,并且壁面1002表示要检查的建筑物402的壁面403。方向1003、1004、...、1017表示摄像方向,相机平台装置102依次选择这些摄像方向,进行在各个方向上横摇驱动并且然后停止的操作以拍摄区部的图像。注意,从图中可以看出,在从左到右的方向上进行横摇驱动。在图10所示的示例中,在摄像方向1003至1017的各个摄像方向上进行区部摄像。
图11A至图11G分别是针对在依次选择的图10中所示的摄像方向1003至1017各摄像方向上进行摄像的情况示出AF的成功或失败、聚焦控制位置的预测范围、聚焦控制位置、聚焦控制位置的位移量的变化等的表格。
在图11A至图11G中,“摄像方向编号”描述分别分配给图10中所示的摄像方向1003至1017的编号。“AF的成功或失败”表示在由摄像方向编号标示的方向上摄像时AF的成功或失败,其中“○”指示成功,而“×”指示失败。“预测的F控制位置范围”指示在图7的S704中预测的聚焦控制位置的范围。括号中描述的各个值指示在由摄像方向编号标示的方向上聚焦BLK摄像时拍摄的帧数。“聚焦控制位置”指示在各个摄像方向上摄像时通过AF确定的聚焦控制位置或者稍后从摄像的聚焦控制位置中选择的聚焦控制位置。“F控制位置的位移”指示所表示的聚焦控制位置与先前摄像时采用的值的差异。
图12是示出在根据本实施例的摄像系统的摄像装置101中使用的光学透镜单元的聚焦控制位置(步长)与聚焦距离(m)之间的关系的示例的图。即,当按步长驱动光学透镜单元的聚焦透镜时,例如通过步长数表示聚焦控制位置。
参照图10至图12,参照实际时间序列操作,以简化且更容易理解的方式进一步描述根据本实施例的摄像系统进行的在图6至图9的流程图中所示的处理、摄像系统中的各种装置以及由用户进行的操作。
在计划如图10所示对作为检查目标给出的壁面1002进行摄像的情况下,当在根据本实施例的摄像系统中开始图6所示的处理时,进行如下处理。首先,在S601中,用户进行输入以依据摄像范围来设置相机平台装置102。在S602中,为将相机平台装置102从摄像方向1003横摇到摄像方向1017作准备。此外,在S603中,用户依据诸如景深,曝光等的摄像参数来设置摄像装置101。此后,如果在S604中用户发出摄像开始指令,则在S605中,相机平台装置102向要进行第一次摄像的摄像方向1003进行横摇驱动。此外,在S606中,摄像装置101和计算操作装置103开始摄像处理。
在S606中的摄像处理中,如图7中的流程图所示,首先,在S701中,摄像装置101的AF测距单元206对被摄体进行用于AF的测距。在进行第一次区部摄像的情况下,例如,如果建筑物402的端部(即壁面403的端部),被拍摄在摄像装置101的取景器画面425的中心,则检测该端部,从而确保成功进行了AF测距。在摄像期间多次移动摄像装置101的安装位置的情况下,期望拍摄在将壁面403划分为多个区部时定义的在壁面403上的特定地标等,从而确保AF测距成功。因此,在S702中确定AF成功,并且处理可以进行到S706,在S706中,将作为在S701中的测距的结果而获得的聚焦控制位置记录为用于驱动摄像装置101的聚焦驱动单元205的信息。
在图11A中,描述了在摄像方向1003上AF的成功或失败(“○”指示成功)以及指示聚焦控制位置的值(例如,19步长)。然后,在S707中,根据聚焦控制位置驱动光学透镜单元的聚焦透镜,并且以正常模式进行摄像。当进行沿摄像方向1003的摄像时,处理进行到下一步骤S708,在步骤S708中,确定不存在先前摄像的记录,并且因此,结束图7所示的处理。此后,处理进行到图6中的S607。在这种特定情况下,尚未完成针对整个检查范围的摄像。因此,处理返回到S605,并且驱动相机平台装置102以进行横摇以对下一区部进行摄像,并且在S606中进行摄像处理。
此后,在图7中,如图11A所示,在摄像方向1004和1005上AF测距也成功,并且进行从S702到S706的处理。在S707中,以正常模式进行摄像。在S708中,由于以正常模式进行了先前的摄像,因此结束图7中所示的处理。在S607中,确定没有完成针对检查范围的摄像,因此处理返回到S605。在S605中,驱动相机平台装置102以横摇到新的摄像方向1006,并且在S606中进行摄像处理。
接下来,如图11A所示,如果在摄像方向1006上AF测距失败(×),则在S702中确定AF不成功,因此,处理进行到S703。在S703中,从聚焦控制位置记录单元216获取先前AF中的聚焦控制位置,然后处理进行到S704。
在步骤S704中,如图8中的流程图所示,首先,在S801中,确定是否已经获取了先前摄像中的聚焦控制位置。在图11A所示的示例中,获取22步长的值作为在摄像方向1005上的先前摄像中的聚焦控制位置。因此,处理进行到S802。
在步骤S802中,在摄像方向1005上的摄像中的聚焦控制位置的位移量,即在摄像方向1004与摄像方向1005之间的聚焦控制位置之差,被提取为“1”(22-21=1)。在S803中,确定记录的聚焦控制位置的改变是否已经通过了上述极值。
此时,不知道在摄像方向1003与摄像方向1006之间的范围内是否已经发生通过了极值,因此处理进行到S804。注意,可以通过检测在S802中提取的聚焦控制位置的增大或减小的位移的反转的发生来进行在S804中关于通过极值的确定。
接下来,在S804中,确定在先前摄像中的聚焦控制位置的位移量的绝对值是否大于预定值(D,其在本示例中为1)。参照图11A,在先前摄像方向1005上聚焦控制位置的位移量为“1”,因此处理进行到S806。在步骤S806中,进行设置,使得聚焦BLK摄像中的聚焦控制位置相对于先前摄像中的聚焦控制位置在两个方向上偏移。
在S807中,进行设置,使得通过将在先前摄像中的聚焦控制位置中的位移量加1的量设置为位移量,在两个方向中的各个方向上偏移聚焦控制位置。在S808中,在摄像装置101中设置用于聚焦BLK摄像的摄像参数,使得聚焦控制位置相对于先前摄像方向上的聚焦控制位置在±2的范围内偏移。此后,结束图8中的处理。在图7的S705中,在摄像方向1006上,分别在如图11A所示的20步长至24步长的聚焦控制位置处拍摄总共五个聚焦BLK图像。
接下来,在图6中的S607中,确定摄像尚未完全完成,因此处理进行到S605。在S606中,开始在新的摄像方向1007上的摄像。在图7中的摄像处理中,在S701中,进行沿摄像方向1007的用于AF的测距。如图11B所示,测距成功,并且处理进行到S706。在S706中,记录基于成功的AF测距的聚焦控制位置,然后在S707中,在该聚焦控制位置处,以正常模式进行摄像。此后,在S708中,确定在先前的摄像中是否进行了聚焦BLK摄像。在该特定情况下,在先前摄像方向1006上进行了聚焦BLK摄像,因此处理进行到S709。
在S709中,如图9中的流程图所示,首先在S901中,获取关于在先前的聚焦BLK摄像中使用的多个聚焦控制位置的信息。即,获取20步长到24步长的值。接下来,在步骤S902中,获取在当前摄像方向1007上使用的AF聚焦控制位置。在S903中,确定在先前的摄像中或其之前,聚焦控制位置的位移是否已经通过极限。在这种特定情况下,仍然是未知的,因此处理进行到S905。
在S905中,计算当前摄像方向1007上的聚焦控制位置的值“24”与先前的AF成功的先前摄像中(在摄像方向1005上的摄像中)的聚焦控制位置的值“22”之间的中间值,获得“23”作为计算结果。接下来,在S906中,在摄像方向1006上使用的聚焦控制位置的值“23”最接近作为在S905中的计算结果而获得的值,因此选择该值“23”。此外,在S907中,由于仅存在一个最接近S905中的计算结果的值,所以结束图9的处理。因此,结束S709中的处理。注意,由于选择了值“23”作为在摄像方向1006上的聚焦控制位置,因此还确定了在摄像方向1006和1007上的聚焦控制位置的位移量。
接下来,在图7的S710中,基于在S906中选择的聚焦控制位置的值“23”,从在摄像方向1006上的聚焦BLK摄像中获取的多个拍摄图像中选择拍摄图像,并且结束处理。图11B示出了在进行在拍摄方向1007上的摄像之后选择在摄像方向1006上选择的聚焦控制位置的值“23”。
此后,还在摄像方向1008上进行从图6中的S607到S606的处理。在S707中,使用值“24”作为AF的聚焦控制位置,以正常模式进行摄像。此后,结束图7中的处理,并且处理进行到S607。处理从S607再次返回到S605,并且驱动相机平台装置102进行横摇以将摄像方向移动到摄像方向1009,并且在图7的S701中进行用于AF的测距。
在图11C所示的示例中,在摄像方向1009上的测距失败,因此,在S703中,与摄像方向1006上一样,获取先前的自动聚焦中的聚焦控制位置。获取值“24”作为在摄像方向1008上的聚焦控制位置。然后在S704中,开始图8中的处理。在这种情况下,处理从S801进行到S802,并且获取“0”作为聚焦控制位置的位移量。此后,如在摄像方向1006的情况,处理从S803进行到S804、S806,并且再到S807。
在S807中,将聚焦控制位置的位移量加1设置为聚焦BLK摄像中的各个方向上的偏移量。即,在S808中,在摄像装置101中设置聚焦BLK摄像中的摄像参数,使得聚焦控制位置相对于先前摄像方向上的聚焦控制位置在±1的范围内偏移。此后,结束图8中的处理。在图7的S705中,在摄像方向1009上,分别在如图11C所示的从“23”到“25”的聚焦控制位置处拍摄总共三个聚焦BLK图像。
接下来,处理从S607返回到S605。在摄像方向1010上,S701中的AF测距成功,因此处理从S702进行到S706,并且再到S707,其中以正常模式进行摄像。在S708中,与摄像方向1007的情况一样,处理进行到S709,并且开始图9中所示的处理。同样在这种情况下,以与在摄像方向1007上相似的方式进行该处理。在S905中,选择“24”作为在摄像方向1008上的聚焦控制位置“24”与在摄像方向1010上的聚焦控制位置“24”之间的中间聚焦控制位置。结果,在图7的S710中,从在摄像方向1009进行的聚焦BLK摄像时拍摄的三个图像中选择在S906中选择的值“24”的聚焦控制位置处拍摄的图像。之后,结束处理。
接下来,如图11E所示,在摄像方向1011上,AF测距成功,并且在聚焦控制位置“24”处进行摄像。接下来,在摄像方向1012上,AF测距失败,在从“23”到“25”的聚焦控制位置处进行聚焦BLK摄像。此外,在下一摄像方向1013上,在图11F所示的聚焦控制位置“22”处以正常模式进行摄像。因此,在图7的S709中,从在摄像方向1012上的聚焦BLK摄像中拍摄的图像中选择在聚焦控制位置“23”处拍摄的图像。
接下来,如图11A所示,在摄像方向1014上的摄像中AF测距成功。然而,在摄像方向1015上的摄像中AF测距失败。在这种情况下,作为S704的内部处理的在图8中所示的S802中,检测到-1作为在摄像方向1014上聚焦控制位置的位移量,并且在S803中根据在S706中记录的聚焦控制位置来进行极值出现确定。即,如图11F所示,如图12中的箭头1200所示,聚焦控制位置的位移从正方向改变为负方向,并且因此在S803中确定聚焦控制位置的值通过了极值。
因此,处理从S803进行到S805,并且进行关于聚焦BLK摄像中的聚焦控制位置的偏移方向的设置,使得要从先前摄像中的聚焦控制位置在一个方向上进行偏移。然后在S807中,将先前摄像中的聚焦控制位置的位移量的绝对值,即在该特定情况下通过“1+1”给出的“2”,设置为在一个方向上的偏移量。因此,在S808中,在摄像装置101中设置摄像参数,使得聚焦控制位置相对于先前摄像方向上的聚焦控制位置在聚焦方向上沿减方向在“2”的范围内(即,以与先前摄像中的位移量相同的量)偏移。
此后,结束图8中的处理。在图7的S705中,在摄像方向1015上,如图11F所示,在从“21”到“19”的聚焦控制位置处拍摄总共三个聚焦BLK图像。接下来,在摄像方向1016上,如图11G所示AF测距成功,处理从图7中的S708进行到S709,其中开始图9中示出的处理。
在这种情况下,在S903中,由于已经通过了极值,因此处理进行到S904,在该S904中,删除了在摄像方向1015上的聚焦BLK摄像中拍摄的图像当中的、其聚焦控制位置超过(在这种情况下小于)在摄像方向1016上采用的聚焦控制位置的这种拍摄图像。这是因为当聚焦控制位置已经通过极值时,聚焦控制位置的在摄像方向1016上的值比拍摄了先前帧的摄像方向1015上的小。然而,在摄像方向1015上从“21”到“19”的聚焦控制位置当中,不存在将在摄像方向1016的负方向上的聚焦控制位置“19”超过的“18”或更低的聚焦控制位置。因此,没有删除拍摄图像,并且处理进行到S905。
在S905中,进行计算,以确定在摄像方向1014上的聚焦控制位置“21”与在摄像方向1016上的摄像方向“18”之间的中间值,即,获得计算结果“19.5”,并且处理进行到S906。在S906中,从在摄像方向1015上的聚焦BLK摄像中的聚焦控制位置中选择最接近在S905中计算出的值的聚焦控制位置。
在这种情况下,计算值“19.5”是作为聚焦BLK摄像中的聚焦控制位置“20”与“19”之间的中间值,因此在S907中确定存在两个接近的聚焦控制位置,因此处理进行到S908。在S908中,选择“20”作为两个聚焦控制位置当中的更接近被摄体的值,并且S709中的处理结束。即,在S908中,选择引起到被摄体的聚焦距离更短并且引起更大的景深和具有更深景深的后景深的聚焦控制位置,作为距被摄体具有更短拍摄距离的聚焦控制位置。
接下来,在S710中,选择在聚焦控制位置“20”处拍摄的图像,作为在摄像方向1015上的拍摄图像,并且结束图6中的S606中的处理。即,在S710中,在这种情况下,考虑到后景深具有较大景深的事实,基于聚焦控制位置来选择拍摄图像。此后,处理从S607进行到S605,并且在新的摄像方向1017上进行摄像。在这种情况下,与在摄像方向1003上一样,检测壁面1002的端部并且因此通过AF的摄像成功。在S607中,确定完成了对检查范围的摄像,并且结束处理。
如上所述,在根据本实施例的摄像系统中,在AF聚焦失败的情况下,基于与在先前AF中使用的聚焦控制位置相关的信息来预测聚焦控制位置的范围,并且基于预测范围进行聚焦BLK摄像。此外,在根据本实施例的摄像系统中,当在当前摄像中AF成功并且因此以正常模式进行摄像时,如果在先前摄像中进行了聚焦BLK摄像,则从聚焦BLK摄像时拍摄的多个图像中选择适当的图像。因此,在根据本实施例的摄像系统中,当将检查目标划分成小部分并且在整个检查目标上依次拍摄大量高清晰度图像时,即使例如AF测距失败,仍有可能获得聚焦的拍摄图像。即,在根据本实施例的摄像系统中,当自动且连续地拍摄用于检查基础设施的高清晰度图像时,即使在AF不能正常工作的情况下,也可以继续摄像,而无需由于聚焦失败而重新拍摄图像。
在本实施例中,在AF失败时对聚焦控制位置的范围进行预测的情况下,使用在假设驱动相机平台进行横摇的情况下的关于聚焦控制位置的变化的信息。然而,可以使用在假设驱动相机平台进行纵摇的情况下的信息。此外,通过除了关于横摇驱动的信息之外还使用关于纵摇驱动的信息,可以进行对聚焦控制位置的高精度预测,并且可以减少使用聚焦BLK摄像所拍摄的图像的数量。
在本实施例中,省略了关于当在摄像系统中AF连续失败两次以上时进行的处理的描述。为了应对这种情况,可以提供在图8中的从S801到S809的处理期间检测第二次或更多次AF失败的处理。在这种情况下,在S809中,将值“5”设置为在聚焦BLK摄像中在一个方向上的偏移范围,并将先前执行聚焦BLK摄像中的聚焦控制位置的值中的中间值用作中值聚焦控制位置。通过采用这种构造,即使当AF连续失败两次或更多次时,也可以继续摄像以获得聚焦的图像。
此外,在本实施例中,删除在聚焦BLK摄像中拍摄的多个图像当中的在明显不适当的聚焦控制位置处拍摄的图像。可选地,可以删除与在图9的处理中未选择的聚焦控制位置对应的所有图像。通过采用这种构造,可以防止由于大量摄像而浪费地使用记录介质的容量。
此外,尽管根据本实施例的摄像系统被构造为包括多个装置,但是摄像系统可被构造为使得装置之一包括其他装置,或者摄像系统可以被构造为包括单个装置。此外,在本实施例中,摄像装置101和计算操作装置103能够任意获取聚焦控制位置的值并且能够对值进行设置。然而,在摄像系统能够仅通过相对值指定聚焦驱动量的情况下,摄像装置101和计算操作装置103可以构造如下。例如,摄像装置101或计算操作装置103获取并管理包括关于用于改变聚焦控制位置的AF驱动的信息的所有驱动信息,从而掌握当前聚焦控制位置处的值。通过采用这样的构造,可以处理能够仅通过相对值来指定聚焦驱动中的聚焦控制位置的摄像系统。此外,在使用基于相对数值的聚焦驱动指令的情况下,可以应对通过将聚焦驱动装置添加到光学透镜单元来实现AF的摄像系统。
<第二实施例>
在上述第一实施例中,在用于AF的测距成功的情况下,在要检查的壁面上的聚焦视为是成功的,并且以正常模式进行摄像。相反,第二实施例提供了一种构造的示例,其中,即使在用于AF的测距成功的情况下,也可以核查聚焦控制位置的变化,并确定是否确实实现了在作为检查目标给出的壁面上的聚焦。在第二实施例中,摄像系统被构造成以与参考图1至图3上述方式类似的方式构造,因此省略了对其的进一步描述,并且未提供该构造的其他附图。此外,根据第二实施例的摄像系统中的整个系统的操作流程类似于以上参考图6中所示的流程图所描述的操作流程,并且图像选择处理的流程类似于以上参考图9中所示的流程图描述的流程,因此省略其进一步的描述和其他附图。
图13是示出由根据第二实施例的摄像系统中的摄像装置101和计算操作装置103进行的摄像处理的流程图。要注意的是该流程图示出了在根据第二实施例进行处理的情况下,图6所示的S606中的处理的细节。
在图13中的S1301中,摄像装置101通过AF测距模块305执行用于AF的测距。接下来,在S1303中,计算操作装置103确定摄像装置101对图像的拍摄是否是第一次执行拍摄(是否对第一区部进行摄像)。在确定这是第一次摄像的情况下,摄像系统的处理进行到S1309。另一方面,在确定不是第一次摄像的情况下,摄像系统的处理进行到S1303。
在S1303中,计算操作装置103获取与在由摄像装置101进行的先前摄像中通过AF聚焦时的聚焦控制位置相关的信息。接下来,在S1304中,计算操作装置103预测摄像装置101的当前摄像方向上可允许的聚焦控制位置的范围。此外,在S1304中,计算操作装置103生成预测范围内的聚焦BLK摄像的摄像参数,并将得到的摄像参数发送给摄像装置101。S1304中的处理的细节将稍后被描述。在S1304之后,摄像系统使处理前进到S1305。
在S1305中,摄像装置101确定由AF测距模块305在S701中进行的测距是否成功。关于测距是否成功的确定结果被发送到计算操作装置103。在确定摄像装置101的测距成功的情况下,摄像系统的处理进行到S1307。然而,在确定测距失败的情况下,摄像系统的处理进行到S1306。
在S1306中,摄像装置101根据在S1304中预测的范围内的聚焦BLK摄像的摄像参数来执行聚焦BLK摄像。此后,摄像系统进行的在图13所示的处理结束。
另一方面,在处理进行到S1307的情况下,计算操作装置103将基于在S1301中获取的测距的聚焦控制位置与在S1304中预测的聚焦控制位置进行比较。接下来,在S1308中,计算操作装置103根据S1307中的比较结果,确定基于在S1301中获取的测距的聚焦控制位置是否在S1304中预测的聚焦控制位置的范围内。在S1308中确定其在该范围内的情况下,摄像系统的处理进行到S1309。另一方面,在确定其在该范围外的情况下,摄像系统的处理进行到S1306。
在S1309中,计算操作装置103记录作为由摄像装置101进行的AF聚焦的结果而获得的聚焦控制位置。注意,在S1301中,摄像装置101以正常模式进行摄像。在S1301之后,摄像系统的处理进行到S1311。
在S1311中,计算操作装置103确定在区部的先前摄像中是否进行了聚焦BLK摄像。在确定进行了聚焦BLK摄像的情况下,处理进行到S1312。另一方面,在S1311中确定未进行聚焦BLK摄像的情况下,摄像系统中的在图13中的处理结束。
在步骤S1312中,如图9的流程图所示,计算操作装置103从先前的聚焦BLK摄像中使用的聚焦控制位置中选择适当的聚焦控制位置。接下来,在S1313中,如图7所示的S710中那样,计算操作装置103从在先前聚焦BLK摄像中拍摄并记录在摄像装置101的图像记录单元204中的图像中选择适当的拍摄图像。此后,结束计算系统的在图13中的处理。
图14是由根据第二实施例的摄像系统的计算操作装置103进行的预测当前聚焦位置范围的处理的流程图。更具体地说,图8示出了图13所示的S1304中的处理的细节。
在图14中的S1401中,计算操作装置103的聚焦范围估计单元215确定在先前区部摄像中经由测距所获取的焦点控制位置是否在针对此先前区部摄像预测的聚焦控制位置的范围之外。在确定其在预测范围之外的情况下,计算操作装置103使处理前进到S1402。另一方面,在确定其在预测范围内的情况下,处理进行到S1403。
在S1402中,聚焦范围估计单元215将在预测范围内的聚焦控制位置的中值设置为临时聚焦控制位置,并且基于该临时设置值来计算聚焦控制位置的位移量。
另一方面,在处理进行到S1403的情况下,聚焦范围估计单元215确定是否获取了先前摄像中的聚焦控制位置和聚焦控制位置的位移量。在聚焦范围估计单元215在S1403中确定获取了聚焦控制位置和位移量的情况下,聚焦范围估计单元215使处理前进到S1411。另一方面,在确定获取了它们的情况下,聚焦范围估计单元215使处理前进到S1404。
S1404中的处理类似于图8中的S802中的处理,因此省略其描述。此外,S1405与S803相似,S1406与S804相似,S1407与S805相似,S1408与S806相似,S1409与S807相似,S1410与S808相似,S1411与S809相似。
图15是示出在根据第二实施例的摄像系统中逐个区部地拍摄检查目标的各摄像方向的图。
在图15中,与在图10中所示的上述示例中一样,摄像方向1501表示其上布置有摄像装置101的相机平台装置102的安装位置401,并且壁面1502表示要检查的建筑物402的壁面403。方向1503、1504、...、1517表示相机平台装置102进行在各个方向上横摇驱动然后停止以拍摄区部的图像的操作而依次选择的摄像方向。凹部1518是存在于要检查的壁面1502上的凹部。在图15中,壁面1502上的虚线1519指示作为要检查的壁面1502的要聚焦的面的位置。
图16A至图16E分别是针对在从图15中所示的摄像方向1503至1517依次选择的各个方向上进行摄像的情况示出AF的成功或失败、聚焦控制位置的预测范围、聚焦控制位置、聚焦控制位置的位移量的变化等的表格。
在图16A至图16E所示的示例中,与参考图11的上述示例一样,“摄像方向编号”描述了分别分配给图15所示的摄像方向1503至1517的编号。“AF的成功或失败”指示在由摄像方向编号指示的方向上的摄像中AF是否成功。“预测的F控制位置范围”指示在图13的S1304中预测的聚焦控制位置的范围。“聚焦控制位置”和“F控制位置的位移量”与图11中的相同。
参照图15和图16,参照实际时间序列操作,以简化且更容易理解的方式进一步描述第二实施例的摄像系统中的在图6、图13和图14中示出的流程图的处理流程、摄像系统的各个装置的操作和用户的操作。
在第二实施例中,当计划对在图15所示的作为检查目标的壁面1502进行摄像并且在根据本实施例的摄像系统中开始图6所示的处理时,处理如下进行。在步骤S601中,用户进行输入以设置相机平台装置102。在S602中,准备将相机平台装置102从摄像方向1503横摇到摄像方向1517。之后,从S603到S605的操作与上述操作相同,因此省略其描述。在第二实施例的情况下,在S606中,进行图13的流程图中所示的处理。
在图13的S1301中,摄像装置101的AF测距单元206对被摄体进行用于AF的测距。如在第一实施例中所描述的,可以假设为了核查壁面在对区部第一次执行摄像时AF测距肯定成功。在下一步骤S1302中,确定摄像是否是第一次执行。当前摄像是图15中所示的一系列摄像的执行中的第一次执行,因此,处理进行到S1309。在S1309中,记录与S1301中的测距结果对应的聚焦控制位置(19步长)。在S1310中,基于上述聚焦控制位置以正常模式进行摄像。
接下来,在S1311中,确定在先前的摄像中是否进行了聚焦BLK摄像。在这种特定情况下,没有进行先前摄像,因此图13中的处理结束。此后,处理进行到图6中的S607。在该特定情况下,尚未完成针对整个检查范围的摄像,因此,再次在S605中,驱动相机平台装置102进行横摇,并且在S606,进行摄像处理。接下来,在图13中的S1301中,在新的摄像方向1504上进行用于AF的测距。在S1302中,这不是摄像的第一次执行,因此,处理进行到S1303。
在S1303中,获取关于先前的聚焦控制位置的信息。在S1304中,预测当前摄像方向1504上的聚焦控制位置的范围。
在S1304中,如图14中的流程图所示,在S1401中确定在先前摄像方向1503上的聚焦控制位置是否在预测范围内。在这种情况下,由于在先前的摄像中未进行聚焦控制位置的预测,因此处理进行到S1403。
在这种情况下,在摄像方向1504上的摄像中,如图16A所示,获取“19”作为先前摄像中的聚焦控制位置的值,但是没有获取先前摄像中的聚焦控制位置的位移量。因此,处理进行到S1411。结果,在摄像方向1504上的聚焦控制位置的预测范围被设置为使得“5”被设置为从先前摄像中采用的聚焦控制位置“19”在两个方向上的偏移量,即设置值“14”至“24”。此后,在图13的S1305中,确定在S1301中用于AF的测距是否成功。在这种特定情况下,它是成功的,并且因此处理进行到S1307。
在S1307中,将作为在摄像方向1504上的聚焦控制位置而获得的“21”与在该摄像方向1504上的聚焦控制位置的预测范围的“14”至“24”进行比较。在S1308中,确定聚焦控制位置在预测范围内,并且因此处理进行到S1309,并且在摄像方向1504上将“21”记录为聚焦控制位置。在S1310中,基于该聚焦控制位置以正常模式进行摄像。
接下来,在S1311中,由于在先前的摄像中未采用聚焦BLK,所以结束图13中的处理。
当在图6中的处理循环中处理从S607返回到S605并且开始在摄像方向1505上的摄像时,则在S1301中,进行在该摄像方向上的用于AF的测距。在S1302中的确定中,确定这不是摄像的第一次执行,因此,处理进行到S1303。在S1303中,获取先前摄像中的聚焦控制位置。
在作为S1304的内部处理的图14的流程图中,在S1401中,确定在先前摄像方向上的聚焦控制位置是否在预测范围内。在这种特定情况下,它在预测范围内,因此处理进行到S1403。在S1403中,确定是否可以获取在先前摄像中在摄像方向1504上的聚焦控制位置及其位移量。在这种情况下,如图16A所示,可以进行获取,并且因此处理进行到S1404。
此后,在S1404至S1410中,与根据第一实施例的图8中的S802至S808一样,根据在先前摄像中的聚焦控制位置及其位移量进行计算,并且将“21”至“24”设置为聚焦控制位置的预测范围。
接下来,在图13的S1305中,确定S1301中的测距是否成功。在该特定情况下是成功的,并且在S1307和S1308中,将基于测距的聚焦控制位置与预测范围进行比较,并且判断比较结果。
之后,如在摄像方向1504的情况下一样,在S1309中记录聚焦控制位置,然后在S1310中以正常模式进行摄像。在S1311中,由于摄像的前次执行也以正常模式进行,因此结束图13中的处理。
此后,在图6中从S605到S607的处理循环中,反复进行摄像以在1506至1509的各摄像方向上进行摄像。因此,如图16B所示,在聚焦控制位置处进行摄像。
接下来,在沿摄像方向1510的摄像中,通过进行图13中的S1304中的处理,基于在先前摄像中的摄像方向1509上的聚焦控制位置及其位移量来计算摄像方向1510上的聚焦控制位置的预测范围“23”至“25”。此后,在S1305中,尽管该位置偏离了在图15中作为检查目标给出的壁面1502的虚线1519,但是针对凹部1518的测距是成功的,因此处理进行到S1307,并在S1308中,作出判断。在这种情况下,基于在摄像方向1510上的测距的聚焦控制位置是“20”,因此,如图16B所示,它处于在S1304中获得的预测范围“23”至“25”之外。结果,处理进行到S1306。在S1306中,基于在图14的S1410中预先设置的聚焦BLK摄像参数来进行聚焦BLK摄像。此后,结束图13中的处理。
经由来自图6中的S607的循环路径,开始在摄像方向1511上的摄像。
在图13的S1301中,在摄像方向1511上进行测距。此后,处理经由S1302进行到S1303。
在S1303中,获取关于先前摄像中的先前聚焦控制位置的信息,并且在S1304中,计算当前摄像中的聚焦控制位置的预测范围。
在图14的流程图中,它是S1304的内部处理。在S1401中,确定基于在前摄像中的测距的聚焦控制位置是否在预测范围之外。在沿摄像方向1510的摄像中,其在范围之外,因此处理进行到S1402。在S1402中,将先前摄像方向1510上的聚焦控制位置的预测范围的中值设置为摄像方向1510上的临时聚焦控制位置。随后,对聚焦控制位置的位移量进行重新计算。图16C示出了该状态。将聚焦控制位置从基于测距的值“20”改变为基于S1402中的计算的“24”,并且将聚焦控制位置的位移量从“-4”改变为“0”。
在S1404及其后的步骤中,基于先前摄像中改变后的聚焦控制位置及其位移量,来进行对在S1511中的聚焦控制位置的预测范围的计算。如图16D所示,设置数值“23”到“25”。
接下来,在图13的S1305中,因为测距成功,所以进行S1307和S1308中的处理。在这种情况下,基于在摄像方向1511上的测距的聚焦控制位置是在预测范围内,因此在S1310中以正常模式进行摄像。
在S1311中,因为在先前的摄像中进行了聚焦BLK摄像,所以处理进行到S1312,并且开始上述图9中的处理。即如图16D所示,在S905和S906中,选择“24”作为在摄像方向1510上使用的聚焦控制位置的值,并且在S1313中,选择对应的图像。因此,结束图13中的处理。
此后,重复图6中从S605到S607的处理,以进行如图16E所示的针对摄像方向1512到1517的处理,以完成用于检查壁面图像的摄像。
如上所述,在第二实施例中,即使在用于AF的测距成功的情况下,也核查聚焦控制位置的变化,并且确定是否实际实现了在作为检查目标给出的壁面上的聚焦。因此,根据第二实施例,与第一实施例的情况相比,可以获得可靠性更高的拍摄图像。
<其他实施方式>
本发明还可以被实现为使得,用于实现上述实施例的一个或更多个功能的程序经由网络或存储介质被提供给系统或装置,并且该系统或装置的计算机中的一个或更多个处理器读取并执行该程序。本发明还可以通过实现一个或更多个功能的电路(例如,ASIC)来实现。
上述实施例仅是本发明的实现的示例,并且应当理解,这些示例不限制本发明的技术范围。即在不脱离本发明的技术原理或主要特征的情况下,可以以各种形式来实施本发明。
根据上述实施例,即使在AF不能正常工作的情况下,也可以继续摄像,而无需由于聚焦失败而再次进行摄像。
本发明不限于上述实施例,而是在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。为了公开本发明的范围,附上以下权利要求。
本申请要求基于2017年8月7日提交的日本专利申请2017-152574号的优先权,其全部内容通过引用合并于此。

Claims (20)

1.一种信息处理装置,其包括:
控制部,其被构造为控制摄像部,所述摄像部被构造为获取拍摄图像,使得摄像方向相对于作为摄像目标给出的被摄体依次移动,并且在各个移动后的摄像方向上进行摄像,从而获取被摄体的各个区部的图像;
所述控制部控制所述摄像部进行操作,所述操作包括:
记录被摄体的区部中的各个区部的聚焦控制位置,被摄体的图像由所述摄像部在各摄像方向上进行拍摄;
在对尚未拍摄图像的区部拍摄图像时通过所述摄像部的自动聚焦功能的聚焦操作不成功的情况下,基于记录的聚焦控制位置,针对尚未拍摄图像的区部,设置聚焦控制位置的可允许范围;以及
对尚未拍摄图像的区部进行聚焦包围摄像,从而在设置的可允许范围内改变聚焦控制位置的同时拍摄所述区部的多个图像。
2.一种信息处理装置,其包括:
控制部,其被构造为控制摄像部,所述摄像部被构造为获取拍摄图像,使得摄像方向相对于作为摄像目标给出的被摄体依次移动,并且在各个移动后的摄像方向上进行摄像,从而获取被摄体的各个区部的图像;
所述摄像部在各个移动后的摄像方向上进行摄像,从而获取被摄体的各个区部的拍摄图像,
所述控制部控制所述摄像部进行操作,所述操作包括:
记录被摄体的区部中的各个区部的聚焦控制位置,被摄体的图像由所述摄像部在各摄像方向上进行拍摄;
当对尚未拍摄图像的区部进行摄像时,基于记录的聚焦控制位置,针对尚未拍摄图像的区部,设置聚焦控制位置的可允许范围;
在对尚未拍摄图像的区部进行摄像时通过所述摄像部的自动聚焦功能的聚焦操作成功的情况下,与设置的聚焦控制位置的可允许范围进行比较,从而确定成功的聚焦操作是否适当;并且
在确定聚焦操作不适当的情况下,对尚未拍摄图像的区部进行聚焦包围摄像,从而在设置的可允许范围内改变聚焦控制位置的同时拍摄所述区部的多个图像。
3.根据权利要求2所述的信息处理装置,其中,
所述控制部被构造为使得,在先前拍摄区部的聚焦控制位置处于针对先前拍摄区部设置的聚焦控制位置的可能范围之外的情况下,控制部将可能范围的中值设置为临时聚焦控制位置,并使用临时聚焦控制位置针对尚未拍摄图像的区部设置可能的范围。
4.根据权利要求1所述的信息处理装置,其中,
所述控制部被构造为使得,在当在进行了聚焦包围摄像之后在移动后的摄像方向上对尚未拍摄图像的区部进行摄像时通过自动聚焦功能的聚焦操作成功的情况下,所述控制部基于记录的聚焦控制位置和聚焦操作成功的区部的聚焦控制位置,从在聚焦包围摄像中获取的多个拍摄图像中选择特定图像。
5.根据权利要求4所述的信息处理装置,其中,
所述控制部被构造为使得,所述控制部基于在聚焦操作成功的区部的聚焦控制位置与当进行聚焦包围摄像时记录的多个聚焦控制位置之间的中间位置,来选择特定图像。
6.根据权利要求5所述的信息处理装置,其中,
所述控制部被构造为使得,在存在多个中间位置的情况下,所述控制部基于与聚焦操作成功的区部的聚焦控制位置更接近的聚焦控制位置来选择特定图像。
7.根据权利要求4所述的信息处理装置,其中,
所述控制部从在聚焦包围摄像中获取的多个拍摄图像中删除在选择中未被选择的图像。
8.根据权利要求1所述的信息处理装置,其中,
所述控制部基于已拍摄图像的各个区部的聚焦控制位置,提取聚焦控制位置的位移量,并基于所述位移量设置聚焦控制位置的可能范围。
9.根据权利要求8所述的信息处理装置,其中,
所述控制部被构造为使得,
在前一摄像中拍摄了图像的区部的位移量的绝对值不超过预定值的情况下,所述控制部相对于在前一摄像中拍摄了图像的区部所采用的聚焦控制位置,针对尚未拍摄图像的区部,在聚焦方向的两个方向上,设置在聚焦包围摄像中的聚焦控制位置的偏移方向,
在前一摄像中拍摄了图像的区部的位移量的绝对值超过预定值的情况下,所述控制部在与前一次拍摄了图像的区部所采用的聚焦控制位置的改变方向相同的方向上,针对尚未拍摄图像的区部,设置在聚焦包围摄像中的聚焦控制位置的偏移方向。
10.根据权利要求9所述的信息处理装置,其中,
所述控制部针对尚未拍摄图像的区部,将在聚焦包围摄像中的聚焦控制位置的偏移量设置为等于针对前一次拍摄了图像的区部的位移量的绝对值加预定值。
11.根据权利要求9所述的信息处理装置,其中,
所述控制部被构造为使得,在位移量的绝对值已经通过了预定的极值的情况下,所述控制部在与前一次拍摄了图像的区部的聚焦控制位置的改变方向相同的方向上,针对尚未拍摄图像的区部,设置在聚焦包围摄像中的聚焦控制位置的偏移方向。
12.根据权利要求8所述的信息处理装置,其中,
所述控制部被构造为使得,在无法获取已经拍摄了图像的各个区部的聚焦控制位置的情况下,所述控制部相对于针对在前一次拍摄了图像的区部采用的聚焦控制位置,针对尚未拍摄图像的区部,在聚焦方向的两个方向上,设置在聚焦包围摄像中的聚焦控制位置的偏移方向,并且针对尚未拍摄图像的区部,将在聚焦包围摄像中的聚焦控制位置的偏移量设置为预定值。
13.一种摄像系统,包括图像处理装置、摄像装置和相机平台装置,
所述图像处理装置包括:控制部,其被构造为控制摄像部,所述摄像部被构造为获取拍摄图像,使得摄像方向相对于作为摄像目标给出的被摄体依次移动,并且在各个移动后的摄像方向上进行摄像,从而获取被摄体的各个区部的图像,
所述控制部控制所述摄像部进行操作,所述操作包括:
记录被摄体的区部中的各个区部的聚焦控制位置,被摄体的图像由所述摄像部在各摄像方向上进行拍摄;
在对尚未拍摄图像的区部拍摄图像时通过所述摄像部的自动聚焦功能的聚焦操作不成功的情况下,基于记录的聚焦控制位置,针对尚未拍摄图像的区部,设置聚焦控制位置的可允许范围;以及
对尚未拍摄图像的区部进行聚焦包围摄像,从而在设置的可允许范围内改变聚焦控制位置的同时拍摄所述区部的多个图像,
摄像装置包括所述摄像部,
相机平台装置包括移动部,移动部被构造为移动所述摄像部。
14.根据权利要求13所述的摄像系统,其中,
移动部基于预定设置进行横摇驱动和纵摇驱动。
15.根据权利要求13所述的摄像系统,其中,
所述控制部被构造为使得,在当在进行了聚焦包围摄像之后在移动后的摄像方向上对尚未拍摄图像的区部进行摄像时通过自动聚焦功能的聚焦操作成功的情况下,所述控制部基于记录的聚焦控制位置和聚焦操作成功的区部的聚焦控制位置,从在聚焦包围摄像中获取的多个拍摄图像中选择特定图像。
16.根据权利要求15所述的摄像系统,其中,
所述控制部被构造为使得,所述控制部基于在聚焦操作成功的区部的聚焦控制位置与当进行聚焦包围摄像时记录的多个聚焦控制位置之间的中间位置,来选择特定图像。
17.根据权利要求16所述的摄像系统,其中,
所述控制部被构造为使得,在存在多个中间位置的情况下,所述控制部基于与聚焦操作成功的区部的聚焦控制位置更接近的聚焦控制位置来选择特定图像。
18.一种摄像系统的控制方法,包括:
相对于作为摄像目标给出的被摄体依次移动摄像部的摄像方向;
通过控制具有自动聚焦功能的所述摄像部在各个移动后的摄像方向上拍摄图像,来获取被摄体的各个区部的拍摄图像;
记录被摄体的区部中的各个区部的聚焦控制位置,被摄体的图像由所述摄像部在各摄像方向上进行拍摄;
在对尚未拍摄图像的区部拍摄图像时通过所述摄像部的自动聚焦功能的聚焦操作不成功的情况下,基于记录的聚焦控制位置,针对尚未拍摄图像的区部,设置聚焦控制位置的可允许范围;以及
控制所述摄像部对尚未拍摄图像的区部进行聚焦包围摄像,从而在设置的可允许范围内改变聚焦控制位置的同时拍摄所述区部的多个图像。
19.一种控制摄像系统的方法,包括:
相对于作为摄像目标给出的被摄体依次移动摄像部的摄像方向;
通过控制具有自动聚焦功能的所述摄像部在各个移动后的摄像方向上拍摄图像,来获取被摄体的各个区部的拍摄图像;
记录被摄体的区部中的各个区部的聚焦控制位置,被摄体的图像由所述摄像部在各摄像方向上进行拍摄;
当对尚未拍摄图像的区部进行摄像时,基于记录的聚焦控制位置,针对尚未拍摄图像的区部,设置聚焦控制位置的可允许范围;
在当对尚未拍摄图像的区部进行摄像时通过摄像部的自动聚焦功能的聚焦操作成功的情况下,确定成功的聚焦操作是否适当;以及
在确定聚焦操作不适当的情况下,控制摄像部对尚未拍摄图像的区部进行聚焦包围摄像,从而在设置的可允许范围内改变聚焦控制位置的同时拍摄所述区部的多个图像。
20.一种程序,用于使计算机用作根据权利要求1所述的信息处理装置的控制部。
CN201880051364.9A 2017-08-07 2018-07-25 信息处理装置、摄像系统、摄像系统的控制方法及存储介质 Active CN110998404B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017152574A JP6891071B2 (ja) 2017-08-07 2017-08-07 情報処理装置、撮像システム、撮像方法及びプログラム
JP2017-152574 2017-08-07
PCT/JP2018/027883 WO2019031244A1 (ja) 2017-08-07 2018-07-25 情報処理装置、撮影システム、撮影システムの制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110998404A true CN110998404A (zh) 2020-04-10
CN110998404B CN110998404B (zh) 2022-06-28

Family

ID=65272360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051364.9A Active CN110998404B (zh) 2017-08-07 2018-07-25 信息处理装置、摄像系统、摄像系统的控制方法及存储介质

Country Status (5)

Country Link
US (1) US11381733B2 (zh)
EP (1) EP3667385A4 (zh)
JP (1) JP6891071B2 (zh)
CN (1) CN110998404B (zh)
WO (1) WO2019031244A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7393245B2 (ja) 2020-02-26 2023-12-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN112099217B (zh) * 2020-08-18 2022-10-28 宁波永新光学股份有限公司 一种显微镜自动对焦方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126890A1 (en) * 1996-05-28 2002-09-12 Tatsushi Katayama Adaptive image combination according to image sensing condition
CN1977526A (zh) * 2004-06-30 2007-06-06 伊斯曼柯达公司 图像捕捉方法和图像捕捉设备
JP2008172676A (ja) * 2007-01-15 2008-07-24 Fujifilm Corp 画像合成装置、画像合成方法
JP2010032646A (ja) * 2008-07-25 2010-02-12 Canon Inc 焦点検出装置
JP2010107862A (ja) * 2008-10-31 2010-05-13 Hoya Corp Afブラケット撮影方法及び装置
CN102135659A (zh) * 2010-01-21 2011-07-27 佳能株式会社 焦点检测设备和焦点检测方法
CN103688530A (zh) * 2011-05-17 2014-03-26 沃思测量技术股份有限公司 用于生成和评估图像的方法
CN103888645A (zh) * 2012-12-21 2014-06-25 佳能株式会社 摄像设备及用于控制摄像设备的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4164327B2 (ja) * 2002-10-03 2008-10-15 キヤノン株式会社 撮像装置
JP2004144957A (ja) * 2002-10-24 2004-05-20 Ricoh Co Ltd カメラ
JP4641424B2 (ja) 2005-02-02 2011-03-02 キヤノン株式会社 撮像装置
JP2008165142A (ja) * 2007-01-05 2008-07-17 Elmo Co Ltd 撮影装置および焦点調整方法
US8154647B2 (en) * 2008-03-05 2012-04-10 Applied Minds, Llc Automated extended depth of field imaging apparatus and method
JP2011081186A (ja) 2009-10-07 2011-04-21 Olympus Imaging Corp 撮像装置
JP5656507B2 (ja) 2010-08-19 2015-01-21 キヤノン株式会社 撮影システム
JP2013210572A (ja) * 2012-03-30 2013-10-10 Nikon Corp 撮像装置および撮像装置の制御プログラム
JP6074926B2 (ja) * 2012-07-05 2017-02-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US20160323490A1 (en) * 2015-04-28 2016-11-03 Microsoft Technology Licensing, Llc Extensible, automatically-selected computational photography scenarios
CN107735643B (zh) * 2015-06-29 2020-01-21 富士胶片株式会社 摄像装置及摄像方法
CN107710727B (zh) * 2015-06-30 2020-03-24 富士胶片株式会社 移动式摄像装置及移动式摄像方法
JP6507268B2 (ja) * 2016-01-22 2019-04-24 富士フイルム株式会社 撮影支援装置及び撮影支援方法
JP2017152574A (ja) 2016-02-25 2017-08-31 京セラ株式会社 光電変換膜および光電変換装置
WO2017149851A1 (ja) * 2016-02-29 2017-09-08 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP6582153B2 (ja) * 2017-03-15 2019-09-25 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126890A1 (en) * 1996-05-28 2002-09-12 Tatsushi Katayama Adaptive image combination according to image sensing condition
CN1977526A (zh) * 2004-06-30 2007-06-06 伊斯曼柯达公司 图像捕捉方法和图像捕捉设备
JP2008172676A (ja) * 2007-01-15 2008-07-24 Fujifilm Corp 画像合成装置、画像合成方法
JP2010032646A (ja) * 2008-07-25 2010-02-12 Canon Inc 焦点検出装置
JP2010107862A (ja) * 2008-10-31 2010-05-13 Hoya Corp Afブラケット撮影方法及び装置
CN102135659A (zh) * 2010-01-21 2011-07-27 佳能株式会社 焦点检测设备和焦点检测方法
CN103688530A (zh) * 2011-05-17 2014-03-26 沃思测量技术股份有限公司 用于生成和评估图像的方法
CN103888645A (zh) * 2012-12-21 2014-06-25 佳能株式会社 摄像设备及用于控制摄像设备的方法

Also Published As

Publication number Publication date
JP2019032405A (ja) 2019-02-28
CN110998404B (zh) 2022-06-28
EP3667385A1 (en) 2020-06-17
EP3667385A4 (en) 2021-06-23
WO2019031244A1 (ja) 2019-02-14
US20200236294A1 (en) 2020-07-23
JP6891071B2 (ja) 2021-06-18
US11381733B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
EP3648450B1 (en) Imaging apparatus
KR101503333B1 (ko) 촬상장치 및 그 제어 방법
US11156823B2 (en) Digital microscope apparatus, method of searching for in-focus position thereof, and program
CN110998404B (zh) 信息处理装置、摄像系统、摄像系统的控制方法及存储介质
JP5936358B2 (ja) 画像表示装置、画像表示方法、撮像装置およびその制御方法、プログラムおよびそれを記憶する記憶媒体
JP6635764B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2017129788A (ja) 焦点検出装置及び方法、及び撮像装置
JP6851854B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
US8218961B2 (en) Autofocus system
JP6431429B2 (ja) 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP6140945B2 (ja) 焦点調節装置及び撮像装置
JP2021027584A (ja) 画像処理装置、画像処理方法およびプログラム
JP5454392B2 (ja) 測距装置及び撮像装置
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
JP6501536B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20200007780A1 (en) Apparatus and method
JP6223502B2 (ja) 画像処理装置、画像処理方法、プログラム、それを記憶した記憶媒体
JP2023162945A (ja) 情報処理装置、制御方法、プログラム及びシステム
WO2024024375A1 (ja) 撮像装置、撮像方法及び撮像プログラム
JP2019216398A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
US20230276131A1 (en) Image capture apparatus and control method
TWI813168B (zh) 應用於可旋轉變焦攝像裝置的自動追蹤方法及追蹤系統
WO2021020358A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2016080738A (ja) 撮像装置、自動合焦方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant