CN114902131A - 摄像设备及其控制方法、程序和存储介质 - Google Patents

摄像设备及其控制方法、程序和存储介质 Download PDF

Info

Publication number
CN114902131A
CN114902131A CN202080090370.2A CN202080090370A CN114902131A CN 114902131 A CN114902131 A CN 114902131A CN 202080090370 A CN202080090370 A CN 202080090370A CN 114902131 A CN114902131 A CN 114902131A
Authority
CN
China
Prior art keywords
image
image pickup
pickup apparatus
rotation amount
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080090370.2A
Other languages
English (en)
Inventor
阿部秀俊
若松伸茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN114902131A publication Critical patent/CN114902131A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明使得能够在通过使用平摇/俯仰功能进行图像模糊校正操作的摄像设备中尽可能地降低电力消耗。该摄像设备设置有:摄像单元,用于拍摄被摄体图像;转动单元,其能够使所述摄像单元转动;第一计算单元,用于计算用于校正所述摄像设备的抖动所引起的图像模糊的所述转动单元的第一转动量;第二计算单元,用于计算用于从所述摄像单元所拍摄到的图像中搜索被摄体的所述转动单元的第二转动量;以及停止单元,用于在所述第一转动量和所述第二转动量这两者都小于分别针对所述第一转动量和所述第二转动量所设置的阈值的情况下,使所述转动单元停止。

Description

摄像设备及其控制方法、程序和存储介质
技术领域
本发明涉及包括平摇(pan)和俯仰(tilt)机构的摄像设备。
背景技术
近年来,具有平摇和俯仰功能的照相机越来越小,从而使得更容易在照相机附接至身体(可穿戴式)的状态下或手持的状态下拍摄图像。在照相机附接至身体的状态下或手持的状态下拍摄图像往往导致图像模糊。这引起了图像模糊校正技术的发展,该图像模糊校正技术驱动马达以使平摇和俯仰机构在抵消图像模糊的方向上移动。在诸如监控照相机的情况等的存在稳定的电力供给的情况下,这不是问题。然而,在诸如电池驱动的照相机的情况等的总电力容量有限的情况下,在始终驱动平摇和俯仰功能的同时长时间运行系统成为问题。
专利文献1中的技术是用于操作配备有运动传感器的可穿戴式生活记录(lifelogging)自动摄像设备的方法,该方法包括响应于来自运动传感器的信号而转变到低电力消耗状态。利用该技术,该设备在不需要自动摄像时适当地转变到低电力消耗状态,从而使得能够长时间进行自动摄像。
在专利文献2中,描述了包括使用平摇和俯仰机构来搜索被摄体的摄像方法。在该摄像方法中描述的技术包括基于针对各区域所计算出的被摄体的重要度级别使用用于改变拍摄图像的视角的中心位置的改变单元来改变拍摄图像的视角的中心位置以搜索被摄体。利用该技术,由于以高效的方式搜索被摄体,因此可以减少搜索时间和搜索所消耗的电力。这使得能够长时间进行自动摄像。
现有技术文献
专利文献
专利文献1:日本特表2016-536868
专利文献2:日本特开2018-50146
发明内容
发明要解决的问题
然而,存在如下的问题:在平摇和俯仰照相机处于不需要图像模糊校正的状态时(诸如在处于低电力消耗状态时或在没有进行搜索时等),连续运行平摇和俯仰功能会导致大的电力消耗并且自动摄像的时间量减少。
本发明是有鉴于上述问题而做出的,并且旨在使用平摇和俯仰功能进行图像模糊校正操作的摄像设备中大幅降低电力消耗。
用于解决问题的方案
根据本发明的一种摄像设备,包括:摄像部件,用于拍摄被摄体图像;转动部件,其能够使所述摄像部件转动;第一计算部件,用于计算所述转动部件的第一转动量,以校正基于所述摄像设备的抖动的图像模糊;第二计算部件,用于计算所述转动部件的第二转动量,以从所述摄像部件所拍摄到的图像中搜索被摄体;以及停止部件,用于在所述第一转动量或所述第二转动量小于分别针对所述第一转动量和所述第二转动量所设置的阈值的情况下,使所述转动部件停止。
发明的效果
根据本发明,可以在使用平摇和俯仰功能进行图像模糊校正的摄像设备中大幅降低电力消耗。
通过以下结合附图所进行的说明,本发明其他特征和优点将是明显的。注意,在整个附图中,相同的附图标记表示相同或相似的组件。
附图说明
包含在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且与说明书一起用于解释本发明的原理。
图1A是示意性示出根据本发明实施例的摄像设备的图。
图1B是示意性示出根据本发明实施例的摄像设备的图。
图2是示出实施例的摄像设备的图。
图3A是用于说明根据实施例的摄像设备的操作的流程图。
图3B是用于说明根据实施例的摄像设备的操作的流程图。
图4是示出用于计算摄像设备的绝对角度并计算图像模糊校正量的框式结构的图。
图5A是示出摄像设备和坐标轴之间的关系的图。
图5B是示出摄像设备和坐标轴之间的关系的图。
图6A是用于说明针对摄像设备的空间坐标中的角度区(angle region)的区域分割(area division)的图。
图6B是用于说明针对摄像设备的空间坐标中的角度区的区域分割的图。
图6C是用于说明针对摄像设备的空间坐标中的角度区的区域分割的图。
图6D是用于说明针对摄像设备的空间坐标中的角度区的区域分割的图。
图7A是用于说明拍摄图像中的区域分割的图。
图7B是用于说明拍摄图像中的区域分割的图。
图7C是用于说明拍摄图像中的区域分割的图。
图8A是用于说明拍摄图像中的区域分割的图。
图8B是用于说明拍摄图像中的区域分割的图。
图9是用于说明针对拍摄图像中的各区域的人物检测的图。
图10是用于说明针对拍摄图像中的各区域的物体检测的图。
图11是用于说明针对拍摄图像中的各区域的场景检测的图。
图12A是用于说明语音检测的流程图。
图12B是用于说明语音检测的流程图。
图13A是用于说明拍摄图像中的运动检测的图。
图13B是用于说明拍摄图像中的运动检测的图。
图13C是用于说明拍摄图像中的运动检测的图。
图14是用于说明针对各区域的拍摄图像数量的管理的图。
图15是用于说明针对经个人认证登记的各被摄体的拍摄图像数量的管理的图。
图16是用于说明针对经物体识别登记的各被摄体的拍摄图像数量的管理的图。
图17是用于说明针对各场景的拍摄图像数量的管理的图。
图18是用于说明使用搜索经过时间的计算的流程图。
图19A是用于说明针对各场景的搜索目标角度计算的图。
图19B是用于说明针对各场景的搜索目标角度计算的图。
图20A是示出由照相机检测到的被摄体的图像中的位置的示例、以及设置用于跟踪和搜索的阈值及第二转动校正量的方法的图。
图20B是示出由照相机检测到的被摄体的图像中的位置的示例、以及设置用于跟踪和搜索的阈值及第二转动校正量的方法的图。
图21是示出由照相机检测到的振动量的时间序列变化的示例、以及设置用于图像模糊校正的第一阈值和第二阈值及第一转动校正量的方法的图。
具体实施方式
在下文,将参考附图来详细说明实施例。注意,以下实施例并不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征,但不局限于需要所有这些特征的发明,并且可以适当地组合多个这样的特征。此外,在附图中,向相同或相似的结构赋予相同的附图标记,并且省略了其冗余说明。
照相机的结构
图1A和图1B是示意性示出根据本发明实施例的摄像设备的图。
图1A所示的摄像设备101设置有能够操作电源开关的操作构件(以下称为电源按钮,但也可以是对触摸面板的诸如轻击、轻拂或滑动等的操作)。作为包括用于拍摄被摄体图像的摄像透镜组和图像传感器的壳体的镜筒102附接到摄像设备101,并且设置有使得镜筒102能够相对于固定部103转动的转动机构。俯仰转动单元104是能够使镜筒102在图1B所示的纵摇(pitch)方向上转动的马达驱动机构,并且平摇转动单元105是能够使镜筒102在横摆(yaw)方向上转动的马达驱动机构。以这种方式,镜筒102能够绕一个或多于一个轴转动。注意,在图1B中,轴是在原点是固定部103的位置的情况下定义的。在摄像设备101的固定部103上安装有角速度计106和加速度计107。基于角速度计106和加速度计107来检测摄像设备101的振动,并且基于检测到的抖动角度来转动地驱动俯仰转动单元和平摇转动单元。利用该结构,校正了作为可移动部的镜筒102中的抖动并且校正了倾斜。
图2是示出本实施例的摄像设备的结构的框图。
如图2所示,控制单元215包括处理器(例如,CPU、GPU、微处理器或MPU等)和存储器(例如,DRAM或SRAM等)。利用该结构,可以执行各种处理以控制摄像设备101的各块,并且可以控制各块之间的数据传送。非易失性存储器(EEPROM)216是电可擦除且可记录的存储器,并且存储控制单元215的操作所用的常数和程序等。
如图2所示,变焦单元201包括用于进行变倍的变焦透镜。变焦驱动控制单元202控制变焦单元201的驱动。聚焦单元203包括用于进行焦点调整的透镜。聚焦驱动控制单元204控制聚焦单元203的驱动。
摄像单元205包括图像传感器和A/D转换器。图像传感器接收通过透镜组入射的光,并且将与同接收光量相对应的电荷有关的信息作为模拟图像信号输出到图像处理单元206。图像处理单元206是安装有多个算术和逻辑单元(ALU)的算术电路,并且对A/D转换之后输出的数字图像数据应用诸如失真校正、白平衡调整和颜色插值处理等的图像处理,并输出处理后的数字图像数据。从图像处理单元206输出的数字图像数据被转换成诸如JPEG格式等的记录格式,然后由图像记录单元207记录在诸如非易失性存储器216等的记录介质上。此外,从图像处理单元206输出的数字图像数据被转换成能够在外部显示并发送到外部显示设备的格式。
镜筒转动驱动单元212驱动俯仰转动单元104和平摇转动单元105,从而驱动镜筒102在俯仰方向和平摇方向上转动所需的量。
设备抖动检测单元208例如安装有用于检测摄像设备101的三轴方向上的角速度的角速度计(陀螺仪传感器)106和用于检测该设备的三轴方向上的加速度的加速度计(加速度传感器)107。设备抖动检测单元208基于检测到的信号来计算设备的转动角度和设备的偏移量等。
设备移动检测单元209使用来自全球定位系统(GPS)的位置信息或使用来自加速度传感器107的输出来检测摄像设备101的移动。GPS可以设置在摄像设备101上,或者可以将由外部GPS检测设备检测到的位置信息发送到摄像设备101。
摄像设备101的偏移量由设备抖动检测单元208来检测。然而,由于加速度传感器的特性,难以检测大的移动。因此,小范围内的移动由设备抖动检测单元208来检测,并且大的移动由设备移动检测单元209来检测。
语音输入单元210从摄像设备101上所设置的麦克风获取来自摄像设备101周边的音频信号。麦克风可以设置在摄像设备101上,或者可以将由外部麦克风设备检测到的音频信号发送到摄像设备101。
操作单元211用于操作摄像设备101,并且设置有电源按钮和用于改变照相机的设置的按钮。当操作电源按钮时,根据意图用途向整个系统供电,并且激活照相机。通信单元213经由有线或无线通信与未示出的外部装置(智能电话等)进行通信。
摄像设备的操作
图3A和图3B是用于说明根据本实施例的摄像设备的操作的流程图。
图3A和图3B所示的操作通过接通摄像设备101的主电源而开始,并且进行自动被摄体搜索或自动摄像。此外,可以响应于通过来自语音输入单元210的语音输入的用户操作命令和通过经由通信单元213确认外部装置(未示出)上的构图所输入的用户指示,进行手动的平摇和俯仰驱动、跟踪和搜索所指示的被摄体以及在所指示的定时处的手动摄像。
当对操作单元211的电源按钮进行操作时,首先,在步骤S301中,控制单元215进行各种初始设置(例如,摄像或自动搜索)。当初始设置完成并且可以从图像传感器获取图像信息时,处理进入步骤S302。
在步骤S302中,图像处理单元206对由摄像单元205捕获的图像信号进行被摄体检测所用的图像处理。使用经处理的图像,进行人物检测、物体检测和其他类似的被摄体检测。在人物检测的情况下,检测被摄体的面部或身体。在面部检测处理中,用于判断人物的面部的图案是预先确定的,并且拍摄图像中所包括的与该图案一致的分区(section)可以被检测为人物的面部区。此外,可以同时计算表示该分区是被摄体的面部的确定性的可靠度。根据图像中的面部区的大小和/或与面部图案的一致程度等来计算可靠度。在物体识别的情况下,同样地可以识别与预先登记的图案一致的物体。此外,存在通过使用例如拍摄图像中的色调或饱和度的直方图的方法来提取特征被摄体的方法。关于在拍摄图像的视角中拍摄到的被摄体的图像,将从例如拍摄图像中的色调或饱和度的直方图导出的分布划分为多个分区,并且进行用于针对各分区对拍摄图像进行分类的处理。例如,针对拍摄图像生成多个颜色分量的直方图,用山状分布范围切分该图像,用属于相同分区的组合的区对拍摄图像进行分类,并且识别被摄体的图像区。针对各所识别的被摄体的图像区计算评估值,使得评估值最高的被摄体的图像区可以被判断为主被摄体区。上述方法可以用于从拍摄图像信息获得各被摄体信息。在步骤S302中获取诸如被摄体检测信息等的拍摄图像信息之后,处理进入步骤S303。
在步骤S303中,获取设备抖动检测单元208中的角速度信息,然后处理进入步骤S304。在步骤S304中,获取设备抖动检测单元208中的加速度信息,然后处理进入步骤S305。在步骤S305中,根据所检测到的加速度信息和角速度信息计算摄像设备101的绝对角度,然后处理进入步骤S306。
在步骤S306中,计算图像模糊校正量,该图像模糊校正量用于防止或最小化在摄像设备101处于手持或附接到人物的身体的状态下引起的图像模糊。
现在将参考图4所示的框图以及图5A和5B所示的图来说明步骤S305中的计算摄像设备的绝对角度的方法和步骤S306中的计算图像模糊校正量的方法。
如图1A所示,角速度计106和加速度计107布置在摄像设备101的固定部103上。因此,由于输出了与固定部103的位置处的角速度和加速度有关的信息,因此基于这种信息所计算出的摄像设备的绝对角度也被计算为固定部103的位置处的绝对角度。因此,为了校正镜筒102的转动抖动(图像传感器的抖动),基于固定部103的位置处的角速度信息来计算校正角度,由此计算出图像模糊校正量。然后,基于图像模糊校正量驱动俯仰转动单元104和平摇转动单元105来校正模糊。
图4是示出用于计算摄像设备的绝对角度并计算图像模糊校正量的框式结构的图。
以下将说明计算摄像设备的绝对角度的方法。
将角速度计106的输出(纵摇(pitch)方向、横摆方向和侧倾(roll)方向)和加速度计107的输出(X轴、Y轴和Z轴)分别输入到纵摇绝对角度计算单元401、横摆绝对角度计算单元402和侧倾绝对角度计算单元403。然后,计算纵摇方向、横摆方向和侧倾方向上的各个绝对角度,由此计算角速度计106和加速度计107的位置处的绝对角度(换句话说,固定部103处的照相机绝对角度)。
首先,使用重力加速度,可以根据加速度计107的各轴的输出之间的关系来计算摄像设备在侧倾方向、纵摇方向和横摆方向上的绝对角度,由此计算加速度运算纵摇绝对角度、加速度运算横摆绝对角度和加速度运算侧倾绝对角度。然而,仅在设备保持静止并且不受来自外部的加速度影响的情况下(换句话说,仅在重力加速度在加速度计所检测到的加速度中占主导的情况下),才可以准确地检测倾斜(tilting)角度。例如,考虑由操作者在行走期间用手把持照相机所进行的拍摄操作、在照相机固定地附接到人体的一部分的状态下的拍摄操作、或者在照相机附接到诸如汽车或摩托车等的运载工具的状态下的拍摄操作。在这些情况下,除重力加速度以外的加速度的影响变大。因此,难以进行准确的绝对角度计算。此外,在仅通过角速度计106估计照相机角度的情况下,也可以通过角速度输出的积分计算来估计姿势和角度,但由于因积分引起的误差也会累积,因此也难以进行准确的绝对角度运算。
因此,去除没有被角速度计106和加速度计107适当处理的噪声区,并且使用传感器融合来进行信号合成以计算绝对角度。例如使用卡尔曼滤波器或互补滤波器来进行传感器融合。去除对角速度计106的积分误差影响最大的低频噪声,并且去除对由加速度计107中的干扰引起的运算误差影响最大的高频噪声。然后,将信号进行合成。以这种方式,可以在去除了噪声的情况下准确地计算绝对角度。
因此,基于来自角速度计106的陀螺仪纵摇角速度和加速度运算纵摇绝对角度的传感器融合来进行纵摇绝对角度计算401,由此运算出纵摇绝对角度。此外,基于来自角速度计106的陀螺仪横摆角速度和加速度运算横摆绝对角度的传感器融合来进行横摆绝对角度计算402,由此计算出横摆绝对角度。此外,基于来自角速度计106的陀螺仪侧倾角速度和加速度运算侧倾绝对角度的传感器融合来进行侧倾绝对角度计算403,由此计算出侧倾绝对角度。
此外,在从加速度计107无法检测到摄像设备的绝对角度所基于的轴(例如,在图5B中的Y方向与重力方向完全一致的情况下的、作为绕Y轴的转动所使用的轴的横摆转动轴)中,仅基于角速度计106来计算绝对角度。将在判断为能够根据摄像设备的角度变化计算绝对角度的情况下所获得的最后一个绝对角度设置为开始,并且在不能计算绝对角度的时间段中使用角速度积分来计算绝对角度。根据上述方法能够计算摄像设备的绝对角度。
接着,将说明计算图像模糊校正量的方法。
由于能够使用上述的摄像设备的绝对角度计算方法来计算摄像设备的绝对角度,因此可以通过基于表示绝对角度的信号进行俯仰转动单元104和平摇转动单元105的旋转驱动来进行图像模糊校正。然而,在基于摄像设备的绝对角度进行图像模糊校正控制的情况下,进行用以连续维持相同姿势的控制。这产生了诸如在操作者在移动的同时拍摄图像时构图没有改变或者不能进行超出校正单元的可移动端的图像模糊校正控制等的问题。因此,最好在不对低频分量进行模糊校正的情况下仅对高频分量进行图像模糊校正控制。在图像模糊校正量计算中,由于不进行针对低频分量的模糊校正控制,因此仅使用角速度计106来计算校正量。
角速度计106的输出在其DC分量被高通滤波器(HPF)截断之后被进行积分,然后被转换成角度信号,由此计算出模糊校正角度。角速度计106布置在固定部103上,并且角速度计106的横摆方向上的转动轴与平摇转动单元105的转动轴一致。因此,平摇模糊校正角度计算单元405通过使用HPF和积分对从角速度计106输出的横摆角速度进行角度转换来计算平摇方向(横摆方向)上的模糊校正角度,并且转动地驱动平摇转动单元105。以这种方式,进行平摇方向上的模糊校正。关于俯仰方向,由于角速度计106布置在固定部103上,因此用以进行俯仰方向上的模糊校正的控制根据平摇转动单元105的转动角度而变化。假定在角速度计106的位置处(换句话说,在固定部103的位置处)能够检测到如图4(b)所示的所定义的轴方向上的角速度。在平摇转动处于正位置(normal position)(图5A,在X轴始终位于与光轴垂直的方向上时)的情况下,直接计算由纵摇模糊校正角度计算单元406计算出的纵摇模糊校正角度作为俯仰模糊校正角度。此外,在平摇转动角度是从正位置转动了90度的角度(图5B,在Z轴始终位于与光轴垂直的方向上时)的情况下,直接计算由侧倾模糊校正角度计算单元407计算出的侧倾模糊校正角度作为俯仰模糊校正角度。在这两个情况之间,基于平摇转动角度,根据纵摇模糊校正角度和侧倾模糊校正角度来计算平摇角度转动位置处的俯仰模糊校正角度。可以通过以下的式(1)计算与平摇角度转动位置相对应的俯仰模糊校正角度。
θtl=θpi×cosθap+θri×sinθap...(1)
(θtl:俯仰模糊校正角度,θpi:纵摇模糊校正角度,θri:侧倾模糊校正角度,以及θap:平摇转动角度)
以这种方式,俯仰模糊校正角度由俯仰模糊校正角度计算单元404根据平摇转动位置来计算。
在式(1)中,通过对纵摇角度和侧倾角度进行转换来计算俯仰模糊校正角度。然而,也可以通过以下方法计算俯仰模糊校正角度:根据平摇转动角度以及来自角速度计106的纵摇角速度和侧倾角速度来计算俯仰角速度,并且使用HPF和积分处理对该俯仰角速度进行角度转换。
在上述方法中,可以计算平摇模糊校正角度和俯仰模糊校正角度,并且可以通过根据各个模糊校正角度(图像模糊校正量)进行俯仰转动单元104和平摇转动单元105的转动驱动,来进行图像模糊校正。
此外,镜筒102的绝对角度也可以根据以上获得的摄像设备的绝对角度以及俯仰转动单元104和平摇转动单元105的转动位置来计算。更具体地,可以通过在从横摆绝对角度计算单元402输出的横摆绝对角度中减去平摇转动单元105的转动角度,来计算横摆方向上的基于光轴的照相机角度(镜筒102的横摆绝对角度)。
此外,可以根据平摇转动单元105的转动位置和俯仰转动单元104的转动位置来计算被转换成固定部103的位置的、纵摇方向上的镜筒转动角度和侧倾方向上的镜筒转动角度。因此,可以通过在从纵摇绝对角度计算单元401输出的纵摇绝对角度中减去纵摇方向上的镜筒转动角度,来计算纵摇方向上的基于光轴的照相机角度(镜筒102的纵摇绝对角度)。此外,可以通过在从侧倾绝对角度计算单元403输出的侧倾绝对角度中减去侧倾方向上的镜筒转动角度,来计算侧倾方向上的基于光轴的照相机角度(镜筒102的侧倾绝对角度)。
以这种方式,如果可以计算出基于光轴的摄像设备的角度,则例如可以基于在激活摄像设备时所获得的角度来判断镜筒(照相机光轴)当前正指向哪个角度方向。
在根据上述方法计算出摄像设备的绝对角度和图像模糊校正量的情况下,处理进入步骤S307,在该步骤S307中,进行照相机移动检测。摄像设备101经由设备移动检测单元209中的GPS位置信息或加速度信息来检测是否存在大的移动。可替代地,在具有能够获取GPS位置信息的外部装置、并且摄像设备101和该外部装置能够彼此进行通信的结构中,在GPS位置信息已变化的情况下,可以通过接收从外部装置向照相机101发送的移动信息来检测摄像设备101是否已移动。
在步骤S308中,进行照相机状态判断。基于从角速度信息、加速度信息和/或GPS位置信息检测到的照相机角度或照相机移动量,来判断照相机当前处于何种振动或移动状态。例如,在利用安装在运载工具上的摄像设备101进行摄像的情况下,诸如周围风景等的被摄体信息根据移动距离而大幅变化。因此,判断设备是否处于“运载工具移动状态”(设备在安装在例如运载工具上的状态下正高速移动),并且这可以用在以下说明的自动被摄体搜索中。此外,判断照相机角度的变化是否大,并且判断摄像设备101是否处于抖动角度很小的“放置拍摄状态”。由于在设备处于“放置拍摄状态”的情况下,可以认为摄像设备101自身的角度没有变化,因此可以进行放置拍摄所用的被摄体搜索。此外,在照相机角度的变化相对较大的情况下,可以判断为“手持状态”,并且可以进行手持拍摄所用的被摄体搜索。以下说明各状态下的被摄体搜索方法。
在步骤S309中,判断在步骤S305中检测到的照相机角度是否是准确地计算出的,并且在难以检测摄像设备的绝对角度的情况下,判断为不能进行检测,并且处理进入步骤S310。
在步骤S310中,进行自动搜索处理初始化,并且进行以下所述的诸如被摄体的重要度级别的初始化等的处理。如果能够检测摄像设备的绝对角度,则处理进入步骤S311。不能检测摄像设备的绝对角度的状态包括:对照相机的冲击非常大并且根据加速度计输出的照相机角度的计算失败的情况、以及照相机角速度非常大并且超出加速度计的可检测范围的情况等。当检测到这样的状态时,判断为不能检测到摄像设备的绝对角度。
在步骤S311中,进行基于在步骤S301中的初始设置时或在步骤S310中的自动被摄体搜索的初始化时所获得的摄像设备101的绝对角度的区域分割。然后,进行基于区域分割对由摄像设备101获取到的当前图像的块分割。
参考图6A至图6D来说明区域分割。如图6A所示,对以照相机位置用作原点(将原点O设置为照相机位置)的整个球面进行区域分割。在图6A所示的示例中,在俯仰方向和平摇方向各自上以22.5度进行分割。在如图6A所示进行分割时,随着俯仰方向上的角度远离0度,水平方向上的圆周变小,并且区域区(area region)变小。因此,如图6B所示,在俯仰角度为45度或更大的情况下,水平方向上的区域区被设置为大于22.5度。
图6C和6D示出在拍摄场角(field angle)内进行区域分割的示例。轴601表示初始化时的摄像设备101的方向,并且在使用该方向角度作为基准位置的情况下进行区域分割。区域602表示拍摄图像的场角区域,并且在图6D中示出此时拍摄到的图像的示例。基于区域分割,将在场角内拍摄到的图像分割为图6D所示的图像分区603至618。
图7A、图7B和图7C示出在照相机的平摇方向被设置为在初始化时所获得的方向601时的拍摄场角内的区域分割。这些是基于在自动被摄体搜索的初始化时的摄像设备101的绝对角度的区域区。此外,在图7B中示出在俯仰角度为0度时所获得的拍摄图像,其中照相机拍摄场角由701表示并且场角中心由702表示。此外,在图7C中示出在俯仰角度为55度时所获得的拍摄图像,其中照相机拍摄场角由703表示并且场角中心由704表示。
尽管在俯仰角度为0度的情况下、由于横向(水平)方向上的角度范围差别不大因此区域之间的大小差小,但在俯仰角度为55度的情况下,横向方向上的角度范围根据角度而大幅变化。因此,在俯仰角度为45度或更大的情况下,水平方向上的区域范围被设置为大于22.5度,由此防止了区域范围随着俯仰角度变大而变得过小。
图8A和图8B示出在照相机从照相机初始位置起在平摇方向上转动了11.25度时所获得的区域区,并且在图8B中示出在俯仰角度为0度时所获得的拍摄图像,其中照相机拍摄场角由801表示并且场角中心由802表示。如图8A所示,该区域区是在水平方向上以11.25度作为中心而设置的。
上述的拍摄场角内的区域分割区是通过以下的式(2)和(3)获得的,并且计算场角内存在的所有分割区,由此如图7B或图7C或者图8B所示在图像中进行区域分割。
θay=θy+θy’...(2)
θax=θx’×cosθay...(3)
θx:平摇角度(基于照相机初始位置),
θy:俯仰角度(基于照相机初始位置),
θx’:从平摇角度位置(图像的水平方向上的中心)到区域分割中心的角度,θy’:从俯仰角度位置(图像的垂直方向上的中心)到区域分割中心的角度,
θax:从图像中的水平中心到水平方向区域分割中心的水平方向角度的长度,
θay:从图像中的垂直中心到垂直方向区域分割中心的垂直方向角度的长度,以及
照相机初始位置以0度为基准。
尽管各区域分割角度被设置为22.5度,但垂直方向上的45度至67.5度的范围内的水平区域分割角度被设置为45度。在垂直方向上的67.5度至90度的范围内,不进行水平方向上的分割,由此仅设置一个区域。
以这种方式,在步骤S311中进行区域分割之后,处理进入步骤S312,在该步骤S312中,计算被摄体的重要度级别。
在下文,例如基于诸如图6D所示的图像等的获取图像中的被摄体信息来针对各区域计算被摄体的重要度级别。关于相对于场角而言拍摄到的区小的区域(诸如图6D所示的区域603、604、605、606、607、610、611、614、615、616、617和618等),(例如,在将区域的大小假定为100%时,在区域的拍摄图像区占50%或更小的情况下)不判断或更新被摄体的重要度级别。在上述所设置的各个区域中,在各种条件下设置被摄体的重要度级别。根据例如以下项来计算被摄体的重要度级别。
与人物信息相对应的重要度级别设置
针对场角内的各区域位置,根据人物信息来设置重要度级别。
已知的面部检测技术包括使用与面部相关的知识(肤色信息、诸如眼睛、鼻子和嘴等的部位)的方法、以及使用经由以神经网络为代表的学习算法的面部检测所用的辨识装置的方法等。此外,为了提高检测准确度,通常在面部检测中使用面部检测方法的组合。根据面部检测,计算出面部的大小、面部的朝向、以及表示作为面部的确定性的可靠度等。此外,已知有一种从与所检测到的面部器官有关的信息检测面部表情的技术,使得可以检测眼睛的睁开程度或者可以检测微笑程度。更具体地,从例如面部器官(例如,眼睛、鼻子和嘴)的轮廓以及内眼角、外眼角、鼻孔、嘴角和嘴唇的位置获取检测面部表情所需的特征值。获取特征值的方法例如包括使用面部构成部分的模板来进行模板匹配的方法和使用面部构成部分的大量样本图像来进行学习算法的方法。例如,可以基于所检测到的特征值来检测微笑程度、闭眼、眨眼、面部表情估计(高兴、惊讶、愤怒、悲伤和面无表情)和手势。
此外,可以预先登记个人面部数据,并且还可以进行人物面部认证,该人物面部认证用于根据所检测到的面部来进一步检测该人物是否是特定个人。判断所检测到的被摄体是否处于与预先登记在数据库中的对象相同的状态,或者判断一致程度。从所检测到的被摄体的图像数据中提取用于将被摄体区辨识为待认证对象的特征信息。然后,将所提取的特征信息与预先登记在数据库中的被摄体的图像的特征信息进行比较。使用表示通过比较所获得的相似度的认证评估值来进行认证,以判断哪个登记对象是待认证对象、或者是否不存在相应的登记对象。例如,针对认证评估值来设置预定阈值,并且在认证评估值等于或大于预定阈值的情况下,可以判断为待认证对象是登记在数据库中的相应对象。
Kr是表示面部可靠度的级别的值(例如,Kr随着可靠度从低级别向高级别增加而增加),并且使用例如面部的大小、面部的朝向和面部的确定性等来判断可靠度。
Ka是表示个人面部认证信息的级别的值,并且是基于所登记的各个人面部的重要程度(例如,预先登记的重要程度)或以下说明的过去摄像信息针对各面部而设置的。
Ks是表示面部表情的级别的值,并且是基于与预设的面部表情相对应的级别(例如,将微笑、高兴和惊喜设置为高级别,并且将愤怒、悲伤、面无表情和闭眼设置为低级别)针对各面部由级别表示的。这里,各面部表情的级别可被配置为根据面部表情的程度(例如,在微笑的情况下为微笑程度)而变化。
根据上述所获得的Kr、Ka和Ks,通过以下的式(4)来获得与人物面部表情相对应的级别Flvl。
Flvl=Kr×Ka×Ks...(4)
现在将参考图9来说明与人物信息相对应的级别设置。如上所述,图像中拍摄到的区小的区域(诸如图9中的区域901、904、905和908等)不被视为是要搜索的区域,因此不经过判断。这里,说明在场角内拍摄到三个人物(909、910和911)的图像的情况作为示例。该示例中的被摄体909是未进行个人面部认证登记的被摄体,并且是面部表情没有微笑的被摄体。该示例中的被摄体910是未进行个人面部认证登记的被摄体,并且是面部表情具有微笑的被摄体。该示例中的被摄体911是进行个人面部认证登记的被摄体,并且是面部表情具有微笑的被摄体。
由于在区域902和906中拍摄到人物909的图像,因此根据与人物909有关的人物信息对区域902和906这两者进行级别设置。由于人物909未进行个人面部认证登记,因此增益Ka为“1”,并且由于人物909不具有微笑,因此增益Ks为“1”,人物909的级别为Kr,并且根据面部可靠度来确定被摄体909的重要度级别。
由于在区域903和907中拍摄到人物910和911的图像,因此根据与人物910和911有关的人物信息来对区域903和907这两者进行级别设置。由于人物910未进行个人面部认证登记,因此增益Ka为“1”,并且由于人物910是具有微笑的被摄体,因此增益Ks被设置为等于或大于“1”的值。由于人物911进行个人面部认证登记,因此增益Ka为1或更大,并且由于人物911是具有微笑的被摄体,因此增益Ks被设置为等于或大于“1”的值。
因此,在人物909、910和911的面部可靠度的级别相同的情况下,被摄体的重要度级别的大小与911>910>909相对应。
此外,以拍摄面部的比例(rate)进行级别设置。在面部图像的比例大的区域中,直接设置上述获得的级别,并且在面部图像的比例小的区域中,根据面部图像的比例来改变级别。例如,在区域903和区域907中的面部图像的比例为8:2的情况下,其级别分别被设置为10:2.5。
以这种方式,基于人物信息来针对各区域设置重要度级别。
与物体识别信息相对应的重要度级别设置
在检测到预先登记的被摄体的情况下,进行基于物体识别信息的重要度级别的设置。例如,使用“狗”或“猫”等的一般物体类别识别或与预先登记的被摄体图像的一致程度,来进行使用物体识别的重要度级别的设置。物体识别例如包括根据以神经网络为代表的学习算法来配置针对“狗”或“猫”等的鉴别器的方法。
现在将参考图10来说明与预先登记的物体识别信息相对应的级别设置。这里,说明在画面上拍摄到三个被摄体(1009、1010和1011)的图像的情况作为示例。通过物体识别将被摄体1009判断为狗,并且将被摄体1010判断为猫。被摄体1011是人物,并且由于人物是在“与人物信息相对应的重要度级别设置”中判断的,因此该人物是从与物体识别信息相对应的级别设置的对象中排除的被摄体。预先登记在识别出“狗”的情况下所获得的级别以及在识别出“猫”的情况下所获得的级别,并且例如狗是重要被摄体。在“猫”没有被定义为重要被摄体的情况下,检测到“狗”的区域1007的级别被设置为高于检测到“猫”的区域1006的级别。此外,可以获得物体识别的可靠度,并且可以根据所检测到的可靠度来改变级别。
这里,还根据拍摄被摄体的比例来进行级别设置。在被摄体图像的比例大的区域中,直接设置上述获得的重要度级别,并且在被摄体图像的比例小的区域中,根据该比例来改变级别。
与场景相对应的重要度级别设置
通过分析图像数据来进行例如“蓝天场景”、“自然翠绿场景”和“晚景场景”的判断,并且基于这样的场景判断信息来进行级别设置。此外,关于与天空有关的场景判断,由于可以从照相机的绝对角度信息获得与照相机的倾斜有关的信息,因此在相对于与重力方向垂直的方向向上的区中所存在的图像中进行与天空有关的判断,诸如“蓝天场景”和“晚景场景”等。
首先,将拍摄到的一帧的12位RAW(原始)数据分割为包括n×m(n和m是整数)个区的块,并且计算各分割区中的各个颜色R、G和B的像素的平均值。对各块的R、G和B平均值进行包括白平衡校正处理、伽马校正处理和颜色转换矩阵处理的临时显像处理。
“蓝天场景”的判断是通过计算蓝天块在画面内的上部区中的比例来进行的。通过在UV颜色空间上定义蓝天判断区、并对该蓝天判断区内的块进行计数来进行是否是蓝天块的判断。
“晚景场景”的判断是通过计算晚景块在画面内的上部区中的比例来进行的。通过在UV颜色空间上定义晚景判断区、并对该晚景判断区内的块进行计数来进行是否是晚景块的判断。
“自然翠绿场景”的判断是通过检测自然翠绿块相对于画面内的所有块的比例来进行的。通过在UV颜色空间上定义自然翠绿判断区、并对该自然翠绿判断区内的块进行计数来进行是否是自然翠绿块的判断。
现在将参考图11来说明与场景检测信息相对应的重要度级别的设置。
本示例中的场景示出画面的右上区域中的蓝天、画面的左侧区域中的建筑物和画面的右下区域中的自然翠绿。通过在画面中进行场景判断来检测“蓝天场景”和“自然翠绿场景”,并且在区域1103中设置与蓝天区识别相对应的级别且在区域1107中设置与自然翠绿区识别相对应的级别。关于区域1102,由于该区域的约40%是蓝天区,因此将与蓝天区识别相对应的级别设置为40%。关于区域1106,由于该区域的约30%是自然翠绿区,因此将与蓝天区识别相对应的水平设置为30%。
尽管以上说明了使用颜色空间信息的场景判断方法,但也可以使用利用亮度值来判断场景的方法。使用“夜景场景”判断作为示例,将如下的情况判断为与夜景相对应:在整个画面的直方图中仅分布有亮度的级别极高和亮度的级别极低的被摄体。此外,可以使用基于图像的亮度信号的高频分量的对比度评估来判断点光源,并且可以使用亮度分布和点光源的检测结果来判断“夜景场景”。
预先登记“蓝天场景”、“晚景场景”、“自然翠绿场景”和“夜景场景”中的各个重要度级别,并且根据所登记的重要度级别来针对各区域进行与场景相对应的重要度级别的设置。
与语音信息相对应的重要度级别设置
通过分析语音信息数据来进行例如“语音方向”、“声级(语音级别)”和“语音识别”的判断,并且进行基于语音信息的重要度级别的设置。
现在将参考图12A和图12B的流程图来说明与语音信息相对应的重要度级别的设置。
在步骤S1201中,控制单元215的语音获取单元判断是否获取到了来自外部的语音的音频。在获取到了语音的情况下,处理进入步骤S1202。在尚未获取到语音的情况下,处理返回到步骤S1201。
在步骤S1202中,控制单元215的语音方向检测单元检测所获取到的语音的来源方向。在步骤S1203中,检测声级。在步骤S1204中,控制单元215的语音识别单元识别所获取到的语音。
在步骤S215中,判断所识别的语音是否是特定语音命令。在所识别的语音是语音命令的情况下,处理进入S1206并且将语音识别级别Sc设置为Ac1。在所识别的语音不是语音命令的情况下,处理进入步骤S1207,并且将语音识别级别Sc设置为0。
在步骤S1208中,判断所检测到的声级是否等于或大于预定值。在声级等于或大于预定值的情况下,处理进入步骤S1209,并且将语音级别Ss设置为Ac2。在声级小于预定值的情况下,处理进入步骤S1210并且将语音级别Ss设置为0。
在步骤S1211中,根据在步骤S1202中检测到的语音的来源方向来计算与图6A至图6D相对应的声音方向区域。例如,考虑到语音方向识别误差,从所判断出的方向的角度起±45度的所有区域都被确定为声音方向区域。
接着,在步骤S1212中,将语音识别级别Sc和语音级别Ss相加在一起以计算总声级Sl,然后处理进入步骤S1213。
在步骤S1213中,判断总声级Sl是否已改变为比先前采样时所获得的总声级Sl大的值。在该值已改变为更大的值的情况下,处理进入步骤S1214,将时间计数Xt设置为预定时间参数Ta,并且处理进入步骤S1215。在步骤S1215中,向步骤S1211中所设置的区域设置级别Sl,然后处理返回到步骤S1201。
在步骤S1213中判断为总声级Sl已改变为等于或小于先前采样时所获得的总声级Sl的值的情况下,处理进入步骤S1216,使预定时间参数Ta递减,然后处理进入步骤S1217。
在步骤S1217中,判断时间Ta是否等于或小于0。在时间Ta等于或小于0的情况下(从总声级Sl改变为更小的值起经过了Ta的情况),在步骤S1218中,将总声级Sl设置为0,并且将在步骤S1211中所设置的区域的总声级Sl设置为0。在步骤S1217中,在时间Ta大于0的情况下,处理进入步骤S1215,并且将至今为止所计算出的总声级Sl设置为语音方向的区域中与语音信息相对应的重要度级别。
与图像运动信息相对应的重要度级别设置
通过判断在通过如图6A至图6D所示进行的区域分割所获得的各区域中是否存在运动被摄体,来进行与图像运动信息相对应的重要度级别的设置。
针对各区域进行各帧之间的差的检测或各帧之间的运动矢量的检测。检测运动矢量的方法包括:将画面分割为多个区;将预先存储的先前帧的图像和当前图像(连续的两个图像)彼此进行比较;以及根据与图像中的相对偏移有关的信息来计算图像运动量。
这里,由于可以根据摄像设备的绝对角度与俯仰转动单元104和平摇转动单元105的转动位置之间的差来获得镜筒(在摄像面的光轴方向上)的角度,因此可以从各帧之间的镜筒角度的差检测受照相机角度的变化影响的运动矢量值。
在通过如图13A所示进一步分割各区域所获得的区1301中检测各帧之间的移动像素,并且基于通过从检测到的移动像素中减去受照相机角度的变化影响的运动矢量值所获得的矢量信号,来进行频数分布(frequency distribution)处理。注意,在难以检测矢量的情况下(诸如在低对比度的情况下等),在频数分布处理中没有反映不能检测矢量的块中的矢量信息。
在图13B和图13C中示出频数分布示例。图13B示出在某个区域中不存在运动被摄体的情况下的某个帧中的频数分布示例。由于阈值1302的范围是矢量值小且存在很少运动的矢量范围,因此不使用在阈值1302的范围内获得的矢量信息。在除阈值1302以外的移动量超过频数阈值1303的情况下,判断为在该区域中存在运动被摄体。在图13B的情况下,除阈值1302以外的移动量不超过频数阈值1303,因此判断为不存在运动被摄体。图13C示出在区域中不存在运动被摄体的情况下的某个帧中的频数分布示例。由于在阈值1302的范围外的矢量移动量超过频数阈值1303,因此判断为在该区域中存在运动被摄体。在判断为在过去多个帧期间运动被摄体连续存在时,设置当前运动被摄体的重要度级别。
与过去摄像信息相对应的级别设置
基于与过去摄像有关的信息来进行重要度级别的设置。
照相机被配置为根据以下所述的方法来进行平摇和俯仰所用的驱动,以执行自动被摄体搜索。在照相机从搜索期间的图像信息检测到自动摄像触发时,进行自动摄像。例如,自动摄像触发可以是人物的面部表情(诸如微笑等)的检测,或者可以是以下所述的被摄体的最终重要度级别的大小。此外,操作者可以操作照相机上所设置的释放开关SW以手动拍摄图像。在照相机拍摄图像时,存储并管理过去摄像信息。
首先,将说明针对各区域设置与过去摄像信息相对应的级别。
在通过如图6A至图6D所示进行的区域分割所获得的各区域中,存储并管理各区域中的拍摄图像数量。在图14中示出各区域中的过去管理的方法,在图14中沿着纵轴按区域并且沿着横轴按时间管理拍摄图像数量。基于诸如图14所示的过去信息等的各区域中的过去信息来进行针对各区域的重要度级别的设置。“当前时间至时间T1”表示在从当前时间到过去时间T1的时间段内的拍摄图像数量,并且其加权系数例如为1。“时间T1至时间T2”表示在从过去时间T1到过去时间T2的时间段内的拍摄图像数量,并且其加权系数例如为0.8。“时间T2至时间T3”表示在从过去时间T2到过去时间T3的时间段内的拍摄图像数量,并且其加权系数例如为0.5。“时间T3至时间T4”表示在从过去时间T3到过去时间T4的时间段内的拍摄图像数量,并且其加权系数例如为0.2。
将拍摄图像数量乘以相应加权系数,并且将各个时间段中的相乘结果相加到一起,由此计算出各区域中的加权后的总拍摄图像数量。
区域1中的总拍摄图像数量与0×1+0×0.8+0×0.5+2×0.2=0.4个图像相对应,并且区域3中的总拍摄图像数量与3×1+4×0.8+2×0.5+0×0.2=7.2个图像相对应。
通过将各区域中的总拍摄图像数量乘以级别系数(级别系数是负值,并且是以使重要度级别随着拍摄次数增加而降低的方式设置的)来进行与各区域的过去摄像信息相对应的级别设置。
此外,将过去摄像信息反馈到例如“与人物信息相对应的重要度级别设置”、“与物体识别信息相对应的重要度级别设置”和“与场景相对应的重要度级别设置”等,并且还对各级别设置产生影响。
图15是用于管理供反馈到“与人物信息相对应的重要度级别设置”所用的过去摄像信息的表。存储并管理被登记为个人登记的各被摄体(Asan、Bsan、Csan、Dsan、...)的过去拍摄图像数量。与参考图14所述的方法一样,在各时间段中设置加权系数,并且针对所登记的各被摄体计算总拍摄图像数量。将通过使总拍摄图像数量乘以用于级别设置的级别系数(该系数是负值,并且是以使级别随着拍摄图像数量增加而降低的方式设置的)所获得的结果与增益Ka相加。以这种方式,将过去摄像信息反馈到“与人物信息相对应的重要度级别设置”。注意,增益Ka是以不会变得等于或小于0的方式设置的。
图16是用于管理供反馈到“与物体识别信息相对应的重要度级别设置”所用的过去摄像信息的表。存储并管理所登记的各被摄体(狗、猫、…)的过去拍摄图像数量。与参考图14所述的方法一样,在各时间段中设置加权系数,并且针对所登记的各被摄体计算总拍摄图像数量。将通过使总拍摄图像数量乘以用于级别设置的级别系数(该系数是负值,并且是以使级别随着拍摄图像数量增加而降低的方式设置的)所获得的结果与同各被摄体相对应的级别设置相加。以这种方式,将过去摄像信息反馈到“与物体识别信息相对应的重要度级别设置”。注意,与各被摄体相对应的重要度级别是以不会变得等于或小于0的方式设置的。
图17是用于管理供反馈到“与场景相对应的重要度级别设置”所用的过去摄像信息的表。存储并管理各场景(蓝天、晚景、自然翠绿、夜景、...)的过去拍摄图像数量。与参考图14所述的方法一样,在各时间段中设置加权系数,并且针对所登记的各被摄体计算总拍摄图像数量。将通过使总拍摄图像数量乘以用于级别设置的级别系数(该系数是负值,并且是以级别随着拍摄图像数量增加而降低的方式设置的)所获得的结果与同各场景相对应的级别设置相加。以这种方式,将过去摄像信息反馈到“与场景相对应的重要度级别设置”。注意,与各场景相对应的重要度级别是以不会变得等于或小于0的方式设置的。
与未搜索时间相对应的重要度级别设置
进行与通过如图6A至图6D所示的区域分割所获得的各区域位置处的从最后一次搜索起的经过时间相对应的重要度级别的设置。在图18中示出处理流程图。
在步骤S1801中处理开始时,获取当前的平摇和俯仰位置,然后处理进入步骤S1802。
在步骤S1802中,获取通过以上参考图5A和5B所述的方法所计算出的摄像设备的绝对角度,然后处理进入步骤S1803。在步骤S1803中,根据在步骤S1801中获取到的平摇和俯仰位置以及在步骤S1802中获取到的摄像设备的绝对角度来计算镜筒102的绝对角度,然后处理进入步骤S1804。
在步骤S1804中,将“1”代入作为用于循环运算的变量的“Area”,然后处理进入步骤S1805。
在步骤S1805中,判断通过对镜筒102的绝对角度进行微分处理所计算出的绝对角速度是否在预定速度内,并且利用在通过如图6A至6D所示进行的分割所获得的各个区域中定义的区域编号,判断变量Area是否与场角中的一个区域的区域编号相对应。在判断为Area在场角内、并且镜筒绝对角速度是使得能够检测各被摄体的速度(考虑到摄像延迟和检测时间延迟,直到从图像检测到被摄体为止的延迟时间在预定值内所依据的角速度)的情况下,处理进入步骤S1806。
在步骤S1806中,将与当前Area的未搜索时间相对应的重要度级别设置为0,然后处理进入步骤S1808。
如果在步骤S1805中判断为当前Area与场角中所包括的区域不对应、或者镜筒绝对角速度大于预定角速度,则处理进入步骤S1807,使当前Area的时间级别递增,然后处理进入步骤S1808。
在步骤S1808中,使Area递增,然后处理进入步骤S1809。然后,判断Area是否大于总区域数量,并且如果判断为Area大于总区域数量,则处理结束。如果判断为Area小于总区域数量,则处理返回到步骤S1805,使得可以重复步骤S1805至S1809的处理。
在上述方法中,针对各区域设置与未搜索时间相对应的重要度级别,并且各区域的时间级别根据从在区域中最后一次进行被摄体的搜索起的经过时间(区域的未搜索时间)而变大。以这种方式,如果存在长时间未进行搜索的区域,则增加该区域的重要度级别,使得以平摇和俯仰开始该区域中的搜索。
与照相机振动状态相对应的重要度级别设置
进行根据照相机的振动状态的重要度级别的设置。
根据在步骤S308中计算出的照相机状态的判断结果来判断照相机的振动状态(运载工具移动状态、放置拍摄状态或手持状态)。
在照相机振动状态是“放置拍摄状态”的情况下,由于摄像设备的绝对角度的运算没有被不正确地进行、并且各区域的重要度级别的运算的可靠度高,因此在进行后续搜索控制时直接使用至今为止所运算出的各区域中的被摄体的重要度级别。
在照相机振动状态是“运载工具移动状态”的情况下,由于移动速度高,因此尽管坐在运载工具中的人物的区域存在很少变化,但诸如风景等的被摄体时刻改变。因此,在运载工具移动状态的情况下,直接使用“与人物信息相对应的重要度级别设置”的重要度级别,但不使用“与图像运动信息相对应的重要度级别设置”的重要度级别。此外,由于“与场景相对应的重要度级别设置”和“与物体识别信息相对应的重要度级别设置”极有可能快速改变,因此重要度级别降低。然而,在自动摄像中,例如,可以设计在检测时立即进行摄像的方法。在“与语音信息相对应的重要度级别设置”和“与过去摄像信息相对应的级别设置”中,直接使用重要度级别。此外,可以进行运算,例如以利用例如加速度传感器检测高速移动的照相机的前进方向,并且提高位于前进方向上的区域的重要度级别。
在照相机的振动状态是“手持状态”(模糊振动大的状态)的情况下,操作者有可能操作照相机的方向。因此,在相对于照相机正位置(其中俯仰角度和平摇角度为0度)±45度的范围内的区域中,使重要度级别提高,并且在从±45度到±90度的范围内的区域中,使重要度级别降低。此外,在相对于±90度更远的区域中,使重要度级别甚至进一步降低。以这种方式,设置各区域的重要度级别。可以使用将各区域的重要度级别相加在一起的方法或者根据范围来对针对各区域所计算出的重要度级别进行加权的方法。例如,在±45度的范围内的区域中加权系数可以被设置为1,在从±45度到±90度的范围内的区域中加权系数可以被设置为1或更小,并且在相对于±90度更远的区域中加权系数可以被设置为甚至更低的值。
根据上述方法,根据照相机振动状态,改变重要度级别的运算,从而使得能够进行适合于振动状态的被摄体搜索。
将通过上述方法所获得的各区域的“与人物信息相对应的重要度级别”、“与物体识别信息相对应的重要度级别”、“与场景相对应的重要度级别”、“与语音信息相对应的重要度级别”、“与图像运动信息相对应的重要度级别设置”、“与过去摄像信息相对应的重要度级别”和“与未搜索时间相对应的重要度级别”相加在一起,计算被摄体重要度级别,并且处理进入步骤S313。注意,在检测到被摄体重要度级别等于或大于预定阈值的被摄体的情况下,进行跟踪判断,并且改变用于跟踪和搜索的阈值以使跟踪更容易。
在步骤S313中,根据各区域的被摄体重要度级别来计算平摇和俯仰搜索所用的目标角度,然后处理进入步骤S314。通过以下方法来计算平摇和俯仰搜索所用的目标角度。
首先,根据与各区域相邻的区域中的被摄体重要度级别来计算搜索最终级别。使用与图19A所示的区域1901及其周围区域(1902、1903、1904、1905、1906、1907、1908和1909)有关的信息来计算区域1901中的搜索最终级别。然后,将区域1901的加权系数设置为1,将其他区域的加权系数设置为1或更小(例如,0.5),将各个区域的被摄体重要度级别乘以相关联的加权系数,将在所有区域中获得的计算值相加在一起,以计算搜索最终级别。对所有区域进行该运算,并且由此计算出各区域中的搜索最终级别。接着,将具有最大搜索最终级别的区域设置为搜索目标区域。在搜索目标区域是图19A和19B所示的区域1901的情况下,根据式(5),从区域1901至1909的搜索最终级别和区域1901至1909的中心角度计算平摇和俯仰搜索目标角度。
[数学式1]
Figure BDA0003712848760000261
在式(5)中,n是区域1901至1909的数量9,i是用于将区域1901至1909定义为1至9的变量,b是各区域的中心角度,并且a是各区域的搜索最终级别。可以通过运算基于在区域1901至1909之间运算出的搜索最终级别的角度的重心位置y(y是在俯仰方向和平摇方向各自上运算出的),来计算平摇和俯仰搜索目标角度。
注意,在各个区域中的搜索最终级别的所有值都等于或小于预定阈值的情况下,由于即使在对这些区域进行搜索时也判断为此时不存在重要被摄体,因此不进行平摇和俯仰驱动。
此时,基于在排除了“与过去摄像信息相对应的级别设置”的情况下计算出的被摄体重要度级别来计算目标角度。然后,在进行平摇和俯仰驱动以到达目标角度之后,使照相机保持在该角度位置,直到各个区域的搜索最终级别中的任一个均变得大于预定阈值为止。以这种方式,计算出平摇和俯仰搜索目标角度。
接着,计算用于跟踪的第二转动校正量,然后处理进入步骤S314。
图20A和图20B是示出由照相机检测到的被摄体的图像中的位置、以及设置用于跟踪和搜索的阈值和第二转动校正量的方法的图。
C0是拍摄图像(场角)中的跟踪目标位置,C1是拍摄图像中的被摄体区的中心位置,以C0为中心的圆P是跟踪目标区,并且圆P的半径是用于判断是否进行跟踪和搜索的阈值。在被摄体跟踪剩余量(C1和C0之间的拍摄图像中的距离)大于用于跟踪和搜索的阈值的情况下,通过转动机构来进行跟踪以使C1移动到更靠近C0的位置。
在计算用于跟踪的平摇和俯仰转动校正量(Dp,Dt)时,获得C0(x0,y0)的坐标和C1(x1,y1)的坐标之间的差,并且将该差乘以用于平摇和俯仰的转换系数以获得驱动量。平摇转换系数由kp表示,俯仰转换系数由kt表示,并且平摇转动校正量Dp和俯仰转动校正量Dt由以下的式表示。
Dp=(x1-x0)×kp...(6)
Dt=(y1-y0)×kt...(7)
在式(6)和(7)中,转换系数kp和kt用于将图像中的位置误差转换成平摇和俯仰目标位置差,并因此根据图像传感器的大小、焦距、以及平摇和俯仰位置检测单元的检测分辨率而改变。
在步骤S314中,根据在步骤S306中所获得的图像模糊校正量、直到步骤S313所获得的平摇和俯仰搜索目标角度、以及用于跟踪的转动校正量,来计算平摇和俯仰驱动量。通过将图像模糊校正量、用于跟踪的转动校正量、以及基于平摇和俯仰搜索目标角度的控制采样所使用的驱动角度相加,来计算平摇和俯仰驱动量(用于平摇的驱动角度和用于俯仰的驱动角度这两者),然后处理进入步骤S315。
图21是示出由照相机检测到的振动量的时间序列变化的示例、以及设置用于图像模糊校正的第一阈值和第二阈值以及第一转动校正量的方法的图。图21中的阈值1是与用于判断照相机是否处于放置拍摄状态的振动量有关的用于图像模糊校正的第一阈值,并且该阈值1是预先测量并存储在照相机中的。在照相机处于放置拍摄状态的情况下,操作转动功能以进行图像模糊校正的需求低。如果所检测到的振动量小于阈值1(如图21中的时刻t0至时刻t1那样),则判断为照相机处于放置拍摄状态,并且将用于图像模糊校正的第一转动校正量设置为0(零)。
图21中的阈值2是与用于判断照相机是否在可以进行图像模糊校正的范围内的振动量有关的用于图像模糊校正的第二阈值,并且该阈值2是预先测量并存储在照相机中的。在振动量大于可以进行照相机图像模糊校正的范围的上限的情况下,由于即使在进行图像模糊校正操作时也不能校正等于或大于该范围的上限的图像模糊,因此从图像模糊校正的效果相对于电力消耗的角度来看,优选不进行图像模糊校正操作。对于照相机,如果所检测到的振动量等于或大于图21中的阈值2(如图21中的时刻t1至时刻t2那样),则将用于图像模糊校正的第一转动校正量设置为0。
对于照相机,如果检测到的振动量等于或大于图21中的阈值1但小于图21中的阈值2(如图21中的时刻t2至时刻t3那样),则使用于图像模糊校正的第一转动校正量保持在直到步骤S314所计算出的相同值。
图20A是示出摄像重要度高的被摄体存在于场角内的示例的图。与重要度相对应地将跟踪目标区的范围设置得较窄,使用于跟踪和搜索的第二转动校正量保持与直到步骤S314所计算出的值相同的值,以使得在C0的位置处连续拍摄到不在跟踪目标区中的C1,并且继续使用转动驱动的跟踪。
图20B是示出摄像重要度低的被摄体存在于场角内的示例的图。与重要度相对应地将跟踪目标区的范围设置得较宽,并且由于C1在跟踪目标区中,因此将用于跟踪和搜索的第二转动校正量设置为0,并且不进行使用转动驱动的跟踪。
在被摄体不存在于场角内的情况下,将用于跟踪和搜索的第二转动校正量设置为0,并且不进行使用转动驱动的跟踪。
此外,将在存在经由用户操作的转动指示时的转动校正量定义为第三转动校正量。当响应于用户操作而进行平摇和俯仰转动时,从省电的角度来看,优选断开向不需要转动的转动机构的供电(使转动机构停止)。这里,用户操作包括“经由外部装置操作的指示”、“语音指示”和“手势指示”。“经由外部装置操作的指示”是经由通信单元213从未示出的外部装置发送的指示。当接收到来自操作外部装置的用户的指示时,可以使转动机构在所指示的方向上转动。此外,“语音指示”是经由从语音输入单元210输入的语音的指示。可以检测语音的来源方向,并且可以使转动机构在该方向上转动。此外,“手势指示”是经由手势操作的指示,该手势操作具有来自在步骤S312中由摄像单元拍摄到的图像中的被摄体中的人物的特定含义。在检测到该指示时,基于手势使转动机构转动。当经由用户操作进行转动指示时,可以断开向不需要转动的轴的转动单元的供电。在作为经由用户操作的转动指示、平摇或俯仰方向上的操作量为零的情况下,将通过用户操作的第三转动校正量设置为0,并且不进行转动驱动。
这里,在本实施例中,在与是否根据用户操作进行转动相关的用户操作的操作量的阈值(用户操作的阈值)为零(换句话说,已存在用户操作)的情况下,每次均计算转动校正量。然而,在检测到用户操作的小操作量的情况下,可以设置用于提供死区的阈值,使得将第三转动校正量设置为0。
以这种方式,通过设置第一转动校正量至第三转动校正量,在第一转动量至第三转动量中的任一个小于针对第一转动量至第三转动量所设置的各个阈值的情况下,可以断开向转动机构的供电。
在步骤S315中,使用由用户设置的摄像条件和拍摄模式以及在摄像设备内部检测到的照相机状态,来计算用于判断是否断开向平摇轴和俯仰轴中的任何轴的供电的阈值,并且处理进入步骤S316。
这里,由用户设置的摄像条件包括“图像模糊校正强度设置”、“跟踪强度设置”、“搜索强度设置”、“自动摄像频度设置”、“快门速度设置”和“省电设置”,并且用于图像模糊校正以及跟踪和搜索的阈值根据摄像条件而改变。
例如,在“图像模糊校正强度设置”被设置为“低”的情况下,向上方改变用于图像模糊校正的第一阈值,以使得更容易断开供电。在“跟踪强度设置”被设置为“低”的情况下,向上方改变用于跟踪和搜索的阈值,以使得更容易断开供电。在“搜索强度设置”被设置为“低”的情况下,向上方改变用于跟踪和搜索的阈值,以使得更容易断开供电。在“自动摄像频度设置”被设置为“低”的情况下,向上方改变用于图像模糊校正的第一阈值和用于跟踪和搜索的阈值。在“快门速度设置”被设置为比手抖阈值更高的速度的情况下,由于图像模糊校正效果最小,因此向上方改变用于图像模糊校正的第一阈值。在“省电设置”被设置为“开启(on)”的情况下,向上方改变用于图像模糊校正的第一阈值、用于跟踪和搜索的阈值以及用于用户操作的阈值。
此外,由用户设置的拍摄模式包括“全景拍摄模式”、“延时拍摄模式”、“跟踪拍摄模式”和“第一人称拍摄模式”,并且阈值根据所设置的拍摄模式的操作而改变。
例如,在“全景拍摄模式”中,在使平摇和俯仰在水平和垂直方向上转动了预定转动角度的同时拍摄预定数量的图像,并且将拍摄图像连接并合成为静止图像。当接收到经由外部装置操作的用户指示、并且场角在水平或垂直方向上改变了预定转动角度时,可以断开向不需要转动的轴的转动单元的供电。在使得更容易断开向不需要转动的转动机构的供电的方向上改变用于用户操作的阈值。
在“延时拍摄模式”中,根据在从平摇和俯仰的开始位置到结束位置以预定角度转动、并且改变场角的同时所拍摄到的多个图像来创建运动图像。当接收到经由外部装置操作的用户指示、并且在所指示的开始角度和结束角度之间针对水平方向和垂直方向改变拍摄方向时,可以断开向不需要转动的轴的转动单元的供电。在使得更容易断开向不需要转动的转动机构的供电的方向上改变用于用户操作的阈值。
在“跟踪拍摄模式”中,在使平摇和俯仰转动的同时跟踪移动被摄体以拍摄图像。当接收到经由外部装置操作的用户指示、并且跟踪所指示的被摄体时,可以断开向不需要转动的轴的转动单元的供电。在使得更容易断开向不需要转动的转动机构的供电的方向上改变用于用户操作的阈值。当指定并跟踪要跟踪的被摄体时,向下方改变用于跟踪和搜索的阈值,由此进行所需的跟踪。然而,在没有指示要跟踪的被摄体或者所指示的被摄体不再存在的情况下,向上方改变用于跟踪和搜索的阈值,以使得更容易断开供电。
这里,在“全景拍摄模式”、“延时拍摄模式”和“跟踪拍摄模式”中,当在步骤S308中判断为照相机振动状态是放置拍摄状态时,不需要图像模糊校正操作,因此向上方改变用于图像模糊校正的第一阈值。以这种方式,更容易断开向转动单元的供电。另一方面,当判断为照相机振动状态不是放置拍摄状态时,由于照相机被手持等而引起振动。因此,用于图像模糊校正的第一阈值保持不变。
在“第一人称拍摄模式”中,在使平摇和俯仰转动的同时进行摄像,使得可以跟随在画面上移动的被摄体。此时,可以断开向不需要转动的轴的转动单元的供电。在接收到经由外部装置操作的用户指示、并且使平摇和俯仰转动以使得可以跟随所指示的被摄体或所识别的主被摄体时,在使得更容易断开向不需要转动的转动机构的供电的方向上改变用于用户操作的阈值。当指定并跟踪要跟随的被摄体时,向下方改变用于跟踪和搜索的阈值,由此进行以所需速度的跟踪转动操作。然而,在没有指示被摄体或者正跟随的被摄体不再存在的情况下,向上方改变用于跟踪和搜索的阈值,以使得更容易断开供电。
此外,在摄像设备内部检测到的照相机状态包括“摄像场景判断”、“剩余电池电量”、“在预定时间量内的总拍摄图像数量或总拍摄时间”、“焦距”、“被摄体亮度”和“拍摄图像传送状态”,并且可以根据照相机状态来断开向转动机构的供电。
例如,在“摄像场景判断”中,在判断为重要摄像场景的情况下,为了使得可以无模糊地可靠地拍摄被摄体,向下方改变用于图像模糊校正的第一阈值,使得可以容易地接通向平摇和俯仰驱动马达的供电。在另一情况下,向上方改变用于图像模糊校正的第一阈值,使得可以容易地断开供电。以类似方式,在判断为重要摄像场景的情况下,向下方改变用于跟踪和搜索的阈值,使得可以可靠地进行被摄体的跟踪和搜索。在另一情况下,向上方改变用于跟踪和搜索的阈值,使得可以容易地断开供电。
这里,通过根据由照相机识别的人物信息、物体识别信息、音频信息、图像移动信息和过去摄像信息判断当前正在拍摄的场景是否是重要摄像场景,来进行重要摄像场景判断。
在“剩余电池电量”小于预定值的情况下,与图像模糊校正功能的有无相比,增加照相机运行时间将更有可能实现重要被摄体的自动摄像。因此,在剩余电池电量小于预定值的情况下,改变用于图像模糊校正的第一阈值,使得可以容易地断开向平摇和俯仰驱动马达的供电。以同样方式,改变用于跟踪和搜索的阈值,使得可以容易地断开供电。
在“预定时间量内的总拍摄图像数量或总拍摄时间”等于或大于预定值的情况下,可以假定可以通过至今为止的自动摄像来拍摄期望被摄体的图像。因此,在剩余电池电量小于预定值的情况下,改变用于图像模糊校正的第一阈值,使得可以容易地断开向平摇和俯仰驱动马达的供电。以同样方式,改变用于跟踪和搜索的阈值,使得可以容易地断开供电。
在“焦距”在广角侧的情况下,可以在无需驱动平摇和俯仰以进行图像模糊校正的情况下利用快门速度拍摄模糊最小的图像,这一可能性极高。当镜筒102的焦距在预定阈值的广角侧或在与焦距相对应的广角侧时,以预定系数大幅改变用于判断是否断开供电的阈值。以这种方式,改变用于图像模糊校正的第一阈值,使得可以容易地断开向平摇和俯仰驱动马达的供电。以同样方式,改变用于跟踪和搜索的阈值,使得可以容易地断开供电。
在“被摄体亮度”等于或大于预定阈值的情况下,可以在无需驱动平摇和俯仰以进行图像模糊校正的情况下利用快门速度拍摄被摄体模糊最小的图像。因此,可以根据由摄像单元205拍摄到的图像的亮度信息来改变用于判断是否断开供电的阈值。例如,在被摄体的亮度大于预定亮度的情况下,改变用于图像模糊校正的第一阈值,使得可以容易地断开向平摇和俯仰驱动马达的供电。以同样方式,改变用于跟踪和搜索的阈值,使得可以容易地断开供电。
在步骤S316中,基于在照相机中检测到的振动检测量以及被摄体重要度来再次计算在步骤S314中计算出的轴的转动校正量,然后处理进入步骤S317。
在照相机中检测到的振动检测量足够小而使得判断为照相机处于放置拍摄状态的情况下,操作转动功能的需求低。因此,在与放置拍摄状态相对应的振动量被预先设置为阈值(图21中的阈值1)、并且在摄像设备101中检测到的振动量小于该阈值的情况下(在图21中的从时刻t0至时刻t1的时间段内),将用于图像模糊校正的第一转动校正量设置为0。
另一方面,在照相机中检测到的振动检测量是非常大的量、并且是超过摄像设备101能够进行图像模糊校正的范围的上限的振动量的情况下,即使进行图像模糊校正操作,也不能抑制超过该范围的上限的被摄体模糊。因此,从图像模糊校正的效果相对于电力消耗的角度来看,优选不进行图像模糊校正操作。这里,将与用于使得能够进行图像模糊校正的上限相对应的振动量预先设置为阈值(图21中的阈值2)。因此,在摄像设备101中检测到的振动量大于所设置的阈值的情况下(在图21中的从时刻t1至时刻t2的时间段内),将用于图像模糊校正的第一转动校正量设置为0。
此外,在由摄像单元205拍摄到的图像中未检测到被摄体的情况下、或者在所检测到的被摄体具有低重要度的情况下,从长时间运行系统的角度来看,优选不进行自动跟踪和摄像并且不操作转动机构。这里,在没有检测到被摄体的情况下,将用于跟踪和搜索的第二转动校正量设置为0。另一方面,在检测到被摄体的情况下,用于确定从场角中心起连续拍摄被摄体的范围的区(跟踪目标区)在被摄体摄像重要度高的情况下被设置为窄的区(图20A),并且在被摄体摄像重要度低的情况下被设置为更宽的区(图20B)。然后,在由摄像设备101检测到的被摄体区的质心存在于跟踪目标区中的情况下,将用于跟踪和搜索的第二转动校正量设置为0。
在步骤S317中,将在步骤S315中计算出的转动校正量与在步骤S316中计算出的用于判断是否断开供电的阈值进行比较,并且在任意转动校正量小于预定时间阈值的情况下,断开向该轴的转动机构的供电,然后处理进入步骤S318。
在步骤S318中,由镜筒转动驱动单元212根据用于平摇和俯仰的驱动角度来驱动和控制俯仰转动单元104和平摇转动单元105,然后处理进入步骤S319。
在步骤S319中,判断是否已存在经由操作单元211的操作而手动输入的摄像指示。在已存在摄像指示的情况下,处理进入步骤S322,开始摄像,获取静止图像,并且将拍摄图像记录在图像记录单元207中。在步骤S319中,在不存在手动摄像指示的情况下,处理进入步骤S320,并且进行自动摄像判断处理。
在步骤S320的自动摄像判断中,在直到步骤S316所获得的被摄体重要度级别大于预定值的情况下,判断为开启自动摄像操作。此外,即使在被摄体重要度级别不大于预定值的情况下,也可以使用所检测到的面部上的微笑程度来进行自动摄像判断,可以使用所检测到的多个面部之间的距离方面的接近度来进行自动摄像判断,或者如果检测到先前未拍摄到的物体(例如,狗或猫)或场景(例如,蓝天、晚景、夜景或自然翠绿),则可以进行自动摄像判断。在步骤S320中,在进行自动摄像判断时,处理然后进入步骤S321。
在步骤S321中,在自动摄像判断结果是自动摄像开启的情况下,处理进入步骤S322并且进行静止图像拍摄。在步骤S321中,在判断为自动摄像关闭的情况下,处理返回到步骤S302,并且重复自动被摄体搜索和自动摄像处理。
在步骤S322中,在进行静止图像拍摄之后,处理然后进入步骤S323。然后,使用来自在步骤S310中进行摄像的时间点的被摄体信息,进行过去摄像信息(诸如过去的重要被摄体信息的拍摄图像数量、以及根据每单位时间的拍摄图像数量和目标拍摄图像数量所计算出的计划消耗率等)的管理。在拍摄运动图像的情况下,以同样方式进行过去摄像信息的管理。在运动图像的情况下,使用诸如所拍摄到的运动图像中的被摄体检测等的摄像信息来进行过去摄像信息管理。
在步骤S323中,当更新过去摄像信息时,处理返回到步骤S302,并且重复自动被摄体搜索和自动摄像处理。
如上所述,根据上述实施例,可以提供如下的摄像设备,该摄像设备被配置为在不需要图像模糊校正驱动的情况下,适当地关闭图像模糊校正操作,从而使得能够长时间进行自动摄像。
其他实施例
此外,本发明可以通过以下处理来实现:将用于实现上述实施例的一个或多于一个功能的程序经由网络或存储介质供给至系统或设备,并且使该系统或设备的计算机中的一个或多于一个处理器读出并执行该程序。本发明还可以通过用于实现一个或多于一个功能的电路(例如,ASIC)来实现。
本发明不限于上述实施例,并且可以在本发明的精神和范围内进行各种改变和修改。因此,为了向公众告知本发明的范围,添加了所附的权利要求书。
本申请要求于2019年12月27日提交的日本专利申请2019-239279的优先权,其通过引用而被包含于此。

Claims (24)

1.一种摄像设备,其特征在于,包括:
摄像部件,用于拍摄被摄体图像;
转动部件,其能够使所述摄像部件转动;
第一计算部件,用于计算用于校正基于所述摄像设备的抖动的图像模糊的所述转动部件的第一转动量;
第二计算部件,用于计算用于从所述摄像部件所拍摄到的图像中搜索被摄体的所述转动部件的第二转动量;以及
停止部件,用于在所述第一转动量和所述第二转动量这两者都小于分别针对所述第一转动量和所述第二转动量所设置的阈值的情况下,使所述转动部件停止。
2.根据权利要求1所述的摄像设备,其特征在于,
在所述摄像设备的抖动量小于第一阈值的情况下,所述第一计算部件将所述第一转动量设置为零。
3.根据权利要求2所述的摄像设备,其特征在于,
在所述摄像设备的抖动量大于比所述第一阈值大的第二阈值的情况下,所述第一计算部件将所述第一转动量设置为零。
4.根据权利要求2或3所述的摄像设备,其特征在于,
所述第一计算部件根据用户所设置的摄像条件来改变所述第一阈值。
5.根据权利要求4所述的摄像设备,其特征在于,
所述用户所设置的摄像条件包括图像模糊校正强度设置、跟踪强度设置、自动摄像频度设置、快门速度设置和省电设置中的至少一个。
6.根据权利要求2至5中任一项所述的摄像设备,其特征在于,
所述第一计算部件根据所述摄像设备的状态来改变所述第一阈值。
7.根据权利要求6所述的摄像设备,其特征在于,
所述摄像设备的状态包括摄像场景、剩余电池电量、在预定时间量内的总拍摄图像数量或总拍摄时间、焦距、被摄体亮度和拍摄图像传送状态中的至少一个。
8.根据权利要求1至7中任一项所述的摄像设备,其特征在于,
所述第二计算部件基于被摄体的重要度来设置所述第二转动量。
9.根据权利要求8所述的摄像设备,其特征在于,
在被摄体的重要度小于第二阈值的情况下,所述第二计算部件将所述第二转动量设置为零。
10.根据权利要求9所述的摄像设备,其特征在于,
所述第二计算部件根据被摄体的重要度来改变所述第二阈值。
11.根据权利要求9或10所述的摄像设备,其特征在于,
所述第二计算部件根据用户所设置的摄像条件来改变所述第二阈值。
12.根据权利要求11所述的摄像设备,其特征在于,
所述用户所设置的摄像条件包括图像模糊校正强度设置、跟踪强度设置、自动摄像频度设置、快门速度设置和省电设置中的至少一个。
13.根据权利要求9至12中任一项所述的摄像设备,其特征在于,
所述第二计算部件根据所述摄像设备的状态来改变所述第二阈值。
14.根据权利要求13所述的摄像设备,其特征在于,
所述摄像设备的状态包括摄像场景、剩余电池电量、在预定时间量内的总拍摄图像数量或总拍摄时间、焦距、被摄体亮度和拍摄图像传送状态中的至少一个。
15.根据权利要求8至14中任一项所述的摄像设备,其特征在于,
所述第二转动量包括用于跟踪以使被摄体停止在画面上的预定位置的转动量。
16.根据权利要求1至15中任一项所述的摄像设备,还包括:
第三计算部件,用于响应于用户指示来计算所述转动部件的第三转动量,
其中,在所述第一转动量、所述第二转动量和所述第三转动量全部小于分别针对所述第一转动量、所述第二转动量和所述第三转动量所设置的阈值的情况下,所述停止部件使所述转动部件停止。
17.根据权利要求16所述的摄像设备,其特征在于,
所述用户指示包括经由外部装置操作的指示、语音指示和手势指示中的至少一个。
18.根据权利要求16或17所述的摄像设备,其特征在于,
所述第三计算部件根据用户所设置的拍摄模式来改变针对所述第三转动量的第三阈值。
19.根据权利要求18所述的摄像设备,其特征在于,
所述拍摄模式包括全景拍摄模式、延时拍摄模式、跟踪拍摄模式和第一人称拍摄模式中的至少一个。
20.根据权利要求1至19中任一项所述的摄像设备,其特征在于,
所述停止部件通过断开向所述转动部件的供电来使所述转动部件停止。
21.根据权利要求1至20中任一项所述的摄像设备,其特征在于,
所述转动部件包括用于使所述摄像部件绕轴转动的至少一个转动机构。
22.一种摄像设备的控制方法,所述摄像设备设置有用于拍摄被摄体图像的摄像部件和能够使所述摄像部件转动的转动部件,其特征在于,所述控制方法包括:
计算用于校正基于所述摄像设备的抖动的图像模糊的所述转动部件的第一转动量;
计算用于从所述摄像部件所拍摄到的图像中搜索被摄体的所述转动部件的第二转动量;以及
在所述第一转动量和所述第二转动量这两者都小于分别针对所述第一转动量和所述第二转动量所设置的阈值的情况下,使所述转动部件停止。
23.一种程序,用于使得计算机执行根据权利要求22所述的控制方法。
24.一种计算机可读存储介质,其存储有程序,所述程序用于使得计算机执行根据权利要求22所述的控制方法。
CN202080090370.2A 2019-12-27 2020-12-03 摄像设备及其控制方法、程序和存储介质 Pending CN114902131A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-239279 2019-12-27
JP2019239279A JP2021107874A (ja) 2019-12-27 2019-12-27 撮像装置及びその制御方法、プログラム、記憶媒体
PCT/JP2020/045025 WO2021131573A1 (ja) 2019-12-27 2020-12-03 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
CN114902131A true CN114902131A (zh) 2022-08-12

Family

ID=76573944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080090370.2A Pending CN114902131A (zh) 2019-12-27 2020-12-03 摄像设备及其控制方法、程序和存储介质

Country Status (4)

Country Link
US (1) US20220329738A1 (zh)
JP (1) JP2021107874A (zh)
CN (1) CN114902131A (zh)
WO (1) WO2021131573A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191360A (ja) * 1993-12-27 1995-07-28 Canon Inc カメラ防振制御装置
JP2010154374A (ja) * 2008-12-26 2010-07-08 Canon Inc 撮像装置および被写体追跡方法
JP2011217333A (ja) * 2010-04-02 2011-10-27 Canon Inc 撮像装置および撮像装置の制御方法
JP2015172610A (ja) * 2014-03-11 2015-10-01 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2016122132A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体
JP2018180111A (ja) * 2017-04-06 2018-11-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343663A (ja) * 2003-05-19 2004-12-02 Sony Corp 撮像装置
JP2005189654A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 手振れ補正機構を備えたカメラ
JP4458151B2 (ja) * 2007-11-06 2010-04-28 ソニー株式会社 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
JP5529568B2 (ja) * 2010-02-05 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP6097521B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP2014126861A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
US8992102B1 (en) * 2014-01-06 2015-03-31 Gopro, Inc. Camera housing for a square-profile camera
JP2016035543A (ja) * 2014-08-04 2016-03-17 オリンパス株式会社 撮像装置及びその像ブレ補正方法
CN113741017B (zh) * 2015-12-09 2022-12-20 株式会社尼康 变焦镜头以及光学设备
JP2018010219A (ja) * 2016-07-15 2018-01-18 株式会社ニコン 変倍光学系、光学機器及び変倍光学系の製造方法
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
JP6559366B2 (ja) * 2016-10-13 2019-08-14 富士フイルム株式会社 ブレ補正装置、撮像装置、及びブレ補正方法
JP6743904B2 (ja) * 2016-11-21 2020-08-19 株式会社ニコン 変倍光学系、これを用いた光学機器および撮像機器
JP6720070B2 (ja) * 2016-12-16 2020-07-08 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP2018101101A (ja) * 2016-12-21 2018-06-28 ソニー株式会社 カメラ制御装置及び撮像装置
US10986273B2 (en) * 2017-04-13 2021-04-20 Canon Kabushiki Kaisha Image pickup apparatus and lens device that have image blur correction function
JP7058945B2 (ja) * 2017-04-24 2022-04-25 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置
JP6960238B2 (ja) * 2017-04-28 2021-11-05 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2019106656A (ja) * 2017-12-14 2019-06-27 ルネサスエレクトロニクス株式会社 半導体装置および電子機器
JP2019106655A (ja) * 2017-12-14 2019-06-27 ルネサスエレクトロニクス株式会社 半導体装置および電子機器
US10764495B2 (en) * 2017-12-14 2020-09-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, storage medium, system, and electronic apparatus
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device
US10440273B2 (en) * 2018-02-15 2019-10-08 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that displays an overlay setting screen for inputting focal length information for interchangeable lens and for quantitatively indicating a magnitude of a blur
JP2019161539A (ja) * 2018-03-15 2019-09-19 キヤノン株式会社 撮像装置およびその制御方法
US10893200B2 (en) * 2018-06-01 2021-01-12 Faez Ba-Tis Autofocus and optical image stabilizer system
KR102597167B1 (ko) * 2018-10-31 2023-11-02 삼성전기주식회사 카메라 모듈 및 이에 이용되는 윤활제 조성물

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191360A (ja) * 1993-12-27 1995-07-28 Canon Inc カメラ防振制御装置
JP2010154374A (ja) * 2008-12-26 2010-07-08 Canon Inc 撮像装置および被写体追跡方法
JP2011217333A (ja) * 2010-04-02 2011-10-27 Canon Inc 撮像装置および撮像装置の制御方法
JP2015172610A (ja) * 2014-03-11 2015-10-01 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2016122132A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体
JP2018180111A (ja) * 2017-04-06 2018-11-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム

Also Published As

Publication number Publication date
WO2021131573A1 (ja) 2021-07-01
JP2021107874A (ja) 2021-07-29
US20220329738A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
CN107862243B (zh) 搜索设备、包括该搜索设备的摄像设备和搜索方法
EP1748378B1 (en) Image capturing apparatus and image capturing method
TWI386056B (zh) A composition determination means, a composition determination method, and a composition determination program
CN113038016B (zh) 无人机图像采集方法及无人机
JP5204785B2 (ja) 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法
CN105187723B (zh) 一种无人飞行器的摄像处理方法
JP5127531B2 (ja) 画像監視装置
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
CN106060379B (zh) 摄像设备和摄像设备的控制方法
CN111353355B (zh) 动作追踪系统及方法
WO2004077820A1 (ja) 画像撮像処理方法および画像撮像装置
JP4553384B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
CN114339102B (zh) 一种录像方法及设备
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
JP2007074033A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2020053774A (ja) 撮像装置および画像記録方法
WO2022041014A1 (zh) 云台及其控制方法、设备,拍摄装置、系统和存储介质
JP6833483B2 (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
CN114902131A (zh) 摄像设备及其控制方法、程序和存储介质
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
CN114339101B (zh) 一种录像方法及设备
JP5247419B2 (ja) 撮像装置および被写体追跡方法
JP2010028418A (ja) 撮像装置
CN113747044A (zh) 一种全景拍摄方法及设备
JP2021022783A (ja) 制御装置、追尾システム、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination