CN109391755B - 摄像设备及其中执行的方法 - Google Patents

摄像设备及其中执行的方法 Download PDF

Info

Publication number
CN109391755B
CN109391755B CN201810880095.9A CN201810880095A CN109391755B CN 109391755 B CN109391755 B CN 109391755B CN 201810880095 A CN201810880095 A CN 201810880095A CN 109391755 B CN109391755 B CN 109391755B
Authority
CN
China
Prior art keywords
unit
image pickup
estimation
pickup apparatus
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810880095.9A
Other languages
English (en)
Other versions
CN109391755A (zh
Inventor
竹内谦司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109391755A publication Critical patent/CN109391755A/zh
Application granted granted Critical
Publication of CN109391755B publication Critical patent/CN109391755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明涉及一种摄像设备及其中执行的方法。摄像设备的振动传感器检测摄像设备的抖动并且获取抖动信息。摄像单元将被摄体的图像信号输出至摄像信号处理单元。运动矢量检测单元根据摄像之后的图像信号计算运动矢量。特征点追踪单元通过使用该运动矢量计算拍摄画面上的被摄体的坐标值，来进行特征点追踪。特征坐标映射和位置姿势估计单元基于通过带限滤波器对来自振动传感器的抖动信息进行带限制所获得的信息、以及特征点追踪单元的输出，来估计摄像设备的位置或姿势。估计单元评价估计误差，并且基于所计算出的评价值来改变经过带限滤波器的限制的带、或者改变在根据校正值校正估计值时的校正倍率。

Description

摄像设备及其中执行的方法
技术领域
本发明涉及诸如摄像机、数字静态照相机或其可更换镜头等的光学设备，并且更特别地涉及具有自身位置姿势估计功能的摄像设备及其控制方法。
背景技术
存在具有用于校正由于手抖动等而发生的被摄体的图像抖动的功能的摄像设备。需要使用惯性传感器来检测施加到摄像设备的主体的振动和姿势变化，以进行图像抖动校正。另外，在拍摄者正随着被摄体移动的同时在拍摄视角内拍摄到被摄体(移动物体或静止物体)的拍摄中，发生由于拍摄者期望的移动(以下称为运镜(camera work))而产生的位置变化。摄像设备需要独立于其姿势变化来检测由于运镜而产生的位置变化。
作为用于获取移动物体的位置和姿势的信息的方法，存在使用惯性传感器的惯性导航数据和全球定位系统(GPS)的定位数据的方法。美国专利8494225公开了用于使用图像的移动信息来校正利用惯性传感器所估计的位置姿势估计信息的估计误差的方法。此外，作为用于检测摄像设备的姿势和位置的自身位置估计方法，存在使用运动结构(SFM)和惯性传感器的位置姿势估计(视觉和惯性传感器融合(visual and inertial sensorfusion))技术。已知有用于使用该技术来估计真实空间中的物体的三维位置以及摄像设备的位置姿势的方法。
根据现有技术，在由于拍摄环境的变化而导致惯性传感器的偏置误差的变化非常大的情况、或者由于运镜的急剧变化而导致惯性传感器的输出大幅改变的情况等下，可能无法正确地进行使用图像信息的校正。可选地，在需要很长时间直到正确地校正了偏置误差为止的情况下，存在无法进行正确的位置姿势估计直到该校正完成为止的问题。
发明内容
本发明提供能够获取抖动信息并且以较高的精度进行位置姿势估计的摄像设备及其控制方法。
根据本发明的方面的设备是一种摄像设备，用于使用摄像单元获取图像信号，所述摄像设备包括：第一获取单元，用于获取表示抖动检测单元所检测到的所述摄像设备的抖动的第一信息；第二获取单元，用于获取表示在所述摄像单元的图像信号中检测到的被摄体的移动的第二信息；以及估计单元，用于估计所述摄像设备的位置或姿势，其中，所述估计单元包括计算单元和校正单元，所述计算单元用于根据所述第一信息和所述第二信息、或者经过带限制的第一信息，来计算所述摄像设备的位置或姿势的估计值，所述校正单元用于使用所述第二信息来计算针对所述估计值的校正值。
一种摄像设备中执行的方法，所述摄像设备使用摄像单元获取图像信号，所述方法包括以下步骤：获取表示抖动检测单元所检测到的所述摄像设备的抖动的第一信息、以及表示在所述摄像单元的图像信号中检测到的被摄体的移动的第二信息；以及估计步骤，用于估计所述摄像设备的位置或姿势，其中，所述估计步骤包括：根据所述第一信息和所述第二信息、或者经过带限制的第一信息来计算所述摄像设备的位置或姿势的估计值，并且使用所述第二信息来计算针对所述估计值的校正值。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明实施例的摄像设备的结构示例的图。
图2是示出根据本发明实施例的特征坐标映射和位置姿势估计单元的结构示例的图。
图3是说明根据本发明的第一实施例的位置姿势估计单元的内部结构的图。
图4是表示运动图像帧中的摄像设备的位置姿势、三维特征点坐标和拍摄图像中的特征点坐标之间的关系的图。
图5是物体在世界坐标中的坐标位置和在照相机坐标中的坐标位置之间的关系图。
图6是表示在镜头的前方设置虚拟摄像面的透视投影的模型的图。
图7是说明位置姿势校正单元的详细内部结构的图。
图8A和8B是表示振动传感器噪声的大小与控制参数之间的关系的图。
图9是根据第一实施例的位置姿势估计处理的流程图。
图10是说明根据本发明的第二实施例的位置姿势估计单元的内部结构的图。
图11是根据第二实施例的位置姿势估计处理的流程图。
具体实施方式
将参考附图来说明本发明的实施例。在各实施例中，例示具有位置姿势估计功能的摄像设备。
第一实施例
图1是示出根据本实施例的摄像设备的结构示例的框图。摄像设备100例如是数字静态照相机，并且具有运动图像拍摄功能。
摄像设备100包括变焦单元101。变焦单元101构成成像光学系统，并且包括用于改变拍摄倍率的变焦透镜。变焦驱动单元102根据来自控制单元119的控制信号来驱动变焦单元101。图像抖动校正透镜(以下称为校正透镜)103是用于校正图像抖动的可移动光学构件。校正透镜103沿与摄像光学系统的光轴方向垂直的方向可移动。图像抖动校正透镜驱动单元104根据来自控制单元119的控制信号来控制校正透镜103的驱动。光圈/快门单元105包括具有光圈功能的机械快门。光圈和快门驱动单元106根据来自控制单元119的控制信号来驱动光圈/快门单元105。调焦透镜107是用于焦点调节的可移动透镜，并且其位置可以沿着摄像光学系统的光轴改变。调焦驱动单元108根据来自控制单元119的控制信号来驱动调焦透镜107。
摄像单元109通过利用诸如CCD图像传感器或CMOS图像传感器等的摄像元件将摄像光学系统所形成的光学图像转换为像素单元的电气信号来获取图像信号。CCD是“电荷耦合器件”的缩写。CMOS是“互补金属氧化物半导体”的缩写。摄像信号处理单元110对摄像单元109所输出的图像信号进行模拟(A)/数字(D)转换、相关双采样、伽玛校正、白平衡校正和颜色插值处理，以将该图像信号转换成视频信号。
视频信号处理单元111根据用途来处理从摄像信号处理单元110获取到的图像信号。具体地，视频信号处理单元111生成显示所用的图像信号，并且进行用于将该图像信号转换成代码的处理或者用于将该图像信号转换成数据文件的处理，以进行记录。显示单元112根据视频信号处理单元111所输出的显示所用的图像信号来在需要的情况下显示图像。电源单元115根据用途来向摄像设备的各单元供给电源。外部输入/输出端子单元116用于从外部装置接收或向外部装置输出通信信号和视频信号。操作单元117具有供用户向摄像设备给出指示所用的诸如按钮或开关等的操作构件。例如，操作单元117具有释放开关，其中该释放开关被配置成根据释放按钮的推压量来顺次地接通第一开关(表示为SW1)和第二开关(表示为SW2)。另外，操作单元117具有各种类型的模式设置开关。存储单元118存储包含图像(或视频)信息等的各种类型的数据。
控制单元119例如具有CPU、ROM和RAM。CPU是“中央处理单元”的缩写。ROM是“只读存储器”的缩写。RAM是“随机存取存储器”的缩写。CPU将ROM中所存储的控制程序在RAM中展开，并且控制摄像设备100的各单元以实现以下要说明的各种操作。在通过针对操作单元117中所包括的释放按钮的半按下操作而接通了SW1的情况下，控制单元119基于由视频信号处理单元111输出至显示单元112的显示所用的视频信号来计算自动调焦(AF)评价值。控制单元119通过基于该AF评价值控制调焦驱动单元108，来进行自动焦点检测和焦点调节控制。另外，控制单元119进行自动曝光(AE)处理，以基于视频信号的亮度信息和预定程序图来确定用于获得适当曝光量的光圈值和快门速度。此外，在通过对释放按钮进行全按下操作而接通了SW2的情况下，控制单元119使用所确定的光圈值和快门速度来进行拍摄处理，并且控制各处理单元，使得将摄像单元109所获得的图像数据存储在存储单元118中。
操作单元117具有图像抖动校正(防振)模式的选择所使用的操作开关。在通过该操作开关的操作而选择了图像抖动校正模式的情况下，控制单元119指示图像抖动校正透镜驱动单元104进行图像抖动校正操作。图像抖动校正透镜驱动单元104根据控制单元119的控制命令来进行图像抖动校正操作，直到发出了用以关闭图像抖动校正的指示为止。另外，操作单元117具有能够选择静止图像拍摄模式和运动图像拍摄模式其中之一的拍摄模式选择开关。通过拍摄模式选择开关的用户操作来进行拍摄模式的选择处理，并且控制单元119改变图像抖动校正透镜驱动单元104的操作条件。图像抖动校正透镜驱动单元104构成本实施例的图像抖动校正装置。另外，操作单元117具有用于选择再现模式的再现模式选择开关。在用户通过再现模式选择开关的操作而选择了再现模式的情况下，控制单元119进行控制以停止图像抖动校正操作。操作单元117具有用于进行变焦倍率改变的指示的倍率改变开关。在通过倍率改变开关的用户操作而指示了变焦倍率改变的情况下，接收到来自控制单元119的指示的变焦驱动单元102驱动变焦单元101以使变焦透镜移动到所指示的位置。
图2是示出根据本实施例的摄像设备的用于实现位置姿势估计的结构的框图。摄像设备100包括第一振动传感器201和第二振动传感器203。第一振动传感器201是用于检测摄像设备100的角速度的角速度传感器，并且第二振动传感器203是用于检测摄像设备100的平移加速度的加速度传感器。A/D转换器202将第一振动传感器201所检测到的模拟信号转换成数字数据。A/D转换器204将第二振动传感器203所检测到的模拟信号转换成数字数据。
运动矢量检测单元210基于通过摄像信号处理单元110对摄像单元109获取到的图像数据进行处理而获得的信号来检测运动矢量。特征点追踪单元209从运动矢量检测单元210获取运动矢量，并且针对拍摄图像中的预定特征点，检测并追踪在拍摄运动图像时的每帧处的坐标的移动位置。
特征坐标映射和位置姿势估计单元(以下简称为估计单元)205从A/D转换器202和204获取来自振动传感器201和203各自的抖动信息，并且从特征点追踪单元209获取基于图像信息的抖动信息。估计单元205基于该信息来估计特征坐标映射。特征坐标映射是表示包括摄像设备100的位置姿势以及拍摄被摄体相对于摄像设备的深度的位置关系的信息。估计单元205包括特征坐标映射估计单元206、位置姿势估计单元207、位置姿势校正单元208和振动传感器噪声判断单元211。
接着，将参考图3来说明位置姿势估计单元207的结构和处理。图3是示出位置姿势估计单元207的结构示例的图。位置姿势估计单元207包括姿势估计单元401和位置估计单元420。姿势估计单元401估计摄像设备100的姿势，并且位置估计单元420估计摄像设备100的位置。
姿势估计单元401包括加法器402、405和406。在以下说明中，减法由加法器作为负值的相加进行。姿势估计单元401包括运动方程运算单元403、高通滤波器404、延迟元件408和转动矩阵转换单元407，其中该运动方程运算单元403用于进行与摄像设备100的姿势变化有关的运算。用于进行频带的带限制的高通滤波器404是能够改变截止频率的滤波器。延迟元件408具有在按预定周期执行姿势估计运算时使信号延迟一个运算周期的样本的功能。转动矩阵转换单元407将姿势信息从四元数(quaternion)表现转换成转动矩阵表现。
另外，位置估计单元420包括加法器409、411、413、414和415，世界坐标中的加速度运算单元410、高通滤波器412和417、以及延迟元件416和418。高通滤波器412和417这两者是能够改变截止频率的滤波器。
首先，将说明利用姿势估计单元401的姿势估计。如下所述定义摄像设备100的角速度和以下要说明的位置姿势校正单元208所计算出的角速度偏置估计值。
ωm：第一振动传感器201(角速度传感器)所检测到的摄像设备100的角速度
Figure BDA0001754266520000071
位置姿势校正单元208所计算出的角速度偏置估计值
加法器402使用等式1进行偏置校正，并且将结果输出至与姿势变化有关的运动方程运算单元403。
Figure BDA0001754266520000072
如在以下的数学式3中那样定义姿势估计值。延迟元件408输出被延迟的一个样本前的姿势估计值。一个样本前意味着是与预定采样频率相对应的周期(一个采样时间段)的长度的过去时间。
Figure BDA0001754266520000073
运动方程运算单元403基于一个样本前的姿势估计值和等式1的ω，使用等式2来获得姿势。
Figure BDA0001754266520000081
符号的含义如下所述。
q：四元数
Figure BDA0001754266520000082
表示从世界坐标(W)向着固定到摄像设备100的照相机坐标(C)的转动的四元数
世界坐标是与如图5所示的摄像设备的位置无关地指定物体的坐标的固定坐标。为了简化本实施例的说明，假定使用第一振动传感器201和第二振动传感器203的坐标系与照相机坐标一致。另外，可以使用等式3来计算等式2中的Ω(ω)。
Figure BDA0001754266520000083
Figure BDA0001754266520000084
是失真对称矩阵。
运动方程运算单元403将作为运算结果的姿势角度变化量输出至高通滤波器404。高通滤波器404对该姿势角度变化量进行带限制以去除低频分量。加法器405将高通滤波器404的输出和延迟元件408的输出(一个样本前的姿势估计值)相加，并且对下一样本处的姿势估计值进行运算。通过在以这种方式去除低频分量之后进行积分，即使在正确地估计了角速度偏置估计值
Figure BDA0001754266520000085
或者估计误差大的状态下，也可以抑制由角速度偏置误差引起的姿势估计值的漂移变化。将加法器405的输出发送至加法器406和延迟元件408，并且延迟元件408将延迟信号输出至运动方程运算单元403和转动矩阵转换单元407。根据以下要说明的姿势估计校正值来对作为加法器405的输出的姿势估计值进行校正，并且在加法器406中作为最终姿势估计值输出。
接着，将说明利用位置估计单元420的位置估计。如下所述定义摄像设备100的加速度、以及以下要说明的位置姿势校正单元208所计算出的加速度偏置估计值。
am：第二振动传感器203(加速度传感器)所检测到的摄像设备100的加速度
Figure BDA0001754266520000091
位置姿势校正单元208所计算出的加速度偏置估计值
加法器409使用等式4来进行偏置校正，并且将该结果输出至世界坐标中的加速度运算单元410。
Figure BDA0001754266520000092
将速度估计值表示为
Figure BDA0001754266520000093
延迟元件416输出被延迟的一个样本前的速度估计值。加速度运算单元410获取一个样本前的速度估计值和加法器409的输出。加速度运算单元410和加法器411使用等式5来获得摄像设备100的速度，并且基于世界坐标中的重力加速度g将该速度输出至高通滤波器417。
Figure BDA0001754266520000094
Figure BDA0001754266520000095
通过对姿势估计单元401所估计的姿势估计值
Figure BDA0001754266520000096
进行转换所获得的转动矩阵。
作为加速度传感器的第二振动传感器203检测照相机坐标系中的加速度。需要对坐标系进行转换，以将该加速度设置为最初期望估计的世界坐标系中的加速度信息。因此，根据作为摄像设备的姿势估计值的转动矩阵
Figure BDA0001754266520000097
来进行用于将照相机坐标系中的加速度信息转换成世界坐标系中的加速度信息的处理。
由于第二振动传感器203除了检测由摄像设备100的移动引起的加速度以外、还检测重力加速度，因此加法器411在等式5中，通过从加速度运算单元410的输出减去重力加速度g来去除重力加速度的影响。
此外，在本实施例中采取针对加速度偏置估计值
Figure BDA0001754266520000101
的估计误差以及姿势估计单元401所估计的姿势估计误差的影响的对策。担心在通过对由于这些误差而导致在对加速度进行积分所计算出的速度估计值
Figure BDA0001754266520000102
中可能发生漂移。因此，高通滤波器412从加法器411的输出中去除世界坐标中的加速度信息的低频分量误差。高通滤波器412的输出被加法器413获取，并且与延迟元件416的一个样本前的延迟信号相加。延迟元件416获取加法器413的输出，并且将延迟信号输出至加速度运算单元410。
加法器413所输出的速度估计值(数学式16)还具有高通滤波器417所去除的低频分量。加法器414将高通滤波器417的输出与延迟元件418所输出的一个样本前的位置估计值相加。将相加之后的输出
Figure BDA0001754266520000103
发送至加法器415和延迟元件418。加法器415通过将以下要说明的位置估计校正值与加法器414的输出相加来进行校正，并且输出最终位置估计值。
如上所述，在位置估计中，由于与姿势估计运算相比、通过加速度的二阶积分处理来估计位置，因此在加速度和速度估计值中存在偏置误差的情况下，在位置估计的结果中可能发生漂移误差。另外，由于在从加速度信息中去除重力加速度的影响时使用姿势估计单元401的估计结果，因此可能由于姿势估计误差而发生大的漂移。因此，在本实施例中，在估计加速度偏置估计值
Figure BDA0001754266520000104
之前或者在姿势估计单元所估计的姿势估计值的误差大时，在位置估计操作中进行高通滤波处理。可以通过利用高通滤波器412和417进行两次低频分量的去除，来抑制位置估计值的漂移。
接着，将说明特征坐标映射估计单元206中的特征坐标映射估计方法。特征坐标映射估计单元206使用Harris角点或SIFT特征等作为特征点的提取方法。另外，关于利用特征点追踪单元209的特征点的追踪方法，在提供以特征点为中心的正方形窗口并且给出运动图像的新的帧的情况下，使用用于获得在帧之间窗口内的残差最小的点的方法。使用这样获得的各帧处的特征点追踪信息，根据运动结构(SFM)来同时估计摄像设备的位置姿势以及摄像设备所摄像的真实空间中的特征点的位置。
图4是表示运动图像帧中的摄像设备100的位置姿势、三维特征点坐标和拍摄图像中的特征点坐标之间的关系的示意图。将包括要估计的深度信息的三维空间中的特征点坐标映射的特征坐标表示为(X,Y,Z)。对于第一帧(帧1)中的照相机位置和姿势，将照相机位置表示为O(原点)，并且照相机姿势由I(单位矩阵)表示。将此时拍摄画面上的特征坐标表示为(u1，v1)。
另外，对于第二帧(帧2)中的照相机位置姿势，将照相机位置表示为T，将照相机姿势表示为R，并且将此时拍摄画面上的坐标特征表示为(u2，v2)。
将参考图5～7来说明位置姿势校正单元208的结构。图7的位置姿势校正单元208包括拍摄图像上特征坐标转换单元301、加法器302、位置姿势反馈增益单元303和偏置估计增益单元304。在下文，将拍摄图像上特征坐标转换单元简称为坐标转换单元，并且将位置姿势反馈增益单元简称为FB增益单元。FB增益单元303的增益值与位置姿势校正所用的校正倍率相对应。另外，偏置估计增益单元304的增益值与偏置校正所用的校正倍率相对应。各增益值是可变值。
在坐标转换单元301中，进行以下的处理，其中该处理用于将特征坐标映射估计单元206所估计的还包括深度信息的三维空间中的特征坐标映射信息以及利用位置姿势估计单元207的位置姿势估计值转换成拍摄图像上的特征点坐标。坐标转换单元301首先将特征坐标映射估计单元206所估计的世界坐标系中的三维特征坐标转换成照相机坐标系中的三维特征坐标。
图5是示出物体在世界坐标中的坐标位置和在照相机坐标中的坐标位置之间的关系的图。T是从世界坐标的原点OW向着照相机坐标的原点OC的矢量。(rx,ry,rz)表示代表如在世界坐标中观看到的照相机坐标的各轴(x,y,z)的方向的单位矢量。假定将照相机坐标系中的点(x,y,z)表示为世界坐标系中的点(X,Y,Z)。这些坐标之间的关系如下所述。
Figure BDA0001754266520000121
在等式6中，R表示转动矩阵，并且T表示平行平移矢量。R和T是由位置姿势估计单元207所计算的。
接着，例如通过投影变换来进行通过等式6转换得到的从照相机坐标系的三维特征坐标向着拍摄图像中的坐标的转换。图6示出在镜头的前方在焦点距离f的位置处设置虚拟摄像面的情况下的透视投影的模型。图6中的点O表示照相机镜头的中心，并且Z轴表示照相机的光轴。另外，具有点O作为原点的坐标系表示照相机坐标系。(X,Y,Z)表示照相机坐标系中的物体的坐标位置。将通过透视转换从物体的照相机坐标(X,Y,Z)投影得到的图像坐标表示为(x,y)。将用于将(X,Y,Z)转换成(x,y)的等式表示为以下等式。
Figure BDA0001754266520000122
可以使用等式7来将特征坐标映射估计单元206所估计的包括被摄体的深度的三维特征坐标映射转换成拍摄图像上的二维特征坐标。
图7的加法器302从特征点追踪单元209的输出减去坐标转换单元301的输出。计算特征点追踪单元209实际观察到的特征坐标的位置坐标与从对象被摄体的特征坐标映射通过转换获得的二维特征坐标之间的误差(位置坐标误差)。FB增益单元303和偏置估计增益单元304将位置坐标误差乘以各增益值，并且计算位置姿势估计校正值和偏置校正值。
加法器302所计算出的位置坐标误差是实际观察到的拍摄画面上的特征点坐标和通过将三维坐标映射投影到拍摄画面上所获得的特征点坐标之间的误差。因此，在三维坐标映射值和通过观察获得的特征坐标追踪值正确的情况下，该位置坐标误差是由在将三维坐标映射投影到拍摄画面上时的位置姿势估计的误差引起的。利用加法器406、415、402和409将位置姿势估计校正值和偏置估计值(校正值)反馈到位置姿势估计的结果，使得该坐标误差量变为零，由此位置姿势估计值接近其真值。
在本实施例中，FB增益单元303和偏置估计增益单元304的各增益值、以及位置姿势校正的频率根据振动传感器噪声判断单元(以下简称为噪声判断单元)211的判断结果而改变。
将参考图8A和8B来说明利用噪声判断单元211的噪声判断和位置姿势估计值的校正之间的关系。在利用位置姿势估计单元207的位置姿势估计中，使用第一振动传感器201和第二振动传感器203的各输出来进行运算。由于该原因，在振动传感器的偏置值和漂移值大的情况下、或者在振动大的情形下，在估计值中可能发生误差。在存在在估计值中可能发生误差的可能性的情况下，噪声判断单元211计算评价值并基于该评价值来改变控制内容。结果，可以提高位置姿势估计的精度。
图8A是示出噪声判断单元211的判断内容与评价值之间的关系的示意图。横轴表示判断对象的大小，并且纵轴表示评价值。图8B示出评价值和校正控制参数之间的关系。横轴表示评价值，并且纵轴表示校正控制参数。
噪声判断单元211根据以下条件来判断噪声评价值。
·第一振动传感器201和第二振动传感器203的输出大的情况
例如，在由于摄像设备100的平摇而导致视角大幅改变的情况下，发生陡峭的位置姿势变化。作为由陡峭的位置姿势变化引起的位置姿势估计的结果，可能发生误差。因此，随着振动传感器的输出增加，噪声判断单元211增大评价值。
·在偏置校正之后的振动传感器的输出中发生漂移误差(变化量)的情况
由于存在在位置姿势估计值中可能发生漂移误差的可能性，因此随着漂移误差增大，噪声判断单元211增大评价值。
·发生再投影误差的情况
再投影误差是位置姿势校正单元208的加法器302所计算出的特征点的追踪坐标和通过将特征坐标映射转换成拍摄画面上的特征坐标所获得的坐标值之间的误差。随着再投影误差增大，噪声判断单元211增大评价值。
·驱动单元的驱动量或驱动速度大的情况
摄像设备包括用于驱动变焦单元101、图像抖动校正透镜103、光圈/快门单元105和调焦透镜107等的机构部。可选地，机构部设置在可以安装在摄像设备的主体上的镜头装置中。在与机构部有关的驱动单元的驱动量或驱动速度大时，振动传感器检测由机械驱动引起的振动，并且在位置姿势估计值中可能发生误差。因此，随着驱动量或驱动速度增大，噪声判断单元211增大评价值。
·在偏置校正之后的振动传感器的输出中发生偏置校正误差的情况
如果由于偏置校正误差而导致偏置估计值偏离其真值，则存在在位置姿势估计值中可能发生漂移误差的可能性，因而随着偏置校正误差增大，噪声判断单元211增大评价值。
根据上述条件的判断结果，控制内容如图8B所示改变。
·用以在评价值增大时增加高通滤波器的截止频率的控制。
如果评价值增大，则与评价值低的情况相比，高通滤波器404、412和417的截止频率改变为更高的频率。
·用以在评价值增大时增大增益值(校正倍率)的控制。
如果评价值增大，则与评价值低的情况相比，FB增益单元303和偏置估计增益单元304的各增益值变大。
·用以在评价值增大时增加校正频率的控制。
如果评价值增大，则与评价值低的情况相比，利用位置姿势校正单元208的位置姿势校正的频率和由偏置校正引起的位置姿势估计值的校正的频率被设置得较高。
如上所述，在判断为振动传感器的噪声评价值高的情况下，担心由于所检测到的振动传感器的噪声等而导致在诸如低频漂移等的低频分量的位置姿势估计中可能发生误差。在本实施例中，使用高通滤波器来采取用于去除低频分量的措施。另外，在利用高通滤波器去除低频分量的情况下，存在位置姿势估计单元207可能无法正确地检测到位置姿势估计值的低频移动的可能性。在本实施例中，可以通过增大FB增益单元303的增益值来校正低频范围中的估计误差。存在除增大位置姿势校正的增益值和偏置估计的增益值以外的措施。例如，存在如下的方法，其中该方法用于缩短利用特征坐标映射估计单元206的特征坐标估计的估计周期、以及利用位置姿势校正单元208的位置姿势估计的校正值和偏置校正值的运算周期。在这种情况下，噪声判断单元211向特征坐标映射估计单元206指示估计周期，并且向位置姿势校正单元208指示校正周期(校正量的运算周期)。另外，可以通过增加预定时间的加法器402、406、409和415所进行的位置姿势估计值和偏置的校正次数(即，增加校正频率)，来获得与用于增大校正增益值的方法相同的效果。在这种情况下，噪声判断单元211向位置姿势估计单元207指示每预定时段进行校正的次数。
在FB增益单元303和偏置估计增益单元304的各增益值增大的情况下，位置姿势的校正速度增大，因此可以更快地使估计值接近其真值。然而，在不能追踪从图像检测到的特征点的情况、或者噪声分量叠加在特征点的追踪坐标上的情况下，存在在校正后的估计结果中发生误差的可能性。由于该原因，期望增益值不应设置得过高。在本实施例中，高通滤波器的校正增益和截止频率并不总是设置得高，并且基于利用噪声判断单元211的评价值的判断结果来改变控制内容。在振动传感器噪声等大并且评价值高的情况下，根据该情形来改变控制内容。结果，可以提高位置姿势估计的精度。
将参考图9的流程图来说明摄像设备100的位置姿势估计处理。图9中的S101～S105的处理和S108～S110的处理作为并行处理来执行。
首先，在S108中，摄像单元109将从被摄体经由摄像光学系统成像得到的光学信号转换成电气信号，并且获取图像信号。接着，摄像信号处理单元110将模拟信号转换成数字信号并且进行预定的图像处理。运动矢量检测单元210基于具有图像时刻不同的多个图像数据来计算运动矢量(S109)。运动矢量检测单元210获取存储器中所存储的一帧前的图像(S111)，将该图像与当前帧的图像进行比较，并且基于图像之间的偏差来计算运动矢量。用于检测运动矢量的方法包括相关方法和块匹配方法等。在本发明中，可以使用任何方法作为用于计算运动矢量的方法。
特征点追踪单元209基于所检测到的图像的运动矢量信息，针对拍摄运动图像时的每帧，对拍摄图像中的预定特征点的坐标的移动位置进行检测和追踪(S110)。关于特征点追踪技术，存在如下的方法，其中该方法用于在提供以特征点为中心的正方形窗口并且给出对象图像(或视频)的新的帧的情况下，获得在帧之间窗口内的残差最小的点。利用该方法的处理按与运动图像拍摄的图像获取的帧速率相对应的周期重复地执行。在S110的处理之后，过程进入S106。
接着，将参考图9的S101～S105来说明位置姿势估计处理。
第一振动传感器201检测摄像设备100的角速度(S101)，第二振动传感器203检测摄像设备100的加速度(S102)。接着，根据前一采样周期的处理，使用位置姿势校正单元208所估计的偏置校正值来进行第一振动传感器201和第二振动传感器203的偏置校正(S103)。由噪声判断单元211设置了截止频率的各个高通滤波器404、412和417输出带限信号(S104)。通过上述操作来计算位置姿势估计值(S105)。
将在S110中检测到的特征点的追踪坐标和在S105中计算出的位置姿势估计值作为一组信息存储在存储单元118中(S106)。在下一S107中，判断当前帧编号与经过了利用位置姿势校正单元208的位置姿势估计校正的运动图像帧编号是否相对应。通过是否对齐了与特征坐标映射的估计所需的帧数一样多的特征坐标和位置姿势估计值的组的数量，来判断当前帧是否是进行了位置姿势估计校正的运动图像帧。例如，在图4所示的特征坐标映射的估计处理的情况下，可以根据帧数是两个或更多个的状态来进行估计。因此，在需要两帧的信息时，过程进入S112的处理。如果帧数不足，则过程结束。说明了用于使用噪声判断单元211来缩短估计周期或运算周期或者增加校正频率的方法，作为与用于在评价值增大时增大位置姿势校正的增益值和偏置估计增益值的方法不同的措施。在这些情况下，将在S107中判断出的经过了位置姿势估计校正的帧数设置为较小的帧数。这是因为，进行以下的控制，其中该控制用以缩短位置姿势估计校正值和偏置校正值的运算周期，并且增加预定时间的使用加法器402、406、409和415的位置姿势估计值和偏置值的校正次数。
在S112中执行特征坐标映射的估计处理之后，利用位置姿势校正单元208更新偏置值(S113)。然后，进行位置姿势估计值的校正处理(S114)，并且这一系列处理结束。如果在S107中作出否定判断(“否”)，则不进行偏置值和位置姿势估计值的校正，并且处理结束。
根据本实施例，在运动图像的各帧中重复地执行摄像设备的位置姿势估计和特征坐标映射估计处理以及位置姿势估计值的校正，由此可以获得正确的位置姿势估计值。
第二实施例
接着，将说明本发明的第二实施例。向本实施例中的与第一实施例相同的组件赋予在第一实施例中已使用的附图标记，并且将省略针对这些组件的说明。
图10是示出本实施例的位置姿势估计单元207的结构示例的图。以下是与图3所示的结构的不同之处。
·删除了进行频带的带限制的高通滤波器404、412和417。
·不同于第一实施例的位置姿势估计，增加了针对特征点坐标估计所用的位置姿势估计的变化信息的高通滤波器1001和1002。
高通滤波器1001对加法器406的输出进行滤波处理，并且将特征点坐标估计所用的姿势估计值输出至特征坐标映射估计单元206。高通滤波器1002对加法器415的输出进行滤波处理，并且将特征点坐标估计所用的位置估计值输出至特征坐标映射估计单元206。高通滤波器1001和1002这两者都是能够改变截止频率的滤波器。
图11是说明根据本实施例的位置姿势估计处理的流程图。以下是与图9的不同之处。
·在不存在图9的S104的高通滤波处理的情况下，在S103的偏置校正处理之后，过程进入S105的位置姿势估计处理。
·在S105和S106之间的S1101中，高通滤波器1001和1002对特征坐标映射估计所用的位置姿势的变化信息(位置姿势估计值的变化)进行各处理。
在本实施例中，不对位置姿势估计单元207中的利用振动传感器的低频率的位置姿势变化的估计值进行利用高通滤波器的带限处理。结果，可以提高在低频率下缓慢的位置姿势变化的估计精度。另一方面，发现了位置姿势估计的大的偏差(特别是位置的漂移)的影响会极大地影响利用特征坐标映射估计单元206的三维坐标估计的估计精度。因此，仅针对三维坐标估计所使用的位置姿势估计值的变化才利用高通滤波器1001和1002去除低频分量，以减少并改善由位置估计值的漂移误差引起的三维坐标估计的误差。
根据本实施例，可以提高三维坐标估计值的估计精度，并且可以通过校正位置姿势估计值来提高位置姿势估计的精度。即使在振动传感器信息的误差中存在大的变化的情况下，也可以提供能够以较高的精度获得位置姿势估计结果的摄像设备及其控制方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2017年8月3日提交的日本专利申请2017-151024的优先权，在此通过引用包含其全部内容。

Claims (20)

1.一种摄像设备，用于使用摄像单元获取图像信号，其特征在于，所述摄像设备包括：
第一获取单元，用于获取表示抖动检测单元所检测到的所述摄像设备的抖动的第一信息；
第二获取单元，用于获取表示在所述摄像单元的图像信号中检测到的被摄体的移动的第二信息；以及
估计单元，用于估计所述摄像设备的位置和姿势，
其中，所述估计单元包括计算单元和校正单元，所述计算单元用于根据所述第一信息和所述第二信息、或者经过带限制的第一信息，来计算所述摄像设备的位置和姿势的估计值，所述校正单元用于使用所述第二信息来计算针对所述估计值的校正值。
2.根据权利要求1所述的摄像设备，其中，
所述估计单元还包括带限制单元，所述带限制单元用于对所述第一信息的频带进行限制，
所述计算单元根据经过所述带限制单元的带限制的第一信息来计算所述估计值，以及
所述估计单元根据所述校正值来校正所述估计值。
3.根据权利要求1所述的摄像设备，其中，
所述计算单元根据所述第一信息和所述第二信息来计算所述估计值，以及
所述估计单元还包括带限制单元，所述带限制单元用于针对利用所述校正值进行了校正的估计值，对频带进行限制。
4.根据权利要求2或3所述的摄像设备，其中，所述估计单元还包括用于计算估计误差的评价值的评价单元，并且所述估计单元根据所述评价值来改变经过所述带限制单元的限制的频带，或者改变在根据所述校正值校正所述估计值时的校正倍率。
5.根据权利要求1至3中任一项所述的摄像设备，其中，还包括：
追踪单元，用于通过使用所述第二信息计算拍摄画面上的所述被摄体的坐标值，来进行特征点追踪，
其中，所述估计单元基于所述第一信息和所述被摄体的坐标值来生成特征坐标映射，其中所述特征坐标映射表示包括所述摄像设备的位置和姿势、以及所述被摄体相对于所述摄像设备的深度的位置关系。
6.根据权利要求5所述的摄像设备，其中，所述校正单元基于所述特征坐标映射以及所述摄像设备的位置和姿势的估计值来估计所述被摄体在所述拍摄画面上的特征坐标，并且基于所述拍摄画面上的特征坐标的估计值和所述追踪单元所计算出的特征点的追踪坐标来计算所述校正值。
7.根据权利要求6所述的摄像设备，其中，所述校正单元包括：
转换单元，用于获取所述摄像设备的位置和姿势的估计值以及所述特征坐标映射，并且将所述特征坐标映射转换成所述拍摄画面上的特征坐标；
减法单元，用于从所述追踪单元所计算出的特征点的追踪坐标减去所述转换单元的输出；以及
增益单元，用于通过将所述减法单元的输出乘以增益值来计算所述校正值。
8.根据权利要求1至3中任一项所述的摄像设备，其中，所述抖动检测单元是角速度传感器或加速度传感器、或者角速度传感器和加速度传感器。
9.根据权利要求1至3中任一项所述的摄像设备，其中，还包括：
检测单元，用于检测运动矢量作为所述第二信息。
10.根据权利要求4所述的摄像设备，其中，所述评价单元根据所述评价值来进行所述抖动检测单元的噪声判断。
11.根据权利要求10所述的摄像设备，其中，
在所述抖动检测单元的输出或者该输出的变化量大的情况下的评价值高于在所述抖动检测单元的输出或者该输出的变化量小的情况下的评价值。
12.根据权利要求4所述的摄像设备，其中，还包括：
追踪单元，用于通过使用所述第二信息而计算拍摄画面上的被摄体的坐标值来进行特征点追踪，
其中，所述估计单元基于所述第一信息和所述被摄体的坐标值来生成特征坐标映射，并且计算再投影误差，其中，所述特征坐标映射表示包括所述摄像设备的位置和姿势、以及所述被摄体相对于所述摄像设备的深度的位置关系，所述再投影误差是特征点的追踪坐标和通过将所述特征坐标映射转换成所述拍摄画面上的特征坐标所获得的坐标值之间的误差。
13.根据权利要求12所述的摄像设备，其中，在所述再投影误差大的情况下的评价值高于在所述再投影误差小的情况下的评价值。
14.根据权利要求4所述的摄像设备，其中，在所述摄像设备或者安装在所述摄像设备的主体上的镜头装置中所包括的驱动单元的驱动量或驱动速度大的情况下的评价值高于在所述驱动单元的驱动量或驱动速度小的情况下的评价值。
15.根据权利要求14所述的摄像设备，其中，所述驱动单元对构成摄像光学系统的透镜、光圈或快门进行驱动。
16.根据权利要求10所述的摄像设备，其中，在所述抖动检测单元的偏置校正误差大的情况下的评价值高于在所述抖动检测单元的偏置校正误差小的情况下的评价值。
17.根据权利要求4所述的摄像设备，其中，随着所述评价值增大，所述估计单元增大所述带限制单元的截止频率。
18.根据权利要求4所述的摄像设备，其中，随着所述评价值增大，所述估计单元增大所述校正倍率或校正频率。
19.根据权利要求4所述的摄像设备，其中，随着所述评价值增大，所述估计单元缩短估计的周期或者用于进行所述校正值的运算的周期。
20.一种摄像设备中执行的方法，所述摄像设备使用摄像单元获取图像信号，其特征在于，所述方法包括以下步骤：
获取表示抖动检测单元所检测到的所述摄像设备的抖动的第一信息、以及表示在所述摄像单元的图像信号中检测到的被摄体的移动的第二信息；以及
估计步骤，用于估计所述摄像设备的位置和姿势，
其中，所述估计步骤包括：根据所述第一信息和所述第二信息、或者经过带限制的第一信息来计算所述摄像设备的位置和姿势的估计值，并且使用所述第二信息来计算针对所述估计值的校正值。
CN201810880095.9A 2017-08-03 2018-08-03 摄像设备及其中执行的方法 Active CN109391755B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-151024 2017-08-03
JP2017151024A JP7009107B2 (ja) 2017-08-03 2017-08-03 撮像装置およびその制御方法

Publications (2)

Publication Number Publication Date
CN109391755A CN109391755A (zh) 2019-02-26
CN109391755B true CN109391755B (zh) 2021-09-14

Family

ID=65019946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810880095.9A Active CN109391755B (zh) 2017-08-03 2018-08-03 摄像设备及其中执行的方法

Country Status (4)

Country Link
US (1) US10623644B2 (zh)
JP (1) JP7009107B2 (zh)
CN (1) CN109391755B (zh)
DE (1) DE102018118620A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062340A (ja) * 2017-09-26 2019-04-18 キヤノン株式会社 像振れ補正装置および制御方法
WO2019095284A1 (en) * 2017-11-17 2019-05-23 Panasonic Intellectual Property Corporation Of America User equipment, base station, and communication thereof
CN110401796B (zh) * 2019-07-05 2020-09-29 浙江大华技术股份有限公司 一种图像采集装置的抖动补偿方法和装置
WO2022178703A1 (zh) * 2021-02-24 2022-09-01 深圳市大疆创新科技有限公司 电子增稳方法及装置、可移动平台、成像装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274701A (ja) * 2003-02-21 2004-09-30 Canon Inc 画像処理装置及び画像処理方法
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
CN102099737A (zh) * 2008-07-15 2011-06-15 佳能株式会社 图像稳定控制设备和摄像设备
CN103176332A (zh) * 2011-12-21 2013-06-26 佳能株式会社 图像稳定设备及其控制方法、光学设备和摄像设备
WO2014104574A1 (ko) * 2012-12-28 2014-07-03 한국항공우주연구원 선형배열 영상 센서와 자세제어 센서 간의 절대 오정렬 보정방법
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN107003586A (zh) * 2014-11-21 2017-08-01 富士胶片株式会社 摄像装置及摄像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
JP2009300614A (ja) * 2008-06-11 2009-12-24 Canon Inc 撮像装置
JP5409342B2 (ja) * 2009-12-25 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
US8494225B2 (en) 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
US20110304706A1 (en) * 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
JP2017073753A (ja) * 2015-10-09 2017-04-13 富士通株式会社 補正方法、プログラム及び電子機器
JP6750250B2 (ja) 2016-02-26 2020-09-02 アイシン精機株式会社 センサの取付構造、燃料電池システム及びセンサの取付構造の製造方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274701A (ja) * 2003-02-21 2004-09-30 Canon Inc 画像処理装置及び画像処理方法
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
CN102099737A (zh) * 2008-07-15 2011-06-15 佳能株式会社 图像稳定控制设备和摄像设备
CN103176332A (zh) * 2011-12-21 2013-06-26 佳能株式会社 图像稳定设备及其控制方法、光学设备和摄像设备
WO2014104574A1 (ko) * 2012-12-28 2014-07-03 한국항공우주연구원 선형배열 영상 센서와 자세제어 센서 간의 절대 오정렬 보정방법
CN107003586A (zh) * 2014-11-21 2017-08-01 富士胶片株式会社 摄像装置及摄像方法
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置

Also Published As

Publication number Publication date
JP7009107B2 (ja) 2022-01-25
US10623644B2 (en) 2020-04-14
DE102018118620A1 (de) 2019-02-07
CN109391755A (zh) 2019-02-26
US20190045127A1 (en) 2019-02-07
JP2019029968A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
GB2567043B (en) Image pick-up apparatus and control method
CN109391755B (zh) 摄像设备及其中执行的方法
JP6600232B2 (ja) 像ブレ補正装置及び方法
JP6592335B2 (ja) 像ブレ補正装置及び方法
KR101594300B1 (ko) Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
WO2018030166A1 (ja) 像ブレ補正装置、光学機器、および像ブレ補正方法
CN114584676B (zh) 图像模糊校正装置及其控制方法和摄像装置
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP6806467B2 (ja) 画像処理装置及び方法、撮像装置、及び撮像システム
US10764500B2 (en) Image blur correction device and control method
US10873701B2 (en) Image pickup apparatus and control method thereof
JP6395401B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2018205551A (ja) 撮像装置およびその制御方法
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP6833381B2 (ja) 撮像装置、制御方法、プログラム、および、記憶媒体
JP6786288B2 (ja) 撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
JP7204855B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP7408294B2 (ja) 撮像装置、レンズ装置、撮像装置の制御方法およびレンズ装置の制御方法
JP7356272B2 (ja) 像ブレ情報取得装置及び方法、像ブレ補正装置、プログラム、記憶媒体
JP2022021684A (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP2021026180A (ja) 像振れ補正装置及び撮像装置
JP2021012259A (ja) 像ブレ補正装置及びその制御方法、撮像システム、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant