CN106550186B - 姿态估计装置、姿态估计方法以及记录介质 - Google Patents

姿态估计装置、姿态估计方法以及记录介质 Download PDF

Info

Publication number
CN106550186B
CN106550186B CN201610647213.2A CN201610647213A CN106550186B CN 106550186 B CN106550186 B CN 106550186B CN 201610647213 A CN201610647213 A CN 201610647213A CN 106550186 B CN106550186 B CN 106550186B
Authority
CN
China
Prior art keywords
axis
detected
test section
around
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610647213.2A
Other languages
English (en)
Other versions
CN106550186A (zh
Inventor
小野泽将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN106550186A publication Critical patent/CN106550186A/zh
Application granted granted Critical
Publication of CN106550186B publication Critical patent/CN106550186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)
  • Automation & Control Theory (AREA)

Abstract

本发明的摄像装置具备：基于来自3轴加速度传感器的输出信号来检测第1方向的矢量的加速度检测部；基于连续拍摄的多个帧图像来算出多个帧图像之间的绕翻滚轴的相对的旋转角度的角度算出部；和基于算出的绕翻滚轴的相对的旋转角度以及检测到的第1方向的矢量来对不同于第1方向的重力方向进行估计的方向估计部，因此能更合适地进行姿态的估计。

Description

姿态估计装置、姿态估计方法以及记录介质
本申请基于并主张日本专利申请No.2015-185127(于2015年9月18日申请)的优先权，通过参考将起内容援引于此。
技术领域
本发明涉及姿态估计装置以及姿态估计方法以及记录介质。
背景技术
过去，有基于根据来自加速度传感器的输出信号而检测到的第1方向的矢量来进行装置的姿态的估计、手抖补正的摄像装置。另外，在运动传感器中，已知如下技术：除了使用根据来自加速度传感器的输出信号而求得的第1方向的矢量以外，还使用根据来自角速度传感器的输出信号而检测到的旋转角度，由卡尔曼滤波器高精度进行姿态的估计，来估计不同于第1方向的重力方向。
但在例如如运动型摄像机那样在有与剧烈平移运动相伴的运动的过程中进行摄影的情况下，难以基于根据来自加速度传感器的输出信号而检测到的第1方向的矢量来合适地检测重力方向，姿态的估计精度降低。另一方面，若如专利第5614527号公报等那样搭载角速度传感器，就会有电力消耗量增大这样的问题。
发明内容
为此，本申请发明的课题在于，提供能更合适地进行姿态的估计的姿态估计装置以及姿态估计方法。
本发明所涉及的姿态估计装置的一个方式的姿态估计装置具备：基于来自加速度传感器的输出信号来检测第1方向的矢量的第1检测部；取得连续拍摄的多个图像的取得部；基于由所述取得部取得的所述多个图像来算出所述多个图像之间的绕第1轴的相对的旋转角度的算出部；和基于由所述算出部算出的绕所述第1轴的所述相对的旋转角度以及由所述第1检测部检测到的所述第1方向的矢量来对不同于所述第1方向的第2方向进行估计的估计部。
另外，本发明所涉及的姿态估计方法的一个方式是使用姿态估计装置的姿态估计方法，包括：基于来自加速度传感器的输出信号来检测第1方向的矢量的第1检测处理；取得连续拍摄的多个图像的取得处理；基于由所述取得处理取得的所述多个图像来算出所述多个图像之间的绕第1轴的相对的旋转角度的算出处理；和基于通过所述算出处理而算出的绕所述第1轴的所述相对的旋转角度以及检测到的所述第1方向的矢量来对不同于所述第1方向的第2方向进行估计的估计处理。
另外，本发明所涉及的记录介质的一个方式是计算机可读取的记录介质，记录有程序，该程序用于使计算机实现姿势估计装置中实施的姿势估计功能，其使所述计算机作为如下发挥功能：基于来自加速度传感器的输出信号来检测第1方向的矢量的第1检测部；取得连续拍摄的多个图像的取得部；基于由所述取得部取得的所述多个图像来算出所述多个图像之间的绕第1轴的相对的旋转角度的算出部；和基于由所述算出部算出的绕所述第1轴的所述相对的旋转角度以及由所述第1检测部检测到的所述第1方向的矢量，来对不同于所述第1方向的第2方向进行估计的估计部。
根据本发明，能合适地进行姿态的估计。
本发明的其他目的和优点将由以下的描述来规定，某种程度上能明显从该描述中得到，或者能通过本发明的实践中获得。借助于下文特别指出的手段和组合，能理解并获得本发明的目的和优点。
附图说明
作为说明书的一部分的附图对本发明的具体实施方式进行了例示，与上面给出的一般描述还有下面给出的具体实施方式的详细描述一起，来说明本发明的原理。
图1是表示运用本发明的1个实施方式的摄像装置的概略构成的框图。
图2是示意表示图1的摄像装置的翻滚轴、俯仰轴以及摇摆轴的图。
图3是表示图1的摄像装置进行的姿态估计处理所涉及的动作的一例的流程图。
具体实施方式
以下使用附图对本发明说明具体方式。但发明的范围并不限定于图示例。
图1是表示运用本发明的1个实施方式的摄像装置100的概略构成的框图。另外，图2是示意表示摄像装置100的翻滚轴、俯仰轴以及摇摆轴的图。
如图1所示那样，本实施方式的摄像装置100具备：中央控制部1、存储器2、摄像部3、图像处理部4、加速度检测部5、角速度检测部6、姿态估计部7、显示部8、记录介质控制部9和操作输入部10。
另外，中央控制部1、存储器2、摄像部3、图像处理部4、加速度检测部5、角速度检测部6、姿态估计部7、显示部8以及记录介质控制部9经由总线11而连接。
另外，摄像装置100能运用公知的装置，不仅包含本实施方式那样将主要的功能设定为摄影功能的数字摄像机，还包含具备未设定为主要的功能的摄影功能的便携电话机、智能手机等便携终端等。
中央控制部1控制摄像装置100的各部。具体地，虽省略图示，但中央控制部1具备CPU(Central Processing Unit，中央处理器)、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)，遵循摄像装置100用的各种处理程序(图示略)来进行各种控制动作。
存储器2例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，暂时容纳中央控制部1、姿态估计部7等各部所处理的数据等。
摄像部3拍摄被摄体。具体地，摄像部3具备：镜头部3a、电子摄像部3b和摄像控制部3c。
镜头部3a例如由变焦透镜、聚焦透镜等多个透镜构成。
电子摄像部3b例如由CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal-oxide Semiconductor，互补金属氧化物半导体)等图像传感器构成，将穿过镜头部3a的各种透镜的光学像变换成二维的图像信号。
另外，虽图示省略，但摄像部3也可以具备调整穿过镜头部3a的光的量的光圈。
摄像控制部3c控制摄像部3所进行的被摄体的摄影。即，虽图示省略，但摄像控制部3c具备定时发生器、驱动器等。并且，摄像控制部3c通过定时发生器、驱动器对电子摄像部3b进行扫描驱动，每隔给定周期就通过电子摄像部3b使光学像变换成二维的图像信号，从电子摄像部3b的摄像区域一画面份一画面份地读出帧图像，并输出到图像处理部4。
另外，摄像控制部3c也可以进行AF(自动对焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等拍摄被摄体时的条件的调整控制。
图像处理部4在对从摄像部3的电子摄像部3b转发的帧图像的模拟值的信号按RGB的每种颜色分量适宜调整了增益后，用采样保持电路(图示略)采样保持并用A/D变换器(图示略)变换成数字数据，用彩色处理电路(图示略)进行包括像素插补处理以及γ补正处理的彩色处理，之后生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。另外，图像处理部4也可以将生成的亮度信号Y以及色差信号Cb、Cr输出到作为缓冲存储器使用的存储器2。
另外，图像处理部4在记录图像时，将生成的亮度信号Y以及色差信号Cb、Cr以给定的编码方式(例如JPEG格式、Motion JPEG格式、MPEG格式等)编码，并输出到记录介质控制部9。
另外，图像处理部4在重放显示图像的情况下，将从记录介质9a(后述)等读出的显示对象所涉及的静止图像或动态图象的图像数据遵循对应的给定的编码方式进行解码，并输出给显示部8。这时，图像处理部4例如可以基于显示面板8b的显示解析度等缩小到给定尺寸(例如VGA或QVGA尺寸)来输出到显示部8。
加速度检测部(第1检测部)5检测第1方向的矢量。
即，加速度检测部5例如具备分别检测摄像装置100主体相互正交的3轴方向的加速度的3轴加速度传感器5a，基于来自该3轴加速度传感器5a的输出信号来检测第1方向的矢量。具体地，加速度检测部5基于3轴加速度传感器5a的3轴方向的加速度的各输出信号的时间平均来检测第1方向的矢量。3轴加速度传感器5a由于除了检测重力加速度以外还检测平移加速度，因此第1方向和重力方向(第2方向)一般不同。
另外，上述的第1方向的矢量的生成手法是一例，并不限于此，能适宜任意变更。
另外，由加速度检测部5检测到的第1方向的矢量值也可以暂时容纳在给定的容纳部(例如存储器2等)。
角速度检测部(第3检测部)6检测绕第1轴的角速度。
在此，作为第1轴，能举出摄像装置100主体的翻滚轴、俯仰轴(参考图2)，在以下的说明中，作为第1轴例示翻滚轴来进行说明。
即，角速度检测部6例如具备分别检测摄像装置100主体的以相互正交的3轴(翻滚轴、俯仰轴以及摇摆轴)为中心的转动的角速度的3轴角速度传感器6a，基于来自该3轴角速度传感器6a的输出信号来检测摄像装置100主体的绕翻滚轴(第1轴)的角速度。具体地，角速度检测部6基于3轴角速度传感器6a的以3轴为中心的转动的角速度的各输出信号的时间平均，来检测绕第1轴的角速度。
另外，由角速度检测部6检测到的绕翻滚轴(第1轴)的角速度的值可以暂时容纳在给定的容纳部(例如存储器2等)。
姿态估计部7具备：图像取得部7a、运动矢量检测部7b、角度算出部7c和方向估计部7d。
另外，姿态估计部7的各部例如由给定的逻辑电路构成，但构成是一例，并不限于此。
图像取得部(取得部)7a取得连续拍摄的多个图像。
即，图像取得部7a在摄像部3进行的任意的被摄体的摄影时，例如从存储器2逐次取得由图像处理部4逐次生成的实时取景图像所涉及的多个帧图像的图像数据。
运动矢量检测部(第2检测部)7b，检测多个帧图像之间的特征点的运动矢量。
即，运动矢量检测部7b检测由摄像部3连续拍摄并由图像取得部7a取得的多个帧图像之间的特征点的运动矢量。具体地，运动矢量检测部7b例如对由图像取得部7a取得的多个帧图像进行特征检测处理。然后，运动矢量检测部7b将这些多个帧图像当中任意1个帧图像作为基准帧图像，从基准帧图像选择给定数的特征高的块区域(特征点)，将块的内容检测为模板(例如8×8像素的正方形等)。另外，运动矢量检测部7b，在多个帧图像当中的、相比基准帧图像在时间轴上后(或前)1个帧图像内分别搜索各模板对应哪里，即，在对象图像内分别搜索模板的像素值最佳匹配的位置(对应区域)，算出像素值的相异度的评价值(例如差分平方和(SSD)或差分绝对值和(SAD)等)最佳的运动矢量，作为模板的运动矢量。
然后，运动矢量检测部7b将对各个特征点算出的全部运动矢量进行综合，算出为1个帧图像中整体的运动矢量。
另外，上述的运动矢量的检测手法是一例，并不限于此，能适宜任意变更。
角度算出部(算出部)7c算出多个帧图像之间的绕第1轴的相对的旋转角度。
即，角度算出部7c基于由图像取得部7a取得的多个帧图像来算出多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度。具体地，角度算出部7c基于由运动矢量检测部7b检测到的运动矢量来算出多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度。
在此，基于多个帧图像之间的运动矢量来算出相对的旋转角度的方法由于是公知的技术，因此省略详细的说明，例如角度算出部7c基于由运动矢量检测部7b检测到的1个帧图像的整体的运动矢量，来算出以翻滚轴(第1轴)为旋转中心使图像旋转的线性变换(例如仿射变换等)的参数，算出1个帧图像的相对于基准帧图像的相对的旋转角度。
另外，上述的相对的旋转角度的算出手法是一例，并不限于此，能适宜任意变更。
(0028)
另外，角度算出部7c在不能由运动矢量检测部7b检测到运动矢量的情况下，基于由角速度检测部6检测到的绕翻滚轴(第1轴)的角速度来算出绕翻滚轴(第1轴)的相对的旋转角度。
例如，从在特征点的识别困难的暗处拍摄的图像或平坦的图像中，有不能检测到运动矢量的情况。为此，角度算出部7c例如基于实时取景图像的亮度值、像素值的偏离量(非平坦度)等来判定是否能由运动矢量检测部7b检测到运动矢量，在判断为不能检测到的情况下，基于由角速度检测部6检测到的绕翻滚轴(第1轴)的角速度来算出绕翻滚轴(第1轴)的相对的旋转角度。
方向估计部7d对重力方向(第2方向)进行估计。
即，方向估计部(估计部)7d基于由角度算出部7c算出的绕翻滚轴(第1轴)的相对的旋转角度以及由加速度检测部5检测到的第1方向的矢量，来对重力方向(第2方向)进行估计。具体地，方向估计部7d基于绕翻滚轴(第1轴)的相对的旋转角度以及第1方向的矢量，用卡尔曼滤波器算出摄像装置100的绕翻滚轴(第1轴)的旋转角度。然后，方向估计部7d通过根据算出的绕翻滚轴(第1轴)的旋转角度求取摄像装置100的姿态(相对于重力方向(第2方向)的倾斜度)，来对重力方向(第2方向)进行估计。
在此，使用卡尔曼滤波器来对重力方向(第2方向)进行估计的方法由于是公知的技术，因此省略详细的说明，例如状态空间模型能用表征状态方程式的式(1)以及表征观测方程式的式(2)给出。
Xt+1＝Atxt+Rtut+wt…式(1)
yt＝Htxt+vt…式(2)
在上述数式中，xt是绕翻滚轴(第1轴)的旋转角度，ut是根据运动矢量或角速度算出的绕翻滚轴(第1轴)的相对的旋转角度，Rt是旋转矩阵，At、Ht分别是单位矩阵，yt是重力方向的矢量，wt以及vt分别是系统噪声以及观测噪声。
显示部8具备显示控制部8a和显示面板8b。
显示控制部8a进行控制，基于从存储器2或记录介质9a读出并由图像处理部4解码的给定尺寸的图像数据，使给定的图像显示在显示面板8b的显示区域。具体地，显示控制部8a具备VRAM(Video Random Access Memory，视频随机存取存储器)、VRAM控制器、数字视频编码器等。并且，数字视频编码器，经由VRAM控制器从VRAM以给定的重放帧速率读出由图像处理部4解码并记录在VRAM(图示略)的亮度信号Y以及色差信号Cb、Cr，以这些数据为基础产生视频信号，并输出到显示面板8b。
显示面板8b基于来自显示控制部8a的视频信号使由摄像部3拍摄的图像等显示在显示区域内。具体地，显示面板8b在静止图像的摄影模式下或动态图象的摄影模式下，一边以给定的帧速率逐次更新摄像部3拍摄被摄体而生成的多个帧图像，一边显示实时取景图像。另外，显示面板8b显示记录于记录介质9a的被摄体的静止图像(记录浏览图像)，或显示摄影中的被摄体的动态图象。
另外，作为显示面板8b，例如能举出液晶显示面板或有机EL(Electro-Luminescence，电致发光)显示面板等，但这些是一例，并不限于此。
记录介质控制部9拆装自由地构成记录介质9a，控制从所装备的记录介质9a的数据的读出和对记录介质9a的数据的写入。
另外，记录介质9a例如由非易失性存储器(闪速存储器)等构成。
操作输入部10用于进行摄像装置100的给定操作。具体地，操作输入部10具备：被摄体的摄影指示所涉及的快门按钮、摄影模式或功能等选择指示所涉及的选择决定按钮、变焦量的调整指示所涉及的变焦按钮等(均省略图示)操作部。
并且，若由用户操作了各种按钮，则操作输入部10将与所操作的按钮相应的操作指示输出到中央控制部1。中央控制部1按照从操作输入部10输出而被输入的操作指示，来使各部执行给定的动作(例如被摄体的摄影等)。
另外，操作输入部10也可以具有与显示部8的显示面板8b成为一体而设的触控面板(图示略)。
<姿态估计处理>
接下来，参考图3来说明摄像装置100所进行的姿态估计处理。
图3是表示姿态估计处理所涉及的动作的一例的流程图。
另外，姿态估计处理例如可以在被摄体的摄影中一直进行，也可以在由用户对操作输入部10的快门按钮进行给定操作(例如半按操作或全按操作等)时进行。
如图3所示那样，首先，若开始摄像部3进行的任意的被摄体的摄影(步骤S1)，则加速度检测部5基于来自3轴加速度传感器5a的输出信号来检测第1方向的矢量(步骤S2)，并且图像取得部7a从存储器2逐次取得由图像处理部4逐次生成的实时取景图像所涉及的多个帧图像的图像数据(步骤S3)。
另外，步骤S2中的第1方向的矢量的检测、和步骤S3中的多个帧图像的取得的顺序是一例，并不限于此，可以相反。
接下来，角度算出部7c判定是否能由运动矢量检测部7b检测到多个帧图像之间的特征点的运动矢量(步骤S4)。
在此，若判定为能检测到运动矢量(步骤S4“是”)，运动矢量检测部7b检测由图像取得部7a取得的多个帧图像之间的特征点的运动矢量(步骤S5)。
另一方面，若判定为不能检测到运动矢量(步骤S4“否”)，则角速度检测部6基于来自3轴角速度传感器6a的输出信号来检测摄像装置100主体的绕翻滚轴(第1轴)的角速度(步骤S6)。另外，绕翻滚轴(第1轴)的角速度的检测可以在姿态估计处理正进行中一直进行。
接下来，角度算出部7c算出多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度(步骤S7)。具体地，在步骤S5由运动矢量检测部7b检测到运动矢量的情况下，角度算出部7c基于检测到的运动矢量来算出多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度。另一方面，在步骤S6由角速度检测部6检测到绕翻滚轴(第1轴)的角速度的情况下，角度算出部7c基于检测到的绕翻滚轴(第1轴)的角速度，来算出绕翻滚轴(第1轴)的相对的旋转角度。
然后，方向估计部7d基于由角度算出部7c算出的绕翻滚轴(第1轴)的相对的旋转角度以及由加速度检测部5检测到的第1方向的矢量，用卡尔曼滤波器算出摄像装置100的绕翻滚轴(第1轴)的旋转角度(步骤S8)，根据算出的绕翻滚轴(第1轴)的旋转角度来对重力方向(第2方向)进行估计(步骤S9)。
由此结束姿态估计处理。
如以上那样，根据本实施方式的摄像装置100，根据基于来自3轴加速度传感器5a的输出信号而检测到的第1方向的矢量、和基于连续拍摄的多个帧图像而算出的多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度，来对重力方向(第2方向)进行估计，因此在重力方向(第2方向)的估计中不再需要使用电力消耗量增大的角速度传感器。特别通过检测由摄像部3连续拍摄的多个帧图像之间的特征点的运动矢量，能基于检测到的运动矢量算出多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度。然后，通过基于算出的绕翻滚轴(第1轴)的相对的旋转角度以及第1方向的矢量，用卡尔曼滤波器算出摄像装置100的绕翻滚轴(第1轴)的旋转角度，能对重力方向(第2方向)合适地进行估计。
因此，能利用连续拍摄的多个帧图像算出多个帧图像之间的绕翻滚轴(第1轴)的相对的旋转角度，其结果，例如能在手抖补正等中更合适地进行摄像装置100的姿态的估计。
另外，在不能检测到多个帧图像之间的特征点的运动矢量的情况下，通过基于来自3轴角速度传感器6a的输出信号来检测绕翻滚轴(第1轴)的角速度，即使是例如在特征点的识别困难的暗处的摄影或平坦的图像的摄影，也能基于使用3轴角速度传感器6a检测到的绕翻滚轴(第1轴)的角速度来算出绕翻滚轴(第1轴)的相对的旋转角度。由此，能使用算出的绕翻滚轴(第1轴)的相对的旋转角度，对重力方向(第2方向)合适地进行估计。
另外，本发明并不限定于上述实施方式，可以在不脱离本发明的主旨的范围内进行各种改良及设计上的变更。
例如将第2方向设为重力方向，将第1轴设为摄像装置100的翻滚轴或俯仰轴，但这是一例，并不限于此，能适宜任意地变更。
另外，摄像装置100的构成在上述实施方式所例示的是一例，并不限于此。进而，作为姿态估计装置而例示了摄像装置100，但并不限于此。
此外，在上述实施方式中，构成为在中央控制部1的控制下通过加速度检测部5、图像取得部7a、角度算出部7c、方向估计部7d进行驱动来实现作为第1检测部、取得部、算出部、估计部的功能，但并不限于此，也可以构成为通过由中央控制部1的CPU执行给定的程序等而实现。
即，在程序存储器(图示略)中记录包含第1检测处理例程、取得处理例程、算出处理例程、估计处理例程的程序。然后，可以通过第1检测处理例程使中央控制部1的CPU作为基于来自加速度传感器的输出信号来检测第1方向的矢量的电路发挥功能。另外，可以通过取得处理例程使中央控制部1的CPU作为取得连续拍摄的多个图像的电路发挥功能。另外，通过算出处理例程使中央控制部1的CPU作为基于取得的多个图像来算出多个图像之间的绕第1轴的相对的旋转角度的电路发挥功能。另外，通过估计处理例程使中央控制部1的CPU作为基于算出的绕第1轴的相对的旋转角度以及检测到的第1方向的矢量来对不同于第1方向的第2方向进行估计的电路发挥功能。
同样地，关于第2检测部、第3检测部，也可以构成为通过由中央控制部1的CPU执行给定的程序等而得以实现。
进而，作为容纳用于执行上述的各处理的程序的计算机可读的介质，除了能运用ROM、硬盘等以外，还能运用闪速存储器等非易失性存储器、CD-ROM等可移动记录介质。另外，作为将程序的数据经由给定的通信线路来进行提供的介质，还运用载波(carrierwave)。
以上说明了本发明的几个实施方式，但本发明的范围并不限定于上述的实施方式，还包含记载于权利要求的范围的发明和其等同的范围。

Claims (8)

1.一种姿态估计装置，具备：
基于来自对重力加速度和平移加速度进行检测的加速度传感器的输出信号来检测第1方向的矢量的第1检测部；
取得连续拍摄的多个图像的取得部；
检测由所述取得部取得的所述多个图像之间的特征点的运动矢量的第2检测部；
基于来自角速度传感器的输出信号来检测绕第1轴的角速度的第3检测部；
算出部，其在能检测出由所述第2检测部检测出的所述运动矢量的情况下，基于由所述第2检测部检测出的所述运动矢量，算出所述多个图像之间的绕所述第1轴的相对的旋转角度，在不能检测出由所述第2检测部检测出的所述运动矢量的情况下，基于由所述第3检测部检测出的绕所述第1轴的所述角速度，算出所述多个图像之间的绕所述第1轴的相对的旋转角度；和
基于由所述算出部算出的绕所述第1轴的所述相对的旋转角度以及由所述第1检测部检测到的所述第1方向的矢量，来对作为不同于所述第1方向的第2方向的重力方向进行估计的估计部。
2.根据权利要求1所述的姿态估计装置，其中，
所述姿态估计装置还具备：
摄像部，
所述第2检测部检测由所述摄像部连续拍摄、由所述取得部取得的所述多个图像之间的所述特征点的所述运动矢量。
3.根据权利要求1所述的姿态估计装置，其中，
所述估计部基于由所述算出部算出的绕所述第1轴的所述相对的旋转角度以及由所述第1检测部检测到的所述第1方向的矢量，用卡尔曼滤波器算出绕所述第1轴的旋转角度，由此来对所述第2方向进行估计。
4.根据权利要求1所述的姿态估计装置，其中，
所述第1轴包含主体装置的翻滚轴和俯仰轴当中的至少任意一方。
5.根据权利要求1所述的姿态估计装置，其中，
所述第1检测部作为所述加速度传感器而具有分别检测主体装置的相互正交的3轴方向的加速度的3轴加速度传感器，基于所述3轴加速度传感器的所述3轴方向的所述加速度的各输出信号的时间平均，来检测所述第1方向的矢量。
6.根据权利要求1所述的姿态估计装置，其中，
所述第3检测部作为所述角速度传感器而具有分别检测主体装置的以相互正交的3轴为中心的转动的所述角速度的3轴角速度传感器，基于所述3轴角速度传感器的以所述3轴为中心的转动的所述角速度的各输出信号的时间平均，来检测绕所述第1轴的所述角速度。
7.一种姿态估计方法，是使用对重力加速度和平移加速度进行检测的姿态估计装置的姿态估计方法，所述姿态估计方法包括：
基于来自加速度传感器的输出信号来检测第1方向的矢量的第1检测处理；
取得连续拍摄的多个图像的取得处理；
检测由所述取得处理取得的所述多个图像之间的特征点的运动矢量的第2检测处理；
基于来自角速度传感器的输出信号来检测绕第1轴的角速度的第3检测处理；
算出处理，其在能检测出由所述第2检测处理检测出的所述运动矢量的情况下，基于由所述第2检测处理检测出的所述运动矢量，算出所述多个图像之间的绕所述第1轴的相对的旋转角度，在不能检测出由所述第2检测处理检测出的所述运动矢量的情况下，基于由所述第3检测处理检测出的绕所述第1轴的所述角速度，算出所述多个图像之间的绕所述第1轴的相对的旋转角度；和
基于通过所述算出处理算出的绕所述第1轴的所述相对的旋转角度以及检测到的所述第1方向的矢量，来对作为不同于所述第1方向的第2方向的重力方向进行估计的估计处理。
8.一种计算机可读取的记录介质，记录有程序，该程序用于使计算机实现姿势估计装置中实施的姿势估计功能，其使所述计算机作为如下发挥功能：
基于来自对重力加速度和平移加速度进行检测的加速度传感器的输出信号来检测第1方向的矢量的第1检测部；
取得连续拍摄的多个图像的取得部；
检测由所述取得部取得的所述多个图像之间的特征点的运动矢量的第2检测部；
基于来自角速度传感器的输出信号来检测绕第1轴的角速度的第3检测部；
算出部，其在能检测出由所述第2检测部检测出的所述运动矢量的情况下，基于由所述第2检测部检测出的所述运动矢量，算出所述多个图像之间的绕所述第1轴的相对的旋转角度，在不能检测出由所述第2检测部检测出的所述运动矢量的情况下，基于由所述第3检测部检测出的绕所述第1轴的所述角速度，算出所述多个图像之间的绕所述第1轴的相对的旋转角度；和
基于由所述算出部算出的绕所述第1轴的所述相对的旋转角度以及由所述第1检测部检测到的所述第1方向的矢量，来对作为不同于所述第1方向的第2方向的重力方向进行估计的估计部。
CN201610647213.2A 2015-09-18 2016-08-09 姿态估计装置、姿态估计方法以及记录介质 Active CN106550186B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015185127A JP6332212B2 (ja) 2015-09-18 2015-09-18 姿勢推定装置、姿勢推定方法及びプログラム
JP2015-185127 2015-09-18

Publications (2)

Publication Number Publication Date
CN106550186A CN106550186A (zh) 2017-03-29
CN106550186B true CN106550186B (zh) 2019-10-11

Family

ID=58282699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610647213.2A Active CN106550186B (zh) 2015-09-18 2016-08-09 姿态估计装置、姿态估计方法以及记录介质

Country Status (4)

Country Link
US (1) US10401174B2 (zh)
JP (1) JP6332212B2 (zh)
KR (1) KR102592745B1 (zh)
CN (1) CN106550186B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457618B1 (ko) * 2017-12-11 2022-10-21 한화테크윈 주식회사 틸트-각도 유지 방법, 틸팅 제어 방법, 및 감시 카메라
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
JP7240241B2 (ja) * 2019-04-24 2023-03-15 キヤノン株式会社 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体
CN114390188B (zh) * 2020-10-22 2023-05-12 华为技术有限公司 一种图像处理方法和电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6041874Y2 (ja) 1979-07-12 1985-12-20 株式会社東芝 保温釜
JPS6024811B2 (ja) 1979-07-12 1985-06-14 レマ・サムイロウイツチ・バルシテイン グリコ−ルとジカルボン酸のポリエステルの製造法
JPH05176218A (ja) 1991-12-25 1993-07-13 Matsushita Electric Ind Co Ltd 画像動き補正装置
JP2002016836A (ja) * 2000-06-29 2002-01-18 Toshiba Corp 撮像装置の揺れ補正装置及び方法
JP3767372B2 (ja) * 2000-11-22 2006-04-19 三菱電機株式会社 衛星追尾用アンテナ制御装置
JP2007114466A (ja) 2005-10-20 2007-05-10 Toshiba Corp 手ぶれ補正機能を有する撮影装置
KR101404843B1 (ko) * 2006-06-22 2014-06-09 가부시키가이샤 니콘 위치 결정 장치, 떨림 보정 장치 및 전자 기기
JP5614527B2 (ja) * 2010-03-05 2014-10-29 セイコーエプソン株式会社 姿勢情報算出装置、姿勢情報算出システム、姿勢情報算出方法及び姿勢情報算出プログラム
JP5859958B2 (ja) * 2010-11-11 2016-02-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、およびプログラム
US9041817B2 (en) * 2010-12-23 2015-05-26 Samsung Electronics Co., Ltd. Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization
KR101361805B1 (ko) * 2012-06-07 2014-02-21 조춘식 의료 영상 보상 방법, 시스템 및 장치
JP2014018291A (ja) * 2012-07-13 2014-02-03 Camelot:Kk 情報処理端末のイベント実行ユニット、イベント実行方法及びイベント実行プログラム
JP5977611B2 (ja) * 2012-07-24 2016-08-24 オリンパス株式会社 ブレ量検出装置、撮像装置及びブレ量検出方法
JP6058978B2 (ja) * 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
GB2509102B (en) * 2012-12-20 2015-09-02 Thales Holdings Uk Plc Image processor for processing images received from a plurality of image sensors
JP6124588B2 (ja) * 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
JP6152511B2 (ja) 2013-03-29 2017-06-28 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法
JP2014240266A (ja) * 2013-05-13 2014-12-25 株式会社豊田中央研究所 センサドリフト量推定装置及びプログラム
KR102124617B1 (ko) * 2013-09-03 2020-06-19 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2015119259A (ja) * 2013-12-17 2015-06-25 キヤノン株式会社 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体

Also Published As

Publication number Publication date
KR20170034299A (ko) 2017-03-28
US20170084018A1 (en) 2017-03-23
JP2017060091A (ja) 2017-03-23
CN106550186A (zh) 2017-03-29
KR102592745B1 (ko) 2023-10-20
US10401174B2 (en) 2019-09-03
JP6332212B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
CN106550186B (zh) 姿态估计装置、姿态估计方法以及记录介质
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
CN103297670B (zh) 被摄体判断装置以及被摄体判断方法
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
US20090135261A1 (en) Imaging apparatus and recording medium
US20150235103A1 (en) Distance measurement apparatus, imaging apparatus, distance measurement method and program
US9210326B2 (en) Imaging apparatus which controls display regarding capturing, imaging method, and storage medium
EP2088768B1 (en) Imaging apparatus, storage medium storing program and imaging method
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
KR20120056212A (ko) 피사체 검출 장치, 피사체 검출 방법 및 기록 매체
JP2011239157A5 (zh)
US9986163B2 (en) Digital photographing apparatus and digital photographing method
EP3267675B1 (en) Terminal device and photographing method
JP4877186B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021192498A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017091291A (ja) 画像評価装置、画像評価方法及びプログラム
JP6493746B2 (ja) 画像追尾装置及び画像追尾方法
JP4919165B2 (ja) 画像合成装置及びプログラム
JP6465553B2 (ja) 撮像装置およびその制御方法
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP2020057302A (ja) 撮像装置及びその制御方法、並びにプログラム
CN116152308A (zh) 图像配准方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant