CN107018311B - 移动信息取得装置、移动信息取得方法以及记录介质 - Google Patents

移动信息取得装置、移动信息取得方法以及记录介质 Download PDF

Info

Publication number
CN107018311B
CN107018311B CN201610951716.9A CN201610951716A CN107018311B CN 107018311 B CN107018311 B CN 107018311B CN 201610951716 A CN201610951716 A CN 201610951716A CN 107018311 B CN107018311 B CN 107018311B
Authority
CN
China
Prior art keywords
movement
component
unit
information acquisition
mobile information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610951716.9A
Other languages
English (en)
Other versions
CN107018311A (zh
Inventor
真锅佳嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN107018311A publication Critical patent/CN107018311A/zh
Application granted granted Critical
Publication of CN107018311B publication Critical patent/CN107018311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供移动信息取得装置,移动检测部(126)算出用于抖动补正的坐标变换中所用的抖动矩阵H(t)。这时,移动检测部(126)对分割帧得到的每个区块算出MV(运动矢量),将MV当中的MV‑B(被摄体MV)除外。另外移动检测部(126)基于MV来进行表现帧间的抖动的抖动矩阵H_mv的算出,但在不能算出该抖动矩阵H_mv的情况下,算出并调整表现与摄像部(106)的运动相应的抖动的抖动矩阵H_sensor,将其用作抖动矩阵H(t)。

Description

移动信息取得装置、移动信息取得方法以及记录介质
技术领域
本发明涉及移动信息取得装置以及移动信息取得方法。
背景技术
在摄像装置中,如特开2009-301181号公报记载的那样,有具有抖动补正的功能的方案。摄像装置在进行抖动补正的情况下,对在时间上连续的多个帧摄像,提取这些帧中的特征点。进而,摄像装置根据与帧间的特征点的移动相应的运动矢量(MV:Motion Vector)来估计帧间的抖动量,基于该抖动量,通过图像变形处理来进行帧间的特征点的对位。
但在摄像装置对夜景或素色的墙壁进行摄像、或摄像装置移动的情况下,有时难以提取特征点,有时抖动检测的精度会降低。
发明内容
本申请发明鉴于这样的问题点而提出,目的在于,使抖动检测的精度得以提升。
本发明所涉及的移动信息取得装置特征在于,具备:图像输入单元,其输入在时间上连续的多个图像;检测单元,其从由所述图像输入单元输入的图像检测摄像时的刻意的摄影方向的移动;和取得单元,其从由所述检测单元检测到的结果取得非刻意的摄影方向的移动,作为移动信息。
本发明所涉及的移动信息取得方法特征在于,包括:图像输入步骤,输入在时间上连续的多个图像;检测步骤,从在所述图像输入步骤输入的图像检测摄像时的刻意的摄影方向的移动;和取得步骤,从在所述检测步骤检测到的结果取得非刻意的摄影方向的移动,作为移动信息。
附图说明
图1是表示本发明的实施方式所涉及的摄像装置的构成的图。
图2是表示摄像装置中的抖动补正处理的动作的流程图。
图3是表示摄像装置中的抖动量估计处理的动作的流程图。
图4A是表示图像的过渡的一例的图。
图4B是表示图像的过渡的一例的图。
图5是表示各图像区域的MV的一例的图。
图6A是表示MV-A和MV-B的判定处理的一例的图。
图6B是表示MV-A和MV-B的判定处理的一例的图。
图7是表示特征点的抖动补正前的移动量、直流(DC:Direct Current) 分量线性的移动量、DC分量非线性的移动量的一例的图。
图8是表示抖动设想量与平滑化程度的对应关系的一例的图。
具体实施方式
以下说明作为本发明的实施方式所涉及的移动检测装置的摄像装置。本发明的实施方式所涉及的摄像装置100如图1所示那样,包含控制部 102、存储器104、操作部106、摄像部108、传感器110、显示部112而构成。摄像装置100例如装备在利用者的头部,对该利用者的前方进行摄像。
控制部102具备CPU(Central Processing Unit,中央处理器),遵循存放于存储器104的程序执行软件处理执行,为了实现摄像装置100所具备的各种功能而发挥功能。
控制部102内的摄像控制部122对应于利用者对操作部106的操作等来控制摄像部108所进行的摄像。图像输入部124被输入通过摄像部108 的摄像而得到的图像信号,将该图像信号变换成数字数据来生成帧。移动检测部126检测帧内的特征点的移动。补正部128基于移动检测部126的特征点的移动的检测结果来进行抖动补正。关于移动检测部126以及补正部128的处理的详细,在之后叙述。
存储器104例如是成为工作区的RAM(Random Access Memory,随机存取存储器)、存储基本动作程序的ROM(Read Only Memory,只读存储器)。存储器104存储摄像装置100中的控制等中所用的各种信息(程序等)。
操作部106是为了输入用户的操作内容而用的接口。
摄像部108由镜头和受光元件构成。镜头由变焦镜头等构成,通过控制部102内的摄像控制部122进行的变焦控制以及合焦控制而移动。摄像部108的摄像视角、光学像通过镜头的移动来控制。受光元件由在受光面规则二维排列的多个受光元件构成。受光元件例如安装光电二极管、Bayer 排列的彩色滤波器,或者是三板式的CCD(Charge CoupledDevice,电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等摄像器件。
摄像部108按照控制部102内的摄像控制部122的控制而开始摄像,在给定范围的摄像视角对入光的光学像摄像(受光),将该摄像视角内的图像信号逐次输出给控制部102。
传感器110逐次检测伴随摄像装置100的旋转而产生的角速度,作为摄像部108的运动,输出给控制部102。
显示部112例如由LCD(Liquid Crystal Display,液晶显示器)、PDP (PlasmaDisplay Panel,等离子显示面板)、EL(Electro-Luminescence,电致发光)显示器等构成,显示与帧对应的图像。
在本实施方式中,摄像装置100进行抖动补正。以下说明抖动补正处理。图2是表示抖动补正处理的动作的流程图。
以下在用于抖动补正的坐标变换中所用的抖动矩阵H(H_mv、H_sensor、H_mv_iir、H-sensor_iir、H_sensor_adj、H_dc、H_ac、H_final) 是3×3的矩阵。通过抖动矩阵H,帧内的坐标(X,Y)被变换为坐标(X′, Y′)。
【数式1】
Figure BDA0001140448520000031
控制部102内的摄像控制部122对应于利用者对操作部106的操作等来控制摄像部108所进行的摄像。摄像部108按照控制部102内的摄像控制部122的控制开始摄像,将图像信号逐次输出给控制部102。控制部102 内的图像输入部124被输入通过摄像部108的摄像而得到的图像信号,将该图像信号变换成数字数据来生成帧。帧存储在存储器104。
在进行这样的摄像并将帧存储在存储器104的情况下,控制部102内的移动检测部126对时刻t的帧进行估计抖动的量(抖动量)的处理(步骤S100)。
图3是表示抖动量估计处理的动作的流程图。控制部102内的移动检测部126对时刻t的帧算出表示帧间的特征点的移动的运动矢量(以后省略为“MV”)(步骤S200)。
具体地,移动检测部126将帧分割为多个图像区域(区块)。之后对每个区块进行以下的处理。即,移动检测部126在时刻t的区块中搜索特征点(时刻t的特征点)。在能搜索到时刻t的特征点的情况下,进一步地,移动检测部126在位于与时刻t的帧内的区块同一位置的前1个时刻 t-1的帧内的区块中,搜索与时刻t的特征点类似的时刻t-1的特征点。在能搜索到时刻t-1的特征点的情况下,移动检测部126将以时刻t-1的特征点为起点、以时刻t的特征点为终点的矢量作为MV。特征点的搜索方法能使用周知的方法。
接下来,移动检测部126算出表现与摄像部108的运动相应的抖动的抖动矩阵H_sensor(步骤S201)。具体地,移动检测部126逐次取得从传感器110输出的角速度,基于该角速度算出抖动矩阵H_sensor。算出方法不限,例如设定抖动矩阵H_sensor的要素,使得角速度越大则坐标(X, Y)与坐标(X′,Y′)的距离越大。另外,移动检测部126也可以算出逐次取得的多个角速度的平均值,基于该平均值来算出抖动矩阵H_sensor。算出的抖动矩阵H_sensor例如存储在存储器104中。
接下来,移动检测部126,从步骤S200中对时刻t的帧算出的多个 MV中,除外将被摄体作为特征点算出的MV即被摄体MV(以后称作 MV-B)(步骤S202)。
例如,考虑如下情况:帧从图4A所示的时刻t-1的状态起,摄像部 108和被摄体300向不同的方向移动,从而帧成为图4B所示的时刻t的状态。在该情况下,例如有时会如图5所示那样,在各区块中算出以被摄体 300为特征点的MV-B和以被摄体以外(背景)为特征点的MV(以后称作MV-A)。在此,由于在以被摄体300为特征点的MV-B中还包含摄像装置100的利用者刻意使摄像部108移动时的移动量,因此若将MV-B 用在抖动补正中,抖动量就会变得不正确。为此在步骤S202,从步骤S200 中算出的MV中除外将被摄体作为特征点而算出的MV即MV-B。
具体地,移动检测部126对步骤S200中算出的每个MV使用步骤S201 中算出的抖动矩阵H_sensor来变换该MV的起点的坐标。进而,移动检测部126判别坐标变换后的MV的坐标与步骤S200中算出的MV的终点的坐标的距离。在坐标变换后的MV的坐标与步骤S200中算出的MV的终点的坐标的距离为给定值以上的情况下,移动检测部126将步骤S200 中算出的MV判定为MV-B,在不足给定值的情况下,判定为MV-A。
例如考虑如下情况:如图6A、6B所示那样存在起点α、终点γ的MV,起点α通过利用了抖动矩阵H_sensor的坐标变换而移动到起点β。在该情况下,在图6A中,由于坐标变换后的起点β与终点γ的距离L短(不足给定值),因此移动检测部126将MV判定为MV-A。另一方面,在图 6B中,由于坐标变换后的起点β与终点γ的距离L长(给定值以上),因此移动检测部126将MV判定为MV-B。作为阈值的距离L根据传感器 110的特性、摄像部108的光学系统、摄影环境(温度、运动的大小)等决定。决定方法不限。
再度返回图3来进行说明。移动检测部126判定能否使用各区块的 MV算出表现帧间的抖动的抖动矩阵H_mv(步骤S203)。具体地,在步骤S202中从MV除外MV-B的结果是剩下的MV-A的数量为给定数量以上的情况下,移动检测部126判定为能算出抖动矩阵H_mv,在MV-A的数量不足给定数量的情况下,判定为不能算出抖动矩阵H_mv。
在能算出抖动矩阵H_mv的情况下(步骤S203“是”),移动检测部 126算出表现帧间的抖动的抖动矩阵H_mv(步骤S204)。算出方法不限,例如使各MV-A的长度以及方向的平均值的矢量成为从变换前的坐标(X, Y)朝向变换后的坐标(X′,Y′)的矢量,如此算出抖动矩阵H_mv的要素。算出的抖动矩阵H_mv例如存储在存储器104。
另外,在后述的步骤S206中采用第2方法的情况下,在步骤S204,移动检测部126使用IIR(Infinite Impulse Response,无限脉冲响应)平滑化滤波器来算出到此为止算出的多个抖动矩阵H_mv的各要素的平均水平即矩阵H_mv_iir。将常数设为k,通过H_mv_iir(t)=(((k-1)×H_mv_iir (t-1))+H_mv(t))/k算出时刻t的H_mv的各要素的平均水平的矩阵H_mv_iir(t)。
另外,移动检测部126使用IIR平滑化滤波器算出到此为止算出的多个抖动矩阵H_sensor的各要素的平均水平即矩阵H_sensor_iir。将常数设为k,通过H_sensor_iir(t)=(((k-1)×H_sensor_iir(t-1))+H_sensor (t))/k算出时刻t的H_sensor的各要素的平均水平的矩阵H_sensor_iir (t)。算出的矩阵H_mv_iir以及矩阵H_sensor_iir例如存储在存储器104。
接下来,移动检测部126将步骤S204中算出的抖动矩阵H_mv确定为时刻t的抖动矩阵H(t)(步骤S205)。抖动矩阵H(t)例如存储在存储器104。
另一方面,在不能算出抖动矩阵H_mv的情况下(步骤S203“否”),移动检测部126调整抖动矩阵H_sensor(步骤S206)。例如移动检测部 126通过以下的第1方法以及第2方法的任一者来调整抖动矩阵H_sensor。
在第1方法中,移动检测部126从对过去的时刻的帧生成的抖动矩阵 H_mv当中最近的抖动矩阵H_mv起依次取得多个抖动矩阵H_mv。抖动矩阵H_mv例如每当被算出就存储在存储器104。进而,移动检测部126 使用取得的多个抖动矩阵H_mv的各要素来进行时刻t的抖动矩阵H_mv (t)的各要素的内插估计。内插估计的方法不限,例如使用线性内插或样条内插。
接下来,移动检测部126将内插估计出的抖动矩阵H_mv(t)和抖动矩阵H_sensor按照给定的比例合成(例如设为1∶1的比例算出平均值、设为2∶1的比例算出加权平均值),做出调整后的抖动矩阵H_sensor_adj。
在第2方法中,移动检测部126使用最近在步骤S204算出的矩阵 H_mv_iir以及矩阵H_sensor_iir,通过H_sensor_adj=H_sensor+ (H_mv_iir-H_sensor_iir)来算出调整过抖动矩阵H_sensor的抖动矩阵 H_sensor_adj。
接下来,移动检测部126将步骤S206中算出的抖动矩阵H_sensor_adj 确定为时刻t的抖动矩阵H(t)(步骤S207)。抖动矩阵H(t)例如存储在存储器104。
再度返回图2来进行说明。移动检测部126取得在时间上连续的多个抖动矩阵即时刻t-n的抖动矩阵H(t-n)、时刻t的抖动矩阵H(t)、时刻t+n的抖动矩阵H(t+n)(步骤S101)。在此,所谓在时间上连续的多个抖动矩阵,既可以是对在时间上邻接的多个帧的每个帧生成的多个抖动矩阵,也可以是对隔1个、隔2个等在时间上离散的多个帧的每个帧生成的多个抖动矩阵。
接下来,移动检测部126提取时刻t的抖动的DC分量的矩阵即矩阵 H_dc(t)(步骤S102)。
具体地,移动检测部126通过对抖动矩阵H(t-n)、抖动矩阵H(t)、抖动矩阵H(t+n)的各要素在时间方向施加平滑化滤波器,来提取抖动的 DC分量的矩阵H_dc(t)。提取的抖动的DC分量的矩阵H_dc(t)能作为去除了抖动的、摄像装置100的利用者刻意使摄像部108移动时的移动 (摄影手法)的分量(全景、倾斜等)。在此,例如作为平滑化滤波器而采用双边滤波器那样的非线性滤波器,对在摄影手法发生变化的情况下产生的各要素值的大的位移弱化平滑化效果。由此能提高摄影手法发生变化时的摄影手法分量和抖动分量的分离精度。
例如如图7所示那样,在DC分量提取前存在包含抖动分量的零碎的移动的情况下,移动检测部126能通过使用线性滤波器或非线性滤波器提取DC分量来将抖动分量分离,从而提取摄影手法分量。在此,在移动检测部126使用非线性滤波器的情况下,相比于使用线性滤波器的情况弱化了平滑化效果,能更正确地捕捉摄影手法的变化。
但在使用非线性滤波器的情况下,抖动量越大,有时越难以区别抖动和摄影手法的变化。越提高摄影手法分量与抖动分量的分离精度,则抖动分量变得越易于视作摄影手法分量,抖动补正的精度越会降低。为此需要对应于抖动的大小设定最佳的参数。
例如根据设想的抖动的大小来使非线性滤波器的参数变化。更具体地,根据设想的抖动的大小水平使弱化平滑化的位移量的水平(位移量阈值)变化。由此,在设想了小的抖动的情况下,将抖动补正,设定也易于进行摄影手法分量的分离的位移量阈值,在设想了大的抖动的情况下,虽然摄影手法分量的分离精度多少降低,但设定连大的抖动也能补正的位移量阈值。抖动的大小的预估的方法不限,例如通过对对象帧使用过去以及未来的抖动分量的方差等进行。
另外,在图像中设置显示区域和该显示区域的外部的余白区域,在进行抖动补正的情况下,使显示区域包含余白区域的一部分。但多数情况余白区域有限,有时不能补正显示区域超过余白区域那样的大的抖动。为此,在如图8所示那样设想了阈值以下的抖动的情况下,抖动越大则越增大非线性滤波器的平滑化程度,在预估到阈值以上的大的抖动的情况下,反而抑制平滑化程度来弱化抖动补正的效果。由此进行显示区域不超过余白区域且尽可能精度高的抖动补正。阈值根据余白区域的大小等以经验决定。
再度返回图2来进行说明。接下来,移动检测部126提取时刻t的抖动的交流(AC:Alternating Current)分量的矩阵即矩阵H_ac(t)(步骤 S103)。
具体地,移动检测部126通过对抖动矩阵H(t)乘以步骤S102中提取的抖动的DC分量的矩阵H_dc(t)的逆矩阵相乘,来提取抖动的AC 分量的矩阵H_ac(t)。提取出的抖动的AC分量的矩阵H_ac(t)仅表征抖动分量。
接下来,移动检测部126通过将抖动的AC分量的矩阵H_ac(t)积累到紧前的抖动矩阵H_final(t-n)(将矩阵彼此相乘),来算出时刻t 的最终的抖动矩阵H_final(t)(步骤S104)。
接下来,补正部128使用抖动矩阵H_final(t)来进行抖动补正(步骤S105)。具体地,补正部128将抖动矩阵H_final(t)和帧内的坐标(X, Y)相乘,来取得抖动补正后的坐标(X′,Y′)。进而,补正部128使坐标(X,Y)的像素移动到坐标(X′,Y′)来生成抖动补正后的帧,显示在显示部112。
如以上说明的那样,在本实施方式所涉及的摄像装置100中,控制部 102内的移动检测部126算出用于抖动补正的坐标变换中所用的抖动矩阵 H(t)。这时,移动检测部126对将帧分割得到的每个区块算出MV,将 MV当中的MV-B除外,并算出表现与摄像部108的运动相应的抖动的抖动矩阵H_sensor。进而,在除外的结果是剩余的MV-A的数量为给定数量以上的情况下,移动检测部126算出表现帧间的抖动的抖动矩阵H_mv 并确定为抖动矩阵H(t)。另一方面,在将MV-B除外的结果是剩余的 MV-A的数量不足给定数量的情况下,移动检测部126调整抖动矩阵 H_sensor,将调整后的抖动矩阵H_sensor_adj确定为抖动矩阵H(t)。之后,移动检测部126从抖动矩阵H提取DC分量的矩阵H_dc(t)和AC 分量的H_ac(t),通过将抖动的AC分量的矩阵H_ac(t)积累到紧前的抖动矩阵H_final(t-n),来算出时刻t的最终的抖动矩阵H_final(t)。补正部128将抖动矩阵H_final(t)的逆矩阵和帧内的坐标(X,Y)相乘来取得抖动补正后的坐标(X′,Y′),进行抖动补正。
由此,在摄像装置100内的摄像部108由利用者刻意移动的情况下,与该移动对应的摄影手法分量被从抖动量中除外,从而能仅提取利用者非刻意的移动即抖动分量来进行抖动补正,能提升抖动补正的精度。
另外,鉴于在将被摄体作为特征点的MV-B中还包含摄像装置100 的利用者刻意使摄像部108移动时的移动量,从算出的MV将MV-B除外,仅让MV-A用在抖动矩阵的取得中,因此能提升抖动补正的精度。
另外,在不能利用MV算出抖动矩阵H_mv的情况下,调整抖动矩阵 H_sensor,将调整后的抖动矩阵H_sensor_adj确定为抖动矩阵H(t)。为此,在不能提取特征点的情况下,或在因特征点的数量少而MV的数量不够、不能算出精度高的抖动矩阵H_mv的情况下,也能通过将表现与摄像部108的运动相应的抖动的抖动矩阵H_sensor调整后用在抖动矩阵中,来提升抖动补正的精度。
另外,本发明并不限定于上述实施方式,能进行种种变形以及应用。例如上述的实施方式中,在算出时刻t的抖动矩阵H_final(t)时,在图2 的步骤S101,取得时刻t的过去的时刻t-n的抖动矩阵H(tn)和时刻t 的未来的时刻t+n的抖动矩阵H(t+n)。但在该情况下,时刻t的未来的时刻t+n的抖动矩阵H(t+n)虽然能在预先仅进行摄像、在之后的图像显示时进行抖动补正的情况下取得,但不能在摄像和图像显示并行进行的情况下取得。在这样的情况下,移动检测部126也可以与时刻t的抖动矩阵 H(t)一起取得时刻t的过去的多个时刻的抖动矩阵,用在时刻t的抖动矩阵H_final(t)的算出中。
另外,在上述的实施方式中,传感器110检测伴随摄像装置100的旋转而产生的角速度作为摄像部108的运动,但也可以检测伴随摄像装置 100的移动而产生的加速度。在该情况下,移动检测部126基于从传感器 110输出的加速度来算出抖动矩阵H_sensor。算出方法不限,例如设定抖动矩阵H_sensor的要素,使得加速度越大则坐标(X,Y)与坐标(X′, Y′)的距离越大。
以上说明了本发明优选的实施方式,但本发明并不限定于相关的特定的实施方式,在本发明中包含权利要求书所记载的发明和其等同的范围。

Claims (11)

1.一种移动信息取得装置,其特征在于,具备:
图像输入单元,其输入在时间上连续的多个图像;
检测单元,其从由所述图像输入单元输入的多个图像检测包含摄像时的刻意的摄影方向的移动的分量以及包含非刻意的摄影方向的移动的摄影方向的移动的分量的第1移动的分量、和作为摄像时的刻意的摄影方向的移动的分量的第2移动的分量;
取得单元,其通过从由所述检测单元检测到的所述第1移动的分量中除去由所述检测单元检测到的所述第2移动的分量,来取得所述非刻意的摄影方向的移动的分量,作为移动信息。
2.根据权利要求1所述的移动信息取得装置,其特征在于,
所述检测单元还包含:
运动输入单元,其输入所述在时间上连续的多个图像的摄像时的摄像装置的运动;和
判别单元,其基于由所述运动输入单元输入的运动来判别所述刻意的摄影方向的移动,
所述取得单元,基于所述判别单元的判别结果,来取得所述非刻意的摄影方向的移动的分量。
3.根据权利要求2所述的移动信息取得装置,其特征在于,
由所述运动输入单元输入的运动以给定的矩阵式表征,并且所述刻意的摄影方向的移动的分量以所述矩阵式中的给定的分量表征。
4.根据权利要求1所述的移动信息取得装置,其特征在于,
所述移动信息取得装置还具备:
补正单元,其基于由所述取得单元取得的非刻意的摄影方向的移动的分量来补正由所述图像输入单元输入的多个图像。
5.根据权利要求4所述的移动信息取得装置,其特征在于,
所述移动信息取得装置还具备:
记录单元,其记录由所述补正单元实施补正的结果得到的多个图像。
6.一种移动信息取得方法,其特征在于,包括:
图像输入步骤,输入在时间上连续的多个图像;
检测步骤,从在所述图像输入步骤输入的多个图像检测包含摄像时的刻意的摄影方向的移动的分量以及包含非刻意的摄影方向的移动的摄影方向的分量的第1移动的分量、和作为摄像时的刻意的摄影方向的移动的分量的第2移动的分量;和
取得步骤,通过从在所述检测步骤检测到的所述第1移动的分量中除去由所述检测步骤检测到的所述第2移动的分量,来取得所述非刻意的摄影方向的移动的分量,作为移动信息。
7.根据权利要求6所述的移动信息取得方法,其特征在于,
所述检测步骤还包括:
运动输入步骤,输入所述在时间上连续的多个图像的摄像时的摄像装置的运动;和
判别步骤,基于在所述运动输入步骤输入的运动来判别所述刻意的摄影方向的移动,
所述取得步骤,基于所述判别步骤的判别结果,来取得所述非刻意的摄影方向的移动的分量。
8.根据权利要求7所述的移动信息取得方法,其特征在于,
在所述运动输入步骤输入的运动以给定的矩阵式表征,并且所述刻意的摄影方向的移动的分量以所述矩阵式中的给定的分量表征。
9.根据权利要求6所述的移动信息取得方法,其特征在于,
所述移动信息取得方法还包括:
补正步骤,基于在所述取得步骤取得的非刻意的摄影方向的移动的分量来补正在所述图像输入步骤输入的多个图像。
10.根据权利要求9所述的移动信息取得方法,其特征在于,
所述移动信息取得方法还包括:
记录步骤,使记录部记录由所述补正步骤实施补正的结果得到的多个图像。
11.一种记录介质,存储有使计算机执行如下步骤的程序,所述步骤包括:
图像输入步骤,输入在时间上连续的多个图像;
检测步骤,从在所述图像输入步骤输入的多个图像检测包含摄像时的刻意的摄影方向的移动的分量以及包含非刻意的摄影方向的移动的摄影方向的移动的分量的第1移动的分量、和作为摄像时的刻意的摄影方向的移动的分量的第2移动的分量;和
取得步骤,通过从在所述检测步骤检测到的所述第1移动的分量中除去由所述检测步骤检测到的所述第2移动的分量,来取得所述非刻意的摄影方向的移动的分量,作为移动信息。
CN201610951716.9A 2015-11-27 2016-11-02 移动信息取得装置、移动信息取得方法以及记录介质 Active CN107018311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015231856A JP6582926B2 (ja) 2015-11-27 2015-11-27 移動情報取得装置、移動情報取得方法、及び、プログラム
JP2015-231856 2015-11-27

Publications (2)

Publication Number Publication Date
CN107018311A CN107018311A (zh) 2017-08-04
CN107018311B true CN107018311B (zh) 2020-06-09

Family

ID=58777582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610951716.9A Active CN107018311B (zh) 2015-11-27 2016-11-02 移动信息取得装置、移动信息取得方法以及记录介质

Country Status (3)

Country Link
US (1) US10348967B2 (zh)
JP (1) JP6582926B2 (zh)
CN (1) CN107018311B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6700831B2 (ja) * 2016-02-12 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10499867B2 (en) * 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities
KR20210062289A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법
US11874415B2 (en) * 2020-12-22 2024-01-16 International Business Machines Corporation Earthquake detection and response via distributed visual input
US11750927B2 (en) * 2021-08-12 2023-09-05 Deepx Co., Ltd. Method for image stabilization based on artificial intelligence and camera module therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07301862A (ja) * 1994-04-28 1995-11-14 Sony Corp 映画フイルム走行装置
JP4530961B2 (ja) * 2005-06-30 2010-08-25 オリンパスイメージング株式会社 電子的ぶれ補正装置
US8134603B2 (en) * 2005-08-12 2012-03-13 Nxp B.V. Method and system for digital image stabilization
JP2009290827A (ja) 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP2009301181A (ja) 2008-06-11 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP5300413B2 (ja) * 2008-10-28 2013-09-25 キヤノン株式会社 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP5284048B2 (ja) * 2008-11-12 2013-09-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP6124588B2 (ja) * 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
US9712818B2 (en) * 2013-01-11 2017-07-18 Sony Corporation Method for stabilizing a first sequence of digital image frames and image stabilization unit
CN104919517B (zh) * 2013-01-21 2016-10-26 夏普株式会社 显示装置和显示装置的数据处理方法
JP6204807B2 (ja) * 2013-11-28 2017-09-27 キヤノン株式会社 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP6581352B2 (ja) * 2014-03-05 2019-09-25 キヤノン株式会社 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20170155845A1 (en) 2017-06-01
JP6582926B2 (ja) 2019-10-02
US10348967B2 (en) 2019-07-09
CN107018311A (zh) 2017-08-04
JP2017097767A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
CN106973215B (zh) 移动检测装置以及移动检测方法
CN107018311B (zh) 移动信息取得装置、移动信息取得方法以及记录介质
US8559751B2 (en) Method and device for removing motion blur effects
US7660478B2 (en) Method of determining PSF using multiple instances of nominally scene
EP1779322B1 (en) A digital image acquisition system having means for determining a camera motion blur function
KR101392732B1 (ko) 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
US7697778B2 (en) Method of notifying users regarding motion artifacts based on image analysis
US10511774B2 (en) Image pick-up apparatus and control method
US8436906B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2007114466A (ja) 手ぶれ補正機能を有する撮影装置
CN111385471B (zh) 信息处理设备和方法、摄像设备及其控制方法、存储介质
CN109391755B (zh) 摄像设备及其中执行的方法
CN107105152B (zh) 变焦控制设备、摄像设备和变焦控制方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
US10764500B2 (en) Image blur correction device and control method
JP4985569B2 (ja) 撮像装置および撮像方法
CN106454066B (zh) 图像处理设备及其控制方法
JP7475846B2 (ja) 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
JP5610967B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法
IE20050090U1 (en) A digital image acquisition system having means for determining a camera motion blur function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant