CN105407271A - 图像处理设备和方法、摄像设备以及图像生成设备 - Google Patents

图像处理设备和方法、摄像设备以及图像生成设备 Download PDF

Info

Publication number
CN105407271A
CN105407271A CN201510572393.8A CN201510572393A CN105407271A CN 105407271 A CN105407271 A CN 105407271A CN 201510572393 A CN201510572393 A CN 201510572393A CN 105407271 A CN105407271 A CN 105407271A
Authority
CN
China
Prior art keywords
image
frame
distortion
unit
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510572393.8A
Other languages
English (en)
Other versions
CN105407271B (zh
Inventor
宫迫贤一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105407271A publication Critical patent/CN105407271A/zh
Application granted granted Critical
Publication of CN105407271B publication Critical patent/CN105407271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种图像处理设备和方法、摄像设备以及图像生成设备。所述图像处理设备记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。

Description

图像处理设备和方法、摄像设备以及图像生成设备
技术领域
本发明涉及图像处理设备、摄像设备、图像生成设备和图像处理方法，尤其涉及用于校正由摄像设备的抖动引起的拍摄图像的失真的技术。
背景技术
近年来，用作在摄像设备中使用的图像传感器的CMOS图像传感器已经变得迅速普及。在使用CMOS图像传感器来拍摄运动图像的情况下，广泛使用从CMOS图像传感器的上部分向下部分逐行地顺次读出累积电荷的读出方法。该读出方法称为卷帘快门方法，并且具有图像传感器的上下部分之间的读出定时不同的特征。由于该特征，因而在抖动摄像设备并且移动摄像面上的被摄体的位置的情况下，在拍摄图像中产生由图像传感器的电荷读出定时不同所导致的失真(卷帘快门失真)。
已经提出了利用图像处理来校正这种卷帘快门失真的各种类型的方法。日本特开2011-114649公开了用于在卷帘快门失真校正量超过校正极限的情况下仅校正产生的卷帘快门失真的一部分的技术。
然而，在如日本特开2011-114649中所述的那样进行用于仅校正卷帘快门失真的一部分的情况下，将出现以下问题。也就是说，卷帘快门失真主要是在摄像设备处于平摇状态的情况下超过校正极限。在对运动图像进行摇摄时，即使在仅校正了卷帘快门失真的一部分的情况下，在平摇中的视频图片的移动下也很难注意到剩余未校正的卷帘快门失真。
另一方面，目前，能够拍摄运动图像的大多数摄像设备都具有根据构成运动图像的各个帧图像来生成静止图像的功能。在使用该功能来生成静止图像的情况下，剩余未校正的卷帘快门失真将大幅降低静止图像的质量。
发明内容
本发明是考虑到以上状况而作出的，并且即使在卷帘快门失真部分地保持未校正的情况下，也防止根据摄像设备所拍摄的运动图像的帧图像所生成的静止图像的质量降低。
此外，根据本发明，提供了一种图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；校正单元，用于基于所述校正量来针对各个帧校正卷帘快门失真；剩余校正量计算单元，用于针对各个帧来计算作为所述校正单元未校正的卷帘快门失真量的剩余校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述剩余校正量，其中，所述生成单元基于相关联的所述剩余校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种摄像设备，包括：图像传感器；以及图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种摄像设备，包括：图像传感器；以及图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；校正单元，用于基于所述校正量来针对各个帧校正卷帘快门失真；剩余校正量计算单元，用于针对各个帧计算作为所述校正单元未校正的卷帘快门失真量的剩余校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述剩余校正量，其中，所述生成单元基于相关联的所述剩余校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种图像生成设备，用于根据图像处理设备所记录的运动图像的各个帧图像来生成静止图像，所述图像处理设备用于记录生成单元生成静止图像所使用的运动图像，所述图像生成设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种图像生成设备，用于根据图像处理设备所记录的运动图像的各个帧图像来生成静止图像，所述图像处理设备用于记录生成单元生成静止图像所使用的运动图像，所述图像生成设备包括：校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；校正单元，用于基于所述校正量来针对各个帧校正卷帘快门失真；剩余校正量计算单元，用于针对各个帧来计算作为所述校正单元未校正的卷帘快门失真量的剩余校正量；以及记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述剩余校正量，其中，所述生成单元基于相关联的所述剩余校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种图像处理方法，用于记录生成静止图像所使用的运动图像，所述图像处理方法包括：基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；与所述运动图像的各个帧的图像相关联地记录所述校正量；以及基于相关联的所述校正量来校正从所记录的各个帧的图像中选择出的帧的图像，并且生成静止图像。
此外，根据本发明，提供了一种图像处理方法，用于记录生成静止图像所使用的运动图像，所述图像处理方法包括：基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；校正步骤，用于基于所述校正量来针对各个帧校正卷帘快门失真；针对各个帧来计算作为所述校正步骤未校正的卷帘快门失真量的剩余校正量；与所述运动图像的各个帧的图像相关联地记录所述剩余校正量；以及基于相关联的所述剩余校正量来校正从所记录的各个帧的图像中选择出的帧的图像，并且生成静止图像。
通过对典型实施例的以下说明(参考附图)，本发明的其它特征将变得明显。
附图说明
作为并入并且构成说明书的一部分的附图示出本发明的实施例，并且与说明书一起用于解释本发明的原理。
图1是示出根据本发明的第一实施例的摄像设备在运动图像拍摄时的功能结构的示例的框图。
图2A～2C是示出根据该实施例的第一RS失真校正量计算单元和第二RS失真校正量计算单元的操作的图。
图3A～3D是示出根据该实施例的第二RS失真校正量计算单元和剩余RS失真校正量计算单元的操作的图。
图4A～4D是示出利用根据该实施例的RS失真校正单元的卷帘快门失真校正的图。
图5是示出根据该实施例的摄像设备的用于根据运动图像生成静止图像的功能结构的示例的框图。
图6A～6D是示出利用根据该实施例的RS失真校正单元的剩余RS失真量的校正的图。
图7是示出根据第二实施例的摄像设备的用于运动图像拍摄的功能结构的示例的框图。
图8A和8B是示出根据第二实施例的移动检测/计算单元的处理的图。
图9A～9D是示出根据第二实施例的移动检测/计算单元和剩余RS失真校正控制单元的处理的图。
图10是示出根据第二实施例的剩余RS失真校正控制单元的处理的流程图。
图11A～11C是示出图10的步骤S102的处理的图。
具体实施方式
将根据附图来详细说明本发明的典型实施例。
第一实施例
运动图像拍摄
图1是示出用作根据本发明的第一实施例的摄像设备100的示例的摄像机在运动图像拍摄时的功能结构的框图。以下，将具体说明图1中的摄像设备100的功能结构及其操作的示例。
摄像光学系统101在图像传感器102上形成被摄体图像(未示出)。注意，尽管图1示出由单个透镜构成的摄像光学系统101，但摄像光学系统101通常包括诸如变焦透镜和调焦透镜等的多个透镜和光圈等以使得能够控制变焦、调焦和入射光量等。本实施例的图像传感器102是包括二维配置的多个光电转换元件的CMOS图像传感器，并且从图像传感器102的上部分向下部分、顺次输出在各帧期间针对各线以不同定时所累积的电荷。如上所述，该驱动方法称为卷帘快门方法，以下，“RS”是指卷帘快门的缩写。图像传感器102使用卷帘快门方法将利用摄像光学系统101所形成的被摄体图像转换成用作图像信号的电气信号，并且将转换后的电气信号提供给信号处理单元103。信号处理单元103根据图像传感器102所获得的图像信号来生成符合例如NTSC格式的视频信号，并且将所生成的视频信号提供给图像存储器104。
角速度传感器111检测摄像设备100的抖动作为角速度信号，并且将该角速度信号提供给A/D转换器112。A/D转换器112对来自角速度传感器111的角速度信号进行数字化，并且将作为角速度数据的数字化信号提供给设置在微计算机(μCOM)110内部的第一RS失真校正量计算单元113和第二RS失真校正量计算单元114。
RS失真校正单元105基于第二RS失真校正量计算单元114的计算结果来校正图像存储器104中所存储的拍摄图像中生成的卷帘快门失真。剩余RS失真校正量计算单元115基于第一RS失真校正量计算单元113和第二RS失真校正量计算单元114的计算结果来计算剩余卷帘快门失真校正量，并且将所计算出的剩余校正量提供给元数据生成单元116。
运动图像编码单元117将从RS失真校正单元105提供的视频信号压缩成预定格式，并且将压缩后的视频信号提供给元数据生成单元116。元数据生成单元116基于从剩余RS失真校正量计算单元115提供的数据来生成元数据，并且将所生成的元数据与从运动图像编码单元107输出的运动图像数据相关联地记录在记录介质108中。注意，后面将说明元数据生成单元116中所处理的元数据。
记录介质108例如可以是诸如硬盘等的磁记录介质或诸如半导体存储器等的信息记录介质，但不限于这些。此外，显示装置106包括例如液晶显示元件(LCD)等，并且显示从RS失真校正单元105输出的图像。
以下将具体说明根据第一实施例的RS失真校正单元105、第一RS失真校正量计算单元113、第二RS失真校正量计算单元114、剩余RS失真校正量计算单元115和元数据生成单元116的操作。
图2A～2C是示出第一RS失真校正量计算单元113的操作的图。图2A示出利用L0～L6来表示任意图像线的拍摄图像。图2B是纵轴表示时间并且横轴表示基于角速度数据所计算出的摄像面上的照相机抖动量或照相机抖动角度的时间变化的图。注意，图2A中的拍摄图像的图像线L0～L6的电荷累积定时分别与时间T0～T6相对应。图2B中的图示出从时间T0到时间T6逐渐改变的照相机抖动量或照相机抖动角度。
第一RS失真校正量计算单元113基于A/D转换器112的输出来计算在各个时间T0～T6处摄像面上的照相机抖动量或照相机抖动角度a0～a6，并且将所计算出的照相机抖动量或照相机抖动角度存储在μCOM110内部所设置的存储器(未示出)中。这里注意，作为用于计算照相机抖动角度a0～a6的7个数据的单元来说明第一RS失真校正量计算单元113，但要获得的数据的数量不限于此。要计算的数据的数量是任意的，只要与图像的图像线的电荷累积定时同步计算多个照相机抖动角度数据即可。
第一RS失真校正量计算单元113还进行以下计算：从照相机抖动角度a0～a6减去与在拍摄图像的图像中心延长的图像线L3的电荷累积定时相对应的时间T3处的照相机抖动角度a3。图2C是示出该计算的结果的图，并且图2C的纵轴和横轴与图2B的纵轴和横轴相同。假定偏移照相机抖动角度b0～b6是通过从照相机抖动角度a0～a6减去照相机抖动角度a3所得到的结果，计算结果是如图2C所示那样使移动照相机抖动角度a0～a6偏移以满足b3＝0。第一RS失真校正量计算单元113将偏移照相机抖动角度b0～b6提供给第二RS失真校正量计算单元114和剩余RS失真校正量计算单元115。
第二RS失真校正量计算单元114使用偏移照相机抖动角度b0～b6来进行要在RS失真校正单元105中设置的数据(RS失真校正设置数据)的计算。具体地，第二RS失真校正量计算单元114判断偏移照相机抖动角度b0～b6是否超过校正极限，其中在该校正极限内可以使用后面将说明的方法来校正卷帘快门失真，并且如果偏移照相机抖动角度不超过校正极限，则将偏移照相机抖动角度b0～b6设置为RS失真校正单元105中的RS失真校正设置数据。如果偏移照相机抖动角度b0～b6超过校正极限，则对偏移照相机抖动角度b0～b6进行校正以使得RS失真校正设置数据落入校正极限。例如，在图2C中，与偏移照相机抖动角度b1和b5相对应的RS失真校正量是校正极限，将偏移照相机抖动角度b0～b6乘以增益以使得偏移照相机抖动角度b0～b6的最大值落入与偏移照相机抖动角度b1～b5相对应的RS失真校正量的范围。
图3A是纵轴表示与图2B相同的内容并且横轴表示RS失真校正量的图。注意，图3A和图2C的横轴的单位相同。图3A中的实线图示出作为通过将偏移照相机抖动角度b0～b6乘以增益所得到的积的调整后的校正量c0～c6，并且虚线图示出与图2C中的图相同的图。第二RS失真校正量计算单元114将调整后的校正量c0～c6设置为RS失真校正单元105中的RS失真校正设置数据。
图4A～4D是示出RS失真校正单元105基于利用第二RS失真校正量计算单元114所计算出的RS失真校正设置数据c0～c6来进行卷帘快门失真校正的方法的图。图4A示出在图像的横方向上的卷帘快门失真的校正，图4B示出在图像的纵方向上的卷帘快门失真的校正，并且图4C示出在图像的转动方向上的卷帘快门失真的校正。图4D示出在完全校正了图4A、4B和4C中的卷帘快门失真的情况下的输出图像的概念。
图4A中的矩形示出包括可以从图像传感器102获得的全部像素的图像401的范围。图像401内部的小平行四边形表示原本是正方形并且在通过摄像设备100在横摆方向上的抖动所引起的卷帘快门失真而导致角度失真的情况下所拍摄的被摄体402。图4A右侧的图是纵轴表示时间且横轴表示卷帘快门失真的校正量(RS失真校正量)并且绘制了时间T0～T6处的RS失真校正设置数据的图。
RS失真校正单元105基于时间T0～T6处的离散RS失真校正设置数据，使用诸如线性插值、多项式近似或最小二乘等的已知方法来计算与拍摄图像的全部图像线相对应的RS失真校正量。RS失真校正单元105根据RS失真校正量，通过改变每一图像线在水平方向上的图像输出开始位置来校正卷帘快门失真。也就是说，通过将图像读出范围403限制为图4A中的大平行四边形来校正卷帘快门失真。
此外，在图4B中，图像401内部的纵方向长的小矩形表示原本是正方形并且通过摄像设备100在俯仰方向上的抖动所引起的卷帘快门失真而导致失真以使得在纵方向上延长的被摄体402。图4B右侧的图是纵轴表示时间且横轴表示RS失真校正量并且绘制了时间T0～T6处的RS失真校正设置数据的图。
如上所述，RS失真校正单元105基于时间T0～T6处的离散RS失真校正设置数据，计算针对拍摄图像的全部图像线的电荷累积定时的RS失真校正量。RS失真校正单元105根据RS失真校正量，通过上下偏移和改变图像读出线来校正卷帘快门失真。也就是说，通过将图像读出范围403限制为紧挨图4B中的拍摄图像的范围内侧的矩形来校正卷帘快门失真。注意，在图4B中，虚线所表示的部分示出在没有校正卷帘快门失真的情况下的图像读出范围。
同样地，在图4C中，图像401内部的小扇形表示原本是正方形并且在通过摄像设备100在绕着光轴转动的方向上的抖动所引起的卷帘快门失真而导致扇形的形状失真的情况下所拍摄的被摄体402。图4C右侧的图是纵轴表示时间且横轴表示RS失真校正量并且绘制了时间T0～T6处的RS失真校正设置数据的图。
如上所述，RS失真校正单元105基于时间T0～T6处的离散RS失真校正设置数据，计算与拍摄图像的全部图像线相对应的电荷累积定时的RS失真校正量。RS失真校正单元105根据RS失真校正量，通过以绕着用作原点的图像中心O转动图像读出线的方式改变图像读出位置来校正卷帘快门失真。也就是说，通过将图像读出范围403限制为图4C中的大扇形图形，来校正卷帘快门失真。
图4D如上所述示出在完全校正了卷帘快门失真而不剩余任何未校正失真的情况下所获得的输出图像，并且将图4A～4C中失真的被摄体校正为原始形状。在第二RS失真校正量计算单元114中的从第一RS失真校正量计算单元113提供的数据不超过校正极限并且不进行改变地被设置为RS失真校正单元105中的RS失真校正设置数据的情况下，进行给出如图4D所示的结果的校正。另一方面，在第二RS失真校正量计算单元114中的从第一RS失真校正量计算单元113提供的数据超过校正极限的情况下，图4A～4C中的被摄体的失真近似图4D的状态，但没有完全被校正。
剩余RS失真校正量计算单元115计算该剩余卷帘快门失真校正量(剩余RS失真量)，并且将所计算出的剩余卷帘快门失真校正量提供给元数据生成单元116。以下将参考3A和3B来说明剩余RS失真校正量计算单元115中的计算。剩余RS失真校正量计算单元115对利用第一RS失真校正量计算单元113所计算出的摄像面上的照相机抖动量或偏移照相机抖动角度b0～b6(图3A中的虚线)与利用第二RS失真校正量计算单元114所计算出的RS失真校正设置数据c0～c6(图3A中的实线)之间在各时间T0～T6处的差进行计算。
图3B是示出通过针对各时间T0～T6处的数据计算bn–cn(n＝0～6)所获得的计算结果的图。这里，使剩余RS失真量dn＝bn–cn(n＝0～6)来进行计算。
如参考图4A～4D来说明的那样，进行了卷帘快门失真校正的输出图像的范围比拍摄图像小。因此，需要将与剩余RS失真量有关的数据转换成与输出图像范围相对应的数据。在图3C中，实线矩形表示拍摄图像401，并且拍摄图像401以内的实线矩形表示输出图像403。图3D是如图3B那样纵坐标表示时间并且横轴表示剩余RS失真量的图。剩余RS失真量需要是与输出图像相关联的数据。因此，如图3C所示，在输出图像403的范围内，将记录与剩余RS失真量有关的数据的图像线设置为L10～L16。然后，如图3D中的图所示，将与图像线L10～L16的电荷累积定时相对应的时间定义为T10～T16，并且计算时间T10～T16处的调整后的剩余RS失真量e0～e6。通过基于图3B的图的T0～T6和剩余失真量d0～d6来调整时间T10～T16处的剩余RS失真量，由此使用诸如线性插值或多项式近似插值等的方法来进行调整后的剩余RS失真量e0～e6的计算。
剩余RS失真校正量计算单元115将剩余RS失真量e0～e6提供给元数据生成单元116。元数据生成单元116将剩余RS失真量e0～e6作为元数据与包括剩余RS失真量的针对各个帧的图像(帧图像)相关联地记录在记录介质108中。通过针对多个帧重复进行上述处理，来记录运动图像。
静止图像生成
以下将说明用户根据运动图像来确定用于生成静止图像的帧图像的处理。图5是示出用作根据第一实施例的摄像设备100的示例的摄像机的用于根据运动图像数据来生成静止图像的功能结构的框图。以下，将参考图5来说明这些功能结构及其操作的示例。注意，在图5中，对与参考图1来说明的运动图像拍摄的情况通用的功能结构赋予相同的附图标记，并且省略了详细说明。
操作构件210例如是作为触摸板、箭头键或各种类型的按钮等的用户进行各种类型的操作所用的构件。μCOM110内部设置的UI控制单元211进行以下处理：分析用户对操作构件210的操作，并且将指示发送至摄像设备100的适当的结构块。
在用户对操作构件210进行操作以指定所拍摄到的运动图像的给定帧(指定帧)并且UI控制单元211检测到用于生成静止图像的操作的情况下，UI控制单元211将用以对指定帧的帧图像进行解码的指示发送至运动图像解码单元201。此外，UI控制单元211将用以读出与指定帧相关联地记录在记录介质108中的元数据的指示发送至元数据分析单元212。
运动图像解码单元201对记录介质108中所记录的压缩后的运动图像进行解码以生成指定帧的帧图像，并且将所生成的帧图像存储在图像存储器104中。元数据分析单元212分析指定帧的元数据以判断是否包括剩余RS失真量。如果不包括剩余RS失真量，则元数据分析单元212将不进行卷帘快门失真校正的指示发送至RS失真校正单元105，而如果包括剩余RS失真量，则元数据分析单元212在剩余RS失真校正单元105中设置剩余RS失真量。
RS失真校正单元105根据元数据分析单元212的指示而进行剩余RS失真量的校正。元数据分析单元212分析指定帧的元数据，确定静止图像的图像大小，并且在图像大小校正单元202中设置所确定的图像大小。
图像大小校正单元202根据元数据分析单元212的指示而改变图像大小。静止图像编码单元203使用JPEG压缩对图像大小被图像大小校正单元202改变后的静止图像进行编码，并且将最终编码后的静止图像数据记录在记录介质108中。
以下将详细说明元数据分析单元212、RS失真校正单元105和图像大小校正单元202对剩余RS校正量的校正的操作。如上所述，在图1中从第一RS失真校正量计算单元113提供给第二RS失真校正量计算单元114的数据超过校正极限的情况下，在运动图像拍摄时，RS失真校正单元105不完全校正卷帘快门失真。因此，将剩余有被摄体的失真的运动图像记录在记录介质108中。将参考图6A～6D来说明图3D中的图中所示的在用户所选择的指定帧的图像包括剩余RS失真量的情况下的操作。
图6A～6D是示出RS失真校正单元105基于表示元数据分析单元212所设置的剩余RS失真量的数据来进行剩余RS失真量的校正的方法的图。图6A示出图像的横方向上的校正，图6B示出图像的纵方向上的校正，并且图6C示出图像的转动方向上的校正。图6D示出校正了图6A、6B和6C中的剩余RS失真量的图像。
图6A左侧的图中的细实线矩形表示记录介质108中所记录的记录图像601的范围。记录图像601内部的小平行四边形表示原本是正方形并且通过横方向上的卷帘快门失真而导致角度失真的被摄体602，由此示出没有完全校正拍摄时的卷帘快门失真的状态。图6A右侧的图是纵轴表示时间且横轴表示剩余RS失真量并且绘制了针对时间T10～T16处的剩余RS失真量的设置数据的图。
RS失真校正单元105根据剩余RS失真量，通过针对每一图像线改变水平方向上的图像输出开始位置来进行剩余RS失真量的校正。也就是说，通过将图像读出范围603限制为图6A的粗线表示的大平行四边形，来实现剩余RS失真量的校正。
此外，在图6B中，记录图像601内部的纵方向长的小矩形也表示被摄体602。这里，被摄体602原本是正方形并且通过纵方向上的卷帘快门失真而导致失真以使得在纵方向上延长，由此示出没有完全校正拍摄时的卷帘快门失真的状态。图6B右侧的图是纵轴表示时间且横轴表示剩余RS失真量并且绘制了针对时间T10～T16处的剩余RS失真量的设置数据的图。
RS失真校正单元105根据剩余RS失真量，通过上下偏移和改变图像读出线来进行剩余RS失真量的校正。也就是说，通过将图像读出范围603限制为图6B中的粗线平行四边形，来实现剩余RS失真量的校正。
同样地，在图6C中，记录图像601内部的小扇形也表示被摄体602。这里，被摄体602原本是正方形并且通过图像的转动方向上的卷帘快门失真而导致扇形的形状失真，由此示出没有完全校正拍摄时的卷帘快门失真的状态。图6C右侧的图是纵轴表示时间且横轴表示剩余RS失真量并且绘制了针对时间T10～T16处的剩余RS失真量的设置数据的图。
RS失真校正单元105根据剩余RS失真量，通过以绕着用作原点的图像中心O转动图像读出线的方式改变图像读出位置来进行剩余RS失真量的校正。也就是说，通过将图像读出范围603限制为图6C的粗线表示的大扇形，来实现剩余RS失真量的校正。
图6D示出按如上所述的方式校正剩余RS失真量的图像，并且图6A～6C中失真的被摄体被校正为原始形状。图6D的细实线表示的最外侧的矩形与图6A～6C一样表示记录图像601的范围。此外，该最外侧的矩形内部的利用粗线表示的范围604表示要作为静止图像生成的图像的输出范围。利用图像大小校正单元202来确定该输出范围。
在图6A～6C左侧的图中，进行剩余RS失真量的校正的图像读出范围603与记录图像601之间的阴影区域是不存在视频信号的区域。无法生成大小与记录图像相同的图像作为静止图像。因此，图像大小校正单元202确定输出图像604的范围以使得仅输出存在视频信号的区域。
将参考图6A～6C来说明利用图像大小校正单元202来确定输出图像604的范围的方法。在图6A左侧的图中，在图像的横方向上，图像读出范围603包括不存在视频信号的区域。此时，通过计算右侧的图中的剩余RS失真量的绝对值的最大值并且将横方向上的输出图像范围缩小该最大值，可以使得要被生成为静止图像的图像不包括不存在视频信号的区域。
在图6B左侧的图中，在图像的纵方向上，图像读出范围603包括不存在视频信号的区域。此时，如果在缩小图像并且校正剩余RS失真量的方向上存在右侧的图中的时间T10和T16处的剩余RS失真量，则将纵方向上的输出图像范围缩小这些量。缩小图像的方向是指剩余RS失真量在T13上侧的时间处是负值的方向，或者剩余RS失真量在T13下侧的时间处是正值的方向。
在图6C左侧的图上，在图像的纵横两侧上，图像输出范围603包括不存在视频信号的区域。首先，对于纵方向，基于右侧的图中的时间T10～T16处的剩余RS失真量来计算记录图像的四角处的像素的读出坐标，并且设置输出图像范围以使得针对纵方向的图像读出范围不超过记录图像601。此外，对于横方向，计算与全部时间T10～T16(T13除外)相对应的记录图像601的线的右侧或左侧的像素的读出坐标。然后，设置输出图像范围以使得针对横方向的图像读出范围不超过记录图像601。注意，针对左侧或右侧的选择，在T13上侧的时间处，在剩余RS失真量是负值的情况下选择右侧，并且在剩余RS失真量是正值的情况下选择左侧。相反，在T13下侧的时间处，在剩余RS失真量是负值的情况下选择左侧，并且在剩余RS失真量是正值的情况下选择右侧。
如上所述，在本发明的第一实施例中，利用剩余RS失真校正量计算单元115来计算运动图像拍摄时所产生的剩余RS失真校正量，并且与运动图像的各个帧相关联地记录该剩余RS失真校正量作为元数据。此外，在基于用户的指示来根据运动图像的各个帧生成静止图像的情况下，基于元数据来进行剩余RS失真校正量的校正，适当地校正图像大小，并且生成静止图像。这防止了运动图像中容许的剩余RS失真校正量在所生成的静止图像中变得明显以及静止图像的质量劣化，使之可以生成最适合静止图像的图像。
第二实施例
运动图像拍摄
以下，将说明本发明的第二实施例。图7是示出用作根据第二实施例的摄像设备700的示例的摄像机的用于运动图像拍摄的功能结构的框图。图7是通过向图1所示的结构添加运动矢量检测单元701、移动检测/计算单元702和剩余RS失真校正控制单元703所获得的图。此外，第二RS失真校正量计算单元114’根据来自移动检测/计算单元702的信息来切换处理。注意，对与图1的功能结构相同的功能结构赋予相同的附图标记，并且省略了说明。
运动矢量检测单元701基于信号处理单元103所生成的当前视频信号中所包括的亮度信号以及图像存储器104所存储的先前的一个帧的视频信号中所包括的亮度信号来检测图像的运动矢量。将利用运动矢量检测单元701所检测出的运动矢量的输出提供给移动检测/计算单元702。
移动检测/计算单元702基于利用运动矢量检测单元701的运动矢量检测的结果来判断摄像画面中是否存在移动被摄体，以及拍摄者是否在跟踪(追踪)移动被摄体的情况下进行拍摄。此外，基于来自A/D转换器112的输出或来自运动矢量检测单元701的输出来计算由摄像设备700的移动引起的拍摄图像的移动的速度。
将参考图8A和8B来说明移动检测/计算单元702的处理。图8A示出以使得画面的中心的移动被摄体保持在画面的中心(使得追踪被摄体)的方式而拍摄的图像。利用将图像分割成多个块并且计算每个块中的运动矢量的块匹配方法来进行运动矢量检测，并且虚线表示运动矢量检测时所使用的块。
图8B使用箭头的方向和大小示出块的运动矢量检测结果。粗线框内的运动矢量示出移动被摄体的运动矢量，并且粗线框外的运动矢量示出除移动被摄体外的背景区域中的运动矢量。首先，在如图8B所示存在运动矢量大小不同的两个以上区域的情况下，移动检测/计算单元702判断为摄像画面中存在移动被摄体。
然后，移动检测/计算单元702指定与移动被摄体区域和背景区域分别对应的运动矢量大小不同的区域。使用诸如将在画面中扩展到更广的范围的区域定义为背景区域的方法等的已知方法作为指定方法。在图8B中，将粗线框中的区域指定为移动被摄体区域。然后，对背景区域中的运动矢量的平均值的绝对值和移动被摄体区域中的运动矢量的平均值的绝对值进行比较，并且如果移动被摄体区域中的运动矢量的平均值的绝对值更小，则判断为进行追踪移动被摄体的拍摄。这是由于：在移动被摄体区域中的运动矢量为0的情况下，表示以完全追踪到移动被摄体的移动的方式进行了拍摄，即，在移动被摄体区域中的运动矢量接近为0的情况下判断为进行追踪移动被摄体的拍摄。
此外，移动检测/计算单元702计算由摄像设备700的移动引起的拍摄图像的移动的速度。这里所进行的计算可以使用运动矢量检测单元701或A/D转换器112的输出。在使用运动矢量检测单元701的输出的情况下，使用背景区域的运动矢量来计算移动速度。此外，A/D转换器112的输出是表示摄像设备700的角速度的信号，因而进行用于将该信号转换成摄像面上的移动速度的计算。
将移动检测/计算单元702对是否进行了追踪移动被摄体的拍摄的判断的结果提供给第二RS失真校正量计算单元114和剩余RS失真校正控制单元703。此外，将移动速度提供给剩余RS失真校正控制单元703。
在从移动检测/计算单元702接收到追踪移动被摄体的判断结果时，第二RS失真校正量计算单元114’在RS失真校正单元105中设置表示未进行卷帘快门失真校正的RS失真校正设置数据。可选地，可以设置RS失真校正设置数据以使得减少校正量。原因如下。
图9A示出使得在画面的中心的移动被摄体保持在画面的中心而拍摄的图像。在这种情况下，由于追踪移动被摄体的摄像设备的移动而导致背景区域在角度上失真，但移动被摄体在画面中的位置没有改变，因而移动被摄体的失真小。图9B示出校正了背景区域中的斜向卷帘快门失真的图像，并且在图9A中未失真的移动被摄体在角度上失真。为了防止移动被摄体以这种方式失真，第二RS失真校正量计算单元114’如上所述在RS失真校正单元105中设置表示未进行卷帘快门失真校正的RS失真校正设置数据。
剩余RS失真校正控制单元703基于移动速度和关于是否进行了追踪移动被摄体的拍摄的移动检测/计算单元702的判断结果来计算增益(剩余RS失真增益)。这里所计算出的增益示出利用剩余RS失真校正量计算单元115所计算出的剩余RS失真量的校正的程度。然后，将该剩余RS失真增益连同剩余RS失真量一起提供给元数据生成单元116。元数据生成单元116基于从剩余RS失真校正量计算单元115和剩余RS失真校正控制单元703提供的数据来生成预先定义的元数据，并且将所生成的元数据与要从运动图像编码单元107输出的运动图像数据相关联地记录在记录介质108中。
以下将参考图10的流程图来说明在剩余RS失真校正控制单元703中进行的用于确定剩余RS失真增益的处理的示例。图10是示出剩余RS失真校正控制单元703中进行的处理的示例的流程图。在步骤S101中，移动检测/计算单元702判断拍摄者是否正在进行追踪移动被摄体的拍摄。如果步骤S101中的判断为否，则图10中的流程图的处理结束。如果步骤S101中的判断为是，则该过程进入步骤S102。在步骤S102中，计算剩余RS失真增益。后面将详细说明步骤S102中的处理。在步骤S102之后，该过程进入步骤S103，其中在步骤S103中，在元数据生成单元116中设置与剩余RS失真增益有关的数据。
然后，将详细说明步骤S102中所进行的处理。作为第一示例，在步骤S102中，将剩余RS失真增益无条件地设置为0或接近为0的值(小于第一阈值的值)。因此，与来自剩余RS失真校正量计算单元115的在元数据生成单元116中所设置的数据无关地，在静止图像生成时不进行或者几乎不进行利用RS失真校正单元105的剩余RS失真量的校正。也就是说，可以防止移动被摄体如图9B中那样失真。
将参考图11A来说明步骤S102中所进行的处理的第二示例。图11A是横轴表示利用移动检测/计算单元702所计算的移动速度并且纵轴表示剩余RS失真增益的图。在图11A中，剩余RS失真增益根据移动速度而改变。具体地，在移动速度低(等于或小于第二阈值的值)的情况下将剩余RS失真增益设置为0(图11A中的A)，并且随着移动速度的增加(图11A中的B)，剩余RS失真增益增大。在预定移动速度处将剩余RS失真增益箝位在小于1的值(图11A中的C)。原因如下。图9C示出使得在画面的中心的移动被摄体保持在画面的中心而拍摄的图像，其中在跟踪以比图9A的速度高的速度移动的被摄体的情况下进行拍摄。在这种情况下，仅在背景区域中产生大的失真并且移动被摄体未失真的状态看起来相当不自然。因此，通过随着移动速度的增加来增加剩余RS失真增益，来实现图9D中所示的移动被摄体区域和背景区域二者都失真的状态以进行用于缓和如上所述的不自然的视图的控制。
将参考图11B来说明步骤S102中所进行的处理的第三示例。图11B中的图的横轴表示移动被摄体大小并且纵轴表示剩余RS失真增益。基于运动矢量检测单元701的检测结果利用移动检测/计算单元702来计算移动被摄体大小。具体地，计算与图8B中的粗线框的区域相对应的数据。将利用移动检测/计算单元702所计算出的结果提供给剩余RS失真校正控制单元703，并且剩余RS失真校正控制单元703根据移动被摄体大小来改变剩余RS失真增益。在图11B中，在移动被摄体大小较小(等于或小于第三阈值)的情况下将剩余RS失真增益设置为1(图11B中的D)，并且在生成静止图像时校正全部剩余RS失真量。随着移动被摄体大小的增加，剩余RS失真增益减小，并且在移动被摄体大小是预定大小或更大的大小的情况下将剩余RS失真增益设置为0(图11B中的F)。原因如下。也就是说，在移动被摄体大小较小的情况下，背景区域中的失真相比移动被摄体区域更明显，因而优选减少背景区域中的失真。在移动被摄体大小增加的情况下，移动被摄体区域的失真变得明显，因而优选减少移动被摄体区域的失真。
将参考图11C来说明步骤S102中所进行的处理的第四示例。图11C中的图的横轴表示从画面的中心到移动被摄体位置的距离并且纵轴表示剩余RS失真增益。基于运动矢量检测单元701的检测结果利用移动检测/计算单元702来计算从画面的中心到移动被摄体位置的距离。具体地，计算与图8B中的粗线框的中心坐标与图8B中的整个图像的中心坐标之间的距离相对应的数据。将移动检测/计算单元702中所计算出的结果提供给剩余RS失真校正控制单元703，并且剩余RS失真校正控制单元703根据从画面的中心到移动被摄体位置的距离来改变剩余RS失真增益。在图11C中，在从画面的中心到移动被摄体位置的距离小的情况下，将剩余RS失真增益设置为0(图11C中的G)，并且在生成静止图像时不进行剩余RS失真量的校正。随着从画面的中心到移动被摄体位置的距离增加(到等于或大于第四阈值的值)，剩余RS失真增益增大(图11C中的H)，并且在距离是预定值或大于预定值的情况下将剩余RS失真增益设置为1(图11C中的I)。原因如下。也就是说，在画面中的移动被摄体位置在中心附近的情况下，移动被摄体区域中的失真相比背景区域更明显，因而优选减少移动被摄体区域中的失真。随着画面中的移动被摄体的位置远离中心附近，背景区域中的失真明显，因而优选减少背景区域中的失真。
注意，可以组合地使用参考图11A～11C中的图所说明的用于根据移动速度、移动被摄体大小和从画面的中心到移动被摄体位置的距离来设置剩余RS失真增益的过程。例如，在移动被摄体位置远离中心的情况下，进行根据图11C中的图的过程，并且在移动被摄体位置在中心附近的情况下，进行根据图11B中的图的过程。此外，可以使用各种类型的组合，以使得在移动被摄体小的情况下进行根据图11B的过程，并且在移动被摄体大的情况下进行根据图11A的过程。
静止图像生成
除元数据分析单元212的处理以外，由用户根据运动图像来确定生成静止图像所使用的帧的图像以及生成静止图像的处理与参考图5在第一实施例中所述的相同。元数据分析单元212从记录介质108中的被记录为元数据的数据，读出剩余RS失真校正量和剩余RS失真增益。然后，在RS失真校正单元105中设置通过将剩余RS失真校正量与剩余RS失真增益相乘所获得的积。RS失真校正单元105根据所设置的数据来进行剩余RS失真量的校正。
以上已经基于优选实施例详细说明了本发明，但本发明不限于这些特定实施例，并且在没有背离本发明的精神的情况下包括各种变形。例如，代替角速度传感器111的输出，可以使用运动矢量检测单元701的输出，或者设置有用于机械地校正摄像设备的失真的机构的结构也是可以的。在这种情况下，在用于机械地校正失真的机构无法完全校正失真的情况下产生拍摄图像的卷帘快门失真，因而通过减去用于机械地校正失真的机构所作出的校正的量来计算卷帘快门失真校正量。
注意，本发明适用于由多个装置(例如，摄像设备、图像处理设备和接口装置等)构成的摄像系统或者由单个装置构成的设备(诸如摄像机等)。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (16)

1.一种图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：
校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及
记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，
其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
2.一种图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：
校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；
校正单元，用于基于所述校正量来针对各个帧校正卷帘快门失真；
剩余校正量计算单元，用于针对各个帧来计算作为所述校正单元未校正的卷帘快门失真量的剩余校正量；以及
记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述剩余校正量，
其中，所述生成单元基于相关联的所述剩余校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
3.根据权利要求2所述的图像处理设备，其中，所述静止图像的图像大小根据所述剩余校正量的校正时所使用的像素而改变。
4.根据权利要求2所述的图像处理设备，其中，所述静止图像的图像大小根据所述校正量的校正时所使用的像素而改变。
5.根据权利要求2～4中任一项所述的图像处理设备，其中，还包括图像传感器，所述图像传感器包括多个像素线并且用于在帧期间针对各个像素线而改变电荷累积定时和读出定时的情况下顺次输出多个帧的图像信号。
6.根据权利要求2所述的图像处理设备，其中，还包括：
移动检测单元，用于检测图像中的被摄体的移动；以及
设置单元，用于在所述被摄体移动的情况下设置用于减弱所述剩余校正量的校正的强度的增益。
7.根据权利要求6所述的图像处理设备，其中，在所述移动检测单元检测到追踪所述被摄体的拍摄的情况下，所述设置单元将所述增益设置为小于第一阈值的值。
8.根据权利要求6所述的图像处理设备，其中，在所述被摄体的移动速度大于第二阈值的情况下，所述设置单元将所述增益设置为比所述被摄体的移动速度是所述第二阈值或小于所述第二阈值的情况下的增益大的值。
9.根据权利要求6所述的图像处理设备，其中，在图像中的所述被摄体的大小大于第三阈值的情况下，所述设置单元将所述增益设置为比所述被摄体的大小是所述第三阈值或小于所述第三阈值的情况下的增益小的值。
10.根据权利要求6所述的图像处理设备，其中，在所述被摄体与图像的中心之间的距离是第四阈值或大于所述第四阈值的情况下，所述设置单元将所述增益设置为比所述距离小于所述第四阈值的情况下的增益大的值。
11.一种摄像设备，包括：
图像传感器；以及
图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：
校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及
记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，
其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
12.一种摄像设备，包括：
图像传感器；以及
图像处理设备，用于记录生成单元生成静止图像所使用的运动图像，所述图像处理设备包括：
校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；
校正单元，用于基于所述校正量来针对各个帧校正卷帘快门失真；
剩余校正量计算单元，用于针对各个帧计算作为所述校正单元未校正的卷帘快门失真量的剩余校正量；以及
记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述剩余校正量，
其中，所述生成单元基于相关联的所述剩余校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
13.一种图像生成设备，用于根据图像处理设备所记录的运动图像的各个帧图像来生成静止图像，所述图像处理设备用于记录生成单元生成静止图像所使用的运动图像，所述图像生成设备包括：
校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；以及
记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述校正量，
其中，所述生成单元基于相关联的所述校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
14.一种图像生成设备，用于根据图像处理设备所记录的运动图像的各个帧图像来生成静止图像，所述图像处理设备用于记录生成单元生成静止图像所使用的运动图像，所述图像生成设备包括：
校正量计算单元，用于基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；
校正单元，用于基于所述校正量来针对各个帧校正卷帘快门失真；
剩余校正量计算单元，用于针对各个帧来计算作为所述校正单元未校正的卷帘快门失真量的剩余校正量；以及
记录单元，用于与所述运动图像的各个帧的图像相关联地记录所述剩余校正量，
其中，所述生成单元基于相关联的所述剩余校正量来校正从各个帧的图像中选择出的帧的图像，并且生成静止图像。
15.一种图像处理方法，用于记录生成静止图像所使用的运动图像，所述图像处理方法包括：
基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；
与所述运动图像的各个帧的图像相关联地记录所述校正量；以及
基于相关联的所述校正量来校正从所记录的各个帧的图像中选择出的帧的图像，并且生成静止图像。
16.一种图像处理方法，用于记录生成静止图像所使用的运动图像，所述图像处理方法包括：
基于照相机抖动量检测单元所检测到的抖动量来针对所述运动图像的各个帧计算图像信号的卷帘快门失真的校正所用的校正量；
校正步骤，用于基于所述校正量来针对各个帧校正卷帘快门失真；
针对各个帧来计算作为所述校正步骤未校正的卷帘快门失真量的剩余校正量；
与所述运动图像的各个帧的图像相关联地记录所述剩余校正量；以及
基于相关联的所述剩余校正量来校正从所记录的各个帧的图像中选择出的帧的图像，并且生成静止图像。
CN201510572393.8A 2014-09-09 2015-09-09 图像处理设备和方法、摄像设备以及图像生成设备 Active CN105407271B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-183494 2014-09-09
JP2014183494A JP6385212B2 (ja) 2014-09-09 2014-09-09 画像処理装置及び方法、撮像装置、及び画像生成装置

Publications (2)

Publication Number Publication Date
CN105407271A true CN105407271A (zh) 2016-03-16
CN105407271B CN105407271B (zh) 2018-09-04

Family

ID=55438693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510572393.8A Active CN105407271B (zh) 2014-09-09 2015-09-09 图像处理设备和方法、摄像设备以及图像生成设备

Country Status (3)

Country Link
US (1) US9749539B2 (zh)
JP (1) JP6385212B2 (zh)
CN (1) CN105407271B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888821A (zh) * 2016-09-28 2018-04-06 瑞萨电子株式会社 相机控制器、图像处理模块以及半导体系统
CN108012089A (zh) * 2016-10-31 2018-05-08 奥林巴斯株式会社 摄像装置和摄像方法
CN109478331A (zh) * 2016-07-06 2019-03-15 三星电子株式会社 用于图像处理的显示装置及方法
CN109547671A (zh) * 2017-09-22 2019-03-29 三星电子株式会社 图像传感器、相机模块以及成像设备
CN111371987A (zh) * 2020-02-25 2020-07-03 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021208569A1 (zh) * 2020-04-13 2021-10-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN114731372A (zh) * 2019-12-02 2022-07-08 三星电子株式会社 用于校正相机切换时的图像的电子装置及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015186235A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US10334254B2 (en) * 2016-09-23 2019-06-25 Apple Inc. Feed-forward and feed-back metadata exchange in image processing pipelines to improve image quality
JP6467455B2 (ja) * 2017-04-18 2019-02-13 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記録媒体
CN108010059B (zh) * 2017-12-05 2022-01-25 北京小米移动软件有限公司 电子防抖算法的性能分析方法及装置
WO2020170723A1 (ja) * 2019-02-18 2020-08-27 株式会社日立国際電気 撮像装置
CN112308783B (zh) * 2019-07-24 2024-06-28 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184679A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
TW200743370A (en) * 2006-05-10 2007-11-16 Novatek Microelectronics Corp Flicker frequency detection method and device
CN103973999A (zh) * 2013-02-01 2014-08-06 佳能株式会社 摄像装置及其控制方法
US20140232887A1 (en) * 2013-02-21 2014-08-21 Mobileye Technologies Limited Image distortion correction of a camera with a rolling shutter

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3829843B2 (ja) * 2003-12-08 2006-10-04 ソニー株式会社 画像処理装置
JP4525459B2 (ja) * 2005-05-11 2010-08-18 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP2253131B1 (en) * 2008-02-08 2014-06-25 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
JP2011114649A (ja) 2009-11-27 2011-06-09 Sanyo Electric Co Ltd 撮像装置
JP5868061B2 (ja) * 2011-08-04 2016-02-24 キヤノン株式会社 撮像装置
JP5997557B2 (ja) * 2012-09-20 2016-09-28 キヤノン株式会社 撮像装置及びその制御方法
JP6198567B2 (ja) * 2013-10-21 2017-09-20 ソニーセミコンダクタソリューションズ株式会社 イメージセンサおよびその動作方法、並びに電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184679A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
TW200743370A (en) * 2006-05-10 2007-11-16 Novatek Microelectronics Corp Flicker frequency detection method and device
CN103973999A (zh) * 2013-02-01 2014-08-06 佳能株式会社 摄像装置及其控制方法
US20140232887A1 (en) * 2013-02-21 2014-08-21 Mobileye Technologies Limited Image distortion correction of a camera with a rolling shutter

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478331A (zh) * 2016-07-06 2019-03-15 三星电子株式会社 用于图像处理的显示装置及方法
CN107888821A (zh) * 2016-09-28 2018-04-06 瑞萨电子株式会社 相机控制器、图像处理模块以及半导体系统
CN108012089A (zh) * 2016-10-31 2018-05-08 奥林巴斯株式会社 摄像装置和摄像方法
CN109547671A (zh) * 2017-09-22 2019-03-29 三星电子株式会社 图像传感器、相机模块以及成像设备
CN114731372A (zh) * 2019-12-02 2022-07-08 三星电子株式会社 用于校正相机切换时的图像的电子装置及方法
CN114731372B (zh) * 2019-12-02 2024-08-13 三星电子株式会社 用于校正相机切换时的图像的电子装置及方法
CN111371987A (zh) * 2020-02-25 2020-07-03 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111371987B (zh) * 2020-02-25 2021-06-25 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021208569A1 (zh) * 2020-04-13 2021-10-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Also Published As

Publication number Publication date
JP2016058876A (ja) 2016-04-21
CN105407271B (zh) 2018-09-04
JP6385212B2 (ja) 2018-09-05
US20160072999A1 (en) 2016-03-10
US9749539B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
CN105407271A (zh) 图像处理设备和方法、摄像设备以及图像生成设备
JP5487722B2 (ja) 撮像装置と振れ補正方法
JP4898761B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
JP4703710B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置及び方法
JP4823179B2 (ja) 撮像装置及び撮影制御方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
US9697589B2 (en) Signal processing apparatus, imaging apparatus, signal processing method and program for correcting deviation of blurring in images
JP6355454B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US9071751B2 (en) Image processor method and program for correcting distance distortion in panorama images
US8477231B2 (en) Image sensing apparatus
US8593531B2 (en) Imaging device, image processing method, and computer program
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
KR20170067634A (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
JP2010166512A (ja) 撮像装置
US20110052070A1 (en) Image processing apparatus, image processing method and computer readable-medium
JP2007324856A (ja) 撮像装置、撮像制御方法
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
US20120127330A1 (en) Image pickup device
CN101753816A (zh) 拍摄装置及拍摄方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6541835B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
US9392169B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
US8498494B2 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method
JP5641127B2 (ja) 撮像装置と振れ補正方法
JP2009021929A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant