CN101390381A - 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 - Google Patents
抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 Download PDFInfo
- Publication number
- CN101390381A CN101390381A CNA2006800534445A CN200680053444A CN101390381A CN 101390381 A CN101390381 A CN 101390381A CN A2006800534445 A CNA2006800534445 A CN A2006800534445A CN 200680053444 A CN200680053444 A CN 200680053444A CN 101390381 A CN101390381 A CN 101390381A
- Authority
- CN
- China
- Prior art keywords
- residual error
- macro block
- unit
- piece
- acquiring unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 48
- 238000000034 method Methods 0.000 title claims description 38
- 239000000284 extract Substances 0.000 claims abstract description 65
- 239000013598 vector Substances 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 46
- 238000005192 partition Methods 0.000 claims description 46
- 238000004513 sizing Methods 0.000 claims description 33
- 230000009467 reduction Effects 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
数据简化单元通过仅提取标准图像和参考图像的每一个中的原始数据中的一个分量而生成简化图像；为求残差，块提取单元提取搜索块和模板块；亮度差比较单元求得各块亮度值的最大值和最小值间的差值，并在该差值小于阈值的情况下将该块排除在获取残差的范围之外。残差获取单元获取未被排除的块的残差；块选择单元选择预定数量的、残差值较小的块；并且手抖动(模糊或无意识运动)获取单元搜索残差值变为最小值的模板块的位置，计算所有位置的中心值，并将其定义为手抖动量。
Description
技术领域
本发明涉及用于校正抖动，包括校正“手抖动”现象的抖动(模糊或无意识运动)检测设备、抖动校正设备、包含抖动校正设备的成像设备、以及抖动检测方法。
背景技术
近年来，诸如摄像机等的成像设备的尺寸越做越小。目前，人们的注意力集中于用于校正“手抖动(模糊或无意识运动)”现象的技术。
由于摄像机尺寸越来越小的缘故，摄像时的可握性有所下降。此外，与传统类型的摄像手法相比，比如当利用安装于移动电话中的摄像机进行摄像时采用单手摄像方式，自由度有所增加。
在摄像时，当用各种方法摄像或在不稳定的状态下摄像时，当按下摄像机快门按钮时，摄像机发生抖动(无意识运动(变模糊))，发生手抖动。
举例而言，当在阴暗环境下摄像时，曝光时间较长，快门速度变慢，并且摄像机在许多情况下都会抖动。
此外，当为了缩短曝光时间，通过提高曝光环境下的感光度的方式摄像时，噪声将会迭加，图像将变得粗糙。
为了解决该问题，在单镜头反光摄像机上安装了用于校正这种手抖动的设备，并且最近还在袖珍摄像机上安装了这种设备。
举例而言，市场上已出现了通过倾斜透镜使之与抖动匹配的方式对手抖动加以校正的光学式手抖动校正设备，然而，如果考虑到近年来摄像机尺寸的缩小以及在移动电话摄像机中安装这种设备的情况，就空间而言这种实现将是十分困难的。
此外，作为另一种方法，提出了各种能够利用图像处理从多幅图像中获取没有抖动的图像的成像设备。
举例而言，专利文档1(日本专利公开(A)No.10-108079)公开了一种成像设备，该成像设备对曝光条件不同的捕获图像信息加以混合，以获得动态范围扩展了的图像，其间，当对曝光条件不同的像素所获得的基本处于同一时刻的捕获图像信息加以混合时，重叠使用在各个曝光条件的至少一种曝光条件下的捕获图像信息。
专利文档2(日本专利公开(A)No.2004-279514)公开了一种校正设备，该校正设备根据配备在摄像机中的角度检测传感器的检测信息、以及摄像机的焦距信息和孔径光阑信息，事先存储摄像者特有的手抖动限制曝光时间，并在合适的曝光时间长于手抖动限制曝光时间时，以较短的曝光时间多次捕获图像，并将图像加以混合，以便对手抖动加以校正。
专利文档3(日本专利公开(A)No.2003-32559)公开了一种成像设备，该成像设备将来自镜头的光通量分成两部分，并将一部分光通量进行衰减，从而在成像元件的成像表面上的不同区域获得两个存在亮度差的对象图像，并使这两个图像数据的电荷存储时间以及电荷存储起始时间彼此相同，从而获得动态范围扩展了的新图像数据。
专利文档4(日本专利公开(A)No.7-177519)公开了一种运动矢量检测方法，该方法检测各简化(thinned)块的运动矢量，并根据检测到的运动矢量执行内插，从而为任意未检测的块提供一个运动矢量，并在最后的运动矢量检测中对每个块进行检测。
专利文档5(日本专利公开(A)No.6-169452)公开了一种图像压缩方法，该图像压缩方法对图像进行估计，并以高清晰度发送被判定为重要部分的数据，以低清晰度发送稍作运动或平稳的部分。
专利文档1：日本专利公开(A)No.10-108079
专利文档2：日本专利公开(A)No.2004-279514
专利文档3：日本专利公开(A)No.2003-32559
专利文档4：日本专利公开(A)No.7-177519
专利文档5：日本专利公开(A)No.6-169452
发明内容
本发明所要解决的问题
然而，在以上阐释的手抖动校正方法中，存在需要大量捕获操作，以及为校正出现在捕获图像间的图像间位置偏差而处理时间变长的缺陷。
因此，为了解决以上阐释的缺陷，需要提供一种抖动(模糊或无意识运动)检测设备、抖动校正设备、成像设备以及抖动检测方法，能够利用极少的处理以较高的精度检测手抖动。
解决问题的方法
本发明第一方案的抖动检测设备是一种根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量的抖动检测设备，包括：宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块；块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块；残差获取单元，配置用于获取块提取单元所提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；块选择单元，配置用于选择预定数量的、残差获取单元所获取的残差积分值较小的宏块；以及抖动获取单元，配置用于在残差获取单元中再次对块选择单元选定的宏块获取残差，并将在按从最大值开始或从最小值开始的顺序排列残差积分值时位于预定位置顺序的值定义为抖动量。
本发明第二方案的抖动检测设备是一种根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测成像设备的抖动校正的抖动检测设备，包括：宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块；块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块；残差获取单元，配置用于获取块提取单元所提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；块选择单元，配置用于选择预定数量的、残差获取单元所获取的残差积分值较小的宏块；以及抖动获取单元，配置用于获取各选定块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
本发明第三方案的抖动校正设备是一种根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量，并根据该抖动量对抖动加以校正的抖动校正设备，包括：宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块；块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括每个均具有预定大小的一个或更多个宏块在内的第二块；残差获取单元，配置用于获取块提取单元所提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；块选择单元，配置用于选择预定数量的、残差获取单元所获取的残差积分值较小的宏块；抖动获取单元，配置用于在残差获取单元中再次对块选择单元选定的宏块获取残差，并将在按从最大值开始或从最小值开始的顺序排列残差积分值时位于预定位置顺序的值，定义为抖动量；以及图像混合单元，配置用于根据抖动计算单元求得的抖动量对多幅图像加以混合。
本发明第四方案的抖动校正设备是一种根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量，并根据该抖动量对抖动加以校正的抖动校正设备，包括：宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块；块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块；残差获取单元，配置用于获取块提取单元所提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；块选择单元，配置用于选择预定数量的、残差获取单元所获取的残差积分值较小的宏块；以及抖动获取单元，配置用于获取各选定块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
本发明第五方案的成像设备是一种用于捕获对象图像的成像设备，其中，所述设备包括配置用于根据曝光条件不同的标准图像和参考图像执行匹配处理并检测抖动量的抖动检测设备，所述抖动检测设备是根据曝光条件不同的标准图像和参考图像执行匹配处理并检测成像设备抖动校正的抖动检测设备，包括：宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块；块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块；残差获取单元，配置用于获取块提取单元所提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；块选择单元，配置用于选择预定数量的、残差获取单元所获取的残差积分值较小的宏块；以及抖动获取单元，配置用于在残差获取单元中再次对块选择单元选定的宏块获取残差，并将在按从最大值开始或从最小值开始的顺序排列残差积分值时位于预定位置顺序的值定义为抖动量。
本发明第六方案的成像设备是一种用于捕获对象图像的成像设备，其中，所述设备包括配置用于根据曝光条件不同的标准图像和参考图像执行匹配处理并检测抖动量的抖动检测设备，所述抖动检测设备是根据曝光条件不同的标准图像和参考图像执行匹配处理并检测成像设备抖动校正的抖动检测设备，包括：宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块；块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括每个具有预定大小的一个或更多个宏块在内的第二块；残差获取单元，配置用于获取块提取单元所提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；块选择单元，配置用于选择预定数量的、残差获取单元所获取的残差积分值较小的宏块；以及抖动获取单元，配置用于获取各选定块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
本发明第七方案的抖动检测方法是一种用于根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量的抖动检测方法，包括：第一步，将标准图像和参考图像的每一个划分为多个宏块；第二步，从在第一步中被划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从在第一步中被划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块；第三步，获取在第二步中提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；第四步，选择预定数量的、在第三步中获取的残差积分值较小的宏块；以及第五步，再次对在第四步中选定的宏块获取残差，并将在按从最大值开始或从最小值开始的顺序排列残差积分值时位于预定位置顺序的值定义为抖动量。
本发明第八方案的抖动检测方法是一种用于根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量的抖动检测方法，包括：第六步，将标准图像和参考图像中的每一个划分为多个宏块；第七步，从在第六步中被划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从在第六步中被划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块；第八步，获取在第七步中提取的第一块和第二块间的残差，并根据所获取的残差，获取各宏块的残差积分值；第九步，选择预定数量的、在第八步中获取的残差积分值较小的宏块；以及第十步，获取在第九步中选定的各块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
附图说明
[图1]图1是示出了第一实施例的成像设备的配置的方框图。
[图2]图2是示出了原始图像数据结构的示例的图。
[图3]图3是用于阐释贯序检测残差的方法的图。
[图4]图4是示出了本实施例中的块提取单元的块提取的具体示例的图。
[图5]图5是示出了本实施例的成像设备捕获图像时的操作的示例的流程图。
[图6]图6是示出了模板块T遍历搜索搜索块I的情形的图。
[图7]图7是示出了在1/8简化图像和1/2简化图像中存在残差积分值最小的像素的范围的图。
[图8]图8是示出了第二实施例的成像设备捕获图像时的操作的示例的流程图。
[图9]图9是用于阐释在第三实施例的残差获取单元进行粗略搜索时计算残差的预定范围的图。
标记说明
1...成像设备、2...摄像机、3...手抖动检测单元、4...图像混合单元、5...缓冲存储器、31...数据简化单元、32...宏块划分单元、33...块提取单元、34...亮度差比较单元、3...残差获取单元、36...块选择单元、以及37...手抖动获取单元。
具体实施方式
以下，将对本发明的实施例的成像设备加以阐释。
以下，将实现手抖动(模糊或非故意运动)校正的情形作为本发明的实施例予以阐释。然而，本发明的“抖动校正”不局限于手抖动的校正。还可以对由手以外的因素引起的抖动(模糊)进行这种校正，比如，当成像设备安装在车辆等交通工具上时，对抖动(模糊)加以校正的情形。此外，在该处理中，可以用少量处理实现高精度的抖动检测。
<第一实施例>
图1是示出了依照第一实施例的成像设备1的配置的方框图。
如图1所示，第一实施例的成像设备1包括：摄像机2、手抖动检测单元3、图像混合单元4以及缓冲存储器5。
摄像机2是由镜头和CCD(电荷耦合元件)或CMOS(互补金属氧化物半导体)或其他成像元件构成的数字摄像机模块。摄像机2用成像元件将通过镜头的光线进行光电转换，利用滤色器获取颜色信息，并将其作为图像数据(原始数据)予以输出。在捕捉图像时对手抖动加以校正的情况下，摄像机2捕捉在不同曝光条件下连续拍摄的多幅图像。为了进行手抖动检测，将上述多幅图像中的一幅定义为标准图像，并将剩余的其他图像用作参考图像。值得注意的是，标准图像和参考图像的曝光条件不同。将摄像机2捕捉到的图像临时存储在缓冲存储器5中以用于手抖动校正处理。
手抖动检测单元3根据摄像机2捕捉到并存储在缓冲存储器5中的标准图像和参考图像来检测图像的手抖动量。
作为用于手抖动检测的配置，手抖动检测单元3还包括：数据简化单元31、宏块划分单元32、块提取单元33、亮度差比较单元34、残差获取单元35、块选择单元36、以及手抖动获取单元37。
数据简化单元31对摄像机2捕捉到的标准图像和参考图像的原始数据的数据进行简化，准备好用于检测运动量的简化标准图像以及简化参考图像。
原始数据实际上是从摄像机2的成像元件获得的信号的数据。举例而言，如图2所示，包含原色滤色器的摄像机捕捉到的原始数据由Gr(第一种绿色)、R(红色)、B(蓝色)以及Gb(第二种绿色)四种彩色数据构成。
数据简化单元31利用摄像机2捕捉到的标准图像和参考图像中的每一个的原始数据，仅提取上述四种彩色数据中的第一种绿色数据(Gr)，并形成每个的简化图像。值得注意的是，在本实施例中，仅提取Gr，但本发明并不局限于此。还可以提取R、B和Gb中任意一种颜色。
宏块划分单元32将由数据简化单元31产生的原始数据的简化部分形成的标准图像和参考图像的各简化图像划分为多个宏块。在本实施例中，宏块划分单元33将各图像划分为比如10x10宏块。
宏块提取单元33和残差获取单元35利用残差贯序检测算法(SSDA)方法，求标准图像中的块与参考图像中的对应块之间的像素值的绝对差值之和(残差)，并进行模板匹配。
“模板匹配”是一种求搜索模式(搜索块I)与事先准备好的模板(模板块T)间的相似程度和差异程度的技术。残差贯序检测法就是这样一种技术。
如图3所示，“残差贯序检测法”是一种通过从参考图像中提取由mxn个像素构成的模板块T，并将模板块T在搜索块I上移动，以在搜索块I上搜索与模板块T相匹配的位置的方式，比较由标准图像中的MxN个像素构成的搜索块I的方法。值得注意的是，当M>m，N>n，并且模板块T左上角的坐标为(x，y)时，残差(即，搜索块I与模板块T间的像素值的差)的累积残差E(x，y)，即，通过基于残差将各宏块的宏块中的全部像素相加得到的残差积分值E(x，y)，是(x，y)的函数，如等式(1)所示：
[等式1]
残差积分值E(x，y)变为最小值的位置(x，y)就是模板块T同搜索块I相一致的位置。
在本实施例中，如图4A所示，块提取单元33从标准图像的10x10宏块中提取由2x2＝4个块构成的搜索块I。此外，块提取单元33提取图4B所示的、位于相应参考图像的2x2块中心部分的、由每个均由长度为宏块的垂直和水平边的1/4的两条边构成的4个块构成的模板块T。
接着，残差获取单元35利用块提取单元33提取出的搜索块I和模板块T，利用以上解释的残差贯序检测法获取残差。
值得注意的是，利用残差贯序检测法，如果在为了计算E(x，y)，对像素值的差进行累加的过程中，E(x，y)超过了预定阈值A，就意味着搜索块I与模板块T根本不匹配，因此，此时终止对该位置(x，y)计算残差积分值E(x，y)的处理，并移动至另一位置(x，y)，对其进行残差计算。因此，根据残差贯序检测法进行的模板匹配能够缩短处理时间，并减少处理量。在本发明中不对预定阈值A的大小加以限制。
此外，在本实施例中，在从块提取单元33提取搜索块I和模板块T到残差获取单元35获取残差期间，亮度差比较单元34求各宏块的亮度值的最大值和最小值之间的差。当此差值小于预定阈值B时，就执行处理，将该宏块排除在由残差获取单元35获取残差的范围之外。值得注意的是，阈值B可以是标准图像的全部像素、或参考图像的全部像素的亮度值的最大值和最小值之间的差的预定比例，或者标准图像和参考图像的全部像素的亮度值的最大值和最小值之间的差的平均值的预定比例。
也就是说，亮度值的最大值和最小值之间的差值较小的块是比如纯白部分或对比度较低的其他块。在这类块中，很难检测到手抖动量，因此，将其排除在检测运动量的处理之外。
值得注意的是，在本发明中不对预定阈值B的大小加以限制。
在亮度差比较单元34获得了宏块的亮度值的最大值和最小值之间的差值，并且该差值小于预定阈值B的情况下，块选择单元36将该宏块排除在由残差获取单元35获取残差的范围之外，将由残差获取单元35获取的全部搜索块I中残差积分值E(x，y)的最小值进行比较，然后仅提取预定数量的、残差积分值的最小值比较小的小搜索块I。可选地，还可以提取总块数的预定比例数量的块，而不是提取预定数量的块。
在本实施例中，举例而言，该单元提取10个块。
手抖动获取单元37求搜索块I中由块选择单元36选出的宏块内未经简化的积分值E(x，y)，计算在从最大值开始或从最小值开始的顺序排列宏块时的中心值，并将该值定义为此图像的手抖动量。值得注意的是，在本实施例中，利用的是中心值，然而本发明并不局限于此。该值只需位于预定位置顺序即可。
手抖动检测单元3利用以上所阐释的方法检测手抖动量。
图像混合单元4根据手抖动检测单元3检测到的手抖动量将摄像机2捕捉到的(未简化的)标准图像和参考图像加以混合，产生进行了手抖动校正的校正图像。
缓冲存储器5是临时存储用于手抖动校正处理的校正前的图像数据的RAM(随机存取存储器)。
以下，将对本实施例的成像设备1捕获图像时的操作示例予以阐释。
图5是示出了成像设备1的操作示例的流程图。
步骤ST1：
摄像机2通过改变曝光条件来捕捉一幅标准图像以及一幅或多幅参考图像。
步骤ST2：
数据简化单元31仅提取步骤ST1中摄像机2捕捉到的标准图像和参考图像的原始数据的数据中的Gr(绿色)分量，并去除其他分量，以形成简化标准图像和简化参考图像。
步骤ST3：
宏块划分单元32将步骤ST2中由数据简化单元31产生的简化标准图像和简化参考图像划分为10 x 10宏块。
步骤ST4：
块提取单元33从在步骤ST3中分别被宏块划分单元32划分为10 x 10宏块的简化标准图像和简化参考图像中进行提取，如图4A所示，从简化标准图像的10 x 10宏块中提取由2 x 2＝4个块构成的搜索块I，并如图4B所示，从简化参考图像中提取位于相应2 x 2块中心部分的、由每个均由长度为宏块的垂直和水平边的1/4的两条边构成的4个块构成的模板块T。
步骤ST5：
亮度差比较单元34求得像素亮度值的最大值和最小值之间的差值，并且在该差值小于预定阈值B时，将该宏块排除在由残差获取单元35获取残差的范围之外。
步骤ST6：
残差获取单元35使用在步骤ST5中未被亮度差比较单元34排除的搜索块I和模板块T，利用以上阐释的残差贯序检测法获取残差。
步骤ST7：
块选择单元36从残差获取单元35获取的全部搜索块I中选择10个残差积分值E(x，y)较小的宏块。
步骤ST8：
残差获取单元35从缓冲存储器5中读取原始数据未经简化的标准图像和参考图像，并根据步骤ST7中块选择单元选中的宏块的未经简化的数据再次计算残差积分值。
在此步骤中执行残差获取单元35的处理是为了提高手抖动检测单元3的整个手抖动检测处理的精度。
步骤ST9：
手抖动获取单元37根据步骤ST8中残差获取单元35获取的未经简化的数据的残差积分值，搜索搜索块I中残差变为最小值的模板块T的位置，以求块选择单元36选中的宏块内未经简化的积分值E(x，y)，提取在按从最大值开始或从最小值开始的顺序排列宏块时的中心值，并将该值定义为手抖动量。
步骤ST10：
图像混合单元4根据步骤ST9中手抖动获取单元37所获取的手抖动量，将摄像机2捕捉到的(未简化的)标准图像和参考图像加以混合，产生进行了手抖动校正的校正图像。
如以上所阐释的那样，根据本实施例的成像设备1，当检测手抖动量时，块选择单元36精确地以预定数量或比例选择残差积分值较小的小块，以预定数量的块为基础，求残差积分值变为最小值的模板图像的位置，并以此为依据检测手抖动量，因此，可以使整个手抖动检测处理的处理量保持较小，同时可以使处理时间保持较短。
此外，根据本实施例的成像设备1，数据简化单元31仅提取标准图像和参考图像的原始数据的数据中的Gr(绿色)分量，简化其他分量，从而产生简化的标准图像和简化的参考图像，并在后处理中使用简化图像，因此，可以使整个手抖动检测处理的处理量保持较小，同时可以使处理时间保持较短。此外，残差获取单元35以简化图像为基础获取残差积分值，然后再根据未经简化的图像而再次获取残差积分值，因而能够以较高的精度执行手抖动检测处理。
此外，根据本实施例的成像设备1，在从块提取单元33提取搜索块I和模板块T到残差获取单元35获取残差积分值期间，亮度差比较单元34求各宏块亮度值的最大值和最小值之间的差值，并在此差值小于预定阈值B时，将该宏块排除在由残差获取单元35获取残差的范围之外，因而，将对比度较低的、预测无法获取残差的块排除在由残差获取单元35获取残差积分值的处理之外，因此，可以使整个手抖动检测处理的处理量保持较小，同时可以使处理时间保持较短。
此外，根据本实施例的成像设备1，用残差贯序检测法进行模式匹配，在计算残差积分值的过程中，当累积值超过预定值时终止残差的计算，因此，可以使整个手抖动检测处理的处理量保持较小，同时可以使处理时间保持较短。
<第二实施例>
除了数据简化单元31生成1/8简化图像和1/2简化图像，残差获取单元35首先利用1/8简化图像求残差积分值(粗略搜索)，然后提取预定数量的残差积分值较小的块，并对这些块中的1/2简化图像再次计算残差积分值(精细搜索)以外，成像设备的第二实施例与第一实施例的成像设备1相同。
以下，将对同第一实施例的成像设备1的配置有所区别的配置予以阐释。
数据简化单元31将由摄像机2捕捉到的标准图像和参考图像的原始数据简化至1/2或1/8，从而产生简化图像。1/2简化图像是通过在沿垂直和水平方向的像素中每两个像素仅仅提取一个像素的方式形成的简化图像，而1/8简化图像是通过在沿垂直和水平方向的像素中每八个像素仅仅提取一个像素的方式形成的简化图像。
在本发明中不对简化方法加以限制。举例而言，1/2简化方法包括：以摄像机2捕捉到的标准图像和参考图像中的每一个的原始数据为依据，仅仅提取四种彩色数据中的第一种绿色数据(Gr)的方法。此外，在本实施例中，仅提取Gr，但本发明并不局限于此。还可以提取R、B和Gb中任意一种颜色。此外，还可以采用未经简化的原始数据代替1/2简化图像。
残差获取单元35首先利用以上的残差贯序检测法，用1/8简化图像的搜索块I和模板块T来获取残差(粗略搜索)。图6示出了残差获取时的搜索块I和模板块T。
图6示出了用模板块T遍历搜索搜索块I的情形。如图6所示，模板块T在遍历搜索搜索块I时每次移动一个像素。
当亮度差比较单元34获得了各宏块的亮度值的最大值和最小值之间的差，且该差小于预定阈值B时，块选择单元36就将该宏块排除在由残差获取单元35获取残差的范围之外，对残差获取单元35获取的全部搜索块I中残差积分值E(x，y)的最小值加以比较，然后提取精确的预定数量的残差积分值最小值较小的小搜索块I。可选地，还可以提取总块数的预定比例数量的块，而不是提取预定数量的块。
在本实施例中，举例而言，该单元提取9个块。
接着，残差获取单元35对搜索块I中块选择单元36选中的9个宏块求1/2简化图像的积分值E(x，y)(精细搜索)。
在求1/2简化图像的残差积分值时，仅仅针对由以上阐释的块提取单元33、残差获取单元35和块选择单元36为1/8简化图像求得的积分值较小的像素附近的像素计算残差积分值就足够了，因此，同传统情形相比，手抖动获取单元的计算量大大下降。
在此，参考图7对1/8简化图像和1/2简化图像间的关系予以阐释。
图7所示的标记○表示1/8简化图像中要计算残差积分值的像素，而图7所示的标记x表示1/2简化图像中要计算残差积分值的像素。如图可见，对于在1/2简化图像中要计算残差积分值的、垂直和水平方向的每四个像素，存在一个在1/8简化图像中要计算残差积分值的像素。
也就是说，在1/8简化图像中，如果图7中的像素a是该块中残差积分值变为最小值的像素，那么从图中可见，残差积分值变为最小值的像素存在于1/2简化图像中、由图7中的虚线围成的范围内。
手抖动获取单元37将按如上所述的方式求得的1/2简化图像中的残差积分值E(x，y)按从最小残差积分值开始的顺序排列，计算中心值，并将该值定义为此图像的手抖动量。在本实施例中，采用的是中心值，然而本发明并不局限于此。可以采用位于任意预定位置顺序的值。
手抖动检测单元3利用以上阐释的方法检测手抖动量。
下面，将对本实施例的成像设备1的操作示例予以阐释。
图8是示出了第二实施例的成像设备1的操作示例的流程图。
步骤ST11：
摄像机2改变曝光条件，同时捕捉一幅标准图像以及一幅或多幅参考图像。
步骤ST12：
数据简化单元31根据步骤ST11中摄像机2捕捉到的标准图像和参考图像的原始数据产生1/8简化图像和1/2简化图像。
步骤ST13：
宏块划分单元32将步骤ST12中数据简化单元31产生的标准图像和参考图像的1/8简化图像划分为比如10x10宏块。
步骤ST14：
块提取单元33从步骤ST13中被宏块划分单元32划分为10x10宏块的标准图像和参考图像的1/8简化图像中提取搜索块I，并从参考图像中提取模板块T。
步骤ST15：
亮度比较单元34求像素亮度值的最大值和最小值之间的差值，并且在该差值小于预定阈值B时，将该宏块排除在由残差获取单元35获取残差的范围之外。
步骤ST16：
残差获取单元35使用在步骤ST15中未被亮度差比较单元34排除的搜索块I和模板块T，依照以上阐释的残差贯序检测法获取残差。
步骤ST17：
块选择单元36从残差获取单元35获取的全部搜索块I中选择残差积分值E(x，y)较小的9个宏块。
步骤ST18：
残差获取单元35对标准图像和参考图像的1/2简化图像再次计算步骤ST17中块选择单元选中的宏块的残差积分值。
在此步骤中，执行残差获取单元35的处理是为了提高手抖动检测单元3的整个手抖动检测处理的精度。
步骤ST19：
手抖动获取单元37根据步骤ST18中残差获取单元35获取的1/2简化图像的残差积分值，求得搜索块I中残差变为最小值的模板块T的位置，求块选择单元36选中的宏块内1/2简化图像的残差积分值E(x，y)，提取将残差积分值按从最小值开始的顺序排列时的中心值，并将该值定义为此图像的手抖动量。
步骤ST20：
图像混合单元4根据步骤ST19中手抖动获取单元37所获取的手抖动量，将摄像机2捕捉到的(未简化的)标准图像和参考图像加以混合，从而产生进行了手抖动校正的校正图像。
正如以上所阐释的那样，根据第二实施例的成像设备1，在从块提取单元33提取搜索块I和模板块T到残差获取单元35获取残差积分值期间，亮度差比较单元34求各宏块亮度值的最大值和最小值之间的差值，并在此差值小于预定阈值B时，将该宏块排除在由残差获取单元35获取残差的范围之外，因而，将对比度较低的、预测无法获取残差的块排除在由残差获取单元35获取残差积分值的处理之外，因此，可以使整个手抖动检测处理的处理量保持较小，同时可以使处理时间保持较短。
值得注意的是，以和第一实施例同样的方式，在检测块手抖动量时，选择单元35可以以精确的预定数量、或以精确的预定比例选择残差积分值较小的小块。此外，在本实施例中，手抖动获取单元37将中心值定义为手抖动量，然而本发明并不局限于此。手抖动获取单元37还可以将位于任意预定位置顺序的残差积分值定义为手抖动量。
<第三实施例>
除了在残差获取单元35为选择残差积分值较小的块而计算残差时只计算预定范围的残差以外，成像设备1的第三实施例与第二实施例相同。
也就是说，当利用1/8简化图像求残差积分值(粗略搜索)时，残差获取单元35不对整个范围内的像素计算残差积分值，而只对预定范围的像素执行残差计算。
下面将参考图9，对第三实施例的残差获取单元35进行粗略搜索时计算残差的预定范围予以阐释。
如图9所示，残差获取单元35只对覆盖比如被简化至原始图像1/8的图像的5％的像素的范围计算残差。也就是说，如果图像是由3百万像素(2048像素x1536像素)构成的，残差获取单元35只需对水平方向内的2048/5/20＝约13(像素)计算残差，并只需对垂直方向内的1535/8/20＝约10(像素)计算残差。因此，大大缩短了残差计算所需的时间。
值得注意的是，5％的数值仅仅是一个示例。本发明并不局限于此。5％的数值是根据经验推导出的检测手抖动所需的下限值。
正如以上所阐释的那样，当利用1/8简化图像求残差积分值时(粗略搜索)，第三实施例的残差获取单元35并不对整个范围内的像素计算残差积分值，而只对预定范围内的像素计算残差，因而大大缩短了残差计算所需的时间，同时可以使手抖动校正所需的时间保持较短。
<第四实施例>
除了在手抖动获取单元37获取手抖动量时，根据残差获取单元35求得的1/2简化图像中的残差积分值E(x，y)，检测由块选择单元36选中的块的运动矢量，并根据运动矢量分量的大小对其进行重排，将以位于预定位置顺序的值作为分量的运动矢量定义为手抖动量以外，成像设备1的第四实施例与第二实施例相同。
以下，将具体对此加以阐释。
如第二实施例所阐释的那样，手抖动获取单元37根据由残差获取单元35获取的1/2简化图像中的残差积分值E(x，y)，检测由块选择单元36选中的块(在本实施例中是九个块)的运动矢量。手抖动获取单元37检测搜索块I中残差变为最小值的模板块T的位置，将其作为包含搜索块I和模板块在内的块的运动矢量。
接着，手抖动获取单元37将检测到的九个运动矢量中具有按从最大x分量和y分量开始的顺序(还可以按从最小分量开始的顺序)排列时位于预定位置顺序的x分量和y分量的矢量定义为整张图像的运动矢量，即手抖动量。
下面将对手抖动获取单元37根据选定块的运动矢量求手抖动量的具体示例予以阐释。
举例而言，将对从九个运动矢量中提取由按从最大x分量和y分量开始的顺序排列时位于第五位的x分量和y分量构成(作为元素)的矢量的情形予以阐释。
假设选中的九个块的运动矢量为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)、(x5，y5)、(x6，y6)、(x7，y7)、(x8，y8)和(x9，y9)。
假设当把x分量按从最大分量开始的顺序排列时满足x8>x6>x4>x2>x9>x7>x5>x3>x1。
假设当把y分量按从最大分量开始的顺序排列时满足y9>y6>y3>y8>y5>y2>y7>y4>y1。
在这种情况下，在按从最大x分量开始的顺序排列时位于第五位的是x9，在按从最大y分量开始的顺序排列时位于第五位的是y5，因此手抖动获取单元37获取的整张图像的运动矢量(手抖动量)成为(x9，y5)。
手抖动检测单元3按以上所阐释的方法检测手抖动量。
正如以上所阐释的那样，根据第四实施例的成像设备1，手抖动获取单元37将采用在按从最大分量开始的顺序或从最小分量开始的顺序排列选定块的运动矢量的x分量和y分量时位于预定位置顺序的分量作为x分量和y分量的运动矢量定义为手抖动量，因而，可以以较高的精度检测手抖动。
值得注意的是，在第四实施例中，手抖动获取单元37从块选择单元36选定的预定数量的块的运动矢量中提取采用按从最大x分量和y分量开始的顺序(也可以按从最小分量开始的顺序)排列时位于预定位置顺序的分量作为x分量和y分量的运动矢量，并将所提取的矢量定义为整张图像的运动矢量，即手抖动量，然而，作为本发明的一种修改方案，还可以采用以下配置。
也就是说，手抖动获取单元37可以在块选择单元36选中的预定数量的块的运动矢量的绝对值中，将按从最大绝对值开始的顺序(也可以按从最小绝对值开始的顺序)排列时位于预定位置顺序的矢量定义为整张图像的运动矢量，即手抖动量。
此外，在第四实施例中，残差获取单元35对块选择单元36在搜索块I中选定的预定数量的块求1/2简化图像的残差积分值E(x，y)，并且手抖动获取单元37根据残差积分值E(x，y)求选定块的运动矢量。然而，在本发明中，还可以省去上述过程。也就是说，当块选择单元36选择残差值较小的预定数量的块时，手抖动获取单元37可以检测选定块的运动矢量，并从预定数量的运动矢量中获取采用按从最大x分量和y分量开始的顺序(也可以按从最小分量开始的顺序)排列时位于预定位置顺序的分量作为x分量和y分量的矢量，从而求得整个图像的运动矢量，即手抖动量(或将按从最大(最小)分量开始的顺序排列时位于预定位置顺序的运动矢量定义为运动矢量)。在这种情况下，可以进一步节省比第四实施例所节省的计算量更多的计算量。
值得注意的是，在这种情况下，本发明不对运动矢量的检测方法加以限制。
本发明并不局限于以上阐释的实施例。
也就是说，所属领域技术人员可以在本发明或其等价物的技术范围内，对以上所阐释的实施例的构成要求进行各种修改、合并、再合并以及变更。
此外，在本实施例中，在从块提取单元33提取搜索块I和模板块T到残差获取单元35获取残差期间残差比较单元34获取各宏块亮度值的最大值和最小值之间的差值，并在此差值小于预定阈值B时，将该宏块排除在由残差获取单元35获取残差的范围之外，然而本发明并不局限于此。举例而言，亮度差比较单元34可以执行所有搜索块I中残差积分值E(x，y)的最小值的处理比较，在提取预定数量的、残差积分值最小值较小的小搜索块后立即获取亮度差(即位于图5中的步骤ST9和ST10之间)，并将亮度差不大于阈值的任意块排除在获取残差积分值的范围之外。
此外，在本实施例中，数据简化单元31仅提取Gr分量，并简化剩余分量，然而本发明并不局限于此。举例而言，还可以仅提取其他分量，或提取两种分量。
在本实施例中，作为手抖动检测用的配置，手抖动检测单元3还包括：数据简化单元31、宏块划分单元32、块提取单元33、亮度差比较单元34、残差获取单元35、块选择单元36以及手抖动获取单元37。可以作为用于执行处理的硬件将手抖动检测单元3的上述部分组装在成像设备1中，或者手抖动检测单元3的上述部分可以是用于在手抖动检测单元3的控制下执行处理的软件。
此外，在本实施例中，对摄像机2捕捉到的原始数据(RGB Beyer图案的数据)执行手抖动检测处理，然而本发明并不局限于此。也就是说，举例而言，还可以利用对图像进行信号处理后得到的YUV格式中的亮度信号Y，执行手抖动检测处理。
此外，在第二和第三实施例中，通过产生1/8简化图像和1/2简化图像的方式执行粗略搜索和精细搜索，但本发明中并未对简化比率加以限制。举例而言，可以利用1/16简化图像执行粗略搜索，还可以在未简化的图像中进行精细搜索。
工业实用性
本发明可用于数字摄像机、摄影机、或其他对手抖动进行校正的成像设备。
Claims (19)
1.一种根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量的抖动检测设备，包括：
宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块，
块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
残差获取单元，配置用于获取块提取单元所提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
块选择单元，配置用于选择预定数量的、由残差获取单元所获取的残差积分值较小的宏块，以及
抖动获取单元，配置用于在残差获取单元中再次对块选择单元所选定的宏块获取残差，并将在按从最大值开始或从最小值开始排列残差积分值时位于预定位置顺序的值定义为抖动量。
2.根据权利要求1所述的抖动检测设备，其中：
所述块提取单元基于参考图像，提取位于多个相邻宏块中心的、具有预定大小的块，将该块定义为第二块，并基于标准图像，提取由一定数量的与参考图像的所述多个相邻宏块相对应的多个相邻宏块构成的块，将该块定义为第一块。
3.根据权利要求2所述的抖动检测设备，还包括：
亮度差比较单元，用于在所述残差获取单元获取残差前计算各宏块的亮度值的最大值和最小值之间的差值，并在判定所述差值小于预定阈值时，将具有所述差值的宏块排除在由所述残差获取单元获取残差的范围之外。
4.根据权利要求2所述的抖动检测设备，还包括：
亮度差比较单元，用于在所述块选择单元选择了预定数量的宏块之后计算亮度值的最大值和最小值之间的差值，并在判定所述差值小于预定阈值时，将具有所述差值的宏块排除在由所述残差获取单元获取残差的范围之外。
5.根据权利要求1至4中任意一项所述的抖动检测设备，其中：
所述设备还包括数据简化单元，用于仅提取标准图像和参考图像的原始数据的预定分量，并对数据进行简化，以产生简化图像，并且
所述宏块划分单元和所述块提取单元使用由所述数据简化单元产生的简化图像来替代标准图像和参考图像。
6.根据权利要求5所述的抖动检测设备，其中：
所述残差获取单元通过利用简化图像进行粗略搜索来求取残差积分值，以求得残差积分值，
所述块选择单元选择预定数量的、由残差获取单元通过粗略搜索求得的残差积分值较小的宏块，并且，
所述残差获取单元通过比粗略搜索搜索得更为精细的精细搜索获取残差积分值，利用简化量小于上述简化图像简化量的简化图像或未经简化的图像，求取由所述块选择单元选定的宏块的残差积分值。
7.根据权利要求6所述的抖动检测设备，其中：
当对在粗略搜索时块选择单元选定的残差积分值较小的宏块进行精细搜索时，所述残差获取单元只获取块中在粗略搜索时获得最小残差的位置附近的像素的残差。
8.根据权利要求1至7中任意一项所述的抖动检测设备，其中：
在获取所述块提取单元所提取的第一块和第二块的残差时，所述残差获取单元不在整个范围内获取残差，而仅在预定范围内获取残差。
9.一种根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测成像设备的抖动校正的抖动检测设备，包括：
宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块，
块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
残差获取单元，配置用于获取块提取单元所提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
块选择单元，配置用于选择预定数量的、由残差获取单元所获取的残差积分值较小的宏块，以及
抖动获取单元，配置用于获取各选定块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
10.根据权利要求9所述的抖动检测设备，其中：
所述残差获取单元再次对所述块选择单元选定的、残差积分值较小的宏块获取残差，并将其输出至所述抖动量获取单元。
11.根据权利要求9或10所述的抖动检测设备，其中：
所述抖动量获取单元获取由块选择单元选定的各块的运动矢量，并将采用所获取的运动矢量中按从最大分量或最小分量开始的顺序排列时位于预定位置顺序的x分量和y分量作为分量的运动矢量定义为抖动量。
12.根据权利要求9至11中任意一项所述的抖动检测设备，其中：
当仅在所述块选择单元选定的块中残差积分值变为最小的像素附近的预定范围内选择预定数量的、残差积分值较小的宏块时，所述抖动获取单元根据所述残差获取单元执行的更为精细的精细搜索的结果来计算抖动量。
13.根据权利要求9至11中任意一项所述的抖动检测设备，其中：
当仅在所述块选择单元选定的块中残差积分值变为最小的像素附近的预定范围内选择预定数量的、残差积分值较小的宏块时，所述抖动获取单元根据所述残差获取单元执行的更为精细的精细搜索的结果来获取运动矢量，并将采用所获取的运动矢量中按从最大分量或最小分量开始的顺序排列时位于预定位置顺序的x分量和y分量作为分量的运动矢量定义为抖动量。
14.一种抖动校正设备，用于根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量，并根据检测到的抖动量对抖动加以校正，所述抖动校正设备包括：
宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块，
块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
残差获取单元，配置用于获取块提取单元所提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
块选择单元，配置用于选择预定数量的、由残差获取单元所获取的残差积分值较小的宏块，
抖动获取单元，配置用于在残差获取单元中再次对块选择单元选定的宏块获取残差，并将在按从最大值或最小值开始的顺序排列残差积分值时位于预定位置顺序的值定义为抖动量，以及
图像混合单元，配置用于根据抖动计算单元求得的抖动量，对多幅图像加以混合。
15.一种抖动校正设备，用于根据曝光条件不同的标准图像和参考图像，执行匹配处理并检测抖动量，并根据检测到的抖动量对抖动加以校正，所述抖动校正设备包括：
宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块，
块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
残差获取单元，配置用于获取块提取单元所提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
块选择单元，配置用于选择预定数量的、由残差获取单元所获取的残差积分值较小的宏块，以及
抖动获取单元，配置用于获取各选定块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
16.一种用于捕获对象图像的成像设备，其中，
所述设备包括配置用于根据曝光条件不同的标准图像和参考图像来执行匹配处理并检测抖动量的抖动检测设备，
所述抖动检测设备是根据曝光条件不同的标准图像和参考图像来执行匹配处理并检测成像设备的抖动校正的抖动检测设备，包括：
宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块，
块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
残差获取单元，配置用于获取块提取单元所提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
块选择单元，配置用于选择预定数量的、由残差获取单元所获取的残差积分值较小的宏块，以及，
抖动获取单元，配置用于在残差获取单元中再次对块选择单元选定的宏块获取残差，并将在按从最大值或最小值开始排列残差积分值时位于预定位置顺序的值定义为抖动量。
17.一种用于捕获对象图像的成像设备，其中，
所述设备包括配置用于根据曝光条件不同的标准图像和参考图像来执行匹配处理并检测抖动量的抖动检测设备，
所述抖动检测设备是根据曝光条件不同的标准图像和参考图像来执行匹配处理并检测成像设备的抖动校正的抖动检测设备，包括：
宏块划分单元，配置用于将标准图像和参考图像中的每一个划分为多个宏块，
块提取单元，配置用于从宏块划分单元所划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从宏块划分单元所划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
残差获取单元，配置用于获取块提取单元所提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
块选择单元，配置用于选择预定数量的、由残差获取单元所获取的残差积分值较小的宏块，以及
抖动获取单元，配置用于获取各选定块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
18.一种用于根据曝光条件不同的标准图像和参考图像来执行匹配处理并检测抖动量的抖动检测方法，包括：
第一步骤，将标准图像和参考图像中的每一个划分为多个宏块，
第二步骤，从在第一步中骤被划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从在第一步骤中被划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
第三步骤，获取在第二步骤中提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
第四步骤，选择预定数量的、在第三步骤中获取的残差积分值较小的宏块，以及
第五步骤，再次对在第四步骤中选定的宏块获取残差，并将在从最大值或最小值开始排列残差积分值时位于预定位置顺序的值定义为抖动量。
19.一种用于根据曝光条件不同的标准图像和参考图像来执行匹配处理并检测抖动量的抖动检测方法，包括：
第六步骤，将标准图像和参考图像中的每一个划分为多个宏块，
第七步骤，从在第六步骤中被划分的标准图像中提取包括各自均具有预定大小的一个或更多个宏块在内的第一块，并从在第六步骤中被划分的参考图像的宏块中提取包括各自均具有预定大小的一个或更多个宏块在内的第二块，
第八步骤，获取在第七步骤中提取的第一块和第二块之间的残差，并根据所获取的残差，获取各宏块的残差积分值，
第九步骤，选择预定数量的、在第八步骤中获取的残差积分值较小的宏块，以及
第十步骤，获取在第九步骤中选定的各块的运动矢量，并将在按预定顺序排列所获取的运动矢量时位于预定位置顺序的运动矢量定义为抖动量。
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005373578 | 2005-12-26 | ||
| JP373578/2005 | 2005-12-26 | ||
| JP104722/2006 | 2006-04-05 | ||
| JP104721/2006 | 2006-04-05 | ||
| JP2006104721A JP5079253B2 (ja) | 2006-04-05 | 2006-04-05 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP2006104722 | 2006-04-05 | ||
| JP2006178742A JP5079271B2 (ja) | 2006-06-28 | 2006-06-28 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP178742/2006 | 2006-06-28 | ||
| JP227048/2006 | 2006-08-23 | ||
| JP2006227048A JP5079284B2 (ja) | 2005-12-26 | 2006-08-23 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| PCT/JP2006/325782 WO2007074774A1 (ja) | 2005-12-26 | 2006-12-25 | ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101390381A true CN101390381A (zh) | 2009-03-18 |
| CN101390381B CN101390381B (zh) | 2012-01-25 |
Family
ID=38217994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006800534445A Expired - Fee Related CN101390381B (zh) | 2005-12-26 | 2006-12-25 | 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8542278B2 (zh) |
| CN (1) | CN101390381B (zh) |
| WO (1) | WO2007074774A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540832B (zh) * | 2009-04-24 | 2011-02-09 | 段江 | 图像信号的动态范围匹配方法 |
| CN102509285A (zh) * | 2011-09-28 | 2012-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍摄出模糊图片的处理方法、系统及拍摄设备 |
| CN104410855A (zh) * | 2014-11-05 | 2015-03-11 | 广州中国科学院先进技术研究所 | 一种监控视频的抖动检测方法 |
| CN105282392A (zh) * | 2014-06-18 | 2016-01-27 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| CN106331447A (zh) * | 2015-06-30 | 2017-01-11 | 奥林巴斯株式会社 | 摄像装置 |
| CN106375655A (zh) * | 2015-07-23 | 2017-02-01 | 三星电子株式会社 | 数字拍摄设备和数字拍摄方法 |
| CN112703389A (zh) * | 2018-09-19 | 2021-04-23 | 京瓷株式会社 | 观察方法和观察装置 |
| CN112805550A (zh) * | 2018-09-19 | 2021-05-14 | 京瓷株式会社 | 观察方法和观察装置 |
| CN118657695A (zh) * | 2024-08-08 | 2024-09-17 | 长春理工大学 | 无参考的推扫式光谱图像的抖动校正方法、设备和介质 |
| CN118657695B (zh) * | 2024-08-08 | 2024-10-25 | 长春理工大学 | 无参考的推扫式光谱图像的抖动校正方法、设备和介质 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4961800B2 (ja) * | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US7800652B2 (en) | 2007-12-12 | 2010-09-21 | Cyberlink Corp. | Reducing video shaking |
| JP5424835B2 (ja) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN101729665B (zh) * | 2009-12-11 | 2013-10-02 | 惠州Tcl移动通信有限公司 | 一种具有防抖功能的拍照手机及其在拍照中的防抖方法 |
| EP2879351A4 (en) * | 2012-07-25 | 2016-03-30 | Nec Corp | DATA TRANSMISSION DEVICE, DATA DIVIDING DEVICE, AND DATA DIVISION METHOD |
| JP6188533B2 (ja) * | 2013-10-24 | 2017-08-30 | キヤノン株式会社 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
| CN108446657B (zh) | 2018-03-28 | 2022-02-25 | 京东方科技集团股份有限公司 | 手势抖动识别方法及装置、手势识别方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3110797B2 (ja) | 1991-06-21 | 2000-11-20 | キヤノン株式会社 | 撮像方法及び撮像画面合成装置 |
| JP3252418B2 (ja) | 1991-11-22 | 2002-02-04 | ソニー株式会社 | 画像の手振れ判定装置 |
| JPH06169452A (ja) | 1992-11-27 | 1994-06-14 | Kyocera Corp | 画面に重み付けを持たせた画像圧縮方式 |
| JPH07177519A (ja) | 1993-12-20 | 1995-07-14 | Kyocera Corp | 動きベクトル検出方法 |
| JPH10108079A (ja) | 1996-09-27 | 1998-04-24 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
| US5731832A (en) * | 1996-11-05 | 1998-03-24 | Prescient Systems | Apparatus and method for detecting motion in a video signal |
| JPH10336668A (ja) * | 1997-06-02 | 1998-12-18 | Sharp Corp | 動きベクトル検出装置 |
| JP4075238B2 (ja) * | 1999-08-19 | 2008-04-16 | 株式会社デンソー | 動きベクトル検出方法及び記録媒体 |
| JP2003032559A (ja) | 2001-07-17 | 2003-01-31 | Victor Co Of Japan Ltd | 撮像装置 |
| JP2003065737A (ja) | 2001-08-28 | 2003-03-05 | Topcon Corp | 表面形状測定装置及びその方法、並びに表面状態図化装置 |
| JP3866957B2 (ja) * | 2001-10-23 | 2007-01-10 | オリンパス株式会社 | 画像合成装置 |
| JP3886769B2 (ja) | 2001-10-26 | 2007-02-28 | 富士通株式会社 | 補正画像生成装置および補正画像生成プログラム |
| JP4050498B2 (ja) * | 2001-11-07 | 2008-02-20 | オリンパス株式会社 | 画像合成装置 |
| JP2003348429A (ja) | 2002-05-27 | 2003-12-05 | Nikon Corp | 電子カメラ、および画像処理プログラム |
| US7646891B2 (en) * | 2002-12-26 | 2010-01-12 | Mitshubishi Denki Kabushiki Kaisha | Image processor |
| JP4388293B2 (ja) | 2003-03-13 | 2009-12-24 | 京セラ株式会社 | カメラの手振れ補正装置 |
| DE602004007682T2 (de) * | 2003-10-27 | 2008-04-30 | Nxp B.V. | Leistungsoptimiertes colokalisiertes bewegungschätzverfahren |
| JP4482623B2 (ja) | 2003-11-18 | 2010-06-16 | 国立大学法人東京海洋大学 | 時系列航海画像からの船舶の抽出方法 |
| JP3781034B2 (ja) | 2003-12-24 | 2006-05-31 | 朝日航洋株式会社 | ステレオ画像形成方法及び装置 |
| US20060002471A1 (en) * | 2004-06-30 | 2006-01-05 | Lippincott Louis A | Motion estimation unit |
| US7649549B2 (en) * | 2004-09-27 | 2010-01-19 | Texas Instruments Incorporated | Motion stabilization in video frames using motion vectors and reliability blocks |
| JP4345651B2 (ja) * | 2004-11-29 | 2009-10-14 | セイコーエプソン株式会社 | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
| US20060233258A1 (en) * | 2005-04-15 | 2006-10-19 | Microsoft Corporation | Scalable motion estimation |
| US8130845B2 (en) * | 2006-11-02 | 2012-03-06 | Seiko Epson Corporation | Method and apparatus for estimating and compensating for jitter in digital video |
-
2006
- 2006-12-25 CN CN2006800534445A patent/CN101390381B/zh not_active Expired - Fee Related
- 2006-12-25 WO PCT/JP2006/325782 patent/WO2007074774A1/ja active Application Filing
- 2006-12-25 US US12/159,366 patent/US8542278B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540832B (zh) * | 2009-04-24 | 2011-02-09 | 段江 | 图像信号的动态范围匹配方法 |
| CN102509285A (zh) * | 2011-09-28 | 2012-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍摄出模糊图片的处理方法、系统及拍摄设备 |
| CN105282392B (zh) * | 2014-06-18 | 2018-11-23 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| CN105282392A (zh) * | 2014-06-18 | 2016-01-27 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| US10534987B2 (en) | 2014-06-18 | 2020-01-14 | Canon Kabushiki Kaisha | Image processing apparatus image processing method and program |
| US10650294B2 (en) | 2014-06-18 | 2020-05-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program |
| CN104410855A (zh) * | 2014-11-05 | 2015-03-11 | 广州中国科学院先进技术研究所 | 一种监控视频的抖动检测方法 |
| CN106331447A (zh) * | 2015-06-30 | 2017-01-11 | 奥林巴斯株式会社 | 摄像装置 |
| CN106331447B (zh) * | 2015-06-30 | 2019-06-28 | 奥林巴斯株式会社 | 摄像装置 |
| CN106375655A (zh) * | 2015-07-23 | 2017-02-01 | 三星电子株式会社 | 数字拍摄设备和数字拍摄方法 |
| CN112703389A (zh) * | 2018-09-19 | 2021-04-23 | 京瓷株式会社 | 观察方法和观察装置 |
| CN112805550A (zh) * | 2018-09-19 | 2021-05-14 | 京瓷株式会社 | 观察方法和观察装置 |
| CN118657695A (zh) * | 2024-08-08 | 2024-09-17 | 长春理工大学 | 无参考的推扫式光谱图像的抖动校正方法、设备和介质 |
| CN118657695B (zh) * | 2024-08-08 | 2024-10-25 | 长春理工大学 | 无参考的推扫式光谱图像的抖动校正方法、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101390381B (zh) | 2012-01-25 |
| WO2007074774A1 (ja) | 2007-07-05 |
| US20100277602A1 (en) | 2010-11-04 |
| US8542278B2 (en) | 2013-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101390381B (zh) | 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 | |
| CN103782586B (zh) | 成像设备 | |
| CN103988490B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| CN104702826B (zh) | 摄像设备及其控制方法 | |
| CN101605208B (zh) | 图像处理设备、成像设备及图像处理方法 | |
| CN100539647C (zh) | 显示面部检测框的方法、显示字符信息的方法和摄像设备 | |
| TWI420902B (zh) | 相機、相機之控制程式及相機之控制方法 | |
| CN101753812B (zh) | 成像装置和成像方法 | |
| CN101465972B (zh) | 在数字图像处理装置中使图像背景模糊的设备和方法 | |
| CN104519328B (zh) | 图像处理设备、图像捕捉装置和图像处理方法 | |
| JP4008778B2 (ja) | 撮像装置 | |
| US7725019B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
| JP4286292B2 (ja) | 電子カメラ | |
| CN101668116B (zh) | 图像处理装置 | |
| US7614559B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
| CN104641624B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| CN103502866A (zh) | 摄影装置及程序 | |
| CN103491310B (zh) | 图像捕获装置及其控制方法 | |
| CN105409198B (zh) | 摄像装置及图像处理方法 | |
| CN109196855A (zh) | 摄像装置、图像处理装置及电子设备 | |
| JP4640198B2 (ja) | 電子カメラ、多数ポイント同時合焦枠表示方法、及びプログラム | |
| CN110447223A (zh) | 成像元件以及摄像装置 | |
| CN104243804B (zh) | 摄像设备、图像处理设备及其控制方法 | |
| CN101459770B (zh) | 数字拍摄设备及其控制方法 | |
| CN102006485A (zh) | 图像处理装置及图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120125 Termination date: 20151225 |
|
| EXPY | Termination of patent right or utility model |