CN101543054A - 图像处理装置、图像处理方法及程序 - Google Patents

图像处理装置、图像处理方法及程序 Download PDF

Info

Publication number
CN101543054A
CN101543054A CNA2008800005417A CN200880000541A CN101543054A CN 101543054 A CN101543054 A CN 101543054A CN A2008800005417 A CNA2008800005417 A CN A2008800005417A CN 200880000541 A CN200880000541 A CN 200880000541A CN 101543054 A CN101543054 A CN 101543054A
Authority
CN
China
Prior art keywords
frame
zone
characteristic
image data
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008800005417A
Other languages
English (en)
Other versions
CN101543054B (zh
Inventor
山田整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101543054A publication Critical patent/CN101543054A/zh
Application granted granted Critical
Publication of CN101543054B publication Critical patent/CN101543054B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明中，运动矢量计算部(4)计算帧图像间的运动量。屏蔽范围指定部(5)把构成帧图像的区域分割为运动量相对较大的区域和运动量相对较小的区域，把运动量相对较大的区域指定为应屏蔽的范围。这样，从被实施了屏蔽的范围以外检测出校正参数。在校正参数为倾斜角的情况下，倾斜校正部7对由摄像元件得到的帧图像实施倾斜校正。

Description

图像处理装置、图像处理方法及程序
技术领域
本发明属于图像校正处理的技术领域。
背景技术
图像校正处理是指从作为处理对象的帧图像数据检测出校正参数，利用校正参数对图像数据实施校正的技术，已知有图像的倾斜校正技术、图像的摇动校正技术。
图像的倾斜校正技术是推定从作为基准的角度倾斜的倾斜角，并根据该倾斜角校正图像的技术。摇动校正技术是通过将连续拍摄的多个帧图像数据中的背景区域固定在同一位置来校正拍摄时的摇动的技术。
现有的倾斜校正技术广泛应用于扫描仪或复印机等光学读取设备的产业领域，但是近年还不断研究向摄影设备的产业领域的应用。此外，作为倾斜校正技术的成果的工业制品，有图像处理装置和组装有该图像处理装置的摄像机、以及用于摄影处理的程序。
下面，说明在摄像机中的应用所具有的技术意义。在步行的同时用摄像机进行拍摄的情况下，随着拍摄者自身的运动，拍摄中的摄像机也一起摇动。因此，在步行时所拍摄的影像不只是始终保持水平状态来拍摄的影像。此外，在不观看摄像机所带的取景器而进行拍摄的情况下，拍摄者不能看到实际拍摄的影像，因此，与前面的说明一样，不能始终得到拍摄者所期待的保持水平状态的影像。
在从水平状态倾斜的状态下拍摄的影像不利于视听。在把该倾斜的影像校正为水平时，需要上述的倾斜校正技术。所述倾斜校正技术中，怎样决定作为其基准的角度成为较大问题。下面的专利文献1公开了如下技术：在从扫描仪读取的文章图像中，通过将文章图像的倾斜用作基准，来实现倾斜校正。
专利文献1：日本特开2005-184685号公报
然而，在上述的图像处理中，是否能够实现高精度校正的关键是能否高精度地检测出用于校正的校正参数。即，若能够高精度地检测出用于校正的校正参数，则一定能够提高校正后的图像的质量。例如，在倾斜校正时，为了从帧图像数据检测出旋转角度，必须执行叫做霍夫(hough)变换的检测算法。但是，由于霍夫变换中必须要对每个像素进行运算，所以运算负荷较大，在作为处理对象的图像为1920×1080的析像度的情况下，运算量较大，不适合安装在便携设备中。
因此，为了提高精度，认为事先取得在帧图像中的哪个地方拍出了什么这样的信息比较好。这是因为，一般而言，由扫描仪等取入的文章图像中，布局为预定的，在光学设备的应用领域，将这样的布局信息作为线索来推定角度。
但是，在用摄像机等来拍摄的影像的摄影条件和拍摄环境会根据拍摄者和拍摄时机而不同，因此，不能够期待得到如上述布局信息那样的有效的事前信息。
发明内容
本发明的目的在于提供一种图像处理装置，该图像处理装置能够在不需要有关所拍摄的内容的事前信息的情况下以高精度检测出校正参数。
用于解决上述问题的图像处理装置，使用校正参数对帧图像数据进行校正，包括：生成单元，生成帧特征数据，该帧特征数据表示帧图像数据中的图形的特征；计算单元，对构成作为处理对象的帧图像数据的各像素块的每一个，计算时间上来自在前的帧图像数据的运动矢量；范围指定单元，根据对各像素块计算的运动矢量，指定帧特征数据全体中的应实施屏蔽的范围；以及检测单元，从帧特征数据中的被实施了屏蔽的范围以外的部分中，检测出校正参数。
发明效果
如上所述，具备问题解决手段的图像处理装置中，被实施屏蔽的范围是根据对各像素块计算出的运动矢量来指定的。在此，在图像数据上的区域中的、包含在近景中的物体或人物像等中，来自在前的帧的运动矢量的大小或运动矢量的方向发生变化的较多，存在有这样的物体或人物像的部分被指定为应实施屏蔽的部位。
这样，对近景中包含的物体或人物像等近景区域实施屏蔽，因此对被实施屏蔽的区域以外的区域即通过拍摄得到的图像数据上的区域中的现实世界中的远景区域，执行用于检测校正参数的运算处理。
在此，在远景区域中包含有高层大厦等具有原本水平或垂直的边缘成分值的物体的情况较多。具体举例而言，认为高层大厦等构造物大多包含在远景区域中。
通过把用于检测校正参数的运算范围缩小到经上述屏蔽而剩下的区域，即建筑物等静止体被拍摄的可能性较高的远景区域内的特征量，由此，以高概率检测出构造物等现实世界中的具有水平、垂直成分的物体的边缘等来作为校正参数。若使用该校正参数进行图像处理，则通过倾斜校正、摇动校正等校正处理能够得到高质量的图像。
由于从帧特征数据中的被实施了屏蔽的部分以外的部分检测出校正参数，因此hough变换等用于检测校正参数的检测算法的执行范围缩小。通过缩小范围，能够使检测算法执行的处理负荷变小，大大减少功耗。由此能够把图像处理装置适当地安装到便携设备上。由于被实施屏蔽的部位大体是近景区域，因此能通过对连续的帧进行运动矢量计算来指定。通过所述运动矢量的计算，能够确定实施屏蔽的范围，因此不需要事先信息，就能够高精度地检测出校正参数。
附图说明
图1是表示组装了本发明的图像处理装置的摄像机100的使用行为方式的图。
图2是表示组装了本发明的图像处理装置的摄像机100的硬件结构的图。
图3是表示本发明的图像处理引擎50的软件结构的功能结构图。
图4(a)是示出由DMA控制器20写入帧存储器30及帧存储器40的帧图像t-1、帧图像t的图。图4(b)是示出构成帧图像的多个块的图。图4(c)是示出表现帧图像中的一个像素的像素值的Y、Cr、Cb的32比特数据的图。
图5(a)是示出对图4所示的帧图像t得到的帧特征数据的图。图5(b)是示出在推定角度时所生成的直方图的一例的图。
图6(a)是示出相对连续的帧图像的运动矢量的检测结果的图。图6(b)是示出表示近景区域的信息的一例的图。图6(c)是示出近似于由16像素×16像素构成的块的形状的近景区域形状的图。
图7(a)是示出表现倾斜的有效边缘信息的所在的图。图7(b)、图7(c)是示出屏蔽图案的一例的图。
图8(a)是概念性地示出用于屏蔽处理的逻辑运算的图。图8(b)是直方图，把实施屏蔽时得到的出现频率用实线表示，把没有实施屏蔽时得到的出现频率用虚线表示。图8(c)是对近景区域和远景区域的边界上的模拟轮廓生成的边缘信息的图。
图9(a)是示出对实施了近景区域屏蔽的帧图像进行角度推定时得到的直方图的图。图9(b)是倾斜校正部7根据20度的推定角度进行了旋转校正而得到的校正图像的图。
图10是表示对帧图像进行区域分割的处理步骤的流程图。
图11是表示从特征量提取到角度推定的处理步骤的流程图。
图12是表示第2实施方式的图像处理装置的硬件结构的图。
图13(a)是表示通过近景区域分离得到的直方图的图。图13(b)是表示根据传感器值缩小的推定范围的图。
图14(a)是在第3实施方式中的倾斜角推定处理中成为题材的帧图像数据，是在巴士车内拍摄的图像数据。
图14(b)是对图14(a)的帧图像数据进行特征量提取而得到的帧特征数据的图。
图14(c)表示对近景区域实施了屏蔽的帧特征数据。
图14(d)表示对远景区域实施了屏蔽的帧特征数据。
图15是表示实施了屏蔽的图像数据和对这些帧图像数据制作的直方图的图。
图16是表示第3实施方式的图像处理装置的内部结构的图。
图17是表示第3实施方式的带可靠度的倾斜校正处理的处理步骤的流程图。
图18(a)是表示作为摇动校正的对象的连续帧的一例的图。
图18(b)是示出旋转矩阵R的一例的图，该旋转矩阵R用于将帧t-1的图像数据的(X4，Y4)(X5，Y5)变换为与帧t-1的图像数据的(X1，Y1)(X2，Y2)一致。
图18(c)是实施了摇动校正的帧图像t-1的一例。
图19(a)是对帧图像t-1和帧图像t生成的帧特征数据。
图19(b)是对图19(a)的帧图像t-1和帧图像t中的近景区域进行屏蔽来得到的帧特征数据的图。
图19(c)是表示从帧图像t-1的帧特征数据和帧图像t的帧特征数据检测出的特征点的图。
图20(a)、图20(b)是对没有实施摇动校正的两个帧图像数据和实施了摇动校正的两个帧图像数据进行对比来示出的图。
图21是表示第4实施方式的图像处理装置的内部结构的图。
图22是摇动校正处理的流程图。
图23是示出投影到单位球面(半径＝1)上的坐标上的帧图像t-1的特征量和帧图像t的特征量的图。
图24(a)是示出构成连续帧的帧t-1的图像数据、帧t的图像数据的图。
图24(b)是从构成帧t的图像数据的各宏块检测出的运动矢量的图。
图24(c)是示出在存在构造物的区域内构造物以外的区域作为噪声存在的事例的图。
图25(a)是把图24的帧特征数据分离为与摇动特征(t-1，t)的结果相同的运动矢量所占的区域和与摇动特征(t-1，t)的结果不同的方向的运动矢量所占的区域的图。
图25(b)是只表示对各宏块计算的运动矢量中具有与摇动量推定结果相应的方向的运动矢量的图。
图25(c)是示出在作为校正参数的倾斜角的检测中使用的帧特征数据的图。
图26是表示第5实施方式的图像处理装置的内部结构的图。
图27是摇动量推定处理的流程图。
图28是第5实施方式的图像处理装置整体的流程图。
图29是第6实施方式的图像处理装置的内部结构的图。
符号说明
10 摄像设备
20 DMA控制器
30 帧存储器
40 帧存储器
50 图像处理引擎
60 卡驱动器
70 角速度传感器
100 摄像机100
1 特征量提取部
2 线段检测部
3 角度推定部
4 运动矢量计算部
5 屏蔽范围指定部
6 屏蔽部
7 倾斜推定部
8 编码部
51 远近两用屏蔽部
52 带可靠度的角度推定部
53 倾斜角选择部
54 摇动特征提取部
55 摇动量推定部
56 摇动校正部
57 屏蔽图案放大部
58 摇动校正及倾斜校正部
59 测距传感器
具体实施方式
下面，参照附图说明本发明的图像处理装置。
(实施方式1)
本实施方式是从作为处理对象的帧图像数据检测出倾斜来作为校正参数，并用该校正参数对作为处理对象的帧图像数据实施图像处理的方式之一。该图像处理包括旋转变换。
图1是示出本发明的图像处理装置所适用的摄像装置的使用方式的图。如该图所示，用户可通过使用吊绳把组装了本发明的图像处理装置的摄像机100带在身上，能够进行基于免提摄影技巧的摄影。在该摄像机100的壳体上存在用于装卸作为记录介质的半导体存储卡的卡槽101、受理摄影开始操作的录像按钮102以及受理摄影停止操作的停止按钮103。用户通过按下录像按钮102，使摄像机100开始基于免提摄影技巧的摄影处理。此外，对通过摄影得到的帧图像进行倾斜校正。进行倾斜校正后的图像数据作为静止图像、或作为运动图像而将连续输出的数据编码后，写入到半导体存储卡等记录介质中。
图2是组装了本发明的图像处理装置的摄像机100的硬件结构图。
摄像机100包括摄像设备10、DMA控制器20、帧存储器30、帧存储器40、图像处理引擎50、以及卡驱动器60。
(摄像设备10)
摄像设备10例如包括CCD(电荷耦合设备)成像传感器、CMOS(互补金属氧化物半导体)成像传感器等摄像元件。摄像元件所接受的光量(模拟值)被AD变换，每规定定时作为一个画面量的数据写入到后述的帧存储器30、帧存储器40。
(DMA控制器20)
DMA控制器20把由摄像设备10得到的图像数据不经由MPU而直接写入到存储器40、帧存储器30。
例如，把连续的两枚帧图像t-1和帧图像t这两枚图像交替写入到预先准备的多个存储器区域、帧存储器30和帧存储器40。
(帧存储器30、40)
帧存储器30、40是为了预先保存连续的帧图像而按照每规定定时准备的存储区域。帧存储器不需要在物理上分离，也可以是在存储器(SD-RAM)内分割的近景区域。这些帧存储器30、帧存储器40的地址空间以能够由后述的MPU访问的规定方式映射在地址空间上。
(图像处理引擎50)
图像处理引擎50对保存在帧存储器30中的帧图像实施用于倾斜校正的图像处理。在此，例如图像处理引擎(图像处理装置)以von neumann式(诺伊曼型)的一般计算机构造为基础，在总线上连接了MPU、RAM、外部插槽存取部(存储卡60等)。图中，DSP是用于对存储在帧存储器中的图像数据进行处理的处理器。
(卡驱动器60)
卡驱动器60是为了把由图像处理引擎50实施了编码后的帧图像写入到用于记录的外部记录介质(半导体存储卡等)而准备的插槽。
以上是摄像机100的硬件结构。
用图3说明图像处理引擎50的功能模块。
图像处理引擎50包括特征量提取部1、线段检测部2、角度推定部3、运动矢量计算部4、屏蔽范围指定部5、屏蔽部6、倾斜校正部7、编码部8。
(特征提取部1)
特征量提取部1对在时刻t的定时拍摄的图像数据即保持在帧存储器30中的图像数据的亮度成分，提取出边缘成分。作为用于检测出边缘的方法，例如，利用Sobel滤波器或Canny滤波器对各像素进行提取，并把取得的值与规定阈值进行比较等，由此检测出边缘。将被提取了特征的图像数据作为帧特征数据记录到DPRAM中。
记录到DPRAM内的帧特征数据，表示存在于帧图像内的被摄体的特征性轮廓线。
图5(a)表示对图4所示的帧图像t得到的帧特征数据。帧特征数据由亮度信息的边缘成分的数据构成。该亮度信息的边缘成分是通过噪声去除等而去除了不适当的边缘成分之后得到的数据。在该帧特征数据中，将不是边缘的像素用黑底，边缘部分用白色示出的画表示。图中的白色线段是判断为边缘成分的像素的集合，包含有帧图像中存在的人物和构造物的轮廓。
(运动矢量计算部4)
运动矢量计算部4通过对记录时刻t的图像数据的帧存储器30的图像数据和记录时刻t-1的图像数据的帧存储器40中所保存的图像数据进行比较，对时刻t的图像数据计算出块单位的运动矢量，并取得作为其标量的运动量。
通过帧图像t-1的图像数据中包含的、与时刻t的图像数据的规定块(例如，由纵16像素×横16像素构成的块的像素值)相同大小的范围的像素中，检测出与该规定块相关值较高的范围，能够实现检测出时刻t的规定块对应于帧图像t-1的哪个位置。
作为例子，详细说明块匹配法。帧被以块单位划分，假设其块的大小被是预先设定的大小，例如统一成横16像素×纵16像素等。块匹配法是，假定规定的1个块内所包含的像素(如16×16像素)在块单位下运动是相同的，并将当前的图像内划分为多个块，通过检索当前帧的规定块与其他(或当前)的图像内的哪个像素值(16×16)的相关高，由此建立规定块在帧间怎样运动的运动对应关系。运动矢量检测部4对构成帧图像的块单位，用帧图像t-1和帧图像t进行匹配，利用测量SAD(Sum of AbsoluteDifference：绝对误差和)等相似度的方法，对每个块探索相似度最高的块。探索范围是从该块起的一定范围内，在该范围内，对当前的帧中所包含的每个块检测出运动矢量。
此外，在DSP为MPEG等运动图像编码用的专用DSP的情况下，能够把对帧存储器30、40中连续保持的图像数据进行运动图像编码的过程中DSP所取得的运动矢量，用作运动量。
关于运动量检测，利用所拍摄的图像数据来具体说明。
图4(a)是表示在时刻t-1的定时写入帧存储器30中的图像数据和在时刻t的定时写入帧存储器40中的图像数据的图。在此，在图4中，假设从帧图像t-1到帧图像t，人物向左以较大幅度移动。跟踪该人物的运动，拍摄者将摄像机100向左方向以比人物的移动量小的移动量稍稍移动。(根据图4(a)，帧图像t-1、帧图像t中所拍摄的两个图像是在从水平倾斜20度的状态下拍摄的。(此外，帧图像t-1是为了便于说明而假设为最近前面(1帧之前的帧))。
图4(b)是表示在检测出运动量之后进行的块分割的图。假设帧图像具有横720像素×纵480像素的析像度。例如，分割为各具有横16像素×纵16像素的大小的多个块。在这些块中，赋予了以帧图像的左上坐标为原点的坐标系，各块例如左上的块成为围绕(0，0)、(15，0)、(0，15)、(15，15)这4点坐标的坐标，能够利用块中的端点的坐标中的任一个坐标(例如(0，0)、(15，0)、(31，0)、(0，15)、(15，15)、(31，15))来唯一地识别各块。
图6(a)是示意性地示出图4(a)所示的连续的帧图像被拍摄的例子中的运动矢量的检测结果的图。图中的箭头示意性地示出所检测到的运动矢量的方向和大小。从帧图像中人物像所占的范围(范围内包含的块)检测出各个较大的运动矢量(设范围内的块的运动量平均为“1”的运动矢量)。
(屏蔽范围指定部5)
屏蔽范围指定部5在屏蔽部6进行屏蔽时，进行应对帧特征数据中的哪个范围实施屏蔽的范围指定。在该范围指定中，屏蔽范围指定部5通过对各块中的运动矢量的大小的平均值(或者是运动矢量的大小变形后的值)和各块的运动量进行比较，分离图像中的近景区域，并提取出表示是否为远景区域的信息。之后，把帧特征数据中的相当于被分离的近景区域的范围指定为要进行屏蔽的范围。
首先，屏蔽范围指定部5为了仅在图像整体没有极大幅度地运动的情况下判断是否为远景区域，而进行预处理。
在预处理中，判断帧图像整体中的运动量(例如，所有像素块的运动量的平均值)是否比规定的上限值大。在判断为运动量的平均值比上限值大的情况下，摄像机100摇动很厉害，所以考虑为帧图像成为模糊图像。该情况下，屏蔽范围指定部5丢弃帧存储器30中所保存的帧图像t，中止(中断)特征量提取部1进行的特征量提取。从而下一帧图像成为特征量提取部1的处理对象。通过这样的预处理，由于图像整体大幅度运动而变模糊的帧图像被从近景区域分离的对象中排除。以上为屏蔽范围指定部5的预处理。
接着，按照以下的步骤进行近景区域分离。
将构成时刻t的帧图像的各块的运动量和规定的分割指标进行比较。在块的运动量大于规定的分割指标时判断为近景区域，在块的运动量小于规定的分割指标时，判断为远景区域(不是近景区域的区域)。
在此，分割指标的值可以是绝对量(事先指定的值)，也可以是相对量(所有块的运动量的平均值等图像数据中相对求得的值)。
在为相对量的情况下，屏蔽范围指定部5通过对规定的定时的图像数据计算运动量的平均值、中央值等，求出上述的分割指标，并把该指标和各块的运动量再次进行比较，由此进行近景区域的判断。
在以上的判断之后，是否为块单位的远景区域的判断结果(二进制数据)和块位置坐标一起被保持。
图6(b)示出关于通过上述判断而判断为近景区域的块的位置坐标保持形式。
图6(c)是示意地示出把利用该块的位置坐标连接图4(b)所示的块端点坐标而形成的近景区域的图。如图6(c)所示，用16像素×16像素的块形状来近似地构成近景区域。
如上所示，在屏蔽范围指定部5中，进行帧图像t的各块是近景还是远景的判断处理。
(屏蔽部6)
屏蔽部6输入由特征提取部1得到的帧特征数据和表示由屏蔽范围指定部5得到的近景区域(块)的信息，并进行屏蔽处理。这里的屏蔽是通过对构成屏蔽图案的各像素和构成帧特征数据的各像素进行逻辑运算来实现。图7(a)是示出在帧特征数据中存在的边缘信息中存在表现倾斜的边缘群和不表现倾斜的边缘群的图。具体而言，在边缘信息中，与运动量大的区域内(近景区域)存在的人物图像对应的部分的边缘信息不表现出倾斜(现实世界中的垂直)，运动量小的区域内(远景区域)存在的构造物所对应的部分的边缘信息表现出倾斜(现实世界中的垂直)。这是因为，大厦等构造物是相对于地面垂直地建成，其边缘的垂直成分表现为垂直。
图7(b)是示出屏蔽部6在屏蔽中使用的屏蔽图案的一例的图。该图中的屏蔽图案对应于图6(c)，近景区域的部分成为单一黑色，远景区域成为单一白色。若对各像素的每一个实施与该屏蔽图案之间的逻辑运算，则其结果是，仅提取出与近景区域对应的特征量。
生成屏蔽图案的具体步骤如下。首先，将帧图像中的判断为近景区域的区域设为0000，把判断为远景区域的区域设为FFFF值，来制作屏蔽图案。图7(c)是示出从图5(a)的帧特征数据得到的屏蔽图案的图。
接着，进行屏蔽图案和帧特征数据之间的逻辑运算(AND运算等)。图8(a)是示意地示出根据帧特征数据和屏蔽图案计算倾斜检测中使用的帧特征数据的图。如图8(a)所示，生成从图5的帧特征数据所示的边缘中删去了判断为近景区域的区域的边缘信息(包含与远景区域相对应的区域的边缘)的帧特征数据。
通过这样的处理，仅留下判断为不是近景区域的(远景区域)的区域中的特征量(此外，下面把屏蔽范围指定部5进行的分离和屏蔽部6进行的屏蔽合并称为“近景区域分离”。)。
(线段检测部2)
线段检测部2利用通过屏蔽部6的输出而进行了“近景区域分离”的帧特征数据，从图8(a)的帧特征数据中检测出表示旋转角度的角度成分。作为从图像数据中检测出角度成分的方法，能够利用众所周知的hough变换等。此外，在角度成分的检测中，需要检测出构成图案的轮廓的线段，根据所检测到的线段来检测出图像的角度成分，所述角度成分的检测的算法能够利用例如日本特开2007-141167等中公开的方法。
此外，本发明中，作为用于从图像检测出角度成分的优选方法，发明者使用了利用浓度梯度的方法来代替了hough变换。浓度梯度法也与hough变换同样，是利用图像上的线段信息来检测倾斜角的方法，在两种方法中都使用的图像特征是图像中的边缘信息。与hough变换的不同点在于，积极利用线段信息在图像上表现为浓度梯度的情况，代替直接求出线段而利用浓度梯度的总体来处理线段。线段存在的情况表明，在图像上线自身的像素值和其周边的像素值之间存在较大的差(浓度的梯度)，通过检测出该差，能够利用作为浓度梯度总体的线段信息。
通过这样利用浓度梯度法，与hough变换相比，其计算成本降低，并且能够作为浓度梯度的总体来利用线段信息，因此抗噪声能力强，能够检测出稳定的倾斜角。此外，在利用hough变换的情况下，处理的并行化较困难，但是在利用浓度梯度的情况下，还有容易并行化的优点。此外，在利用hough变换时为了使噪声降低，需要去除较短的线段而只利用较长的线段等对策，因此需要一定长度以上的线段。但是，考虑到使用相机的各种状况，不限于总是能够得到一定程度以上长度的线段的情况。另一方面，浓度梯度法由于作为浓度梯度的总体来处理线段信息，所以对于线段信息不需要一定的长度。因此，浓度梯度法具有在各种环境下都能够得到比通过hough变换得到的结果更稳定的结果的优点。
(角度推定部3)
角度推定部3根据由线段检测部2检测到的线段的长度和角度信息，推定图像数据从水平轴起倾斜了多少度的倾斜角。
首先，以帧为单位输入从线段检测部输出的角度信息，生成每规定单位的角度的直方图。这里，例如将以1度为单位输入的线段的角度信息总结为以10度为单位的角度信息，在-90度～90度的范围内制作直方图。
图8(b)中虚线所示的直方图是利用现有方法，基于从屏蔽处理部对帧特征数据没有实施屏蔽时的图像数据(包含运动量较大的近景区域的帧特征数据)计算出的角度信息的直方图。图8(b)的直方图中用虚线示出的图表中，还考虑了从人物像(近景)对应的部分检测出的边缘信息的发生频率，所以表示人物像的倾斜的角度频率最高。
此外，用图8(b)的实线所示的直方图示出了本发明的角度信息。利用屏蔽处理部对帧特征数据实施屏蔽后的结果是，从运动量较小的远景区域的边缘图像的线段中提取的角度信息的直方图。
在图8(b)的实线所示的直方图中，人物像的边缘方向所对应的角度
(第1方向)的频率降低，取而代之的是，(处于远景)静止体像的角度(第2方向)的频率变高，因此，该静止体像的角度(20度)被推定为正确的垂直成分。
角度推定部提取与直方图的峰值相当的角度(该情况为20度)，并作为倾斜角输出到倾斜校正部。
以上的线段检测部2、角度推定部3进行校正参数之一的倾斜角的检测，因此线段检测部2和角度推定部3的组合对应于“校正参数检测部9”。
(倾斜校正部7)
倾斜校正部7用角度推定部3推定的角度进行帧图像t的倾斜校正。
作为校正的方法，采用Affine变换等。对于进行了近景区域屏蔽的帧图像，在角度推定部3进行了角度推定的情况下，直方图如图9(a)所示，被推定出20度的角度，因此若倾斜校正部7根据该角度进行旋转校正，则能够得到如图9(b)所示的校正图像。
(编码部8)
编码部8利用由倾斜校正部7进行了倾斜校正后的帧图像，例如，i)将进行了倾斜校正的帧图像作为静止图像进行编码，或ii)把在进行倾斜校正之后连续输出的图像数据通过运动图像编码而作为运动图像进行编码，并用于卡驱动器60进行的记录。
以上是本发明的摄像装置和图像处理装置的功能。
如上，在本发明中，为了提高将现实世界中的构造物的线段作为基准角度进行角度校正的概率，而使用作为远景区域的边缘成分的帧特征数据(从除去了远景区域的影响的帧特征数据)来提取出表示旋转角度的角度成分。
由此，例如，i)提取出被认为原本包含很多水平、垂直成分值而包含很多地面上垂直建立的构造物的远景区域，或ii)能够除去较近的近景中所包含的物体(上述人物像)的上述边缘成分的影响，能够提高以真正的水平、垂直线段为基准进行角度校正的概率。
(屏蔽部6在提取特征量之后进行屏蔽的理由)
在上述的处理过程中，屏蔽部6在特征提取部1提取出特征量之后进行屏蔽是有理由的。若在提取特征量之前进行近景远景的屏蔽处理，则近景区域和远景区域的边界处的模拟轮廓会被多余地检测出，该模拟轮廓的边缘信息也作为用于推定角度的特征而被计算。图8(c)是表示对近景区域和远景区域的边界的模拟轮廓生成的边缘信息的图。
该边缘信息成为噪声，因此会对检测结果造成不良影响。为了除去这样的边缘信息，在特征提取部1提取出特征之后，在近景区域和远景区域进行屏蔽处理。通过这样做，能够只利用纯粹处于远景区域的边缘信息，从而能够提高以真正的水平、垂直成分为基准进行角度校正的概率。这样，以提高倾斜检测的精度为目的，屏蔽部6在特征提取部1的特征量提取后进行屏蔽。
此外，图像处理引擎50也可以使用运动图像编码用的DSP，来作为运动检测部。通过把该DSP检测的运动矢量作为供给屏蔽范围指定部的运动量，能够使用通用的处理器来实现本发明的图像处理装置。
此外，在本实施方式中，在远景区域的提取(近景区域的判断)中，通过运动矢量计算部4的输出与每个块的运动量的值的绝对值(或者相对值)进行了比较，但是不限于此。
例如，在叫做Shape from Focus(SFF，对焦法)的方法中，取得多枚高速变换焦距的图像，通过检测出焦点位置，推定相机离图像数据中的物体的距离，并进行近景远景区域的分割。
此外，也可以通过把存在有大厦等几何学外观的物体的区域通过模板匹配等方法进行对照，来把近似度高的区域作为“构造物的区域(远景区域)”进行近景远景区域的分割。
(实施方式1的变形例)
在实施方式1中说明的屏蔽范围指定部、屏蔽部、线段检测部、角度推定部、倾斜校正部等的各功能也可以作为使MPU执行图10、图11的流程图所示的处理步骤的程序来安装。
图10是表示对帧图像进行近景区域分离的处理步骤的流程图，图11是表示从特征量提取到角度推定的处理步骤的流程图。图10的流程图中，步骤S2是运动矢量计算部4的处理，步骤S3～步骤S12是屏蔽范围指定部5的处理。在图11的流程图中，步骤S23～步骤S27对应于屏蔽部6的处理，步骤S28对应于线段检测部2的处理，步骤S29～步骤S31对应于角度推定部3的处理。
下面，对摄像机100应进行的软件处理进行说明。
用于实现图10、图11的流程图的程序在实时OS上，作为多个任务进行处理，因此内核通过把该程序加载到RAM中，来生成关于该程序的任务。之后，执行表示开始摄影的用户操作，如果按照该用户操作发生中断，发生任务的先占，则开始图10的流程图所示的处理。
本流程图的步骤S1构成等待得到帧图像的事件成立等待循环。若得到帧图像，则转移到由步骤S2～步骤S12构成的处理。该处理对构成帧图像t的各块计算运动矢量(步骤S2)，取所有块的运动量平均来作为指标(步骤S3)。在进行这些处理之后，经过步骤S4的判断，执行步骤S6～步骤S11的循环处理。
步骤S4判断为了得到指标而计算出的运动量的平均值是否比规定的上限值大。比该上限值大意味着因摄像机100大幅度摇动而帧图像成为模糊图像。该情况下，丢弃保存在帧存储器30中的帧图像t(步骤S5)，并等待下一个帧图像被拍摄。由于存在该步骤S4、步骤S5，图像整体大幅度运动的帧图像会被从倾斜校正技术的对象中排除。然后，存在有近景区域和远景区域的帧图像适当地成为倾斜校正技术的对象。
之后的循环处理，把构成帧图像的块中位于画面左端的块(最初块)设定为块u(步骤S6)，重复进行步骤S7到步骤S11的处理。
从步骤S7到步骤S11的处理包括如下的一系列处理：进行块u的运动量是否小于指标的判断(步骤S7)，若小于，则把块u分类为归属于远景区域的块(步骤S8)，若大于，则把块u分类为归属于近景区域的块(步骤S9)，进行上述处理之后，通过步骤S10，把下一个块设为块u(步骤S11)。
步骤S10规定该循环处理的结束条件，只要变量u没有超过块总数m，就重复该循环处理，若超过，就跳出该循环处理，把归属于近景区域的块的坐标作为区域信息来保存之后(S12)，转移到步骤S1。
接着，说明图11的处理。在图11的流程图中，在提取出帧图像t的特征量之后(步骤S21)，制作屏蔽图案(步骤S22)，在该屏蔽图案中，把属于近景区域的块用32比特的像素值0000表示，把属于远景区域的块用32比特的像素值FFFF表示。之后，转移到步骤S23～步骤S27的循环处理。该流程图把位于画面左端的块作为最初的块，设定为块v(步骤S23)，重复步骤S24～步骤S27。该步骤S24～步骤S27的处理在变量v超过特征量的总数n之前，重复执行以下处理(步骤S26)：执行帧特征数据中的块v的像素值和屏蔽图案中的块v的像素值之间的用于屏蔽处理的逻辑运算(步骤S24)，把逻辑运算的结果作为倾斜检测用的块v来保存(步骤S25)，之后，把下一个块代入块v(步骤S27)。
对存在于画面左上端的块起至存在于画面右下端的块进行处理，该循环处理结束之后，能够得到由逻辑运算得到的块构成的帧特征数据。之后，从帧特征数据检测出线段(步骤S28)，计算各线段的倾斜(步骤S29)，在得到所算出的倾斜的直方图(步骤S30)之后，把在直方图中频率最高的角度作为表示摄像设备10的摄像面的倾斜的角度来得到推定结果(步骤S31)，之后，转移到步骤S21。
根据上述的本实施方式，能够利用帧间的运动矢量的大小来进行近景区域的分离，并只把从远景区域算出的图像的特征用于倾斜角检测法中，由此即使是人物等较大地落入图像内的影像，也能够以高精度推定倾斜角，能够根据推定的角度进行倾斜校正。
(第2实施方式)
图12是示出本发明的第2实施方式的图像处理装置的硬件结构的图。在图11中，对与图1相同的构成要素使用相同的标记，并省略说明。
如图11所示，本发明的第2实施方式与第1实施方式的不同点在于，追加了能够检测出辊轴方向的角度成分的惯性传感器70，以及线段检测部2利用来自该传感器70的输出。作为能够检测出该辊轴方向的角度成分的惯性传感器，能够例举加速度传感器、陀螺传感器等。
惯性传感器70取得摄像装置10拍摄帧图像t的时刻的辊轴方向的角度。此时的值可以是从惯性传感器输出的原始值，也可以是利用某个装置校正后的值。
以上是对惯性传感器70的说明。
接着，对第2实施方式的线段检测部2的改良点进行说明。
线段检测部2在根据由倾斜角检测法来检测出的线段的长度和角度信息制作直方图时，根据作为惯性传感器70的输出的角度范围，限制所制作的直方图的角度范围，从被限制的区间内的直方图推定角度。
在所拍摄的摄像机100等的壳体自身移动了的情况下，传感器值有时受到惯性的影响而输出不同于实际角度的角度。因此，假定读取的值±x°的范围为帧图像t被拍摄的时刻的实际角度范围，把根据通过倾斜角检测法检测出的线段制作的直方图的角度范围缩小为根据上述传感器值决定的角度范围，在该角度范围内进行倾斜角的推定。
图13(a)示出通过近景区域分离而得到的直方图。在该直方图中，除了正确的角度20°以外，在-10°附近还存在频率峰值，因此不能推定正确的角度。图13(b)是示出基于传感器值缩小的推定范围的图。若使用传感器值缩小推定的角度范围，则正确的角度20°的频率最高，通过把该角度用于倾斜校正，能够得到正确的图像。
(第3实施方式)
本实施方式是相机保持者所在的坐标系自身移动的情况的改良。如相机保持者乘坐车等移动物上的情况那样，在相机保持者所在的坐标系自身运动的情况下，有时构造物所存在的区域的移动量相对变大。该情况下，若如第1实施方式那样，仅根据运动矢量的大小来判断用于倾斜校正的区域，则有时会误判断为构造物所存在的区域为近景区域，此时不能根据构造物存在的区域的特征量来求得倾斜角。此时，不能利用从远景区域推定倾斜角的上述结构来应对。
因此，在本实施方式中，分别以远景、近景求出表示图像数据中存在的角度范围的度数的直方图，对各区域计算出可靠度，把从其可靠度最高的区域得到的倾斜角用作校正参数。
参照图14和图15，说明本实施方式的倾斜推定。
图14(a)是在第3实施方式的倾斜推定处理中作为题材的帧图像数据，示出在巴士车内拍摄的图像数据。在该图像数据为成为处理对象的帧图像数据的情况下，通过对该帧图像数据进行特征量提取，得到该图14(b)的帧特征数据。图14(b)是示出通过对图14(a)的帧图像数据进行特征量提取而得到的帧特征数据的图。在第1实施方式中，对这样得到的帧特征数据进行近景区域分离，对这样分离后的近景区域进行了屏蔽，而在本实施方式中，分别对通过近景区域分离得到的近景区域和通过分离剩下的远景区域执行屏蔽。
图14(c)示出对近景区域实施了屏蔽后的帧特征数据。图14(d)示出对远景区域实施了屏蔽后的帧特征数据。这样，关于对近景区域实施了屏蔽的帧特征数据和对远景区域实施了屏蔽的帧特征数据，分别求出直方图。利用此来限制直方图的范围。
图15是示出实施了屏蔽的帧图像数据和对这些帧图像数据制作的直方图的图。在这些直方图中，可知出现了以80°为中心的角度范围α1、以90°为中心的角度范围α2。假定该角度范围α1是越过窗口的车外风景中的线段的角度范围，角度范围α2是存在于车内的座位和乘客的线段的角度范围。在这样假定的情况下，对角度范围α1和α2分别计算可靠度。在角度范围α1中，80°的角度的度数为极高，80°附近的度数变低。这样，80°角度成为突出性的角度，角度的分散程度小，角度范围α1的可靠度较高。另一方面，在角度范围α2中，90°附近的角度的度数都大致相同地出现，角度的分散程度高，角度范围α2的可靠度低。在该情况下，在这些可靠度中，成立远景区域＞近景区域的关系，因此，作为校正参数，选择角度范围α1内的角度。
这样，包含从构造物得到的倾斜角的角度范围表现出很多表示从水平倾斜的角度，所以突出性变高，可靠度变高。另一方面，包含根据构造物以外的区域得到的倾斜角的角度范围在进行推定时，突出性较小，其可靠度变低。
以上为带可靠度的角度推定的处理步骤的概要。
下面，对第3实施方式的图像处理装置的内部结构进行说明。
图16是示出第3实施方式的图像处理装置的内部结构的图。该图是以图3为基础制作的，与作为其基础的结构相比，不同点在于，屏蔽部6被置换为远近两用屏蔽部51，线段检测部2和角度推定部3被置换为带可靠度的角度推定部52和倾斜角选择部53。在图16的结构要素中，对与图3相同的结构使用相同的标记，并省略说明。
(远近两用屏蔽部51)
远近两用屏蔽部51执行仅提取远景区域的屏蔽和仅提取近景区域的屏蔽。通过分别提取远景和近景区域，能够从远景区域和近景区域分别检测出倾斜角。
(带可靠度的角度推定部52)
带可靠度的角度推定部52在远近两用屏蔽部51生成的远景和近景两个区域，利用上述hough变换或高度梯度法推定倾斜角。此时，生成表示所推定的倾斜角在何种程度上确切的可靠度。该可靠度表示，在生成倾斜角直方图后，将在由传感器指定的角度范围内具有最大度数的角度判断为倾斜角时，所推定的倾斜角在直方图中有多突出的指标。
(倾斜角选择部53)
倾斜角选择部53进行带可靠度的角度推定部52生成的远景和近景倾斜角的可靠度的比较。从构造物所存在的区域得到的倾斜角的可靠度具有较高的峰值，因此假定为可靠度高的倾斜角为从构造物所在的区域得到的角度，把可靠度高的倾斜角作为正确的倾斜角来选择。此外，在生成倾斜角的区域存在3个以上的情况下，把所生成的倾斜角中具有最高的可靠度的倾斜角作为正确的倾斜角来选择。
作为用于进行使用了可靠度的校正参数选择的图像处理装置的处理，如下所示。
在以上结构中，带可靠度的角度推定部52分别从存在于远景的区域和存在于近景的区域中求出带可靠度的倾斜角，因此，从没有构造物信息的区域得到的角度的可靠度比从存在构造物的区域得到的角度的可靠度低。因此，通过比较可靠度，能够选择动态地使用的区域。这样，通过倾斜角选择部53根据可靠度来指定倾斜角，即使在相机保持者或相机保持者所在的坐标系移动的情况下，也能够使用构造物存在的区域，因此能够进行高精度的倾斜角推定。
图17是表示第3实施方式的带可靠度的倾斜校正处理的处理步骤的流程图。该图左侧的括号标记“{”表示该流程的各步骤被分配给哪个构成要素。步骤S41被分配给特征量提取部1，步骤S42被分配给远近两用屏蔽部51，步骤S42～步骤S46、步骤S51～步骤S55被分配给带可靠度的角度推定部52，步骤S56～步骤S58被分配给倾斜角选择部53。
下面，说明各步骤。步骤S41是对帧特征数据的特征提取，利用该特征提取的结果，并行执行计算出近景区域的可靠度S1的处理(步骤S42～步骤S46)和计算出远景区域的可靠度S2的处理(步骤S51～步骤S55)，得到近景区域的可靠度S1和远景区域的可靠度S2，并判断可靠度S1是否比可靠度S2大(步骤S56)，根据判断结果，设定倾斜(步骤S57、步骤S58)。
近景区域的处理是在步骤S42对远景区域设定屏蔽，在S43制作表示近景区域的倾斜的度数分布的直方图。并且，在步骤S44，利用由惯性传感器70推定的角度范围来划分直方图，在步骤S45，把最大度数的角度设为近景区域的倾斜角θ1。并且，在步骤S46，根据最大度数周边的度数的平均/分散来求出可靠度S1。
对远景区域的处理是在步骤S51设定对近景区域的屏蔽，在步骤S52制作远景区域的倾斜的直方图。在步骤S53，利用由惯性传感器70推定的角度范围来划分直方图，在步骤S54，把最大度数的角度设为远景区域的倾斜角θ2。并且，在步骤S55，根据最大度数周边的度数的平均或分散来求出可靠度S2。
在这样得到的可靠度S1、可靠度S2满足可靠度S1＞可靠度S2的关系的情况下(步骤S56：是)，把从近景区域得到的倾斜角θ1用作帧特征数据的倾斜角(步骤S57)。在满足可靠度S2＞可靠度S1的关系的情况下(步骤S56：否)，把从近景区域得到的倾斜角θ2用作帧特征数据的倾斜角(步骤S58)。
根据以上的本实施方式，利用帧间的运动矢量的大小来进行区域的分离，仅将分离后的各区域的图像的特征用于倾斜角检测法，计算出可靠度和倾斜角，通过采用可靠度较高的倾斜角，i)在相机保持者自身移动的情况下，以及ii)相机保持者所在的坐标系移动的情况这两种情况下，也能够动态地选择和检测出从构造物所在的区域得到的倾斜角。
(第4实施方式)
在以上的实施方式中，根据运动量来执行倾斜校正，而在本实施方式中，则进行图像摇动的摇动校正。图像摇动是指摄影系统的运动中比手的抖动大的运动。
此外，摇动校正是通过结合连续帧中的远景区域的坐标来进行远景区域的稳定化的技术。图18(a)是示出作为摇动校正的对象的连续帧的一例的图。构成该连续帧的图像数据是如跟踪在赛马场中奔驰的马那样拍摄的运动图像，但是由于这些是用跟踪马的摄影技巧来拍摄的，因此位于远景区域的垂直柱的位置的位移较大。若再现远景区域的垂直柱的位置对每个帧都不同的运动图像，则由于垂直柱按照每个帧进行变化，所以造成观看者眩晕，即“影像眩晕(simulation sickness)”。
此外，在步行时用摄像机拍摄的情况下，不仅影像倾斜，随着拍摄者自身的运动，拍摄中的摄像机也摇动。因此，所拍摄的影像中被实施了摇动，不利于视听。在考虑到免提摄影技巧的实用化时，也需要考虑到上述影像眩晕，因此实施摇动校正。
这里，根据图18(a)，在帧t-1的图像数据和帧t的图像数据中垂直柱共用地出现，所以若使该垂直柱的坐标相同，则能够固定远景区域。在此，在帧t的图像数据中，在垂直柱中存在(X1，Y1)、(X2，Y2)这两个特征点，帧t-1的图像数据中，垂直柱有(X4，Y4)、(X5，Y5)这两个特征点，在上述情况下，求出旋转矩阵R，如图18(b)所示，该旋转矩阵R用于使帧t-1的图像数据的(X4，Y4)、(X5，Y5)变换为与帧t的图像数据的(X1，Y1)、(X2，Y2)一致。这样，把求出旋转矩阵R称作“摇动量的推定”。若通过该摇动量的推定而求出旋转矩阵R，则通过根据旋转矩阵R来变换构成帧t-1的像素数据的各像素，能够使帧t-1的图像数据和帧t的图像数据中的垂直柱的坐标一致。通过以上处理，能够得到不导致观看者的影像眩晕的连续帧。
图18(c)是实施了摇动校正的帧图像t-1的一例。在该摇动校正的结果中，帧t-1的图像数据中，图像数据中的垂直柱的坐标位于与帧t-1的图像数据相同的位置，因此，尽管在右端部分有空白的部分，但在运动图像再现中不会发生影像眩晕。能够得到以被固定的远景区域为背景被摄体移动的图像数据。并且，在S/N中，S(信号)提高，N(噪声)降低，因此具有S/N(信噪比)变高的效果。
关于摇动校正，在以下的参考文献中有记载，因此，关于详细内容，请参照该参考文献。
“Robust and Real-time Rotation Estimation of CompoundOmnidirectional Sensor(2007IEEE International Conference on Robotics andAutomation Roma，Italy 10-14 April 2007)”
“III MOTION AND MOTION COMPUTATION OF DISTANTFEATURE POINTS”
下面，对摇动校正的原理，简单进行说明。
在推定帧间的摇动量时，检测出帧t和t-1间的相机的运动。为了根据图像信息正确检测出该帧间的摇动量，必须得出在两个帧中共同存在的坐标(图18中的(X1，Y1)、(X2，Y2)、(X4，Y4)、(X5，Y5))。如这些(X1，Y1)、(X2，Y2)、(X4，Y4)、(X5，Y5)那样，在帧图像t-1和帧图像t之间稳定地出现的特征称作“摇动特征(t-1，t)”。此外，把构成摇动特征(t-1，t)的各帧特征数据的一点称作“特征点”。
若从检测出摇动特征(t-1，t)的观点把图像区域分为几个大部分，则为从相机到被摄体之间的距离较近的区域、以及从相机到被摄体之间的距离较远的区域。在从相机到被摄体的距离较远的区域上，帧间的运动变小，所以能够稳定地检测出摇动特征(t-1，t)。相反，在近景区域中，帧间的运动大，所以很难稳定地检测出摇动特征(t-1，t)。
并且，在本实施方式中，对帧图像t-1和帧图像t进行近景区域的分离，并实施屏蔽。图19(a)～(c)是示出通过对近景区域进行屏蔽来得到的摇动特征(t-1，t)的图。图19(a)是对帧图像t-1和帧图像t生成的帧特征数据。图19(b)是表示通过在图19(a)的帧图像t-1、帧图像t中通过屏蔽近景区域而得到的帧特征数据的图。由于对近景区域实施了屏蔽，所以帧图像t-1、帧图像t成为只有垂直柱部分，帧图像t-1和帧图像t之间的对应变得容易。图19(c)示出根据帧图像t-1的帧特征数据、帧图像t的帧特征数据检测到的特征点。由于作为近景区域的赛马部分被屏蔽，所以帧特征数据成为只有垂直柱的部分，能够容易检测到摇动特征(t-1，t)。
成为该近景区域的赛马部分是能够由第1实施方式的屏蔽范围指定部指定的，因此能够在摇动特征(t-1，t)的高效检测中直接应用第1实施方式的运动矢量计算部4、屏蔽范围指定部5和屏蔽部6。
此外，在执行帧间的摇动校正时，通过使与检测到的帧间运动量相反的量作用于帧t来进行校正。
图20(a)、(b)是把没有实施摇动校正的2枚帧图像数据和实施了摇动校正的2枚帧图像数据进行对比来表示的图。在图20(a)中，在帧t-1到帧t之间，大地和垂直柱大幅度摇动，所以很容易导致影像眩晕的发生。相对于此，在图20(b)中，在帧t-1和帧t中，由于大地和垂直柱的位置被固定，因此不会导致观看者的影像眩晕。若把同样的处理实施于在10秒、20秒的时间间隔内拍摄的多个帧图像数据，则能够实现非常易于观看的运动图像的再现。
图21是示出第4实施方式的图像处理装置的内部结构的图。该图是以图3为基础制作的，与该基础的结构相比，不同点在于，特征量提取部1被置换为摇动特征提取部54，角度推定部3、倾斜推定部7被置换为摇动量推定部55、摇动校正部56。对图16的构成要素中的与图3相同的要素使用相同的标记，并省略其说明。
(摇动特征提取部54)
在摇动特征提取部54中，从帧存储器30、40中的图像数据中提取出特征量。在此，作为特征量的一个例子，提取出边缘成分。
(摇动量推定部55)
摇动量推定部55从被实施了屏蔽的帧特征数据中选择特征点，推定帧间的摇动量(＝帧间的相机的运动)。
(摇动校正部56)
在摇动校正部56中，利用由摇动量推定部55推定的摇动量来进行摇动的校正。
图22是摇动校正处理的流程图。在步骤S91中，通过对帧图像t-1、t应用Harris算法，把能够稳定地提取的一定数量的点选择为候补点(在远景区域内成为特征点的候补的点)，并在步骤S92中，把选择的各候补点投影到单位球面(半径＝1)上的坐标，以使得能够抵消视角不同等的影响。
图23是示出被投影到单位球面(半径＝1)上的坐标上的帧图像t-1中的特征量和帧图像t中的特征量的图。如该图所示，在帧图像t-1和帧图像t上的特征量中，存在属于近景区域的特征量和属于远景区域的特征量，在这些特征量中属于远景区域的特征量被投影到单位球面上。可知属于近景区域的特征量没有投影到单位球面上。这是因为对帧特征数据中的近景区域实施了屏蔽。
之后，基于RANSAC法执行旋转矩阵R的计算。
下面，对基于RANSAC法的旋转矩阵R的计算步骤进行说明。在步骤S93中，在帧图像t-1、t中，在被投影到单位球面上的候补点中随机地选择位于被屏蔽的近景区域以外的2点的候补点，来构成步骤S94～步骤S99的循环。
在该循环中，求出表示帧图像t-1、t的各2点(共4点)的关系的旋转矩阵R(步骤S94)，用所求出的旋转矩阵R，使随机选择的帧图像t-1中的2点以外的点旋转(步骤S95)，求出旋转矩阵R，计测该一致度(步骤S97)，判断是否在规定时间内(步骤S98)，若在规定时间以内(步骤S98：是)，则在帧图像t-1、t中，从投影到单位球面上的候补点中，随机选择被屏蔽的近景区域以外的未选择的2个候补点之后(步骤S99)，返回步骤S94。该循环是如上所述对所有的点的组合重复进行随机选择近景区域以外的未选择的2个候补点、并计算旋转矩阵的处理。
若在步骤S98为否，则所选择的2个点的旋转矩阵R不同，因此，从步骤S98转移到步骤S99，在帧图像t-1、t中，从投影到单位球面上的候补点中，随机地选择被实施了屏蔽的近景区域以外的未选择的2点之后，返回步骤S94。
若超过规定时间，则步骤S98成为否，在步骤S100中，从按照2点的候补点的各组合计算的旋转矩阵R中，把具有最大的一致度的旋转矩阵R作为表现帧图像t-1和t间的摇动的关系的旋转矩阵R。并且，在步骤S101中，使用所求得的旋转矩阵R，对帧图像t-1的摇动进行校正。
根据以上的本实施方式，利用帧间的运动矢量的大小来进行近景区域的分离，通过仅把从远景区域计算出的图像的特征用于摇动量检测中，即使是人物等较大地进入图像中的影像，也能够高精度地推定帧间的摇动量，能够根据所推定的摇动量校正摇动。
(第5实施方式)
在以上的实施方式中，在校正参数的检测中使用了运动矢量的标量，但是本实施方式是关于利用运动矢量的方向的改良。即，对构成作为处理对象的帧图像数据的各宏块计算运动矢量，通过从这些宏块中分离出不具有推定为正确的方向的宏块，来确定应实施屏蔽的范围。在此推定为正确的方向是表示帧间的相机的运动的方向，是前面的实施方式中所述的成为摇动推定的结果的方向。
在此，对与前面说明的实施方式(第3实施方式、第4实施方式)相比的本实施方式的优点进行说明。在第3实施方式中，利用运动矢量的大小，把区域分为帧间的运动较大的区域和较小的区域两个，利用构造物存在的区域的特征来推定了倾斜角。但是，若存在有很多运动的物体，则出现各种大小的运动矢量。因此，仅利用运动矢量的大小是不能很好地进行区域的分割。图24(a)是示出构成连续帧的帧t-1的图像数据和帧t的图像数据的图，图24(b)示出从构成帧t的图像数据的各宏块中检测出的运动矢量。图24(c)示出通过仅对运动矢量的标量较大的近景区域进行屏蔽而得到的帧特征数据。
在该帧特征数据中，除了构造物外，还有存在于人物的后方的树木作为特征而出现，因此在该图24(c)的帧特征数据中，该树木部分的特征量表现为噪声，倾斜角的推定精度变低。
在第3实施方式中，若除了帧间的运动矢量的大小以外，能够事先知道表示相机在帧间怎样运动的帧间的运动的方向，则能够从构造物所存在的区域中减少噪声。这是利用构造物不自律性地运动而是向与相机移动的方向相反的方向移动并被相机拍摄到的情况，能够把具有与相机的运动和构造物的运动不对应的运动方向的区域作为不是构造物区域来排除。
在第4实施方式中，推定帧间的摇动量，并进行校正，但是如前所述，该帧间的摇动量相当于帧间的相机的运动量。因此，通过利用该摇动量，对具有图24(b)的运动矢量中与帧间的相机的运动不对应的运动矢量的像素块进行屏蔽，由此能够消除存在于构造物以外的区域的噪声。
图25(a)是把图24(b)中的帧特征数据分离为与摇动量推定结果相同的运动矢量所占的区域以及不同于摇动量推定结果的方向的运动矢量所占的区域的图。
图25(b)的框w1和w2仅示出对各宏块算出的运动矢量中的具有与摇动推定结果对应的方向的运动矢量。若假定这样得到的方向是推定为正确的方向，则通过对不具有这样的方向的宏块实施屏蔽来检测出校正参数，能够除去人物像后方的树木部分的线段。由此能够得到高精度的校正参数。图25(c)是示出用于检测作为校正参数的倾斜角的帧特征数据的图。
以上是与第3实施方式和第4实施方式比较的本实施方式的优点。
图26是表示第5实施方式的图像处理装置的内部结构的图。该图示出把基于图16的内部结构和基于图21的内部结构组合的方式。特征量提取部1、运动矢量检测部4、屏蔽范围指定部5、带可靠度的角度推定部52、倾斜角选择部53、惯性传感器70是基于图16的内部结构。在该组合中，屏蔽部6被置换为屏蔽图案放大部57。屏蔽图案放大部57是本实施方式所特有的构成要素。
此外，摇动特征提取部54、屏蔽部6、摇动量推定部55是基于图21的内部结构。摇动校正部56被置换为摇动校正及倾斜校正部58，该摇动校正及倾斜校正部58是本实施方式特有的构成要素。下面，对本实施方式特有的构成要素(屏蔽图案放大部57、摇动校正及倾斜校正部58)和为了本实施方式的处理而实施了改良的构成要素(带可靠度的角度推定部52、倾斜角选择部53)进行说明。
(屏蔽图案放大部57)
屏蔽图案放大部57根据摇动量推定部55的摇动校正结果，放大由屏蔽范围指定部5指定的屏蔽图案。屏蔽范围指定部5根据运动矢量的大小分离近景区域。屏蔽图案放大部57对照在屏蔽范围指定部5分离的各区域的运动矢量的朝向和由摇动量推定部55得到的相机的运动矢量的朝向，放大屏蔽图案的范围，以包括不与摇动量对应的区域。这样，生成仅将与相机的运动矢量的朝向对应的区域作为对象的屏蔽图案。
(带可靠度的角度推定部52)
带可靠度的角度推定部52的改良点是对由屏蔽图案放大部57生成的屏蔽图案所分离的近景区域和远景区域进行带可靠度的倾斜角推定。
(倾斜角选择部53)
倾斜角选择部53的改良点是把由带可靠度的角度推定部52生成的远景和近景的倾斜角的可靠度进行比较，并把可靠度高的倾斜角选择为正确的倾斜角。此外，在生成倾斜角的区域存在有3个以上的情况下，把所生成的倾斜角中具有最高可靠度的倾斜角选择为正确的倾斜角。
(摇动校正及倾斜校正部58)
摇动校正及倾斜校正部58利用从倾斜角选择部53得到的倾斜角和从摇动量推定部得到的帧间的摇动量，同时校正帧存储器30的帧图像t的倾斜和摇动。作为该校正方法，有在第1实施方式中校正倾斜时所使用的Affine变换。
图27是摇动量推定处理的流程图。在步骤S81中，把变量t初始化为0，并转移到步骤S82、步骤S83的循环。该循环对由变量t指示的各帧特征数据重复步骤S84～步骤S90的处理，变量t的递增是在步骤S90执行。首先，在步骤S84中判断变量t是否为0，若为0，则在步骤S85，从帧特征数据0提取出摇动特征(t-1，t)。若不是0，则在步骤S86，从帧特征数据中提取出摇动特征(t-1，t)，在步骤S87，通过与前一帧合并图像，得到摇动特征(t-1，t)。在步骤S88中，从摇动特征(t-1，t)中排除移动量较大的摇动特征。
在步骤S89中，检查摇动特征(t-1，t)中的未被排除的区域中的特征点间的对应关系，通过计算表示对应关系的旋转矩阵R，得到摇动推定的结果。
图28是示出第5实施方式的屏蔽处理和校正处理的处理步骤的流程图。本流程图中的变量t是指示帧特征数据的控制变量。在步骤S61中，把该变量t初始化为0，并转移到步骤S62～步骤S63的循环。该循环是对各帧特征数据执行步骤S64～步骤S71的处理的循环。步骤S64是指示帧特征数据的变量t是否为0的判断，若t＝0，则在步骤S65，从帧特征数据0提取出摇动特征(t-1，t)。
若变量t不是0，则在步骤S66进行近景区域分离，在步骤S67，生成屏蔽图案，该屏蔽图案包括具有与对摇动特征(t-1，t)进行摇动量推定的结果不同的方向成分的块和对应于近景区域的块。
在步骤S68中，利用包括具有与针对摇动特征(t-1，t)的摇动校正结果不同的方向成分的块和对应于近景区域的块的屏蔽图案，对近景区域进行再分离。
在步骤S69中，对由倾斜传感器确定的近景区域和该近景区域以外的远景区域分别计算可靠度，根据该可靠度，决定从近景区域和远景区域的哪个选择倾斜，并计算出倾斜角θ。
在步骤S69，把角度θ和作为摇动量推定结果的旋转矩阵用作校正参数，来执行倾斜校正和摇动校正。在步骤S71中，把帧特征数据t进行编码并显示。之后，在步骤S72，递增变量t。
如上所能够述，根据本实施方式，能够利用帧间的运动矢量的大小来屏蔽近景区域，并通过利用帧间的摇动量的推定结果来进行屏蔽，能够除去构造物所存在的区域内的噪声。由此，即使是i)人物等较大地进入图像内的影像，ii)树木等的亮度值不均而在帧间存在各种运动的区域的影像，iii)偶尔在存在帧间运动量较小的物体的影像，也能够高精度地推定帧间的倾斜角，根据所推定的倾斜角进行倾斜校正。
(第6实施方式)
第6实施方式是在帧图像数据中出现的被摄体是否处于近景区域的判断中使用测距传感器59的改良。图29是示出第6实施方式的图像处理装置的内部结构的图。该图是以图3为基础制作的，与作为该基础的结构相比，测距传感器59串联连接在屏蔽范围指定部5上，这一点是本实施方式所特有的改良。在图29中，对与图3相同的构成要素使用相同的标记，并省略说明。
图29中的测距传感器59有例如红外线传感器等，从传感器的位置到被摄体的距离为3m～5m左右，在比较近的情况下，能够测量到与该被摄体的距离。通过把该测距传感器安装在相机上，能够知道相机拍摄到图像时的到被摄体的距离较近的区域的信息。如第1实施方式所示，仅通过计测帧间的运动矢量的大小，在由于计测误差或错误对应等原因而不能完全分割的情况下，通过使用测据传感器，也能够可靠地知道作为近景区域的区域。
利用该技术，与由屏蔽范围指定部5分离为运动较大的区域和较小的区域的结果相对照，可知由于计测误差或错误对应等而判断为远景区域的区域是近景区域的情况。因此，能够提高近景和远景区域的分离精度，能够高精度地检测出倾斜角。
(其他变形例)
1、帧特征数据的计算方法
在特征量提取部1中，也可以在进行边缘检测之后，以提高边缘的S/N比为目的实施预处理。作为预处理的例子，可以例举下面的处理。作为在边缘检测前进行的预处理，有通过中值滤波器、低通滤波器等的平滑处理来减少噪声的方法。此外，作为边缘检测后进行的预处理有下述孤立点除去方法，在该孤立点除去方法中，为了除去边缘信息中包含的噪声，作为预处理而对边缘信息进行标记处理，并除去孤立的边缘。以同样的目的，作为预处理，有对边缘信息使用形态滤波器进行开(opening)处理的方法等。
2、角度范围的限制
在限制角度范围时，也可以用似然等来表现传感器的可靠度，将乘以该传感器的似然之后的直方图捕捉为角度的存在概率，把其概率最大的角度推定为从水平倾斜的倾斜角。
根据上述结构，通过以传感器的输出值为基准限定倾斜角存在的范围，能够减小倾斜角的推定范围，提高倾斜角的推定精度。
3、应实施屏蔽的范围
在前面的实施方式中，根据按照每个像素块计算的运动矢量的标量或方向，来指定了帧特征数据全体中应实施屏蔽的范围，但是指定的标准不限于运动矢量的标量或方向。若是基于运动矢量的参数，则当然也能够采用DCT系数或直流成分等其他参数。
4、校正参数的变形
前面的实施方式中，检测出倾斜角或旋转矩阵来作为校正参数，但是若是能够实施某种校正，则也可以检测其他的参数来作为校正参数。例如，也可以检测滤波器系数、亮度变换的参数，来作为校正参数。
5、带可靠度的角度推定的变形
带可靠度的角度推定部52在由远近两用屏蔽部51生成的远景区域和近景区域进行了倾斜角推定，但是也可以仅对远景区域计算出可靠度。
工业实用性
本发明的图像处理装置具有所拍摄的影像的倾斜校正功能，可用作能够稳定进行拍摄的摄像机100等。此外，还能够用于数码相机等。

Claims (16)

1、一种图像处理装置，使用校正参数对帧图像数据进行校正，其特征在于，包括：
生成单元，生成帧特征数据，该帧特征数据表示帧图像数据中的图形的特征；
计算单元，对构成作为处理对象的帧图像数据的各像素块的每一个，计算时间上来自在前的帧图像数据的运动矢量；
范围指定单元，根据对各像素块计算的运动矢量，指定帧特征数据全体中的应实施屏蔽的范围；以及
检测单元，从帧特征数据中的被实施了屏蔽的范围以外的部分中，检测出校正参数。
2、如权利要求1所述的图像处理装置，其特征在于，
应实施上述屏蔽的帧特征数据的范围是与运动矢量中的运动量超过规定阈值的像素块相对应的帧特征数据的一部分，
规定阈值是图像数据中多个块的运动量的平均值。
3、如权利要求2所述的图像处理装置，其特征在于，
上述运动矢量中的运动量超过上述规定阈值的像素块是帧特征数据中的近景区域，
上述范围指定单元根据运动矢量中的运动量，进行把帧特征数据分离为近景区域和远景区域的处理，
应由上述范围指定单元实施屏蔽的范围是近景区域和/或远景区域。
4、如权利要求1所述的图像处理装置，其特征在于，
上述检测单元还进行如下处理：
处理1，对近景区域及远景区域中的被实施了屏蔽的区域以外的区域，制作直方图，在该直方图中，把帧特征数据中存在的角度成分所能够取的角度范围和该角度范围的度数对应起来表示；以及
处理2，根据直方图中的度数的平均或分散，计算出直方图中所示的角度成分的可靠度，
上述可靠度是表示与各角度成分相对应的度数在何种程度上突出的参数，
由上述检测单元检测出的校正参数是在对近景区域及远景区域计算的直方图所示的角度成分中，从所计算出的可靠度最高的角度成分中选择的角度。
5、如权利要求1所述的图像处理装置，其特征在于，
对上述帧图像数据进行的校正是，利用旋转矩阵，把多个帧图像数据中的特征点固定到相同的位置，由此校正拍摄时的摇动的处理；
由上述检测单元检测到的校正参数是表示2个特征点的摇动量的旋转矩阵，该2个特征点存在于帧特征数据中被实施了屏蔽的区域以外的区域。
6、如权利要求5所述的图像处理装置，其特征在于，
上述检测单元在检测校正参数时进行如下处理，从帧特征数据中未被实施屏蔽的范围中，随机地选择一对成为特征点的候补的点，并对每个该候补点对，计算旋转矩阵，并计算使该旋转矩阵作用的情况下的帧图像数据间的一致度，
作为上述校正参数选择的2个特征点是从帧特征数据中未被实施屏蔽的范围选择的候补点对中的、旋转矩阵中的一致度最高的候补点对。
7、如权利要求1所述的图像处理装置，其特征在于，
成为上述处理对象的帧图像数据是由具有倾斜传感器的摄像装置拍摄的，
对上述帧图像数据进行的校正是，通过对作为处理对象的帧图像数据实施旋转变换，来校正拍摄时的摄像装置的倾斜的处理；
上述检测单元还进行如下处理：
处理1，对屏蔽区域以外的区域，制作直方图，在该直方图中，把帧特征数据中存在的角度成分所能够取的角度范围和该角度范围的度数对应起来表示；以及
处理2，从在直方图中出现度数的角度范围中选择属于成为倾斜传感器的输出的角度范围内的角度范围，
上述校正参数是属于所选择的角度范围的角度。
8、如权利要求1所述的图像处理装置，其特征在于，
作为处理对象的帧图像数据是由摄影装置拍摄的，该摄影装置具备能够测量与被摄体之间的距离的传感器，
上述图像处理装置对上述帧图像数据进行的校正是，通过对处理对象实施旋转变换，来修正摄影装置的倾斜的处理；
上述图像处理装置具备判断单元，该判断单元根据来自传感器的输出值，判断构成处理对象的多个像素块的每一个对应于近景还是对应于远景，
帧特征数据中被实施屏蔽的一部分是与被判断为对应于近景的像素块相对应的帧特征数据的一部分。
9、如权利要求1所述的图像处理装置，其特征在于，
帧特征数据中被实施屏蔽的一部分是，与运动矢量中的运动量超过规定阈值的像素块以及具有不同于规定方向成分的方向成分的运动矢量的像素块相对应的部分，
规定方向成分是，构成作为处理对象的帧图像数据的多个像素块中、能够与构成时间上在前拍摄的帧图像数据的像素块取得对应的像素块所具有的方向成分。
10、如权利要求9所述的图像处理装置，其特征在于，
上述范围指定单元进行把运动矢量中的运动量超过规定阈值的像素块作为近景区域进行分离的处理，
上述图像处理装置具备推定单元，该推定单元从构成作为处理对象的帧图像数据的多个像素块中的存在于近景区域的像素块以外的像素块，选择两个特征量，并推定摇动量，该摇动量表示所选择的两个特征点与其最近前的帧图像数据相比变化了多少，
具有规定方向成分的像素块是，根据对存在于近景区域的像素块以外的像素块推定的摇动量，选择能够与构成在时间上在前拍摄的帧图像数据的像素块取得对应的像素块，由此所选择的像素块。
11、如权利要求9所述的图像处理装置，其特征在于，
对上述帧图像数据进行的校正是以下两种处理：
通过对处理对象实施旋转变换，来校正拍摄时的倾斜的处理；以及
通过将连续拍摄的多个帧图像数据中的背景区域固定到相同位置，来校正拍摄时的摇动的处理。
12、如权利要求1所述的图像处理装置，其特征在于，
上述范围指定单元根据运动矢量中的运动量，进行把帧特征数据分离为近景区域和远景区域的处理，
应实施上述屏蔽的帧特征数据的范围是帧特征数据中的近景区域，
对上述帧图像数据进行的校正是，利用旋转矩阵，把共同存在于帧图像间的特征点固定到相同位置，由此来校正拍摄时的摇动的处理；
由上述检测单元检测到的校正参数是表示两个特征点的摇动量的旋转矩阵，该两个特征点存在于帧特征数据中被实施屏蔽的近景区域以外的远景区域。
13、如权利要求1所述的图像处理装置，其特征在于，
上述图像处理装置还具备编码部，该编码部对被实施了利用校正参数的校正之后的帧图像数据进行编码。
14、如权利要求1所述的图像处理装置，其特征在于，
在上述图像处理装置上连接多个帧存储器，
作为处理对象的帧图像数据和时间上在前的帧图像数据被保存在多个帧存储器中。
15、一种图像处理方法，使用校正参数对帧图像数据进行校正，其特征在于，包括：
生成步骤，生成帧特征数据，该帧特征数据表示帧图像数据中的图形的特征；
计算步骤，对构成作为处理对象的帧图像数据的各像素块的每一个，计算时间上来自在前的帧图像数据的运动矢量；
范围指定步骤，根据对各像素块计算的运动矢量，指定帧特征数据全体中的应实施屏蔽的范围；以及
检测步骤，从帧特征数据中的被实施了屏蔽的范围以外的部分中，检测出校正参数。
16、一种程序，使计算机执行使用校正参数对帧图像数据进行校正的处理，其特征在于，使计算机执行如下步骤：
生成步骤，生成帧特征数据，该帧特征数据表示帧图像数据中的图形的特征；
计算步骤，对构成作为处理对象的帧图像数据的各像素块的每一个，计算时间上来自在前的帧图像数据的运动矢量；
范围指定步骤，根据对各像素块计算的运动矢量，指定帧特征数据全体中的应实施屏蔽的范围；以及
检测步骤，从帧特征数据中的被实施了屏蔽的范围以外的部分中，检测出校正参数。
CN2008800005417A 2007-06-28 2008-06-03 图像处理装置、图像处理方法 Expired - Fee Related CN101543054B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP170174/2007 2007-06-28
JP2007170174 2007-06-28
PCT/JP2008/001397 WO2009001510A1 (ja) 2007-06-28 2008-06-03 画像処理装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
CN101543054A true CN101543054A (zh) 2009-09-23
CN101543054B CN101543054B (zh) 2011-12-07

Family

ID=40185338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800005417A Expired - Fee Related CN101543054B (zh) 2007-06-28 2008-06-03 图像处理装置、图像处理方法

Country Status (5)

Country Link
US (1) US8417059B2 (zh)
EP (1) EP2053844B1 (zh)
JP (1) JP4886850B2 (zh)
CN (1) CN101543054B (zh)
WO (1) WO2009001510A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668541A (zh) * 2009-12-22 2012-09-12 苹果公司 具有倾斜或透视校正的图像捕捉设备
CN102957861A (zh) * 2011-08-24 2013-03-06 索尼公司 图像处理设备及其控制方法及程序
CN104704804A (zh) * 2013-01-24 2015-06-10 松下知识产权经营株式会社 摄像装置、检测装置
CN106233710A (zh) * 2014-03-19 2016-12-14 索尼公司 控制针对像素复用摄像头的抖动模糊和运动模糊
CN107667310A (zh) * 2015-06-02 2018-02-06 生命技术公司 用于生成校准结构化照明成像系统和用于俘获结构化照明图像的系统和方法
CN109741286A (zh) * 2019-02-19 2019-05-10 厦门码灵半导体技术有限公司 中值滤波方法、装置、存储介质和电子设备
CN110460769A (zh) * 2019-07-05 2019-11-15 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
CN111263037A (zh) * 2018-11-30 2020-06-09 唯光世股份公司 图像处理装置、拍摄装置、视频播放系统、方法以及程序
CN113311830A (zh) * 2016-06-03 2021-08-27 苏州宝时得电动工具有限公司 自动行走设备及目标区域识别方法

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405727B2 (en) 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8610726B2 (en) 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
JP4687807B2 (ja) * 2009-03-27 2011-05-25 カシオ計算機株式会社 動画記録装置、及び動画像の傾き補正方法、プログラム
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
US9160885B2 (en) 2009-07-02 2015-10-13 Hewlett-Packard Development Company, L.P. Skew detection
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
EP2462537A1 (en) * 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
JP2011053468A (ja) * 2009-09-02 2011-03-17 Sony Corp 映像／文字同時表示装置及び頭部装着型ディスプレイ
US8619128B2 (en) 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8502926B2 (en) 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
JP4964971B2 (ja) * 2010-01-14 2012-07-04 株式会社ナナオ ブロック別動きベクトル演算装置またはその方法
JP5388910B2 (ja) * 2010-03-10 2014-01-15 パナソニック株式会社 画像揺れ補正装置および画像揺れ補正方法
JP5654484B2 (ja) * 2010-06-04 2015-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、集積回路、プログラム
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
EP2582127B1 (en) * 2010-06-11 2018-04-18 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
KR101630286B1 (ko) * 2010-08-09 2016-06-15 한화테크윈 주식회사 전경 및 배경 분리 장치 및 방법
US8497897B2 (en) 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
US8699813B2 (en) * 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
TWI426775B (zh) * 2010-12-17 2014-02-11 Ind Tech Res Inst 攝影機再校正系統及其方法
US8384787B2 (en) * 2011-02-24 2013-02-26 Eastman Kodak Company Method for providing a stabilized video sequence
JP2012227669A (ja) * 2011-04-19 2012-11-15 Sony Corp 情報処理装置と情報処理方法およびプログラム
US8891868B1 (en) * 2011-08-04 2014-11-18 Amazon Technologies, Inc. Recognizing gestures captured by video
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
CN102427505B (zh) * 2011-09-29 2013-11-13 深圳万兴信息科技股份有限公司 一种基于Harris Corner的视频稳像方法及系统
US20130107066A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
US20130107064A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided image stabilization
US9064191B2 (en) 2012-01-26 2015-06-23 Qualcomm Incorporated Lower modifier detection and extraction from devanagari text images to improve OCR performance
US9053361B2 (en) 2012-01-26 2015-06-09 Qualcomm Incorporated Identifying regions of text to merge in a natural image or video frame
JP6108176B2 (ja) 2012-01-31 2017-04-05 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
US8773542B2 (en) * 2012-05-17 2014-07-08 Samsung Electronics Co., Ltd. Apparatus and method for adaptive camera control method based on predicted trajectory
US9262699B2 (en) 2012-07-19 2016-02-16 Qualcomm Incorporated Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR
US9047540B2 (en) 2012-07-19 2015-06-02 Qualcomm Incorporated Trellis based word decoder with reverse pass
US9076242B2 (en) * 2012-07-19 2015-07-07 Qualcomm Incorporated Automatic correction of skew in natural images and video
US9141874B2 (en) 2012-07-19 2015-09-22 Qualcomm Incorporated Feature extraction and use with a probability density function (PDF) divergence metric
US9183458B2 (en) 2012-07-19 2015-11-10 Qualcomm Incorporated Parameter selection and coarse localization of interest regions for MSER processing
US9279983B1 (en) 2012-10-30 2016-03-08 Google Inc. Image cropping
US9569823B2 (en) 2012-12-26 2017-02-14 Sony Corporation Image processing device and method, and program for correcting a blurred moving image
DE102013005658A1 (de) * 2013-04-02 2014-10-02 Docuware Gmbh Erfassung eines dokuments
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
JP2015033108A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8897538B1 (en) * 2013-08-26 2014-11-25 Vertifi Software, LLC Document image capturing and processing
US9230382B2 (en) * 2013-08-26 2016-01-05 Vertifi Software, LLC Document image capturing and processing
EP3053333A4 (en) * 2013-10-04 2017-08-02 RealD Inc. Image mastering systems and methods
US9305214B1 (en) * 2013-10-29 2016-04-05 The United States Of America, As Represented By The Secretary Of The Navy Systems and methods for real-time horizon detection in images
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
JP6338408B2 (ja) * 2014-03-14 2018-06-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6299371B2 (ja) * 2014-04-18 2018-03-28 富士通株式会社 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置
JP6264173B2 (ja) 2014-04-18 2018-01-24 富士通株式会社 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JP6299373B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
JP5843034B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
US9245187B1 (en) * 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection
WO2016017561A1 (ja) * 2014-07-31 2016-02-04 株式会社 日立ハイテクノロジーズ 荷電粒子線装置
EP3001676B1 (en) * 2014-09-25 2016-10-26 Axis AB Method and image processing device for image stabilization of a video stream
US9918008B2 (en) 2015-02-06 2018-03-13 Wipro Limited Method and device for assisting a user to capture images
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames
JP6017005B2 (ja) * 2015-11-04 2016-10-26 キヤノン株式会社 画像検索装置、画像検索方法及びプログラム
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
JP2017126254A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018012366A1 (ja) * 2016-07-13 2018-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法
JP2018022370A (ja) * 2016-08-04 2018-02-08 キヤノン株式会社 アプリケーション実行装置及びその制御方法、並びにプログラム
WO2018199792A1 (en) * 2017-04-26 2018-11-01 Huawei Technologies Co., Ltd Apparatuses and methods for encoding and decoding a panoramic video signal
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
EP3654233A1 (en) * 2018-11-15 2020-05-20 BSB Artificial Intelligence GmbH System and method for identifying an object in water
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
CN111325673B (zh) * 2018-12-14 2023-06-30 瑞昱半导体股份有限公司 影像处理方法与影像处理电路
CN112991255B (zh) * 2019-12-16 2023-11-28 信扬科技(佛山)有限公司 机器人平衡判定装置及机器人平衡判定方法
CN111429380B (zh) * 2020-04-08 2023-11-03 京东科技信息技术有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN113781571A (zh) * 2021-02-09 2021-12-10 北京沃东天骏信息技术有限公司 图像处理方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
EP0765087B1 (en) * 1995-08-29 2003-11-12 Sharp Kabushiki Kaisha Video coding device
US5896176A (en) * 1995-10-27 1999-04-20 Texas Instruments Incorporated Content-based video compression
JPH1021408A (ja) * 1996-07-04 1998-01-23 Canon Inc 画像抽出装置および方法
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6809758B1 (en) * 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
FR2846828B1 (fr) * 2002-10-31 2005-03-11 France Telecom Procede de tatouage d'un signal video, systeme et support de donnees pour la mise en oeuvre de ce procede, procede d'extraction du tatouage d'un signal video, systeme pour la mise en oeuvre de ce procede
JP4140519B2 (ja) 2003-12-22 2008-08-27 富士ゼロックス株式会社 画像処理装置、プログラムおよび記録媒体
JP2006301675A (ja) * 2005-04-15 2006-11-02 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
US20070076982A1 (en) * 2005-09-30 2007-04-05 Petrescu Doina I System and method for video stabilization
GB2431798A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Motion vector selection based on integrity
GB2431800A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolation involving motion vectors and mutiple tap spatial filters.
JP4412323B2 (ja) * 2006-12-28 2010-02-10 株式会社日立製作所 映像処理装置及び映像表示装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717429A (zh) * 2009-12-22 2015-06-17 苹果公司 具有倾斜或透视校正的图像捕捉设备
US9113078B2 (en) 2009-12-22 2015-08-18 Apple Inc. Image capture device having tilt and/or perspective correction
CN102668541A (zh) * 2009-12-22 2012-09-12 苹果公司 具有倾斜或透视校正的图像捕捉设备
US9565364B2 (en) 2009-12-22 2017-02-07 Apple Inc. Image capture device having tilt and/or perspective correction
CN104717429B (zh) * 2009-12-22 2019-05-07 苹果公司 具有倾斜或透视校正的图像捕捉设备
CN102957861A (zh) * 2011-08-24 2013-03-06 索尼公司 图像处理设备及其控制方法及程序
CN102957861B (zh) * 2011-08-24 2018-01-16 索尼公司 图像处理设备及其控制方法及程序
CN104704804B (zh) * 2013-01-24 2018-05-18 松下知识产权经营株式会社 摄像装置、检测装置
CN104704804A (zh) * 2013-01-24 2015-06-10 松下知识产权经营株式会社 摄像装置、检测装置
CN106233710B (zh) * 2014-03-19 2019-06-11 索尼公司 控制与图像关联的抖动模糊和运动模糊的方法、系统和计算机可读介质
CN106233710A (zh) * 2014-03-19 2016-12-14 索尼公司 控制针对像素复用摄像头的抖动模糊和运动模糊
CN107667310A (zh) * 2015-06-02 2018-02-06 生命技术公司 用于生成校准结构化照明成像系统和用于俘获结构化照明图像的系统和方法
CN107667310B (zh) * 2015-06-02 2021-01-01 生命技术公司 荧光成像系统
CN113311830A (zh) * 2016-06-03 2021-08-27 苏州宝时得电动工具有限公司 自动行走设备及目标区域识别方法
CN111263037A (zh) * 2018-11-30 2020-06-09 唯光世股份公司 图像处理装置、拍摄装置、视频播放系统、方法以及程序
CN111263037B (zh) * 2018-11-30 2023-04-18 株式会社理光 图像处理装置、拍摄装置、视频播放系统、方法以及程序
CN109741286A (zh) * 2019-02-19 2019-05-10 厦门码灵半导体技术有限公司 中值滤波方法、装置、存储介质和电子设备
CN110460769A (zh) * 2019-07-05 2019-11-15 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
CN110460769B (zh) * 2019-07-05 2021-08-17 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP2053844B1 (en) 2011-05-18
JPWO2009001510A1 (ja) 2010-08-26
JP4886850B2 (ja) 2012-02-29
WO2009001510A1 (ja) 2008-12-31
EP2053844A4 (en) 2010-02-10
CN101543054B (zh) 2011-12-07
US20090290809A1 (en) 2009-11-26
US8417059B2 (en) 2013-04-09
EP2053844A1 (en) 2009-04-29

Similar Documents

Publication Publication Date Title
CN101543054B (zh) 图像处理装置、图像处理方法
KR102213328B1 (ko) 영상 처리장치, 영상 처리방법 및 프로그램
JP5204785B2 (ja) 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法
US8532420B2 (en) Image processing apparatus, image processing method and storage medium storing image processing program
US9542585B2 (en) Efficient machine-readable object detection and tracking
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
US10096091B2 (en) Image generating method and apparatus
CN102714697B (zh) 图像处理装置、图像处理方法及程序
CN102870403B (zh) 图像处理装置、摄像装置以及图像处理方法
US20100079624A1 (en) Image processing apparatus, image processing method, imaging apparatus
US20150358542A1 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
CN102714695A (zh) 图像处理装置、图像处理方法及程序
KR20130094862A (ko) 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
CN104583902A (zh) 改进的手势的识别
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
US20100208140A1 (en) Image processing apparatus, image processing method and storage medium storing image processing program
CN104508680A (zh) 改善之视讯追踪
WO2013047954A1 (ko) 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
CN102006485A (zh) 图像处理装置及图像处理方法
US20120249823A1 (en) Device having image reconstructing function, method, and storage medium
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
Sánchez et al. Motion smoothing strategies for 2D video stabilization
KR102440041B1 (ko) 맞춤형 객체 검출 모델을 가진 객체 검출 장치
JP2000011134A (ja) 移動量検出装置及びその方法
US20220198683A1 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111207

Termination date: 20130603