CN103460249B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

图像处理装置（400）是将图像的倾斜角度导出的图像处理装置，具备：对图像中的多个像素的各个、计算边缘的角度即边缘角度从而计算与多个像素对应的多个边缘角度的边缘角度计算部（401）；利用多个深度值和多个边缘角度，确定1个以上的利用角度的利用角度确定部（402），上述多个深度值是与多个像素对应的多个值，分别是表示像素的进深的值，上述1个以上的利用角度分别是边缘角度，并且分别是倾斜角度的候补；从1个以上的利用角度导出倾斜角度的倾斜角度导出部（403）。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及将图像的倾斜角度导出的图像处理装置。

背景技术

作为与将图像的倾斜角度导出的图像处理装置有关的技术，有专利文献1所述的技术。

现有技术文献

专利文献

专利文献1：国际公开第2009/001512号

发明概要

发明要解决的问题

但是，存在无法适当地导出图像的倾斜角度的情况。该情况下，难以修正图像的倾斜。

发明内容

因此，本发明提供一种能够适当地将图像的倾斜角度导出的图像处理装置。

解决课题的手段

本发明的一个方式的图像处理装置，将图像的倾斜角度导出，具备：边缘角度计算部，对上述图像中的多个像素的各个，计算边缘的角度即边缘角度，从而计算与上述多个像素对应的多个边缘角度；利用角度确定部，利用多个深度值和上述多个边缘角度，确定1个以上的利用角度，上述多个深度值是与上述多个像素对应的多个值，分别是表示像素的进深的值，上述1个以上的利用角度分别是边缘角度，并且分别是上述倾斜角度的候补；以及倾斜角度导出部，从上述1个以上的利用角度导出上述倾斜角度。

并且，这些概括或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。

发明效果

本发明的图像处理装置能够适当地导出图像的倾斜角度。

附图说明

图1是表示具有进深方向的线段的图像的图。

图2是实施方式1的图像处理装置的结构图。

图3是表示实施方式1的图像处理装置的动作的流程图。

图4A是表示实施方式1的输入图像的图。

图4B是表示实施方式1的边缘的图。

图5是表示实施方式1的边缘强度与边缘角度的图。

图6是实施方式1的与全部像素对应的全部边缘角度的直方图。

图7A是实施方式1的第1深度等级的多个边缘角度的直方图。

图7B是实施方式1的第2深度等级的多个边缘角度的直方图。

图7C是实施方式1的第3深度等级的多个边缘角度的直方图。

图7D是实施方式1的第4深度等级的多个边缘角度的直方图。

图8是表示实施方式1的深度图（depth map）与边缘的图。

图9是实施方式1的变形例的图像处理装置的结构图。

图10是实施方式2的图像处理装置的结构图。

图11是表示实施方式2的图像处理装置的动作的流程图。

图12是实施方式2的与全部像素对应的全部边缘角度的直方图。

图13是表示实施方式2的深度方差值的图。

图14是实施方式3的图像处理装置的结构图。

图15是表示实施方式3的图像处理装置的动作的流程图。

具体实施方式

（作为本发明的基础的知识）

本发明人针对“背景技术”中记载的将图像的倾斜角度导出的图像处理装置，发现了课题的存在。以下具体说明。

近年来，数码照相机及数码摄像机等摄像装置正在小型化和轻量化。这样的摄像装置虽然可以携带，但是在摄像时存在摄像装置倾斜的可能性。由此，摄像所得的图像会向上下左右偏移，或者图像倾斜。

这里，图像向上下左右偏移是指被摄体在图像中向上下左右偏移。图像倾斜是指被摄体在图像中倾斜。即，图像倾斜是指图像中的被摄体的横方向或纵方向与图像的横方向或纵方向之间产生差异。并且，图像的倾斜角度是图像中的被摄体的横方向或纵方向与图像的横方向或纵方向之间的角度。

倾斜的图像令使用者观感不佳。因而，有时通过图像的旋转对图像的倾斜进行修正是有效的。

并且，除了现有的数码照相机及数码摄像机之外，近年来出现了佩戴式摄像机（wearable camera）。例如，佩戴式摄像机始终佩戴在使用者的身体上，对使用者的周边进行摄像。由此，使用者经历的事件始终被记录下来。因此，使用者始终能够确认安全及安心。

另一方面，在佩戴式摄像机错被歪斜佩戴的情况下，或者，在佩戴式摄像机由于使用者在佩戴式摄像机的佩戴过程中移动等而倾斜的情况下，摄像所得的图像也会倾斜。如上所述，倾斜的图像令使用者观感不佳，因此该情况下倾斜修正也同样是有效的。

作为对图像倾斜进行修正的方法，公知有利用从图像得到的信息导出（推定）图像的倾斜角度来修正倾斜的方法（例如专利文献1）。该方法利用了形成图像中所拍摄的建筑物（construction）的线段相对于地面水平或垂直的可能性高的情况。因此，图像所含的线段的角度（图像所含的线段与图像的纵方向或横方向之间的角度）与图像的倾斜角度相对应的可能性高。

因此，可以从图像所含的线段的角度推定图像的倾斜角度。该方法对于图像中拍摄有建筑物的情况特别有效。

并且，除了从图像得到的信息之外，也可以利用从传感器得到的信息。由此导出更正确的倾斜角度。例如，摄像装置具备的传感器能够得到摄像时摄像装置的倾斜角度的范围。范围的大小基于传感器的精度。在所得范围内，从图像所含的线段的角度导出倾斜角度，从而导出更正确的倾斜角度。

例如，将图像的倾斜角度导出的图像处理装置中，首先，利用索贝尔滤波器（Sobel Filter），按图像中的每个像素计算纵方向的边缘强度和横方向的边缘强度。并且，图像处理装置按每个像素而根据纵方向的边缘强度和横方向的边缘强度计算边缘角度。

并且，图像处理装置制作表示与图像内的全部像素相对应的全部边缘角度的分布的直方图。图像处理装置利用在直方图中具有阈值以上的出现频度（频数、像素数）的边缘角度，导出倾斜角度。

在采用传感器的情况下，图像处理装置利用从传感器得到的信息来限定边缘角度的范围。并且，图像处理装置将在所限定的范围内具有最大出现频度的边缘角度作为倾斜角度而导出。

但是，在图像中除了表示水平或垂直的线段之外还存在多个线段。如果表示水平或垂直的多个线段在图像所含的全部线段中占有支配地位则可以正确地导出倾斜角度。但是，如果不表示水平或垂直的多个线段在图像所含的全部线段中占有支配性地位，则无法正确地导出倾斜角度。作为该代表性的例子，有倾斜地拍摄了建筑物的线段的图像。

图1是表示具有进深方向的线段的图像的图。进深方向的线段也称为穿透段（パース）。具体而言，在图1的图像1310中，建筑物存在于从近前侧到远侧。因此，在图像1310中倾斜地表现线段1300。倾斜的线段1300不表示摄像装置的倾斜或图像1310的倾斜。并且，在该倾斜的线段1300在图像1310中占支配地位的情况下，无法适当地导出图像1310的倾斜角度。

在采用传感器的情况下也存在同样的课题。佩戴式摄像机等存在以下情况：由于步行时的冲击等，传感器无法适当地检测佩戴式摄像机的倾斜角度。即，传感器检测的倾斜角度的误差大。因此，难以利用传感器所检测出的倾斜角度将图像的倾斜角度的范围较小地限定。因此，有在用传感器限定的范围内包含进深方向的线段的角度的情况。该情况下，无法适当地导出图像的倾斜角度。

即，在采用传感器的情况下也存在无法适当地导出图像的倾斜角度的情况。

为了解决这样的课题，本发明的一个方式的图像处理装置，将图像的倾斜角度导出，具备：边缘角度计算部，对上述图像中的多个像素的各个，计算边缘的角度即边缘角度，从而计算与上述多个像素对应的多个边缘角度；利用角度确定部，利用多个深度值和上述多个边缘角度，确定1个以上的利用角度，上述多个深度值是与上述多个像素对应的多个值，分别是表示像素的进深的值，上述1个以上的利用角度分别是边缘角度，并且分别是上述倾斜角度的候补；以及倾斜角度导出部，从上述1个以上的利用角度导出上述倾斜角度。

由此，图像处理装置能够利用与多个像素对应的多个深度值、从与多个像素对应的多个边缘角度适当地确定倾斜角度的候补（利用角度）。因此，图像处理装置能够导出适当的倾斜角度。

例如，可以是，上述利用角度确定部，在表示多个深度值的方差程度的深度方差度在规定的深度方差度以下的多个像素所对应的多个边缘角度中，将出现频度在规定的出现频度以上的1个以上的边缘角度确定为上述1个以上的利用角度。

由此，图像处理装置能够在与深度方差度低的多个像素所对应的多个边缘角度中、将出现频度高的边缘角度确定为倾斜角度的候补。

并且，例如也可以是，上述利用角度确定部具备：直方图生成部，通过将上述边缘角度计算部计算出的多个边缘角度的直方图按每个深度等级来生成，来生成多个直方图，上述深度等级表示深度值的大小的程度；以及利用角度确定处理部，将在上述多个直方图中满足规定条件的1个以上的边缘角度确定为上述1个以上的利用角度。

由此，图像处理装置能够利用按每个深度等级生成的直方图确定倾斜角度的候补。

并且，例如可以是，上述利用角度确定处理部，将在上述多个直方图中的任一个中出现频度在规定的出现频度以上的1个以上的边缘角度确定为上述1个以上的利用角度。

由此，图像处理装置将在1个深度等级中出现频度大的边缘角度确定为倾斜角度的候补。在1个深度等级中出现频度大的边缘角度，与进深方向的线段的角度不同的可能性高。因此，图像处理装置能够适当地确定倾斜角度的候补。

并且，例如可以是，上述利用角度确定处理部，将在上述多个直方图中出现频度最大的1个以上的边缘角度确定为上述1个以上的利用角度。

由此，图像处理装置将在按每个深度等级生成的直方图中出现频度大的边缘角度确定为倾斜角度的候补。在直方图按每个深度等级而生成的情况下，与进深方向对应的边缘角度的出现频度由于分散在多个直方图中而减少。因此，图像处理装置能适当地确定倾斜角度的候补。

并且，例如可以是，上述利用角度确定处理部，将在上述多个直方图中的任一个中出现频度为极大值的1个以上的边缘角度确定为上述1个以上的利用角度。

由此，图像处理装置将在按每个深度等级生成的直方图中出现频度为极大值的边缘角度确定为倾斜角度的候补。在直方图按每个深度等级而生成的情况下，与进深方向对应的出现频度减少，具有不构成极大值的可能性。因此，图像处理装置能够适当地确定倾斜角度的候补。

并且，例如可以是，上述利用角度确定部，具备：直方图生成部，生成上述边缘角度计算部计算出的多个边缘角度的直方图；利用角度候补确定处理部，确定多个利用角度候补，该多个利用角度候补是在上述直方图中满足规定条件的多个边缘角度，并且是上述1个以上的利用角度的多个候补；以及利用角度确定处理部，通过按每个利用角度候补取得表示多个深度值的方差程度的深度方差度而取得与上述多个利用角度候补对应的多个深度方差度，基于上述多个深度方差度，从上述多个利用角度候补确定上述1个以上的利用角度。

由此，图像处理装置能够基于深度方差度适当地确定倾斜角度的候补。

并且，例如可以是，上述利用角度确定处理部，将深度方差度在规定的深度方差度以下的1个以上的利用角度候补确定为上述1个以上的利用角度。

由此，图像处理装置能够从与深度方差度小的多个像素对应的多个边缘角度适当地确定倾斜角度的候补。

并且，例如可以是，上述利用角度候补确定处理部，将在上述直方图中出现频度在规定的出现频度以上的多个边缘角度确定为上述多个利用角度候补。

由此，图像处理装置能够利用出现频度大的边缘角度适当地确定倾斜角度的候补。

并且，例如可以是，上述图像处理装置还具备利用上述倾斜角度导出部导出的上述倾斜角度、对上述图像的倾斜进行修正的倾斜修正部。

由此，图像处理装置能够用适当的倾斜角度修正图像的倾斜。

并且，例如可以是，上述倾斜角度导出部，将上述1个以上的利用角度的平均值或上述1个以上的利用角度中的某一个作为上述倾斜角度导出。

由此，图像处理装置在倾斜角度存在多个候补的情况下也能够从多个候补导出倾斜角度。

并且，这些概括或具体的方式，可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序或记录介质的任意组合来实现。

以下，参照附图对实施方式进行具体说明。并且，以下说明的实施方式均表示概括或具体的例子。以下实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等为一例而不限定本发明。并且，在以下实施方式的构成要素中，对于表示最上位概念的独立权利要求没有记载的构成要素，作为任意的构成要素进行说明。

（实施方式1）

图2为表示本实施方式的图像处理装置100的结构的图。

图像处理装置100具备边缘检测部101、边缘角度计算部102、利用角度确定部109、倾斜角度导出部105。并且，利用角度确定部109具备直方图生成部103和利用角度确定处理部104。

图3表示图像处理装置100导出倾斜角度的顺序。以下用图2及图3对倾斜角度的导出流程进行说明。

首先，边缘检测部101检测输入图像的边缘（S101）。边缘检测部101将边缘的信息输入边缘角度计算部102。接着，边缘角度计算部102按每个像素根据边缘的信息来计算边缘的角度即边缘角度（S102）。

接着，由边缘角度计算部102按每个像素计算出的边缘角度的信息、以及每个像素的深度值的信息（深度信息）被输入直方图生成部103。直方图生成部103按每个深度等级生成边缘角度的直方图，由此生成多个直方图（S103）。

深度等级是深度值的等级，与深度值的大小对应。等级也可以置换为刻度、程度、分类、层级或范围等那样的表现。深度值按照深度值的分辨率即深度分辨率而分类为多个深度等级。深度等级也可以与深度值相同。例如，在深度值限于0、1、2及3的某一个的情况下，深度等级可以与深度值同样地处理。

接着，直方图生成部103将每个深度等级的直方图输入利用角度确定处理部104。利用角度确定处理部104按每个直方图确定利用角度（利用边缘角度）（S104）。利用角度是用作倾斜角度的候补的边缘角度。

例如，利用角度确定处理部104在多个直方图的任一个中，将直方图的频数（出现频度）所对应的像素数在阈值以上的边缘角度确定为利用角度。利用角度确定处理部104也可以在多个直方图的任一个中，将峰值的边缘角度确定为利用角度。利用角度确定处理部104也可以基于它们的组合确定利用角度。

接着，利用角度确定处理部104将利用角度的信息输入倾斜角度导出部105。倾斜角度导出部105从利用角度导出倾斜角度（S105）。

以下，用图2～图7D对图像处理装置100的各构成要素以及导出倾斜角度的顺序进行更加具体的说明。

首先，摄像装置等对被摄体进行摄像而生成的图像被输入边缘检测部101。该输入图像可以是通过摄像生成的原图像，也可以是实施了颜色系统的变换处理后的灰度图像等变换后的图像。

接着，边缘检测部101对输入图像的边缘进行检测（S101）。具体而言，例如，边缘检测部101按输入图像每个像素，用索贝尔滤波器计算输入图像的纵方向的边缘强度和输入图像的横方向的边缘强度。像素的纵方向的边缘强度与该像素的值和其上下的像素的值之差的大小成比例。像素的横方向的边缘强度与该像素的值和其左右的像素的值之差的大小成比例。

图4A表示本实施方式的输入图像。图4A示出作为输入图像的图像300。

图4B是表示本实施方式的边缘的图。在图4B，对图像300进行边缘检测而得到的代表性的边缘301～304与图像300重叠显示。

边缘301与横方向的线段对应，由具有应当用于倾斜角度的导出的边缘角度的像素构成。边缘302与纵方向的线段对应，由具有应当用于倾斜角度的导出的边缘角度的像素构成。边缘303以及边缘304由具有不应当用于倾斜角度的导出的边缘角度的像素构成。

边缘303以及边缘304如上所述是与称为穿透段的线段对应的边缘，与建筑物的进深方向对应。

接着，边缘角度计算部102根据边缘检测部101所检测出的边缘，按每个像素计算边缘角度（S102）。图5表示与像素对应的边缘角度θ。边缘检测部101检测出的边缘在各像素中具有纵方向的边缘强度以及横方向的边缘强度。边缘角度计算部102对纵方向的边缘强度和横方向的边缘强度进行合成，能够按每个像素计算边缘角度θ。

这里，通过合成得到的边缘方向，与图像中表现的线段的法线方向对应。并且，边缘角度θ是图像的纵方向与边缘方向之间的角度。并且，该定义为一例，边缘方向可以是沿着图像中表现的线段的方向，边缘角度θ可以是图像的横方向与边缘方向之间的角度。

边缘角度计算部102也可以不在全部的像素中计算边缘角度θ，可以仅在与像素对应的纵方向或横方向的边缘强度比预先设定的阈值大的情况下，计算与该像素对应的边缘角度θ。这基于下述理由。

表示建筑物的边缘与水平方向或垂直方向对应，因此适于倾斜角度的导出。另一方面，表示天空等背景或粗纹理（ローテクスチャ）的边缘不与水平方向或垂直方向对应，因此不适于倾斜角度的导出。即，在倾斜角度的导出中，表示背景或粗纹理的边缘是噪声。因此，图像处理装置100最好在倾斜角度的导出前尽可能除去作为噪声的不需要的边缘的信息。为了该噪声的除去，边缘强度是有用的。

在表示建筑物的边缘中，纵方向的对比度以及横方向的对比度的至少一方较大，因此纵方向的边缘强度以及横方向的边缘强度的至少一方较大。另一方面，在表示背景或粗纹理的边缘中，纵方向以及横方向的对比度较小，因此纵方向以及横方向的边缘强度较小。因此，边缘角度计算部102在与像素对应的边缘强度较小的情况下，可以不计算与该像素对应的边缘角度。

接着，直方图生成部103基于边缘角度计算部102按每个像素计算出的边缘角度、以及每个像素的深度值，按预先设定的每个深度等级来制作表示边缘角度与像素数之间的关系的直方图（S103）。

通常的图像处理装置制作表示与全部像素对应的全部边缘角度的分布的直方图，利用该直方图中具有阈值以上的出现频度的边缘角度导出倾斜角度。图6所示的直方图是通常的图像处理装置基于图像300而制作的直方图，示出与图像300的全部像素对应的全部边缘角度的统计。直方图的纵轴表示的频数为像素数，直方图的横轴表示的层级为边缘角度。

并且，直方图中存在与边缘301的角度对应的峰值501、与边缘302的角度对应的峰值502、与边缘303的角度对应的峰值503、以及与边缘304的角度对应的峰值504。

通常的图像处理装置将直方图所示的具有阈值510以上的像素数的峰值502及峰值504所对应的边缘角度用于倾斜角度的导出。如上所述，与峰值504对应的边缘角度是与穿透段对应的边缘304的角度。因此，与峰值504对应的边缘角度不应当用于倾斜角度的导出。

因此，本实施方式的图像处理装置100的直方图生成部103基于深度值生成直方图。

深度值具体而言是与像素对应的进深的值，表示从摄像位置到与像素对应的被摄体的距离。例如，深度值用0～255的值表示。深度值越小则从摄像位置到被摄体的距离越长，深度值越大则从摄像位置到被摄体的距离越短。即，深度值为0时从摄像位置到被摄体的距离最长。深度值为255时从摄像位置到被摄体的距离最短。

并且，上述的深度值的特性为一例。深度值也可以用0～255以外的值表示。并且，也可以是，深度值越小则从摄像位置到被摄体的距离越短，深度值越大则从摄像位置到被摄体的距离越长。

作为取得深度值的方法，有TOF（Time Of Flight）等主动测距方法以及利用多个图像的对比度的DFF（Depth From Focus）等被动测距方法。取得深度值的方法没有限定，可以采用各种方法。

图7A～图7D示出将0～255的深度值分类为4个深度等级、按每个深度等级生成的直方图。图7A示出在图像300中具有192～255的深度值的多个像素所对应的多个边缘角度的直方图。同样地，图7B与128～191的深度值对应，图7C与64～127的深度值对应，图7D与0～63的深度值对应。

在图7A～图7D的直方图中，横轴的组距（层级间隔）为1度。通常组距（ビン幅：bin range）为1度就足够了。但是，由于图像的噪声量等，在由边缘角度计算部102得到的边缘角度中包含误差。因此，直方图生成部103也可以按2～8度那样以大的组距制作直方图。

在以大的组距制作了直方图的情况下，导出的倾斜角度也与组距相应地变粗。图像处理装置100为了高精度地导出倾斜角度，也可以采用直方图的近似曲线。与近似曲线的峰值对应的边缘角度可以作为用于高精度地导出倾斜角度的候补来使用。

并且，图像处理装置100为了高精度地导出倾斜角度，可以在用大组距的直方图导出粗的倾斜角度后，在导出的粗倾斜角度所示的范围内以小的组距重新制作直方图。由此，图像处理装置100能够高精度地导出倾斜角度。

利用角度确定处理部104按直方图生成部103制作的每个直方图，将具有阈值以上的像素数的边缘角度确定为利用角度（S104）。

图7A～图7D的直方图中显示了与边缘301的角度对应的峰值601、与边缘302的角度对应的峰值602、与边缘303的角度对应的峰值603以及与边缘304的角度对应的峰值604。并且，图7A～图7D的直方图中分别设有阈值610。

在图7A的直方图中，峰值601超过阈值610。因此，与峰值601对应的边缘角度被确定为适于倾斜角度导出的利用角度。在图7B～图7D的直方图中，不存在超过阈值610的峰值。因此，不从图7B～图7D的直方图确定利用角度。由此，应当用于倾斜角度的导出的边缘角度被确定为利用角度。

上述的顺序以应当用于倾斜角度的导出的边缘的深度值（进深）大致固定为基础。相反，穿透段那样的不应当用于倾斜角度的导出的边缘沿着进深方向来表现，因此深度值不固定。该特征用图8进行说明。

图8是将图像300的深度图以及边缘301～304重叠表示的图。深度图是表示每个像素的深度值的数据，视觉地由图像表现。图8的深度图310中，阴影越淡则表示从摄像位置到被摄体的距离越短，阴影越浓则表示从摄像位置到被摄体的距离越长。

应当用于倾斜角度的导出的边缘301在深度图310中仅表现于阴影淡的部分。另一方面，不应当用于倾斜角度的导出的边缘303在深度图310中表现于从阴影淡的部分到阴影浓的部分。

因此，如图7A～图7D所示那样按每个深度等级制作直方图的情况下，应当用于倾斜角度的导出的边缘角度的出现频度集中表现在1个直方图中，不应当用于倾斜角度的导出的边缘角度的出现频度表现在多个直方图中。利用角度确定处理部104通过利用该特征，能够将应当用于倾斜角度的导出的边缘角度而不是不应当用于倾斜角度的导出的边缘角度确定为利用角度。

并且，在2个以上的直方图中具有阈值以上的像素数的边缘角度有可能是与进深方向的线段对应的边缘角度。因此，利用角度确定处理部104也可以将仅在多个直方图中的1个直方图中具有阈值以上的像素数的边缘角度确定为利用角度。

并且，倾斜角度导出部105从所确定的1个以上的利用角度导出倾斜角度（S105）。

倾斜角度导出部105可以将所确定的利用角度直接作为倾斜角度导出，也可以将多个利用角度的平均作为倾斜角度导出。倾斜角度导出部105可以从多个利用角度中将图像的横方向或纵方向上最相近的角度作为倾斜角度导出。并且，在采用传感器的情况下，倾斜角度导出部105可以从多个利用角度中，将基于传感器的信息而指定的范围内的利用角度作为倾斜角度导出。

并且，在输入图像为运动图像的情况下，倾斜角度导出部105可以保持在时间序列中在1帧前导出的倾斜角度，从用当前帧确定的多个利用角度中，将与1帧前导出的倾斜角度最相近的利用角度作为当前帧的倾斜角度导出。

以上，本实施方式的图像处理装置100基于深度值按每个深度等级制作边缘角度的直方图。因此，在图像中含有较多穿透段那样的进深方向的线段的情况下，图像处理装置100也能够确定应当用于倾斜角度的导出的边缘角度。因此，图像处理装置100能够适当地导出图像的倾斜角度。

并且，边缘检测不限于上述的索贝尔滤波器，也可以适用利用纵方向及横方向的对比度的各种方法。

并且，深度值以及深度等级不限于上述。如果提高深度分辨率，则越高就制作越多的直方图。优选的是，深度分辨率为4～16左右。

并且，本实施方式的利用角度确定处理部104，将与峰值601对应的边缘角度确定为应当用于倾斜角度的导出的利用角度。但是，在利用角度的确定中，可以适用其它各种方法。例如，利用角度确定处理部104可以将具有比阈值610大的出现频度的全部边缘角度确定为利用角度，也可以将与直方图的极大值（峰值）对应的边缘角度作为利用角度导出。

并且，利用角度确定处理部104也可以在与极大值对应的多个边缘角度中，仅将具有比预先设定的阈值大的出现频度的边缘角度确定为利用角度。即，可以将在图7A的直方图中与最大峰值601对应的边缘角度确定为利用角度，也可以在与最大峰值601所对应的边缘角度相近的多个边缘角度中，将超过阈值610的全部边缘角度确定为利用角度。

并且，也可以如图9所示的图像处理装置110那样，构成为包含倾斜修正部106。倾斜修正部106基于倾斜角度导出部105导出的倾斜角度，对输入图像的倾斜进行修正。例如，在倾斜的修正中可以采用仿射变换等手法。倾斜的修正也可以不受限制地采用其它各种方法。

并且，也可以追加通过对被摄体进行摄像而生成图像的摄像部作为构成要素。并且，也可以追加对倾斜角度进行检测的传感器作为构成要素。并且，也可以追加生成深度图的深度图生成部作为构成要素。

（实施方式2）

图10为表示本实施方式的图像处理装置的结构的图。在本实施方式中，与实施方式1同样的结构使用相同的符号。

图10所示的图像处理装置200具备边缘检测部101、边缘角度计算部102、利用角度确定部209、倾斜角度导出部105。并且，利用角度确定部209具备直方图生成部203、利用角度候补确定处理部204、利用角度确定处理部205。

图11表示了图像处理装置200导出倾斜角度的顺序。以下，用图10及图11说明倾斜角度的导出流程。

首先，边缘检测部101检测输入图像的边缘（S201）。并且，边缘检测部101将边缘的信息输入边缘角度计算部102。接着，边缘角度计算部102基于边缘按每个像素计算边缘角度（S202）。并且，边缘角度计算部102将计算出的边缘角度的信息输入直方图生成部203。

接着，直方图生成部203制作与图像内的全部像素对应的全部边缘角度的直方图（S203）。并且，直方图生成部203将直方图输入利用角度候补确定处理部204。接着，利用角度候补确定处理部204根据所制作的直方图确定像素数在阈值以上的多个利用角度候补（S204）。并且，利用角度候补确定处理部204将利用角度候补输入利用角度确定处理部205。

接着，利用角度确定处理部205对于所确定的多个利用角度候补的各个，计算深度方差值。深度方差值是与利用角度候补对应的多个像素的多个深度值的方差值。利用角度确定处理部205，将深度方差值在阈值以下的利用角度候补确定为利用角度（S205）。并且，利用角度确定处理部205将所确定的利用角度输入倾斜角度导出部105。最后，倾斜角度导出部105根据所确定的利用角度导出倾斜角度（S206）。

以下，用图10～图13对图像处理装置200的各构成要素以及导出倾斜角度的顺序进行具体说明。

首先，图像处理装置200进行边缘检测（S201）以及边缘角度的计算（S202）。边缘检测（S201）以及边缘角度计算（S202）的顺序与实施方式1相同而省略说明。

接着，直方图生成部203利用边缘角度计算部102计算出的边缘角度，生成与图像内的全部像素对应的全部边缘角度的直方图（S203）。

图12表示直方图生成部203基于图4A所示的图像300而生成的直方图。即，生成与图6所示直方图同样的直方图。图12的直方图中也存在与边缘301的角度对应的峰值501、与边缘302的角度对应的峰值502、与边缘303的角度对应的峰值503以及与边缘304的角度对应的峰值504。

接着，利用角度候补确定处理部204根据直方图生成部203生成的直方图，确定多个利用角度候补（S204）。例如，多个利用角度候补分别是具有超过阈值1100的出现频度的边缘角度，是与极大值对应的边缘角度。具体而言，与峰值501、峰值502、峰值503及峰值504对应的4个边缘角度被确定为利用角度候补。

这里，阈值1100可以预先设定，也可以根据峰值的像素数适宜变更。例如，在如前那样利用角度候补的数量被决定为4的情况下，阈值1100设定为第4高的极大值即峰值503的值。

接着，利用角度确定处理部205对于所确定的多个利用角度候补的各个，计算深度方差值，将深度方差值在阈值以下的利用角度候补确定为利用角度（S205）。深度方差值是表示与同一边缘角度对应的全部像素的全部深度值的方差的值。即，深度方差值越高则表示与同一边缘角度对应的多个像素越具有各种各样的深度值。例如，深度方差值通过一般统计中采用的方差值计算方法进行计算。

图13是表示对所确定的多个利用角度候补的各个计算出的深度方差值的图。深度方差值1201表示基于峰值501的利用角度候补所对应的深度方差值。深度方差值1202表示基于峰值502的利用角度候补所对应的深度方差值。深度方差值1203表示基于峰值503的利用角度候补所对应的深度方差值。深度方差值1204表示基于峰值504的利用角度候补所对应的深度方差值。

并且，阈值1200是用于按照深度方差值从利用角度候补中确定利用角度的阈值，被任意设定。这里，在图13中，深度方差值1201比阈值1200低，因此基于峰值501的利用角度候补被确定为利用角度。由此，应当用于倾斜角度的导出的利用角度被确定。例如，阈值1200也可以是最小的深度方差值。利用角度确定处理部205也可以将与最小的深度方差值对应的利用角度候补确定为利用角度。

上述顺序与实施方式1同样，以应当用于倾斜角度的导出的边缘的深度值（进深）大致固定为基础。相反地，不应当用于倾斜角度的导出的边缘由于沿着进深的方向表现，因此深度值不固定。

即，由于不应当用于倾斜角度的导出的边缘如图8的深度图310所示那样包含各种各样的深度值，因此与该边缘对应的深度方差值高。利用角度确定处理部205通过利用该特征，能够将应当用于倾斜角度的导出的边缘角度而不是不应当用于倾斜角度的导出的边缘角度确定为利用角度。

并且，倾斜角度导出部105根据所确定的1个以上的利用角度导出倾斜角度（S206）。该处理与实施方式1相同而省略说明。

以上，本实施方式的图像处理装置200将深度方差值在阈值以下用作条件，确定应当用于倾斜角度的导出的边缘角度。因此，在图像中包含较多如穿透段那样的进深方向的线段的情况下，图像处理装置200也能够适当地确定应当用于倾斜角度的导出的边缘角度。因此，图像处理装置200能够适当地导出图像的倾斜角度。

具体而言，图像处理装置200确定多个利用角度候补，对多个利用角度候补的各个计算深度方差值，按照深度方差值确定利用角度。将按照深度方差值而确定的利用角度用于倾斜角度的导出，从而降低导出错误的倾斜角度的可能性。

并且，在上述中，利用角度候补确定处理部204仅将与直方图中的极大值即峰值对应的边缘角度确定为利用角度候补。但是，利用角度候补确定处理部204也可以将出现频度超过阈值1100的全部边缘角度确定为利用角度候补。

并且，也可以没有利用角度候补确定处理部204。并且，利用角度确定处理部205可以计算与全部边缘角度的各个对应的深度方差值，基于与全部边缘角度的各个对应的像素数和深度方差值的比率，确定利用角度。

并且，实施方式1记载的变形例也可以适用于实施方式2的图像处理装置200。

（实施方式3）

本实施方式确认性地表示实施方式1及实施方式2所示的特征性结构。

图14是本实施方式的图像处理装置的结构图。图14所示的图像处理装置400导出图像的倾斜角度。并且，图像处理装置400具备边缘角度计算部401、利用角度确定部402以及倾斜角度导出部403。

图15是表示图14所示的图像处理装置400的动作的流程图。首先，边缘角度计算部401在图像中的多个像素的各个中，计算边缘的角度即边缘角度，从而计算与多个像素对应的多个边缘角度（S401）。

接着，利用角度确定部402利用多个深度值和多个边缘角度，确定1个以上的利用角度（S402）。深度值是与像素对应的值，是表示像素的进深的值。利用角度是边缘角度且为倾斜角度的候补。接着，倾斜角度导出部403根据1个以上的利用角度导出倾斜角度（S403）。

例如，在深度方差度在规定的深度方差度以下的多个像素所对应的多个边缘角度中，利用角度确定部402可以将出现频度在规定的出现频度以上的1个以上的边缘角度确定为1个以上的利用角度。并且，作为更加具体的结构及顺序，也可以适用实施方式1或实施方式2的结构及顺序。

这里，深度方差度是多个深度值的方差的程度。深度方差度可以是多个深度值的方差值，也可以是多个深度值的最大值与最小值之差。例如，在多个深度值的方差值在规定的阈值以下的情况下，可以判定为该深度方差度在规定的深度方差度以下。并且，在多个深度值与1个深度等级对应的情况下，可以判定为该多个深度值的深度方差度在规定的深度方差度以下。

并且，规定的出现频度可以基于出现频度的测定结果来确定。例如，规定的出现频度可以是出现频度的最大值，也可以是出现频度的极大值。

如上所述，本实施方式的图像处理装置400，在倾斜角度的导出中利用边缘角度及深度值。因而，导出基于边缘角度及深度值的适当的倾斜角度。

并且，本发明的构成可以作为装置实现，也可以作为将构成该装置的处理部作为步骤而包含的方法实现。并且，本发明的构成可以作为用来使计算机执行这些步骤的程序实现，也可以作为记录了该程序的计算机可读取的CD-ROM等非暂时记录介质实现。

并且，本发明的构成可以作为表示该程序的信息、数据或信号实现。并且，这些程序、信息、数据以及信号可以经由互联网等通信网络分发。

并且，实施方式1的图像处理装置100可以是摄像装置的一部分。实施方式1的变形例的图像处理装置110、实施方式2的图像处理装置200以及实施方式3的图像处理装置400也是同样的。摄像装置具体而言是相机，可以是摄相机也可以是照相机。例如，摄像装置具备通过对被摄体进行摄像而生成图像的摄像部。并且，摄像装置所含的图像处理装置100等也可以对生成的图像的倾斜角度进行导出。

（其它变形例）

本发明的构成不限于上述的多个实施方式。本发明的构成也可以是以下所示方式。

（1）上述的图像处理装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘以及鼠标等构成的计算机系统。

RAM或硬盘单元中存储有计算机程序。微处理器按照计算机程序动作，从而图像处理装置实现其功能。这里，计算机程序为了实现规定的功能，将表示对计算机的指令的命令码组合多个而构成。

（2）构成上述图像处理装置的多个构成要素的一部分或全部可以由1个系统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI是将多个构成部在1个芯片上集成而制造的超多功能LSI，具体而言，是包含微处理器、ROM及RAM等而构成的计算机系统。

RAM中存储有计算机程序。微处理器按照计算机程序动作，从而系统LSI实现其功能。

（3）构成上述图像处理装置的构成要素的一部分或全部可以由对图像处理装置可装卸的IC卡或单体的模块构成。IC卡或模块是由微处理器、ROM及RAM等构成的计算机系统。

IC卡或模块可以包含上述的超多功能LSI。微处理器按照计算机程序动作，从而IC卡或模块实现其功能。IC卡或模块可以具有耐篡改性。

（4）本发明的构成也可以是上述示出的方法。并且，本发明的构成可以是通过计算机实现该方法的计算机程序，也可以是由计算机程序构成的数字信号。

并且，本发明的构成也可以将计算机程序或数字信号记录在计算机可读取的记录介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD（Blu-ray Disc）或半导体存储器等中。并且，本发明的构成也可以是在这些记录介质中记录的数字信号。

并且，本发明的构成也可以是将计算机程序或数字信号经由电气通信线路、无线通信线路、有线通信线路、以互联网为代表的网络或数据广播等进行传输的构成。

并且，本发明的构成也可以是具备微处理器和存储器的计算机系统。并且，存储器可以存储上述的计算机程序，微处理器可以按照计算机程序动作。

并且，程序或数字信号可以在记录介质中记录并进行移送，也可以经由网络等进行移送。并且，本发明的构成也可以通过独立的其它计算机系统实施。

（5）也可以对上述的实施方式及上述的变形例进行组合。

并且，在上述各实施方式中，各构成要素可以由专用的硬件构成，或者也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部对硬盘或半导体存储器等记录介质中记录的软件程序进行读取并执行来实现。这里，实现上述各实施方式的图像处理装置等的软件是如下的程序。

即，该程序使计算机执行对图像的倾斜角度进行导出的图像处理方法，该图像处理方法，在上述图像中的多个像素的各个中，计算边缘的角度即边缘角度，从而计算与上述多个像素对应的多个边缘角度，利用多个深度值和上述多个边缘角度，确定1个以上的利用角度，从上述1个以上的利用角度导出上述倾斜角度，所述多个深度值是与上述多个像素对应的多个值，分别表示像素的进深，所述1个以上的利用角度分别是边缘角度，并且分别是上述倾斜角度的候补。

并且，各构成要素可以是电路。这些电路可以作为整体而构成1个电路，也可以分别是不同的电路。并且，这些电路可以分别是通用的电路或专用的电路。

以上，对于本发明的一个或多个方式的图像处理装置，基于实施方式进行了说明，本发明不限于该实施方式。在不脱离本发明思想的范围内，对本发明实施本领域技术人员想到的各种变形、或者对不同实施方式中的构成要素进行组合而构筑的方式也包含于本发明的一个或多个方式的范围内。

例如，在上述的各实施方式中，也可以将特定的处理部执行的处理由其它处理部执行。并且，可以对多个处理的顺序进行变更，也可以并行执行多个处理。

工业实用性

本发明用于图像的倾斜修正，可以用于相机、扫描仪、复印机、传真装置、打印机、电视接收机、移动电话以及投影仪等。

符号说明

100、110、200、400：图像处理装置

101：边缘检测部

102、401：边缘角度计算部

103、203：直方图生成部

104、205：利用角度确定处理部

105、403：倾斜角度导出部

106：倾斜修正部

109、209、402：利用角度确定部

204：利用角度候补确定处理部

300、1310：图像

301、302、303、304：边缘

310：深度图

501、502、503、504、601、602、603、604：峰值

510、610、1100、1200：阈值

1201、1202、1203、1204：深度方差值

1300：线段

Claims (12)

1.一种图像处理装置，将图像的倾斜角度导出，

具备：

边缘角度计算部，对上述图像中的多个像素的各个，计算边缘的角度即边缘角度，从而计算与上述多个像素对应的多个边缘角度；

利用角度确定部，利用多个深度值和上述多个边缘角度，确定1个以上的利用角度，上述多个深度值是与上述多个像素对应的多个值，分别是表示像素的进深的值，上述1个以上的利用角度分别是边缘角度，并且分别是上述倾斜角度的候补；以及

倾斜角度导出部，从上述1个以上的利用角度导出上述倾斜角度，

上述利用角度确定部，在表示多个深度值的方差程度的深度方差度在规定的深度方差度以下的多个像素所对应的多个边缘角度中，将出现频度在规定的出现频度以上的1个以上的边缘角度确定为上述1个以上的利用角度。

2.如权利要求1所述的图像处理装置，

上述利用角度确定部，具备：

直方图生成部，通过将上述边缘角度计算部计算出的多个边缘角度的直方图按每个深度等级来生成，从而生成多个直方图，上述深度等级表示深度值的大小的程度；以及

利用角度确定处理部，将在上述多个直方图中满足规定条件的1个以上的边缘角度确定为上述1个以上的利用角度。

3.如权利要求2所述的图像处理装置，

上述利用角度确定处理部，将在上述多个直方图中的任一个中出现频度在规定的出现频度以上的1个以上的边缘角度确定为上述1个以上的利用角度。

4.如权利要求2所述的图像处理装置，

上述利用角度确定处理部，将在上述多个直方图中出现频度最大的1个以上的边缘角度确定为上述1个以上的利用角度。

5.如权利要求2所述的图像处理装置，

上述利用角度确定处理部，将在上述多个直方图中的任一个中出现频度为极大值的1个以上的边缘角度确定为上述1个以上的利用角度。

6.如权利要求1所述的图像处理装置，

上述利用角度确定部，具备：

直方图生成部，生成上述边缘角度计算部计算出的多个边缘角度的直方图；

利用角度候补确定处理部，确定多个利用角度候补，该多个利用角度候补是在上述直方图中满足规定条件的多个边缘角度，并且是上述1个以上的利用角度的多个候补；以及

利用角度确定处理部，通过按每个利用角度候补取得表示多个深度值的方差程度的深度方差度而取得与上述多个利用角度候补对应的多个深度方差度，基于上述多个深度方差度，从上述多个利用角度候补确定上述1个以上的利用角度。

7.如权利要求6所述的图像处理装置，

上述利用角度确定处理部，将深度方差度在规定的深度方差度以下的1个以上的利用角度候补确定为上述1个以上的利用角度。

8.如权利要求6所述的图像处理装置，

上述利用角度候补确定处理部，将在上述直方图中出现频度在规定的出现频度以上的多个边缘角度确定为上述多个利用角度候补。

9.如权利要求1所述的图像处理装置，

上述图像处理装置还具备利用上述倾斜角度导出部导出的上述倾斜角度、对上述图像的倾斜进行修正的倾斜修正部。

10.如权利要求1所述的图像处理装置，

上述倾斜角度导出部，将上述1个以上的利用角度的平均值或上述1个以上的利用角度中的某一个作为上述倾斜角度导出。

11.一种图像处理方法，将图像的倾斜角度导出，该图像处理方法具有以下步骤：

对上述图像中的多个像素的各个，计算边缘的角度即边缘角度，从而计算与上述多个像素对应的多个边缘角度，

利用多个深度值和上述多个边缘角度，确定1个以上的利用角度，上述多个深度值是与上述多个像素对应的多个值，分别是表示像素的进深的值，上述1个以上的利用角度分别是边缘角度，并且分别是上述倾斜角度的候补，

从上述1个以上的利用角度导出上述倾斜角度，

在确定上述1个以上的利用角度时，在表示多个深度值的方差程度的深度方差度在规定的深度方差度以下的多个像素所对应的多个边缘角度中，将出现频度在规定的出现频度以上的1个以上的边缘角度确定为上述1个以上的利用角度。

12.一种集成电路，将图像的倾斜角度导出，

具备：

边缘角度计算部，对上述图像中的多个像素的各个，计算边缘的角度即边缘角度，从而计算与上述多个像素对应的多个边缘角度；

利用角度确定部，利用多个深度值和上述多个边缘角度，确定1个以上的利用角度，上述多个深度值是与上述多个像素对应的多个值，分别是表示像素的进深的值，上述1个以上的利用角度分别是边缘角度，并且分别是上述倾斜角度的候补；以及

倾斜角度导出部，从上述1个以上的利用角度导出上述倾斜角度，

上述利用角度确定部，在表示多个深度值的方差程度的深度方差度在规定的深度方差度以下的多个像素所对应的多个边缘角度中，将出现频度在规定的出现频度以上的1个以上的边缘角度确定为上述1个以上的利用角度。