CN105049673B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明公开一种图像处理装置及图像处理方法。图像处理装置包括：处理单元，其被配置为对利用用于广角摄像的摄像单元所拍摄的图像数据执行预定检测处理；确定单元，其被配置为确定是将通过对所拍摄的图像数据执行几何变换所生成的经过几何变换的图像数据传输给接收装置，还是将未经过所述几何变换的所拍摄的图像数据传输给所述接收装置；以及控制单元，其被配置为：在确定要将经过所述几何变换的所拍摄的图像数据传输给所述接收装置的情况下，执行控制用以对在未经过所述几何变换的所拍摄的图像数据上执行的所述预定检测处理的结果执行所述几何变换。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种用于传输对图像数据执行的预定检测处理结果的技术。

背景技术

已知有一种与利用对正常视角进行摄像的摄像装置的摄像相比，利用诸如鱼眼透镜(fish-eye lens)及全方向镜等广范围摄像装置对广范围进行摄像的方法。由这种广范围摄像装置拍摄的图像(广范围图像)的特征在于其有效部分是圆形的。此外，广范围图像的特征在于：根据广范围摄像装置与被摄体间的位置关系，图像中的被摄体图像会变形，并且被摄体的方向(例如从脚到头的方向)会依据在图像中的位置而不同。

此外，已知从图像中检测并识别物体、人体、面部等。另外，已知在对广范围图像进行校正后识别物体以对广范围图像采用物体识别技术。日本特开第2012-141972号公报讨论了这样一种技术：即在从广范围图像中检测到物体时，对广范围图像执行展开(用于对诸如鱼眼透镜等广角透镜引起的几何变形进行校正的处理)。此外，日本特开第2013-9050号公报讨论了这样一种技术：即从广范围图像中检测运动物体，并对检测到运动物体的区域执行展开(dewarping，反扭曲)，然后检测人像和面部。

在上述处理的结果与图像一起被传输给接收装置的情况下，由接收装置接收的图像与对图像执行的处理的结果可能相互不对应。更具体地，在接收装置(监视装置)向广范围摄像装置请求广范围图像的情况下，广范围摄像装置可能将广范围图像和对广范围图像的展开图像执行的检测处理的结果传输给接收装置。在此情况下，接收装置所接收的图像和检测处理的结果相互不对应。

此外，在接收装置对广范围摄像装置请求展开图像的情况下，广范围摄像装置可能将展开图像和对广范围图像执行的检测处理的结果传输给接收装置。另外，在这种情况下，接收装置所接收的图像与检测处理的结果相互不对应。

发明内容

根据本发明的一方面，图像处理装置包括：请求获取单元，用于从外部装置中获取图像获取请求；处理单元，其被配置为对利用用于广角摄像的摄像单元所获取拍摄的图像数据执行预定检测处理；确定单元，其被配置为根据图像获取请求中是否包含执行展开的信息，确定是将通过对所拍摄的图像数据执行几何变换所生成的经过几何变换的图像数据传输给接收装置，还是将未经过所述几何变换的所述拍摄的图像数据传输给所述接收装置；以及控制单元，其被配置为：在确定要将经过所述几何变换的所述拍摄的图像数据传输给所述接收装置的情况下，执行控制用以对在未经过所述几何变换的所拍摄的图像数据上执行的所述预定检测处理的结果执行几何变换。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据示例性实施例的广范围摄像装置的结构的框图。

图2是例示坐标对应表的示例的图。

图3是例示关于运动物体的信息的变换的示例的图。

图4是例示根据示例性实施例的广范围摄像装置的操作的流程图。

图5是例示根据示例性实施例的广范围摄像装置的结构的框图。

图6是例示根据示例性实施例的广范围摄像装置的结构的框图。

图7是例示图像处理的示例的图。

具体实施方式

在以下的描述中，将参照附图详细描述本发明的示例性实施例。以下将要描述的根据示例性实施例的结构仅是示例，本发明并不限于所例示的结构。

以下将描述根据第一示例性实施例的图像处理装置。主要针对以下示例来描述本示例性实施例：在该示例中，图像处理装置是包括鱼眼透镜的广范围摄像装置，并且执行用于从广范围图像中检测运动物体和人体的处理以及执行用于追踪运动物体和人体以随后传输图像数据(下文称为“图像”)和处理结果的处理。然而，图像处理装置不必一定要包括摄像单元，并可以被配置为从广范围摄像装置中获得广范围图像。

图1是例示作为根据本发明示例性实施例的示例的图像处理装置的结构的框图。图像处理装置包括图像获取单元101、请求获取单元102、展开单元103、运动物体处理单元104、人体处理单元105、识别结果变换单元106以及传输单元107。

图像获取单元101以预定时间间隔顺次从包括鱼眼透镜的摄像单元(未例示)中获取图像(下文中称为“输入图像”)，并将输入图像提供给展开单元103、运动物体处理单元104及传输单元107。根据本示例性实施例的输入图像是广范围图像，并且是以使其摄像区域接近于圆形形状的方式而成形的圆形图像。运动物体处理单元104对还未被展开单元103执行展开的输入图像执行运动物体检测与追踪处理(运动物体处理)。人体处理单元105对被展开单元103执行了展开的输入图像执行人体检测与追踪处理(人体处理)。

请求获取单元102从外部装置(未例示)中获取图像获取请求。图像获取请求能够包括执行展开的指令和展开类型。当在图像获取请求中包括执行展开的指令的情况下，请求获取单元102向展开单元103通知展开指令和展开类型，并且也向识别结果变换单元106通知对运动物体处理的结果与人体处理的结果进行变换的指令(变换指令A)和展开类型。

当在图像获取请求中未包括执行展开的指令的情况下，请求获取单元102向识别结果变换单元106通知对人体处理的结果进行变换的指令(变换指令B)。此外，请求获取单元102向传输单元107通知从外部装置获取的图像获取请求。

外部装置(接收装置)是用于显示图像和检测/识别处理的结果的显示装置，和/或用于存储图像的记录装置。然而，外部装置并不限于上述装置，也可以是从图像处理装置接收图像与检测/识别处理的结果中的至少一个的装置。

在展开单元103从请求获取单元102处接收到执行展开的指令的情况下，展开单元103根据指定的展开类型对输入图像执行展开，以生成作为输入图像的展开图像的图像(下文称为“展开图像A”)。更具体地，展开单元103对输入图像的图像数据执行预定几何变换，从而生成展开图像A的图像数据，在该图像数据中，由于鱼眼透镜而引起的几何变形被校正。在输入图像中，被摄体(例如人像)的方向(例如从脚到头的方向)会依据在图像中的位置而有所不同，但是通过这种预定几何变换来校正取决于位置的被摄体方向的不同变换。根据本示例性实施例，展开类型的示例包括三种类型，即完全全景展开、局部全景展开以及局部分段展开(partial segmenting dewarping)。

通过将输入图像(广范围图像)分成上、下半圆形图像这两个图像并通过对各个半圆形图像执行用于校正由于鱼眼透镜而引起的几何变形的处理(几何变换)而实现完全全景展开。通过将输入图像分成上、下半圆形图像这两个图像并通过对半圆形图像中的任一个执行用于校正由于鱼眼透镜而引起的几何变形的处理而实现局部全景展开。通过对输入图像中的任意矩形区域执行用于校正由于鱼眼透镜而引起的几何变形的处理而实现分段展开。通过参照先前存储的坐标对应表，根据本示例性实施例的图像处理装置能够实现上述展开(完全全景展开、局部全景展开以及分段展开)。

图2是例示坐标对应表的示例的图。例如，在圆形图像(输入图像)被变换成完全全景展开图像、原点被设置在包含作为内接圆的广范围图像的矩形图像的左上顶点的情况下，圆形图像中的点(100，20)对应于完全全景展开图像中的点(120，10)。另一方面，在局部全景展开图像被变换成圆形图像的情况下，局部全景展开图像中的点(60，8)对应于圆形图像中的点(100，20)。通过这种方式，展开单元103参照坐标对应表来变换图像。此外，展开单元103利用坐标对应表而生成由人体处理单元105在用于检测人体的处理中以及用于识别人体的处理中所使用的展开图像(下文称为“展开图像B”)。

展开图像B是通过以下方式校正由于鱼眼透镜所引起的几何变形而生成的图像，在该方式中，校正人体被摄体的方向(从脚到头的方向)以便从图像的下面延伸到图像的上面。换句话说，展开单元103通过对输入图像的图像数据执行与用于生成要被传输给外部装置(接收装置)的展开图像A的预定几何变换不同的第二预定几何变换从而生成人体检测图像数据(展开图像B)。然后，展开单元103将从第二预定几何变换中获取的已变换图像数据提供给人体处理单元105。

根据本示例性实施例，已描述作为展开类型的完全全景展开、局部全景展开及分段展开这三种类型的展开。然而，展开类型并不限于上述类型。此外，用于生成人体检测中要使用的展开图像B(人体检测图像)的方法并不限于上述方法。例如，可以通过根据应当被检测的人体的特征生成检测处理所期望的图像而获取展开图像B。

此外，用于生成展开图像A(要被传输的展开图像)的展开与用于生成展开图像B(用于人体检测的展开图像)的展开可以是相同的展开。此外，用于生成展开图像的方法并不限于包括参照先前存储的坐标对应表的方法。例如，另一个可能的方法是包括每次展开图像时执行诸如几何变换等变换计算的方法。

运动物体处理单元104从输入图像中检测运动物体，并执行用于追踪所检测到的运动物体的处理。运动物体处理单元104利用背景减除技术而检测运动物体，该技术生成背景模块并通过比较输入图像与背景模块来检测运动物体。运动物体处理单元104对未被展开单元103执行展开的输入图像执行运动物体检测和追踪处理。关于根据本示例性实施例的运动物体的信息包括运动物体的中心坐标、围绕运动物体的外接矩形的坐标以及输入图像中运动物体的区域的面积。运动物体的中心坐标和围绕运动物体的外接矩形的坐标被用来显示显示图像中的运动物体的中心点和外接形状，并且在图像中显示运动物体的区域的面积以允许观看者确认运动物体的尺寸。然而，关于运动物体的信息并不限于上述信息。此外，可以在接收装置侧上显示运动物体的中心坐标、外接矩形以及面积的一部分。

此外，用于检测运动物体的方法并不限于背景减除技术，可以是任何从输入图像中检测运动物体的方法，例如帧间差分法和基于运动向量的运动物体检测法。此外，追踪运动物体是用于基于颜色特征和图像中运动物体间的位置关系而将从输入图像中检测到的运动物体相互关联的处理。运动物体处理单元104提供用于识别从输入图像中检测到的运动物体的身份证明(ID)。此外，运动物体处理单元104将与提供给从之前的输入图像中检测到的运动物体的ID相同的ID提供给在从输入图像中检测到的运动物体中的、与从之前的输入图像中检测到的运动物体通过追踪处理而相关联的运动物体。从运动物体处理单元104输出的处理结果将被称为运动物体处理结果A。

人体处理单元105从展开图像B中检测人体，并执行用于追踪所检测的人体的处理。人体处理单元105利用图案匹配处理检测人体。更具体地，人体处理单元105通过比较人体检测图像与先前存储的人体的图案图像来检测人体。人体检测图像是通过展开单元103执行几何变换而生成的已变换图像数据。关于人体的信息包括人体的中心坐标、围绕人体的外接矩形的坐标以及展开图像B中人体的可信度。人体的中心坐标和围绕人体的外接矩形的坐标被用来显示图像中人体的中心点和外接形状，并且在图像中显示可信度以允许观看者确认所检测到的人体在多大程度上看起来像人物。然而，关于人体的信息并不限于上述信息。此外，可以在接收装置侧上显示人体的中心点、外接形状及可信度的一部分。用于检测人体的方法并不限于利用图案匹配处理的方法。

此外，追踪人体是用于基于颜色特征和图像之间人体的位置关系而将从人体检测图像中检测到的人体相互关联的处理。人体处理单元105提供用于识别从人体检测图像中检测到的人体的ID。此外，人体处理单元105将与提供给从之前的人体检测图像中检测到的人体的ID相同的ID提供给在从人体检测图像中检测到的人体中的与从之前的人体检测图像中检测到的人体通过追踪处理而相关联的人体。从人体处理单元105输出的处理结果将被称为人体处理结果A。

识别结果变换单元106根据来自请求获取单元102处获取的指令、利用坐标变换表而执行用于对从运动物体处理单元104和人体处理单元105输出的处理结果(运动物体处理结果A和人体处理结果A)进行变换的处理。更具体地，在图像处理装置从接收装置处接收了包括执行展开的指令的图像获取请求的情况下，将变换指令A输入到识别结果变换单元106中。然后，在识别结果变换单元106获取变换指令A的情况下，识别结果变换单元106根据展开类型而将输入图像中的运动物体的中心坐标、围绕运动物体的外接矩形的坐标以及运动物体的区域的面积变换成展开图像A中的运动物体的中心坐标、运动物体周围的外接矩形的坐标以及运动物体的区域的面积。换句话说，在从外部装置(接收装置)获取了展开图像的请求的情况下，识别结果变换单元106根据预定几何变换对在输入图像上执行的检测处理的结果(例如运动物体的坐标值)执行变换。这种变换使得在输入图像上执行的检测处理的结果(运动物体的坐标值)与在展开图像A上执行的检测处理的结果(运动物体的坐标值)相对应。

从输入图像中检测到的围绕运动物体的外接矩形(矩形形状)在展开图像A中被变形为大致梯形形状。根据本示例性实施例的识别结果变换单元106设置外接矩形形状以便基于大致梯形形状的顶点而完整地包含大致梯形形状，并将该外接矩形形状作为展开图像A中围绕运动物体的外接矩形。从识别结果变换单元106所执行的变换中生成的处理结果将被称为运动物体处理结果B。

此外，在识别结果变换单元106获取变换指令A的情况下，识别结果变换单元106根据展开类型而将展开图像B(人体检测图像)中的人体的中心坐标和围绕人体的外接矩形的坐标变换成展开图像A中的人体的中心坐标和围绕人体的外接矩形的坐标。换句话说，在从外部装置(接收装置)获取用于展开图像的请求的情况下，识别结果变换单元106根据几何变换而对在展开图像B(人体检测图像)上执行的检测处理的结果(例如人体的坐标值)执行变换。这种变换是用于促使展开图像B(人体检测图像)中的坐标值与展开图像A(要被传输给接收装置的图像)中的坐标值相对应的变换。这种变换使得在展开图像B上执行的检测处理的结果(人体的坐标值)与在展开图像A上执行的检测处理的结果(人体的坐标值)相对应。

从展开图像B中检测到的围绕人体的外接矩形(矩形形状)在展开图像A中被变形为大致梯形形状。根据本示例性实施例的识别结果变换单元106设置外接矩形形状以便基于大致梯形形状的顶点而完整地包含大致梯形形状，并将该外接矩形形状作为展开图像A中围绕人体的外接矩形。从识别结果变换单元106所执行的变换中生成的处理结果将被称为人体处理结果B。

图3是例示关于从对输入图像执行的运动物体处理中获取的运动物体的信息被变换成关于通过完全全景展开而展开的展开图像A中的运动物体的信息的示例的图。输入图像201是原点被设置在其内包含有作为内切圆的圆形区域的矩形的左上顶点的图像。运动物体区域204、205及206各自是在输入图像201中描画运动物体的中心坐标和围绕运动物体的外接矩形的坐标的结果。展开图像A 207是通过沿分割线203将输入图像201分成两个半圆、对各个半圆执行用于对几何变形进行校正的处理、并垂直合成所分割的图像而生成的图像。展开图像A207是原点设置在左上顶点处的图像。

运动物体区域208是将输入图像201中的运动物体区域204的中心坐标和运动物体区域204的外接矩形的坐标变换成展开图像A207中的中心坐标和外接矩形的坐标、并对这些坐标进行描画的结果。此外，由运动物体区域208内的虚线表示的大致梯形区域是将输入图像201中的运动物体区域204进行变换的结果。类似地，运动物体区域205与运动物体区域209对应，运动物体区域206与运动物体区域210对应。

此外，在识别结果变换单元106获取变换指令B的情况下，识别结果变换单元106根据用于生成展开图像B的展开类型而将展开图像B中的人体的中心坐标和围绕人体的外接矩形的坐标变换成输入图像中的人体的中心坐标和围绕人体的外接矩形的坐标。换句话说，在从外部装置(接收装置)获取用于输入图像的请求的情况下，识别结果变换单元106执行用于促使在展开图像B上所执行的检测处理的结果(例如人像的中心坐标值)与输入图像相对应的变换(将展开图像B中人像的坐标值变换成输入图像中人像的坐标值)。从这种变换中生成的处理结果将被称为人体处理结果C。

传输单元107根据从请求获取单元102处接收到的图像获取请求而将图像、运动物体处理的结果以及人体处理的结果输出给外部装置。当在由图像处理装置从外部装置(接收装置)获取的图像获取请求中未包括执行展开的指令的情况下，传输单元107将输入图像、运动物体处理结果A以及人体处理结果C输出给外部装置。另一方面，当在图像获取请求中包括执行展开的指令的情况下，传输单元107将展开图像A、运动物体处理结果B以及人体处理结果B输出给外部装置。

以下将参照图4中例示的流程图描述根据本示例性实施例的图像处理装置的操作。根据本示例性实施例的图像处理装置包括未例示的中央处理单元(CPU)，并能执行用于实现图4中例示的处理的程序。换句话说，根据本示例性实施例的图像处理装置也包括执行程序所需要的存储器。然而，根据本示例性实施例的图像处理装置可以被配置为使得图4中例示的各处理由专用硬件来执行。此外，根据本示例性实施例的图像处理装置在检测到开始摄像的指令后开始图4中例示的处理。在图像处理装置和包括鱼眼透镜的摄像装置是分离的装置的情况下，在开始用于从摄像装置获取图像的处理的同时，图像处理装置开始图4中例示的处理。然而，开始图4中例示的处理的定时(timing)并不限于上述定时。

在步骤S101中，图像获取单元101获取图像(输入图像)。根据本示例性实施例的输入图像是利用鱼眼透镜所拍摄的广范围图像，并且是具有圆形形状的圆形图像。输入图像是未经过预定几何变换处理的图像，该预定几何变换用于校正由鱼眼透镜引起的几何变形变换。此外，在步骤S101中，请求获取单元102从外部装置(接收装置)处接收图像获取请求。在请求获取单元102接收到图像获取请求之后，处理推进至步骤S102。

在步骤S102中，当在从请求获取单元102提供的图像获取请求中包括执行展开的指令的情况下，展开单元103生成展开图像A。此外，无论执行展开的指令是否被包括在图像获取请求中，展开单元103都生成展开图像B(人体检测图像)。在生成展开图像后，处理推进至步骤S103。

在步骤S103中，运动物体处理单元104执行用于从输入图像中检测运动物体的处理和用于追踪运动物体的处理。可以与步骤S102中展开单元103执行的展开并行地执行步骤S103中运动物体处理单元104的用于检测运动物体的处理和用于追踪运动物体的处理。在完成了用于检测运动物体的处理之后，处理推进至步骤S104。运动物体处理单元104对未被展开单元103执行展开的输入图像执行用于检测运动物体的处理和用于追踪运动物体的处理。

在步骤S104中，人体处理单元105执行用于从展开图像B(人体检测图像)中检测人体的处理和用于追踪人体的处理。可以与步骤S103的处理并行地执行步骤S104的处理。在人体处理单元105完成用于检测人体的处理和用于追踪人体的处理后，处理推进至步骤S105。

在步骤S105中，根据从请求获取单元102获取的图像获取请求，识别结果变换单元106执行用于对运动物体处理单元104所执行的处理和人体处理单元105所执行的处理的结果进行变换的处理。更具体地，当在图像获取请求中包括执行展开的指令的情况下，识别结果变换单元106执行用于对运动物体处理单元104所执行的处理和人体处理单元105所执行的处理的结果进行变换的处理。人体处理单元105执行的处理的结果(例如人体的中心坐标)是对展开图像B(人体检测图像)执行的处理的结果。因此，识别结果变换单元106执行变换处理，从而与展开图像B对应的处理结果变为与展开图像A对应的处理结果。在展开图像A和展开图像B相同的情况下，即使在图像获取请求中包括执行展开的指令，识别结果变换单元106也不变换由人体处理单元105执行的处理的结果。

另一方面，当在图像获取请求中未包括执行展开的指令的情况下，识别结果变换单元106不执行用于对运动物体处理单元104所执行的处理的结果进行变换的处理，而执行用于对人体处理单元105所执行的处理的结果进行变换的处理。如下文将要详细描述的，本示例性实施例被配置为使图像处理装置将坐标变换表传输给外部装置，且外部装置执行变换处理，而不是图像处理装置变换处理结果。换句话说，在被预定几何变换所处理的图像(展开图像A)与未被预定几何变换处理的图像(圆形图像)之间，图像处理装置将展开图像A传输给外部装置的情况下，识别结果变换单元106根据对运动物体检测和人体检测的结果的预定几何变换而执行用于执行变换的控制。

当在图像获取请求中包括执行展开的指令的情况下，识别结果变换单元106所执行的用于对运动物体处理单元104执行的处理的结果进行变换的处理是用于将对输入图像执行的处理的结果(例如运动物体的中心坐标)变换成与展开图像A对应的处理结果的变换处理。此外，当在图像获取请求中包括执行展开的指令的情况下，识别结果变换单元106所执行的用于对人体处理单元105执行的处理的结果进行变换的处理是用于将对展开图像B(人体检测图像)执行的处理的结果(例如人体的中心坐标)变换成与展开图像A对应的处理结果的变换处理。此外，当在图像获取请求中未包括执行展开的指令的情况下，识别结果变换单元106所执行的用于对人体处理单元105执行的处理的结果进行变换的处理是用于将对展开图像B执行的处理的结果变换成与输入图像对应的处理结果的变换处理。

通过参照预先准备的坐标变换表(坐标变换信息)，识别结果变换单元106能执行上述变换处理。在识别结果变换单元106完成变换处理后，处理推进至步骤S106。

在步骤S106中，传输单元107将图像和处理结果输出给作为图像获取请求的传输源的外部装置(接收装置)。更具体地，当在图像获取请求中包括执行展开的指令的情况下，传输单元107将展开图像A、运动物体处理结果B及人体处理结果B传输给外部装置。另一方面，当在图像获取请求中未包括执行展开的指令的情况下，传输单元107将输入图像、运动物体处理结果A及人体处理结果C传输给外部装置。在传输单元107完成传输处理之后，处理推进至步骤S107。图像处理装置能够一次针对一个帧执行上述各个处理，也能够一次针对多个帧执行上述各个步骤。

然后，在步骤S107中，图像处理装置确定是否要继续处理。在图像处理装置继续处理的情况下(步骤S107中为“否”)，那么处理返回至步骤S101的处理。另一方面，在图像处理装置确定结束处理的情况下(步骤S107中为“是”)，那么图像处理装置就结束图4中例示的处理。

根据本示例性实施例的图像处理装置能够从多个外部装置中获取图像获取请求。在图像处理装置从多个外部装置处接收相互不同的图像获取请求的情况下，图像处理装置根据各个图像获取请求而将图像和处理结果传输给各自的外部装置。此外，根据本示例性实施例，对运动物体处理和人体处理进行了描述，但是处理并不限于这些种类的处理。例如，图像处理装置能够执行用于检测、识别及追踪面部和诸如车辆和飞机等特定物体的处理。在此情况下，展开单元103通过执行识别处理所期望的展开而生成展开图像B。

此外，在接收到图像获取请求时，根据本示例性实施例的图像处理装置输出图像以及输出为了与该图像对应而变换的运动物体处理结果和人体处理结果。然而，图像处理装置可以输出未被变换的运动物体处理结果和人体处理结果。例如，在接收到包含执行展开的指令的图像获取请求(获取展开图像的请求)的情况下，图像处理装置也能输出展开图像A、运动物体处理结果A与运动物体处理结果B、人体处理结果B与人体处理结果C。此外，在接收到不包含执行展开的指令的图像获取请求(获取圆形图像的请求)的情况下，图像处理装置也能输出输入图像(圆形图像)、运动物体处理结果A以及人体处理结果C。

此外，根据本示例性实施例，在接收到图像获取请求时，图像处理装置既输出运动物体处理结果也输出人体处理结果。然而，图像处理装置可以仅输出以上处理结果中的任何一种。此外，根据本示例性实施例，已假定图像处理装置执行了图像处理装置对图像获取请求作出应答的请求型的操作而对图像处理装置进行了描述。然而，图像处理装置的操作并不限于请求型的操作。图像处理装置可以执行推进型(push-type)操作，在该操作中，预设特定的传输目的地，并且图像处理装置传输图像、运动物体处理结果及人体处理结果。图像处理装置的操作并不限于任何特定的传输方法。

如上文所述，图像处理装置根据图像获取请求来变换运动物体处理结果和人体处理结果以输出所变换的处理结果，从而外部装置能有效地获取图像以及与该图像对应的处理结果。

上文主要针对以下示例描述了本示例性实施例：在该示例中，根据执行展开的指令是否包括在来自外部装置的图像获取请求中，图像处理装置变换处理结果以传输所变换的处理结果。然而，可以在例如外部装置侧变换处理结果。

图5是例示在外部装置侧对处理结果进行变换的情况下，图像处理装置的结构的示例的框图。在图5中，单元101至105与图1中例示的各单元类似，因此将省略对这些单元的描述。然而，运动物体处理单元104和人体处理单元105将处理的结果传输给传输单元301。

根据从请求获取单元102处接收的图像获取请求，传输单元301将图像、运动物体处理的结果、人体处理的结果及坐标变换表(坐标变换信息)输出给外部装置。更具体地，当在来自外部装置的图像获取请求中包括执行展开的指令的情况下，传输单元301将展开图像A、运动物体处理结果A、人体处理结果A及坐标变换表传输给外部装置。然后，外部装置显示从图像处理装置获取的展开图像A，并利用坐标变换表分别将运动物体处理结果A和人体处理结果A变换成运动物体处理结果B和人体处理结果B。因此，外部装置能够与展开图像A一起显示所变换的处理结果。

此外，例如图像处理装置可以被配置为：无论在图像获取请求中是否包括执行展开的指令，都将输入图像(圆形图像)传输给外部装置。在此情况下，通过使用坐标变换表变换从图像处理装置获取的圆形图像，外部装置能够获取展开图像A。

这种配置允许外部装置有效地获取图像及与该图像对应的处理结果。此外，根据上述配置，在外部装置获取了圆形图像之后需要获取展开图像A的情况下，外部装置能在其内生成展开图像A，而不用重新将图像获取请求传输给图像处理装置。

以下将主要针对与第一示例性实施例的不同之处来描述本发明的第二示例性实施例。根据本示例性实施例，将描述执行用于将诸如雪和雨等下落物从广范围图像中去除的图像处理的图像处理装置。

图6是例示根据本示例性实施例的图像处理装置的结构的框图。在图6中，单元101至103和107与第一实施例中类似，因此将省略对这些单元的描述。然而，传输单元107根据从请求获取单元102接收的图像获取请求而输出圆形图像或展开图像。

图像处理单元401执行用于改善由于降雨或降雪而具有不良能见度的区域的图像质量的处理。例如，图像处理单元401在图7例示的展开图像501中执行用于改善由于降雪的影响而具有不良能见度的区域502的图像质量的处理。更具体地，图像处理单元401从通过对输入图像(圆形图像)执行预定几何变换而生成的图像(展开图像501)中检测预定物体(雪或雨)，并执行用于去除预定物体的处理。预定几何变换是用于校正由于鱼眼透镜引起的几何变形的变换。可以通过例如参照图2中例示的坐标对应表而实现该变换。

通过基于例如关于从展开图像501中检测到的物体的尺寸、数量、颜色、运动速度、运动方向等信息而定位雨或雪的区域、并通过对所定位区域采用诸如平滑滤波处理等滤波处理，根据本示例性实施例的图像处理装置401能够改善图像质量。然而，用于改善图像质量的处理并不限于上述处理。

图像合成单元402对已被图像处理单元401改善了图像质量的区域再次进行几何变换，并将再变换的区域合成到输入图像(圆形图像)中。更具体地，图像合成单元402对去除了预定物体(雪或雨)的图像执行预定几何变换(用于从输入图像获取展开图像的几何变换)的逆几何变换。然后，传输单元107在逆几何变换后将图像传输给外部装置。

例如，根据本示例性实施例的图像处理装置通过在图7例示的圆形图像503中对区域504执行预定几何变换从而生成与展开图像501中区域502对应的展开图像，并对区域502执行用于改善图像质量的处理。然后，通过对被用于改善图像质量的处理所处理过的区域502执行预定几何变换的逆几何变换，图像处理装置的图像合成单元402将区域502返回至区域504的形状，并将该区域504合成到圆形图像503中。因此，能够获取改善了图像质量的圆形图像。几何变换的方法与第一示例性实施例中采用的方法类似。

如本示例性实施例中那样，在执行用于改善图像质量的特定处理(例如用于去除降雪的处理)的情况下，对圆形图像执行几何变换是有效的。这是因为，圆形图像中的每片雪或每滴雨的运动方向都会有很大的不同，但通过几何变换能够减小运动方向上的不同。然后，在图像处理单元401采用了用于改善图像质量的处理之后，通过对展开图像再次执行几何变换，图像合成单元402能够毫无问题地将改善后的区域合成到圆形图像中。

以下将参照图4描述根据本示例性实施例的图像处理装置的操作。在步骤S101中，图像获取单元101获取输入图像，并且请求获取单元102也获取图像获取请求。在步骤S102中，展开单元103执行用于展开输入图像的处理。然后，在步骤S103中，图像处理单元401对展开图像执行用于改善图像质量的处理(例如，用于去除雪或雨的处理)。更具体地，图像处理单元401检测雪或雨，并执行用于去除检测到的雪或雨的处理。在本示例性实施例中没有执行步骤S104，但是本示例性实施例可以被配置为执行步骤S104。

在步骤S105中，在执行展开的指令未被包括在来自外部装置的图像获取请求中的情况下，图像合成单元402通过对被用于改善图像质量的处理所处理过的展开图像执行逆几何变换处理来生成圆形图像。另一方面，在执行展开的指令被包括在来自外部装置的图像获取请求中的情况下，图像合成单元402不执行逆几何变换处理。在步骤S106中，传输单元107根据来自外部装置的图像获取请求而将图像传输给外部装置。

根据本示例性实施例的配置，接收装置能获取到图像及与该图像对应的处理结果的恰当的组合。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (11)

1.一种图像处理装置，所述图像处理装置包括：

请求获取单元，用于从外部装置中获取图像获取请求；

处理单元，其被配置为对利用用于广角摄像的摄像单元所获取的拍摄的图像数据执行人体检测处理；

确定单元，其被配置为根据图像获取请求中是否包含执行展开的信息，确定是将通过对所述拍摄的图像数据执行几何变换所生成的经过几何变换的图像数据传输给接收装置，还是将未经过所述几何变换的所述拍摄的图像数据传输给所述接收装置；以及

控制单元，其被配置为：在确定单元确定要将经过所述几何变换的所述拍摄的图像数据传输给所述接收装置的情况下，执行控制用以对在未经过所述几何变换的所述拍摄的图像数据上所执行的所述人体检测处理的结果执行所述几何变换。

2.根据权利要求1所述的图像处理装置，其中，作为控制，所述控制单元被配置为基于所述几何变换的参数来执行用于对所述人体检测处理的结果中所包括的位置信息进行变换的变换处理。

3.根据权利要求1所述的图像处理装置，其中，作为控制，所述控制单元被配置为执行用于将变换参数传输给所述接收装置的传输处理，所述变换参数可被所述接收装置用来对所述人体检测处理的结果中所包括的位置信息进行变换。

4.根据权利要求1所述的图像处理装置，其中，所述处理单元被配置为通过执行所述人体检测处理来获取表示运动物体的位置、所述运动物体的面积以及围绕所述运动物体的外接矩形中的至少一个的运动物体信息，以及，

其中，所述控制单元被配置为在将所述经过几何变换的图像数据传输给所述接收装置的情况下，执行控制用以将所述运动物体信息变换成与所述经过几何变换的图像数据相对应的运动物体信息。

5.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

人体检测单元，其被配置为通过对所述经过几何变换的图像数据执行用于检测所述人体的处理，获取表示人体的位置、所述人体的面积以及围绕所述人体的外接矩形中的至少一个的人体信息，以及

其中，所述控制单元被配置为在将未经过所述几何变换的图像数据传输给所述接收装置的情况下，执行控制用以将所述人体信息变换成与未经过所述几何变换的图像数据相对应的人体信息。

6.根据权利要求5所述的图像处理装置，其中，作为控制，所述控制单元被配置为对人体检测单元所获取的所述人体信息执行与所述几何变换的逆变换相对应的变换处理。

7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

去除单元，其被配置为从所述经过几何变换的图像数据中检测人体对象，并执行用于从所述图像数据中去除所述人体对象的去除处理，

其中，所述控制单元被配置为在将未经过所述几何变换的图像数据传输给所述接收装置的情况下，对已被所述去除单元去除了所述人体对象的图像数据执行与所述几何变换的逆变换相对应的变换处理，并且将由与所述逆变换相对应的变换处理处理过的图像数据传输给所述接收装置。

8.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

第二处理单元，其被配置为对未经过所述几何变换的图像数据执行第二检测处理，

其中，所述控制单元被配置为在将未经过所述几何变换的图像数据传输给所述接收装置的情况下，执行控制用以对在未经过所述几何变换的图像数据上所执行的所述第二检测处理的结果执行与所述几何变换的逆变换相对应的变换。

9.一种图像处理方法，所述方法包括：

从外部装置中获取图像获取请求；

对利用用于广角摄像的摄像单元所获取的拍摄的图像数据执行人体检测处理；

根据图像获取请求中是否包含执行展开的信息，确定是将通过对所述拍摄的图像数据执行几何变换所生成的经过几何变换的图像数据传输给接收装置，还是将未经过所述几何变换的所述拍摄的图像数据传输给所述接收装置；以及

在确定要将经过所述几何变换的所述拍摄的图像数据传输给所述接收装置的情况下，执行控制用以对在未经过所述几何变换的所述拍摄的图像数据上所执行的所述人体检测处理的结果执行所述几何变换。

10.根据权利要求9所述的图像处理方法，其中，作为控制，基于所述几何变换的参数而执行用于对所述人体检测处理的结果中包括的位置信息进行变换的变换处理。

11.根据权利要求9所述的图像处理方法，其中，作为控制，执行用于将变换参数传输给所述接收装置的传输处理，所述变换参数被所述接收装置用来对所述人体检测处理的结果中所包括的位置信息进行变换。