CN105282456A - 图像处理方法和图像处理装置 - Google Patents

Abstract

一种图像处理方法和图像处理装置。该图像处理装置对从图像拾取设备所提供的图像数据执行图像识别处理，如模式匹配或轮廓检测，并且将图像识别处理的历史数据存储在外部存储装置中。在此情况下，从根据对输入图像数据执行的图像识别处理所确定的提取区域提取图像，并且把提取图像存储在外部存储设备中作为历史数据。此外，外部存储设备中录入的历史数据可以包括通过使用有损压缩对经历由图像处理装置所执行的图像处理的整个图像数据进行压缩所获得的压缩图像。

Description

图像处理方法和图像处理装置

技术领域

本发明各方面总体上涉及一种用于对输入图像执行图像处理并且存储关于与图像处理关联的图像的数据的图像处理方法以及一种图像处理装置。

背景技术

通过对图像拾取装置(如数码相机)所捕获的图像所执行的图像处理来执行测量所捕获的对象的位置和阶段、检测特定部分或整个构件、检查表面状态、质量检查等的图像处理装置已经得以广泛地使用。

这种图像处理装置可以包括存储(累计或录入)图像数据的存储设备。作为存储设备，使用外部存储设备，如固定或可拆卸HDD(硬盘驱动器)或SSD(固态驱动器)。这种包括记录图像数据的存储设备的图像处理装置可以每次执行图像处理就记录待处理的图像数据或图像处理中所生成的图像数据。

这种图像处理装置可能无法获得对特定图像所执行的图像处理的期望结果，相应地，图像处理装置可能需要分析原因并且调整图像处理中所使用的处理参数。在此情况下，如果图像数据记录(录入)在存储设备中，则容易对图像处理的内容执行检查。具体地说，录入与图像处理关联的图像数据对于在困难之时分析原因以及预防性维护是有用的，此外，对于在调整处理参数之时估计并且考虑有效性是有用的。

然而，近年来，关于数码相机等所捕获的图像的数据具有每份数据大量信息，相应地，存储图像数据需要大存储容量。在关于与图像处理关联的图像的数据待存储达长时间段或关于与图像处理关联的大量图像的数据待存储的情况下，例如，需要具有庞大容量的存储设备，因此，存储设备的成本增加。此外，随着发送到存储设备的图像数据量变大，数据通信的负载增加，相应地，数据通信速度可能负面影响到系统的处理速度。

为了解决该问题，已经提出一种用于仅切掉(提取)图像数据的部分区域并且将该部分区域存储在存储设备中从而减少待存储在存储设备中的图像数据量的方法(例如，参见日本专利公开No.2004-333446)。在日本专利公开No.2004-333446中，待经历图像处理的对象的安装位置是预先固定的，而且待检查的区域被提取并且存储在存储设备中。例如，在同时检查多个对象的图像处理中，可能一次捕获包括多个完整对象的范围。具体地说，在日本专利公开No.2004-333446中所描述的配置在此情况下预先限制了图像处理所需的检查区域，并且使得存储设备仅存储该区域，从而待存储的数据量得以减少。

在日本专利公开No.2004-333446中所描述的配置中，对象的安装位置是预先固定的，根据位置预先确定的区域中的图像数据存储在存储设备中。因此，对于可能无法预先精确地设置对象的安装位置的应用，设置待经历图像处理的大图像区域(并且相应地，待存储在存储设备中的大图像区域)。在此情况下，录入图像数据需要大存储区域。例如，虽然对象相对于整个所捕获的图像足够小，但对象可能在检查中移动，并且可能无法停止移动。在此情况下，需要设置待经历图像处理以及图像数据的录入的大图像区域，相应地，存储图像数据所需的区域不必要地增大。

此外，为了减少存储数据所需的区域，压缩图像数据可以存储在存储设备中。例如，已经使用各种图像数据压缩方法，包括使用离散余弦变换的有损压缩方法(如JPEG)以及使用小波变换等的有损压缩方法(如JPEG2000)。当采用该有损压缩方法时，取决于图像质量参数的设置而获得大压缩率，相应地，用于在存储设备中录入的区域可以显著减小。然而，可能的是，当图像数据的尺寸很大时，或当与待处理的图像数据对应的图像的数量很大时，系统的吞吐量由于图像压缩处理而降级。

此外，在上述有损压缩方法中，虽然存储图像数据所需的区域可以有效地减小，但一旦图像数据受压缩，就可能无法从压缩图像数据再现在压缩之前的原始图像数据。此外，甚至当显示或打印出压缩图像时，可能无法再现在压缩之前图像数据中所包括的像素的亮度信息和色彩信息。相应地，甚至当对通过有损压缩方法所压缩的图像数据执行图像处理时，不一定获得当对已经历压缩的图像数据执行图像处理时所获得的处理结果。

因此，对于改变并且考虑与目标图像处理关联的参数，使用压缩图像是不恰当的。甚至当对尚未受压缩的图像数据以及已经历有损压缩的图像数据相似地执行图像处理以获得模式匹配的匹配位置、检测到轮廓的位置、以及区域的提取区块等时，极可能获得不同的处理结果。此外，另一方面，虽然可以通过以特定有损压缩方法来适当地设置压缩处理的参数而抑制图像质量的降级，但如果对图像质量赋优先级，则可能无法获得减少数据量的期望效果。虽然已经使用不使得图像质量降级的无损压缩方法，但通常，当使用该无损压缩方法时，并未获得与有损压缩方法同样适当的压缩率。

为了解决上述问题，当将要提取并且存储待经历图像处理的图像数据时，使得能够根据图像处理的内容来动态确定图像数据的提取位置并且减少当存储待经历图像处理的图像数据时待存储的数据量。甚至当每次输入图像数据时对象的位置就改变时，在保持图像处理的结果的再现性的同时，可以在更小的区域中存储图像数据。

发明内容

本发明一方面提供一种图像处理方法，包括：通过控制设备对输入图像数据执行图像处理；通过控制设备根据对输入图像数据执行的图像处理的内容来确定从输入图像数据提取的提取图像的提取区域；以及通过控制设备从输入图像数据的所确定的提取区域提取所述提取图像，并且将提取图像存储为图像处理的历史数据。

从参照附图的示例性实施例的以下描述，本发明的其它特征将变得清楚。

根据本公开，当执行图像处理(如图像识别处理)并且将与图像处理关联的图像数据存储为历史数据时，存储从整个图像提取的提取图像。因此，可以显著地减少待存储在存储单元(如存储历史数据的外部存储装置)中的数据的量。此外，由于根据图像处理的运行内容来确定图像提取区域，因此确保图像处理的运行所需(或足够)的提取图像的尺寸。相应地，可以容易地并且可靠地执行图像处理的验证和再现或图像处理的控制。

附图说明

图1A是示出根据第一实施例的待经历图像处理的整个图像数据的示图，图1B至图1F是示出根据第一实施例的执行提取的图像处理的示图，图1G和图1H是示出根据第一实施例的提取图像数据的示图。

图2是示出根据第一实施例的图像数据提取区域确定处理的流程图。

图3A至图3D是示出根据第一实施例的数据量的减少的效果的示图，其中，图3A和图3C是示出待处理的图像数据的示图，图3B和图3D是示出提取图像数据的示图。

图4A是示出根据第二实施例的待经历图像处理的整个图像数据的示图，图4B至图4F是示出根据第二实施例的执行提取的图像处理的示图，以及图4G和图4H是示出根据第二实施例的提取图像数据的示图。

图5是示出根据第二实施例的图像数据提取区域确定处理的流程图。

图6是示出根据第二实施例的图像数据提取处理的数据流的示图。

图7是示出采用示例性图像处理方法的图像处理装置的配置的框图。

图8是示出在机器人装置中采用图7的图像处理装置的情况下的机器人系统的完整配置的示图。

具体实施方式

下文中将参照附图来详细描述实施例。

图7是示出能够执行本公开的图像处理的图像处理装置901的配置的示图。图7的图像处理装置901包括由显示图像的阴极射线管或液晶显示屏(面板)所构成的显示设备911以及包括键盘、鼠标、触摸板、输入指令控制器和用于输入各种操作的手势输入设备的操作输入设备912。显示设备911和操作输入设备912主要充当用户接口。

图像处理装置901还包括图像拾取设备902(如数字静态相机)，充当图像数据输入单元。图像拾取设备902包括照明设备903，如卤素照明或发光二极管照明。

此外，由外部存储设备(如HDD或SSD)所构成的外部存储装置904连接到图像处理装置901。通过网络等(或所谓的“NAS设备”)连接的服务器中所部署的外部存储设备可以构成外部存储装置904。外部存储装置904用于存储或记录(录入)与对以下示例性实施例中所描述的输入图像数据所执行的图像处理关联的历史数据。以下所描述的处理过程所提取的提取图像数据(以及第二实施例中所描述的整个已压缩输入图像数据)被记录在外部存储装置904中，作为与对输入图像数据所执行的图像处理关联的历史数据。

此外，外部控制器905通过网络、缆线等连接到图像处理装置901。例如，图8的示例中的机器人控制装置构成外部控制器905。外部控制器905将控制指令发送到图像处理装置901，并且从图像处理装置901接收处理结果。

上述各单元通过连接到图像处理装置901中的内部总线的接口52彼此连接。根据对于与上述各个单元通信适当的标准来配置接口52。例如，取决于连接目标，接口52由网络接口、USB(通用串行总线)接口以及串行通信接口构成。

图像处理装置901包括计算单元51，计算单元51包括被配置为通用微处理器的CPU(中央处理单元)元件以及操作为图像处理处理器的GPU(图形处理单元)并且充当作为图像处理的主要设备的控制设备。计算单元51通过图像处理装置901中的内部总线(数据总线、地址总线、其它控制线路等)连接到图7中的左侧上所示的存储单元53。存储单元53包括非易失性存储器设备(如ROM(只读存储器)、RAM(随机存取存储器)或E(E)PROM)以及外部存储装置(如HDD、SSD(未示出)或外部存储装置904)中的文件区域、虚拟存储区域等。

存储单元53中所包括的处理数据存储区域532由存储单元53中所包括的RAM区域、外部存储装置904的文件区域和虚拟存储区域等构成。处理数据临时存储在处理数据存储区域532中，此外，图像处理的设置参数等存储在处理数据存储区域532中。此外，例如，当图像数据录入在外部存储装置904中时，处理数据存储区域532用作外部存储装置904的数据缓存。

此外，用于实施该实施例的图像处理的图像处理程序531被存储在存储单元53中。

图像处理程序531响应于操作输入设备912所执行的各个操作来改变图像处理的设置并且运行图像处理。此外，改变的内容可以存储在处理数据存储区域532中，并且从处理数据存储区域532被删除。

例如，图像处理程序531包括实现以下功能的软件。首先，图像处理5311是实现以下所描述的图像处理的图像处理程序531的主体部分。图像处理库5312供图像处理5311使用。例如，图像处理库5312被实现在存储单元53中作为静态链接库或动态链接库。响应于由操作输入设备912等所执行的各个操作来执行确定图像处理程序531的操作的图像处理设置5314。

此外，图像处理程序531包括实现以下功能的I/O(输入/输出)例程。具体地说，所述例程包括控制外部设备5313、生成存储数据5315、接收用于操作输入设备912的指令5316、包括计算单元51的RAM区域和缓存区域的临时存储5319、以及生成显示屏幕5310。上述功能被实现于存储单元53中作为应用(实用)程序和被配置为静态链接库或动态链接库的子例程。

图像处理装置901可以运行图像处理程序531，以使得例如通过控制图像拾取设备902和照明设备903并且通过使用图像处理装置901的计算单元51来运行图像处理。此外，图像处理装置901可以使用操作输入设备912来接受用户的操作，并且可以接收外部控制器905所发出的指令。响应于操作或指令，计算单元51可以调用图像处理程序531和库的函数，执行各个计算处理，并且将图像处理的结果发送到外部控制器905。此外，图像处理装置901可以在外部存储装置904中累计(录入)图像处理的结果。在此，执行下述图像切割(提取)处理。此外，预先在程序中所存储的屏幕配置以及图像处理的结果可以彼此组合作为待显示在显示设备911中的屏幕。

图7所示的图像处理装置901以及图7的右侧上所示的块可以被包括于图8所示的系统中，例如，作为工业机器人的视觉系统的图像处理单元。图8中省略显示设备911和操作输入设备912。

图8所示的机器人系统包括传送对象(工作)906的传送装置907以及组装、处理并且传送对象906的机器人臂908。在图8所示的机器人系统中，外部控制器905充当机器人控制装置，其控制机器人臂908以及由传送装置907所执行的整个传送处理。

在图8中，外部控制器905用于对要由机器人臂908运行的操作的内容进行编程。此外，在机器人臂908的在线操作中，外部控制器905根据预先编程的内容来控制机器人臂908的位置和姿势，并且使得机器人臂908对于对象906执行预定组装、处理、传送等。外部控制器905可以将测量指令发送到图像处理装置901，并且从图像处理装置901接收处理结果。外部控制器905进一步控制根据由图像处理装置901所执行的图像处理的结果而操作的机器人臂908的操作。

在该机器人系统中，图像处理装置901被用在视觉系统中的所谓的闭环控制中。具体地说，例如，图像处理装置901例如对由图像拾取设备902所捕获的图像执行下述图像识别处理，以使得检测机器人臂908的特定部分的位置和姿势或对象906的位置和姿势。然后，外部控制器905根据通过图像处理所检测到的机器人臂908或对象906的位置和姿势来控制机器人臂908的操作。

如上所述，在机器人系统中，在图像处理装置901用于控制视觉系统的情况下，优选地稍后验证机器人臂908的特定操作、以及确定机器人臂908的特定操作的图像处理装置901的图像处理的过程和控制参数。为了启用验证，图像处理装置901已经处理的图像数据(以及与图像数据关联的关联数据，如目录数据)被存储(录入)在外部存储装置904中作为历史数据909。

在该实施例中，每次图像处理装置901执行图像处理就录入在外部存储装置904中的历史数据909至少包括通过下述提取处理从已经受图像处理装置901所执行的图像处理的图像数据切割掉(提取)的提取图像9091。提取图像9091与具有未压缩的浓度和未压缩的亮度值的数字图像数据相对应。

此外，在下述第二实施例中，外部存储装置904中所录入的历史数据909与提取图像9091相关联，并且还包括通过压缩已经历图像处理装置901所执行的图像处理的整个图像数据所获得的压缩图像9092。通过例如实现高压缩率的有损压缩方法来压缩压缩图像9092。

如下所述，例如，根据对于检测机器人臂908或对象906的位置和姿势所执行的图像处理的预定对象和内容来确定提取图像9091的位置和尺寸。据此，可以录入(仅)具有对于稍后验证图像处理(或图像处理所控制的机器人操作)必要并且充分的位置和尺寸的图像。

下文中，将参照图1至图6描述通过上述配置所执行的图像处理，具体地说，每次图像处理装置901执行图像处理时，根据作为历史数据909录入在外部存储装置904中的提取图像9091所执行的提取处理。

图1A至图1H是示出整个输入图像数据和提取图像数据存储处理中所提取的图像数据的示图。图2是示出基于图像处理的内容而执行的提取区域确定处理的流程图。注意，为了阐述理解，下文中描述图像处理的区域、处理内容和处理结果的有限具体示例。然而，优选地通过提供允许用户任意设置这些项的设置屏幕或通过使用另一图像处理算法来动态地确定待经历图像处理的区域的位置、尺寸、形状，处理内容，在处理中所使用的参数等。

在图1中，标号101表示通过图像拾取设备902所捕获的并且待经历由图像处理装置901执行的图像处理的整个图像数据，标号102和103是待经历图像处理的处理区域。标号104和105是整个图像数据101中的所捕获的对象。根据待经历图像处理的对象的尺寸、所估计的移动范围、检查目标部分等来单独地设置处理区域102和103的尺寸和范围。可以通过使用下述显示设备911和操作输入设备912、图像识别处理方法等所执行的设置操作来设置处理区域102和103。

例如，对象104和105与图8中所示的机器人系统中的对象(或工作)906或对象906的特定部分对应。图像处理装置901所执行的图像处理的目的在于检测整个图像数据101中的对象104和105的位置、姿势(阶段)、尺寸等。

为了实现该目的，图像处理装置901执行图1C至图1F所示的图像识别处理作为图像处理(图7的图像处理5311)。图1C和图1E中的图像识别处理不同于图1D和图1F中的图像识别处理。例如，凭借通过显示设备911和操作输入设备912所执行的设置操作来确定待采用的各图像识别处理方法之一。

图1C是示出采用模式匹配(模式识别)的图像识别处理中所使用的搜索模式106的示图。图1D是示出采用轮廓检测的图像识别处理中所使用的轮廓检测滤波器107的示图。在此，作为示例将描述对图1A所示的对象104执行采用模式匹配的图像识别处理以及对图1A所示的对象105执行采用轮廓检测的图像识别处理的情况。

在图1C中，搜索模式106被用于搜索相同亮度分布和相同形状。在模式匹配中，执行在图1A所示的处理区域102的范围中搜索与搜索模式106相似的图像数据的位置的图像处理。注意，当执行模式匹配时，搜索模式与图像数据进行比较，相应地，在适当的情况下执行特定预处理，如归一化处理、平滑处理或轮廓检测处理。因此，当预先生成搜索模式106时，预处理所需的区域在水平方向和垂直方向上添加到搜索模式106，此后，计算并且存储水平方向上的搜索模式106的尺寸Px和垂直方向上的搜索模式106的尺寸Py。当搜索模式106在图像处理的初始设置中被读取并且临时存储时，添加预处理所需的区域作为校正值。

在模式匹配中，执行这样的处理：使用区域(如存储单元53(图7)的临时存储5319)相继对搜索模式106与处理区域102的范围中的特定位置进行比较，以使得确定搜索模式106是否与特定位置中的各图像之一一致(或相似)。此外，在此情况下，每次执行比较时，在搜索模式106相继旋转达图1E所示的小量的同时，确定是否实现模式匹配。旋转所需的区域的尺寸(即水平方向上的尺寸Px'和垂直方向上的尺寸Py')自然大于在旋转之前所获得的图1C的搜索模式106的尺寸Px和Py。例如，旋转所需的区域还被预先添加为校正值，并且被临时存储。

在图1A的对象104的情况下，在上述模式匹配中，当搜索模式106旋转达特定角度并且与对象104的图像的模式比较时，各模式如图1G的标号113所表示的那样彼此一致，并且实现图像识别。

另一方面，在轮廓检测中，使用图1D所示的轮廓检测滤波器107。例如，轮廓检测滤波器107用于计算并且检测亮度分布的改变程度。在轮廓检测滤波器107中，例如，执行检测具有大亮度梯度的点或具有大亮度梯度的点组的处理。注意，虽然用于轮廓检测的处理区域103小于基本上具有图1D的示例中的梯形形状的对象105，但该轮廓检测在足以执行仅检测对象105的特定边沿(侧边)的方向或位置时执行。

在图1D所示的轮廓检测滤波器107的情况下，在图1D的箭头标记所指示的方向上在(具有水平方向上的尺寸Fx和垂直方向上的尺寸Fy的)滤波区域中相继执行亮度确定，以使得检测具有最大亮度梯度的点组作为轮廓。此外，当执行该轮廓检测时，执行特定预处理(如亮度分布的归一化处理或平滑处理或者轮廓强调处理)作为在检测亮度梯度之前所执行的处理。然后，在作为存储轮廓检测滤波器107的区域的存储单元53中确保(例如，在临时存储5319中)预处理所需的处理区域。例如，当根据设置的内容来生成轮廓检测滤波器107时，预处理所需的区域被添加到轮廓检测滤波器107的水平方向上的尺寸Fx和垂直方向上的尺寸Fy。然后，所获得的水平方向上的尺寸Fx'和所获得的垂直方向上的尺寸Fy'(图1F)被计算并且确保作为用于轮廓检测滤波器107的区域。

通过参照图1D和图1F执行上述轮廓检测，在图1A中所示的对象105的情况下，图像的对象105的边沿(侧边)的轮廓114被识别为图1H中所示的图像。

此外，在图1B中，标号108表示对整个图像数据101所执行的上述图像处理的运行结果的整个图片。在图1B中，标号109表示使用搜索模式106所检测的模式匹配的运行结果(与图1B的示例中的搜索模式106最相似的图像模式的检测结果)，标号110表示使用轮廓检测滤波器107的轮廓的检测结果。

在该实施例中，图像处理装置901执行上述图像识别处理作为图像处理，并且将图像处理的历史数据909录入外部存储装置904中。在此情况下，仅包括由图像识别处理所识别的目标部分的区域被存储为提取图像(图8的9091)。图1B的标号111和112表示在执行上述图像识别处理的情况下在外部存储装置904中录入的提取图像的提取区域。

作为图像识别处理的结果，根据图像识别处理的运行的内容(如模式匹配的模式检测位置和轮廓检测位置)来确定被提取的提取区域111和112的尺寸，以使得提取区域111和112包括所识别的图像。例如，根据搜索模式106的尺寸、旋转范围等来确定提取区域111的尺寸。例如，如图1C所示，模式匹配中所使用的搜索模式106具有带有水平方向上的尺寸Px和垂直方向上的尺寸Py的矩形形状。矩形区域在如上所述旋转的同时用在匹配中。在上述图像识别处理的情况下，搜索模式106的搜索旋转范围被确定为提取区域111。假设搜索模式106的搜索旋转范围是从0度到360度的范围，那么提取区域111的水平方向上的尺寸Px'和提取区域111的垂直方向上的尺寸Py'与图1E中所示的搜索模式106的对角线的长度对应。

如果提取区域111的尺寸被确定并且在无压缩的情况下记录在外部存储装置904中，例如，作为提取图像9091(图8)，则稍后可以可靠地并且容易地验证图像处理的内容，而无需存储整个图像数据101。具体地说，如果具有与搜索模式106的搜索旋转范围对应的尺寸的提取区域111被提取并且记录在外部存储装置904中，则甚至当再次对于稍后执行的验证而执行模式匹配时，针对用于搜索的旋转范围不足的问题也并不出现。

注意，提取区域111具有允许搜索模式106旋转达360度的最小尺寸。然而，在旋转范围在模式匹配中受限的情况下，可以基于上述考虑而采用搜索模式106的旋转范围中的尺寸Px'和Py'的最大值。例如，在其中不执行旋转的模式匹配的情况下，尺寸Px'可以等于尺寸Px，尺寸Py'可以等于尺寸Py。此外，在包括比例改变的匹配的情况下，可以通过将尺寸Px和Py乘以放大因子的最大值来获得尺寸Px'和Py'。此外，提取区域的剩余区域得以确保，可以提供任意设置剩余区域的值的功能，并且值可以与尺寸Px'和Py'相加，或所获得的尺寸Px'和Py'可以乘以特定系数。此外，对于满足特定标准或特定条件的多个检测结果，包括检测的位置的区域可以被确定为提取区域，或可以对于不同的检测位置生成不同的提取图像区域。

此外，当提取区域111被存储在外部存储装置904中作为提取图像9091时，提取区域111可以在无压缩状态下被存储，或可以通过无损压缩方法而存储。在此情况下，作为无损压缩方法，可以使用例如TIFF格式下所采用的各种无损压缩方法。虽然压缩率在无损压缩方法中并不太大，但可以对具有所示的尺寸的提取区域111以低计算成本按高速度执行压缩处理。此外，当与整个图像数据101的压缩比较时，待存储在外部存储装置904中的数据量可以显著减少，并且压缩处理的负载断然很小。

相似地，在轮廓检测被执行为图像识别处理的情况下，根据图像识别处理的内容来确定提取区域112的尺寸。根据轮廓检测滤波器107的尺寸来确定图1B和图1F中所示的提取区域112的尺寸。假设当使用检测垂直方向上的轮廓的滤波器时，例如，轮廓检测滤波器的水平方向上的尺寸表示为“Fx”，轮廓检测滤波器的垂直方向上的尺寸表示为“Fy”，并且轮廓检测方向与图像的垂直下方向(图1D中的箭头标记所表示的方向)对应。在此情况下，通过以下表达式来获得提取区域112的水平方向尺寸Fx'和提取区域112的垂直方向尺寸Fy'：Fx'＝Fx，Fy'＝Fy。

至于模式匹配的情况，在轮廓检测滤波器的情况下，当设置旋转范围时，获得尺寸Fx'和Fy'，其为旋转范围中的最大值。此外，在使用其中轮廓信息项并非彼此连接而是分散的检测滤波器的情况下，可以采用用于通过将所使用的滤波器的水平尺寸和垂直尺寸与包括所检测到的点组的区域相加来确定区域的方法。此外，可以根据通过显示设备911和操作输入设备912所执行的设置操作来任意设置提取区域112的剩余区域。例如，设置操作所输入的值可以与尺寸Fx'和Fy'相加，或所获得的尺寸Fx'和Fy'可以乘以特定系数。

如上所述，当具有与使用轮廓检测滤波器107进行的图像识别处理所需的区域相对应的尺寸的提取区域112被提取并且记录在外部存储装置904中时，甚至当再次对于稍后执行的验证执行轮廓检测时，针对用于搜索的旋转范围不足的问题也并不出现。此外，在轮廓检测的情况下，提取区域112中的图像可以通过无损压缩方法受压缩，并且记录在外部存储装置904中。

如上所述，在该实施例中，当与图像识别处理关联的图像要被存储在外部存储装置904中作为历史数据时，根据图像识别处理的内容来确定提取区域。据此，可以确定包括与图像识别处理关联的图像的提取区域，可以可靠地并且适当地执行稍后待处理的验证，并且要求被存储在外部存储装置904中的数据量当与存储整个图像数据101(108)的情况比较时可以显著减少。

注意，虽然示出了用于把提取区域111和112确定为具有与所捕获的图像相同的水平方向和垂直方向上图像坐标系的轴的矩形区域的方法，但提取区域111和112的形状可以是圆形、椭圆、多边形等。此外，可以提供使用显示设备911和操作输入设备912的用户接口来设置提取区域111和112的形状和尺寸的功能。此外，可以提供根据特定条件来选择使得提取区域111和112的数据量最小的形状的功能。

在此，参照图2，将描述根据图像处理的运行的内容来确定图像数据的提取区域的处理的过程。在此，输入图像数据、图像处理的内容、根据图像处理的结果所生成的提取图像数据的生成结果等与图1相同，除非另外说明。图2的控制过程被实现为图像处理程序(图7的531)。具体地说，该控制过程被实现为模块，如图7的图像处理(5311)和图像处理库(5312)。图像处理程序可以作为计算机可读程序而存储在构成存储单元53的存储设备、半导体存储器(如ROM或E(E)PROM)或外部存储设备(如HDD或SSD)中。此外，当存储单元53由可拆卸存储设备(如HDD、SSD或各种闪存)构成时，当安装并且更新图像处理装置901的图像处理程序时，可以使用这些设备。

在图2的步骤S0中，读取图像处理的设置信息。例如，存储单元53的ROM区域或外部存储设备的区域中所存储的图像处理(图7的5311)的设置被读取到临时存储(5319)的区域等。或者，在该阶段中，可以使用显示设备911和操作输入设备912的用户接口来设置或部分地改变图像处理的设置信息。图像处理(5311)的设置数据包括：要经历图像处理的区域的数量，处理区域的位置、尺寸和形状，图像处理方法的类型(如模式匹配或轮廓检测)、处理中所使用的数值参数等。

在参照图1所描述的图像处理的情况下，设置数据中所描述的待经历图像处理的区域的数量是2。在处理区域102中，使用搜索模式106执行模式匹配。在处理区域103中，使用轮廓检测滤波器107执行轮廓检测。注意，除了搜索模式和搜索范围之外，模式匹配的处理参数还包括匹配率的可允许值、所检测到的模式的数量等，以及除了滤波器尺寸和检测方向之外，轮廓检测的处理参数还包括操作者的类型、放大率等。单独设置的任意常数被用作处理参数，只要处理参数不影响图像数据的提取范围或处理参数预先与处理区域的尺寸相加即可。

随后，在步骤S1中，输入要经历图像处理的整个图像数据101。在此，要经历图像处理的图像数据可以读取自图像拾取设备902，或可以被预先捕获并且存储在外部存储装置904中。

在步骤S2中，对整个图像数据101中所包括的处理区域(102和103)运行图像处理。在图1的示例中，当对处理区域102执行图像处理时，使用搜索模式106来执行模式匹配，并且获得匹配结果(109)。当对处理区域103执行图像处理时，使用轮廓检测滤波器107来执行轮廓检测处理，并且获得轮廓检测结果(110)。

在步骤S3中，确定是否已经处理了整个图像数据101中所包括的所有图像区域。当确定为否定时，处理返回到步骤S2，其中，再次执行图像处理；而当确定为肯定时，处理进入到步骤S4。注意，当计算单元(图7的51)关于硬件或软件可以并行执行用于图像处理的多个计算时，多个处理或多个线程可以同时运行步骤S2中的处理。

在步骤S4中，图像处理的结果临时被存储并且输出。图像处理的结果可以被使用显示器设备911以图1的标号108所表示的图像格式显示在屏幕等中，或可以通过网络发送到另一系统。在此所输出的输出信息包括：包含匹配结果(109)或轮廓检测结果(110)的屏幕信息，关于原始模式的匹配位置的坐标的信息，关于旋转角度的信息，匹配率，关于轮廓检测的点组的位置的信息，以及梯度信息。此外，可以附加地输出基于上述信息的关于重心的信息、关于存在或缺失的信息、确定信息等。根据需要，上述信息的输出格式可以是数值、图像(如图片或示图)、通过音频再现装置(未示出)输出的音频等。

在步骤S5中，执行参照图1所描述的图像提取处理。在此，如上所述，根据对处理区域102或处理区域103执行的图像识别处理的运行的内容来确定提取区域。例如，在处理区域102的情况下，根据模式匹配的运行结果109(即匹配位置)来定位预先所确定的提取区域111，以使得在整个图像中确定图像数据的提取区域。此外，在处理区域103的情况下，根据轮廓检测结果110(即轮廓检测位置)来定位预先所确定的提取区域112，以使得在整个图像中确定图像数据的提取区域。在图1的示例中，提取矩形区域。在此情况下，如上所述确定提取区域111的水平尺寸Px'和垂直尺寸Py'或提取区域112的水平尺寸Fx'和垂直尺寸Fy'。

在步骤S6中，确定是否已经对所有处理区域执行确定提取区域的处理。当在步骤S6中确定为肯定时，处理进入步骤S7，而当确定为否定时，处理返回步骤S5，其中，处理目标区域改变，并且再次执行提取处理。在此，关于硬件或软件，如果可能，则多个处理或多个线程可以同时运行步骤S5中的处理。

在步骤S7中，步骤S5中所确定的提取区域的提取图像数据(图1的113或114或图8的9091)被根据整个图像数据101生成，并且存储在外部存储装置904中。在步骤S7中，如上所述，提取图像可以被存储为未压缩的图像数据(例如，以BMP格式)或无损格式的数据。

例如，在提取图像具有小尺寸的情况下，未压缩的格式的数据量和无损压缩格式的数据量可以仅彼此稍微不同，或无损格式的数据量可以取决于情况反而更大。因此，在步骤S7中，当提取图像要被存储时，从未压缩的格式的数据量和无损压缩格式的数据量当中确定较小数据量，以使得选择对于减少待存储的数据量有利的格式。例如，可以在实际上执行无损压缩之后通过将各量彼此进行比较来执行确定。此外，在压缩格式中，文件的头部通常包括开销，相应地，在显著小的初始数据量的情况下可能无法获得期望的压缩效率。考虑这种情况，在其中提取图像的图像数据量小于特定量的提取图像的情况下，可以选择未压缩的格式。

此外，在步骤S7中，除了提取图像之外，还可以存储包括补充信息的数据，如提取图像的开始点的坐标、提取图像的尺寸、形状、数据格式和文件名。此外，可以附加地存储处理区域中所运行的图像处理的内容、运行结果以及所使用的处理参数。

在步骤S8中，终止图像处理。在此，可以在释放不再使用的临时存储区域之后终止图像处理，或可以在保持可重用数据的同时再次等待用于执行图像处理的指令。

如上所述，根据该实施例，当图像处理装置901执行图像处理(如图像识别处理)并且存储与图像处理关联的图像数据作为历史数据时，存储从整个图像提取的提取图像。因此，可以显著地减少待存储在存储单元(如存储历史数据的外部存储装置)中的数据的量。

此外，根据图像处理的运行的内容来确定图像的提取区域。例如，提取区域包括其中已经成功地执行图像识别处理(如模式匹配或轮廓检测)并且已经识别期望模式或期望轮廓的图像区域。此外，提取区域被确定为具有运行图像识别处理(如模式匹配或轮廓检测)(或运行稍后执行的验证和再现)所需(或足够)的尺寸。

此外，由于提取图像数据被以未压缩的或无损压缩格式存储为历史数据，因此在保持图像处理的可再现性的同时可以执行与图像处理关联的录入。此外，由于根据图像处理的运行的内容来确定图像中的提取区域，因此可以可靠地并且适当地执行待稍后执行的验证。

根据该实施例，每次在适当位置中并且以适当尺寸执行图像处理，就可以动态地确定被存储为历史数据的提取区域。特别地，甚至在由于对象的移动范围很大因此需要设置具有裕量的处理区域的情况(如机器人系统中的通过图像处理来检测对象的位置和姿势的情况)下，可以充分地减少要被存储的历史数据量。

在此，将参照图3A至图3D描述根据该实施例的待存储的数据量的减少的效果。在图3A中，假设输入图像数据301具有水平方向上的1024像素和垂直方向上的768像素的整个图像尺寸。此外，假设图像处理区域302具有近似200像素的半径，并且对象304如操作轨迹320所指示的那样在图像处理区域302中自由移动。还假设图像处理区域305包括水平方向上的100像素以及垂直方向上的200像素，对象306的轮廓的一部分如操作轨迹307所指示的那样在垂直方向上自由移动。

此外，如图3B所示，假设已经获得与参照图1所描述的模式匹配处理相对应的图像识别处理中所提取的提取区域310(图1的113)的尺寸，并且该尺寸为水平方向上142像素(Px')和垂直方向上142像素(Py')。相似地，假设已经获得与轮廓检测处理对应的图像识别处理中所提取的提取区域309(图1的114)的尺寸，并且该尺寸为水平方向上100像素(Fx')和垂直方向上40像素(Fy')。

在此，在采用用于存储整个输入图像数据301的普通方法的情况下，待存储为历史数据的图像数据的像素之和为786432(1024*768)。另一方面，根据该实施例的提取区域309和提取区域310中所包括的像素之和是24164(＝(100*40)+(142*142))，相应地，可以减少90％的待存储的数据量。

图3C是示出另一输入图像数据312的示图。在图3C的示例中，在大处理区域313中检测对象314。在处理区域313中，捕获具有与对象304相同的形状并且通过模式匹配识别为图像的对象314以及具有不同形状的大量其它对象。例如，假设图3C所示的输入图像数据312的图像尺寸与图3A的输入图像数据301相同，即输入图像数据312具有水平方向上的1024像素和垂直方向上的768像素，并且处理区域313包括水平方向上的900像素和垂直方向上的600像素。此外，匹配处理中的提取区域316的尺寸与提取区域310的尺寸相同，即提取区域316包括水平方向上的142像素和垂直方向上的142像素(图3D)。在此，相关技术中的提取图像的像素的数量是540000(＝900*600)，而根据该实施例的提取图像的像素的数量是20164(＝142*142)。相应地，可以减少95％或更多的待存储的数据量。

如上所述，根据该实施例，例如，当与用于在预先固定的图像处理区域中提取图像数据并且存储图像数据的普通方法的情况相比时，减少待存储的数据量的效果相当大。即，与运行图像处理的较大次数对应的图像数据量可以被存储在存储单元(如对于录入图像处理所使用的外部存储装置)中。此外，在该实施例中，根据图像处理的运行内容来确定图像的提取区域。相应地，确保了图像处理的可再现性，并且当执行图像处理参数的改变或验证时，可以使用被录入为用于验证的图像数据的提取图像。

此外，根据该实施例的图像处理，也在需要实时发送图像数据等的情况下，可以减少待通过一个图像处理所处理、发送以及存储的图像数据量。据此，可以减少通过接口、总线或网络发送的图像数据量，可以减少各个处理、传输和存储的处理负载，并且可以减少数据传输时间。

根据该实施例，甚至在要经历图像处理的对象的位置难以指定的情况下，每次根据图像处理的内容来执行图像处理，就可以动态地确定待存储为历史数据的图像数据的提取区域，而无论要经历图像处理的区域如何。相应地，在确保图像处理的可再现性的同时，可以显著减少待存储为历史数据的图像数据量。据此，甚至在具有等同存储区域的图像处理装置的情况下，在确保图像处理的可再现性的同时，更大数量的图像的图像数据可以被存储为历史数据。此外，甚至当需要图像处理的参数的改变或验证时，由于可以使用更大数量的图像的图像数据来检查图像处理的结果，因此可以确定更高有效性的处理参数。此外，可以对于每个图像处理减少要存储为历史数据的图像数据量，可以减少通过总线或网络发送图像数据所需的带宽，并且可以减少传输时间。此外，可以减少关于整个系统的处理时间和通信时间的不利效果。

第二实施例

根据第一实施例，当图像处理装置901执行图像处理(如图像识别处理)并且存储与图像处理关联的图像数据作为历史数据时，仅存储从整个图像提取的提取图像。具体地说，在图8的示例中，仅与图像处理关联的提取图像9091被存储在外部存储装置904中作为历史数据。另一方面，在第二实施例中，每次执行图像处理时，例如与图像处理关联的整个图像数据连同提取图像9091一起存储在外部存储装置904中作为充当历史数据的已压缩图像9092。

参照将参照图4A至图4H、图5和图6来描述根据该实施例的图像处理。在该实施例中，除了第一实施例的处理之外，还执行用于通过对整个输入图像数据执行有损压缩来生成压缩图像数据的图像数据压缩处理以及用于将压缩图像数据存储在外部存储装置904中的压缩图像数据存储处理。除了有损压缩图像数据的生成和存储之外的部分基本上与第一实施例相同。

图4A至图4H是示出所输入的并且待经历图像处理的整个图像数据401的示图。在与图1不同的成像场景中捕获整个图像数据401。图6是示出根据该实施例的图像处理中所生成并且记录的图像数据集合的数据流的示图。

图5是与第一实施例的图2的流程图对应的流程图。图5的流程图包括确定待存储在外部存储装置904中的提取图像的区域的处理以及对整个图像数据401执行有损压缩的处理。图5中的步骤S20至步骤S27以及步骤S30与图2中的步骤S0至步骤S7以及步骤S8相同，仅在步骤S27中的处理之后执行的分别与图像压缩和存储对应的步骤S28和步骤S29中的处理与第一实施例不同。

作为图像识别处理，执行与图1相同的模式匹配处理(图4C、图4E和图4G)以及轮廓检测处理(图4D、图4F和图4H)。

在图4A至图4H中，标号401至414所表示的组件与图1的标号101至114所表示的组件相同。在图4A至图4H的示例中，整个图像数据401的图像捕获的内容的一部分与图1所示的不同。在图4A中，图像处理的处理区域402和403的尺寸和位置与图1A的相同。然而，在图4A中捕获障碍415。障碍415是机器人臂908，例如，并且在图4A中，障碍415叠加在待经历图像识别的对象404上。通过与图1A相同的格式来捕获对象405。

在图4B中，图像处理结果409表示在匹配处理期间由于障碍415的存在而部分地缺失的图像。假设虽然搜索模式的匹配率由于障碍415的存在而降低，但成功地执行匹配处理。因此，根据图像处理结果409所提取的提取图像数据413(图4G)还包括障碍415，并且相应地，提取图像数据413与图1G的提取图像113不同。

如图5所示运行图像处理，特别地，图像中的提取区域的确定以及图像压缩处理。图5中从步骤S20到步骤S27的处理与第一实施例的图2中的步骤S0至步骤S7的处理相同，因此，省略其描述。在此输入的图像数据、图像处理的内容、根据图像处理的结果所生成的提取图像数据的生成的结果等与图1相同，除非另外说明。

在图5中，在步骤S27中存储提取图像之后，整个输入图像数据401经历有损压缩，以使得在步骤S28中生成压缩图像数据(上述压缩图像9092)。在该有损压缩处理中，可以采用使用像素薄化、离散余弦变换(例如JPEG格式)、小波变换(例如JPEG2000格式)等的有损图像压缩方法。此外，图像数据可以被划分在除了与提取图像区域对应的区域之外的区域中，以使得所划分的图像数据与待经历有损压缩并且待存储的目标数据对应。此外，可以通过从开始将待经历图像压缩的区域设置为图像处理区域402或图像处理区域403内的区域来进一步减少待存储的数据量。

在步骤S29中，步骤S28中所存储的压缩图像9092被存储在外部存储装置904中作为历史数据。在此，提取图像9091和压缩图像9092如稍后所描述的那样彼此关联，并且此外，包括补充信息(如压缩图像数据的压缩方法和压缩率、文件格式以及文件名)的内容可以被存储为历史数据。

在步骤S30中，终止图像处理。可以在释放不再使用的临时存储区域之后终止图像处理，或可以在保持可重用数据的同时再次等待用于执行图像处理的指令。

图6是示出当根据图5的处理步骤输入图4A的整个输入图像数据401并且在外部存储装置904中录入图像处理的历史数据时所执行的记录数据集合的数据流600的示图。

在图6中，在图像处理设置数据602中描述图像处理的内容。图像处理设置数据602控制包括上述图像识别处理的图像处理，上述模式匹配的处理内容和轮廓检测的处理内容被描述为“图像处理1”和“图像处理2”。图像处理设置数据602包括用于模式匹配的模型标识信息和控制参数作为用于控制处理内容的数据。提取图像数据603与图4G和图4H的提取图像数据413和提取图像数据414对应。此外，例如，通过压缩图4A的整个图像数据401来获得压缩图像数据604。

从上述图像处理的原生数据生成外部存储装置904中录入为图像处理的历史数据的图像处理记录数据601。图像处理记录数据601包括其中所描述的用于指定对于图像处理所使用的设置数据、图像数据的文件名、图像处理的结果等的信息。

在图6中，以文本格式示出图像处理记录数据601。如图6所示，在图像处理记录数据601中，提取图像数据603被记录为位图文件，如“image1.bmp”和“image2.bmp”所表示的文件。注意，提取图像数据603并不一定存储在图像处理记录数据601中，提取图像数据603可以通过不同的文件格式存储在外部存储装置904中。在此情况下，图像处理记录数据601存储指针信息(如文件名或数据地址)。此外，除了与提取图像数据关联的图像处理的结果之外，图像处理记录数据601还可以存储用于指定(标识)图像处理的目录数据。通过在临时存储区域(5319)等中预先生成作为写入目的地的文件并且添加每个处理步骤的内容来生成图像处理记录数据601。此后，在步骤S29(图5)中的处理终止等之时，临时存储的各种信息可以被收集、以预定格式而形成，并且此后存储在外部存储装置904中。

如上所述，根据该实施例，当与图像处理装置901的图像处理关联的图像数据被存储为历史数据时，存储从整个图像提取的提取图像，此外，与图像处理关联的图像数据或整个图像数据被存储为压缩图像。相应地，实现第一实施例的效果，此外，每次执行图像处理时，可以根据图像处理的运行内容来动态地确定图像数据中的较小提取范围，此外，可以同时存储用于概述整个图像数据的信息。具体地说，由于除了提取图像之外，整个图像数据也可以在经历有损压缩之后被存储，因此在确保图像处理的可再现性的同时，可以同时存储整个图像数据的概述信息。

注意，虽然无损压缩方法可以用作用于压缩例如待经历图像处理的整个图像的压缩方法，但当使用有损压缩方法时，可以高效地压缩具有大图像区域的图像数据。

至于上述情况，假设水平方向上的像素的数量是1024并且垂直方向上的像素的数量是768(所谓的“XGA尺寸”)，亮度的等级是8比特的单色格式，亮度数据具有在水平方向上分级的线性亮度改变。当在未压缩的状态下存储该整个图像数据时，根据普通未压缩的图像文件格式，文件尺寸(数据量)近似为800KB。当同一图像使用离散余弦变换(例如JPEG格式)或小波变换(例如JPEG2000格式)而经历有损压缩时，图像可以取决于图像质量参数的设置等而压缩为近似200KB至近似50KB的文件尺寸的图像。相应地，甚至当除了提取图像之外还录入与图像处理关联的整个图像时，经历图像处理的整个图像可以存储为整个概述图像，例如，而不占据存储设备的容量的大区域。甚至通常在JPEG2000中所使用的离散余弦变换方法在高压缩率(低图像质量)的情况下也不产生图像质量的大的恶化，相应地，离散余弦变换方法可以可应用于该实施例的用途。

此外，根据该实施例，由于存储经历图像处理的整个图像，因此可以便于存储或验证与图像处理关联的参数的改变的需要的操作。特别地，当与仅使用提取图像数据的情况相比时，当附加地检查整个压缩图像数据时，可以快速地评估并且控制在如图4A中所示捕获障碍(415)的情况下的情形和分析。例如，在如图4G中所示仅录入提取图像数据413的情况下，很可能仅使用包括提取图像数据413的图像数据无法确定所捕获的障碍415的一部分。在此情况下，可以通过将与整个图像的压缩图像数据对应的压缩图像显示在显示器设备911中来立即识别该部分。此外，甚至在误差产生在图像处理(或在机器人系统的情况下根据图像处理所执行的机器人控制)中的情况下，可以更灵活地执行验证。例如，因此容易地确定是通过控制图像处理的参数来校正误差，还是由于不期望的系统操作已经产生等，图像处理设置不需要被校正而是通过另一方法来执行校正。

虽然以上已经描述了两个示例性实施例，但这些示例性实施例不应看作是限制，额外的示例性实施例可以在对输入图像执行图像处理并且存储与图像处理关联的图像数据的各个检查装置中实施上述图像处理技术。例如，对由在机器人系统的视觉系统中包括的图像拾取装置捕获的图像执行图像识别处理并且检测机器人臂或对象的位置和姿势的图像检查装置如图8所示。通过由CPU或GPU构成的图像处理装置的计算单元51运行前述实施例中的图像处理。相应地，记录实现上述功能的软件程序的记录介质可以提供给图像检查装置，计算单元51可以读取并且运行记录介质中所存储的程序。在此情况下，从记录介质读取的程序自身实现前述实施例的功能。

此外，虽然计算机可读记录介质与前述实施例中的存储单元53或存储单元53中所包括的存储设备对应，但任何计算机可读存储介质是可应用的。例如，可以使用包括可拆卸HDD、可拆卸SSD、光盘或各种类型的闪存设备的任意外部存储设备。如果该存储设备存储上述程序，则存储设备被包括于根据上述实施例的计算机可读记录介质中。

虽然已经参照示例性实施例描述了本公开，但应理解，这些示例性实施例不应看作限制。所附权利要求的范围将要赋予最宽泛的解释，以便包括所有这些修改以及等效结构和功能。

Claims (9)

1.一种图像处理方法，其特征在于包括：

通过控制设备对输入图像数据执行图像处理；

通过所述控制设备根据对所述输入图像数据执行的图像处理的内容来确定从所述输入图像数据提取的提取图像的提取区域；以及

通过所述控制设备从所述输入图像数据的所确定的提取区域提取所述提取图像，并且将所述提取图像存储为所述图像处理的历史数据。

2.如权利要求1所述的图像处理方法，

其中，所述图像处理表示识别所述输入图像数据的图像的特定部分的图像识别处理。

3.如权利要求2所述的图像处理方法，

其中，所述图像识别处理与识别所述输入图像数据的图像的特定部分的模式匹配处理相对应，并且经历所述模式匹配处理的区域被选作所述提取图像的所述提取区域。

4.如权利要求2所述的图像处理方法，

其中，所述图像识别处理与识别所述输入图像数据的图像的特定部分的轮廓检测处理相对应，并且经历所述轮廓检测处理的区域被选作所述提取图像的所述提取区域。

5.如权利要求1所述的图像处理方法，

其中，所述提取图像在无压缩的情况下或在使用无损压缩而被压缩的情况下存储为历史数据。

6.如权利要求1所述的图像处理方法，

其中，整个输入图像数据被使用有损压缩被压缩，并且连同所述提取图像一起存储为历史数据。

7.一种计算机可读记录介质，存储用于使计算机运行图像处理方法的程序，所述图像处理方法包括：

对输入图像数据执行图像处理；

根据对所述输入图像数据执行的所述图像处理的内容来确定从所述输入图像数据提取的提取图像的提取区域；以及

从所述输入图像数据的所确定的提取区域提取所述提取图像，并且将所述提取图像存储为所述图像处理的历史数据。

8.一种图像处理装置，其特征在于对输入图像数据执行图像处理并且将所述图像处理的历史数据存储在存储设备中，所述图像处理装置包括：

控制设备，被配置为从根据对所述输入图像数据执行的所述图像处理的内容所确定的输入图像数据的提取区域提取出提取图像，并且将所述提取图像存储在所述存储设备中作为历史数据。

9.一种机器人装置，其特征在于包括：

图像拾取设备，被配置为捕获机器人臂的图像或由所述机器人臂操作的对象；以及

如权利要求8所述的图像处理装置，

其中，通过所述图像拾取设备捕获的图像被输入作为所述输入图像数据，并且对所述输入图像数据执行的图像处理的历史数据被存储在存储设备中。