CN102081787A - 图像处理设备、图像处理方法和计算机程序 - Google Patents

Abstract

通过由成像装置获取校准图案图像并基于所获取的校准图案图像执行校准来进行畸变修正。获得以有规律间隔设置有安排在可由成像装置从中拍摄图像的成像范围内的特征点的多个校准图案图像，并且从各个图像中提取特征点群。基于分别从具有不同成像范围的区域提取出来的特征点群执行校准。

Description

图像处理设备、图像处理方法和计算机程序

技术领域

本发明涉及能够基于由成像装置获得的校准图案图像以高精度进行畸变修正的图像处理技术。

背景技术

按照常规思路，已经开发出了各种各样的检验系统和缺陷检测系统，其用于通过使用成像装置拾取测试对象的图像、然后使用所拾取的多值图像检验测试对象和检测测试对象的缺陷来确定测试对象是否为合格品。不过，在使用成像装置获取图像时，图像经常由于透镜畸变和透视畸变而发生畸变，不能原样使用图像来确定是否是合格品等，除非进行适当的畸变修正。

为了解决上述问题，例如《A Flexible New Technique for Camera Calibration》(Zhang Z.，Technical Report MSR-TR-98-71，Microsoft Research，1998)公开了一种在不同倾斜角度上获取具有某种规律性的校准图案的多个图像并获得成像装置的诸如透镜畸变和焦距之类的内部参数和成像装置的诸如三维位置和相对位置之类的外部参数的方法。以这种方式，可以通过畸变修正适当地修正所拾取的图像，并且能够以高精度进行合格品确定。

发明内容

按照《A Flexible New Technique for Camera Calibration》中公开的方法，需要以不同倾角获得多个校准图案的图像。因此，必须在多次改变成像装置与校准图案之间的相对倾角的同时拍摄图像，这使得图像获取变成了繁重的工作。

此外，当要获得的参数的数量很大而所获取的图像的数量很小时，经常不能确定所有这些参数。因此，就有了在成像装置与校准图案之间的相对倾角不合适的情况下不能正确获得参数的问题。

本发明涉及能够简化获取校准图案图像的步骤并且能够以较高精度在较宽区域内进行畸变修正的图像处理设备、图像处理方法和计算机程序。

按照本发明的一种实施方式，给出了一种图像处理设备，该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修正，该图像处理设备包括：第一提取装置，该第一提取装置获得以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像，并且该第一提取装置提取第一特征点群；以及第二提取装置，该第二提取装置获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像，并且该第二提取装置提取第二特征点群，其中基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准。

按照本发明的另一种实施方式，在图像处理设备中，第二间隔被设置为比第一间隔宽，并且第一提取装置在稀疏显示特征点的区域内提取第一特征点群，而第二提取装置在密集显示特征点的区域内提取第二特征点群。正如这里所用的那样，″稀疏显示特征点的区域″指的是这样的区域：相对于由预定数量的像素显示的显示屏幕而言，特征点被显示得比预定间隔窄，而″密集显示特征点的区域″指的是这样的区域：相对于由预定数量的像素显示的显示屏幕而言，特征点被显示得比预定间隔宽。

按照本发明的另一种实施方式，图像处理设备此外还包括：设定装置，该设定装置将多个校准图案图像中的一个设定为基准图像；投影变换参数设定装置，该投影变换参数设定装置设定表示第一坐标系和第二坐标系之间关系的投影变换参数，第一坐标系代表以平面图形式示出的基准图像，第二坐标系用于显示基准图像；仿射变换参数设定装置，该仿射变换参数设定装置通过包括在基于基准图像的第一坐标系内的缩放系数的仿射变换参数设定基准图像与除了基准图像之外的校准图案图像之间的关系；透镜畸变参数设定装置，该透镜畸变参数设定装置通过成像装置设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系；以及参数优化装置，该参数优化装置根据第一坐标系中基于基准图像的坐标数据和第二坐标系中显示的包括基准图像的多种布置方式中的特征点的坐标数据，优化投影变换参数、仿射变换参数和透镜畸变参数。

按照本发明的另一种实施方式，图像处理设备此外还包括：投影变换参数计算装置，该投影变换参数计算装置计算假设不存在透镜畸变时的投影变换参数的估计值；以及仿射变换参数计算装置，该仿射变换参数计算装置计算假设不存在透镜畸变时的仿射变换参数的估计值，其中参数优化装置采用投影变换参数的估计值和仿射变换参数的估计值作为初始值，优化投影变换参数、仿射变换参数和透镜畸变参数。

按照本发明的另一种实施方式，图像处理设备此外还包括：选择接收装置，该选择接收装置接收是否使用多于一个校准图案图像的选择。

按照本发明的另一种实施方式，图像处理设备此外还包括：特征点显示装置，该特征点显示装置显示用于执行校准的第一特征点群和第二特征点群中的至少一个。

按照本发明的另一种实施方式，图像处理设备此外还包括：获取指令接收装置，该获取指令接收装置接收针对成像装置的对接收下来要由选择设定接收装置选择的各个校准图案图像进行重新获取的指令的输入。

按照本发明的另一种实施方式，图像处理设备此外还包括：提取区域显示装置，该提取区域显示装置显示从中提取了第一特征点群和第二特征点群中的至少一个的区域。

此外，按照本发明的另一种实施方式，给出了一种图像处理方法，该方法能够由图像处理设备执行，该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修正，该方法包括步骤：获得以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像并且提取第一特征点群；获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像并且提取第二特征点群；以及基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准。

接着，按照本发明的另一种实施方式，给出了一种计算机程序，该计算机程序能够在图像处理设备上执行，该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修正，该计算机程序促使图像处理设备起到如下作用：第一提取装置，该第一提取装置获得以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像，并且该第一提取装置提取第一特征点群；第二提取装置，该第二提取装置获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像，并且该第二提取装置提取第二特征点群；以及基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准的装置。

按照本发明的实施方式，畸变修正是通过使用成像装置获取校准图案图像并通过基于所获取的校准图案图像执行校准来进行的。获取以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像并且提取第一特征点群。类似地，获取以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像并且提取第二特征点群。基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准。由于特征点群是在基于特征点之间的间隔不同的校准图案图像的不同区域中提取的，因此可以减小难以提取出特征点的区域，并且可以在较宽的区域内执行校准。

此外，第二间隔被设置为比第一间隔宽，在稀疏显示特征点的区域内提取第一特征点群，而在密集显示特征点的区域内提取第二特征点群。由此，在可以稀疏显示特征点的区域内使用特征点之间的间隔较窄的校准图案图像，而在可以密集显示特征点的区域内使用特征点之间的间隔较宽的校准图案图像，从而可以以较高的精度在较宽的区域内执行校准。

此外，多个校准图案图像中的一个被设置为基准图像，并且设定表示第一坐标系和第二坐标系之间关系的投影变换参数，其中第一坐标系代表以平面图形式示出的基准图像，第二坐标系用于显示基准图像。此外，由包括在基于基准图像的第一坐标系内的缩放系数的仿射变换参数设定基准图像与除了基准图像之外的校准图案图像之间的关系，并且通过成像装置设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系。根据第一坐标系中基于基准图像的坐标数据和第二坐标系中显示的包括基准图像的多种布置方式中的特征点的坐标数据，优化投影变换参数、仿射变换参数和透镜畸变参数。由此，可以消除诸如坐标系变换过程中的死像素(dead pixel)之类的副作用，并且可以增加校准的可靠性和以高精度获得投影变换参数和透镜畸变参数。

此外，计算假设不存在透镜畸变时的投影变换参数的估计值，并且计算假设不存在透镜畸变时的仿射变换参数的估计值。采用投影变换参数的估计值和仿射变换参数的估计值作为初始值优化投影变换参数、仿射变换参数和透镜畸变参数，并且这样可以消除坐标系变换过程中由于发散而不能确定各个参数的可能性，并且可以增加校准的可靠性和以高精度获得投影变换参数和透镜畸变参数。

此外，还提供了选择设定接收装置，其接收是与否使用多于一个校准图案图像之间的选择，并且因此可以依据图像畸变的程度选择是否使用多于一个校准图案图像。

此外，显示用于执行校准的第一特征点群和第二特征点群中的至少一个，并且因此可以直观确认哪个特征点群是从图像中的哪个部分中提取出来的，并且可以容易地确定所执行的校准的可靠性。

此外，可以接收针对成像装置的对接收下来要选择的各个校准图案图像进行重新获取的指令的输入。因此，当校准图案图像不足以与图像畸变相当时，例如，即使当校准图案图像内密集(稀疏)显示特征点的区域内的特征点之间的间隔较窄(较宽)时，也可以通过重新获取特征点之间的间隔较宽(较窄)的校准图案图像来以高精度在较宽的区域内执行校准。

此外，显示从中提取出第一特征点群和第二特征点群中的至少一个的区域，并且因此可以直观确认哪个特征点群是从图像中的哪个部分中提取出来的，并且可以增加所要执行的校准的可靠性。

按照本发明的实施方式，在基于特征点之间的间隔不同的校准图案图像的不同区域中提取特征点群。因此，可以减小难以提取特征点的区域，并且可以在较宽的区域内执行校准。例如，在可以稀疏显示特征点的区域内使用特征点之间的间隔较窄的校准图案图像，而在可以密集显示特征点的区域内使用特征点之间的间隔较宽的校准图案图像，从而可以以较高的精度在较宽的区域内执行校准。

附图说明

图1是示意性表示按照本发明的实施方式的图像处理设备的结构的框图；图2是表示按照本发明的实施方式的图像处理设备的构成实例的功能框图；图3A和3B是各自表示使用特征点之间的间隔相同的校准图案图像时的特征点分布的示意图；图4A到4C是表示由按照本发明的实施方式的图像处理设备获得的多个校准图案图像的示意图；图5是表示进行从世界坐标系到像素坐标系的投影变换时的状态的示意图；图6A和6B是各自表示校准图案图像内的特征点在像素坐标系中的坐标被变换到世界坐标系中的坐标的状态的示意图；图7是表示基准图像中的特征点在世界坐标系中的位置与图6A和6B中变换的除了基准图像之外的校准图案图像中的特征点群在世界坐标系中的位置之间的关系的示意图；图8是表示由按照本发明的实施方式的图像处理设备的图像处理部分的主控部分执行的校准处理步骤的流程图；图9是表示用于设定所需要的信息的校准设定屏的示意图，以便执行按照本发明的实施方式的图像处理设备的校准；图10是表示用于获取按照本发明的实施方式的图像处理设备的校准图案图像数据的图像登记屏的示意图；图11是表示用于呈现按照本发明的实施方式的图像处理设备的校准执行结果的校准设定屏的示意图；图12是表示用于登记按照本发明的实施方式的图像处理设备的校准图案图像数据的图像登记屏的示意图；图13是表示通过其可以在按照本发明的实施方式的图像处理设备中设定缩放系数的校准设定屏的示意图；图14是表示由按照本发明的实施方式的图像处理设备中的图像处理部分的主控部分执行校准之后的图像处理的处理步骤的流程图；以及图15A到15C是各自表示畸变修正之后的图像的示意图。

具体实施方式

下面参照附图介绍按照本发明的实施方式的图像处理设备。应当注意，在要参照的所有附图中，用相同或类似附图标记指代具有相同或类似结构或功能的部件，并且已经介绍过的那些部件不会再加以详细介绍。

图1是示意性表示按照本发明的实施方式的图像处理设备的结构的框图。如图1所示，按照本实施方式的图像处理设备2与作为获取校准图案图像的成像装置的相机1以及显示所获取的校准图案图像或者执行了各种类型的图像变换处理之后的校准图案图像的显示装置3相连。

图像处理设备2配备有由至少CPU(中央处理单元)、LSI等构成的主控部分21、存储器22、存储装置23、输入装置24、输出装置25、通信装置26、辅助存储装置27和上述硬件部件所连接的内部总线28。主控部分21经由内部总线28与如上所述的图像处理设备2的硬件部件相连，并且按照存储在存储装置23中的计算机程序5控制这些硬件部件的操作和执行各种不同的软件功能。存储器22是由诸如SRAM或SDRAM之类的易失性存储器构成的，在执行计算机程序5的时候会将加载模块提取到存储器22中，并且在执行计算机程序5时创建的临时数据等会存储在存储器22中。

存储装置23由内置固定存储装置(硬盘或闪存)、ROM等构成。存储在存储装置23中的计算机程序5是从存储着诸如节目和数据之类的信息段的诸如DVD、CD-ROM或者闪存之类的便携式记录介质4中下载到辅助存储装置27中的。在执行时，计算机程序5被从存储装置23中提取到存储器22中并且被运行。应当意识到，计算机程序5可以是经由通信装置26从外部计算机下载的计算机程序。

存储装置23配备有存储所获得校准图案图像的图像数据的校准图案图像数据存储单元231和存储在接收到相应的用户输入时用于生成期望的修正后图像的各种参数的参数存储单元232，这些参数比如是通过执行校准而计算出来的投影变换参数、透镜畸变参数和仿射变换参数。校准图案图像数据存储单元231存储校准图案图像的图像数据，从这些校准图案图像中可以提取出按照一定规律性布置的特征点。多个校准图案图像的图像数据是通过仅仅改变用于布置校准图案的位置来拾取并存储的，而不是改变相机1相对于成像区域的位置、角度之类来拾取的。参数存储单元232存储着在生成修正后图像时引用的、进行畸变修正所需的参数。这些参数是由在设置时进行的、用于执行校准和生成期望的修正后图像的参数调节处理计算、设置和存储的。当执行检验时，例如，引用这些参数并且执行修正后图像的生成处理(畸变修正)。

通信装置26与内部总线28相连，并且能够通过与诸如因特网、LAN或WAN之类的外部网络相连接来与外部计算机发送和接收数据。具体来说，存储装置23的构造并不局限于图像处理设备2中的内置型存储装置，而是也可以是经由通信装置26连接的、为外部服务器计算机等配备的诸如硬盘之类的外部记录介质。

输入装置24代表一个宽泛的概念，总体来讲包括各种各样的获取输入信息的装置，除了诸如键盘和鼠标之类的数据输入媒介之外，还包括与液晶平板等集成在一起的触摸板等。输出装置25指的是诸如激光打印机或点式打印机之类的打印装置。

相机(成像装置)1是配备有CCD成像器件的CCD相机等。显示装置3是配备有CRT、液晶平板等的显示装置。诸如相机1和显示装置3之类的部件可以与图像处理设备2集成为一体，也可以分开地设置。外部控制仪器6是经由通信装置26连接的控制装置，并且相当于例如PLC(可编程逻辑控制器)。如本文所使用的那样，外部控制仪器6代表一个宽泛的概念，总的来说包括各种各样的响应于图像处理设备2的图像处理结果执行后处理的装置。

图2是表示按照本发明的实施方式的图像处理设备2的结构实例的功能框图。参照图2，按照本实施方式的图像处理设备2配备有相机1、执行图像处理设备2的处理的图像处理部分7、存储装置23和输入接收和图像显示部分8。

相机1由例如数码相机构成，并且拍摄和获取按照有规律间隔布置的特征点的校准图案(比如棋盘格图案或点阵图案)的图像作为多值图像数据，并将该数据输出到图像处理部分7。

图像处理部分7配备有布置数设定装置71、坐标系设定装置72、基准布置设定装置73、第一提取装置74、第二提取装置75、投影变换参数计算装置76、仿射变换参数计算装置77、透镜畸变参数设定装置78、参数优化装置79、修正后图像生成装置80和后处理装置81。图像处理部分7还包括主控部分21、存储器22以及与图1中所示的外部装置相连的各种接口，并且控制布置数设定装置71、坐标系设定装置72、基准布置设定装置73、第一提取装置74、第二提取装置75、投影变换参数计算装置76、仿射变换参数计算装置77、透镜畸变参数设定装置78、参数优化装置79、修正后图像生成装置80和后处理装置81的处理操作。

存储装置23起到图像存储器的作用或者用于存储处理所需的各种参数的装置的作用，并且存储着由相机1获得的校准图案图像的图像数据以及在根据需要接收到相应的用户输入时用于生成期望的修正后图像的各种参数，比如通过执行校准计算出来的投影变换参数、透镜畸变参数和仿射变换参数。可以以各个像素亮度值的数据的形式存储图像，而不是以图像数据的形式存储图像。

输入接收和图像显示部分8由诸如计算机用监视器之类的显示装置3和诸如鼠标和键盘之类的输入装置24构成。输入接收部分是以例如显示装置3的显示屏幕中的对话框的形式给出的，并且包括布置数设定接收装置82、坐标系设定接收装置83、基准位置设定接收装置84、选择接收装置85、获取指令接收装置86和后处理设定接收装置89。与显示装置3的显示屏幕中的输入接收部分相邻地设置有图像显示部分87，并且图像显示部分87包括修正前图像显示装置91和修正后图像显示装置92。用户能够使图像显示部分87在显示装置3的显示屏幕中显示所获得的校准图案图像、修正后图像等。此外，通过特征点显示装置88，可以彼此重叠地显示所提取的特征点群和提取出该特征点群的区域。

接下来，将介绍图像处理部分7的组成部分。

布置数设定装置71设定要布置在相机1能够进行成像的区域内的用于执行校准的校准图案图像的数量。要布置的数量的输入由输入接收和图像显示部分8中的布置数设定接收装置82接收。在本实施方式中，布置数可以是″1″，就是说，可以只布置一个校准图案图像，或者也可以布置特征点间的间隔相同或不相同的多个校准图案图像。

坐标系设定装置72设定表示平面图中所示校准图案图像的世界坐标系(第一坐标系)。与世界坐标系的设定有关的信息的输入由输入接收和图像显示部分8中的坐标系设定接收装置83接收。具体来说，接收诸如世界坐标系中基准图像的坐标位置和坐标间隔之类的信息的输入。

基准布置设定装置(设定装置)73在多个布置的校准图案图像中设定要作为基准的校准图案图像为基准图像。要作为基准的校准图案图像的设定由输入接收和图像显示部分8中的基准位置设定接收装置84接收。

第一提取装置74和第二提取装置75各自从在其中以有规律间隔布置特征点的校准图案图像的图像数据中提取特征点群。图3A和3B各自是表示特征点之间的间隔都相同的校准图案图像中特征点的分布的示意图。

图3A表示特征点之间的间隔相对较窄的例子，图3B表示特征点之间的间隔相对较宽的例子。图3A和3B都表示棋盘格图案中的校准图案的例子，该棋盘格图案具有作为黑色正方形格顶点的特征点30，30，...。虽然当如图3A所示那样特征点之间的间隔相对较窄时可以以较高精度执行校准，但是正确提取出特征点的区域(即，密集示出特征点的区域)局限于分界线31下面的部分，并且仅能够在较窄的区域内执行校准。

与此相反，虽然当如图3B所示的那样特征点30，30，...之间的间隔相对较宽时不能以较高精度执行校准，但是正确提取出特征点30，30，...的区域被扩大到了分界线32，并且能够执行校准的区域(即，稀疏示出特征点的区域)与图3A比较起来变得较宽。因此，可以根据图像畸变的程度将二者组合起来以较高精度在较宽的区域内执行校准。

图4A到4C是表示由按照本发明的实施方式的图像处理设备2获得的多个校准图案图像的示意图。在图4A到4C所示的例子中，图4B表示特征点30，30，...之间的间隔与图4A所示的例子中的特征点之间的间隔相同的校准图案图像，只是改变了布置方式。此外，图4C表示特征点30，30，...之间的间隔大于图4A所示的例子中的特征点之间的间隔的校准图案图像，并且也改变了布置方式。

回过头来看图2，投影变换参数计算装置76计算用于进行从用平面图示出基准图像的世界坐标系(第一坐标系)到显示基准图像的显示屏幕上的像素坐标系(第二坐标系)的投影变换。图5是表示进行从世界坐标系到像素坐标系的投影变换的状态的示意图。

在图5中，用于进行从设置在世界坐标系中的平面图中的基准图像到像素坐标系中显示的基准图像的投影变换的投影变换矩阵H是使用图4A中所示的校准图案图像作为像素坐标系中显示的基准图像而获得的。具体来说，获得满足方程式1的投影变换参数a到h，其作为要加以变换的世界坐标系中的坐标数据(xi，yi)(理想数据)与作为变换目标的像素坐标系中的坐标数据(xi’，yi’)(实测数据)之间的关系。其中，″i″代表各校准图案图像中的各个特征点30，30，...。在此例中，″理想数据″指的是根据世界坐标系中的坐标位置和坐标间隔数值计算的值，而不是″实测数据″。

[数学公式1] $\left.\begin{array}{c}{x}_i^{\′}=({\mathrm{ax}}_i+{\mathrm{by}}_i+c)/({\mathrm{gx}}_i+{\mathrm{hy}}_i+1)\\ y_i^{\′}({\mathrm{dx}}_i+{\mathrm{ey}}_i+f)/({\mathrm{gx}}_i+{\mathrm{hy}}_i+1)\\ \left(\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right)\≅\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right)\×\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)\end{array}\right\}$ (方程式1)

为了获得投影变换参数a到h，采用了最小二乘法，以便在方程式1两侧都乘以方程式1的分母的状态下，分别使得各个左侧和右侧之间的各个差的平方和最小。方程式2表示在方程式1的两侧都乘以方程式1的分母的状态下，各个左侧和右侧之间的各个差的平方和。

[数学公式2] $\mathrm{\Σ}\{{({\mathrm{ax}}_i+{\mathrm{by}}_i+c-x_i{x}_i^{\′}g-y_i{x}_i^{\′}h-x_i^{\′})}^2$ $+{({\mathrm{dx}}_i+{\mathrm{ey}}_i+f-x_i{y}_i^{\′}g-y_i{y}_i^{\′}h-y_i^{\′})}^2\}$ (方程式2)

通过将要加以变换的世界坐标系中的坐标数据(xi，yi)和作为变换目标的像素坐标系中的坐标数据(xi’，y1’)代入到方程式2中并且重新整理该方程式，得到方程式3。

[数学公式3]

$={|\mathrm{Ax}-B|}^2$ (方程式3)

可以由方程式4得到使方程式3最小的投影变换参数a到h，其中A^T是矩阵A的转置矩阵。其中，投影变换参数的估计值是在不考虑透镜畸变的情况下获得的。后面将会使用投影变换参数的估计值作为用于由参数优化装置79获得最优值的初始值，并且作为用于获得仿射变换参数的估计值的参考参数，后面将对此加以介绍。

[数学公式4]A^TAx＝A^TB  (方程式4)

回过头来看图2，仿射变换参数计算装置77为各种布置方式计算仿射变换参数，以便使用所计算出来的投影变换参数的反变换参数将除了基准图像之外的校准图案图像中的特征点的坐标数据变换到世界坐标系中，并且在变换到世界坐标系中之后进行从基于世界坐标系中的基准图像的坐标数据到各种布置方式下的特征点的坐标数据的仿射变换。具体来说，首先，使用投影变换参数a到h计算投影变换矩阵H的逆矩阵，并且将除了基准图像之外的校准图案图像(例如图4A到4C中的图4B和图4C所示的图像)中的特征点30，30，...的坐标位置变换到世界坐标系中。

然后，根据变换后的坐标数据，由世界坐标系(基于平面图形式的基准图像的坐标系)中的仿射变换参数S、T、θ、α来表达基准图像中的布置方式和除基准图像之外的图像中布置方式之间的关系。这里，仿射变换参数S和T分别代表在基于基准图像的世界坐标系中沿着X轴和Y轴的平移距离，θ代表旋转量，α代表缩放系数。

图6A和6B是各自表示校准图案图像内的特征点在像素坐标系中的坐标数据被变换到世界坐标系中的坐标数据的状态的示意图。图6A是表示将图4B中所示的校准图案图像内的特征点变换为世界坐标系中的特征点的状态的示意图，图6B是表示将图4C中所示的校准图案图像内的特征点30，30，...变换到世界坐标系中的状态的示意图。

图6A表示将图4B中所示的显示图像61内的特征点在像素坐标系中的坐标数据变换到世界坐标系中的坐标数据62的状态。类似地，图6B表示将图4C中所示的显示图像63内的特征点在像素坐标系中的坐标数据变换到世界坐标系中的坐标数据64的状态。以这种方式，由于特征点之间的间隔在像素坐标系中是不同的，因此在图6B中，特征点之间的间隔在世界坐标系中较宽。

图7是表示基准图像中的特征点在世界坐标系中的位置与图6A和6B中变换的除了基准图像之外的校准图案图像中的特征点群在世界坐标系中的位置之间的关系的示意图。在图7中，使用代表坐标比例的正方形群的各个顶点来表示特征点群，而没有使用点序列。因此，特征点位于特征点群中包含的正方形的相应顶点上。

在图7中，在世界坐标系中以相同的比例示出了代表基准图像特征点的位置的特征点群171、通过将与图4B相对应的校准图案图像内的特征点群变换到世界坐标系中而获得的特征点群172和通过将与图4C相对应的校准图案图像内的特征点群变换到世界坐标系中而获得的特征点群173，其中将平面图形式的基准图像中的左上角的特征点作为原点，并且其中基准图像的各个特征点之间的间隔是用单位刻度表示的。这样，可以基于基准图像的特征点群171，通过沿着X轴和Y轴平移以及旋转放大或缩小来获得其它特征点群172和173。具体来说，以基准图像的特征点群171为基准，其它特征点群172和173分别由X轴上的平移距离S、Y轴上的平移距离T、旋转量θ和缩放系数α来表示，这些参数就是仿射变换参数。

具体来说，使用X轴上的平移距离S、Y轴上的平移距离T、旋转量θ和缩放系数α(它们都是仿射变换参数)，由方程式5来表达要加以变换的坐标数据(xi，yi)(理想数据)和作为变换目标的坐标数据(xi’，yi’)(通过将实测数据变换到世界坐标系中而得到的数据)之间的关系。

[数学公式5] $\left.\begin{array}{c}{x}_i^{\′}=\mathrm{\α}*\cos \mathrm{\θ}*x_i-\mathrm{\α}*\sin \mathrm{\θ}*y_i+S\\ y_i^{\′}=\mathrm{\α}*\sin \mathrm{\θ}*x_i+\mathrm{\α}*\cos \mathrm{\θ}*y_i+T\end{array}\right\}$ (方程式5)

为了获得仿射变换参数，可以采用非线性最小二乘法来使方程式5的左侧和右侧之间的差的平方和最小。具体来说，如果可以获得使方程式6最小的X轴上的平移距离S、Y轴上的平移距离T、旋转量θ和缩放系数α(它们都是仿射变换参数)，那么就足够了。其中，仿射变换参数的估计值是在不考虑透镜畸变的情况下获得的。后面将会使用所获得的仿射变换参数的估计值作为用来由参数优化装置79获得最优值的初始值。

[数学公式6] $J=\mathrm{\Σ}\{{(x_i^{\′}-\mathrm{\α}*\cos \mathrm{\θ}*x_i+\mathrm{\α}*\sin \mathrm{\θ}*y_i-S)}^2$ $+{(y_i^{\′}-\mathrm{\α}*\sin \mathrm{\θ}*x_i-\mathrm{\α}*\cos \mathrm{\θ}*y_i-T)}^2\}$ (方程式6)

应当注意，在将缩放系数α固定为″1″时，可以使用多个同样大小的校准图案图像来执行校准。容许缩放系数α使用除了″1″以外的值，能够实现使用不同大小的多个校准图案图像来执行校准。当使用除了″1″以外的值作为缩放系数α时，如果预先知道特征点之间的间隔，就可以通过将缩放系数α固定为适当的值(比如例如″2″或″1/3″)来更加精确地执行校准。

回过头来看图2，透镜畸变参数设定装置78设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系。虽然没有具体限定透镜畸变参数之间的关系，但是可以使用四个参数如例如方程式7所表达的那样设定要加以变换的坐标数据(xi，yi)与作为变换目标的坐标数据(xi’，yi’)之间的关系，这四个参数包括低阶透镜畸变参数K₁、高阶透镜畸变参数K₂以及透镜畸变中心处理的X坐标u和Y坐标v。应当注意，可以这样来得到用于以后由参数优化装置79获得最优值的初始值(估计值)：将透镜畸变的中心定为图像的中心，并将其它的高阶和低阶透镜畸变参数定为0(零)。

[数学公式7]

(方程式7)

参数优化装置79基于以基准图像为基础的世界坐标系(基于平面图形式的基准图像的坐标系)中的坐标数据和各种布置方式下提取的像素坐标系中特征点的坐标数据，优化之前已经计算出估计值的投影变换参数a到h、仿射变换参数S、T、θ和α以及透镜畸变参数K₁、K₂、u和v。

具体来说，要加以变换的世界坐标系中基于基准图像的坐标数据(xi，yi)(理想数据)与包括基准图像在内的所有布置方式下的校准图案图像n(n是从1到N的自然数)中的特征点在像素坐标系内的作为变换目标的坐标数据(X_ni’，Y_ni’)(实测数据)之间的关系分别由变换函数F和G表达，并且立刻计算出各个变换参数，以便使这些数据之间的差的平方和最小。具体来说，首先，通过仿射变换将世界坐标系中基于基准图像的坐标数据(xi，yi)变换为(x_ni，y_ni)。变换方程式由方程式8表达。

[数学公式8] $\left(\begin{array}{c}{x}_{\mathrm{ni}}\\ y_{\mathrm{ni}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}\mathrm{\α}\cos {\mathrm{\θ}}_n& -{\mathrm{\α}}_n\sin {\mathrm{\θ}}_n& S_n\\ \mathrm{\α}\sin {\mathrm{\θ}}_n& {\mathrm{\α}}_n\cos {\mathrm{\θ}}_n& T_n\\ 0& 0& 1\end{array}\right)\×\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)$ (方程式8)

接下来，由方程式9将通过仿射变换变换出来的坐标数据(x_ni，y_ni)变换为没有透镜畸变的像素坐标系中的坐标数据(X_ni，Y_ni)。

[数学公式9] $\left(\begin{array}{c}{X}_{\mathrm{ni}}\\ Y_{\mathrm{ni}}\\ 1\end{array}\right)\≅\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right)\×\left(\begin{array}{c}{x}_{\mathrm{ni}}\\ y_{\mathrm{ni}}\\ 1\end{array}\right)$ (方程式9)

此外，使用表达透镜畸变参数之间的关系的方程式7，由方程式10将该坐标数据变换为考虑透镜畸变时的像素坐标系内的坐标数据(X_ni’，Y_ni’)。

[数学公式10]

通过组合方程式8到10，可以由方程式11表达的变换函数F和G分别表达要加以变换的世界坐标系中基于基准图像的坐标数据(xi，yi)与包括基准图像在内的所有布置方式下的校准图案图像n(n是从1到N的自然数)中的特征点的作为变换目标的坐标数据(X_ni’，Y_ni’)之间的关系。

[数学公式11] $\left.\begin{array}{c}{X_{\mathrm{ni}}}^{\′}=F(a,b,c,d,e,f,g,h,K_1,K_2,u,v,S_n,T_n,{\mathrm{\θ}}_n,{\mathrm{\α}}_n,x_i,y_i)\\ {Y_{\mathrm{ni}}}^{\′}=G(a,b,c,d,e,f,g,h,K_1,K_2,u,v,S_n,T_n,{\mathrm{\θ}}_n,{\mathrm{\α}}_n,x_i,y_i)\end{array}\right\}$ (方程式11)

为了优化这些参数，可以通过非线性最小二乘法(例如，Levenberg-Marquardt法)来计算投影变换参数a到h、仿射变换参数S、T、θ和α以及透镜畸变参数K1、K2、u和v，使得方程式12最小。

[数学公式12]

(方程式12)

应当注意，在不同布置方式之间，只有仿射变换参数是不同的，而投影变换参数和透镜畸变参数可以是公用的。这是因为成像平面与相机1之间的位置关系保持不变，并且拍摄和获取的是仅仅改变了校准图案布置方式的图像。

修正后图像生成装置80生成使用优化了的投影变换参数、透镜畸变参数和仿射变换参数进行了畸变修正的图像，以便接收用户输入来生成修正后图像。输入接收和图像显示部分8的图像显示部分87能够使用修正后图像显示装置92在显示装置3中显示所生成的修正后图像。

应当注意，仿射变换参数的输入是由输入接收和图像显示部分8接收的。按照本发明的实施方式，由于相机1的位置和角度是固定的，因此基于世界坐标系中的基准图像，可以通过接收选取平移距离X和Y、旋转量θ和缩放系数α作为仿射变换参数的用户输入来进行设定，以便生成在期望位置上具有期望大小和期望角度的修正后图像。

在下文中，将会具体介绍修正后图像生成装置80的处理方法。首先，计算通过组合从用户输入并且接收的仿射变换参数获得的仿射变换矩阵。接着，计算所计算出来的仿射变换矩阵的逆矩阵，并且计算通过组合所计算出来的仿射变换矩阵的逆矩阵和由参数优化装置79获得的投影变换参数(投影变换矩阵)获得的组合投影变换矩阵。所计算出来的组合投影变换矩阵是用于将修正后图像中的坐标数据变换为修正前图像(没有透镜畸变)中的坐标数据的矩阵。

通过使用计算出来的组合投影变换矩阵和由参数优化装置79获得的透镜畸变参数，可以获得与具有期望位置、期望大小和期望角度的修正后图像中的各个像素的坐标数据相对应的修正前图像中的坐标数据，并且可以生成修正后图像。具体来说，首先，使用组合投影变换矩阵通过将修正后图像中各个像素的坐标数据代入方程式1来进行坐标变换。接着，使用由参数优化装置79获得的透镜畸变参数通过将变换后的坐标数据代入到方程式7中进行坐标变换。由此，获得了对应的修正前图像中的坐标数据。

使用与所获得的修正前图像中的坐标数据相对应的像素值，可以采用最接近像素自身的像素值作为修正后像素的像素值，或者可以通过对相邻区域内的像素的像素值进行内插来获得适当的像素值，以便生成具有较高精度的修正后图像。就内插法而言，可以采用例如对四个最接近像素进行线性内插的双线性内插，不过本发明并不局限于此。如上所述，可以通过在修正后的各个像素中依次获得像素值来生成修正后图像。

在设定时，除了执行修正之外，还要通过以肉眼观察方式确认实际的修正后图像来进行针对所要生成的修正后图像的调整，并且将调整后的仿射变换参数与由参数优化装置79优化了的投影变换参数和透镜畸变参数关联起来并且存储在参数存储单元232中。另一方面，在执行检验时，要通过参考所存储的和经过调整的仿射变换参数以及经过优化的投影变换参数和透镜畸变参数反复执行修正后图像生成处理(畸变修正)，直到最后一个输入图像，并且可以通过对校正图像进行期望的后处理来执行具有高度可靠性的检验。

后处理装置81按照从用户接收的选定后处理，由输入接收和图像显示部分8的后处理设定接收装置89对进行过校准和畸变修正的图像进行后处理。后处理是检验和用户希望的图像处理，比如OCR或图案搜索。后处理的结果被输出到外部控制仪器6并且由该外部控制仪器6控制外部装置等的操作。

图8是表示由按照本发明的实施方式的图像处理设备2中的图像处理部分7的主控部分21执行的校准处理步骤的流程图。按照本发明的实施方式的图像处理方法的各个处理步骤是按照内存于图像处理部分7中的本发明的计算机程序5执行的。

参照图8，图像处理部分7的主控部分21设定要布置在相机1的可拍摄区域内的、执行校准所针对的校准图案图像的数量(步骤S801)。要布置的图像数量的输入由输入接收和图像显示部分8的布置数设定接收装置82接收。在本实施方式中，布置的数量可以是″1″，就是说，可以只布置一个校准图案图像，或者也可以布置特征点之间的间隔不同的多个校准图案图像。

主控部分21确定是否获得了所设定的布置的数量个校准图案图像(步骤S802)，并且如果主控部分21确定还没有得到所设定的布置的数量个校准图案图像(步骤S802：否)，则主控部分21从相机1获取校准图案图像(步骤S803)。如果主控部分21确定获得了所设定的布置的数量个校准图案图像(步骤S802：是)，则主控部分21在预定区域(第一区域)内提取特征点(第一特征点)(步骤S804)，并且然后在不同于该预定区域的区域(第二区域)内提取特征点(第二特征点)(步骤S805)。

在各个校准图案图像中，特征点30，30，...是按照有规律的间隔布置的。虽然在特征点30，30，...之间的间隔相对较窄时可以以较高精度执行校准，但是正确提取出特征点30，30，...的区域变得相对较窄。与此相反，虽然在特征点30，30，...之间的间隔相对较宽时不能以较高精度执行校准，但是正确提取出特征点30，30，...的区域被相对地扩大。因此，可以通过按照图像畸变的程度从不同的区域中提取特征点30，30，...来以较高的精度在较宽的区域内执行校准。

主控部分21将要布置的多个校准图案图像中要作为基准的校准图案图像设定为基准图像(步骤S806)。要作为基准的校准图案图像的设定是由输入接收和图像显示部分8中的基准位置设定接收装置84接收的。

主控部分21计算用于执行基准图像从以平面图方式显示基准图像的世界坐标系到基准图像的投影变换的投影变换参数(估计值)(步骤S807)，使用所计算出来的投影变换参数的反变换参数将除了基准图像之外的校准图案图像中的特征点的坐标数据变换到世界坐标系中，并且基于世界坐标系中的基准图像在世界坐标系(基于平面图形式的基准图像的坐标系)内计算基准图像与除了基准图像之外的各种布置方式之间的对应关系，作为包括缩放系数的仿射变换参数(估计值)(步骤S808)。

主控部分21设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系(这样取得估计值：透镜畸变的中心就是图像的中心，并且其它的高阶和低阶透镜畸变参数都是0(零))(步骤S809)，并且优化之前通过基于以世界坐标系(基于平面图形式的基准图像的坐标系)中的基准图像为基础的坐标数据并且基于从各种布置方式中提取出来的特征点在像素坐标系中的坐标数据计算估计值获得的投影变换参数a到h、仿射变换参数S、T、θ和α以及透镜畸变参数K₁、K₂、u和v(步骤S810)。各个变换参数是通过非线性最小二乘法或类似方法优化的。应当注意，在仅仅对单独一个图像执行校准时，可以通过将仿射变换参数S、T和θ的值固定地设定为″0(零)″并将α固定地设定为″1″来进行该处理。

主控部分21确定使用经过优化的变换参数时的误差是否等于或小于预定值(步骤S811)。如果主控部分21确定该误差大于该预定值(步骤S811：否)，则主控部分21将处理返回到步骤S801并且重复上述步骤。如果主控部分21确定该误差等于或小于该预定值(步骤S811：是)，则主控部分21将变换参数存储在存储装置23中(步骤S812)并且在后续步骤中使用这些参数。具体地说，存储投影变换参数a到h及透镜畸变参数K₁、K₂、u和v，并且接收用于生成期望修正后图像的期望值的输入作为仿射变换参数S₀、T₀、θ₀和α₀。在接收期望值的输入之后，还要存储所接收的仿射变换参数。

图9是表示设定要执行按照本发明的实施方式的图像处理设备2的校准所需要的信息的校准设定屏的示意图。在图9所示的例子中，在校准图案图像显示区域191中可以彼此重叠地显示以校准图案图像的图像数据的形式存储的图像和所提取的特征点。

在图案类型设定区域192中，可以通过下拉菜单接收例如棋盘型和点型校准图案之间的选择。在教导图像数设定区域193中，可以接收用于执行校准的校准图案图像的数量的指定(选择接收装置85)。在多尺寸对应关系指定区域194中，可以接收关于是否使用校准图案图像中特征点之间的间隔不同的图像的指定。

在校准图案图像设定区域195中，进行用于执行校准的校准图案图像数据的确认、登记、更新等(包括获取指令接收装置86)。具体地说，接收登记号的输入，并且在图像显示区域191中显示与该登记号对应且此刻被登记的图像和所提取的特征点群。如果没有登记的或合适的，通过以弹出菜单形式显示的图像登记屏，通过选择图像登记按钮来接收新获取或重新获取的指令(获取指令接收装置86)。

图10是表示用于获取按照本发明的实施方式的图像处理设备2的校准图案图像的图像登记屏的示意图。在图10所示的例子中，在校准图案图像显示区域191中显示相机1最后获取的图像。通过选择″登记″按钮，将当前显示的图像存储到校准图案图像数据存储单元231中作为用于校准的图像数据。

应当注意，当在如上所述的教导图像数设定区域193中接收到改变用于执行校准的校准图案图像的数量的指定时，例如，当接收到将该数量从一变为三的指定时，可以通过启动图10中所示的图像登记屏，通过接收未获得的登记号的指定作为校准图案图像设定区域195中登记号的输入并且选择″图像登记″按钮来获得新的校准图案图像。

回过头来看图9，校准是通过选择校准执行指示按钮196来执行的。在校准结果显示区域197中，显示所使用特征点的数量(有效点的数量)、平均误差、最大误差和状态作为执行校准的结果。

图11是表示用于呈现按照本发明的实施方式的图像处理设备2的校准执行结果的校准设定屏的示意图。在图11所示的例子中，状态是″成功″，这表示校准已经正常完成。

优选地，可以在显示屏幕上确认校准图案图像中用于执行校准的特征点的位置。此外，如图2中所示的特征点显示装置88那样，当要在图像登记屏中登记新的图像时，优选地将该新的图像与在已经登记的校准图案图像中提取的特征点群相重叠地显示。图12是表示用于登记按照本发明的实施方式的图像处理设备2的校准图案图像数据的图像登记屏的示意图。

如图12中所示，从已经存储了的校准图案图像中提取的特征点群30a和30b是以不同方式显示的，例如，以不同的颜色。在图12所示的例子中，确定了当显示屏幕的下半部分被覆盖时上半部分没被充分覆盖，并且可以例如通过使得所要获得的校准图案图像的布置方式几乎与特征点群中的未提取区域30c相重叠来执行针对整个显示屏幕的校准。

此外，可以按照显示方式在特征点对应关系显示区域121内显示与哪个校准图案图像对应。这样，可以在以肉眼观察方式确认哪个特征点群对应于哪个校准图案图像的同时设定下一个校准图案图像的布置方式，这是非常有效的。

而且，可以显示提取区域，该提取区域是可以从中提取出特征点群的区域。将可以从中提取出特征点群的区域的分界线的坐标位置与各个校准图案图像的图像数据相关联地存储起来，作为提取区域显示装置。由此，通过改变校准图案图像的布置方式，可以以肉眼观察方式确认可以从中提取出特征点群的区域是否重叠，并且可以通过进行在不使提取区域相重叠的前提下尽可能地覆盖整个显示屏幕的布置，以较高的精度执行校准。

此外，当可以预先指定仿射变换参数中的缩放系数α的大小时，优选地可以很容易地在显示屏幕中设定。图13是表示通过其可以在按照本发明的实施方式的图像处理设备2中设定缩放系数α的校准设定屏的示意图。

如图13所示，提供了图案大小缩放系数输入区域131，并且可以通过输入相对于基准图像的缩放系数α的值来设定任何放大比率的校准图案图像。注意，本发明并不具体地局限于缩放系数α的值的输入，并且例如，可以通过输入图案大小的实际值来内部计算并使用缩放系数α。

图14是表示由按照本发明的实施方式的图像处理设备2中的图像处理部分7的主控部分21执行校准之后的图像处理的处理步骤的流程图。按照本发明的实施方式的图像处理方法的各个处理步骤是按照内存于图像处理部分7中的本发明的计算机程序5执行的。

在图14中，图像处理部分7的主控部分21获得校准图案图像(步骤S1401)，并且接收仿射变换参数的设定(步骤S1402)。所要获得的校准图案图像可以相同于或不同于执行校准时的校准图案图像。

主控部分21基于已经接收了设定的仿射变换参数以及通过执行前面介绍的校准而得到了优化和存储的投影变换参数和透镜畸变参数来执行畸变修正(步骤S1403)，并且确定畸变修正是否合适(步骤S1404)。如果主控部分21确定畸变修正不合适(步骤S1404：否)，则主控部分21再次确定是否已经接收了执行校准的指令(步骤S1405)。

如果主控部分21确定还没有接收到执行校准的指令(步骤S1405：否)，则处理返回到步骤S1401并且主控部分21重复上述步骤。如果主控部分21确定已经接收到了执行校准的指令(步骤S1405：是)，则主控部分21在调整图9中所示的设定之后执行图8中所示的校准。

如果主控部分21确定畸变修正是合适的(步骤S1404：是)，则主控部分21将已经接收了设定的仿射变换参数与通过执行校准而得到了优化和存储的投影变换参数和透镜畸变参数相关联地存储在存储装置23中(步骤S1406)。

图15A到15C是各自表示畸变修正之后的图像的示意图。图15A到15C分别表示与图4A到4C相对应的修正后图像。

在图15A所示的例子中，由于图4A用作基准图像并且仿射变换参数是按照基准图像为竖直的情形设定的，因此将基准图像沿着X轴和Y轴布置。由于仿射变换参数是按照基准图像为竖直的情形设定的，因此从图15B和15C中可以看出，其它的校准图案图像是以图案的布置方式如同该布置方式是从基准图像变化而来的方式示出的。

虽然在图15A到15C中作为实例示出了对其中的校准图案图像进行了修正的图像，但是在实际应用中，该修正是对最新输入的图像重复进行的，而不是对校准图案图像进行修正，并且实时显示修正后图像。由此，例如即使以斜侧方式拍摄到测试对象的图像，也能不断地修正图像并且好象从正上方拍摄的图像一样地显示该图像，并且因此可以增加后处理中检验等的可靠性。

此外，按照本实施方式，将直接修正图像本身的方法描述为进行畸变修正的方法。不过，可以在对未修正图像进行了期望的处理之后的测量结果(比如坐标数据)进行修正，而不用修正图像本身。当采用仅仅在数字上修正测量结果而不修正图像本身的方法时，可以节约修正图像所需的时间并且可以高速执行畸变修正。不过，由于需要对畸变的图像直接进行测量处理，因此这种方法在畸变的量相对较小或者测量处理不受畸变影响的情况下才有效。

如上所述，按照本实施方式，从基于特征点之间的间隔不同的校准图案图像的不同区域中提取特征点群。因此，可以减小难以提取特征点的区域，并且可以在较宽的区域内执行校准。例如，在可以稀疏显示特征点的区域内使用特征点之间的间隔较窄的校准图案图像，而在可以密集显示特征点的区域内使用特征点之间的间隔较宽的校准图案图像，从而可以以较高的精度在较宽的区域内执行校准。

应当意识到，本发明并不局限于上面介绍的实施方式并且可以以本发明思想和范围之内的各种不同方式加以改造和改进。

Claims (10)

1.一种图像处理设备，该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修正，该图像处理设备包括：

第一提取装置，该第一提取装置获得以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像，并且该第一提取装置提取第一特征点群；以及

第二提取装置，该第二提取装置获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像，并且该第二提取装置提取第二特征点群，其中

基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准。

2.按照权利要求1所述的图像处理设备，其中：

第二间隔被设置为比第一间隔宽，并且

第一提取装置在稀疏显示特征点的区域内提取第一特征点群，而第二提取装置在密集显示特征点的区域内提取第二特征点群。

3.按照权利要求2所述的图像处理设备，此外还包括：

设定装置，该设定装置将多个校准图案图像中的一个设定为基准图像；

投影变换参数设定装置，该投影变换参数设定装置设定表示第一坐标系和第二坐标系之间关系的投影变换参数，第一坐标系代表以平面图形式示出的基准图像，第二坐标系用于显示基准图像；

仿射变换参数设定装置，该仿射变换参数设定装置通过包括在基于基准图像的第一坐标系内的缩放系数的仿射变换参数设定基准图像与除了基准图像之外的校准图案图像之间的关系；

透镜畸变参数设定装置，该透镜畸变参数设定装置通过成像装置设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系；以及

参数优化装置，该参数优化装置根据第一坐标系中基于基准图像的坐标数据和第二坐标系中显示的包括基准图像的多种布置方式中的特征点的坐标数据，优化投影变换参数、仿射变换参数和透镜畸变参数。

4.按照权利要求3所述的图像处理设备，此外还包括：

投影变换参数计算装置，该投影变换参数计算装置计算假设不存在透镜畸变时的投影变换参数的估计值；以及

仿射变换参数计算装置，该仿射变换参数计算装置计算假设不存在透镜畸变时的仿射变换参数的估计值，其中

参数优化装置采用投影变换参数的估计值和仿射变换参数的估计值作为初始值，优化投影变换参数、仿射变换参数和透镜畸变参数。

5.按照前述权利要求中的任何一项所述的图像处理设备，此外还包括：

选择接收装置，该选择接收装置接收是否使用多于一个校准图案图像的选择。

6.按照权利要求5所述的图像处理设备，此外还包括：

特征点显示装置，该特征点显示装置显示用于执行校准的第一特征点群和第二特征点群中的至少一个。

7.按照权利要求5所述的图像处理设备，此外还包括：

获取指令接收装置，该获取指令接收装置接收针对成像装置的对接收下来要由选择设定接收装置选择的各个校准图案图像进行重新获取的指令的输入。

8.按照前述权利要求中的任何一项所述的图像处理设备，此外还包括：

提取区域显示装置，该提取区域显示装置显示从中提取了第一特征点群和第二特征点群中的至少一个的区域。

9.一种图像处理方法，该方法能够由图像处理设备执行，该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修正，该方法包括下列步骤：

获得以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像并且提取第一特征点群；

获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像并且提取第二特征点群；以及

基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准。

10.一种计算机程序，该计算机程序能够在图像处理设备上执行，该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修正，该计算机程序促使图像处理设备起到如下作用：

第一提取装置，该第一提取装置获得以第一间隔设置有安排在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像，并且该第一提取装置提取第一特征点群；

第二提取装置，该第二提取装置获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像，并且该第二提取装置提取第二特征点群；以及

基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校准的装置。

Images