CN102098476A - 图像处理设备、图像处理方法和计算机程序 - Google Patents

Abstract

在对通过用相机拍摄成像对象的图像而获得的多值图像执行图像处理的情况下，本发明计算用于对图像处理之前的多值图像进行投影变换的预定的投影变换参数；计算投影区域，该投影区域是根据所计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；和根据所指定的有效区域和所计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

Description

图像处理设备、图像处理方法和计算机程序

技术领域

本发明涉及一种对由成像装置拍摄的多值图像进行投影变换以修正该多值图像的透视畸变的图像处理技术。

背景技术

按照常规思路，在用成像装置拍摄测试对象的图像来利用所拍摄的多值图像检查测试对象并且检测其缺陷的设备中，依照测试对象与成像装置之间的位置关系、透镜的构造等，会出现各种各样的透视畸变。在很多设备中，会对所拍摄的多值图像适当地进行投影变换用于防止针对测试对象的检验精度、缺陷检测的精度等的降低，以修正多值图像中包含的透视畸变。通过适当进行投影变换，能够修正依照测试对象与成像装置之间的位置关系出现的透视畸变。

例如，在日本未审查专利公开第2006-074512号中，将形状是人们熟知的基座外形的矩形看做是基准多边形，并且将作为基准多边形的矩形与由基座图像的轮廓确定的矩形进行比较，以获得投影修正参数。使用所获得的投影修正参数，对相机拍摄的多值图像进行投影变换，以进行修正。

发明内容

一般来说，在对多值图像进行投影变换的情况下，在存在像素的区域内，变换之前的多值图像和变换之后的多值图像是彼此不同的。即，即使在变换之前的多值图像中存在像素的区域内，像素也可以不存在于变换之后的多值图像中，或者也有可能出现相反的情况。因此，当对变换之前的多值图像中不存在像素的区域进行投影变换时，会使变换之后的多值图像中相应区域的像素变成黑色。

不过，当变换之后的整个图像是要在传统的图像处理设备中获得的时候，即使在变换之后的多值图像中存在黑色像素的情况下，投影变换本身也是通过逐个点地进行每个像素的坐标变换计算来进行的，以找出变换之后的多值图像中的各个像素与之相对应的变换之前的多值图像的部分。因此就有了难以减少处理时间，以便以高速完成图像处理的问题。

此外，在多值图像除了成像对象以外还具有远处背景并且成像对象的多值图像的透视畸变较大的情况下，还会有这样的问题：除了作为要由投影变换进行变换的对象的图像之外，还可能包括基于投影变换的预定条件的极性是反极性的不必要的多值图像(虚像)。

本发明涉及一种在对多值图像进行投影变换的情况下能够缩短处理时间并且还能够抑制虚像出现的图像处理设备、一种该图像处理设备中使用的图像处理方法和一种用来促使计算机执行该图像处理方法中的处理的计算机程序。

按照本发明的一种实施方式，给出了一种图像处理设备，该图像处理设备对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，该设备包括：投影变换参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变；投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及图像变换装置，用于基于由有效区域指定装置指定的有效区域和由投影变换参数计算装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

此外，按照本发明的另一种实施方式，图像处理设备包括形状信息输入接收装置，用于接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入，其中投影变换参数计算装置根据已经由形状信息输入接收装置接收到其输入的形状信息计算投影变换参数。

此外，按照本发明的另一种实施方式，图像处理设备包括用于显示多值图像的图像显示装置，其中形状信息输入接收装置接收对图像显示装置中显示的图像处理之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。

此外，按照本发明的另一种实施方式，在图像处理设备中，图像显示装置配备有显示切换装置，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。

此外，按照本发明的另一种实施方式，图像处理设备包括变换目标区域设定装置，用于将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域，其中投影区域计算装置计算根据由投影变换参数计算装置计算出来的投影变换参数，通过对由变换目标区域设定装置设定的变换目标区域进行投影变换而获得的投影区域。

此外，按照本发明的另一种实施方式，在图像处理设备中，变换目标区域设定装置将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。

此外，按照本发明的另一种实施方式，在图像处理设备中，变换目标区域设定装置将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的。

此外，按照本发明的另一种实施方式，在图像处理设备中，变换目标区域设定装置具有：第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第一交点；第二交点计算装置，用于计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的；以及多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的第一交点和由第二交点计算装置计算出来的第二交点而形成的多边形区域，并且将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域。

此外，按照本发明的另一种实施方式，给出了一种图像处理方法，该图像处理方法能够对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，该方法包括下列步骤：计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变；计算投影区域，该投影区域是根据所计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及根据所指定的有效区域和所计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

此外，按照本发明的另一种实施方式，该图像处理方法包括接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入的步骤，并且根据已经接收到其输入的形状信息计算投影变换参数。

此外，按照本发明的另一种实施方式，该图像处理方法接收对所显示的图像处理之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。

此外，按照本发明的另一种实施方式，该图像处理方法切换和显示图像处理之前的多值图像、图像处理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。

此外，按照本发明的另一种实施方式，该图像处理方法包括将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域的步骤，并且计算根据所计算出来的投影变换参数，通过对所设定的变换目标区域进行投影变换而获得的投影区域。

此外，按照本发明的另一种实施方式，该图像处理方法将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。

此外，按照本发明的另一种实施方式，该图像处理方法将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经接收到其输入的形状信息规定的。

此外，按照本发明的另一种实施方式，该图像处理方法包括步骤：计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第一交点；计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经接收到其输入的形状信息规定的；计算通过连接由所计算出来的第一交点和所计算出来的第二交点而形成的多边形区域；以及将所计算出来的多边形区域设定为变换目标区域。

按照本发明的另一种实施方式，还给出了一种计算机程序，该计算机程序能够促使图像处理设备对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，其中使得该图像处理设备起到下列作用：投影变换参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变；投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及图像变换装置，用于基于由有效区域指定装置指定的有效区域和由投影变换参数计算装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得图像处理设备起到形状信息输入接收装置的作用，用于接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入，并且使得投影变换参数计算装置起到这样一种装置的作用：用于根据已经由形状信息输入接收装置接收到其输入的形状信息计算投影变换参数。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得形状信息输入接收装置起到这样一种装置的作用：用于接收对所显示的图像处理之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得图像处理设备起到显示切换装置的作用，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得图像处理设备起到变换目标区域设定装置的作用，用于将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域，并且使得投影区域计算装置起到这样一种装置的作用：用于计算根据由投影变换参数计算装置计算出来的投影变换参数，通过对由变换目标区域设定装置设定的变换目标区域进行投影变换而获得的投影区域。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得变换目标区域设定装置起到这样一种装置的作用：用于将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得变换目标区域设定装置起到这样一种装置的作用：用于将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的。

此外，按照本发明的另一种实施方式，在该计算机程序中，使得变换目标区域设定装置起到以下作用：第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第一交点；第二交点计算装置，用于计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的；多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的第一交点和由第二交点计算装置计算出来的第二交点而形成的多边形区域；以及用于将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域的装置。

在本发明的实施方式中，根据所计算出来的投影变换参数，计算投影区域，该投影区域是通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的，将所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域，并且根据所指定的有效区域和所计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。从而，不再需要对有效区域之外的多值图像进行投影变换，并且可以缩短处理时间，以便以高速完成图像处理。

此外，接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入，并且根据已经接收到其输入的形状信息计算投影变换参数。从而可以对图像处理之前的多值图像进行投影变换，以便高精度地计算用于修正透视畸变的投影变换参数。

此外，接收形状信息的输入，该信息对所显示的图像处理之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定。从而可以在直观识别接受投影变换的图像处理之前的多值图像的同时，容易地对成像对象在图像处理之前和图像处理之后的形状进行规定。

此外，对图像处理之前的多值图像、图像处理之后的多值图像和接收到其输入的形状信息进行切换和显示。从而可以直观识别成像对象在图像处理之前和图像处理之后的形状信息。

此外，将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域，并且根据所计算出来的投影变换参数，计算通过对与所设定的变换目标区域相对应的图像处理之前的多值图像进行投影变换而获得的投影区域。从而可以抑制在图像处理之后的多值图像中出现不必要的多值图像(虚像)，该不必要的多值图像基于投影变换的预定条件的极性是反极性。同时，不必对与不必要的多值图像(虚像)相对应的图像处理之前的多值图像进行投影变换，并且可以缩短处理时间，以便以高速完成图像处理。

此外，将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。从而可以抑制在图像处理之后的多值图像中出现不必要的多值图像(虚像)，该不必要的多值图像基于投影变换的预定条件的极性是反极性。

此外，将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经接收到其输入的形状信息规定的。从而可以容易地设定包括成像对象的变换目标区域。

此外，计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第一交点，并且计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经接收到其输入的形状信息规定的。计算通过连接由所计算出来的第一交点和所计算出来的第二交点而形成的多边形区域，并将所计算出来的多边形区域设定为变换目标区域。从而可以可靠地抑制在图像处理之后的多值图像中出现不必要的多值图像(虚像)。

按照上述构造，计算投影区域，该投影区域是通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；并且根据所指定的有效区域和由投影变换参数计算装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。从而，不再需要对有效区域之外的区域内的多值图像进行投影变换，并且可以缩短处理时间，以便以高速完成图像处理。此外，通过将包括特定像素的预定区域设定为变换目标区域，可以抑制在图像处理之后的多值图像中出现不必要的多值图像(虚像)，该不必要的多值图像根据投影变换的预定条件的极性是反极性。

附图说明

图1是示意性表示按照本发明第一实施方式的图像处理设备的构造的框图；图2是表示按照本发明第一实施方式的图像处理设备的结构实例的功能框图；图3是表示由按照本发明第一实施方式的图像处理设备中的图像处理部分的主控部分执行的处理步骤的流程图；图4是在图像显示装置中显示的多值图像的示意图；图5A到5C是各自表示用来输入对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的图表和输入方法；图6是表示图像处理之前的多值图像以及图像处理之前的多值图像像素所在的区域与投影区域之间的位置关系的示意图；图7是表示投影区域与图像处理之后的多值图像像素所在的输出区域之间的位置关系的示意图；图8是图像处理之前的多值图像和图像处理之后的多值图像的示意图；图9A和9B是各自表示出现了很大透视畸变的图像处理之前的多值图像和通过修正透视畸变从图像处理之前的多值图像生成的图像处理之后的多值图像的示意图；图10是表示按照本发明第二实施方式的图像处理设备的结构实例的功能框图；图11是表示由按照本发明第二实施方式的图像处理设备中的图像处理部分的主控部分执行的处理步骤的流程图；图12是设有变换目标区域的多值图像的示意图；图13是表示按照本发明第二实施方式的图像处理设备的变换目标区域设定装置的结构实例的功能框图；图14是表示由按照本发明第二实施方式的图像处理设备中的图像处理部分的主控部分执行的设定变换目标区域的处理步骤的流程图；图15是分界线不与图像处理之前的多值图像像素所在的区域的外周线相交的多值图像的示意图；图16是已经计算出第一交点的多值图像的示意图；图17是已经计算出第二交点的多值图像的示意图；图18是已经计算出通过连接第一交点和第二交点形成的多边形区域的多值图像的示意图；图19A和19B是表示设有变换目标区域的图像处理之前的多值图像和图像处理之前的多值图像像素所在的区域与投影区域之间的位置关系的示意图；图20是表示投影区域与图像处理之后的多值图像像素所在的输出区域之间的位置关系的示意图；以及图21是投影变换之后的多值图像的示意图。

具体实施方式

下面参照附图介绍按照本发明的实施方式的图像处理设备。应当注意，在要参照的所有附图中，用相同或类似附图标记指代具有相同或类似结构或功能的单元，并且已经介绍过的那些单元不会再给出详细例子。

(第一实施方式)图1是示意性表示按照本发明第一实施方式的图像处理设备的构造的框图。如图1所示，按照第一实施方式的图像处理设备2与作为用于拍摄多值图像的成像装置的相机1和用于显示所拍摄的多值图像或经过投影变换的多值图像的显示装置3相连。

图像处理设备2配备有由至少CPU(中央处理单元)、LSI等构成的主控部分21、存储器22、存储装置23、输入装置24、输出装置25、通信装置26、辅助存储装置27和上述硬件部件所连接的内部总线28。主控部分21经由内部总线28与如上所述的图像处理设备2的硬件部件相连，并且按照存储在存储装置23中的计算机程序5控制这些硬件部件的操作和执行各种不同的软件功能。存储器22是由诸如SRAM或SDRAM之类的易失性存储器构成的，在存储器22中，在执行计算机程序5的时候会将加载模块提取到存储器22中，并且在执行计算机程序5时创建的临时数据等会存储在存储器22中。

存储装置23由内置固定存储装置(硬盘或闪存)、ROM等构成。存储在存储装置23中的计算机程序5是从存储着诸如节目和数据之类的信息段的诸如DVD、CD-ROM或者闪存之类的便携式记录介质4中下载到辅助存储装置27中的。在执行时，计算机程序5被从存储装置23中提取到存储器22中并且被运行。应当意识到，计算机程序5可以是经由通信装置26从外部计算机下载的计算机程序。

通信装置26与内部总线28相连，并且能够通过与诸如因特网、LAN或WAN之类的外部网络相连接来与外部计算机发送和接收数据。具体来说，存储装置23的构造并不局限于图像处理设备2中的内置型存储装置，而是也可以是经由通信装置26连接的、为外部服务器计算机等配备的诸如硬盘之类的外部记录介质。

输入装置24代表一个宽泛的概念，总体来讲包括各种各样的获取输入信息的装置，除了诸如键盘和鼠标之类的数据输入媒介之外，还包括与液晶面板等集成在一起的触摸板等。输出装置25指的是诸如激光打印机或点式打印机之类的打印装置。

相机(成像装置)1是配备有CCD成像器件的CCD相机等。显示装置3是配备有CRT、液晶平板等的显示装置。诸如相机1和显示装置3之类的部件可以与图像处理设备2集成为一体，也可以分开地设置。外部控制仪器6是经由通信装置26连接的控制装置，并且相当于例如PLC(可编程逻辑控制器)。如本文所使用的那样，外部控制仪器6代表一个宽泛的概念，总的来说包括各种各样的响应于图像处理设备2的图像处理结果执行后处理的装置。

图2是表示按照本发明第一实施方式的图像处理设备2的结构实例的功能框图。在图2中，按照第一实施方式的图像处理设备2包括相机1、执行图像处理设备2的处理的图像处理部分7、存储装置23和输入接收/图像显示部分8。

相机1例如作为数码相机并且拍摄例如作为成像对象的要接受检验的电子元件的图像。相机1获取多值图像并且将该图像输出到图像处理部分7。

图像处理部分7包括形状信息设定装置70、投影变换矩阵计算装置71、投影区域计算装置72、有效区域指定装置73和图像变换装置74。此外，图像处理部分7被构成为包括主控部分21、存储器22、各种接口等等，如图1中所示。图像处理部分7控制形状信息设定装置70、投影变换矩阵计算装置71、投影区域计算装置72、有效区域指定装置73和图像变换装置74的处理操作。

存储装置23作为图像存储器，并且根据需要存储由相机1拍摄的原始多值图像和在图像处理部分7中进行了各种处理之后的多值图像。

输入接收/图像显示部分8包括诸如计算机用监视器之类的显示装置3和诸如鼠标和键盘之类的输入装置24。输入接收部分是例如在显示装置3的显示屏幕上以对话框的形式给出的，并且包括形状信息输入接收装置80。与输入接收部分相邻地设置了图像显示装置81，该图像显示装置81显示图像处理之前的多值图像、图像处理之后的多值图像、形状信息(形状信息输入接收装置80所接收到的输入)。显示切换装置82能够根据输入装置24中接收到的切换指令切换图像处理之前的多值图像、图像处理之后的多值图像和形状信息(形状信息输入接收装置80接收到的输入)，并且在图像显示装置81中显示切换后的屏。

接下来，将介绍图像处理部分7的各个组成部分。

形状信息设定装置70将形状信息设定为要在投影变换矩阵计算装置71中使用的信息，形状信息对成像对象在图像处理之前和图像处理之后的形状进行规定，这可以由用户输入并且由输入接收/图像显示部分8的形状信息输入接收装置80接收。在使用电子元件作为成像对象的情况下，对成像对象形状进行规定的形状信息可以是形状基本上为长方体的电子元件的上表面四个角的坐标值。

应当注意，对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息是用于以下用途的信息：通过使得图像处理之前的多值图像中指定的四个点与图像处理之后的多值图像中指定的四个点相对应来计算投影变换矩阵作为整个多值图像的投影变换参数。成像对象四个角的坐标值不是必须是指定的。通过使用对存在于同一成像平面上的不同形状进行规定的形状信息作为成像对象，可以对包括该成像对象的整个多值图像进行投影变换。此外，在图像处理设备2中，接收对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入并且根据该形状信息一次计算投影变换参数，能够消除在处理图像的时候重新计算投影变换参数的必要性，除非需要进行重新调整。在图像处理的时候不必计算投影变换参数，于是图像处理设备2能够利用一次计算出来的投影变换参数对成像装置所拍摄的多值图像实时进行图像处理。

当形状信息输入接收装置80接收到形状信息的输入时，基于该形状信息(所接收到的输入)，投影变换矩阵计算装置(投影变换参数计算装置)71计算投影变换矩阵，作为用于对图像处理之前的多值图像进行投影变换的预定投影变换参数，以修正透视畸变。

注意，由投影变换矩阵计算装置71计算出来的投影变换矩阵代表将图像处理之后的多值图像坐标变换为图像处理之前的多值图像坐标的投影变换矩阵。与坐标变换相关联的图像处理正常情况下需要预先计算用于将图像处理之后的多值图像坐标(变换目标坐标)变换为图像处理之前的多值图像坐标(变换源坐标)的变换参数。通过预先计算这一变换参数，可以完全指定与图像处理之后的多值图像中的各个像素的坐标相应的图像处理之前的多值图像坐标，从而以高精度进行图像处理，而不会出现诸如图像处理之后的多值图像中存在坐标没有变换的像素(缺陷像素)之类的问题。

投影区域计算装置72计算投影区域，该投影区域是根据投影变换参数计算装置71计算出来的投影变换矩阵的反变换，通过将图像处理之前的多值图像像素所在的区域投影变换为图像处理之后的多值图像像素所在的输出区域而获得的。有效区域指定装置73指定由投影区域计算装置72计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域作为有效区域。应当注意，图像处理之前的多值图像像素所在的区域可以是包括由相机1拍摄的多值图像的所有像素的区域，也可以是仅限于包括存在于由形状信息规定的成像对象的形状内部的像素的预定区域的区域。这里，图像处理之前的多值图像是由相机1拍摄的原始多值图像，而图像处理之后的多值图像是由图像处理部分7在投影变换之后输出的多值图像。

图像变换装置74在由有效区域指定装置73指定的有效区域内，仅仅根据投影变换矩阵进行从图像处理之后的多值图像坐标(变换目的坐标)到图像处理之前的多值图像坐标(变换源坐标)的坐标变换，从而生成修正过透视畸变的图像处理之后的多值图像。可以将由图像变换装置74进行过投影变换之后的多值图像输出到外部控制仪器6，同时在图像显示装置81中将其显示出来。

图3是表示由按照本发明第一实施方式的图像处理设备2中的图像处理部分7的主控部分21执行的处理步骤的流程图。按照本发明第一实施方式的图像处理方法的各个处理步骤是按照存储在图像处理部分7内部的按照本发明的计算机程序5执行的。

在图3中，图像处理部分7的主控部分21获得由相机1拍摄的成像对象的多值图像(步骤S301)。主控部分21接收由用户进行的形状信息的输入，该信息对成像对象在图像处理之前和图像处理之后的形状进行规定(步骤S302)。

图4是在图像显示装置81中显示的多值图像的示意图。图4中所示的多值图像是包括作为成像对象的电子元件40的多值图像，并且显示了对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息41、42。应当注意，形状信息41、42是用于对电子元件40的形状进行规定的信息，并且可以是例如显示屏幕上的四个坐标，这四个坐标对应于形状基本上为长方体的电子元件40的上表面的四个角。此外，在图像显示装置81中显示形状信息41、42的情况下，除了显示屏幕上与电子元件40上表面的四个角相对应的四个坐标以外，还可以显示连接这四个坐标的虚线，以增强直观度。

图5A到5C是为了输入对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息而显示的图表和输入方法。在用于输入对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的时候，会在图像显示装置81中显示图5A中所示的图表51。在图表51中，独立地准备有：用于输入对成像对象在图像处理之前的形状进行规定的形状信息的下拉对话框52a；编辑按钮53a；用于输入对成像对象在图像处理之后的形状进行规定的形状信息的下拉对话框52b；以及编辑按钮53b。

例如，用户用诸如鼠标之类的输入装置24选择下拉对话框52a，以打开下拉列表52c，并且从下拉列表52c中指定″矩形″。用户指定″矩形″，用诸如鼠标之类的输入装置24选择编辑按钮53a，并且用诸如鼠标之类的输入装置24指定图像显示装置81中显示的电子元件40的四个角。除此之外，当从下拉列表52c中指定″矩形″时，用户用诸如鼠标之类的输入装置24如图5B所示的那样指定四个点，并且输入对电子元件40的形状进行规定的四个坐标作为形状信息。此外，当从下拉列表52c中选定″矩形″时，用户用诸如鼠标之类的输入装置24如图5C所示的那样仅仅指定彼此对角的两个点，从而输入四个坐标作为形状信息，这样就对电子元件40的形状进行了规定。

回到图3，当图像处理部分7的主控部分21接收到由用户进行的形状信息(对成像对象在图像处理之前和图像处理之后的形状进行规定的信息)的输入时(步骤S302)，根据该形状信息(所接收到的输入)，主控部分21计算用于对图像处理之前的多值图像进行投影变换的投影变换矩阵，以修正透视畸变(步骤S303)。可以借助具有矩阵元素a到h的投影变换矩阵H将图像处理之前的多值图像的坐标(x’，y’)和图像处理之后的多值图像的坐标(x，y)表达为方程式1和方程式2。应当注意，投影变换矩阵H代表用于进行从图像处理之后的多值图像坐标到图像处理之前的多值图像坐标的坐标变换的投影变换矩阵，该投影变换矩阵是对图像处理之前的多值图像进行投影变换以修正透视畸变所需要的。

[数学公式1] $\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)\≅\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right)\×\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$ (方程式1) $\left.\begin{array}{c}{x}^{\′}=(\mathrm{ax}+\mathrm{by}+c)/(\mathrm{gx}+\mathrm{hy}+1)\\ y^{\′}=(\mathrm{dx}+\mathrm{ey}+f)/(\mathrm{gx}+\mathrm{hy}+1)\end{array}\right\}$ (方程式2)

应当注意，虽然可以使用方程式3中的那样的具有矩阵元素a到i的矩阵来作为投影变换矩阵H，但是在第一实施方式中使用的是方程式1中所示的矩阵，其中除了矩阵元素i以外的矩阵元素的值都被除以矩阵元素i，以减少一个矩阵元素。

[数学公式2] $\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)$ (方程式3)

在步骤S303中，为了计算投影变换矩阵H，将步骤S302中接收的输入，作为对成像对象在图像处理之前的形状进行规定的形状信息的四个坐标(x₁’，y₁’)到(x₄’，y₄’)和作为对成像对象在图像处理之后的形状进行规定的形状信息的四个坐标(x₁，y₁)到(x₄，y₄)，代入到方程式1或方程式2中，并且对方程式4中所示的八个联立方程进行求解，以获得矩阵元素a到h。

[数学公式3]

(方程式4)

方程式1中所示的投影变换矩阵H是用于将图像处理之后的多值图像的坐标(x，y)投影变换为图像处理之前的多值图像的坐标(x’，y’)的矩阵。为了将图像处理之前的多值图像的坐标(x’，y’)投影变换为图像处理之后的多值图像的坐标(x，y)，需要获得投影变换矩阵H的逆矩阵(方程式5)，作为方程式1中所示的投影变换矩阵H的逆矩阵。应当注意，为了获得用于将图像处理之前的多值图像的坐标(x’，y’)变换为图像处理之后的多值图像的坐标(x，y)的投影变换矩阵，并非必须需要通过获得投影变换矩阵H的逆矩阵来计算该矩阵，而是可以从图像处理之后的多值图像的坐标(x，y)与图像处理之前的多值图像的坐标(x’，y’)之间的对应关系直接计算出该矩阵。而且在方程式5中所示的投影变换矩阵H的逆矩阵中，除了矩阵元素i’以外的其它矩阵元素的值都被除以矩阵元素i’，以减少一个矩阵元素。

[数学公式4] $\left(\begin{array}{ccc}{a}^{\′}& b^{\′}& c^{\′}\\ d^{\′}& e^{\′}& f^{\′}\\ g^{\′}& h^{\′}& 1\end{array}\right)$ (方程式5)

回到图3，主控部分21计算投影区域，该投影区域是根据步骤S303中计算出来的投影变换矩阵H的逆变换，通过将图像处理之前的多值图像像素所在的区域投影变换为图像处理之后的多值图像像素所在的输出区域而获得的(步骤S304)。接着，主控部分21指定步骤S304中计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域作为有效区域(步骤S305)。图6是表示图像处理之前的多值图像以及图像处理之前的多值图像像素所在的区域与投影区域之间的位置关系的示意图。如图6中所示，投影区域62是根据投影变换矩阵H的逆变换，通过将图像显示装置81中所显示的并且图像处理之前的多值图像像素所在的区域61投影变换为图像处理之后的多值图像像素所在的输出区域63而获得的。具体来说，可以获得投影区域62四个角的坐标，这四个角的坐标是根据投影变换矩阵H的逆变换，通过将图像处理之前的多值图像像素所在的区域61的四个角的坐标投影变换为图像处理之后的多值图像像素所在的输出区域63获得的。

而且，图7是表示投影区域62与图像处理之后的多值图像像素所在的输出区域63之间的位置关系的示意图。如图7所示，投影区域62与图像处理之后的多值图像像素所在的输出区域63相重叠，并且将该重叠区域指定为有效区域64。图像处理之后的多值图像像素所在的输出区域63是在图像处理部分7中进行了投影变换之后输出的多值图像的显示区域。在第一实施方式中，输出区域63是与图像处理之前的多值图像像素所在的区域61一样宽的区域。

回到图3，主控部分21专门在步骤S305中指定的有效区域64内，根据投影变换矩阵，进行从图像处理之后的多值图像坐标(变换目的坐标)到图像处理之前的多值图像坐标(变换源坐标)的坐标变换(步骤S306)，从而生成修正了透视畸变的图像处理之后的多值图像。图8是图像处理之前的多值图像和图像处理之后的多值图像的示意图。如图8所示，当根据投影变换矩阵H对存在于有效区域64中的像素65的坐标进行投影变换时，获得了图像处理之前的多值图像像素所在的区域61的坐标66，从而存在于有效区域64中的像素65与图像处理之前的多值图像像素所在的区域61的坐标66相对应。因此，按照箭头67所示的顺序，主控部分21按顺序获得图像处理之前的多值图像像素所在的区域61内的坐标，这些坐标是根据投影变换矩阵H，通过对存在于有效区域64中的像素的坐标进行投影变换而获得的，以生成修正了透视畸变的图像处理之后的多值图像。

应当注意，可以原样不动地采用通过根据投影变换矩阵H对有效区域64的像素65进行投影变换而获得的坐标66的最接近的像素作为有效区域64的像素65。为了以较高精度生成图像处理之后的多值图像，对所获得的坐标66附近的像素进行内插并且将其取作有效区域64的像素65。至于内插方法，例如，可以采用对四个最接近的像素进行线性内插的双线性内插，但是本发明并不局限于这种内插方法。

这里，有效区域64表示，在根据投影变换矩阵H从图像处理之前的多值图像生成修正了透视畸变的图像处理之后的多值图像的情况下，图像处理之前的多值图像能够在图像处理之后的多值图像像素所在的输出区域63中显示出来的区域。因此，整个输出区域63中除了有效区域64之外的区域是不存在于图像处理之前的多值图像的区域，并且不需要根据投影变换矩阵H进行投影变换。应当注意，在第一实施方式中，在从图像处理之前的多值图像生成修正了透视畸变的图像处理之后的多值图像的图像处理中使用的投影变换矩阵H，不必根据对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息来加以计算。例如，可以使用通过拍摄印有具有固定间隔的点状图案等的校准图案获得的多值图像来进行校准处理，从而计算出投影变换矩阵。

虽然在第一实施方式中给出的是对在预先获得了有效区域之后生成修正了透视畸变的图像处理之后的多值图像的图像处理步骤的介绍，但是也可以在生成图像处理之后的多值图像的过程中指定有效区域的同时进行图像处理。换句话说，可以通过在图像处理之后生成多值图像的过程中确定图像处理之后的多值图像像素存在于投影区域62的内部还是外部来规定多值图像。当图像处理之后的多值图像像素存在于投影区域62内部时，可以原样不动地采用根据投影变换矩阵H进行投影变换获得的坐标66的最接近的像素作为有效区域64的像素65。当像素存在于投影区域62外部时，可以进行诸如在不进行投影变换的同时将像素值设定为0(零)的处理之类的图像处理。

如上所述，在按照本发明第一实施方式的图像处理设备2中，根据投影变换矩阵H的逆变换，投影区域计算装置72计算投影区域62，该投影区域62是通过将图像处理之前的多值图像像素所在的区域61投影变换到图像处理之后的多值图像像素所在的输出区域63而获得的。有效区域指定装置73指定投影区域62与图像处理之后的多值图像像素所在的输出区域63相重叠的区域作为有效区域64。根据投影变换矩阵，图像变换装置74专门在有效区域64内进行从图像处理之后的多值图像坐标(变换目的坐标)到图像处理之前的多值图像坐标(变换源坐标)的坐标变换，以生成修正了透视畸变的图像处理之后的多值图像。从而，不再需要对有效区域64之外的多值图像进行投影变换，并且可以缩短处理时间，以便以高速完成图像处理。

(第二实施方式)图9A和9B是出现了很大的透视畸变的图像处理之前的多值图像和通过修正透视畸变从图像处理之前的多值图像生成的图像处理之后的多值图像的示意图。图9A是出现了很大的透视畸变并且除了成像对象91之外还出现了远处背景的图像处理之前的多值图像。图9B是通过修正透视畸变从图9A所示的图像处理之前的多值图像生成的图像处理之后的多值图像。如图9B中所示，在该图下侧的多值图像93是不必要的多值图像(虚像)，其基于投影变换的预定条件的极性是反极性。在第二实施方式中，会介绍不需要对作为不必要的多值图像(虚像)的多值图像93进行投影变换的图像处理设备2的构造。注意，与按照第一实施方式的图像处理设备2相同的结构采用相同的附图标记，并且不会对其进行详细介绍。

图10是表示按照本发明第二实施方式的图像处理设备2的结构实例的功能框图。如图10所示，除了配备有变换目标区域设定装置721以外，按照本发明第二实施方式的图像处理设备2具有与图2中所示的按照第一实施方式的图像处理设备2相同的构造。

在图像处理之前的多值图像像素所在的区域内，变换目标区域设定装置721将包括存在于由形状信息(由形状信息输入接收装置80接收到的形状信息的输入)规定的成像对象的形状内的像素的预定区域设定为变换目标区域。在图9A所示的多值图像像素所在的区域61中，包括存在于成像对象91的形状之内的像素的预定区域被设定为变换目标区域。注意，稍后将详细介绍变换目标区域的设定。

根据由投影变换矩阵计算装置71计算的投影变换矩阵H的逆变换，在图像处理之前的多值图像像素所在的区域61内，投影区域计算装置72计算通过将变换目标区域设定装置721设定的变换目标区域投影变换为图像处理之后的多值图像像素所在的输出区域63获得的投影区域。

此外，有效区域指定装置73将，通过将图像处理之前的多值图像的变换目标区域投影变换为图像处理之后的多值图像像素所在的输出区域63获得的投影区域与图像处理之后的多值图像像素所在的输出区域63相重叠的区域，指定为有效区域64。

图11是表示由按照本发明第二实施方式的图像处理设备2中的图像处理部分7的主控部分21执行的处理步骤的流程图。按照本发明第二实施方式的图像处理方法的各个处理步骤是按照存储在图像处理部分7内部的按照本发明的计算机程序5执行的。

如图11所示，除了增加了设定变换目标区域的步骤以外，表示由按照本发明第二实施方式的图像处理设备2中的图像处理部分7的主控部分21执行的处理步骤的流程图包括与图3中所示的表示由按照第一实施方式的图像处理设备2中的图像处理部分7的主控部分21执行的处理步骤的流程图相同的步骤。在与步骤S301相对应的步骤S1101中，图像处理部分7的主控部分21获得由相机1拍摄的多值图像。在与步骤S302相对应的步骤S1102中，主控部分21接收由用户进行的形状信息的输入，该信息对成像对象在图像处理之前和图像处理之后的形状进行了规定。在与步骤S303相对应的步骤S1103中，主控部分21根据形状信息(接收到了该形状信息的输入)对图像处理之前的多值图像进行投影变换，以计算用于修正透视畸变的投影变换矩阵H。应当注意，投影变换矩阵H代表用于进行从图像处理之后的多值图像坐标到图像处理之前的多值图像坐标的坐标变换的投影变换矩阵。在步骤S1104中，图像处理部分7的主控部分21将包括存在于由形状信息(由用户做出该形状信息的输入并且该输入被接收)规定的成像对象91的形状之内的像素的预定区域设定为变换目标区域。

将会进一步介绍获得要被设定为变换目标区域的预定区域的处理。图12是设有变换目标区域的多值图像的示意图。当对图12中所示的图像处理之前的多值图像像素所在的区域61进行投影变换时，图像处理之前的多值图像像素所在的区域61被分成包括多值图像92的区域61a和包括不必要的多值图像(虚像)93的区域61b，如图9B所示。区域61a与区域61b之间的分界线68可以使用方程式5中所示的投影变换矩阵H的逆矩阵由方程式6表示。要注意，通过将区域61a内的坐标(x，y)代入到方程式6中获得的值与通过将区域61b内的坐标(x，y)代入到方程式6中获得的值符号相反。方程式6是投影变换的预定条件。

[数学公式5]g’x+h’y+1＝0           ...(方程式6)

在下文中，将会利用可由方程式6表示的分界线68介绍获得要被设定为变换目标区域的预定区域的处理。图13是表示按照本发明第二实施方式的图像处理设备2的变换目标区域设定装置721的结构实例的功能框图。在图13中，按照第二实施方式的图像处理设备2的变换目标区域设定装置721包括第一交点计算装置721a、第二交点计算装置721b和多边形区域计算装置721c。

第一交点计算装置721a计算根据投影变换矩阵H的逆矩阵的矩阵元素(g’，h’，1)定义的分界线68与图像处理之前的多值图像像素所在的区域61的外周线相交处的第一交点。

第二交点计算装置721b计算，由分界线68分隔开并且其中存在着图像处理之前的多值图像像素的区域61中的、包括存在于由形状信息(由形状信息输入接收装置80接收到了它的输入)规定的成像对象的形状内的像素的区域的外周线彼此相交处的第二交点。

多边形区域计算装置721c计算通过连接由第一交点计算装置721a计算出来的第一交点和由第二交点计算装置721b计算出来的第二交点而形成的多边形区域。将由多边形区域计算装置721c计算出来的多边形区域设定为变换目标区域设定装置721的变换目标区域。

图14是表示由按照本发明第二实施方式的图像处理设备2中的图像处理部分7的主控部分21执行的设定变换目标区域的处理步骤的流程图。在图14中，图像处理部分7的主控部分21确定分界线68是否与图像处理之前的多值图像像素所在的区域61的外周线相交(步骤S1401)。当主控部分21确定分界线68不与图像处理之前的多值图像像素所在的区域61的外周线相交时(步骤S1401：否)，主控部分21将图像处理之前的多值图像像素所在的整个区域61设定为变换目标区域(步骤S1402)。图15是分界线68不与图像处理之前的多值图像像素所在的区域61的外周线相交的多值图像的示意图。如图15所示，当分界线68位于图像处理之前的多值图像像素所在的区域61之外时，分界线68不与图像处理之前的多值图像像素所在的区域61的外周线相交，并且主控部分21将图像处理之前的多值图像像素所在的整个区域61设定为变换目标区域。

当主控部分21确定分界线68与图像处理之前的多值图像像素所在的区域61的外周线相交时(步骤S1401：是)，主控部分21计算分界线68与图像处理之前的多值图像像素所在的区域61的外周线相交处的第一交点(步骤S1403)。图16是已经计算出第一交点的多值图像的示意图。如图16所示，主控部分21计算分界线68与图像处理之前的多值图像像素所在的区域61的外周线相交处的第一交点69、69。

接下来，主控部分21计算，由分界线68分隔开并且其中存在着图像处理之前的多值图像像素的区域61中的、包括存在于由形状信息(在步骤S1102中已经接收到了它的输入)规定的成像对象91的形状内的像素的区域的外周线彼此相交处的第二交点(步骤S1404)。图17是已经计算出第二交点的多值图像的示意图。如图17所示，主控部分21计算，由分界线68分隔开并且其中存在着图像处理之前的多值图像像素的区域61中的、包括存在于成像对象91的形状内的像素的区域61a的外周线彼此相交处的第二交点170、170。要注意，在步骤S1404中，对计算出第二交点170、170的那一侧的区域进行规定的信息的使用并不局限于使用已经在步骤S1102中接收到其输入的形状信息的情况。可以单独接收对区域进行规定的信息的输入，或者可以使用这一信息。例如，相对于分界线68，可以将区域规定为在包括图像中心点的那一侧上的区域，或者可以规定为在具有较大面积的那一侧的区域。此外，图像处理之前的多值图像像素所在的区域61的外周线不必是表示图像边界的线。例如，它可以是由特定的多边形等限定的外周线。

接着，主控部分21计算通过连接在步骤S1403中计算出来的第一交点69、69和在步骤S1404中计算出来的第二交点170、170形成的多边形区域(步骤S1405)。图18是已经计算出通过连接第一交点69、69和第二交点170、170形成的多边形区域的多值图像的示意图。如图18所示，主控部分21计算通过连接第一交点69、69和第二交点170、170形成的多值区域180。步骤S1405中计算的多值区域180是在步骤S1104中设定为变换目标区域190的预定区域。

回到图11，在与步骤S304相对应的步骤S1105中，根据投影变换矩阵H的逆变换，主控部分21计算通过将变换目标区域190投影变换到图像处理之后的多值图像像素所在的输出区域63获得的投影区域62，作为步骤S1104中设定的图像处理之前的多值图像。图19A和19B是表示设有变换目标区域190的图像处理之前的多值图像和图像处理之前的多值图像像素所在的区域61与投影区域62之间的位置关系的示意图。在图19A中，在图像处理之前的多值图像像素所在的区域61中示出了在步骤S1104中设定的变换目标区域190。在图19B中，示出了图像处理之后的多值图像像素所在的输出区域63与投影区域62之间的位置关系，投影区域62是根据投影变换矩阵H的逆变换通过将变换目标区域190投影变换到图像处理之后的多值图像像素所在的输出区域63获得的。

回到图11，在与步骤S305对应的步骤S1106中，主控部分21将步骤S1105中计算出来的投影区域62与图像处理之后的多值图像像素所在的输出区域63相重叠的区域指定为有效区域。图20是表示投影区域62与图像处理之后的多值图像像素所在的输出区域63之间的位置关系的示意图。如图20所示，主控部分21将投影区域62与图像处理之后的多值图像像素所在的输出区域63相重叠的区域指定为有效区域64。

回到图11，在与步骤S306相对应的步骤S1107中，专门在步骤S1106中指定的有效区域64内，根据投影变换矩阵，进行从图像处理之后的多值图像坐标(变换目的坐标)到图像处理之前的多值图像坐标(变换源坐标)的坐标变换。图21是投影变换之后的多值图像的示意图。如图21中所示，按照箭头67所示的顺序，主控部分21按顺序获得图像处理之前的多值图像像素所在的区域61内的坐标，这些坐标是根据投影变换矩阵H，通过对存在于有效区域64中的像素的坐标进行投影变换而获得的，以生成修正了透视畸变的图像处理之后的多值图像。应当注意，在第二实施方式中，用于从图像处理之前的多值图像生成修正了透视畸变的图像处理之后的多值图像的图像处理的投影变换矩阵H，不必根据对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息来加以计算。例如，可以使用通过拍摄印有具有固定间隔的点状图案的校准图案获得的多值图像来进行校准处理，从而计算出投影变换矩阵。

虽然在第二实施方式中给出的是对在预先获得了有效区域之后生成修正了透视畸变的图像处理之后的多值图像的图像处理步骤的介绍，但是也可以在生成图像处理之后的多值图像的过程中指定有效区域的同时进行图像处理。换句话说，可以通过在图像处理之后生成的多值图像的过程中确定图像处理之后的多值图像像素存在于投影区域62的内部还是外部来规定有效区域。当图像处理之后的多值图像像素存在于投影区域62内部时，可以原样不动地采用根据投影变换矩阵H进行投影变换获得的坐标66的最接近的像素作为有效区域64的像素65。当像素存在于投影区域62外部时，可以进行诸如在不进行投影变换的同时将像素值设定为0(零)的处理之类的图像处理。

如上所述，在按照本发明第二实施方式的图像处理设备2中，在图像处理之前的多值图像像素所在的区域61中，包括存在于由形状信息(已经由形状信息输入接收装置80接收到它的输入)规定的成像对象91的形状内的像素的预定区域，被设定为变换目标区域190。计算投影区域62，该投影区域是通过将图像处理之前的多值图像的变换目标区域190投影变换到图像处理之后的多值图像像素所在的输出区域63而获得的。将投影区域62与图像处理之后的多值图像像素所在的输出区域63相重叠的区域指定为有效区域64。从而可以抑制图像处理之后的多值图像中出现多值图像93(图9A中所示的不必要的多值图像(虚像))。同时，不必对图9A中所示的作为不必要的多值图像(虚像)的多值图像93进行投影变换，并且可以缩短处理时间，以便以高速完成图像处理。

此外，在按照本发明第二实施方式的图像处理设备2中，计算根据投影变换矩阵H的逆变换的矩阵元素限定的分界线68与图像处理之前的多值图像像素所在的区域61的外周线相交处的第一交点69、69。计算由分界线68分隔开并且其中存在着图像处理之前的多值图像像素的区域61中的、包括存在于由形状信息规定的成像对象91的形状内的像素的区域的外周线彼此相交处的第二交点170、170。将通过连接第一交点69、69和第二交点170、170形成的多边形区域180设定为变换目标区域190。从而可以可靠地抑制图像处理之后的多值图像中出现多值图像93(不必要的多值图像(虚像))。

Claims (17)

1.一种图像处理设备，该图像处理设备对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，该设备包括：

投影变换参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变；

投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；

有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及

图像变换装置，用于基于由有效区域指定装置指定的有效区域和由投影变换参数计算装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

2.按照权利要求1所述的图像处理设备，包括

形状信息输入接收装置，用于接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入，其中

投影变换参数计算装置根据已经由形状信息输入接收装置接收到其输入的形状信息计算投影变换参数。

3.按照权利要求2所述的图像处理设备，包括

用于显示多值图像的图像显示装置，其中

形状信息输入接收装置接收对图像显示装置中显示的图像处理之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。

4.按照权利要求3所述的图像处理设备，其中图像显示装置配备有显示切换装置，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。

5.按照前述权利要求中的任何一项所述的图像处理设备，包括

变换目标区域设定装置，用于将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域，其中

投影区域计算装置计算根据由投影变换参数计算装置计算出来的投影变换参数，通过对由变换目标区域设定装置设定的变换目标区域进行投影变换而获得的投影区域。

6.按照权利要求5所述的图像处理设备，其中变换目标区域设定装置将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。

7.按照权利要求6所述的图像处理设备，其中变换目标区域设定装置将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的。

8.按照权利要求7所述的图像处理设备，其中

变换目标区域设定装置具有：

第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第一交点；

第二交点计算装置，用于计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的；以及

多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的第一交点和由第二交点计算装置计算出来的第二交点而形成的多边形区域，并且

将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域。

9.一种图像处理方法，该图像处理方法能够对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，该方法包括下列步骤：

计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变；

计算投影区域，该投影区域是根据所计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；

将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及

根据所指定的有效区域和所计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

10.一种计算机程序，该计算机程序能够促使图像处理设备对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，其中使得该图像处理设备起到下列作用：

投影变换参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变；

投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；

有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；和

图像变换装置，用于基于由有效区域指定装置指定的有效区域和由投影变换参数计算装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。

11.按照权利要求10所述的计算机程序，其中

使得图像处理设备起到形状信息输入接收装置的作用，用于接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入，并且

使得投影变换参数计算装置起到这样一种装置的作用：用于根据已经由形状信息输入接收装置接收到其输入的形状信息计算投影变换参数。

12.按照权利要求11所述的计算机程序，其中使得形状信息输入接收装置起到这样一种装置的作用：用于接收对所显示的图像处理之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。

13.按照权利要求12所述的计算机程序，其中使得图像处理设备起到显示切换装置的作用，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。

14.按照前述权利要求10至13中任何一个所述的计算机程序，其中

使得图像处理设备起到变换目标区域设定装置的作用，用于将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域，和

使得投影区域计算装置起到这样一种装置的作用：用于计算根据由投影变换参数计算装置计算出来的投影变换参数，通过对由变换目标区域设定装置设定的变换目标区域进行投影变换而获得的投影区域。

15.按照权利要求14所述的计算机程序，其中使得变换目标区域设定装置起到这样一种装置的作用：用于将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。

16.按照权利要求15所述的计算机程序，其中使得变换目标区域设定装置起到这样一种装置的作用：用于将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的。

17.按照权利要求16所述的计算机程序，其中使得变换目标区域设定装置起到以下作用：

第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第一交点；

第二交点计算装置，用于计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的；

多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的第一交点和由第二交点计算装置计算出来的第二交点而形成的多边形区域；以及

用于将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域的装置。

Images