CN105917380A - 图像处理装置、方法及其程序 - Google Patents

Abstract

本发明提供一种图像处理装置、方法及其程序。通过本发明能够判定从所拍摄的基准图像得到的特定形状候选是否具有在实际空间上对应的形状。从基准图像，由直线包围的形状作为具有矩形的候选而被检测。生成将表示具有矩形的候选的对象物以与基准图像的视角不同的视角拍摄而得到的对象物图像。从以不同的视角拍摄而得到的参考图像中检测到所生成的对象物图像。若被检测到，则该矩形的候选所表示的对象物确定为矩形。

Description

图像处理装置、方法及其程序

技术领域

本发明涉及一种图像处理装置、方法及其程序。

背景技术

图像处理技术中提出有多种技术。例如有如下技术。从多个相机的图像中提取对象，并定义在地表面、三维空间上的尺寸，通过比较对象的高度来判断为相同的技术(专利文献1)。除了正规化的形状信息以外，将截面积与高度、或截面积与体积、或体积与高度等物体的尺寸信息中至少两种信息提供给物体识别神经网络，由此识别物体的技术(专利文献2)。从立体相机图像的对应点中选择4点，求出包含这些点的三维平面信息，由三维信息求出倾斜角度，并以成为正面的方式进行校正的技术(专利文献3)。

以往技术文献

专利文献

专利文献1：日本特开2000-20728号公报

专利文献2：日本特开平7-318331号公报

专利文献3：日本特开2010-198554号公报

发明的概要

发明要解决的技术课题

当在图像上有如长方形、平行四边形等以直线包围的形状时，对于计算该形状的纵横比而言能够相对简单地求出。然而，当通过摄像而得到的图像中包含如长方形、平行四边形等以直线包围的形状时，只要知道尺寸，就可以知道它们的形状，但根据视角，有时无法判定该形状所表示的实际空间上的对象物实际上也是长方形或平行四边形等。这种情况在专利文献1至3中也并未考虑到。

本发明的目的在于，即使不知道通过拍摄而得到的图像中所包含的以直线包围的形状在实际空间上的尺寸，也能够判定实际上是否具有这种形状。

用于解决技术课题的手段

基于本发明的图像处理装置，其特征在于，具备：基准图像输入机构，输入通过拍摄而得到的基准图像；参考图像输入机构，输入以与拍摄基准图像的视角不同的视角拍摄而得到的参考图像；特定形状候选检测机构，从由基准图像输入机构输入的基准图像，将由直线包围的形状(将三角形、矩形、平行四边形、五角形、其他多角形等由直线包围的形状称为特定形状。)推定为具有特定的形状(例如矩形)的特定形状候选来进行检测；虚拟对象物信息生成机构，生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将通过特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的(包括坐标、虚拟对象物本身。)；虚拟对象物图像检测机构，利用通过虚拟对象物信息生成机构生成的虚拟对象物信息，从由参考图像输入机构输入的参考图像中，检测虚拟对象物图像；形状判定机构，根据通过虚拟对象物图像检测机构检测到虚拟对象物图像，将通过特定形状候选检测机构检测到的特定形状候选判定为具有特定的形状的特定形状；生成控制机构，根据通过虚拟对象物图像检测机构未检测到虚拟对象物图像，控制虚拟对象物信息生成机构以生成对通过改变虚拟对象物图像的尺寸或位置的至少一个而得到的虚拟对象物图像进行特定的虚拟对象物信息；以及反复控制机构，反复进行虚拟对象物图像检测机构中的检测处理、形状判定机构中的判定处理及生成控制机构中的控制处理。

本发明还提供一种图像处理方法。即，该方法中，基准图像输入机构输入通过拍摄而得到的基准图像；参考图像输入机构输入以与拍摄基准图像的视角不同的视角拍摄而得到的参考图像；特定形状候选检测机构从由基准图像输入机构输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测；虚拟对象物信息生成机构生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将通过特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的；虚拟对象物图像检测机构利用通过虚拟对象物信息生成机构生成的虚拟对象物信息，从由参考图像输入机构输入的参考图像中，检测虚拟对象物图像；形状判定机构根据通过虚拟对象物图像检测机构检测到虚拟对象物图像，将通过特定形状候选检测机构检测到的特定形状候选判定为具有特定的形状的特定形状；生成控制机构根据通过虚拟对象物图像检测机构未检测到虚拟对象物图像，控制虚拟对象物信息生成机构以生成对通过改变虚拟对象物图像的尺寸或位置的至少一个而得到的虚拟对象物图像进行特定的虚拟对象物信息；反复控制机构反复进行虚拟对象物图像检测机构中的检测处理、形状判定机构中的判定处理及生成控制机构中的控制处理。

本发明还提供一种控制图像处理装置的计算机的程序。也可以提供储存这种程序的记录介质。

还可以具备：校正机构，将通过形状判定机构判定为具有特定的形状的特定形状校正为从正面拍摄对象物时得到的形状。

虚拟对象物信息生成机构例如为当已知对象物的尺寸时，根据预先设定的一个或多个尺寸生成虚拟对象物信息的机构。

还可以具备：角度计算机构，计算在实际空间中对象物的轮廓所示出的角度；及特定形状确定机构，根据通过角度计算机构计算的角度确定通过特定形状候选检测机构检测到的特定形状候选中作为对象的特定形状候选。此时，虚拟对象物信息生成机构例如为生成对虚拟对象物图像进行特定的虚拟对象物信息的机构，所述虚拟对象物信息是将通过特定形状确定机构确定的特定形状所表示的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的。

还可以具备：状态确定机构，在形状判定机构中判定的特定形状为多个时，确定多个特定形状是处于同一平面上、还是处于平行平面上、或处于垂直的平面上。

特定的形状例如为三角形、矩形、梯形或平行四边形。

还可以具备拍摄基准图像的第1摄像装置及拍摄参考图像的第2摄像装置。基准图像输入机构及参考图像输入机构可以是1个摄像装置。此时，输入通过摄像装置的拍摄而得到的基准图像及参考图像。

发明效果

根据本发明，从通过拍摄而得到的基准图像，由直线包围的形状(例如，三角形、矩形、平行四边形、梯形等)被推定为具有特定的形状的特定形状候选(例如，矩形)而被检测到。生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将被检测到的特定形状候选所表示的实际空间上的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的(可以是坐标、虚拟对象物图像本身)。利用生成的虚拟对象物信息，从以不同的视角拍摄而得到的参考图像中，若检测到虚拟对象物图像，则被检测到的特定形状候选可判定为具有特定的形状的特定形状。若特定形状候选为具有特定的形状的特定形状，则虚拟对象物图像理应从参考图像被检测出，因此从参考图像检测到虚拟对象物图像时，可将该特定形状候选判定为具有特定的形状的特定形状，即使在实际空间上，也可判定为具有这种特定形状。若未检测到虚拟对象物图像，则以改变虚拟对象物图像的尺寸或位置的至少一个的方式生成对虚拟对象物图像进行特定的虚拟对象物信息。利用生成的虚拟对象物信息，从参考图像中反复进行虚拟对象物图像的检测及形状判定。即使不知道实际空间上的尺寸，也能够判定在实际空间上具有特定的形状的特定形状。

附图说明

图1是图像处理装置的电结构的一例。

图2是实际空间的一例。

图3是基准图像的一例。

图4是参考图像的一例。

图5是表示图像处理装置的处理顺序的流程图。

图6是表示图像处理装置的处理顺序的流程图。

图7示出从基准图像检测以直线包围的形状的情况。

图8是虚拟对象物图像的一例。

图9示出拍摄对象物的情况。

图10是表示图像处理装置的处理顺序的一部分的流程图。

图11是表示图像处理装置的处理顺序的流程图。

图12是表示图像处理装置的处理顺序的流程图。

图13示出拍摄对象物的情况。

图14是表示图像处理装置的处理顺序的流程图。

具体实施方式

图1是表示本发明的实施例的图，且表示图像处理装置的电结构的框图。

图像处理装置是如智能手机一样自由携带的装置，但也可以设置在屋外。

图像处理装置的整体的动作由CPU9集中控制。

图像处理装置包括第1相机(基准图像输入机构)1及第2相机(参考图像输入机构)2。第1相机1是将通过拍摄而得到的基准图像输入到图像处理装置的相机，第2相机2是将以与基准图像不同的视角拍摄而得到的参考图像输入到图像处理装置的相机。即便第1相机1及第2相机2的至少一个没有设置于图像处理装置，只要基准图像及参考图像被输入到图像处理装置即可。例如，可以利用一台相机以不同的视角拍摄两次，从而得到基准图像与参考图像。图像处理装置中也可以不设置相机。

图像处理装置中设置有显示装置3。该显示装置3的显示画面上形成有触摸面板4。来自触摸面板4的指示被输入到CPU9。并且，图像处理装置中设置有用于存储数据的存储器5，用于经由互联网等网络而进行连接的通信装置6，及存储卡接口7。储存有后述的控制处理的程序的存储卡8经由存储卡接口7被读取。如此，被读取的程序被安装到图像处理装置。但是，即使程序没有储存在如存储器卡8那样的便携式记录介质中，也可以将经由网络发送的程序在通信装置6中进行接收，以使接收的程序被安装到图像处理装置。

图2是屋外的景色的一例。

沿着道路27建造有第1建筑物10及第2建筑物20。实际空间上的第1建筑物10的侧壁为平行四边形，正面的壁12及屋顶13为矩形，背面的壁14从背面观察为矩形。并且，实际空间上的第2建筑物20的壁21及24为矩形，但房顶的侧面22为正三角形，房顶的正面23为矩形。这种景色是利用视角不同的上述第1相机1及第2相机2拍摄而得到的。

图3是通过利用第1相机1的拍摄而得到的图像(称为基准图像)的一例。

基准图像包含第1建筑物图像10A、第2建筑物图像20A及道路图像27A。第1建筑物图像10A、第2建筑物图像20A及道路图像27A与图2所示的第1建筑物10、第2建筑物20及道路27对应。第1建筑物图像10A的侧面的壁图像11A、正面的壁图像12A及背面的壁图像14A分别与图2所示的第1建筑物10的侧面的壁11、正面的壁12及背面的壁14对应，第2建筑物图像20A的侧面的壁图像21A、正面的壁图像24A、房顶的正面图像23A及房顶的侧面图像22A分别与图2所示的第2建筑物20的侧面的壁21、正面的壁24、房顶的正面23及房顶的侧面22对应。

图4是通过利用第2相机2的拍摄而得到的图像(称为参考图像)的一例。

与基准图像相同，参考图像包含第1建筑物图像10B、第2建筑物图像20B及道路图像27B。第1建筑物图像10B、第2建筑物图像20B及道路图像27B与图2所示的第1建筑物10、第2建筑物20及道路27对应。第1建筑物图像10B的侧面的壁图像11B、正面的壁图像12B及背面的壁图像14B分别与图2所示的第1建筑物10的侧面的壁11、正面的壁12及背面的壁14对应，第2建筑物图像20B的侧面的壁图像21B、正面的壁图像24B、房顶的正面图像23B及房顶的侧面图像22B分别与图2所示的第2建筑物20的侧面的壁21、正面的壁24、房顶的正面23及房顶的侧面22对应。

第1相机1与第2相机2是以视角不同的方式配置于图像处理装置1，因此通过第1相机1的拍摄而得到的基准图像(参考图3)与通过第2相机2的拍摄而得到的参考图像(参考图4)的视角有所不同。

图5及图6是表示图像处理装置1的处理顺序的流程图。

该处理顺序判定表示实际空间上具有矩形(特定的形状)的特定形状(如三角形、矩形、平行四边形、梯形、正方形、五角形以上的多角形那样将以直线包围的形状称为特定形状。)的对象物的对象物图像是否包含于基准图像，具体而言，判定表示平行四边形的对象物的对象物图像是否包含于基准图像。

首先，从通过拍摄而得到的基准图像20A通过CPU2检测直线(步骤31)。接着，通过CPU2检测被检测到的直线的交点(步骤32)。另外，将由直线包围的矩形(特定形状)作为平行四边形候选(具有特定的形状的特定形状候选)来检测(步骤33)。

图7是检测出的平行四边形候选(特定形状候选)的一例。

从包含于图3的基准图像的第1建筑物图像10A的侧面的壁11A、正面的壁12A及背面的壁14A，将平行四边形候选图像11C、12C及14C推定为平行四边形候选来检测。并且，从包含于图3的基准图像的第2建筑物图像20A的侧面的壁图像21A、正面的壁图像24A及房顶的正面的图像23A，将平行四边形候选图像24C、21C及23C通过CPU9推定为平行四边形候选来进行检测(将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测。特定形状候选检测机构)。

若检测到平行四边候选图像11C、12C、14C、21C、23C及24C，则可推定这些平行四边形候选图像11C、12C、14C、21C、23C及24C在实际空间上所表示的平行四边形的形状和方向(步骤34)。关于该推定的详细内容将进行后述。

接着，假设平行四边形候选图像11C、12C、14C、21C、23C及24C在实际空间上所表示的对象物的尺寸及至对象物的距离(步骤35)。对象物的尺寸可被认为是成为对象物的物体，例如按照建筑物、汽车、标志、号牌、书等由一般的尺寸进行假设。关于至对象物的距离也相同。关于如号牌或书那样预先有尺寸规格的物体，优选由通过设备保持的尺寸规格的信息进行设定。

另外，通过CPU9生成虚拟对象物信息(步骤36)(虚拟对象物信息生成机构)。虚拟对象物信息是对将被检测到的平行四边形候选图像(特定形状候选图像)所表示的对象物通过第2相机2拍摄时得到的虚拟对象物图像进行特定的信息。虚拟对象物信息可以是虚拟对象物图像本身，也可以是对虚拟对象物图像的位置、尺寸进行特定的坐标。该实施例中，作为虚拟对象物信息可利用虚拟对象物图像。

图8是虚拟对象物图像的一例。

虚拟对象物图像11D、12D、14D、21D、23D及24D是将平行四边形候选图像11C、12C、14C、21C、23C及24C假设为拍摄平行四边形的对象物而得到的图像的情况下，从第2相机2的摄影角度，拍摄这些平行四边形的对象物时得到的图像。

如此生成的虚拟对象物图像11D、12D、14D、21D、23D及24D是否包含于图4所示的参考图像中的检测处理通过CPU9进行(步骤37)(虚拟对象物图像检测机构)。虚拟对象物图像11D、12D、14D、21D、23D及24D中，若从参考图像中检测到任一虚拟对象物图像(步骤38中是)，与被检测到的虚拟对象物图像对应的平行四边形候选图像所表示的对象物通过CPU9确定为平行四边形(特定形状)(步骤39)(形状判定机构)。例如，若从图2的参考图像中检测到虚拟对象物图像11D(第2建筑物10的侧面的壁11为平行四边形，因此检测到第2建筑物的图像10B的侧面的壁图像11B)，与该虚拟对象物图像11D对应的实际空间上的对应物(第1建筑物20的侧壁11A)判断为平行四边形。仿射变换确定为平行四边形的平行四边形候选图像11D，得到从正面拍摄与该平行四边形候选图像对应的对象物时得到的经校正的形状的图像(步骤40)(校正机构)。例如，通过仿射变换而得到从正面拍摄图2所示的第1建筑物10的侧壁11时得到的图像。并且，可以将与确定为平行四边形的侧壁11对应的侧壁图像11A(参考图3)以认为是平行四边形的方式进行显示(例如，以确定的颜色进行包围)，也可以记录坐标、面积、边长等。

从图4所示的参考图像中未检测到虚拟对象物图像时(步骤38中否)，通过CPU9改变对象物的尺寸与至对象物的距离的假设(步骤41)。由此，使得图8所示的虚拟对象物图像12D、14D、21D、23D及24D的尺寸、位置改变(生成控制机构)。具有多个对象物，且预先知道这些的尺寸时，生成与各个对象物的尺寸对应的虚拟对象物图像(信息)。直至超过所设想的对象物的尺寸及距离(步骤42中否)，反复进行从步骤37的处理(虚拟对象物图像检测机构中的检测处理、形状判定机构中的判定处理及生成控制机构中的控制处理)(反复控制机构)。在这些反复过程中，从图4所示的参考图像中检测到与虚拟对象物图像12D、14D、21D、23D及24D对应的图像部分，与这些虚拟对象物图像12D、14D、21D、23D及24D对应的实际空间上的对应物12、14、21、23及24也被判断为平行四边形。

超过所设想的对象物的尺寸及距离的平行四边形候选确定为不是平行四边形(特定形状候选)(步骤42中是，步骤43)。

图9是用于说明推定实际空间上的平行四边形(特定形状)的处理的图。

例如，若通过内置于第1相机1的图像传感器70拍摄到第1建筑物10的侧壁11，则表示该壁11的光学图像通过第1相机1的成像透镜71(焦点距离f)成像于图像传感器70的受光面上。图像传感器70的受光面上形成有侧壁11的图像11E。

将图像传感器70上所形成的侧壁11的图像11E的四角的坐标设为α＝(u1,v1)、β＝(u2,v2)、γ＝(u3,v3)及δ＝(u4,v4)。这些四角的坐标α、β、γ及δ与实际空间上的侧壁11的四角a、b、c及d对应。若将侧壁11的图像11E的中心坐标设为(u0，v0)，则实际空间上的四角a、b、c及d的坐标a＝(x1,y1,z1)、b＝(x2,y2,z2)、c＝(x3,y3,z3)及d＝(x4,y4,z4)成为如下。其中，A、B、C及D为系数(倍率)。

x1＝A(u1-u0)，y1＝A(v1-v0)，z1＝Af

x2＝B(u2-u0)，y2＝B(v2-v0)，z2＝Bf

x3＝C(u3-u0)，y3＝C(v3-v0)，z3＝Cf

x4＝D(u4-u0)，y4＝D(v4-v0)，z4＝Df

实际空间上的四角a、b、c及d存在于系数A、B、C及D为某一常数的某处，因此实际空间上的四角a、b、c及d为平行四边形时，式1成立。

[数式1]

从式1及上述实际空间上的四角a、b、c及d的坐标的关系求出系数的关系B/A、C/A及D/A。由于系数A并不是唯一的，因此无法确定以四角a、b、c及d规定的侧壁11的尺寸及至侧壁11的距离，但可确定该侧壁11的方向。

图10是表示变形例的图，且示出图像处理装置的处理顺序的一部分。

若推定出实际空间上的平行四边形(特定形状)的形状及方向(图5步骤34)，则可计算实际空间上的对象物的轮廓所示出的角度(图9步骤61)(角度计算机构)。例如，计算出第1建筑物21的壁的轮廓所示出的角度。判断计算出的角度是否具有找出的特定形状的角度(步骤62)。例如，只找出矩形的特定形状时，判断是否具有直角。若不具有这种角度(步骤62中否)，则该平行四边形候选确定为不是矩形(图6步骤43)。若具有这种角度(步骤62中是)，则进行图6步骤35以后的处理，且检测到矩形(特定形状确定机构)。

特定形状为正三角形时，能够如下求出正三角形的方向。

图11及图12是表示图像处理装置的另一处理顺序的流程图，与图5及图6所示的处理顺序对应。图11或图12中，对与图5或图6所示的处理相同的处理标注相同符号并省略说明。

图5及图6所示的处理是检测平行四边形的处理，但图11及图12是检测正三角形的处理。

如上述从基准图像(参考图3)进行直线及交点的检测(步骤31、32)，将得到的三角形推定为正三角形候选来检测(步骤33A)。如后述，推定正三角形的形状与方向(步骤34A)。

进行与上述处理同样的处理，关于正三角形与被确定的正三角形候选，通过由检测到的正三角形候选特定的对象物图像以从正面拍摄的方式进行仿射变换(步骤39A、40A)。并且，关于其他的正三角形候选确定为不是正三角形(步骤43A)。

图13示出拍摄正三角形的房顶的侧面22的情况。

与上述同样地，若通过内置于第1相机1的图像传感器70进行拍摄，则表示该房顶的侧面22的光学图像通过第1相机1的成像透镜71成像于图像传感器70的受光面上。图像传感器70的受光面上形成有房顶的侧面22的图像22E。

将图像传感器70上所形成的侧壁26的图像26A的3个角的坐标设为α1、β1及γ1。这3个角的坐标α1＝(u11,v11)、β1＝(u12,v12)及γ1＝(u13,v13)与实际空间上的侧壁26的3个角a1、b1及c1对应。将侧壁26的图像26A的中心坐标设为(u10,v10)，则实际空间上的坐标a1＝(x11,y11,z11)、b1＝(x12,y12,z12)、c1＝(x13,y13,z13)成为如下。其中，A1，B1及C1为系数(倍率)。

x11＝A1(u11-u10)，y11＝A1(v11-v10)，z11＝A1×f

x12＝B1(u12-u10)，y12＝B1(v12-v10)，z12＝B1×f

x13＝C1(u13-u10)，y13＝C1(v13-v10)，z13＝C1×f

如上所述，实际空间上的3个角a1、b1及c1存在于系数A1、B1及C1为某一常数的某处，因此实际空间上的3个角a1、b1及c1为正三角形时，式2及式3成立。

[数式2]

[数式3]

从式2及式3以及上述实际空间上的3个角a1、b1及c1的坐标的关系求出系数的关系B1/A1及C1/A1。系数A1并不是唯一的，因此无法确定以3个角a1、b1及c1规定的侧壁26的尺寸及至侧壁26的距离，但可确定该侧壁26的方向。无论图像26A是否为正三角形都可以确定侧壁26方向。

图14是表示变形例的图，且表示图像处理装置1的处理顺序的流程图。该处理顺序是在图6等处理结束后进行的，当确定的平行四边形、矩形、正三角形等特定形状存在多个时，检测多个特定形状呈直角、或平行、或同一平面。

多个特定形状中，选择一个特定形状(步骤81)，选择被选择的一个特定形状以外的另一个特定形状(步骤82)。计算出这两个特定形状所表示的在实际空间中的对象物所成的角(步骤83)。通过检测实际空间中的对象物的方向可知如上述所成的角。

若两个特定形状所表示的实际空间中的对象物所成的角为直角(步骤84中是)(状态确定机构)，将这些两个对象物作为直角的组进行列表化(步骤85)。

若两个特定形状所表示的实际空间中的对象物所成的角不是直角(步骤84中否)，则可确认到是否平行(步骤86)(状态确定机构)。若为平行(步骤86中是)，进一步可确认到是否处于同一平面(步骤87)(状态确定机构)。若为同一平面，则作为该两个特定形状所表示的实际空间中的对象物处于同一平面，可将这些两个对象物作为同一平面的组进行列表化(步骤88)。若不是同一平面(步骤87中否)，则将这些两个对象部作为平行平面的组进行列表化(步骤89)。

若这样进行列表化，则该列表显示于显示装置3，且记录于存储器5(步骤90)。

符号说明

1-第1相机(基准图像输入机构)，2-第2相机(参考图像输入机构)，9-CPU(特定形状候选检测机构、虚拟对象物信息生成机构、虚拟对象物图像检测机构、形状判定机构、校正机构、控制机构、角度计算机构、特定形状确定机构、状态确定机构)。

Claims (10)

1.一种图像处理装置，其具备：

基准图像输入机构，输入通过拍摄而得到的基准图像；

参考图像输入机构，输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考图像；

特定形状候选检测机构，从由上述基准图像输入机构输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测；

虚拟对象物信息生成机构，生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚拟对象物图像是将通过上述特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的；

虚拟对象物图像检测机构，利用通过上述虚拟对象物信息生成机构生成的虚拟对象物信息，从由上述参考图像输入机构输入的参考图像中，检测上述虚拟对象物图像；

形状判定机构，根据通过上述虚拟对象物图像检测机构检测到上述虚拟对象物图像这一情况，将通过上述特定形状候选检测机构检测到的特定形状候选判定为具有上述特定的形状的特定形状；

生成控制机构，根据通过上述虚拟对象物图像检测机构未检测到上述虚拟对象物图像这一情况，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺寸或位置的至少一个而得到的上述虚拟对象物图像进行确定的虚拟对象物信息；以及

反复控制机构，反复进行上述虚拟对象物图像检测机构中的检测处理、上述形状判定机构中的判定处理及上述生成控制机构中的控制处理。

2.根据权利要求1所述的图像处理装置，其还具备：

校正机构，将通过上述形状判定机构判定为具有上述特定的形状的特定形状校正为从正面拍摄上述对象物时得到的形状。

3.根据权利要求1或2所述的图像处理装置，其中，

当已知上述对象物的尺寸时，上述虚拟对象物信息生成机构根据预先设定的一个或多个尺寸生成上述虚拟对象物信息。

4.根据权利要求1至3中任一项所述的图像处理装置，其还具备：

角度计算机构，计算在实际空间中上述对象物的轮廓所示出的角度；及

特定形状确定机构，根据通过上述角度计算机构计算的角度确定通过上述特定形状候选检测机构检测到的特定形状候选中作为对象的特定形状候选，

上述虚拟对象物信息生成机构生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚拟对象物图像是将通过上述特定形状确定机构确定的特定形状所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的。

5.根据权利要求1至4中任一项所述的图像处理装置，其具备：

状态确定机构，在上述形状判定机构中判定的特定形状为多个时，确定多个特定形状是处于同一平面上、还是处于平行平面上、或处于垂直的平面上。

6.根据权利要求1至5中任一项所述的图像处理装置，其中，

上述特定的形状为三角形、矩形、梯形或平行四边形。

7.根据权利要求1至6中任一项所述的图像处理装置，其中，

上述基准图像输入机构为拍摄上述基准图像的第1摄像装置，

上述参考图像输入机构为拍摄上述参考图像的第2摄像装置。

8.根据权利要求1至6中任一项所述的图像处理装置，其中，

上述基准图像输入机构及上述参考图像输入机构为1个摄像装置，

且输入通过上述摄像装置的拍摄而得到的上述基准图像及上述参考图像。

9.一种图像处理方法，其中，

基准图像输入机构输入通过拍摄而得到的基准图像，

参考图像输入机构输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考图像，

特定形状候选检测机构从由上述基准图像输入机构输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测，

虚拟对象物信息生成机构生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚拟对象物图像是将通过上述特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的，

虚拟对象物图像检测机构利用通过上述虚拟对象物信息生成机构生成的虚拟对象物信息，从由上述参考图像输入机构输入的参考图像中，检测上述虚拟对象物图像，

形状判定机构根据通过上述虚拟对象物图像检测机构检测到上述虚拟对象物图像这一情况，将通过上述特定形状候选检测机构检测到的特定形状候选判定为具有上述特定的形状的特定形状，

生成控制机构根据通过上述虚拟对象物图像检测机构未检测到上述虚拟对象物图像这一情况，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺寸或位置的至少一个而得到的上述虚拟对象物图像进行确定的虚拟对象物信息，

反复控制机构反复进行上述虚拟对象物图像检测机构中的检测处理、上述形状判定机构中的判定处理及上述生成控制机构中的控制处理。

10.一种控制图像处理装置的计算机的计算机可读取的程序，其以如下方式控制图像处理装置的计算机：

输入通过拍摄而得到的基准图像，

输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考图像，

从已输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来检测，

生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将检测到的特定形状候选所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的，

利用生成的虚拟对象物信息，从已输入的参考图像中，检测上述虚拟对象物图像，

根据检测到上述虚拟对象物图像，将被检测到的特定形状候选判定为具有上述特定的形状的特定形状，

根据未检测到上述虚拟对象物图像，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺寸或位置的至少一个而得到的上述虚拟对象物图像进行特定的虚拟对象物信息，

反复进行检测上述虚拟对象物图像的处理、上述形状判定的处理及上述生成控制的处理。