CN104160700B - 相机位置姿态评估设备和相机位置姿态评估方法 - Google Patents

相机位置姿态评估设备和相机位置姿态评估方法 Download PDF

Info

Publication number
CN104160700B
CN104160700B CN201380012264.2A CN201380012264A CN104160700B CN 104160700 B CN104160700 B CN 104160700B CN 201380012264 A CN201380012264 A CN 201380012264A CN 104160700 B CN104160700 B CN 104160700B
Authority
CN
China
Prior art keywords
resolution
destination object
point
rate
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380012264.2A
Other languages
English (en)
Other versions
CN104160700A (zh
Inventor
池田浩雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN104160700A publication Critical patent/CN104160700A/zh
Application granted granted Critical
Publication of CN104160700B publication Critical patent/CN104160700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

提供一种相机位置姿态评估设备，该相机位置姿态评估设备能够从在图像中出现的对象在什么程度上适合用于图像处理的视角计算指示对相机的状态的评估的值。分辨率评估装置71从分辨率的视角计算与目标区域中的每个位置匹配的第一适合率。注视点角度评估装置72计算与目标区域中的每个位置匹配的第二适合率。目标区域评估装置73从目标对象视野区域与目标区域如何重叠的视角计算第三适合率。全面评估装置74基于与目标区域中的每个位置匹配的第一适合率、与目标区域中的每个位置匹配的第二适合率和第三适合率计算指示相机的状态在什么程度上适合于图像处理的评估指标。

Description

相机位置姿态评估设备和相机位置姿态评估方法
技术领域
本发明涉及一种相机位置姿态评估设备、相机位置姿态评估方法和相机位置姿态评估程序，并且更具体地涉及一种计算指示相机的状态的评估的值的相机位置姿态评估设备、相机位置姿态评估方法和相机位置姿态评估程序。
背景技术
专利文献1公开一种从多个相机选择具有与取景器的视野相似的视野的相机的相机选择设备。在专利文献1中公开的该设备评估在取景器和相机的视点的位置和方向之间的关系并且选择具有与取景器的视野相似的视野的相机。更具体而言，在专利文献1中公开的该设备计算取景器的位置P、相机注视点位置和视点Q形成的三角形的面积以及在相机的光轴中心矢量与矢量PQ之间形成的角度。另外，在专利文献1中公开的该设备基于面积和角度的评估值选择具有与取景器的视野相似的视野的相机。
另外，专利文献2公开一种使用被分辨率不同的两个相机捕获的图像来计算两个相机之一的位置和姿态的位置姿态测量方法。
进而另外，非专利文献1公开一种基于相机获得的图像计算相机参数的技术。
引用列表
专利文献
PLT1：JP-A-2005-260731(例如第[0020]和[0021]段以及图2)
PLT2：JP-A-2008-70267(例如第[0025]、[0026]和[0099]段以及 图1和3)
非专利文献
NPL1：Roger Y.TSAI,“A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology Using Off-the-Shelf TV Cameras andLenses”,IEEE JOURNAL OF ROBOTICS AND AUTOMATION,VOL.RA-3,NO.4 AUGUST 1987,pp.323-344
发明内容
技术问题
在专利文献1中公开的该设备的目的是选择具有与取景器的视野相似的视野的相机。因此，在专利文献1中公开的该设备计算指示在相机的视野与取景器的视野之间的相似性的评估值。
然而，在相机捕获在图像捕获目标区域中存在的对象的图像时，在一些情况下优选调整相机的位置和姿态以使得这一对象适合于图像处理而出现在图像中。在这些情况下，从对象在什么程度上适合于图像处理而出现在图像中的视角来看，优选计算包括位置和姿态的相机状态在什么程度上优选的评估值。图像处理例如包括在图像中检测对象的检测处理和不仅在图像中检测对象而且标识对象的标识处理。然而，图像处理不以任何方式限于这些示例。
例如，在专利文献1中公开的三角形的面积是表示在取景器的视野与相机的视野之间的相似性的评估值，因此从对象在什么程度上适合于图像处理而出现在图像中的视角来看不适合作为指示对相机状态的评估的值。
因此，本发明的目的是提供一种可以计算从对象在什么程度上适合于图像处理而出现在图像中的视角指示相机状态评估的值的相机位置姿态评估设备、相机位置姿态评估方法和相机位置姿态评估程序。
对问题的解决方案
根据本发明的一种相机位置姿态评估设备具有：分辨率评估装置和注视点角度评估装置中的至少一个评估装置，分辨率评估装置根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置处的目标对象的图像而获得的图像中的目标对象的分辨率，分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且注视点角度评估装置根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率；目标区域评估装置，导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率，目标对象视野区域是如下位置的汇集，这些位置是在实际空间中的地面上与在图像中的像素位置交会的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中；以及全面评估装置，基于与在目标区域中的每个位置匹配的第一适合率和在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率导出指示相机的状态在什么程度上适合于图像处理的评估指标。
另外，根据本发明的一种相机位置姿态评估设备具有：分辨率评估装置，分辨率评估装置被给予从通过捕获被布置在目标区域中的每个位置处的目标对象的图像而获得的图像而获取的在图像中的目标对象的分辨率和指示目标对象的整体是否处于图像中的信息，根据定义在分辨率与指示图像处理的适合性的适合率之间的关系的分辨率评估函数评估分辨率，并且由此导出与在目标区域中的每个位置匹配的适合率，其中分辨率评估装置在目标对象的整体处于图像中时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数 的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出适合率。
另外，根据本发明的一种相机位置姿态评估方法具有：分辨率评估步骤和注视点角度评估步骤中的至少一个评估步骤，分辨率评估步骤根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且注视点角度评估步骤根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率；目标区域评估步骤，导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率，目标对象视野区域是如下位置的汇集，这些位置是在实际空间中的地面上与在图像中的像素位置交会的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中；以及全面评估步骤，基于与在目标区域中的每个位置匹配的第一适合率和在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率导出指示相机的状态在什么程度上适合于图像处理的评估指标。
进而另外，根据本发明的一种相机位置姿态评估程序使计算机执行：分辨率评估处理和注视点角度评估处理中的至少一个评估处理，分辨率评估处理根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置处的目标对象的图像而获得的图像中的目标对象的分辨率，分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配 的第一适合率，并且注视点角度评估处理根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置处的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率；目标区域评估处理，导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率，目标对象视野区域是如下位置的汇集，这些位置是在实际空间中的地面上与在图像中的像素位置交会的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中；以及全面评估处理，基于与在目标区域中的每个位置匹配的第一适合率和在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率导出指示相机的状态在什么程度上适合于图像处理的评估指标。
本发明的有利效果
本发明可以计算从对象在什么程度上适合于图像处理而出现在图像中的视角指示对相机状态的评估的值。
附图说明
[图1]它描绘图示根据本发明的第一示例实施例的相机位置姿态评估设备的配置示例的框图。
[图2]它描绘图示目标区域的示意视图。
[图3]它描绘图示分辨率评估函数的示例的图形。
[图4]它描绘图示相对于目标对象的注视点角度的说明视图。
[图5]它描绘图示注视点角度评估函数的示例的图形。
[图6]它描绘图示图像处理适合性评估装置21。
[图7]它描绘图示获取目标对象模型的分辨率的示例的示意视图。
[图8]它描绘图示其中目标对象模型安处于图像中和未安处于图 像中的示例的说明视图。
[图9]它描绘图图示获取目标对象模型的注视点角度的示例的示意视图。
[图10]它描绘图示确定目标对象视野区域的示例的示意视图。
[图11]它描绘图示目标区域和目标对象视野区域如何重叠的示例的示意视图。
[图12]它描绘图示根据第一示例实施例的处理过程的示例的流程图。
[图13]它描绘图示根据在步骤S2中的处理过程的示例的流程图。
[图14]它描绘图示根据在步骤S3中的处理过程的示例的流程图。
[图15]它描绘图示根据在步骤S4中的处理过程的示例的流程图。
[图16]它描绘图示根据本发明的第二示例实施例的相机位置姿态评估设备的配置示例的框图。
[图17]它描绘图示根据第二示例实施例的处理过程的示例的流程图。
[图18]它描绘图示根据本发明的第三示例实施例的相机位置姿态评估设备的配置示例的框图。
[图19]它描绘图示图像处理特性评估装置24的框图。
[图20]它描绘图示其中目标对象模型在图像中隐藏在障碍物之后和未隐藏在障碍物之后的示例的说明视图。
[图21]它描绘图示向根据第四示例实施例的分辨率评估装置218输入的数据的说明视图。
[图22]它描绘图示根据第四示例实施例的分辨率评估装置的操作的示例的流程图。
[图23]它描绘图示根据本发明的第五示例实施例的相机位置姿态评估设备的配置示例的框图。
[图24]它描绘图示根据本发明的第六示例实施例的相机位置姿态评估设备的示例的框图。
[图25]它描绘图示根据本发明的相机位置姿态评估设备的最小配 置的示例的框图。
具体实施方式
下文将参照附图描述本发明的示例实施例。
第一示例实施例
图1描绘图示根据本发明的第一示例实施例的相机位置姿态评估设备的配置示例的框图。根据本示例实施例的相机位置姿态评估设备具有相机参数输入设备1、数据处理设备2和存储设备3。数据处理设备2例如是在程序的控制之下操作的计算机。数据处理设备2包括图像处理适合性评估装置21。
根据本示例实施例的相机位置姿态评估设备接收相机的当前状态的输入(相机参数)作为数据，针对目标区域的每个位置评估在图像中的图像处理的适合性，并且基于指示这一适合性的值(称为“适合率”)计算指示相机状态在什么程度上适合于图像处理的评估指标。如以上描述的那样，图像处理例如包括在图像中检测对象的检测处理和不仅在图像中检测对象而且标识对象的标识处理。然而，图像处理不以任何方式限于这些示例。
同时，目标区域是指实际空间的范围，该实际空间的范围的图像被相机捕获，并且该实际空间范围是在作为图像捕获的结果所获得的图像中的图像处理目标。图2描绘图示目标区域的示意视图。在例如使用由相机捕获的图像来执行监控时，实际空间中的监控区域对应于目标区域。
相机参数输入设备1向数据处理设备2(图像处理适合性评估装置21)提供指示相机状态的相机参数。这些相机参数包括例如指示相机的焦距、透镜失真系数和图像中心位置的内部参数以及指示相机的位置和姿态的外部参数。另外，相机参数也是可以相互转换图像坐标系的二维坐标和世界坐标系的三维坐标的参数。
相机参数输入设备1提供的相机参数值可以是由已知方法(在例如非专利文献1中公开的一种方法)基于需要评估并且被相机获得的 图像导出的值。另外，通过用CG(计算机图形)虚拟地创建相机将获得的图像，可以基于这一CG图像导出相机参数值。备选地，相机参数输入设备1可以提供人工地设置的相机参数值。这是一种导出相机参数值的方法的示例，并且一种导出相机参数输入设备1提供的相机参数的方法未被具体限制。
存储设备3包括图像尺寸存储器装置31、目标对象模型存储器装置32、目标区域存储器装置33、分辨率评估函数存储器装置34和注视点角度评估函数存储器装置35。
图像尺寸存储器装置31存储状态需要被评估的相机的图像尺寸。更具体而言，图像尺寸存储器装置31存储表示图像的竖直尺寸的像素数目和表示水平尺寸的像素数目。
目标对象模型存储器装置32存储表示对象(以下称为“目标对象”)的形状和尺寸的数据，该对象是在相机捕获并且作为图像捕获的结果而获得的图像中的图像处理目标。这一数据表示的目标对象在一些情况下也称为目标对象模型。在例如相机捕获的图像被用来检测脸部并且识别脸部时，目标对象模型存储器装置32存储例如表示脸部的形状、尺寸和距离地面的高度的数据。目标对象的形状可以由近似形状、比如圆柱体形状、立方体形状或者棒形状表示。
目标区域存储器装置33存储目标区域。也就是说，目标区域存储器装置33存储实际空间中的范围(见图2)，该实际空间中的范围是在相机捕获并且作为图像捕获的结果而获得的图像中的图像处理目标。另外，目标区域存储器装置33也存储目标区域的面积。
分辨率评估函数存储器装置34存储将在图像中的目标对象的分辨率变换成表示图像处理的适合性的适合率的评估函数(以下称为“分辨率评估函数”)。图3描绘图示分辨率评估函数的示例的图形。在分辨率较适合于图像处理时，适合率较接近1，而在分辨率较不适合于图像处理时，适合率较接近0。一般而言，在分辨率较高时候，目标对象较清楚并且较适合于图像处理。根据待执行的图像处理的性能限制的分辨率设置分辨率评估函数。这里描述的分辨率可以例如是 在图像中的目标对象的像素区域或者围绕在图像中的目标对象的矩形像素区域。备选地，分辨率可以是在矩形区域的竖直方向上的像素尺寸或者在这一矩形区域的水平方向上的像素尺寸。通过使用分辨率评估函数，可以将从在图像中的目标对象获得的分辨率变换成表示图像处理的适合性的适合率。
注视点角度评估函数存储器装置35存储将相对于目标对象的注视点角度变换成表示图像处理的适合性的适合率的评估函数(以下称为“注视点角度评估函数”)。图4描绘图示相对于目标对象的注视点角度的说明视图。图4图示目标对象模型是人。相对于目标对象的注视点角度是在连接相机位置和在目标对象中的注视点位置的直线与地面之间形成的角度。同时，在目标对象中的注视点位置是在目标对象中的任意点，该任意点表示需要被聚焦的目标对象的位置。例如目标对象的重力点和中心轴的中心可以是注视点位置。此外，虽然图4图示其中相机被定向在目标对象的方向上的情况，但是相机的定向无关紧要。也就是说，在确定相机位置和在目标对象中的注视点位置时，与相机的定向无关地确定注视点角度。
图5描绘图示注视点角度评估函数的示例的图形。在例如图像处理是估计目标对象的位置的处理时，优选地，目标对象重叠较少或者目标对象与障碍物重叠较少。在这一情况下，如图5(a)中所示，注视点角度评估函数仅需被确定为使得在注视点角度较接近90度(也就是说，图像捕获位置较接近直角)时，适合率较接近1，而在注视点角度较接近0度时，适合率较接近0。另外，在例如图像处理是对象检测和对象识别时，注视点角度优选地较接近特定角度。在这一情况下，如图5(b)中所示，注视点角度评估函数仅需被确定为使得在注视点角度较接近特定角度时，适合率较高。
将参照其中注视点角度评估函数以及根据注视点角度评估函数计算的适当率在0至1的范围中的每个示例实施例描述示例。
图像处理适合性评估装置21从相机参数输入设备1接收表示相机状态的相机参数(例如指示相机的焦距、透镜失真系数和图像中心 位置的内部参数以及指示相机的位置和姿态的外部参数)的输入。另外，图像处理适合性评估装置21计算从分辨率、注视点角度和目标区域在图像中看起来如何的视角指示相机状态在什么程度上适合于图像处理的评估指标。
图6描绘图示图像处理适合性评估装置21的框图。图像处理适合性评估装置21具有分辨率评估装置211、注视点角度评估装置212、目标区域评估装置213和全面评估装置214。
分辨率评估装置211在目标区域中的每个位置虚拟地布置目标对象并且生成这一状态的图像。也就是说，分辨率评估装置211确定目标对象模型被布置在目标区域中的状态并且生成表示这一状态的图像。这一图像可以是通过仿真在相机捕获在实际空间中的目标对象的图像时获得的图像而获得的图像。分辨率评估装置211从生成的图像获取分辨率并且使用在分辨率评估函数存储器装置34中存储的分辨率评估函数来计算在目标区域中的每位置的适合率。从针对在目标区域中的位置i生成的图像获得的分辨率称为“ri”。另外，从分辨率ri获得的适合率称为“SRi”。
如以上描述的那样，计算适合率SRi是根据目标对象的分辨率来评估在图像中的目标对象的清晰度，该清晰度对于评估图像处理的适合性而言是重要的。另外，针对在目标区域中的每个位置计算适合率意味着分辨率评估装置211对在目标区域中的每个位置执行这样的评估。
将具体描述分辨率评估装置211的处理。图7描绘图示获取目标对象模型的分辨率的示例的示意视图。分辨率评估装置211在目标区域存储器装置33中存储的目标区域中的位置i虚拟地布置目标对象(换而言之，确定目标对象模型被布置在目标区域中的位置i的状态)并且使用相机参数来生成这一状态的图像。也就是说，分辨率评估装置211在相机捕获在目标区域中的位置i存在的目标对象的图像时获得的图像的仿真图像。分辨率评估装置211从生成的图像获取分辨率ri。另外，分辨率评估装置211根据在分辨率评估函数存储器装置34 中存储的分辨率评估函数FR(ri)评估这一分辨率ri并且计算与在目标区域中的位置i匹配的适合率SRi。
然而，在生成其中目标对象模型被布置在目标区域中的位置i处的图像时，根据相机参数，目标对象模型在一些情况下如图8(a)中所示处于图像中，或者目标对象模型的一部分在一些情况下如图8(b)中所示伸出图像以外。在目标对象模型的一部分伸出图像以外时，难以执行图像处理，因此从其生成这样的图像的位置i不适合于图像处理。也优选在根据分辨率评估函数FR(ri)的评估中反映这样的事情。因此，分辨率评估装置211优选地通过计算以下等式(1)来计算适合率SRi。
SRi＝αFR(ri) 等式(1)
α是用于在目标对象的一部分伸出生成的图像以外时减小适合率的系数(以下称为“惩罚系数”)。在目标对象的一部分伸出生成的图像以外时，α需要是小于1的值，而在目标对象处于图像中时，α＝1需要成立。在例如目标对象处于图像中时，α＝1可以成立，而在其它情况下，α＝0可以成立。另外，例如处于图像中的目标对象部分的像素面积相对于整个目标对象的像素面积的比率可以是惩罚系数α。用于确定α的值的以上方式为示例，并且用于在目标对象未处于图像中时确定α的值的方式不限于以上示例。
此外，处于图像中的目标对象部分的像素面积相对于整体目标对象的像素面积的比率换而言之是目标对象的处于图像中的部分的比率。另外，有这样相关性，即在目标对象的处于图像中的部分的比率较高时伸出图像以外的部分的比率较低。因此，分辨率评估装置211也可以根据目标对象的伸出图像以外的部分的比率确定α。
分辨率评估装置211使用在图像尺寸存储器装置31中存储的图像尺寸来判决目标对象是否处于图像中或者计算处于图像中的目标对象部分的像素面积的比率。
另外，分辨率评估装置211从其计算适合率的在目标区域中的位置i可以是离散化的采样点。
注视点角度评估装置212在目标区域中的每个位置虚拟地布置目标对象(换而言之，确定目标对象模型被布置在目标区域中的状态)并且计算与经过在这一状态中的目标对象模型的注视点和相机位置的直线的注视点角度。另外，注视点角度评估装置212使用在注视点角度评估函数存储器装置35中存储的注视点角度评估函数来计算在目标区域中的每位置的适合率。针对在目标区域中的位置i计算的注视点角度称为“ai”。另外从注视点角度ai获得的适合率称为“SAi”。
如以上描述的那样计算适合率SAi是基于相对于目标对象的注视点角度来评估由相机的图像捕获角度所导致的目标对象的外观差异，该差异对于评估图像处理的适合性或者目标对象如何重叠而言是重要的。另外，针对在目标区域中的每个位置计算适合率意味着注视点角度评估装置212对在目标区域中的每个位置执行这样的评估。
将更详细描述注视点角度评估装置212的处理。图9描绘图示获取目标对象模型的注视点角度的示例的示意视图。注视点角度评估装置212在目标区域存储器装置33中存储的目标区域中的位置i虚拟地布置目标对象(换而言之，确定目标对象模型被布置在目标区域中的位置i的状态)。另外，注视点角度评估装置212使用相机参数来计算经过相机位置和注视点、比如目标对象模型在位置i的重力点的直线。注视点角度评估装置212计算在这一直线与地面之间形成的角度作为注视点角度ai。另外，注视点角度评估装置212根据在注视点角度评估函数存储器装置35中存储的注视点角度评估函数FA(ai)评估注视点角度ai并且计算与在目标区域中的位置i匹配的SAi。
然而，在如以上描述的那样生成其中目标对象模型被布置在目标区域中的位置i的图像时，目标对象模型在一些情况下处于图像中(见图8(a))，或者目标对象模型的一部分在一些情况下伸出图像以外(见图8(b))。另外，从其生成目标对象模型的一部分从图像伸出这样的图像的位置i不适合于图像处理。也优选在根据注视点角度评估函数FA(ai)的评估中反映这样的事情。因此，注视点角度评估装置212通过计算以下等式(2)来计算适合率SAi。
SAi＝αFA(ri) 等式(2)
α是与在等式(1)中的α相似的惩罚函数。用于确定惩罚函数α的值的方式如以上已经描述的那样并且将不加以描述。
注视点角度评估装置212使用在图像尺寸存储器装置31中存储的图像尺寸来判决目标对象是否处于图像中或者计算处于图像中的目标对象部分的像素面积的比率。
另外，注视点角度评估装置212从其计算适合率的在目标区域中的位置i可以是离散化的采样点。
接着，目标区域评估装置212通过评估目标区域和在相机的图像中完整地示出目标对象的条件之下计算的实际空间中的区域(目标对象视野区域)在什么程度上准确地重叠来计算适合率。下文将这一适合率称为“ST”。
捕获在图像中的小目标区域的图像或者捕获伸出图像以外的大目标区域的图像不适合于准确地捕获在目标区域中的目标对象的图像处理。例如在图像中捕获小目标区域时，目标对象是可明了的，因此难以捕获在图像中的目标对象。另外，在捕获伸出图像以外的大目标区域时，在目标区域中存在盲角，并且作为结果，目标对象难以通过图像处理来捕获。计算以上适合率ST意味着从捕获在图像中的小目标区域的图像或者捕获伸出图像以外的大目标区域的图像不适合于准确地捕获在目标区域中的目标对象的图像处理的视角评估图像处理的适合性。
将更详细描述目标区域评估装置213的处理。图10描绘图示确定目标对象视野区域的示例的示意视图。目标区域评估装置213使用相机参数来确定与在具有在图像尺寸存储器装置31中存储的图像尺寸的图像中的像素位置交会的在实际空间中的地面上的位置。与像素位置交会的在实际空间中的地面上的位置是在无穷处的点(或者与在无穷处的点对应的点)时，目标区域评估装置213判决实际空间中的这一位置未对应于目标对象视野区域。在与像素位置交会的实际空间中的位置不是在无穷处的点时，目标区域评估装置213在实际空间中 的这一位置虚拟地布置目标对象(也就是说，确定目标对象模型被布置在这一位置的状态)并且生成这一状态的图像。在目标对象模型处于这一图像中时，目标区域评估装置213记录实际空间中的这一位置作为与目标对象视野区域对应的位置。在目标对象模型未处于这一图像中时，目标区域评估装置213判决实际空间中的这一位置未对应于目标对象视野区域。目标区域评估装置213例如针对在具有图像尺寸的图像中的所有像素执行这一处理。备选地，目标区域评估装置213可以每离散采样像素执行以上处理，该离散采样像素均匀和全面的覆盖整个图像。
根据这一处理，确定目标对象视野区域。因而，目标对象视野区域是如下位置的汇集，这些位置是与在图像中的像素位置交会的在实际空间中的位置，并且目标对象在目标对象被布置在这些位置时完整地处于图像中。
目标区域评估装置213获得作为与目标对象视野区域对应的位置而记录的在实际空间的位置的汇集作为目标对象视野区域。另外，目标区域评估装置213通过计算以下等式(3)来计算表示目标区域和目标对象视野区域在什么程度上准确地重叠的适合率ST。此外，图11描绘目标区域和目标对象视野区域如何重叠的示例。
ST＝β(V/T)+(1-β)(V/U) 等式(3)
β在等式(3)中是权重。T是目标区域的面积。U是目标对象视野区域的面积。V是目标区域和目标视野区域的重叠区域的面积。ST是0至1的值。在目标区域和目标对象视野区域准确地重叠的程度较高时，适合率ST较接近1，而在目标区域和目标对象视野区域准确地重叠的程度较低时，适合率ST较接近0。在适合率ST的值较高时，图像处理的适合性也较高。
全面评估装置214全面地评估从分辨率、注视点角度和在图像中的目标区域看起来如何的视角指示图像处理的适合性的每个适合率、计算指示相机状态(相机参数)在什么程度上适合于图像处理的评估指标C并且输出这一评估指标C。
将描述全面评估装置214的处理。全面评估装置214从分辨率评估装置211获取基于分辨率而计算的在每个位置i的适合率SRi，从注视点角度评估装置212获取基于注视点角度而计算的在每个位置i的适合率SAi，并且从目标区域评估装置213获取通过评估在图像中的目标区域看起来如何而获得的适合率ST。全面评估装置214通过使用每个获取的适合率计算以下等式(4)来计算评估指标C。在评估指标C较接近0时，相机状态(相机参数)适合于图像处理。
[公式1]
C = W 1 Σ i = 1 n w i ( 1 - SR i ) 2 + W 2 Σ i = 1 n w i ( 1 - SA i ) 2 + W 3 ( 1 - ST ) 2 等式(4)
在等式(4)中，n是在目标区域被离散化成目标区域的多个位置i时的位置总数。wi是指示在目标区域中的位置i的重要性的权重。另外，W1、W2和W3是指示各种适合率(SRi、SAi和ST)的重要性的权重。在W1、W2和W3是相同权重时，如果W1和W2是1，则W3优选地是nwi。
为了了解评估指标C的值在适合率SRi变成最大值“1”时接近0并且评估在目标区域中的位置i的重要性，在等式(4)的与适合率SRi有关的项(第一项)中，计算在1与SRi之间的差值的加权平方和，该加权平方和考虑了指示关于位置i的重要性的权重wi。相似地，为了了解评估指标C的值在适合率SAi变成最大值“1”时接近0并且评估在目标区域中的位置i的重要性，也在等式(4)的与适合率SAi有关的项(第二项)中，计算在1与SAi之间的差值的加权平方和，该加权平方和考虑了指示关于位置i的重要性的权重wi。另外，从评估指标C在适合率ST变成最大值“1”时接近0并且与第一项和第二项相同的项应用于第三项的视角来看，也在等式(4)的与适合率ST有关的项(第三项)中，计算在1与ST之间的差值的平方和。
计算等式(4)是计算平方和的线性加权和。
全面评估装置214可以原样输出计算的评估指标C。备选地，全面评估装置214可以根据S型函数或者在等式(5)中表达的函数变换评估指标C使得在发现图像处理的适合性时输出1而在未发现适合 时输出0并且输出变换的值。
[公式2]
1 γC + 1 等式(5)
在等式(5)中，γ是调整系数，并且γ≥0成立。
另外，全面评估装置214可以输出计算的评估指标C并且原样输出从分辨率计算装置211获取的在每个位置i的适合率SRi、从注视点角度评估装置212获取的在每个位置i的适合率SAi和从目标区域评估装置213获取的适合率ST。
另外，全面评估装置214可以在图像中的与位置i交会的像素位置或者在目标区域中的确切位置i显示与在目标区域中的位置i的适合率SRi匹配的颜色。相似地，全面评估装置214也可以在图像中的与位置i交会的像素位置或者在目标区域中的确切位置i显示与在目标区域中的位置i的适合率SAi匹配的颜色。通过以这一方式显示适合率，可以可视地表示图像处理的适合性并且了解适合性的空间扩展。虽然已经描述其中按照颜色显示适合率的情况作为示例，但是可以在除了颜色之外的模式中显示适合率。
接着，将描述操作。
图12描绘图示根据第一示例实施例的处理过程的示例的流程图。首先，相机参数输入设备1向图像处理适合性评估装置21的分辨率评估装置211、视点角度评估装置212和目标区域评估装置213提供指示相机状态的相机参数(步骤S1)。
分辨率评估装置211针对在目标区域中的每个位置生成目标对象模型被布置在目标区域中的状态的图像。另外，分辨率评估装置211从每位置生成的图像获取分辨率并且使用在分辨率评估函数存储器装置34中存储的分辨率评估函数来计算在目标区域中的每位置i的适合率SRi(步骤S2)。
将更详细描述步骤S2。图13描绘图示在步骤S2中的处理过程的示例的流程图。分辨率评估装置211参考在目标区域存储器装置33中存储的指示目标区域的信息并且从目标区域选择未选择的位置i (步骤S201)。接着，分辨率评估装置211确定目标对象模型被布置在选择的目标区域中的位置i的状态(步骤S202)。也就是说，分辨率评估装置211使用在目标对象模型存储器装置32中存储的表示目标对象的位置和尺寸的数据来表示目标对象模型被布置在位置i的状态。随后，分辨率评估装置211使用相机参数来生成表示在步骤S202中确定的状态的图像(步骤S203)。
分辨率评估装置211从生成的图像获取目标对象模型的分辨率ri(步骤S204)。另外，同时分辨率评估装置211参考在图像尺寸存储器装置31中存储的图像尺寸，判决目标对象模型是否处于生成的图像中并且在目标对象模型处于图像中时确定惩罚系数α为1。另外，在目标对象模型未处于图像中时，分辨率评估装置211确定α为小于1的值(步骤S205)。在这一情况下，例如可以计算目标对象的处于图像中的部分的比率或者从图像伸出的部分的比率，以基于这一比率确定α的值。如以上描述的那样，用于在目标对象模型未处于图像中时确定α的方式未被具体限制。同时，α取在0至1的范围中的值。
在步骤S204和205之后，分辨率评估装置211通过使用确定的惩罚系数α和分辨率评估函数FR(ri)计算等式(1)来评估分辨率ri并且计算与选择的位置i匹配的适合率SRi(步骤S206)。
接着，分辨率评估装置211判决是否针对在目标区域中的所有位置i计算了适合率SRi(步骤S207)。在针对在目标区域中的所有位置i计算适合率SRi未完成(在步骤S207中为否)时，分辨率评估装置211重复在步骤S201之后的处理。在针对在目标区域中的所有位置i计算适合率SRi完成(在步骤S207中为是)时，结束在步骤S2中的处理。
此外，可以针对在目标区域中成为离散化的采样点的每个位置而不是在目标区域中的所有位置计算适合率。在此方面，这同样适用于以下描述的步骤S3。
在步骤S2中，注视点角度评估装置212在目标对象模型被布置在目标区域中时为针对目标区域中的每个位置计算注视点角度并且 使用在注视点角度评估函数存储器装置35中存储的注视点角度评估函数来计算在目标区域中的每个位置i的适合率SAi(步骤S3)。
将更详细描述步骤S3。图14描绘图示在步骤3中的处理过程的示例的流程图。注视点角度评估装置212参考在目标区域存储器装置33中存储的指示目标区域的信息并且从目标区域选择未选择的位置i(步骤S301)。接着，注视点角度评估装置212确定目标对象模型被布置在选择的目标区域中的位置i的状态(步骤S302)。也就是说，注视点角度评估装置212使用在目标对象模型存储器装置32中存储的表示目标对象的位置和尺寸的数据来表示目标对象模型被布置在位置i的状态。
另外，注视点角度评估装置212计算经过由相机参数定义的相机位置和相机的注视点、比如在步骤S302中确定的状态中的目标对象模型的重力点的直线(步骤S303)。另外，注视点角度评估装置212计算在这一直线与地面之间形成的角度作为注视点角度ai(步骤S304)。
进而另外，与步骤S302和S303并行，注视点角度评估装置212使用相机参数来生成表示在步骤S302中确定的状态的图像(步骤S305)。另外，注视点角度评估装置212参考在图像尺寸存储器装置31中存储的图像尺寸，判决目标对象模型是否处于生成的图像中并且在目标对象模型处于图像中时确定惩罚系数α为1。另外，在目标对象模型未处于图像中时，注视点角度评估装置212确定α为小于1的值(步骤S306)。步骤S306与在由分辨率评估装置211执行的步骤S205中的处理相同。如以上描述的那样，α是在0至1的范围中的值。
在步骤S304和S306之后，注视点角度评估装置212使用确定的惩罚系数α和注视点角度评估函数FA(ai)来评估注视点角度ai并且计算与选择的位置i匹配的适合率SAi(步骤S307)。
接着，注视点角度评估装置212判决是否针对在目标区域中的所有位置i计算了适合率SAi(步骤S308)。在针对在目标区域中的所有位置i计算适合率SAi未完成(在步骤S308中为否)时，注视点角 度评估装置212重复在步骤S301之后的处理。在针对在目标区域中的所有位置i计算适合率SAi完成(在步骤S308中为是)时，结束在步骤S3中的处理。
在步骤S3之后，目标区域评估装置213计算指示目标区域和目标对象视野区域在什么程度上准确地重叠的适合率ST(步骤S4)。
将更详细描述步骤S4。图15描绘图示在步骤S4中的处理过程的示例的流程图。目标区域评估装置213从具有由在图像尺寸存储器装置31中存储的图像尺寸所定义的尺寸的图像的像素位置选择未选择的像素位置(步骤S401)。另外，目标区域评估装置213使用相机参数来确定与选择的像素位置交会的在实际空间中的地面上的位置(步骤S402)。目标区域评估装置213判决在步骤S402中确定的实际空间中的位置是否为在无穷处的点(或者与在无穷处的点对应的点)(步骤S403)。当在步骤S402中确定的实际空间中的位置是在无穷处的点(或者与在无穷处的点对应的点)(在步骤S403中为是)时，重复在步骤S401之后的处理。
当在步骤S402中确定的实际空间中的位置不是在无穷处的点(或者与在无穷处的点对应的点)(在步骤S403中为否)时，目标区域评估装置213确定目标对象模型被布置在实际空间中的这一位置的状态(步骤S404)。也就是说，目标区域评估装置213使用在目标对象模型存储器装置32中存储的表示目标对象的位置和尺寸的数据来表示目标对象模型被布置在这一位置的状态。随后，目标区域评估装置213使用相机参数来生成表示在步骤S404中确定的状态的图像(步骤S405)。
另外，目标区域评估装置213参考在图像尺寸存储器装置31中存储的图像尺寸并且判决目标对象模型是否处于生成的图像中(步骤S406)。在目标对象模型未处于图像中(在步骤S406中为否)时，重复在步骤S401之后的处理。
在作为在步骤S403和S406中的判决结果(在步骤S403中为是或者在步骤S406中为否)而重复在步骤S401之后的处理时，判决在 中间步骤S402中确定的实际空间中的位置未对应于目标对象视野区域。
当在步骤S406中目标对象模型放在图像中(在步骤S406中为是)时，目标区域评估装置213记录在中间步骤S402中确定的实际空间中的位置作为目标对象视野区域(步骤S407)。
接着，目标区域评估装置213判决是否选择了在图像中的所有像素位置(步骤S408)，在图像中存在留下的未选择的像素位置(在步骤S408中为否)时，目标区域评估装置213重复在步骤S401之后的处理。
在选择了在图像中的所有像素位置(在步骤S408中为是)时，目标区域评估装置213发现如下区域作为目标对象视野区域，该区域表示作为目标对象视野区域而记录的实际空间中的位置的汇集(步骤S409)。
接着，目标区域评估装置213参考在目标图像存储器装置33中存储的目标区域并且计算目标区域和目标对象视野区域的重叠区域的面积V。另外，目标区域评估装置213通过使用在目标区域存储器装置33中存储的目标区域的面积T、目标对象视野区域的面积U和重叠区域的面积V计算等式(3)来计算适合率ST并且结束在步骤S4中的处理。
在步骤S4之后，全面评估装置214从分辨率评估装置211获取基于分辨率计算的在每个位置i的适合率SRi、从注视点角度评估装置212获取基于注视点角度计算的在每个位置i的适合率SAi并且从目标区域评估装置213获取通过评估在图像中的目标区域看起来如何而获得的适合率ST。另外，全面评估装置214使用这些适合率来计算和输出表示相机参数在什么程度上适合于图像处理的评估指标C(步骤S5)。更具体而言，全面评估装置214通过使用针对在目标区域中的每个位置计算的适合率SRi和SAi以及适合率ST计算等式(4)来计算评估指标C。
此外，用于执行在图12中所示流程图中的步骤S2、S3和S4的 顺序可以是任意的。
使用指示在其中目标对象被布置在目标区域中的每个位置的图像中的目标对象的清晰度的分辨率、根据相机的图像捕获角度或者目标对象如何在目标区域中的每个位置重叠来指示目标对象的外观差异的注视点角度、以及指示目标区域在图像中看起来如何的差异的、目标区域和目标对象视野区域重叠的程度，根据第一示例实施例的相机位置姿态评估设备全面地评估对相机参数的图像处理的适合性并且输出结果作为评估指标C。因而，在针对假设的目标区域和目标对象执行图像处理时，可以提供待评估的相机参数在什么程度上适合作为评估指标。
另外，如以上描述的那样，全面评估装置214可以例如在图像中的与位置i交会的像素位置或者在目标区域中的确切位置i显示与在目标区域中的位置i的适合率SRi匹配的颜色。相似地，全面评估装置214也可以在图像中的与位置i交会的像素位置或者在目标区域中的确切位置i显示与在目标区域中的位置i的适合率SAi匹配的颜色。通过输出这样的显示，可以可视地表示图像处理的适合性。
另外，全面评估装置214可以运用如下配置，该配置包括分辨率评估装置211和注视点角度评估装置212中的仅一个装置而不包括另一装置。例如，在图像处理适合性评估装置21无分辨率评估装置211时，可以不执行步骤S2。另外，全面评估装置214仅需计算评估指标为等式(4)的第二项与第三项的和。另外，在例如图像处理适合性评估装置21无注视点角度评估装置212时，可以不执行步骤S3。进而另外，全面评估装置214仅需将评估指标计算为等式(4)的第一项与第三项的和。即使在这一情况下，仍然可以评估相机参数在什么程度上适合图像处理。
第二示例实施例
图16描绘图示根据本发明的第二示例实施例的相机位置姿态评估设备的配置示例的框图。与在第一示例实施例中的部件相同的部件将被指配与在图1中相同的标号并且将不详细加以描述。在第二示例 实施例中，数据处理设备100除了图像处理适合性评估装置21之外还具有相机参数切换装置22和相机参数优化装置23。
相机参数切换装置22向图像处理适合性评估装置21提供从相机参数输入设备1或者相机参数优化装置23提供的相机参数。更具体而言，相机参数切换装置22向图像处理适合性评估装置21提供从相机参数输入设备1提供的相机参数作为默认。另外，相机参数切换装置22然后向图像处理适合性评估装置21提供从相机参数优化装置23提供的相机参数。也就是说，在提供相机参数作为默认之后，相机参数切换装置22将相机参数的提供源从相机参数输入设备1切换成相机参数优化装置23。
相机参数优化装置23使用从图像处理适合性评估装置21输出的评估指标C来更新相机参数以使得评估指标为小(也就是说，状态变为更适合于图像处理)。另外，相机参数优化装置23向相机参数切换装置22提供更新的相机参数。相机参数优化装置23通过每当计算评估指标C时更新相机参数来优化相机参数。
相机参数优化装置23仅需通过例如计算以下等式(6)来计算更新的相机参数。对于优化方法，可以使用一种已知方法、比如最陡下降方法。
[公式3]
θ ^ = arg min θ ( W 1 Σ i = 1 n w i ( 1 - SR i ( θ ) ) 2 + W 2 Σ i = 1 n w i ( 1 - SA i ( θ ) ) 2 + W 3 ( 1 - ST ( θ ) ) 2 ) 等式(6)
与等式(4)相同的内容适用于n、wi、W1、W2和W3。θ指示相机参数。在等式(6)的左侧上与尖角符号一起指示的θ是更新的相机参数。另外，适合率SRi、SAi和ST是跟随相机参数θ的改变而改变的值，因此这些适合率在等式(6)中是θ的函数。
此外，为了优化相机参数，可以提供例如对相机参数值的固定部分的限制或者相机参数的取值范围的限制。在例如确定用于安装相机的位置时，在更新相机参数时，相机参数优化装置23可以固定平移矩阵T，该平移矩阵是指示相机位置的外部参数，并且变化旋转矩阵R，该旋转矩阵是指示相机方向的外部参数和指示相机特性的内部参 数。
图17描绘根据第二示例实施例的处理过程的示例的流程图。首先，相机参数输入设备1向相机参数切换装置22提供相机参数(步骤S1)。
另外，相机参数切换装置22向图像处理适合性评估装置31(更具体为分辨率评估装置211、注视点角度评估装置212和目标区域评估装置213)提供从相机参数输入设备1或者相机参数优化装置23提供的相机参数(步骤S6)。
同时，在步骤S1之后的第一步骤S6中，相机参数切换装置22向图像处理适合性评估装置21提供从相机参数输入设备1提供的相机参数。
另外，在执行第二或者后续步骤S6时(换而言之，在以下描述的步骤S8之后执行步骤S6时)，相机参数切换装置22向图像处理适合性装置21提供在步骤S8中从相机参数优化装置23提供的相机参数。
在步骤S6之后，图像处理适合性评估装置21执行在步骤S2至S5中的处理。在步骤S2至S5中的处理与在第一示例实施例中的步骤S2至S5中的处理(见图12)相同并且将不加以描述。
在步骤S5之后，相机参数优化装置23判决在步骤S5中从全面评估装置214输出的评估指标C(见图6)是否变成最小值(步骤S7)。在评估指标C不是最小值(在步骤S7中为否)时，处理转移到步骤S8。另外，在评估指标C是最小值(在步骤S7中为是)时，相机参数优化装置23输出在中间步骤S8中更新的相机参数θ作为对于图像处理最优的相机参数。
另外，相机参数优化装置23可以在步骤S7中判决评估指标C是否收敛。在这一情况下，在评估指标C未收敛(在步骤S7中为否)时，处理转移到步骤S8。在评估指标C收敛(在步骤S7中为是)时，相机参数优化装置23输出在中间步骤S8中更新的相机参数θ作为对于图像处理最优的相机参数。
在步骤S7中的判决方法未被具体限制。在例如判决评估指标C是否收敛时，如果在评估指标和先前评估指标的值之间的差值是预定阈值或者更小，则可以判决评估指标C收敛，而如果差值超过阈值，则也可以判决评估指标C未收敛。
在步骤S8中，相机参数优化装置23通过计算等式(6)来计算更新的相机参数(步骤S8)。更具体而言，相机参数优化装置23仅需通过在等式(6)中的SRi(θ)、SAi(θ)和ST(θ)中代入在步骤S2中获得的每位置的适合率SRi、在步骤S3中获得的每位置的适合率SAi和在步骤S4中获得的适合率ST计算等式(6)来计算更新的参数。相机参数优化装置23向相机参数切换装置22提供更新的相机参数。
随后，数据处理设备100重复在步骤S6之后的处理。在执行第二或者后续步骤S6时，相机参数切换装置22向图像处理特性评估装置21提供由相机参数优化装置23在中间步骤S8中所更新的相机参数。
因此，在重复在步骤S6、S2、S3、S4、S5、S7和S8中的处理并且在步骤S7中判决评估指标C变为最大值(备选地，评估指标C收敛)时从相机参数优化装置23输出的相机参数是对于图像处理最优的相机参数。
也在第二示例实施例中，全面地评估图像处理的适合性，并且与第一示例实施例相似地计算评估指标C。另外，相机参数优化装置23重复更新相机参数的处理使得评估指标变小并且计算评估指标C。因而，根据本示例实施例，可以针对假设的目标区域和目标对象计算对于图像处理最优的相机参数(相机状态)。另外，数据处理设备100可以执行自动计算对于图像处理最优的相机参数的处理，从而用户无需通过试错来调整相机的位置和姿态。
第三示例实施例
图18描绘图示根据本发明的第三示例实施例的相机位置姿态评估设备的配置示例的框图。与在第一示例实施例和第二示例实施例中的部件相同的部件将被指配与在图1和16中相同的参考标号并且将 不详细加以描述。
根据第三示例实施例的存储设备102具有图像尺寸存储器装置31、目标对象模型存储器装置32、目标区域存储器装置33、分辨率评估函数存储器装置34、注视点角度评估函数存储器装置35和障碍物存储器装置36。
障碍物存储器装置36存储在目标区域中存在的障碍物的位置、形状和尺寸。
另外，根据第三示例实施例的数据处理设备101具有图像处理特性评估装置24。图19描绘图示图像处理特性评估装置24的框图。图像处理特性评估装置24具有分辨率评估装置215、注视点角度评估装置216、目标区域评估装置217和全面评估装置214。全面评估装置214与在第一示例实施例中的全面评估装置214相同。
分辨率评估装置215与根据第一示例实施例的分辨率评估装置211(见图6)的不同在于确定惩罚系数的方法。分辨率评估装置215在创建目标对象模型被布置在在目标区域中的状态的图像时也参考在障碍物存储器装置36中存储的信息，并且生成以下状态的图像，在该状态中，目标对象模型被布置在目标区域中的位置i并且具有在障碍物存储器装置36中存储的形状和尺寸的障碍物被布置在障碍物存储器装置36中存储的位置。另外，分辨率评估装置215在目标对象模型的一部分伸出图像以外时或者在目标对象模型隐藏在图像中的障碍物后面时为α提供小于1的值。另外，分辨率评估装置215在目标对象模型处于图像中并且目标对象模型未隐藏在图像中的障碍物后面时提供α＝1。基于相机参数以及在障碍物存储器装置36中存储的障碍物的位置、形状和尺寸的信息判决目标对象模型是否隐藏在障碍物后面或者目标对象模型在什么程度上隐藏在图像中的障碍物后面。
将描述确定惩罚系数α的示例。例如分辨率评估装置215可以在目标对象模型处于图像中并且目标对象模型未隐藏在图像中的障碍物后面时提供α＝1而在其它情况下提供α＝0。另外，例如分辨率评 估装置215计算未伸出图像以外并且未隐藏在对象后面的目标对象模型部分的像素面积(P)，并且确定像素面积P相对于整个目标对象的像素面积的比率作为惩罚系数α。这一比率是目标对象的处于图像中并且未隐藏在障碍物后面的部分的比率。用于确定α的值的以上方式为示例，并且用于确定α的值的方式在目标对象未处于图像中时或者在目标对象未隐藏在障碍物后面时不限于以上示例。
分辨率评估装置215的其它处理与根据第一示例实施例的分辨率评估装置211的处理相同。
注视点角度评估装置216与根据第一示例实施例的分辨率评估装置212(见图6)的不同在于确定惩罚系数的方法。注视点角度评估装置216在创建目标对象被布置在目标区域中的状态的图像时也参考在障碍物存储器装置36中存储的信息，并且生成如下状态的状态的图像，在该状态中目标对象模型被布置在目标区域中的位置i并且具有在障碍物存储器装置36中存储的形状和尺寸的障碍物被布置在障碍物存储器装置36中存储的位置。另外，注视点角度评估装置216与根据本示例实施例的分辨率评估装置215相似地确定惩罚系数。
注视点角度评估装置216的其它处理与根据第一示例实施例的注视点角度评估装置212的处理相同。
目标区域评估装置217与根据第一示例实施例的目标区域评估装置213相似地确定与在图像中的像素位置交会的在实际空间中的地面上的位置。另外，目标区域评估装置217在创建目标对象模型被布置在该位置的状态的图像时也参考在障碍物存储器装置36中存储的信息，并且生成如下状态的状态的图像，在该状态中目标对象模型被布置在该位置并且具有在障碍物存储器装置36中存储的形状和尺寸的障碍物被布置在障碍物存储器装置36中存储的位置。另外，在目标对象模型处于这一图像中并且未隐藏在障碍物后面时，目标区域评估装置217记录实际空间中的这一位置作为与目标对象视野区域对应的位置。在不是这种情况时，目标区域评估装置217判决实际空间中的这一位置未对应于目标对象视野区域。
目标区域评估装置217的其它处理与根据第一示例实施例的目标区域评估装置213的处理相同。
图20描绘图示其中目标对象模型隐藏在图像中的障碍物后面和未隐藏在障碍物后面的示例的说明视图。如图20(a)中所示，目标对象模型的仅一部分隐藏在图像中的障碍物后面的状态对应于目标对象模型隐藏在障碍物后面的状态。另外，如图20(b)中所示，其中目标对象模型的一部分未隐藏在障碍物后面的状态对应于目标对象模型未隐藏在障碍物后面的状态。
根据第三示例实施例的处理过程与图12中所示流程图相同。同时，在步骤S2、S3和S4中的处理的一部分不同于在第一示例实施例中的处理，并且将参照图13至15中的流程图主要描述根据本示例实施例的处理过程的不同。将不描述与已经描述的处理相同的处理。
在图13中所示步骤S202中，分辨率评估装置215确定目标对象模型被布置在选择的目标区域中的位置i并且具有在障碍物存储器装置36中存储的形状和尺寸的障碍物被布置在障碍物存储器装置36中存储的位置的状态。随后，分辨率评估装置215使用相机参数来生成表示这一状态的图像(步骤S203)。
在下一步骤S205中，分辨率评估装置215评估目标对象模型的一部分是否伸出图像以外和目标对象模型是否隐藏在障碍物后面。在目标对象模型的一部分伸出图像以外时或者在目标对象模型隐藏在图像中的障碍物后面时，α取小于1的值。另外，分辨率评估装置215在目标对象模型处于图像中并且目标对象模型未隐藏在图像中的障碍物后面时提供α＝1。
在这一情况下，分辨率评估装置215可以例如计算目标对象模型的处于图像中并且未隐藏在障碍物后面的部分的比率，并且基于这一计算结果确定α的值。同时，与第一示例实施例相似，α取在0至1的范围中的值。
在步骤S2中的其它处理与在根据第一示例实施例的步骤S2中的处理相同。
另外，根据第三示例实施例的注视点角度评估装置216执行的步骤S302、S305和S306(见图14)与以上分辨率评估装置215执行的步骤S202、S203和S205相同。另外，在步骤S3中的其它处理与在根据第一示例实施例的步骤S3中的处理相同。
进而另外，根据第三示例实施例的目标区域评估装置217执行的步骤S404和S405(见图15)与以上分辨率评估装置215执行的步骤S202和S203相同。另外，目标区域评估装置217在步骤S406中判决目标对象模型是否处于图像中并且目标对象模型是否未隐藏在图像中的障碍物后面。在目标对象模型处于图像中并且目标对象模型未隐藏在图像中的障碍物后面(在步骤S406中为是)时，重复在步骤S401之后的处理。另外，在步骤S4中的其它处理与在根据第一示例实施例的步骤S4中的处理相同。
在本示例实施例中，在使用分辨率、注视点角度以及目标区域和目标对象视野区域重叠的程度全面地评估的对相机参数的图像处理的适合性时，考虑在目标对象在障碍物后面隐藏时引起的图像处理的适合性的减少。因而，在针对假设的目标区域、目标对象和障碍物执行图像处理时，可以提供待评估的相机参数在什么程度上是适合的作为评估指标。
此外，第二示例实施例可以应用于第三示例实施例。
第四示例实施例
在第四示例实施例中，数据处理设备无注视点角度评估装置、目标区域评估装置和全面评估装置。另外，在第四示例实施例中，数据处理设备仅需具有分辨率评估装置。另外，第四示例实施例与第一示例实施例不同在于向分辨率评估装置输入的数据。根据第四示例实施例的分辨率评估装置将被指配参考标号“218”。
图21描绘图示向根据第四示例实施例的分辨率评估装置218输入的数据的说明视图。根据第四示例实施例的分辨率评估装置218未接收相机参数的输入。取代相机参数，分辨率评估装置218接收从在相机实际捕获在目标区域中的目标对象的图像时获得的图像中所计 算的目标对象的分辨率的输入和指示整个目标对象是否处于图像中的信息。在整个目标对象未处于图像中时，可以输入整个目标对象的处于图像中的部分的比率或者伸出图像以外的部分的比率。将描述其中在目标对象未处于图像中时，输入整个目标对象的处于图像中的部分的比率作为示例。
通过改变在目标区域中的目标对象的布置位置，相机在设置条件、比如按目标对象的布置位置的设置的位置和姿态之下捕获在目标区域中的目标对象的图像。另外，可以从按目标对象的每布置位置获得的每个图像中提取目标对象的分辨率和指示目标对象是否处于图像中的信息作为向分辨率评估装置218输入的数据。
在第一示例实施例中，确定目标对象模型被布置在目标区域中的状态，生成表示这一状态的图像，并且从这一图像获取分辨率。与这一点相对照，在本示例实施例中，分辨率和指示整个目标对象是否处于图像中的信息，例如由管理员从由相机实际获得的图像中人工地获取，并且输入这些条信息作为数据。因此，在第四示例实施例中，可以未提供图像尺寸存储器装置31、目标对象模型存储器装置32和目标区域存储器装置33。另外，也可以未提供注视点角度评估函数存储器装置35。同时，在存储装置3中提供分辨率评估函数存储器装置34(未在图21中图示)。
下文将描述根据本示例实施例的处理过程的示例。分辨率评估装置218接收从在相机实际捕获在目标区域中的目标对象的图像时获得的图像计算的目标对象的分辨率的输入和指示整个目标对象是否处于按目标对象的布置位置的图像中的信息。另外，在整个目标对象未处于图像中时，也向分辨率评估装置218输入整个目标对象的处于图像中的部分的比率。将参照图22描述分辨率评估装置218在输入这些输入数据项之后的操作。
图22描绘图示根据第四示例实施例的分辨率评估装置218的操作的示例的流程图。分辨率评估装置218选择布置了目标对象以及捕获了图像的目标区域的位置i(步骤S201)。
接着，分辨率评估装置218获取与选择的位置i匹配的输入的信息(步骤S208)。也就是说，分辨率评估装置218获取分辨率和与位置i匹配并且指示整个目标对象是否处于图像中的信息。在整个目标对象未处于图像中时，分辨率评估装置218也获取整个目标对象的处于图像中的部分的比率。
另外，分辨率评估装置218基于整个目标对象是否处于图像中并且整个目标对象的处于图像中的部分的比率确定惩罚系数α(步骤S209)。在整个目标对象处于图像中时，分辨率评估装置218确定α＝1。在不是这种情况时，分辨率评估装置218确定α为小于1的值。在这一情况下，分辨率评估装置218可以根据整个目标对象的处于图像中的部分的比率确定α的值。用于在目标对象未处于图像中时确定α的方式未被具体限制，并且可以根据目标对象的伸出图像以外的部分的比率确定α。同时，α取在0至1的范围中的值。
在步骤S208和209之后，分辨率评估装置218通过使用确定的惩罚系数α和分辨率评估函数FR(ri)计算等式(1)来计算与选择的位置i匹配的分辨率比率SRi(步骤S206)。在本示例实施例中，分辨率评估装置218在等式(1)中代入在步骤S208中获取的分辨率。
另外，分辨率评估装置218判决是否针对目标区域的在其中布置目标对象并且捕获图像的所有位置计算了适合率SRi(步骤S210)。在针对每个位置i计算适合率SRi未完成时(在步骤S210中为否)，分辨率评估装置218重复在步骤S201之后的处理。在针对每个位置i计算适合率SRi完成时(在步骤S210中为是)，分辨率评估装置218输出针对每个位置i计算的适合率SRi并且结束处理。也可以利用在每个位置i的适合率SRi来评估与分辨率有关的图像处理适合性。
在本示例实施例中，可以基于通过实际捕获目标对象的图像而获得的图像评估与分辨率有关的图像处理适合性。
第五示例实施例
图23描绘图示根据本发明的第五示例实施例的相机位置姿态评估设备的配置示例的框图。根据本示例实施例的相机位置姿态评估设 备具有相机参数输入设备1、相机位置姿态估计装置301、评估指标合成装置304和目标区域划分装置305。
相机参数输入设备1与根据第二示例实施例的相机参数输入设备1相同。
另外，图23图示根据第二示例实施例的相机参数切换装置22、图像处理适合性评估装置21、相机参数优化装置23和存储设备3的组合作为相机位置姿态估计装置301。也就是说，相机位置姿态估计装置301对应于根据第二示例实施例的相机参数切换装置22、图像处理适合性评估装置21、相机参数优化装置23和存储设备3的组合。另外，相机位置姿态估计装置301执行与根据第二示例实施例的数据处理设备10的处理相同的处理。
在本示例实施例中，在与在相机估计姿态估计装置301执行与在第二示例实施例中的处理相同的处理时优化的相机参数有关的评估指标C不是阈值或者更小时，目标区域划分装置305划分目标区域。另外，假设相机逐个被布置在划分的目标区域中，并且相机参数输入设备1按划分的目标区域向相机位置姿态估计装置301的提供相机参数。
相机位置姿态估计装置301基于按目标区域的输入的相机参数计算优化的相机参数并且计算与这些相机参数有关的评估指标C。因此，计算相机参数和评估指标C以在一对一基础上与每个划分的目标区域关联。
在相机位置姿态估计装置301针对一个区域计算最优相机参数和与参数有关的评估指标C时，在相机位置姿态估计装置301中包括的相机参数切换装置22、图像处理适合性评估装置21和相机参数优化装置23执行与在第二示例实施例中的处理相同的处理。
在按划分的区域计算的评估指标C的合成结果(评估指标C’)不是阈值或者更小时，目标区域划分装置305进一步划分目标区域并且执行相同处理。
作为合成结果的评估指标C’不是阈值或者更小意味着在一对一 基础上与划分的区域关联的相机的相机参数从相机参数适合于图像处理的视角来看未在优选状态中。在这一情况下，目标区域划分装置305增加目标区域的划分数目。这对应于假设相机数目根据划分数目而增加。因而，根据本示例实施例的相机位置姿态评估设备通过在相机的按区域的相机参数未在优选状态中时增加相机数目来搜寻每个相机的相机参数变成优选的状态。
评估指标合成装置304生成按划分的目标区域计算的评估指标C。按划分的目标区域计算的评估指标C的合成结果将被指配“参考标号C’”并且将称为“评估指标C’”。
下文将描述一种计算合成的评估指标C的方法。与一个区域有关的评估指标C由以上等式(4)表示。评估指标合成装置304在计算每区域的评估指标C时将等式(4)的所有第一项和第二项原样相加。另外，评估指标合成装置304以划分的目标区域的面积相对于原有目标区域的面积的比率向等式(4)的第三项施加权重并且将加权的第三项相加。这一相加结果是合成的评估指标C’。
下文将描述计算评估指标C’的具体示例。假设原有目标区域被划分成三个区域A、B和C。另外，原有目标区域的面积是n。另外，区域A的面积是a。区域B的面积是b。区域C的面积是c。
与区域A的相机参数有关的评估指标CA由以下等式(7)表达。
[公式4]
C A = W 1 Σ i = 1 a / n w i ( A ) ( 1 - SR i ( A ) ) 2 + W 2 Σ i = 1 a / n w i ( A ) ( 1 - SA i ( A ) ) 2 + W 3 ( 1 - ST ( A ) ) 2 等式(7)
与区域B的相机参数有关的评估指标CB由以下等式(8)表达。
[公式5]
C B = W 1 Σ i = 1 b / n w i ( B ) ( 1 - SR i ( B ) ) 2 + W 2 Σ i = 1 b / n w i ( B ) ( 1 - SA i ( B ) ) 2 + W 3 ( 1 - ST ( B ) ) 2 等式(8)
与区域C的相机参数有关的评估指标CC由以下等式(9)表达。
[公式6]
C C = W 1 Σ i = 1 c / n w i ( C ) ( 1 - SR i ( C ) ) 2 + W 2 Σ i = 1 c / n w i ( C ) ( 1 - SA i ( C ) ) 2 + W 3 ( 1 - ST ( C ) ) 2 等式(9)
如以上描述的那样，将所有第一项和第二项原样相加，并且将通过相对于原有区域向划分的区域的面积施加权重而获得的结果与第 三项相加。因此，在这一示例中，评估指标合成装置304通过计算以下等式(10)来计算合成的评估指标C’。
[公式7]
C ' = W 1 ( ( Σ i = 1 a / n w i ( A ) ( 1 - SR i ( A ) ) 2 + Σ i = 1 b / n w i ( B ) ( 1 - SR i ( B ) ) 2 + Σ i = 1 c / n w i ( C ) ( 1 - SR i ( C ) ) 2 ) + W 2 ( Σ i = 1 a / n w i ( A ) ( 1 - SA i ( A ) ) 2 + Σ i = 1 b / n w i ( B ) ( 1 - SA i ( B ) ) 2 + Σ i = 1 c / n w i ( C ) ( 1 - SA i ( C ) ) 2 ) + W 3 ( a n ( 1 - S T ( A ) ) 2 + b n ( 1 - ST ( B ) ) 2 + c n ( 1 - ST ( C ) ) 2 ) 等式(10)
通过以这一方式计算评估指标C’，即使在原有目标区域的划分数目增加时仍然可以根据相同标度比较评估指标C，并且不必改变将要与根据该标度的评估指标C’比较的阈值的值。
此外，在原有目标区域未被划分的初始状态中，针对一个区域计算的评估指标C原样变成合成的评估指标C’。
目标区域划分装置305比较合成的评估指标C’和阈值并且在评估指标C’是阈值或者更小时输出针对每个划分的区域计算的优化的相机参数和划分的区域数目(换而言之，相机数目)。在评估指标C’高于阈值时，进一步增加目标区域的划分数目。另外，目标区域划分装置305向相机位置估计装置301输入每个划分的区域的信息并且使相机位置估计装置301执行计算每区域的最优相机参数和与这一相机参数有关的评估指标C的处理。在这一情况下，相机参数输入设备1按区域向相机位置估计装置301提供默认相机参数。
在相机位置估计装置301计算每区域的评估指标C时，评估指标合成装置304计算评估指标C’，该评估指标是通过合成每区域的评估指标C而获得的结果。
根据第五示例实施例的相机位置姿态评估设备重复以上处理直至评估指标C变为阈值或者更小。
划分目标区域的目标区域划分装置305的模式未被具体限制。在例如将原有目标区域划分成两个并且接着对目标区域划分时，目标区域划分装置305可以将两个区域之一划分成两个、将另一区域进一步划分成两个，并且随后以相同方式执行划分。
根据本示例实施例，在不能获得满足评估指标的最优相机参数 时，可以通过增加相机数目(划分的区域数目)来计算可以从其获得优选评估指标的最优相机参数以及相机数目。
第三示例实施例可以应用于根据第五示例实施例的相机位置姿态估计装置301。
第六示例实施例
图24描绘图示根据本发明的第六示例实施例的相机位置姿态评估设备的配置示例的框图。与在第一示例实施例中的部件相同的部件将被指配与在图1中相同的参考标号并且将不详细加以描述。在第六示例实施例中，具有图像尺寸存储器装置31、目标对象模型存储器装置32、目标区域存储器装置33、分辨率评估函数存储器装置34和注视点角度评估函数存储器装置35的存储设备3以及相机参数输入设备1连接到计算机400。另外，存储相机位置姿态评估程序401的计算机可读记录介质402也连接到计算机400。
计算机可读记录介质402由例如磁盘或者半导体存储器实现，并且在激活时，计算机400读取相机位置姿态评估程序401并且根据这一程序401作为例如根据第一示例实施例的数据处理设备2(具有分辨率评估装置211、注视点角度评估装置212、目标区域评估装置213和全面评估装置214的图像处理适合性评估装置21)操作。
另外，计算机400可以根据相机位置姿态评估程序401作为在第二至第五示例实施例中的每个示例实施例中的数据处理设备操作。
另外，个体装置可以由在第一至第五示例实施例中的不同单元实现。
接着，将描述本发明的最小配置。图25描绘图示根据本发明的相机位置姿态评估设备的最小配置的示例的框图。根据本发明的相机位置姿态评估设备具有分辨率评估装置71和注视点角度评估装置72中的至少一个评估装置并且还具有目标区域评估装置73和全面评估装置74。
分辨率评估装置71根据分辨率评估函数评估在通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标 对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率(例如SRi)。
注视点角度评估装置72根据注视点角度评估函数评估注视点角度，该注视点角度是在经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率(例如SAi)。
目标区域评估装置73导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率(例如ST)，该目标对象视野区域是如下位置的汇集，这些位置是与在图像中的像素位置交会的在实际空间中的地面上的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中。
基于与在目标区域中的每个位置匹配的第一适合率和在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率，全面评估装置73导出指示相机的状态在什么程度上适合于图像处理的评估指标(例如评估指标C)。
根据这一配置，可以计算从对象在什么程度上适合于图像处理而在图像中出现的视角指示对相机的状态的评估的值。
虽然可以如在以下补充备注中那样公开以上示例实施例的部分或者全部，但是示例实施例不限于以下补充备注。
(补充备注1)一种相机位置姿态评估设备具有：分辨率评估装置和注视点角度评估装置中的至少一个评估装置，该分辨率评估装置根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率， 该注视点角度评估装置根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率；目标区域评估装置，导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率，该目标对象视野区域是如下位置的汇集，这些位置是与在图像中的像素位置交会的在实际空间中的地面上的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中；以及全面评估装置，基于与在目标区域中的每个位置匹配的第一适合率和在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率导出指示相机的状态在什么程度上适合于图像处理的评估指标。
(补充备注2)在补充备注1中描述的相机位置姿态评估设备，还具有分辨率评估装置，该分辨率评估装置根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且分辨率评估装置在目标对象的整体处于图像中时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出第一适合率。
(补充备注3)在补充备注1中描述的相机位置姿态评估设备，还具有分辨率评估装置，该分辨率评估装置根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指 示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且分辨率评估装置在目标对象的整体处于图像中并且目标对象未隐藏在障碍物后面时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中或者目标对象隐藏在障碍物后面时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出第一适合率。
(补充备注4)在补充备注1至3中的任一补充备注中描述的相机位置姿态评估设备，还具有注视点角度评估装置，该注视点角度评估装置根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率，并且注视点角度评估装置在目标对象的整体处于图像中时向用以与通过根据注视点角度评估函数评估注视点角度而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据注视点角度评估函数评估注视点角度而获得的结果与系数相乘，并且由此导出第二适合率。
(补充备注5)在补充备注1至3中的任一补充备注中描述的相机位置姿态评估设备，还具有注视点角度评估装置，该注视点角度评估装置根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率，并且注视点角度评估装置在目标对象的整体处于图像中并且目标对象未隐藏在障碍物后面时向用以与通过根据注视点角度评估函数评估注视点角 度而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中或者目标对象隐藏在障碍物后面时向系数的值设置等于或者大于0并且小于1的值并且将通过根据注视点角度评估函数评估注视点角度而获得的结果与系数相乘，并且由此导出第二适合率。
(补充备注6)在补充备注1至5中的任一补充备注中描述的相机位置姿态评估设备，全面评估装置在相机位置姿态评估设备具有分辨率评估装置时使用在每个位置的权重来计算在第一适合率的上限值与第一适合率之间的差值的加权平方和、在相机位置姿态评估设备具有注视点角度评估装置时使用在每个位置的权重来计算在第二适合率的上限值与第二适合率之间的差值的加权平方和、计算在第三适合率的上限值与第三适合率之间的差值的平方和，并且计算所计算的平方和中的每个平方和的加权线性和，并且由此计算评估指标。
(补充备注7)在补充备注1至6中的任一补充备注中描述的相机位置姿态评估设备，还具有更新表示相机的状态的相机参数使得全面评估装置导出的评估指标接近预定值的参数更新装置，并且参数更新装置通过每当评估指标被导出时更新相机参数直至评估指标满足预定条件来计算相机参数的最优值。
(补充备注8)在补充备注7中描述的相机位置姿态评估设备，还具有划分目标区域的目标区域划分装置，并且分辨率评估装置在相机位置姿态评估设备具有分辨率评估装置时导出每目标区域的与在目标区域中的每个位置匹配的第一适合率，注视点角度评估装置在相机位置姿态评估设备具有注视点角度评估装置时导出每目标区域的与在目标区域中的每个位置匹配的第二适合率，注视点角度评估装置导出每目标区域的第三适合率，全面评估装置导出每目标区域的评估指标，参数更新装置计算每目标区域的相机参数的最优值，相机位置姿态评估设备还具有在每个目标区域中的相机参数变成最优值时合成评估指标的评估指标合成装置，并且目标区域划分装置在合成的评估指标超过阈值时增加目标区域的划分数目。
(补充备注9)一种相机位置姿态评估设备，具有分辨率评估装 置，该分辨率评估装置被给予从通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像获取的图像中的目标对象的分辨率和指示目标对象的整体是否处于图像中的信息，根据定义在分辨率与指示图像处理的适合性的适合率之间的关系的分辨率评估函数评估分辨率，并且由此导出与在目标区域中的每个位置匹配的适合率，并且分辨率评估装置在目标对象的整体处于图像中时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出适合率。
(补充备注10)一种相机位置姿态评估方法包括：分辨率评估步骤和注视点角度评估步骤中的至少一个评估步骤，该分辨率评估步骤根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，该注视点角度评估步骤根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率；目标区域评估步骤，导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率，该目标对象视野区域是如下位置的汇集，这些位置是在实际空间中的地面上与在图像中的像素位置交会的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中；以及全面评估步骤，基于与在目标区域中的每个位置匹配的第一适合率和与在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率导出指示相机的状态在什么程度上适 合于图像处理的评估指标。
(补充备注11)在补充备注10中描述的相机位置姿态评估方法，还包括分辨率评估步骤，该分辨率评估步骤根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且分辨率评估步骤包括在目标对象的整体处于图像中时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出第一适合率。
(补充备注12)在补充备注10中描述的相机位置姿态评估方法，还包括分辨率评估步骤，该分辨率评估步骤根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且分辨率评估步骤包括在目标对象的整体处于图像中并且目标对象未隐藏在障碍物后面时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中或者目标对象隐藏在障碍物后面时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘并且由此导出第一适合率。
(补充备注13)在补充备注10至12中的任一补充备注中描述的相机位置姿态评估方法，还包括注视点角度评估步骤，该注视点角度评估步骤根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义 在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率，并且注视点角度评估步骤包括在目标对象的整体处于图像中时向用以与通过根据注视点角度评估函数评估注视点角度而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据注视点角度评估函数评估注视点角度而获得的结果与系数相乘，并且由此导出第二适合率。
(补充备注14)在补充备注10至12中的任一补充备注中描述的相机位置姿态评估方法，还包括注视点角度评估步骤，该注视点角度评估步骤根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率，并且注视点角度评估步骤包括在目标对象的整体处于图像中并且目标对象未隐藏在障碍物后面时向用以与通过根据注视点角度评估函数评估注视点角度而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中或者目标对象隐藏在障碍物后面时向系数的值设置等于或者大于0并且小于1的值并且将通过根据注视点角度评估函数评估注视点角度而获得的结果与系数相乘，并且由此导出第二适合率。
(补充备注15)在补充备注10至14中的任一补充备注中描述的相机位置姿态评估方法，全面评估步骤包括在相机位置姿态评估方法包括分辨率评估步骤时使用在每个位置的权重来计算在第一适合率的上限值与第一适合率之间的差值的加权平方和，全面评估步骤包括在相机位置姿态评估方法包括注视点角度评估步骤时使用在每个位置的权重来计算在第二适合率的上限值与第二适合率之间的差值的加权平方和，并且全面评估步骤包括计算在第三适合率的上限值与第三适合率之间的差值的平方和，并且计算所计算的平方和中的每个平方和的线性加权和，并且由此计算评估指标。
(补充备注16)在补充备注10至15中的任一补充备注中描述的相机位置姿态评估方法，还包括更新表示相机的状态的相机参数使得在全面评估步骤中导出的评估指标接近预定值的参数更新步骤，并且参数更新步骤包括通过每当评估指标被导出时更新相机参数直至评估指标满足预定条件来计算相机参数的最优值。
(补充备注17)在补充备注16中描述的相机位置姿态评估方法，还包括划分目标区域的目标区域划分步骤，并且分辨率评估步骤包括在相机位置姿态评估方法包括分辨率评估步骤时导出每目标区域的与在目标区域中的每个位置匹配的第一适合率，注视点角度评估步骤包括在相机位置姿态评估方法包括注视点角度评估步骤时导出每目标区域的与在目标区域中的每个位置匹配的第二适合率，注视点角度角度评估步骤包括导出每目标区域的第三适合率，全面评估步骤包括导出每目标区域的评估指标，参数更新步骤计算每目标区域的相机参数的最优值，相机位置姿态评估方法还包括在每个目标区域中的相机参数变为最优值时合成评估指标的评估指标合成步骤，并且目标区域划分步骤包括在合成的评估指标超过阈值时增加目标区域的划分数目。
(补充备注18)一种相机位置姿态评估方法，包括分辨率评估步骤，该分辨率评估步骤被给予从被布置在通过捕获在目标区域中的每个位置的目标对象的图像而获得的图像获取的在图像中的目标对象的分辨率和指示目标对象的整体是否处于图像中的信息，根据定义在分辨率与指示图像处理的适合性的适合率之间的关系的分辨率评估函数评估分辨率，并且由此导出与在目标区域中的每个位置匹配的适合率，并且分辨率评估步骤包括在目标对象的整体处于图像中时向用于与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出适合率。
(补充备注19)一种相机位置姿态评估程序使计算机执行：分辨 率评估处理和注视点角度评估处理中的至少一个评估处理，该分辨率评估处理根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，该注视点角度评估处理根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率；目标区域评估处理，导出基于目标对象视野区域和目标区域在什么程度上准确地重叠而确定的并且指示图像处理的适合性的第三适合率，该目标对象视野区域是如下位置的汇集，这些位置是实际空间中的地面上与在图像中的像素位置交会的位置，并且在该目标对象视野区域中，目标图像的整体在目标对象被布置在这些位置时处于图像中；以及全面评估处理，基于与在目标区域中的每个位置匹配的第一适合率和在目标区域中的每个位置匹配的第二适合率中的至少一个适合率以及第三适合率导出指示相机的状态在什么程度上适合于图像处理的评估指标。
(补充备注20)在补充备注19中描述的相机位置姿态评估程序，还使计算机执行分辨率评估处理，该分辨率评估处理根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且使计算机在分辨率评估处理中在目标对象的整体处于图像中时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结 果与系数相乘，并且由此导出第一适合率。
(补充备注21)在补充备注19中描述的相机位置姿态评估程序，还使计算机执行分辨率评估处理，该分辨率评估处理根据分辨率评估函数评估通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像中的目标对象的分辨率，该分辨率评估函数定义在分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第一适合率，并且使计算机在分辨率评估处理中在目标对象的整体处于图像中并且目标对象未隐藏在障碍物后面时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中或者目标对象隐藏在障碍物后面时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘并且由此导出第一适合率。
(补充备注22)在补充备注19至21中的任一补充备注中描述的相机位置姿态评估程序，还使计算机执行注视点角度评估处理，该注视点角度评估处理根据注视点角度评估函数评估注视点角度，该注视点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率，并且使计算机在注视点角度评估处理中在目标对象的整体处于图像中时向用以与通过根据注视点角度评估函数评估注视点角度而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据注视点角度评估函数评估注视点角度而获得的结果与系数相乘，并且由此导出第二适合率。
(补充备注23)在补充备注19至21中的任一补充备注中描述的相机位置姿态评估程序，还使计算机执行注视点角度评估处理，该注视点角度评估处理根据注视点角度评估函数评估注视点角度，该注视 点角度是经过在被布置在目标区域中的每个位置的目标对象中的注视点与相机的位置的直线与地面之间形成的角度，该注视点角度评估函数定义在注视点角度与指示图像处理的适合性的第二适合率之间的关系，并且由此导出与在目标区域中的每个位置匹配的第二适合率，并且使计算机在注视点角度评估处理中在目标对象的整体处于图像中并且目标对象未隐藏在障碍物后面时向用以与通过根据注视点角度评估函数评估注视点角度而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中或者目标对象隐藏在障碍物后面时向系数的值设置等于或者大于0并且小于1的值并且将通过根据注视点角度评估函数评估注视点角度而获得的结果与系数相乘，并且由此导出第二适合率。
(补充备注24)在补充备注19至23中的任一补充备注中描述的相机位置姿态评估程序，使计算机在相机位置姿态评估程序使计算机执行分辨率评估处理时在全面评估处理中使用在每个位置的权重来计算在第一适合率的上限值与第一适合率之间的差值的加权平方和，使计算机在相机位置姿态评估程序使计算机执行注视点角度评估处理时在全面评估处理中使用在每个位置的权重来计算在第二适合率的上限值与第二适合率之间的差值的加权平方和，并且使计算机在全面评估处理中计算在第三适合率的上限值与第三适合率之间的差值的平方和，并且计算所计算的平方和中的每个平方和的线性加权和，并且由此计算评估指标。
(补充备注25)在补充备注19至24中的任一补充备注中描述的相机位置姿态评估程序，还使计算机执行更新表示相机的状态的相机参数使得在全面评估处理中导出的评估指标接近预定值的参数更新处理，并且使计算机在参数更新处理中通过每当评估指标被导出时更新相机参数直至评估指标满足预定条件来计算相机参数的最优值。
(补充备注26)在补充备注25中描述的相机位置姿态评估程序，还使计算机执行划分目标区域的目标区域划分处理，并且使计算机在相机位置姿态评估程序使计算机执行分辨率评估处理时在分辨率评 估处理中导出每目标区域的与在目标区域中的每个位置匹配的第一适合率，使计算机在相机位置姿态评估程序使计算机执行注视点角度评估处理时在注视点角度评估处理中导出每目标区域的与在目标区域中的每个位置匹配的第二适合率，使计算机在注视点角度评估处理中导出每目标区域的第三适合率，使计算机在全面评估处理中导出每目标区域的评估指标，使计算机在参数更新处理中计算每目标区域的相机参数的最优值，相机位置姿态评估程序还使计算机在每个目标区域中的相机参数变为最优值时执行合成评估指标的评估指标合成处理，并且使计算机在合成的评估指标超过阈值时在目标区域划分处理中增加目标区域的划分数目。
(补充备注27)一种相机位置姿态评估程序，包括分辨率评估处理，该分辨率评估处理被给予从通过捕获被布置在目标区域中的每个位置的目标对象的图像而获得的图像而获取的在图像中的目标对象的分辨率和指示目标对象的整体是否处于图像中的信息，根据定义在分辨率与指示图像处理的适合性的适合率之间的关系的分辨率评估函数评估分辨率，并且由此导出与在目标区域中的每个位置匹配的适合率，并且分辨率评估处理包括在目标对象的整体处于图像中时向用以与通过根据分辨率评估函数评估分辨率而获得的结果相乘的系数的值设置1、在目标对象的一部分未处于图像中时向系数的值设置等于或者大于0并且小于1的值并且将通过根据分辨率评估函数评估分辨率而获得的结果与系数相乘，并且由此导出适合率。
本申请要求提交于2012年6月28日的第2012-145433号日本专利申请的优先权，其全部内容通过引用结合于此。
虽然以上已经参照示例实施例描述本发明，但是本发明不以任何方式限于以上示例实施例。可以在本领域普通技术人员可以理解的本发明的范围内不同地改变本发明的配置和细节。
工业实用性
本发明适用于使用从图像处理的适合性的视角评估捕获假设的 目标区域和目标对象的图像的相机的相机参数。另外，本发明可以用来安装用于对象检测、对象位置估计、流程分析或者行为分析的相机或者构造、支持或者查询在比如监控、市场和业务改进这样的领域中的监控系统。
参考标号列表
1 相机参数输入设备
2，100，300 数据处理设备
3，102 存储设备
21，24 图像处理适合性评估设备
22 相机参数切换装置
23 相机参数优化装置
31 图像尺寸存储器装置
32 目标对象模型存储器装置
33 目标区域存储器装置
34 分辨率评估函数存储器装置
35 注视点角度评估函数存储器装置
36 障碍物存储器装置
211，215，218 分辨率评估装置
212，216 注视点角度评估装置
213，217 目标区域评估装置
214 全面评估装置
301 相机位置姿态估计装置
304 评估指标合成装置
305 目标区域划分装置

Claims (9)

1.一种相机位置姿态评估设备，包括：
分辨率评估单元和注视点角度评估单元中的至少一个，
所述分辨率评估单元根据分辨率评估函数来评估通过捕获在目标区域中目标对象被布置于的每个位置处所布置的所述目标对象的图像而获得的所述图像中的所述目标对象的分辨率，所述分辨率评估函数定义所述分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第一适合率，并且
所述注视点角度评估单元根据注视点角度评估函数来评估注视点角度，所述注视点角度是经过在所述目标区域中所述目标对象被布置于的每个位置处所布置的所述目标对象中的注视点与相机的位置的直线与地面之间形成的角度，所述注视点角度评估函数定义在所述注视点角度与指示所述图像处理的适合性的第二适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第二适合率；
目标区域评估单元，所述目标区域评估单元导出第三适合率，所述第三适合率是基于目标对象视野区域和所述目标区域在什么程度上准确地重叠而确定的，并且指示所述图像处理的所述适合性，所述目标对象视野区域是位置的汇集，所述位置是在实际空间中的所述地面上与在所述图像中的像素位置相对应的位置，并且在所述目标对象视野区域中，所述目标图像的整体在所述目标对象被布置在所述位置时放在所述图像中；以及
全面评估单元，所述全面评估单元基于与在所述目标区域中的每个位置匹配的所述第一适合率和与在所述目标区域中的每个位置匹配的所述第二适合率中的至少一个适合率以及所述第三适合率来导出评估指标，所述评估指标指示所述相机的状态在什么程度上适合于所述图像处理。
2.根据权利要求1所述的相机位置姿态评估设备，还包括所述分辨率评估单元，所述分辨率评估单元根据所述分辨率评估函数来评估在通过捕获被布置在所述目标区域中的每个位置处的所述目标对象的所述图像而获得的所述图像中的所述目标对象的所述分辨率，所述分辨率评估函数定义在所述分辨率与指示所述图像处理的适合性的所述第一适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第一适合率，
其中所述分辨率评估单元在所述目标对象的所述整体处于所述图像时将用以与通过根据所述分辨率评估函数来评估所述分辨率而获得的结果相乘的系数的值设置为1、在所述目标对象的一部分未处于所述图像中时将所述系数的所述值设置为等于或者大于0并且小于1的值，并且将通过根据所述分辨率评估函数来评估所述分辨率而获得的所述结果与所述系数相乘，并且由此导出所述第一适合率。
3.根据权利要求1所述的相机位置姿态评估设备，还包括所述分辨率评估单元，所述分辨率评估单元根据所述分辨率评估函数来评估在通过捕获被布置在所述目标区域中的每个位置处的所述目标对象的所述图像而获得的所述图像中的所述目标对象的所述分辨率，所述分辨率评估函数定义在所述分辨率与指示所述图像处理的适合性的所述第一适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第一适合率，
其中所述分辨率评估单元在所述目标对象的所述整体处于所述图像中并且所述目标对象未隐藏在障碍物后面时将用以与通过根据所述分辨率评估函数来评估所述分辨率而获得的结果相乘的系数的值设置为1、在所述目标对象的一部分未处于所述图像中或者所述目标对象隐藏在所述障碍物后面时将所述系数的所述值设置为等于或者大于0并且小于1的值，并且将通过根据所述分辨率评估函数来评估所述分辨率而获得的所述结果与所述系数相乘，并且由此导出所述第一适合率。
4.根据权利要求1所述的相机位置姿态评估设备，还包括所述注视点角度评估单元，所述注视点角度评估单元根据所述注视点角度评估函数来评估所述注视点角度，所述注视点角度是在经过在被布置在所述目标区域中的每个位置处的所述目标对象中的所述注视点与所述相机的所述位置的所述直线与所述地面之间形成的所述角度，所述注视点角度评估函数定义在所述注视点角度与指示所述图像处理的所述适合性的所述第二适合率之间的所述关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第二适合率，
其中所述注视点角度评估单元在所述目标对象的所述整体处于所述图像中时将用以与通过根据所述注视点角度评估函数来评估所述注视点角度而获得的结果相乘的系数的值设置为1、在所述目标对象的一部分未处于所述图像中时将所述系数的所述值设置为等于或者大于0并且小于1的值，并且将通过根据所述注视点角度评估函数来评估所述注视点角度而获得的所述结果与所述系数相乘，并且由此导出所述第二适合率。
5.根据权利要求1所述的相机位置姿态评估设备，还包括所述注视点角度评估单元，所述注视点角度评估单元根据所述注视点角度评估函数来评估所述注视点角度，所述注视点角度是在经过在被布置在所述目标区域中的每个位置处的所述目标对象中的所述注视点与所述相机的所述位置的所述直线与所述地面之间形成的所述角度，所述注视点角度评估函数定义在所述注视点角度与指示所述图像处理的所述适合性的所述第二适合率之间的所述关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第二适合率，
其中所述注视点角度评估单元在所述目标对象的所述整体处于所述图像中并且所述目标对象未隐藏在障碍物后面时将用以与通过根据所述注视点角度评估函数来评估所述注视点角度而获得的结果相乘的系数的值设置为1、在所述目标对象的一部分未处于所述图像中或者所述目标对象隐藏在所述障碍物后面时将所述系数的所述值设置为等于或者大于0并且小于1的值，并且将通过根据所述注视点角度评估函数来评估所述注视点角度而获得的所述结果与所述系数相乘，并且由此导出所述第二适合率。
6.根据权利要求1所述的相机位置姿态评估设备，其中所述全面评估单元：
在所述相机位置姿态评估设备包括所述分辨率评估单元时，使用在每个位置处的权重来计算在所述第一适合率的上限值与所述第一适合率之间的差值的加权平方和，
在所述相机位置姿态评估设备包括所述注视点角度评估单元时，使用在每个位置处的所述权重来计算在所述第二适合率的上限值所述与所述第二适合率之间的差值的加权平方和，
计算在所述第三适合率的上限值与所述第三适合率之间的差值的平方和，并且
计算所计算的所述平方和中的每个平方和的线性加权和，并且由此计算所述评估指标。
7.根据权利要求1所述的相机位置姿态评估设备，还包括参数更新单元，所述参数更新单元更新表示所述相机的所述状态的相机参数，使得由所述全面评估单元导出的所述评估指标接近预定值，
其中所述参数更新单元通过每当所述评估指标被导出时更新所述相机参数直至所述评估指标满足预定条件来计算所述相机参数的最优值。
8.一种相机位置姿态评估设备，包括分辨率评估单元，所述分辨率评估单元被给予从在通过捕获在目标区域中目标对象被布置于的每个位置处所布置的所述目标对象的图像而获得的所述图像而获取的所述图像中的所述目标对象的分辨率和指示所述目标对象的整体是否处于所述图像中的信息，根据分辨率评估函数来评估所述分辨率，所述分辨率评估函数定义在所述分辨率与指示图像处理的适合性的适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述适合率，
其中所述分辨率评估单元在所述目标对象的所述整体处于所述图像中时将用以与通过根据所述分辨率评估函数来评估所述分辨率而获得的结果相乘的系数的值设置为1、在所述目标对象的一部分未处于所述图像中时将所述系数的所述值设置为等于或者大于0并且小于1的值，并且将通过根据所述分辨率评估函数来评估所述分辨率而获得的所述结果与所述系数相乘，并且由此导出所述适合率。
9.一种相机位置姿态评估方法，包括：
分辨率评估步骤和注视点角度评估步骤中的至少一个，
所述分辨率评估步骤根据分辨率评估函数来评估从通过捕获在目标区域中目标对象被布置于的每个位置处所布置的所述目标对象的图像而获得的所述图像获取的在所述图像中的所述目标对象的分辨率，所述分辨率评估函数定义所述分辨率与指示图像处理的适合性的第一适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第一适合率，以及
所述注视点角度评估步骤根据注视点角度评估函数来评估注视点角度，所述注视点角度是经过在所述目标区域中所述目标对象被布置于的每个位置处所布置的所述目标对象中的注视点与相机的位置的直线与地面之间形成的角度，所述注视点角度评估函数定义在所述注视点角度与指示所述图像处理的适合性的第二适合率之间的关系，并且由此导出与在所述目标区域中的每个位置匹配的所述第二适合率；
目标区域评估步骤，导出第三适合率，所述第三适合率是基于目标对象视野区域和所述目标区域在什么程度上准确地重叠而确定的，并且指示所述图像处理的所述适合性，所述目标对象视野区域是位置的汇集，所述位置是在实际空间中的所述地面上与在所述图像中的像素位置相对应的位置，并且在所述目标对象视野区域中，所述目标图像的整体在所述目标对象被布置在所述位置处时放在所述图像中；以及
全面评估步骤，基于与在所述目标区域中的每个位置匹配的所述第一适合率和在所述目标区域中的每个位置匹配的所述第二适合率中的至少一个适合率以及所述第三适合率来导出指示所述相机的状态在什么程度上适合于所述图像处理的评估指标。
CN201380012264.2A 2012-06-28 2013-06-06 相机位置姿态评估设备和相机位置姿态评估方法 Active CN104160700B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012145433 2012-06-28
JP2012-145433 2012-06-28
PCT/JP2013/003572 WO2014002398A1 (ja) 2012-06-28 2013-06-06 カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム

Publications (2)

Publication Number Publication Date
CN104160700A CN104160700A (zh) 2014-11-19
CN104160700B true CN104160700B (zh) 2016-09-14

Family

ID=49782600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380012264.2A Active CN104160700B (zh) 2012-06-28 2013-06-06 相机位置姿态评估设备和相机位置姿态评估方法

Country Status (9)

Country Link
US (1) US9367752B2 (zh)
EP (1) EP2802149B1 (zh)
JP (1) JP6201991B2 (zh)
CN (1) CN104160700B (zh)
AR (1) AR091471A1 (zh)
BR (1) BR112014018522A8 (zh)
HK (1) HK1204408A1 (zh)
TW (1) TWI530160B (zh)
WO (1) WO2014002398A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
CN105957064A (zh) * 2016-04-24 2016-09-21 长安大学 一种沥青路面表面构造二维测试评价系统及方法
CN108234900B (zh) * 2018-02-13 2020-11-20 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
US10255507B2 (en) * 2016-12-19 2019-04-09 Canon Kabushiki Kaisha Detection of an object in a distorted image
US11381782B2 (en) 2018-03-29 2022-07-05 Nec Corporation Video monitoring apparatus, control method thereof, and computer readable medium
WO2019186889A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 カメラ配置適性度評価装置、その制御方法、最適カメラ配置算出装置、及び、コンピュータ可読媒体
JP7235049B2 (ja) 2018-07-31 2023-03-08 日本電気株式会社 評価装置、評価方法、及びコンピュータプログラム
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
JP6721076B1 (ja) 2019-03-25 2020-07-08 日本電気株式会社 情報処理装置、カメラ制御方法、プログラム、カメラ装置、および画像処理システム
JP7291013B2 (ja) * 2019-06-28 2023-06-14 セコム株式会社 カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム
JP7332363B2 (ja) * 2019-07-08 2023-08-23 セコム株式会社 カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム
JP7298709B2 (ja) * 2019-11-21 2023-06-27 日本電気株式会社 パラメータ決定装置、パラメータ決定方法及び記録媒体
CN111212272B (zh) * 2020-01-21 2022-04-19 浙江大华技术股份有限公司 灾情监测方法、装置、存储介质及电子装置
US11176705B2 (en) * 2020-03-10 2021-11-16 Shenzhen Fugui Precision Ind. Co., Ltd. Method for optimizing camera layout for area surveillance and apparatus employing the method
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971621A (zh) * 2008-03-14 2011-02-09 三洋电机株式会社 图像处理装置及搭载该装置的摄像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256591A (ja) 2000-03-10 2001-09-21 Toshiba Corp 監視装置
JP3907397B2 (ja) 2000-10-11 2007-04-18 富士通株式会社 映像監視装置
JP4129514B2 (ja) * 2001-12-04 2008-08-06 ウェールズ アンド ヴァーン インヴェストメンツ リミティッド 画像生成用コンピュータ支援システム
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
JP2004333872A (ja) 2003-05-08 2004-11-25 Fuji Photo Film Co Ltd カメラ
TW200528945A (en) 2004-01-20 2005-09-01 Chuang-Jan Chang 3D visual measurement system using fish-eye cameras as visual detectors and method for constructing same
JP2005260731A (ja) 2004-03-12 2005-09-22 Ntt Docomo Inc カメラ選択装置、及びカメラ選択方法
US7924311B2 (en) * 2004-12-21 2011-04-12 Panasonic Corporation Camera terminal and monitoring system
JP5036260B2 (ja) 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置
US7769219B2 (en) 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
JP5082724B2 (ja) * 2007-09-28 2012-11-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
GB0907870D0 (en) * 2009-05-07 2009-06-24 Univ Catholique Louvain Systems and methods for the autonomous production of videos from multi-sensored data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971621A (zh) * 2008-03-14 2011-02-09 三洋电机株式会社 图像处理装置及搭载该装置的摄像装置

Also Published As

Publication number Publication date
TWI530160B (zh) 2016-04-11
BR112014018522A8 (pt) 2017-07-11
US9367752B2 (en) 2016-06-14
BR112014018522A2 (zh) 2017-06-20
EP2802149A4 (en) 2015-09-16
HK1204408A1 (zh) 2015-11-13
US20150339537A1 (en) 2015-11-26
CN104160700A (zh) 2014-11-19
AR091471A1 (es) 2015-02-04
JP6201991B2 (ja) 2017-09-27
JPWO2014002398A1 (ja) 2016-05-30
TW201424345A (zh) 2014-06-16
EP2802149B1 (en) 2020-03-18
EP2802149A1 (en) 2014-11-12
WO2014002398A1 (ja) 2014-01-03

Similar Documents

Publication Publication Date Title
CN104160700B (zh) 相机位置姿态评估设备和相机位置姿态评估方法
US20230326213A1 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US11265531B2 (en) Systems and methods of creating a three-dimensional virtual image
JP4118674B2 (ja) 異常行動検出装置
CN107886069A (zh) 一种多目标人体2d姿态实时检测系统及检测方法
CN104537355B (zh) 一种利用图像边界信息和区域连通性的显著对象检测方法
CN106131443A (zh) 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法
CN113361352A (zh) 基于行为识别的学生课堂行为分析的监控方法及系统
KR20180130869A (ko) 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
CN108154110A (zh) 一种基于深度学习人头检测的密集人流量统计方法
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN108021131A (zh) 一种机器人视觉识别方法、装置及计算机可读存储介质
CN105701493A (zh) 基于阶层图形的图像提取以及前景估测的方法和系统
CN109840982A (zh) 排队推荐方法及装置、计算机可读存储介质
EP3185212B1 (en) Dynamic particle filter parameterization
CN110472699A (zh) 一种基于gan的电力场所有害生物运动模糊图像检测方法
Almasi et al. Human action recognition through the first-person point of view, case study two basic task
CN109684910A (zh) 一种网络检测输电线路地表环境变化的方法及系统
CN108596032A (zh) 一种视频中打架行为检测方法、装置、设备及介质
Shan et al. Rapid full-field deformation measurements of tall buildings using UAV videos and deep learning
Faujdar et al. Human pose estimation using artificial intelligence with virtual gym tracker
CN102724530B (zh) 基于反馈控制的平面视频立体化方法
CN110336944A (zh) 自动拍摄并分析服装图像的方法、装置、设备及系统
Chang et al. Using line consistency to estimate 3D indoor Manhattan scene layout from a single image
Kim et al. Synthetic Training Image Dataset for Vision-Based 3D Pose Estimation of Construction Workers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1204408

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1204408

Country of ref document: HK