CN100435560C - 用于识别图像中的指标的信息处理方法与装置 - Google Patents

用于识别图像中的指标的信息处理方法与装置 Download PDF

Info

Publication number
CN100435560C
CN100435560C CNB2006100957390A CN200610095739A CN100435560C CN 100435560 C CN100435560 C CN 100435560C CN B2006100957390 A CNB2006100957390 A CN B2006100957390A CN 200610095739 A CN200610095739 A CN 200610095739A CN 100435560 C CN100435560 C CN 100435560C
Authority
CN
China
Prior art keywords
index
image
relevant
candidate region
characteristic quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006100957390A
Other languages
English (en)
Other versions
CN1893559A (zh
Inventor
远藤隆明
佐藤清秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1893559A publication Critical patent/CN1893559A/zh
Application granted granted Critical
Publication of CN100435560C publication Critical patent/CN100435560C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

成像装置指标检测单元从由包括第一照相机的成像装置捕获的图像检测物理空间中的指标。基于与检测到的指标的图像坐标相关的信息，位置和方向估计单元估计成像装置位置和方向。第二照相机指标候选检测单元用放置在物理空间中的第二照相机监视成像装置上的指标并且检测指标候选。基于与检测到的指标候选的图像坐标相关的信息，位置约束条件计算单元计算位置约束条件。基于估计的成像装置的位置和方向和第二照相机指标候选的位置约束条件，第二照相机指标识别单元识别第二照相机指标。

Description

用于识别图像中的指标的信息处理方法与装置
技术领域
本发明涉及可应用到识别包含在由成像装置所捕获图像中的指标所需的系统的信息处理技术。
背景技术
传统技术1
照相机或其它捕获物理空间的捕获单元(在下文中，统称为“照相机”)的位置和方向的测量例如在结合物理空间和虚拟空间以显示合成的空间图像的混合现实系统中是必需的。
正如在日本专利申请特开号11-084307，日本专利申请特开号2000-041173，或者A.State，G.Hirota，D.T.Chen，B.Garrett，和M.Livingston在1996年7月Proc.SIGGRAPH’96的第429-438页“Superior augmented reality registration by integrating landmarktracking and magnetic tracking”中所讨论的，有一种用于通过使用位于物理空间中已知位置的标记或特征点(在下文中，统称为“指标”)校正由能测量照相机位置和方向的传感器获得的测量错误的传统方法。
传统技术2
如Kato，Billinghurst，Asano，和Tachibana在日本虚拟现实社会专论1999年12月第4卷第4号607-616页“Marker tracking basedaugmented reality system and related calibration”，或X.Zhang，S.Fronz，和N.Navab在2002年的A comparative study，Proc.OfInternational Symosium on Mixed and AugmentedReality(ISMAR’02)“Visual marker detection and decoding in ARsystems”中所讨论的，有一种仅仅基于由照相机捕获的指标而不依赖从位置和方向传感器获得的信息估计照相机位置和方向的传统方法。
例如，照相机的位置和方向可以基于正方形的四个顶点的坐标来估计，如果使用这种正方形指标的话。但是，正方形是关于通过中心(即，对角线的交叉点)并且与正方形表面垂直的旋转轴旋转对称(每旋转90度)的。这样，就不可能基于各自顶点的坐标识别上下或左右的方向。为解决这个问题，正方形指标可以包含定义方向的图像特征。而且，当使用多个指标时，有必要仅仅基于由照相机捕获的图像区别每个指标。这样，指标可以包含图形信息，比如唯一的图案或符号，为每个指标作区分。
传统技术3
而且，有一种通过使用多个每个在物理空间都有已知位置和方向的捕获单元和捕获多个每个在对象体上都有已知位置的指标的图像来估计对象体的位置和方向的传统方法。根据这种传统技术，发光二级管(LED)用作识别每个检测到的指标的单元，并且每个发光二极管的光发射时间是可以控制的。
在根据传统技术1估计照相机位置和方向的方法中，每个指标可以是有特殊颜色的小圆片。在这种情况下，每个指标的信息是三维位置信息(即，坐标)和颜色。
识别指标的方法可以包括步骤：利用位置和方向传感器测出的值把指标的三维位置投射到照相机的图像表面，从图像检测指标的颜色，和从图像计算质心位置。而且，这个方法可以包括步骤：比较投射到图像表面的指标的位置和从图像计算的质心的位置，和识别最接近的一个作为真正的指标。
但是，根据上面描述的用于从图像检测指标的颜色区域检测方法，与指标相似的区域或对象会从由照相机捕获的物理空间中错误地检测到，例如，在错误地检测到的区域的颜色与指标的颜色很相似的情况下。
为解决上述问题，有一种使用由同心放置的不同颜色图案组成的组合指标的传统方法，包括步骤：检测颜色区域，检查检测到的颜色的组合，和识别有正确颜色组合的区域作为真正的指标。根据这种方法，与使用单色指标的方法比较，错误地检测到背景图像的部分作为指标的可能性就降低了。
但是，为了精确地和稳定地基于颜色区域检测方法检测指标，必须能容易地和安全地识别每个指标的颜色。而且，当指标是由同心放置的不同颜色图案组成的时候，指标必须在捕获的图像中足够大以便同心颜色图案能被可靠地检测到。换句话说，一个可能破坏物理空间图像的非常大的指标必须放置在物理空间。但是，在有限的物理空间中放置这样的非常大的指标可能不允许，或者会恶化物理空间的可见性。
根据传统技术2所描述的利用正方形标识或其它图形指标的方法，区别每个标识完全依赖于从图像上获得的有限信息。这样，每个指标必须包含与众不同的符号信息或模板信息。
图9示出了用在上述传统技术2中的实际的正方形标识的示例，它在Kato，Billinghurst，Asano，和Tachibana日本虚拟现实社会专论1999年12月第4卷第4号607-616页中“Marker tracking basedaugmented reality system and related calibration”，或X.Zhang，S.Fronz，和N.Navab在2002年的A comparative study，Proc.OfInternational Symosium on Mixed and AugmentedReality(ISMAR’02)“Visual marker detection and decoding in ARsystems”中讨论了。
但是，这样复杂的指标不能从捕获图像中稳定地检测到，除非指标图像在整个捕获的图像表面占有足够大的区域。换句话说，必须为指标提供物理空间相对大的区域，或者照相机必须与指标足够得近。这样，这种指标就会在设置或布置时遇到严格的条件。
而且，有使用发光二极管或类似光发射元件或回射器作为有较小尺寸的独特指标的传统方法。但是，根据这种方法，如果有与指标相似的光发射元件或反射体出现，就会有错误的检测。
例如，如图10所示，光发射元件203可以出现在装在物理对象204上的指标205的背景空间中。指标205是个发光的球，其能发射例如红外光。光发射元件203是能发射红外光的电子灯泡。
图11示出了由红外线照相机101通过可见光切割(即，红外光发射)过滤器202捕获的图像，它包括与光发射元件203和指标205对应的亮的环形区域。
在这种情况下，如果用于检测与指标205对应的更亮区域的处理应用到这个图像上，不仅与指标205对应的环形区域301而且与光发射元件203对应的环形区域302会被检测成有指标205亮度的区域。在这种情况下，很难在两个候选区域301和302中识别指标205。相应地，如果不具有独特亮度的指标和类似体出现在由照相机捕获的物理空间中时，指标的错误识别就会发生。
而且，有使用以相互固定的关系放置在预定位置的多个光发射元件(或反射器)作为指标，并且基于检测到的位置关系区分各个指标的传统方法。但是，如果一个或多个光发射元件(或反射器)被隐藏了，指标的区分就不可能了。而且，在有限的物理空间中放置大量的指标会恶化物理空间的可见性。
另一方面，传统技术3需要光发射定时控制机制或高速照相机，因为光发射定时必须以分时方式控制以便区分个别指标。这样，成本就增加了。
发明内容
本发明旨在能够解决或至少减轻上述问题的技术。
至少一个示例实施方式旨在一种信息处理方法，其包括：输入由配置成捕获物理空间的成像装置捕获的第一图像的第一图像输入步骤；输入由配置成从客观视野位置捕获成像装置的客观捕获单元捕获的第二图像的第二图像输入步骤；基于在第一图像输入步骤中输入的第一图像，检测与物理空间中第一指标的图像坐标相关的特征量的第一检测步骤；基于在第二图像输入步骤中输入的第二图像，检测与成像装置上的第二指标有关的候选区域的图像坐标相关的特征量的第二检测步骤；基于在第一检测步骤中检测到的与第一指标图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别作为第二指标的候选区域的识别步骤。
而且，至少一个示例实施方式旨在一种信息处理方法，其包括：输入由安装在对象体上并配置成捕获物理空间的成像装置捕获的第一图像的第一图像输入步骤；输入由配置成从客观视野位置捕获对象体的客观捕获单元捕获的第二图像的第二图像输入步骤；基于在第一图像输入步骤中输入的第一图像，检测与物理空间中第一指标图像坐标相关的特征量的第一检测步骤；基于在第二图像输入步骤中输入的第二图像，检测与同对象体上的第二指标有关的候选区域图像坐标相关的特征量的第二检测步骤；基于与在第一检测步骤中检测到的第一指标图像坐标相关的特征量和与同第二指标有关的候选区域图像坐标相关的特征量，识别作为第二指标的候选区域的识别步骤。
而且，至少一个示例实施方式旨在存储在计算机可读介质上使计算机执行上述信息处理方法的计算机程序。
而且，至少一个示例实施方式旨在一种信息处理装置，其包括：布置成输入由配置成捕获物理空间的成像装置捕获的第一图像的第一图像输入单元；布置成输入由配置成从客观视野位置捕获成像装置的客观捕获单元捕获的第二图像的第二图像输入装置；布置成基于由第一图像输入单元输入的第一图像，检测与物理空间中第一指标图像坐标相关的特征量的第一检测单元；布置成基于由第二图像输入单元输入的第二图像，检测与向成像装置上第二指标有关的候选区域图像坐标相关的特征量的第二检测单元；布置成基于与第一指标图像坐标相关的特征量和与同第二指标有关的候选区域图像坐标相关的特征量，识别作为第二指标的候选区域的识别单元。
而且，至少一个示例实施方式旨在一种信息处理装置，其包括：布置成输入由安装在对象体上并配置成捕获物理空间的成像装置捕获的第一图像的第一图像输入单元；布置成输入由配置成从客观视野位置捕获对象体的客观捕获单元捕获的第二图像的第二图像输入单元；布置成基于由第一图像输入单元输入的第一图像，检测与物理空间中第一指标图像坐标相关的特征量的第一检测单元；布置成基于由第二图像输入单元输入的第二图像，检测与同对象体上第二指标有关的候选区域图像坐标相关的特征量的第二检测单元；基于与同第一指标图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别作为第二指标的候选区域的识别单元。
本发明的更多特征在下面参考附图的示例实施方式的具体描述中变得显而易见。
附图说明
结合进本说明书并构成其一部分的附图说明了本发明的实施方式，并且和描述一起用于解释本发明的原理。
图1是说明根据第一示例实施方式的信息处理装置的示意性布置的框图。
图2是说明能执行实现如图1所示信息处理装置的功能的软件程序的计算机的基本布置框图。
图3是显示根据第一示例实施方式计算约束客观照相机指标候选位置的直线的处理的流程图。
图4是显示根据第一示例实施方式识别客观照相机指标的处理的流程图。
图5是说明根据第二示例实施方式的信息处理装置的示意性布置框图。
图6是显示根据第二示例实施方式计算客观照相机指标候选的三维位置的处理的流程图。
图7是显示根据第二示例实施方式识别客观照相机指标的处理的流程图。
图8是说明根据第三示例实施方式的信息处理装置的示意性布置框图。
图9是说明传统上使用的实际指标的示例的视图。
图10是显示包括发光指标和光发射元件的物理空间的示例的透视图。
图11是显示由如图10所示的红外照相机捕获的图像的视图。
图12是显示根据修改的实施方式计算成像装置(或对象体)位置和方向的处理的流程图。
具体实施方式
以下对示例实施方式的描述本质上仅仅是说明性的，而决不是要限制本发明，它的应用或使用。
本领域普通技术人员已知的处理，技术，装置和材料可以不进行具体讨论，但是如果合适也打算作为使得能够实现的描述的一部分。例如用于信号处理、计算和其它用途的特定电路可以不具体讨论。但是在此相关领域的普通技术人员已知的这些系统和构成这些系统的方法在合适的地方也打算成为使得能够实现的公开内容的一部分。
需要注意的是贯穿本说明书，在下面图中相似的标号和字母指代相似的项目，因此一旦一个项目在一个图中定义了，它就不会在下面图中讨论。
示例实施方式将会参考附图在下面具体描述。
第一示例实施方式
根据第一示例实施方式的信息处理装置能基于成像装置的估计位置识别指标。根据本示例实施方式的信息处理装置和信息处理方法将会在下面参考附图描述。
图1是说明示例信息处理装置100的示意性布置的框图。信息处理装置100包括照相机(“客观”照相机180)，图像输入部分160，数据存储部分170，“主观”照相机指标检测部分110，位置和方向估计部分120，“客观”照相机指标候选检测部分140，位置约束条件计算部分150，“客观”照相机指标识别部分190。信息处理装置100连接到成像装置130。“客观”照相机180是放置在预定位置以捕获成像装置130的图像的照相机。
能被成像装置130捕获的预定数量的指标(在下文中，统称为“主观照相机指标”)在物理空间的预定位置提供。更详细地，多个主观照相机指标Qk(k ＝1，...KQ)放置在世界坐标系(即，具有在物理空间定义的原点和彼此垂直并从原点延伸的X-，Y-，和Z-轴的坐标系)中定义的预定位置XW Qk。
能被客观照相机180捕获的指标(下文中，统称为“客观照相机指标”)提供到成像装置130上。更详细地，客观照相机指标P放置在成像装置坐标系(即，具有在成像装置130上定义的原点和彼此垂直并从原点延伸的X-，Y-，和Z-轴的坐标系)中定义的预定位置xC P。
当成像装置130放置在客观照相机180的视场的任意点时，可以在由成像装置130获得的主观视野图像上稳定地观察至少三个客观照相机指标Qk是优选的。而且，可以在客观照相机180获得的客观视野图像上稳定地观察客观照相机指标P是优选的。
图1所示的示例包括4个主观照相机指标Q1、Q2、Q3和Q4和一个客观照相机指标P。而且，与客观照相机指标P相似的伪指标P’出现在物理空间。三个主观照相机指标Q1，Q3和Q4在成像装置130的视场。一个客观照相机指标P和一个伪指标P’出现在客观照相机180的视场中。
主观照相机指标Qk可以是，例如，具有不同颜色的环形标识，或者可以是具有不同纹理特征的自然特征或其它特征点。而且，主观照相机指标Qk可以是矩形指标例如每个都有合适尺寸的矩形单色区域，或如果每个指标的图像坐标当它投射到摄影图像上时并且当这个指标能根据合适的方法被区分时能被检测到的话可以配置成任何其它指标。而且，每个指标可以是有意提供的或者是任何不是有意提供的自然指标。
客观照相机指标P例如用LED或回射器配置，因为它必须在由从远处具有宽视角的客观照相机捕获的图像上被稳定地检测到。
图像输入部分160接收由成像装置130产生的图像(在下文中，统称为“主观视野图像”)。而且，图像输入部分160接收客观照相机180产生的图像(在下文中，统称为“客观视野图像”)。
客观照相机180静止地放置在预定位置以便客观照相机180能捕获在成像装置130上的客观照相机指标P。数据存储部分170可以预先存储与客观照相机180的位置和方向相关的信息作为在世界坐标系中定义的已知值。
图像输入部分160能把输入到信息处理装置100的主观视野图像和客观视野图像转换成数字数据。数据存储部分170能存储从图像输入部分160接收的数字数据。
主观照相机指标检测部分110能从数据存储部分170输入数字的主观视野图像，并在输入图像中检测主观照相机指标的图像坐标。
例如，如果主观照相机指标是具有不同颜色的标识，那么主观照相机指标检测部分110能从输入图像检测与各个标识颜色对应的区域，并且识别检测到的区域的质心位置作为检测到的主观照相机指标的坐标。
而且，如果主观照相机的指标是具有不同纹理特征的特征点，主观照相机指标检测部分110能把模板匹配应用到输入图像来检测主观照相机指标的位置。为此，主观照相机指标检测部分110可以预先存储各个主观照相机指标的模板图像作为已知信息。
而且，如果主观照相机指标是矩形指标，主观照相机指标检测部分110就能把二进制处理应用到输入图像然后执行标号来检测由四条直线定义的每个区域作为指标候选。
然后，主观照相机指标检测部分110能决定是否在候选区域有特殊图案来排除错误的检测，并且能获得指标的标识符。在本说明书中，在本示例实施方式中，每个用这种方式检测到的矩形指标对应于放置在四个角的四个指标。
而且，主观照相机指标检测部分110能从数据存储部分170输入成像装置130(即，从位置和方向估计部分120获得的输出)的估计位置，并且能基于估计的位置预测在图像上的主观照相机指标的位置以便限制搜索范围。这样，用于检测主观照相机指标的处理的计算量就减少了，并且错误地检测或识别主观照相机指标的概率就降低了。
而且，主观照相机指标检测部分110能将每个检测到的指标的图像坐标和这个指标的标识符输出到数据存储部分170。在下面的描述中，当检测到的指标有标识符n(n＝1，...，N)，其中N表示在主观视野图像上检测到的指标总数时，Qkn表示在主观视野图像上检测到的指标。而且，UQkn表示检测到的指标Qkn的图像坐标。例如，在图1所示的示例中(即，N＝3)，主观照相机指标检测部分110能输出具有标识符k1＝1、k2＝3和k3＝4的指标的图像坐标uQk1、uQk2和uQk3。
位置和方向估计部分120能从数据存储部分170输入主观照相机指标检测部分110检测到的每个主观照相机指标的图像坐标UQkn和相应的预先存储的世界坐标XW Qkn的组合作为已知信息。位置和方向估计部分120能基于组合的信息估计成像装置130的位置和方向。例如，估计的位置和方向能以表示位置的三维向量XW C和表示方向的3×3矩阵RWC的组合来表示，并输出到数据存储部分170。
基于主观照相机指标的世界坐标和图像坐标的组合计算成像装置130的位置和方向的方法在照相测量或类似领域中是已知的(例如，参考R.M.Haralick，C.Lee，K.Ottenberg，和M.Nolle在1994年International Journal of Computer Vision第13卷第3号331-356页的“Review and analysis of solutions of the three point perspective poseestimation problem”，或D.G.Lowe在1991年IEEE Transactions onPAMI上的第13卷第5号441-450页的“Fitting parameterizedthree-dimensional models to images”)。
客观照相机指标候选检测部分140能从数据存储部分170输入数字的客观视野图像，并能检测在输入的客观视野图像上客观照相机指标(和伪指标)的图像坐标。
例如，客观照相机指标候选检测部分140能检测在图像上具有LED或回射器亮度的区域，并识别检测到的区域的质点位置作为检测到的客观照相机指标的坐标。
而且，客观照相机指标候选检测部分140能将检测到的客观照相机指标候选的图像坐标输出到数据存储部分170。在下面的描述中，当检测到的客观照相机指标候选有标识符m(m＝1，...，M)，其中M表示在客观视野图像上的检测到的客观照相机指标候选的总数时，Pm表示在客观视野图像上的检测到的客观照相机指标候选。而且，uPm表示检测到的客观照相机指标候选Pm的图像坐标。例如，在图1所示的示例中(即，M＝2)，客观照相机指标候选检测部分140能输出图像坐标uP1和uP2。
位置约束条件计算部分150能从数据存储部分170输入客观照相机指标候选检测部分140检测到的每个客观照相机指标候选的图像坐标uPm和定义在世界坐标系中的客观照相机180的位置和方向。这样，位置约束条件计算部分150能基于输入信息计算每个客观照相机指标候选的位置约束条件。在本示例实施方式中，位置约束条件是描述约束位置的直线的参数。
客观照相机指标识别部分190能基于由位置和方向估计部分120估计的成像装置130的位置和方向和由位置约束条件计算部分150计算的每个客观照相机指标候选的位置约束条件识别客观照相机指标。
数据存储部分170能保持各种数据，比如从图像输入部分160输入的图像数据，从位置和方向估计部分120输入的估计位置数据，从主观照相机指标检测部分110输入的每个指标的图像坐标和标识符，从客观照相机指标候选检测部分140输入的每个指标候选的图像坐标，以及主观照相机指标的世界坐标(即，已知值)，客观照相机指标的成像装置坐标(即，在成像装置坐标系的坐标值)，和客观照相机180的照相机参数。数据存储部分170能在需要时输入和输出这些数据。
图1所示的图像输入部分160、数据存储部分170、主观照相机指标检测部分110、位置和方向估计部分120、客观照相机指标候选检测部分140、位置约束条件计算部分150和客观照相机指标识别部分190可以是分离的单元，或者可以是可安装在一个或多个计算机上的可以由计算机上的中央处理单元(CPU)执行的实现这些功能的软件程序。
在本示例实施方式中，是由单一的计算机执行软件程序来实现上述多个部分(即，图像输入部分160、数据存储部分170、主观照相机指标检测部分110、位置和方向估计部分120、客观照相机指标候选检测部分140、位置约束条件计算部分150和客观照相机指标识别部分190)的功能。
图2是显示能执行软件程序来实现图像输入部分160，数据存储部分170，主观照相机指标检测部分110，位置和方向估计部分120，客观照相机指标候选检测部分140，位置约束条件计算部分150，和客观照相机指标识别部分190的功能的计算机的基本布置的框图。
CPU1001能基于存储在RAM1002或ROM1003内的程序或数据对计算机执行总的控制，并且控制软件程序的执行来实现图像输入部分160，数据存储部分170，主观照相机指标检测部分110，位置和方向估计部分120，客观照相机指标候选检测部分140，位置约束条件计算部分150，和客观照相机指标识别部分190的功能。
RAM1002有临时存储从外部存储装置1007或从存储介质驱动器1008加载的程序和数据的区域，和用于由CPU1001执行各种处理的工作区域。RAM1002能实现数据存储部分170的功能。
ROM1003能存储计算机的存储程序和设置数据。键盘1004和鼠标1005允许计算机的操作者输入各种指令到CPU1001。
显示单元1006可以是能显示例如在成像装置130的位置和方向测量中所需要的消息等的阴极射线管(CRT)或液晶屏幕。
外部存储装置1007可以作为海量信息存储装置，比如能存储OS(操作系统)和软件程序的硬盘。而且，在本示例实施方式中的已知信息能存储在外部存储装置1007上并且能在需要时加载到RAM1002。
存储介质驱动器1008能根据从CPU1001提供的指令读取存储在CD-ROM，DVD-ROM或其它存储介质中的程序和数据并且输出读出程序和数据到RAM1002或外部存储装置1007。
接口(I/F)1009包括通过其成像装置130可以连接到计算机的模拟视频口或IEEE1394或其它数字输入/输出口，通过其方向传感器(没有显示)可以连接到计算机的RS232C或USB串口，和通过其与每个识别的指标相关的信息可以输出到外部设备的以太网(注册商标)口。通过接口1009输入的数据能存储在RAM1002中。接口1009能实现图像输入部分160的部分功能。
上述组成部分是通过总线1010互相连接的。
图3是显示由CPU1001执行的用于计算约束客观照相机指标候选Pm位置的直线的处理的流程图。这个处理是在CPU1001执行与位置约束条件计算部分150功能相应的软件程序时实现的。在这种情况下，用于这个流程图的程序代码在CPU1001执行下述处理之前就已经加载到RAM1002中了。
在步骤S4000中，位置约束条件计算部分150从数据存储部分170输入客观照相机指标候选检测部分140检测到的每个客观照相机指标候选Pm的图像坐标UPm。
在步骤S4010中，位置约束条件计算部分150基于图像坐标uPm计算表示约束在世界坐标系中每个客观照相机指标候选Pm位置的直线的参数。
更具体而言，位置约束条件计算部分150按照下面的公式(1)基于图像坐标uPm，在世界坐标系中计算直线的梯度hxm，hym，和hzm，并指定值hxm，hym，和hzm作为直线的参数。
h x m h y m h z m 0 = R WB · u x P m / f x B u y P m / f y B 1 0 - - - ( 1 )
在公式(1)中，fB x和fB y分别表示作为已知值在数据存储部分170中预先存储的客观照相机180在x-轴方向和y-轴方向上的焦点长度。而且，RWB是把客观照相机坐标系中的方向转换成相应的世界坐标系中的方向的旋转矩阵。旋转矩阵RWB是基于客观照相机180在世界坐标系中的方向预先计算的。客观照相机180的方向是作为已知值预先存储在数据存储部分170中的。
在这种情况下，在世界坐标系中直线上的点能以下面的公式(2)(即，使用参数τ的函数表达式)表示。
l W m ( τ ) = h x m τ + x WB h y m τ + y WB h z m τ + z WB 1 - - - ( 2 )
在公式(2)中，xWB，yWB，和zWB表示在数据存储部分170中作为已知值预先存储的客观照相机180在世界坐标系中的位置。
在步骤S4020中，位置约束条件计算部分150输出在世界坐标系中约束每个客观照相机指标候选Pm位置的直线的梯度hxm，hym，和hzm到数据存储部分170。
相应地，由公式(2)表示的直线通过客观照相机180在世界坐标系中的位置和客观照相机指标候选Pm在世界坐标系中的位置。客观照相机指标候选Pm在世界坐标系中的位置能当参数τ取合适值的时候获得。
图4是显示由CPU1001执行的用于识别每个客观照相机指标的处理的流程图。这个处理在CPU1001执行与客观照相机指标识别部分190功能相应的软件程序时实现。根据流程图的这个处理能通过执行步骤S5000的处理然后为每个客观照相机指标候选执行步骤S5010到步骤S5030的处理来完成。在这种情况下，这个流程图的程序代码在CPU1001执行下面处理之前就已经加载到RAM1002中了。
在步骤S5000，客观照相机指标识别部分190从数据存储部分170输入已经由位置和方向估计部分120估计的表示成像装置130位置的三维向量xW C和表示成像装置130方向的3x3矩阵RWC。然后，客观照相机指标识别部分190基于输入信息计算客观照相机指标P的估计位置。
更具体而言，客观照相机指标识别部分190根据下面公式(3)计算在世界坐标系中客观照相机指标P的估计位置xW P。
x W P = x W C + R WC · x C P - - - ( 3 )
在公式(3)中，xC P表示在数据存储部分170中作为已知信息预先存储的在成像装置坐标系中客观照相机指标P的坐标。
当客观照相机指标P的位置足够靠近成像装置坐标系中的原点时，这一步骤的处理可以忽略，因为成像装置的估计位置能用来作为客观照相机指标P的估计位置。在这种情况下，位置和方向估计部分120不需要在数据存储部分170中保留表示成像装置130方向的3x3矩阵RWC。
在步骤S5010，客观照相机指标识别部分190计算客观照相机指标P的估计位置xW P和约束目标客观照相机指标候选Pm位置的直线lWm(τ)之间的距离。
更具体而言，客观照相机指标识别部分190计算下面表示距离dm平方的公式(4)的右侧(即，使用参数τ的二次函数表达式)的最小值，并且获得最小值的正平方根。
d m 2 = | | x W P - l W m ( τ ) | | - - - ( 4 )
在步骤S5020，客观照相机指标识别部分190决定在步骤S5010获得的距离dm是否在预定区间内。
当距离dm在预定区间(即，在步骤S5020中是YES)时，处理流程前进到步骤S5030。在步骤S5030，客观照相机指标识别部分190识别客观照相机指标候选作为真正的客观照相机指标。例如，客观照相机指标识别部分190通过接口1009输出识别的客观照相机指标的图像坐标到外部设备并且终止处理程序。
另一方面，当距离dm不在预定区间(即，在步骤S5020中是NO)时，处理流程前进到步骤S5040。在步骤S5040，客观照相机指标识别部分190决定是否对所有客观照相机指标候选Pm都完成了上述步骤S5010到5030的处理。当在步骤S5040中的决定是YES时，客观照相机指标识别部分190终止处理程序。
另一方面，当在步骤S5040中的决定是NO时，处理流程返回到步骤S5010并且客观照相机指标识别部分190为剩下的客观照相机指标候选Pm执行步骤S5010到S5030的处理。
利用上述处理，客观照相机指标识别部分190能在客观照相机指标候选中识别真正的客观照相机指标。
在本示例实施方式中，只使用了一个成像装置(即一个客观照相机指标)。但是，也可能使用多个成像装置(即，多个客观照相机指标)。
更具体而言，客观照相机指标识别部分190能为每个客观照相机指标P执行步骤S5000到S5040的处理，并且能从可从客观视野图像中检测到的客观照相机指标候选中识别每个客观照相机指标。
根据本示例实施方式，真正的指标能从图像中精确地识别出来，即使在有与指标相似的区域出现在物理空间并且这个区域被错误地检测为指标候选区域的情况下。
而且，本示例实施方式不需要任何在上述传统技术3中使用的光发射定时控制机制或高速照相机。因此，成本就降低了。
第二示例实施方式
根据第二示例实施方式的信息处理装置包括除了在第一示例实施方式中描述的信息处理装置的布置之外的第二客观照相机。根据第二示例实施方式的信息处理装置和信息处理方法将参考附图在下面描述。
图5是说明根据第二示例实施方式的信息处理装置的框图。由与第一示例实施方式(图1所示)中那些所描述标号相同的标号指示的部分可以相同的方式起作用并且在下面不再具体描述。
如图5所示，第二示例实施方式的信息处理装置600包括客观照相机180a和180b、图像输入部分660、数据存储部分170、主观照相机指标检测部分110、位置和方向估计部分120、客观照相机指标候选检测部分640、位置约束条件计算部分650和客观照相机指标识别部分690。信息处理装置600连接到成像装置130(即，测量对象)。
与第一示例实施方式类似，主观照相机指标Qk放置在物理空间中的多个位置。而且，客观照相机指标P放置在成像装置130上，它在成像装置坐标系中的位置是已知的。
当成像装置130放置在客观照相机180a和180b的视场中的任意点时，至少三个主观照相机指标Qk能稳定地在由成像装置130获得的主观视野图像上被观察到是优选的。而且，客观照相机指标P能稳定地在由每个客观照相机180a和180b获得的客观视野图像上被观察到是优选的。
图5所示的示例包括四个主观照相机指标Q1、Q2、Q3和Q4和一个客观照相机指标P。而且，与客观照相机指标P相似的伪指标P’出现在物理空间中。三个主观照相机指标Q1、Q3和Q4在成像装置130的视场中。一个客观照相机指标P和一个伪指标P’出现在客观照相机180a和180b的视场中。
客观照相机180a和180b是静止地放置在预定位置以便客观照相机180a和180b能稳定地捕捉到在成像装置130上的客现照相机指标P。数据存储部分170能预先存储与客观照相机180a和180b的位置和方向相关的信息作为在世界坐标系中定义的已知值。
图像输入部分660能把输入到信息处理装置600的主观视野图像和两个客观视野图像(被客观照相机180a和180b捕获)转换成数字数据。数据存储部分170能存储从图像输入部分660上接收到的数字数据。
客观照相机指标候选检测部分640能从数据存储部分170输入两个客观视野图像，检测每个客观照相机指标候选的图像坐标，和输出检测到的图像坐标到数据存储部分170。
在下面描述中，当检测到的客观照相机指标候选有标识符ma(ma＝1，...，Ma)，其中Ma表示可以从客观照相机180a捕获的客观视野图像检测到的客观照相机指标候选的总数时，Pa ma表示从客观照相机180a捕获的客观视野图像中检测到的客观照相机指标候选。而且，uPama表示检测到的客观照相机指标候选Pa ma的图像坐标。
另一方面，当检测到的客观照相机指标候选有标识符mb(mb＝1，...，Mb)，其中Mb表示可以从客观照相机180b捕获的客观视野图像检测到的客观照相机指标候选的总数时，Pb mb表示从客观照相机180b捕获的客观视野图像检测到的客观照相机指标候选。
而且，uPbmb表示检测到的客观照相机指标候选Pb mb的图像坐标。例如，在图5(即，Ma＝Mb＝2)所示的示例中，客观照相机指标候选检测部分640能输出图像坐标upa1a、uPa2a、uPb1b和uPb2b。
位置约束条件计算部分650能从数据存储部分170输入客观照相机指标候选检测部分640检测到的各个客观照相机指标候选的图像坐标(根据图5所示的示例是upa1a，uPa2a，uPb1b，和uPb2b)和客观照相机180a和180b在世界坐标系中的位置和方向。
然后，位置约束条件计算部分650能基于输入信息计算每个客观照相机指标候选的位置约束条件(例如本示例实施方式中的三维位置)。
客观照相机指标识别部分690能基于由位置和方向估计部分120估计的成像装置130的位置和方向和由位置约束条件计算部分650计算的每个客观照相机指标候选的位置约束条件识别客观照相机指标。
图5所示的图像输入部分660、数据存储部分170、主观照相机指标检测部分110、位置和方向估计部分120、客观照相机指标候选检测部分640、位置约束条件计算部分650和客观照相机指标识别部分690可以是分开的单元，或者可以是可安装在一个或多个计算机上并且可以由CPU执行来实现上述功能的软件程序。
在本示例实施方式中，由单一的计算机执行软件程序来实现上述多个部分(即，图像输入部分660、数据存储部分170、主观照相机指标检测部分110、位置和方向估计部分120、客观照相机指标候选检测部分640、位置约束条件计算部分650和客观照相机指标识别部分690)的功能。而且，计算机有图2所示基本的布置。
图6是显示由CPU1001执行的用于计算每个客观照相机指标候选Pm的三维位置的处理的流程图。这个处理是当CPU1001执行与位置约束条件计算部分650功能相应的软件程序时实现的。在这种情况下，用于这个流程图的程序代码在CPU1001执行下面处理之前就已经加载到RAM1002中了。
在步骤S7000，位置约束条件计算部分650从数据存储部分170输入客观照相机指标候选检测部分640检测到的客观照相机指标候选(根据图5所示的示例是Pa ma和Pb mb)的图像坐标(即，根据图5所示的示例是upa1a、uPa2a、uPb1b和uPb2b)。
在步骤S7010，位置约束条件计算部分650使用极线(epipolar)约束关联客观照相机指标候选的图像并且根据三角测量的原理使用关联的客观照相机指标候选Pm(m＝1，...，M)的图像坐标计算客观照相机指标候选Pm在世界坐标系中的三维位置xW Pm。这里，M表示相关联的客观照相机指标候选的总数。
在步骤S7020，位置约束条件计算部分650输出在世界坐标系中定义的客观照相机指标候选Pm的三维位置XW Pm到数据存储部分170。
图7是显示由CPU1001执行的用于识别客观照相机指标的处理的流程图。这个处理是当CPU1001执行与客观照相机指标识别部分690功能相应的软件程序时实现的。
根据流程图的处理可以通过执行步骤S8000的处理和然后为每个客观照相机指标候选执行步骤S8010到步骤S8030的处理来完成。在这种情况下，用于这个流程图的程序代码在CPU1001执行下面处理之前就已经加载到RAM1002中了。
在步骤S8000，客观照相机指标识别部分690从数据存储部分170输入已经由位置和方向估计部分120估计出的表示成像装置130位置的三维向量xW C和表示成像装置130方向的3×3矩阵RWC。然后，客观照相机指标识别部分690根据上述公式(3)计算客观照相机指标P的估计位置xW P。
在步骤S8010，客观照相机指标识别部分690根据下面的公式(5)计算客观照相机指标P的估计位置xW P和目标客观照相机指标候选Pm的三维位置xW Pm之间的距离dm。
d m = | | x W P - x W P m | | - - - ( 5 )
在步骤S8020，客观照相机指标识别部分690决定在步骤S8010获得的距离dm是否在预定区间内。
当距离dm在预定区间(即，在步骤S8020中是YES)时，处理流程前进到步骤S8030。在步骤S8030，客观照相机指标识别部分690识别客观照相机指标候选作为真正的客观照相机指标。例如，客观照相机指标识别部分690通过接口1009输出识别的客观照相机指标的图像坐标到外部设备并且终止处理程序。
另一方面，当距离dm不在预定区间(即，在步骤S8020中是NO)时，处理流程前进到步骤S8040。在步骤S8040，客观照相机指标识别部分690决定是否对于所有客观照相机指标候选Pm都完成了上述步骤S8010到S8030的处理。当在步骤S8040中的决定是YES时，客观照相机指标识别部分690终止处理程序。
当在步骤S8040中的决定是NO时，处理流程返回到步骤S8010并且客观照相机指标识别部分690为剩下的客观照相机指标候选Pm执行步骤S8010到S8040的处理。
利用上述处理，能从包含客观照相机指标候选的图像精确地识别真正的客观照相机指标。
如上所述，根据第二示例实施方式的信息处理装置和信息处理方法不需要任何在上述传统技术3中使用的光发射时间控制机制或高速照相机。因此，成本就降低了。
第三示例实施方式
根据第一示例实施方式，在空间内可移动的成像装置上提供了客观照相机指标。根据第三示例实施方式的信息处理装置的特征在于在任意对象体上提供客观照相机指标。
根据第三示例实施方式信息处理装置除了包括根据第一示例实施方式的信息处理装置的布置外还包括对象体。根据第三示例实施方式的信息处理装置和信息处理方法将在下面参考附图描述。
图8是说明根据第三示例实施方式的信息处理装置的框图。如图8所示，根据第三示例实施方式的信息处理装置900包括客观照相机180、图像输入部分160、数据存储部分170、主观照相机指标检测部分110、位置和方向估计部分920、客观照相机指标候选检测部分140、位置约束条件计算部分150、客观照相机指标识别部分990和包括“主观”照相机930的成像装置。
由与第一示例实施方式中描述的那些标号相同的标号指示的部分可以相同的方式起作用并且在下面不再具体描述。第三示例实施方式与第一示例实施方式的不同之处在于图像输入部分160能输入主观照相机930捕获的图像作为主观视野图像。
在第三示例实施方式中，在对象体935上提供了客观照相机指标。
主观照相机930被静止地安装在对象体935上。对象体935具有在主观照相机坐标系中已知的位置和方向。
而且，在对象体935上提供了客观照相机指标P。客观照相机指标P的位置在对象体坐标系中是已知的。
位置和方向估计部分920能从数据存储部分170输入作为已知信息预先存储的主观照相机指标检测部分110检测到的每个主观照相机指标的图像坐标uQkn和相应的世界坐标xW Qkn的组合。然后，位置和方向估计部分920能基于输入信息估计主观照相机930的位置和方向。
而且，位置和方向估计部分920能基于上述主观照相机930(在世界坐标系中)的估计的位置和方向和在主观照相机坐标系中已知的对象体935的位置和方向估计对象体935的位置和方向。
客观照相机指标识别部分990能基于由位置和方向识别部分920估计的对象体935的位置和方向和由位置约束条件计算部分150计算的每个客观照相机指标候选的位置约束条件来识别客观照相机指标。
利用上述布置，信息处理装置990能识别在任意对象体上提供的真正的客观照相机指标。
根据第三示例实施方式的位置和方向估计部分920在主观照相机930的位置和方向被获得后获得对象体935的位置和方向。但是，位置和方向估计部分920能直接获得对象体935的位置和方向。
根据第三示例实施方式的对象体935可以是能捕获物理空间的成像装置。例如，主观照相机930面朝上获得与捕获物理空间的成像装置不同的视场。主观照相机指标Qk可以放置在主观照相机930的视场中。利用这种布置，成像装置可以捕获物理空间而不必破坏物理空间图像，因为主观照相机指标Qk可以从成像装置的视场中去除。
而且，在第三示例实施方式中，多个主观照相机930可以装在对象体935上以便对象体935的每个位置和方向能被精确地估计。
修改的实施方式1
在上述示例实施方式中，成像装置能根据例如Hirofumi FUJII，Seishi KANBARA，Hidehiko IWASA，Haruo TAKEMURA和Naokazu YOKOYA在电子、信息和通讯工程师协会的技术报告PRMU99-192(Shingakugihou，第99卷574号1-8页)中的“Gyrosensor equipped stereo camera positioning method applicable to theaugmented reality”来引入惯性传感器来估计成像装置的位置和方向。
在这种情况下，在由成像装置获得的主观视野图像上，必须一直观察至少两个主观照相机指标。在这种情况下，与只使用图像信息的方法相比，能稳定地估计成像装置的位置和方向。
修改的实施方式2
在上述示例实施方式中，主观照相机或客观照相机可以是能捕获除了可见光外的任何光的特殊照相机。例如，当客观照相机指标能发射或反射红外光时，客观照相机可以是能捕获由指标发射的红外光的红外照相机。在这种情况下，可以当然地避免错误地检测到主观照相机指标，因为主观照相机指标不包含在客观照相机捕获的客观视野图像中。
相反地，当主观照相机指标能发射或反射红外光，主观照相机可以是能捕获由指标发射的红外光的红外照相机。而且，当主观照相机指标和客观照相机指标能发射或反射红外光时，主观照相机和客观照相机都可以是能捕获从这些指标发射的红外光的红外照相机。
而且，能捕获具有波长不同于可见光的特殊光的照相机并不限于红外照相机而且可以是其它类型的照相机，例如能够捕获紫外线光，或可以是能同时捕获可见光和不可见光的照相机。
修改的实施方式3
在上述示例实施方式中，如果从指标候选到客观照相机指标的估计位置的距离比预定的值短的话，客观照相机指标识别部分识别该指标候选作为真正的客观照相机指标。但是，客观照相机指标识别部分能获得每个指标候选和估计的位置之间的距离并识别具有最小距离的候选作为真正的客观照相机指标。而且，当最小距离大于阈值时，客观照相机指标识别部分能决定没有与客观照相机指标相应的指标候选。
修改的实施方式4
在上述示例实施方式中，客观照相机指标识别部分基于客观照相机指标的估计的三维位置与指标候选的三维位置之间的距离识别每个指标。但是，客观照相机指标识别部分可以用客观视野图像上的二维距离来识别每个指标。
更具体而言，客观照相机指标识别部分190能从数据存储部分170输入客观照相机180在世界坐标系中的位置和方向，基于输入信息将估计的客观照相机指标的位置投射到客观视野图像上，并获得估计的位置的图像坐标与指标候选的图像坐标之间的二维距离来识别指标。在这种情况下，位置约束条件计算部分150可以被忽略。
修改的实施方式5
在上述示例实施方式中的客观照相机指标识别部分190、690或990布置成通过接口1009输出客观照相机指标的图像坐标到外部设备。但是，客观照相机指标识别部分能基于客观照相机指标的图像坐标和主观照相机指标的图像坐标精确地计算成像装置(或对象体)的位置和方向并能输出计算出的成像装置(或对象体)的位置和方向到外部设备。
图12是显示由CPU1001执行的用于计算成像装置130(或对象体935)的位置和方向的处理的流程图。这个处理是当CPU1001执行与位置和方向计算部分(未显示)的功能相应的软件程序时实现的。
在步骤S12000，位置和方向计算部分输入主观照相机指标检测部分110检测到的主观照相机指标的图像坐标，客观照相机指标识别部分190识别的客观照相机指标的图像坐标，和由位置约束条件计算部分150计算的约束客观照相机指标位置的参数。
约束客观照相机指标位置的参数是例如表示如果只使用了一个客观照相机时的三维直线或当使用两个或更多客观照相机时的三维位置信息的参数。
在步骤S12010，位置和方向计算部分在客观照相机指标应当出现的位置的约束条件下，计算能使在主观视野图像上主观照相机指标的错误最小化的成像装置130(或对象体935)的位置和方向。更具体而言，例如，在日本专利申请特开号2004-233334中讨论的方法可以用来计算成像装置130(或对象体935)的位置和方向。
在步骤S12020，位置和方向计算部分例如以模型转换矩阵的形式输出与计算出的成像装置130(或对象体935)的位置和方向相关的信息。
而且，不使用约束客观照相机指标位置的参数，位置和方向计算部分能通过执行用于使主观照相机指标和客观照相机指标的图像坐标及它们的计算值之间的误差总和最小化的计算来计算成像装置130(或对象体935)的位置和方向。更具体而言，例如，可以使用在日本专利申请特开号2004-233334中讨论的方法。
修改的实施方式6
在上述示例实施方式中，先估计成像装置130(或对象体935)的位置和方向，并且基于估计的值来识别客观照相机指标。但是，可以通过使用例如在日本专利申请特开号2004-233334中讨论的方法来用每个客观照相机指标候选的图像坐标和主观照相机指标的图像坐标计算成像装置130的位置和方向，并且在计算过程中具有最小残留误差的指标候选可以被识别为真正的指标。在这种情况下，没有必要通过仅使用主观照相机指标来估计成像装置130的位置和方向。在这种情况下，位置和方向估计部分120和位置约束条件计算部分150可以忽略。
修改的实施方式7
在上述示例实施方式中，每个主观照相机指标可以某种方式区别。但是，与客观照相机指标相似，每个主观照相机指标可能不能被区别。在这种情况下，客观照相机指标可按如下识别。首先，每个客观照相机指标的三维位置假定为成像装置130(或对象体935)的位置。然后，每个主观照相机指标的三维位置投射到中心假定在成像装置130的位置的虚拟球体上。并且然后通过例如在H.Najafi，N.Navab，G.Klinker于2004年关于混合和扩张现实的国际座谈会会刊“Automated Initialization for Marker-less Tracking：A Sensor FusionApproach”第79-88页中描述的方法，将投射的位置与主观照相机指标候选相匹配。而且，可以通过使用例如日本专利申请公开号2004-233334中描述的方法来用与投射的位置相匹配的主观照相机指标候选的图像坐标和客观照相机指标候选的图像坐标计算成像装置130的位置和方向。最后，在计算过程中具有最小残留误差的客观照相机指标候选可以识别为真正的客观照相机指标。
其它示例实施方式
而且，能通过存储介质(或记录介质)提供用于实现上述示例实施方式功能的软件程序代码到系统或装置中。在系统或装置中的计算机(或CPU或MPU)能读取存储在存储介质中的程序代码并且能执行读出程序。
在这种情况下，从存储介质读出的程序代码能实现示例实施方式的功能。可以使用程序的同等物，如果具有处理相似的功能的话。相应地，当示例实施方式的功能或过程是由计算机来实现的时，用安装在计算机上的程序代码和存储程序的记录介质来实现本发明。
换句话说，本发明包括能实现示例实施方式的功能或过程的计算机程序或能存储该程序的任何记录介质。在这种情况下，程序的类型可以从对象代码、解释程序和操作系统脚本数据中的任何一个选择。提供程序的记录介质可以从软盘、硬盘、光盘、磁-光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存贮器卡、ROM和DVD(DVD-ROM，DVD-R)中的任何一个选择。
提供程序的方法包括当因特网上的主页允许每个用户下载本发明的计算机程序或具有自动安装功能的程序压缩文件到用户的硬盘或其它记录介质时，使用客户端计算机的浏览功能访问因特网的主页。
而且，构成本发明程序的程序代码能分成多个文件以便各个文件可从不同主页下载。即，本发明包括允许许多用户下载程序文件以便本发明的功能或过程能在他们的计算机上实现的WWW服务器。
而且，当本发明的程序发布给用户时，加密本发明的程序和存储加密程序到CD-ROM或相似记录介质是实用的方法。授权用户(即，满足预定条件的用户)被允许从因特网上的主页下载密钥信息。用户能使用获得的密钥信息解密程序并能安装程序到他们的计算机上。当计算机读取和执行安装的程序时，上述示例实施方式的功能就会实现。
而且，不仅上述示例实施方式描述的功能可以由执行程序的计算机实现，而且在计算机上运行的操作系统(OS)也能基于程序的指令执行部分或全部的实际处理。
而且，从存储介质读出的程序代码可以写入安装在计算机上的功能扩展板的存储器中或写入连接到计算机的功能扩展单元的存储器中。在这种情况下，基于程序的指令，在功能扩展板或功能扩展单元上提供的CPU能执行部分或全部的处理以便上述示例实施方式的功能可以实现。
当本发明应用到上述记录介质时，记录介质存储与上述流程图相应的程序代码。
尽管本发明已参考示例实施方式进行了描述，但应当理解本发明并不限于所公开的示例实施方式。下面权利要求的范围是要符合最广泛的解释，以便包括所有的修改、等效结构和功能。

Claims (14)

1、一种信息处理方法，包括：
第一图像输入步骤，输入由配置成捕获物理空间的成像装置捕获的第一图像；
第二图像输入步骤，输入由配置成从客观视野位置捕获成像装置的图像捕获单元捕获的第二图像；
第一检测步骤，基于在第一图像输入步骤中输入的第一图像，检测与物理空间中的第一指标的图像坐标相关的特征量；
第二检测步骤，基于在第二图像输入步骤中输入的第二图像，检测与同成像装置上的第二指标有关的候选区域的图像坐标相关的特征量；及
识别步骤，基于在第一检测步骤检测到的与第一指标的图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别作为第二指标的候选区域。
2、如权利要求1所述的信息处理方法，还包括：
指标位置估计步骤，基于与第一指标图像坐标相关的特征量计算成像装置的估计位置和方向，且基于估计的位置和方向计算第二指标的估计位置；及
约束条件计算步骤，基于在第二检测步骤检测到的与同第二指标有关的候选区域的图像坐标相关的特征量，计算与候选区域的位置相关的约束条件。
3、如权利要求2所述的信息处理方法，其中与同第二指标有关的候选区域的位置相关的约束条件包括约束候选区域位置的直线，及
其中识别步骤包括基于第二指标的估计位置和直线之间的距离识别作为第二指标的候选区域的步骤。
4、如权利要求3所述的信息处理方法，其中图像捕获单元包括多个照相机，
其中与同第二指标有关的候选区域的位置相关的约束条件包括三维位置，及
其中识别步骤包括基于第二指标的估计位置和三维位置之间的距离识别作为第二指标的候选区域的步骤。
5、如权利要求1所述的信息处理方法，其中图像捕获单元固定在物理空间中。
6、一种信息处理方法，包括：
第一图像输入步骤，输入由安装在对象体上并配置成捕获物理空间的成像装置捕获的第一图像：
第二图像输入步骤，输入由配置成从客观视野位置捕获对象体的图像捕获单元捕获的第二图像；
第一检测步骤，基于在第一图像输入步骤中输入的第一图像，检测与物理空间中的第一指标的图像坐标相关的特征量；
第二检测步骤，基于在第二图像输入步骤中输入的第二图像，检测与同对象体上的第二指标有关的候选区域的图像坐标相关的特征量；及
识别步骤，基于在第一检测步骤检测到的与第一指标的图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别作为第二指标的候选区域。
7、如权利要求6所述的信息处理方法，还包括：
指标位置估计步骤，基于与第一指标图像坐标相关的特征量计算成像装置的估计位置和方向，和基于估计的位置和方向计算第二指标的估计位置；及
约束条件计算步骤，基于在第二检测步骤检测到的与同第二指标有关的候选区域的图像坐标相关的特征量，计算与候选区域的位置相关的约束条件。
8、如权利要求7所述的信息处理方法，其中与同第二指标有关的候选区域的位置相关的约束条件包括约束候选区域位置的直线，及
其中识别步骤包括基于第二指标的估计位置和直线之间的距离识别作为第二指标的候选区域的步骤。
9、如权利要求6所述的信息处理方法，其中图像捕获单元包括多个照相机，
其中与同第二指标有关的候选区域的位置相关的约束条件包括三维位置，及
其中识别步骤包括基于第二指标的估计位置和三维位置之间的距离识别作为第二指标的候选区域的步骤。
10、如权利要求6所述的信息处理方法，其中图像捕获单元固定在物理空间中。
11、一种信息处理装置，包括：
第一图像输入单元，布置成输入由配置成捕获物理空间的成像装置捕获的第一图像：
第二图像输入单元，布置成输入由配置成从客观视野位置捕获成像装置的图像捕获单元捕获的第二图像；
第一检测单元，布置成基于由第一图像输入单元输入的第一图像，检测与物理空间中的第一指标的图像坐标相关的特征量；
第二检测单元，布置成基于由第二图像输入单元输入的第二图像，检测与同成像装置上的第二指标有关的候选区域的图像坐标相关的特征量；及
识别单元，布置成基于与第一指标的图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别作为第二指标的候选区域。
12、一种信息处理装置，包括：
第一图像输入单元，布置成输入由安装在对象体上并配置成捕获物理空间的成像装置捕获的第一图像；
第二图像输入单元，布置成输入由配置成从客观视野位置捕获对象体的图像捕获单元捕获的第二图像；
第一检测单元，布置成基于由第一图像输入单元输入的第一图像，检测与物理空间中的第一指标的图像坐标相关的特征量；
第二检测单元，布置成基于由第二图像输入单元输入的第二图像，检测与同对象体上的第二指标有关的候选区域的图像坐标相关的特征量；及
识别单元，布置成基于与第一指标的图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别作为第二指标的候选区域。
13、一种信息处理方法，包括：
第一图像输入步骤，输入由配置成捕获物理空间的成像装置捕获的第一图像：
第二图像输入步骤，输入由配置成从客观视野位置捕获成像装置的图像捕获单元捕获的第二图像；
第一检测步骤，基于在第一图像输入步骤中输入的第一图像，检测与同物理空间中的第一指标有关的候选区域的图像坐标相关的特征量；
第二检测步骤，基于在第二图像输入步骤中输入的第二图像，检测与同成像装置上的第二指标有关的候选区域的图像坐标相关的特征量；及
识别步骤，基于与同第一指标有关的候选区域的图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别与第二指标有关的候选区域。
14、一种信息处理装置，包括：
第一图像输入单元，布置成输入由配置成捕获物理空间的成像装置捕获的第一图像；
第二图像输入单元，布置成输入由配置成从客观视野位置捕获成像装置的图像捕获单元捕获的第二图像；
第一检测单元，布置成基于在第一图像输入步骤中输入的第一图像，检测与同物理空间中的第一指标有关的候选区域的图像坐标相关的特征量；
第二检测单元，布置成基于第二图像，检测与同成像装置上的第二指标有关的候选区域的图像坐标相关的特征量；及
识别单元，布置成基于与同第一指标相关的候选区域的图像坐标相关的特征量和与同第二指标有关的候选区域的图像坐标相关的特征量，识别与第二指标相关的候选区域。
CNB2006100957390A 2005-06-28 2006-06-28 用于识别图像中的指标的信息处理方法与装置 Expired - Fee Related CN100435560C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005188296 2005-06-28
JP2005-188296 2005-06-28
JP2005188296 2005-06-28

Publications (2)

Publication Number Publication Date
CN1893559A CN1893559A (zh) 2007-01-10
CN100435560C true CN100435560C (zh) 2008-11-19

Family

ID=36950083

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100957390A Expired - Fee Related CN100435560C (zh) 2005-06-28 2006-06-28 用于识别图像中的指标的信息处理方法与装置

Country Status (4)

Country Link
US (1) US7680336B2 (zh)
EP (1) EP1739622B1 (zh)
KR (1) KR100821431B1 (zh)
CN (1) CN100435560C (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739622B1 (en) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP4715888B2 (ja) * 2008-09-02 2011-07-06 カシオ計算機株式会社 画像処理装置及びコンピュータプログラム
WO2013019190A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. System and method of visual layering
DE102013206569B4 (de) * 2013-04-12 2020-08-06 Siemens Healthcare Gmbh Gestensteuerung mit automatisierter Kalibrierung
US10417801B2 (en) 2014-11-13 2019-09-17 Hewlett-Packard Development Company, L.P. Image projection
CN108139202B (zh) * 2015-09-30 2021-06-11 索尼公司 图像处理装置、图像处理方法和程序
US10349032B2 (en) * 2016-09-30 2019-07-09 Veoneer Us, Inc. Vehicle occupant head positioning system
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
KR102090533B1 (ko) * 2018-10-30 2020-03-18 한동대학교 산학협력단 멀티마커 기반의 증강현실 시스템의 카메라 자세 추정 방법
CN113048878B (zh) * 2019-12-27 2023-08-29 苏州因确匹电子科技有限公司 光学定位系统、方法以及多视图三维重建系统、方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184307A (ja) * 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
JP2004041173A (ja) * 2003-03-31 2004-02-12 Shigehiro Fukushima 麺類乾燥室
CN1543200A (zh) * 2003-04-22 2004-11-03 ���µ�����ҵ��ʽ���� 联合摄像机构成的监视装置
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
JP3976900B2 (ja) 1998-07-23 2007-09-19 キヤノン株式会社 視点位置姿勢の決定方法及びカメラ装置
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
US6993179B1 (en) * 2000-08-07 2006-01-31 Koninklijke Philips Electronics N.V. Strapdown system for three-dimensional reconstruction
WO2002099739A1 (en) * 2001-06-05 2002-12-12 Matrox Electronic Systems Ltd. Model-based recognition of objects using a calibrated image system
JP2004080128A (ja) * 2002-08-12 2004-03-11 Tateyama R & D:Kk 動体画像自動追跡方法と装置
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
US7164800B2 (en) * 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
JP4469148B2 (ja) * 2003-08-06 2010-05-26 パナソニック株式会社 監視システム、固定カメラ、移動カメラおよび撮影方法
US7467061B2 (en) * 2004-05-14 2008-12-16 Canon Kabushiki Kaisha Information processing method and apparatus for finding position and orientation of targeted object
EP1739622B1 (en) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
JP5036260B2 (ja) * 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184307A (ja) * 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
JP2004041173A (ja) * 2003-03-31 2004-02-12 Shigehiro Fukushima 麺類乾燥室
CN1543200A (zh) * 2003-04-22 2004-11-03 ���µ�����ҵ��ʽ���� 联合摄像机构成的监视装置
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置

Also Published As

Publication number Publication date
EP1739622B1 (en) 2013-08-14
EP1739622A3 (en) 2012-03-14
KR20070001008A (ko) 2007-01-03
CN1893559A (zh) 2007-01-10
KR100821431B1 (ko) 2008-04-10
US7680336B2 (en) 2010-03-16
EP1739622A2 (en) 2007-01-03
US20070008340A1 (en) 2007-01-11

Similar Documents

Publication Publication Date Title
CN100435560C (zh) 用于识别图像中的指标的信息处理方法与装置
CN100588270C (zh) 信息处理设备和方法
JP4739004B2 (ja) 情報処理装置及び情報処理方法
US7974462B2 (en) Image capture environment calibration method and information processing apparatus
CN101324433B (zh) 信息处理方法和信息处理装置
EP1901029B1 (en) Position and orientation measurement method and apparatus
US7664341B2 (en) Index layout measurement method, position and orientation estimation method, index layout measurement apparatus, and position and orientation estimation apparatus
CN100559386C (zh) 标识识别方法和装置
US8649025B2 (en) Methods and apparatus for real-time digitization of three-dimensional scenes
JP2007164631A (ja) 指標識別方法及び指標識別装置
US20050069172A1 (en) Index identifying method and system
Xavier et al. Accuracy analysis of augmented reality markers for visual mapping and localization
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
JP4282067B2 (ja) 指標識別方法および装置
JP2006293485A (ja) 指標表示方法及び画像表示装置
JP5127165B2 (ja) 情報処理方法および装置
JP4817631B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
Li et al. Fiducial marker based on projective invariant for augmented reality
JP4497880B2 (ja) 指標識別方法および装置
Simões et al. 3D tracking in industrial scenarios: a case study at the ISMAR tracking competition
Kato et al. Identification and localization of multiple robots using omnidirectional vision sensors
JP2010118002A (ja) 情報処理装置及び情報処理方法
Sakamoto et al. 3D position measurement using square marker for automatic mobile robot control
JP2014215821A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081119

Termination date: 20200628