CN100588270C - 信息处理设备和方法 - Google Patents

信息处理设备和方法 Download PDF

Info

Publication number
CN100588270C
CN100588270C CN200610101908A CN200610101908A CN100588270C CN 100588270 C CN100588270 C CN 100588270C CN 200610101908 A CN200610101908 A CN 200610101908A CN 200610101908 A CN200610101908 A CN 200610101908A CN 100588270 C CN100588270 C CN 100588270C
Authority
CN
China
Prior art keywords
image
index
display unit
orientation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200610101908A
Other languages
English (en)
Other versions
CN1905689A (zh
Inventor
远藤隆明
内山晋二
麻生隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1905689A publication Critical patent/CN1905689A/zh
Application granted granted Critical
Publication of CN100588270C publication Critical patent/CN100588270C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种信息处理设备和方法，其中指标检测部从成像设备获得的摄取图像检测实际空间中的指标。错误检测防止处理部基于关于所检测的指标的图像坐标的信息，执行错误检测防止处理。图像输出部向显示装置输出已经进行了错误检测防止处理的图像。当显示装置在成像设备的视野中时，这防止了显示在显示装置上的图像被错误地当作真实指标。

Description

信息处理设备和方法
技术领域
本发明涉及一种信息处理技术，该信息处理技术用于使得信息处理系统能够消除对成像设备摄取的图像中包含的指标(index)的错误检测。
背景技术
常规技术1
例如在能够组合实际空间和虚拟空间并且显示混合图像的混合现实(mixed reality)系统中，需要用于摄取实际空间的照相机或另一图像摄取单元(在此之后统称为“照相机”)的位置和取向测量。
如日本专利申请特开No.11-084307、日本专利申请特开No.2000-041173、或者A.State、G.Hirota、D.T.Chen、B.Garrett以及M.Livingston的“Superior augmented reality registration byintegrating landmark tracking and magnetic tracking”，Proc.SIGGRAPH′96，第429-438页，1996年7月中所讨论的，存在通过使用具有已知位置并且设置于实际空间中的标记或特征点(在此之后统称为“指标”)，修正可能测量照相机的位置和取向的传感器的测量误差的常规方法。
这些方法的特征在于，照相机的位置和取向可以基于照相机所装备的位置和取向传感器的感测数据以及与照相机所摄取的指标相关的信息，估计照相机的位置和取向。在这些方法中使用的指标例如是定义质心或同心圆的有色区域。总的来说，在实际空间中提供预定数量的指标，使得两个或更多指标可以同时被该照相机摄取。
当照相机摄取了包括指标的图像时，所摄取的图像中包含的每个指标必须被识别为是放置在实际空间中的指标中之一。作为识别每个指标的方法，可基于位置和取向传感器的测量值，使用从图像检测到的每个指标的坐标与通过将指标在实际空间中的已知位置投影到图像上可获得的指标的图像坐标之间的关系。
常规技术2
如在Kato、Billinghurst、Asano、以及Tachibana的“AnAugmented Reality System and its Calibration based on MarkerTracking”，Transactions of the Virtual Reality Society of Japan，Vol.4，no.4，第607-616页，1999年12月，或X.Zhang、S.Fronz以及N.Navab的“Visual marker detection and decoding in AR systems”：比较性研究，Proc.of International Symposium on Mixed andAugmented Reality(ISMAR′02)，2002中所讨论的，存在仅基于照相机摄取的指标而不依赖于从位置和取向传感器获得的信息来估计照相机的位置和取向的常规方法。
例如，如果使用方形指标，可以基于这种方形的四个顶点的坐标来估计照相机的位置和取向。然而，方形关于通过中心(即对角线的交叉点)并且垂直于方形表面的旋转轴是旋转对称的(每旋转90°)。因而，不可能基于各顶点的坐标识别上下或左右方向。
为了解决这个问题，方形指标可以包括限定各方向的图像特征。此外，当使用多个指标时，有必要仅基于由照相机摄取的图像来识别每个指标。因而，指标可以包含对每个指标进行区分的图形信息，诸如唯一的图案或符号。
常规技术3
如常规技术1中所述的被配置为呈现混合现实的图像显示设备可以通过视频透视头戴显示器来实现。该视频透视头戴显示器(即可安装在用户头上的显示单元)能够基于成像设备的位置和取向，显示包括叠加在照相机摄取的实际空间的图像上的虚拟空间的图像(例如由计算机图形或文本信息创建的虚拟对象)的混合图像。
在这种情况下，为了使其他观测者看到同一场景，可以将一显示装置定位在实际空间中，以显示照相机摄取的实际空间的图像，或者由头戴显示器的用户当前观测的包括叠加在实际空间的图像之上的虚拟空间图像的混合图像。
在用于根据常规技术1估计照相机的位置和取向的方法中，每个指标可以是具有特定颜色的小的圆形片。在这种情况下，每个指标的信息是3维位置信息(即坐标)和颜色。
该用于识别指标的方法可包括以下步骤：通过使用位置和取向传感器的测量值将该指标的3维位置投影到照相机的图像表面上，从图像检测指标的颜色，以及从图像计算质心位置。此外，该方法可以包括如下步骤：比较投影的指标的图像坐标与从图像计算的质心位置，以及将最近的一个指标识别为真实指标。
根据常规技术2中所述的使用方形标记或另一图形指标的方法，对每个标记的区分完全依赖于可从图像获得的有限的信息。因而，每个指标必须包括区别性的符号信息或模板信息。
图10示出了上述常规技术2中所使用的实际方形标记的例子，它们在Kato、Billinghurst、Asano以及Tachibana的“An AugmentedReality System and its Calibration based on Marker Tracking”，Transactions of the Virtual Reality Society of Japan，Vol.4，no.4，第607-616页，1999年12月，或X.Zhang、S.Fronz以及N.Navab的“Visual marker detection and decoding in AR system”，比较性研究，Proc.of International Symposium on Mixed and AugmentedReality(ISMAR′02)，2002中被讨论。
在任何常规技术中，如果与指标在颜色或形状上相似的对象出现在实际空间中，系统可能错误地将此对象检测为包括在由照相机摄取的图像中的真实指标。
例如，在上述常规技术3中，显示装置能够显示由照相机摄取的实际空间的图像(或者包括叠加在实际空间的图像之上的虚拟空间图像的混合图像)。在此情况下，如果显示装置放置在实际空间中，照相机将摄取显示装置的显示屏幕。结果，显示在显示屏幕上的指标的图像将错误地被检测为放置在实际空间中的真实指标。
发明内容
本发明的一个方面是克服上述缺点。
至少一个示例性实施例针对一种信息处理设备，该信息处理设备包括：图像输入单元，其适用于输入由图像摄取单元摄取的实际空间的图像；检测单元，其适用于从该图像检测与实际空间中的指标的图像坐标有关的特征量；生成单元，其适用于从输入图像生成显示图像；输出单元，其适用于使显示装置显示由生成单元生成的显示图像；以及错误检测防止单元，其适用于当图像摄取单元摄取显示装置时，防止检测单元检测由显示装置显示的指标的图像。
此外，至少一个示例性实施例针对一种信息处理方法，该信息处理方法包括如下步骤：输入由成像设备获得的摄取图像，该成像设备适用于摄取放置有显示装置的实际空间的图像；从摄取图像检测与实际空间中的指标的图像坐标有关的特征量；从摄取图像生成要被显示在显示装置上的显示图像；以及将特定图像叠加在从摄取图像检测的指标的图像区域上。
此外，至少一个示例性实施例针对一种信息处理方法，该信息处理方法包括如下步骤：输入由成像设备获得的摄取图像，该成像设备适用于摄取放置有显示装置的实际空间的图像；设定对应于该摄取图像中的该显示装置的图像区域；从除了对应于该显示装置的图像区域以外的该摄取图像的图像区域检测与实际空间中的指标的图像坐标有关的特征量；以及从该摄取图像生成要被显示在显示装置上的显示图像。
从如下参考附图对示例性实施例的详细描述中，本发明的其他特征将变得明显。
附图说明
被引入说明书并且组成说明书的一部分的附图图示了本发明的各实施例，并且与本说明书一起用于说明本发明的原理。
图1是示出了根据第一示例性实施例的信息处理设备的示意性布置的框图。
图2是示出了能够执行用于实现图1所示的信息处理设备的功能的软件程序的计算基础布置的框图。
图3是示出了根据第一示例性实施例的用于消除指标的错误检测的处理的流程图。
图4示出了根据第一示例性实施例的能够隐藏矩形指标的一部分的叠加图形图像的例子。
图5是示出了根据第二示例性实施例的信息处理设备的示意性布置的框图。
图6是示出了根据第二示例性实施例的用于消除指标的错误检测的处理的流程图。
图7是示出了根据第三示例性实施例的用于消除指标的错误检测的处理的流程图。
图8是示出了根据第四示例性实施例的信息处理设备的示意性布置的框图。
图9是示出了当控制显示装置的刷新率或成像设备的帧率时可获得的指标的显示图像的一个例子的视图。
图10是公知的常规上使用的实际指标的例子的视图。
具体实施方式
以下示例性实施例的描述本质上仅是说明性的，并且完全没有限制本发明、其应用或用途的意图。
将不详细讨论本领域中的一般技术人员所公知的处理、技术、设备和材料，但是在适当时，它们将成为有效描述的一部分。例如，将不详细讨论用于信号处理、计算等等的特定电路。然而在适当时，相关领域中的一般技术人员所公知的用于构成这些系统的这些系统和方法将成为有效公开的一部分。
应该注意，贯穿本说明书，在以下的图中，相似的附图标记和字母表示相同的项目，因而一旦在一个图中定义一个项目，就不会在后面的图中讨论它。
现在将根据附图详细描述本发明的示例性实施例。
第一示例性实施例
根据第一示例性实施例的信息处理设备可以产生显示图像，该显示图像包括局部叠加在摄取图像中所包括的每个指标上的2维图形或小的图像，以便消除指标的错误检测。
根据该第一示例性实施例的信息处理设备和信息处理方法具有以下特征。
图1是示出了根据第一示例性实施例的信息处理设备100的示意性配置的框图。
信息处理设备100包括图像输入部160、数据存储部170、指标检测部110、错误检测防止处理部140、图像生成部150以及图像输出部190。信息处理设备100连接到成像设备130并且连接到显示装置180。
能够由成像设备130摄取的预定数量的指标(多个指标)Qk(k＝1，...，KQ)设置在实际空间中的预定位置上。根据图1所示的例子，两个指标Q1和Q2设置在实际空间中。一个指标Q1位于成像设备130的视野中。
指标QK例如可以是具有不同颜色的圆形标记，或者可以是具有不同纹理特征的自然特征或其他特征点。此外，指标QK可以是诸如各具有适当大小的单色矩形区域的矩形指标，或者如果当每个指标被投影到摄取图像时并且当此指标可以根据适当的方法识别时可以检测每个指标的图像坐标，该指标Qk可以配置成为任何其他指标。此外，可以有意地设置每个指标。作为替换方案，可以在实际空间中自然呈现每个指标。
图像输入部160能够接收由成像设备130产生的图像(此后称为“摄取图像”)。
此外，图像输入部160可以将输入的摄取图像转换为数字数据。数据存储部170能够存储转换的数字数据。
指标检测部110可以从数据存储部170输入摄取图像，并且检测输入图像中的指标的图像坐标。
例如，当指标是具有不同颜色的标记时，指标检测部110能够从输入图像检测对应于各标记颜色的区域，并且能够将所检测的区域的质心位置识别为所检测的指标的坐标。
当指标是具有不同纹理特征的特征点时，指标检测部110能够对输入图像应用模板匹配，以便检测指标的位置。为此，指标检测部110能够事先存储相应指标的模板图像作为已知信息。
当指标是矩形指标时，指标检测部110能够对输入图像应用二值化处理，并且能够执行加标签处理，以便把每个由四条直线组成的区域作为指标候选者。
接着，为了排除错误检测，指标检测部110能够确定候选区域中是否具有任何具体图案，并且能够获得该指标的标识符。在本示例性实施例中，以这种方式检测的矩形指标对应于放置在四个角上的四个指标。
指标检测部110能够将每个检测的指标的图像坐标和所检测的指标的标识符输出到数据存储部170。
在以下描述中，Qkn表示当所检测的指标具有标识符n(n＝1，...，N)时摄取图像中所包括的指标，其中N表示在摄取图像上检测到的指标的总数。
此外，uQkn表示检测的指标Qkn的图像坐标。例如，在图1所示的例子中(即N＝1)，指标检测部110能够输出检测的指标的标识符k1＝1，以及对应的图像坐标uQk1。
错误检测防止处理部140能够产生显示图像，该显示图像在对应于由指标检测部110检测的指标的位置上包括局部地叠加在摄取图像上的2维图形或小图像。
换句话说，当成像设备130摄取显示装置180的图像时，错误检测防止处理部140能够防止指标检测部110错误地检测显示在显示装置180上的指标(即图1所示的Q1′)。
在本示例性实施例中，2维图形或小图像在尺寸上小于所摄取的图像。
图像生成部150能够生成要被显示在显示装置180上的显示图像。图像输出部190能够将由图像生成部150生成的显示图像转换为图像数据，并且将所转换的图像数据输出到显示装置180。
数据存储部170能够存储来自图像输入部160的图像输入、从指标检测部110输入的各个指标的图像坐标和标识符、以及成像设备130的照相机参数。
图1所示的图像输入部160、数据存储部170、指标检测部110、错误检测防止处理部140、图像生成部150以及图像输出部190可以是分离的单元，或者可以是可安装在单独或多个计算机中、并且能够由计算机中的中央处理单元(CPU)执行以实现各功能的软件程序。
在本示例性实施例中，单个的计算机执行软件程序，以便实现上述多个部(即，图像输入部160、数据存储部170、指标检测部110、错误检测防止处理部140、图像生成部150以及图像输出部190)的功能。
图2是示出能够执行软件程序以便实现图像输入部160、数据存储部170、指标检测部110、错误检测防止处理部140、图像生成部150以及图像输出部190的功能的计算机的基础配置的框图。
CPU 1001能够基于存储在RAM 1002或ROM 1003中的程序或数据执行计算机的整体控制，并且控制软件程序的执行，以便实现图像输入部160、数据存储部170、指标检测部110、错误检测防止处理部140、图像生成部150以及图像输出部190的功能，
RAM 1002具有暂时存储从外部存储设备1007或者从存储介质驱动器1008装载的程序和数据的区域，以及具有用于CPU 1001执行的各种处理的工作区域。RAM 1002能够实现数据存储部170的功能。
ROM 1003能够存储计算机的程序和设定数据。键盘1004和鼠标1005允许计算机的操作者向CPU 1001输入各种指令。
显示单元1006可以是阴极射线管(CRT)或者液晶屏幕，其能够显示消息，例如成像设备130的位置和取向测量所需的消息。
外部存储设备1007能够充当诸如硬盘的海量信息存储设备，其能够存储OS(操作系统)和软件程序。此外，本示例性实施例中的已知信息可以被存储在外部存储设备1007中，并且在需要时可以装载到RAM 1002中。
存储介质驱动器1008能够根据从CPU 1001提供的指令读取存储在CD-ROM、DVD-ROM或其他存储介质中的程序和数据，并且将所读出的程序和数据输出到RAM 1002或输出到外部存储设备1007。
接口(I/F)1009包括：模拟视频端口或IEEE 1394或其他数字输入/输出端口，成像设备130可以通过这些端口连接到计算机；RS232C或USB串行端口，取向传感器(未示出)可以通过该端口连接到计算机；或者以太网(注册商标)端口，关于每个被识别的指标的信息可以通过该端口输出到外部装置。经由接口1009输入的数据输出可以被存储在RAM 1002中。接口1009能够实现图像输入部160的部分功能。
上述组成部件通过总线1010相互连接。
图3是示出了根据第一示例性实施例的用于消除被错误检测的显示在显示装置180上的指标的处理。当CPU 1001执行对应于错误检测防止处理部140的功能的程序时，实现该处理。在这种情况下，在CPU 1001执行以下处理之前，用于图3的流程图的程序代码已经装载到RAM 1002中。
通过图3所示的处理，错误检测防止处理部140能够产生要被显示在显示装置180上的、包括局部叠加在指标区域上的2维图形或小图像的显示图像。
在步骤S3000中，错误检测防止处理部140从数据存储部170输入由指标检测部110检测的每个指标Qn的图像坐标uQn。
在步骤S3010中，错误检测防止处理部140在对应于图像坐标uQm处产生包括局部叠加在已经由指标检测部110应用了指标检测处理的摄取图像上的2维图形或小图像的显示图像。
例如，当指标是具有不同颜色的标记时，错误检测防止处理部140可以使用能够完全隐藏该标记的具有非登记的标记颜色的圆形或另一种图形图案，作为叠加在位于图像坐标uQm的标记上的2维图形或小图像。
此外，当指标是具有不同纹理特征的特征点时，错误检测防止处理部140可以使用能够隐藏一部分纹理特征的适当大小的图像，作为要叠加在特征点上的2维图形或小图像。
此外，当指标是矩形指标时，错误检测防止处理部140可以使用能够掩饰指标的矩形形状的特定图像，作为要叠加在矩形指标上的2维图形或小图像。
图4示出了叠加在矩形指标的指标区域400中的一部分特定图案上的矩形图案410的例子。根据图4所示的例子，叠加的图像可以隐藏矩形指标中提供的图像特征，这可以用来识别指标的方向。
在步骤S3020中，错误检测防止处理部140向数据存储部170输出包括局部叠加在摄取图像上的2维图形或小图像的显示图像。显示装置180显示包括局部叠加的2维图形或小图像的图像。
通过上述处理，包括局部叠加的2维图形或小图像的图像显示在显示装置180上。因此，即使当成像设备130摄取了显示图像(即显示装置180的显示屏幕)，本示例性实施例也能够防止指标检测部110将包括在显示图像中的指标错误地检测为真实指标。
如上所述，由于2维图形或小图像叠加在对应于显示在显示装置上的指标的区域上，当由成像设备摄取显示装置时，根据本示例性实施例的信息处理设备和信息处理方法可以防止实际空间中显示装置上显示的指标错误地被检测为真实指标。
在上述示例性实施例中，要叠加在显示装置上显示的指标上的图像不限于2维图形或小图像，并且可以是虚拟对象图像或任何其他图像。
第二示例性实施例
根据第二示例性实施例的信息处理设备与根据第一示例性实施例的信息处理设备的不同在于，额外地设置了位置和取向计算部。该位置和取向计算部能够基于与由指标检测部110检测的各指标有关的信息，计算成像设备130的位置和取向。
图5是示出了根据第二示例性实施例的信息处理设备的示意性布置的框图。与已经在图1中描述的部分相同的部分用相同的附图标记或字符表示，并且将不再对其详细描述。
信息处理设备500包括图像输入部160、数据存储部170、指标检测部110、位置和取向计算部520、错误检测防止处理部540、图像生成部150、以及图像输出部190。信息处理设备500连接到成像设备130，并且连接到显示装置180。
能够由成像设备130摄取的预定数量的指标设置在实际空间中的预定位置上。更具体地，多个指标Qk(k＝1，...，KQ)被放置在世界坐标系(即，具有在实际空间中定义的原点、并且具有彼此垂直且从该原点延伸的X、Y、Z轴的坐标系)中定义的预定位置xW QK上。
在此示例性实施例中，优选地，至少三个指标Qk恒定地包含在由成像设备130摄取的图像中。根据图5所示的例子，总共设置了四个指标Q1、Q2、Q3和Q4，并且三个指标Q1、Q3和Q4布置在成像设备130的视野中。
在这种情况下，N＝3(N为包含在摄取图像中的所检测到的指标的总数)，指标检测部110输出摄取的指标的标识符k1＝1，k2＝3以及k3＝4，以及对应的图像坐标uQk1、uQk2以及uQk3。
位置和取向计算部520可以从数据存储部170输入一个组合数据组，该组合数据组包括由指标检测部110检测的每个照相机主观视点指标(inside-out camera index)的图像坐标uQkn，和对应于作为已知信息事先存储的所检测的照相机主观视点指标的世界坐标XW QK。
位置和取向计算部520能够基于组合信息计算成像设备130的位置和取向。例如，计算出的位置和取向可以被表达为表示位置的3维向量xW C和表示取向的3×3矩阵RWC的组合，并且可以输出到数据存储部170。
在照相测量法等领域中已经公知用于基于世界坐标和照相机主观视点指标的图像坐标的组合来计算成像设备的位置和取向的方法(例如，参考R.M.Haralick，C.Lee，K.Ottenberg，以及M.Nolle的“Review and analysis of solutions of the three point perspectivepose estimation problem”，International Journal of Computer Vision，vol.13，no.3，第331-356页，1994年，或者D.G.Lowe的“Fittingparameterized three-dimensional models to images”，IEEETransactions on PAMI，vol.13，no.5，第441-450页，1991年)。
当成像设备130摄取显示装置180的图像时，错误检测防止处理部540可以产生包括叠加在每个指标的估计位置上的3维虚拟对象的显示图像，以便防止指标检测部110错误地检测显示在显示装置180上的指标的图像(即，图5所示的Q1′、Q3′和Q4′)。本示例性实施例中所用的叠加的图像不限于3维虚拟对象，并且可以是任何其他2维图形或小图像。
图5所示的图像输入部160、数据存储部170、指标检测部110、位置和取向计算部520、错误检测防止处理部540、图像生成部150、以及图像输出部190能够被配置为独立装置，或者能够被配置为是可安装在一个或多个计算机中的软件程序，从而每个计算机的CPU能够执行该程序以实现各部的功能。
在本示例性实施例中，具有图2所示的基础配置的单个计算机执行软件程序，以实现上述多个部(即，图像输入部160、数据存储部170、指标检测部110、位置和取向计算部520、错误检测防止处理部540、图像生成部150以及图像输出部190)的功能。
图6是示出了根据第二示例性实施例的用于消除指标的错误检测的处理的流程图。当CPU 1001执行对应于错误检测防止处理部540的功能的软件程序时，实现该处理。在这种情况下，在CPU 1001执行以下处理之前，用于图6的流程图的程序代码已经装载到RAM 1002中。
在步骤S6000中，错误检测防止处理部540从数据存储部170输入由位置和取向计算部520计算的成像设备130的位置和取向以及作为已知信息事先存储的每个指标的世界坐标xW QKn。
在步骤S6010中，错误检测防止处理部540基于成像设备130的位置和取向，对指标的世界坐标xW QKn应用透视投影转换，并且产生包括叠加在已转换位置上的3维虚拟对象的显示图像。
在步骤S6020中，错误检测防止处理部540向数据存储部170输出包括叠加在摄取图像上的3维虚拟对象的显示图像。
图像输出部190向显示装置180输出包括叠加在通过上述处理而获得的摄取图像上的3维虚拟对象的显示图像。因而，即使当显示装置180由成像设备130摄取时，本示例性实施例也可以防止显示在显示装置180上的指标的图像被错误地检测为真实指标。
在本示例性实施例中，成像设备可以安装能够测量成像设备的位置和取向的位置和取向传感器。在这种情况下，与基于可从图像获得的信息的检测相比，可以稳定地估计成像设备的位置和取向。
在本示例性实施例中，成像设备中可以引入一个惯性传感器，以便例如根据Hirofumi FUJII，Masayuki KANBARA，Hidehiko IWASA，Haruo TAKEMURA，以及Naokazu YOKOYA的“A RegistrationMethod Using Stereo Cameras with an Inertial Sensor for AugmentedReality”，The Institute of Electronics，Information andCommunication Engineers，Technical Report PRMU99-192(SingakuGihou，vol.99，no.574，第1-8页)提出的方法来计算成像设备的位置和取向。
在这种情况下，在由成像设备获得的摄取图像中，必须恒定观测至少两个指标。在这种情况下，与仅使用成像信息的方法相比，可以稳定地估计成像设备的位置和取向。
如上所述，即使当指标的检测失败时，根据第二示例性实施例的信息处理设备和信息处理方法也可以产生包括在可能存在指标的候选区域上叠加的3维虚拟对象的显示图像。
例如，由于场景的暗黑，可能没有从摄取图像检测到指标。在这种情况下，本示例性实施例可以防止明亮地显示在实际空间中的显示装置上的指标被错误地检测为真实指标。
第三示例性实施例
根据上述第一和第二示例性实施例，指标检测部对摄取图像的整个区域应用指标检测处理。然而，可能从对其应用指标检测处理的目标区域中初步排除对应于显示装置的区域。这种设定可以消除显示在显示装置上的指标的错误检测，因为不在对应于显示装置的区域上应用指标检测处理。
根据第三示例性实施例的信息处理设备在结构上与第二示例性实施例的信息处理设备相似(参考图5)，但是在错误检测防止处理部540和指标检测部110的功能上是不同的。
当成像设备130摄取显示装置180的图像时，错误检测防止处理部540能够基于成像设备130的位置和取向以及显示装置180的位置和取向，计算摄取图像中可能包括显示装置180的图像的特定区域。错误检测防止处理部540能够向数据存储部170输出与计算的区域有关的信息。
指标检测部110能够从数据存储部170输入与可能包括显示装置180的图像的摄取图像的特定区域有关的信息，并且能够对排除了对应于显示装置180的特定区域的摄取图像应用指标检测处理。
图7是示出了用于计算摄取图像的可能包括显示装置180的图像的特定区域的处理的流程图。当CPU 1001执行对应于错误检测防止处理部540的功能的软件程序时，实现该处理。在这种情况下，在CPU1001执行以下处理之前，用于图7的流程图的程序代码已经装载到RAM 1002中。
在步骤S7000，错误检测防止处理部540从数据存储部170输入由位置和取向计算部520计算的成像设备的位置和取向、作为已知信息而事先存储的显示装置的位置和取向、以及(示意性的)3维模型。
在初始条件下，指标检测部110还没有检测任何指标。位置和取向计算部520不能计算成像设备130的位置和取向。因此，在初始条件下，错误检测防止处理部540从数据存储部170输入作为已知信息事先存储的成像设备130的初始位置和初始取向。
在步骤S7010中，基于成像设备130的位置和取向以及显示装置180的位置和取向，错误检测防止处理部540对显示装置180的(示意性的)3维模型应用透视投影转换，并且获得摄取图像上的转换后的位置。
在步骤S7020中，错误检测防止处理部540计算由显示装置180的3维模型所占据的图像的特定区域。接着，错误检测防止处理部540生成掩蔽图像(mask image)，该掩蔽图像例如通过将像素值“1”分配给所计算的由显示装置180的3维模型占据的区域，并且将像素值“0”分配给图像的其余部分来形成。
在步骤S7030中，错误检测防止处理部540将步骤S7020中产生的掩蔽图像输出到数据存储部170。
指标检测部110获得该掩蔽图像，并且对该掩蔽图像中具有像素值“0”的区域应用指标检测处理。通过上述处理，指标检测部110可以消除对显示在显示装置上的指标的错误检测。
在第三示例性实施例中，成像设备可以安装位置和取向传感器，以便测量成像设备的位置和取向。在这种情况下，数据存储部170不需要存储成像设备130的初始位置和初始取向。
此外，在第三示例性实施例中，当显示装置是移动类型时，可能使用与上述第二示例性实施例中所述的用于计算成像设备的位置和取向的处理类似的方法来计算显示装置的位置和取向，而不是从数据存储部170输入作为已知信息事先存储的显示装置的位置和取向。
如上所述，即使当成像设备摄取位于实际空间中的显示装置的图像时，根据第三示例性实施例的信息处理设备和信息处理方法也不对显示在显示装置上的指标的图像应用指标检测处理。因而，第三示例性实施例能够消除对指标的错误检测。
第四示例性实施例
根据上述第一和第二示例性实施例，错误检测防止处理部通过在摄取图像的指标位置上叠加图形或其他图案而消除了对指标的错误检测。
第四示例性实施例提供了能够防止成像设备摄取显示装置的显示屏幕的信息处理设备和信息处理方法。
图8是示出了根据第四示例性实施例的信息处理设备的示意性配置的框图。与已经在图1中描述的部分相似的部分用相同附图标记或字符表示，并且将不详细描述。
根据第四示例性实施例的信息处理设备800包括图像输入部160、数据存储部170、指标检测部110、图像生成部150以及图像输出部190。信息处理设备800连接到成像设备130并且连接到显示装置180。
在第四示例性实施例中，偏振滤光片840附着到成像设备130，并且偏振滤光片845附着到显示装置180。偏振滤光片840和偏振滤光片845可以充当错误检测防止单元。
例如，在旋转方向上彼此不同的圆形偏振滤光片放置在成像设备130上和显示装置180上。例如，顺时针圆形偏振滤光片840附着到成像设备130，并且逆时针圆形偏振滤光片845附着到显示装置180。
根据本示例性实施例的布置，成像设备130能够恒定地摄取显示装置180的黑色显示屏幕，而不论成像设备130与显示装置180之间的位置关系如何。更具体地，所摄取的图像包括显示装置180的黑色显示屏幕。因此，指标检测部110不能检测显示在显示屏幕上的任何指标。
除了使用偏振滤光片840和845，本示例性实施例还可以将显示装置180的刷新率和成像设备130的帧率调整为相互不同的值。这种设定可以防止成像设备130正常地摄取显示装置180的显示屏幕(指图9的左部分)。
例如，如果成像设备130的帧率为100fps(即0.01秒的快门速度)，并且显示装置180的刷新率为60Hz，则将在成像设备130摄取的显示装置180的显示屏幕的图像上出现黑色条带图案，如图9的右部分所示。
因此，至少指标Q′的一部分可以由黑色条带图案隐藏。因而，当指标Q′是图10所示的具有纹理特征的特征点或者矩形指标时，本示例性实施例可以防止显示在显示屏幕上的指标被错误地检测为场景中的真实指标。在这种情况下，信息处理设备的布置优选地不包括图8所示的偏振滤光片840和845。
如上所述，根据依照第四示例性实施例的信息处理设备和信息处理方法，成像设备不能正常摄取置于实际空间中的显示装置的显示屏幕。因而，第四示例性实施例可以消除对指标的错误检测。
其他示例性实施例
根据上述第一和第二示例性实施例，错误检测防止处理部在指标的3维位置上叠加特定图像，以便修改或隐藏该指标。然而，可能通过将另一图像叠加在摄取图像中包括显示装置的图像区域上而完全隐藏整个显示装置。
此外，可能放置对应于显示装置的屏幕形状的3维虚拟对象，以便只隐藏该显示装置的屏幕。
当显示装置是移动类型时，可能使用与在上述第二示例性实施例中描述的用于计算成像设备的位置和取向的处理相似的方法来计算显示装置的位置和取向，并且基于所计算的位置和取向，在显示装置的3维位置上放置3维虚拟对象。在这种情况下，向图5所示的布置增加显示装置位置和取向计算部。
上述示例性实施例可以应用于使用能够向佩戴该头戴显示器的用户呈现混合现实的视频透视头戴显示器的系统。在这种情况下，例如，头戴显示器的图像摄取部能够充当上述示例性实施例的成像设备130。可以基于指标获得头戴显示器的位置和取向。可以参考所获得的位置和取向生成虚拟图像。图像摄取部能够将虚拟图像和摄取图像组合，以便向用户呈现混合现实。
此外，显示装置180能够显示与在头戴显示器上显示的图像相同的图像，以使得其他观测者能够与用户一起同时体验混合现实。
上述示例性实施例的每一个都能够防止信息处理系统错误地将显示的指标图像作为真实指标检测，从而可以提供准确和可靠的混合现实。
此外，为了实现本发明的目的，可以通过存储介质(或者记录介质)向系统或设备提供用于实现上述示例性实施例的功能的软件程序代码。该系统或设备中的计算机(或CPU或MPU)可以读取存储在存储介质中的程序代码，并且可以执行读出的程序。
在这种情况下，从存储介质读出的程序代码可以实现各示例性实施例的功能。可以使用程序的等同物，如果它们拥有可比拟的功能的话。因此，当本发明的功能或处理通过计算机来实现时，安装在计算机中的程序代码以及存储该程序功能的记录介质充当用于实现本发明的单元。
换句话说，本发明包含可以实现本发明的功能或处理的计算机程序，或者可以存储该程序的任何记录介质。在这种情况下，可以从目标代码、解释程序和OS脚本数据的任何一种中选择程序的类型。
可以从柔性盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM以及DVD(DVD-ROM、DVD-R)中的任何一种中选择提供程序的记录介质。
用于提供程序的方法包括当主页允许每个用户将本发明的计算机程序或者具有自动安装功能的程序的压缩文件下载到用户的硬盘或其他记录介质时，使用客户计算机的浏览功能访问因特网上的主页。
此外，构成本发明的程序的程序代码可以被划分为多个文件，使得可以从不同主页下载各个文件。即，本发明包括允许很多用户下载该程序文件以便可以在其计算机上实现本发明的功能或处理的万维网服务器。
此外，当把本发明的程序分发给用户时的一种实际方法是，将本发明的程序加密并且将加密的程序存储在CD-ROM或者可比拟的记录介质中。允许授权用户(即满足预定条件的用户)从因特网的主页下载密钥信息。用户可用获得的密钥信息解密该程序，并且可在其计算机上安装该程序。当计算机读取和执行安装的程序时，可以实现上述各示例性实施例的功能。
此外，上述各示例性实施例的功能不仅可以由执行该程序的计算机实现，而且运行在计算机上的操作系统(OS)也可以基于该程序的指令执行实际处理的部分或全部。
此外，从存储介质读出的程序代码可以被写入到装备在计算机中的特征扩展板的存储器中，或者写入连接到计算机的特征扩展单元的存储器中。在这种情况下，基于该程序的指令，设置在特征扩展板或特征扩展单元上的CPU能够执行处理的部分或者全部，以使得可以实现上述各示例性实施例的功能。
当本发明被应用于上述记录介质时，对应于上述流程图的程序代码可以存储在该记录介质中。
虽然参考了示例性实施例描述了本发明，但是应该理解，本发明不局限于所公开的示例性实施例。应该对以下权利要求的范围给予最宽的解释，以便包含所有修改、等同结构以及功能。

Claims (10)

1.一种信息处理设备，包括：
图像输入单元，其适用于输入由图像摄取单元摄取的实际空间的图像；
检测单元，其适用于从该图像检测与实际空间中的指标的图像坐标有关的特征量；
位置和取向测量单元，其适用于基于所检测到的特征量计算图像摄取单元的位置和取向；
生成单元，其适用于从输入图像生成显示图像；
输出单元，其适用于使显示装置显示由生成单元生成的显示图像；以及
错误检测防止单元，其适用于当图像摄取单元摄取显示装置时，防止所述检测单元检测由该显示装置显示的指标的图像，使得所述位置和取向测量单元计算图像的位置和取向，而不考虑由该显示装置显示的所述指标的图像。
2.根据权利要求1所述的信息处理设备，其中该错误检测防止单元在图像摄取单元摄取的图像的局部区域上叠加特定的图像。
3.根据权利要求2所述的信息处理设备，其中错误检测防止单元将该特定图像叠加在检测单元检测到的指标的图像区域上，以便防止检测单元检测显示在显示装置上的指标的图像。
4.根据权利要求2所述的信息处理设备，其中错误检测防止单元基于由位置和取向测量单元获得的图像摄取单元的位置和取向，以及实际空间中的指标的3维位置，将3维虚拟对象图像叠加在图像的指标位置上。
5.根据权利要求2所述的信息处理设备，其中错误检测防止单元将特定图像叠加在对应于和显示装置相对应的图像区域的局部区域上，以使得该特定图像能够隐藏在显示装置上所显示的场景中包含的显示装置。
6.根据权利要求2所述的信息处理设备，还包括显示装置位置和取向测量单元，其适用于获得显示装置的位置和取向，其中错误检测防止单元基于由显示装置位置和取向测量单元测量的显示装置的位置和取向，在图像中包含的对应于显示装置的图像区域上叠加虚拟对象图像。
7.一种信息处理方法，包括如下步骤：
输入由成像设备获得的摄取图像，该成像设备适用于摄取放置有显示装置的实际空间的图像；
从摄取图像检测与实际空间中的指标的图像坐标有关的特征量，所检测出的在所述显示装置中显示的特征量不被考虑；
从摄取图像生成要被显示在显示装置上的显示图像；以及
将特定图像叠加在从对所述显示图像所摄取的图像检测出的指标的图像区域上。
8.根据权利要求7所述的信息处理方法，还包括如下步骤：
基于关于指标的图像坐标的特征，获得成像设备的位置和取向；
基于所获得的位置和取向生成虚拟图像；以及
组合虚拟图像和摄取图像。
9.一种信息处理方法，包括如下步骤：
输入由成像设备获得的摄取图像，该成像设备适用于摄取放置有显示装置的实际空间的图像；
设定该摄取图像中对应于显示装置的图像区域；
从除了对应于显示装置的图像区域以外的该摄取图像的图像区域检测与实际空间中的指标的图像坐标有关的特征量；以及
从该摄取图像生成要被显示在显示装置上的显示图像。
10.根据权利要求9所述的信息处理方法，还包含如下步骤：
基于关于指标的图像坐标的特征，获得成像设备的位置和取向；
基于所获得的位置和取向生成虚拟图像；以及
组合虚拟图像和摄取图像。
CN200610101908A 2005-07-11 2006-07-11 信息处理设备和方法 Expired - Fee Related CN100588270C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005201605 2005-07-11
JP2005201605A JP4574473B2 (ja) 2005-07-11 2005-07-11 情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN1905689A CN1905689A (zh) 2007-01-31
CN100588270C true CN100588270C (zh) 2010-02-03

Family

ID=37027040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610101908A Expired - Fee Related CN100588270C (zh) 2005-07-11 2006-07-11 信息处理设备和方法

Country Status (4)

Country Link
US (3) US8330800B2 (zh)
EP (2) EP2562719B1 (zh)
JP (1) JP4574473B2 (zh)
CN (1) CN100588270C (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4268191B2 (ja) * 2004-12-14 2009-05-27 パナソニック株式会社 情報提示装置、情報提示方法、プログラム、及び記録媒体
JP4574473B2 (ja) * 2005-07-11 2010-11-04 キヤノン株式会社 情報処理装置および方法
US9058764B1 (en) * 2007-11-30 2015-06-16 Sprint Communications Company L.P. Markers to implement augmented reality
US8542906B1 (en) 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
JP5443085B2 (ja) * 2009-07-28 2014-03-19 株式会社エルモ社 資料提示装置
WO2011038402A2 (en) * 2009-09-28 2011-03-31 Bryan Dangott Apparatus, system, and method for simulating physical movement of a digital image
CN104252270A (zh) * 2010-06-25 2014-12-31 林卓毅 电子装置
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
JP5505729B2 (ja) * 2011-01-27 2014-05-28 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
JP5799516B2 (ja) * 2011-02-03 2015-10-28 セイコーエプソン株式会社 ロボット装置、検査装置、検査プログラム、および検査方法
US9251562B1 (en) * 2011-08-04 2016-02-02 Amazon Technologies, Inc. Registration of low contrast images
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9535496B2 (en) * 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
US9191620B1 (en) 2013-12-20 2015-11-17 Sprint Communications Company L.P. Voice call using augmented reality
US9570019B2 (en) * 2014-03-20 2017-02-14 Dell Products, Lp System and method for coordinating image capture in a camera hidden behind a display device
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
US9686539B1 (en) * 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
JP7067608B2 (ja) * 2018-03-02 2022-05-16 日本電気株式会社 情報処理システム
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
CN112955851A (zh) * 2018-10-09 2021-06-11 谷歌有限责任公司 基于场境线索选择增强现实对象以供显示
CN109900331A (zh) * 2019-03-08 2019-06-18 浙江新再灵科技股份有限公司 基于深度相机特征跟踪的河流流量在线检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144813A1 (en) * 2002-01-31 2003-07-31 Canon Kabushiki Kaisha Position and orientation determination method and apparatus and storage medium
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置
CN1592381A (zh) * 2003-08-28 2005-03-09 株式会社东芝 用于处理照片图像的装置和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510833A (en) * 1994-06-13 1996-04-23 Display Laboratories Inc. Method and apparatus for transforming coordinate systems in an automated video monitor alignment system
US6122541A (en) * 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
JPH1184307A (ja) 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3976900B2 (ja) 1998-07-23 2007-09-19 キヤノン株式会社 視点位置姿勢の決定方法及びカメラ装置
KR20010015674A (ko) * 1998-07-30 2001-02-26 마츠시타 덴끼 산교 가부시키가이샤 동화상 합성장치
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
JP3241020B2 (ja) 1999-03-26 2001-12-25 日本電気株式会社 半導体装置の製造方法
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
JP4242529B2 (ja) * 1999-10-27 2009-03-25 オリンパス株式会社 関連情報呈示装置及び関連情報呈示方法
JP2001306254A (ja) * 2000-02-17 2001-11-02 Seiko Epson Corp 打音検出による入力機能
JP3467017B2 (ja) * 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
US6982744B2 (en) * 2002-04-15 2006-01-03 Radiant Imaging, Inc. Multi-point calibration method for imaging light and color measurement device
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004213355A (ja) * 2002-12-27 2004-07-29 Canon Inc 情報処理方法
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4447896B2 (ja) * 2003-11-25 2010-04-07 キヤノン株式会社 画像処理装置および方法
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP2006067272A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd カメラキャリブレーション装置及びカメラキャリブレーション方法
JP4689380B2 (ja) * 2004-09-28 2011-05-25 キヤノン株式会社 情報処理方法および装置
JP4574473B2 (ja) * 2005-07-11 2010-11-04 キヤノン株式会社 情報処理装置および方法
US7995098B2 (en) * 2005-09-09 2011-08-09 Radiant Imaging, Inc. Systems and methods for measuring spatial and angular performance of a visual display
JP4847192B2 (ja) * 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
WO2010016560A1 (en) * 2008-08-04 2010-02-11 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2010134649A (ja) * 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144813A1 (en) * 2002-01-31 2003-07-31 Canon Kabushiki Kaisha Position and orientation determination method and apparatus and storage medium
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置
CN1592381A (zh) * 2003-08-28 2005-03-09 株式会社东芝 用于处理照片图像的装置和方法

Also Published As

Publication number Publication date
US9508147B2 (en) 2016-11-29
JP2007018426A (ja) 2007-01-25
EP2562719A2 (en) 2013-02-27
CN1905689A (zh) 2007-01-31
US10140723B2 (en) 2018-11-27
EP2562719A3 (en) 2013-09-25
US20170018072A1 (en) 2017-01-19
JP4574473B2 (ja) 2010-11-04
EP1744280A3 (en) 2012-08-15
US20070008341A1 (en) 2007-01-11
EP1744280B1 (en) 2016-09-07
EP1744280A2 (en) 2007-01-17
US20130064454A1 (en) 2013-03-14
US8330800B2 (en) 2012-12-11
EP2562719B1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
CN100588270C (zh) 信息处理设备和方法
US7664341B2 (en) Index layout measurement method, position and orientation estimation method, index layout measurement apparatus, and position and orientation estimation apparatus
CN100435560C (zh) 用于识别图像中的指标的信息处理方法与装置
CN100559386C (zh) 标识识别方法和装置
CN100578141C (zh) 放置信息估计方法以及信息处理装置
EP1901029B1 (en) Position and orientation measurement method and apparatus
JP4739004B2 (ja) 情報処理装置及び情報処理方法
US20080292131A1 (en) Image capture environment calibration method and information processing apparatus
US20090245681A1 (en) Information processing method and information processing apparatus
KR20180101746A (ko) 증강 현실 컨텐츠를 제공하기 위한 방법, 전자 기기 및 시스템
US8170339B2 (en) Image processing apparatus and image processing method
JP4502361B2 (ja) 指標姿勢検出方法および装置
CN106340042A (zh) 信息处理装置及信息处理方法
JP4282067B2 (ja) 指標識別方法および装置
JP2006293485A (ja) 指標表示方法及び画像表示装置
JP4497880B2 (ja) 指標識別方法および装置
JP2010118002A (ja) 情報処理装置及び情報処理方法
JP2014215821A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100203

CF01 Termination of patent right due to non-payment of annual fee