CN103270537A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN103270537A
CN103270537A CN201280004215XA CN201280004215A CN103270537A CN 103270537 A CN103270537 A CN 103270537A CN 201280004215X A CN201280004215X A CN 201280004215XA CN 201280004215 A CN201280004215 A CN 201280004215A CN 103270537 A CN103270537 A CN 103270537A
Authority
CN
China
Prior art keywords
content
image pickup
mark
handling system
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280004215XA
Other languages
English (en)
Other versions
CN103270537B (zh
Inventor
贝野彰彦
福地正树
柏谷辰起
多井坚一郎
郭晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103270537A publication Critical patent/CN103270537A/zh
Application granted granted Critical
Publication of CN103270537B publication Critical patent/CN103270537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种信息处理系统，其获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。

Description

图像处理设备、图像处理方法和程序
技术领域
本公开涉及图像处理设备、图像处理方法和程序。
背景技术
近年来，被称为增强现实（AR）的技术受到了关注，该技术通过将虚拟内容覆盖到真实空间中来将该内容呈现给用户。通过AR技术呈现给用户的内容可以以诸如文本、图标和动画的各种形式来可视化。
在AR技术中，要被覆盖到图像上的内容可以根据各种标准来选择。一种这样的标准是识别事先与内容相关联的对象。作为一个例子，JP2010-170316A公开了一种技术，该技术检测图像中的标记（该标记是上面绘制有特定图案的对象），并将与检测到的标记相关联的内容覆盖在检测到的标记的位置处。
[引文列表]
[专利文献]
专利文献1：JP2010-170316A
发明内容
技术问题
但是，使用基于如上所述的标记检测的AR技术，一旦标记已经从图像中失去，通常就难以继续AR内容的显示。此外，即使在标记从图像中失去后AR内容的显示被继续，也会出现AR内容的显示不能反映真实空间的状态的趋势，从而显得不自然。
因此，希望实现这样的布置，即，即使在充当标记的对象已经从图像中失去后，也能够以自然的状态继续AR内容的显示。
解决问题的方案
根据本公开的实施例，提供一种信息处理系统，该信息处理系统包括一个或多个处理单元，所述处理单元：获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
根据本公开的另一个实施例，提供一种由信息处理系统执行的信息处理方法，该方法包括：获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
根据本公开的另一个实施例，提供一种包括计算机程序指令的非暂态计算机可读介质，该计算机程序指令在由信息处理系统执行时使得该信息处理系统执行一种方法，该方法包括：获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
本发明的有益效果
根据本公开的上述实施例，实现即使在充当标记的对象已经从图像中失去后也能够以自然的状态继续AR内容的显示的布置。
附图说明
图1是用于解释根据本公开的实施例的信息处理设备的概要的示图。
图2A是用于解释可以由本实施例检测的标记的一个例子的示图。
图2B是用于解释可以由本实施例检测的标记的另一个例子的示图。
图3是示出根据本实施例的信息处理设备的硬件配置的一个例子的框图。
图4是示出根据本实施例的信息处理设备的逻辑功能配置的一个例子的框图。
图5是示出根据图4中示出的分析单元的分析处理的流程的一个例子的流程图。
图6是用于解释特征点信息的配置的一个例子的示图。
图7是用于解释照相机位置/姿势信息的配置的一个例子的示图。
图8是用于解释标记基本信息的配置的一个例子的示图。
图9是用于解释标记检测信息的配置的一个例子的示图。
图10是用于解释内容信息的配置的一个例子的示图。
图11是用于解释AR内容的去除条件的第一例的示图。
图12是用于解释AR内容的去除条件的第二例的示图。
图13A是用于解释根据本实施例的AR内容的显示的第一例的示图。
图13B是用于解释根据本实施例的AR内容的显示的第二例的示图。
图13C是用于解释根据本实施例的AR内容的显示的第三例的示图。
图13D是用于解释根据本实施例的AR内容的显示的第四例的示图。
图14是示出根据同一实施例的图像处理的流程的一个例子的流程图。
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。
按照下面指示的顺序给出下列描述。
1.概要
2.根据本公开实施例的图像处理设备的示例配置
2-1.硬件配置
2-2.功能配置
2-3.AR内容的示例显示
2-4.处理的流程
3.总结
1.概要
首先，将参考图1到图2B来描述根据本公开实施例的图像处理设备的概要。
图1是用于解释根据本公开实施例的图像处理设备100的概要的示图。图1示出处于用户Ua的处理中的图像处理设备100。图像处理设备100配备有拾取真实空间1的图像的图像拾取单元102（在下文中有时被简单地称为“照相机”）和显示单元110。在图1中的例子中，在真实空间1中呈现了桌子11、咖啡杯12、书13和海报14。图像处理设备100的图像拾取单元102拾取构成通过真实空间1的图像拾取产生的视频图像的一系列图像。然后，图像处理设备100使用由图像拾取单元102拾取的图像作为输入图像来进行图像处理，以生成输出图像。在本实施例中，输出图像通常是通过将用于增强现实（AR）的虚拟内容（在下文中被称为“AR内容”）覆盖在输入图像上来生成的。图像处理设备100的显示单元110连续地显示生成的输出图像。请注意，在图1中示出的真实空间1仅仅是一个例子。由图像处理设备100处理的输入图像可以是其中出现有真实空间的任何图像。
由图像处理设备100提供AR内容可以开始于作为触发器的检测在输入图像中出现的标记。在本说明书中，术语“标记”通常指具有已知图案的在真实空间中存在的任意类型的对象。即，术语“标记”可以包括显示在显示器上的真实对象、真实对象的部分或者真实对象的表面上示出的形状、符号、显示在字符串或设计、或者图像等。尽管存在这样的情况，其中，作为狭义的定义，术语“标记”指为某种类型的应用提供的特定对象，但是根据本公开的技术并不限于这样的定义。
请注意，在图1中，智能电话被示出为图像处理设备100的一个例子。但是，图像处理设备100并不限于该例子。例如，图像处理设备100可以是PC（个人计算机）、PDA（个人数字助理）、游戏机、PND（便携式导航系统）、内容播放器或数字家用电器。
图2A是用于解释可以在本实施例中检测的标记的一个例子的示图。图2A示出可以由图1中示出的图像处理设备100获取的作为一个例子的输入图像Im01。桌子11、咖啡杯12和海报14出现在输入图像Im01中。作为已知设计的标记20a被打印在海报14上。如果图像处理设备100在输入图像Im01中检测到这样的标记20a，那么与标记20a相关联的内容可以被覆盖在输入图像Im01上。
图2B是用于解释可以在本实施例中检测的标记的另一个例子的示图。图2B示出输入图像Im02。桌子11和书13出现在输入图像Im02中。作为已知设计的标记20b被打印在书13上。如果图像处理设备100在输入图像Im02中检测到这样的标记20b，那么与标记20b相关联的内容可以被覆盖在输入图像Im02上。图像处理设备100可以使用作为已知字符串的标记20c来代替图2B中示出的标记20b。
如上所述，已经在输入图像中检测到标记后，在某些情况中，由于照相机移动或照相机的姿势改变，将停止从输入图像中检测该标记。在这种情况中，使用基于标记的检测的典型的AR技术，将难以继续显示AR内容。如果即使在标记已经被失去后仍然继续AR内容的显示，那么显示将变得不自然，诸如，通过显示与标记的位置或姿势无关的AR内容。
出于这一原因，在本实施例中，为了消除或降低AR内容的不自然的显示，图像处理设备100跟踪在三维真实空间中的照相机的位置和姿势，并使用数据库来管理检测到的标记的位置和姿势。如稍后所详细描述的，然后，基于照相机相对于标记的位置和姿势的其中之一，图像处理设备100控制AR内容的行为。
2.根据实施例的图像处理设备的示例配置
2-1.硬件配置
图3是示出根据本实施例的图像处理设备100的硬件配置的一个例子的框图。如图3所示，图像处理设备100包括图像拾取单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、总线116和控制单元118。
（1）图像拾取单元
图像拾取单元102是拾取图像的照相机模块。图像拾取设备102使用诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的图像拾取元件来拾取真实空间的图像，以生成拾取图像。由图像拾取单元102生成的一系列拾取图像构成真实空间出现在其中的视频图像。请注意，图像拾取单元102不必是图像处理设备100的一部分。作为一个例子，无线地或使用导线连接到图像拾取设备100的图像拾取设备可以被视为图像拾取单元102。
（2）传感器单元
传感器单元104可以包括诸如定位传感器、加速度传感器和陀螺仪传感器的各种传感器。可以由传感器单元104测量的图像处理设备100的位置、姿势或移动可以被用于各种应用，诸如支持稍后描述的对照相机的位置和姿势的识别、获取指定全球位置的数据、或者识别来自用户的指令。请注意，可以从图像处理设备100的配置中省略传感器单元104。
（3）输入单元
输入单元106是由用户使用来操作图像处理设备100或将信息输入到图像处理设备100的输入装置。作为一个例子，输入单元106可以包括检测由用户在显示单元110的屏幕上进行的触摸的触摸传感器。代替该触摸传感器（或者作为其补充），输入单元106可以包括诸如鼠标或触摸板的指向装置。另外，输入单元106可以包括另一种类型的输入装置，诸如：键盘、小键盘、按钮或多个按钮、或者开关或多个开关。
（4）存储单元
存储单元108由诸如半导体存储器或硬盘驱动器的存储介质构成，并存储用于由图像处理设备100进行的处理的程序和数据。由存储单元108存储的数据可以包括：拾取的图像数据、传感器数据、以及稍后描述的各种数据库（DB）中的数据。请注意，代替被存储在存储单元108中，在本说明书中描述的某些程序和数据可以从外部数据源（例如，数据服务器、网络存储装置、或外部存储器）被获取。
（5）显示单元
显示单元110是包括诸如LCD（液晶显示器）、OLED（有机发光二极管）或CRT（阴极射线管）的显示器的显示模块。作为一个例子，显示单元110被用于显示由图像处理设备100生成的输出图像。请注意，显示单元110也不必是图像处理设备100的一部分。作为一个例子，无线地或使用导线连接到图像拾取设备100的显示设备可以被视为显示单元110。
（6）通信单元
通信单元112是充当图像处理设备100与其它设备进行通信的媒介的通信接口。通信单元112支持任意的无线通信协议或有线通信协议，并且建立与其它设备的通信连接。
（7）总线
总线116将图像拾取单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112和控制单元18相互连接。
（8）控制单元
控制单元118对应于诸如CPU（中央处理单元）或DSP（数字信号处理器）的处理器。通过执行存储在存储单元108或另一个存储介质中的程序，控制单元118使图像处理设备100以稍后描述的各种方式工作。
2-2.功能配置
图4是示出由图3中示出的图像处理设备100的存储单元108和控制单元118实现的逻辑功能配置的一个例子。如图4所示，图像处理设备100包括：图像获取单元120、分析单元125、三维（3D）结构数据库（DB）130、标记DB135、标记检测单元140、标记管理单元145、内容DB150、内容控制单元155和显示控制单元160。
（1）图像获取单元
图像获取单元120获取由图像拾取单元102生成的拾取图像作为输入图像。由图像获取单元120获取的输入图像可以是构成通过真实空间的图像拾取所产生的视频图像的独立帧。图像获取单元120将获取的输入图像输出到分析单元125、标记检测单元140和显示控制单元160。
（2）分析单元
分析单元125分析从图像获取单元120输入的输入图像，以识别拾取输入图像的设备在真实空间中的三维位置和姿势。分析单元125还识别图像处理设备100的外围环境的三维结构，并将识别的三维结构存储在3D结构DB130中。在本实施例中，由分析单元125执行的分析处理是根据SLAM（同时定位与映射）来进行的。SLAM的基本原理在“Real-Time Simultaneous Localization and Mapping with aSingle Camera”（Andrew J.Davison,Proceedings of the9th IEEEInternational Conference on Computer Vision Volume2,2003,pp.1403-1410）中被公开了。请注意，本公开并不限于本例子，并且分析单元125可以使用任何其它三维环境识别技术来分析输入图像。
SLAM的一个特征是，其可以通过一个（单目）照相机的位置和姿势来并行地从该照相机动态地识别在输入图像中出现的真实空间的三维结构。图5示出由分析单元125执行的分析处理的一个例子。
在图5中，分析单元125首先初始化状态变量（步骤S101）。在这里初始化的状态变量至少包括照相机的位置和姿势（旋转角）以及照相机的移动速度和角速度，其中，出现在输入图像中的至少一个特征点的三维位置也被添加到状态变量。由图像获取单元120获取的输入图像被连续地输入到分析单元125中（步骤S102）。在步骤S103到步骤S105中的处理可以针对每个输入图像（即，针对每个帧）被重复。
在步骤S103，分析单元125跟踪出现在输入图像中的特征点。例如，分析单元125将针对包括在状态变量中的每个特征点的片（patch）（例如，以特征点为中心的由3×3格栅中的9个像素构成的小图像）与新的输入图像进行匹配。然后，分析单元125检测在输入图像中的每个片的位置，即，特征点的位置。在后续更新状态变量时，使用在这里检测到的特征点的位置。
在步骤S104中，例如，基于指定的预测模型，分析单元125生成下一帧的状态变量的预测值。在步骤S105中，分析单元125使用在步骤S104中生成的状态变量的预测值和与在步骤S103中检测到的特征点的位置一致的观测值来更新状态变量。分析单元125基于扩展的Kalman滤波器的原理来进行在步骤S104和S105中的处理。请注意，例如，这样的处理在JP2011-159163A中被详细描述了。
通过进行这样的分析处理，在每一帧中，状态变量中包括的参数都被更新。在每一帧中，可以增加或减少在状态变量中包括的特征点的数量。也就是说，如果照相机的视场改变，那么在新进入该帧的区域中的特征点的参数可以被添加到状态变量，并且在离开该帧的区域中的特征点的参数可以从这些状态变量删除。
分析单元125将针对每个帧以这种方式更新的照相机的位置和姿势按时间序列存储在3D结构DB130中。分析单元125还将用于SLAM的状态变量中包括的特征点的三维位置存储在3D结构DB130中。与照相机的视场的移动一致，关于特征点的信息被逐渐地累积在3D结构DB130中。
请注意，在这里描述了分析单元125使用SLAM来识别图像拾取单元102的位置和姿势两者的例子。都是，本公开并不限于该例子，并且，例如，还可以基于来自传感器单元104的传感器数据来识别图像拾取单元102的位置或姿势。
（3）3D结构DB
3D结构DB130是存储在由分析单元125进行的分析处理中使用的特征点信息131以及被识别为分析处理的结果的照相机位置/姿势信息132的数据库。
图6是用于解释特征点信息131的一个示例配置的示图。如图6所示，特征点信息131包括四个数据项，即，“特征点ID”、“位置”、“片”和“更新时间”。“特征点ID”是用于唯一地标识每个特征点的标识符。“位置”是表示真实空间中的每个特征点的位置的三维向量。“片”是用于检测输入图像中的每个特征点的小图像的图像数据。“更新时间”表示每个记录被更新的时间。在图6中的例子中，示出关于两个特征点FP01和FP02的信息。但是，在现实中，关于更多数量的特征点的信息可以作为特征点信息131由3D结构DB130存储。
图7是用于解释照相机位置/姿势信息132的配置的一个例子的示图。如图7所示，照相机位置/姿势信息132包括下列三个数据项“时间”、“照相机位置”和“照相机姿势”。“时间”表示每个记录被存储的时间。“照相机位置”是示出每一次作为分析处理的结果被识别的照相机的位置的三维向量。“照相机姿势”是示出每一次作为分析处理的结果被识别的照相机的姿势的旋转角向量。以这种方式跟踪的照相机位置和姿势被稍后描述的内容控制单元155用来控制AR内容的行为，并被显示控制单元160用来控制AR内容的显示。
（4）标记DB
标记DB135存储关于与在AR空间中设置的内容相关联的至少一个标记的信息的数据库。在本实施例中，由标记DB135存储的信息包括标记基本信息136和标记检测信息137。
图8是用于解释标记基本信息136的配置的一个例子的示图。如图8所示，除了“标记图像”以外，标记基本信息136还包括三个数据项，即，“标记ID”、“相关内容ID”和“大小”。“标记ID”是用于唯一地标识每个标记的标识符。“相关内容ID”是用于标识与每个标记相关联的内容的标识符。“标记图像”是用于检测输入图像中的每个标记的已知标记图像的图像数据。请注意，也可以使用从每个标记图像提取的一组特征量代替标记图像来检测每个标记。在图8中的例子中，其中绘制有狮子的图像被用作标记M01的标记图像，并且其中绘制有大象的图像被用作标记M02的标记图像。“大小”表示每个标记图像在真实空间中的假定的大小。这样的标记基本信息136可以由标记DB135事先存储。作为另一种选择，例如，标记基本信息136可以由外部服务器事先存储，并与图像处理设备100的位置或提供的AR应用的对象一致地选择性地下载到标记DB135。
（5）标记检测单元
标记检测单元140从输入图像检测存在于真实空间中的标记。作为具体的例子，标记检测单元140根据某种特征量提取算法来提取包括在标记基本信息136中的各个标记图像的特征量和输入图像的特征量。然后，标记检测单元140将提取的输入图像的特征量与每个标记图像的特征量进行匹配。当标记出现在输入图像中时，其由其中出现有这样的标记的区域的高匹配得分来指示。通过这样做，标记检测单元140能够检测存在于真实空间中并且出现在输入图像中的标记。例如，由标记检测单元140使用的特征量提取算法可以是在“FastKeypoint Recognition using Random Ferns”（Mustafa Oezuysal,IEEETransactions on Pattern Analysis and Machine Intelligence,Vol.32,Nr.3,pp.448-461,March2010）中描述的Random Ferns或在“SURF:Speeded Up Robust Features”（H.Bay,A.Ess,T.Tuytelaars andL.V.Gool,Computer Vision and Image Understanding(CVIU),Vol.110,No.3,pp.346-359,2008）中描述的SURF。
另外，基于输入图像中的检测到的标记的位置（即，在图像拾取平面上的二维位置）以及输入图像中的标记大小和形式，标记检测单元140估计在真实空间中的标记的三维位置和姿势。在这里进行的估计可以是用于上述特征点的匹配处理的一部分。然后，标记检测单元140将检测到的标记的标记ID以及估计的标记的三维位置和姿势输出到标记管理单元145。
（6）标记管理单元
当出现在输入图像中的新的标记已经被标记检测单元140检测到时，标记管理单元145将标记ID、真实空间中的位置和姿势、以及新标记的检测时间存储在标记DB135中。此外，如果从输入图像失去之前已经被检测到的标记（诸如将标记置于视场外部的移动或者标记被障碍物遮挡的原因所导致的），那么标记管理单元145还可以将已经失去的标记的失去时间存储在标记DB135中。
图9是用于解释由标记DB135存储的标记检测信息137的配置的一个例子的示图。如图9所示，标记检测信息137具有5个数据项，即，“标记ID”、“位置”、“姿势”、“检测时间”和“失去时间”。“标记ID”对应于在图8中示出的标记基本信息136中的标记ID。“位置”是表示在每个标记的真实空间中的估计位置的三维向量。“姿势”是表示每个标记的估计姿势的旋转角向量。“检测时间”表示每个记录被检测的时间。“失去时间”表示之前已经被检测到的标记停止被检测的时间。在图9中的例子中，针对标记M01存储失去时间L1。这意味着，在检测到标记M01后，在时间L1，标记M01被从输入图像失去。同时，尽管针对标记M02存储了检测时间D2，但是未存储失去时间。这意味着，在时间D2被检测到后，标记M02继续如从前那样出现在输入图像中。用于以这种方式管理的各个标记的参数由稍后描述的内容控制单元155用来控制AR内容的行为。
（7）内容DB
内容DB150是存储内容信息151的数据库，内容信息151被用来控制和显示与上述标记相关联的至少一个AR内容项。
图10是用于解释内容信息151的配置的一个例子的示图。如图10所示，内容信息151包括内容ID和属性，以及图数据。“内容ID”是唯一地标识每个AR内容项的标识符。在图10中的例子中，“类型”和“控制参数集”作为AR内容的属性被示出。“类型”是用于对AR内容分类的属性。可以根据各种视点对AR内容进行分类，所述视点诸如为：相关标记的类型、由AR内容表示的特征的类型、或者提供AR内容的应用的类型。“控制参数集”可以包括稍后描述的用于控制AR内容的行为的至少一个控制参数。
在图10中的例子中，针对每个AR内容项定义两种类型的图数据，即，“近的”和“远的”。作为一个例子，这样的图数据是用于对AR内容建模的CG（计算机图形学）数据。这两种类型的图数据在显示分辨率方面不同。基于照相机相对于检测到的标记的位置或姿势，稍后描述的显示控制单元160在用来显示AR内容的这样的图数据之间切换。
内容信息151可以被事先存储在内容DB150中。作为另一种选择，例如，以与稍早前描述的标记基本信息136相同的方式，内容信息151可以事先存储在外部服务器中，并与图像处理设备100的位置或提供的AR应用的对象一致地选择性地下载到内容DB150。
（8）内容控制单元
基于相对于使用上述的标记检测信息137正在被跟踪的检测到的标记的照相机位置和照相机姿势的其中之一，内容控制单元155控制在AR空间中的与检测到的标记相关联的AR内容的行为。在本说明书中，“AR内容的行为”的表述包括：在AR空间中的AR内容的出现和去除（消失）以及AR内容的移动。
（8-1）AR内容的出现
例如，当在输入图像中出现的新的标记已经被标记检测单元140检测到时，内容控制单元155使与标记基本信息136中的这样的新标记相关联的AR内容出现在AR空间中。AR内容可以与相关标记的检测一致地立即出现，或者可以在指定的出现条件也已经被满足时出现。作为一个例子，表述“指定的出现条件”可以指从标记到当前照相机位置的距离低于指定的距离阈值的条件。在这种情况中，即使标记出现在输入图像中，如果从这样的标记到照相机位置的距离较远，那么AR内容也不会出现，并且，只有当照相机位置移动到更靠近该标记时，AR内容才会出现。这样的距离阈值一般可以针对多个AR内容项来被定义，或者可以针对每个AR内容项被定义为控制参数。
（8-2）AR内容的移动
内容控制单元155根据照相机的位置和姿势的其中之一的改变来移动AR空间中的AR内容。例如，内容控制单元155从照相机姿势的改变（例如，超出指定改变量的光轴的角度的改变）来识别由用户进行的诸如照相机的摇头或倾斜的操作。作为例子，然后，内容控制单元155可以与摇头一致地改变AR内容的取向，并且与倾斜一致地向前或向后移动AR内容。请注意，这种类型的操作与AR内容的移动之间的映射并不限于本例。
如果检测到的标记移动到了输入图像的视场的外部，那么内容控制单元155可以移动AR空间中的与这样的标记相关联的AR内容，从而使得该AR内容被保持在新的输入图像的视场内。AR内容所移动到的三维位置可以根据由3D结构DB130存储的特征点位置来决定。
如果AR内容是诸如图10中示出的能够表示视线（即，向某个方向看）的字符的图像，那么内容控制单元155可以基于AR空间中的照相机相对于字符的位置的位置来将该字符的视线指向照相机。
（8-3）AR内容的去除
在本实施例中，如稍早前所述，当相关标记已经移出输入图像的视场时，AR内容不必被去除（即，不必消失）。但是，如果无论照相机的位置和姿势如何，AR内容始终无休止地继续被显示，那么这反而会让用户看起来不自然。出于这一原因，在本实施例中，如果相对于检测到的标记的照相机位置和照相机姿势的其中之一满足指定的去除条件，那么内容控制单元155去除AR内容。作为例子，下列条件A到D的任意一个或其组合可以被用作指定的去除条件。
条件A：从标记到照相机位置的距离超出指定的距离阈值。
条件B：照相机的光轴与从照相机到该标记的方向之间的角度超出指定的角度阈值。
条件C：从标记的检测时间开始经过的时间超出指定的时间阈值。
条件D：从标记的失去时间开始经过的时间超出指定的时间阈值。
这里提到的距离阈值、角度阈值和时间阈值一般可以针对多个AR内容项来定义，或者可以针对每个AR内容项被定义为控制参数。
图11是用于解释针对AR内容的去除条件A的示图。在图11中，再一次示出较早前描述的真实空间1。在图11中，点P1是标记20a的检测位置，并且，虚线DL1示出到点P1的距离等于距离阈值dth1的边界。图像处理设备100a离标记20a的距离低于距离阈值dth1。在这种情况中，图像处理设备100a的内容控制单元155不去除与标记20a相关联的AR内容32a，并且在图像处理设备100a的视场30a内移动AR内容32a。其后，例如，假定该设备已经从图像处理设备100a的位置移动到图像处理设备100b的位置。从标记20a到图像处理设备100b的距离超出距离阈值dth1。在这种情况中，内容控制单元155去除与标记20a相关联的AR内容32a。也就是说，AR内容32a不出现在图像处理设备100b的视场30b中。
图12是用于解释用于AR内容的去除条件B的一个例子的示图。在图12中，再一次示出较早前描述的真实空间1。在图12中，点P1示出标记20a的检测位置。假定从标记20a到图像处理设备100c的距离比指定的距离阈值短。但是，图像处理设备100c的图像拾取单元102的光轴Vopt与从图像拾取单元102到标记20a的方向Vmark之间的角度ropt超出指定角度阈值（未示出）。在这种情况中，图像处理设备100c的内容控制单元155去除与标记20a相关联的AR内容32a。
请注意，不考虑这些去除条件A和B，当如在上面给出的去除条件C和D所示从标记的检测时间开始经过的时间或者从标记的失去时间开始经过的时间超出指定的时间阈值时，内容控制单元155都可以去除与标记相关联的AR内容。此外，当去除条件A或B被满足并且从标记的检测时间开始经过的时间或者从标记的失去时间开始经过的时间超出指定的时间阈值时，与标记相关联的AR内容可以被去除。
通过以这种方式控制AR内容的行为，防止了无论照相机的位置和姿势如何AR内容都被无休止地继续显示的不自然的状态。也避免了由于大量的AR内容项的显示而导致的AR内容的过度拥挤。特别地，在本实施例中，与相对于标记的照相机的位置或姿势一致地控制AR内容的去除。这意味着，如果用户已经对这样的内容失去兴趣（例如，如果用户已经从该标记移开或者用户正在与该标记完全不同的方向上拾取图像），那么可以去除AR内容。也就是说，从AR内容的出现到去除的生命周期可以与用户的状态一致地被恰当地管理。
（8-4）AR内容的共存
基于相对于这样的标记的照相机位置或姿势，内容控制单元155可以控制与不同的标记相关联的多个AR内容项的共存。例如，在与第一标记相关联的第一AR内容项已经被置于AR空间中的状态中新检测到第二标记时，内容控制单元155可以选择下列两种控制选项的其中之一。
选项A：除了第一AR内容项以外，还将与第二标记相关联的第二AR内容项置于AR空间中。
选项B：将与第二标记相关联的第二AR内容项代替第一AR内容项置于AR空间中。
作为一个例子，当第二标记被检测到时，如果从第一标记到照相机位置的距离低于指定的距离阈值，那么内容控制单元155可以选择选项A，并且如果该距离大于该距离阈值，那么内容控制单元155可以选择选项B。如果选项A被选择，那么第一和第二AR内容项将在AR空间中共存。通过这样做，作为一个例子，还可以表示AR内容项之间的交互。特别地，在本实施例中，由于即使在标记已经从图像失去后，AR内容项的显示仍然继续，因此即使多个标记不同时出现在输入图像中，那么仍然可以将AR内容项逐渐地添加到AR空间。在这种情况中，可以避免过多数量的AR内容项在AR空间中共存，并且使AR内容项在更自然的条件下共存。
请注意，内容控制单元155可以基于第一和第二AR内容项的类型（例如，在图10中示出的“类型”）来控制多个AR内容项的共存。例如，内容控制单元155可以仅仅在第一和第二AR内容项是相同的类型时选择上述的选项A。例如，表述“相同的类型的AR内容”可以指与相同类型的标记相关联的AR内容项、表示相同类型的字符的AR内容项、或者用于具有相同对象的应用的AR内容项。通过这样做，可以避免具有不能相互交互共存的AR内容项的混合。
（8-5）控制结果的输出
通过以这种方式控制AR内容的行为，内容控制单元155选择要被覆盖在输入图像上的AR内容。然后，内容控制单元155决定选择的AR内容在AR空间中的三维显示位置和显示姿势。AR内容的显示位置和显示姿势通常是使用由分析单元125产生的图像处理设备100的外围环境的识别结果来决定的。也就是说，内容控制单元155使用由3D结构DB130存储的特征点信息131和照相机位置/姿势信息132来决定AR内容的显示位置和显示姿势。AR内容的显示位置和显示姿势可以被决定，从而使得AR内容在照相机的视场内，并且各个AR内容项位于视场中的对象或地面上。如果视场突然发生变化，那么AR内容的（一个或多个）显示位置可以被决定为使得AR内容缓慢地移动，而并不完全跟踪视场的变化。请注意，决定AR内容的显示位置和显示姿势的方法并不限于本例。然后，内容控制单元155将要被覆盖在输入图像上的AR内容的图数据、显示位置、显示姿势和其它控制参数输出到显示控制单元160。
例如，从内容控制单元155额外地输出到显示控制单元160的控制参数可以包括包含AR内容项的视线的参数。此外，控制参数可以包括与AR内容的淡出（fade out）有关的透明参数。例如，在确定稍早前描述的去除条件A期间，随着从标记到照相机位置的距离接近指定的距离阈值，内容控制单元155可以将AR内容项的透明度设置得越高。以相同方式，在确定稍早前描述的去除条件B期间，随着照相机的光轴与从照相机到标记的方向之间的角度接近指定的角度阈值，内容控制单元155可以将AR内容项的透明度设置得越高。通过以这种方式设置透明度，可以在AR内容消失前使AR内容项逐渐淡化。当去除条件的其中之一被满足时，内容控制单元155还可以将控制参数输出到显示控制单元160，该控制参数指示当AR内容即将从显示器消失时要显示图形指示。该控制参数可以使显示器显示指示用户调整照相机位置的图形指示，从而使得去除条件可以不再被满足。例如，该指示可以是指示用户调整照相机的位置的箭头和/或将照相机更靠近标记移动的指示。图像指示还可以简单地是指示AR内容即将从显示器消失的警告。
（9）显示控制单元
通过将与由标记检测单元140检测到的（一个或多个）标记相关联的AR内容覆盖在从图像获取单元120输入的输入图像上，显示控制单元160生成输出图像。然后，显示控制单元160在显示单元110的屏幕上显示生成的输出图像。
更具体地说，将要被显示的AR内容的图数据、显示位置、显示姿势和其它控制参数从内容控制单元155输入到显示控制单元160。显示控制单元160还从3D结构DB130获取当前的照相机位置和姿势。然后，基于AR内容的显示位置和显示姿势以及当前的照相机位置和姿势，显示控制单元160在图像拾取平面上的渲染位置（renderingposition）处覆盖AR内容。
用于由显示控制单元160显示的图数据可以基于相对于该标记的照相机位置和照相机姿势在图10中示出的两种类型的图数据之间切换。通过这样做，在用户靠近标记或用户正在拾取标记外围的图像的状态中，例如，与这样的标记相关联的内容可以以高显示分辨率来显示。此外，显示控制单元160可以与来自内容控制单元155的控制参数一致地改变AR内容的透明度。
在本实施例中，如较早前所述，由于AR内容的显示位置和显示姿势是使用针对图像处理设备100的外围环境的识别结果来决定的，因此即使在之前检测到的标记已经移出输入图像的视场后，显示控制单元160仍然能够将与这样的标记相关联的AR内容以自然的方式覆盖在输入图像上。此外，对外围环境的识别结果由3D结构DB130来存储，因此即使例如对某个帧的环境识别失败，也可以在不必从头重新开始环境的识别的情况下，基于之前的识别结果来继续识别。因此，根据本实施例，即使标记不再出现在输入图像中并且识别临时失败，也可以继续显示AR内容。这意味着用户可以自由地移动照相机，而不必担心标记是否出现在输入图像中或者外围环境是否正在被恰当地识别。
2-3.AR内容的示例显示
图13A是用于解释根据本实施例的AR内容的显示的第一例的示图。图13A示出作为一个例子的输出图像Im11。桌子11、咖啡杯12和海报14出现在输出图像Im11中。基于这样的实际对象的特征点的位置，图像处理设备100的分析单元125根据SLAM识别三维的照相机位置和照相机姿势、以及环境的三维结构（即，这样的特征点的三维位置）。标记20a被打印在海报14上。标记20a由标记检测单元140检测，并且与标记20a相关联的AR内容34a由内容控制单元155设置在AR空间中。结果，AR内容34a在输出图像Im11中被显示。
图13B是用于解释根据本实施例的AR内容的显示的第二例的示图。在图13B中示出的输出图像Im12是可以在上述的输出图像Im11之后显示的图像。在输出图像Im12中仅出现海报14的部分，从而标记20a不能由标记检测单元140检测到。但是，假定相对于标记20a的照相机位置和照相机姿势不满足上述去除条件。内容控制单元155在输出图像Im12的视场内移动AR内容34a。然后，显示控制单元160将AR内容34a重叠在基于存储在3D结构DB130中的照相机位置/姿势信息132决定的位置处。其后，如果例如图像处理识别100进一步在离开标记20a的方向上移动，那么AR内容34a可以淡出并最终消失。
图13C是用于解释根据本实施例的AR内容的显示的第三例的示图。图13C示出作为一个例子的输出图像Im21。桌子11和书13出现在输出图像Im21中。图像处理设备100的分析单元125根据稍早前描述的SLAM基于这样的真实对象的特征点的位置识别三维的照相机位置和照相机姿势、以及环境的三维结构。标记20b被打印在书13上。标记20b由标记检测单元140检测，并且与标记20b相关联的AR内容34b由内容控制单元155设置在AR空间中。结果，AR内容34b在输出图像Im21中被显示。
图13D是用于解释根据本实施例的AR内容的显示的第四例的示图。在图13D中示出的输出图像Im22是可以在上述的输出图像Im21之后显示的图像。尽管标记20b未出现在输出图像Im22中，但是AR内容34b的显示继续。标记20a额外地出现在输出图像Im22中。标记20a由标记检测单元140检测。在图13D中的状态中，由于从标记20b到照相机位置的距离低于指定的距离阈值，因此上述选项A被选择。结果，除了AR内容34b以外，内容控制单元155还将与新检测到的标记20a相关联的AR内容34a置于AR空间中。
2-4.处理的流程
图14是示出根据本实施例的由图像处理设备100进行的图像处理的流程的一个例子的流程图。
如图14所示，图像获取单元120首先获取由图像拾取单元102生成的拾取图像作为输入图像（步骤S110）。然后，图像获取单元120将获取的输入图像输出到分析单元125、标记检测单元140和显示控制单元160。
接下来，分析单元125对从图像获取单元120输入的输入图像执行上述的分析处理（步骤S120）。例如，在这里执行的分析处理可以对应于参考图5描述的从SLAM计算处理得到的一个帧。结果，最新的三维照相机位置和姿势以及出现在输入图像中的新的特征点的三维位置由3D结构DB130存储。
其后，标记检测单元140从该输入图像搜索在标记基本信息136中定义的标记（步骤S130）。如果新的标记已经由标记检测单元140在输入图像中检测到（步骤S135），那么标记管理单元145将三维位置和姿势以及新的标记的检测时间存储在标记DB135中（步骤S140）。
接下来，内容控制单元155选择要被显示的AR内容（步骤S150）。在这里选择的AR内容可以是已经被检测到并且其检测时间被存储在标记检测信息137中的标记当中的不满足较早前描述的去除条件的标记。根据由内容控制单元155所选择的AR内容是否存在，其后的处理在步骤S150进行分支（步骤S155）。
如果内容控制单元155没有选择AR内容，即，如果不存在要被显示的AR内容，那么显示控制单元160将输入图像按照原样设置为输出图像（步骤S160）。同时，如果存在要被显示的AR内容，那么内容控制单元155决定所选AR内容在AR空间中的三维显示位置和显示姿势以及其它控制参数（例如，透明度）（步骤S165）。然后，显示控制单元160通过使用决定的参数和照相机的位置和姿势将AR内容覆盖到输入图像上来生成输出图像（步骤S170）。
然后，显示控制单元160在显示单元110的屏幕上显示生成的输出图像（其可能与输入图像相同）（步骤S180）。其后，处理返回到步骤S110，并且可以对下一帧重复执行上述处理。
3.总结
根据本公开实施例的图像处理设备100已经参考图1到图14在上面被详细描述了。根据上述实施例，与要被设置在AR空间中的AR内容相关联的标记在输入图像中被检测到，并且使用存储介质来管理关于每个检测到的标记在真实空间中的位置和姿势。相对于（一个或多个）检测到的标记的照相机的位置和姿势被跟踪，并且与这样的标记相关联的AR内容的行为基于这样的位置和姿势的其中之一来被控制。基于使用诸如SLAM的环境识别技术的对输入图像的分析结果来进行AR内容的布局。因此，即使在已经从图像失去标记后，也可以继续显示AR内容，并且保持与标记相关联的AR内容的自然的显示。请注意，不必管理在真实空间中的检测到的标记的位置和姿势两者，可以只在数据库中管理一个（例如，只有位置）。
请注意，较早前描述的图像处理设备100的某些逻辑功能可以在存在于云计算环境中的设备处实现，而不是在图像处理设备本身处实现。在这种情况中，在逻辑功能间交换的信息可以经由图3中示出的通信单元112在设备之间发送或接收。
在本说明书中描述的由图像处理设备100进行的一系列控制处理可以通过软件、硬件、或软件和硬件的组合来实现。例如，构成这样的软件的程序可以被事先存储在图像处理设备100的内部或外部提供的存储介质上。作为一个例子，在执行期间，这样的程序被写入到RAM（随机存取存储器）并由诸如CPU的处理器执行。
尽管已经参考附图在上文中描述了本公开的优选实施例，但是本公开的技术范围并不限于这样的实施例。本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围即可。
另外，本技术也可以被配置如下。
（1）一种信息处理系统，包括：一个或多个处理单元，所述处理单元：获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
（2）（1）的信息处理系统，其中，从视频数据检测到的对象是显示在显示器上的形状、符号、字符串、设计、对象、对象的部分以及图像中的至少一个。
（3）（1）或（2）的信息处理系统，其中，检测对应于图像拾取单元的条件包括检测图像拾取单元的位置和姿势中的至少一个。
（4）（3）的信息处理系统，其中，该一个或多个处理单元检测被检测到的对象的位置和姿势中的至少一个。
（5）（4）的信息处理系统，其中，基于图像拾取单元的位置和姿势中的至少一个以及被检测到的对象的位置和姿势中的至少一个，该一个或多个处理器控制内容被显示在显示器上的位置。
（6）（1）到（5）中的任意一项的信息处理系统，还包括：检测对应于图像拾取单元的条件的传感器单元。
（7）（6）的信息处理系统，其中，该传感器单元包括定位传感器、加速度传感器和陀螺仪传感器中的至少一个。
（8）（1）到（7）中的任意一项的信息处理系统，还包括：与对应于所述内容的信息相关联地存储至少一个对象的信息的存储器。
（9）（8）的信息处理系统，其中，对应于所述内容的信息包括标记标识符、相关内容标识符和对应于要被显示的内容的大小中的至少一个。
（10）（8）的信息处理系统，其中，该一个或多个处理单元基于检测到的对象与存储在存储器中的对应于至少一个对象的信息之间的比较来获取内容。
（11）（1）到（10）中的任意一项的信息处理系统，还包括：存储对应于内容的图像、识别信息和属性信息中的至少一个的存储器。
（12）（11）的信息处理系统，其中，基于检测到的对象，该一个或多个处理单元从存储器中获取对应于内容的图像。
（13）（1）到（12）中的任意一项的信息处理系统，还包括：存储对应于对象的检测的信息的存储器。
（14）（13）的信息处理系统，其中，对应于对象的检测的信息包括对象标识符、对象位置、对象姿势、对象检测时间以及对应于该对象不再在获取的视频数据中被检测到时的时间中的至少一个。
（15）（14）的信息处理系统，其中，基于对应于图像拾取单元的条件和对应于对象的检测的信息，该一个或多个处理单元控制内容被显示在显示器上的位置。
（16）（1）到（15）中的任意一项的信息处理系统，其中，基于图像拾取单元的位置和姿势中的至少一个的改变，该一个或多个处理单元控制显示器来移动在该显示器上的内容。
（17）（1）到（16）中的任意一项的信息处理系统，其中，当该对象不再在获取的视频数据中被检测到时，该一个或多个处理单元控制显示器将该内容显示在显示器上。
（18）（1）到（17）中的任意一项的信息处理系统，其中，检测到的对应于图像拾取单元的条件包括图像拾取单元的位置和姿势中的至少一个，并且，当图像拾取单元的位置和姿势中的至少一个满足预定条件时，该一个或多个处理单元控制显示器停止显示内容。
（19）（18）的信息处理系统，其中，当图像拾取单元的位置和姿势中的至少一个满足预定条件时，该一个或多个处理单元控制显示器来显示该显示器要停止显示内容的指示。
（20）（18）的信息处理系统，其中，预定条件对应于图像拾取单元与检测到的对象之间的距离，并且，当图像拾取单元与检测到的对象之间的距离超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
（21）（18）的信息处理系统，其中，预定条件对应于图像拾取单元的光轴与从图像拾取单元向检测到的对象延伸的轴之间的角度差，并且当角度差超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
（22）（18）的信息处理系统，其中，预定条件对应于从对象在获取的视频数据中第一次被检测到时开始所经过的时间，并且当经过的时间超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
（23）（18）的信息处理系统，其中，预定条件对应于从对象在获取的视频数据中最后一次被检测到时开始所经过的时间，并且当经过的时间超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
（24）一种由信息处理系统执行的信息处理方法，该方法包括：获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
（25）一种包括计算机程序指令的非暂态计算机可读介质，该计算机程序指令在由信息处理系统执行时使得该信息处理系统执行一种方法，该方法包括：获取由图像拾取单元捕获的视频数据；从视频数据检测对象；检测对应于图像拾取单元的条件；以及基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
[附图标记列表]
1    真实空间
20a、20b、20c  标记（对象）
100  图像处理设备
120  图像获取单元
125  分析单元
140  检测单元
145  管理单元
155  内容控制单元
160  显示控制单元

Claims (20)

1.一种信息处理系统，包括：
一个或多个处理单元，所述处理单元：
获取由图像拾取单元捕获的视频数据；
从视频数据检测对象；
检测对应于图像拾取单元的条件；以及
基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
2.根据权利要求1所述的信息处理系统，其中
从视频数据检测到的对象是显示在显示器上的形状、符号、字符串、设计、对象、对象的部分以及图像中的至少一个。
3.根据权利要求1所述的信息处理系统，其中
检测对应于图像拾取单元的条件包括检测图像拾取单元的位置和姿势中的至少一个。
4.根据权利要求3所述的信息处理系统，其中
该一个或多个处理单元检测被检测到的对象的位置和姿势中的至少一个。
5.根据权利要求4所述的信息处理系统，其中
基于图像拾取单元的位置和姿势中的至少一个以及被检测到的对象的位置和姿势中的至少一个，该一个或多个处理单元控制内容被显示在显示器上的位置。
6.根据权利要求1所述的信息处理系统，还包括：
检测对应于图像拾取单元的条件的传感器单元。
7.根据权利要求6所述的信息处理系统，其中
该传感器单元包括定位传感器、加速度传感器和陀螺仪传感器中的至少一个。
8.根据权利要求1所述的信息处理系统，还包括：
与对应于内容的信息相关联地存储对应于至少一个对象的信息的存储器，其中，
对应于内容的信息包括标记标识符、相关内容标识符和对应于要被显示的内容的大小中的至少一个。
9.根据权利要求1所述的信息处理系统，还包括：
存储对应于对象的检测的信息的存储器，其中，
对应于对象的检测的信息包括对象标识符、对象位置、对象姿势、对象检测时间以及对应于该对象不再在获取的视频数据中被检测到时的时间中的至少一个。
10.根据权利要求9所述的信息处理系统，其中
基于对应于图像拾取单元的条件和对应于对象的检测的信息，该一个或多个处理单元控制内容被显示在显示器上的位置。
11.根据权利要求1所述的信息处理系统，其中
基于图像拾取单元的位置和姿势中的至少一个的改变，该一个或多个处理单元控制显示器来移动该显示器上的内容。
12.根据权利要求1所述的信息处理系统，其中
当该对象不再在获取的视频数据中被检测到时，该一个或多个处理单元控制显示器将该内容显示在显示器上。
13.根据权利要求1所述的信息处理系统，其中
检测到的对应于图像拾取单元的条件包括图像拾取单元的位置和姿势中的至少一个，并且
当图像拾取单元的位置和姿势中的至少一个满足预定条件时，该一个或多个处理单元控制显示器停止显示内容。
14.根据权利要求13所述的信息处理系统，其中
当图像拾取单元的位置和姿势中的至少一个满足该预定条件时，该一个或多个处理单元控制显示器来显示该显示器要停止显示内容的指示。
15.根据权利要求13所述的信息处理系统，其中
该预定条件对应于图像拾取单元与检测到的对象之间的距离，并且
当图像拾取单元与检测到的对象之间的距离超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
16.根据权利要求13所述的信息处理系统，其中
该预定条件对应于图像拾取单元的光轴与从图像拾取单元向检测到的对象延伸的轴之间的角度差，并且
当该角度差超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
17.根据权利要求13所述的信息处理系统，其中
该预定条件对应于从该对象在获取的视频数据中第一次被检测到时开始所经过的时间，并且
当经过的时间超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
18.根据权利要求13所述的信息处理系统，其中
该预定条件对应于从该对象在获取的视频数据中最后一次被检测到时开始所经过的时间，并且
当经过的时间超出预定阈值时，该一个或多个处理单元控制显示器停止显示内容。
19.一种由信息处理系统执行的信息处理方法，该方法包括：
获取由图像拾取单元捕获的视频数据；
从视频数据检测对象；
检测对应于图像拾取单元的条件；以及
基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
20.一种包括计算机程序指令的非暂态计算机可读介质，该计算机程序指令在由信息处理系统执行时使得该信息处理系统执行一种方法，该方法包括：
获取由图像拾取单元捕获的视频数据；
从视频数据检测对象；
检测对应于图像拾取单元的条件；以及
基于对应于图像拾取单元的条件，控制显示器在除了检测到的该对象的位置以外的位置处显示与该对象相关联的内容。
CN201280004215.XA 2011-10-27 2012-09-04 图像处理设备、图像处理方法和程序 Active CN103270537B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-235749 2011-10-27
JP2011235749A JP5821526B2 (ja) 2011-10-27 2011-10-27 画像処理装置、画像処理方法及びプログラム
PCT/JP2012/005582 WO2013061504A1 (en) 2011-10-27 2012-09-04 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
CN103270537A true CN103270537A (zh) 2013-08-28
CN103270537B CN103270537B (zh) 2017-06-13

Family

ID=48167362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280004215.XA Active CN103270537B (zh) 2011-10-27 2012-09-04 图像处理设备、图像处理方法和程序

Country Status (6)

Country Link
US (9) US9292974B2 (zh)
EP (2) EP3633629A1 (zh)
JP (1) JP5821526B2 (zh)
CN (1) CN103270537B (zh)
BR (1) BR112013015584A2 (zh)
WO (1) WO2013061504A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739677A (zh) * 2014-12-31 2016-07-06 拓迈科技股份有限公司 数据显示方法及系统
CN109582122A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 增强现实信息提供方法、装置及电子设备
CN110737326A (zh) * 2018-07-20 2020-01-31 广东虚拟现实科技有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN111034171A (zh) * 2017-09-26 2020-04-17 索尼半导体解决方案公司 信息处理系统
CN111833139A (zh) * 2019-04-19 2020-10-27 苹果公司 产品比较技术
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
CN113424230A (zh) * 2018-12-19 2021-09-21 安尼派恩有限公司 生成动画序列的方法、系统以及非瞬时计算机可读存储介质
CN113424518A (zh) * 2019-02-19 2021-09-21 索尼半导体解决方案公司 成像装置、电子设备和成像方法

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2502946A (en) * 2012-04-13 2013-12-18 Blippar Com Ltd Maintaining augmented reality image when marker leaves field of view
EP2876608A4 (en) * 2012-07-23 2016-02-10 Fujitsu Ltd PROGRAM, METHOD, AND DISPLAY CONTROL DEVICE
US9785839B2 (en) * 2012-11-02 2017-10-10 Sony Corporation Technique for combining an image and marker without incongruity
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
JP6232763B2 (ja) * 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015001875A (ja) 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP6155893B2 (ja) * 2013-06-20 2017-07-05 カシオ計算機株式会社 画像処理装置、及びプログラム
KR20150008733A (ko) 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
JP2015019892A (ja) * 2013-07-21 2015-02-02 水谷多恵子 お守りシステム
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
KR102081934B1 (ko) * 2013-08-28 2020-02-26 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
JP6314394B2 (ja) * 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
JP6202981B2 (ja) * 2013-10-18 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6202980B2 (ja) * 2013-10-18 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
EP3067781B1 (en) 2013-11-05 2023-03-08 Sony Group Corporation Information processing device, method of processing information, and program
US10074182B2 (en) 2013-11-14 2018-09-11 Microsoft Technology Licensing, Llc Presenting markup in a scene using depth fading
JP6402443B2 (ja) * 2013-12-18 2018-10-10 富士通株式会社 制御プログラム、制御装置及び制御システム
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6070676B2 (ja) * 2014-02-14 2017-02-01 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6188601B2 (ja) * 2014-02-25 2017-08-30 Kddi株式会社 変化検出装置、方法及びプログラム
US9432421B1 (en) 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置
JP6364952B2 (ja) * 2014-05-23 2018-08-01 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US10248881B2 (en) 2014-08-27 2019-04-02 Nec Corporation Information processing device and recognition support method
US10147399B1 (en) * 2014-09-02 2018-12-04 A9.Com, Inc. Adaptive fiducials for image match recognition and tracking
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
EP3034000A1 (en) * 2014-12-16 2016-06-22 Agfa Healthcare Motion correction method in dual energy radiography
JP6514889B2 (ja) * 2014-12-19 2019-05-15 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6550766B2 (ja) * 2015-01-29 2019-07-31 コニカミノルタ株式会社 Ａｒ装置、ａｒ実現方法、およびコンピュータプログラム
JP6421670B2 (ja) 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
CN107430788A (zh) * 2015-03-30 2017-12-01 喀普康有限公司 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质
JP2017016466A (ja) * 2015-07-02 2017-01-19 富士通株式会社 端末制御方法、画像生成方法、端末制御プログラム、及び端末
CN105005145B (zh) * 2015-08-03 2018-02-09 众景视界（北京）科技有限公司 智能眼镜及智能眼镜的外接设备
CN105139445B (zh) 2015-08-03 2018-02-13 百度在线网络技术（北京）有限公司 场景重建方法及装置
JP6256430B2 (ja) * 2015-08-17 2018-01-10 コニカミノルタ株式会社 コンテンツ提供サーバ、コンテンツ提供方法、およびコンピュータプログラム
JP6288060B2 (ja) 2015-12-10 2018-03-07 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6311695B2 (ja) 2015-12-16 2018-04-18 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6323439B2 (ja) 2015-12-17 2018-05-16 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2017129904A (ja) 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP2017129567A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN114327043A (zh) 2016-02-02 2022-04-12 索尼公司 信息处理装置、信息处理方法和记录介质
JP6187623B1 (ja) * 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6747504B2 (ja) 2016-04-18 2020-08-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6711137B2 (ja) * 2016-05-25 2020-06-17 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
KR102479360B1 (ko) 2016-06-15 2022-12-20 삼성전자 주식회사 증강 현실 서비스 제공 방법 및 장치
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
JP6801263B2 (ja) * 2016-06-30 2020-12-16 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10375130B2 (en) 2016-12-19 2019-08-06 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances by an application using a wrapper application program interface
US10250592B2 (en) 2016-12-19 2019-04-02 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances using cross-license authentication
US10664703B2 (en) * 2017-01-12 2020-05-26 Damon C. Merchant Virtual trading card and augmented reality movie system
US10395405B2 (en) * 2017-02-28 2019-08-27 Ricoh Company, Ltd. Removing identifying information from image data on computing devices using markers
JP6783179B2 (ja) * 2017-04-19 2020-11-11 Kddi株式会社 三次元空間情報表示システム、及び三次元空間情報表示方法
JP2018195254A (ja) * 2017-05-22 2018-12-06 富士通株式会社 表示制御プログラム、表示制御装置及び表示制御方法
JP6369604B2 (ja) * 2017-06-07 2018-08-08 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US20190005724A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10509534B2 (en) 2017-09-05 2019-12-17 At&T Intellectual Property I, L.P. System and method of providing automated customer service with augmented reality and social media integration
CN111448542B (zh) * 2017-09-29 2023-07-11 苹果公司 显示应用程序
US10026209B1 (en) * 2017-12-21 2018-07-17 Capital One Services, Llc Ground plane detection for placement of augmented reality objects
US10585294B2 (en) 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
US11128783B2 (en) 2018-03-07 2021-09-21 Disney Enterprises, Inc. Systems and methods for tracking objects in a field of view
US10628982B2 (en) * 2018-05-14 2020-04-21 Vulcan Inc. Augmented reality techniques
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11087545B2 (en) * 2018-06-19 2021-08-10 Guangdong Virtual Reality Technology Co., Ltd. Augmented reality method for displaying virtual object and terminal device therefor
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11245889B1 (en) 2018-11-08 2022-02-08 Tanzle, Inc. Perspective based green screening
JP7136328B2 (ja) * 2019-03-27 2022-09-13 日本電気株式会社 カメラ調整装置、カメラ位置調整方法及びプログラム
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11763525B1 (en) * 2020-02-27 2023-09-19 Apple Inc. Blind object tracking using point clouds
CN113673277B (zh) * 2020-05-13 2024-06-21 百度在线网络技术（北京）有限公司 线上绘本内容的获取方法、装置以及智能屏设备
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
KR20220045799A (ko) * 2020-10-06 2022-04-13 삼성전자주식회사 전자 장치 및 그 동작 방법
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2023026894A (ja) * 2021-08-16 2023-03-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム
EP4339873A4 (en) * 2021-11-09 2024-05-01 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
US11798240B2 (en) * 2022-03-24 2023-10-24 GM Global Technology Operations LLC System and method for social networking using an augmented reality display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050234333A1 (en) * 2004-03-31 2005-10-20 Canon Kabushiki Kaisha Marker detection method and apparatus, and position and orientation estimation method
CN1720552A (zh) * 2002-12-06 2006-01-11 科乐美股份有限公司 图像处理装置、图像处理方法、程序及信息存储媒体
WO2010094065A1 (en) * 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954906B1 (en) * 1996-09-30 2005-10-11 Sony Corporation Image display processing apparatus that automatically changes position of sub-window relative to main window depending on distance at watch sub window is commanded to be displayed
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
JP4032776B2 (ja) * 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP3864150B2 (ja) 2003-06-18 2006-12-27 オリンパス株式会社 情報呈示装置及び情報呈示方法
JP3841806B2 (ja) 2004-09-01 2006-11-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
JP4774346B2 (ja) * 2006-08-14 2011-09-14 日本電信電話株式会社 画像処理方法、画像処理装置およびプログラム
US9147288B1 (en) * 2006-11-08 2015-09-29 Lucasfilm Entertainment Company Ltd. Subdivision of surfaces approximation
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
JP5040796B2 (ja) * 2008-05-09 2012-10-03 大日本印刷株式会社 室内調度品購入支援システム、方法、プログラム、媒体
KR100958379B1 (ko) * 2008-07-09 2010-05-17 (주)지아트 복수 객체 추적 방법과 장치 및 저장매체
JP4834116B2 (ja) 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP5244012B2 (ja) 2009-03-31 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ 端末装置、拡張現実感システム及び端末画面表示方法
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
WO2010119496A1 (ja) * 2009-04-13 2010-10-21 富士通株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US8994645B1 (en) * 2009-08-07 2015-03-31 Groundspeak, Inc. System and method for providing a virtual object based on physical location and tagging
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP2011159163A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2011203824A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP4995934B2 (ja) 2010-03-26 2012-08-08 株式会社コナミデジタルエンタテインメント 拡張現実システム、マーカ端末、撮影端末、拡張現実方法、ならびに、情報記録媒体
EP2757517A1 (en) 2010-03-30 2014-07-23 NS Solutions Corporation Information processing apparatus, information processing method and program
MY173983A (en) * 2010-03-30 2020-03-02 Ns Solutions Corp Information providing apparatus, information providing method and program
EP2395474A3 (en) * 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP4757948B1 (ja) * 2010-06-11 2011-08-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5556481B2 (ja) 2010-07-30 2014-07-23 大日本印刷株式会社 付加情報提供システム及び撮像装置
JP5769392B2 (ja) * 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US8509483B2 (en) * 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
JP4989768B2 (ja) * 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
US8376849B2 (en) * 2011-06-03 2013-02-19 Nintendo Co., Ltd. Apparatus and method for controlling objects on a stereoscopic display
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720552A (zh) * 2002-12-06 2006-01-11 科乐美股份有限公司 图像处理装置、图像处理方法、程序及信息存储媒体
US20050234333A1 (en) * 2004-03-31 2005-10-20 Canon Kabushiki Kaisha Marker detection method and apparatus, and position and orientation estimation method
WO2010094065A1 (en) * 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739677A (zh) * 2014-12-31 2016-07-06 拓迈科技股份有限公司 数据显示方法及系统
CN111034171A (zh) * 2017-09-26 2020-04-17 索尼半导体解决方案公司 信息处理系统
CN109582122A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 增强现实信息提供方法、装置及电子设备
CN110737326A (zh) * 2018-07-20 2020-01-31 广东虚拟现实科技有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN113424230A (zh) * 2018-12-19 2021-09-21 安尼派恩有限公司 生成动画序列的方法、系统以及非瞬时计算机可读存储介质
CN113424230B (zh) * 2018-12-19 2024-03-05 安尼派恩有限公司 生成动画序列的方法、系统以及非瞬时计算机可读存储介质
CN113424518A (zh) * 2019-02-19 2021-09-21 索尼半导体解决方案公司 成像装置、电子设备和成像方法
CN111833139A (zh) * 2019-04-19 2020-10-27 苹果公司 产品比较技术
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化

Also Published As

Publication number Publication date
EP2638527B1 (en) 2019-08-21
US20180357829A1 (en) 2018-12-13
US10902682B2 (en) 2021-01-26
JP2013092964A (ja) 2013-05-16
US10068382B2 (en) 2018-09-04
US11468647B2 (en) 2022-10-11
BR112013015584A2 (pt) 2016-10-11
CN103270537B (zh) 2017-06-13
EP3633629A1 (en) 2020-04-08
WO2013061504A1 (en) 2013-05-02
US11941766B2 (en) 2024-03-26
JP5821526B2 (ja) 2015-11-24
US20140225919A1 (en) 2014-08-14
US20230005226A1 (en) 2023-01-05
US20170186242A1 (en) 2017-06-29
US20160133058A1 (en) 2016-05-12
US9292974B2 (en) 2016-03-22
US20200027278A1 (en) 2020-01-23
US10453266B2 (en) 2019-10-22
US9626806B2 (en) 2017-04-18
US9704297B2 (en) 2017-07-11
US20210125416A1 (en) 2021-04-29
EP2638527A4 (en) 2015-09-02
EP2638527A1 (en) 2013-09-18
US20160133057A1 (en) 2016-05-12
US20240203070A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
US11941766B2 (en) Image processing apparatus, image processing method, and program
US11842514B1 (en) Determining a pose of an object from rgb-d images
KR101737725B1 (ko) 컨텐츠 생성 툴
US20140313228A1 (en) Image processing device, and computer program product
US20150052479A1 (en) Information processing apparatus, display control method, and program
CN102737405A (zh) 图像处理设备、图像处理方法和程序
WO2015048529A1 (en) Simulating three-dimensional views using planes of content
KR20140090159A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN103443743A (zh) 上下文知晓的增强交互
CN104081307A (zh) 图像处理装置、图像处理方法和程序
JP6172233B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI766258B (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
McClean An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model
JP6304305B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5991418B2 (ja) 画像処理装置、画像処理方法及びプログラム
Kodym et al. Virtual reality in control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant