CN104541300A - 增强现实信息的确定 - Google Patents

增强现实信息的确定 Download PDF

Info

Publication number
CN104541300A
CN104541300A CN201280075456.3A CN201280075456A CN104541300A CN 104541300 A CN104541300 A CN 104541300A CN 201280075456 A CN201280075456 A CN 201280075456A CN 104541300 A CN104541300 A CN 104541300A
Authority
CN
China
Prior art keywords
data
video
acceleration environment
module
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280075456.3A
Other languages
English (en)
Other versions
CN104541300B (zh
Inventor
Q.李
Y.陈
P.王
杜杨洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104541300A publication Critical patent/CN104541300A/zh
Application granted granted Critical
Publication of CN104541300B publication Critical patent/CN104541300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

系统和方法可提供用于获得或实现增强现实信息。一种逻辑体系结构可用于检测相对于图像捕捉装置的低加速条件。逻辑体系结构可响应低加速条件，从与图像捕捉装置相关联的视频选择数据。逻辑体系结构也可使用数据获得用于视频在增强现实信息。另外，逻辑体系结构可通过增强现实信息修改视频，或者可显示带有增强现实信息的视频。

Description

增强现实信息的确定
背景技术
实施例一般涉及确定或实现增强现实(AR)信息。更具体地说，实施例涉及检测相对于图像捕捉装置的加速条件，并且响应加速条件，从图像捕捉装置相关联的视频选择数据以获得用于视频的AR信息。实施例也涉及基于AR信息修改视频。
可获得AR信息或将其用于修改与图像捕捉装置相关联的视频。然而，获得AR信息可要求过于复杂的过程，如计算运动向量以发现在视频的连续帧之间的差别。另外，获得AR信息可包括可造成不准确结果的过程，如在定期时间间隔发送视频帧以便分析。此外，获得AR信息可要求不断传送大量的数据（如视频的每个帧）以便分析。因此，可存在不必要的资源利用，如处理器利用、功率利用、带宽利用等等。
附图说明
本领域技术人员在阅读以下说明书和随附权利要求书并参照附图后，将明白本发明实施例的各种优点，其中：
图1A和1B是根据一实施例，基于相对于图像捕捉装置的低加速条件，获得增强现实(AR)信息的方案的示例；
图2是根据一实施例，基于相对于图像捕捉装置的低加速条件，获得AR信息的方法的示例的框图；
图3是根据一实施例，基于相对于图像捕捉装置的低加速条件，获得AR信息的方法的示例的流程图；
图4是根据一实施例的逻辑体系结构的示例的框图；
图5是根据一实施例的系统的示例的框图。
图6是根据一实施例，基于相对于图像捕捉装置的低加速条件，获得AR信息的示例的绘图；
图7是根据一实施例，包括基于相对于图像捕捉装置的低加速条件，获得AR信息的流程的系统的示例的框图；
图8是根据一实施例的处理器的示例的框图；以及
图9是根据一实施例的系统的示例的框图。
具体实施方式
图1A示出获得增强现实(AR)信息的方案。在所示示例中，设备12包括屏幕14、前置相机16和后置相机18。设备12可包括任何视频显示平台，如膝上型计算机、个人数字助理(PDA)、无线智能电话、媒体内容播放器、成像装置、移动因特网装置(MID)、诸如智能电话、智能平板、智能电视等任何智能装置、投影仪、眼镜（例如，护目镜）等等或其组合。后置相机18可捕捉在设备12的视野中的对象20的视频，并且用户10能够观察屏幕14上的对象20。可实时渲染视频，可存储视频以便以后观看，或者这些可以组合。
在设备12接近对象20时，存在相对于设备12的高加速条件。诸如加速计等设备12的传感器可检测高加速条件，并且虽然在屏幕14上向用户10显示对象20，但不提供AR信息。用户10暂停以观察对象20时，存在相对于设备12从高加速条件到低加速条件的转变。在一个实施例中，检测低加速条件可基于超出阈值，如加速阈值、分类阈值等等或其组合。
响应低加速条件，可自动选择数据。例如，基于在低加速条件期间的预确定时期，可自动选择数据。在一个实施例中，数据包括对象20的特征、对象20的图像、包括对象20的视频的单帧等等或其组合。另外，数据可从视频提取并且用于获得有关视频的AR信息，如有关对象20的信息。例如，数据可用于识别视频中的对象20，识别与视频中对象20有关的信息等等及其组合。另外，可在设备12分析数据，可将数据传递到远程设备（例如，远程服务器）以便分析数据，或其组合。在所示方案中，获得了AR信息24，AR信息24包括与对象20相关联的信息，并且响应低加速条件在屏幕14上在带有对象20的视频中向用户10显示。
图1B示出获得AR信息的另一方案。在所示方案中，设备12和对象20之一或两者相对于彼此在移动，并且设备12的加速计检测到相对于设备12的高加速条件。设备12和对象20经过彼此时，前置相机16或后置相机18在对象20穿过设备12的视野时捕捉其视频。可存储视频以供以后观看。用户10暂停例如以便从存储装置检索视频时，存在相对于设备12从高加速条件到低加速条件的转变，并且响应低加速条件，自动从视频选择数据。在所示方案中，获得了AR信息24，AR信息24包括与对象20相关联的信息，并且响应低加速条件在屏幕14上在带有对象20的视频中向用户10显示。
现在转到图2，图中示出获得AR信息的方法102。方法102可实现为逻辑指令集和/或固件，逻辑指令集和/或固件存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM (PROM)、闪存等机器或计算机可读存储介质中，诸如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)等可配置逻辑中，使用诸如专用集成电路(ASIC)、CMOS或晶体管-晶体管逻辑(TTL)技术等电路技术的固定功能逻辑硬件中或其任何组合中。例如，执行方法102中所示操作的计算机程序代码可以一个或更多个编程语言的组合编写，包括诸如C++或诸如此类等面向对象的编程语言和诸如“C”编程语言或类似编程语言等常规过程编程语言。另外，方法102能够使用任何上面提及的电路技术实现。
所示处理框126提供用于检测相对于图像捕捉装置的加速条件，如低加速条件。图像捕捉装置可包括任何平台，如膝上型计算机、PDA、无线智能电话、媒体内容播放器、成像装置、MID、诸如智能电话、智能平板、智能电视等任何智能装置、投影仪、眼镜（例如，护目镜）等等或其组合。另外，图像捕捉装置可包括传感器，如相机。检测可在视频管线的任何级或组件完成，包括传感器、操作系统、应用程序等等或其组合。例如，运动传感器（例如，加速计）可检测低加速条件。另外，运动传感器可检测在低加速条件与高加速条件之间的转变，例如，从高加速条件到低加速条件。此外，运动传感器可基于诸如加速阈值、分类阈值等阈值或其组合，检测低加速条件。
所示处理框128提供用于响应诸如低加速条件等加速条件，从与图像捕捉装置相关联的视频选择数据。数据可包括视频的任何部分的特征。例如，特征可具有视频中的对象，如人物的特征（例如，面部识别）。通过使用任何过程（如尺度不变特征变换(SIFT)、压缩的梯度直方图(CHoG)描述符等等或其组合），可确定特征。另外，数据可包括视频中对象的图像、视频的帧等等或其组合。视频或数据可包括任何格式，如联合图像专家组(JPEG)格式、图形互换格式(GIF)、标记图像文件格式(TIFF)、原始图像文件格式（RAW）、移动图像专家组(MPEG)格式、Windows媒体视频格式(WMV)格式等等或其组合。
可在视频管线的任何级或组件选择数据，包括传感器、网络接口组件、存储器、存储装置、硬盘、操作系统、应用程序等等或其组合。例如，在诸如存储器等视频管线的任何级或组件接收视频或可访问视频时，可从视频选择数据。另外，基于在加速条件期间的预确定时期，如在低加速条件期间，可自动选择数据。另外，可在视频的任何级或组件提取数据。
可将数据传递到远程处理器、设备、系统等等或其组合。例如，网络接口组件可提供通信功能性以实现广泛的多种目的，如蜂窝电话（例如，W-CDMA (UMTS)、CDMA2000 (IS-856/IS-2000)等）、WiFi（例如，IEEE 802.11，1999版，LAN/MAN无线LANS）、蓝牙（例如，IEEE 802.15.1-2005，无线个人区域网）、WiMax（例如，IEEE 802.16-2004，LAN/MAN宽带无线LANS）、全球定位系统(GPS)、扩频（例如，900 MHz）和其它射频(RF)电话技术目的。另外，数据可在用户有关的本地装置（例如，用户的移动装置）中存储或使用。
所示处理框130提供用于使用数据获得用于视频的AR信息。在一个实施例中，可分析数据以获得AR信息。例如，可识别数据。可识别视频的特征，可识别视频中的对象，可识别视频的图像，可识别视频的帧等等或其组合。另外，可识别与特征有关的信息，可识别与对象有关的信息，可识别与图像有关的信息，可识别与帧有关的信息等等或其组合。可使用任何过程分析数据以获得AR信息。
例如，成对特征匹配过程可将查询图像与数据库图像相比较。过程可包括在最可能匹配查询图像的候选的短列表上执行成对比较。特征的索引编排也可包括任何过程，如通过最近节点优先(best-bin-first)策略、使用由描述符的培训集的K均值聚类构建的BoF码本的BoF模型，使用SIFT描述符的近似最近邻居搜索，使用包括分层k均值聚类以创建词汇表树(VT)构建的码本，使用本地敏感散列处理过程，使用任何其它基于树的过程等等。
几何验证过程也可用于分析数据。例如，查询图像和数据库图像中的特征位置信息可用于确认特征匹配与两个图像之间的视点变化的一致。任何过程可用于执行几何验证。例如，可使用诸如随机抽样一致等递归过程，可使用基于特征定向信息的检查，可使用递归过程前的重新排序等等。
可从数据的分析中获得AR信息。例如，在CD封面的选择的数据（例如，查询图像）中可能没有任何识别信息。可从查询图像和数据库图像的成对比较中获得AR信息。例如，查看CD封面可促使成对比较以识别CD封面以及确定与诸如版权、发行日期、作者、标题等等或其组合等与CD有关的信息。执行匹配过程，可从相同数据库确定信息，或者可从诸如因特网服务器数据库等另一数据库确定信息。
所示方法102也提供用于实现AR信息。例如，所示处理块132提供用于通过AR信息修改视频。可在视频管线的任何级或组件修改数据，包括传感器、网络接口组件、存储器、存储装置、硬盘、操作系统、应用程序等等或其组合。另外，在确定AR信息时可通过AR信息修改视频。另外，在收到AR信息时，AR信息可访问时等等或其组合，可通过AR信息修改视频。例如，在从远程装置，从网络接口组件，从存储器，从存储装置等等或其组合收到AR信息，或者信息可从中访问时，可修改视频。例如，通过在视频的有关对象上叠加AR信息，可修改视频以在视频中包括AR信息。
所示处理块134提供用于显示带有AR信息的视频。显示装置可以是任何平台，如膝上型计算机、PDA、无线智能电话、媒体内容播放器、成像装置、MID、诸如智能电话、智能平板、智能电视等任何智能装置、投影仪、眼镜（例如，护目镜）等等或其组合。相应地，包括AR信息的个性的视频可以快速、准确、自动等等或其组合的方式向用户显示。
图3示出获得AR信息的方法202。方法202能够使用任何本文中提及的技术实现。所示处理块238检测低加速条件。在框240，可确定视频是否与图像捕捉装置相关联。例如，可由包括图像捕捉传感器（例如，相机）的显示装置显示视频，可选择视频以便显示（例如，从存储装置，存储器等），等等或其组合。如果视频不与图像捕捉装置相关联，则可在以后的时间完成检测低加速条件。如果视频与图像捕捉装置相关联，则在框244可确定是否存在相对于图像捕捉装置的低加速条件。如果不同，则在框246可做出确定以确定是否可超出阈值。例如，确定可以为是否可超出加速阈值，是否可超出分类阈值或其组合。如果是，则可存在到低加速条件的转变。存在相对于图像捕捉装置的低加速条件时，或者存在到低加速条件的转变时，在处理框248进行从视频选择数据，并且在处理框250，数据用于获得AR信息。
现在转发到图4，设备402包括获得AR信息的逻辑体系结构454。逻辑结构454一般可包含到平台中，如膝上型计算机、PDA、无线智能电话、媒体内容播放器、成像装置、MID、诸如智能电话、智能平板、智能电视等任何智能装置、投影仪、眼镜（例如，护目镜）、服务器等等或其组合。逻辑体系结构454可在应用程序、操作系统、媒体框架、硬件组件或其组合中实现。逻辑体系结构454可在视频管线的任何组件中实现，如网络接口组件、存储器、处理器、硬盘、操作系统、应用程序等等或其组合。例如，逻辑体系结构454可在诸如中央处理单元(CPU)、图形处理单元(GPU)、视觉处理单元(VPU)等处理器、传感器、操作系统、应用程序等等或其组合中实现。设备402可包括诸如电池等电源498、电源连接器等等或其组合。
在所示示例中，逻辑体系结构454包括检测诸如低加速条件等相对于图像捕捉装置的加速条件的条件模块456。条件模块456可包括检测高加速条件、低加速条件等等或其组合的加速模块458。加速模块458也可检测何时可超出加速阈值。加速模块458也可确定转变，例如到低加速条件的转变。另外，条件模块456可包括检测何时可超出分类阈值的分类模块460。在一个实施例中，分类模块460可确定在某个时间期内加速条件是否可保持恒定。
在所示示例中，逻辑体系结构454包括响应低加速条件，从与图像捕捉装置（例如，传感器494）相关联的视频选择数据的选择模块462，以及其中，数据可用于获得用于视频的AR信息。选择模块462可从视频提取特征，从视频提取查询图像，从视频提取帧等等或其组合。基于在加速条件期间的预确定时期，如在低加速条件期间，选择模块462可选择数据。例如，可在低加速条件开始时选择数据，在低加速条件开始后选择数据，在低加速条件开始与分类阈值之间随机选择数据，在已超出分类阈值后且在转为到高加速条件之前选择数据，等等或其组合。
在所示示例中，逻辑体系结构454也包括分析数据的分析模块464。分析模块可包括识别视频中特征，视频中的对象，视频中的图像，视频中的帧等等或其组合的数据身份模块466。例如，数据（例如，查询图像）可包括街道的特征（例如，地标），并且特征可通过使用在查询图像与数据库图像（例如，数据库图像）之间的成对比较而得以识别。其它信息可用于识别特征，包括可用于识别查询图像，可用于选择适当的数据库图像等等或其组合的位置信息（例如，GSP信息）。分析模块也可包括识别与视频中数据有关的信息的数据信息模块468。例如，可从诸如在存储装置490中的本地数据库，或诸如在在线因特网服务器中的远程数据库识别描述数据的信息（例如，地标的名称）。另外，其它信息可用于识别与视频中数据有关的信息。
在所示示例中，逻辑体系结构454也包括允许逻辑体系结构454与诸如存储装置490、应用程序492、传感器494、显示器496等等或其组合等组件进行通信的通信模块470。例如，条件模块456可与传感器494直接进行通信，或者可使用通信模块470以便与传感器494进行通信以检测加速状态。另外，选择模块462可与存储装置490直接进行通信，或者可使用通信模块470以便与传感器494进行通信以选择数据。另外，从分析模块464获得的AR信息可直接传递到存储装置490、应用程序492、显示器496等，或者可使用通信模块470传递，使得AR信息可与视频一起显示。在一个实施例中，通信模块470可与网络接口组件进行通信，或者与其集成。虽然示例已示出单独的模块，但明白的是，逻辑体系结构454的一个或更多个模块可在一个或更多个组合模块中实现。
图5示出获得AR信息的系统502的示例的框图。系统502可包括与其它系统组件组合的逻辑体系结构454，如向系统502供电的电源598、将视频与AR信息一起显示的显示器596、提供视频到系统502的图像捕捉系统594、系统存储器（未示出）、海量存储装置（未示出）、网络接口组件（未示出）等等或其组合。另外，系统502可包括专用组件以接收或处理图像，如包括专用图形存储器（未示出）的专用图形组件。
在所示示例中，系统502包括检测诸如低加速条件等相对于图像捕捉系统592的加速条件的条件模块556。图像捕捉系统594可包括相机，相机可与显示器596连接。另外，系统502包括响应低加速条件，从图像捕捉系统594提供的视频选择数据的选择模块562。另外，系统502包括分析数据并且获得AR信息的分析模块564。此外，系统502包括与诸如存储装置490等其它系统组件以及与远程系统572进行通信的通信模块570。在一个实施例中，远程系统572可包括图像的数据库，例如以实现成对比较。任何模块546、562、564或570也可包括在远程系统572中。在所示示例中，系统502可显示例如来自存储装置590、图像捕捉系统594等等，已通过AR信息修改的视频。
现在转到图6，图形示出基于相对于图像捕捉装置的低加速条件，获得AR信息的示例的绘图602。在所示示例中，绘图602使与平台相关联的加速计向量(G)和时间变量（例如，时间）相关。加速计向量(G)包括三个维度（例如，g x，g y，g z）。使用以下计算获得向量的绝对值：
G等于零(0)时，可存在静态或等速运动。G可与图像捕捉装置的平移速度直接有关，图像捕捉装置可处在三种状态之间的转变中：静态、突发运动和非规则运动。由于运动值可包括噪声，因此，加速阈值(Ta)可用于使用高加速条件674和低加速条件676将视频分类。例如，在传感器数据（例如，G）降到低于加速阈值(Ta)时，宣布图像捕捉装置用于低加速条件676。另外，在传感器数据未降到低于加速阈值(Ta)时，宣布图像捕捉装置用于高加速条件674。相应地，可检测到低加速条件676，可识别从高加速条件674到低加速条件676的转变，并且可通过使条件674、676与高加速条件674、低加速条件676期间捕捉的视频的部分相关及其组合，可将视频分类。
另外，运行长度时间可用于检测加速条件。例如，可为每个低加速条件测量运行长度时间，它可表示加速条件保持不变的时间。相应地，在运行时间长度超过分类阈值(Tc)前或者除非运行时间长度超过分类阈值(Tc)，否则，条件（或视频分类）可不更改。因此，可抑制条件的检测中较快的时间振荡。另外，使用运动传感器（例如，加速计）确定在当前移动与前一移动之间运动向量（例如，G)的差别可允许在差超出预定义的阈值时完成数据（例如，查询帧）的选择或传送。类似地，运动向量之间的差别较小时，不要求选择或传送帧。
基于在加速条件期间的预确定时期，可选择数据。例如，可在每次存在低加速条件676时的开始选择数据，从开始时间（例如，0秒）起在低加速条件676中的时期中随机选择数据，从到低加速条件676中的转变(Tt)开始，在转变(Tt)的开始到分类阈值(Tc)之间，在分类阈值(Tc)与到高加速阈值（例如，在Ta）的转变之间的时期内选择数据，等等或其组合。相应地，可快速传送例如对于640 X 480大小图像，在大约50 Kb与60 Kb之间的平均查询帧。在一个实施例中，可选择或传送诸如JPEG压缩取景器帧等帧。另外，由于与用户关注模型相关联的较低/静态运动分类，可以有相对低的计算成本或功率使用及最大化的准确度。
图7示出包括基于低加速条件，获得AR信息，修改视频流773的流程的系统702的示例的框图。在所示示例中，系统702检测高加速条件774和低加速条件776，并且使条件774、776与视频流773的相应部分相关。基于在低加速条件776期间的预确定时期，如在超出分类阈值(Tc)时，选择低加速条件776中视频流773的数据（例如，查询帧）。在数据提取777，提取数据（例如，查询帧）。可在帧编码778将数据编码，并且转发到远程处理器、设备、系统等等或其组合。在一个实施例中，将数据转发到远程图像数据库服务器。转发数据时，可在帧解码779将其解码，并且随后在识别操作780用于获得AR信息。另外，在数据提取777后，可直接将数据用于在识别操作780获得AR信息。
数据可用于通过AR信息修改视频流773。在数据提取777提取数据，并且将其直接用于在识别操作780获得识别信息时，可将AR信息直接转发到信息插入操作784。在将数据转发到远程位置时，AR信息可在修改操作781修改数据（例如，查询图像），并且修改的数据（例如，修改的查询图像）可在帧编码782进行编码。在帧解码783可将修改的数据解码并且转发到信息插入784。在信息插入784，可将来自识别操作780的AR信息插入视频流773中的原帧，可将原帧替代为在视频流773中来自修改操作781的修改的帧，或者可提供其组合。另外，可存储AR信息以供以后使用。类似地，可在信息插入784将对应于在数据提取777选择或提取的数据的识别的特征、对象、图像等等插入识别操作781、在782的修改操作、信息插入784等等或其组合。
图8示出根据一个实施例的处理器核200。处理器核200可以是用于任何类型的处理器（如微处理器、嵌入式处理器、数字信号处理器(DSP)、网络处理器或执行代码的其它装置）的核。虽然图8中只示出一个处理器核200，但处理元件可备选包括不止一个图8所示的处理器核200。处理器核200可以是单线程核，或者对于至少一个实施例，处理器核200可以是多线程的，表现在它可每核包括不止一个硬件线程上下文（或“逻辑处理器”）。
图8也示出耦合到处理器200的存储器270。存储器270可以是如本领域技术人员已知或以其它方式可用的范围广泛的多种存储器中的任何存储器（包括存储器分层结构的各种层）。存储器270可包括要由处理器核200执行的一个或更多个代码213指令，其中，代码213可实现已经讨论的逻辑体系结构454（图4）或逻辑554（图5）。处理器核200遵循代码213所示的指令的程序序列。每个指令可进入前端部分210并且由一个或更多个解码器220处理。解码器220可生成作为其输出的微操作，如预定义格式的固定宽度微操作，或者可生成其它指令、微指令或反映原代码指令的控制信号。所示前端210也包括寄存器重命名逻辑225和调度逻辑230，这两个逻辑通常分配资源并且将对应于转换指令的操作排队以便执行。
处理器200示为包括具有执行单元255-1到255-N的集合的执行逻辑250。一些实施例可包括专用于特定功能或功能的集合的多个执行单元。其它实施例可只包括能够一个执行单元或执行特定功能的一个执行单元。所示执行逻辑250执行代码指令指定的操作。
在代码指令指定的操作的执行完成后，后端逻辑260退出代码213的指令。在一个实施例中，处理器200允许失序执行，但要求指令的有序退出(in order retirement)。退出逻辑265可如本领域技术人员熟知的多种形式（例如，重新排序按钮或诸如此类）。这样，在代码213的执行期间，至少在解码器生成的输出、寄存器重命名逻辑225利用的硬件寄存器和表格及执行逻辑250修改的任何寄存器（未示出）方面，变换了处理器核200。
虽然图8中未示出，但处理元件可在带有处理器核200的芯片上包括其它元件。例如，处理元件可包括存储器控制逻辑及处理器核200。处理元件可包括I/O控制逻辑和/或可包括与存储器控制逻辑集成的I/O控制逻辑。处理元件也可包括一个或更多个高速缓存。
现在参照图9，图中示出根据本发明的一实施例的系统实施例1000的框图。图9所示是包括第一处理元件1070和第二处理元件1080的多处理器系统1000。虽然示出了两个处理元件1070和1080，但要理解的是，系统1000的一实施例也可包括仅一个此类处理元件。
系统1000示为点至点互连系统，其中，第一处理元件1070和第二处理元件1080经点到点互连1050耦合。应理解的是，图9所示任何或所有互连可实现为多点分支总线而不是点到点互连。
如图9所示，每个处理元件1070和1080可以为多核处理器，包括第一和第二处理器核（即，处理器核1074a和1074b与处理器核1084a和1084b）。此类核1074a、1074b、1084a和1084b可配置成以类似于上面结合图8所述的方式执行指令代码。
每个处理元件1070、1080可包括至少一个共享高速缓存1896。共享高速缓存1896a、1896b可存储分别由处理器的一个或更多个组件利用的数据（例如，指令），如核1074a、1074b和1084a、1084b。例如，共享高速缓存可在本地缓存在存储器1032、1034中存储的数据以便由处理器的组件进行更快访问。在一个或更多个实施例中，共享高速缓存可包括诸如第2级2 (L2)、第3级(L3)、第4级(L4)或其它级的高速缓存等一个或更多个中间级高速缓存、最后级高速缓存(LLC)和/或其组合。
虽然只通过两个处理元件1070、1080示出，但要理解的是，本发明的范围并不限于此。在其它实施例中，一个或更多个另外的处理元件可在给定处理器中存在。备选，一个或更多个处理元件1070、1080可以是非处理器的元件，如加速器或现场可编程门阵列。例如，另外的处理元件可包括与第一处理器1070相同的另外处理器、与第一处理器1070异构或不对称的另外处理器、加速器（例如，图形加速器或数字信号处理(DSP)单元）、现场可编程门阵列或任何其它处理元件。在包括体系结构特性、微体系结构特性、热消耗特性、功率消耗特性及诸如此类的品质指标谱(spectrum of metrics of merit)方面，在处理元件1070、1080之间能够存在多种差别。这些差别可使它们自身有效地显现为在处理元件1070、1080之间的不对称性和异构性。对于至少一个实施例，各种处理元件1070、1080可驻留在相同裸晶封装中。
第一处理元件1070可还包括存储器控制器逻辑(MC) 1072和点到点(P-P)接口1076和1078。类似地，第二处理元件1080可包括MC 1082和P-P接口1086与1088。如图8所示，MC 1072和1082将处理器与相应存储器，即存储器1032和存储器1034耦合，这些存储器可以是在本机连接到相应处理器的主存储器一部分。虽然MC逻辑1072和1082示为集成到处理元件1070、1080，但对于备选实施例，MC逻辑可以是在处理元件1070、1080外而不是在其中集成的离散逻辑。
第一处理元件1070和第二处理元件1080可分别经P-P互连1076、1086和1084耦合到I/O子系统1090。如图9所示，I/O子系统1090包括P-P接口1094和1098。此外，I/O子系统1090包括接口1092以耦合I/O子系统1090和高性能图形引擎1038。在一个实施例中，总线1049可用于耦合图形引擎1038到I/O子系统1090。备选，点到点互连1039可耦合这些组件。
I/O子系统1090又可经接口1096耦合到第一总线1016。在一个实施例中，第一总线1016可以是外设组件互连(PCI)总线，或诸如PCI高速总线或另一第三代I/O互连总线等总线，但本发明的范围并不限于此。
如图9所示，与可将第一总线1016耦合到第二总线1010的总线桥1018一起，诸如屏幕14（图1A和1B）、显示器496（图4）或显示器596（图5）等各种I/O装置1014可耦合到第一总线1016。在一个实施例中，第二总线1020可以为低引脚数(LPC)总线。在一个实施例中，各种装置可耦合到第二总线1020，例如包括键盘/鼠标1012、通信装置1026（它又可与计算机网络进行通信）及诸如磁盘驱动器或海量存储装置等可包括代码1030的数据存储单元1018。代码1030可包括用于执行上述一个或更多个方法的实施例的指令。因此，所示代码1030可实现逻辑体系结构454（图4）或逻辑体系结构554（图5），并且能够类似于已经讨论的代码213（图8）。此外，音频I/O 1024可耦合到第二总线1020。
要注意的是，设想了其它实施例。例如，系统可实现多点分支总线或另一此类通信拓扑而不是图9的点到点体系结构。此外，可备选使用比图9所示更多或更少的集成芯片分割图9的元件。
实施例可包括其中可获得AR信息的计算机实现的方法。计算机实现的方法可包括检测相对于图像捕捉装置的加速条件。加速条件可包括低加速条件、高加速条件或其组合。检测可包括识别在高加速条件到低加速条件之间的转变。检测可基于加速阈值、分类阈值或其组合。
计算机实现的方法也可包括响应加速条件，例如响应低加速条件，从与图像捕捉装置相关联的视频选择数据。数据可包括特征、查询图像等等或其组合。选择可包括从视频提取特征，从视频提取查询图像或其组合。选择可基于在加速条件期间的预确定时期，如在低加速条件期间。计算机实现的方法可还包括使用数据获得用于视频的AR信息。计算机实现的方法也可包括通过AR信息修改视频，显示带有AR信息的视频或其组合。
实施例也可包括具有指令集的计算机可读存储介质，指令如果由处理器执行，则可促使处理器获得AR信息。指令如果被执行，则可促使处理器检测相对于图像捕捉装置的加速条件，如低加速条件。指令如果被执行，则可促使处理器识别在高加速条件到低加速条件之间的转变。指令如果被执行，则可促使处理器基于加速阈值、分类阈值或其组合，检测加速条件，如低加速条件。
指令如果被执行，则可促使处理器响应低加速条件，从与图像捕捉装置相关联的视频选择数据。指令如果被执行，则可促使处理器从视频提取特征，从视频提取查询图像或其组合。指令如果被执行，则可促使处理器基于在低加速条件期间的预确定时期，选择数据。指令如果被执行，则可促使处理器将数据传递到远程处理器以获得AR信息。指令如果被执行，则可促使处理器基于增强现实信息，修改视频，显示带有增强现实信息的视频或其组合。
实施例也可包括具有获得AR信息的逻辑的设备。设备可包括检测诸如低加速条件等相对于图像捕捉装置的加速条件的条件模块。条件模块可包括检测高加速条件、低加速条件、何时可超出加速阈值或其组合的加速模块。加速模块可识别在低加速条件与高加速条件之间的转变。条件模块可包括检测何时可超出分类阈值的分类模块。
设备可包括响应低加速条件从与图像捕捉装置相关联的视频选择数据的选择模块，其中，数据可用于获得用于视频的AR信息。选择模块可从视频提取特征，从视频提取查询图像或其组合。基于在加速条件期间的预确定时期，如在低加速条件期间，选择模块可选择数据。
设备可包括分析数据的分析模块。分析模块可包括识别视频中的数据的数据身份模块、识别与视频中数据有关的信息的数据信息模块或其组合。设备可包括将数据传递到远程设备以获得AR信息的通信模块。设备可包括显示带有AR信息的视频的显示器。
实施例也可包括具有获得AR信息的逻辑的系统。系统可包括检测诸如低加速条件等相对于图像捕捉装置的加速条件的条件模块。条件模块可包括检测高加速条件、低加速条件、何时可超出加速阈值或其组合的加速模块。加速模块可识别在低加速条件与高加速条件之间的转变。条件模块可包括检测何时可超出分类阈值的分类模块。
系统可包括响应低加速条件从与图像捕捉装置相关联的视频选择数据的选择模块，其中，数据可用于获得用于视频的AR信息。选择模块可从视频提取特征，从视频提取查询图像或其组合。基于在加速条件期间的预确定时期，如在低加速条件期间，选择模块可选择数据。
系统可包括分析数据的分析模块。分析模块可包括识别视频中的数据的数据身份模块、识别与视频中数据有关的信息的数据信息模块或其组合。系统可包括将数据传递到远程设备以获得AR信息的通信模块。
系统可包括与系统组件组合的逻辑，如电源、用户接口、图像捕捉系统、系统存储器、网络接口组件等等或其组合。另外，系统可包括诸如运动传感器等传感器。系统可包括显示带有AR信息的视频的显示器。系统可包括存储视频、数据、增强现实信息或其组合的存储装置。数据可包括视频中对象的图像，对象在图像捕捉装置的视野外时，可通过AR信息显示对象的图像。
各种实施例可使用硬件元件、软件元件或两者的组合实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用程序、计算机程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元件和/或软件元件实现可根据任何数量的因素而变化，如所需的计算速率、功率电平、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。
至少一个实施例的一个或几个方面可由在表示处理器内各种逻辑的机器可读介质上存储的代表性指令实现，指令在由机器读取时，促使机器产生逻辑以执行本文中所述技术。称为“IP核”的此类表示可存储在有形的机器可读介质上，并且提供到各种客户或生产设施以加载到实际形成逻辑或处理器的制造机中。
本发明的实施例适合用于所有类型的半导体集成电路（“IC”）芯片。这些IC芯片的示例包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片及诸如此类。另外，在一些图形中，信号导体线以线条表示。一些线条可不同以指示更多组成信号路径，具有数字标签以指示多个组成信号路径和/或在一端或两端具有箭头以指示主信息流方向。然而，这不应视为限制。相反，此类添加的细节可结合一个或更多个示范实施例使用以有利于更容易理解电路。无论是否具有另外的信息，任何表示的信号线可实际上包括一个或更多个信号，信号可在多个方向上传播，并且可通过任何适合类型的信号方案实现，例如，通过差分对实现的数字或模拟线、光纤线和/或单端线。
示例大小/模型/值/范围可能已给出，但本发明的实施例不限于相同的。由于制造技术（例如，光刻）随着时间的进展而变得成熟，预期能够制造更小的装置。另外，为说明和讨论简明起见，到IC芯片和其它组件的熟知电源/接地连接可在图中示出或不示出，以便不混淆本发明的实施例的某些方面。此外，布置可以框图形式示出以便避免混淆本发明的实施例，并且也考虑到关于此类框图布置的实现的具体细节高度取决于其内要实现实施例的平台的事实，即，此类具体细节应在本领域技术人员的认知范围内。在陈述了特定细节（例如，电路）以便描述本发明的示例实施例之处，本领域技术人员应领会的是，在没有这些特定细节的情况下或者通过这些特定细节的变化，能够实践本发明的实施例。描述因此要视为是说明性的而不是限制。
一些实施例可使用可存储指令或指令集的机器或有形计算机可读介质或制品实现，指令或指令集在由机器执行时可使机器执行根据实施例的方法和/或操作。此类机器例如可包括适合的处理平台、计算平台、计算装置、处理装置、计算系统、处理系统、计算机、处理器或诸如此类，并且可使用硬件和/或软件的任何适合组合实现。机器可读介质或制品例如可包括任何适合类型的存储器单元、存储器装置、存储器制品、存储器介质、存储装置、存储制品、存储介质和/或存储单元，例如，存储器、可拆卸或非可拆卸式介质、可擦除或非可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、压缩盘只读存储器(CD-ROM)、可刻录压缩盘(CD-R)、可重写压缩盘(CD-RW)、光盘、磁介质、磁光介质、可拆卸磁卡或磁盘、各种类型的数字多功能盘(DVD)、磁带、盒式磁带或诸如此类。指令可包括任何适合类型的代码，如源码、编译码、解释程序代码、可执行代码、静态码、动态码及诸如此类，并且可使用任何适合的高端、低端、面向对象、可视、编译和/或解释程序语言实现。
除非另有明确说明，否则，可领会诸如“处理”、“计算”、“运算”、“确定”等术语或诸如此类的论述指计算机或计算系统或类似电子计算装置的动作和/或进程，可将表示为计算机系统的寄存器和存储器内的物理数量（例如，电子）的数据操控和/或变换成类似地表示为计算机系统存储器、寄存器或其它此类信息存储、传输或显示装置内物理量的其它数据。实施例在此上下文中并不受限制。
术语“耦合”可在本文中用于指在所述组件之间任何类型的直接或间接关系，并且可应用到电、机械、流体、光、电磁、机电或其它连接。另外，术语“第一”、“第二”等可在本文中只用于有利于讨论，并且除非另有指示，否则无特定时间或时序重要性。另外，要理解的是，数词“一”有着“一个或更多个”或“至少一个”的含意。
本领域的技术人员将从以上描述领会到本发明的实施例的广泛技术可以多种形式实现。因此，虽然本发明实施例已结合其特殊示例进行描述，但由于本发明的技术人员可在研究附图、说明书和以下权利要求书时将明白其它修改，因此，本发明实施例的真实范围不应受限于此。

Claims (28)

1. 一种方法，包括：
检测相对于图像捕捉装置的低加速条件；
响应所述低加速条件，从与所述图像捕捉装置相关联的视频选择数据；以及
使用所述数据获得用于所述视频的增强现实信息。
2. 如权利要求1所述的方法，其中所述检测包括识别在高加速条件与所述低加速条件之间的转变。
3. 如权利要求1所述的方法，其中所述检测将基于以下中的一项或更多项：
加速阈值；以及
分类阈值。
4. 如权利要求1所述的方法，其中所述数据包括特征和查询图像中的一项或更多项，并且所述选择包括提取所述特征和所述查询图像中的一项或更多项。
5. 如权利要求1所述的方法，其中所述选择将基于在所述低加速条件期间的预确定时期。
6. 如权利要求1到5任一项所述的方法，还包括以下中的一项或更多项：
通过所述增强现实信息修改所述视频；以及
显示带有所述增强现实信息的所述视频。
7. 一种计算机可读介质，包括在处理器上执行时促使所述处理器执行以下操作的一个或更多个指令：
检测相对于图像捕捉装置的低加速条件；
响应所述低加速条件，从与所述图像捕捉装置相关联的视频选择数据；以及
使用所述数据获得用于所述视频的增强现实信息。
8. 如权利要求7所述的介质，其中在被执行时，所述一个或更多个指令配置处理器以识别在高加速条件与所述低加速条件之间的转变。
9. 如权利要求7所述的介质，其中在被执行时，所述一个或更多个指令配置处理器基于以下中的一项或更多项检测所述低加速条件：
加速阈值；以及
分类阈值。
10. 如权利要求7所述的介质，其中所述数据将包括特征和查询图像中的一项或更多项，并且在被执行时，所述一个或更多个指令配置处理器从所述视频提取所述特征和所述查询图像中的一项或更多项。
11. 如权利要求7所述的介质，其中在被执行时，所述一个或更多个指令配置处理器基于在所述低加速条件期间的预确定时期选择所述数据。
12. 如权利要求7所述的介质，其中在被执行时，所述一个或更多个指令配置处理器将所述数据传递到远程处理器以获得所述增强现实信息。
13. 如权利要求7所述的介质，其中在被执行时，所述一个或更多个指令配置处理器基于以下中的一项或更多项分析所述数据：
识别所述视频中所述数据的数据身份确定；以及
识别与所述视频中所述数据有关的信息的数据信息确定。
14. 如权利要求7到13任一项所述的介质，其中在被执行时，所述一个或更多个指令配置处理器执行以下一个或更多个操作：
基于所述增强现实信息，修改所述视频；以及
显示带有所述增强现实信息的所述视频。
15. 一种设备，包括：
检测相对于图像捕捉装置的低加速条件的条件模块；以及
响应所述低加速条件从与所述图像捕捉装置相关联的视频选择数据的选择模块，其中所述数据将用于获得用于所述视频的增强现实信息。
16. 如权利要求15所述的设备，其中所述条件模块将包括以下中的一项或更多项：
检测高加速条件、低加速条件和何时将超出加速阈值中的一项或更多项的加速模块；以及
检测何时将超出分类阈值的分类模块。
17. 如权利要求15所述的设备，其中所述数据将包括特征和查询图像中的一项或更多项，并且所述选择模块将从所述视频提取所述特征和所述查询图像中的一项或更多项。
18. 如权利要求15所述的设备，其中所述选择模块将基于在所述低加速条件期间的预确定时期，选择所述数据。
19. 如权利要求15所述的设备，还包括将所述数据传递到远程设备以获得所述增强现实信息的通信模块。
20. 如权利要求15所述的设备，还包括分析所述数据的分析模块，其中所述分析模块将包括以下中的一项或更多项：
识别所述视频中所述数据的数据身份模块；以及
识别与所述视频中所述数据有关的信息的数据信息模块。
21. 如权利要求15到20任一项所述的设备，还包括显示器以显示带有所述增强现实信息的所述视频。
22. 一种系统，包括：
向所述系统供电的电源；
检测相对于图像捕捉装置的低加速条件的条件模块；以及
响应所述低加速条件从与所述图像捕捉装置相关联的视频选择数据的选择模块，其中所述数据将用于获得用于所述视频的增强现实信息。
23. 如权利要求22所述的系统，其中所述条件模块将包括以下中的一项或更多项：
检测高加速条件、低加速条件和何时将超出加速阈值中的一项或更多项的加速模块；以及
检测何时将超出分类阈值的分类模块。
24. 如权利要求22所述的系统，其中所述数据将包括特征和查询图像中的一项或更多项，并且所述选择模块将从所述视频提取所述特征和所述查询图像中的一项或更多项。
25. 如权利要求22所述的系统，其中所述选择模块将基于在所述低加速条件期间的预确定时期，选择所述数据。
26. 如权利要求22所述的系统，还包括将所述数据传递到远程系统以获得所述增强现实信息的通信模块。
27. 如权利要求22所述的系统，还包括分析所述数据的分析模块，其中所述分析模块将包括以下中的一项或更多项：
识别所述视频中所述数据的数据身份模块；以及
识别与所述视频中所述数据有关的信息的数据信息模块。
28. 如权利要求22到27任一项所述的系统，还包括存储所述视频、所述数据和所述增强现实信息中的一项或更多项的存储装置，其中在所述视频中的对象在所述图像捕捉装置的视野之外后，要通过所述增强现实信息显示所述对象。
CN201280075456.3A 2012-09-28 2012-09-28 增强现实信息的确定 Active CN104541300B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/082311 WO2014047876A1 (en) 2012-09-28 2012-09-28 Determination of augmented reality information

Publications (2)

Publication Number Publication Date
CN104541300A true CN104541300A (zh) 2015-04-22
CN104541300B CN104541300B (zh) 2019-01-22

Family

ID=50386851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075456.3A Active CN104541300B (zh) 2012-09-28 2012-09-28 增强现实信息的确定

Country Status (5)

Country Link
US (1) US9691180B2 (zh)
EP (1) EP2901410A4 (zh)
JP (1) JP2015529911A (zh)
CN (1) CN104541300B (zh)
WO (1) WO2014047876A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018210055A1 (zh) * 2017-05-15 2018-11-22 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
EP3206163B1 (en) * 2016-02-11 2018-12-26 AR4 GmbH Image processing method, mobile device and method for generating a video image database
US9979921B2 (en) * 2016-09-02 2018-05-22 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
US10089793B2 (en) * 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US20180181844A1 (en) * 2016-12-28 2018-06-28 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
US10298837B2 (en) 2016-12-28 2019-05-21 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
CN107122039A (zh) * 2017-03-15 2017-09-01 苏州大学 一种智能视觉辅助增强系统及其使用方法
CN111649724B (zh) * 2020-06-04 2022-09-06 百度在线网络技术（北京）有限公司 基于移动边缘计算的视觉定位方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827213A (zh) * 2009-02-17 2010-09-08 佳能株式会社 摄像设备及其控制方法
US20110193985A1 (en) * 2010-02-08 2011-08-11 Nikon Corporation Imaging device, information acquisition system and program
US20110281644A1 (en) * 2010-05-14 2011-11-17 Nintendo Co., Ltd. Storage medium having image display program stored therein, image display apparatus, image display system, and image display method
WO2012002149A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理方法及び装置
WO2012060039A1 (ja) * 2010-11-02 2012-05-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理システム、および情報処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6668020B2 (en) * 2000-11-04 2003-12-23 Vivotek Inc. Method for motion estimation in video coding
WO2007078800A1 (en) * 2005-12-15 2007-07-12 Analog Devices, Inc. Motion estimation using prediction guided decimated search
JP2007310840A (ja) * 2006-05-22 2007-11-29 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及びプログラム
JP5433215B2 (ja) 2008-11-21 2014-03-05 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
JP5495579B2 (ja) 2009-02-17 2014-05-21 キヤノン株式会社 検出装置及び検出装置の制御方法
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
US8848802B2 (en) * 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
JP2011223493A (ja) * 2010-04-14 2011-11-04 Canon Inc 画像処理装置および画像処理方法
CN201689383U (zh) * 2010-05-18 2010-12-29 孙敏 增强现实地理信息系统的智能交互实现装置
US20110319160A1 (en) * 2010-06-25 2011-12-29 Idevcor Media, Inc. Systems and Methods for Creating and Delivering Skill-Enhancing Computer Applications
KR101363559B1 (ko) * 2010-07-23 2014-02-17 주식회사 팬택 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
JP6000954B2 (ja) * 2010-09-20 2016-10-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クラウド支援型拡張現実のための適応可能なフレームワーク
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
CN102214000B (zh) * 2011-06-15 2013-04-10 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
EP3285222A1 (en) * 2011-09-12 2018-02-21 INTEL Corporation Facilitating television based interaction with social networking tools
US9208392B2 (en) * 2011-09-20 2015-12-08 Qualcomm Incorporated Methods and apparatus for progressive pattern matching in a mobile environment
CN102547296B (zh) * 2012-02-27 2015-04-01 开曼群岛威睿电通股份有限公司 移动估计加速电路、移动估计方法及环路滤波加速电路

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827213A (zh) * 2009-02-17 2010-09-08 佳能株式会社 摄像设备及其控制方法
US20110193985A1 (en) * 2010-02-08 2011-08-11 Nikon Corporation Imaging device, information acquisition system and program
US20110281644A1 (en) * 2010-05-14 2011-11-17 Nintendo Co., Ltd. Storage medium having image display program stored therein, image display apparatus, image display system, and image display method
WO2012002149A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理方法及び装置
WO2012060039A1 (ja) * 2010-11-02 2012-05-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理システム、および情報処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018210055A1 (zh) * 2017-05-15 2018-11-22 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
CN112236715B (zh) * 2018-06-27 2023-04-04 三星电子株式会社 用于增强现实的装置和方法

Also Published As

Publication number Publication date
WO2014047876A1 (en) 2014-04-03
EP2901410A4 (en) 2016-05-25
US20160189425A1 (en) 2016-06-30
JP2015529911A (ja) 2015-10-08
CN104541300B (zh) 2019-01-22
EP2901410A1 (en) 2015-08-05
US9691180B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
CN104541300A (zh) 增强现实信息的确定
CN110334689B (zh) 视频分类方法和装置
CN103678472B (zh) 用于经由社交媒体内容检测事件的方法和系统
AU2009243442B2 (en) Detection of abnormal behaviour in video objects
US11106947B2 (en) System and method of classifying an action or event
CN108292425A (zh) 自动引导的图像捕获和展示
CN113453040B (zh) 短视频的生成方法、装置、相关设备及介质
CN110249304A (zh) 电子设备的视觉智能管理
CN106663196A (zh) 视频中的计算机显著人物识别
CN113811884A (zh) 认知视频和音频的检索聚合
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
JP2014093058A (ja) 画像管理装置、画像管理方法、プログラム及び集積回路
CN113010703A (zh) 一种信息推荐方法、装置、电子设备和存储介质
CN116303459A (zh) 处理数据表的方法及系统
Tan et al. Distinctive accuracy measurement of binary descriptors in mobile augmented reality
Wang et al. Action recognition using edge trajectories and motion acceleration descriptor
CN110198482A (zh) 一种视频重点桥段标注方法、终端及存储介质
JP2011090411A (ja) 画像処理装置、画像処理方法
CN111796925A (zh) 算法模型的筛选方法、装置、存储介质和电子设备
CN112328833B (zh) 标签处理方法、装置及计算机可读存储介质
Sun et al. Ranking highlights in personal videos by analyzing edited videos
WO2022032652A1 (en) Method and system of image processing for action classification
CN117251761A (zh) 数据对象分类方法、装置、存储介质及电子装置
CN110569447B (zh) 一种网络资源的推荐方法、装置及存储介质
CN113472834A (zh) 一种对象推送方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant