CN106464773A - 增强现实的装置及方法 - Google Patents

增强现实的装置及方法 Download PDF

Info

Publication number
CN106464773A
CN106464773A CN201580025550.1A CN201580025550A CN106464773A CN 106464773 A CN106464773 A CN 106464773A CN 201580025550 A CN201580025550 A CN 201580025550A CN 106464773 A CN106464773 A CN 106464773A
Authority
CN
China
Prior art keywords
image
equipment
student
broadcast
visual content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580025550.1A
Other languages
English (en)
Other versions
CN106464773B (zh
Inventor
克里斯托弗·乔治·奈特
詹姆斯·帕特里克·莱利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
2MEE Ltd
Original Assignee
2MEE Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 2MEE Ltd filed Critical 2MEE Ltd
Priority to CN202010833189.8A priority Critical patent/CN111954045A/zh
Publication of CN106464773A publication Critical patent/CN106464773A/zh
Application granted granted Critical
Publication of CN106464773B publication Critical patent/CN106464773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

实时广播以400表示，此情形中为高尔夫比赛。广播400大体实时地呈现在用户420的电视屏幕410上。在430表示的电视演播室中，其可能靠近或远离实时广播的位置，解说员或评论员440记录视频分析的片段。视频图像发送至服务器450。解说员440的视频剪辑可供用户420利用比如智能手机或平板的设备460下载。用户可以在设备460上观看解说员440的视频片段的附加内容。利用文中所述的定位和锚定技术，通过设备460的相机观看房间，用户可以享受视频片段440，仿佛解说员出现在房间中。

Description

增强现实的装置及方法
技术领域
本发明涉及用于提供增强现实体验的装置及方法，特别涉及以具有相机的手持设备提供增强现实体验的装置及方法。
背景技术
增强现实，即利用计算机生成的输入来增强对现实世界环境的观察，正逐渐在各种平台上得以实现，包括电视、平视显示器，并在一定程度上在如手机和平板的的手持设备上实现。
通俗称为“应用”(app)的小型专用可下载程序增强了手持设备、例如手机，作为相机而使用的用途。很多应用包括计算机生成可视化效果，可以通过相机与“实时取景”相结合，向用户提供一定程度上的增强现实的改进图像或娱乐。然而，由于在大多手持设备中可获得的处理能力有限，并且缺乏配置有嵌入式框架的功能性代码库，将录像片段并入相机的实时取景已证实是困难的。
发明内容
本发明的实施例旨在提供用于将表观移动图像并入手持设备的实时相机视景的装置及方法。
本发明由附加独立权利要求界定，现形成附加独立权利要求的参照。进一步地，优选特征可能存在于附加从属权利要求中。
根据本发明的一个方面，提供了向学生教学、指导或示范任务或动作的方法，该方法包括在具有相机的设备上记录正在执行任务或动作的学生的图像，在该设备上显示由导师执行的任务或动作的可仿效示范的图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
在一个优选设置中，所述可仿效示范为移动视频图像，其可能是虚拟图像。
优选地，所述方法包括相对于学生的已记录图像对所述可仿效示范图像定位和/或调整大小。所述方法还可能包括相对于学生的已记录图像的环境锚定所述可仿效示范图像。
所述方法优选地包括在学生的已记录图像上选取一个或多个参照点以对应可仿效图像中的参照点。所述一个或多个参照点的选取可能自动地进行。
在一个优选设置中，所述分析包括所述参照点的对比。
所述方法可能包括基于所述对比分析提供建议以提升学生的任务或动作的表现。
所述方法可能包括下载所述可仿效示范图像。在一个优选设置中，所述方法包括响应广播下载所述可仿效示范图像和/或导师/解说员图像。所述下载可能设置为响应广播自动地进行。
在一个优选设置中，所述方法包括通过比较视野范围内的至少一个物体和多个物体的存储数据来识别环境。所述方法优选地包括根据确定的环境信息从多个存储图像中选取一个可仿效图像。所述方法还优选地包括根据由环境识别单元确定的环境信息定位所述可仿效/虚拟图像。
根据本发明的另一方面，提供了用于向学生教学、指导或示范任务或动作的装置，该装置包括：具有相机的设备，用于拍摄正在执行任务或动作的学生的图像；环境识别单元，用于从设备拍摄到的图像识别环境；虚拟图像检索单元，用于选取和显示包括导师正在执行的任务或动作的可仿效示范的虚拟图像；以及虚拟图像定位单元，用于在显示器中定位所述虚拟图像。其中，所述装置设置用于在所述设备上显示所述两个图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
优选地，所述虚拟图像为先前已存储的图像。
所述装置可能设置用于在使用中下载所述可仿效示范图像。所述装置可能设置用于在使用中响应广播下载所述可仿效示范图像和/或导师/解说员图像。所述装置可能设置用于响应广播自动地下载。
在一个优选设置中，所述虚拟图像包括从移动视频选取的一系列静止图像。
选择性或附加地，所述虚拟图像可能包括连续移动视频图像。
所述虚拟图像可能包括人、动物或任何其它的“现实世界”的物体或项目的图像。
在一个优选设置中，所述环境识别单元设置用于在使用中通过比较视野范围内的至少一个物体和多个物体的存储数据来识别环境。所述图像检索单元优选地设置用于根据所述环境识别单元确定的环境信息从多个已存储图像中选取一个图像。所述定位单元优选地设置用于在使用中根据所述环境识别单元确定的环境信息定位所述虚拟图像。
通过所述定位单元对图像的定位可能包括在显示器中对所述图像调整大小，并且可能包括在显示器中锚定所述图像，关于由所述环境识别单元确定的环境信息。
所述环境识别单元、和/或所述虚拟图像检索单元、和/或所述虚拟图像定位单元可能包括设置用于在使用中由一个或多个电子处理设备执行的进程。
在一个优选设置中，所述虚拟图像包括从移动视频中选取的一系列静止图像。
本发明还包括用于引起设备执行向学生教学、指导或示范任务或动作的方法的程序，所述方法包括：在具有相机的设备上记录正在执行任务或动作的学生的图像，在该设备上显示由导师执行的任务或动作的可仿效示范的图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
所述程序可能包含在一个应用中。该应用还可能包含比如虚拟图像数据的数据。
所述虚拟/可仿效图像可能包括从移动视频中选取的一系列静止图像，或者可能包括移动视频图像。
本发明还包括计算机程序产品，其上或其中存储、运送或传递了用于引起设备执行向学生教学、指导或示范任务或动作的方法的程序，该方法包括：在具有相机的设备上记录正在执行任务或动作的学生的图像，在该设备上显示由导师执行的任务或动作的可仿效示范的图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
根据另一方面，提供了向广播媒介交付增强内容的方法，该方法包括向用户设备提供附加的可视内容图像，用于在所述用户设备的显示器上的观察；从背景图像识别环境；以及定位和锚定显示器中的附加可视内容图像。
所述方法优选地包括在所述用户设备的相机上拍摄背景图像。
所述附加可视内容图像可能包括移动视频图像。
相机拍摄的图像可能是观察到附加可视内容的大体实时地拍摄的实时背景图像。选择性或附加地，所述方法可能包括记录由相机拍摄的背景图像并且以预录背景图像为背景取景附加内容图像。所述背景图像可能包括静止图像。
选择性或附加地，所述背景图像可能包括移动图像。
所述广播媒介可能包括电视。所述广播媒介可能显示可由所述用户设备识别的标记，并且所述用户设备可能设置用于基于标记的识别显示附加内容。所述标记可能包括可视标记和/或音频标记。如果所述标记包括音频标记，其可能包括广播的指示器大致听不见的音频标记。所述标记可能是可由存储在所述用户设备上的应用检测的。
所述标记或其中一部分可能作为用于附加可视内容与广播同步的信号。
所述附加内容可能是在广播之前预录的。选择性或附加地，所述附加可视内容可能包括在广播期间形成的用于大致的即刻观察的记录。
选择性或附加地，所述附加内容可能包括与广播大致同时传送的图像。
所述方法可能包括通过与所述广播媒介交互访问所述附加内容。
所述附加内容可能通过互联网可下载至用户设备，并且可能串流至所述用户设备。所述附加内容优选地链接至所述广播内容，并且可能是暂时的链接。所述附加内容可能与所述广播内容同步地提供，并且可能同步地实时展现给用户。
本发明还包括用于引起设备执行将增强可视化内容显示给广播媒介的方法的程序，该方法包括以附加可视化内容图像的形式向用户设备提供附加可视化内容，用于在用户设备的显示器上的观察；从背景图像识别环境；以及在显示器中定位及锚定所述图像。
本发明还包括计算机程序产品，其上或其中存储、运送或传递了用于引起设备执行向广播媒介显示增强可视化内容的方法的程序，该方法包括以附加可视化内容图像的形式向用户设备提供附加可视化内容，用于在用户设备的显示器上的观察；从背景图像识别环境；以及在显示器中定位及锚定所述图像。
本发明还包括用于将增强可视化内容显示给广播媒介的装置，该装置包括用户设备，显示器，用于从背景图像识别环境的环境识别单元，用于选取和显示附加可视化内容图像的检索单元，用于在显示器中定位所述附加可视化内容图像的定位单元，其中所述装置设置用于显示附加可视化内容以补充广播媒介。
所述装置可能包括相机。所述背景图像可能包括由相机拍摄的图像。
优选地，所述附加可视化内容图像包括移动视频图像。
所述相机可能设置用于在使用中观察到附加可视化内容时大致实时拍摄实时背景图像。选择性或附加地，所述相机可能设置用于拍摄和记录背景图像，随后以预录图像为背景观察所述内容。所述背景图像可能包括静止图像。选择性或附加地，所述背景图像可能包括移动图像。
所述用户设备可能设置用于基于从广播的标记的识别显示所述附加内容。
所述标记可能是若干形式的任何形式，比如但不限于：视觉信号和/或音频信号。如果所述标记包括音频标记，其可能包括广播的指示器大致听不见的音频信号。所述标记可能是可由存储在所述用户设备上的应用检测的。
所述标记或其中一部分可能作为用于所述附加可视化内容和所述广播同步的信号。
所述附加内容可能是在所述广播之前预录的。选择性或附加地，所述附加可视化内容可能包括在广播期间形成的用于大致立即观察的记录。选择性或附加地，所述附加内容可能包括与广播大致同步传递的图像。
所述用户设备可能设置用于在使用中当设备处于第一方向时显示实时背景图像。所述用户设备可能设置用于在使用中当设备处于第二方向时显示预录背景图像。所述设备可能设置用于在使用中在实时和预录背景图像之间转换。所述设备可能设置用于根据用户的动作在实时和预录背景图像之间转换。选择性或附加地，所述用户设备可能设置用于当设备的方向变化时在实时和预录背景图像之间自动地转换。
所述附加可视化内容可能包括商业消息和/或图像。
所述应用可能设置用于响应附加内容从用户请求反馈。
在一个优选设置中，所述应用设置用于向用户提供响应于所述附加内容而与社会媒介平台交互的机会。所述附加内容可能链接至所述社会媒介平台。
本发明可能包括文中提及的特征或限制的任何组合，除了相互排斥的特征的组合之外。
附图说明
本发明的优选实施例以示例方式并参照附图进行描述，其中：
图1展示了叠加在真实图像的相机视景上的虚拟图像；
图2展示了环境识别中的图示的第一步骤；
图3和3a展示了在环境识别过程中的图示的选择性第一步骤，其中相机实时取景包括多个可视物体；
图4展示了图示的动画；
图5展示了图示的定位过程；
图6展示了用于虚拟图像的图示的可选用户控制；
图7展示了用于图6的图像的锚定过程中的第一步骤；
图8展示了图7的锚定过程中的下一步骤；
图9展示了图示的选择性锚定过程；
图10展示了图示的虚拟图像的自动重新调整大小过程；
图11展示了替换方案的图示的虚拟图像的自动重新调整大小过程；
图12至15展示了并入真实和虚拟图像的照相过程中的图示不同步骤；
图16展示了获得并入真实和虚拟图像的视频片段的图示过程；
图17为在相机的实时取景中显示虚拟图像的过程中一些关键步骤的示意流程图；
图18为根据本发明的实施例的教学、指导或示范的方法的一部分的示意图；
图19为根据本发明的实施例的增强广播媒介内容的方法的一部分的示意图；
图20展示了将附加内容传递给用户的图示样例；
图21展示了从预录背景观察到的图示附加内容；
图22展示了图21的附加内容和背景的进一步附加内容；
图23展示了附加内容的指示器与社会信息平台的图示交互。
具体实施方式
以下描述的实施例旨在利用手持设备(比如，移动电话)向用户提供增强现实体验，该手持设备合并有电子处理器、相机和显示器。具体地，来自视频片段的图像与实时相机视景一起展示在手持设备的显示器中，或者在某些情况下，用于创造视频的主题的错觉的作为背景的预录相机视景(即虚拟移动图像)实时地出现在相机的取景范围中。
在上下文中，术语“真实世界”图像是指来自现实的图像，比如，利用电子相片拍摄技术(比如视频记录)的物理的真实世界情境。
为了实现上述目的，所述设备必须具有各种进程，包括从相机视景获取环境信息，获得近似虚拟图像，定位相机视景中的虚拟图像，视情况关于所述环境锚定所述虚拟图像，并且视情况对相机视景中的虚拟图像调整大小。
所述进程可能由手持设备的电子处理器来执行。
所述虚拟移动图像的重构所必需的数据连同用于促进所必需进程的操纵以提供增强现实体验的一个或多个程序可供手持设备以普遍已知为应用的专门化程序或软件程序的形式下载。所述应用优选地可以应用于向用户呈现鲜活的视觉体验。
以下详细描述的第一示例为用作观察者吸引力的指南的增强现实系统，其中图形的虚拟图像展示在真实世界相机视景中，以通过关联音频文件提供吸引力的信息。
参照图1，展示了手持设备的相机10，此情形中旨在众所周知的物体12以及移动虚拟图像14，该物体12可被设备识别，该移动虚拟图像14扮演基于同物体12的关联被选取的历史图形的角色。所述设备基于独特系列的矩阵点12a识别物体(此情形中为雕像)，该独特系列的矩阵点12a已在早些阶段存储在已下载应用中，并且可以向设备提供虚拟图像14的随后选择、显示及操纵所必需的环境信息。
移动虚拟图像14作为来自视频文件的系列静止图像存储在设备中，当应用已下载并且在确定环境之后已选择适当音频文件时，该适当音频文件同步地存储在设备中。
参照图2，展示了选取的虚拟图像14，该虚拟图像14显示在设备的相机视景中，位于物体12旁边。
图3展示了通过设备检测到多个物体的情境。此情形中，检测到物体12及另外的两个物体16和18。设备显示了所有上述三个物体以及叠加在物体上的各自的虚拟按钮，以便用户可以通过触摸屏幕上的适当按钮来选择感兴趣的物体，如图3a所示。
图4展示了使所述虚拟图像生动的一种方法。该方法利用了在绿色屏幕背景(未展示)上将移动图像剪切成系列的静止帧20的长久确定的技术。然后，所述设备回放所述系列静止图像，必要时自动移除所述绿色屏幕背景。由于个体图像以大于每秒六帧的速度被替换，人类的眼睛将个体图像视为连续移动图像。可选择为MP3格式的声道与动画同步进行，加强连续视屏片段的错觉。在此示例中，动画图像为罗马士兵，其注释和动作与通过相机显示器正在观察的吸引相关。
图5展示了用于关于物体14定位图像14的技术。在特定应用的开发期间，当首先研究特定场景时，创意总监将基于艺术和实际的若干因素选择用于虚拟图像的最佳布置。一旦最佳位置被选定，系统采用三角法以关于物体12的真实世界的空间坐标系x、y、z计算图像的位置。替换方案为基于物体内的零点确定并且利用从所述零点的绝对的x、y和/或z坐标系定位所述图像。
图6展示了用户可以关于物体如何重新调整图像大小并重新定位图像。当触摸屏幕时，利用手指和拇指捏合拓展技术22可以重新调整图像大小。利用拖放技术24可以移动图像，利用双指双击技术26可以激活或无效锚定系统(详见下文描述)。在播放模式中还提供了虚拟暂停按钮28，其在暂停模式中转换至虚拟播放按钮(未展示)。
为了保持图形实际地呈现在吸引旁边的错觉，有必要关于物体12空间地锚定图形(即，图像14)的位置。其原因在于，如果当通过相机观察物体及虚拟图像时用户有移动，关于相机屏幕固定的图像很快就不能保持真实的错觉。
图7展示了根据本发明的一个实施例的锚定系统。所述系统采用预定义算法寻找不突出或在相机视景中不具有明确形状的物体。一旦定位了几个物体，所述系统采用高级三角法技术评估显示在相机视景中的场景并且分配比例数据给虚拟图像。所述系统然后将图像锁定在关于其真实世界环境的x、y、z坐标系中。
图8更详细地展示了根据本发明的上述实施例的锚定系统。首先，标签30指示所述锚定系统已激活。然后，所述设备动态地检测相机视景中最接近的物体32。此情形中，所采用的方法中，算法视图通过检测图案来识别物体，并非利用预处理矩阵点(如同图1的示例)。这允许所述算法寻找性能(即虚拟图像)可以锚定的真实世界物体。例如，所述算法可以识别斯诺克球台的四个边缘。这创造了如识别规则的改进锚定技术，允许基于特定物体或特定物体类型的较高或较低阈值的应用。一个合适的先前考虑的算法被称为FAST(加速段测试的特性)。
然后，设备检测第二物体34以提供深度信息。图像被锚定至第一物体，即，图像在x、y、z坐标系中关于第一物体的定位的位置是确定的。然后，所述设备进行常规检查，以确定对象图案(即物体32和34)是否已改变，如果用户握住设备已移动，则发生改变。如果设备确定存在移动，设备重新扫描取景范围并且确定物体32和34的原始图案的最接近匹配以确保虚拟图像14的位置仍然是正确的。
以上描述的途径允许用户将锚定有效及无可见地锁定至显示器中的几乎任何位置处的一个已知物体。如果没有特定物体作参照，比如户外，系统首先返回至预加载识别库，如果没有识别到景象，则使用数字化罗盘及GPS参照确定图像在真实空间中的位置。
图9描述了锚定系统对GPS及数字化罗盘方位的使用。这个配置通过利用沿罗盘方位的GPS坐标建立了基本真实世界地图。GPS坐标用于锁定已知的经纬度配置，方位用于检测用户的360度圆周运动。如果系统检测到这样的运动，则影片退回至原始锁定位置。动画退回采用了基于移动距离确定阻尼及退回速度提供向坐标系的光滑及迅速退回的算法。
图像关于相机视景中的物体的形式大小对于保持现实的错觉同样重要。图10展示了自动尺寸操作，当用户在通过相机设备观察物体时移动靠近或远离物体，关于物体12调整所述图像14。
当用户移动靠近或远离物体12时，设备采用复杂算法调整图像的尺寸。相机镜头可能采用自动聚焦功能以提供考虑在物体的远处的改变的数据。如果设备不具备自动对焦功能，与所识别物体的距离可以利用原始的存储数据来计算。两个技术都可以在可用时用于提供更加精确的读数。
选择性地，用户可以利用前面描述的捏合技术22人工调整图像14的大小。
如果系统检测到相对狭隘的位置，比如室内位置或中世纪街道场景，设备自动调整图像至更大的尺寸以保持现实主义。图11描述了此情况下的放大图像14。
系统还允许具有真实取景和虚拟图像的静止或视频图像的拍摄。图12至15展示了用于包含虚拟图像14的照相的过程。在图12中，真实的个人36走进其中图形的虚拟图像14已定位的场景。在图13中，照片已拍好并存储，虚拟图像的坐标已记录。在图14中，系统对图像14的后处理及视图是自动检测的。然后，合成图像被重新存储。在图15中，用户受邀通过虚拟按钮38将存储的合成图像分享至几个通用媒介。以类似方式可以记录和分享短视频系列。
图16展示了根据上述实施例的完成过程的示例。
过程从步骤100开始。在步骤102，从数据库读取物体识别规则。在步骤104，设备解读实景，在步骤106，设备检查可识别图案。设备循环直至检测到图案。在步骤108，一旦检测到图案，从库中选择适当的移动图像。在步骤110，定位图像并且开始播放。在步骤112，等待用户输入。步骤114的退出、步骤116的调整大小、步骤118的锚定、步骤120的重新定位是可选的。如果用户选择在步骤114退出应用，则应用在步骤122终止。否则，在步骤124继续播放视频图像。
图17展示了备选实施例，其中物体识别数据库40根据用户位置分为几个较小数据库42、44、46、48。检查物体的三个或更多的角度(50)，一旦检测到物体，虚拟图像启动(52)。
上述示例描述采用的触摸控制可能不同于前面描述。然而，只要装置支持，可采用非接触手势控制设备。类似地，只要装置支持，可采用声音指令控制装置。
环境信息可能来自通过设备的相机观察的“真实世界”图像，或者来自比如打印页面、照片或电子显示图像的二维图像。这使得上述技术用于在各种情况下增强用户体验，比如，观察印刷出版物或广告。在一个实施例中(未展示)，虚拟图像可以呈现为从如此的二维环境升起或弹出。
可能采用图像处理技术形成所述虚拟图像的虚拟阴影，以便增强所述虚拟图像为真实图像的感知。类似地，可采用图像处理技术平衡所述虚拟图像关于通过设备观察的真实世界环境的表现亮度。
虽然上述示例为二维视觉体验，本文描述的技术还可应用于表观三维视觉体验，其中装置以比如3D视频回放格式支持该技术。
在以上描述中，术语“虚拟图像”用于指代先前拍摄或分别获得的图像，该图像优选地为移动图像，当用户观察到真实、当前或背景图像，或者图像被设备的相机拍摄，所述图像显示在设备的显示器上。所述虚拟图像为来自不同现实的真实图像，从其它现实有效地删去并且转移至观察者在设备的显示器中看到的另一现实中。
参照图18，展示了根据本发明的一个实施例的教学、指导或示范的方法的部分。学生图像以200表示，在此情形中，打高尔夫的学生记录在具有相机和显示器的设备(比如，智能手机或平板)上。正在执行任务或动作的学生，在图18的示例中为高尔夫挥杆。然后，沿学生的记录图像，显示了作为任务的示例性或参考性示范的虚拟图像202。这个“虚拟”图像为预录图像并且已被获取为软件的一部分，比如，以应用的形式。所述示例性图像根据上述技术关于学生图像定型和定位。
所述两个移动图像是同步的，例如，通过用户使用洗涤技术。
然后，用户识别所述学生图像上的对应于示例性图像上的点的一个或多个参考点或节点204。
然后，软件执行所述两个移动图像的对比分析，并且基于对比，向用户呈现比如动作可以如何改进的建议。
所述示例性参照或示范的(虚拟)图像可以是响应于广播的已下载图像，并且该下载可以由广播自动地发起。选择性地，用户可以从用户设备上的应用中的菜单选择所述示范。
图19描述了用于向广播媒介提供增强内容的方法。图19展示了包括电视302的房间300，如同在手持设备(比如平板，未展示)的显示器上观察，所述房间的图像由设备的相机拍摄。设备已存储有应用，该应用用于接入附加内容。用户的手304描述为操作电视302的远程控制单元306。
电视屏幕上显示有符号308，该符号308向用户设备指示附加内容是可用的。接入所述附加内容的引发可以采取多个形式的任何形式，例如，包括可视化或音频。如果为音频引发，当用户设备是可检测的或存储有应用，则用户可能大致听不见该引发。
在这个示例中，所述附加内容为个人310的移动图像，该个人310利用上述技术定型并定位，以便看起来位于房间内。个人310的“虚拟”图像设置用于提供补充或增加正在广播的内容的可视视频内容。所述附加内容可能从互联网下载或串流，并且可能是与所述广播内容同步的。
所述附加内容可能优化用于在所述广播媒介旁边的观察，或者可能用于在备选位置处和/或后续时间的观察。
接入所述附加内容可能通过用户与广播媒介的交互式连接来实现，比如，通过按压远程控制306上的交互式按钮。
图20展示了备选模式，附加内容可能通过该备选模式传递至用户。实时广播以400表示，此情形中为高尔夫比赛。广播400大体实时地呈现在用户420的电视屏幕410上。在430表示的电视演播室中，其可能靠近或远离实时广播的位置，解说员或评论员440记录视频分析的片段。视频图像发送至服务器450。解说员440的视频剪辑可供用户420利用比如智能手机或平板460的设备下载。用户可以在设备460上观看解说员440的视频片段的附加内容。利用如上所述的定位和锚定技术，通过设备460的相机观看房间，用户可以享受视频片段440，仿佛解说员出现在房间中。
所述附加内容还可以包括已预录并存储在服务器上的其它片段或视频部分或者其它相关图像。
在备选实施例中(未展示)，用户可以下载背景以及所述附加内容。例如，用户可能下载包括著名地点的背景。用户还可能接收另一用户记录的背景图像。
图21展示了本发明的备选实施例，其中用户(未展示)观看附加内容500，此情形中，高尔夫行家的视频片段对立于相机先前拍摄的房间510的静止图像，该相机可能是用户正在观看所述附加内容的设备(未展示)上的相机。
为此，用户遵照应用上的说明书，该说明书告诉用户如何定位相机以拍摄房间510的合适照片，该房间510内放置有相机屏幕520。所述应用能够从图像检测电视机的位置，或者用户被要求指定该位置，例如，通过识别电视的角落的坐标。
然后，在享受附加内容的视频片段的同时，用户可以观看其设备的屏幕。以解说员形式的所述附加内容500的视频片段关于房间的图像或房间内的一个或多个元件被定位及可能被锚定。用户还可能观看叠加在房间的已拍摄静止图像中的电视屏幕的图像上的电视广播。用户可能通过与设备交互增加广播图像的尺寸，例如，通过作出点击手势。
这样设置允许用户在能够浏览其手持设备以接收附加内容的同时观看其“真实”环境中的广播。在这个实施例中，用户不需要通过手持设备的相机观看广播。
所述手持设备可能设置用于在房间的通过相机的实时取景与预录取景之间转换。附加内容在两个配置中都是可用的。设备可能根据其姿势转换，如果设备是直立握住的，则选择为实时取景；如果设备是非直立而倾斜的，则选择为预录取景。所述转换可能根据第二姿势自动进行。
当对立于所述预录图像观察所述附加内容时，广播(即呈现在房间的图像中的广播)可能同时呈现在用户的电视520上。选择性地，电视机520可能由屏幕的图像替代，比如由赞助商提供的电视(未展示)，比如正在促销的最后模型。
附加影像可能提供用于所述附加图像的一部分。参照图22，展示了描述有商业图像530的房间519。可用商业性饮料品牌的这个图像可能在房间的图像正被“实时”取景或房间的预录图像正被使用时提供。在两个情形中，利用前述技术，图像530可能适当地定位、定型并锚定在房间内，优选地用于最大化赞助商/广告主的商业机会。
图23展示了本发明的另一实施例。用户(未展示)在屏幕上观看广播600，比如电视屏幕610。在广播期间，用户可选择接入以620表示的附加内容的多个片段。所述附加内容通过以箭头620表示的用户交互(比如，在触摸屏上的手指敲击)被选择和接入。一旦选定，多个附加内容片段620a-620e中的一个在620处播放。
此外，利用另一用户手势(比如，以630表示的双击)，用户可以接入社会媒介平台界面640，以便可能与其他人一起观看广播。接入知识库(未展示)的进一步选项可能由进一步的用户动作发起，该知识库可能涉及所述广播或所述附加内容，例如，供下载或串流。
尽力关注本发明的特征的上述说明是特别重要的，应该理解的是，申请人要求关于文中提及和/或附图中展示的不论是否已特别强调的的任何专利性特征或特征组合的保护。

Claims (39)

1.向学生教学、指导或示范任务或动作的方法，该方法包括：在具有相机的设备上记录正在执行任务或动作的学生的图像，在该设备上显示由导师执行的任务或动作的可仿效示范的图像，使学生的图像与所述示范的图像同步，并且执行该两个图像的对比分析。
2.根据权利要求1所述的方法，其特征在于，所述可仿效示范为移动视频图像，其可以是虚拟图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法包括相对于学生的已记录图像对所述可仿效示范进行定位和/或调整大小。
4.根据权利要求1至3的任一项所述的方法，其特征在于，所述方法还可能包括相对于学生的已记录图像中的环境对所述可仿效示范进行锚定。
5.根据权利要求1至4的任一项所述的方法，其特征在于，所述方法包括在学生的已记录图像上选取一个或多个参照点，以对应所述可仿效图像中的参照点。
6.根据权利要求1所述的方法，其特征在于，所述分析包括所述参照点的对比。
7.根据前述权利要求的任一项所述的方法，其特征在于，所述方法包括基于所述对比分析而提供建议，以改进学生的任务或动作的表现。
8.根据前述权利要求的任一项所述的方法，其特征在于，所述方法包括下载所述可仿效示范图像。
9.根据权利要求8所述的方法，其特征在于，所述下载被设置为响应于广播而自动地发生。
10.用于向学生教学、指导或示范任务或动作的装置，该装置包括：具有相机的设备，用于拍摄正在执行任务或动作的学生的图像；环境识别单元，用于从设备拍摄到的图像中识别环境；检索单元，用于选取和显示包括导师正在执行的任务或动作的可仿效示范的图像；以及定位单元，用于在显示器中定位所述可仿效图像，其中，所述装置设置为用于在所述设备上显示所述两个图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
11.用于引起设备执行向学生教学、指导或示范任务或动作的方法的程序，该方法包括：在具有相机的设备上记录正在执行任务或动作的学生的图像，在该设备上显示由导师执行的任务或动作的可仿效示范的图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
12.一种计算机程序产品，其上或经其存储、携带或传递了用于引起设备执行向学生教学、指导或示范任务或动作的方法的程序，该方法包括：在具有相机的设备上记录正在执行任务或动作的学生的图像，在该设备上显示由导师执行的任务或动作的可仿效示范的图像，使学生的图像与示范的图像同步，并且执行该两个图像的对比分析。
13.向广播媒介交付增强内容的方法，该方法包括向用户设备提供以附加可视内容图像形式的附加可视内容，用于在所述用户设备的显示器上的观察；从背景图像识别环境；以及定位和锚定显示器中的附加可视内容图像。
14.根据权利要求13所述的方法，其特征在于，所述用户设备包括相机，并且所述背景图像为该相机拍摄到的图像。
15.根据权利要求13或14所述的方法，其特征在于，所述相机拍摄到的图像为观察所述附加可视内容时大致实时拍摄的实时背景图像。
16.根据权利要求13至15的任一项所述的方法，其特征在于，所述方法包括记录通过相机拍摄的图像，以及以预录图像为背景观察所述附加内容。
17.根据权利要求16所述的方法，其特征在于，所述背景图像包括静止图像。
18.根据权利要求13至17的任一项所述的方法，其特征在于，所述广播媒介包括电视。
19.根据权利要求13至18的任一项所述的方法，其特征在于，所述广播媒介显示可由用户设备识别的标记，并且所述用户设备设置为基于该标记的识别而显示所述附加内容。
20.根据权利要求19所述的方法，其特征在于，所述标记包括可视标记和/或音频标记。
21.根据权利要求20所述的方法，其特征在于，当所述标记包括音频标记时，其包括广播的观看者大致听不见的音频信号。
22.根据权利要求18至21的任一项所述的方法，其特征在于，所述标记是可由存储在用户设备上的应用检测的。
23.根据权利要求18至22的任一项所述的方法，其特征在于，所述标记或者其中一部分设置以作为用于所述附加可视内容与所述广播的同步的信号。
24.根据权利要求13至23的任一项所述的方法，其特征在于，所述附加内容是在所述广播之前预录的。
25.根据权利要求13至24的任一项所述的方法，其特征在于，所述附加可视内容包括在广播期间形成的用于大致即刻观察的记录。
26.根据权利要求13至25的任一项所述的方法，其特征在于，所述附加内容包括与所述广播大致同步传递的图像。
27.根据权利要求13至26的任一项所述的方法，其特征在于，所述方法包括通过与广播媒介交互而接入所述附加内容。
28.用于引起设备执行将增强的可视化内容显示给广播媒介的方法的程序，该方法包括以附加可视化内容图像的形式向用户设备提供附加可视化内容，用于在用户设备的显示器上的观察；从背景图像识别环境；以及在显示器中定位及锚定所述附加可视内容图像。
29.一种计算机程序产品，其上或经其存储、携带或传递了用于引起设备执行向广播媒介显示增强的可视化内容的方法的程序，该方法包括以附加可视化内容图像的形式向用户设备提供附加可视化内容，用于在用户设备的显示器上的观察；从背景图像识别环境；以及在显示器中定位及锚定所述图像。
30.用于将增强可视化内容显示给广播媒介的装置，该装置包括：用户设备，显示器，用于从背景图像识别环境的环境识别单元，用于选取和显示附加可视化内容图像的检索单元，用于在显示器中定位虚拟图像的虚拟图像定位单元，其中所述装置设置为显示附加可视化内容以补充广播媒介。
31.根据权利要求30所述的装置，其特征在于，所述附加内容是移动视频图像的形式。
32.根据权利要求30或31所述的装置，其特征在于，所述相机设置为在使用中当观察到附加可视内容时大致实时拍摄实时背景图像。
33.根据权利要求29或30所述的装置，其特征在于，所述相机设置为拍摄并记录背景图像，用作以预录图像为背景的内容的后续观察。
34.根据权利要求29至31的任一项所述的装置，其特征在于，所述背景图像包括静止图像。
35.根据权利要求29至32的任一项所述的装置，其特征在于，所述背景图像可能包括移动图像。
36.根据权利要求29至33的任一项所述的装置，其特征在于，所述用户设备设置为在使用中当设备处于第一方位时显示实时背景图像，当设备处于第二方位时显示预录背景图像。
37.根据权利要求34所述的装置，其特征在于，所述设备设置为在使用中根据用户动作在实时和预录背景图像之间自动地转换。
38.根据权利要求29至35的任一项所述的装置，其特征在于，所述附加可视内容包括商业消息和/或图像。
39.根据权利要求29至36的任一项所述的装置，其特征在于，所述装置设置为向用户提供响应于所述附加内容而与社会媒介平台交互的机会。
CN201580025550.1A 2014-03-20 2015-03-20 增强现实的装置及方法 Active CN106464773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010833189.8A CN111954045A (zh) 2014-03-20 2015-03-20 增强现实的装置及方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1404990.2 2014-03-20
GBGB1404990.2A GB201404990D0 (en) 2014-03-20 2014-03-20 Augmented reality apparatus and method
PCT/GB2015/050832 WO2015140573A1 (en) 2014-03-20 2015-03-20 Augmented reality apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010833189.8A Division CN111954045A (zh) 2014-03-20 2015-03-20 增强现实的装置及方法

Publications (2)

Publication Number Publication Date
CN106464773A true CN106464773A (zh) 2017-02-22
CN106464773B CN106464773B (zh) 2021-02-19

Family

ID=50686596

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010833189.8A Pending CN111954045A (zh) 2014-03-20 2015-03-20 增强现实的装置及方法
CN201580025550.1A Active CN106464773B (zh) 2014-03-20 2015-03-20 增强现实的装置及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010833189.8A Pending CN111954045A (zh) 2014-03-20 2015-03-20 增强现实的装置及方法

Country Status (5)

Country Link
US (2) US10856037B2 (zh)
EP (1) EP3120536A1 (zh)
CN (2) CN111954045A (zh)
GB (3) GB201404990D0 (zh)
WO (1) WO2015140573A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062797A (zh) * 2017-12-15 2018-05-22 威仔软件科技（苏州）有限公司 一种基于虚拟现实技术的选房装置及选房方法
CN109145784A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 用于处理视频的方法和装置
WO2019119815A1 (zh) * 2017-12-18 2019-06-27 广州市动景计算机科技有限公司 Ar业务处理方法、装置、设备及计算机可读存储介质
CN110716637A (zh) * 2018-07-11 2020-01-21 波音公司 具有主动便携式锚的增强现实系统
CN112348942A (zh) * 2020-09-18 2021-02-09 当趣网络科技(杭州)有限公司 一种健身交互方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
CN108492633A (zh) * 2018-03-26 2018-09-04 山东英才学院 一种利用ar实现儿童辅助教育的方法
WO2020240821A1 (ja) * 2019-05-31 2020-12-03 日本電信電話株式会社 身体運動フィードバック装置、身体運動フィードバック方法、プログラム
CN110418205A (zh) * 2019-07-04 2019-11-05 安徽华米信息科技有限公司 健身教学方法、装置、设备、系统及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
CN101950495A (zh) * 2010-10-19 2011-01-19 冠捷显示科技（厦门）有限公司 一种新型视频教育技术
CN102500094A (zh) * 2011-10-28 2012-06-20 北京航空航天大学 一种基于kinect的动作训练方法
WO2012109182A1 (en) * 2011-02-08 2012-08-16 Autonomy Corporation A system to augment a visual data stream based on geographical and visual information
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN103578135A (zh) * 2013-11-25 2014-02-12 恒德数字舞美科技有限公司 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
EP2704102A2 (en) * 2004-08-19 2014-03-05 Sony Computer Entertainment Inc. Portable augmented reality device and method

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU690910B2 (en) * 1993-08-10 1998-05-07 Katayama, Midori Method for teaching the body gesture
US5984684A (en) * 1996-12-02 1999-11-16 Brostedt; Per-Arne Method and system for teaching physical skills
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
US20050272517A1 (en) * 2001-06-11 2005-12-08 Recognition Insight, Llc Swing position recognition and reinforcement
US20030108329A1 (en) 2001-12-12 2003-06-12 Meric Adriansen Advertising method and system
JP4136420B2 (ja) 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
KR100358415B1 (ko) 2002-07-29 2002-10-25 최승환 인터넷을 이용한 골프 스윙 교정 장치 및 방법
US20060228689A1 (en) 2005-04-12 2006-10-12 Rajaram Kishore K Interactive tutorial system and method
US8953909B2 (en) * 2006-01-21 2015-02-10 Elizabeth T. Guckenberger System, method, and computer software code for mimic training
US8026931B2 (en) 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
US9826197B2 (en) * 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
RU2364436C2 (ru) * 2007-06-18 2009-08-20 Максим Алексеевич Васин Способ тренировки и устройство для его осуществления
DE102007054472B4 (de) 2007-11-13 2010-04-15 Tracto-Technik Gmbh & Co. Kg Geothermiesystem
US20090319397A1 (en) 2008-06-19 2009-12-24 D-Link Systems, Inc. Virtual experience
US8730312B2 (en) 2009-11-17 2014-05-20 The Active Network, Inc. Systems and methods for augmented reality
FI20096276A0 (fi) * 2009-12-02 2009-12-02 Virtual Air Guitar Company Oy Menetelmä, järjestelmä ja tietokoneohjelma koko kehon liikkeiden ohjaukseen ja arvioimiseen
US20110275045A1 (en) * 2010-01-22 2011-11-10 Foerster Bhupathi International, L.L.C. Video Overlay Sports Motion Analysis
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
US8963954B2 (en) 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
KR101314865B1 (ko) * 2010-07-06 2013-10-04 김덕중 모바일 환경에서 ｔｖ 화면과 연동하는 증강 현실을 제공하는 방법, 이를 위한 부가 서비스 서버 및 방송 시스템
US8730354B2 (en) * 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
CN103282907A (zh) 2010-11-05 2013-09-04 耐克国际有限公司 自动个人训练的方法和系统
US20120113145A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
JP5887515B2 (ja) 2010-11-10 2016-03-16 パナソニックＩｐマネジメント株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012216077A (ja) 2011-03-31 2012-11-08 Fujifilm Corp 拡張現実感提供装置及び仮想物体の重畳方法
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
US20130050395A1 (en) 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
KR101352385B1 (ko) 2011-04-29 2014-01-16 주식회사 휴원 ３ｄ 증강현실 포토 서비스 시스템 및 이를 이용한 서비스 방법.
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
EP3114650A2 (en) * 2011-08-17 2017-01-11 Iopener Media GmbH Systems and methods for virtual viewing of physical events
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
TWI544447B (zh) 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
US8823807B2 (en) 2011-12-09 2014-09-02 Robert Schinker Methods and apparatus for enhanced reality messaging
JP2015512069A (ja) * 2012-01-06 2015-04-23 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ファーストスクリーン上のコンテンツと同期が取られたソーシャルメッセージの表示をセカンドスクリーン上で提供するための方法およびシステム
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
GB201216210D0 (en) * 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
KR101978219B1 (ko) 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US20140308640A1 (en) * 2013-07-08 2014-10-16 George Edward Forman Method to Improve Skilled Motion Using Concurrent Video of Master and Student Performance
US20150091891A1 (en) 2013-09-30 2015-04-02 Dumedia, Inc. System and method for non-holographic teleportation
KR102246305B1 (ko) * 2014-01-09 2021-04-29 한국전자통신연구원 증강 미디어 서비스 제공 방법, 장치 및 시스템
EP3138080B1 (en) * 2014-06-03 2021-08-11 Apple Inc. Method and system for presenting a digital information related to a real object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2704102A2 (en) * 2004-08-19 2014-03-05 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
CN101950495A (zh) * 2010-10-19 2011-01-19 冠捷显示科技（厦门）有限公司 一种新型视频教育技术
WO2012109182A1 (en) * 2011-02-08 2012-08-16 Autonomy Corporation A system to augment a visual data stream based on geographical and visual information
CN102500094A (zh) * 2011-10-28 2012-06-20 北京航空航天大学 一种基于kinect的动作训练方法
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN103578135A (zh) * 2013-11-25 2014-02-12 恒德数字舞美科技有限公司 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062797A (zh) * 2017-12-15 2018-05-22 威仔软件科技（苏州）有限公司 一种基于虚拟现实技术的选房装置及选房方法
WO2019119815A1 (zh) * 2017-12-18 2019-06-27 广州市动景计算机科技有限公司 Ar业务处理方法、装置、设备及计算机可读存储介质
CN110716637A (zh) * 2018-07-11 2020-01-21 波音公司 具有主动便携式锚的增强现实系统
CN109145784A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 用于处理视频的方法和装置
CN109145784B (zh) * 2018-08-03 2022-06-03 百度在线网络技术（北京）有限公司 用于处理视频的方法和装置
CN112348942A (zh) * 2020-09-18 2021-02-09 当趣网络科技(杭州)有限公司 一种健身交互方法和系统
CN112348942B (zh) * 2020-09-18 2024-03-19 当趣网络科技(杭州)有限公司 一种健身交互方法和系统

Also Published As

Publication number Publication date
US10856037B2 (en) 2020-12-01
EP3120536A1 (en) 2017-01-25
WO2015140573A1 (en) 2015-09-24
CN106464773B (zh) 2021-02-19
GB2524402B (en) 2017-11-22
GB2524402A (en) 2015-09-23
GB201616206D0 (en) 2016-11-09
US11363325B2 (en) 2022-06-14
GB201504754D0 (en) 2015-05-06
GB2543416A (en) 2017-04-19
US20180174339A1 (en) 2018-06-21
GB2543416B (en) 2018-05-09
CN111954045A (zh) 2020-11-17
GB201404990D0 (en) 2014-05-07
US20200359079A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN106464773A (zh) 增强现实的装置及方法
US11361542B2 (en) Augmented reality apparatus and method
US9429912B2 (en) Mixed reality holographic object development
KR101574099B1 (ko) 다수의 장치에 걸친 증강 현실 표현
US9652046B2 (en) Augmented reality system
EP2887322B1 (en) Mixed reality holographic object development
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
US10272340B2 (en) Media system and method
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN112927349B (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
WO2019016820A1 (en) METHOD FOR PLACING, MONITORING AND PRESENTING AN ENVIRONMENT BASED ON REALITY-VIRTUALITY IMMERSIVE CONTINUUM WITH IDO AND / OR OTHER SENSORS INSTEAD OF A CAMERA OR VISUAL PROCESSING, AND ASSOCIATED METHODS
Loijens et al. What is augmented reality?
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
CN107578306A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
Ali et al. Design an augmented reality application for Android smart phones
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
CN117939216A (zh) 一种新型数字多媒体舞台表演系统
Mutwiri Research paper on Augmented Reality
Ayad Using Augmented Reality in Enhancing Museum Experience

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant