CN107844196B - 视频处理设备、视频处理方法和视频处理系统 - Google Patents

视频处理设备、视频处理方法和视频处理系统 Download PDF

Info

Publication number
CN107844196B
CN107844196B CN201711039232.8A CN201711039232A CN107844196B CN 107844196 B CN107844196 B CN 107844196B CN 201711039232 A CN201711039232 A CN 201711039232A CN 107844196 B CN107844196 B CN 107844196B
Authority
CN
China
Prior art keywords
image
marker
proximity
interaction
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711039232.8A
Other languages
English (en)
Other versions
CN107844196A (zh
Inventor
大桥良德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN107844196A publication Critical patent/CN107844196A/zh
Application granted granted Critical
Publication of CN107844196B publication Critical patent/CN107844196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种视频处理设备，包括AR图像生成器，其采用通过成像元件成像的被摄体作为标记，并且生成要由HMD呈现的AR增强现实图像，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及相互作用产生器，其基于所述接近度获取器获取的接近度，计算与第一AR图像或第二AR图像之间发生的相互作用；所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像。

Description

视频处理设备、视频处理方法和视频处理系统
本申请是申请日为2013年4月17日、申请号为201380032960.X、发明名称为“视频处理设备、视频处理方法和视频处理系统”的专利申请的分案申请。
技术领域
本发明涉及视频处理设备、视频处理方法和视频处理系统。
背景技术
近年来，用于呈现立体视频的技术开发已经进展，并且能够呈现具有深度的立体视频的头戴式显示器(头戴式显示器；下文中，描述为“HMD”)正在变得普遍。在这样的HMD中，还正在开发光学透射HMD，其通过使用全息元件、半透明反射镜等向用户呈现立体视频并且允许用户以透明的方式观看HMD之外的样子。
同时，AR(增强现实)技术也进入实用阶段，该技术中生成通过向诸如相机的成像元件的成像产生的现实世界的视频添加CG(计算机图形)的视频等而获得的视频、并且修改加入到向用户呈现的现实世界的视频的部分。在AR技术中，如条形码这样的可识别的特定信息被识别，并且生成图像以便在某些情况下与这些信息相关联。
发明内容
技术问题
在与特定对象相关联生成图像的情况下，当所述对象的位置或方向发生变化，根据该变化，生成与该对象关联的图像。其结果是，根据情况与彼此不同的对象相关联地生成的两个不同图像可能彼此接近甚至彼此接触。本申请的发明人已经达到通过表达由于接近或接触引起的图像中的变化，来辨识提供交互式立体视频的可能性。
针对这样的问题作出本发明，其目标是提供一种技术，用于在与特定对象相关联生成的图像之间产生相互作用。
解决的问题
为了解决上述问题，本发明的某一方面是一种视频处理设备。该设备包括：AR(增强现实)图像生成器，其采用通过提供给光学透射HMD的成像元件成像的被摄体作为标记，并且生成要由所述光学透射HMD呈现的AR图像。所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频。所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体。该设备还包括接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及相互作用产生器，其基于所述接近度获取器获取的接近度计算与第一AR图像或第二AR图像之间发生的相互作用。这里，AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像。
本发明的另一方面是一种视频处理设备，包括：AR图像生成器，其采用通过成像元件成像的被摄体作为标记，并且生成要由HMD呈现的AR增强现实图像，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及相互作用产生器，其基于所述接近度获取器获取的接近度，计算与第一AR图像或第二AR图像之间发生的相互作用；所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像，其中，第一AR图像包括多个多边形，以及其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
本发明的另一个方面是一种视频处理方法。该方法使处理器执行生成要通过包括光学透射HMD和成像元件的立体视频观察设备呈现的AR图像的步骤，并且采用通过所述成像元件成像的被摄体作为标记。所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频。所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体。该方法还使处理器执行获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度的步骤；基于获取的接近度计算与所述第一AR图像或所述第二AR图像之间发生的相互作用的步骤；以及根据计算的相互作用，至少改变所述第一AR图像或所述第二AR图像中的任一图像的步骤。
本发明的另一方面是一种视频处理方法，包括：生成步骤，生成要通过包括HMD和成像元件的立体视频观察设备呈现的AR图像，并且采用通过所述成像元件成像的被摄体作为标记，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；获取步骤，获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；计算步骤，基于获取的接近度，计算与所述第一AR图像或所述第二AR图像之间发生的相互作用；以及改变步骤，根据计算的相互作用，至少改变所述第一AR图像或所述第二AR图像中的任一图像，其中，第一AR图像包括多个多边形，以及其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
此外，本发明的另一个方面是一种视频处理系统。该系统包括光学透射HMD，其呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频；以及成像元件，其提供给所述光学透射HMD，并且成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的被摄体。该系统还包括AR图像生成器，其采用通过提供给光学透射HMD的成像元件成像的被摄体作为标记，并且生成要由所述光学透射HMD呈现的AR图像；接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及相互作用生成器，其基于通过所述接近度获取器获取的接近度，计算与所述第一AR图像或所述第二AR图像之间发生的相互作用。这里，所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像。
本发明的另一方面是一种视频处理系统，包括：HMD，其呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频；成像元件，成像存在于包括穿戴所述HMD的用户的视场的区域中的被摄体；AR图像生成器，其采用通过成像元件成像的被摄体作为标记，并且生成要由所述HMD呈现的AR增强现实图像；接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及相互作用产生器，其基于通过所述接近度获取器获取的接近度计算所述第一AR图像或所述第二AR图像引起的相互作用；所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像，其中，第一AR图像包括多个多边形，以及其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
本发明的另一方面是一种其中已经存储有指令的处理器可读介质，所述指令使得处理器执行：生成步骤，生成要通过包括HMD和成像元件的立体视频观察设备呈现的AR图像，并且采用通过所述成像元件成像的被摄体作为标记，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；获取步骤，获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；计算步骤，基于获取的接近度，计算与所述第一AR图像或所述第二AR图像之间发生的相互作用；以及改变步骤，根据计算的相互作用，至少改变所述第一AR图像或所述第二AR图像中的任一图像，其中，第一AR图像包括多个多边形，以及其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
此外，本发明的另一个方面是一种程序，其使得计算机实现上述方法的各个步骤。
该程序可被提供为并入装置中的固件的一部分，以便对如视频和音频解码器等硬件资源基本控制。该固件被存储在例如装置中的个ROM(只读存储器)中或如闪速存储器的半导体存储器中。为了提供该固件或更新该固件的部分，可以提供其中记录该程序的计算机可读记录介质，并且该程序可以通过通信线路传送。
通过在方法、设备、系统、计算机程序、数据结构、记录介质等中转化本发明的上述构成要素以及表述的任意组合所得到的作为本发明的各方面同样有效。
发明的有益效果
根据本发明，可以提供一种技术，用于在与特定对象关联生成的图像之间产生相互作用。
附图说明
图1是示意性地表示根据实施例的视频呈现系统的整体配置的图。
图2是示意性地表示根据实施例的立体视频观察设备的外观的一个示例的图。
图3是示意性地表示根据实施例的视频输出设备的内部配置的图。
图4是示例根据实施例的包括标记和与标记关联的AR图像的视频的图。
图5是说明根据实施例的在两个不同的AR图像之间的接近度的图。
图6是示例根据实施例的在两个不同的AR图像之间的相互作用的图。
图7是表示根据实施例的通过视频处理设备进行相互作用产生处理的流程图。
图8是说明在某一AR图像和标记之间的接近度的图。
具体实施方式
将要描述本发明的实施例概述。在本发明的实施例中，当被用户操作移动的三维图像接近另一三维图像时，基于其接近度，产生在所述三维图像之间的虚拟相互作用，并且其反映在所述三维图像中。此外，相互作用是例如在所述三维图像之间的接触、碰撞等，并且在相互作用之前和之后根据三维图像的属性改变和呈现所述三维图像，所述属性例如虚拟速度和加速度。
图1是示意性地示出根据实施例的视频呈现系统100的整体结构的图。根据实施例的视频呈现系统包括立体视频观察设备200，三维监视器300，以及信息处理设备400。
该立体视频观察设备200是光透射HMD。在这里，立体视频观察设备200可以包括光学快门(未在图中示出)用来观察将在后面描述的三维监视器300。光学快门同步于三维监视器300的视差图像的切换打开和关闭左右快门。具体地，当三维监视器300显示左眼视差图像时，光学快门关闭右眼快门和打开左眼快门，以呈现左眼视差图像给穿戴立体视频观察设备200的用户。相反，当三维监视器300显示右眼视差图像时，光学快门关闭左眼快门并打开右眼快门以呈现右眼视差图像给用户。光学快门能通过例如已知的液晶快门来实现。
立体视频观察设备200接收用于快门切换的同步信号。使用例如红外线，从设置在三维监视器300或信息处理设备400并且在图中未示出的信号发射器无线发射该同步信号。
三维监视器300通过帧顺序系统显示立体视频。由于人的左右眼分开约6cm，视差在左眼看到的视频和右眼看到的视频之间产生。据说人类大脑利用左右眼感知的视差图像作为识别深度的信息。因此，当要被左眼感知的视差图像和要被右眼感知的视差图像被投射到相应的眼睛时，所述图像被人识别为具有深度的视频。三维监视器300以时分的方式交替地显示左眼视差图像和右眼视差图像。三维监视器300可以通过已知的诸如液晶电视、等离子体显示器或有机EL监视器等呈现设备来实现。
信息处理设备400获取适合在视频呈现系统100中呈现的立体视频和上面描述的同步信号。信息处理设备400的实例是例如固定游戏控制台和便携式游戏机。信息处理设备400通过使用内置的处理器生成立体视频和同步信号或从另一个信息处理设备获取立体视频，另一个信息处理设备诸如未在图上示出的经由网络接口的服务器。
图2是示意性地示出根据实施例的立体视频观察设备200的外观的一个示例的图。立体视频观察设备200包括呈现立体视频的呈现部202，成像元件204，和其中容纳各种模块的壳体206。
呈现部202包括向用户的眼睛呈现立体视频的光学透射HMD，还包括改变通过光学透射HMD透射的外部光的透射率的液晶快门。成像元件204成像存在于一区域的对象，该区域包括穿戴该立体视频观察设备200的用户的视场。为了这个目的，成像元件204被设置为当用户穿戴立体视频观察设备200时，布置在用户眉毛之间的位置周围。成像元件204可以通过使用例如已知的固态成像元件(如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器)来实现。
壳体206发挥具有眼镜形状的立体视频观察设备200的框架的作用，并且容纳被所述立体视频观察设备200使用的各个模块(未在图中示出)。立体视频观察设备200使用的模块是包括配置为实现光学透射HMD的全息导光板的光学引擎，配置为驱动液晶快门的驱动器，同步信号接收器，如Wi-Fi(注册商标)模块的通信模块，电子罗盘，加速度传感器，倾斜传感器，GPS(全球定位系统)传感器，以及照度传感器等等。这些模块是举例说明，立体视频观察设备200并不必须并入所有这些模块。并入哪些模块可以取决于立体视频观察设备200假定的使用场景来决定。
图2是例示具有眼镜形状的立体视频观察设备200的图。此外，还会有广泛的多种形状的立体视频观察设备200，例如帽子形状，环绕在用户头部并固定的带子形状，和覆盖于用户整个头部的头盔形状。所属领域的技术人员将容易地理解具有任何形状的立体视频观察设备200也包括在本发明实施例中。
图3是示意性地示出根据实施例的视频处理设备500的内部配置的图。根据实施例的视频处理设备500实现为上述信息处理设备400的部分。可替代地，其也可以在生成要经过诸如因特网的网络传输给信息处理设备400的立体视频的服务器中实现，或者可以并入在立体视频观察设备200或者三维监视器300中。进一步可替代地，所述视频处理设备500还可以是一个独立设备。在下文中，描述将基于这样的前提：根据实施例的视频处理设备500实现为上述信息处理设备400部分。
根据实施例的视频处理设备500包括内容执行部510，视频生成器520，输出部530，属性管理部540，标记识别器550，接近度获取器560，以及相互作用产生器570。
内容执行部510执行包括当作视频处理设备500的处理对象的视频的内容，诸如游戏应用和提供地图信息的应用。通过执行内容，内容执行部510在虚拟三维空间中设置要通过立体视频观察设备200显示的三维对象。
这里，本说明书中的“对象”是指多边形的集合，用于充当三维CG中绘图的元素，并且各多边形有共同的坐标轴以及有作为一簇的含义。具体地，其是表达诸如树、房子或汽车的对象多边形集合，或者表达诸如当做用户操作目标的角色的人或生物的多边形集合。由于形成“对象”的多边形的集合具有共同的坐标轴，所以可以在虚拟的三维空间指定位置和方向。
例如，在表达表示“树”的对象被从其根部砍倒的情形的情况下，这个在虚拟三维空间直立的“树”被拖动以便以根部作为旋转轴在三维空间中逐渐倾斜。此时，形成的“树”的对象的多边形的每个坐标可以通过计算绕旋转轴的旋转的坐标变换得到。这些运算可以通过与放大或缩小的缩放变换一起，计算使用已知的4×4变换矩阵的线性变换来实现。
基于通过内容执行部510设置在虚拟三维空间中的三维对象，视频生成器520生成要由立体视频观察设备200显示的立体视频。具体而言，视频生成器520关于通过内容执行部510设置在虚拟三维空间中的三维对象，生成左眼视差图像和右眼视差图像。
标记识别器550获取通过在立体视频观察设备200中提供的成像元件204的连续成像获得的视频和识别视频中的标记。这里，“标记”是例如生成对象的对象获取器502使用的信息，并且是允许识别在虚拟三维空间所生成图像的位置的信息。标记的具体例子是例如监视器上显示的图像或运动图像，印在卡或纸上的图像，具有特定的形状(诸如圆形或星形)、特定颜色的对象，人或动物的轮廓或脸部的对象，以及通过由GPS等的特定位置信息所表示的位置。例如像圆锥这样的三维对象被用来作为标记，标记在三维空间中的“方向”可以被识别。在这种情况下，不仅可能识别应当生成图像的位置，也可能识别要生成的图像的方向。
在许多情况下AR图像与标记关联。这里，所述“AR图像”是与标记关联的对象，并且是其位置、方向或倾斜度与标记的位置、方向或倾斜度的变化结合地变化的对象。例如，假设印在纸上的条形码被视为标记，基于速度矢量v1移动的“球”的AR图像与它关联。在这种情况下，如果用户基于速度矢量v2移动标记，因为与标记结合的运动，“球”就会以运动矢量v1和运动矢量v2的合成运动矢量v3的方向和速度运动。以这种方式，与标记关联的AR图像也包括在由视频生成器520生成的对象中。由于这个原因，视频生成器520包括对象生成器524，AR图像生成器526，和控制部522。
控制部522执行对象生成器524和AR图像生成器526的操作的整体控制。控制部522获取由内容执行部件510设置在虚拟三维空间中的三维对象和生成呈现给用户的视频视线的方向的信息，并且使对象生成器524生成视差图像。在控制部522的控制下，对象生成器524生成视差图像并且将它们输出到稍后要描述的输出部530。
在控制部522的控制下，AR图像生成器526生成与标记识别器550识别的标记相关联的AR图像。图4是例示包括标记710和与标记关联的AR图像712的视频的图。图4是例示由用户手臂702握住的条形柄部分和球形对象组成的标记710。当然，用户的手臂702真实存在。此外，标记710也是真实存在的对象。如图4所示，基于x轴、y轴、z轴的正交坐标系统设置在三维空间中。正交坐标系602与通过对象生成器524和AR图像生成器526设置在虚拟三维空间中的坐标系对应。
优选把正交坐标系602以这样的方式设置：由正交坐标系的x轴和y轴伸展出的xy平面平行于三维监视器300的显示区域。具体地，优选正交坐标系602的原点O设置为以便三维监视器的显示区域与由正交坐标系602的x轴和y轴伸展出的xy平面重叠。此外，优选正交坐标系的z轴设置为以便负z坐标值定义在相对于三维监视器300的显示区域穿戴立体视频观察设备200的用户视点侧，并且正z坐标值定义在跨三维监视器300的显示区域的视点相反侧。
在图4所示示例中，AR图像712是表示火焰的对象。因为与标记710关联地由AR图像生成器526生成的AR图像712也是对象，所以位置坐标被定义。AR图像生成器526没有按照上述正交坐标系602，而是按照设置为以便根据标记710(AR图像712与其关联)的位置设定的点被视为原点的坐标系704，生成AR图像712。因此，当用户改变标记710的位置、方向和倾斜度时，作为AR图像712的基础采用的坐标系704也会改变。当坐标系704被改变时，AR图像712的位置和方向也连同其一起改变。用作AR图像712基础的坐标系704的原点不必需要定位在与相关标记重叠的位置。
以这种方式，作为对象由AR图像生成器526生成AR图像与标记710的运动结合地移动。这样，接近度获取器560计算并获取两个不同的AR图像之间的接近度，即两个AR图像之间的距离。
图5是说明在两个不同的AR图像之间的接近度的图，并且是示出向穿戴立体视频观察设备200的用户呈现的视频一个例子。图5显示三种类型的标记710、714和300以及与它们关联的三种类型的AR图像716、718和720。此处，标记714是印在纸上的图像。关于标记300，三维监视器300的显示区域用作标记。与标记710关联的AR图像716是闪亮的虚拟剑刃，与标记714关联的AR图像718是具有圆锥形状的对象。此外，与标记300关联的AR图像720是球状对象，其从三维监视器300飞出，并且沿远离三维监视器300的方向移动。
对于每个AR图像，设定定义用来测量AR图像间距离的距离测量参考点。在图5所示是示例中，AR图像716的距离测量参考点由标号722指示。类似地，AR图像718和AR图像720的距离测量参考点分别由标号724和726指示。距离测量参考点可以是任意点，只要它存在于形成AR图像716的多边形表面或AR图像716附近。例如，接近度获取器560在形成AR图像716的多个多边形的形心的位置处设置距离测量参考点。由于这一点，即使对象由多个多边形组成时，该对象的位置坐标可以由一组坐标来表示。因此，抑制计算成本和增强计算速度就可以预期。
对于每个AR图像，设定定义用于判定AR图像之间碰撞的碰撞判定标准半径。例如，假设在图5所示的示例中，AR图像716的碰撞判定标准半径是r1，AR图像720的碰撞判定标准半径是r2。此外假设AR图像716的距离测量参考点坐标为(x1，y1，z1)，AR图像720的距离测量参考点坐标为(x2，y2，z2)。这种情况下，接近度获取器560由下面的表达式(1)所示的表达式估计值E。
E＝(x1-x2)2+(y1-y2)2+(z1-z2)2-(r1+r2)2 (1)
如果在表达式(1)中满足E＝0，这意味着在AR图像716的距离测量参考点和AR图像720的距离测量参考点之间的欧几里得距离L等于AR图像716的碰撞判定标准半径r1和AR图像720的碰撞判定标准半径r2之和。在这种情况下，接近度获取器560认为AR图像716和AR图像720是“互相接触”。此外，如果在表达式(1)中满足E＜0，这意味着AR图像716的碰撞判定标准半径r1和AR图像720的碰撞判定标准半径r2之和大于在AR图像716的距离测量参考点和AR图像720的距离测量参考点之间的欧几里得距离L。这种情况下，接近度获取器560认为AR图像716和AR图像720是“互相分离”。相反地，如果在表达式(1)中满足E＞0，这意味着AR图像716的碰撞判定标准半径r1和AR图像720的碰撞判定标准半径r2之和小于在AR图像716的距离测量参考点和AR图像720的距离测量参考点之间的欧几里得距离L。这种情况下，接近度获取器560认为AR图像716和AR图像720是“互相重叠”。以这种方式，由接近度获取器560获取的E值可以用作表示两个AR图像之间的接近度的值。
这里，足以使每一个AR图像的碰撞判定标准半径成为反应AR图像在三维空间里的大小的值。例如，它可以基于从距离测量参考点到组成AR图像的多边形的距离来设置。具体地，从距离测量参考点到组成AR图像的各个多边形的距离的平均值、距离的最大值或最小值等可以用作AR图像的碰撞判定标准半径。
返回到图3的描述，相互作用产生器570基于接近度获取器560获取的接近度计算两个不同AR图像之间发生的相互作用。这里，“相互作用”是这样的概念：，包括在AR图像之间发生的虚拟物理或化学相互作用和使用了CG的视觉效果(VFX)。前者的例子是在刚体之间的碰撞动量守恒定律，在两个软体之间的碰撞的情况下后互相结合的现象，以及当一个AR图像燃烧时火焰传递到其他尚未燃烧的对象的现象。后者的例子是当一个AR图像是一把切割一切的剑刃时，另一个与该AR图像接触的AR图像被切割的效果，以及当一个AR图像被赋予穿过一切的属性时，它与其他AR图像重叠而无干扰。
属性管理部540管理属性，该属性包括指示给由AR图像生成器526生成的予每个AR图像的虚拟物理性质和视觉效果的信息。这里，由属性管理部540管理的属性根据相互作用产生器570计算的相互作用而改变。具体地，由属性管理部540管理的属性中包含的物理性质包含AR图像在三维空间中的位置坐标、速度矢量、加速度向量、质量、AR图像的刚性、颜色、温度、AR图像是否燃烧、AR图像是否发光、以及上述的距离测量参考点和碰撞标准半径。这些物理性质是范例，属性管理部540不必需要管理所有这些的物理性质。什么类型的物理性质要被管理可以取决于内容执行部510再现的内容假定的使用场景来决定。
相互作用产生器570基于接近度获取器560获取的接近度改变两个AR图像的物理性质。具体地，相互作用产生器570基于接近度获取器560获取的接近度计算相互作用，属性管理部540依据相互作用产生器570计算出的相互作用改变给予AR图像属性。AR图像生成器526改变在AR图像属性改变时生成的图像。
例如，以下将考虑下这样的情况：如图5所示示例中，AR与AR图像718碰撞，AR图像720是从三维监视器300飞出并且沿远离三维监视器300方向移动的球状对象，AR图像718静止在三维空间中并有圆锥形状的对象。在这种情况下，假设接近度获取器560计算AR图像720和AR图像718之间的接近度，并确定二者互相接触。基于作为AR图像720属性的质量和速度向量以及作为AR图像718属性的质量和速度向量，相互作用产生器570通过对计算应用动量守恒定律和动能守恒定律，计算出碰撞后二者的速度矢量。
属性管理部540通过相互作用产生器570计算出的速度矢量重写AR图像718和AR图像720的属性中的速度矢量。AR图像生成器526改变AR图像718和AR图像720，以便AR图像718和AR图像720可以根据属性管理部540重写的速度矢量移动。
图6是例示两个不同的AR图像之间的相互作用的图，以及示出呈现给穿戴立体视频观察设备200的用户的视频的一个例子的图。在图6所示示例中，与标记710关联并代表火焰的AR图像712接近与纸的标记728关联并代表炸弹的AR图像730的引线。尽管在图6所示示例中AR图像730的引线并没被点燃，但是假设接近度获取部560确定AR图像712通过用户移动标记710已经足够接近AR图像730的引线。这种情况下，相互作用产生器570认为AR图像730的引线被点燃，并且属性管理部540将AR图像730的属性由“没有燃烧”改变到“燃烧”。因此，AR图像生成器526以通过将AR图像730引线被点燃以随时间缩短的方式来改变AR图像730。
假设在图6所示的示例在经过预定时间后炸弹主体着火。此时，通过AR图像生成器526，生成表示炸弹的AR图像730以便因为爆炸分裂成几个片。以这种方式，图像生成器526在某些情况下由一个AR图像新生成另一AR图像。作为从一个AR图像新生成另一AR图像的情况的另一个例子，引用这样的情况：从表示手枪的图像生成发射子弹的图像。可替换地，假设在图6所示示例中用户高速移动标记710。此时，AR图像712的移动矢量和加速度矢量根据标记710的移动而改变。如果在每单位时间这些物理性质的变化量超过预定的阈值，则AR图像生成器526可以生成与AR图像712不同的新AR图像。这允许火焰根据用户的操作而分裂飞出的产生。
这里，在从一个AR图像新生成另一个AR图像的情况下，新生成的AR图像可以与作为基础的标记关联，或者可以是使用位置信息的另一标记。
图7是示出根据实施例的通过视频处理设备500进行相互作用产生处理的流程的流程图。例如，当视频处理设备500通电，本流程图中的处理开始。
接近度获取器560获取与通过标记识别器550识别的第一标记关联的第一AR图像的位置坐标、距离测量参考点以及碰撞标准半径(S2)。接近度获取器560还进一步获取与通过标记识别器550识别的第二标记关联的第二AR图像的位置坐标、距离测量参考点以及碰撞标准半径(S4)。
随后，所述接近度获取器560按照上述表达式(1)获取第一AR图像和第二AR图像之间的接近度(S6)。相互作用产生器570基于通过接近度获取器560获取的接近度，计算第一AR图像和第二AR图像之间的相互作用(S8)。
属性管理部540基于相互作用产生器570计算的相互作用，改变第一AR图像和第二AR图像的属性(S10)。AR图像生成器526在第一AR图像和第二AR图像中反映由属性管理部540做出的的属性改变(S12)。在AR图像生成器526在图像中反映出属性改变后，本流程图的处理结束。
基于上述配置的视频呈现系统100的使用场景如下。穿戴所述立体视频观察设备200和使用视频呈现系统100的用户移动标记来移动与所述标记关联的AR图像，并把它靠近另一AR图像。AR图像生成器526在AR图像中反映通过相互作用产生器570的相互作用。此时，这可以反映AR图像和内容的变化，其是根据与不同标记相对应的AR图像的接近度(诸如接触或碰撞)以及AR图像的属性(诸如速度和加速度)通过内容执行部510再现的内容。例如，考虑标记的加速度，例如使能根据标记的运动与标记关联的鞭子的AR图像的挠度的表达。此外，还使能产生给予AR图像的特殊的视觉效果。
如上所述，依据根据实施例的视频呈现系统100，可以提供一种用于产生在与特定对象关联地生成的图像之间的相互作用的技术。具体地，使能多个AR图像相互影响的应用和反映AR图像中的标记的移动。
以上基于实施例描述本发明。本领域的技术人员将理解，该实施例只是例示，并且在各个构成元件及其各个处理过程的组合中各种修改示例是可能的，并且这样的修改示例也在本发明的范围内。
(第一修改示例)
在上述描述中，关于形成的对象的多边形的形心用作对象的距离测量参考点的情况进行了说明。但是，距离测量参考点不限定于多边形形心的坐标。例如，形成对象的多边形中的一个多边形的位置坐标可以用作代表。在这种情况下，用作代表的多边形可以取决于对象间的位置关系自适应地变更。具体地说，可以采用在形成对象的多个多边形之中的具有离另一个对象最短距离的多边形的位置坐标作为对象的坐标。这使得可能容易和准确地执行例如计算对象之间的碰撞确定的计算，而不使用上述表达(1)。
(第二修改示例)
在上述描述中，关于该视频呈现系统100包括三维监视器300的情况进行了说明。然而本领域技术人员将理解的是，三维监视器300在本发明的实施例中不是必须的，并且本发明的实施例认为即使当立体视频输出目的地只是立体视频观察设备200中的光学透射HMD时也支持。
(第三修改示例)
尽管在上述描述中，主要说明AR图像彼此接触时的相互作用，但是即时当AR图像彼此不接触的时候也计算该相互作用。例如，在用户移动标记以向代表纸的AR图像挥动代表纸扇的AR图像时，当代表纸扇的AR图像和代表纸的AR图像在二者没有接触的情况下彼此充分地足够的接近时，产生吹掉代表纸的AR图像的相互作用。以这种方式，取决于AR图像之间的接近度确定相互作用。
(第四修改示例)
在上述描述中，关于接近度获取器560获取两个不同的AR图像之间的接近度的情况进行了说明。但是，通过所述接近度获取器560计算的接近度不限于两个不同的AR图像之间的接近度，还可以获得是某一AR图像和标记之间的接近度。这种情况将在下面描述。
图8是说明某一AR图像和标记之间的接近度的图。在图8所示的例子中，用户处理标记710，并试图用与标记710关联的AR图像732来攻击三维监视器300的显示区域中显示的角色302。图8所示的例子是游戏应用的示例，并且假定用户通过用代表雷的AR图像732攻击作为敌人角色的角色来进攻其。
如上所述，三维监视器300的显示区域也可以是一个标记。接近度获取器560获取AR图像732和角色302之间的接近度，角色302是作为标记在三维监视器300的显示区域中显示的部分视频。就是说，接近度获取器560计算AR图像和标记之间的接近度。由于此，例如，即使当通过内容执行部510再现的内容是传统型二维内容以及在三维监视器300的显示区域显示的视频是传统型二维视频，依然可以产生与三维AR图像的相互作用。
[参考符号列表]
100视频呈现系统，200立体视频观察设备，202呈现部，204成像元件，206壳体，300三维监视器，302角色，400信息处理设备，500视频处理设备，502对象获取器，510内容执行部，520视频生成器，522控制部，524对象生成器，526 AR图像生成器，530输出部，540属性管理部，550标记识别器，560接近度获取器，570相互作用产生器，602正交坐标系，704坐标系
[工业适用性]
本发明可用于视频处理设备，视频处理方法，以及视频处理系统。

Claims (8)

1.一种视频处理设备，包括：
AR图像生成器，其采用通过成像元件成像的被摄体作为标记，并且生成要由HMD呈现的AR增强现实图像，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；
接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及
相互作用产生器，其基于所述接近度获取器获取的接近度，计算与第一AR图像或第二AR图像之间发生的相互作用；
所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像，
其中，第一AR图像包括多个多边形，以及
其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
2.根据权利要求1所述的视频处理设备，还包括
属性管理部，其管理包括给予通过所述AR图像生成器生成的每个AR图像的虚拟物理性质的属性；
所述AR图像生成器改变在属性变化的时候要生成的图像。
3.根据权利要求2所述的视频处理设备，其中所述属性管理部根据相互作用产生器计算的相互作用改变给予所述第一AR图像或者所述第二AR图像的所述属性。
4.根据权利要求2或3所述的视频处理设备，其中
包括在由所述属性管理部管理的所述属性中的物理性质包括在所述虚拟三维空间中所述AR图像的位置坐标、速度、加速度或质量中的至少一个，并且
所述相互作用产生器基于由所述接近度获取器获取的接近度，改变所述第一AR图像的物理性质和所述第二AR图像的物理性质。
5.根据权利要求2或3所述的视频处理设备，其中由所述属性管理部管理的属性包括指示要反映在所述AR图像中的视觉效果的信息。
6.一种视频处理方法，包括：
生成步骤，生成要通过包括HMD和成像元件的立体视频观察设备呈现的AR图像，并且采用通过所述成像元件成像的被摄体作为标记，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；
获取步骤，获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；
计算步骤，基于获取的接近度，计算与所述第一AR图像或所述第二AR图像之间发生的相互作用；以及
改变步骤，根据计算的相互作用，至少改变所述第一AR图像或所述第二AR图像中的任一图像，
其中，第一AR图像包括多个多边形，以及
其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
7.一种视频处理系统，包括：
HMD，其呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频；
成像元件，成像存在于包括穿戴所述HMD的用户的视场的区域中的被摄体；
AR图像生成器，其采用通过成像元件成像的被摄体作为标记，并且生成要由所述HMD呈现的AR增强现实图像；
接近度获取器，其获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；以及
相互作用产生器，其基于通过所述接近度获取器获取的接近度计算所述第一AR图像或所述第二AR图像引起的相互作用；
所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一AR图像或第二AR图像中的任一图像，
其中，第一AR图像包括多个多边形，以及
其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
8.一种其中已经存储有指令的处理器可读介质，所述指令使得处理器执行：
生成步骤，生成要通过包括HMD和成像元件的立体视频观察设备呈现的AR图像，并且采用通过所述成像元件成像的被摄体作为标记，所述HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述HMD的用户的视场的区域中的所述被摄体；
获取步骤，获取在与第一标记关联的第一AR图像和第二标记或与第二标记关联的第二AR图像之间，在虚拟三维空间中的接近度；
计算步骤，基于获取的接近度，计算与所述第一AR图像或所述第二AR图像之间发生的相互作用；以及
改变步骤，根据计算的相互作用，至少改变所述第一AR图像或所述第二AR图像中的任一图像，
其中，第一AR图像包括多个多边形，以及
其中，第一标记的位置坐标自适应地设置为多个多边形中具有离第二标记最短距离的多边形的坐标。
CN201711039232.8A 2012-06-29 2013-04-17 视频处理设备、视频处理方法和视频处理系统 Active CN107844196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012147344A JP5891125B2 (ja) 2012-06-29 2012-06-29 映像処理装置、映像処理方法、および映像処理システム
JP2012-147344 2012-06-29
CN201380032960.XA CN104380347B (zh) 2012-06-29 2013-04-17 视频处理设备、视频处理方法和视频处理系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380032960.XA Division CN104380347B (zh) 2012-06-29 2013-04-17 视频处理设备、视频处理方法和视频处理系统

Publications (2)

Publication Number Publication Date
CN107844196A CN107844196A (zh) 2018-03-27
CN107844196B true CN107844196B (zh) 2020-12-01

Family

ID=49782553

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711039232.8A Active CN107844196B (zh) 2012-06-29 2013-04-17 视频处理设备、视频处理方法和视频处理系统
CN201380032960.XA Active CN104380347B (zh) 2012-06-29 2013-04-17 视频处理设备、视频处理方法和视频处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380032960.XA Active CN104380347B (zh) 2012-06-29 2013-04-17 视频处理设备、视频处理方法和视频处理系统

Country Status (5)

Country Link
US (1) US9639989B2 (zh)
EP (1) EP2869274A4 (zh)
JP (1) JP5891125B2 (zh)
CN (2) CN107844196B (zh)
WO (1) WO2014002346A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891125B2 (ja) * 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
KR101483054B1 (ko) * 2014-05-31 2015-01-16 연세대학교 산학협력단 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법
CN105872526B (zh) * 2015-01-21 2017-10-31 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
KR101618004B1 (ko) * 2015-01-27 2016-05-09 가톨릭대학교 산학협력단 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
JP6336930B2 (ja) 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
GB2535727A (en) * 2015-02-25 2016-08-31 Bae Systems Plc Interactive information system
US20160253891A1 (en) * 2015-02-27 2016-09-01 Elwha Llc Device that determines that a subject may contact a sensed object and that warns of the potential contact
US10038838B2 (en) 2015-05-29 2018-07-31 Hover Inc. Directed image capture
CN107533375A (zh) * 2015-06-29 2018-01-02 埃西勒国际通用光学公司 场景图像分析模块
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
US20170039986A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed Reality Social Interactions
US10515482B2 (en) 2015-08-24 2019-12-24 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
CN108139803B (zh) 2015-10-08 2021-04-20 Pcms控股公司 用于动态显示器配置的自动校准的方法及系统
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10163198B2 (en) 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
US10695667B2 (en) 2018-03-14 2020-06-30 Sony Interactive Entertainment LLC Pro gaming AR visor and method for parsing context specific HUD content from a video stream
US10777012B2 (en) * 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
WO2020112900A2 (en) 2018-11-30 2020-06-04 Pcms Holdings, Inc. Method for mirroring 3d objects to light field displays
JP7443014B2 (ja) 2019-10-08 2024-03-05 大豊精機株式会社 ロボットアーム試験装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899690A2 (en) * 1997-09-01 1999-03-03 Mixed Reality Systems Laboratory Inc. Apparatus and method for presenting mixed virtual reality shared among operators
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
WO2012052979A2 (en) * 2010-10-21 2012-04-26 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US8189263B1 (en) * 2011-04-01 2012-05-29 Google Inc. Image waveguide with mirror arrays
CN107844196A (zh) * 2012-06-29 2018-03-27 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401897B2 (ja) 1994-02-16 2003-04-28 株式会社セガ 衝突判定処理システムおよびこれを用いた画像処理装置
CN1161087A (zh) * 1994-08-10 1997-10-01 实质(Ip)有限公司 安置在头上的光学系统
JP3486536B2 (ja) * 1997-09-01 2004-01-13 キヤノン株式会社 複合現実感提示装置および方法
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP3413127B2 (ja) * 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法
ATE543546T1 (de) 1999-06-11 2012-02-15 Canon Kk Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren
US6771841B1 (en) * 1999-12-29 2004-08-03 Intel Corporation Determining a bounding shape for a collection of points
US20030062675A1 (en) 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
JP3584230B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
CN2667920Y (zh) 2003-12-26 2005-01-05 沈阳工业学院 一种光学双视场三维头盔显示装置
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
JP3844482B2 (ja) 2004-09-01 2006-11-15 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
JP4335160B2 (ja) 2005-03-02 2009-09-30 任天堂株式会社 衝突判定プログラムおよび衝突判定装置
ATE428154T1 (de) 2005-05-03 2009-04-15 Seac02 S R L Augmented-reality-system mit identifizierung der realen markierung des objekts
JP4689344B2 (ja) * 2005-05-11 2011-05-25 キヤノン株式会社 情報処理方法、情報処理装置
US7773098B2 (en) 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
CN100399835C (zh) 2005-09-29 2008-07-02 北京理工大学 用于现场数字三维重建的增强现实定点观察系统
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
JP2010026818A (ja) 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
JP5627973B2 (ja) 2010-09-24 2014-11-19 任天堂株式会社 ゲーム処理をするためのプログラム、装置、システムおよび方法
JP5472056B2 (ja) * 2010-11-19 2014-04-16 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899690A2 (en) * 1997-09-01 1999-03-03 Mixed Reality Systems Laboratory Inc. Apparatus and method for presenting mixed virtual reality shared among operators
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
WO2012052979A2 (en) * 2010-10-21 2012-04-26 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US8189263B1 (en) * 2011-04-01 2012-05-29 Google Inc. Image waveguide with mirror arrays
CN107844196A (zh) * 2012-06-29 2018-03-27 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统

Also Published As

Publication number Publication date
US20150170419A1 (en) 2015-06-18
EP2869274A1 (en) 2015-05-06
CN104380347A (zh) 2015-02-25
JP5891125B2 (ja) 2016-03-22
JP2014010664A (ja) 2014-01-20
EP2869274A4 (en) 2016-01-27
WO2014002346A1 (ja) 2014-01-03
CN104380347B (zh) 2017-12-05
CN107844196A (zh) 2018-03-27
US9639989B2 (en) 2017-05-02

Similar Documents

Publication Publication Date Title
CN107844196B (zh) 视频处理设备、视频处理方法和视频处理系统
US11666825B2 (en) Mixed reality gaming system
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
US9122053B2 (en) Realistic occlusion for a head mounted augmented reality display
EP3172644B1 (en) Multi-user gaze projection using head mounted display devices
US9183676B2 (en) Displaying a collision between real and virtual objects
US9286711B2 (en) Representing a location at a previous time period using an augmented reality display
JP5483761B2 (ja) 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
US20140368537A1 (en) Shared and private holographic objects
WO2013155217A1 (en) Realistic occlusion for a head mounted augmented reality display
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
WO2015200406A1 (en) Digital action in response to object interaction
EP3248045A1 (en) Augmented reality field of view object follower
EP2926188A1 (en) Peripheral display for a near-eye display device
KR20160019964A (ko) Hmd 상의 하이브리드 월드/바디 락 hud
KR20160020571A (ko) 다단계 가상 객체 선택
JP6161749B2 (ja) 映像処理装置、映像処理方法、および映像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant