CN115485736A - 用户选择虚拟相机位置以使用来自多个相机的合成输入制作视频 - Google Patents

用户选择虚拟相机位置以使用来自多个相机的合成输入制作视频 Download PDF

Info

Publication number
CN115485736A
CN115485736A CN202180031459.6A CN202180031459A CN115485736A CN 115485736 A CN115485736 A CN 115485736A CN 202180031459 A CN202180031459 A CN 202180031459A CN 115485736 A CN115485736 A CN 115485736A
Authority
CN
China
Prior art keywords
virtual camera
instructions
executable
video
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180031459.6A
Other languages
English (en)
Inventor
G.布莱克
M.泰勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN115485736A publication Critical patent/CN115485736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

播放增强现实(AR)计算机模拟的空间由多个相机映射(302)。AR视频游戏玩家可以选择(306)空间位置，该AR玩家希望从该位置查看空间，包括他自己。使用空间的映射，生成(308)合成视频，就像来自位于玩家选择的空间位置处的相机一样。

Description

用户选择虚拟相机位置以使用来自多个相机的合成输入制作 视频
技术领域
本申请涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案。
背景技术
如本文所理解的，增强现实(AR)计算机模拟(诸如AR视频游戏)的玩家可能希望从用户自己在用户继续通过AR环境时可以选择的有利位置看到自己。
发明内容
网状网络可用于组合来自多个相机源的视频，诸如增强现实(AR)耳机。可以产生设置相机的空间的聚合视频，然后可以在空间中的任何点模拟虚拟相机，以根据虚拟相机的位置和取向生成该空间的合成视频，从而使用户能够从虚拟相机的有利位置观察自己和他人。该合成视频是从各种相机源拍摄的现实世界视频合成的。在USPP 20170221218和20170111652(通过引用并入本文)中阐述了从多个视频帧生成合成视频的非限制性示例。
用户可以使用任何适当的AR/VR指示技术(诸如激光指示器、带有手势(取向)的眼睛追踪)识别用户希望从其有利位置观看视频的虚拟相机的位置和取向。虚拟相机焦点和视野(FOV)也可以使用例如手势来调整。
因此，可以使用多个同时的视角来映射现实世界空间。标题为“多点SLAM捕获(Multipoint SLAM capture)”的USPN 10,549,186提供了一种用于从多个相机构建现实世界地图的示例技术，其由本受让人或其相关公司拥有，并通过引用并入本文。
可以用虚拟现实(VR)对象来增强现实世界合成视频。多个视点可用于更新现实世界地图，并且视点之间的插值可用于填补特征空间中的空白。机器学习可以用来推断队友的意图。相机可以附接到虚拟移动对象(汽车、无人机等)。虚拟小车可以用于电影制作。可以指定虚拟空间内的点在其间平移相机视图。可以突出显示成像空间中的阴影区域以提示用户移动到那里以拍摄现实世界的阴影区域。可以自动选择快速移动的对象以针对此类对象训练相机。开环现实世界空间和闭环空间(在房间内)都被考虑在内，并且虚拟相机可以“放置”在任何地方，并预测人们的动作。对于自我图像，可以使用GPS和运动传感器，使得可以将用户的化身放置在空间中，如从虚拟相机有利位置看到的那样。
因此，一种设备包括用指令编程的至少一个处理器，所述指令可由处理器执行以至少识别虚拟相机的空间位置。所述指令可执行以访问由相应的多个相机生成的空间的多个视频，以从虚拟相机的有利位置生成该空间的合成视频。此外，所述指令可执行以在至少一个头戴式设备上显示合成视频。
该头戴式设备可以包括增强现实头戴式显示器(HMD)，或者它可以包括增强现实眼镜。
在非限制性示例中，多个相机中的第一相机在头戴式设备上。如果需要，可以将多个相机安装在相应的头戴式设备上。在一些实施方式中，虚拟相机的有利位置包括虚拟相机的位置和取向两者。
在示例实施方案中，指令可执行以至少部分地基于来自激光器的成像光来识别虚拟相机的空间位置。在其他示例中，指令可执行以至少部分地基于对头戴式设备的佩戴者的手势进行成像来识别虚拟相机的空间位置。在另外其他示例中，指令可执行以至少部分地基于对头戴式设备的佩戴者的眼睛进行成像来识别虚拟相机的空间位置。如果需要，指令可执行以在头戴式设备上呈现对空间中需要视频成像的区域的指示。
在另一方面，一种组件包括至少第一和第二头戴式装置(HMD)，每个HMD包括至少一个相应的相机。该组件还包括用指令编程的至少一个处理器，所述指令可执行以将处理器配置为至少识别虚拟相机的空间位置，并使用来自HMD的相机的图像从虚拟相机的该位置的有利位置生成视频。所述指令可执行以在至少一个HMD上呈现该视频。
在另一方面中，一种方法包括访问由相应现实世界相机拍摄的空间的多个视频。该方法还包括基于用户对有利位置的识别，从远离现实世界相机的相应位置的所述有利位置由多个视频生成合成视频。该方法包括在用户佩戴的头戴式设备上呈现该合成视频。
本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：
附图说明
图1是符合本发明原理的示例系统的框图；
图2示出了示例AR环境；
图3以示例流程图格式示出了符合本发明原理的示例逻辑；
图4示出了被配置为眼镜的替代头戴式器具；
图5示出了用于为虚拟相机选择有利位置的第一技术；
图6示出了用于为虚拟相机选择有利位置的第二技术；
图7示出了用于为虚拟相机选择有利位置的第三技术；
图8示出了示例AR合成视频的屏幕截图，就像在用户指定的位置处由相机拍摄的一样；
图9示出了符合本发明原理的屏幕截图；以及
图10示出了符合本发明原理的示例替代逻辑。
具体实施方式
本公开总体上涉及计算机生态系统，其包括消费型电子(CE)装置网络的各个方面，诸如但不限于计算机游戏网络。本文的系统可包括通过网络连接的服务器和客户端部件，使得可在客户端与服务器部件之间交换数据。客户端部件可以包括一个或多个计算装置，所述计算装置包括诸如Sony
Figure BDA0003912305980000041
或由微软(Microsoft)或任天堂(Nintendo)或其他制造商制作的游戏控制台的游戏控制台、虚拟现实(VR)头戴式耳机、增强现实(AR)头戴式耳机、便携式电视机(例如智能TV、启用互联网的TV)、便携式计算机(诸如膝上型计算机和平板计算机)以及其他移动装置(包括智能电话和下面讨论的附加示例)。这些客户端装置可在多种操作环境下操作。例如，一些客户端计算机可采用(例如)Linux操作系统、来自微软的操作系统或Unix操作系统、或由苹果计算机或谷歌生产的操作系统。可使用这些操作环境来执行一个或多个浏览程序，诸如由微软或谷歌或摩斯拉(Mozilla)制作的浏览器、或可访问由下文论述的互联网服务器托管的网站的其他浏览器程序。此外，根据本发明原理的操作环境可以用于执行一个或多个计算机游戏程序。
服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置为通过诸如互联网的网络来接收和传输数据。或者，客户端和服务器可经由本地内联网或虚拟专用网络进行连接。服务器或控制器可由游戏控制台(诸如Sony
Figure BDA0003912305980000042
)、个人计算机等实例化。
信息可以在客户端和服务器之间通过网络进行交换。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储装置和代理，以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可形成一种设备，所述设备实施向网络成员提供安全社区(诸如在线社交网站)的方法。
如本文使用，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以在软件、固件或硬件中实施，并且包括由系统的部件执行的任何类型的编程步骤。
处理器可以是通用单芯片或多芯片处理器，所述单芯片或多芯片处理器可借助于各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。
通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。
本文所述的本发明原理可以实施为硬件、软件、固件或其组合；因此，说明性部件、框、模块、电路和步骤依据其功能性加以阐述。
除上文已经提到的内容之外，下文描述的逻辑块、模块和电路可以用被设计来执行本文描述的功能的通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑装置(诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件部件或其任何组合)来实施或执行。处理器可由控制器或状态机或计算装置的组合实施。
下文所述的功能和方法当在软件中实施时可以诸如但不限于Java、C#或C++的适当语言编写，并且可存储在计算机可读存储介质上或通过计算机可读存储介质传输，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置(诸如数字通用光盘(DVD))、磁盘存储装置或包括可移除拇指驱动器的其他磁存储装置等。连接可建立计算机可读介质。此类连接可包括例如硬连线电缆，包括光纤和同轴线以及数字用户线(DSL)和双绞线。这样的连接可以包括无线通信连接，包括红外和无线电。
在一个实施方案中所包括的部件可以任何适当的组合用于其他实施方案中。例如，本文中所描述和/或在图中所描绘的各种部件中的任一者可被组合、互换或从其他实施方案排除。
“具有A、B和C中的至少一者的系统”(同样地，“具有A、B或C中的至少一者的系统”和“具有A、B、C中的至少一者的系统”)包括以下系统：仅具有A；仅具有B；仅具有C；同时具有A和B；同时具有A和C；同时具有B和C；和/或同时具有A、B和C等。
现在具体地参考图1，示出了示例系统10，所述系统可包括上文所提及且下文进一步描述的根据本发明原理的示例装置中的一者或多者。系统10中包括的示例装置中的第一装置是消费型电子(CE)装置诸如音频视频装置(AVD)12，诸如但不限于带有TV调谐器(等效地，控制TV的机顶盒)的支持互联网的TV。然而，替代地，AVD 12可以是家电或家居用品，例如，计算机化的支持互联网的冰箱、洗涤器或干燥器。替代地，AVD 12还可以是计算机化的支持互联网的(“智能”)电话、平板计算机、笔记本计算机、可佩戴的计算机化装置，例如诸如计算机化的支持互联网的手表、计算机化的支持互联网的手镯、其他计算机化的支持互联网的装置、计算机化的支持互联网的音乐播放器、计算机化的支持互联网的耳机、计算机化的支持互联网的可植入装置(诸如可植入皮肤装置)等。无论如何，应理解，AVD 12被配置为采取本发明的原理(例如，与其他CE装置通信以采取本发明的原理，执行本文描述的逻辑，以及执行本文描述的任何其他功能和/或操作)。
因此，为了实施此类原理，AVD 12可由图1所示的部件中的一些或全部建立。例如，AVD 12可包括一个或多个显示器14，该一个或多个显示器可由高清晰度或超高清晰度“4K”或更高的平面屏幕实施，并且可支持触摸以用于经由显示器上的触摸来接收用户输入信号。AVD 12可包括：一个或多个扬声器16，其用于根据本发明原理输出音频；以及至少一个额外的输入装置18(例如诸如音频接收器/传声器)，其用于例如向AVD 12输入可听命令以控制AVD 12。示例AVD 12还可包括一个或多个网络接口20，其用于在一个或多个处理器24的控制下通过至少一个网络22(诸如互联网、WAN、LAN等)进行通信。还可包括图形处理器24A。因此，接口20可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。将理解，处理器24控制AVD 12来采用本发明原理，包括本文描述的AVD 12的其他元件，例如诸如控制显示器14以在显示器上呈现图像以及从显示器接收输入。此外，应注意，网络接口20可以是例如有线或无线调制解调器或路由器或其他适当接口，例如诸如无线电话收发器，或如上所提及的Wi-Fi收发器等。
除前述内容之外，AVD 12还可以包括一个或多个输入端口26，例如诸如用于物理地连接(例如，使用有线连接)到另一个CE装置的高清晰度多媒体接口(HDMI)端口或USB端口和/或用于将耳机连接到AVD 12以用于通过耳机将来自AVD 12的音频呈现给用户的耳机端口。例如，输入端口26可经由有线或以无线方式连接至音频视频内容的有线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是包含内容的游戏控制台或磁盘播放器，所述内容可以被用户视为用于下文进一步描述的信道分配目的的最喜爱之物。源26a在实施为游戏控制台时可包括下文关于CE装置44描述的部件中的一些或全部。
AVD 12还可包括不是瞬时信号的一个或多个计算机存储器28，诸如基于磁盘的存储装置或固态存储装置，在一些情况下，所述一个或多个计算机存储器在AVD的机壳中体现为独立装置，或者体现为在AVD的机壳内部或外部的用于回放AV节目的个人视频记录装置(PVR)或视频磁盘播放器，或者体现为可移除存储器介质。此外，在一些实施方案中，AVD 12可包括位置或定位接收器(诸如但不限于手机接收器、GPS接收器和/或高度计30)，所述位置或定位接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供所述信息和/或结合处理器24来确定AVD 12被设置的高度。然而，将理解，根据本发明原理，可以使用除手机接收器、GPS接收器和/或高度计之外的另一个合适的位置接收器来例如确定AVD 12在例如所有三个维度中的定位。
继续AVD 12的描述，在一些实施方案中，根据本发明原理，AVD 12可包括一个或多个相机32，所述一个或多个相机可以是例如热成像相机、数字相机(诸如网络相机)和/或集成到AVD 12中并且能够由处理器24控制以收集图片/图像和/或视频的相机。在AVD 12上还可包括蓝牙收发器34和其他近场通信(NFC)元件36，以用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例NFC元件可以是射频识别(RFID)元件。
此外，AVD 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器，诸如加速度计、陀螺仪、计程器或磁传感器、红外线(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。AVD 12可包括无线TV广播端口38，以用于接收向处理器24提供输入的OTA TV广播。除前述内容之外，应注意，AVD 12还可包括红外线(IR)发射器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为AVD 12供电。
仍参考图1，除AVD 12之外，系统10还可包括一个或多个其他CE装置类型。在一个示例中，第一CE装置44可用于经由直接发送到AVD 12的命令和/或通过下面描述的服务器向AVD 12发送计算机游戏音频和视频，而第二CE装置46可包括与第一CE装置44相似的部件。在所示的示例中，第二CE装置46可被配置为玩家47所佩戴的VR头戴式耳机，如图所示。在所示的示例中，示出仅两个CE装置44、46，应理解，可以使用更少或更多的装置。
在所示的示例中，为了说明本发明原理，假设所有三个装置12、44、46都是例如家中娱乐网络的成员，或至少在诸如房屋的位置中彼此接近地存在。然而，除非另有明确要求，否则本发明原理不限于虚线48所示的特定位置。
示例非限制性第一CE装置44可以由上述装置中的任何一个来建立，例如，便携式无线膝上型计算机或笔记本计算机或游戏控制器(也称为“控制台”)，并且因此可以具有下述部件中的一个或多个。第一CE装置44可以是用于例如向AVD 12发送AV播放和暂停命令的遥控器(RC)，或者其可以是更复杂的装置，诸如平板计算机、经由有线或无线链路与AVD 12通信的游戏控制器、个人计算机、无线电话等。
因此，第一CE装置44可以包括一个或多个显示器50，显示器50可以是支持触摸的以经由显示器上的触摸来接收用户输入信号。第一CE装置44可包括：一个或多个扬声器52，其用于根据本发明原理输出音频；以及至少一个额外的输入装置54(例如诸如音频接收器/传声器)，其用于例如向第一CE装置44输入可听命令以控制装置44。示例第一CE装置44还可包括一个或多个网络接口56，其用于在一个或多个CE装置处理器58的控制下通过网络22进行通信。还可包括图形处理器58A。因此，接口56可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的示例，包括网状网络接口。应理解，处理器58控制第一CE装置44来实施本发明原理，包括本文所述的第一CE装置44的其他元件，例如诸如控制显示器50来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口56可以是例如有线或无线调制解调器或路由器或其他适当接口，例如诸如无线电话收发器，或如上所提及的Wi-Fi收发器等。
除前述内容之外，第一CE装置44还可包括用于物理地连接(例如，使用有线连接)到另一个CE装置的一个或多个输入端口60(例如诸如HDMI端口或USB端口)和/或用于将耳机连接到第一CE装置44以用于通过耳机将来自第一CE装置44的音频呈现给用户的耳机端口。第一CE装置44还可包括一个或多个有形计算机可读存储介质62，诸如基于磁盘的存储装置或固态存储装置。而且在一些实施方案中，第一CE装置44可包括位置或定位接收器(诸如但不限于手机和/或GPS接收器和/或高度计64)，所述位置或定位接收器被配置为例如使用三角测量从至少一个卫星和/或小区发射塔接收地理位置信息，并且向CE装置处理器58提供所述信息和/或结合CE装置处理器58一起确定第一CE装置44所处的高度。然而，应理解，根据本发明原理，可使用除手机和/或GPS接收器和/或高度计之外的另一个合适的位置接收器来例如确定第一CE装置44在例如所有三个维度中的位置。
继续对第一CE装置44的描述，在一些实施方案中，根据本发明原理，第一CE装置44可包括一个或多个相机66，所述一个或多个相机可以是例如热成像相机、数字相机(诸如网络相机)和/或集成到第一CE装置44中并且能够由CE装置处理器58控制以收集图片/图像和/或视频的相机。在第一CE装置44上还可包括蓝牙收发器68和其他近场通信(NFC)元件70，以用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例NFC元件可以是射频识别(RFID)元件。
此外，第一CE装置44可包括向CE装置处理器58提供输入的一个或多个辅助传感器72(例如，运动传感器诸如加速度计、陀螺仪、计程器或磁传感器、红外(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一CE装置44可包括向CE装置处理器58提供输入的另外的其他传感器，例如诸如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或一个或多个生物识别传感器76。除前述内容之外，应注意，在一些实施方案中，第一CE装置44还可包括红外(IR)发射器和/或IR接收器和/或IR收发器78，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为第一CE装置44供电。CE装置44可通过上述通信模式和相关部件中的任一者与AVD 12进行通信。
第二CE装置46可包括针对CE装置44示出的部件中的一些或全部。任一个或两个CE装置可由一个或多个电池供电。
现在参考前面提到的至少一个服务器80，其包括至少一个服务器处理器82、至少一个有形的计算机可读存储介质84(诸如基于磁盘的存储装置或固态存储装置)，以及至少一个网络接口86，所述网络接口86在服务器处理器82的控制下，允许通过网络22与图1的其他装置通信，并且实际上可以根据本发明的原理促进服务器和客户端装置之间的通信。应注意，网络接口86可以是例如有线或无线调制解调器或路由器、Wi-Fi收发器或其他适当接口(例如诸如无线电话收发器)。
因此，在一些实施方案中，服务器80可以是互联网服务器或整个服务器“场”，并且可以包括并且执行“云”功能，使得系统10的装置可在例如网络游戏应用的示例实施方案中经由服务器80访问“云”环境。或者，服务器80可由与图1中示出的其他装置在同一房间或附近的一个或多个游戏控制台或其他计算机来实施。
本文中的方法可以实施为由处理器、适当配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块或如本领域技术人员将理解的任何其他便利方式执行的软件指令。在采用的情况下，软件指令可以体现在非暂时性装置(诸如CD ROM或闪存驱动器)中。软件代码指令可替代地以诸如无线电信号或光学信号的瞬态布置体现，或者经由通过互联网的下载体现。
现在参考图2，该图示出了多个用户200可以各自佩戴相应的头戴式设备(HMA)作为但不限于计算机游戏增强现实(AR)头戴式装置(HMD)或下面参考图4进一步描述的眼镜式设备。每个HMA 202包括一个或多个相机，该相机可以对用户200所在的空间进行成像并且还可以对用户的眼睛进行成像。通常是视频格式的图像经由无线链路发送到合成器计算机204。在一些实施方案中，合成器计算机204可以由服务器或其他计算机实施，或者可以集成到HMA 202之一或两者中。无线链路可以是但不限于蓝牙或Wi-Fi链路中的任何一者或多者。
图3示出了可由图2中所示的合成器计算机204或本文描述的其他计算机实施的总体逻辑。从框300开始，图2中的每个HMA 202生成用户200所在空间的相应视频。可以在框302处使用在框300处接收到的视频来创建聚合空间图。上面引用的美国专利说明了用于框302处的步骤的一种示例技术。
移动到框304，如果需要，可以突出显示聚合空间图中的任何“阴影”区域，如本文更详细描述的。换言之，如果空间的某个区域不存在视频图像，则这些区域可以引起一个或多个用户200的注意，使得用户可以移动到阴影区域并对其进行成像。
前进到框306，接收对空间内的用户希望从其有利位置观察空间的视频的虚拟相机的位置和取向(如果需要)的用户指示。虚拟相机的位置和取向远离HMA 202的位置。基于虚拟相机的指示位置(以及如果需要，取向)，在框308处，通过从在框302处创建的空间地图合成视频来创建视频场景。用于此类合成的示例技术可以包括来自现实世界相机的两个帧之间的插值，并且可以实施上述引用的美国专利公开中描述的技术。然后将来自在框306处识别的位置和取向(如果需要)处的虚拟相机的有利位置的合成视频显示在诸如图2中所示的一个或多个HMA的显示器上。
图4示出了被配置为具有与左右模板404合并的左右耳带402的眼镜的替代HMA400，这些模板继而在前端处通过桥接件406连接。左右AR显示器可以安装在桥接件406上，并且相机410可以安装在设备400上。
图5至图7示出了示例非限制性技术，通过该技术，可以识别从其有利位置生成合成视频的虚拟相机的位置和取向。在图5中，用户500操纵激光指示器502来照亮空间中的位置504以指示虚拟相机的期望位置。位置504可以使用例如红外(IR)相机成像并且输入到合成器204。
在图6中，用户600将他的手指602指向期望位置或做出被理解为指示期望位置的另一个手势，该手势可以由本文描述的任何相机成像并且输入到合成器计算机204。合成器计算机204可以计算从用户的手指到空间中最近的表面的视线并且将期望的虚拟相机位置识别为表面与视线的交点。用户600可以转动手指602或手或做出另一取向型的手势以指示虚拟相机的取向，例如，它是从上方指向下方还是从下方指向上方。
图7指示可以使用用户700的图像并跟踪用户的眼睛702以确定虚拟相机的位置来确定前面段落中描述的视线。可以使用如箭头706所示移动的手704的手势来指示虚拟相机的取向。
语音识别也可用于识别相机的位置和取向。例如，用户可能会说“我想从街对面的建筑物顶部看到自己”，并且相应地识别虚拟相机的位置和取向。
图8示出了可以使用来自第一用户806和第二用户808(其身份可以如图所示指示)的HMA的视频从建筑物804顶部的虚拟相机的位置802的有利位置呈现在视频显示器800(诸如本文公开的任何显示器)上的合成视频。在所示的示例中，用户806、808正沿着被模拟为街道的物理空间的区域810行走，建筑物804和诸如银行812的其他建筑物被模拟沿着该街道出现。建筑物804、812可以是物理的以及诸如平面的快速移动对象814，或者视频对象中的一个或多个可以是叠加在物理空间的视频上的虚拟对象。以这种方式，定义了虚拟相机的位置802的用户806可以看到他自己，就像从建筑物804的顶部看到他一样。
图9示出了显示器900，该显示器可以由本文描述的任何显示器来实施以识别其图像或化身902可以被呈现的用户。提示904可以指示物理空间的区域906尚未成像并且需要成像以完成空间映射，使得用户可以向区域906移动以使用用户的HMA上的相机对区域906进行成像。
图10示出了在已映射的空间中可能仅存在单个用户的情况。应当理解，在这种情况下，可能没有用户的外部图像可用，但用户可能仍然希望从虚拟相机的有利位置观察自己。因此，在框1000处，从例如用户的HMA上的位置接收器和IMU接收指示用户的位置和运动的输入。然后在框1002处根据本文描述的原理生成来自期望的有利位置的视频以及表示在空间中的用户位置处描绘的用户并根据用户的移动而移动的化身。
虽然本文详细示出和描述了特定技术和机器，但应理解，本发明所包含的主题仅由权利要求书限制。

Claims (20)

1.一种设备，其包括：
至少一个处理器，所述至少一个处理器用指令编程，所述指令能够由所述至少一个处理器执行以：
至少识别虚拟相机的空间位置；
访问由相应的多个相机生成的所述空间的多个视频，以从所述虚拟相机的有利位置生成所述空间的合成视频；以及
在至少一个头戴式设备上显示所述合成视频。
2.如权利要求1所述的设备，其中所述头戴式设备包括增强现实头戴式显示器(HMD)。
3.如权利要求1所述的设备，其中所述头戴式设备包括增强现实眼镜。
4.如权利要求1所述的设备，其中所述多个相机中的第一相机在所述头戴式设备上。
5.如权利要求1所述的设备，其中所述多个相机安装在相应的头戴式设备上。
6.如权利要求1所述的设备，其中所述有利位置包括所述虚拟相机的位置和取向。
7.如权利要求1所述的设备，其中所述指令能够执行以：
至少部分地基于来自激光器的成像光来识别所述虚拟相机的所述空间位置。
8.如权利要求1所述的设备，其中所述指令能够执行以：
至少部分地基于对所述头戴式设备的佩戴者的手势进行成像来识别所述虚拟相机的所述空间位置。
9.如权利要求1所述的设备，其中所述指令能够执行以：
至少部分地基于对所述头戴式设备的佩戴者的眼睛进行成像来识别所述虚拟相机的所述空间位置。
10.如权利要求1所述的设备，其中所述指令能够执行以：
在所述头戴式设备上呈现对空间中需要视频成像的区域的指示。
11.一种组件，其包括：
至少第一和第二头戴式装置(HMD)，每个HMD包括至少一个相应的相机；
至少一个处理器，所述至少一个处理器用指令编程，所述指令能够执行以将所述处理器配置为：
至少识别虚拟相机的空间位置；
使用来自所述HMD的所述相机的图像，从所述虚拟相机的所述位置的有利位置生成视频；并且
在所述HMD中的至少一者上呈现所述视频。
12.如权利要求11所述的组件，其中所述有利位置包括所述虚拟相机的位置和取向。
13.如权利要求11所述的组件，其中所述指令能够执行以：
至少部分地基于来自激光器的成像光来识别所述虚拟相机的所述空间位置。
14.如权利要求11所述的组件，其中所述指令能够执行以：
至少部分地基于对所述HMD中的一者的佩戴者的手势进行成像来识别所述虚拟相机的所述空间位置。
15.如权利要求11所述的组件，其中所述指令能够执行以：
至少部分地基于对所述HMD中的一者的佩戴者的眼睛进行成像来识别所述虚拟相机的所述空间位置。
16.如权利要求11所述的组件，其中所述指令能够执行以：
在所述HMD中的至少一者上呈现对空间中需要视频成像的区域的指示。
17.一种方法，其包括：
访问由相应现实世界相机拍摄的空间的多个视频；
基于用户对有利位置的识别，从远离所述现实世界相机的相应位置的所述有利位置由所述多个视频生成合成视频；以及
在所述用户佩戴的头戴式设备上呈现所述合成视频。
18.如权利要求17所述的方法，其中所述现实世界相机安装在相应的头戴式设备上。
19.如权利要求17所述的方法，其包括：
至少部分地基于来自激光器的成像光来识别所述有利位置。
20.如权利要求17所述的方法，其包括：
至少部分地基于对所述用户进行成像来识别所述有利位置。
CN202180031459.6A 2020-05-11 2021-05-11 用户选择虚拟相机位置以使用来自多个相机的合成输入制作视频 Pending CN115485736A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/871,819 2020-05-11
US16/871,819 US11431952B2 (en) 2020-05-11 2020-05-11 User selection of virtual camera location to produce video using synthesized input from multiple cameras
PCT/US2021/031725 WO2021231390A1 (en) 2020-05-11 2021-05-11 User selection of virtual camera location to produce video using synthesized input from multiple cameras

Publications (1)

Publication Number Publication Date
CN115485736A true CN115485736A (zh) 2022-12-16

Family

ID=78413290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180031459.6A Pending CN115485736A (zh) 2020-05-11 2021-05-11 用户选择虚拟相机位置以使用来自多个相机的合成输入制作视频

Country Status (5)

Country Link
US (2) US11431952B2 (zh)
EP (1) EP4150588A1 (zh)
JP (1) JP7462069B2 (zh)
CN (1) CN115485736A (zh)
WO (1) WO2021231390A1 (zh)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6133944A (en) * 1995-12-18 2000-10-17 Telcordia Technologies, Inc. Head mounted displays linked to networked electronic panning cameras
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US9619104B2 (en) * 2010-10-01 2017-04-11 Smart Technologies Ulc Interactive input system having a 3D input space
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
JP6304241B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6641122B2 (ja) * 2015-08-27 2020-02-05 キヤノン株式会社 表示装置及び情報処理装置及びその制御方法
US10471355B2 (en) * 2015-10-21 2019-11-12 Sharp Kabushiki Kaisha Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US20180261120A1 (en) * 2015-12-01 2018-09-13 Sharp Kabushiki Kaisha Video generating device, method of controlling video generating device, display system, video generation control program, and computer-readable storage medium
JP6880697B2 (ja) * 2016-12-16 2021-06-02 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP6212667B1 (ja) 2016-12-26 2017-10-11 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP7073092B2 (ja) * 2017-01-06 2022-05-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10893190B2 (en) 2017-02-02 2021-01-12 PreNav, Inc. Tracking image collection for digital capture of environments, and associated systems and methods
US10204456B2 (en) * 2017-03-07 2019-02-12 vGolf, LLC Mixed reality golf simulation and training system
JP2018156339A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報表示システム、情報表示装置、制御方法、およびプログラム
WO2018193509A1 (ja) * 2017-04-17 2018-10-25 株式会社オプティム 遠隔作業支援システム、遠隔作業支援方法、及びプログラム
JP6257827B1 (ja) * 2017-06-01 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
US11024078B2 (en) * 2017-08-07 2021-06-01 Verizon Patent And Licensing Inc. Systems and methods compression, transfer, and reconstruction of three-dimensional (3D) data meshes
JP6419916B1 (ja) * 2017-09-04 2018-11-07 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
JP2019179080A (ja) * 2018-03-30 2019-10-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN113010125B (zh) * 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器

Also Published As

Publication number Publication date
US11431952B2 (en) 2022-08-30
US20210352254A1 (en) 2021-11-11
US20220394227A1 (en) 2022-12-08
JP2023522654A (ja) 2023-05-31
WO2021231390A1 (en) 2021-11-18
US11689704B2 (en) 2023-06-27
EP4150588A1 (en) 2023-03-22
JP7462069B2 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
CN112334969B (zh) 多点slam捕获
US20210321169A1 (en) Smart glasses closed captioning
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
EP4252195A1 (en) Real world beacons indicating virtual locations
US11689704B2 (en) User selection of virtual camera location to produce video using synthesized input from multiple cameras
US20190066194A1 (en) Intelligent tv startup based on consumer behavior and real time content availability
US20210216133A1 (en) Combined light intensity based cmos and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality hmd systems
US20210037288A1 (en) Haptics metadata in a spectating stream
US10373358B2 (en) Edge user interface for augmenting camera viewfinder with information
US20180139259A1 (en) Embedding html-5 and javascript in user-data field of mpeg or avc transport stream
US11373342B2 (en) Social and scene target awareness and adaptation of an occlusion system for increased social and scene interaction in an optical see-through augmented reality head mounted display
US20220180664A1 (en) Frame of reference for motion capture
US20220180854A1 (en) Sound effects based on footfall
US20210349310A1 (en) Highly interactive display environment for gaming
US11877029B2 (en) Smart media recommendations by events
US20240042312A1 (en) Haptics support for ui navigation
US20190020808A1 (en) Remotely controllable camera on head-mount for the blind
CN117940976A (zh) 游戏根据装置能力的自适应渲染
CN116941234A (zh) 用于运动捕捉的参考系
WO2020180509A1 (en) Controller inversion detection for context switching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination