CN111882669A - 虚拟实境设备及其控制方法以及移动装置控制方法 - Google Patents

虚拟实境设备及其控制方法以及移动装置控制方法 Download PDF

Info

Publication number
CN111882669A
CN111882669A CN201910451565.4A CN201910451565A CN111882669A CN 111882669 A CN111882669 A CN 111882669A CN 201910451565 A CN201910451565 A CN 201910451565A CN 111882669 A CN111882669 A CN 111882669A
Authority
CN
China
Prior art keywords
camera
mobile device
application
information
metaverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910451565.4A
Other languages
English (en)
Inventor
黄继养
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future City Co ltd
Original Assignee
Future City Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future City Co ltd filed Critical Future City Co ltd
Publication of CN111882669A publication Critical patent/CN111882669A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4433—Implementing client middleware, e.g. Multimedia Home Platform [MHP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了虚拟实境设备及其控制方法以及移动装置控制方法，首先，第一应用程序发送对图像相关信息的请求；然后，相机框架层响应来自该第一应用程序的请求并发送用于相机控制的指令；然后，相机硬件抽象层响应来自该相机框架层的指令；然后，控制层控制该相机硬件抽象层向第二应用程序发送控制命令以获得图像相关信息；最后，该第二应用程序提供由虚拟实境世界中的虚拟相机获取的虚拟实境信息作为该图像相关信息。本发明使得虚拟实境设备能够实现替换功能和/或叠加功能。

Description

虚拟实境设备及其控制方法以及移动装置控制方法
技术领域
本发明涉及一种虚拟实境设备及其控制方法以及一种移动装置控制方法，尤其涉及一种能够实现替换功能和/或叠加功能的虚拟实境设备及其控制方法，以及该种虚拟实境设备与其它移动装置之间交互的控制方法。
背景技术
虚拟实境(Virtual Reality，VR)通过VR设备来丰富使用者的体验，提供具有虚拟对象(三维模型，二维纹理等)的沉浸式虚拟环境。但是目前的虚拟实境系统存在一个问题，即其他使用者难以共享VR使用者的VR图像。例如，当VR使用者向他的朋友进行多媒体呼叫并且想要在VR世界中分享他的虚拟相机获取的VR图像，而不是真实环境中实体相机获取的真实场景图像时，不容易将多媒体应用程序中的真实场景图像替换成VR图像以达成此功能。
另一个困难在于，目前难以在不同品牌的虚拟实境设备之间共享VR信息。如果使用者想要在VR世界中分享他们的VR图像，他们可能需要使用相同品牌的VR系统。这个问题限制了人们彼此分享VR体验的可能性。
此外，这些VR使用者需要佩戴VR设备，如头戴式显示器，这是一个带有大量相机和感应器的复杂系统。没有这些VR设备的人，例如，只有智能手机、笔记本电脑、平板电脑或PC的人，可能无法体验VR世界。因此，VR使用者无法将自己在VR世界中的成就分享给没有VR设备的其他用户。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
因此，本发明的目的之一在于提供一种虚拟实境设备及其控制方法，以解决上述问题。
为实现上述目的或其他目的，本发明实施例公开了一种虚拟实境设备的控制方法，包括：一第一应用程序发送对图像相关信息的请求；一相机框架层响应来自所述第一应用程序的所述请求，并发送用于相机控制的指令；一相机硬件抽象层响应来自所述相机框架层的所述指令；一控制层控制所述相机硬件抽象层向一第二应用程序发送控制命令以获取所述图像相关信息；以及，所述第二应用程序提供由虚拟实境世界中的虚拟相机获取的虚拟实境信息作为所述图像相关信息。
为实现前述目的或其他目的，本发明实施例公开了一种虚拟实境设备，包括：一第一应用程序，配置成发送对图像相关信息的请求；一相机框架层，配置成响应来自所述第一应用程序的所述请求，并发送相机控制指令；一相机硬件抽象层，配置成响应来自所述相机框架层的所述相机控制指令，并向一第二应用程序发送控制命令，以提供所述图像相关信息；以及，所述第二应用程序，配置成提供虚拟实境世界中虚拟相机获取的虚拟实境信息；其中所述相机硬件抽象层包括一控制层，配置成控制所述相机硬件抽象层以将所述控制命令发送到所述第二应用程序以获得所述图像相关信息。
为实现前述目的或其他目的，本发明实施例另还提供了一种移动装置控制方法，用于控制一第一移动装置和一第二移动装置，其特征在于，包括：在所述第一移动装置和所述第二移动装置上启动第一应用程序，所述第一应用程序构建所述第一移动装置和所述第二移动装置之间的通信通道，并且所述第一应用程序发送图像相关信息的请求；所述第一移动装置的一相机框架层响应来自所述第一应用程序的所述请求，并发送用于相机控制的指令；所述第一移动装置的一相机硬件抽象层响应来自所述第一移动装置的所述相机框架层的所述指令；所述第一移动装置的一控制层控制所述第一移动装置的所述相机硬件抽象层，以向一第二应用程序发送用于所述图像相关信息的控制命令；所述第二应用程序提供虚拟实境世界中虚拟相机获取的虚拟实境信息作为所述图像相关信息；以及，所述第一应用程序经由所述第一移动装置的所述相机硬件抽象层从所述第二应用程序接收所述虚拟实境信息。
综上所述，本发明公开了一种具有控制层的虚拟实境设备，使得虚拟实境设备能够实现替换功能和/或叠加功能。
附图说明
图1是本发明一具体实施例的虚拟实境设备；
图2是本发明一具体实施例提供的用于控制图1所示的虚拟实境设备的方法流程图；
图3是本发明具体实施例中两个不同移动装置的显示屏幕示意图；
图4是本发明一具体实施例的虚拟实境设备和移动装置的交互示意图；
图5是本发明一具体实施例中一智能手机上显示的图像；
图6是本发明一具体实施例的第一移动装置和第二移动装置的交互示意图；
图7和图8为本发明具体实施例中控制第一移动装置和第二移动装置的方法流程图。
附图标记说明：
100 虚拟实境设备
101、102 应用程序
103 操作系统
104、610 控制层
105、606、626 相机框架层
106、608、628 相机硬件抽象层
110 前相机
120 后相机
S202至S216 步骤
S702至S720 步骤
302、306 主图像
304、308 附加图片
406 移动装置
408 多媒体应用程序
500 图像
504、506 图片
600 第一移动装置
602 第一应用程序
604 第二应用程序
620 第二移动装置
612、632 实体相机
614、616、634、636 相机
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步说明。图1绘示了本发明一具体实施例的虚拟实境设备100的原理架构。虚拟实境设备100包括在操作系统(OperatingSystem，OS)103上运行的应用程序101和应用程序102。虚拟实境设备100包括实体相机。在本实施例中，实体相机包括至少一个前相机110和至少一个后相机120，用于获取真实场景图像。操作系统103包括控制层104、相机框架层105和相机硬件抽象层106。
应用程序101可以是诸如Whatsapp、Facebook、Skype等的多媒体应用程序。应用程序102提供虚拟实境世界中由虚拟相机获取的虚拟实境信息。操作系统103是管理计算机硬件和软件资源并为计算机程序提供服务的系统软件。控制层104，相机框架层105和相机硬件抽象层106是内置在操作系统103中的程序码，并且可以在需要时被调用。
更详细地说明，相机框架层105可以向相机硬件抽象层106提供用于相机控制的指令。相机硬件抽象层106可以响应该指令来操作多个相机110至120。控制层104可以为应用程序101和应用程序102提供一个界面。此外，控制层104可以控制相机硬件抽象层106以向应用程序101和应用程序102发送或收集信息。控制层104可以是在操作系统103的内核中。
通过控制层104，可以实现图像替换功能。例如，控制层104可以控制相机硬件抽象层106以从应用程序102收集虚拟实境信息，而不是来自实体相机的真实场景信息，作为应用程序101所需的图像相关信息。在这种情况下，虚拟实境信息可以是获取虚拟实境世界中的使用者化身的照片。
此外，通过控制层104，还可以实现图像叠加功能。例如，控制层104可以控制相机硬件抽象层106以从应用程序102收集虚拟实境信息和从实体相机收集真实场景信息。然后，应用程序101可以将虚拟实境信息的物件叠加到真实场景信息的环境中，以生成图像相关信息。或者，应用程序101可以将真实场景信息的物件叠加到虚拟实境信息的环境中，以生成图像相关信息。
图2为根据本发明实施例的用于控制图1所示虚拟实境设备的方法流程图，该方法包括以下步骤：
步骤S202：应用程序101发送对图像相关信息的请求；
步骤S204：相机框架层105响应来自应用程序101的请求，并发送用于相机控制的指令；
步骤S206：相机硬件抽象层106响应来自相机框架层105的指令；
步骤S208：控制层104控制相机硬件抽象层106，以向应用程序102发送第一控制命令以获取图像相关信息；
步骤S210：应用程序102提供虚拟实境世界中虚拟相机获取的虚拟实境信息作为图像相关信息；
步骤S212：控制层104控制相机硬件抽象层106，以向虚拟实境设备100的实体相机发送第二控制命令以获取图像相关信息；
步骤S214：虚拟实境设备100的实体相机提供实体相机在真实环境中获取的真实场景信息作为图像相关信息；
步骤S216：应用程序101从相机硬件抽象层106接收虚拟实境信息和/或真实场景信息。
在步骤S202中，应用程序101发送对图像相关信息的请求。在一实施例中，请求的发送可通过一个或多个使用者操作来触发。图像相关信息可包括图像信息、视频信息、相机位置信息和相机时间信息中的至少一个，其中相机位置信息和相机时间信息记录照片拍摄的地址和时间。
在步骤S204中，相机框架层105响应于来自应用程序101的请求，并发送用于相机控制的指令。然后，在步骤S206中，相机硬件抽象层106响应来自相机框架层105的指令。
在步骤S208和步骤S212中，公开了控制层104的功能。控制层104能够控制相机硬件抽象层106，从而让相机硬件抽象层106发送控制命令到至少一个目标信息来源，用于获取图像相关信息。
在本实施例中，目标信息来源的数量为2，即控制层104控制相机硬件抽象层106向应用程序102和实体相机发送两个控制命令，但本发明不限于此。例如，控制层104可以控制相机硬件抽象层106仅向应用程序102或实体相机发送控制命令。在这种情况下，将相应地省略步骤S208和S210，或者，省略步骤S212和S214，然后，在步骤S214中，应用程序101仅从相机硬件抽象层106接收虚拟实境信息和真实场景信息中的一个。在控制层104仅向应用程序102发送控制命令的情况下，由于应用程序102仅接收并显示虚拟实境信息，因此实现替换功能，使得真实场景信息被虚拟实境信息替换。
在步骤S210和步骤S214中，应用程序102和实体相机提供虚拟实境信息和真实场景信息作为图像相关信息，其中虚拟实境信息由虚拟世界(或称“虚拟实境世界”)中的虚拟相机获取，真实场景信息由真实环境中的实体相机获取。类似地，虚拟实境信息和真实场景信息都可以包括图像信息、视频信息、相机位置信息和相机时间信息中的至少一个，其中虚拟实境信息的相机位置信息和相机时间信息分别记录虚拟世界中虚拟相机拍摄照片的地址和时间。
在步骤S216中，应用程序101从相机硬件抽象层106接收虚拟实境信息和/或真实场景信息。因此，当同时使用虚拟实境信息和真实场景信息时，两者可以执行叠加功能。
图3中(a)和(b)分别显示了根据本发明实施例的两个不同移动装置的显示屏幕。两个不同的移动装置启动相同的应用程序并相互通信。其中，(a)显示屏幕显示由虚拟实境信息和/或真实场景信息生成的图像给第一使用者；(b)显示屏幕显示由虚拟实境信息和/或真实场景信息生成的图像给第二使用者。
在图3中，每个显示屏幕以画中画模式显示图像。图像的主图像302、306显示了其他人，并且图像的附加图片304、308显示了使用者自己。可以通过虚拟实境信息和/或真实场景信息生成包括主图像302、306和附加图片304、308的图像。
在本实施例中，两个移动装置可以是相同品牌或不同品牌的虚拟实境设备，并且本发明不限于此。例如，移动装置之一可以是虚拟实境设备，而移动装置中的另一个不是虚拟实境设备。例如，移动装置中的另一个是智能型手机，笔记型计算机，平板计算机或个人计算机。
图4显示根据本发明实施例的虚拟实境设备100和移动装置406的交互。虚拟实境设备100和移动装置406启动相同的多媒体应用程序408并相互通信。移动装置406可以是虚拟实境设备，也可以不是虚拟实境设备。
因为虚拟实境设备100和移动装置406启动相同的多媒体应用程序408并且彼此通信，所以当移动装置406不是虚拟实境设备时，具有控制层104的虚拟实境设备100可以共享虚拟实境信息到移动装置406。
因此，移动装置406的使用者可以体验虚拟实境世界。例如，虚拟实境信息可以实时地被发送到移动装置406，并且由虚拟实境信息生成的图像显示出经历虚拟实境世界的移动装置406的使用者的360度视野。
图5显示根据本发明实施例的移动装置406上的图像500。与图3的图像不同，图5的图像500未以画中画模式示出。图5的图像500分别示出了两个图片504、506，其中图片504、506都由虚拟实境信息所生成。在其他实施例中，可以通过虚拟实境信息生成图片，并且可以通过真实场景信息生成另一个图片。当提供虚拟实境信息和/或真实场景信息时，虚拟实境设备100和移动装置406可以显示图3的图像和图5的图像500。
图6示出了实施例的第一移动装置600和第二移动装置620。第一移动装置600是虚拟实境设备，第二移动装置620不是虚拟实境设备。
图7和图8为根据本发明实施例的用于控制图6所示的第一移动装置600和第二移动装置620的方法流程图。图7以及图8的方法包括以下步骤：
步骤S702：在第一移动装置600及第二移动装置620上启动第一应用程序602，第一应用程序602构建第一移动装置600和第二移动装置620之间的通信通道，并且第一应用程序602发送对图像相关信息的请求；
步骤S704：第一移动装置600的相机框架层606响应于来自第一应用程序602的请求，并发送用于相机控制的指令；
步骤S706：第一移动装置600的相机硬件抽象层608响应来自第一移动装置600的相机框架层606的指令；
步骤S708：第一移动装置600的控制层610控制第一移动装置600的相机硬件抽象层608，以向第二应用程序604发送控制命令以获取图像相关信息；
步骤S710：第二应用程序604提供虚拟实境世界中虚拟相机撷取的虚拟实境信息作为图像相关信息；
步骤S712：第二移动装置620的相机框架层626响应来自第一应用程序602的请求，并发送用于相机控制的指令；
步骤S714：第二移动装置620的相机硬件抽象层628响应来自第二移动装置620的相机框架层626的指令，并将控制命令发送到第二移动装置620的实体相机632；
步骤S716：第二移动装置620的实体相机632提供由实体相机632获取的真实场景信息作为图像相关信息；
步骤S718：第一应用程序602经由第一移动装置600的相机硬件抽象层608从第一移动装置600的第二应用程序604接收虚拟实境信息；和/或第一应用程序602经由第二移动装置620的相机硬件抽象层628从第二移动装置620的实体相机632接收真实场景信息；
步骤S720：第一移动装置600和第二移动装置620中的至少一个将由虚拟实境信息和/或真实场景信息生成的图像显示给使用者。
在步骤S702中，应用程序602发送对图像相关信息的请求。在一个实施例中，通过第一移动装置600和/或第二移动装置620的一个或多个使用者操作来触发请求的发送。例如，使用者在第一移动装置600的显示屏幕上按下虚拟按钮，以进行呼叫。然后，另一使用者在第二移动装置620的显示屏幕上按下实体按钮，用于回应呼叫。
在步骤S704和步骤S712中，相机框架层606和相机框架层626分别响应来自第一应用程序602的请求，并发送用于相机控制的指令。然后，在步骤S706和步骤S714中，相机硬件抽象层608和相机硬件抽象层628分别响应来自相机框架层606、626的指令。
在步骤S708中，类似于图2的方法中的步骤S208，控制层610能够控制相机硬件抽象层608，从而让相机硬件抽象层608向至少一个目标发送控制命令，用于获取图像相关信息的信息来源。在该实施例中，控制相机硬件抽象层608以仅向第二应用程序604发送一个控制命令，以获取虚拟实境信息作为图像相关信息。第一移动装置600的实体相机612(其包括一个或多个相机614、相机616)未被接收到控制命令。
在步骤S710和步骤S716中，第二应用程序604和实体相机632分别提供虚拟实境世界中虚拟相机获取的虚拟实境信息和实体相机632获取的真实场景信息。实体相机632包括一个或多个相机634、636。
在步骤S718中，应用程序602从相机硬件抽象层606和相机硬件抽象层626接收虚拟实境信息和/或真实场景信息。然后，在步骤S720中，第一移动装置600和/或第二移动装置620显示由虚拟实境信息和/或真实场景信息生成的图像给使用者。
值得注意的是，由于相机硬件抽象层608被控制于向应用程序604发送一个控制命令，因此可以实现替换功能。
此外，在其他实施例中，可以省略步骤S710、S712和S716，并且第一移动装置600和/或第二移动装置620可以仅显示由虚拟实境信息生成的图像。
综上所述，本发明公开了一种具有控制层的虚拟实境设备，使得虚拟实境设备能够实现替换功能和/或叠加功能
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (14)

1.一种虚拟实境设备的控制方法，其特征在于，包括：
一第一应用程序发送对图像相关信息的请求；
一相机框架层响应来自所述第一应用程序的所述请求，并发送用于相机控制的指令；
一相机硬件抽象层响应来自所述相机框架层的所述指令；
一控制层控制所述相机硬件抽象层向一第二应用程序发送控制命令以获取所述图像相关信息；以及，
所述第二应用程序提供由虚拟实境世界中的虚拟相机获取的虚拟实境信息作为所述图像相关信息。
2.如权利要求1所述的虚拟实境设备的控制方法，其特征在于，还包括：所述第一应用程序从所述相机硬件抽象层接收所述虚拟实境信息。
3.如权利要求2所述的虚拟实境设备的控制方法，其特征在于，还包括：所述第一应用程序在所述虚拟实境设备上向使用者显示由所述虚拟实境信息生成的图像。
4.如权利要求1所述的虚拟实境设备的控制方法，其特征在于，还包括：
所述控制层控制所述相机硬件抽象层，以向所述虚拟实境设备的一实体相机发送另一控制命令以获取图像相关信息；
所述虚拟实境设备的所述实体相机提供由所述实体相机在真实环境中获取的真实场景信息作为所述图像相关信息；以及，
所述第一应用程序从所述相机硬件抽象层接收所述虚拟实境信息和所述真实场景信息。
5.如权利要求4所述的虚拟实境设备的控制方法，其特征在于，还包括：所述第一应用程序在所述虚拟实境设备上向使用者显示由所述虚拟实境信息和所述真实场景信息生成的图像。
6.一种虚拟实境设备，其特征在于，包括：
一第一应用程序，配置成发送对图像相关信息的请求；
一相机框架层，配置成响应来自所述第一应用程序的所述请求，并发送相机控制指令；
一相机硬件抽象层，配置成响应来自所述相机框架层的所述相机控制指令，并向一第二应用程序发送控制命令，以提供所述图像相关信息；以及，
所述第二应用程序，配置成提供虚拟实境世界中虚拟相机获取的虚拟实境信息；
其中所述相机硬件抽象层包括一控制层，配置成控制所述相机硬件抽象层以将所述控制命令发送到所述第二应用程序以获得所述图像相关信息。
7.如权利要求6所述的虚拟实境设备，其特征在于，所述第一应用程序另配置成从所述相机硬件抽象层接收所述虚拟实境信息。
8.如权利要求7所述的虚拟实境设备，其特征在于，所述第一应用程序另配置成在所述虚拟实境设备上向使用者显示基于所述虚拟实境信息的图像。
9.如权利要求6所述的虚拟实境设备，其特征在于，所述控制层另配置成控制所述相机硬件抽象层向所述虚拟实境设备的一实体相机发送另一控制命令，以获取图像相关信息；
所述虚拟实境设备的所述实体相机配置成提供由所述实体相机在真实环境中获取的真实场景信息作为所述图像相关信息；
所述第一应用程序另配置成从所述相机硬件抽象层接收所述虚拟实境信息和所述真实场景信息。
10.如权利要求9所述的虚拟实境设备，其特征在于，所述第一应用程序另配置成在所述虚拟实境设备上向使用者显示基于所述虚拟实境信息和所述真实场景信息的图像。
11.一种移动装置控制方法，用于控制一第一移动装置和一第二移动装置，其特征在于，包括：
在所述第一移动装置和所述第二移动装置上启动第一应用程序，所述第一应用程序构建所述第一移动装置和所述第二移动装置之间的通信通道，并且所述第一应用程序发送图像相关信息的请求；
所述第一移动装置的一相机框架层响应来自所述第一应用程序的所述请求，并发送用于相机控制的指令；
所述第一移动装置的一相机硬件抽象层响应来自所述第一移动装置的所述相机框架层的所述指令；
所述第一移动装置的一控制层控制所述第一移动装置的所述相机硬件抽象层，以向一第二应用程序发送用于所述图像相关信息的控制命令；
所述第二应用程序提供虚拟实境世界中虚拟相机获取的虚拟实境信息作为所述图像相关信息；以及，
所述第一应用程序经由所述第一移动装置的所述相机硬件抽象层从所述第二应用程序接收所述虚拟实境信息。
12.如权利要求11所述的移动装置控制方法，其特征在于，所述第一移动装置和所述第二移动装置是虚拟实境设备。
13.如权利要求11所述的移动装置控制方法，其特征在于，所述第一移动装置是虚拟实境设备，所述第二移动装置不是虚拟实境设备。
14.如权利要求13所述的移动装置控制方法，其特征在于，还包括：
所述第二移动装置的一相机框架层响应于来自所述第一应用程序的请求，发送用于相机控制的指令；
所述第二移动装置的一相机硬件抽象层响应来自所述第二移动装置的所述相机框架层的所述指令，并将控制命令发送到所述第二移动装置的一实体相机；
所述第二移动装置的所述实体相机提供由所述实体相机获取的真实场景信息作为所述图像相关信息；
所述第一应用程序经由所述第二移动装置的所述相机硬件抽象层从所述第二移动装置的所述实体相机接收真实场景信息；以及，
所述第一移动装置和所述第二移动装置中的至少一者显示由所述虚拟实境信息和所述真实场景信息生成的图像。
CN201910451565.4A 2019-05-03 2019-05-28 虚拟实境设备及其控制方法以及移动装置控制方法 Withdrawn CN111882669A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/402,246 US20200349749A1 (en) 2019-05-03 2019-05-03 Virtual reality equipment and method for controlling thereof
US16/402,246 2019-05-03

Publications (1)

Publication Number Publication Date
CN111882669A true CN111882669A (zh) 2020-11-03

Family

ID=73015953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910451565.4A Withdrawn CN111882669A (zh) 2019-05-03 2019-05-28 虚拟实境设备及其控制方法以及移动装置控制方法

Country Status (4)

Country Link
US (1) US20200349749A1 (zh)
JP (1) JP6782812B2 (zh)
CN (1) CN111882669A (zh)
TW (1) TW202042060A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220446A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种图像或视频数据处理方法及终端设备
CN113852718A (zh) * 2021-09-26 2021-12-28 北京鲸鲮信息系统技术有限公司 语音通道建立方法、装置、电子设备及存储介质
CN116260920A (zh) * 2023-05-09 2023-06-13 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210056220A1 (en) * 2019-08-22 2021-02-25 Mediatek Inc. Method for improving confidentiality protection of neural network model
CN116419057A (zh) * 2021-12-28 2023-07-11 北京小米移动软件有限公司 拍摄方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180023326A (ko) * 2016-08-25 2018-03-07 삼성전자주식회사 전자 장치 및 이미지 센서로부터 획득된 이미지를 어플리케이션으로 전달하기 위한 방법
JP7042644B2 (ja) * 2018-02-15 2022-03-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、画像生成方法およびコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220446A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种图像或视频数据处理方法及终端设备
CN113852718A (zh) * 2021-09-26 2021-12-28 北京鲸鲮信息系统技术有限公司 语音通道建立方法、装置、电子设备及存储介质
CN116260920A (zh) * 2023-05-09 2023-06-13 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2020184736A (ja) 2020-11-12
JP6782812B2 (ja) 2020-11-11
TW202042060A (zh) 2020-11-16
US20200349749A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP6782812B2 (ja) 仮想現実機器及び仮想現実機器を制御する方法
US11089266B2 (en) Communication processing method, terminal, and storage medium
US11032514B2 (en) Method and apparatus for providing image service
CN111527525A (zh) 混合现实服务提供方法及系统
CN105554372B (zh) 一种拍摄方法以及装置
EP3736667A1 (en) Virtual reality equipment capable of implementing a replacing function and a superimposition function and method for control thereof
CN113490010B (zh) 基于直播视频的互动方法、装置、设备及存储介质
KR20180004068A (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US12075167B2 (en) Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
CN109496293A (zh) 扩展内容显示方法、装置、系统及存储介质
CN114651448B (zh) 信息处理系统、信息处理方法和程序
WO2019096307A1 (zh) 视频播放方法、装置、计算设备及存储介质
US20160381322A1 (en) Method, Synthesizing Device, and System for Implementing Video Conference
US20240089603A1 (en) Communication terminal, image communication system, and method of displaying image
CN109308740B (zh) 3d场景数据处理方法、装置及电子设备
CN116939275A (zh) 直播虚拟资源展示方法、装置、电子设备、服务器及介质
KR20190129592A (ko) 휴대 단말에서의 영상 제공 방법 및 그 장치
EP3599763B1 (en) Method and apparatus for controlling image display
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
CN112634339B (zh) 商品对象信息展示方法、装置及电子设备
CN110233966B (zh) 一种图像生成方法及终端
CN112887663A (zh) 图像显示方法、图像通信系统、摄影装置、以及存储介质
CN118803439A (zh) 云手机摄像头处理方法及装置、系统
JP2000353253A (ja) ３次元協調仮想空間における映像表示方法
CN116419023A (zh) 一种跨设备采集屏幕图像的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201103

WW01 Invention patent application withdrawn after publication