CN110825219A - 电子设备、电子设备的控制方法和电子系统 - Google Patents

电子设备、电子设备的控制方法和电子系统 Download PDF

Info

Publication number
CN110825219A
CN110825219A CN201910747715.6A CN201910747715A CN110825219A CN 110825219 A CN110825219 A CN 110825219A CN 201910747715 A CN201910747715 A CN 201910747715A CN 110825219 A CN110825219 A CN 110825219A
Authority
CN
China
Prior art keywords
display device
motion information
image
processor
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910747715.6A
Other languages
English (en)
Other versions
CN110825219B (zh
Inventor
朴凤吉
池东焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110825219A publication Critical patent/CN110825219A/zh
Application granted granted Critical
Publication of CN110825219B publication Critical patent/CN110825219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)

Abstract

一种电子设备、电子设备的控制方法和电子系统。提供了一种电子设备。根据实施例的电子设备包括：存储器；通信器，包括通信电路；以及处理器，被配置为基于存储在存储器中的虚拟现实(VR)图像信息渲染包括与第一显示装置对应的第一对象的VR图像，其中，处理器还被配置为：通过通信器从第二显示装置接收第二显示装置的运动信息，基于根据第二显示装置的运动信息第一对象被包括在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域，并且控制通信器将VR图像的被渲染的一个区域发送到第二显示装置。

Description

电子设备、电子设备的控制方法和电子系统
相关申请的交叉引用
本申请基于并要求于2018年8月14日提交到韩国知识产权局的申请号为10-2018-0095069的韩国专利申请的优先权，其公开通过引用全部包含于此。
技术领域
本公开涉及一种电子设备、所述电子设备的控制方法、以及电子系统，例如，涉及一种用于提供虚拟现实(VR)图像的电子设备、所述电子设备的控制方法和电子系统。
背景技术
近来，越来越多的人玩游戏，并通过虚拟现实设备欣赏图像。虚拟现实技术通过控制用户的认知系统来实现极致程度的沉浸感。
同时，在消费诸如电影或互动游戏的多媒体内容时，图像和声音的整体质量对于双重印象是至关重要的，这是一个众所周知的因素。然而，对于相同的内容，与谁在一起可能是消费内容的一个关键因素。然而，由于强有力地控制认知系统的结构特性的原因，作为内容欣赏最重要的元素之一的与他人分享印象并没有得到太多关注。
此外，当在多个用户欣赏虚拟空间中的图像的情况下一个用户出现诸如网络错误的问题时，其他用户的观看图像可能会因为该用户的无反应或异常反应而受到打扰。
因此，人们对一种下述方法的需求越来越大，这种方法能够以极致程度提供沉浸于虚拟现实的感觉，最大限度地增加与其他人之间的交互，并且即使在出现问题的情况下也使得对图像欣赏的干扰降至最低。
发明内容
各种示例实施例的示例方面涉及一种电子设备、电子设备的控制方法和电子系统，其中，所述电子设备用于为虚拟空间提供VR图像，以便即使用户位于不同位置也共享彼此的印象。根据实施例，提供一种电子装置，该电子装置包括：存储器；通信器，包括通信电路；处理器，被配置为基于存储在存储器中的虚拟现实(VR)图像信息渲染包括与第一显示装置对应的第一对象的VR图像，其中，处理器还被配置为：通过通信器从第二显示装置接收第二显示装置的运动信息，基于根据第二显示装置的运动信息第一对象被包括在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域，并控制通信器向第二显示装置发送VR图像的被渲染的一个区域。
处理器还可被配置为：通过通信器从第一显示装置接收第一显示装置的运动信息，并通过基于第一显示装置的运动信息改变第一对象的运动信息来渲染VR图像的一个区域。
处理器还可被配置为：基于第二对象的位置和第二显示装置的运动信息来识别第二对象的视野。
处理器还可被配置为：渲染包括内容再现区域的VR图像。
处理器还可被配置为：控制通信器将VR图像的被渲染的一个区域和内容发送到第二显示装置，并基于在根据第二显示装置的运动信息被接收到的时间点的预定再现部分期间的所述内容的情绪类型以及第一显示装置的运动信息，改变第一对象的运动。
处理器还可被配置为：基于第三对象被包括在第二对象的视野中，通过基于存储在存储器中的第三对象的运动信息改变第三对象的运动来渲染VR图像的一个区域，并控制通信器将VR图像的被渲染的一个区域和内容发送到第二显示装置，其中，第三对象的运动信息包括基于由第三显示装置再现的内容而从第三显示装置接收到的运动信息。
处理器还可被配置为：基于第三对象也被包括在第二对象的视野中，通过基于存储在存储器中的第三对象的动画信息改变第三对象的运动来渲染VR图像的被渲染的一个的区域，其中，关于第三对象的动画信息包括由制作者基于内容的情绪类型预先生成的运动信息。
处理器还可被配置为：基于从第一显示装置接收的第一声音信息向VR图像的被渲染的一个区域添加第一对象的声音，并控制电子装置发送VR图像。
处理器还可被配置为：控制通信器将VR图像的被渲染的一个区域和内容发送到第二显示装置，并且基于在预定的第一时间段期间没有从第一显示装置接收到第一显示装置的运动信息，或者接收到的第一显示装置的运动信息在预定的第二时间段期间没有改变，处理器基于所述内容的情绪类型来改变第一对象的运动。
处理器还可被配置为基于所述内容的情绪类型将接收到的第一显示装置的运动信息存储在存储器中，基于在预定的第一时间段期间没有从第一显示装置接收到第一显示装置的运动信息，或者接收到的第一显示装置的运动信息在预定的第二时间段期间没有改变，处理器基于存储在存储器中的第一显示装置的运动信息之中的与所述内容的当前再现部分的情绪类型对应的运动信息来改变第一对象的运动。
处理器还可被配置为：基于与所述内容的当前再现部分的情绪类型对应的运动信息没有被存储在存储器中，基于存储在存储器中的动画信息之中的与所述情绪类型对应的动画信息来改变第一对象的运动。
根据示例实施例，提供了一种电子系统，所述电子系统包括：第一显示装置，包括显示器；第二显示装置，包括显示器；以及电子设备，被配置为基于虚拟现实(VR)图像信息渲染包括与第一显示装置对应的第一对象的VR图像，其中，电子设备还被配置为：从第二显示装置接收第二显示装置的运动信息，基于根据第二显示装置的运动信息第一对象被包括在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域，并控制电子设备将VR图像的被渲染的一个区域发送到第二显示装置，其中，第二显示装置显示从电子设备接收到的VR图像的一个区域。
根据实施例，提供了一种用于控制电子设备的方法，所述方法包括：基于虚拟现实(VR)图像信息渲染包括与第一显示装置对应的第一对象的VR图像；从第二显示装置接收第二显示装置的运动信息；基于根据第二显示装置的运动信息第一对象被包括在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域；并将VR图像的被渲染的一个区域发送到第二显示装置。
渲染VR图像的一个区域的步骤可包括：从第一显示装置接收第一显示装置的运动信息，并通过基于第一显示装置的运动信息改变第一对象的运动来渲染VR图像的所述一个区域。
渲染VR图像的一个区域的步骤可包括：基于第二对象的位置和第二显示装置的运动信息来识别第二对象的视野。
渲染VR图像的步骤可包括：渲染包括内容再现区域的VR图像。
发送步骤可包括：将内容发送到第二显示装置，其中，渲染VR图像的一个区域的步骤包括：基于在根据第二显示装置的运动信息被接收到的时间点的预定再现部分期间的所述内容的情绪类型以及第一显示装置的运动信息，改变第一对象的运动。
渲染VR图像的一个区域的步骤可包括：基于第三对象被包括在第二对象的视野中，通过基于预先存储的第三对象的运动信息改变第三对象的运动来渲染VR图像的所述一个区域，其中，发送步骤包括：将VR图像的所述一个区域和内容发送到第二显示装置，并且其中，所述预先存储的第三对象的运动信息是基于由第三显示装置再现的内容而从第三显示装置接收到的运动信息。
渲染VR图像的一个区域的步骤可包括：基于第三对象被包括在第二对象视野中，通过基于预先存储的第三对象的动画信息改变第三对象的运动来渲染VR图像的所述一个区域，并且其中，所述预先存储的第三对象的动画信息包括由制作者基于内容的情绪类型而预先生成的运动信息。
发送步骤可包括：基于从第一显示装置接收到的第一声音信息将第一对象的声音添加到VR图像的被渲染的一个区域，并发送VR图像。
根据上述各种示例实施例，电子设备可基于从显示装置接收到的运动信息改变虚拟空间中与显示装置对应的对象的运动，并向其他显示装置的用户提供该显示装置的用户的印象。
附图说明
通过结合附图的以下详细描述，本公开的特定实施例的以上和其他方面、特征和伴随的优点将会更清楚，其中：
图1是示出根据本公开的实施例的示例电子系统的示图；
图2A是示出根据本公开的实施例的电子设备的示例配置的框图；
图2B是示出根据本公开的实施例的电子设备的示例配置的框图；
图3A、图3B和图3C是示出根据本公开的各种实施例的基于运动信息的VR图像的示例的示图；
图4A和图4B是示出根据本公开的实施例的使用历史的示例方法的示图；
图5是示出根据本公开的实施例的用于使用动画信息的示例方法的示图；
图6A和图6B是示出根据本公开的各种实施例的考虑情绪类型的示例对象渲染的示图；
图7是示出根据本公开的实施例的当出现问题时的示例操作的示图；
图8是示出根据本公开的实施例的存储运动信息的示例的示图；
图9A和图9B是示出根据本公开的实施例的各种示例扩展实施例的示图；以及
图10是示出根据本公开的实施例的控制电子设备的示例方法的流程图。
具体实施方式
本公开的各种示例实施例可进行各种修改。因此，在附图中示出并在本公开中更详细地描述了各种示例实施例。然而，需要理解的是，本公开不限于任何特定的示例实施例，而是包括不脱离本公开的范围和精神的所有修改、等同物和替代物。此外，众所周知的功能或结构在它们可能以不必要的细节使本公开模糊之处没有被详细描述。
在下文中，将参照附图更详细地描述示例实施例。
图1是示出根据本公开的实施例的示例电子系统的示图。参照图1，电子系统1000可包括电子设备100、第一显示装置200-1和第二显示装置200-2。图1示出了第一显示装置200-1和第二显示装置200-2是头戴式显示器(HMD)，但是它们可以是眼镜。换句话说，只要第一显示装置200-1和第二显示装置200-2可由用户身体穿戴从而使用户能够观看图像，可使用任何形式的设备。在下文中，为了便于说明，第一显示装置200-1和第二显示装置200-2将被描述为HMD装置，但是应理解的是本公开不限于此。
电子设备100可被配置为渲染虚拟现实(VR)图像。例如，VR图像可被称为虚拟现实图像，虚拟现实可指例如人机界面，其中，该人机界面渲染特定环境或将情境计算机化，并让使用它的人表现得好像实际上是在与周围或环境进行互动。渲染可指例如基于外部信息(诸如光源、位置、颜色等)产生三维图像的过程。换句话说，电子设备100可针对三维虚拟空间来渲染VR图像。
电子设备100可渲染VR图像，其中，该VR图像包括与和电子设备100执行通信的第一显示装置200-1对应的第一对象以及与和电子设备100执行通信的第二显示装置200-2对应的第二对象中的至少一个。例如，电子设备100可渲染虚拟空间的VR图像，其中，在该虚拟空间中，第一对象和第二对象坐在观众中并观看屏幕上的电影。第一对象和第二对象可以是用户、人物或者名人的图像。电子设备100可向第一显示装置200-1和第二显示装置200-2提供多个人物和名人图像。第一显示装置200-1和第二显示装置200-2可将多个人物和名人图像显示为菜单，并且如果其中一个被选择，则第一显示装置200-1和第二显示装置200-2可将其信息发送到电子设备100。电子设备100可基于接收到的信息设置与每个显示装置对应的对象。
电子设备100可分别从第一显示装置200-1和第二显示装置200-2中的每一个接收第一运动信息和第二运动信息，并基于第一运动信息和第二运动信息分别渲染第一对象和第二对象。第一运动信息和第二运动信息可以是基于第一显示装置200-1的第一用户和第二显示装置200-2的第二用户的运动的运动信息。
例如，当第二用户向左侧旋转他/她的头部时，第二显示装置200-2可通过第二显示装置200-2中的传感器感测第二用户的运动，并将感测到的第二运动信息发送给电子设备100。当第二对象是用户图像时，电子设备100可基于第二运动信息旋转第二对象的头部。
电子设备100可实时渲染VR图像，并将VR图像的一个区域发送给第一显示装置200-1和第二显示装置200-2。例如，电子设备100可将VR图像的与在虚拟空间中的第一对象的位置处的第一对象的视野对应的第一区域发送到第一显示装置200-1，并将VR图像的与在虚拟空间中的第二对象的位置处的第二对象的视野对应的第二区域发送到第二显示装置200-2。
电子设备100可基于从第一显示装置200-1和第二显示装置200-2接收到的第一运动信息和第二运动信息识别(例如，确定)VR图像的第一区域和VR图像的第二区域。例如，当第一对象和第二对象中的每一个是有眼睛的人物时，电子装置100可基于第一运动信息识别第一对象的视野，基于识别的视野将VR图像的第一区域发送到第一显示装置200-1，基于第二运动信息识别第二对象的视野，并基于识别的视野将VR图像的第二区域发送到第二显示装置200-2。
用于执行操作的电子设备100可以是例如但不限于计算机、服务器、平板电脑、笔记本电脑等。然而，本公开不限于此。电子设备100可与第一显示装置200-1和第二显示装置200-2执行通信，并且任何类型的设备可被使用，只要其渲染VR图像即可。
所述显示装置可以是戴在用户的耳朵上并提供虚拟现实服务的头戴式显示器(HMD)。例如但不受限制，显示装置可具有为用户的双眼提供图像的眼镜、头戴式耳机、头盔等形状。
所述显示装置可通过显示器显示图像，并将该图像呈现在用户眼前。
当显示装置为HMD装置时，可在HMD装置的后部设置眼镜腿或带子，以便能戴在用户头上。此外，可在HMD装置上安装操作轨迹板、返回按钮、声控键等。
HMD装置可以是需要附加显示器的装置。例如，HMD装置可以是具有眼镜、头戴式耳机或头盔形状的主体(例如，外壳)，并且智能手机或平板电脑可附接到该主体的前部以为用户的双眼提供图像。
当用户头戴HMD装置时，显示器的被用户的左眼观看的区域和被用户的右眼观看的区域可能在空间上分离。因此，HMD装置可在显示器的被用户的左眼观看的区域和被用户的右眼观看的区域上显示不同图像，从而可在左眼和右眼上投射不同图像。
HMD装置可跟踪用户头部的运动，并立即更新视野图像，以及提供3D图像和2D图像。例如，当用户头戴HMD装置时，用户的视野可能被完全占据，并且360度的图像和声音可被提供。HMD装置中设置的陀螺传感器和加速度传感器可感测用户向上、向下、向左和向右移动，从而适合于该方向的视觉效果可被产生。
因此，可在用户注视的方向上向用户提供VR图像的一个区域，并使用户体验虚拟现实(VR)。
显示装置可以是眼镜。所述眼镜可在形状上与HMD装置不同，但其操作可与HMD装置的操作相同。
为了执行上述操作，第一显示装置200-1和第二显示装置200-2中的每一个可分别将第一用户的第一显示装置200-1的第一运动信息以及第二用户的第二显示装置200-2的第二运动信息发送到电子设备100。第一显示装置200-1和第二显示装置200-2中的每一个都可接收和显示VR图像的一个区域。
第一运动信息和第二运动信息中的每一个可以是通过感测第一显示装置200-1的自运动和第二显示装置200-2的自运动而获得的信息，但本公开不限于此。例如，第一运动信息和第二运动信息可以是通过感测对应的用户自身而获得的信息。例如，显示装置还可包括相机，通过相机感测用户的运动、脸部等，并将感测到的信息作为运动信息发送给电子设备100。
第一显示装置200-1和第二显示装置200-2可分别将第一运动信息和第二运动信息发送给电子设备100，并且电子设备100可基于接收到的信息渲染VR图像的第一区域和VR图像的第二区域，并将VR图像的被渲染的第一区域和第二区域分别发送给第一显示装置200-1和第二显示装置200-2。然而，本公开不限于此。
例如，电子设备100不仅可渲染VR图像的一个区域，还可渲染整个虚拟空间的VR图像。在该示例中下，电子设备100可将用于整个虚拟空间的VR图像发送到第一显示装置200-1和第二显示装置200-2，并且第一显示装置200-1和第二显示装置200-2可分别基于虚拟空间中第一对象的视野和第二对象的视野来显示接收到的VR图像的一部分。
第一显示装置200-1和第二显示装置200-2可将预定大小或者更大的第一运动信息和第二运动信息发送给电子设备100。例如，当用户移动很小时，显示装置可不将这种运动信息发送给电子设备100，并且电子设备100可在不明显改变视野的情况下将图像提供给显示装置。因此，即使用户移动了一点，用户也可观看到没有任何抖动的VR图像。
如上所述，电子系统1000具有两个显示装置，但不限于此。例如，电子系统1000可具三个或者更多的显示设备，并且电子设备100可渲染VR图像从而在一个虚拟空间中包括针对每个显示装置或更多个显示装置的对象。
已经简要描述了包括在电子系统1000中的电子设备100、第一显示装置200-1和第二显示装置200-2的操作。下面将更详细地描述电子设备100、第一显示装置200-1和第二显示装置200-2的操作。
图2A是示出根据本公开的实施例的电子设备的示例配置的框图。参照图2A，电子设备100可包括存储器110、通信器120(例如，包括通信电路)和处理器(例如，包括处理电路)130。
存储器110可存储内容、VR图像信息和对象信息。例如，存储器110可将关于与例如但不限于剧院对应的虚拟空间、与酒店对应的虚拟空间等的信息存储为VR图像信息。存储器110可将关于例如但不限于人物、名人、用户等的图像存储为将被包括在虚拟空间中的对象。此外，存储器110可存储将从虚拟空间中的内容再现区域提供的内容。
存储器110可存储更多的运动信息。例如，存储器110可存储从显示装置接收到的运动信息。例如，当显示装置的用户在虚拟空间中观看内容时，存储器110可按照内容的情绪类型区分和存储运动信息。
然而，本公开不限于此。运动信息可以是由内容制作者预先生成的信息。例如，存储器110可存储针对第一情绪类型的第一运动和针对第二情绪类型的第二运动，并且如果内容的当前情绪类型是第一情绪类型，则处理器130可基于存储的运动信息中的第一运动改变对象的运动。
存储器110还可存储动画信息。动画信息可以是由制作者生成的信息。例如，对对象执行建模的制作者可预先生成关于如何移动对象的运动信息作为动画信息。例如，对对象执行建模的制作者可按照内容的情绪类型预先生成对象的运动信息作为动画信息。
存储器110可包括一个或更多个硬盘、非易失性存储器等。只要能够存储数据，可使用任何类型的配置。
通信器120可包括各种通信电路，并根据各种类型的通信方法与各种类型的显示装置执行通信。例如，处理器130可通过通信器120分别从第一显示装置200-1和第二显示装置200-2接收第一运动信息和第二运动信息。处理器130可控制通信器120将VR图像的第一区域和VR图像的第二区域分别发送到第一显示装置200-1和第二显示装置200-2。
处理器130可包括各种处理电路并控制电子设备100的整体操作。
根据实施例，处理器130可包括各种处理电路，例如但不限于数字信号处理器(DSP)、微处理器、TCON(时间控制器)，诸如此类但不限于此。通信器120可包括各种处理电路，所述处理电路包括例如但不限于一个或更多个中央处理器(CPU)、微控制器(MCU)、微处理器(MPU)、控制器、应用程序处理器(AP)、通信处理器(CP)、ARM处理器等，或者可由对应的术语定义。处理器130可被实施为片上系统(SoC)、具有内置处理算法的大规模集成(LSI)、或现场可编程门阵列(FPGA)的形式。
处理器130可基于存储在存储器110中的VR图像信息渲染包括与第一显示装置200-1对应的第一对象的VR图像。处理器130可通过通信器120从第二显示装置200-2接收第二显示装置200-2的运动信息，并且当基于第二显示装置200-2的运动信息确定第一对象被包括在与第二显示装置对应的第二对象的视野中时，处理器130可渲染VR图像的包括第一对象的一个区域，并控制通信器120将VR图像的被渲染的一个区域发送到第二显示装置200-2。
例如，处理器130可渲染VR图像，其中，在该VR图像中，与第一显示装置200-1对应的第一人物被包括在与剧院对应的虚拟空间的一个区域中。如果基于从第二显示装置200-2接收的第二运动信息确定第一人物被包括在与第二显示装置200-2对应的第二人物的视野中，则处理器130可渲染VR图像的包括第一人物的一个区域，并将VR图像的被渲染的一个区域发送到第二显示装置200-2。
处理器130可通过通信器120从第一显示装置200-1接收第一显示装置200-1的运动信息，基于第一显示装置200-1的运动信息改变第一对象的运动，并渲染VR图像的一个区域。
第二显示装置200-2可将第二运动信息实时发送给电子设备100。然而，可能是第一人物的变化的前提的第二运动信息可以是实时发送的第二运动信息之中的使得根据第二运动信息第一人物将被包括在VR图像的将被提供给第二对象的一个区域中的第二运动信息。换句话说，第二运动信息可以是当第二用户转头并看到第一人物时的第二运动信息。如果第二人物的视野在没有第二运动信息的情况下保持不变朝向第一人物，则处理器130可基于第一运动信息改变第一人物的运动。如果根据新的第二运动信息，第一人物超出第二人物的视野，则处理器130可不改变第一人物的运动。
第二人物的视野可位于虚拟空间中第二人物所观看的范围内。第二人物的视野可对应于由第二显示装置显示的屏幕。换句话说，如果第二人物根据第二运动信息移动，则第二显示装置所显示的屏幕可改变为与第二人物的移动相对应。换句话说，对象的视野的方向可根据运动信息而改变。
通过由第二用户操作第二显示装置可改变对象的视野的范围。例如，第二用户可操作第二显示装置来扩展视野的范围。在该示例中，第二用户可观看更大范围的VR图像。
处理器130可基于第二对象的位置和第二运动信息识别第二对象的视野。
例如，处理器130可渲染VR图像，其中，在该VR图像中，除了第一人物之外，与第二显示装置200-2的第二用户对应的第二人物也被包括在与剧院对应的虚拟空间中。处理器130可基于第二运动信息从第二人物的位置识别虚拟空间中由第二人物观看到的一个区域。如果第二运动信息是向右旋转，则处理器130可从第二人物的位置向右旋转第二人物，并识别虚拟空间中由第二人物观看到的一个区域。
处理器130可渲染包括内容再现区域的VR图像。例如，如果虚拟空间是剧院，则处理器130可在剧院的观众中安排第一对象和第二对象，并使用剧院的屏幕作为内容再现区域来渲染VR图像。
处理器130可控制通信器120将VR图像的被渲染的一个区域和内容发送到第二显示装置200-2，并且在基于接收到第二运动信息的时间点的预定再现部分期间，基于内容的情绪类型和第一运动信息使第一对象的运动变化。
处理器130还可控制通信器120将内容和VR图像发送到第一显示装置200-1和第二显示装置200-2。第一显示装置200-1和第二显示装置200-2可将接收到的内容叠加显示在VR图像的内容再现区域上。
处理器130可进一步考虑到内容的情绪类型以及第一运动信息来使第一对象的运动变化。例如，当通过处理器130从第一显示装置200-1发送到第二显示装置200-2的内容是例如恐怖电影时，在可怕场景中处理器130可将第一对象的运动的变化渲染为比在正常场景中第一对象的运动的变化更大。
基于接收到第二运动信息的时间点的预定再现部分可以是包括接收到第二运动信息的时间点的各种时间部分。例如，基于接收到第二运动信息的时间点，所述预定再现部分可以是从接收到第二运动信息的时间点之前的10秒到接收到第二运动信息的时间点。例如，所述预定再现部分可以是从接收到第二运动信息的时间点之前的10秒到接收到第二运动信息的时间点之后的10秒。例如，所述预定再现部分可以是从接收到第二运动信息的时间点到接收到第二运动信息之后的10秒。在第一种情况下，处理器130可在接收到第二运动信息的时间点获得内容的情绪类型。但在第二种情况或第三种情况下，处理器130在接收到第二运动信息的时间点可能没有获得内容的情绪类型。在该示例中，处理器130可在经过预定时间段后获得内容的情绪类型，并基于获得的情绪类型渲染第一对象。换句话说，相比于第一种情况，在第二种情况或第三种情况下，对象的运动变化可更加缓慢。
如果第三对象也被包括在第二对象的视野中，则处理器130可通过基于存储在存储器110中的第三对象的第三运动信息使第三对象的运动变化来渲染VR图像的一个区域，并控制通信器120将的VR图像的被渲染的一个区域和内容发送到第二显示装置200-2。第三对象的第三运动信息可以是在内容被第三显示装置再现时从第三显示装置获得的运动信息。
例如，第三用户可使用第三显示装置观看内容，并且电子设备100可在第三用户观看内容的同时存储第三显示装置的第三运动信息。当第一用户和第二用户观看第三用户所观看的内容时，电子设备100可渲染包括第一对象、第二对象和第三对象的VR图像。处理器130可基于接收到的第一运动信息和第二运动信息以及基于预先存储的第三运动信息的第三对象的运动来使第一对象和第二对象的运动变化。处理器130可基于第一用户和第二用户之一的控制命令在VR图像中包括第三对象。
处理器130可向第一显示装置200-1和第二显示装置200-2提供用于引导是否允许将第三对象包括在VR图像中的UI。当从第一显示装置200-1和第二显示装置200-2接收到特定内容的执行请求时，处理器130可识别(例如，确定)观看所述特定内容的另一用户的运动信息是否存储在存储器110中，并且如果另一用户的运动信息存储在存储器110中，则处理器130可向第一显示装置200-1和第二显示装置200-2提供用于引导是否允许与另一用户对应的对象被包括在虚拟空间中的UI。
如果第三对象也包括在第二对象的视野中，则处理器130可通过基于存储在存储器110中的关于第三对象的动画信息使第三对象的运动变化来渲染VR图像的一个区域。关于第三对象的动画信息可以是由制作者按照内容的情绪类型预先生成的运动信息。
处理器130可基于从第一显示装置200-1接收的第一声音信息将第一对象的声音添加到VR图像的被渲染的一个区域。
例如，第一显示装置200-1可包括麦克风，通过麦克风获取第一用户的语音，并将与第一用户的语音对应的第一声音信息发送到电子设备100。电子设备100可渲染VR图像的一个区域，从而第一对象在虚拟空间中输出与第一声音信息对应的声音。
处理器130可控制通信器120将VR图像的被渲染的一个区域和内容发送到第二显示装置200-2，并且如果在预定的第一时间段期间没有从第一显示装置200-1接收到第一运动信息，或者接收到的第一运动信息在预定的第二时间段期间没有改变，则可基于内容的情绪类型来使第一对象的运动变化。
如果在预定的第一时间段期间没有从第一显示装置200-1接收到第一运动信息，或者接收到的第一运动信息在预定的第二时间段期间没有改变，则处理器130可确定与第一显示装置200-1的通信可能未被执行，或第一用户可能没有使用第一显示装置200-1。然而，因为第二用户仍然在虚拟空间中观看内容，所以处理器130可基于内容的情绪类型使第一对象的运动变化。因此，例如当第一对象没有做出移动时，可最小化和/或减少可能出现的对观看内容的第二用户的干扰。
处理器130可按照内容的情绪类型将接收到的第一运动信息存储在存储器110中，并且如果在预定的第一时间段期间没有从第一显示装置200-1接收到第一运动信息，或者接收到的第一运动信息在预定的第二时间段期间没有变化，则处理器130可基于存储在存储器110中的第一运动信息之中的与内容的当前再现部分的情绪类型对应的第一运动信息来使第一对象的运动变化。
处理器130可按照内容的情绪类型将第一运动信息存储在存储器110中直到发生错误为止，并且在错误发生之后，处理器130可基于存储在存储器110中的第一运动信息之中的与内容的当前再现部分的情绪类型对应的第一运动信息来渲染第一对象。因此，处理器130可更自然地渲染第一对象。
如果与内容的当前再现部分的情绪类型对应的第一运动信息没有存储在存储器110中，则处理器130可基于存储在存储器110中的动画信息之中的与该情绪类型对应的动画信息来使第一对象的运动变化。
例如，当由于从内容再现时间点到错误发生的时间点的时间长度太短而没有存储关于所有情绪类型的第一运动信息时，处理器130可基于预先存储在存储器110中的动画信息之中的与内容的情绪类型对应的动画信息来使第一对象的运动变化。动画信息可以是由内容制作者预先生成的信息。
已经在各种示例实施例中描述了处理器130识别错误发生，但是本公开不限于此。例如，电子设备100可定期从显示装置接收指示没有问题的信号，并且如果没有接收到该信号则处理器130可确定发生问题。
图2B是示出电子设备的示例配置的框图。参照图2B，电子设备100可包括存储器110、通信器(例如，包括通信电路)120、处理器(例如，包括处理电路)130、音频处理器(例如，包括音频处理电路)140和视频处理器(例如，包括视频处理电路)150。图2A中所示的元件的冗余描述在这里可不被重复。
处理器130可包括各种处理电路，并且使用存储在存储器110中的各种程序来全面控制电子设备100的操作。
处理器130可包括RAM 131、ROM 132、CPU 133、图形处理单元(GPU)134、第一接口135-1到第n接口135-n、以及总线136。
RAM 131、ROM 132、CPU 133、图形处理单元(GPU)134、第一接口135-1到第n接口135-n等可通过总线136相互连接。
第一接口135-1到第n接口135-n可连接到上面描述的各种元件。接口之一可以是通过网络连接到外部服务器的网络接口。
CPU 133可访问存储器110并通过使用存储在存储器110中的操作系统(O/S)执行启动。CPU 133可通过使用存储在存储器110中的各种程序、内容、数据等执行各种操作。
用于系统启动的命令集等可存储在ROM 132中。当输入开机命令并提供电源时，CPU 133可根据存储在ROM 132中的命令将存储在存储器110中的O/S复制到RAM 131，运行O/S并执行系统启动。当系统启动完成时，CPU 133可将存储在存储器110中的各种程序复制到RAM 131，运行复制到RAM 131的程序并执行各种操作。
GPU 134可通过使用计算单元(未示出)和渲染单元(未示出)来生成包括诸如图标、图像、文本等各种对象的屏幕。计算单元可根据屏幕的布局计算对象的诸如坐标值、形状、大小、颜色等的属性值。渲染单元可基于由计算单元计算的属性值生成包括对象的各种布局的屏幕。由渲染单元生成的屏幕(或用户界面窗口)可被提供给显示器140并显示在主显示区域和子显示区域中。
处理器130的操作可由存储在存储器110中的程序来执行。
存储器110可存储各种数据，诸如，例如但不限于用于驱动电子设备100的操作系统(O/S)软件模块、虚拟空间形成模块、VR图像信息模块、渲染模块、运动信息模块、动画信息模块等。
通信器120可包括各种通信电路，并根据各种类型的通信方法执行与各种类型的HMD装置的通信。通信器120可包括各种芯片中所包括的各种通信电路，包括例如但不限于Wi-Fi芯片121、蓝牙芯片122、无线通信芯片123、NFC芯片124等。处理器130可使用通信器120执行与各种HMD装置的通信。
Wi-Fi芯片121或蓝牙芯片122可分别使用Wi-Fi方法和蓝牙方法执行通信。当使用Wi-Fi芯片121或蓝牙芯片122时，可先发送和接收诸如SSID和会话秘钥的各种连接信息，可基于连接信息建立通信连接，并且可基于此发送和接收各种信息。无线通信芯片123可指根据诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴(3GPP)、长期演进(LTE)等各种通信标准执行通信的芯片。NFC芯片124指使用诸如135kHz、13.56MHz、433MHz、860MHz至960MHz以及2.45GHz的各种RF-ID频带之中的13.56MHz频带在NFC(近场通信)模式下操作的芯片。
处理器130可通过通信器120从显示装置接收运动信息。处理器130可控制通信器120将VR图像实时发送到显示装置。
音频处理器140可包括各种音频处理电路并执行音频数据的处理。音频处理器140可执行各种处理，诸如，例如但不限于音频数据的解码、放大、噪声滤波等。
视频处理器150可包括各种视频处理电路，并且被配置为处理视频数据。视频处理器150可执行各种图像处理，诸如，例如但不限于视频数据的解码、缩放、噪声滤波、帧速率转换、分辨率转换等。
如上所述，处理器130可渲染VR图像的一个区域并将VR图像的被渲染的一个区域发送到显示装置，其中，所述一个区域是基于从显示装置接收到的运动信息使对象的运动实时变化而获得的。
将参照附图更详细地描述处理器130的操作。
图3A、图3B和图3C是示出根据本公开的各种实施例的基于运动信息的示例VR图像的示图。
处理器130可生成第一对象和第二对象中的至少一个被包括在虚拟空间中的VR图像。例如，在图3A的顶部，处理器130可生成第一人物310-1和第二人物320-1被包括在剧院中的VR图像。第一人物310-1和第二人物320-1可分别对应于如图3A的底部所示的第一显示装置200-1和第二显示装置200-2。第一显示装置200-1的第一用户310和第二显示装置200-2的第二用户320可位于不同位置。例如，第一用户310可以在首尔，第二用户320可以在釜山。
第一显示装置200-1和第二显示装置200-2中的每一个可从电子设备100接收VR图像的被第一人物310-1观看的第一区域和VR图像的被第二人物320-1观看的第二区域，并向第一用户310和第二用户320提供第一区域和第二区域。换句话说，第一显示装置200-1和第二显示装置200-2从电子设备100接收到的VR图像的区域可以不同。
第一人物310-1和第二人物320-1的运动可分别对应于第一用户310和第二用户320的运动。例如，参照图3B，当第一用户310向左旋转头部时，第一显示装置200-1可感测旋转，并将感测到的第一运动信息发送给电子设备100。处理器130可基于第一运动信息来渲染第一人物310-1将头部向左旋转。当第一人物310-1向左旋转时，VR图像的被第一人物310-1观看到的第一区域可能改变，处理器130可将VR图像的改变后的第一区域发送到第一显示装置200-1。
当第二用户320向右旋转头部时，第二显示装置200-2可感测旋转，并将感测到的第二运动信息发送给电子设备100。处理器130可根据第二运动信息渲染第二人物320-1将头部向右旋转。当第二人物320-1向右旋转头部时，VR图像的被第二人物320-1观看到的第二区域可能改变，处理器130可将VR图像的改变后的第二区域发送到第二显示装置200-2。当VR图像的改变后的第二区域包括第一人物310-1时，第二用户320可观看到第一人物310-1向左旋转头部的VR图像，并识别出第一用户310向左旋转头部。因此，通过这样做，即使第一用户310和第二用户320相隔很远，用户也会觉得仿佛他们在同一个地方。因此，处理器130可克服用户之间的空间限制。
参照图3C，当第一用户310发出语音时，第一显示装置200-1可感测该语音，并将感测到的第一声音信息发送给电子设备100。处理器130可基于接收到的第一声音信息将第一人物310-1的声音添加到VR图像的一个区域，并发送该声音。
第一显示装置200-1和第二显示装置200-2从电子设备100接收到的VR图像的图像信息可以不同，但声音信息可以相同。
例如，第一显示装置200-1和第二显示装置200-2从电子设备100接收到的VR图像可包括第一显示装置200-1的同一声音信息。第一人物310-1的声音信息不仅可包括第一人物310-1发出的声音，还可包括关于第一人物310-1的位置的信息。因此，第一显示装置200-1可混合第一人物310-1的声音信息使得第一人物310-1可像是第一用户发出声音一样从其嘴部朝向前方，并输出混合的声音。第二显示装置200-2可混合第一人物310-1的声音信息，使得第二人物320-1可像是左边的第一人物310-1发出声音一样从右朝向左，并输出混合的声音。因此，第一用户310可通过第一显示装置200-1中设置的扬声器听到她/他的语音，并识别出该语音，就像是第一人物发出声音一样。第二用户320可通过第二显示装置200-2中设置的扬声器听到第一用户310发出的语音，并识别为就像是左边的第一人物发出声音一样。通过这样做，第一用户310和第二用户320可体验到对于虚拟空间的更好的沉浸感。
然而，本公开不限于此。处理器130可不向接收声音信息的第一显示装置200-1提供第一人物310-1的声音信息。第一用户310可在第一显示装置200-1中没有设置扬声器的情况下直接听到她/他的语音。第一显示装置200-1和第二显示装置从电子设备100接收的VR图像可具有不同的声音信息。
处理器130可混合第一人物310-1的声音信息以响应第一显示装置200-1和第二显示装置200-2中的每一个。第一显示装置200-1和第二显示装置200-2中的每一个的混合操作可由处理器130执行。第一显示装置200-1和第二显示装置200-2从电子设备100接收到的VR图像可具有不同的声音信息。第一人物310-1的声音信息可不包括关于第一人物310-1的位置的信息。第一显示装置200-1和第二显示装置200-2中的每一个可再现VR图像的被接收的一个区域，但可不执行附加的声音混合操作。
参照图3A，处理器130可渲染包括内容再现区域330的VR图像。处理器130可将VR图像和内容发送到第一显示装置200-1和第二显示装置200-2。VR图像或内容可包括关于内容再现区域330的信息。
第一显示装置200-1和第二显示装置200-2可显示VR图像，使得在内容再现区域330接收到的内容可基于关于内容再现区域330的信息被再现。
然而，本公开不限于此。处理器130可渲染内容自身被包括在虚拟区域中的VR图像。处理器130可仅向第一显示装置200-1和第二显示装置200-2发送渲染的VR图像，并且第一显示装置200-1和第二显示装置200-2可显示接收到的VR图像，而无需执行附加处理。
图4A和图4B是示出根据本公开的实施例的使用历史的示例方法的示图。
参照图4A，第三用户410可佩戴第三显示装置，并观看虚拟空间中的内容。第三显示装置可将第三用户410的第三运动信息发送到电子设备100。电子设备100可基于第三运动信息渲染第三对象410-1被包括在虚拟空间中的VR图像，并将渲染的VR图像提供给第三显示装置。
处理器130可按照内容的情绪类型将第三运动信息存储在存储器100中。例如，处理器130可区分当内容的情绪类型是第一情绪类型时的第三运动信息和当内容的情绪类型为第二情绪类型时的第三运动信息，并将该信息存储在存储器110中。
当不同的第三运动信息被多次输入到单一情绪类型时，处理器130可将所述不同的第三运动信息之一存储在存储器110中。在多次将单一情绪类型的不同的第三运动信息存储在存储器110中之后，处理器130可随机读取第三运动信息。
参照图4B，第一用户420可佩戴第一显示装置200-1，并在虚拟空间中观看第三用户410所观看的内容。第一用户420的内容观看时间可在第三用户410的内容观看时间之后。
当第一用户420要观看内容时，处理器130可基于第三用户410的观看历史向第一显示装置200-1提供用于引导是否将与第三用户410对应的第三对象410-1包括在虚拟空间中的UI。
当第一用户420输入用于允许第三对象410-1被包括在虚拟空间中的控制命令时，处理器130可渲染第三对象410-1以及与第一用户420对应的第一对象420-1被包括在虚拟空间中的VR图像，并将渲染的VR图像发送到第一显示装置200-1。
处理器130可按照存储在存储器110中的内容的情绪类型，基于第三运动信息改变第三对象410-1的运动。
通过上述操作，即使第一用户420和第三用户410难以安排见面，也可提供他们彼此共享时间的感觉。因此，处理器130可克服用户之间的时间限制。
同时，如上所述，通过示例的方式描述了用户观看相同的内容，但本公开不限于此。例如，处理器130可按照第三用户410在观看第一内容时的情绪类型将第三运动信息存储在存储器110中。当第一用户420观看第二内容时，处理器130可基于与第二内容的情绪类型对应的第三运动信息来改变第三对象410-1的运动。
处理器130可不考虑情绪类型而将第三运动信息存储在存储器110中。例如，处理器130可在2小时的内容被再现时以预定的时间间隔将第三运动信息存储在存储器110中。除了存储第三运动信息之外，处理器130还可在存储器110中匹配和存储第三运动信息和内容观看时间。当第一用户420观看内容时，处理器130可根据内容的内容观看时间，基于第三运动信息改变第三对象410-1的运动。在这个示例中，第一用户420观看的内容可以与第三用户410观看的内容相同。
图5是示出根据本公开的实施例的用于使用动画信息的示例方法的示图。
参照图5，第一用户和第二用户中的至少一个可输入允许将与用户无关的第三对象510包括在虚拟空间中的控制命令。因此，处理器130可渲染第三对象510被包括在虚拟空间中的VR图像，并将渲染的VR图像发送给第一显示装置200-1和第二显示装置200-2。
处理器130可通过基于存储在存储器110中的关于第三对象510的动画信息改变第三对象510的运动来渲染VR图像。关于第三对象510的动画信息可以是制作者按照内容的情绪类型预先生成的运动信息。
图6A和图6B是示出根据本公开的各种实施例的考虑情绪类型的对象渲染的示例的示图。
处理器130可基于第一声音信息将第一对象的声音添加到VR图像。当第一对象的声音被添加到VR图像时，除了第一声音信息之外，处理器130还可考虑当前情绪类型。
例如，参照图6A，当内容的当前情绪类型为“平静的”时，处理器130可将第一对象的声音添加到VR图像，以使其具有与第一声音信息相同的声音输出。
参照图6B，在内容的当前情绪类型为“令人惊讶的”时，处理器130可将具有比第一声音信息更大的声音输出的第一对象的声音添加到VR图像。
如上所述，为了便于解释仅描述了声音信息，但是本公开不限于此。
例如，当第一对象的运动被改变时，除了第一运动信息之外，处理器130还可考虑内容的当前情绪类型。
当内容的当前情绪类型为“平静的”时，处理器130可改变第一对象的运动以对应于第一运动信息。当内容的当前情绪类型是“令人惊讶的”时，处理器130可将第一对象的运动改变为比第一运动信息更为夸张。
图7是示出根据本公开的实施例的当出现问题时的示例操作示图。
参照图7，电子系统1000可包括电子设备100、第一显示装置200-1和第二显示装置200-2，电子设备100可与第一显示装置200-1和第二显示装置200-2执行通信。
当在预定的第一时间段内没有从第一显示装置200-1接收到第一运动信息时，处理器130可基于内容的情绪类型使第一对象的运动变化。
处理器130可按照内容的情绪类型将第一运动信息存储在存储器110中直到出现问题为止，并且当在预定的第一时间段期间没有从第一显示装置200-1接收到第一运动信息时，处理器130可基于存储在存储器110中的第一运动信息之中的与内容的当前再现部分的情绪类型对应的第一运动信息来使第一对象的运动变化。
当在预定的第一时间段期间没有从第一显示装置200-1接收到第一运动信息时，处理器130可基于预先存储在存储器110中的动画信息之中的与情绪类型对应的动画信息来使第一对象的运动变化。
已经描述了在预定的第一时间段期间没有从第一显示装置200-1接收到第一运动信息，但是本公开不限于此。例如，当接收的第一运动信息在预定的第二时间段期间没有改变时，当第一用户请求改变到另一内容或虚拟空间时，以及当打扰到其他用户观看内容(诸如第一用户发出预定音量或更高音量的语音或者作出过大的运动)时，处理器130可在不使用第一运动信息的情况下使第一对象的运动变化。
图8是示出根据本公开的实施例的存储运动信息的示例的示图。
参照图8，处理器130可根据用户的请求将用户的各种运动信息存储在电子设备100的存储器110中。处理器130可按照情绪类型将运动信息存储在存储器110中。
作为示例，例如但不限于此，如果情绪类型是“令人惊讶的”则处理器130可存储运动信息810，如果情绪类型是“有趣的”则处理器130可存储运动信息820，并且如果情绪类型是“怀疑的”则处理器130可存储运动信息830。
可在出现问题时或在另一用户请求时读取和使用存储在存储器110中的运动信息。
例如，当识别出(例如，确定)第一显示装置200-1有错误时，处理器130可基于预先存储的第一运动信息之中的与内容的情绪类型对应的第一运动信息来使第一对象的运动变化。
用户可在观看内容时被提供关于内容的情绪类型的信息，或提供关于将被存储的情绪类型的信息。处理器130可从显示装置接收情绪类型和运动信息，并将情绪类型和运动信息存储在存储器110中。
图9A和图9B是示出根据本公开的实施例的各种示例扩展实施例的示图。
参照图9A，电子系统1000可包括第一电子设备100-1、第二电子设备100-2、第一显示装置200-1和第二显示装置200-2。在此示例中，电子设备100的操作可由第一电子设备100-1和第二电子设备100-2执行。第一电子设备100-1和第二电子设备100-2中的一个可作为主装置执行图1的电子设备100的大部分操作，而第一电子设备100-1和第二电子设备100-2中的另一个可执行图1的电子设备100的其余操作。
例如，当第一电子设备100-1作为主装置操作时，第一电子设备100-1可渲染VR图像，并且混合第一声音信息以对应于第一显示装置200-1。第二电子设备100-2可从第一电子设备100-1接收VR图像和第一声音信息，并且混合VR图像和第一声音信息以对应于第二显示装置200-2。
根据上述实施例，已经描述了子装置仅执行声音混合，但是主装置和子装置可使用任何其他方法进行操作。例如，第一电子设备100-1和第二电子设备100-2可使用云计算来进行操作。
参照图9B，电子系统1000可包括第一显示装置200-1和第二显示装置200-2。在该示例中，图1的电子设备100的操作可由第一显示装置200-1和第二显示装置200-2执行。第一显示装置200-1和第二显示装置200-2中的一个可作为主装置执行图1的电子设备100的大部分操作，而第一显示装置200-1和第二显示装置200-2中的另一个可作为子装置执行图1的电子设备100的其余操作。
图10是示出根据本公开的实施例的控制电子设备的示例方法的流程图。
在步骤S1010，该方法可包括基于虚拟现实(VR)图像信息，渲染包括与第一显示装置对应的第一对象的VR图像。此外，在步骤1020，可从第二显示装置接收第二显示装置的第二运动信息。在步骤S1030，当基于第二显示装置的运动信息确定第一对象被包括在与第二显示装置对应的第二对象的视野中时，可渲染VR图像的包括第一对象的一个区域。在步骤S1040，可将VR图像的被渲染的一个区域发送到第二显示装置。
渲染VR图像的一个区域的操作S1030可包括从第一显示装置接收第一显示装置的运动信息，以及通过基于第一显示装置的运动信息使第一对象的运动变化来渲染VR图像的所述一个区域。
渲染VR图像的一个区域的操作S1030可包括基于第二对象的位置和第二显示装置的运动信息来识别第二对象的视野。
渲染VR图像的操作S1010可包括渲染包括内容再现区域的VR图像。
发送操作S1040可包括将内容发送到第二显示装置，渲染VR图像的一个区域的操作S1030可包括：在基于接收到第二显示装置的运动信息的时间点的预定再现部分期间，基于第一显示装置的运动信息和内容的情绪类型使第一对象的运动变化。
渲染VR图像的一个区域的操作S1030可包括：基于在第二对象的视野中还包括第三对象，通过基于预先存储的第三对象的运动信息改变第三对象的运动来渲染VR图像的一个区域。发送操作S1040可包括将VR图像的所述一个区域和内容发送到第二显示装置，并且第三对象的运动信息可以是在内容在第三显示装置中被再现时从第三显示装置接收的运动信息。
渲染VR图像的一个区域的操作S1030可包括：基于在第二对象的视野中还包括第三对象，通过基于预先存储的关于第三对象的动画信息使第三对象的运动变化来渲染VR图像的一个区域，并且关于第三对象的动画信息可以是制作者按照内容的情绪类型预先生成的运动信息。
发送操作S1040可包括基于从第一显示装置接收的第一声音信息将第一对象的声音添加到VR图像的被渲染的一个区域并进行发送。
根据本公开的各种示例实施例，电子设备可基于从显示装置接收的运动信息来改变虚拟空间中与显示装置对应的对象的运动，并且将显示装置的用户的情绪状态提供给另一显示装置的用户。
根据本公开的示例实施例，上述各种实施例可实施为软件的形式，包括存储在可由机器(例如，计算机)读取的机器可读存储介质上的指令。该机器可以是调用存储在存储介质中的命令并且可根据调用的命令进行操作的设备，包括根据公开的示例实施例的电子设备(例如，电子设备(A))。当命令由处理器执行时，处理器可使用其他组件直接或在处理器的控制下执行与命令对应的功能。该命令可包括由编译器生成或由解释器执行的代码。可以以非临时存储介质的形式提供机器可读存储介质。“非临时”存储介质不包括信号而是有形的，但不区分数据是半永久还是临时存储在存储介质上。
根据实施例，可在计算机程序产品中提供根据本文公开的各种实施例的方法。计算机程序产品可作为商品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式被分发，或通过应用商店(例如，PlayStoreTM)被在线分发。在在线分发的情况下，计算机程序产品的至少一部分可被临时存储或临时创建在存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)上。
可在记录介质中实现上述各种示例实施例，该记录介质可由计算机或类似装置使用软件、硬件或其组合来读取。在一些情况下，本文描述的实施例可由处理器本身实现。根据软件实现方式，可在单独的软件模块中实现诸如本文描述的过程和功能的实施例。每个软件模块可执行本文描述的一个或更多个功能和操作。
根据上述各种实施例的用于执行装置的处理操作的计算机指令可存储在非临时计算机可读介质中。当存储在非易失性计算机可读介质中的计算机指令由特定装置的处理器执行时，其使得该特定装置对根据上述各种实施例的装置执行处理操作。非临时计算机可读介质是指半永久地存储数据并可由设备读取的介质。例如，上述各种应用或程序可存储在非临时计算机可读介质(诸如，例如但不限于，紧凑盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)记忆棒、存储卡、以及只读存储器(ROM))中，并且可被提供。
根据各种实施例的每个组件(例如，模块或程序)可包括单个实体或多个实体，并且上面提到的子组件的一些子组件可被省略，或者可在各种实施例中进一步包括其他组件。此外或可选地，一些组件(例如，模块或程序)可集成到一个实体中以执行在集成之前由每个组件执行的相同或类似的功能。根据各种实施例，由模块、程序或其他组件执行的操作可顺序地、并行地、重复地或启发式地被执行，或至少一些操作可以以不同的顺序执行，或被省略，或者还可增加另一功能。
尽管已经示出和描述了各种示例实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行形式和细节上的各种改变。因此，本公开的范围不限于描述的实施例，而是例如可由所附权利要求及其等同物限定。

Claims (15)

1.一种电子设备，包括：
存储器；
通信器，包括通信电路；以及
处理器，被配置为：
基于存储在存储器中的虚拟现实VR图像信息渲染包括与第一显示装置对应的第一对象的VR图像；
其中，处理器还被配置为：
通过通信器从第二显示装置接收第二显示装置的运动信息，
响应于基于第二显示装置的运动信息识别出第一对象被包括在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域，并且
控制通信器将VR图像的被渲染的一个区域发送到第二显示装置。
2.如权利要求1所述的设备，其中，处理器还被配置为：
通过通信器从第一显示装置接收第一显示装置的运动信息，并且
通过基于第一显示装置的运动信息改变第一对象的运动来渲染VR图像的一个区域。
3.如权利要求2所述的设备，其中，处理器还被配置为：基于第二对象的位置和第二显示装置的运动信息来识别第二对象的视野。
4.如权利要求2所述的设备，其中，处理器还被配置为：渲染包括内容再现区域的VR图像。
5.如权利要求2所述的设备，其中，处理器还被配置为：
控制通信器将VR图像的被渲染的一个区域发送到第二显示装置并将内容发送到第二显示装置，并且
基于在根据第二显示装置的运动信息被接收到的时间点的预定再现部分期间的所述内容的情绪类型以及第一显示装置的运动信息，改变第一对象的运动。
6.如权利要求2所述的设备，其中，处理器还被配置为：
基于第三对象被包括在第二对象的视野中，通过基于存储在存储器中的第三对象的运动信息改变第三对象的运动来渲染VR图像的一个区域，并且
控制通信器将VR图像的被渲染的一个区域和内容发送到第二显示装置，
其中，第三对象的运动信息包括基于由第三显示装置再现的内容而从第三显示装置接收到的运动信息。
7.如权利要求2所述的设备，其中，处理器还被配置为：基于第三对象也被包括在第二对象视野中，通过基于存储在存储器中的第三对象的动画信息改变第三对象的运动来渲染VR图像的被渲染的一个区域，以及
其中，第三对象的动画信息包括由制作者基于内容的情绪类型预先生成的运动信息。
8.如权利要求2所述的设备，其中，处理器还被配置为：基于从第一显示装置接收到的第一声音信息将第一对象的声音添加到VR图像的被渲染的一个区域，并控制通信器发送VR图像。
9.如权利要求2所述的设备，其中，处理器还被配置为：
控制通信器将VR图像的被渲染的一个区域和内容发送到第二显示装置，并且
基于在预定的第一时间段期间没有从第一显示装置接收到第一显示装置的运动信息，或者接收到的第一显示装置的运动信息在预定的第二时间段期间没有改变，基于所述内容的情绪类型来改变第一对象的运动。
10.如权利要求9所述的设备，其中，处理器还被配置为：
基于所述内容的情绪类型，将接收到的第一显示装置的运动信息存储在存储器中，
基于在所述预定的第一时间段期间没有从第一显示装置接收到第一显示装置的运动信息，或接收到的第一显示装置的运动信息在所述预定的第二时间段期间没有改变，基于存储在存储器中的第一显示装置的运动信息之中的与所述内容的当前再现部分的情绪类型对应的运动信息来改变第一对象的运动。
11.如权利要求10所述的设备，其中，处理器还被配置为：基于与所述内容的当前再现部分的情绪类型对应的运动信息没有被存储在存储器中，基于存储在存储器中的动画信息之中的与所述情绪类型对应的动画信息来改变第一对象的运动。
12.一种电子系统，包括：
第一显示装置，包括显示器；
第二显示装置，包括显示器；以及
电子设备，包括处理电路，其中，所述处理电路被配置为基于虚拟现实VR图像信息渲染包括与第一显示装置对应的第一对象的VR图像，
其中，电子设备还被配置为：
从第二显示装置接收第二显示装置的运动信息，
基于根据第二显示装置的运动信息第一对象被包括在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域，并且，
将VR图像的被渲染的一个区域发送到第二显示装置，
其中，第二显示装置显示从电子设备接收到的VR图像的一个区域。
13.一种控制电子设备的方法，所述方法包括：
基于虚拟现实VR图像信息渲染包括与第一显示装置对应的第一对象的VR图像；
从第二显示装置接收第二显示装置的运动信息；
基于根据第二显示装置的运动信息第一对象被在与第二显示装置对应的第二对象的视野中，渲染VR图像的包括第一对象的一个区域；并且
将VR图像的被渲染的一个区域发送到第二显示装置。
14.如权利要求13所述的方法，其中，渲染VR图像的一个区域的步骤包括：从第一显示装置接收第一显示装置的运动信息，并通过基于第一显示装置的运动信息改变第一对象的运动来渲染VR图像的所述一个区域。
15.如权利要求14所述的方法，其中，渲染VR图像的一个区域的步骤包括：基于第二对象的位置和第二显示装置的运动信息来识别第二对象的视野。
CN201910747715.6A 2018-08-14 2019-08-14 电子设备、电子设备的控制方法和电子系统 Active CN110825219B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0095069 2018-08-14
KR1020180095069A KR20200019486A (ko) 2018-08-14 2018-08-14 전자 장치, 그 제어 방법 및 전자 시스템

Publications (2)

Publication Number Publication Date
CN110825219A true CN110825219A (zh) 2020-02-21
CN110825219B CN110825219B (zh) 2022-04-22

Family

ID=67437873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747715.6A Active CN110825219B (zh) 2018-08-14 2019-08-14 电子设备、电子设备的控制方法和电子系统

Country Status (5)

Country Link
US (1) US11132054B2 (zh)
EP (1) EP3611598A1 (zh)
KR (1) KR20200019486A (zh)
CN (1) CN110825219B (zh)
WO (1) WO2020036323A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的系统
US20150381938A1 (en) * 2014-06-30 2015-12-31 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
CN106454322A (zh) * 2016-11-07 2017-02-22 金陵科技学院 Vr的图像处理系统及其方法
US20170243324A1 (en) * 2016-02-22 2017-08-24 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US20180189550A1 (en) * 2015-03-21 2018-07-05 Mine One Gmbh Facial signature methods, systems and software
US20180185753A1 (en) * 2015-06-30 2018-07-05 Sony Corporation Information processing device, information processing method, and program
JP2018124981A (ja) * 2017-10-25 2018-08-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS573878A (en) 1980-06-10 1982-01-09 Chisso Corp Preparation of flame-retardant
KR100916706B1 (ko) 2008-01-09 2009-09-11 에스케이 텔레콤주식회사 가상 캐릭터의 동작 애니메이션 재생 방법 및 시스템
CN102084354A (zh) * 2008-04-05 2011-06-01 社会传播公司 基于共享虚拟区域通信环境的装置和方法
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
KR101671900B1 (ko) 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20110225516A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Instantiating browser media into a virtual social venue
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101275314B1 (ko) 2011-05-11 2013-06-17 도시바삼성스토리지테크놀러지코리아 주식회사 리모트 컨트롤러와, 이를 이용한 제어 방법 및 제어 시스템
KR101312771B1 (ko) 2011-12-14 2013-09-27 건국대학교 산학협력단 아바타를 사용한 영상 채팅 장치 및 방법
KR102077108B1 (ko) 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
US20150287403A1 (en) * 2014-04-07 2015-10-08 Neta Holzer Zaslansky Device, system, and method of automatically generating an animated content-item
US20150362733A1 (en) 2014-06-13 2015-12-17 Zambala Lllp Wearable head-mounted display and camera system with multiple modes
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
US9396588B1 (en) * 2015-06-30 2016-07-19 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality virtual theater system
JP6727807B2 (ja) 2015-12-29 2020-07-22 株式会社バンダイナムコアミューズメント ゲーム装置及びプログラム
KR101850860B1 (ko) 2016-08-26 2018-05-30 주식회사 임팩시스 모션 캡쳐 및 영상처리 시스템 및 그 구현방법
US10169919B2 (en) * 2016-09-09 2019-01-01 Oath Inc. Headset visual displacement for motion correction
JP6263252B1 (ja) 2016-12-06 2018-01-17 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6244593B1 (ja) 2017-01-30 2017-12-13 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR101839118B1 (ko) 2017-03-26 2018-03-16 (주)퓨처젠 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템
KR101839122B1 (ko) 2018-01-17 2018-03-15 (주)퓨처젠 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템 및 다중 접속 가상공간에서 3d 가상현실 영상을 제공하는 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的系统
US20150381938A1 (en) * 2014-06-30 2015-12-31 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US20180189550A1 (en) * 2015-03-21 2018-07-05 Mine One Gmbh Facial signature methods, systems and software
US20180185753A1 (en) * 2015-06-30 2018-07-05 Sony Corporation Information processing device, information processing method, and program
US20170243324A1 (en) * 2016-02-22 2017-08-24 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
CN106454322A (zh) * 2016-11-07 2017-02-22 金陵科技学院 Vr的图像处理系统及其方法
JP2018124981A (ja) * 2017-10-25 2018-08-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAKOTO KIKKAWA 等: "Instruction for Remote MR Cooperative Work with Captured Still Worker"s View Video", 《 2012 IEEE 26TH INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION NETWORKING AND APPLICATIONS》 *

Also Published As

Publication number Publication date
EP3611598A1 (en) 2020-02-19
WO2020036323A1 (en) 2020-02-20
KR20200019486A (ko) 2020-02-24
US11132054B2 (en) 2021-09-28
CN110825219B (zh) 2022-04-22
US20200057489A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
US11863845B2 (en) Geometry matching in virtual reality and augmented reality
US11231827B2 (en) Computing device and extended reality integration
US10848894B2 (en) Controlling audio in multi-viewpoint omnidirectional content
CN109407821B (zh) 与虚拟现实视频的协作交互
JP2018116352A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20190109938A1 (en) Message display method according to event occurrence in vr device and apparatus therefor
US10964085B2 (en) Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
WO2022252924A1 (zh) 图像传输与显示方法、相关设备及系统
CN110825219B (zh) 电子设备、电子设备的控制方法和电子系统
JP2018116684A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN115150555B (zh) 视频录制方法、装置、设备及介质
US20210058611A1 (en) Multiviewing virtual reality user interface
EP4176432A1 (en) Layered description of space of interest
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
US11294615B2 (en) Incorporating external guests into a virtual reality environment
KR20210067166A (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
TWI839532B (zh) 計算裝置及延伸實境整合
US20240177359A1 (en) Training a machine learning model for reconstructing occluded regions of a face
US11956409B2 (en) Immersive media interoperability
US20220270626A1 (en) Method and apparatus in audio processing
JP6983639B2 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2023184519A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
Lesser et al. Audio Communication Group Masterthesis
KR20200114923A (ko) 컨트롤러 입력에 따른 화면 동작 제어 방법 및 이를 이용한 헤드 마운티드 디스플레이 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant