CN110178158B - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN110178158B
CN110178158B CN201880006845.8A CN201880006845A CN110178158B CN 110178158 B CN110178158 B CN 110178158B CN 201880006845 A CN201880006845 A CN 201880006845A CN 110178158 B CN110178158 B CN 110178158B
Authority
CN
China
Prior art keywords
importance level
data
user
virtual space
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880006845.8A
Other languages
English (en)
Other versions
CN110178158A (zh
Inventor
后藤健志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110178158A publication Critical patent/CN110178158A/zh
Application granted granted Critical
Publication of CN110178158B publication Critical patent/CN110178158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本技术的一种方面的信息处理装置设置有：获取单元；以及生成控制单元。获取单元获取关于对象的至少一个部位的重要性级别。生成控制单元基于所获取的重要性级别来控制在虚拟空间中显示的对象的模型的生成。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本技术涉及信息处理装置、信息处理方法和程序，其适用于在虚拟空间等中显示的模型的生成。
背景技术
过去，已知通过经由网络等彼此共享视频和音频来执行远程通信的技术。例如，远程位置的用户能够实时地相互发送视频和音频。结果，可以在掌握彼此的状态的情况下与处于远程位置的另一方进行通信。
例如，专利文献1描述了一种能够相互传送/接收不同站点的用户的图像和音频的电视会议系统。在专利文献1中，基于用户的捕获图像确定用户是否正在做出手势。在做出手势的情况下，从捕获图像中剪切出用户的上半身图像。在没有做出手势的情况下，剪切用户的面部图像。用户的上半身或面部的剪切图像被传送到另一方的终端装置并显示在显示器上。结果，可以通过手势平稳地进行电视会议，并且实现良好的通信(专利文献1的说明书的段落[0030]、[0057]和[0092]、图5、图6等)。
引用列表
专利文献
专利文献1：日本专利申请公开第2010-239499号
发明内容
技术问题
近年来，还已经开发了通过在由计算机系统等构建的虚拟空间中显示每个用户的模型来实现远程通信的系统。期望能够在虚拟空间上执行良好的通信的技术。
鉴于如上所描述的情况，本技术的目的在于提供能够在虚拟空间上执行良好的通信的信息处理装置、信息处理方法和程序。
问题的解决方案
为了实现上述目的，根据本技术的实施方式的信息处理装置包括获取单元和生成控制单元。
获取单元获取与对象的至少一个部位有关的重要性级别。
生成控制单元基于所获取的重要性级别来控制在虚拟空间中显示的对象的模型的生成。
在该信息处理装置中，获取对象的至少一个部位的重要性级别，并且基于重要性级别来控制对象的模型的生成。结果，例如，可以根据重要性级别控制数据量，并减少数据传输的负荷和处理计算量。结果，可以在虚拟空间上执行良好的通信。
生成控制单元可以控制对象的模型的对应部位的数据量，对应部位与已被获取重要性级别的对象的至少一个部位相对应。
结果，可以基于重要性级别控制对象的模型的每个对应部位的数据量。结果，例如，可以减少数据传输的负荷和处理计算量。
生成控制单元可以增加与已被获取高重要性级别的部位相对应的对应部位的数据量，并且减少与已被获取低重要性级别的部位相对应的对应部位的数据量
结果，例如，可以在抑制整个数据量的增加的情况下，以高精度生成对象的模型的具有高重要性级别的对应部位。结果，可以在虚拟空间上执行良好的通信。
生成控制单元可以控制用于生成对象的模型的生成数据的数据量。
结果，可以控制用于生成对象的模型的诸如对象的图像等的数据量。因此，可以减少数据传输的负荷和处理计算量。
生成数据可以包括用于生成对象的模型的每个部位的部位数据。在这种情况下，生成控制单元可以控制与已被获取重要性级别的对象的至少一个部位相对应的部位数据的数据量。
结果，可以基于重要性级别控制对象的模型的每个对应部位的数据量，并且在虚拟空间上执行良好的通信。
生成控制单元可以增加与已被获取高重要性级别的部位相对应的部位数据的数据量，并且减少与已被获取低重要性级别的部位相对应的部位数据的数据量。
结果，例如，可以在抑制整个数据量的增加的情况下，以高精度生成对象的模型的具有高重要性级别的对应部位。结果，可以在虚拟空间上执行良好的通信。
获取单元可以基于与虚拟空间有关的信息获取重要性级别。
结果，可以根据虚拟空间上的情况等生成模型，并且执行良好的通信。
与虚拟空间有关的信息可以包括关于虚拟空间的场景的信息。在这种情况下，获取单元可以基于关于场景的信息获取重要性级别。
结果，可以根据虚拟空间上的场景生成模型，并且执行良好的通信。
获取单元可以针对与虚拟空间的场景有关的主要部位获取高重要性级别以及针对不是主要部位的部位获取低重要性级别。
结果，例如，可以增加与场景有关的主要部位的数据量，从而以高分辨率显示它，并且在虚拟空间上执行良好的通信。
获取单元可以基于对象的动作获取重要性级别。
结果，可以根据对象的动作生成模型，并且执行良好的通信。
获取单元可以针对与对象的动作有关的主要部位获取高重要性级别以及针对不是主要部位的部位获取低重要性级别。
结果，例如，可以执行诸如提高对象的运动部位的重要性级别的处理。结果，例如，可以精确地再现对象的动作。
获取单元可以基于从用户输入的与重要性级别有关的指示来获取重要性级别。
结果，例如，可以通过用户的以高精度显示他/她期望的部位的模型等进行良好的通信。
获取单元可以基于与在虚拟空间中显示的其他对象的模型有关的重要性级别来获取重要性级别。
结果，例如，可以获取与其他对象的模型的重要性级别类似的重要性级别，并且执行良好的通信。
获取单元可以基于与虚拟空间中显示的其他对象的模型有关的动作来获取重要性级别。
结果，可以根据其他对象的模型的动作等容易地生成对象的模型。结果，可以在虚拟空间上执行良好的通信。
获取单元可以基于与虚拟空间中显示的其他对象的模型的重要性级别有关的指示来获取重要性级别，该指示是从其他用户输入的。
结果，例如，可以获取与大多数用户指示的重要性级别类似的重要性级别，并根据通信生成用户的模型。
根据本技术的实施方式的信息处理方法是由计算机系统执行的信息处理方法，包括：获取与对象的至少一个部位有关的重要性级别。
基于所获取的重要性级别，控制在虚拟空间中显示的对象的模型的生成。
根据本技术的实施方式的程序使得计算机系统执行以下步骤：
获取与对象的至少一个部位有关的重要性级别；以及
基于所获取的重要性级别，控制在虚拟空间中显示的对象的模型的生成。
发明的有益效果
如上所描述的，根据本技术，可以在虚拟空间上执行良好的通信。应当注意，这里描述的效果不必然是限制性的，并且可以是本公开中描述的任何效果。
附图说明
图1是用于描述根据第一实施方式的虚拟空间生成系统的概要的示意图。
图2是示出客户端装置和服务器装置的功能配置示例的框图。
图3是示出客户端装置的操作的示例的流程图。
图4是示出场景中用户的身体的每个部位的重要性级别的示例的表。
图5是描述场景的示例的示意图。
图6是描述场景的示例的示意图。
图7是描述场景的示例的示意图。
具体实施方式
在下文中，将参照附图描述根据本技术的实施方式。
<第一实施方式>
[虚拟空间生成系统]
图1是描述根据本技术的第一实施方式的虚拟空间生成系统的概要的示意图。虚拟空间生成系统100包括多个摄像装置10、客户端装置20、服务器装置30和显示装置40。
多个摄像装置10对真实空间R中的用户(对象)1进行成像，并将用户1的图像等传送到客户端装置20。客户端装置20生成用于生成用户1的虚拟模型2的生成数据，并将其传送到服务器装置30。服务器装置30生成包括用户1的虚拟模型2的虚拟空间V，并将其传送到客户端装置20。生成的虚拟空间V输出到显示装置40，并且包括虚拟模型2的虚拟空间V被显示。
作为虚拟模型2，例如，生成再现诸如表情、姿势和动作的用户1的状态的三维(3D)CG(计算机图形)等。如下面将描述的，仅再现多个部位中的一部分，诸如面部，并且可以针对其他部位显示默认模型。注意，虚拟模型2的目标不限于人，并且可以针对诸如宠物和机器人的任意对象生成虚拟模型2。
如图1所示，多个摄像装置10以预定的成像区域为基准而布置在不同的位置。因此，可以获取通过从各个方向对已经移动到成像区域的用户1进行成像而获得的多个图像。
作为摄像装置10，例如，使用包括诸如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦合器件)传感器的图像传感器的数字摄像装置。此外，例如，可以适当地使用包括诸如毫米波雷达或红外激光器的距离传感器的深度摄像装置等。
在该实施方式中，诸如麦克风的声音收集装置(省略图示)被设置在成像区域中。声音收集装置在捕获用户1的图像的同时获取用户1的音频。结果，例如，可以在虚拟空间V中执行诸如会话的通信。声音收集装置的类型等不受限制，并且例如，适当地使用定向麦克风等。
作为显示装置40，例如，使用利用液晶、EL(电致发光)等的显示装置、投影仪等。用户1能够通过显示在显示装置40上的他/她自己的虚拟形象(avatar)(虚拟模型2)体验虚拟空间V。此外，可以使用用户1佩戴和使用的显示装置40，例如HMD(头部安装显示器)。结果，用户1能够享受体验，好像他/她在虚拟空间V中一样。此外，可以使用任意显示设备。
客户端装置20和服务器装置30可以通过例如PC(个人计算机)和服务器系统等的任意计算机来实现。在该实施方式中，客户端装置20对应于根据本技术的信息处理装置的实施方式。
多个摄像装置10、客户端装置20、服务器装置30和显示装置40的连接形式不受限制。例如，各个装置可以经由诸如LAN(局域网)和WAN(广域网)的网络连接，或者使用电缆等直接连接。
例如，多个摄像装置10、客户端装置20和显示装置40被设置在用户1附近，并且仅服务器装置30被设置在网络上。替选地，客户端装置20和服务器装置30被设置在网络上。另外，可以采用装置的任意连接形式和任意布置。
图2是示出客户端装置20和服务器装置30的功能配置示例的框图。在图2中，用户1使用的一个客户端装置20连接到服务器装置30。实际上，共享虚拟空间V的其他用户使用的多个客户端装置20连接到服务器装置30。
客户端装置20包括配置计算机所需的硬件，例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)和HDD(硬盘驱动)。
CPU将存储在ROM或HDD中的根据本技术的程序加载到RAM中并执行它，从而实现图2所示的功能块。然后，这些功能块执行根据本技术的信息处理方法。注意，为了实现各个功能块，可以适当地使用诸如FPGA(现场可编程门阵列)和图像处理IC(集成电路)的专用硬件。
例如，程序经由各种记录介质安装在客户端装置20上。替选地，可以经由因特网等安装程序。
如图2所示，客户端装置20包括操作接收单元201、操作控制单元202、成像/声音收集单元203、动作检测单元204、重要性级别计算单元205以及数据控制单元206。此外，客户端装置20包括数据接收单元207、数据解压缩单元208、数据压缩单元209、数据传送单元210、数据插值单元211、信号处理单元212以及显示输出单元213。
操作接收单元201经由诸如键盘和控制器的操作设备接受从用户1输入的指示等。例如，接受与下面描述的重要性级别有关的指示、指定虚拟空间V的场景的指示等。另外，接受诸如与虚拟模型2的操作有关的指示和诸如调整音量的本地指示的各种指示。
操作控制单元202基于操作接收单元201接受的来自用户1的指示来控制客户端装置20的各个功能块。注意，在图2所示的示例中，省略了在操作控制单元202与各个功能块之间的连接(箭头)。
成像/声音收集单元203生成用户1的图像数据，其包含由多个摄像装置10捕获的用户1的多个图像。此外，成像/声音收集单元203生成用户1的音频数据，其包含由麦克风等收集的用户1的音频。
动作检测单元204基于用户1的图像数据检测用户1的动作。在该实施方式中，计算诸如头部、双手、双脚和躯干的用户1的身体的每个部位的动作量。例如，基于预先存储的人体的特征量，从用户1的图像中提取用户1的身体的区域。然后，通过骨骼估计(骨架估计)等来检测身体的每个部位。对于每个部位，计算表示相对于过去(例如，之前一帧)检测到的部位的偏差(动作)的动作矢量。基于动作矢量的方向或幅值，计算每个部位的动作量。
例如，在用户1站起来并移动的情况下，每个部位的动作量以双脚为中心增加。在用户1在一个地方使用双手做出手势等的情况下，用户1的双手的动作量增加，并且双脚和躯干的动作量减少。检测动作量的方法等不受限制，可以适当地使用任意图像识别技术或使用机器学习等的方法。
重要性级别计算单元205计算与用户1的身体的每个部位有关的重要性级别。重要性级别是与虚拟模型2的生成有关的参数，并且通常反映在每个部位的生成精度中。例如，在虚拟空间V中，高重要性级别被设置到期望以高精度显示的部位或者需要以高精度显示的部位。
例如，假设在进行会议等的场景中，在坐着的情况下与其他用户进行会话。在这种情况下，由于用户1的表情等对于通信而言是重要的，因而将用户的头部的重要性级别设置为高的。同时，由于在桌子等下方显示的用户1的下半身等不是特别重要，因此将重要性级别设置为低的。
在网球比赛的场景等中与其他用户打网球的情况下，由于整个身体的移动是重要的，因而用户1的整个身体的每个部位的重要性级别被设定为高的。注意，在俯视网球场的场景等中不能看到表情的情况下，例如，可以降低用户1的头部的重要性级别。
计算用户1的每个部位的重要性级别的方法(设置重要性级别的方法)不受限制。例如，针对与虚拟空间V的场景或用户1的移动等有关的主要部位计算高重要性级别，并且针对非主要部位计算低重要性级别。稍后将具体描述重要性级别的计算。在该实施方式中，重要性级别计算单元205与获取与对象的至少一个部位有关的重要性级别的获取单元相对应。
数据控制单元206生成用于生成用户1的虚拟模型2的生成数据。基于从成像/声音收集单元203输入的用户1的图像数据和音频数据生成该生成数据。在该实施方式中，基于由重要性级别计算单元205计算的重要性级别来适当地控制生成数据的数据量。
具体地，作为生成数据，生成用于生成虚拟模型2的每个部位的部位数据。例如，为例如头部、双手、双脚和躯干的每个部位生成部位数据。不言而喻，如何划分部位不受限制，并且这些部位可以划分为三个部位，即头部、上半身和下半身。
数据控制单元206基于由重要性级别计算单元205获取的用户1的身体的每个部位的重要性级别来控制每个部位的部位数据的数据量。例如，使得与被计算了高重要性级别的用户1的部位相对应的部位数据的数据量增加。
例如，在用户1的图像数据中，获取具有高分辨率的部位图像作为对应部位的图像(在该实施方式中，尽管获取了在不同方向上捕获的多个部位图像，但是其将被简称为“部位图像”并描述)。具有高分辨率的部位图像与数据量被控制的部位数据相对应。注意，捕获图像的分辨率在一些情况下与这里提到的高分辨率相对应。也就是说，可以任意设置数据量的增加/减少的基准，并且增加部位数据的数据量可以包括按原样获取捕获的部位图像。
此外，数据控制单元206减少与被获取了低重要性级别的用户1的部位相对应的部位数据的数据量。例如，在用户1的图像数据中，获取具有低分辨率的部位图像作为对应部位的图像。通常，捕获的部位图像的分辨率降低。结果，生成数据量减少的部位数据。注意，在例如生成具有默认增加的捕获图像的分辨率的生成数据的情况下，在数据量减少的部位数据的生成中，可以包括按原样获取捕获的部位图像(在不增加默认分辨率的情况下获取)。
注意，在本公开中，减少包括删除。也就是说，包括将具有低重要性级别的用户1的部位数据的数据量减少到零。这意味着删除具有低重要性级别的用户1的部位的部位数据。
注意，除了生成数据之外，数据控制单元还生成与用户1输入的各种类型的设置有关的设置数据。设置数据包括例如指定虚拟空间V的场景的指示等。在该实施方式中，数据控制单元206与生成控制单元相对应。
数据接收单元207接收从服务器装置30传送的用于显示虚拟空间V的显示数据。显示数据包括虚拟空间V的3D数据和音频数据、关于虚拟空间V的场景的信息等。注意，显示数据被压缩，并由服务器装置30传送。
数据解压缩单元208对由数据接收单元207接收的显示数据进行解压缩。数据压缩单元209以预定压缩格式对从数据控制单元206输入的生成数据和设置数据执行数据压缩。数据传送单元210将由数据压缩单元209压缩的生成数据传送到服务器装置30。
显示数据或生成数据的压缩格式、解压缩处理的类型等不受限制，并且可以使用任意数据压缩/数据解压缩技术。
数据插值单元211对从服务器装置30传送的虚拟空间V的3D数据进行插值。例如，当从服务器装置30传送时，构成虚拟空间V的对象或虚拟模型的一部分在某些情况下可能丢失。数据插值单元211通过估计缺失部分的插值数据并填充缺失部分来执行插值。
通过使用例如存储过去帧的3D数据、针对虚拟模型的每个部位的默认3D数据等的库等来执行插值数据的生成。替选地，根据用户1的动作，可以新生成根据动作的每个部位的3D数据并将其用作插值数据。此外，还可以基于音频数据等来对面部的发声动作进行插值。对缺失部分进行估计和插值的方法不受限制，并且可以适当地使用任意CG处理技术等。
信号处理单元212基于从数据插值单元211输出的虚拟空间V的3D数据，生成要在显示装置40上显示的视频数据。例如，适当地生成虚拟模型2的俯视视频或从虚拟模型2的视点观看的视频。例如，基于用户1的移动、注视方向、指示等，生成包括相对于虚拟空间V的视点的位置、方向等的视点信息。基于视点信息，生成视频数据。可以使用其他方法。
此外，信号处理单元212生成要由诸如扬声器的音频再现装置再现的音频数据。也就是说，生成从虚拟模型2、对象等发出的音频的数据。生成视频数据和音频数据的方法不受限制，并且可以使用任意技术。
显示输出单元213将由信号处理单元212生成的虚拟空间V的视频和音频的数据输出到显示装置40或音频再现装置。
服务器装置30包括虚拟空间控制单元301、数据生成单元302、数据接收单元303、数据解压缩单元304、数据压缩单元305和数据传送单元306。
虚拟空间控制单元301生成包括用户1的虚拟模型2的虚拟空间V。在该实施方式中，基于从客户端装置20传送的生成数据，生成用户1的虚拟模型2。具体地，基于包括在生成数据中的部位数据，生成与部位数据相对应的虚拟模型2的对应部位。
基于例如具有高分辨率的部位图像(部位数据)生成与被计算了高重要性级别的用户1的部位相对应的虚拟模型2的对应部位。因此，以高数据量和高精度生成具有高重要性级别的对应部位。
基于例如具有低分辨率的部位图像(部位数据)生成与被计算了低重要性级别的用户1的部位相对应的虚拟模型2的对应部位。因此，以小数据量和抑制的精度生成具有低重要性级别的对应部位。注意，对于被删除了部位数据的部位，例如，使用默认部位模型等作为对应部位。通常，使用具有足够小的数据量的部位模型。
基于部位图像等生成虚拟模型2的对应部位的方法不受限制。例如，基于从不同方向捕获的多个部位图像等生成部位的网格模型，并且向其添加表面上的皮肤颜色、衣服的颜色等。另外，可以使用能够生成3D模型的任意技术。
组合所生成的对应部位以生成用户1的虚拟模型2。结果，生成根据重要性级别控制每个部位的精度的虚拟模型2。例如，在进行会议等的场景中，生成头部精度高且下半身等的精度低(或默认模型)的虚拟模型2。替选地，在网球比赛的场景等中，生成全身的每个部位的精度高的虚拟模型2。
此外，虚拟空间控制单元301基于从客户端装置20传送的设置数据生成虚拟空间V的其他元素。例如，生成表达从用户1指定的场景的虚拟空间V。在作为会议场景的情况下，生成包括会议室内部、桌子、椅子、白板等的3D模型的虚拟空间V。本技术不限于此，并且例如，适当地生成适合于例如运动和用餐的各种场景的虚拟空间V。
在与其他用户共享虚拟空间V的情况下，生成其他用户的虚拟模型2。此外，还在基于重要性级别控制数据量的情况下生成其他用户的虚拟模型2。适当地设置包括他/她自己的每个用户的虚拟模型2，并且因此，构造虚拟空间V。
数据生成单元302生成要传送到客户端装置20的显示数据。如上所述，显示数据包括虚拟空间V的3D数据和音频数据、关于虚拟空间V的场景的信息等。
数据接收单元303和数据解压缩单元304分别接收和解压缩从客户端装置20传送的生成数据等。数据压缩单元305和数据传送单元306分别压缩由客户端装置20生成的显示数据以及将其传送到客户端装置20。
图3是示出客户端装置20的操作的示例的流程图。首先，成像/声音收集单元203获取用户1的图像和音频并且生成用户1的图像数据和音频数据(步骤101)。重要性级别计算单元205计算用户1的身体的每个部位的重要性级别(步骤102)。
如图2所示，数据解压缩单元208和操作检测单元204连接到重要性级别计算单元205。从数据解压缩单元208输入关于虚拟空间V的场景等的信息，并且从操作检测单元204输入基于用户1的图像数据检测到的用户1的身体的每个部位的动作量。
重要性级别计算单元205基于所输入的关于虚拟空间V的场景的信息和用户1的身体的每个部位的动作量来计算重要性级别。此外，在重要性级别由用户1指定的情况下，根据指定计算重要性级别。在下文中，将具体描述重要性级别的计算。
图4是示出场景中用户1的身体的每个部位的重要性级别的示例的表。图5至图7各自是描述场景的示例的示意图。
在图4中，示出了在虚拟空间V中假设的多个场景中用户1的每个部位的重要性级别。这里，示出了面部的重要性级别、上半身的重要性级别和下半身的重要性级别。假设的场景的示例包括如下场景：运动、用餐/餐厅、桌面游戏、会议、上课、驾车、电视观看和电影院/音乐会。不言而喻，在虚拟空间中，除了这些场景之外还假设各种场景。
在图4所示的示例中，用户1的每个部位的重要性级别以三个阶段、即高、中和低、示出。关于重要性级别的设置，通常，针对与场景有关的主要部位设置高重要性级别，并且针对非主要部位设置低重要性级别。不言而喻，哪个部位是与场景有关的主要部位可以任意设置。此外，可以基于不同于是否是主要部位的确定基准来设置重要性级别。
此外，如何表达重要性级别也不受限制。重要性级别可以不设置在高、中和低这三个阶段，而是四个阶段、五个阶段或更多阶段。此外，可以使用百分比(百分数)等来表示重要性级别。
重要性级别计算单元205基于图4所示的表设置用户1的面部、上半身和下半身中的每个部位的重要性级别。在该实施方式中，基于关于虚拟空间V的场景的信息，例如，参考存储有与图4的表中的数据类似的数据的表等，并且设置用户1的每个部位的重要性级别。
例如，如图5所示，在用户1正在打网球(运动)的场景中，例如发球和碰撞的用户1的形式、用户1的表情等是重要的。也就是说，用户1的面部51、上半身52和下半身53是与运动的场景有关的主要部位。因此，基于图4所示的表，为用户1的整个身体(面部51、上半身52和下半身53)设置高重要性级别。
此外，在该实施方式中，还可以基于例如用户1的动作量动态地改变与场景相关地设置的每个部位的重要性级别。例如，在以下半身53为中心的整个身体的动作量减少的情况下，确定他/她处于休息状态，并且将每个部位的重要性级别改变为低值。不言而喻，面部51的重要性级别可以保持为高的，因为能想到在休息期间可能进行对话。注意，参考例如预定阈值确定动作量的减少。
在用户开始行走并且以下半身53为中心增加动作量的情况下，确定休息结束并且恢复运动，并且每个部位的重要性级别返回到高值。通过如上所描述的那样基于用户1的动作动态地改变每个部位的重要性级别，可以以高质量执行良好的通信。
如图6所示，在用户1在会议中的场景中，用户1在坐着的情况下与其他用户交谈。因此，用户1的表情等是重要的，并且用户1的面部51是与会议场景有关的主要部位。同时，在会议场景中，由于用户1的手的位置、坐姿等并不是特别重要，因而用户1的下半身53和上半身52是非主要部位。因此，基于图4所示的表对用户1的面部51设置高重要性级别，并且对上半身52和下半身53中的每一个设置低重要性级别。
例如，在用户1的上半身52的动作量高于预定阈值的情况下，例如，确定用户1正在会议场景中用手势进行谈话。在执行利用手势的谈话的情况下，用户1的手的动作等对于通信是重要的。因此，上半身52的重要性级别改变为高重要性级别。
在用户1的上半身52的动作量频繁变化的情况下，用户1是主要讲话者的可能性高。这种情况的示例包括用户正在进行演示的情况。在这种情况下，例如，通过降低与讲话者(用户1)的上半身52的动作量有关的阈值，还可以将讲话者的上半身52的重要性级别设置为容易增加。如上所描述的，基于用户1的动作的频率等，可以改变用户1的每个部位的重要性级别。
例如，在会议等的场景中用户1的下半身53的动作量改变的情况下，确定用户1正站立或行走。在这种情况下，例如，用户1是主要讲话者的可能性高，并且将用户1的上半身的重要性级别设置为容易增加。如上所描述的，基于下半身53的动作量的改变，可以执行与上半身52的重要性级别有关的设置。
在如图7所示的那样用户1正在观看电影的场景中，用户1的表情、身体的移动等对于通信不是特别重要。因此，用户1的面部51、上半身52和下半身53在电影院场景中是非主要部位，并且根据图4所示的表针对用户1的整个身体设置低重要性级别。
在用户正在观看电影的场景中，能够想到用户1执行诸如拉伸他/她的身体和重新布置他/她的脚的动作。这种动作对于通信不是特别重要。因此，在用户正在观看电影等的场景中，即使在用户1的上半身52等的动作量已经改变的情况下，在某些情况下也不需要改变上半身52等的重要性。例如，还可以将与用户1的动作量有关的阈值设置为高的，以使用户1的每个部位的重要性级别难以增加。
此外，例如，在电影期间用户1的下半身53的动作量大幅增加的情况下，确定用户1已经站起来去洗手间等。在这种情况下，由于用户1的步行动作等不重要，所以下半身53的动作量不会改变而保持为低的。例如，基于关于虚拟空间V的场景的信息而确定是否正在播放电影，并且在播放电影的情况下，进行诸如将用户1的下半身53的重要性级别保持在低值的设置。注意，在电影结束的情况下，设置被切换到基于用户1的每个部位的动作量等改变每个部位的重要性级别的设置。
在从用户1指示与身体的每个部位有关的重要性级别的情况下，根据指示改变每个部位的重要性级别。例如，在他/她正在上课的场景等中输入指示不需要关于表情(面部)的信息等的指示的情况下，将面部的重要性级别设定为低。此外，在电影院的场景等中期望以高精度再现他/她在观看电影时的表情的情况下输入增加面部的重要性级别的指示的情况下，面部的重要性级别增加。由于可以基于来自用户1的指示改变每个部位的重要性级别，因而可以执行用户1期望的良好的通信等。
返回图3，数据控制单元206生成用于生成用户1的虚拟模型2的生成数据(步骤103)。在该实施方式中，生成用于生成虚拟模型2的对应部位的部位数据作为生成数据。
例如，在虚拟空间V中正在进行会议的场景中，将高重要性级别设置到用户1的面部。在这种情况下，例如，作为与用户1的面部有关的部位数据，生成用户1的面部的具有高分辨率的图像(部位图像)。此外，在对用户1的上半身和下半身设置低重要性级别的情况下，生成具有低分辨率的上半身和下半身的部位图像。因此，数据控制单元206通过如下方式来控制生成数据的数据量：在确保对虚拟空间中的通信重要的部位的足够数据量的情况下，减少对通信不重要的部位的数据量。
此外，例如，在虚拟空间V中他/她正在观看电影的场景中，对用户1的整个身体设置低重要性级别。在电影院的场景等中，照明变暗，并且不需要再现用户1的表情。在这种情况下，例如，可以执行处理，使得不生成用户1的面部、上半身和下半身中的每一个的部位图像，并且部位数据的数据量减少到零。因此，仅生成用户1的音频数据作为生成数据，并且充分减少了生成数据的数据量。注意，可以使用例如默认准备的虚拟形象等来表达用户1的虚拟模型2。
如上所描述的，数据控制单元206能够通过控制用于生成用户1的虚拟模型2的生成数据的数据量来控制虚拟模型2的生成。数据压缩单元209对由数据控制单元206生成的生成数据进行压缩。然后，压缩的生成数据从数据传送单元210传送到服务器装置30(步骤104)。
如上所描述的，在根据该实施方式的客户端装置20中，获取用户1的至少一个部位的重要性级别，并且基于重要性级别控制用户1的虚拟模型2的生成。结果，例如，可以执行与重要性级别相对应的数据量的控制等，并且减少数据传输的负荷和处理计算量。结果，可以在虚拟空间V上执行良好的通信。
为了提高虚拟空间V上的远程通信的质量，例如，能够想到适当地使用用于检测讲话者的技术、用于计算用户1的视线的技术等。此外，还期望能够在抑制要传送的关于视频的信息量的情况下抑制用户期望的通信所需的信息的减少的技术。
在该实施方式中，重要性级别计算单元205计算用户1的身体的每个部位的重要性级别。结果，例如，可以通过使用重要性级别以高精度表示在虚拟空间V上的通信中对每个部位的需要程度。此外，数据控制单元206基于用户1的身体的每个部位的重要性级别来控制虚拟模型2的部位数据的数据量。结果，生成具有基于重要性级别的高精度的虚拟模型。
也就是说，在该实施方式中，可以以高精度控制用于生成虚拟模型2的图像等的数据量，并且充分地抑制要经由网络传送的数据量。同时，可以生成以高精度生成对通信重要的部位的虚拟模型。结果，可以在充分地减少数据传输的负荷和处理计算量的情况下，充分地确保用户1期望的通信所需要的信息。
在该实施方式中，基于关于虚拟空间V的场景的信息或用户1的动作等来计算重要性级别。因此，根据虚拟空间V中假设的各种场景或情况，可以以高精度计算重要性级别。结果，根据每个场合的情况等的虚拟模型2等被显示在虚拟空间V上，并且用户1能够平稳地进行通信。
<第二实施方式>
将描述根据本技术的第二实施方式的虚拟空间生成系统。在以下描述中，将省略或简化与上述实施方式中描述的虚拟空间生成系统100的配置和操作类似的配置和操作的描述。
在根据该实施方式的客户端装置中，在计算重要性级别的处理中(参见图3中的步骤102)使用与在虚拟空间中显示的其他用户(其他对象)的虚拟模型有关的信息。具体地，使用与其他用户的虚拟模型有关的重要性级别、与其他用户的虚拟模型有关的动作以及从其他用户输入的与该其他用户的虚拟模型的重要性级别有关的指示等。
与其他用户的虚拟模型有关的重要性级别是其他用户的身体的每个部位的重要性级别，其由其他用户使用的客户端装置的重要性级别计算单元计算。与其他用户的虚拟模型有关的动作是其他用户的动作。也就是说，由其他用户使用的客户端装置的操作检测单元检测到的其他用户的身体的每个部位的动作量与其对应。与其他用户的虚拟模型的重要性级别有关的指示是其他用户输入到他/她的虚拟模型的每个部位的关于重要性级别的指示。
多个用户使用的客户端装置20经由网络连接到服务器装置30。因此，在服务器装置30中，从客户端装置中的每一个收集每个用户的身体的每个部位的重要性级别、每个部位的动作量、与重要性级别有关的指示等。
服务器装置30的数据生成单元302向客户端装置20中的每一个传送显示数据和与其他用户的虚拟模型有关的信息。在客户端装置20中的每一个中，将与其他用户的虚拟模型有关的信息输入到重要性级别计算单元205。然后，基于关于虚拟空间V的场景的信息等以及与其他用户的虚拟模型有关的信息，计算与用户1的身体的每个部位有关的重要性级别。
例如，在图5所示的正在打网球的场景中，对手(其他用户)的上半身52和下半身53的动作量急剧减少的情况下，例如，确定比赛已经因为对手突然休息、坐下或开始与裁判谈话而被打断。然后，相应地降低用户1的上半身52和下半身53中的每一个的重要性级别。
此后，在对手的动作量已增加的情况下，确定比赛已经恢复，并且再次增加用户1的每个部位的重要性级别。如上所描述，通过基于其他用户的动作量来改变用户1的重要性级别，可以根据其他用户容易地控制虚拟模型2的显示等。
例如，还假设进行大量参与者参与其中的诸如足球和篮球的运动的比赛或练习的场景。在这样的场景中，在大多数参与者(大多数其他用户)的动作量减少的情况下，还可以确定他们已经休息了。例如，在一半或更多参与者的上半身52和下半身53的动作量减少的情况下，执行诸如降低用户1的每个部位的重要性级别的处理。
假设在图6所示的会议场景中，例如，将会议的另一方(其他用户)的上半身52的重要性级别设置为高并且另一方正在用手势等讲话。在这种情况下，还可以在假设他们用手势彼此交谈的情况下设置用户1的上半身52的重要性级别。
此外，例如，在对另一方的上半身52和下半身53中的每一个设置高重要性级别的情况下，确定另一方正站立并且给出演示等。在这种情况下，由于用户1是收听者，例如，可以执行诸如将上半身52和下半身53的重要性级别改变为较低级别的处理。
在图7所示的用户正在观看电影的场景中，在大多数其他用户的动作量较小的情况下，确定其他用户就座并且正在播放电影。在这种情况下，将用户1的整个身体(面部51、上半身52和下半身53)的重要性级别设定为低。
此外，例如，在电影院中的大多数其他用户的动作量增加的情况下，确定已经播放电影人员卷并且主要故事已经结束。因此，例如，即使在电影的播放尚未完全结束的情况下，也可以基于其他用户的动作量的变化执行诸如将用户1的整个身体的重要性级别改变为高值的处理。如上所描述的，可以在完全切换虚拟空间V的场景之前，根据每种场合的情况动态地改变用户1的重要性级别。
作为另一示例，在现场音乐会的场景中，例如，在现场大厅中的其他用户的动作量大的情况下，确定现场是令人兴奋的。在这种情况下，例如，将用户1的整个身体的重要性级别改变为高值，并且充分表达用户1的动作等。同时，在其他用户的动作量小的情况下，例如，确定正准备下一首歌曲并且将用户1的上半身52和下半身53中的每一个的重要性级别改变为低值。如上所描述的，基于其他用户的动作量的大小等动态地改变用户1的重要性级别。结果，可以实现具有与现场音乐会的氛围相匹配的存在感的虚拟空间，并享受高级虚拟体验。
此外，假设在现场音乐会的场景中在预定定时使用双臂执行独特手势是常见的情况下，许多其他用户将双臂的重要性级别指定为高值。在这种情况下，根据其他用户的指定提高他/她的双臂的重要性级别。结果，在他/她根据周围其他用户(虚拟模型)的移动做出独特手势的情况下，以高精度显示他/她的双手的移动，这使得他/她感觉到非常高兴并且可以享受音乐会。
此外，例如，在大多数其他用户在他/她在餐厅用餐的场景中将上半身的重要性级别指定为低值的情况下，确定关于上半身的信息(用餐期间的动作等)在该场景中不重要。在这种情况下，例如，也将用户1的上半身的重要性级别改变为低值。同时，在大多数其他用户将上半身52的重要性级别指定为高值的情况下，确定用餐期间的动作等是重要的，并且对用户1的上半身设置高重要性级别。
如上所描述的，通过基于与其他用户的重要性级别有关的指定等来改变用户1的重要性级别，可以容易地改变通信中关注的部位的重要性级别。结果，可以执行非常良好的通信。
<其他实施方式>
本技术不限于上述实施方式，并且可以实现各种其他实施方式。
在上文中，作为控制用户的虚拟模型的生成的处理，已经执行基于用户的身体的每个部位的重要性级别来控制部位数据(生成数据)的数据量的处理。替代地，在生成虚拟模型时，可以基于用户的身体的每个部位的重要性级别直接控制虚拟模型的对应部位(每个部位的模型)的数据量。
例如，由客户端装置的成像/声音收集单元生成的图像数据和用户的身体的每个部位的重要性级别被传送到服务器装置。服务器装置在适当地控制对应部位的数据量的情况下，基于身体的每个部位的重要性级别生成用户的虚拟模型。
例如，对于被设置了低重要性级别的部位，生成具有少量网格模型的顶点(粗网格)或表面上的低分辨率的部位模型等。替选地，生成具有小数据量的默认部位模型等。结果，可以减少与被设置了低重要性级别的部位相对应的对应部位的数据量。
对于被设置了高重要性级别的部位，生成具有细网格和高分辨率的部位模型等。结果，可以增加与被设置了高重要性级别的部位相对应的对应部位的数据量。注意，控制3D部位模型的数据量的方法不受限制，并且可以使用任意技术。
如上所描述的，可以基于用户的身体的每个部位的重要性级别来控制虚拟模型的每个对应部位的数据量。结果，实现了基于重要性级别的对诸如每个对应部位的分辨率的质量的控制。
每个对应部位的数据量受到控制的虚拟模型作为显示数据被传送到客户端装置。因此，可以在确保通信所需的信息等的情况下减少显示数据的数据传输的负荷等。此外，由于虚拟模型的对应部位的数据量由服务器装置直接控制，所以充分减少了客户端装置的数据控制单元等中的算术处理。结果，可以避免客户端装置中的处理延迟等。
在上文中，已经控制了模仿用户的外观等的用户的虚拟模型的生成。替代地，可以控制具有与用户的外观不同的外观的虚拟形象等的生成。用户的虚拟形象是根据用户的动作操作的角色，并且基于与用户的动作有关的动作数据等生成。因此，当生成虚拟形象时，不必然需要通过对用户进行成像而获得的图像等。
通过动作捕获生成用户的动作数据。例如，将预定标记等附着到用户的身体的每个部位，并且检测每个标记的移动作为用户的身体的每个部位的动作。动作捕获的方法等不受限制，并且可以使用诸如光学方法、陀螺仪方法、磁方法和视频方法的任意方法。此外，可以使用能够检测用户的动作的其他技术等。
例如，用户的动作数据和用户的身体的每个部位的重要性级别由客户端装置生成，并传送到服务器装置。服务器装置基于用户的每个部位的重要性级别生成用户的虚拟形象。例如，以粗分辨率和抑制的数据量生成与被设置了低重要性级别的部位相对应的虚拟形象的对应部位。此外，例如，以高分辨率和高精度生成与被设置了高重要性级别的部位相对应的虚拟形象的对应部位。
如上所描述的，可以基于用户的身体的每个部位的重要性级别来控制虚拟形象的每个对应部位的数据量。结果，可以经由虚拟形象等进行良好的通信。
上述服务器装置的全部或部分功能可以安装在客户端装置中。例如，客户端装置可以执行生成虚拟模型和虚拟空间的处理等。在这种情况下，例如，可以实现如下连接形式，其中多个用户使用的客户端装置通过诸如P2P(点对点)的方法彼此连接而不使用服务器等。此外，客户端装置的功能中与信息处理有关的全部或部分功能可以安装在服务器装置中。例如，服务器装置可以执行基于客户端装置检测到的用户的身体的每个部位的动作量来计算用户的身体的每个部位的重要性级别等的处理等。
客户端装置和服务器装置中的每一个的功能可以根据服务器装置和客户端装置上的计算负荷、网络中的数据传输速率的变化等、数据传输量、数据传输的延迟等在装置之间分配。例如，在服务器装置的计算负荷大的情况下，客户端装置执行生成虚拟模型的处理等，并且在服务器装置上的计算负荷减小的情况下，服务器装置可以执行生成虚拟模型的处理等。
在上文中，已经描述了由用户操作的诸如PC的计算机执行根据本技术的信息处理方法的情况。然而，根据本技术的信息处理方法和程序可以由能够经由网络等与用户操作的计算机通信的其他计算机执行。此外，可以通过用户操作的计算机和其他计算机的协作来建立根据本技术的模拟系统。
也就是说，根据本技术的信息处理方法和程序不仅可以在包括单个计算机的计算机系统中执行，而且可以在多个计算机协同操作的计算机系统中执行。注意，在本公开中，系统是指多个组件(装置、模块(部件)等)的集合。不考虑所有组件是否在同一壳体中。因此，存储在单独的壳体中并经由网络连接的多个装置和具有存储在一个壳体中的多个模块的一个装置两者均是系统。
通过计算机系统执行根据本技术的信息处理方法和程序包括：例如，通过单个计算机执行获取(计算)用户的身体的每个部位的重要性级别的处理、控制用户的虚拟模型的生成的处理等的情况；以及由不同的计算机执行每个处理的情况。此外，通过预定计算机执行每个处理包括使其他计算机执行部分或全部处理并获取结果。
也就是说，根据本技术的信息处理方法和程序也适用于其中多个装置经由网络共享并且彼此协作地处理一个功能的云计算的配置。
可以组合根据本技术的上述特征中的至少两个特征。具体地，可以任意组合每个实施方式中描述的各种特征而不将实施方式彼此区分开。此外，上述各种效果仅是示例而不是限制性的，并且可以发挥额外的效果。
应注意，本技术可以采用以下配置。
(1)一种信息处理装置，包括：
获取单元，其获取与对象的至少一个部位有关的重要性级别；以及
生成控制单元，其基于所获取的所述重要性级别，控制在虚拟空间中显示的所述对象的模型的生成。
(2)根据(1)所述的信息处理装置，其中，
所述生成控制单元控制所述对象的模型的对应部位的数据量，所述对应部位与已被获取所述重要性级别的所述对象的至少一个部位相对应。
(3)根据(2)所述的信息处理装置，其中，
所述生成控制单元增加与已被获取高重要性级别的部位相对应的所述对应部位的数据量，并且减少与已被获取低重要性级别的部位相对应的所述对应部位的数据量。
(4)根据(1)至(3)中任一项所述的信息处理装置，其中，
所述生成控制单元控制用于生成所述对象的模型的生成数据的数据量。
(5)根据(4)所述的信息处理装置，其中，
所述生成数据包括用于生成所述对象的模型的每个部位的部位数据，以及
所述生成控制单元控制与已被获取所述重要性级别的所述对象的至少一个部位相对应的部位数据的数据量。
(6)根据(5)所述的信息处理装置，其中，
所述生成控制单元增加与已被获取高重要性级别的部位相对应的所述部位数据的数据量，并且减少与已被获取低重要性级别的部位相对应的所述部位数据的数据量。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，
所述获取单元基于与所述虚拟空间有关的信息获取所述重要性级别。
(8)根据(7)所述的信息处理装置，其中，
与所述虚拟空间有关的信息包括关于所述虚拟空间的场景的信息，以及
所述获取单元基于关于所述场景的信息获取所述重要性级别。
(9)根据(8)所述的信息处理装置，其中，
所述获取单元针对与所述虚拟空间的场景有关的主要部位获取高重要性级别，以及针对不是所述主要部位的部位获取低重要性级别。
(10)根据(1)至(9)中任一项所述的信息处理装置，其中，
所述获取单元基于所述对象的动作获取所述重要性级别。
(11)根据(10)所述的信息处理装置，其中，
所述获取单元针对与所述对象的动作有关的主要部位获取高重要性级别，以及针对不是所述主要部位的部位获取低重要性级别。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，
所述获取单元基于从用户输入的与所述重要性级别有关的指示来获取所述重要性级别。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中，
所述获取单元基于与所述虚拟空间中显示的其他对象的模型有关的所述重要性级别来获取所述重要性级别。
(14)根据(1)至(13)中任一项所述的信息处理装置，其中，
所述获取单元基于与所述虚拟空间中显示的其他对象的模型有关的动作来获取所述重要性级别。
(15)根据(1)至(14)中任一项所述的信息处理装置，其中，
所述获取单元基于与所述虚拟空间中显示的其他对象的模型的所述重要性级别有关的指示来获取所述重要性级别，所述指示是从其他用户输入的。
附图标记列表
R 真实空间
V 虚拟空间
1 用户
2 虚拟模型
10 摄像装置
20 客户端装置
30 服务器装置
40 显示装置
51 面部
52 上半身
53 下半身
201 操作接收单元
202 操作控制单元
203 成像/声音收集单元
204 动作检测单元
205 重要性级别计算单元
206 数据控制单元
301 虚拟空间控制单元
302 数据生成单元
100 虚拟空间生成系统

Claims (12)

1.一种信息处理装置，包括：
获取单元，其基于关于虚拟空间的场景的信息获取与对象的至少一个部位有关的重要性级别，以及基于所述对象的动作动态地改变所述重要性级别；以及
生成控制单元，其基于所述重要性级别，控制在所述虚拟空间中显示的所述对象的模型的生成，
其中，所述生成控制单元控制所述对象的模型的对应部位的数据量，所述对应部位与已被获取所述重要性级别的所述对象的至少一个部位相对应，以及
其中，所述获取单元针对与所述对象的动作有关的主要部位获取高重要性级别，以及针对不是所述主要部位的部位获取低重要性级别。
2.根据权利要求1所述的信息处理装置，其中，
所述生成控制单元增加与已被获取高重要性级别的部位相对应的所述对应部位的数据量，并且减少与已被获取低重要性级别的部位相对应的所述对应部位的数据量。
3.根据权利要求1所述的信息处理装置，其中，
所述生成控制单元控制用于生成所述对象的模型的生成数据的数据量。
4.根据权利要求3所述的信息处理装置，其中，
所述生成数据包括用于生成所述对象的模型的每个部位的部位数据，以及
所述生成控制单元控制与已被获取所述重要性级别的所述对象的至少一个部位相对应的所述部位数据的数据量。
5.根据权利要求4所述的信息处理装置，其中，
所述生成控制单元增加与已被获取高重要性级别的部位相对应的所述部位数据的数据量，并且减少与已被获取低重要性级别的部位相对应的所述部位数据的数据量。
6.根据权利要求1所述的信息处理装置，其中，
所述获取单元针对与所述虚拟空间的场景有关的主要部位获取高重要性级别，以及针对不是所述主要部位的部位获取低重要性级别。
7.根据权利要求1所述的信息处理装置，其中，
所述获取单元还基于从用户输入的与所述重要性级别有关的指示来获取所述重要性级别。
8.根据权利要求1所述的信息处理装置，其中，
所述获取单元还基于与所述虚拟空间中显示的其他对象的模型有关的所述重要性级别来获取所述重要性级别。
9.根据权利要求1所述的信息处理装置，其中，
所述获取单元还基于与所述虚拟空间中显示的其他对象的模型有关的动作来获取所述重要性级别。
10.根据权利要求1所述的信息处理装置，其中，
所述获取单元还基于与所述虚拟空间中显示的其他对象的模型的所述重要性级别有关的指示来获取所述重要性级别，所述指示是从其他用户输入的。
11.一种由计算机系统执行的信息处理方法，包括：
基于关于虚拟空间的场景的信息获取与对象的至少一个部位有关的重要性级别；
基于所述对象的动作动态地改变所述重要性级别；以及
基于所述重要性级别，控制在所述虚拟空间中显示的所述对象的模型的生成，
其中，控制在所述虚拟空间中显示的所述对象的模型的生成包括：控制所述对象的模型的对应部位的数据量，所述对应部位与已被获取所述重要性级别的所述对象的至少一个部位相对应，以及
其中，针对与所述对象的动作有关的主要部位获取高重要性级别，以及针对不是所述主要部位的部位获取低重要性级别。
12.一种记录有程序的记录介质，所述程序使得计算机系统执行以下步骤：
基于关于虚拟空间的场景的信息获取与对象的至少一个部位有关的重要性级别；
基于所述对象的动作动态地改变所述重要性级别；以及
基于所述重要性级别，控制在所述虚拟空间中显示的所述对象的模型的生成,
其中，控制在所述虚拟空间中显示的所述对象的模型的生成包括：控制所述对象的模型的对应部位的数据量，所述对应部位与已被获取所述重要性级别的所述对象的至少一个部位相对应，以及
其中，针对与所述对象的动作有关的主要部位获取高重要性级别，以及针对不是所述主要部位的部位获取低重要性级别。
CN201880006845.8A 2017-01-19 2018-01-10 信息处理装置、信息处理方法和记录介质 Active CN110178158B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-007449 2017-01-19
JP2017007449A JP2018116537A (ja) 2017-01-19 2017-01-19 情報処理装置、情報処理方法及びプログラム
PCT/JP2018/000274 WO2018135343A1 (ja) 2017-01-19 2018-01-10 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110178158A CN110178158A (zh) 2019-08-27
CN110178158B true CN110178158B (zh) 2024-03-01

Family

ID=62908428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880006845.8A Active CN110178158B (zh) 2017-01-19 2018-01-10 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US11386681B2 (zh)
EP (1) EP3573026B1 (zh)
JP (1) JP2018116537A (zh)
CN (1) CN110178158B (zh)
WO (1) WO2018135343A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7369333B2 (ja) * 2018-12-21 2023-10-26 Ｔｏｐｐａｎホールディングス株式会社 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム
US11388326B2 (en) * 2019-01-18 2022-07-12 Justin Dion Cowell Camera collaboration configuration
JP7502881B2 (ja) * 2020-03-30 2024-06-19 株式会社バンダイナムコエンターテインメント プログラム及び仮想モデル生成制御装置
CN111935491B (zh) * 2020-06-28 2023-04-07 百度在线网络技术（北京）有限公司 直播的特效处理方法、装置以及服务器
JP2022147658A (ja) * 2021-03-23 2022-10-06 株式会社Ｊｖｃケンウッド ３次元モデル生成装置、３次元モデル生成方法およびプログラム
JP7142392B1 (ja) 2021-06-09 2022-09-27 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7460922B2 (ja) 2022-03-10 2024-04-03 株式会社カプコン 情報処理システムおよびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090288A (ja) * 1998-09-11 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体
CN101577015A (zh) * 2009-06-08 2009-11-11 北京理工大学 一种基于多分辨率体元的动态地形建模方法
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
US9424678B1 (en) * 2012-08-21 2016-08-23 Acronis International Gmbh Method for teleconferencing using 3-D avatar

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7193629B2 (en) * 2001-05-18 2007-03-20 Sony Computer Entertainment Inc. Display apparatus
US7265762B2 (en) * 2003-12-17 2007-09-04 Quid Novi, S.A., Inc. Method and apparatus for representing data using layered objects
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
EP1789928A4 (en) * 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
US8447128B2 (en) * 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP2010239499A (ja) 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
JP2011039860A (ja) * 2009-08-13 2011-02-24 Nomura Research Institute Ltd 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
WO2011058584A1 (en) * 2009-11-10 2011-05-19 Selex Sistemi Integrati S.P.A. Avatar-based virtual collaborative assistance
KR20160084502A (ko) * 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP2013197740A (ja) 2012-03-16 2013-09-30 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
US9443289B2 (en) * 2013-06-21 2016-09-13 Xerox Corporation Compensating for motion induced artifacts in a physiological signal extracted from multiple videos
JP5564625B1 (ja) 2014-01-10 2014-07-30 ソフトバンクモバイル株式会社 プログラム及び表示制御装置
JP6643659B2 (ja) * 2014-04-09 2020-02-12 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6405836B2 (ja) * 2014-09-26 2018-10-17 セイコーエプソン株式会社 位置検出装置、プロジェクター、及び、位置検出方法
JP6501501B2 (ja) * 2014-11-12 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
US10281976B2 (en) * 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US11216080B2 (en) * 2016-09-13 2022-01-04 Xin Tian Methods and devices for information acquisition, detection, and application of foot gestures
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
KR102102761B1 (ko) * 2017-01-17 2020-04-21 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090288A (ja) * 1998-09-11 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体
CN101577015A (zh) * 2009-06-08 2009-11-11 北京理工大学 一种基于多分辨率体元的动态地形建模方法
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
US9424678B1 (en) * 2012-08-21 2016-08-23 Acronis International Gmbh Method for teleconferencing using 3-D avatar

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Region-of-interest volumetric visual hull refinement;DANIEL KNOBLAUCH ET AL;《PROCEEDINGS OF THE 17TH ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY : HONG KONG, HONG KONG - NOVEMBER 22 - 24, 2010, ACM，NEW YORK, NY，22 November 2010 (2010-11-22)》;20111122;第143-150页 *

Also Published As

Publication number Publication date
JP2018116537A (ja) 2018-07-26
US11386681B2 (en) 2022-07-12
EP3573026A4 (en) 2020-01-01
CN110178158A (zh) 2019-08-27
US20190362131A1 (en) 2019-11-28
EP3573026A1 (en) 2019-11-27
EP3573026B1 (en) 2023-10-25
WO2018135343A1 (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
CN110178158B (zh) 信息处理装置、信息处理方法和记录介质
US11178462B2 (en) Display control device and display control method
US20180225880A1 (en) Method and Apparatus for Providing Hybrid Reality Environment
US7285047B2 (en) Method and system for real-time rendering within a gaming environment
TWI766365B (zh) 在具有複數個實體參與者的環境中放置虛擬內容
US11577168B2 (en) Apparatus and method of video playback
WO2020210213A1 (en) Multiuser asymmetric immersive teleconferencing
JP6433559B1 (ja) 提供装置および提供方法、プログラム
US10896322B2 (en) Information processing device, information processing system, facial image output method, and program
RU2660816C2 (ru) Передача видеосигнала
JPWO2016009865A1 (ja) 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
TW202123178A (zh) 一種分鏡效果的實現方法、裝置及相關產品
WO2022267729A1 (zh) 基于虚拟场景的互动方法、装置、设备、介质及程序产品
JP2001160154A (ja) 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
JP7360112B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
CN116962745A (zh) 视频图像的混画方法、装置及直播系统
JP2022043909A (ja) コンテンツ提示装置、及びプログラム
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240114181A1 (en) Information processing device, information processing method, and program
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
EP4270155A1 (en) Virtual content
Pereira et al. Hybrid Conference Experiences in the ARENA
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
JP2023002032A (ja) 表示制御装置、表示制御方法および表示制御プログラム
Albaladejo-Pérez et al. Augmented Reality, Virtual Reality and Mixed Reality as Driver Tools for Promoting Cognitive Activity and Avoid Isolation in Ageing Population

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant