CN111343447B - 数据提供装置、数据提供装置的控制方法和存储介质 - Google Patents

数据提供装置、数据提供装置的控制方法和存储介质 Download PDF

Info

Publication number
CN111343447B
CN111343447B CN202010169672.0A CN202010169672A CN111343447B CN 111343447 B CN111343447 B CN 111343447B CN 202010169672 A CN202010169672 A CN 202010169672A CN 111343447 B CN111343447 B CN 111343447B
Authority
CN
China
Prior art keywords
data
dimensional geometric
type
geometric data
providing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010169672.0A
Other languages
English (en)
Other versions
CN111343447A (zh
Inventor
花本贵志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111343447A publication Critical patent/CN111343447A/zh
Application granted granted Critical
Publication of CN111343447B publication Critical patent/CN111343447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及数据提供装置、数据提供装置的控制方法和存储介质。数据提供装置包括：决定部，其用于基于要在显示装置上显示的内容，决定根据通过多个成像装置获取的多个拍摄图像而生成的且用来生成所述内容的三维几何数据的类型；以及提供部，用于将与所述决定部决定的类型对应的三维几何数据提供给所述显示装置。

Description

数据提供装置、数据提供装置的控制方法和存储介质
本申请是2018年09月14日提交的申请号为201811074027.X、发明名称为“提供装置、提供方法和计算机可读存储介质”的发明专利申请的分案申请。
技术领域
本发明涉及用于进行与虚拟视点图像有关的处理的数据提供装置、数据提供装置的控制方法和存储介质。
背景技术
自由视点图像(虚拟视点图像)技术是使用多个真实相机图像从布置在三维空间中的任意位置处的虚拟相机再现图像的技术的示例。利用虚拟视点图像技术，通过估计被摄体的三维形状来生成从任意虚拟相机位置拍摄的图像。通过将被摄体的模型数据(三维形状和纹理图像)发送到用户的终端，可以生成与用户进行的交互操作对应的虚拟视点图像。然而，由于被摄体的模型数据的数据量大，所以模型数据的发送对通信频带造成压力。作为减少要发送的数据量的方法，日本特许5563545号公报提出了一种构造，其中三维形状的构造密度根据形状的变化量而改变。
然而，日本特许5563545号公报仅关注形状的构造密度，因此存在用户所需的信息被省略的风险。因此，日本特许5563545号公报中公开的用于减少数据量的方法不适合于生成用于生成虚拟视点图像的模型数据。
发明内容
本发明的实施例公开了用于提供三维几何数据的数据提供装置、数据提供装置的控制方法，根据该数据提供装置和控制方法，能够高效地减少用于再生成虚拟视点图像的模型数据的数据量。
根据本发明的一个方面，提供了一种数据提供装置，包括：决定部，其用于基于要在显示装置上显示的内容，决定根据通过多个成像装置获取的多个拍摄图像而生成的且用来生成所述内容的三维几何数据的类型；以及提供部，用于将与所述决定部决定的类型对应的三维几何数据提供给所述显示装置。
根据本发明的另一方面，提供了一种数据提供装置的控制方法，所述方法包括：决定步骤，其用于基于要在显示装置上显示的内容，决定根据通过多个成像装置获取的多个拍摄图像而生成的且用来生成所述内容的三维几何数据的类型；以及提供步骤，用于将与所述决定步骤决定的类型对应的三维几何数据提供给所述显示装置。
根据本发明的另一方面，提供了一种数据提供装置，包括：生成部，其用于生成包括第一三维几何数据和与所述第一三维几何数据的类型不同的第二三维几何数据的多项三维几何数据，所述三维几何数据是基于由多个成像装置获得的多个拍摄图像而生成且用于生成虚拟视点图像；以及提供部，其用于向所述显示装置提供在所述生成部生成的多项三维几何数据中基于显示虚拟视点图像的显示装置的用户所获取的信息而决定的三维几何数据。
通过下面(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1A是示出图像显示系统的构造和图像处理装置的构造的框图。
图1B是示出显示装置的构造的框图。
图2是示出图像显示系统中的照相机的布置的示意图。
图3是示出用于发送虚拟视点图像的处理的流程图。
图4是示出用于生成层级模型数据的处理的流程图。
图5A至图5C是示出层级模型数据的概览的图。
图6A至图6D是示出属性数据的概览的图。
图7是示出用于生成属性数据的处理的流程图。
图8A和图8B是示出模型数据发送处理的流程图。
图9A和图9B是示出显示装置的GUI的图。
图10是示出用于生成虚拟视点图像的处理的流程图。
图11A和图11B是示出用于发送的数据的图。
图12A和图12B是示出用于校正属性数据的处理的图。
图13A至图13C是示出用于校正属性数据的处理的另一示例的图。
具体实施方式
下面将参照附图描述本发明的实施例。注意，下面的实施例不限制本发明，而且本实施例中描述的特征的全部组合并非都是本发明的解决手段所必须的。注意，在描述中由相同的附图标记表示相同的构造。
第一实施例
在第一实施例中，将描述用于发送在用户终端中再生成交互式虚拟视点图像时所需的模型数据的方法。这里，为了简化描述，设想存在作为发送源的一个服务器和作为接收目的地的多个客户端的情况。该场所设置在举行足球比赛的体育场内，在体育场内存在作为服务器的图像处理装置，并且在观众席中，用户操作作为客户端的显示装置(诸如智能手机或平板电脑等的终端)，以浏览虚拟视点图像。注意，在本实施例中，虚拟视点图像意思是从虚拟设置的视点观看的图像。诸如“自由视点图像”和“任意视点图像”的术语也类似于“虚拟视点图像”。
图1A是示出根据第一实施例的图像处理装置的构造的示例和图像显示系统的构造的示例的框图。用作提供装置的图像处理装置100向给出数据请求的通信装置(在本实施例中，是用户终端130(显示装置))提供要用于生成虚拟视点图像的三维几何数据和纹理数据。图像处理装置100包括CPU 101、主存储器102、存储单元103、输入单元104、显示单元105、外部I/F单元106和总线107。CPU 101执行算术处理和各种程序。主存储器102向CPU101提供处理所需的程序、数据、工作区域等。存储单元103存储图像处理程序、GUI显示所需的各种类型的数据等。诸如硬盘或硅盘等的非易失性存储器例如用作存储单元103。输入单元104是诸如键盘或鼠标等的装置，并且接收由服务器管理者输入的操作。显示单元105进行GUI的显示。外部I/F单元106经由LAN 108连接到相机装置组或显示装置组，并进行图像数据、控制信号数据和模型数据的发送和接收。总线107连接上述单元并进行数据传送。
LAN 108以有线或无线方式形成，并且用于图像处理装置、相机装置组、显示装置组和分析装置之间的数据发送和接收。相机装置组由多个相机120构成。相机120经由LAN108连接到图像处理装置100，并且基于来自图像处理装置100的控制信号，相机120开始和停止图像拍摄，改变相机设置(快门速度、焦距、光圈值等)，以及传送图像拍摄数据。显示装置组由多个用户终端130(智能手机、平板电脑等)构成。各个用户终端130经由LAN 108连接到图像处理装置100，并且从图像处理装置100接收浏览虚拟视点图像所需的模型数据。用户终端130使用所接收的模型数据来生成并显示虚拟视点图像。由于LAN 108的通信频带是有限的，因此用户终端130可以接收的模型数据的大小取决于用户的数量。分析装置140使用来自相机120的图像和来自配设在被摄体上的各种类型的传感器的信息来分析被摄体的竞技(play)的类型。注意，分析装置140是可选的，并且不是必要的构成部件。注意，在系统构造中存在除了上述构成部件之外的各种构成部件。例如，可以经由互联网、WAN等代替LAN108来连接各种装置。另外，例如，由于图像处理装置100、多个相机120和分析装置140经由LAN 108连接，因此可以形成图像处理系统，并且图像处理系统和用户终端130可以通过互联网等连接。
图1B是示出根据第一实施例的用作显示装置的用户终端130的构造的框图。用户终端130包括CPU 131、主存储器132、存储单元133、输入单元134、显示单元135、外部I/F单元136和总线137。CPU 131执行算术处理和各种程序。主存储器132向CPU 131提供处理所需的程序、数据、工作区域等。存储单元133存储用于生成并显示虚拟视点图像的图像处理程序、GUI显示所需的各种类型的数据等。诸如硬盘或硅盘的等的非易失性存储器例如被用作存储单元133。输入单元134是诸如键盘、鼠标或触摸面板等的装置，并且接收由观察虚拟视点图像的用户输入的操作。显示单元135显示虚拟视点图像和GUI。外部I/F单元136连接到LAN 108并且接收用于再生成虚拟视点图像的模型数据，该模型数据例如从图像处理装置100发送。总线137连接上述单元并进行数据传送。
图2是示出多个相机120的布置的图。多个被摄体202存在于进行足球比赛的场地201上，并且多个相机120被布置为围绕场地201。多个相机120主要布置在观众席等中，并且将焦距和图像拍摄方向设置为使得各个相机120拍摄场地201。
图3是示出由图像处理装置100进行的用于提供三维几何数据和纹理数据的一系列处理的流程图。在步骤S301中，图像处理装置100获取通过相机120的图像拍摄而获得的图像，并且针对图像中的各个被摄体生成具有不同数据大小的多个层级的模型数据(在图5A中详细描述)。将参照图4详细描述步骤S301的处理。在步骤S302中，图像处理装置100接收要经受图像拍摄的比赛类别的指定。这里，接收诸如“足球”，“橄榄球”或“花样滑冰”等的比赛类别名称的指定。在步骤S303中，基于在步骤S302中接收的比赛的类型和来自分析装置140的数据，图像处理装置100生成描述虚拟视点图像生成所需的模型数据的层级的属性数据。如稍后参照图6A至图6D所述，属性数据是将图像中的内容的属性与所需层级相关联的数据。稍后将参照图7描述步骤S303的处理。在步骤S304中，图像处理装置100通过选择各个被摄体的属性数据所需的层级的模型数据来形成用于发送的模型数据，响应于来自作为显示装置的用户终端130的请求发送用于发送的模型数据。在用于发送的模型数据的结构中，还考虑了LAN 108的通信频带的使用状态等。稍后将参照图8A和图8B描述步骤S304的处理。
图4是示出用于生成模型数据的处理的流程图，并且详细示出了步骤S301的处理，需要该模型数据来生成具有多个层级的交互式虚拟视点图像。在步骤S401中，图像处理装置100(CPU 101)生成诸如体育场和观众席等的背景模型数据。背景模型数据包括表示除了诸如选手(player)等的特定被摄体之外的区域的三维形状的背景几何数据，以及与背景几何数据对应的纹理数据。例如，背景模型数据由用于构建三维形状的网格数据和用于再现颜色的纹理数据构成，并且使用3D激光扫描仪、多视图立体方法等生成。
在步骤S402及之后，以具有不同质量的多个层级生成，表示诸如选手等的特定被摄体的三维形状的被摄体几何数据和与被摄体几何数据相对应的纹理数据。在步骤S402中，CPU 101将用于使图像拍摄期间的曝光适合的相机设置的改变以及用于开始图像拍摄的信号发送到相机120。响应于用于开始图像拍摄的信号，相机120开始图像拍摄，并经由LAN108将图像数据传送到图像处理装置100。图像处理装置100从相机120接收图像数据并将其展开到主存储器102中。图像处理装置100将图像数据管理为通过针对各个相同的时间码合并相机的图像帧而获得的多视点帧。此外，此时，图像处理装置100使用诸如运动恢复结构(Structure from Motion)等的方法等来计算相机的位置和姿势(orientation)，并存储相机的位置和姿势。
在步骤S403中，CPU 101从图像数据中提取用作特定被摄体的一组被摄体的轮廓，并使用诸如可视外壳(Visual-hull)等的方法生成该组被摄体的三维形状和位置。可以通过在一个相机的相机图像的所有帧中使用中间值滤波器来获取被摄体组的轮廓提取。此外，三维形状作为点云数据(point cloud data)或体素数据(voxel data)输出。对所有时间码的多视点帧实施该处理，并且以多视点帧为单位生成所有被摄体的几何点云数据(使用高密度点云表示的几何数据)。生成的几何点云数据被存储在存储单元103中。
在步骤S404中，CPU 101使在步骤S403中生成的几何点云数据稀疏化，连接剩余的点云以形成构成表面(三角形)的网格，并由此生成表示被摄体的网格。在网格形成中可以应用已知技术，例如，可以使用诸如转球(Ball Pivoting)的方法。CPU 101对以多视点帧为单位生成的所有几何点云数据执行网格形成处理，并将获得的数据(低密度网格数据)存储在存储单元103中。在步骤S405中，CPU 101生成要附加到在步骤S404中生成的网格的纹理数据(被摄体的纹理)。可以将已知技术应用于生成被摄体的纹理。CPU 101针对以多视点帧为单位生成的所有网格数据生成纹理，并将获得的数据存储在存储单元103中。
在步骤S406中，CPU 101从存储单元103中读出根据与图像的第一时间码相对应的多视点帧(初始帧)而生成的网格和纹理，并将它们展开到主存储器102。在步骤S407中，CPU101将用于控制网格的姿势的骨骼并入到在步骤S406中加载的网格中。如图5C所示，该骨骼具有类似于人体骨骼的结构，包括关节502和连接关节502的骨架503，并且被存储在网格501的内部。骨骼是预先准备的并且可以通过改变大小和初始关节位置以适应网格而被存储在各种网格中。由于网格501和骨骼以互连的方式变形，因此可以通过移动关节502的位置来再现网格501中的各种姿势和动作(坐、跑、踢等)。此外，由于通过骨架503限制各个关节502的位置的移动，因此可以再现与人类进行的动作更相似的动作。
在步骤S408中，CPU 101使用相机图像估计所有被摄体的关节位置。可以将已知技术应用于关节位置的估计。例如，使用机器学习获取图像中的二维的关节位置(x(n,i,k,t)，y(n,i,k,t))。这里，0≤x<图像的水平宽度，0≤y<图像的竖直宽度，0≤n<相机的数量，0≤i<被摄体的数量，0≤k<关节的数量，0≤t<帧的数量。在至少两个或更多个相机的图像中获取二维关节位置之后，基于在步骤S402中获得的相机的位置，使用三角测量(triangulation)获取三维的关节位置(X(i,k,t)，Y(i,k,t)，Z(i,k,t))。此时，X，Y和Z是三维空间中的坐标值，0≤i<被摄体的数量，0≤k<关节的数量，0≤t<帧的数量。因此，获取被摄体的关节的移动路径，即，获取姿势的转变。
在步骤S409中，CPU 101将在步骤S407中生成的骨骼的关节位置与在步骤S408中以多视点帧为单位生成的三维关节位置相关联，从而引起网格和骨骼的姿势的转变(动画)。因此，利用网格和纹理，仅需要准备图像开始处的多视点帧的数据，并且仅需要添加表示关节位置的路径的少量动画数据，因此大大地压缩了时间轴方向上的模型数据，并且能够显著地减少数据量。
在步骤S410中，CPU 101将在步骤S403至S409中生成的模型数据保持为图5A的表5a中所示的层级结构。在表5a中，层级被分为三个级别，各个级别包括三维形状和纹理。层级3是最高级别，包括在步骤S403中生成的点云数据作为三维形状和在步骤S402中获取的相机图像作为纹理，具有最大量的数据，并且具有最高图像质量的生成的虚拟视点图像。层级2包括在步骤S404中生成的网格数据作为三维形状和在步骤S405中生成的纹理数据作为纹理，并且具有中间数据量和中间图像质量的生成的虚拟视点图像。在本实施例中，层级1是最低级别，包括在步骤S406中获取的网格数据和在步骤S409中获取的动画数据作为三维形状，并且包括在步骤S406中获取的纹理数据作为纹理。层级1的模型数据具有最轻量的数据，并且虚拟视点图像的图像质量最低。因此，各个层级具有与其他层级不同的质量和数据量。可以针对各个层级再现的项目被总结在图5B的表5b中。随着层级变低，可以表达的项目数量减少，因此有必要根据数据发送期间的内容选择适当的层级。
在步骤S411中，如果存在分析装置140，则CPU 101将模型数据与作为从分析装置140获得的分析数据的被摄体的竞技信息(诸如射门、传球、解围等竞技内容)相关联。因此，例如，可以实施用于提取射门期间的期望层级的三维几何数据和纹理数据的处理等。根据上述处理，完成了具有层级结构的模型数据的生成。
图6A至图6D是示出压缩模型数据所需的属性数据的图。在本实施例中，在属性数据中，存在三种类型的属性，即比赛类别属性、区(area)属性和比赛属性，并且压缩效果对于比赛属性最强，对于区属性第二强，对于比赛类别属性最弱。在各个属性数据中描述了虚拟视点图像生成所需的模型数据的层级(所需层级)，并且所需层级被分类为针对比赛类别属性的最低精度，针对区属性的第二高精度，以及针对比赛属性的最高精度。
如图6A的表6a所示，针对用作内容属性的各个类型的比赛在比赛类别属性中描述所需层级。例如，在美式足球中，选手戴头盔并且他们的面部被遮挡，因此纹理的所需层级低。另一方面，在花样滑冰和足球中，需要清楚地看到选手的面部和表情，因此纹理的所需层级高。而且，在美式足球和足球中，选手的竞技位置很重要，并且几乎不需要详细的形状和平滑的运动，因此三维形状的所需层级低。另一方面，在花样滑冰中，由于表演期间的动作很重要，因此三维形状的所需层级高。因此，针对各个比赛类别中的三维形状和纹理，决定所需层级，并且将最高的所需层级定义为该比赛类别的所需层级。
关于区属性，如图6C中的表6c所示，针对各个区(比赛场所的一部分)描述所需层级，所述各个区用作各个比赛类别的比赛场所的内容的属性。例如，对于足球，如图6B所示，位于球门前面的区0和1出现受到关注的竞技的概率高，因此其所需层级最高。发生角球等的区2具有第二高的所需层级，并且除了区0、1和2以外的区的所需层级低。注意，区2仅在图6B中的一个位置处示出，但实际上，区2设置在场地的四个角落中。鉴于前面的描述，如图6C中的表6c所示，描述了区的区域信息和与其对应的所需层级，并且这被用作足球的区属性。另一方面，在不能缩小被摄体将要进行受到关注的竞技的区的比赛类别中，与花样滑冰一样，不定义区属性。
对于比赛属性，如图6D的表6d所示，区和时间码被用作内容的属性，并且针对各个区和时间码描述所需层级。例如，在足球的情况下，可以从分析装置140获取发生竞技(射门等)的时间码。因此，通过诸如使在发生高关注度的竞技的时间码(时段)处的所需层级更高并且使在其他时间码处的所需层级更低的处理来提高压缩效率。注意，分析装置140对于比赛属性的生成是必要的，因此如果未连接分析装置140，则无法定义比赛属性。
图7是示出用于生成属性数据的处理的流程图，并且详细示出了步骤S303的处理。在步骤S701中，CPU 101确定是否在内容中定义了区属性。如果确定结果为“是”，则处理进行到步骤S702，如果确定结果为“否”，则处理进行到步骤S704。在步骤S702中，CPU 101确定是否在内容中定义了比赛属性。如果确定结果为“是”，则处理进行到步骤S703，如果确定结果为“否”，则处理进行到步骤S705。如果存在比赛属性(步骤S701和S702中为“是”)，则在步骤S703中，CPU 101选择比赛属性作为属性数据。如果不存在区属性(步骤S701中为“否”)，则在步骤S704中，CPU 101选择比赛类别属性作为属性数据。如果存在区属性但是不存在比赛属性(步骤S701中为“是”，步骤S702中为“否”)，则在步骤S705中，CPU 101选择区属性作为属性数据。在步骤S706中，CPU 101基于所选择的属性生成诸如图6A至图6D所示的表6a、6c或6d中所示的属性数据。例如，如果在内容中将表示区0、1和2的范围的坐标(例如，(x0，y0)至(x1，y1)等)定义为区属性，则CPU 101使用坐标生成表6c中所示的属性数据。此外，如果在内容中包括发生高关注度的竞技的时间码和区属性，则CPU 101生成表6d中所示的属性数据。
图8A和图8B是示出用于将模型数据发送到显示装置的处理的流程图，并且详细示出了步骤S304。在步骤S801中，CPU 101将作为服务器的图像处理装置100置于等待来自作为客户端的显示装置(用户终端130)的请求的状态。在步骤S802中，用户终端130(CPU 131)响应于由作为虚拟视点图像的观看者的用户进行的对用户终端130的预定操作，启动用于图像再生成的应用。在步骤S803中，用户终端130(CPU 131)选择用户想要观看的内容。该应用用于选择内容。在启动用于图像再生成的应用之后，用户终端130(CPU 131)在显示单元135上显示如图9A所示的内容选择窗口901。用户可以通过触摸期望的图标902来选择期望的内容。当选择了该条内容时，用户终端130(CPU 131)将用于下载模型数据的数据请求(请求)发送到图像处理装置100。此时，用户终端130(CPU 131)也将用户终端130的显示装置(显示单元135)的显示分辨率和CPU 131和GPU的规格信息发送到图像处理装置100。
注意，为了显示内容选择窗口901，用户终端130从图像处理装置100获取要选择的内容的列表。列表中的各条内容对应于时间上连续的多视点帧的组。例如，基于竞技内容(分析装置140的分析结果)，可以使用包括与发生竞技的时间码接近的时间码的一系列多视点帧来生成一条内容。例如，如在步骤S411中所述，可以将与各条竞技信息相关联的模型数据用作一条内容。或者，例如，可以针对匹配的前半部分的多视点帧和匹配的后半部分的多视点帧生成单独的内容。注意，可以在各条内容中定义基于竞技内容和竞技的发生位置而自动设置的虚拟相机的位置和姿势(方向)。
在步骤S801中，在接收到针对要从用户终端130发送的内容的请求时，图像处理装置100决定要通过步骤S804及以后的处理发送的层级，并发送用于所决定的层级的数据。首先，在步骤S804中，图像处理装置100的CPU 101获取通信线路的空闲频带。在步骤S805中，CPU 101基于从用户终端130接收的规格信息来设置模型数据的规格层级。例如，如果CPU和GPU的能力是低端的，则无法处理具有高处理负荷的层级3或层级2的模型数据，因此规格层级被设置为层级1。如果显示分辨率低，则很难看到层级之间的差异，因此规格层级被设置为层级2或更低(即层级1或层级2)。在步骤S806中，CPU 101确定在步骤S805中设置的规格层级是否是层级1。如果是层级1，则处理进行到步骤S811，如果不是，则处理进行到步骤S807。
在步骤S807中，CPU 101使用在步骤S303中生成的属性数据生成用于发送的模型数据。如图11A和图11B所示，针对各个时间码生成用于发送的模型数据。图11A示出了第0时间码的用于发送的数据。用于发送的数据包括描述数据结构的头部、背景模型数据和被摄体模型数据，并且保持关于与各个被摄体(各个选手)的所需层级相对应的层级的数据。注意，所有被摄体肯定都保持作为最低层级的层级1的模型数据。这是因为在稍后描述的虚拟视点图像生成期间使用模型数据。图11B示出了第一时间码的用于发送的数据。背景模型数据是冗余的，因此被缩减了。此外，还根据属性数据修改被摄体的模型数据的层级。通过将所有时间码的数据连接在一起来获得用于发送的模型数据。此时，如果所需层级高于规格层级，则将所需层级降低到规格层级。因此，基于显示装置(用户终端130的显示单元135)的能力来限制构成用于发送的模型数据的模型数据的层级。
在步骤S808中，CPU 101基于在步骤S804中获取的通信线路的空闲频带和在步骤S807中生成的用于发送的模型数据的大小，来确定是否可以发送用于发送的模型数据。如果确定能够进行通信(“是”)，则处理进行到步骤S814，如果确定不能进行通信(“否”)，则处理进行到步骤S809。在步骤S809中，CPU 101在将属性数据中描述的所需层级降低一级的情况下生成用于发送的模型数据。例如，图6C的表6c中的区0的所需层级从3降低到2，区2的所需层级从2降低到1。但是，如果所需层级是1，则无法再进一步降低了。在步骤S810中，CPU101基于在步骤S804中获取的通信线路的空闲频带和在步骤S809中生成的用于发送的模型数据的大小，来确定是否可以发送用于发送的模型数据。如果能够进行发送，则处理进行到步骤S814，如果不能进行发送，则处理进行到步骤S811。在步骤S811中，CPU 101在将所有的所需层级设置为1的情况下生成用于发送的模型数据。在步骤S812中，CPU 101基于在步骤S804中获取的通信线路的空闲频带和在步骤S811中生成的用于发送的模型数据的大小，确定是否可以发送用于发送的模型数据。如果确定结果为“是”，则处理进行到步骤S814，如果确定结果为“否”，则处理进行到步骤S813。在步骤S813中，CPU 101等待直到通信线路中有空闲空间(直到其他服务器完成通信)。在步骤S814中，图像处理装置100将用于发送的模型数据发送到显示装置(用户终端130)，作为对在步骤S801中接收到的请求的响应。
在步骤S815中，用户终端130(CPU 131)接收模型数据。在步骤S816中，CPU 131使用所接收的模型数据来生成虚拟视点图像，并在显示单元135上再生成虚拟视点图像。在从图像处理装置100接收到模型数据时，执行用户终端130中的应用的CPU 131转变到图9B所示的虚拟视点窗口903。在虚拟视点窗口903中，显示选手模型数据904和背景模型数据905，并且可以根据对画面的触摸操作等在任何相机位置/方向/视角显示图像。此外，可以使用时间码滑动条906移动到任何时间码的图像。在下文中，将参照图10描述虚拟视点图像的生成。
图10是例示由用户终端130进行的用于生成虚拟视点图像的处理的流程图，并且详细示出了步骤S816。在步骤S1001中，CPU 131设置与用户的触摸操作相符的虚拟相机的位置、方向和视角。在步骤S1002中，CPU 131使用层级1的模型数据来生成在虚拟相机的设置的位置、方向和视角的图像。可以通过使用已知的计算机图形技术来实施图像生成。
在步骤S1003中，CPU 131确定在已发送的模型数据中是否存在层级2的模型数据。如果确定结果为“是”，则处理进行到步骤S1004，如果确定结果为“否”，则处理进行到步骤S1005。在步骤S1004中，CPU 131使用层级2的模型数据来生成在虚拟相机的设置的位置、方向和视角的图像(图像2)。在步骤S1005中，CPU 131确定在已发送的模型数据中是否存在层级3的模型数据。如果确定结果为“是”，则处理进行到步骤S1006，如果确定结果为“否”，则处理进行到步骤S1010。在步骤S1006中，CPU 131使用层级3的模型数据来生成在虚拟相机的设置的位置、方向和视角的图像(图像3)。
在步骤S1007中，CPU 131确定选手模型的层级在连续时间码(先前时间码和当前时间码)处是否存在差异。例如，这样的情况，选手2的层级在时间码0处为1，而选手2的层级在时间码1处为3。如果存在差异，则处理进行到步骤S1008，如果不存在差异，则处理进行到步骤S1009。在步骤S1008中，CPU 131通过合成(例如，α混合)图像1和图像2，或图像1和图像3来生成被摄体图像。这样做是为了防止层级在时间码之间存在差异时图像质量快速变化。另一方面，在步骤S1009中，CPU 131通过用具有高图像质量的图像2或图像3替换图像1的被摄体区域来生成被摄体图像。在步骤S1010中，CPU 131通过渲染背景模型来生成背景图像。在步骤S1011中，CPU 131通过将被摄体图像和背景图像进行合成来生成虚拟视点图像。注意，在步骤S1007中，如果选手2的层级在时间码0处是2但是层级在时间码1处是1(如果层级在连续时间码处减小)，则确定不存在差异。这是因为在这种情况下，被摄体的重要程度降低，因此如果图像质量快速变化也没有问题。注意，在上面的描述中，如果图像从层级1改变到层级2或层级3则合成图像，否则不合成图像，但是对此没有限制。例如，当被摄体的模型数据的层级改变时，可以将未改变层级的被摄体图像和改变层级的被摄体图像进行合成。
如上所述，利用第一实施例的图像处理装置，用多个层级生成各个被摄体的三维被摄体数据，并且基于内容的特性(诸如比赛类别或实际比赛的分析结果)来决定被摄体的重要程度。此外，由于根据重要程度设置构成用于发送的模型数据的模型数据的层级，因此可以适合地生成并高效地发送与交互操作相对应的虚拟视点图像的模型数据。
第二实施例
在第二实施例中，将描述基于比赛中的参与程度、被摄体的关注度和用户偏好来校正属性数据的构造。注意，将省略与第一实施例的描述重复的系统和处理的描述。
在第一实施例中，使用比赛的类型、区和发生的事件(诸如重要竞技)来决定被摄体的模型数据的重要性并决定要使用的层级。在第二实施例中，使用作为被摄体的选手的关注度(例如，选手是否有名)、用户偏好(例如，用户是否喜欢选手)以及比赛参与程度(例如，与球的距离)来进一步改变所需层级。在图12A中，表12a示出了基于关注度、偏好和参与程度来改变层级的示例。通过分析图像数据，CPU 101自动获取参与程度，即球与选手之间的距离。关注度和偏好是用户经由用户终端130上的预定用户界面设置的内容。用户进行的设置通过来自用户终端130的通信被通知给图像处理装置100。表12a中的用于所需层级的字段示出了基于属性数据决定的、被摄体的模型数据的层级的示例。表12a中的针对步骤S1201和S1203的字段中所示的层级表示，基于图12B所示的流程图中的步骤S1201和S1203中的关注度、偏好和参与程度的修改得到的层级。
图12B是例示在图3的步骤S303中生成属性数据之后对被摄体(选手)进行的层级修改处理的流程图。在步骤S1201中，图像处理装置100的CPU 101基于表12a中的关注度和偏好改变选手的层级。例如，根据预先设置的规则更改层级，例如，对于关注度和偏好都低的选手，所需层级降低1，并且对于关注度和偏好都高的选手，所需层级设置为最高层级。在本示例中，选手N的所需层级为层级1，但是由于选手N的关注度和偏好高，所以该层级被增加到了3。另一方面，选手1的所需层级为层级2，但由于选手1的关注度和偏好低，因此该层级被降低到了1。
在步骤S1202中，CPU 101确定修改之后用于发送的模型数据的大小是否将增加。如果确定结果为“是”，则处理进行到步骤S1203，如果确定结果为“否”，则处理结束。在步骤S1203中，为了减小用于发送的模型数据的大小，根据表12a中的参与程度(与球的距离)降低层级。例如，虽然在步骤S1201之后选手2处于层级3，但是选手2与球之间的距离增加，因此确定选手2在比赛中的参与程度低，并且选手2被降低到层级2。例如，CPU 101决定要提供给显示装置130的模型数据(三维几何数据，纹理数据)，使得多个选手当中与球的距离小于阈值的选手(特定被摄体)的三维几何数据的质量高于与球的距离大于或等于该阈值的选手的三维几何数据的质量。
如上所述，根据第二实施例，当从针对各个被摄体生成的多个层级的模型数据中选择要使用的层级时，考虑与单个被摄体相关的属性，诸如被摄体的关注度、用户偏好和比赛参与程度。结果，可以生成更适合的用于发送的模型数据，并且可以高效地发送与交互操作相对应的虚拟视点图像的模型数据。注意，在上面的描述中，参与程度、关注程度和偏好被例示为与各个被摄体有关的属性，但是不限于此。尽管在步骤S1201中考虑了关注度和偏好，但是也可以使用考虑他们中之一的构造。
第三实施例
在第二实施例中，描述了基于针对单个被摄体设置的属性来修改所需层级的构造。在第三实施例中，将描述如下构造，根据虚拟相机的位置、姿势和视角来修改所需的层级，以在将三维数据作为流而发送时优化用于发送的模型数据。注意，将省略对第一实施例和第二实施例的描述重复的系统和处理的描述。
在流发送中，时间码M处的模型数据从图像处理装置100发送，并由显示装置接收和再生成。此后，从用户终端130反馈虚拟相机的位置和姿势，并且图像处理装置100基于所反馈的位置和姿势来发送时间码M+1的模型数据。通过依次反复进行该处理，可以由显示装置再生成交互式虚拟视点图像，而无需等待接收所有数据。此时，可以考虑先前时间码的虚拟相机位置和姿势来选择更优的层级。
图13A示出了在某个时间码M处虚拟相机的位置/姿势/视角。此时，虚拟相机的视角中或视角附近的选手也被包括在下一时间码的图像中的概率高。另一方面，远离视角的选手将被包括在图像中的概率低。此外，如果与虚拟相机的距离很大，则不太可能发生层级之间图像质量的差异。这些项目被总结在图13B的表13b中。注意，在表13b中，示出了通过图13C中的处理(步骤S1301和S1303)修改基于属性数据设置的所需层级的示例。
图13C是例示用于在流传输期间调整层级的处理的流程图。在步骤S1301中，CPU101基于选手是处于相机的视角中(○)、视角附近的区域(Δ)还是不处于视角中(×)并根据虚拟相机与选手之间的距离来修改所需层级。例如，虽然选手N的所需层级为1，但是选手N在视角附近、与虚拟相机的距离近，因此选手N的层级提高到3。另一方面，尽管选手2的所需层级为3，但是选手2与虚拟相机的距离远，因此选手2的层级降低到2。
在步骤S1302中，CPU 101确定修改之后用于发送的模型数据的大小是否将增加。如果确定结果为“是”，则处理进行到步骤S1303，如果确定结果为“否”，则处理结束。在步骤S1303中，CPU 101根据虚拟相机的移动速度和虚拟相机与选手之间的距离来降低层级以减小大小。注意，虚拟相机的移动速度是基于前一帧以及之前的帧中的位置和姿势的变化量来计算的。例如，考虑虚拟相机的移动速度快的情况。在这种情况下，尽管在步骤S1301之后选手2具有层级2，但是与虚拟相机的距离大，因此选手2在图像中移动得相当快。因此，确定各个层级的图像质量几乎不会出现任何差异，并且层级降低到层级1。
如上所述，根据第三实施例，基于用户终端指定的虚拟相机的位置/姿势/视角来修改被摄体的层级，因此可以根据虚拟相机的状态生成适合的用于发送的模型数据。注意，在上述实施例中，重点描述了针对各个被摄体来生成具有不同数据大小的多个层级的模型数据的示例。但是，也可以仅针对多个被摄体当中的一个或更多个特定被摄体来生成多个层级的模型数据。
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能，和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能，并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (20)

1.一种数据提供装置，包括：
决定部，其用于基于由多个成像装置拍摄的成像目标，在包括由点云或体素表示的三维几何数据和由网格表示的三维几何数据的多个三维几何数据中，决定根据通过多个成像装置获取的多个拍摄图像而生成的且要被提供给其他装置的三维几何数据；以及
提供部，用于将所述决定部决定的三维几何数据提供给所述其他装置。
2.根据权利要求1所述的数据提供装置，其中，所述提供部还将要用于生成内容的纹理数据提供给所述其他装置。
3.根据权利要求1或2所述的数据提供装置，其中，由提供部提供的三维几何数据包括：表示特定被摄体的三维形状的被摄体几何数据。
4.根据权利要求3所述的数据提供装置，其中，由提供部提供的三维几何数据还包括：表示不同于所述特定被摄体的背景区域的三维形状的背景几何数据。
5.根据权利要求1、2或4所述的数据提供装置，其中，所述多个三维几何数据还包括作为三维几何数据的类型的使用关节和骨架表示的三维几何数据。
6.根据权利要求1、2或4所述的数据提供装置，其中，决定部根据所述成像目标的类型来决定要被提供给所述其他装置的三维几何数据。
7.根据权利要求6所述的数据提供装置，其中，所述决定部基于作为所述成像目标的类型的由多个成像装置拍摄的比赛的类型，决定要被提供给所述其他装置的三维几何数据。
8.根据权利要求6所述的数据提供装置，其中，所述决定部基于作为所述成像目标的类型的由多个成像装置拍摄的区域的类型，决定要被提供给所述其他装置的三维几何数据。
9.根据权利要求6所述的数据提供装置，其中，所述决定部基于作为所述成像目标的类型的由多个成像装置拍摄的游戏的类型，决定要被提供给所述其他装置的三维几何数据。
10.根据权利要求7、8或9所述的数据提供装置，其中，
在所述成像目标的类型是第一类型的情况下，所述决定部将使用点云或体素表示的三维几何数据决定为要被提供给所述其他装置的三维几何数据，以及
在所述成像目标的类型是第二类型的情况下，所述决定部将使用网格表示的三维几何数据决定为要被提供给所述其他装置的三维几何数据。
11.根据权利要求10所述的数据提供装置，其中，所述第一类型是关于花样滑冰；所述第二类型是关于足球。
12.根据权利要求7、8或9所述的数据提供装置，其中，
在所述成像目标的类型是第一类型的情况下，所述决定部将使用网格表示的三维几何数据决定为三维几何数据的类型，以及
在所述成像目标的类型是第二类型的情况下，所述决定部将使用特定被摄体的关节和骨架表示的三维几何数据决定为三维几何数据的类型。
13.根据权利要求12所述的数据提供装置，其中，所述第一类型是关于足球；所述第二类型是关于美式足球。
14.根据权利要求9所述的数据提供装置，其中，
在所述成像目标的类型是第一类型的情况下，所述决定部将使用点云或体素表示的三维几何数据决定为三维几何数据的类型，以及
在所述成像目标的类型是第二类型的情况下，所述决定部将使用特定被摄体的关节和框架表示的三维几何数据决定为三维几何数据的类型。
15.根据权利要求14所述的数据提供装置，其中，所述第一类型是关于花样滑冰；所述第二类型是关于美式足球。
16.根据权利要求1、2或4所述的数据提供装置，其中，
所述决定部还根据连接所述数据提供装置和所述其他装置的通信线路的空闲频带来决定三维几何数据的类型。
17.根据权利要求1、2或4所述的数据提供装置，其中，
所述决定部还根据与处理器的能力和所述其他装置的显示能力中的至少一者有关的信息来决定三维几何数据的类型。
18.根据权利要求1、2或4所述的数据提供装置，其中，
所述决定部决定第一特定被摄体的三维几何数据是由点云或体素表示的三维几何数据，和第二特定被摄体的三维几何数据是由网格表示的三维几何数据。
19.一种数据提供装置的控制方法，所述方法包括：
决定步骤，其用于基于由多个成像装置拍摄的成像目标，在包括由点云或体素表示的三维几何数据和由网格表示的三维几何数据的多个三维几何数据中，决定根据通过多个成像装置获取的多个拍摄图像而生成的且要被提供给其他装置的三维几何数据；以及
提供步骤，用于将所述决定步骤决定的三维几何数据提供给所述其他装置。
20.一种计算机可读存储介质，其存储用于使计算机执行根据权利要求19所述的控制方法的程序。
CN202010169672.0A 2017-09-19 2018-09-14 数据提供装置、数据提供装置的控制方法和存储介质 Active CN111343447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-179010 2017-09-19
JP2017179010A JP6433559B1 (ja) 2017-09-19 2017-09-19 提供装置および提供方法、プログラム
CN201811074027.XA CN109525831B (zh) 2017-09-19 2018-09-14 提供装置、提供方法和计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811074027.XA Division CN109525831B (zh) 2017-09-19 2018-09-14 提供装置、提供方法和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111343447A CN111343447A (zh) 2020-06-26
CN111343447B true CN111343447B (zh) 2022-01-11

Family

ID=63683625

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010169672.0A Active CN111343447B (zh) 2017-09-19 2018-09-14 数据提供装置、数据提供装置的控制方法和存储介质
CN201811074027.XA Active CN109525831B (zh) 2017-09-19 2018-09-14 提供装置、提供方法和计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811074027.XA Active CN109525831B (zh) 2017-09-19 2018-09-14 提供装置、提供方法和计算机可读存储介质

Country Status (6)

Country Link
US (4) US10757388B2 (zh)
EP (2) EP3473311B1 (zh)
JP (1) JP6433559B1 (zh)
KR (2) KR102215166B1 (zh)
CN (2) CN111343447B (zh)
ES (1) ES2807075T3 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433559B1 (ja) 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
BR112021002981A2 (pt) * 2018-09-21 2021-05-11 Panasonic Intellectual Property Corporation Of America método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
JP2022028091A (ja) * 2018-12-19 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6647433B1 (ja) * 2019-02-19 2020-02-14 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
JP7479793B2 (ja) * 2019-04-11 2024-05-09 キヤノン株式会社 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム
CN110064200B (zh) * 2019-04-25 2022-02-22 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
JP7458713B2 (ja) * 2019-05-14 2024-04-01 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、および、プログラム
EP4123588A4 (en) * 2020-03-17 2023-06-07 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD FOR GENERATING MOVING IMAGE DATA
WO2023281863A1 (ja) * 2021-07-09 2023-01-12 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
WO2023170726A1 (ja) * 2022-03-07 2023-09-14 日本電信電話株式会社 点群データ表示装置、点群データ記憶装置、点群データ表示方法及び点群データ表示プログラム
WO2024029275A1 (ja) * 2022-08-02 2024-02-08 株式会社Ｎｔｔドコモ 表示制御システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056050A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于自适应三维人体运动统计模型的多视角步态识别方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2858556B2 (ja) * 1996-04-17 1999-02-17 日本電気株式会社 ３次元形状通信システム
JPH10198823A (ja) * 1997-01-13 1998-07-31 Hitachi Ltd 映像生成装置
JP2004206338A (ja) * 2002-12-25 2004-07-22 Mitsubishi Electric Corp 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体
CN100573595C (zh) 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
US8466913B2 (en) * 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
CN100557640C (zh) 2008-04-28 2009-11-04 清华大学 一种交互式多视点三维模型重建方法
US9266017B1 (en) * 2008-12-03 2016-02-23 Electronic Arts Inc. Virtual playbook with user controls
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
JP5563545B2 (ja) 2011-12-06 2014-07-30 ヤフー株式会社 情報処理装置及び方法
JP5920708B2 (ja) * 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
JP2014086012A (ja) * 2012-10-26 2014-05-12 Kddi Corp 端末装置、コンテンツ作成装置、コンテンツ表示システム、及びコンピュータプログラム
JP5874626B2 (ja) 2012-12-25 2016-03-02 カシオ計算機株式会社 表示制御装置、表示制御システム、表示制御方法及びプログラム
KR20150055442A (ko) * 2013-11-13 2015-05-21 삼성디스플레이 주식회사 입체 영상 표시 장치
EP3171602A4 (en) * 2014-07-18 2018-02-14 Sony Corporation Information processing device, display device, information processing method, program, and information processing system
JP6702196B2 (ja) * 2014-12-04 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6501348B2 (ja) * 2014-12-26 2019-04-17 Kddi株式会社 自由視点画像生成装置、方法およびプログラム
JP2018050091A (ja) * 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
US20160330408A1 (en) * 2015-04-13 2016-11-10 Filippo Costanzo Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments
JP6778912B2 (ja) * 2016-02-03 2020-11-04 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置
JP6231231B1 (ja) * 2017-01-25 2017-11-15 パナソニック株式会社 映像送信装置、映像伝送システムおよび符号量制御方法
JP6433559B1 (ja) 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056050A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于自适应三维人体运动统计模型的多视角步态识别方法

Also Published As

Publication number Publication date
KR20210016021A (ko) 2021-02-10
CN109525831A (zh) 2019-03-26
CN109525831B (zh) 2020-04-10
US11750786B2 (en) 2023-09-05
ES2807075T3 (es) 2021-02-19
EP3473311B1 (en) 2020-07-08
US11196973B2 (en) 2021-12-07
KR102215166B1 (ko) 2021-02-15
EP3473311A1 (en) 2019-04-24
US10757388B2 (en) 2020-08-25
US20200344456A1 (en) 2020-10-29
US20190089942A1 (en) 2019-03-21
US20230353716A1 (en) 2023-11-02
JP2019054488A (ja) 2019-04-04
KR102467262B1 (ko) 2022-11-16
EP3721957A1 (en) 2020-10-14
CN111343447A (zh) 2020-06-26
JP6433559B1 (ja) 2018-12-05
US20220060670A1 (en) 2022-02-24
KR20190032228A (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
CN111343447B (zh) 数据提供装置、数据提供装置的控制方法和存储介质
US20180063514A1 (en) Image processing apparatus, image processing method, and storage medium
US11503272B2 (en) Information processing apparatus, information processing method and storage medium
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020520190A (ja) 仮想場面に関連付けられた映像再生およびデータの提供
JP2012244622A (ja) コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体
US20220270314A1 (en) Robust facial animation from video using neural networks
JP2022522504A (ja) 画像の奥行きマップの処理
JP6572368B2 (ja) 生成装置および生成方法、プログラム
CN107204026B (zh) 一种用于显示动画的方法和装置
CN116468736A (zh) 基于空间结构的前景图像分割方法、装置、设备、介质
JP6931375B2 (ja) 送信装置および送信方法、プログラム
JP7204843B2 (ja) 送信装置および送信方法、プログラム
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN106780676B (zh) 一种用于显示动画的方法和装置
US11328509B2 (en) Methods and systems for data representing objects at different distances from a virtual vantage point
EP3936978B1 (en) Object display
EP4350626A1 (en) Image processing system, method for controlling the same, and program
CN112634339A (zh) 商品对象信息展示方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant