CN110574076B - 图像生成设备、图像生成方法和计算可读存储介质 - Google Patents

图像生成设备、图像生成方法和计算可读存储介质 Download PDF

Info

Publication number
CN110574076B
CN110574076B CN201880028801.5A CN201880028801A CN110574076B CN 110574076 B CN110574076 B CN 110574076B CN 201880028801 A CN201880028801 A CN 201880028801A CN 110574076 B CN110574076 B CN 110574076B
Authority
CN
China
Prior art keywords
image
virtual
visual point
image capturing
obtaining unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880028801.5A
Other languages
English (en)
Other versions
CN110574076A (zh
Inventor
前田充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110574076A publication Critical patent/CN110574076A/zh
Application granted granted Critical
Publication of CN110574076B publication Critical patent/CN110574076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)

Abstract

目的是在具有多个摄像单元的图像处理系统中能够生成从高质量的虚拟视点的宽区域图像。为了实现该目的，在图像处理系统中提供用于基于多个摄像装置获得的多个拍摄图像来生成虚拟视点图像的生成设备，多个摄像装置被分类为包括由指向第一注视点的多个摄像装置构成的第一摄像装置组和由指向不同于第一注视点的第二注视点的多个摄像装置构成第二摄像装置组的多个摄像装置组，生成设备包括：第一获得单元，用于基于属于第一摄像装置组的摄像装置获得的拍摄图像来获得第一图像数据；第二获得单元，用于基于属于第二摄像装置组的摄像装置获得的拍摄图像来获得第二图像数据；第三获得单元，用于获得与虚拟视点的位置和方向有关的信息；以及生成单元，用于基于第一获得单元获得的第一图像数据、第二获得单元获得的第二图像数据、第三获得单元获得的与虚拟视点的位置和方向有关的信息来生成虚拟视点图像。

Description

图像生成设备、图像生成方法和计算可读存储介质
技术领域
本发明涉及生成设备、生成方法和程序。
背景技术
将多个照相机(摄像设备)分别安装在不同位置、从多个视点进行同步拍摄、并且通过使用通过该拍摄所获得的多个视点图像来生成虚拟视点图像的技术已引起关注。根据用于从多个视点图像生成虚拟视点图像的技术，例如，由于可以从各种角度观看足球或篮球的最精彩场景，因此与正常图像相比，能够给用户带来高的临场感。
专利文献1公开了：将多个照相机布置成围绕被摄体，利用这些照相机拍摄被摄体，并且使用这些照相机所获得的拍摄图像来生成并显示任意的虚拟视点图像。在专利文献1中，以体育场的中央点作为原点来确定世界坐标X、 Y和Z轴，并且向着原点安装多个照相机，使得原点在画面的中央。
现有技术文献
专利文献
专利文献1：日本特开2014-215828
发明内容
发明要解决的问题
在专利文献1所述的技术中，在以体育场的中央作为注视点来生成整个风景的情况下，正拍摄远离注视点的选手的照相机的数量少，并且此外，与注视点附近相比，该相关选手未聚焦。结果，例如，在生成通过从离视点远的一侧看台观看另一侧看台所获得的整个风景的情况下，由于到该侧选手的距离短因而应清楚可见的他/她的分辨率变低，从而他/她的轮廓变模糊，由此降低了3D(三维)模型的精度。由于该原因，该侧选手的图像质量下降，而离该侧选手更远的中央附近的选手的图像质量得以提高，使得损害了远近感并因此降低了临场感。
本发明是有鉴于这样的情形而完成的，并且本发明的目的是使得能够在具有多个摄像单元的图像处理系统中生成从高质量的虚拟视点的宽区域图像。
用于解决问题的方案
根据本发明的生成设备是一种生成设备，用于基于多个摄像装置所获得的多个拍摄图像来生成虚拟视点图像，所述多个摄像装置被分类为包括第一摄像装置组和第二摄像装置组的多个摄像装置组，所述第一摄像装置组由指向第一注视点的多个摄像装置构成，以及所述第二摄像装置组由指向不同于所述第一注视点的第二注视点的多个摄像装置构成，所述生成设备的特征在于包括：第一获得单元，其被配置为基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像来获得第一图像数据；第二获得单元，其被配置为基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像来获得第二图像数据；第三获得单元，其被配置为获得与虚拟视点的位置和方向有关的信息；以及生成单元，其被配置为基于所述第一获得单元所获得的所述第一图像数据、所述第二获得单元所获得的所述第二图像数据、以及所述第三获得单元所获得的与虚拟视点的位置和方向有关的信息，来生成所述虚拟视点图像。
发明的效果
根据本发明，可以在具有多个摄像单元的图像处理系统中生成从高质量的虚拟视点的宽区域图像。
附图说明
图1是示出根据第一实施例的图像处理系统的构成示例的图。
图2是示出第一实施例中的对象拍摄状态的示例的图。
图3是用于说明第一实施例中的注视点的坐标系的图。
图4是示出第一实施例中的3D模型数据的构成示例的图。
图5是示出第一实施例中的对象拍摄状态的示例的图。
图6是示出第一实施例中的虚拟视点图像生成单元的构成示例的图。
图7是用于说明第一实施例中的虚拟视点图像生成操作的示例的流程图。
图8是示出第一实施例中的虚拟视点图像生成的流程的序列图。
图9是用于说明背景图像的示例的图。
图10是用于说明对象图像的示例的图。
图11是用于说明合成图像的示例的图。
图12是示出第一实施例中的虚拟视点图像生成单元的另一构成示例的图。
图13是示出第二实施例中的图像处理系统的构成示例的图。
图14是示出第二实施例中的对象拍摄状态的示例的图。
图15是示出第二实施例中的对象拍摄状态的示例的图。
图16是示出根据第二实施例的3D模型数据的构成示例的图。
图17A是示出第二实施例中的3D模型数据的点组的示例的图。
图17B是示出第二实施例中的3D模型数据的点组的示例的图。
图18是示出第二实施例中的虚拟视点图像生成的流程的序列图。
图19是示出第三实施例中的图像处理系统的构成示例的图。
图20是示出根据另一实施例的图像处理系统的构成示例的图。
图21是示出另一实施例中的3D模型数据的构成示例的图。
图22是示出能够实现本实施例中的图像处理系统的计算机功能的图。
具体实施例
以下将参考附图来说明本发明的优选实施例。
(第一实施例)
将说明本发明的第一实施例。
图1是示出根据第一实施例的图像处理系统100的构成示例的图。根据本实施例的图像处理系统100是通过将多个照相机(摄像设备)和麦克风(声音收集设备)安装在诸如体育场(场地)和音乐厅等的设施中来进行摄像和声音收集的图像处理系统。
图像处理系统100针对各注视点具有传感器组200、201和202。传感器组 200、201和202各自具有多个传感器系统。在本实施例中，传感器组200具有 30个传感器系统2L01～2L30，传感器组201具有30个传感器系统2C01～2C30，并且传感器组202具有30个传感器系统2R01～2R30。此外，各传感器系统具有麦克风111、照相机112、照相机云台113和照相机适配器120。也就是说，传感器组200、201和202各自具有用于分别从多个方向拍摄被摄体的多个照相机。
如在图2中示例性示出，在传感器组200的传感器系统2L01～2L30各自中，以注视点2000作为注视点来安装照相机112。同样，在传感器组201的传感器系统2C01～2C30各自中，以注视点2001作为注视点来安装照相机112。此外，在传感器组202的传感器系统2R01～2R30各自中，以注视点2002作为注视点来安装照相机112。与注视点2000相对应的传感器系统2L01～2L30的照相机 112拍摄区域2100的范围，传感器系统2C01～2C30的照相机112拍摄区域2101 的范围，并且传感器系统2R01～2R30的照相机112拍摄区域2102的范围。这里，尽管示出30个传感器系统构成一个传感器组的示例，但传感器系统的数量和布置不限于此。
将说明传感器组200的操作。
图像处理系统100具有控制站310和虚拟照相机操作UI(用户接口)330，以进行与用户的指示等相对应的控制。控制站310经由网络对图像处理系统 100中所设置的各功能单元(块)进行操作状态以及参数设置/控制等的管理。将说明将30个传感器系统2L01～2L30所获得的图像和声音从传感器系统 2L30经由交换集线器180发送至服务器前端230的操作。这里，传感器系统 2L01～2L30经由网络180a、171和180b以菊花链方式连接。
传感器系统2L01～2L29各自将照相机112所拍摄到的图像输入至照相机适配器120，将用于识别照相机的照相机标识符提供至所拍摄到的图像，并将所获得的图像发送至网络171。传感器系统2L30将照相机112所拍摄的图像输入至照相机适配器120，并将用于识别照相机的照相机标识符提供至所拍摄到的图像。然后，传感器系统2L30将传感器组200的各照相机112所拍摄到的图像发送至网络180b。发送至网络180b的图像经由交换集线器180和网络 211a被输入至服务器前端230。
顺便提及，在本实施例中，在无特别说明的情况下，将传感器系统2L01 至传感器系统2L30这30组传感器系统不加区分地描述为传感器系统2L。同样，除非另外说明，否则各传感器系统2L中的装置分别被不加区分地称为麦克风111、照相机112、照相机云台113和照相机适配器120。在本实施例中，除非另外指定，否则术语“图像”将被描述为包括运动图像的概念和静止图像的概念。也就是说，根据本实施例的图像处理系统100可以处理静止图像和运动图像这两者。
顺便提及，尽管说明了多个传感器系统2L级联连接成菊花链的示例，但本发明不限于此。例如，可以是星型网络结构，其中在该星型网络结构中，传感器系统2L01～2L30各自连接至交换集线器180，并且经由交换集线器180 在传感器系统2L之间进行数据交换。此外，例如，可以将多个传感器系统2L 分割成数个组，并且针对分割后的组中的各组，传感器系统2L可以以菊花链方式连接。当然，在该组中存在一个传感器系统2L的情况下，可以使用星型连接。
此外，传感器系统2L不限于上述构成。例如，照相机112和照相机适配器120可以一体地构成在传感器系统中。在这种情况下，麦克风111可以内置在一体的照相机112中，或者可以连接至照相机112的外部。此外，服务器前端230可以具有照相机适配器120的功能的至少一部分。传感器系统 2L01～2L30不限于具有相同的构成，并且可以具有不同的构成。
此外，在本实施例中，将说明用于构成3D模型的基于模型的绘制(Model BasedRendering(以下简称为MBR))作为用于生成虚拟视点图像的方法。然而，本发明不限于此。
此外，在本实施例中，尽管将说明图像处理系统100所提供的虚拟视点内容包括虚拟视点图像和虚拟视点声音的示例，但本发明不限于此。例如，声音可以不包括在虚拟视点内容中。此外，例如，虚拟视点内容中所包括的声音可以是由安装在离虚拟视点最近的位置处的传感器系统2L的麦克风111 收集到的声音。此外，在本实施例中，为了简化说明，部分省略了与声音有关的说明，但基本上假定一起处理图像和声音这两者。
也就是说，传感器系统2L01的麦克风111所收集到的声音和照相机112所拍摄到的图像由照相机适配器120进行图像处理，然后处理后的声音和图像经由网络171被传输至传感器系统2L02的照相机适配器120。同样，传感器系统2L02将所收集到的声音、所拍摄到的图像以及从传感器系统2L01获得的图像和声音数据组合在一起，并且将所获得的数据经由网络171传输至传感器系统2L03。通过继续上述操作，传感器系统2L01～2L30所获得的图像和声音从传感器系统2L30经由网络180b和211a以及交换集线器180被传输至服务器前端230。
这同样适用于传感器组201和202。传感器系统2C01～2C30经由网络 180C、172和180d以菊花链方式连接，并且传感器系统2R01～2R30经由网络 180e、173和180f以菊花链方式连接。传感器系统2C01～2C30分别获得的图像和声音从传感器系统2C30经由网络180d和211b以及交换集线器180被传输至服务器前端231。此外，传感器系统2R01～2R30分别获得的图像和声音从传感器系统2R30经由网络180f和211c以及交换集线器180被传输至服务器前端 232。
尽管图1示出传感器组200、201和202的内部全部以级联连接来形成菊花链的构成，但本发明不限于此。例如，为了形成菊花链，可以连接传感器组 200的传感器系统2L30和传感器组201的传感器系统2C01，并且可以连接传感器组201的传感器系统2C30和传感器组202的传感器系统2R01。
时间服务器290具有分发时刻和同步信号的功能，并且将时刻和同步信号经由交换集线器180分别分发至传感器系统2L01～2L30、2C01～2C30和2R01～2R30。接收到时刻和同步信号的传感器系统的照相机适配器120通过基于该时刻和该同步信号使照相机112外部同步(同步锁定(Genlock))来进行图像帧同步。也就是说，时间服务器290使多个照相机112的拍摄定时同步。
接着，将说明传感器组200的传感器系统2L01～2L30分别获得的图像和声音被传输到的服务器前端230的构成和操作。服务器前端230根据从传感器系统2L30获得的图像和声音来重构分段的传输包，并且对帧数据的数据格式进行转换。此外，服务器前端230从重构的帧数据中切出诸如选手等的目标(以下也称为“对象”)，并且使用所切出的结果作为前景图像来从所有照相机的图像生成对象的3D模型。
存在用于生成3D模型的各种方法。可以使用例如Visual Hull(视锥体交叉法)等的方法。例如，将所生成的3D模型表示为点组。例如，点组表示3D 模型中存在的点的数量，并且点组中的各点可以由使用注视点作为原点的坐标系中的x坐标、y坐标和z坐标来表示。然而，本发明不限于此。即，可以以注视点作为原点来将空间分割成体素，将存在物体的体素二值化为“1”，将不存在物体的体素二值化为“0”，并且通过在x轴、y轴和z轴方向上分别扫描它们来将所获得的二值数据编码为一维数据。服务器前端230将用于识别 3D模型的标识符提供至相关的3D模型，并且将所获得的数据连同3D模型的点组数据一起根据帧号写入数据库250中。
此外，服务器前端230根据照相机标识符、注视点的标识符、关联的3D 模型的标识符和帧号来将前景图像写入数据库250中。这里，尽管使用帧号作为表示时刻的信息，但本发明不限于此。即，可以使用时间码。在数据库 250中，由照相机的标识符识别的注视点、照相机位置、方向和视角是在照相机设置时作为照相机设置信息存储的。数据库250生成以所输入的帧号为单位针对3D模型的各标识符而描述对象的位置信息的对象位置信息列表。
在数据库250中，进一步存储了在使用图2的注视点2001作为体育场坐标的原点(0,0,0)的情况下的注视点2000和2002各自的位置信息。顺便提及，应当注意，注视点2000、2001和2002具有由x轴、y轴和z轴表示的相同方向。也就是说，在本实施例中，注视点2000、2001和2002在同一线上，并且连接注视点2000、2001和2002的方向是x轴。这里，在x轴中，假定从注视点2001 向着注视点2000的方向为负并且从注视点2001向着注视点2002的方向为正。 y轴与x轴垂直。在y轴上，假定从注视点2001向着体育场正面的主看台方向为负并且向背面的看台方向为正。在图2中，假定底部(例如，安装有传感器系统2L08的一侧)是主看台并且顶部(例如，安装有传感器系统2L01的一侧) 是背面看台。z轴与x轴和y轴垂直。在z轴中，假定地面为原点且向上方向为正。
图3示出x轴、y轴、z轴以及注视点2000、2001和2002。相对于作为体育场坐标的原点2001-0的注视点2001，注视点2000在x方向上分离了(-dx0)，并且注视点2002在x方向上分离了dx1。因此，注视点2000相对于注视点2001为 (-dx0,0,0)，并且注视点2002相对于注视点2001为(dx1,0,0)。在使用通过校正这些注视点的位置的位移所获得的注视点2001作为原点的世界坐标中，描述在上述的对象位置信息列表中要描述的对象的位置信息。注视点的轴方向和位置关系不限于此。此外，体育场的坐标原点的位置不限于此。即，可以将场地的任何角落设置为原点、或者将原点放置在主看台上。此外，在体育场的原点处并非始终必须存在注视点。
同样，在服务器前端231和232中，将具有以各注视点作为原点的位置信息的3D模型的数据和位置信息连同前景图像一起写入数据库250中。
图4示出第一实施例中的3D模型的数据的构成示例。如在图4的(A)中作为示例所示，在各时刻管理3D模型的数据，已将表示该时刻的时间码提供至数据的头部，并且随后将注视点的数量表示为整数。在图2的示例中，由于存在三个注视点，因此注视点的数量是三个。随后，指定至第一注视点的指针。这里，假定第一注视点是注视点2000。只要是相同的文件，该指针可以是从该文件起要跳过的数据大小，或者可以是另一文件指针。
如在图4的(B)中作为示例所示，在由至第一注视点的指针指定的数据中，示出第一注视点的原点的位置。顺次描述第一注视点的相对于体育场的原点的x坐标、y坐标和z坐标，即(-dx0,0,0)的值，并且随后描述第一注视点中所包括的对象的数量。之后，指定至各对象的指针，并且通过该指针可以访问各对象的点组。如在图4的(C)中作为示例所示，在第一对象的点组数据中，首先描述构成第一对象的点的数量，并且顺序描述各点的x坐标、y坐标、 z坐标。顺便提及，针对第一注视点的其它对象同样地生成数据。同样，针对其它注视点生成数据。
返回到图1，后端服务器300从虚拟照相机操作UI 330接受虚拟视点的指定。虚拟照相机操作UI 330是信息设置单元和提取单元的示例。后端服务器300基于所接受的虚拟视点来从数据库250读取相应的前景图像、3D模型数据和音频数据，并且进行绘制处理以生成虚拟视点图像。这里，后端服务器300 针对各注视点生成虚拟视点图像。在后端服务器300中，虚拟视点图像生成单元270生成与注视点2000相对应的区域2100的虚拟视点图像。此外，虚拟视点图像生成单元271生成与注视点2001相对应的区域2101的虚拟视点图像，并且虚拟视点图像生成单元272生成与注视点2002相对应的区域2102的虚拟视点图像。此外，虚拟视点背景图像生成单元275生成从虚拟视点的背景图像。这里，虚拟视点图像生成单元270、271和272是图像生成单元的示例。
在生成虚拟视点图像的情况下，未示出的用户使用虚拟照相机操作UI 330来设置表示虚拟视点图像中的虚拟视点的虚拟照相机的位置、方向和视角等。在下文，虚拟照相机的位置、方向和视角等的信息还被称为虚拟照相机信息。通过虚拟照相机操作UI 330所设置的虚拟照相机信息被输出至后端服务器300。以下将仅说明图像。例如，如图5所示，假定在传感器系统2L19 和传感器系统2L20之间设置有虚拟照相机2700。在图5中，与图2所示的构成元件相同的构成元件分别由相同的附图标记表示。在图5中，附图标记4200 表示虚拟照相机2700的视角。
后端服务器300将虚拟照相机信息输入至数据库250，以获得用于生成从虚拟照相机2700看到的虚拟视点图像所需的图像。数据库250基于所输入的虚拟照相机信息来检索并选择各个传感器系统2L01～2L30、2C01～2C30和 2R01～2R30所拍摄到的前景图像。此外，数据库250基于所输入的虚拟照相机信息来从服务器前端230、231和232所生成的3D模型中检索并选择所需的数据。
此外，根据虚拟照相机2700的虚拟照相机信息来确定视角4200中所包括的现实空间中的拍摄范围。顺便提及，虚拟照相机的位置信息由使用注视点2001作为世界坐标的原点的位置来表示。通过将该位置与拍摄范围进行比较来判断各注视点或各对象是否包括在该拍摄范围中。在图5的示例中，假定包括拍摄范围4000、4001和4002的区域是拍摄范围。这里，由于拍摄范围4000 中的虚拟视点图像包括注视点2000，因此虚拟视点图像生成单元270生成相关的虚拟视点图像。此外，由于拍摄范围4001中的虚拟视点图像包括注视点2001，因此虚拟视点图像生成单元271生成相关的虚拟视点图像。此外，由于拍摄范围4002中的虚拟视点图像包括注视点2002，因此虚拟视点图像生成单元272生成相关的虚拟视点图像。
通过基于虚拟照相机信息指定虚拟照相机2700所拍摄的范围来选择用于生成视角4200的虚拟视点图像的图像。此外，如图5所示，视角4200包括区域2101和2102，并且在区域2101和2102之间存在重叠部分。在这些部分中包括对象的情况下，判断是使用从哪个注视点的3D模型数据还是使用其前景图像。关于判断所用的方法，假定使用离各对象的位置近的注视点的3D模型数据以及前景图像。然而，本发明不限于此。例如，可以使用离虚拟视点近的注视点的3D模型数据以及前景图像。也就是说，在生成与虚拟照相机2700 有关的虚拟视点图像的情况下，对于区域2100和区域2101之间的重叠部分中的对象，使用注视点2000的3D模型数据和前景图像来生成虚拟视点图像。可选地，在生成从虚拟照相机2700看到的虚拟视点图像的情况下，可以采用拍摄对象的照相机的数量较大的注视点的3D模型数据以及前景图像。例如，将通过采用区域2100和区域2101之间的重叠部分中的对象的示例来给出说明。关于注视点2000，传感器系统2L14至传感器系统2L25这十二个传感器系统正从传感器系统的位置和视角拍摄对象。关于注视点2001，传感器系统2C19 至传感器系统2L28这十个传感器系统正从传感器系统的位置和视角拍摄对象。因此，在这种情况下，由于拍摄注视点2000的传感器系统更多，因此使用注视点2000的3D模型数据以及前景图像来生成虚拟视点图像。
将说明虚拟视点图像生成单元270中的与区域2100有关的虚拟视点图像的生成。图6是示出虚拟视点图像生成单元270的构成示例的图。从虚拟视点照相机操作UI 330将虚拟照相机信息和用于生成虚拟视点图像的帧号的信息输入至端子601。端子602连接至数据库250，从数据库250读取对象位置信息列表，并且进一步发送针对图像生成所需的前景图像和3D模型数据的请求。此外，从数据库250读取的前景图像数据和3D模型数据被输入至端子603。端子604输出诸如选手等的对象的图像数据，其中该图像数据表示所生成的虚拟视点照相机图像。
3D模型选择单元620指定在该区域中生成对象所需的3D模型数据的标识符。前景图像选择单元630根据生成对象图像所需的3D模型数据的标识符、虚拟照相机的视角和照相机位置信息，来确定纹理映射(texture mapping)所需的前景图像数据。图像缓冲器600存储从数据库250输入的前景图像。模型缓冲器610存储从数据库250输入的3D模型数据。绘制单元640根据所输入的3D 模型数据和前景图像来生成对象的虚拟视点图像。
图7是用于说明第一实施例中的虚拟视点图像生成操作的示例的流程图。在步骤S700中，由未示出的用户通过虚拟照相机操作UI 330确定虚拟照相机位置、方向和视角。在步骤S701中，虚拟照相机操作UI 330基于虚拟照相机信息来确定拍摄范围，并选择该拍摄范围中所包括的注视点。通过将由拍摄范围表示的空间与各注视点的位置在世界坐标上比较，判断注视点是否包括在拍摄范围中。在步骤S702中，后端服务器300将与步骤S701中所选择的注视点相对应的虚拟视点图像生成单元270～272设置为可处理状态。
随后的处理是在所选择的虚拟视点图像生成单元的内部要进行的操作。
在步骤S703中，将通过虚拟照相机操作UI 330所确定的虚拟照相机信息和用于生成虚拟视点图像的帧的帧号经由端子601输入至3D模型选择单元 620、前景图像选择单元630和绘制单元640。在步骤S704中，3D模型选择单元620经由端子602向数据库250请求所输入的帧号的对象位置信息列表，并且接收所请求的对象位置信息列表。在步骤S705中，3D模型选择单元620将步骤S704中所获得的对象位置信息列表中的位置信息与拍摄范围进行比较，确定拍摄范围中所包括的对象，并确定该对象的3D模型标识符。
在步骤S706中，3D模型选择单元620将步骤S705中所确定的3D模型标识符以及帧号经由端子602发送至数据库250，并且请求数据。在步骤S707中，数据库250基于所接收到的3D模型标识符和帧号来读取3D模型的数据。在步骤S708中，将步骤S707中所读取的3D模型数据、其3D模型标识符以及帧号经由端子603存储在模型缓冲器610中。
在步骤S709中，前景图像选择单元630基于从端子601输入的虚拟照相机信息和从3D模型选择单元620发送的对象的3D模型标识符，来选择与从虚拟视点看到的模型的表面有关的前景图像。此外，前景图像选择单元630选择拍摄了所选择的前景图像的照相机标识符。此时，不选择拍摄了从虚拟视点不能看到的表面的照相机。
在步骤S710中，前景图像选择单元630将3D模型标识符、所选择的照相机标识符和帧号经由端子602发送至数据库250，并且请求数据。在步骤S711 中，数据库250基于所接收到的3D模型标识符、照相机标识符和帧号来读出所需的前景图像数据。在步骤S712中，将步骤S711中所读取的前景图像数据、其3D模型标识符、照相机标识符和帧号经由端子603存储在图像缓冲器600 中。
在步骤S713中，绘制单元640基于3D模型标识符和帧号来从模型缓冲器 610读取3D模型数据。此外，绘制单元640基于3D模型标识符、照相机标识符和帧号来从图像缓冲器600读取前景图像。然后，绘制单元640将前景图像纹理映射到3D模型数据上，并且根据从端子601输入的虚拟照相机信息的照相机姿势和视角等来生成从虚拟视点的图像。此外，绘制单元计算所生成的图像的最终图像中的图像位置信息。将所生成的虚拟视点图像和图像位置信息从端子604输出。
图8是示出第一实施例中的虚拟视点图像的生成的流程的序列图。最初，虚拟照相机操作UI 330根据未示出的用户的输入来确定虚拟照相机位置、方向和视角。虚拟照相机操作UI 330基于虚拟照相机信息来确定拍摄范围，并选择该拍摄范围中所包括的注视点。选择与通过虚拟照相机操作UI 330选择的注视点相对应的虚拟视点图像生成单元270～272，并且虚拟照相机操作UI 330将所选择的虚拟视点图像生成单元设置成能够开始处理的状态。然后，虚拟照相机操作UI 330将所确定的虚拟照相机信息和用于生成虚拟视点图像的帧的帧号发送至3D模型选择单元620、前景图像选择单元630和绘制单元 640(801)。
3D模型选择单元620向数据库250请求所输入的帧号的注视点的对象位置信息列表(802)。数据库250检索并读取相应注视点的相应帧号的位置信息列表(803)，并将相关列表发送至3D模型选择单元620(804)。
3D模型选择单元620将对象位置信息列表中的位置信息与拍摄范围进行比较，确定拍摄范围中所包括的对象，并确定该对象的3D模型标识符(805)。然后，3D模型选择单元620将所确定的对象的3D模型标识符以及帧号发送至前景图像选择单元630和数据库250(806)。数据库250基于3D模型标识符和帧号来检索并读取3D模型的数据(807)。然后，数据库250将所读取的3D模型数据、其3D模型标识符和帧号经由模型缓冲器610发送至绘制单元640(808)。
此外，前景图像选择单元630基于从虚拟照相机操作UI 330发送来的虚拟照相机信息和从3D模型选择单元620发送来的对象的3D模型标识符，来选择与从虚拟视点看到的模型的表面有关的前景图像(809)。前景图像选择单元 630选择拍摄了所选择的前景图像的照相机标识符。前景图像选择单元630将对象的3D模型标识符、所选择的照相机标识符和帧号发送至数据库250 (810)。数据库250基于3D模型标识符、照相机标识符和帧号来检索并读取所需的前景图像数据(811)。然后，数据库250将所读取的前景图像数据、其3D 模型标识符、照相机标识符和帧号经由图像缓冲器600发送至绘制单元640 (812)。
绘制单元640将前景图像纹理映射到3D模型数据上，并且根据从端子601 输入的虚拟照相机信息的照相机姿势和视角等来生成从虚拟视点的图像。这样，虚拟视点图像生成单元270、271和272各自针对各注视点生成从虚拟视点的图像。
返回到图1，虚拟视点图像生成单元270～272分别生成的图像被输入至合成单元280。此外，虚拟视点背景图像生成单元275使用数据库250中所存储的背景图像数据来生成从虚拟视点的背景图像，并将所生成的背景图像输入至合成单元280。更具体地，虚拟视点背景图像生成单元275基于从虚拟照相机操作UI 330输入的虚拟照相机位置和视角等，根据实际拍摄图像或CG(计算机图形)等来生成背景图像。
合成单元280根据各拍摄范围来将虚拟视点背景图像生成单元275所生成的背景图像和虚拟视点图像生成单元270～272各自所生成的图像数据进行合成。以下将参考图9～图11来说明合成单元280的图像合成。
图9是示出虚拟视点背景图像生成单元275所生成的背景图像的示例的图。在图9中，900表示整个背景图像，并且950表示所设置的视角。此外，901、 902和903表示在注视点处要处理的拍摄范围。拍摄范围901表示由指向注视点2000的照相机构成的拍摄范围，拍摄范围902表示由指向注视点2001的照相机构成的拍摄范围，并且拍摄范围903表示由指向注视点2002的照相机构成的拍摄范围。
图10示出虚拟视点图像生成单元270～272各自所生成的图像的示例。在拍摄范围903中，生成3D模型数据被纹理映射到由拍摄注视点2002的照相机所拍摄到的前景图像的图像。在拍摄范围902中，生成3D模型数据被纹理映射到由拍摄注视点2001的照相机所拍摄到的前景图像的图像。在拍摄范围 901中，生成3D模型数据被纹理映射到由拍摄注视点2000的照相机所拍摄到的前景图像的图像。
在图像合成的情况下，合成单元280根据远处的注视点的图像进行合成。因此，在远景的对象和近景的对象彼此重叠的情况下，远景的对象自然地被近景的对象隐藏。图11示出与背景图像合成的图像。如上所述已合成的合成图像被发送至输出单元285，并被输出至外部。
如上所述，根据本实施例，关于虚拟视点图像的生成，可以在不会使质量劣化的情况下生成从虚拟视点的宽区域图像。也就是说，由于可以准确地对各对象建模并且可以使用高质量的前景图像，因此可以提高整个虚拟视点图像的质量。例如，在尝试仅根据由指向注视点2001的照相机拍摄到的图像来生成如图11所示的图像的情况下，拍摄范围902中的选手的图像质量与本发明的图像质量并无不同。然而，由于拍摄范围901和903中的选手失焦，因此给出模糊的图像，使得不能进行准确的3D模型生成和前景图像的高质量纹理映射。另一方面，在本实施例中，防止了这样的质量下降，并且不提供尽管离虚拟视点近但比远景更模糊的不准确的图像。
在本实施例中，已经使用MBR说明了通过生成3D模型来生成虚拟视点图像的方法。然而，该方法并不特别局限于此，并且可以使用不构造3D模型的基于图像的绘制(ImageBased Rendering(IBR))、或者其它方法。在下文，作为示例，将说明使用IBR的示例。
在图1中，服务器前端230、231和232各自从重构的帧数据中切出诸如选手等的目标，并且仅生成前景图像。此外，服务器前端230、231和232各自根据照相机标识符、注视点标识符和帧号将前景图像写入数据库250中。后端服务器300从虚拟照相机操作UI 330接受虚拟视点的指定。此外，后端服务器300基于所接受的虚拟视点来从数据库250读取相应的前景图像和音频数据，并且进行绘制处理以生成虚拟视点图像。此外，后端服务器300针对各注视点生成虚拟视点图像。在生成虚拟视点图像的情况下，未示出的用户使用虚拟照相机操作UI 330来设置表示虚拟视点图像中的虚拟视点的虚拟照相机的位置、方向和视角等。
在下文，将说明虚拟视点图像生成单元270作为示例。然而，这同样适用于虚拟视点图像生成单元271和272。为了获得用于生成从虚拟照相机2700 看到的虚拟视点图像所需的图像，从虚拟照相机操作UI 330将虚拟照相机信息输入至虚拟视点图像生成单元270。基于该虚拟照相机信息，从传感器系统2L01～2L30、2C01～2C30和2R01～2R30分别拍摄到的前景图像中检索和选择所需的数据。数据库250根据虚拟照相机2700的虚拟照相机信息来确定视角4200中所包括的现实空间中的拍摄范围。顺便提及，虚拟照相机的位置信息由将注视点2001用作为世界坐标的原点的位置来表示。
与上述实施例一样，将说明虚拟视点图像生成单元270中的与区域2100 有关的虚拟视点图像的生成。图12是示出虚拟视点图像生成单元270的另一构成示例的图。在图12中，具有与图6所示的构成元件的功能相同的功能的构成元件分别由相同的附图标记表示，并且省略了重复的说明。前景图像选择单元1230根据虚拟照相机的视角和照相机位置信息来选择用于生成对象的图像所需的照相机，并且确定前景图像的所需数据。图像缓冲器1200存储从数据库250输入的前景图像。绘制单元1240根据所输入的前景图像来生成对象的虚拟视点图像。前景图像选择单元1230预先存储拍摄各个注视点的照相机的位置信息。顺便提及，可以从外部读取照相机的位置信息。
IBR的方法不受特别限制。例如，如在专利文献1中所述，基于来自两个照相机的图像来生成图像。前景图像选择单元1230从虚拟视点照相机的位置选择最近的两个照相机。在虚拟视点图像生成单元270中，针对图5所示的虚拟视点照相机2700选择传感器系统2L19和传感器系统2L20的照相机的前景图像。同样，在虚拟视点图像生成单元271的前景图像选择单元1230中，选择传感器系统2C23和传感器系统2C24。此外，在虚拟视点图像生成单元272 的前景图像选择单元1230中，选择传感器系统2R27和传感器系统2R28。
前景图像选择单元1230将相应的帧号和各传感器系统的照相机的标识符经由端子602发送至数据库250，并且请求数据。数据库250基于所接收到的帧号和照相机标识符来读取所需的前景图像数据。所读取的前景图像数据、其帧号和照相机标识符经由端子603被存储在图像缓冲器1200中。绘制单元1240基于照相机标识符和帧号来从图像缓冲器1200读取前景图像。根据两个照相机的前景图像，绘制部1240使用变形(morphing)等的技术生成从虚拟视点的图像。此外，绘制单元计算所生成的图像的最终图像中的图像位置信息。将所生成的虚拟视点图像和图像位置信息从端子604输出。
如上所述，关于虚拟视点图像的生成，即使通过不使用3D模型的IBR，也可以在不会使质量下降的情况下生成从虚拟视点的宽区域图像。也就是说，在本实施例中，由于可以将高质量的前景图像用于各虚拟视点照相机，因此可以提高整个虚拟视点图像的质量。
顺便提及，应当注意，上述的本实施例中的图像处理系统100不限于上述的物理构成，并且该系统可以是逻辑上构成的。此外，尽管传感器组200、 201和202连接至交换集线器180，但本发明不限于此。当然，可以对这些传感器组进行级联连接。此外，尽管已经说明了使用多个虚拟视点图像生成单元的示例，但本发明不限于此。即，本实施例可以使用一个虚拟视点图像生成单元通过时分系统或以多个线程的并行处理来实现。
顺便提及，在上述实施例中，尽管已经说明了注视点之间的位置信息的差，但本发明不限于此。当然，可以使用基于一个原点的世界坐标来计算照相机位置和注视点位置等。也就是说，在图4的(C)中，作为各点组的信息，可以存储通过向各点的坐标加上注视点的相对于体育场原点的坐标而不是相对于各注视点原点的坐标所获得的信息。顺便提及，在本实施例中，由于注视点是固定的，因此也可以将注视点的位置信息作为列表存储在数据库250中，或者将注视点的位置信息作为固定值存储在服务器前端230～232以及后端服务器300中。
此外，在上述实施例中，可以在离虚拟照相机远的注视点中所包括的对象的分辨率低于离虚拟照相机近的注视点中所包括的对象的分辨率的情况下进行绘制。也就是说，由于远处的对象在合成时变小，因此通过抑制原始分辨率，可以进行高速处理。因而，在IBR中，通过降低远的注视点中所包括的对象的3D模型的分辨率，可以进行高速的模型生成和绘制。顺便提及，尽管已经使用足球等的体育场作为示例说明了上述实施例，但本发明不限于此。例如，可以是诸如棒球、篮球或滑冰等的比赛，或者可以是舞台或电影布景。
(第二实施例)
接着，将说明本发明的第二实施例。
图13是示出根据第二实施例的图像处理系统100的构成示例的图。在图 13中，具有与图1所示的构成元件的功能相同的功能的构成元件分别由相同的附图标记表示，并且省略了重复的说明。服务器前端1330、1331和1332处理从传感器系统获得的数据。服务器前端1330～1332与第一实施例中的服务器前端230～232的不同点在于：从控制站1310获得各注视点的位置信息，并且将相对于体育场原点的位置信息提供至各数据。
图14示出第二实施例中的体育场的注视点的示例。在本实施例中，将说明滑雪空翻作为示例。尽管在本实施例中也将假定存在三个注视点来进行说明，但本发明不限于此。假定注视点12000、12001和12002表示拍摄开始时的注视点，并且注视点12001是场地原点12001-0。传感器系统12L01～12L06 对应于注视点12002，并且各个传感器系统具有一个照相机112和一个照相机云台113。传感器系统12C01～12C06对应于注视点12001，并且各个传感器系统具有一个照相机112和一个照相机云台113。传感器系统12R01～12R06对应于注视点12002，并且各个传感器系统具有一个照相机112和一个照相机云台 113。尽管在本实施例中说明了针对各注视点使用六个传感器系统的示例，但本发明不限于此。
图15示出各注视点的拍摄范围。与注视点12000相对应的传感器系统 12R01～12R06的照相机112拍摄区域12100的范围。与注视点12001相对应的传感器系统12C01～12C06的照相机112拍摄区域12101的范围，并且与注视点 12002相对应的传感器系统12L01～12L06的照相机112拍摄区域12102的范围。这里，如图14所示，注视点12001是场地的原点，并且其坐标是(0,0,0)。注视点12000在场地坐标中是(dx1,dy1,-dz1)，并且注视点12002在场地坐标中是(-dx0,-dy0,dz0)。
传感器系统12L01的麦克风111所收集到的声音和照相机112所拍摄到的图像由照相机适配器120进行图像处理，然后经由网络171被传输至传感器系统12L02的照相机适配器120。同样，传感器系统12L02将所收集到的声音、所拍摄到的图像以及从传感器系统12L01获得的图像和声音数据组合在一起，并且将所获得的数据经由网络171传输至传感器系统12L03。通过继续上述操作，传感器系统12L01～12L06所获得的图像和声音从传感器系统12L06 经由网络180b和211a以及交换集线器180被传输至服务器前端1330。
控制站1310可以通过在拍摄时或在拍摄之间控制照相机云台113并由此移动照相机112的方向，来使注视点移动。将说明控制站1310使用照相机云台113来设置新的注视点的情况。例如，在使注视点12002移动了(sx1,sy1,sz1) 的情况下，控制站1310控制传感器系统12L01～12L06各自的照相机云台113，并且使照相机112指向期望方向，由此控制焦点和视角。然后，与该注视点的位置的改变有关的信息经由网络311a被输入至服务器前端1330。
同样，在使注视点12001移动的情况下，控制站1310控制传感器系统 12C01～12C06各自的照相机云台113，并且使照相机112指向期望方向，由此控制焦点和视角。然后，与该注视点的位置的改变有关的信息经由网络311b 被输入至服务器前端1331。此外，在使注视点12000移动的情况下，控制站 1310控制传感器系统12R01～12R06各自的照相机云台113，并且使照相机112 指向期望方向，由此控制焦点和视角。然后，与该注视点的位置的改变有关的信息经由网络311c被输入至服务器前端1332。
在本实施例中，服务器前端1330根据从传感器系统12L06获得的图像和声音来重构分段的传输包，并对帧数据的数据格式进行转换。此外，与第一实施例中的服务器前端230一样，服务器前端1330从重构的帧数据中切出诸如选手等的目标(对象)，并且使用所切出的结果作为前景图像，从所有照相机的图像生成对象的3D模型。这里，与第一实施例一样，假定将所生成的3D 模型表示为点组。服务器前端1330将用于识别3D模型的标识符提供至相关的 3D模型，并且将所获得的数据连同3D模型的点组数据一起根据帧号写入数据库250中。
图16示出第二实施例中的3D模型的数据的构成示例。如在图16的(A)中作为示例所示，在各时刻管理3D模型的数据，已将表示该时刻的时间码提供至数据的头部，并且随后将注视点的数量表示为整数。在图14的示例中，由于存在三个注视点，因此注视点的数量是三个。随后，指定至第一注视点的指针。这里，假定第一注视点是注视点12002。只要是相同的文件，该指针可以是从该文件起要跳过的数据大小，或者可以是另一文件指针。
如在图16的(B)中作为示例所示，在由至第一注视点的指针指定的数据中，示出第一注视点的原点的位置。顺次描述第一注视点的相对于场地的原点的x坐标、y坐标和z坐标，即(-dx0,-dy0,dz0)的值，并且随后描述第一注视点中所包括的对象的数量。之后，指定至各对象的指针，并且通过该指针可以访问各对象的点组。此外，随后描述构成第一对象的点的数量。可以根据表示坐标的数据的数据长度和点的数量来计算第一对象的3D数据的数据量，使得可以一次全部地获得数据。
如在图16的(C)中作为示例所示，在第一对象的点组数据中，描述第一对象的外接立方体的原点的x坐标、y坐标和z坐标。接着，描述x轴方向上的大小(x大小)、y轴方向上的大小(y大小)和z轴方向上的大小(z大小)，并且这些大小表示第一对象的外接立方体的大小。随后，顺次描述各点的x坐标、y 坐标和z坐标。同样，针对第一注视点的其它对象生成数据。同样，针对其它注视点生成数据。
这里，假定包括第一对象的外接立方体。在图17A和17B中示出该外接立方体的方面。将在外接立方体的原点是注视点的原点的情况下的位置描述为第一对象的外接立方体原点坐标。在本实施例中，如图17A所示，假定以注视点作为原点的坐标位置是x0、y0和z0。此外，如图17B所示，假定外接立方体的大小由xs0、ys0和zs0表示。在下文，将构成第一物体的各点的x坐标、y 坐标和z坐标顺次描述为相对于外接立方体的原点的相对位置。
与第一实施例一样，后端服务器300从数据库250读取3D模型数据和前景图像，并且进行绘制处理以生成虚拟视点图像。这里，后端服务器300针对各注视点生成虚拟视点图像。
在生成虚拟视点图像的情况下，未示出的用户使用虚拟照相机操作UI 330来生成虚拟照相机信息。后端服务器300将虚拟照相机信息输入至数据库 250，以获得用于生成从图15所示的虚拟照相机12700看到的虚拟视点图像所需的图像。数据库250基于所输入的虚拟照相机信息来检索并选择各个传感器系统12L01～12L06、12C01～12C06和12R01～12R06所拍摄到的前景图像。此外，数据库250基于所输入的虚拟照相机信息来从服务器前端1330、1331 和1332所生成的3D模型中检索并选择所需的数据。
此外，根据虚拟照相机12700的虚拟照相机信息来确定视角14200中所包括的现实空间中的拍摄范围。顺便提及，虚拟照相机的位置信息由将注视点 12001用作为世界坐标的原点的位置来表示。在本实施例中，由于注视点移动，因此如图16的(B)所示，注视点是否包括在视角中是由各注视点的相对于场地的原点的坐标以及该注视点的区域是否包括在视角中来判断的。此外，各注视点或各对象是否包括在拍摄范围中是通过该注视点或该对象的位置与拍摄范围之间的比较来判断的。在这种情况下，最初，为了用外接立方体表示对象，数据库250首先判断外接立方体是否包括在从虚拟视点12700的视野中。这可以通过外接立方体的角的点是否包括在视角中来判断。
在图15的示例中，由于虚拟视点图像包括注视点12002，因此虚拟视点图像生成单元1272生成虚拟视点图像。此外，由于虚拟视点图像包括注视点 12001，因此虚拟视点图像生成单元1271生成虚拟视点图像。顺便提及，由于虚拟视点图像不包括注视点12000，因此虚拟视点图像生成单元1270不工作。
将说明虚拟视点图像生成单元1272中的与区域12102有关的虚拟视点图像的生成。由于虚拟视点图像生成单元1272的构成与第一实施例中的虚拟视点图像生成单元270的构成相同，因此将省略对该构成的说明。此外，第二实施例中的虚拟视点图像生成操作与图7的流程图所示的第一实施例中的该操作相同。然而，在本实施例中，由于注视点移动，因此在步骤S701中需要从数据库250中的3D模型数据读取并比较注视点位置的信息。此外，在步骤 S705中，将外接立方体的各点称为对象的位置信息。
图18是示出第二实施例中的虚拟视点图像的生成的流程的序列图。最初，虚拟照相机操作UI 330根据未示出的用户的输入来确定虚拟照相机位置、方向和视角。虚拟照相机操作UI 330将图像生成所用的帧的时刻发送至数据库250，并且请求该时刻的注视点位置信息(1801)。数据库250将各注视点的位置信息发送至虚拟照相机操作UI 330(1802)。虚拟照相机操作UI 330 基于虚拟照相机信息和注视点位置信息来确定拍摄范围，并选择该拍摄范围中所包括的注视点。选择与通过虚拟照相机操作UI 330所选择的注视点相对应的虚拟视点图像生成单元1270～1272，并且虚拟照相机操作UI 330将所选择的虚拟视点图像生成单元设置为能够开始处理的状态。然后，虚拟照相机操作UI 330将所确定的虚拟照相机信息和用于生成虚拟视点图像的帧的帧号发送至3D模型选择单元620、前景图像选择单元630和绘制单元640(1803)。
3D模型选择单元620向数据库250请求所输入的帧号的注视点的对象位置信息列表(1804)。数据库250检索并读取相应注视点的相应帧号的位置信息列表(1805)，并将相关列表发送至3D模型选择单元620(1806)。
3D模型选择单元620将对象位置信息列表中的位置信息与拍摄范围进行比较，确定拍摄范围中所包括的对象，并确定该对象的3D模型标识符(1807)。然后，3D模型选择单元620将所确定的对象的3D模型标识符和帧号发送至前景图像选择单元630和数据库250(1808)。数据库250基于3D模型标识符和帧号来检索并读取3D模型的数据(1809)。然后，数据库250将所读取的3D模型数据、其3D模型标识符和帧号经由模型缓冲器610发送至绘制单元640 (1810)。
此外，前景图像选择单元630基于从虚拟照相机操作UI 330发送来的虚拟照相机信息和从3D模型选择单元620发送来的对象的3D模型标识符，来选择与从虚拟视点看到的模型的表面有关的前景图像(1811)。前景图像选择单元630选择拍摄了所选择的前景图像的照相机标识符。前景图像选择单元630 将对象的3D模型标识符、所选择的照相机标识符和帧号发送至数据库250 (1812)。数据库250基于3D模型标识符、照相机标识符和帧号来检索并读取所需的前景图像数据(1813)。然后，数据库250将所读取的前景图像数据、其3D模型标识符、照相机标识符和帧号经由图像缓冲器600发送至绘制单元640 (1814)。
绘制单元640将前景图像纹理映射到3D模型数据上，并且根据从端子601 输入的虚拟照相机信息的照相机姿势和视角等来生成从虚拟视点的图像。这样，虚拟视点图像生成单元1270、1271和1272中的用于生成虚拟视点图像的虚拟视点图像生成单元针对各注视点生成从虚拟视点的图像。
与第一实施例一样，合成单元280根据各拍摄范围将虚拟视点背景图像生成单元275所生成的背景图像与虚拟视点图像生成单元1270～1272各自所生成的图像数据进行合成。
如上所述，根据本实施例，关于虚拟视点图像的生成，可以防止质量的下降，并且可以在不会提供尽管离虚拟视点近但比远景更模糊的不准确的图像的情况下生成从虚拟视点的宽区域图像。也就是说，由于可以准确地对各对象建模并且可以使用高质量的前景图像，因此可以提高整个虚拟视点图像的质量。另外，可以追踪移动的对象，由此始终允许将对象设置为注视点。结果，由于始终可以以最佳焦点拍摄对象，因此能够生成准确的对象，并且即使在生成远距离的虚拟视点图像的情况下也可以获得高质量的图像。
在本实施例中，尽管注视点的位置信息被包括在3D模型数据中并被记录，但本发明不限于此。可以将注视点的位置信息与帧号相关联地单独列在数据库250中。此外，尽管已经使用注视点之间的位置信息的差来说明了上述实施例，但本发明不限于此。当然，可以使用基于一个原点的世界坐标来计算照相机位置和注视点位置等。也就是说，在图14中，可以存储通过向各点的坐标加上相对于注视点原点的坐标而不是相对于各外接立方体原点的坐标所获得的各点组的信息。此外，在图14中，可以存储通过向各点的坐标加上相对于注视点原点和场地原点的坐标而不是相对于各外接立方体原点的坐标所获得的各点组的信息。
顺便提及，在本实施例中，通过用近景的对象覆盖远景的对象来进行合成，但本发明不限于此。更具体地，关于各对象的位置和大小，可以从例如场地原点、注视点坐标、外接立方体坐标及其大小来导出这些对象的前后关系。因而，由于可以省略被近景的对象隐藏的远景的对象的生成，因此可以高速且低成本地进行图像生成。
顺便提及，与第一实施例一样，用于生成虚拟视点图像的方法不限于此。
(第三实施例)
接着，将说明本发明的第三实施例。
图19是示出根据第三实施例的图像处理系统100的构成示例的图。在图 19中，具有与图1所示的构成元件的功能相同的功能的构成元件分别由相同的附图标记表示，并且省略了重复的描述。传感器350、351和352感测体育场的气象条件。气象条件的示例包括湿度、温度和天气等。后端服务器301 除了具有虚拟视点图像生成单元270、271和272之外，还具有虚拟视点图像校正单元276、277和278。体育场将被描述为与第一实施例中的相同。
传感器350、351和352布置在体育场中的各个位置，并且测量湿度和温度作为拍摄时的环境条件。所测量的气象条件被称为气象信息。该气象信息在各时刻均被记录在数据库250中。例如，在湿度高时，在大气中存在许多水分子，使得远距离的图像看起来模糊。更具体地，在图5的示例中，根据气象条件，从虚拟照相机2700朦胧地看到拍摄范围4002中的对象。朦胧(haze) 已被建模为米氏散射(Mie scattering)。同样，如果正在下雨，则朦胧地看见远处的图像。
在本实施例中，各拍摄范围中的虚拟视点图像的生成与第一实施例中的该生成相同。虚拟视点图像校正单元276、277和278各自基于气象信息以及虚拟照相机和注视点之间的距离来计算朦胧和光衰减，并且对所生成的虚拟视点图像进行朦胧处理。因此，与第一实施例一样，关于虚拟视点图像的生成，由于可以在不会使质量下降的情况下生成从虚拟视点的宽区域图像，因此可以提高虚拟视点图像的质量。此外，通过对基于拍摄时的气象条件所生成的虚拟视点图像进行校正处理，可以再现体育场的空气感，使得可以生成更接近现实的虚拟视点图像。
顺便提及，尽管已经说明了根据注视点的距离来进行朦胧处理的示例，但本发明不限于此。即，也可以根据对象和虚拟照相机之间的距离来进行朦胧处理。例如，可以通过参考注视点的相对于体育场原点的坐标和外接立方体的相对于注视点的坐标来容易地计算第二实施例中的外接立方体的位置。
(第四实施例)
接着，将说明本发明的第四实施例。
在第二实施例中，尽管各对象的位置和点组的点坐标由相对于场地的原点的注视点坐标和外接立方体的相对于注视点的坐标来表示，但本发明不限于此。图20是示出根据第四实施例的图像处理系统100的构成示例的图。在图20中，具有与图1和图13所示的构成元件的功能相同的功能的构成元件分别由相同的附图标记表示，并且省略了重复的说明。
坐标转换单元1900关于注视点2000，将各外接立方体原点和点组的各坐标转换成针对体育场原点的坐标、而不是相对于注视点原点的相对坐标。同样，坐标转换单元1901和1902分别关于注视点2001和2002，将外接立方体原点和点组的各坐标转换成针对体育场原点的坐标、而不是相对于注视点原点的相对坐标。如图21中示例性地例示，存储以这种方式转换得到的3D模型数据。然而，本发明不限于这种格式。即，可以省略第一注视点的相对于体育场原点的坐标。因而，所有的点都由针对体育场原点的坐标表示。因此，通过预先计算这些点，在绘制处理中不必根据坐标的差来计算各个位置，使得可以加速图像生成。
顺便提及，根据照相机的安装状态，可能存在多个注视点区域重叠的区域。在这种情况下，例如，关于对象的3D模型数据，存在针对各注视点区域存在相同对象的数据的情况。在这种情况下，可以存储所有的数据。然而，如果3D模型的生成精度不同，则存在最终生成的虚拟视点图像的质量受到影响的情况。因此，例如，如在第一实施例中所述，可以基于对象的位置和注视点区域的信息来选择数据。例如，对于特定3D模型数据，可以进行仅留下坐标最近的注视点的数据并删除其它注视点中的重叠数据的处理。
(其它实施例)
本发明还可以通过如下的处理来实现：将用于实现上述实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且该系统或设备中的一个或多个处理器读取并执行所供给的程序。此外，本发明还可以由实现上述实施例的一个或多个功能的电路(例如，ASIC)来实现。
例如，第一实施例至第四实施例中所述的各个图像处理系统具有如图22 所示的计算机功能2200，并且其CPU 2201进行第一实施例至第四实施例中的操作。
如图22所示，计算机功能2200具有CPU 2201、ROM 2202和RAM 2203。此外，计算机功能具有操作单元(CONS)2209的控制器(CONSC)2205、以及用作诸如CRT或LCD等的显示单元的显示器(DISP)2210的显示器控制器 (DISPC)2206。此外，计算机功能具有诸如硬盘(HD)2211和软盘等的存储装置(STD)2212的控制器(DCONT)2207、以及网络接口卡(NIC)2208。这些功能单元2201、2202、2203、2205、2206、2207和2208被配置为经由系统总线 2204可通信地彼此连接。
CPU 2201通过执行ROM 2202或HD 2211中所存储的软件或者从STD 2212供给的软件，来全面地控制连接至系统总线2204的各个构成元件。也就是说，CPU 2201通过从ROM2202、HD 2211或STD 2212读取并执行用于进行上述操作的处理程序，来进行用于实现第一实施例至第四实施例中的操作的控制。RAM 2203用作CPU 2201的主存储器或工作区等。CONSC 2205控制从CONS 2209输入的指示。DISPC 2206控制DISP 2210的显示。DCONT 2207控制对存储有引导程序、各种应用、用户文件、网络管理程序、以及第一实施例至第四实施例中的处理程序等的HD 2211和STD 2212的访问。NIC 2208与网络2213上的其它设备和装置双向地交换数据。
上述实施例仅仅是用于执行本发明的具体化的示例。因此，本发明的技术范围不应由这些实施例限制性地或有限地解释。即，在未背离本发明的技术思想或主要特征的情况下，可以以各种形式执行本发明。
本申请要求2017年12月4日提交的日本专利申请2017-232480的权益，其全部内容通过引用而被包含于此。
[附图符号说明]
100：图像处理系统 112：照相机 201～203：传感器组
230～232、1330～1332：服务器前端 250：数据库
270～272、1270～1272：虚拟视点图像生成单元
275：虚拟视点背景图像生成单元 276～278：虚拟视点图像校正单元
280：合成单元 285：输出单元 300：后端服务器
310、1310：控制站 330：虚拟照相机操作UI
350～352：传感器 600、1200：图像缓冲器 610：模型缓冲器
620：3D模型选择单元 630、1230：前景图像选择单元
640、1240：绘制单元 1900～1902：坐标转换单元

Claims (23)

1.一种图像生成设备，用于基于多个摄像装置所获得的多个拍摄图像来生成虚拟视点图像，所述多个摄像装置被分类为包括第一摄像装置组和第二摄像装置组的多个摄像装置组，所述第一摄像装置组包括指向第一注视点的多个摄像装置，以及所述第二摄像装置组包括指向不同于所述第一注视点的第二注视点的多个摄像装置，所述图像生成设备包括：
第一获得单元，其被配置为基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像来获得第一图像数据；
第二获得单元，其被配置为基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像来获得第二图像数据；
第三获得单元，其被配置为获得与虚拟视点的位置和相对于所述虚拟视点的方向有关的信息；以及
生成单元，其被配置为基于所述第一获得单元所获得的所述第一图像数据、所述第二获得单元所获得的所述第二图像数据、以及所述第三获得单元所获得的与所述虚拟视点的位置和相对于所述虚拟视点的方向有关的信息，来生成所述虚拟视点图像，
其中，所述生成单元被配置为基于由所述第三获得单元所获得的信息指定的虚拟视点的位置与所述第一注视点的位置之间的位置关系、以及所指定的虚拟视点的位置与所述第二注视点的位置之间的位置关系，来生成所述虚拟视点图像。
2.根据权利要求1所述的图像生成设备，其中，所述生成单元被配置为基于由所述第三获得单元所获得的信息指定的虚拟视点的位置与所述第一注视点的位置之间的距离、以及所指定的虚拟视点的位置与所述第二注视点的位置之间的距离，来生成所述虚拟视点图像。
3.根据权利要求1所述的图像生成设备，其中，
所述虚拟视点图像具有包括第一图像区域和不同于所述第一图像区域的第二图像区域的多个图像区域，以及
所述生成单元被配置为：
基于所述第一获得单元所获得的所述第一图像数据，来生成表现所述第一图像区域中所包括的对象的图像，以及
基于所述第二获得单元所获得的所述第二图像数据，来生成表现所述第二图像区域中所包括的对象的图像。
4.根据权利要求3所述的图像生成设备，还包括第四获得单元，所述第四获得单元被配置为获得与至少不同于所述对象的背景有关的背景图像数据，
其中，所述生成单元被配置为：
基于所述第四获得单元所获得的所述背景图像数据，来生成与在从由所述第三获得单元所获得的信息指定的虚拟视点观看的情况下的背景相对应的背景图像，以及
通过将表现所述第一图像区域中所包括的对象的图像、表现所述第二图像区域中所包括的对象的图像、以及所述背景图像进行合成，来生成所述虚拟视点图像。
5.根据权利要求4所述的图像生成设备，其中，在所述虚拟视点的位置和所述第一注视点的位置之间的距离长于所述虚拟视点的位置和所述第二注视点的位置之间的距离的情况下，所述生成单元被配置为通过在所述第一图像区域中将基于所述第一图像数据所生成的表现对象的图像与所述背景图像进行合成之后、在所述第二图像区域中将基于所述第二图像数据所生成的表现对象的图像与所述背景图像进行合成，来生成所述虚拟视点图像。
6.根据权利要求1至5中任一项所述的图像生成设备，其中，
所述第一图像数据是基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像而生成的对象的图像数据，以及
所述第二图像数据是基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像而生成的对象的图像数据。
7.根据权利要求1至5中任一项所述的图像生成设备，其中，
所述第一图像数据是表现基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像而生成的对象的纹理的数据，以及
所述第二图像数据是表现基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像而生成的对象的纹理的数据。
8.根据权利要求1至5中任一项所述的图像生成设备，其中，所述生成单元被配置为：
基于所述第一获得单元所获得的所述第一图像数据和所述第三获得单元所获得的信息来生成第一虚拟视点图像，
基于所述第二获得单元所获得的所述第二图像数据和所述第三获得单元所获得的信息来生成第二虚拟视点图像，以及
通过将所述第一虚拟视点图像和所述第二虚拟视点图像进行合成来生成所述虚拟视点图像。
9.根据权利要求1至5中任一项所述的图像生成设备，其中，所述生成单元被配置为还基于拍摄时的环境条件来生成所述虚拟视点图像。
10.根据权利要求9所述的图像生成设备，其中，在所述环境条件中包括湿度、温度和天气至少之一。
11.根据权利要求3至5中任一项所述的图像生成设备，其中，所述对象是移动体。
12.一种图像生成设备，用于基于多个摄像装置所获得的多个拍摄图像来生成虚拟视点图像，所述多个摄像装置被分类为包括第一摄像装置组和第二摄像装置组的多个摄像装置组，所述第一摄像装置组被安装成拍摄第一位置，以及所述第二摄像装置组被安装成拍摄不同于所述第一位置的第二位置，所述图像生成设备包括：
第一获得单元，其被配置为基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像来获得第一图像数据；
第二获得单元，其被配置为基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像来获得第二图像数据；
第三获得单元，其被配置为获得与虚拟视点的位置和相对于所述虚拟视点的方向有关的信息；
第四获得单元，其被配置为获得第一三维形状数据，所述第一三维形状数据是基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像而生成的、并且对应于包括所述第一位置的第一拍摄范围内的对象；
第五获得单元，其被配置为获得第二三维形状数据，所述第二三维形状数据是基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像而生成的、并且对应于包括所述第二位置的第二拍摄范围内的对象；以及
生成单元，其被配置为基于所述第一获得单元所获得的所述第一图像数据、所述第二获得单元所获得的所述第二图像数据、所述第三获得单元所获得的与所述虚拟视点的位置和相对于所述虚拟视点的方向有关的信息、所述第四获得单元所获得的所述第一三维形状数据、以及所述第五获得单元所获得的所述第二三维形状数据，来生成所述虚拟视点图像，
其中，所述生成单元被配置为基于由所述第三获得单元获得的信息指定的虚拟视点的位置与所述第一位置之间的位置关系、以及所指定的虚拟视点的位置与所述第二位置之间的位置关系，来生成所述虚拟视点图像。
13.根据权利要求12所述的图像生成设备，其中，所述生成单元被配置为基于由所述第三获得单元所获得的信息指定的虚拟视点的位置与所述第一位置之间的距离、以及所指定的虚拟视点的位置与所述第二位置之间的距离，来生成所述虚拟视点图像。
14.根据权利要求12所述的图像生成设备，其中，
所述虚拟视点图像具有包括第一图像区域和不同于所述第一图像区域的第二图像区域的多个图像区域，以及
所述生成单元被配置为：
基于所述第一获得单元所获得的所述第一图像数据和所述第四获得单元所获得的所述第一三维形状数据，来生成表现所述第一图像区域中所包括的对象的图像，以及
基于所述第二获得单元所获得的所述第二图像数据和所述第五获得单元所获得的所述第二三维形状数据，来生成表现所述第二图像区域中所包括的对象的图像。
15.根据权利要求12至14中任一项所述的图像生成设备，其中，
所述第一图像数据是基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像而生成的对象的图像数据，以及
所述第二图像数据是基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像而生成的对象的图像数据。
16.根据权利要求12至14中任一项所述的图像生成设备，其中，
所述第一图像数据是表现基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像而生成的对象的纹理的数据，以及
所述第二图像数据是表现基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像而生成的对象的纹理的数据。
17.根据权利要求12至14中任一项所述的图像生成设备，其中，所述生成单元被配置为：
基于所述第一获得单元所获得的所述第一图像数据和所述第三获得单元所获得的信息来生成第一虚拟视点图像，
基于所述第二获得单元所获得的所述第二图像数据和所述第三获得单元所获得的信息来生成第二虚拟视点图像，以及
通过将所述第一虚拟视点图像和所述第二虚拟视点图像进行合成来生成所述虚拟视点图像。
18.根据权利要求12至14中任一项所述的图像生成设备，其中，所述生成单元被配置为还基于拍摄时的环境条件来生成所述虚拟视点图像。
19.根据权利要求18所述的图像生成设备，其中，在所述环境条件中包括湿度、温度和天气至少之一。
20.根据权利要求12至14中任一项所述的图像生成设备，其中，所述对象是移动体。
21.一种图像生成方法，用于基于多个摄像装置所获得的多个拍摄图像来生成虚拟视点图像，所述多个摄像装置被分类为包括第一摄像装置组和第二摄像装置组的多个摄像装置组，所述第一摄像装置组包括指向第一注视点的多个摄像装置，以及所述第二摄像装置组包括指向不同于所述第一注视点的第二注视点的多个摄像装置，所述图像生成方法包括：
第一获得步骤，用于基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像来获得第一图像数据；
第二获得步骤，用于基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像来获得第二图像数据；
第三获得步骤，用于获得与虚拟视点的位置和相对于所述虚拟视点的方向有关的信息；以及
生成步骤，用于基于所述第一获得步骤中获得的所述第一图像数据、所述第二获得步骤中获得的所述第二图像数据、以及所述第三获得步骤中获得的与所述虚拟视点的位置和相对于所述虚拟视点的方向有关的信息，来生成所述虚拟视点图像，
其中，基于由在所述第三获得步骤中获得的信息指定的虚拟视点的位置与所述第一注视点的位置之间的位置关系、以及所指定的虚拟视点的位置与所述第二注视点的位置之间的位置关系，来生成所述虚拟视点图像。
22.一种图像生成方法，用于基于多个摄像装置所获得的多个拍摄图像来生成虚拟视点图像，所述多个摄像装置被分类为包括第一摄像装置组和第二摄像装置组的多个摄像装置组，所述第一摄像装置组被安装成拍摄第一位置，以及所述第二摄像装置组被安装成拍摄不同于所述第一位置的第二位置，所述图像生成方法包括：
第一获得步骤，用于基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像来获得第一图像数据；
第二获得步骤，用于基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像来获得第二图像数据；
第三获得步骤，用于获得与虚拟视点的位置和相对于所述虚拟视点的方向有关的信息；
第四获得步骤，用于获得第一三维形状数据，所述第一三维形状数据是基于属于所述第一摄像装置组的摄像装置所获得的拍摄图像而生成的、并且对应于包括所述第一位置的第一拍摄范围内的对象；
第五获得步骤，用于获得第二三维形状数据，所述第二三维形状数据是基于属于所述第二摄像装置组的摄像装置所获得的拍摄图像而生成的、并且对应于包括所述第二位置的第二拍摄范围内的对象；以及
生成步骤，用于基于所述第一获得步骤中获得的所述第一图像数据、所述第二获得步骤中获得的所述第二图像数据、所述第三获得步骤中获得的与所述虚拟视点的位置和相对于所述虚拟视点的方向有关的信息、所述第四获得步骤中获得的所述第一三维形状数据、以及所述第五获得步骤中获得的所述第二三维形状数据，来生成所述虚拟视点图像，
其中，基于由在所述第三获得步骤中获得的信息指定的虚拟视点的位置与所述第一位置之间的位置关系、以及所指定的虚拟视点的位置与所述第二位置之间的位置关系，来生成所述虚拟视点图像。
23.一种计算可读存储介质，其存储用于使计算机执行根据权利要求21或22所述的图像生成方法的程序。
CN201880028801.5A 2017-12-04 2018-11-30 图像生成设备、图像生成方法和计算可读存储介质 Active CN110574076B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-232480 2017-12-04
JP2017232480A JP6415675B1 (ja) 2017-12-04 2017-12-04 生成装置、生成方法及びプログラム
PCT/JP2018/044202 WO2019111817A1 (ja) 2017-12-04 2018-11-30 生成装置、生成方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110574076A CN110574076A (zh) 2019-12-13
CN110574076B true CN110574076B (zh) 2020-11-06

Family

ID=64017199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028801.5A Active CN110574076B (zh) 2017-12-04 2018-11-30 图像生成设备、图像生成方法和计算可读存储介质

Country Status (6)

Country Link
US (1) US11012679B2 (zh)
EP (1) EP3605470A4 (zh)
JP (1) JP6415675B1 (zh)
KR (1) KR102125293B1 (zh)
CN (1) CN110574076B (zh)
WO (1) WO2019111817A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
US11037365B2 (en) * 2019-03-07 2021-06-15 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
CN111669603B (zh) * 2019-03-07 2023-03-21 阿里巴巴集团控股有限公司 多角度自由视角数据处理方法及装置、介质、终端、设备
US11295309B2 (en) * 2019-09-13 2022-04-05 International Business Machines Corporation Eye contact based financial transaction
US11010962B1 (en) * 2019-10-24 2021-05-18 Morson R. Livingston Systems and methods for facilitating generation of 3D digital objects from 2D images
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN114762355B (zh) * 2019-12-09 2024-08-02 索尼集团公司 信息处理装置和方法、程序以及信息处理系统
CN115004683A (zh) * 2020-01-23 2022-09-02 索尼集团公司 成像装置、成像方法和程序
KR102368825B1 (ko) * 2020-06-10 2022-02-28 주식회사 엘지유플러스 부가 오브젝트를 포함하는 영상 출력 방법 및 장치
JP2022057784A (ja) * 2020-09-30 2022-04-11 キヤノン株式会社 撮像装置、撮像システムおよび撮像方法
EP4016464A1 (en) * 2020-11-26 2022-06-22 Ricoh Company, Ltd. Apparatus, system, method, and carrier means
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
JP2022158487A (ja) * 2021-04-02 2022-10-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610421A (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
WO2017204174A1 (en) * 2016-05-25 2017-11-30 Canon Kabushiki Kaisha Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
CN109565582A (zh) * 2016-05-25 2019-04-02 佳能株式会社 根据用户所选择的视点从具有与所选择的体育赛事类型相关联的默认参数的照相机阵列生成虚拟图像的方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
WO2011052064A1 (ja) * 2009-10-30 2011-05-05 キヤノン株式会社 情報処理装置および方法
JP5614211B2 (ja) * 2010-09-30 2014-10-29 株式会社セガ 画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
EP3229459B1 (en) 2014-12-04 2022-08-24 Sony Group Corporation Information processing device, information processing method and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610421A (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
WO2017204174A1 (en) * 2016-05-25 2017-11-30 Canon Kabushiki Kaisha Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
CN109565582A (zh) * 2016-05-25 2019-04-02 佳能株式会社 根据用户所选择的视点从具有与所选择的体育赛事类型相关联的默认参数的照相机阵列生成虚拟图像的方法和设备

Also Published As

Publication number Publication date
WO2019111817A1 (ja) 2019-06-13
KR102125293B1 (ko) 2020-06-23
JP6415675B1 (ja) 2018-10-31
EP3605470A4 (en) 2022-06-01
JP2019101795A (ja) 2019-06-24
CN110574076A (zh) 2019-12-13
US20200068188A1 (en) 2020-02-27
KR20190126919A (ko) 2019-11-12
EP3605470A1 (en) 2020-02-05
US11012679B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110574076B (zh) 图像生成设备、图像生成方法和计算可读存储介质
CN111801708B (zh) 使用光线投射和实时深度进行遮挡渲染的方法
US9171402B1 (en) View-dependent textures for interactive geographic information system
US11776142B2 (en) Structuring visual data
CN110889890A (zh) 图像处理方法及装置、处理器、电子设备及存储介质
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
JP2019083402A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019022151A (ja) 情報処理装置、画像処理システム、制御方法、及び、プログラム
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
JP2019128641A (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2019193696A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
JP2019103126A (ja) カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム
CN109407824A (zh) 人体模型的同步运动方法与装置
WO2020184174A1 (ja) 画像処理装置および画像処理方法
US20200134779A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
JP2002042158A (ja) 画像合成装置および画像合成方法およびプログラムを記録した媒体
JP2021018570A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
WO2022176719A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023145571A1 (ja) 情報処理装置、情報処理方法、データ構造及びプログラム
JP3392088B2 (ja) 画像蓄積方法、画像描画方法、画像蓄積装置、画像処理装置、画像のダウンロード方法、コンピュータおよび記憶媒体
JP2024131411A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP2022182120A (ja) 映像生成装置、映像処理システム、映像生成装置の制御方法及びプログラム
JP2015001792A (ja) テクスチャ画像データの生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant