CN115769572A - 图像生成装置、图像生成方法和程序 - Google Patents

图像生成装置、图像生成方法和程序 Download PDF

Info

Publication number
CN115769572A
CN115769572A CN202180044825.1A CN202180044825A CN115769572A CN 115769572 A CN115769572 A CN 115769572A CN 202180044825 A CN202180044825 A CN 202180044825A CN 115769572 A CN115769572 A CN 115769572A
Authority
CN
China
Prior art keywords
viewpoint
image
target
positions
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180044825.1A
Other languages
English (en)
Inventor
栗原贵之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115769572A publication Critical patent/CN115769572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

根据本技术实施方式的图像生成装置是以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成装置，并且包括第一生成单元、生成控制单元和第二生成单元。所述第一生成单元能够生成与多个视点位置对应的多个视点图像。所述生成控制单元针对每一帧设置作为所述多个视点位置中的一部分的一个或多个目标视点位置，并且使所述第一生成单元生成与所设置的一个或多个目标视点位置对应的一个或多个目标视点图像。所述第二生成单元针对每一帧使用生成的一个或多个目标视点图像来生成多视点图像数据。

Description

图像生成装置、图像生成方法和程序
技术领域
本技术涉及适用于多视点图像的显示的图像生成装置、图像生成方法和程序。
背景技术
专利文献1公开了一种用于以高精度和低处理负荷更新用于生成虚拟视点图像的背景的技术。
具体地，为了在三维空间上再现背景，将背景形状划分为部分区域。然后，针对每个所述部分区域分割由照相机捕获的输入图像。将针对每个部分区域分割的输入图像与紧邻先前帧的对应部分区域的输入图像进行比较，并且确定每个部分区域的重要度。基于所确定的重要度，确定是否更新每个部分区域的输入图像(专利文献1的说明书段落[0012]、[0020]至[0023]等)。
引文列表
专利文献
专利文献1：日本专利申请特开2018-136793号公报
发明内容
技术问题
如上所述，需要一种能够以低处理负荷显示多视点图像的技术。
鉴于上述情况，本技术的目的是提供一种能够减少用于生成视点图像的处理负荷的图像生成装置、图像生成方法和程序。
问题的解决方案
为了实现上述目的，根据本技术实施方式的图像生成装置是一种用于以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成装置，并且包括第一生成单元、生成控制单元和第二生成单元。
所述第一生成单元能够生成与多个视点位置对应的多个视点图像。
所述生成控制单元针对每一帧设置作为所述多个视点位置中的一部分的一个或多个目标视点位置，并且使所述第一生成单元生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像。
所述第二生成单元使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
在所述图像生成装置中，针对每一帧生成与作为多个视点位置的一部分的一个或多个目标视点位置对应的一个或多个目标视点图像。因此，针对每一帧，生成作为多个视点图像中的一部分的一个或多个目标视点图像。这使可以减少用于生成视点图像的处理负荷。
所述第二生成单元可以使用在预定帧中生成的所述一个或多个目标视点图像、和在比所述预定帧早的帧中生成的所述一个或多个目标视点图像，来生成所述预定帧的所述多视点图像数据。
所述生成控制单元可以在第一帧中生成与一个或多个第一目标视点位置对应的一个或多个第一目标视点图像，并且可以在与所述第一帧连续的第二帧中生成与一个或多个第二目标视点位置对应的一个或多个第二目标视点图像，所述一个或多个第二目标视点位置不同于所述一个或多个第一目标视点位置中的任一个。
所述第二生成单元可以使用所述一个或多个第一目标视点图像和所述一个或多个第二目标视点图像来生成所述第二帧的所述多视点图像数据。
所述生成控制单元可以设置更新帧数量，将所述多个视点位置划分为具有与所述更新帧数量相同的数量且其中所述目标视点位置彼此不重叠的多个目标视点位置组，将所述多个目标视点位置组中的每一目标视点位置组分配给所述更新帧数量的连续帧中的每一帧，以及在所述多个帧的每一帧中，生成与所分配的所述目标视点位置组对应的目标视点图像组。
所述生成控制单元可以将所述更新帧数量设置为2，将所述多个视点位置划分为其中所述目标视点位置彼此不重叠的第一目标视点位置组和第二目标视点位置组，将所述第一目标视点位置组和所述第二目标视点位置组分配给连续的两个帧，以及在所述两个帧的每一帧中，生成与所分配的所述第一目标视点位置组对应的第一目标视点图像组、和与所分配的所述第二目标视点位置组对应的第二目标视点图像组。
所述生成控制单元可以改变所述更新帧数量。
所述生成控制单元可以基于成为显示目标的对象的移动、或者针对所述多视点图像显示设置的模式来改变所述更新帧数量。
所述生成控制单元可以针对所述每一帧，基于瞳孔间距离来设置所述一个或多个目标视点位置，并且生成所述一个或多个目标视点图像。
所述生成控制单元可以基于瞳孔间距离，将所述多个视点位置划分为所述多个目标视点位置组。
所述第二生成单元可以使用在预定帧中生成的所述一个或多个目标视点图像、和在比所述预定帧早的帧中生成的所述多视点图像数据，来生成所述预定帧的所述多视点图像数据。
所述第一生成单元可以生成虚拟图像作为所述视点图像。
所述第一生成单元可以从布置在所述多个视点位置处的多个成像设备获取多个捕获图像作为所述多个视点图像。在这种情况下，所述生成控制单元可以针对所述每一帧，使所述第一生成单元输出与所述一个或多个目标视点图像对应的捕获图像，并且丢弃其他捕获图像。
所述生成控制单元可以针对所述每一帧，基于用户的位置信息来设置所述一个或多个目标视点位置，并且生成所述一个或多个目标视点图像。
所述第二生成单元可以生成所述多视点图像数据作为用于多视点显示装置的多视点显示的数据。
所述多视点显示装置可以包括多个投影仪。在这种情况下，所述第二生成单元可以生成与所述多个投影仪中的每一投影仪对应的多个对应的多视点图像数据作为所述多视点图像数据。
所述多视点显示装置可以包括多视点显示器。所述第二生成单元可以生成与所述多视点显示器对应的所述多视点图像数据。
根据本技术实施方式的图像生成方法是一种由计算机系统执行的用于以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成方法，并且包括针对每一帧，设置作为多个视点位置中的一部分的一个或多个目标视点位置，生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像。
使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
根据本技术实施方式的程序使计算机系统执行所述图像生成方法。
附图说明
图1是示出根据实施方式的图像显示系统的基本配置示例的示意图。
图2是示出图像显示系统的基本操作示例的图。
图3是示出多视点显示装置的配置示例的示意图(投影仪阵列)。
图4是示出多视点图像数据的生成示例的示意图。
图5是示出多视点显示装置的配置示例的示意图(多视点显示器)。
图6是用于说明立体图像的显示的图。
图7是示出图像生成装置的功能配置示例的示意图。
图8是用于说明一个或多个目标视点位置的设置示例的示意图。
图9是示出多视点图像数据的生成示例的图。
图10是用于说明多视点图像数据的生成的示意图。
图11是示出作为比较示例的多视点图像数据的生成的图。
图12是示出更新帧数量被设置为3的情形的示意图。
图13是用于说明基于瞳孔间距离来设置目标视点位置的示意图。
图14是示出根据其他实施方式的图像生成装置的功能配置示例的示意图。
图15是示出多视点图像数据的生成示例的图。
图16是示出根据其他实施方式的图像生成装置的功能配置示例的示意图。
图17是示出图像生成装置的硬件配置示例的框图。
具体实施方式
下面将参照附图描述根据本技术实施方式。
[图像显示系统的基本配置]
图1是示出根据本技术实施方式的图像显示系统的基本配置示例的示意图。
图2是示出图像显示系统的基本操作示例的图。
如图1所示，图像显示系统100包括多视点显示装置5和图像生成装置6。
多视点显示装置5和图像生成装置6经由有线或无线方式可通信地连接。各设备之间的连接配置不受限制，例如可以使用诸如WiFi等无线LAN通信、或者诸如蓝牙(注册商标)等短距离无线通信。
多视点显示装置5可以显示多视点图像。
多视点图像是能够显示与多个视点位置8中的每一视点位置对应的图像3的图像。用户(观察者)可以通过改变观察位置(即，视点位置8)来观察不同的图像。
例如，如图1所示，与成为相对于多视点显示装置5的正前方位置的视点位置8b相对应，显示从正前方观看卡通人物2时的图像3b。
与作为相对于多视点显示装置5从正前方的视点位置8b向左侧移动后的位置的视点位置8a相对应，显示当从左侧观看卡通人物2时的图像3a。
与作为相对于多视点显示装置5从正前方的视点位置8b向右侧移动后的位置的视点位置8c相对应，显示当从右侧观看卡通人物2时的图像3c。
应当理解，这不限于这样的多视点图像，并且可以针对每个视点位置8显示任何图像。
在本图像显示系统100中，多视点显示装置5基于由图像生成装置6生成的多视点图像数据来显示多视点图像。
稍后将说明多视点显示装置5的具体配置示例。
图像生成装置6以预定帧速率生成用于显示多视点图像的多视点图像数据。
在本公开中，图像包括静止图像和运动图像(视频)。
此外，以预定帧速率生成多视点图像数据对应于生成以预定帧速率显示的多视点图像的图像数据。即，多视点图像数据包括在每一帧中显示的多视点图像的图像数据。在下面的描述中，在每一帧中显示的多视点图像的图像数据被描述为每一帧的多视点图像数据。
在本公开中，以预定帧速率生成图像不限于生成运动图像(视频)。本技术还适用于图像具有相对高的帧速率并且进行图像显示以向观看者逐帧推进静止图像的情形。应当理解，这样的图像显示可以被视为运动图像(视频)的显示。
图像生成装置6包括计算机构成所需的硬件，例如，如CPU、GPU或DSP等处理器，如ROM或RAM等存储器，以及如HDD等存储设备。应当理解，可以使用诸如FPGA和ASIC等硬件(参见图17)。
例如，通过由处理器将预先记录在ROM等中的根据本技术的程序加载到RAM中并执行该程序，来执行根据本发明的图像生成方法。
例如，可以由诸如个人计算机(PC)等任何计算机来实现图像生成装置6。应当理解，可以使用诸如FPGA或ASIC等硬件。
在本实施方式中，通过由处理器执行预定程序，配置作为功能块的第一生成单元10、生成控制单元11、和第二生成单元12。应当理解，为了实现功能块，可以使用诸如集成电路(IC)等专用硬件。
程序例如经由各种记录介质安装到图像生成装置6上。或者，程序可以经由因特网等安装。
记录程序的记录介质的种类等不受限制，并且可以使用计算机可读的任何记录介质。例如，可以使用计算机可读的任何非暂时性记录介质。
第一生成单元10可以生成与多个视点位置8对应的多个视点图像13。
如图1所示，多个视点图像13a至13c对应于由多视点显示装置5显示的从各个视点位置8观察的图像3a至3c。
顺便提及，由用户从各个视点位置8观察的图像3a至3c也被称为视点图像。在本发明中，为了便于理解说明，将主要将由第一生成单元10生成的图像(图像数据)作为视点图像来进行说明。
在本实施方式中，视点图像13由CG(计算机图形)生成。更具体地，虚拟照相机14被布置为以成为显示目标的对象(图1中所示的卡通人物2)作为中心来包围对象。
然后，生成从每个虚拟照相机14捕获的虚拟图像作为视点图像13，由此，可以获取当从不同角度观看对象时的图像。
布置虚拟照相机14的位置被设置为与相对于多视点显示装置5规定的视点位置8相对应。相反地，基于布置虚拟照相机14的位置来规定用户能够以不同角度观察对象的视点位置。
由第一生成单元10生成的视点图像13也可以称为视点图像13的渲染。视点图像13也可以称为渲染图像。
应当理解，视点位置8的数量不受限制，并且可以任意设置。通过设置多个视点位置8，可以从各种角度观察卡通人物2，并且可以提供高质量的视听体验。
生成控制单元11控制由第一生成单元10进行的多个视点图像13的生成。
在本实施方式中，生成控制单元11针对每一帧，设置作为多个视点位置8中的一部分的一个或多个目标视点位置。生成控制单元11使第一生成单元10生成与所设置的一个或多个目标视点位置对应的一个或多个目标视点图像。
即，生成控制单元11针对每一帧，确定将生成哪个视点图像13。基于该确定，在每一帧中生成的视点图像13成为目标视点图像。
在图2所示的示例中，在帧(#m)和(#m+2)中，作为三个视点位置8a至8c的一部分的视点位置8a和8c被设置为成为视点图像13的生成目标的目标视点位置。然后，与视点位置8a和8c对应的视点图像13a和13c被生成为目标视点图像。
在帧(#m+1)和(#m+3)中，作为三个视点位置8a至8c的一部分的视点位置8b被设置为成为视点图像13的生成目标的目标视点位置。然后，与视点位置8b对应的视点图像13b被生成为目标视点图像。
如上所述，在本实施方式中，针对每一帧，不生成与所有视点位置8对应的视点图像13，而是生成与一部分的一个或多个目标视点位置对应的一个或多个目标视点图像。也就是说，针对每一帧，不是生成全部视点图像13，而是生成一部分的一个或多个目标视点图像。
针对每一帧，将哪个(些)视点位置8设置为一个或多个目标视点位置不受限制，可以任意设置。
第二生成单元12使用针对每一帧生成的一个或多个目标视点图像来生成多视点图像数据。第二生成单元12生成针对每一帧的多视点图像数据。
多视点图像数据是作为用于多视点显示装置5的多视点显示的数据生成的。因此，多视点图像数据根据多视点显示装置5的配置和多视点显示方法来生成。
例如，根据多视点显示装置5的配置和多视点显示方法，适当地转换由第一生成单元10生成的多个视点图像13，并且生成多视点图像数据。
在本实施方式中，第二生成单元12使用针对每一帧生成的一个或多个目标视点图像来生成多视点图像数据。即，使用在每一帧中生成的一个或多个目标视点图像来生成针对每一帧的多视点图像数据。
在本公开中，使用图像数据的处理不限于仅使用该图像数据进行处理。包括至少使用该图像数据的任何处理。
[多视点图像显示]
参考图3至图5说明多视点显示装置5的具体示例。
图3所示的多视点显示装置5包括多个投影仪16和光线控制元件17。
多个投影仪16各自能够投射图像，并且被配置为投影仪阵列。
在图3中例示的多视点显示装置5中，五个投影仪16以及光线控制元件17允许分别显示对应于三个视点位置8a至8c的图像3a至3c。
投影仪16的具体配置不受限制，并且可以采用任何配置。
作为光线控制元件17，例如使用透射型各向异性扩散屏。
透射型各向异性扩散屏具有例如在水平方向和垂直方向上扩散率不同的各向异性的扩散特性。例如，其被配置为使得水平方向上的扩散率被设置为小于垂直方向上的扩散率，从而相对于水平方向具有窄的扩散特性。
通过布置各向异性扩散屏，可以以适当的宽度显示对应于每个视点位置8的图像3。各向异性扩散屏的具体配置不受限制。例如，包括微透镜阵列等的透镜扩散板、透射型HOE(全息光学元件)等可以用作各向异性扩散屏。
如图4所示，在本实施方式中，与三个视点位置8a至8c中的每个视点位置对应的视点图像13a至13c被沿着图像的横向方向分割为多个具有条形形状的区域(以下，将分割后的区域的图像描述为条形图像18)。
分割后的条形图像18被适当地重新布置，并且生成从每一投影仪16投射的投射图像19的图像数据。基于该图像数据，由每一投影仪16投射该投射图像19。
因此，从一投影仪16投射包括彼此不同的视点图像13的各个条形图像18的投射图像19。此外，可以从另一投影机16投射仅包括一个条形图像18的投射图像19。
用户在每个视点位置8处观看从彼此不同的投影仪16投射的投射图像19的、即合成对应于视点位置8的条形图像18而成的图像3，由此，实现了多视点图像显示。
在下文中，可以参考相同的附图说明图像数据和基于图像数据显示的图像。例如，可以作为投射图像19的图像数据来说明图4所示的投射图像19。
对于图3中例示的多视点显示装置5，第二生成单元12重新布置各个视点图像13的条形图像18，以生成多视点图像数据。
具体地，条形图像18被重新布置以生成与多个投影仪16中的每一投影仪对应的投射图像19的图像数据，与多个投影仪16中的每一投影仪对应的多个图像数据被生成为多视点图像数据。
注意，与多个投影仪16中的每一投影仪对应的多个图像数据对应于与多个投影仪16中的每一投影仪对应的多个对应的多视点图像数据。
条形图像18的重新布置可以例如基于投影仪16的数量、视点位置8的数量等，使用公知技术来实现。
图5所示的多视点显示装置5包括多视点显示器21。
多视点显示器21允许与多个视点位置对应8的图像3同时朝向各个视点位置8显示。
多视点显示器21可以例如通过双凸透镜方式、透镜阵列方式和视差屏障方式中的任一方式来配置。应当理解，其不限于这些方式。
图5所示的多视点显示器21包括平板显示面板22和双凸透镜23。
平板显示面板22具有在水平和垂直方向上布置的多个像素。双凸透镜23沿着垂直方向布置。
在图5所示的示例中，与三个视点位置8a至8c中的每一视点位置对应的视点图像13a至13c沿着图像的横向方向分割为多个条形图像18。
分割后的条形图像18被适当地重新布置，以生成要由平板显示面板22显示的显示图像的图像数据。基于该图像数据，由平板显示面板22显示该显示图像。
如图5所示，例如，与双凸透镜23的四个凸部23a相对的像素区域沿着水平方向分割为三个区域24a至24c。三个视点图像13的条形图像18被分配给三个分割后的区域。应当理解，其不限于这样的重新布置。
用户在各个视点位置8处观看由双凸透镜23将光束方向控制朝向每个视点位置8后的条形图像18。由此，实现了多视点图像显示。
对于图5中例示的多视点显示装置5，第二生成单元12重新布置各个视点图像13的条形图像18，并且生成多视点图像数据。该多视点图像数据成为与多视点显示器21对应的多视点图像数据。
条形图像18的重新布置可以例如基于多视点显示器21的配置等，通过使用公知的技术来实现。
与使用投影仪阵列的配置相比，在使用多视点显示器21的配置中可以紧凑地设计整个装置。
[立体图像的显示]
图6是用于说明立体图像的显示的图。
对于每个视点位置8，能够观察相同的图像3(相同的视点图像)的宽度(范围)被设为视点宽度。
如图6A所示，当视点宽度大于瞳孔间距离(IPD，Inter Pupil distance)时，在许多情况下，用户用双眼观察同一图像。因此，用户观察平面图像(2D图像)。
如图6B所示，当视点宽度小于瞳孔间距离(IPD)时，视差图像可以显示为与视点位置8对应的图像3(视点图像)。因此，用户可以用双眼观察不同的视差图像(右眼图像、左眼图像)，并且可以观察立体图像(3D图像)。
本技术可以适用于平面图像的显示和立体图像的显示中的任何一种。
图7是示出图像生成装置6的功能配置示例的示意图。
图像生成装置6包括多个视点图像生成单元26、多个视点图像存储单元27、视点图像生成控制单元28、显示图像生成单元29和显示图像输出单元30。
多个视点图像生成单元26、视点图像生成控制单元28、显示图像生成单元29和显示图像输出单元30通过由例如处理器执行预定程序来构成。应当理解，为了实现这些功能块，可以使用诸如集成电路(IC)等专用硬件。
多个视点图像存储单元27例如由HDD、闪存或其他固态存储器实现。不限于此，可以使用任何存储设备。
多个视点图像生成单元26与多个视点位置8对应地配置。也就是说，对于一个视点位置8，配置一个视点图像生成单元26。因此，多个视点图像生成单元26根据视点位置8的数量来配置。
在本实施方式中，假设将从第1视点至第n视点的n个视点位置8规定为视点位置8，因此，配置了n个视点图像生成单元26。
n个视点图像生成单元26生成与n个视点位置8中的每一视点位置对应的视点图像13。
多个视点图像存储单元27与多个视点图像生成单元26对应地配置。也就是说，对于一个视点图像生成单元26，配置一个视点图像存储单元27。因此，配置与视点位置8的数量相同的n个视点图像存储单元27。
如图7中由虚线包围的那样，可以说，对于一个视点位置8，配置一对视点图像生成单元26和视点图像存储单元27。
n个视点图像存储单元27存储由配对的视点图像生成单元26生成的视点图像13。
视点图像生成控制单元28针对每一帧，控制每个视点图像生成单元26生成视点图像13。
具体地，视点图像生成控制单元28针对每一帧，设置作为多个视点位置8中的一部分一个或多个目标视点位置。视点图像生成控制单元28使视点图像生成单元26生成与所设置的一个或多个目标视点位置对应的一个或多个目标视点图像。
因此，视点图像生成控制单元28针对每一帧，确定将生成哪个视点图像13。基于该确定在每一帧中生成的视点图像13成为目标视点图像。
图8是用于说明一个或多个目标视点位置的设置示例的示意图。
由视点图像生成控制单元28设置更新帧数量。更新帧数量是更新全部视点图像13所需的帧数量。相反地，更新帧数量是为了更新全部视点图像13而分配的帧数量。
在本实施方式中，在更新帧数量的连续帧上更新全部视点图像13。
在图8中，设置更新帧数量＝l。然后，通过l个连续帧(#m+1)至(#m+l)更新全部视点图像13。
视点图像生成控制单元28将多个视点位置8划分为具有与更新帧数量相同的数量、且其中目标视点位置彼此不重叠的多个目标视点位置组。在图8中，设置了l个目标视点位置组(#1)至(#l)。
每个目标视点位置组中包括的目标视点位置被设置为彼此不重叠。因此，更新帧数量等于或小于视点位置8的总数量。
如图8所示，多个目标视点位置组(#1)至(#l)中的每一目标视点位置组被分配给更新帧数量(＝l个)的连续帧(#m+1)至(#m+l)的每一帧。然后，在多个帧(#m+1)至(#m+l)的每一帧中，生成与所分配的目标视点位置组(#1)至(#l)对应的目标视点图像组(#1)至(#l)。
例如，目标视点图像组(#3)是与分配给帧(#m+3)的多个目标视点位置组(#3)中包括的各个目标视点位置对应的目标视点图像的组。
在图8所示的示例中，在l个连续帧(#m+1)至(#m+l)中实现全部视点图像13的更新。此外，通过重复连续帧(#m+1)至(#m+l)的处理，也重复全部视点图像13的更新。
设置更新帧数量和目标视点位置组的方式不受限制，可以任意设置。
例如，更新帧数量设置为2(l＝2)。例如，奇数帧和其后连续的偶数帧是帧(#m+1)和(#m+2)。
在设置了P个视点位置8的情形中，从末端按顺序添加1至P的索引。即，通过第一视点位置8或第P视点位置的命名方式来识别每个视点位置。应当理解，识别视点位置8的方法不受限制，诸如索引方法等。
P个视点位置8被划分为包括奇数编号的视点位置8的目标视点位置组(#1)和包括偶数编号的视点位置8的目标视点位置组(#2)。即，每隔一个视点被设置为包括在不同的目标视点位置组中。
将目标视点位置组(#1)和目标视点位置组(#2)分配给连续的两个帧(#m+1)和(#m+2)。然后，在两个帧(#m+1)和(#m+2)中的每一个中，生成对应于所分配的目标视点位置组(#1)的目标视点图像组(#1)和对应于所分配的目标视点位置组(|#2)的目标视点图像组(|#2)。
因此，可以针对两个帧中的每一个，来执行全部视点图像13的更新。
在本实施方式中，目标视点位置组(#1)和(#2)表示其中目标视点位置彼此不重叠的第一目标视点位置组和第二目标视点位置组的一实施方式。
目标视点图像组(#1)和目标视点图像组(#2)表示与所分配的第一目标视点位置组对应的第一目标视点图像组和与所分配的第二目标视点位置组对应的第二目标视点图像组的一实施方式。
但不限于此，可以将三个目标视点位置组分配给三个连续帧，并且可以重复生成三个目标视点图像组。
显示图像生成单元29从n个视点图像存储单元27读取对应于各个视点位置8的视点图像13，并且生成多视点图像数据。
例如，如参考图4、图5等所说明的，执行通过分割视点图像13获得的条形图像18的重新布置等，以生成多视点图像数据。如图7所示，多视点图像数据也可以称为显示图像(显示图像数据)。
例如，在图8所示的示例中，使用在帧(#m+l)中生成的目标视点图像组(#l)、和在比帧(#m+l)早的帧(#m+1至#m+l-1)的每一帧中生成的目标视点图像组(#1至#l-1)，来生成帧(#m+l)的多视点图像数据。
在这种情况下，帧(#m+l)表示根据本技术的预定帧的一实施方式。各个目标视点图像组对应于一个或多个目标视点。
在除帧(#m+l)之外的帧中，也类似地使用在该帧中生成的目标视点图像组(一个或多个目标视点图像)、和在比该帧早的帧中生成的目标视点图像组(1个或多目标视点图像)，来生成该帧的多视点图像数据。
显示图像输出单元30将针对每一帧生成的多视点图像数据输出到多视点显示装置5。
在图7所示的示例中，通过多个视点图像生成单元26，实现图1所示的第一生成单元10。
通过视点图像生成控制单元28，实现图1所示的生成控制单元11。
通过显示图像生成单元29，实现图1所示的第二生成单元12。
顺便提一下，也可以不包括视点图像生成控制单元28，而由每个视点图像生成单元26针对每一帧确定是否生成视点图像13。在这种情况下，多个视点图像生成单元26还用作图1所示的生成控制单元11。
在图8所示的示例中，从连续帧(#m+1)至(#m+l)中任意选择连续的两个帧。连续的两个帧中的先前帧被设为第一帧，后一帧被设为第二帧。
分配给第一帧的目标视点位置组被设为一个或多个第一目标视点位置。分配给第二帧的目标视点位置组被设为一个或多个第二目标视点位置。
对应于一个或多个第一目标视点位置的目标视点图像被设为一个或多个第一目标视点图像。对应于一个或多个第二目标视点位置的目标视点图像被设为一个或多个第二目标视点图像。
在这种情况下，视点图像生成控制单元28在第一帧中生成与一个或多个第一目标视点位置对应的一个或多个第一目标视点图像，并且在与第一帧连续的第二帧中生成与一个或多个第二目标视点位置对应的一个或多个第二目标视点图像，所述一个或多个第二目标视点位置不同于所述一个或多个第一目标视点位置。
显示图像生成单元29使用一个或多个第一目标视点图像和一个或多个第二目标视点图像，来生成第二帧的多视点图像数据。
注意，对于图8所示的多个目标视点位置组中的每一目标视点位置组，可以允许目标视点位置的重叠。例如，在分配给第一帧的一个或多个第一目标视点位置与分配给第二帧的一个或多个第二目标视点位置之间，可以允许目标视点位置的重叠。
由根据本技术的图像生成装置执行的图像生成方法不限于例如如图8所示的重复帧(#m+1)至(#m+l)的处理的情形。
例如，对于连续的两个帧，至少执行一次将这些帧设为第一帧和第二帧的上述处理。从而，使用一个或多个第一目标视点图像和一个或多个第二目标视点图像生成第二帧的多视点图像数据。这种处理也包括在由根据本技术的图像生成装置执行的图像生成方法的实施方式中。
换言之，如果在至少一帧中执行生成不是全部视点图像13而是作为视点图像13的一部分的一个或多个目标视点图像的处理，并且基于生成的一个或多个目标视点图像来生成多视点图像数据，则这种方式也包括在由根据本技术的图像生成装置执行的图像生成方法的实施方式中。
[多视点图像数据的生成]
图9是示出多视点图像数据的生成示例的图。
图10是用于说明多视点图像数据的生成的示意图。
如图9所示，假设设置了从第1视点至第n视点的n个视点位置8。然后，对应于n个视点位置8，配置n个视点图像生成单元26和n个视点图像存储单元27。
图10示出了n＝7的情形。
在本实施方式中，更新帧数量被设置为2(L＝2)。
然后，在奇数帧中，奇数编号的视点位置8被设置为目标视点位置组(一个或多个目标视点位置)。在偶数帧中，偶数编号的视点位置8被设置为目标视点位置组(一个或多个目标视点位置)。注意，图10中的m是奇数。
由视点图像生成单元26在奇数帧(#m)中生成与作为奇数编号的视点位置8的一个或多个目标视点位置对应的一个或多个目标视点图像，并且存储在视点图像存储单元27中。不生成与偶数编号的视点位置8对应的视点图像13。
在图10A所示的示例中，第1、第3、第5、第7视点位置8被设置为目标视点位置。生成由布置在与这些视点位置8对应的位置处的虚拟照相机14捕获的卡通人物2的虚拟图像(视点图像13)作为目标视点图像。
显示图像生成单元29从所有视点图像存储单元27读取与所有视点位置8对应的视点图像13。
对于奇数编号的视点位置8，读取在帧(#m)中生成的一个或多个目标视点图像。对于偶数编号的视点位置8，读取在作为比帧(#m)早的帧的紧邻偶数帧(#m-1)中生成的一个或多个目标视点图像。
基于读取的全部视点图像13，生成多视点图像数据。
生成的多视点图像数据由显示图像输出单元30输出到多视点显示装置5。
在偶数帧(#m+1)中，生成与作为偶数编号的视点位置8的一个或多个目标视点位置对应的一个或多个目标视点图像，并且将其存储在视点图像存储单元27中。不生成与奇数编号的视点位置8对应的视点图像13。
在图10B所示的示例中，第2、第4、第6视点位置8成为目标视点位置。生成由布置在与这些视点位置8对应的位置处的虚拟照相机14拍摄的卡通人物2的虚拟图像(视点图像13)作为目标视点图像。
显示图像生成单元29从所有视点图像存储单元27读取与所有视点位置8对应的视点图像13。
对于偶数编号的视点位置8，读取在帧(#m+1)中生成的一个或多个目标视点图像。对于奇数编号的视点位置8，读取在作为比帧(#m+1)早的帧的紧邻奇数帧(|#m)中生成的一个或多个目标视点图像。
基于读取的全部视点图像13，生成多视点图像数据。
所生成的多视点图像数据由显示图像输出单元30输出到多视点显示装置5。
如上所述，在根据本实施方式的图像生成装置6中，针对每一帧生成与作为多个视点位置8的一部分的一个或多个目标视点位置对应的一个或多个目标视点图像。因此，针对每一帧生成作为多个视点图像13中的一部分的一个或多个目标视点图像。由此，能够减少用于生成视点图像13的处理负荷。
图11是示出作为比较示例的多视点图像数据的生成的图。
在图11所示的比较示例中，在每一帧中生成与所有视点位置8对应的视点图像13。生成的视点图像13被临时存储在缓存器中，并用于由显示图像生成单元生成多视点图像数据。
在图11所示的比较示例中，由于在每一帧中生成全部视点图像13，因此生成视点图像13所需的负荷(渲染负荷)增加。此外，在每一帧中处理的数据量增加，并且多视点图像的显示帧速率降低。
在图11所示的比较示例中，假设了设置大数量的视点位置8的情形。在这种情况下，渲染负荷进一步增加，并且显示帧速率进一步降低。从而，需要降低视频质量，如降低图像的分辨率等，并且难以实现高质量的多视点显示。
在根据本实施方式的图像生成装置6中，抑制了针对每一帧获取的视点图像13的数量，并且针对多个帧中的每一帧，顺序地更新全部视点图像13。
由此，可以充分抑制生成每帧视点图像13的成本(渲染负荷)，并且可以充分抑制要处理的数据量。结果，可以在不降低视频质量的情况下提高多视点图像的显示帧速率，并且可以实现高质量的多视点显示。
此外，还可以减少图像生成装置6的所需规格。
＜其他实施方式＞
本技术不限于上述实施方式，并且可以实现各种其他实施方式。
图8所示的更新帧数量的值不受限制，可以任意设置。
例如，图12是示出更新帧数量被设置为3的情形的示意图(l＝3)。
更新帧数量是确定对全部视点图像13进行更新的间隔(周期)的参数。因此，更新帧数量的设置对应于更新周期的设置。
更新帧数量可以由视点图像生成控制单元28任意改变。
随着更新帧数量的增加，每帧的处理负荷减少，但是由于各个视点图像13的获取定时偏差，因此可能会在存在移动的对象中感受到不适感。
例如，更新帧数量可以由视点图像生成控制单元28基于成为显示目标的对象的移动而任意改变。由此，可以取得上述折衷关系中的处理负荷和移动偏差的平衡。
例如，当对象的动作快或大时，更新帧数量减少，并且以短更新周期更新全部视点图像13。当显示对象的动作慢或变化小时，更新帧数量增加，并且用于更新全部视点图像13的更新周期增加。
以这种方式，通过使更新周期(即，更新帧数量)根据对象的移动是可变的，可以减少处理负荷，同时减少对对象的偏差的感知。
视点图像13的更新周期可以根据用户设置的模式来确定。
模式是与多视点图像显示相关的模式，并且可以采用任何模式，例如优先考虑多视点图像显示的性能的模式(高质量显示模式等)、和优先考虑低负荷的模式(低功耗模式等)。
例如，当用户选择了优先考虑性能的模式时，通过缩短更新间隔，可以降低对象的感知移动偏差的概率。此外，当选择了优先考虑低负荷的模式时，通过增长更新间隔，可以减少处理负荷。
此外，可以基于通过照相机跟踪等获取的用户的状态，来设置更新周期(更新帧数量)。
应当理解，更新帧数量可以固定为预设常数。
针对每一帧，瞳孔间距离(IPD)可用于将哪个视点位置8设置为一个或多个目标视点位置。
即，可以针对每一帧，基于瞳孔间距离(IPD)来设置一个或多个目标视点位置，并且可以生成一个或多个目标视点图像。
在图8所示的示例中，可以基于瞳孔间距离(IPD)将多个视点位置划分为多个目标视点位置组。
例如，如图13所示，在单个帧中获取的视点图像13的虚拟照相机14的组，即，目标视点位置组，可以由用户在观察位置处的假定瞳孔间距离(IPD)来确定。
瞳孔间距离IPD可以设置为预定值，或者可以使用通过相机跟踪等获得的值。
通过考虑IPD，当用户静止时，用户的左眼和右眼可以以相同的定时看到更新后的视点图像13，因此能够难以感知对象的移动偏差。
例如，该处理在显示图6B所示的立体图像时适用。由此，由于右眼图像和左眼图像以相同的定时被更新，因此实现了高质量的立体显示。
图14是示出根据其他实施方式的图像生成装置的功能配置示例的示意图。
图15是示出多视点图像数据的生成示例的图。
在图14所示的图像生成装置206中，代替多个视点图像存储单元27，配置了多个缓存器32。配置了显示图像存储单元33。
在本实施方式中，在每一帧中，生成与一个或多个目标视点位置对应的一个或多个目标视点图像，并将其临时存储在缓存器32中。
在本实施方式中，在每一帧中，由显示图像生成单元29生成的多视点图像数据(显示图像)存储在显示图像存储单元33中。
显示图像生成单元29在每一帧中读取临时存储在缓存器32中的一个或多个目标视点图像。显示图像生成单元29从显示图像存储单元33读取在先前帧中生成的多视点图像数据。
然后，显示图像生成单元29使用当前帧的一个或多个目标视点图像和先前帧的多视点图像数据来生成多视点图像数据。
如上所述，在本实施方式中，使用在预定帧中生成的一个或多个目标视点图像、和在比该预定帧早的帧中生成的多视点图像数据来生成预定帧的多视点图像数据。
如图15所示，在生成一系列多视点图像数据(显示图像)时，代替存储和保持视点图像13，可以存储和保持重新布置条形图像18后的显示图像。
显示图像生成单元29加载先前帧的重新布置后的显示图像，并且仅对所获取的视点图像13的对应部分进行重新布置以进行更新。通过该更新而生成的显示图像被生成为最终的多视点图像数据。
在用于生成显示图像的视点图像13的重新布置处理的负荷较大等情形中，通过保持重新布置后的多视点图像数据的本实施方式，可以减少整体负荷。
图16是示出根据其他实施方式的图像生成装置的功能配置示例的示意图。
在图16所示的图像生成装置306中，配置了多个显示图像输出单元35。
例如，当图3所示的投影仪阵列用作多视点显示装置5时，图像生成装置306连接到多个显示装置36。
根据多个显示装置36的数量，配置多个显示图像输出单元35。然后，多个显示图像输出单元35连接到多个显示装置36中的每一个。
当如多视点显示装置5使用投影仪阵列的配置，存在多个作为输出目的地的显示装置36时，通过使显示图像输出单元35以一对一的方式对应于显示装置36，提高了多视点显示的效率。
代替照相机14，可以使用作为真实物体的照相机阵列来获取真实图像。
在生成视点图像13时，代替使用CG上的虚拟照相机14，照相机阵列可以安装在真实空间中，以从真实空间中的对象生成视点图像。即使在从真实空间中的对象生成视点图像13的情形中，也可以以相同的方式应用根据本技术的抑制视点图像13的生成的方法。
例如，第一生成单元10从布置在多个视点位置8处的多个成像设备获取多个捕获图像，作为多个视点图像13。
生成控制单元11针对每一帧，使第一生成单元10输出与一个或多个目标视点图像对应的捕获图像，并丢弃其他捕获图像。即，在本示例中，第一生成单元10的捕获图像的输出对应于第一生成单元10的目标视点图像的生成。
根据本实施方式，不仅CG，而且真实物体也可以显示在多视点显示装置5上。例如，可以降低主要将从第一生成单元10输出的目标视点图像(捕获图像)复制到缓存器的成本。应当理解，其不限于这样的效果。
用户的位置信息可用于针对每一帧设置哪个(些)视点位置8作为一个或多个目标视点位置。
即，可以基于用户的位置信息来设置一个或多个目标视点位置，并且可以生成一个或多个目标视点图像。
获取用户的位置信息的方法不受限制，并且可以使用任何方法，诸如照相机跟踪等。此外，可以通过机器学习来估计用户的位置信息。
如果视点图像的生成位置被限制在观察者位置，则无法在其他位置观察视频，但是可以大幅减少生成的视点图像13，因此可以减少处理负荷并且可以提高显示帧速率。
代替用户的位置信息或者除了用户的位置信息之外额外地，可以使用用户的视线信息等。
图17是示出图像生成装置6的硬件配置示例的框图。
图像生成装置6包括CPU 61、ROM(只读存储器)62、RAM 63、输入/输出接口65以及将它们彼此连接的总线64。输入输出接口65连接到显示单元66、输入单元67、存储单元68、通信单元69、驱动单元70等。
显示单元66例如是使用液晶、EL等的显示设备。输入单元67例如是键盘、定点设备、触摸面板或其他操作设备。在输入单元67包括触摸面板的情况下，该触摸面板可以与显示单元66集成。
存储单元68是非易失性存储设备，并且例如是HDD、闪存或其他固态存储器。驱动单元70是能够驱动诸如光学记录介质和磁记录带等可移除记录介质71的设备。
通信单元69是可以连接到LAN、WAN等用于与其他设备通信的调制解调器、路由器或其他通信装置。通信单元69可以使用有线或无线方式进行通信。通信单元69通常与图像生成装置6分离使用。
由具有上述硬件配置的图像生成装置进行的信息处理(图像生成)可通过存储在存储单元68、ROM 62等中的软件与图像生成装置6的硬件资源的协作来实现。具体来讲，根据本技术的信息处理方法(图像生成方法)可通过将存储在ROM 62等中并且构成软件的程序加载到RAM 63中并执行该程序来实现。
程序经由例如记录介质61安装在图像生成装置6中。或者，程序可以经由全球网络等安装到图像生成装置6中。此外，可以使用计算机可读的任何非暂时性存储介质。
可以通过经由网络等可通信地连接的多个计算机进行协作，来执行根据本技术的图像生成方法和程序，从而构建根据本技术的图像生成装置。
也就是说，根据本技术的图像生成方法和程序不仅可以在包括单个计算机的计算机系统内执行，而且可以在其中多个计算机彼此协同操作的计算机系统内执行。
注意，在本公开中，系统指的是多个组件(装置、模块(部件)等)的集合，并且所有组件是否都在同一外壳中并不重要。因此，容纳在单独外壳中并通过网络彼此连接的多个装置，以及其中多个模块被容纳在单个外壳中的单个装置，都是系统。
由计算机系统执行根据本技术的图像生成方法和程序例如包括两种情形：其中视点图像的生成、目标视点位置的设置、多视点图像数据的生成等由单个计算机执行的情形，以及其中每个处理由不同计算机执行的情形。此外，由指定计算机执行各个处理包括使该处理的一部分或全部由其他计算机执行并获得其结果。
即，根据本技术的图像生成方法和程序可以适用于其中一个功能经由网络在多个装置之间共享且共同处理的云计算配置。
参考各附图说明的图像生成系统、多视点显示装置、图像生成装置等的各个配置、各个处理流程等仅是实施方式，可以在不脱离本技术范围的情况下进行任意修改。换句话说，可以采用用于实施本技术的任何其他配置或算法等。
当在本公开中使用如“大致”的术语时，其仅用于促进易于对说明的理解，而使用/不使用如“大致”的术语并不具有特别的意义。
也就是说，在本公开中，诸如“中心”、“中央”、“均匀”、“相等”、“相同”、“正交”、“平行”、“对称”、“延伸”、“轴方向”、“圆柱形”、“圆筒形”、“圆环形”等的规定形状、尺寸、位置关系、状态等的概念包括诸如“基本中心”、“基本中央”、“基本均匀”、“基本相等”、“基本相同”、“基本正交”、“基本平行”、“基本对称”、“基本延伸”、“基本轴方向”、“基本圆柱形”、“基本圆筒形”、“基本圆环形”等的概念。
例如，也包括在以“完全中心”、“完全中央”、“完全均匀”、“完全相等”、“完全相同”、“完全正交”、“完全平行”、“完全对称”、“完全延伸”、“完全轴方向”、“完全圆柱形”、“完全圆筒形”、“完全圆环形”等为基准的预定范围(例如±10％范围)中包括的状态。
因此，即使在不添加如“大致”的词语的情形中，也可以包括通过附加所谓的“大致”而表示的概念。相反，附加“近似”而表示的状态不排除完全状态。
在本公开中，表达方式“比A大”或“比A小”是一种综合包括其中包括与A同等的情形的概念和不包括与A同等的情形两者的表达方式。例如，“比A大”不限于与A同等的情形，也包括“A以上”的情形。“比A小”不限于“小于A”的情况，也包括“A以下”的情形。
当实施本技术时，可以基于“比A大”和“比A小”中包括的概念，适当地采用具体设置等，来展现上文所述效果。
还可以对上文所述的根据本技术的特征中的至少两个特征进行组合。换句话说，各个实施方式中说明的各种特征可以被任意组合，而与实施方式无关。此外，上面描述的各种效果不是限制性的，而是仅仅是例示性的，并且可以展现其他效果。
本技术还可以采用以下配置。
(1)一种用于以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成装置，包括：
第一生成单元，所述第一生成单元能够生成与多个视点位置对应的多个视点图像；
生成控制单元，所述生成控制单元针对每一帧设置作为所述多个视点位置中的一部分的一个或多个目标视点位置，并且使所述第一生成单元生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像；以及
第二生成单元，所述第二生成单元使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
(2)根据(1)所述的图像生成装置，其中
所述第二生成单元使用在预定帧中生成的所述一个或多个目标视点图像、和在比所述预定帧早的帧中生成的所述一个或多个目标视点图像，来生成所述预定帧的所述多视点图像数据。
(3)根据(1)或(2)所述的图像生成装置，其中
所述生成控制单元在第一帧中生成与一个或多个第一目标视点位置对应的一个或多个第一目标视点图像，并且在与所述第一帧连续的第二帧中生成与一个或多个第二目标视点位置对应的一个或多个第二目标视点图像，所述一个或多个第二目标视点位置不同于所述一个或多个第一目标视点位置中的任一个。
(4)根据(3)所述的图像生成装置，其中
所述第二生成单元使用所述一个或多个第一目标视点图像和所述一个或多个第二目标视点图像来生成所述第二帧的所述多视点图像数据。
(5)根据(1)至(4)中任一项所述的图像生成装置，其中
所述生成控制单元
设置更新帧数量，
将所述多个视点位置划分为具有与所述更新帧数量相同的数量且其中所述目标视点位置彼此不重叠的多个目标视点位置组，
将所述多个目标视点位置组中的每一目标视点位置组分配给所述更新帧数量的连续帧中的每一帧，以及
在所述多个帧的每一帧中，生成与所分配的所述目标视点位置组对应的目标视点图像组。
(6)根据(5)所述的图像生成装置，其中
所述生成控制单元
将所述更新帧数量设置为2，
将所述多个视点位置划分为其中所述目标视点位置彼此不重叠的第一目标视点位置组和第二目标视点位置组，
将所述第一目标视点位置组和所述第二目标视点位置组分配给连续的两个帧，以及在所述两个帧的每一帧中，生成与所分配的所述第一目标视点位置组对应的第一目标视点图像组、和与所分配的所述第二目标视点位置组对应的第二目标视点图像组。
(7)根据(5)或(6)所述的图像生成装置，其中
所述生成控制单元能够改变所述更新帧数量。
(8)根据(5)或(6)所述的图像生成装置，其中
所述生成控制单元基于成为显示目标的对象的移动、或者针对所述多视点图像显示设置的模式来改变所述更新帧数量。
(9)根据(1)至(8)中任一项所述的图像生成装置，其中
所述生成控制单元针对所述每一帧，基于瞳孔间距离来设置所述一个或多个目标视点位置，并且生成所述一个或多个目标视点图像。
(10)根据(5)所述的图像生成装置，其中
所述生成控制单元基于瞳孔间距离，将所述多个视点位置划分为所述多个目标视点位置组。
(11)根据(1)所述的图像生成装置，其中
所述第二生成单元使用在预定帧中生成的所述一个或多个目标视点图像、和在比所述预定帧早的帧中生成的所述多视点图像数据，来生成所述预定帧的所述多视点图像数据。
(12)根据(1)至(11)中任一项所述的图像生成装置，其中
所述第一生成单元生成虚拟图像作为所述视点图像。
(13)根据(1)至(11)中任一项所述的图像生成装置，其中
所述第一生成单元从布置在所述多个视点位置处的多个成像设备获取多个捕获图像作为所述多个视点图像，以及
所述生成控制单元针对所述每一帧，使所述第一生成单元输出与所述一个或多个目标视点图像对应的捕获图像，并且丢弃其他捕获图像。
(14)根据(1)所述的图像生成装置，其中
所述生成控制单元针对所述每一帧，基于用户的位置信息来设置所述一个或多个目标视点位置，并且生成所述一个或多个目标视点图像。
(15)根据(1)至(14)中任一项所述的图像生成装置，其中
所述第二生成单元生成所述多视点图像数据作为用于多视点显示装置的多视点显示的数据。
(16)根据(15)所述的图像生成装置，其中
所述多视点显示装置包括多个投影仪，以及
所述第二生成单元生成与所述多个投影仪中的每一投影仪对应的多个对应的多视点图像数据作为所述多视点图像数据。
(17)根据(15)所述的图像生成装置，其中
所述多视点显示装置包括多视点显示器，以及
所述第二生成单元生成与所述多视点显示器对应的所述多视点图像数据。
(18)一种由计算机系统执行的图像生成方法，用于以预定帧速率生成用于显示多视点 图像的多视点图像数据，包括：
针对每一帧，设置作为多个视点位置中的一部分的一个或多个目标视点位置；
生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像；以及
使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
(19)一种使计算机系统执行图像生成方法的程序，所述图像生成方法用于以预定帧速 率生成用于显示多视点图像的多视点图像数据，该图像生成方法包括：
针对每一帧，设置作为多个视点位置中的一部分的一个或多个目标视点位置；
生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像；以及
使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
参考符号列表
2 卡通人物
3 与每个视点位置对应显示的图像
5 多视点显示装置
6、206、306图像生成装置
8 视点位置
10 第一生成单元
11 生成控制单元
12 第二生成单元
13 视点图像
14 虚拟照相机
16 投影仪
17 光线控制元件
18 条形图像
19 投射图像
21 多视点显示器
22 平板显示面板
23 双凸透镜
100 图像显示系统。

Claims (19)

1.一种用于以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成装置，包括：
第一生成单元，所述第一生成单元能够生成与多个视点位置对应的多个视点图像；
生成控制单元，所述生成控制单元针对每一帧设置作为所述多个视点位置中的一部分的一个或多个目标视点位置，并且使所述第一生成单元生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像；以及
第二生成单元，所述第二生成单元使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
2.根据权利要求1所述的图像生成装置，其中
所述第二生成单元使用在预定帧中生成的所述一个或多个目标视点图像、和在比所述预定帧早的帧中生成的所述一个或多个目标视点图像，来生成所述预定帧的所述多视点图像数据。
3.根据权利要求1所述的图像生成装置，其中
所述生成控制单元在第一帧中生成与一个或多个第一目标视点位置对应的一个或多个第一目标视点图像，并且在与所述第一帧连续的第二帧中生成与一个或多个第二目标视点位置对应的一个或多个第二目标视点图像，所述一个或多个第二目标视点位置不同于所述一个或多个第一目标视点位置中的任一个。
4.根据权利要求3所述的图像生成装置，其中
所述第二生成单元使用所述一个或多个第一目标视点图像和所述一个或多个第二目标视点图像来生成所述第二帧的所述多视点图像数据。
5.根据权利要求1所述的图像生成装置，其中
所述生成控制单元
设置更新帧数量，
将所述多个视点位置划分为具有与所述更新帧数量相同的数量且其中所述目标视点位置彼此不重叠的多个目标视点位置组，
将所述多个目标视点位置组中的每一目标视点位置组分配给所述更新帧数量的连续帧中的每一帧，以及
在所述多个帧的每一帧中，生成与所分配的所述目标视点位置组对应的目标视点图像组。
6.根据权利要求5所述的图像生成装置，其中
所述生成控制单元
将所述更新帧数量设置为2，
将所述多个视点位置划分为其中所述目标视点位置彼此不重叠的第一目标视点位置组和第二目标视点位置组，
将所述第一目标视点位置组和所述第二目标视点位置组分配给连续的两个帧，以及
在所述两个帧的每一帧中，生成与所分配的所述第一目标视点位置组对应的第一目标视点图像组、和与所分配的所述第二目标视点位置组对应的第二目标视点图像组。
7.根据权利要求5所述的图像生成装置，其中
所述生成控制单元能够改变所述更新帧数量。
8.根据权利要求5所述的图像生成装置，其中
所述生成控制单元基于成为显示目标的对象的移动、或者针对所述多视点图像显示设置的模式来改变所述更新帧数量。
9.根据权利要求1所述的图像生成装置，其中
所述生成控制单元针对所述每一帧，基于瞳孔间距离来设置所述一个或多个目标视点位置，并且生成所述一个或多个目标视点图像。
10.根据权利要求5所述的图像生成装置，其中
所述生成控制单元基于瞳孔间距离，将所述多个视点位置划分为所述多个目标视点位置组。
11.根据权利要求1所述的图像生成装置，其中
所述第二生成单元使用在预定帧中生成的所述一个或多个目标视点图像、和在比所述预定帧早的帧中生成的所述多视点图像数据，来生成所述预定帧的所述多视点图像数据。
12.根据权利要求1所述的图像生成装置，其中
所述第一生成单元生成虚拟图像作为所述视点图像。
13.根据权利要求1所述的图像生成装置，其中
所述第一生成单元从布置在所述多个视点位置处的多个成像设备获取多个捕获图像作为所述多个视点图像，以及
所述生成控制单元针对所述每一帧，使所述第一生成单元输出与所述一个或多个目标视点图像对应的捕获图像，并且丢弃其他捕获图像。
14.根据权利要求1所述的图像生成装置，其中
所述生成控制单元针对所述每一帧，基于用户的位置信息来设置所述一个或多个目标视点位置，并且生成所述一个或多个目标视点图像。
15.根据权利要求1所述的图像生成装置，其中
所述第二生成单元生成所述多视点图像数据作为用于多视点显示装置的多视点显示的数据。
16.根据权利要求15所述的图像生成装置，其中
所述多视点显示装置包括多个投影仪，以及
所述第二生成单元生成与所述多个投影仪中的每一投影仪对应的多个对应的多视点图像数据作为所述多视点图像数据。
17.根据权利要求15所述的图像生成装置，其中
所述多视点显示装置包括多视点显示器，以及
所述第二生成单元生成与所述多视点显示器对应的所述多视点图像数据。
18.一种由计算机系统执行的用于以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成方法，包括：
针对每一帧，设置作为多个视点位置中的一部分的一个或多个目标视点位置；
生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像；以及
使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
19.一种使计算机系统执行用于以预定帧速率生成用于显示多视点图像的多视点图像数据的图像生成方法的程序，所述图像生成方法包括：
针对每一帧，设置作为多个视点位置中的一部分的一个或多个目标视点位置；
生成与所设置的所述一个或多个目标视点位置对应的一个或多个目标视点图像；以及
使用针对所述每一帧生成的所述一个或多个目标视点图像来生成所述多视点图像数据。
CN202180044825.1A 2020-06-30 2021-06-16 图像生成装置、图像生成方法和程序 Pending CN115769572A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-113180 2020-06-30
JP2020113180 2020-06-30
PCT/JP2021/022846 WO2022004382A1 (ja) 2020-06-30 2021-06-16 画像生成装置、画像生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN115769572A true CN115769572A (zh) 2023-03-07

Family

ID=79316136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180044825.1A Pending CN115769572A (zh) 2020-06-30 2021-06-16 图像生成装置、图像生成方法和程序

Country Status (4)

Country Link
US (1) US20230283763A1 (zh)
JP (1) JPWO2022004382A1 (zh)
CN (1) CN115769572A (zh)
WO (1) WO2022004382A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction
WO2023228600A1 (ja) * 2022-05-23 2023-11-30 ソニーグループ株式会社 情報処理装置、情報処理方法および記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284128A (ja) * 1994-04-07 1995-10-27 Sanyo Electric Co Ltd 立体映像表示方法及びその装置
JP2006157605A (ja) * 2004-11-30 2006-06-15 Furoobell:Kk 映像処理システムおよび方法、撮像装置および方法、映像処理装置、映像データ出力方法、記録媒体、並びにプログラム
JP4780046B2 (ja) * 2007-06-19 2011-09-28 日本ビクター株式会社 画像処理方法、画像処理装置及び画像処理プログラム
HU0900478D0 (en) * 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
JP2014082686A (ja) * 2012-10-17 2014-05-08 Canon Inc 画像処理装置及びその制御方法、プログラム
JP6979290B2 (ja) * 2017-06-14 2021-12-08 日本放送協会 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム

Also Published As

Publication number Publication date
JPWO2022004382A1 (zh) 2022-01-06
US20230283763A1 (en) 2023-09-07
WO2022004382A1 (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
US11438566B2 (en) Three dimensional glasses free light field display using eye location
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
JP4835659B2 (ja) 集積映像背景を有する２次元−３次元兼用ディスプレイ方法及び装置
JP4331224B2 (ja) 三次元画像表示装置及び三次元画像の表示方法
US8614738B2 (en) Stereoscopic image display method and stereoscopic image display apparatus
US8731279B2 (en) Method and device for generating multi-viewpoint image
US20060066718A1 (en) Apparatus and method for generating parallax image
US10848752B2 (en) Method of operating a light field 3D display device having an RGBG pixel structure, and light field 3D display device
CN115769572A (zh) 图像生成装置、图像生成方法和程序
CN111757088A (zh) 一种分辨率无损的裸眼立体显示系统
KR20160042535A (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
US20120050290A1 (en) Three-dimensional image display apparatus and display method
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
KR101086305B1 (ko) 3차원 영상 디스플레이 장치 및 방법
WO2021227945A1 (zh) 一种显示装置和系统以及方法
KR102458379B1 (ko) 입체 영상을 표시하는 장치 및 방법
JP2012191391A (ja) ３次元表示方法及び３次元表示装置
US8913077B2 (en) Image processing apparatus and image processing method
KR20130112679A (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
US12028502B2 (en) Three dimensional glasses free light field display using eye location
KR102492367B1 (ko) 영상 데이터 생성 방법과 이를 이용한 입체 영상 표시 시스템
EP4024856A1 (en) Head-up display device, display system, and display method
US20240098243A1 (en) Predictive Perspective Correction
CN216086864U (zh) 一种多视点裸眼立体显示器和裸眼立体显示系统
JP2015046695A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination