CN109389545B - 图像处理装置、方法和存储介质 - Google Patents

图像处理装置、方法和存储介质 Download PDF

Info

Publication number
CN109389545B
CN109389545B CN201810902118.1A CN201810902118A CN109389545B CN 109389545 B CN109389545 B CN 109389545B CN 201810902118 A CN201810902118 A CN 201810902118A CN 109389545 B CN109389545 B CN 109389545B
Authority
CN
China
Prior art keywords
image
resolution
virtual viewpoint
section
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810902118.1A
Other languages
English (en)
Other versions
CN109389545A (zh
Inventor
西山知宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109389545A publication Critical patent/CN109389545A/zh
Application granted granted Critical
Publication of CN109389545B publication Critical patent/CN109389545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像处理装置、方法和存储介质。图像获取部获取基于由多个照相机从多个方向对目标区域进行图像拍摄所获得的图像。信息获取部获取指示虚拟视点的位置的视点信息。设置部基于目标区域内的基准位置和由信息获取部获取的视点信息，设置与目标区域内的被摄体的分辨率有关的参数。生成部基于由图像获取部获取的图像和由信息获取部获取的视点信息，生成包括具有与设置部设置的参数对应的分辨率的被摄体的图像的虚拟视点图像。

Description

图像处理装置、方法和存储介质
技术领域
本发明涉及一种图像处理装置、方法和存储介质。
背景技术
已知一种方法，其中通过使用由多个照相机获得的图像和被摄体的三维模型(包括离被摄体的距离的信息)生成来自与拍摄视点不同的虚拟视点的图像(虚拟视点图像)。在日本特开第2000-215311号公报中，描述了使用从虚拟视点的视角来看的距离图(在各个像素中存储离场景的距离的数据)，通过计算虚拟视点图像的各个像素的像素值来生成虚拟视点图像。
同时，在日本特开第2002-3669
35号公报中，描述了由于需要具有用于存储三维模型的大存储容量，因此被摄体表面附近的体素分辨率(voxel resolution)增加并且被摄体内的体素分辨率降低。
发明内容
根据本发明的实施例，一种图像处理装置包括：图像获取部，用于获取基于由多个照相机从多个方向对目标区域进行图像拍摄所获得的图像；信息获取部，用于获取指示虚拟视点的位置的视点信息；设置部，用于基于目标区域内的基准位置和由信息获取部获取的视点信息，设置与目标区域内的被摄体的分辨率相关的参数；以及生成部，用于基于由图像获取部获取的图像和由信息获取部获取的视点信息，生成虚拟视点图像，所述虚拟视点图像包括具有与设置部设置的参数对应的分辨率的被摄体的图像。
根据本发明的另一实施例，一种方法包括：获取基于由多个照相机从多个方向对目标区域进行图像拍摄所获得的图像；获取指示虚拟视点的位置的视点信息；基于目标区域内的基准位置和获取的视点信息，设置与目标区域内的被摄体的分辨率相关的参数；以及基于所获取的图像和所获取的视点信息，生成虚拟视点图像，所述虚拟视点图像包括具有与所设置的参数对应的分辨率的被摄体的图像。
根据下面参照附图对示例性实施例的描述，本发明的进一步特征将变得清楚。
附图说明
图1是例示根据实施例的摄像系统的示例的图。
图2是例示根据实施例的图像生成装置的构造的框图。
图3是例示根据实施例的图像生成装置的构造的框图。
图4是例示根据实施例的图像生成方法的处理流程的流程图。
图5是用于描述空间分辨率计算方法的概念图。
图6是例示用于设置分辨率的用户界面的一个示例的图。
图7是例示根据实施例的图像生成方法的处理流程的流程图。
具体实施方式
在使用日本特开第2000-215311号公报中描述的方法的情况下，虚拟视点图像的图像质量可能根据场景而降低。尽管通过增加三维模型的分辨率来改善虚拟视点图像的图像质量，但是这导致处理量和处理所需的存储容量的增加。甚至在使用日本特开第2002-366935号公报中叙述的方法的情况下，由于需要充分地减少对虚拟视点图像的质量的影响大的、指示被摄体的表面形状的体素，因此减少处理量和处理所需的存储容量是不够的。
本发明的一个实施例使得能够在生成虚拟视点图像时，在保持可接受的质量的同时减少处理负荷。
在生成虚拟视点图像的情况下，虽然当被摄体形状数据的距离分辨率太低时虚拟视点的质量降低，但是尽管在距离分辨率太高时质量没有提高的事实，处理量仍增加。因此，在本发明的实施例中，调整要使用的被摄体形状数据的空间分辨率，以具有适合于要生成的虚拟视点图像的距离分辨率。在下文中，基于附图描述了本发明的实施例。然而，本发明的范围不限于以下实施例。
[第一实施例]
在第一实施例中，给出关于根据从虚拟视点到被摄体的距离来设置被摄体形状数据的空间分辨率的示例的描述。通过该实施例，在基于被摄体形状数据生成虚拟视点图像时，能够在保持可接受的质量的同时减少计算量或所使用的存储容量。注意，来自自由设置的虚拟视点的虚拟视点图像也称为自由视点图像。此外，可以基于被摄体的三维模型生成虚拟视点图像，并且在下文中，给出关于使用被摄体的三维模型作为指示被摄体的形状的被摄体形状数据的示例的情况的描述。
图1例示了根据本实施例的摄像系统的示例。摄像系统100配备有多个照相机101和图像生成装置200。在图1中，例示了在本实施例中使用的照相机101的布置。如图1所示，通过使用布置成使得被摄体被包围的多个照相机101来进行被摄体的拍摄。照相机101从多个不同位置拍摄被摄体的图像组。在图1的示例中，通过使用布置在体育场内部或外部的多个照相机101，拍摄作为摄像目标区域(拍摄区域)的地面104上的运动员102和球103。虽然图1例示了应用于运动场景的示例，但是本实施例可以应用于拍摄任何场景中的被摄体。注意，在本实施例中，被摄体指示随时间移动的物理被摄体，并且包括例如运动员102和球103。然而，指定被摄体的方法是任意的，并且诸如背景的静止被摄体也可以被视为被摄体。
接下来，给出关于根据第一实施例的图像生成装置200的构造的描述。图2例示了图像生成装置200的构造的一个示例。CPU 201通过使用存储在诸如RAM 202或ROM 203等的存储器中的计算机程序和数据来执行各种处理。由此，CPU 201执行整个图像生成装置200的操作控制，并且还执行和控制图像生成装置200进行的稍后描述的各种处理。注意，CPU201可以是单个处理器，也可以是多个处理器。
RAM 202具有用于存储从诸如ROM 203或存储单元204的存储器加载的计算机程序和数据的区域。此外，RAM 202具有当CPU 201执行各种处理时使用的工作区域。以这种方式，RAM 202可以提供各种区域。ROM 203存储不需要重写的数据和程序，例如设置数据和引导程序。
存储单元204是存储程序和数据的存储装置，并且例如是诸如硬盘驱动装置的大容量信息存储装置。存储单元204可以保存OS(操作系统)以及用于使CPU 201执行稍后描述的各种处理(例如图像生成装置200所执行的处理)的计算机程序和数据。存储单元204可以存储作为处理目标的图像或视频数据。保存在存储单元204中的程序和数据可以是在该程序和数据根据CPU 201的控制被加载到RAM 202之后由CPU201进行的处理的对象。存储单元204除了是硬盘驱动装置之外，还可以是从诸如CD-ROM或DVD-ROM等的存储介质读取信息的设备，也可以是诸如闪速存储器或USB存储器等的存储装置。
通过向连接到输出接口205的显示装置207发送显示数据，输出接口205可以使显示装置207进行显示。以这种方式，显示装置207可以通过使用CPU 201的处理结果来显示或投影图像或文本。显示装置207可以是例如CRT、液晶屏或投影装置。
CPU 201、RAM 202、ROM 203、存储单元204、输出接口205都连接到总线206并且可以经由总线206相互通信。注意，图2中所示的构造仅是可以应用于图像生成装置200的计算机装置的构造的一个示例。例如，图像生成装置200可以具有诸如GPU(图形处理单元)、ASIC或FPGA等的硬件，替代CPU 201，或者除了CPU 201之外，还具有上述硬件。在这种情况下，诸如GPU、ASIC或FPGA等的硬件可以执行CPU 201通常执行的一些或所有处理。
(设置空间分辨率的方法)
参考图5给出关于根据本实施例的设置空间分辨率的方法的描述。图5例示了设置在三维空间内的体素501和布置在虚拟视点处的虚拟照相机503之间的位置关系。在本实施例中获取的虚拟视点图像对应于布置在虚拟视点处的虚拟照相机503所获取的图像。
在以下描述中，通过使用体素离散地表示被摄体存在的三维空间。换句话说，目标三维空间被体素划分，体素是大小为Δ[mm]的规则格栅。各个体素的坐标可以用格栅向量表示，格栅向量例如为(x坐标，y坐标，z坐标)＝(0,0,0),(1,0,0),(3,0,1)......。通过将规则格栅的大小Δ乘以这样的格栅矢量来获取对应于体素的三维空间内的实际物理位置。例如，可以使用诸如5mm的值作为Δ。
图5示出了体素501被投影到虚拟照相机503的状态。线506表示在虚拟照相机503的光轴方向上从体素501的中心部分到虚拟照相机503的距离z[mm]。此外，线505和507是这样的线：体素501的端部从该线投影到虚拟照相机503。线502表示体素大小Δ[mm]。平面504表示由虚拟照相机503获取的虚拟视点图像的投影平面。在下文中，f[pix]是以像素单位表达的虚拟照相机503的焦距。
当体素501被投影到虚拟照相机503时，在从虚拟照相机503看时，在体素501的最长对角线(其长度为√3Δ)与虚拟照相机503的光轴正交的情况下体素501看起来最大。此时，体素501在虚拟视点图像上的大小根据下式由像素宽度d[pix]表示。
d＝√3(fΔ/z)......式(1)
换句话说，在体素大小是Δ的情况下，虚拟视点图像上的被摄体的分辨率不会变得比d[pix]更精细。这里，考虑到被摄体的分辨率最低的情况，通过使用体素的最长对角线(其长度为√3Δ)来计算像素宽度d。然而，替代地，也可以通过使用体素的正方形的对角线(其长度为√2Δ)或体素的一边(其长度为Δ)来计算像素宽度d。
同时，根据式(1)，在期望虚拟视点图像上的被摄体以比可接受的分辨率w[pix]更精细的分辨率表达的情况下，需要
√3(fΔ/z)<w......式(2)
成立。例如，在期望以比2[pix]更精细的分辨率表达被摄体的情况下，需要√3(fΔ/z)<2成立。通过针对Δ求解该式，可以获取为获取可接受的分辨率w所需的体素大小Δ，换句话说，获取所需的空间分辨率。以这种方式，通过使用到特定被摄体的距离z和虚拟视点图像中的特定被摄体的可接受的分辨率w，可以获取比可接受的分辨率w更精细地表达特定被摄体所需的空间分辨率Δ。此外，可以通过使用到不限于被摄体的特定目标点的距离z来获取空间分辨率Δ。
由此确定的空间分辨率Δ可以被设置为被摄体形状数据的分辨率。在这种情况下，当具有由被摄体形状数据表示的形状并位于基准点的被摄体被投影在虚拟视点图像上时，可以增加虚拟视点图像上的被摄体的形状的分辨率(使其更精细)，使得分辨率被设置为被指定为分辨率以上(w以上)的值。在该示例中，可接受的分辨率w可以说是被指定为虚拟视点图像中的被摄体的形状的分辨率的分辨率。
此外，存在期望所有被摄体由比虚拟视点图像上的w[pix]更精细的分辨率表达的情况。由于√3(fΔ/z)随着被摄体靠近虚拟照相机503而变大，所以如果对于最靠近虚拟照相机503的被摄体，式(2)成立，则式(2)对于所有被摄体成立。因此，当最靠近虚拟照相机503的被摄体的距离是zmin时，为了由比w[pix]更精细的分辨率来表达虚拟视点图像上的所有被摄体，需要下式成立。
√3(fΔ/zmin)<w......式(3)
以这种方式，通过使用到距离最靠近虚拟视点的被摄体的距离zmin和虚拟视点图像中可接受的分辨率w，可以获取比可接受的分辨率w更精细的用于表达所有被摄体所需的空间分辨率Δ。换句话说，基准点和虚拟视点之间的距离可以是多个被摄体中最靠近虚拟视点的被摄体与虚拟视点之间的距离。然而，不限于此，并且基准点和虚拟视点之间的距离可以是例如多个被摄体中最靠近目标点的被摄体与虚拟视点之间的距离。
此外，由于计算成本和所需的存储容量减小，因此可以使用式(2)或式(3)成立的空间分辨率Δ中的最大值作为三维模型的空间分辨率。例如，可以根据Δ＝wz/f√3或Δ＝wzmin/f√3确定空间分辨率Δ。
此外，还可以针对各个被摄体改变三维模型的分辨率Δ。在这种情况下，当到被摄体i的代表距离是zi时，被摄体i的三维模型的分辨率是Δi，并且可接受的分辨率是w[pix]，可以通过使用式(1)获得式(4)。
Δi＝wzi/f√3......式(4)
通过使用式(4)，可以计算各个被摄体的最佳分辨率。在这种情况下，作为构成被摄体的三维模型的构成元素的体素的大小Δ对于远离虚拟照相机503的被摄体而言比对于更靠近虚拟照相机503的被摄体而言变大。以这种方式，可以根据多个被摄体中的各个被摄体与虚拟视点之间的距离独立地设置各个被摄体的被摄体形状数据的分辨率。注意，与图像生成装置200设置的被摄体的分辨率相关的参数不限于体素大小Δ，并且可以是诸如构成被摄体形状数据的体素的数量或构成三维模型的网格的大小等的其他参数。
注意，焦距f可以以[mm]为单位表示。当虚拟视点图像中投影平面上的物理被摄体的分辨率是r[pix/mm]时，以像素为单位表示的焦距f[pix]可以被表达为
f[pix]＝r[pix/mm]×f[mm]......式(5)。
(本实施例的处理)
在下文中，使用图3中所示的功能框图和图4所示的流程图给出关于由第一实施例的图像生成装置200进行的处理的描述。如图3所示，第一实施例的图像生成装置200配备有图像获取单元301、参数获取单元302、位置获取单元303、视点获取单元304、分辨率设置单元305、模型生成单元306、渲染单元307和分辨率获取单元308。通过CPU 201读取并执行存储在ROM 203内的控制程序，图像生成装置200可以实现各个前述单元的功能。注意，图像生成装置200可以配备有对应于图3中所示的一个或多个构成单元的专用处理电路。在下文中，描述由根据本实施例的各个构成单元进行的处理的流程。
在步骤S401中，图像获取单元301获取从多个不同位置拍摄的被摄体图像组。例如，图像获取单元301可以从存储单元204获取从多个视点获得的图像数据(换句话说，由多个照相机101拍摄的图像数据)。图像获取单元301可以直接从照相机101获取图像。图像获取单元301可以获取由多个照相机101大致同时获得的静止图像组。此外，图像获取单元301可以获取从多个不同位置拍摄的视频组。例如，图像获取单元301可以从由多个照相机101获得的视频当中获取在大致相同时间获得的一组帧图像。
在步骤S402中，参数获取单元302获取照相机101的照相机参数。照相机参数包括内部参数、外部参数和失真参数。内部参数可以包括图像中心的坐标值和照相机镜头的焦距。外部参数是表示照相机的位置和方向的参数。尽管在本说明书中使用全局坐标中的照相机的位置矢量和旋转矩阵作为外部参数，但是外部参数可以通过其他方法描述照相机的位置和方向。失真参数表示照相机镜头的失真。根据这样的照相机参数，可以获得拍摄图像的照相机的位置以及从照相机朝向与图像的各个像素相对应的被摄体的方向。获取照相机参数的方法不受特别限制。例如，可以将照相机参数预先存储在存储单元204中。可以通过使用来自运动方法的结构(例如，基于来自多个视点的图像数据)进行估计来获得照相机参数，并且可以通过进行使用图表等的校准来获得照相机参数。
在步骤S403中，视点获取单元304获取虚拟视点的位置信息。例如，视点获取单元304可以获取虚拟视点的照相机参数。在本实施例中获得的虚拟视点图像对应于由根据照相机参数布置在虚拟视点处的虚拟照相机获得的图像。根据虚拟视点的照相机参数，可以获得虚拟视点的位置和从虚拟视点朝向与虚拟视点图像的各个像素相对应的被摄体的方向。虚拟视点的位置和方向(视线方向)、焦距、虚拟视点图像的像素数(分辨率)等被给出作为这种照相机参数的具体示例。
在步骤S404中，位置获取单元303获取虚拟视点与作为分辨率设置的基准的基准点之间的距离。指示作为先前描述的分辨率设置的基准的被摄体的点和作为分辨率设置的基准的目标点被包含在基准点中。换句话说，位置获取单元303可以获取从虚拟视点到被摄体或到决定的目标点的距离。这里，位置获取单元303可以获取被摄体的位置信息作为基准点的位置信息，并且可以基于该位置信息获取基准点和虚拟视点之间的距离。
步骤S404中获取的距离可以是近似距离。此外，位置获取单元303不需要针对一个被摄体(例如，运动员)的多个部分获取距虚拟视点的距离，并且可以获取单个被摄体的单个距离。另外，可以这样构造：在存在多个被摄体(例如，多个运动员)的情况下，位置获取单元303仅针对多个被摄体中的一个被摄体(例如，最靠近虚拟视点的被摄体)获取距虚拟视点的距离。同时，位置获取单元303可以针对多个被摄体中的各个被摄体获取距虚拟视点的距离。
位置获取单元303可以通过使用例如被摄体图像组来估计被摄体的近似位置信息。此外，位置获取单元303可以获取被摄体的近似位置信息作为基准点的位置信息。以这种方式，位置获取单元303可以获取基准点和虚拟视点之间的距离。给出通过使用粗分辨率的体素进行视觉体积交叉方法作为如何执行此操作的具体示例。此外，可以进行被摄体识别并进行距离估计，在距离估计中，针对识别的被摄体的一部分使用立体匹配方法。还可以使用其他已知方法来获取到被摄体的粗略距离。此外，位置获取单元303可以获取指定目标点的信息并计算从虚拟视点到目标点的距离。这里，目标点是成为虚拟视点图像中要关注的主要目标的点。另外，在安装多个照相机101以将其光轴引导到公共位置的情况下，目标点可以是该位置。换句话说，目标点也可以是多个照相机101指向的位置。
在步骤S405中，分辨率获取单元308获取被指定为与虚拟视点图像内的基准点相对应的位置的分辨率的分辨率。生成虚拟视点图像，使得对应于基准点的位置处的被摄体的形状的分辨率变得大于或等于预定分辨率。例如，如上所述，分辨率获取单元308可以获取虚拟视点的可接受分辨率。分辨率获取单元308获取可接受的分辨率的方法不受特别限制。例如，分辨率获取单元308可以从诸如存储单元204的存储介质获取预定义的可接受分辨率。此外，分辨率获取单元308可以从外部单元获取可接受的分辨率。同时，可接受的分辨率可以是固定值。稍后给出关于可接受分辨率的设置方法的一个示例的描述。
在步骤S406中，分辨率设置单元305根据虚拟视点和作为分辨率设置的基准的基准点之间的距离来设置被摄体形状数据的分辨率。此外，分辨率设置单元305可以根据被指定为与虚拟视点图像内的基准点相对应的位置的分辨率的分辨率来设置被摄体形状数据的分辨率。另外，如上所述，可以根据虚拟视点图像的分辨率和视角(例如，焦距)来设置被摄体形状数据的分辨率。例如，分辨率设置单元305可以根据在步骤S405中获取的可接受分辨率，在如上所述的生成被摄体的三维模型时计算空间分辨率。
在步骤S407中，模型生成单元306通过使用被摄体的图像组，根据分辨率设置单元305设置的分辨率生成被摄体的被摄体形状数据。例如，模型生成单元306可以根据在步骤S406中计算的空间分辨率生成被摄体的三维模型。诸如视觉体积交叉方法或立体匹配方法等的已知方法可以用作用于生成被摄体的三维模型的方法。在诸如日本特开第2000-215311号公报的已知文献中描述了这种方法，因此省略其详细描述。然而，用于获得被摄体形状数据的方法不限于该方法，并且例如可以预先准备具有各种分辨率的被摄体形状数据。
在模型生成单元306生成由体素表示的三维模型的情况下，可以生成具有由分辨率设置单元305设置的分辨率的三维模型。在这种情况下，被摄体形状数据是体素数据，并且，分辨率可以表示体素的大小。此外，模型生成单元306可以生成从虚拟视点看到的被摄体的深度图(depth map)或视差图(parallax map)作为三维模型。在这种情况下，分辨率设置单元305可以通过与用于设置三维模型的体素的大小的方法类似的方法来计算深度值的步长。换句话说，被摄体形状数据可以是深度图数据或视差图数据，并且在此，分辨率可以指示深度方向的步长。
注意，可以根据模型生成单元306生成的三维模型的类型适当地改变分辨率设置单元305的空间分辨率的设置方法。例如，可以根据虚拟视点图像的可接受分辨率和从虚拟视点到被摄体的距离来设置空间分辨率。具体地，可以设置空间分辨率，使得与较大的可接受分辨率相比，三维模型对于虚拟视点图像的较小的可接受分辨率更精细。此外，可以设置空间分辨率，使得与从虚拟视点到被摄体的较长距离相比，三维模型对于从虚拟视点到被摄体的较短距离更精细。作为一个示例，在虚拟视点图像的可接受分辨率是固定的情况下，替代基于式(1)计算空间分辨率，可以基于其他公式计算空间分辨率，使得从虚拟视点到被摄体的距离越长，空间分辨率越低。此外，可以预先准备表格，该表格表示空间分辨率与从虚拟视点到被摄体的距离之间的关系，并基于该表格设置空间分辨率。此外，分辨率设置单元305可以设置空间分辨率，使得与更宽的视角相比，三维模型对于虚拟视点图像的更窄视角更精细。此外，分辨率设置单元305可以设置空间分辨率，使得与虚拟视点图像的较少数量的像素相比，三维模型对于虚拟视点图像的较大数量的像素更精细。
在步骤S408中，渲染单元307通过使用被摄体形状数据，根据被摄体的分辨率和图像组，从虚拟视点生成被摄体的虚拟视点图像。例如，渲染单元307可以基于在步骤S407中生成的三维模型从虚拟视点生成虚拟视点图像。可以使用已知方法作为用于生成虚拟视点图像的方法。在诸如日本特开第2000-215311号公报等的已知文献中描述了这种方法，因此省略其详细描述。为了给出简单示例，渲染单元307可以基于在步骤S404中获得的三维模型和照相机参数，从虚拟视点指定与虚拟视点图像的关注像素相对应的被摄体的位置。接下来，通过参考在步骤S402中获得的照相机参数，渲染单元307可以指定与照相机101的拍摄图像中的被摄体的位置相对应的像素。然后，渲染单元307可以通过使用以这种方式指定的像素的颜色信息来确定关注像素的颜色信息。通过对各个像素进行这样的处理，可以生成虚拟视点图像。
如上所述，分辨率设置单元305可以设置被摄体与虚拟视点之间的距离，指定为虚拟视点图像的被摄体的形状的分辨率的分辨率，以及被摄体形状数据的分辨率。因此，无论被摄体与虚拟视点之间的距离如何，渲染单元307都可以生成虚拟视点图像，使得虚拟视点图像中的被摄体的形状的分辨率变得大于或等于预定分辨率。以上是图像生成装置200的处理流程。注意，图像生成装置200可以根据设置的参数生成包括分辨率的被摄体的图像的虚拟视点图像，并且该生成方法不是仅限于上述。例如，代替使分辨率设置单元305设置的分辨率在生成被摄体形状数据时被反映，可以以预定义的分辨率生成被摄体形状数据，并且可以使分辨率设置单元305设置的分辨率在渲染时被反映。
(用于设置可接受的分辨率的方法的示例)
作为一个示例，在下文中，给出关于用户通过使用UI输入可接受分辨率并且分辨率获取单元308获取输入的可接受分辨率的情况的描述。在这种情况下，分辨率获取单元308可以使显示装置显示用户界面以供用户指定与虚拟视点图像内的基准点相对应的位置的分辨率。
图6例示了可用于设置空间分辨率的UI的一个示例。图6中例示的窗口601表示在显示装置207上显示的显示画面。窗口601包括窗口602、滑动条603、窗口604到606、窗口607和OK按钮608。分辨率获取单元308可以使显示装置207显示窗口601并获取用户在窗口601上输入的可接受分辨率。
在窗口602上显示图像。例如，可以在窗口602上显示伪虚拟视点图像。尽管在窗口602上显示的图像可以是实际渲染的虚拟视点图像，但是它可以是其他图像。例如，可以在窗口602上显示由任何照相机101拍摄的图像。在这种情况下，可以向窗口602显示由方向最靠近虚拟视点的照相机或者位置最靠近虚拟视点的照相机拍摄的图像。此外，分辨率获取单元308可以根据虚拟视点的视角在放大或缩小之后向窗口602显示由照相机101拍摄的图像。不需要在窗口602上显示整个图像。换句话说，可以这样构造，使得分辨率获取单元308仅显示空间分辨率对图像质量的影响最大的区域，例如最靠近虚拟视点的被摄体的图像。
使用滑动条603以控制虚拟视点图像的可接受分辨率。换句话说，用户可以通过调整滑动条603的位置来指定可接受分辨率，因此分辨率获取单元308可以获取指定的可接受分辨率。此外，分辨率获取单元308可以根据所选择的可接受分辨率在窗口602上显示模糊图像。例如，分辨率获取单元308可以获取对应于滑动条603的位置的可接受分辨率w[pix]，并且在窗口602上显示应用了直径w的模糊的图像。作为应用模糊的方法，例如，给出了应用诸如高斯滤波器(gaussian filter)或平均值滤波器等的低通滤波器的方法。以这种方式，将图像显示在用户界面上，并且图像的分辨率根据用户指定的分辨率而改变。
对于窗口604至606，显示与虚拟视点图像生成处理相关的各种信息。例如，分辨率设置单元305根据当前选择的可接受分辨率通过前述方法计算的空间分辨率以数值显示在窗口604上。此外，在使用在窗口604上显示的空间分辨率的情况下，在窗口605上显示用于生成虚拟视点图像或虚拟视点视频的估计的所需时间。此外，在窗口606上显示，在使用窗口604上显示的空间分辨率的情况下估计的三维模型的数据量。
在窗口607上显示指示设置空间分辨率的方法的选择项。具体地，在窗口602上显示“各个被摄体”和“最近被摄体”作为设置模式。“各个被摄体”指示其中对于各个被摄体改变空间分辨率的模式，并且“最近被摄体”指示其中仅基于最接近虚拟视点的被摄体来决定空间分辨率的模式。用户可以使用单选按钮选择其优选模式。在针对各个被摄体改变空间分辨率的情况下，对于代表性被摄体，例如最接近虚拟视点的被摄体，在窗口604上显示空间分辨率。尽管未在图6中例示，在根据到特定目标点的距离设置空间分辨率的情况下，可以使用用户界面，通过该用户界面可以例如通过点击窗口602指定目标点(例如地面上的点)。
用户可以在观看窗口602上显示的图像的质量和窗口604至606上显示的数值的同时通过使用滑动条603来调整可接受的分辨率。此外，在用户按下OK按钮608的情况下，分辨率设置单元305根据与滑动条603对应的可接受分辨率计算的空间分辨率(窗口604)被设置为用于生成虚拟视点图像的空间分辨率。
通过采用上述处理的本实施例，能够在基于三维模型生成虚拟视点图像时保持可接受的质量的同时减少所使用的计算量或存储容量。换句话说，结果能够减少处理负荷。
[第二实施例]
在第二实施例中，给出关于用于在由多个视点拍摄的视频生成虚拟视点视频时抑制帧之间的分辨率的波动的构造的描述。这里，虚拟视点视频由多个帧构成，并且各个帧对应于虚拟视点图像。此外，通过使用构成由各个照相机101几乎同时获得的视频的帧来生成各个虚拟视点图像。
当三维模型的空间分辨率恒定而与帧无关时，存在如前所述根据虚拟视点的位置发生虚拟视点图像的分辨率降低的可能性。换句话说，在时间上发生分辨率的波动。在本实施例中，通过使用与第一实施例类似的方法，通过适当地计算空间分辨率来抑制帧之间的分辨率的波动，使得各个帧图像的各个帧的虚拟视点图像的可接受分辨率变得固定。
因为根据本实施例的图像生成装置的基本构造与第一实施例中的相同，因此省略其描述。在下文中，参考图7的流程图给出关于第二实施例的处理的描述。
与第一实施例类似地进行步骤S402和步骤S405。在步骤S701中，图像获取单元301初始化帧编号n并将n的值设置为初始帧编号。接下来，在步骤S702中，图像获取单元301获取帧编号n的多视点图像数据。具体地，图像获取单元301从照相机101分别获取的运动图像数据来获取大致同时获得的帧编号n的图像组。
在步骤S703中，视点获取单元304获取各个帧的虚拟视点的位置信息。例如，视点获取单元304可以获取帧编号n的虚拟视点的参数。虚拟视点参数如第一实施例中所述。与第一实施例类似地进行步骤S404。在步骤S406中，分辨率设置单元305通过与第一实施例类似的方法设置帧编号n的被摄体形状数据的分辨率。具体地，分辨率设置单元305针对各个帧，根据虚拟视点和基准点之间的距离来设置被摄体形状数据的分辨率。与第一实施例类似地进行步骤S407。在步骤S408中，渲染单元307通过与第一实施例类似的方法生成帧编号n的虚拟视点图像。换句话说，渲染单元307针对各个帧，根据分辨率，通过使用视频组和被摄体形状数据，由虚拟视点生成被摄体的虚拟视点图像。通过这样的处理，渲染单元307生成虚拟视点视频。
渲染单元307在步骤S704中确定是否已经处理了所有帧。在存在要处理的剩余帧的情况下，图像获取单元301在步骤S705中将帧编号从n更新为n+1。在步骤S704中确定已完成所有帧的处理的情况下，处理结束。
注意，尽管在使用图7描述的前述处理中设置各个帧的被摄体形状数据的分辨率，但是并不限于此。例如，图像生成装置200可以针对各个帧计算虚拟视点和被摄体之间的距离，并且根据其中被摄体和虚拟视点最接近的帧的所述距离来设置每个帧的被摄体形状数据的分辨率。换句话说，可以根据要处理的多个帧当中的、虚拟视点图像中的被摄体的分辨率最低的帧的条件，来设置其他帧中的被摄体形状数据的分辨率。此外，在设置与相同拍摄时间对应的多个虚拟视点并且生成多个虚拟视点图像的情况下，类似地，可以针对各个虚拟视点并基于一个虚拟视点和基准点之间的关系来设置被摄体形状数据的分辨率，可以设置与另一个虚拟视点相关的被摄体形状数据的分辨率。
如第一实施例中所述，可以根据从虚拟视点到最靠近虚拟视点的被摄体或目标点的距离并且根据被摄体或目标点的可接受分辨率来设置空间分辨率。此外，在第二实施例中，分辨率设置单元305可以设置被摄体形状数据的分辨率，使得与虚拟视点视频内的基准点对应的位置的分辨率对于各个帧是固定的、在预定范围内、或者大于或等于预定的分辨率。换句话说，可以对各个帧使用固定值或者从预定范围内选择的值作为可接受的分辨率。在这种情况下，可以抑制被摄体或目标点附近的帧之间的分辨率的波动。此外，如第一实施例中所述，可以根据到被摄体的距离和可接受的分辨率使空间分辨率针对各个被摄体改变。在这种情况下，能够抑制各个被摄体的帧之间的分辨率的波动。
此外，在本实施例中，用户可以通过使用图6中所示的UI来进行可接受分辨率的设置。在这种情况下，可以这样构造，使得视频或虚拟视点视频当中仅仅一个代表性帧被显示到窗口602。例如，可以向窗口602显示其中被摄体和虚拟照相机503最接近的帧，并且基于该帧来设置可接受的分辨率。通过这种方法，能够在最苛刻的条件下设置可接受的分辨率。此外，能够使用UI在同时显示若干帧的状态下通过滑动条进行可接受分辨率的调整。以这种方式，能够将设置的可接受分辨率应用于所有帧。然而，对于每个帧，不需要严格固定可接受的分辨率，并且可接受的分辨率对于各个帧可能略微波动。
通过本实施例，能够抑制虚拟视点视频中的分辨率的随时间波动，并且生成对用户来说没有感觉不自然的虚拟视点视频。
其他实施例
可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以涵盖所有这类修改以及等同的结构和功能。

Claims (16)

1.一种图像处理装置，所述图像处理装置包括：
图像获取部，其用于获取基于由多个照相机从多个方向对目标区域进行图像拍摄所获得的图像；
信息获取部，其用于获取指示虚拟视点的位置的视点信息；
设置部，其用于基于目标区域内的基准位置和由信息获取部获取的视点信息，设置与目标区域内的被摄体的分辨率相关的参数，其中，该参数是三维模型的构成元素的大小，所述三维模型是指示被摄体的形状的数据；以及
生成部，其用于基于由图像获取部获取的图像，生成具有与设置部设置的参数对应的分辨率的被摄体的形状数据，并基于生成的形状数据和由信息获取部获取的视点信息，生成包括被摄体的图像的虚拟视点图像。
2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
确定部，其用于基于信息获取部获取的视点信息，确定基准位置与视点信息指示的虚拟视点位置之间的距离，其中，
设置部还基于由确定部确定的所述距离来设置与分辨率相关的参数。
3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
照相机信息获取部，其用于获取指示多个照相机的位置的照相机信息，其中，
设置部还基于基准位置、视点信息和由照相机信息获取部获取的照相机信息来设置参数。
4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
接受部，其用于接受控制虚拟视点图像的分辨率的指令，其中，
设置部还基于基准位置、视点信息和接受部接受的指令来设置参数。
5.根据权利要求1所述的图像处理装置，其中，
基准位置是目标区域内的被摄体的位置。
6.根据权利要求1所述的图像处理装置，其中，
设置部还基于作为多个基准位置的多个被摄体的位置，并基于信息获取部获取的视点信息，来设置与所述多个被摄体的各个分辨率相关的参数。
7.根据权利要求1所述的图像处理装置，其中，
设置部还基于信息获取部获取的视点信息选择目标区域内的多个被摄体之一，并且，基于作为基准位置的所选被摄体的位置并基于视点信息来设置参数。
8.根据权利要求7所述的图像处理装置，其中，
设置部所选择的被摄体是所述多个被摄体当中的最靠近视点信息指示的虚拟视点的被摄体。
9.根据权利要求1所述的图像处理装置，其中，
设置部还基于作为基准位置的、帧图像的被摄体的位置，并基于信息获取部获取的视点信息，来设置与虚拟视点图像的多个帧图像的各个帧图像的被摄体的分辨率相关的参数。
10.根据权利要求1所述的图像处理装置，其中，
基准位置是多个照相机所指向的位置。
11.根据权利要求1-10中任一项所述的图像处理装置，其中，
指示虚拟视点的方向的信息和指示虚拟视点图像的视角的信息被包括在由信息获取部获取的视点信息中。
12.根据权利要求1-10中任一项所述的图像处理装置，其中，
生成部还基于图像获取部获取的图像生成被摄体的形状数据，并基于生成的形状数据、信息获取部获取的视点信息和设置部设置的参数，生成包括具有与参数对应的分辨率的被摄体的图像的虚拟视点图像。
13.根据权利要求1-10中任一项所述的图像处理装置，所述图像处理装置还包括：
显示控制部，其用于使显示器显示用于根据设置部设置的参数生成虚拟视点图像的处理时间，或者显示具有与参数对应的分辨率的形状数据的数据大小。
14.根据权利要求1-10中任一项所述的图像处理装置，其中，
设置部还以使得虚拟视点图像的多个帧图像的基准位置的分辨率参数包括在预定范围内的方式设置参数。
15.一种方法，所述方法包括：
获取基于由多个照相机从多个方向对目标区域进行图像拍摄所获得的图像；
获取指示虚拟视点的位置的视点信息；
基于目标区域内的基准位置和获取的视点信息，设置与目标区域内的被摄体的分辨率相关的参数，其中，该参数是三维模型的构成元素的大小，所述三维模型是指示被摄体的形状的数据；以及
基于获取的图像，生成具有与设置的参数对应的分辨率的被摄体的形状数据，并基于生成的形状数据和获取的视点信息，生成包括被摄体的图像的虚拟视点图像。
16.一种存储计算机程序的存储介质，所述计算机程序包括当程序被计算机执行时使计算机实施根据权利要求15所述的方法的指令。
CN201810902118.1A 2017-08-10 2018-08-09 图像处理装置、方法和存储介质 Active CN109389545B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-155882 2017-08-10
JP2017155882A JP7033865B2 (ja) 2017-08-10 2017-08-10 画像生成装置、画像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN109389545A CN109389545A (zh) 2019-02-26
CN109389545B true CN109389545B (zh) 2023-05-26

Family

ID=63207508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810902118.1A Active CN109389545B (zh) 2017-08-10 2018-08-09 图像处理装置、方法和存储介质

Country Status (5)

Country Link
US (1) US10872462B2 (zh)
EP (1) EP3442225B1 (zh)
JP (1) JP7033865B2 (zh)
KR (1) KR102316061B1 (zh)
CN (1) CN109389545B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
CN110008802B (zh) * 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
WO2020188929A1 (ja) * 2019-03-18 2020-09-24 ソニー株式会社 撮像装置、情報処理方法、およびプログラム
KR102629225B1 (ko) * 2019-05-16 2024-01-29 캐논 가부시끼가이샤 배치 결정 장치, 시스템, 배치 결정 방법 및 기록 매체
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7290546B2 (ja) * 2019-10-29 2023-06-13 Kddi株式会社 ３ｄモデル生成装置および方法
JPWO2021100681A1 (zh) * 2019-11-20 2021-05-27
CN114981877A (zh) * 2020-12-23 2022-08-30 京东方科技集团股份有限公司 移位寄存器及其驱动方法、栅极驱动器、显示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
JP2014044569A (ja) * 2012-08-27 2014-03-13 Xacti Corp 電子機器
CN104038690A (zh) * 2013-03-05 2014-09-10 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
CN107018355A (zh) * 2015-12-14 2017-08-04 佳能株式会社 信息处理设备、信息处理方法和计算机可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2000236535A (ja) * 1999-02-15 2000-08-29 P I Ii:Kk 動画像情報処理方法および装置ならびに動画像情報配信方法
JP3718472B2 (ja) * 1999-12-06 2005-11-24 富士通株式会社 画像表示方法および装置
JP2002366935A (ja) 2001-06-12 2002-12-20 Minolta Co Ltd ボリュームデータの生成方法および装置並びにコンピュータプログラム
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
WO2010023580A1 (en) * 2008-08-29 2010-03-04 Koninklijke Philips Electronics, N.V. Dynamic transfer of three-dimensional image data
CA2754672C (en) * 2009-03-25 2017-11-21 Sony Computer Entertainment Inc. Information processing device and information processing method
US8655632B2 (en) * 2009-09-03 2014-02-18 Schlumberger Technology Corporation Gridless geological modeling
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP5562103B2 (ja) * 2010-04-16 2014-07-30 キヤノン株式会社 画像処理装置および方法
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
US20160140733A1 (en) * 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
KR102167988B1 (ko) * 2015-09-16 2020-10-20 주식회사바텍 3차원 엑스선 영상 표시 장치
EP3264372A1 (en) * 2016-06-30 2018-01-03 Alcatel Lucent Image processing device and method
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10762653B2 (en) * 2016-12-27 2020-09-01 Canon Kabushiki Kaisha Generation apparatus of virtual viewpoint image, generation method, and storage medium
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP6425847B1 (ja) 2017-08-14 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
JP2014044569A (ja) * 2012-08-27 2014-03-13 Xacti Corp 電子機器
CN104038690A (zh) * 2013-03-05 2014-09-10 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法
CN107018355A (zh) * 2015-12-14 2017-08-04 佳能株式会社 信息处理设备、信息处理方法和计算机可读存储介质
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
以目标为中心的MCRBR视点空间投影方法;于吉红等;《计算机应用与软件》;20121215(第12期);全文 *
基于深度图像分割的虚拟视点绘制;娄达平等;《计算机工程》;20161015(第10期);全文 *

Also Published As

Publication number Publication date
JP2019036790A (ja) 2019-03-07
US20190051035A1 (en) 2019-02-14
KR20190017653A (ko) 2019-02-20
JP7033865B2 (ja) 2022-03-11
EP3442225A1 (en) 2019-02-13
CN109389545A (zh) 2019-02-26
EP3442225B1 (en) 2022-11-02
US10872462B2 (en) 2020-12-22
KR102316061B1 (ko) 2021-10-22

Similar Documents

Publication Publication Date Title
CN109389545B (zh) 图像处理装置、方法和存储介质
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
US9412151B2 (en) Image processing apparatus and image processing method
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
US20180098047A1 (en) Imaging system, image processing apparatus, image processing method, and storage medium
US9036007B2 (en) System and method for converting two dimensional to three dimensional video
CN110460835B (zh) 图像处理装置及其控制方法和计算机可读存储介质
JP2019125929A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US11282176B2 (en) Image refocusing
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
US10742852B2 (en) Image processing apparatus, object shape estimation method, and storage medium
JP2015213299A (ja) 画像処理装置および画像処理方法
JP7374582B2 (ja) 画像処理装置、画像生成方法およびプログラム
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
US11087482B2 (en) Apparatus that generates three-dimensional shape data, method and storage medium
US11328494B2 (en) Image processing apparatus, image processing method, and storage medium
JP2019067419A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6915016B2 (ja) 情報処理装置及び方法、情報処理システム、ならびにプログラム
US20240193744A1 (en) Image processing device and image processing method
CN117528236A (zh) 虚拟摄像机的调整方法和装置
CN113132715A (zh) 一种图像处理方法、装置、电子设备及其存储介质
WO2012090813A1 (ja) 画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant