CN111340933A - 图像处理装置、图像处理系统、图像处理方法和存储介质 - Google Patents

Abstract

本公开提供图像处理装置、图像处理系统、图像处理方法和存储介质。本公开的技术能够改善物体形状。本公开的图像处理装置获得基于通过多个摄像装置获得的多个拍摄图像生成的物体的三维形状模型，并且基于参考模型校正所获得的三维形状模型。

Description

图像处理装置、图像处理系统、图像处理方法和存储介质

技术领域

本公开的技术涉及用于根据使用多个摄像装置彼此同步拍摄的多个图像来生成虚拟视点图像的技术。

背景技术

近年来，如下技术正引起关注，该技术涉及将多个摄像装置安装在不同的位置，从多个视点彼此同步地拍摄单个物体的图像，并使用通过该摄像而获得的多个图像来生成如从任意期望的虚拟视点观看的物体的虚拟视点图像。日本特开2008-015756号公报公开了一种用于生成这种虚拟视点图像的技术。

如上所述的虚拟视点图像使得观看者能够从各种角度观看例如足球比赛或篮球比赛中的精彩场景，并且因此可以为观看者提供比通过摄像装置拍摄的正常图像更高的临场感。

此外，除了增强临场感之外，该技术还使得观看者能够在影响比赛状况或判断的场景中，在没有诸如运动员的其他物体遮挡诸如球的关注物体的情况下检查该关注物体。例如，通过将虚拟视点设置在球和线都可见且不会被运动员遮挡的位置，可以诸如在难以判断球在线内还是线外时，为观看者提供清晰地拍摄可疑场景的瞬间的虚拟视点图像。

然而，在任意安装的摄像装置的视线中关注物体被其他物体遮挡的情况或其他类似情况下，基于多个图像生成的关注物体的三维形状模型可能会变形或丢失其轮廓的一部分。结果，可能以低再现精度生成虚拟视点图像。

鉴于此，本公开的技术的目的是提高物体形状的精度。

发明内容

本公开的技术包括：获得单元，其被构造为，获得基于通过多个摄像装置获得的多个拍摄图像生成的物体的三维形状模型；以及校正单元，其被构造为，基于参考模型校正所获得的三维形状模型。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是实施例1中的图像处理系统的整体构造图；

图2是图像处理装置的硬件构造图；

图3A是示出实施例1中的事件信息的示例的图；

图3B是示出实施例1中的事件信息的示例的图；

图4A是示出实施例1中的参考模型信息的示例的图；

图4B是示出实施例1中的参考模型信息的示例的图；

图4C是示出实施例1中的参考模型信息的示例的图；

图5A是示出实施例1中的3D模型信息的示例的图；

图5B是示出实施例1中的3D模型信息的示例的图；

图5C是示出实施例1中的3D模型信息的示例的图；

图6A是示出实施例1中的用户终端的示例画面的图；

图6B是示出实施例1中的用户终端的示例画面的图；

图6C是示出实施例1中的用户终端的示例画面的图；

图7是实施例1中的拟合处理的流程图；

图8是实施例1中的获得目标模型的处理的流程图；

图9是实施例1中的获得参考模型的处理的流程图；

图10是实施例1中的校正目标模型的处理的流程图；

图11是实施例1中的绘制处理的流程图；

图12是实施例2中的拟合处理的流程图；

图13是实施例2中的检查目标模型的状态的处理的流程图；

图14是实施例3中的绘制处理的流程图；并且

图15是示出实施例3中的构图重叠的示例的图。

具体实施方式

下面将参照附图描述本公开的技术的实施例。

(实施例1)

图1是根据本公开的技术的实施例1的图像处理系统的整体构造图。

图像处理系统包括多视点图像存储单元1、事件信息存储单元2、参考模型存储单元3、图像处理装置4和用户终端5。图像处理装置4包括3D模型生成存储单元401、绘制单元402和拟合单元403。用户终端5具有显示单元501、虚拟相机设置单元502和场景选择单元503。

图2是示出图像处理装置4的硬件构造的图。图像处理装置4包括CPU 11、ROM 12、RAM 13、外部存储器14、输入单元15、通信I/F 16和系统总线17。CPU 11具有对图像处理装置4中的操作的总体控制，并且通过系统总线17控制上述部件(12至16)。ROM 12是非易失性存储器，其存储CPU 11执行处理所需的程序。注意，该程序可以存储在外部存储器14或可拆卸存储介质(未示出)中。RAM 13用作CPU 11的主存储器和工作区域。总而言之，在执行处理时，CPU 11将所需的程序从ROM 12加载到RAM 13，并执行所加载的程序，从而实现各种功能和操作。

外部存储器14存储CPU 11使用该程序进行处理所需的各种数据和各种信息。另外，外部存储器14可以存储由于由CPU 11使用该程序进行的处理而获得的各种数据和各种信息，和/或包括图1中示出的多视点图像存储单元1、事件信息存储单元2和参考模型存储单元3。

输入单元15由键盘、操作按钮等形成，并且用户可以通过操作输入单元15来输入参数。通信I/F 16是用于与外部装置进行通信的接口。系统总线17将CPU 11、ROM 12、RAM13、外部存储器14、输入单元15和通信I/F 16相互通信连接。

CPU 11能够通过执行程序实现图1所示的图像处理装置4的各单元的功能。然而，图1中所示的图像处理装置4的至少一些单元可以作为专用硬件来操作。在这种情况下，专用硬件在CPU 11的控制下操作。

注意，图像处理装置4可以具有与CPU 11不同的一个或多个专用硬件或图形处理单元(GPU)，并且GPU或专用硬件可以进行CPU 11的至少一部分处理。专用硬件的示例包括专用集成电路(ASIC)、数字信号处理器(DSP)等。

此外，用户终端5还可以具有如图2所示的硬件构造，其输入单元15可以具有图像显示功能。

返回参照图1，将描述图像处理系统的各部件的功能。

多视点图像存储单元1存储多视点图像，该多视点图像具有通过以围绕摄像区域(诸如体育场)的方式安装的多个相机(摄像装置)彼此同步地拍摄的多个图像。

事件信息存储单元2存储关于保持在多视点图像存储单元1中的多视点图像的事件信息。这里，事件信息至少包含诸如事件名称、以及举行事件的日期和地点的基本事件信息，以及按时间顺序记录了事件中发生的动作的事件日志信息。

图3A和图3B示出了在事件是足球比赛的情况下的事件信息的示例。基本事件信息至少包含关于事件名称、举行事件的日期和地点、以及参赛者的信息，如图3A所示。事件日志信息至少包含事件中发生的某些动作的名称以及这些动作的发生时间(时间1)。图3B所示的事件日志信息还包含：各个动作发生的相对时间(时间2)(诸如“上半场第3分钟”)、发生动作的区域(诸如“右侧中心”)、以及诸如视频判断是否有效的信息。除了这些之外，事件日志信息还可以包含得分信息和场景时间信息。

参考模型存储单元3存储多视点图像存储单元1中保持的多视点图像中包含的物体当中的校正目标物体的三维形状模型(以下称为参考模型)。参考模型存储单元3还存储包含关于参考模型的各种信息的参考模型信息。这里，参考模型信息至少包含关于各个参考模型的名称和形状的信息。

图4A至图4C示出了在校正目标物体是足球的情况下参考模型信息的示例。参考模型的名称与物体相同，即“足球”。如图4A所示，参考模型信息中包含的形状信息至少包含诸如“球”的形状类型、诸如“22cm直径”的尺寸信息以及关于参考模型的比例信息。参考模型信息还可以包含如图4A所示的诸如“白色”的基本颜色信息、如图4C所示的多视点拍摄图像数据或如图4B所示的要附加到3D模型的纹理数据。

接下来，将描述图像处理装置4的3D模型生成存储单元401、绘制单元402和拟合单元403。

3D模型生成存储单元401生成通过从多视点图像存储单元1获得的多视点图像中提取诸如运动员和球的运动物体而获得的前景图像数据，并根据这些前景图像数据生成三维形状模型(形状模型)。通过图像处理(诸如提取与诸如在比赛开始之前在不存在上述运动物体的状态下拍摄的背景图像数据的差异)生成这些前景图像数据。通过三维形状重建处理(诸如体积交叉法)生成形状模型(廓影法中的形状)。

此外，3D模型生成存储单元401存储由此生成的前景图像数据和形状模型、以及在生成中使用的形状模型信息，并且响应于获得它们的请求而将它们提供给绘制单元402和拟合单元403。这里，形状模型信息至少包含关于多视点图像存储单元1中保持的多视点图像的摄像信息和关于形状模型的比例信息。

图5A至图5C示出在摄像位置是足球场的情况下的摄像信息的示例。摄像信息至少包含如图5A所示的各个相机的参数，并且还可以包含注视点(方向点)的数量、注视点的坐标、各个注视点的相机数量、每对相邻相机之间的角度、以及由划分的摄像范围形成的区划图，如图5B所示。这里，各个相机的参数至少包括相机的位置、姿态和焦距。对于各个时间和各个形状模型，3D模型生成存储单元401还可以存储诸如相机列表和用于生成形状模型的相机数量、以及指示所使用的相机之间的最大间隔的最大相机间角度的信息，如图5C所示。另外，3D模型生成存储单元401从拟合单元403接收并存储校正后的形状模型。

绘制单元402基于从用户终端5的虚拟相机设置单元502或拟合单元403接收的虚拟相机参数，使用诸如基于模型的绘制等方法来生成虚拟视点图像。然后，绘制单元402将所生成的虚拟视点图像数据传递给用户终端5。这里，虚拟相机是与实际安装在摄像区域周围的多个摄像装置不同的虚拟存在的相机，并且是用于方便解释虚拟视点的概念。总之，虚拟视点图像是虚拟相机虚拟拍摄的图像。虚拟相机参数是至少指定虚拟相机的位置和姿态的参数(虚拟视点信息)，并且与帧编号或时间码相关联以识别该参数属于多视点图像中的哪个帧。另外，绘制单元402具有在处理开始时所参考的校正数据使用标志，并且在该标志为开的情况下，使用由拟合单元403校正的形状模型来进行绘制。稍后将描述绘制单元402的细节。

拟合单元403从事件信息和参考模型信息中识别出何时将哪个物体作为校正目标，并从3D模型生成存储单元401获得被识别为校正目标的物体的形状模型(以下称为目标模型)。然后，拟合单元403校正目标模型以使其与相应的参考模型匹配。然后，拟合单元403将校正后的目标模型传递给3D模型生成存储单元401。此外，拟合单元403从事件信息存储单元2获得与校正后的目标模型相关联的事件日志信息，并将其传递给场景选择单元503。拟合单元403的细节将在后面描述。同时，从事件信息和参考模型信息中识别出校正目标物体。然而，对于所有场景，参考模型的物体可以是校正目标。在这种情况下，可以仅从参考模型信息中识别出校正目标。

接下来，将描述用户终端5的显示单元501、虚拟相机设置单元502和场景选择单元503。

显示单元501基于通过网络等(未示出)从图像处理装置4接收的虚拟视点图像数据，显示虚拟视点图像。

虚拟相机设置单元502基于用户输入来配置虚拟相机的设置，并将设置结果作为虚拟相机参数传递给绘制单元402。用户可以通过操作显示在用户终端5的显示单元501上的诸如滑块的UI、或在配备有陀螺仪传感器的情况下倾斜用户终端5，来控制虚拟相机的位置、姿态和视角。

场景选择单元503根据从拟合单元403接收的事件日志信息生成场景选择画面，并将其显示在显示单元501上。图6A示出了基于图3B所示的事件日志信息而生成的场景选择画面的示例。在图6A所示的示例中，场景选择单元503在事件日志信息包含的信息中，将动作的名称和发生的相对时间、可以改变得分的动作的得分信息、以及视频判断有效的动作的视频判断图标，显示在场景选择画面上。在用户选择的场景包含作为校正目标形状模型的目标模型的情况下，场景选择单元503将场景识别信息传递给拟合单元403。这里，场景识别信息是用于识别事件日志信息中包含的动作的信息，并且具体地是动作名称和动作发生时间。

在用户在场景选择画面上选择视频判断有效的动作的情况下，场景选择单元503生成回放模式选择画面，以供用户选择是否校正相应的目标模型。图6B示出了在用户在图6A所示的场景选择画面中选择了“上半场，第3分钟，射门(0-0)”的情况下的回放模式选择画面的示例。在图6B所示的示例中，场景选择单元503在回放模式选择画面上呈现涉及校正目标模型的“判断”模式和不涉及校正目标模型的“回放”模式。在用户选择“判断”模式的情况下，场景选择单元503将场景识别信息传递给拟合单元403。在图6B所示的示例中，场景识别信息是动作名称“射门”和动作发生时间“10:03:50”。

图7是由拟合单元403进行的拟合处理的流程图。

在S601中，在从场景选择单元503接收到场景识别信息时，拟合单元403开始拟合处理。拟合单元403基于场景识别信息，从事件信息存储单元2获得相应动作的事件日志信息。在事件日志信息具有图3B所示的内容、并且场景识别信息是动作名称“射门”且动作发生时间是“10:03:50”的情况下，由拟合单元403获得的事件日志信息是第二动作的事件日志信息。

在S602中，拟合单元403基于获得的事件日志信息来确定拟合目标物体。各个事件日志信息中的动作可以具有单独的目标物体，或者各个动作名称都可以与目标物体相关联。例如，假设拟合单元403在S601中获得如图3B所示的事件日志信息中的第二动作，并且“足球”作为目标物体与事件日志信息中包含的动作名称相关联。在这种情况下，拟合单元403将“足球”确定为校正目标物体。

在S603中，拟合单元403从3D模型生成存储单元401获得作为所确定的校正目标物体的形状模型的目标模型。稍后将描述目标模型获得处理的细节。

在S604中，拟合单元403确定是否已经获得目标模型。如果未获得目标模型(在S604中为“否”)，则拟合单元403终止拟合处理。如果已经获得目标模型(在S604中为“是”)，则拟合单元403进行到S605。

在S605中，拟合单元403从参考模型存储单元3获得目标物体的参考模型。

在S606中，拟合单元403校正目标模型，以使其形状与参考模型的形状匹配。稍后将描述参考模型获得处理和目标模型校正处理的细节。

然后，拟合单元403将校正后的目标模型登记到3D模型生成存储单元401中。校正后的目标模型可以被登记为对3D模型生成存储单元401中保持的校正之前的目标模型的替换，或被另外登记，使得校正之前的目标模型和校正之后的目标模型可区分。在另外登记校正后的目标模型的情况下，例如，三维形状模型配设有表示数据类型(该数据类型指示是否为校正后的数据)的元数据。另外，绘制单元402配设有校正数据使用标志，该校正数据使用标志用于确定在绘制处理中是否使用校正后的目标模型(校正后的数据)。然后，通过打开或关闭绘制单元402的校正数据使用标志，可以控制在绘制中是使用校正之前的目标模型还是校正之后的目标模型。

在S608中，拟合单元403确定指定用于生成所登记的校正目标模型的虚拟视点图像的虚拟相机的虚拟相机参数。可以将多视点同步摄像范围划分为几个区划，并且可以针对各个区划或者针对区划和动作名称的各个组合来确定虚拟相机参数。或者，可以根据目标模型的校正状态来确定虚拟相机参数。这里，将讨论通过使用区划图来指定虚拟相机的位置和姿态的示例。假设在图5B所示的区划图中的区划“ZB5”中存在目标物体“足球”。在这种情况下，例如可以将虚拟相机的位置确定为距区划“ZB4”的中心2m的高度，并且可以将虚拟相机的注视点确定为距区划“ZB5”的中心或目标物体的中心0m的高度。或者，可以将虚拟相机放置在高度为1m、距目标物体3m的圆的圆周上。以这种方式，角度可以是使得在虚拟相机正对目标模型的情况下目标模型的校正量最小。

注意，构造可以是使得可以通过如图6C所示的用户终端5的显示单元501上显示的画面中的“改变视点”按钮等来改变由拟合单元403在S608中确定的虚拟相机的位置、姿态和视角。

在S609中，拟合单元403打开绘制单元402的校正数据使用标志，以指示绘制单元402通过使用登记的校正目标模型从确定的虚拟视点生成虚拟视点图像。然后，拟合单元403终止拟合处理。

注意，在连续多次进行拟合处理的情况下，可以跳过第二次及之后操作中的S602、S605和S608。

图8是通过拟合单元403获得目标模型的处理的流程图。

在S701中，在确定校正目标物体时，拟合单元403开始目标模型获得处理。根据在图7的S601中获得的事件日志信息，拟合单元403识别从中获得物体的时间和区域。在图3B所示的示例中，事件日志信息表示第二动作的情况下，拟合单元403识别出：在时间“10:03:50”，从主看台侧观察，在区域“右侧中心”中存在由拟合单元403获得的目标物体“足球”。

在S702中，拟合单元403从3D模型生成存储单元401获得3D模型信息。

在S703中，拟合单元403从参考模型存储单元3获得参考模型信息。

在S704中，拟合单元403从所获得的3D模型信息和参考模型信息中识别：在多视点同步摄像范围中何处存在将成为目标模型的形状模型以及该形状模型具有什么形状。

这里，将使用图5B所示的区划图来描述使用指示在3D模型信息中包含的摄像范围的区划图来识别目标模型的方法。在S701中识别的区域“右侧中心”可以被识别为区划“ZB5”。还假设3D模型信息是图5A所示的示例，并且参考模型信息是图4A所示的示例。在这种情况下，根据3D模型比例“1/10”和形状“22cm直径球”，可以将目标物体“足球”的形状特征(以下称为目标形状特征)识别为“22mm直径球”。

在S705中，拟合单元403获得在3D模型生成存储单元401中保持的形状模型当中的、在目标时间(例如“10:03:50”)、目标范围(例如区划“ZB5”)中存在的形状模型。

在S706中，拟合单元403确定所获得的形状模型是否与目标形状特征(例如“22mm直径球”)匹配。如果形状模型与目标形状特征匹配(S706中为“是”)，则拟合单元403获得形状模型作为目标模型。然后，拟合单元403终止目标模型获得处理。可以基于形状模型与目标形状特征之间的长度或体积的差是否为预定值或更小、或者形状模型与通过预先执行稍后描述的参考模型获得处理(图7中的S605)获得的参考模型之间的差是否为预定值或更小，来确定形状模型是否与目标形状特征相匹配。同时，还存在由于运动员和球彼此接触等而将多个物体接合以形成单个形状模型的情况。为此，代替整个形状模型，可以确定形状模型的一部分是否与目标形状特征匹配，并且可以切出匹配的部分作为目标模型。如果在S706中获得的形状模型与目标形状特征不匹配(在S706中为“否”)，则拟合单元403进行到S707。

在S707中，拟合单元403确定在目标时间存在于目标范围内的形状模型当中是否存在在S705中尚未获得的其他形状模型。如果存在尚未获得的其他形状模型(在S707中为“是”)，则拟合单元403获得所述其他形状模型。另一方面，如果不存在尚未获得的任意形状模型(S707中为“否”)，则拟合单元403终止目标模型获得处理。

注意，在连续多次进行拟合处理的情况下，可以跳过第二次及之后操作中的S701、S702、S703和S704中对目标范围的获得。此外，在3D模型生成存储单元401存储形状模型使得已经识别出形状模型与其各自的物体之间的关联的情况下，仅通过在S701中识别目标时间即可获得目标模型。

图9是通过拟合单元403获得参考模型的处理的流程图。

在获得目标模型时，拟合单元403开始参考模型获得处理。

在开始参考模型获得处理时，首先在S801中，拟合单元403根据在图8的S702和S703中获得的3D模型信息和参考模型信息，识别目标模型及其参考模型中的各个的比例。在3D模型信息是图5A所示的示例的情况下，目标模型的比例为“1/10”，在参考模型信息是图4A所示的示例的情况下，参考模型的比例为“1/5”。

在S802中，拟合单元403从参考模型存储单元3获得目标物体的参考模型。

在S803中，拟合单元403调整获得的参考模型，使其比例与目标模型的比例匹配，然后终止参考模型获得处理。例如，在目标模型的比例为“1/10”而参考模型的比例为“1/5”的情况下，通过减小参考模型的大小来调整参考模型，以使其比例变为“1/10”。注意，代替调整参考模型，可以调整目标模型以使其比例与参考模型匹配，并且可以在随后描述的目标模型校正中将目标模型的比例设置回原始比例。

图10是拟合单元403对目标模型进行校正的处理的流程图。

在获得参考模型时，拟合单元403开始目标模型校正处理。

在开始目标模型校正处理时，首先在S901中，拟合单元403获得在图7的S603中获得的目标模型的高度、宽度和深度。在目标物体是形状为“22mm直径球”的“足球”的情况下，所获得的目标模型的高度、宽度和深度中的至少一个可能在22mm左右，即使目标模型的体积由于部分丢失或变形而约为1/3。

在S902中，拟合单元403基于所获得的高度、宽度和深度来计算中心坐标。

在S903中，拟合单元403临时放置参考模型，使得计算出的目标模型的中心坐标与参考模型的中心坐标彼此匹配。注意，在连续多次进行拟合处理的情况下，可以跳过第二次及之后操作中的S901和S902，并且可以将紧接之前的时间在S903中将参考模型移动到的位置，用作在S903中临时放置参考模型的位置。

在S904中，拟合单元403在上下、左右和前后方向上移动临时放置的参考模型，以识别使参考模型与目标模型之间的重叠区域最大的位置，从而调整放置参考模型的坐标。

在S905中，拟合单元403移动参考模型，使得参考模型的中心坐标与设置参考模型的调整坐标相匹配。注意，在目标模型具有诸如橄榄球的形状的低对称形状并且还需要轴向(方向)调整的情况下，拟合单元403使临时放置的参考模型水平和/或垂直旋转，以调整参考模型的布置(包括参考模型的姿态)。

在S906中，拟合单元403将目标模型表面和参考模型表面相互比较。通过获得各个目标模型表面与对应的参考模型表面在预定单位(例如体素)方面的差异，来比较目标模型和参考模型的表面。目标模型与参考模型之间的比较结果分为以下三种结果。第一种是在参考模型表面上不存在目标模型(即，目标模型表面存在于参考模型表面内部)的情况，并且比较结果指示存在差异。第二种是在参考模型表面上存在目标模型而不存在目标模型表面(即，目标模型表面存在于参考模型表面外部)的情况，并且比较结果指示存在差异。第三种是参考模型表面和目标模型表面相互匹配的情况，并且比较结果指示没有差异。注意，可以将各个表面区域与例如在以参考模型和目标模型的重叠区域中的任意坐标为中心的极坐标系中具有两个相同的自变量的表面区域进行比较。

在S907中，对于具有指示存在差异的比较结果的每对目标模型表面和参考模型表面，拟合单元403改变目标模型表面从而校正目标模型。然后，拟合单元403终止目标模型校正处理。在对应的参考模型表面上不存在对应的目标模型表面(即，目标模型表面位于参考模型表面内部)的情况下，拟合单元403可以通过将参考模型表面添加到目标模型来校正目标模型。另一方面，在存在目标模型表面但不存在于参考模型表面上(即，目标模型表面位于参考模型表面外部)的情况下，拟合单元403可以通过用参考模型表面替换目标模型表面来校正目标模型。注意，可以通过跳过S906中的表面比较并插入临时放置的参考模型的整个表面作为目标模型表面来校正目标模型。

图11是绘制单元402进行的绘制处理的流程图。

当从拟合单元403或虚拟相机设置单元502发送虚拟相机参数时，绘制单元402开始绘制处理，并且在S1001中，接收虚拟相机参数。

在S1002中，绘制单元402从3D模型生成存储单元401获得3D模型信息中包含的相机参数。注意，由于只要在多视点同步摄像期间相机位置和注视点位置没有变化，相机参数将保持不变，因此在已经获得了相机参数的情况下，可以跳过S1002。

在S1003中，绘制单元402从3D模型生成存储单元401获得在由虚拟相机参数指定的时间通过多视点同步摄像而获得的拍摄图像、以及对应的形状模型。在存在由拟合单元403校正的目标模型的情况下，已经添加了校正后的目标模型，使得获得的形状模型的数量加一。注意，代替获得拍摄图像，绘制单元402可以获得各背景图像数据和各前景图像数据。

在S1004中，基于校正数据使用标志，绘制单元402确定是否使用校正后的数据。

如果校正数据使用标志为开(S1004中为“是”)，则绘制单元402基于目标模型的数据类型来识别校正之后的目标模型。

在S1006中，绘制单元402获得绘制信息，该绘制信息包含用于绘制包含校正之后的目标模型的场景的数据，具体地，为包括校正之后的目标模型的形状模型和背景图像的数据。

在S1007中，绘制单元402通过使用拍摄图像，对包含在同一场景中的所有形状模型(排除校正之前的目标模型而包括校正之后的目标模型)进行绘制，以从虚拟相机获得这些形状模型的虚拟视点图像。在S1006中获得的绘制信息可以是参考模型信息中包含的特定颜色数据(诸如图4A中所示的基本颜色“白色”)、图4C中所示的多视点拍摄图像数据、或图4B中所示的三维形状模型纹理数据。至于在使用多视点拍摄图像数据或三维形状模型纹理数据的情况下目标模型的姿态，可以假设目标模型的正面正对虚拟相机，或者可以根据拍摄图像中的目标物体的图案等来计算姿态。另外，可以转换在S1006中获得的绘制信息，以使目标模型的亮度、色调和鲜艳度接近拍摄图像中的亮度、色调和鲜艳度，然后可以在S1007中进行绘制。与在S1006中获得的绘制信息无关，可以通过使用拍摄图像数据在S1007中绘制未被拟合单元403校正的表面。

如果校正数据使用标志为关(在S1004中为“否”)，则在S1008中，绘制单元402绘制包含在同一场景中的形状模型(排除校正之后的目标模型而包括校正之前的目标模型)。在这种情况下，绘制单元402获得包括校正之前的目标模型的形状模型和背景图像的数据，并利用该数据进行绘制，以从虚拟相机获得虚拟视点图像。

通过以上述方式校正关注物体的形状，可以生成虚拟视点图像而不会使关注物体变形或丢失其轮廓的一部分。

(实施例2)

图12是根据本公开的技术的实施例2的图像处理系统中的拟合处理的流程图。注意，除了用于拟合处理的构造之外，其他构造与实施例1中的构造相同，因此将不对其进行详细描述。S1101至S1104和S1107至S1111是与图7中的S601至S609类似的处理，因此将不进行详细描述。

当从场景选择单元503接收到场景识别信息时，拟合单元403开始拟合处理。

在拟合处理开始时，在S1101中，拟合单元403获得相应动作的事件日志信息。

在S1102中，拟合单元403确定拟合目标物体。

在S1103中，拟合单元403从3D模型生成存储单元401获得目标模型。

如果尚未获得目标模型(S1104中为“否”)，则拟合单元403终止拟合处理。如果已经获得目标模型(在S1104中为“是”)，则拟合单元403进行到S1105。

在S1105中，拟合单元403检查目标模型的状态。稍后将描述由拟合单元403进行的目标模型状态检查处理的细节。

在S1106中，拟合单元403确定目标模型是否需要校正。

如果确定目标模型不需要校正，并且例如指示需要校正的校正标志为关(S1106中为“否”)，则拟合单元403终止拟合处理。另一方面，如果确定目标模型需要校正，并且例如上述校正标志为开(S1106中为“是”)，则拟合单元403进入S1107。

在S1107中，拟合单元403获得目标物体的参考模型。

在S1108中，拟合单元403校正目标模型。

在S1109中，拟合单元403将校正后的目标模型登记到3D模型生成存储单元401中。

在S1110中，拟合单元403确定虚拟相机参数。

在S1111中，拟合单元403打开绘制单元402的校正数据使用标志，以指示绘制单元402通过使用登记的校正后的目标模型来生成虚拟视点图像。然后，拟合单元403终止拟合处理。

图13是拟合单元403检查目标模型的处理的流程图。

在图12的S1103中获得目标模型时，拟合单元403开始目标模型状态检查处理。

在目标模型状态检查处理开始时，在S1201中，拟合单元403获得与所获得的目标模型有关的预定目标模型特征。

在S1202中，拟合单元403确定所获得的目标模型特征是否满足预定标准。

如果目标模型特征满足标准(在S1202中为“是”)，则拟合单元403例如在S1203中关闭指示需要对目标模型的数据进行校正的校正标志。

如果目标模型特征不满足标准(在S1202中为“否”)，则拟合单元403例如在S1204中向目标模型的数据给出指示需要进行校正的上述校正标志。

在目标模型特征是用于生成目标模型的拍摄图像的数量的情况下，拟合单元403在S1201中从3D模型生成存储单元401获得使用的拍摄图像的数量，并在S1202中确定拍摄图像的数量是否大于预定数量。

在目标模型特征是拍摄用于生成目标模型的拍摄图像的相机之间的最大角度的情况下，拟合单元403在S1201中从3D模型生成存储单元401获得最大相机间角度信息。然后，在S1202中，拟合单元403确定最大相机间角度是否为预定值或更小。

在目标模型特征是根据目标模型的尺寸(高度、宽度和深度)、体积等计算出的值的情况下，在S1201中，拟合单元403识别目标模型的尺寸。然后，拟合单元403在S1202中确定目标模型的尺寸与基于参考模型信息导出的参考模型的尺寸之间的差是否为预定值或更小。

在目标模型特征是用于生成目标模型的拍摄图像中物体的部分丢失率的情况下，在S1201中，拟合单元403识别各个拍摄图像中物体的部分丢失率。然后，在S1202中，拟合单元403确定部分丢失率小于或等于预定值的拍摄图像的数量是否大于预定数量、多个拍摄图像的部分丢失率的总和或平均值是否为预定值或更小等。注意，各个拍摄图像中物体的部分丢失率例如可以是，根据参考模型信息计算出的、从与拍摄图像相同的视点来看拍摄图像中的物体的面积与虚拟视点图像中的物体的面积的比。

如上所述，通过检查关注物体是否处于需要校正的状态，然后校正关注物体的形状，可以生成虚拟视点图像而不会使关注物体变形或丢失其轮廓的一部分。

(实施例3)

图14是根据本公开的技术的实施例3的图像处理系统中的绘制处理的流程图。注意，除了用于绘制处理的构造之外，其他构造与实施例1中的构造相同，因此将不对其进行详细描述。此外，S1301至S1307和S1311是与图11中的S1001至S1008类似的处理，因此将不进行详细描述。

当从拟合单元403或虚拟相机设置单元502发送虚拟相机参数时，绘制单元402开始绘制处理，并在S1301中接收虚拟相机参数。

在S1302中，绘制单元402获得相机参数。

在S1303中，绘制单元402获得在指定时间的拍摄图像和对应的三维形状模型。

在S1304中，基于校正数据使用标志，绘制单元402确定是否使用校正后的数据。

如果校正数据使用标志为开(S1304中为“是”)，则绘制单元402在S1305中识别校正之前的目标模型和校正之后的目标模型。

在S1306中，绘制单元402获得用于绘制校正之后的目标模型的数据。

在S1307中，绘制单元402对排除了校正之前的目标模型的三维形状模型进行绘制，以从虚拟相机获得这些形状模型的虚拟视点图像。

在S1308中，绘制单元402获得虚拟相机的摄像范围和在多视点同步摄像中使用的相机的摄像范围。

在S1309中，绘制单元402确定是否存在包含具有与虚拟视点图像的构图匹配的构图的图像区域的拍摄图像。

如果存在包含具有与虚拟视点图像的构图匹配的构图的图像区域的拍摄图像(在S1309中为“是”)，则在S1310中，绘制单元402从拍摄图像中切出虚拟视点图像。注意，如图15所示，在虚拟相机的摄像范围500在相机的摄像范围400内部的情况下，如果由长虚线短虚线示出的虚拟相机的光轴平行于由另一长虚线短虚线示出的相机的光轴，则拍摄图像包含具有与虚拟视点图像的构图匹配的构图的图像区域。

如果不存在包含具有与虚拟视点图像的构图匹配的构图的图像区域的拍摄图像(S1309中为“否”)，则绘制单元402终止绘制处理。

如果校正数据使用标志为关(在S1304中为“否”)，则绘制单元402在S1311中对所有形状模型执行绘制，以使这些形状模型从虚拟视点看时出现。

在S1310中切出的拍摄图像和在S1307中通过绘制获得的虚拟视点图像可以并排显示在显示单元501上，或者可以切换这些图像在显示单元501上的显示，例如，使得能够检查校正是否被正确完成。

如上所述，通过将虚拟视点图像与具有相同构图的拍摄图像一起使用，可以在防止关注物体变形或丢失其轮廓的一部分的同时，检查是否生成了虚拟视点图像。

(其他实施例)

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据本公开的技术，能够提高物体形状的精度。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (18)

1.一种图像处理装置，其包括：

获得单元，其被构造为，获得基于多个拍摄图像生成的物体的三维形状模型，所述多个拍摄图像是通过用于生成虚拟视点图像的多个摄像装置获得的；以及

校正单元，其被构造为，基于参考模型校正所获得的三维形状模型。

2.根据权利要求1所述的图像处理装置，其中，所述获得单元从基于所述多个拍摄图像生成的三维形状模型中，获得基于用于识别参考模型的第一信息而识别的物体的三维形状模型，作为要由所述校正单元校正的目标模型。

3.根据权利要求2所述的图像处理装置，其中，所述获得单元基于用于识别包含识别物体的拍摄图像的第二信息，来从基于包含识别物体的所述多个拍摄图像生成的三维形状模型中，获得目标模型。

4.根据权利要求2所述的图像处理装置，其中，所述校正单元：

检测目标模型的位置，并且

在目标模型的检测位置与参考模型的位置被设置为相互匹配的状态下参考模型的表面与目标模型的表面相互不匹配的情况下，校正目标模型，使得参考模型的表面表现为目标模型的表面。

5.根据权利要求2所述的图像处理装置，其中，所述校正单元：

获得校正之前的三维形状模型的形状特征，并且

在所述形状特征不满足预定标准的情况下，校正三维形状模型。

6.根据权利要求5所述的图像处理装置，其中，

所述形状特征是用于生成目标模型的所述多个拍摄图像的数量，并且

所述标准是用于生成目标模型的拍摄图像的数量为预定数量或更多的状态。

7.根据权利要求5所述的图像处理装置，其中，

所述形状特征是获得了用于生成目标模型的所述多个拍摄图像的摄像装置的光轴之间的最大角度，并且

所述标准是所述最大角度为预定值或更小的状态。

8.根据权利要求5所述的图像处理装置，其中，所述标准是三维形状模型的形状特征与参考模型的形状特征之间的差为预定值或更小的状态。

9.根据权利要求5所述的图像处理装置，其中，

所述形状特征是用于生成目标模型的所述多个拍摄图像中的识别物体的部分丢失率的总和或平均值，并且

所述标准是识别物体的部分丢失率的总和或平均值为预定值或更小的状态。

10.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

图像生成单元，其被构造为，基于校正后的三维形状模型生成虚拟视点图像。

11.根据权利要求10所述的图像处理装置，其中，所述图像生成单元：

获得指示虚拟视点的位置和方向的虚拟视点信息，

获得至少包含关于参考模型的颜色信息的第三信息，并且

基于虚拟视点信息、校正后的三维形状模型以及第三信息，生成虚拟视点图像。

12.根据权利要求11所述的图像处理装置，其中，所述图像生成单元不使用由所述校正单元校正之前的三维形状模型，而使用由所述校正单元校正的三维形状模型来生成虚拟视点图像。

13.根据权利要求11所述的图像处理装置，其中，第三信息是参考模型的多个图像和参考模型的纹理数据中的至少一者。

14.根据权利要求10所述的图像处理装置，其中，所述图像生成单元基于校正后的三维形状模型、校正之前的三维形状模型以及所述多个拍摄图像，来生成虚拟视点图像。

15.根据权利要求1所述的图像处理装置，其中，在任意拍摄图像包括具有与虚拟视点图像的构图匹配的构图的图像区域的情况下，所述图像生成单元从该拍摄图像中切出该图像区域。

16.一种图像处理系统，其包括：

根据权利要求1至15中的任一项所述的图像处理装置；

图像存储单元，其被构造为存储通过所述多个摄像装置获得的多个拍摄图像；以及

选择单元，其被构造为选择要通过所述校正单元的校正而获得的虚拟视点图像。

17.一种图像处理方法，其包括：

获得基于多个拍摄图像生成的各个物体的三维形状模型，所述多个拍摄图像是通过用于生成虚拟视点图像的多个摄像装置获得的；以及

基于参考模型校正所获得的三维形状模型。

18.一种非暂时性计算机可读存储介质，其存储使计算机执行方法的程序，所述方法包括：

获得基于多个拍摄图像生成的各个物体的三维形状模型，所述多个拍摄图像是通过用于生成虚拟视点图像的多个摄像装置获得的；以及

基于参考模型校正所获得的三维形状模型。

Images