CN109074624A - 三维重建方法 - Google Patents

三维重建方法 Download PDF

Info

Publication number
CN109074624A
CN109074624A CN201780023944.2A CN201780023944A CN109074624A CN 109074624 A CN109074624 A CN 109074624A CN 201780023944 A CN201780023944 A CN 201780023944A CN 109074624 A CN109074624 A CN 109074624A
Authority
CN
China
Prior art keywords
frame
mentioned
characteristic point
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780023944.2A
Other languages
English (en)
Other versions
CN109074624B (zh
Inventor
松延徹
杉尾敏康
吉川哲史
小山达也
P·拉桑
J·高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109074624A publication Critical patent/CN109074624A/zh
Application granted granted Critical
Publication of CN109074624B publication Critical patent/CN109074624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种根据多视点图像重建三维模型的三维重建方法，包括：选择步骤，从多视点图像中选择2个帧；图像信息计算步骤，计算上述2个帧各自的图像信息；切换步骤，根据上述图像信息切换上述2个帧间的特征点对应方法；以及对应步骤，通过由上述切换步骤切换后的特征点对应方法计算对应的特征点。

Description

三维重建方法
技术领域
本发明涉及三维重建方法，特别涉及使用由多个摄像装置摄像的多个运动图像来重建被摄体的三维模型的三维重建方法。
背景技术
计算机视觉(computer vision)的领域中的三维重建技术在多个二维图像间建立对应，估计照相机的位置、朝向及被摄体的三维位置。
例如，在专利文献1中，在来自单眼照相机的输入运动图像的初始几帧中提取特征点，通过帧匹配处理进行特征点位置的对应建立。在后续的帧中，通过使用扩展卡尔曼滤波器的时间序列特征点追踪，取得特征点位置信息。使用建立了对应的特征点，通过SfM(Structure from Motion，运动恢复结构)重建三维模型。
此外，在专利文献2中，通过从用立体照相机同步摄影的2个运动图像以规定周期取得的关键帧进行特征点匹配，重建三维模型。此外，利用特征点的时间方向的变化，关于处于关键帧之间的帧也能够进行三维模型的重建。
进而，在专利文献3中，在3台以上的多个照相机间进行校准，通过所取得的照相机参数将各照相机坐标系向任意视点的虚拟照相机坐标系变换。在该虚拟照相机坐标系中，进行基于坐标变换后的图像间的块匹配的对应建立，估计距离信息。基于估计出的距离信息将虚拟照相机视点的图像合成。
现有技术文献
专利文献
专利文献1：日本特开2009－237845号公报
专利文献2：日本特开2012－160937号公报
专利文献3：日本特开2010－250452号公报
发明内容
发明要解决的课题
但是，在上述以往技术中，难以使用多台的固定、非固定或两者兼有的照相机与被摄体的运动无关地从摄影的运动图像适当地重建时间序列的三维模型。
即，在摄影环境中被摄体运动的情况下，在如专利文献1那样的来自单眼照相机的时间序列图像中，二维图像间的对应建立变得困难。此外，在专利文献3中，由于仅在校准时进行同步摄影，所以与专利文献1同样，以运动的被摄体为对象的高精度的三维位置估计较困难。进而，在专利文献2中，由于使用2台照相机位置关系固定的立体照相机，所以在照相机位置中发生制约。
用于解决问题的手段
为了解决上述课题，有关本公开的一技术方案的三维重建方法，根据多视点图像重建三维模型，包括：选择步骤，从多视点图像中选择2个帧；图像信息计算步骤，计算上述2个帧各自的图像信息；切换步骤，根据上述图像信息切换上述2个帧间的特征点对应方法；以及对应步骤，通过由上述切换步骤切换后的特征点对应方法计算对应的特征点。
发明效果
本公开的三维重建方法，使用多台固定的、非固定的或两者兼有的照相机，不论被摄体的运动如何都能够根据摄影的运动图像适当地重建时间序列的三维模型。
附图说明
图1是表示有关本公开的三维重建系统的整体结构的图。
图2是表示同步摄影影像和非同步摄影影像的一例的图。
图3是表示有关本公开的三维重建装置的处理流程的图。
图4是表示作为有关本公开的三维重建部的输入的多视点帧集合的一例的图。
图5是实施方式1的三维重建部的结构图。
图6是表示实施方式1的使用3张多视点帧的三维重建的一例的图。
图7是表示实施方式1的三维重建部的处理流程的图。
图8是表示实施方式1的对应部315的结构的一例的图。
图9是表示实施方式1的特征点对应的处理流程的图。
具体实施方式
首先，定义本公开的三维重建。将用多个照相机以不同的视点将存在于实际空间上的被摄体摄影而得到的影像称作多视点影像，将使用该多视点的二维图像将被摄体重建到三维空间中称作三维重建。此外，将被重建到三维空间中的被摄体称作三维模型。此时，各照相机的参数既可以使用预先取得的参数，也可以与三维模型的制作同时估计。在本实施方式中，照相机参数以与三维模型的制作同时估计为前提。
另外，照相机参数包括由照相机的焦点距离、透镜的畸变系数、图像中心等构成的内部参数，或表示照相机的三维位置、朝向的外部参数中的至少1个。
另外，被摄体的三维模型是拍摄到多视点的二维图像中的被摄体上的多个点各自的三维位置。三维位置例如用由XYZ轴构成的三维坐标空间的由X成分、Y成分、X成分形成的三值信息表示。另外，也可以不仅是三维位置，还包括表示各点的颜色、各点及其周边的表面形状的信息。
接着，定义本公开中的同步摄影。在图2中表示照相机的摄影周期和曝光时间的一例。图2其横向表示时间，矩形信号为高水平的时间表示照相机曝光。当由照相机取得图像时，将快门被开放的时间称作曝光时间。得到在曝光时间中经由透镜照在摄像元件上的场景作为图像。在图2(a)中，在由视点不同的2台照相机摄影的帧中，曝光时间重复。由此，由2台照相机取得的帧为包括同一时刻的场景的同步帧。另一方面，在图2(b)中，由于在2台照相机中没有曝光时间的重复，所以成为在由2台照相机取得的帧中不包含同一时刻的场景的非同步帧。如图2(a)那样，将用多个照相机对同步帧进行摄影称作同步摄影。
接着，说明有关本实施方式的三维重建系统的整体结构。图1是表示有关本实施方式的三维重建系统的结构的图。
有关本实施方式的三维重建系统具备被摄体、照相机及被输入多视点影像而进行影像处理的三维重建装置200。被摄体例如是篮球的比赛场景。n台的多个照相机100－1～100－n对被摄体分别用不同的视点进行摄影，将摄影得到的多视点影像向三维重建装置200发送。
另外，由多个照相机100－1～100－n摄影的多视点影像向三维重建处理装置200的发送，经由因特网等的公众通信网或专用通信网的哪种都可以。或者，也可以先从照相机直接存储到硬盘驱动器(HDD)或固态硬盘驱动器(SSD)等的外部存储装置中，在需要时向三维重建装置200直接输入。或者，也可以暂且经由网络发送到云服务器等的外部存储装置中并存储，需要时向三维重建装置200发送。
另外，对于多视点影像，作为影像或帧的头(header)信息，也可以附加确定进行了摄影的照相机的照相机ID等的照相机确定信息。
另外，也可以使用多个照相机，进行以每帧将相同时刻的被摄体摄影的同步摄影。或者，也可以仅使多个照相机的内置时钟的时刻一致，不进行同步摄影，而按每个影像或帧附加摄影时刻信息，也可以附加表示摄影顺序的索引号码。
另外，也可以按照多视点影像的影像集合、按每个影像或按每个帧来附加表示是进行了同步摄影还是进行了非同步摄影的信息作为头信息。
三维重建装置200具备接收部210、存储部220、取得部230、三维重建部240、发送部250。
接收部210经由网络接收或从外部存储装置直接接收由多个照相机摄影的多视点影像，向存储部220输入。
存储部220将接收部210接收到的多视点影像存储。
取得部230从存储部220取得多视点影像，将影像划分为帧，将由多个帧构成的多视点帧集合向三维重建部240输入。
另外，多视点帧集合既可以由从全部的影像各选择了1帧的多个帧构成，也可以由从全部的影像中选择了至少1帧的多个帧构成，也可以由在多视点影像中选择2个以上的影像并且从所选择的各影像各选择了1帧的多个帧构成，也可以由在多视点影像中选择2个以上的影像并且从所选择的各影像选择了至少1帧的多个帧构成。
另外，在没有对多视点帧集合的各帧附加照相机确定信息的情况下，这里，既可以单独地附加到各帧的头信息中，也可以一起附加到多视点帧集合的头信息中。
另外，在多没有对多视点帧集合的各帧附加表示摄影时刻或摄影顺序的索引号码的情况下，这里，既可以单独地附加到各帧的头信息中，也可以一起附加到多视点帧集合的头信息中。
三维重建部240使用从取得部230输入的多视点帧集合，估计对多视点帧集合中包含的帧进行摄影的照相机的照相机参数，将拍摄到各帧中的被摄体的三维模型重建。
发送部250将由三维重建部240计算出的照相机参数或三维模型或两者向处于三维重建装置200的外部的存储装置或处理装置等发送。
图3是有关本实施方式的三维重建系统的三维重建装置200的处理流程。
首先，接收部210将由多个照相机摄影的多视点影像接收，向存储部220输入(S2100)。
接着，存储部220将多视点影像存储(S2200)。
接着，取得部230从存储部220取得多视点影像，将影像划分为帧，制作由多个帧构成的多视点帧集合，向三维重建部240输入(S2300)。
另外，取得部230也可以不是从存储部220，而是从接收部210立即取得接收到的多视点影像。
接着，三维重建部240使用多视点帧集合，估计摄影了各帧的照相机的照相机参数，将拍摄到各帧中的被摄体的三维模型重建(S2400)。
将S2300～S2400反复进行，直到不再有取得部230制作的多视点帧集合，或直到从用户给出停止命令。
接着，发送部250将照相机参数、被摄体的三维模型或其两者向外部发送(S2500)。
以下，使用附图对实施方式详细地进行说明。另外，以下说明的实施方式都是表示包含性或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。此外，关于以下的实施方式的构成要素中的、在表示本公开的最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
(实施方式1)
首先，在本实施方式中，对作为三维重建部240的输入的多视点帧集合进行说明。图4是表示从5台多视点照相机中各选择1帧而构成帧集合的一例的图。
这里，假定多视点照相机同步摄影，对于各帧的头信息，赋予确定进行了摄影的照相机的照相机ID分别作为100－1～100－5。此外，在各照相机内被赋予表示摄影顺序的帧号码001～N，在照相机间具有相同的帧号码的帧表示摄影了同时刻的被摄体。
取得部230将帧集合200－1～200－n向三维重建部240依次输入，三维重建部240通过反复处理，使用帧集合200－1～200－n依次进行三维重建。
帧集合200－1由照相机100－1的帧号码001、照相机100－2的帧号码001、照相机100－3的帧号码001、照相机100－4的帧号码001、照相机100－5的帧号码001的5个帧构成。通过作为多视点影像的最初的帧的集合而在三维重建部240的反复处理1中使用，能够进行摄影环境的初始状态的三维重建。帧集合200－2相对于帧集合200－1，仅照相机100－1的帧被更新为下个时刻的帧号码002。通过将其在反复处理2中使用，重建混合存在将帧号码001摄影的时刻和将帧号码002摄影的时刻的三维模型。以下，反复处理3～5也同样将1个照相机的帧依次更新。并且，在帧集合200－6中，相对于帧集合200－1在全部的照相机中将帧更新为下个时刻。即，为了重建前进了1个时刻的三维模型，由三维重建部240进行5次反复处理。这样，通过依次将帧集合内的帧号码更新，能够重建时刻不同但坐标轴一致的时间序列的三维模型。
另外，取得部230也可以不以同步摄影为前提，而使用所取得的多视点影像制作帧集合。在此情况下，对于各帧赋予摄影时刻，基于该摄影时刻，取得部230制作将同步帧与非同步帧组合的帧集合。说明2台照相机间的使用摄影时刻的同步帧和非同步帧的判定方法。
设从照相机100－1选择的帧的摄影时刻为T1，设从照相机100－2选择的帧的摄影时刻为T2，设照相机100－1的曝光时间为TE1，设照相机100－2的曝光时间为TE2。这里，设摄影时刻T1、T2在图2的例子中指示开始曝光的时刻、即矩形信号的上升的时刻。于是，照相机100－1的曝光结束时刻是T1+TE1。此时，如果(式1)或(式2)成立，则成为2台照相机对相同时刻的被摄体摄影，2个帧可以说是同步帧。
[数式1]
T1≤T2≤T1+TE1···(式1)
[数式2]
T1≤T2+TE2≤T1+TE1···(式2)
图5是表示本公开的三维重建部240的构造的框图。
三维重建部240使用从图1的三维重建装置200的取得部230输入的多视点帧集合，进行照相机参数的估计，重建三维模型。如图5所示，三维重建部240具备检测部310、提取部311、控制部312、切换器313、对应部314、对应部315、选择部316、估计部317、复原部318、优化部319。
检测部310在被输入的多视点帧集合的各帧中检测特征点。特征点表示帧中包含的物体的轮廓、物体或空间的角、在帧平面中物体彼此的交叉点那样的点、边缘、或一定区域和其周围的亮度或色度的差较大的点、边或一定区域。
提取部311提取由检测部310检测到的特征点的特征矢量。特征矢量是将在包含特征点的确定区域中所包含的像素的亮度及颜色的梯度方向的分布用矢量表现而得到的。另外，特征点及特征矢量也可以是其他的图像信息，例如是使用纹理信息或频率变换后的信息来检测。
控制部312从多视点帧集合中选择2个帧作为帧对(pair)。进而，使用2个帧各自的图像信息，判定在2帧间图像信息是否一致，在一致的情况下将切换器313向对应部314切换，在不一致的情况下将切换器313向对应部315切换，将帧对、特征点及特征矢量向对应部314或对应部315输入。
这里，所谓图像信息，既可以是对多视点帧集合或每个帧的头信息附加的帧的摄影时刻或帧号码，也可以是时间方向的变化量。时间方向的变化量既可以是将帧划分的多个微小区域的时间方向的变化量的平均值，也可以是中央值。以下，将图像信息设为帧的摄影时刻而进行说明。
对应部314在2个帧的帧间的全部区域中，使用特征矢量计算对应的特征点，来作为对应点。
对应部315将2个帧分别划分为具有1个以上的特征量的图像区域，仅对在帧间特征量相似的图像区域中存在的特征点，使用特征矢量计算对应的特征点，作为对应点。
另外，对应点的计算例如关于帧对的一方的帧的1个特征点与另一方的帧的全部的特征点计算特征矢量的差值。选择特征矢量的差值最小的特征点对作为对应点的候选，进而在特征矢量比任意的阈值小的情况下决定为对应点。特征矢量的差值通过计算2个矢量的平方误差或绝对误差而取得。
另外，图像区域的划分方法例如将帧划分为微小区域，按照每个微小区域计算特征量，将特征量一致或类似的微小区域进行综合。微小区域既可以相互重复，也可以邻接，也可以隔着间隙。
选择部316从未重建的帧之中，选择作为三维重建的对象的帧或帧对。
估计部317使用由选择部316选择的帧对或帧和已重建的三维模型的对应点，估计将对象帧摄影的照相机的照相机参数。
复原部318通过使用由估计部317估计出的照相机参数，将由已估计照相机摄影的各帧的特征点逆投影到三维坐标上，重建被摄体的三维模型。
作为使用对应点的照相机参数的估计方法及三维模型的重建方法的一例，以对极几何(epipolar geometry)为约束条件等，计算世界坐标系中的照相机的坐标及姿态，还计算由照相机摄影的图像上的点的世界坐标系中的三维位置。图6是表示使用3张多视点帧，将照相机的内部参数设为已知，进行照相机的外部参数的估计、重建被摄体的三维模型的例子的图。
为了取得各照相机的照相机参数，需要计算以O为原点的世界坐标系中的照相机的旋转矩阵R1、R2、R3及平移矢量T1、T2、T3。首先，说明计算摄影了图像1和图像2的照相机的旋转矩阵及平移矢量的方法。当图像1上的点m1＝(u1，v1，1)与图像2上的点m2＝(u2，v2，1)对应时，在两者间，满足(式3)的对极方程式成立。
[数式3]
这里，将F称作Fundamental matrix(基本矩阵，F矩阵)。使用各照相机的内部参数K，根据(式4)的变换式，能够取得各个点作为各照相机坐标系的点
及
将对极方程式如(式5)那样改写。
[数式4]
[数式5]
这里，将E称作Essential matrix(本质矩阵，E矩阵)。能够使用多个对应点计算E矩阵的各要素。此外，也可以在使用多个图像间的点m1及m2那样的对应点计算出F矩阵的各要素后，由(式6)的变换式取得E矩阵。
[数式6]
E＝K-1FK...(式6)
通过将该E矩阵分解，能够在世界坐标系中取得从图像1向图像2旋转矩阵及平移矢量。在世界坐标系中的照相机1的位置及照相机1相对于世界坐标系的各轴的倾斜已知的情况下，利用上述相对关系，能够取得世界坐标系中的照相机1及照相机2的位置及姿态。世界坐标系中的照相机1的位置及姿态既可以通过影像以外的照相机传感器信息来计算，也可以预先计测。另外，也可以将照相机1的照相机坐标系设为世界坐标系，来计算其他照相机的位置及姿态。
此外，这里使用的对应点可以通过使用图像1和图像2的旋转矩阵及平移矢量形成的三角形来取得世界坐标系上的三维点M。
此外，将上述几何学的关系扩展为3视点。作为对于图像1和图像2追加图像3的例子，具体而言，通过对图像2和图像3、以及图像1和图像3也分别计算E矩阵，取得各照相机间的相对的旋转矩阵及平移矢量并进行综合，能够计算图像3的照相机的世界坐标系中的旋转矩阵及平移矢量。此外，也可以在图像3和图像1、图像2的各自中根据对应点来计算图像3的旋转矩阵及平移矢量。详细地讲，在图像1和图像3、以及图像2和图像3中求出对应点。这里，如果假设得到了与图像1上的m1及图像2上的m2对应的图像3上的m3，则能够取得该对应点的三维坐标M，所以能够取得图像3上的点与三维空间内的坐标的对应。此时，(式7)成立。
[数式7]
这里，将P称作Perspective matrix(投影矩阵，P矩阵)。P矩阵、E矩阵、内部矩阵由于(式8)的关系成立，所以能够取得图像3的E矩阵，由此能求出旋转矩阵及平移矢量。
[数式8]
P＝KE…(式8)
另外，在内部参数未知的情况下，在计算出F矩阵或P矩阵后，也能够在内部矩阵是上三角矩阵、E矩阵是正定对称矩阵的制约下划分F矩阵、P矩阵并分别求出。
优化部319将照相机参数及被摄体的三维模型修正。
由估计部317估计出的照相机参数及由复原部318重建的被摄体的三维模型因为特征点的检测精度或对应点的计算精度而包含误差。作为优化部319的优化处理的一例，将重建的被摄体的三维模型的三维点再投影到各照相机的帧中，对照相机参数及被摄体的三维点进行微调，以使得与原来的二维点位置的差绝对值和或差平方和最小。
图7是表示三维重建部300的处理流程的图。
首先，检测部310关于帧集合中包含的全部的帧，检测特征点(S3100)。
接着，提取部311关于检测部310检测出的全部的特征点，使用该特征点及周边像素计算特征矢量(S3110)。
接着，控制部312从帧集合中选择2个帧作为帧对，使用附加在帧集合或各帧的头信息中的摄影时刻信息或帧号码信息，判定2个帧的摄影时刻是否一致，在一致的情况下将切换器313向对应部314切换，在不一致的情况下将切换器向对应部315切换，依次将帧对、特征点及特征矢量向对应部314或对应部315输入(S3120)。
另外，也可以是，即使摄影时刻不完全一致，只要2个帧的摄影时刻的时刻差比规定的阈值小，就判定为一致。
在S3120中为是的情况下，对应部314使用提取部311提取出的特征矢量，将帧对的帧间的特征点建立对应，计算对应点(S3130)。
在S3120中为否的情况下，对应部315将帧对分别划分为具有特征量的1个以上的图像区域，仅对在帧间在特征量相似的图像区域中存在的特征点，使用提取部311提取出的特征矢量，将帧对的帧间的特征点建立对应，计算对应点(S3140)。
另外，将S3120～S3140对于帧集合内的全部或一部分的帧对反复进行。
接着，选择部316使用对应部314或对应部315计算出的对应点及优化部319计算出的三维点，从未重建的帧之中，选择作为三维重建的对象的照相机或照相机对(S3150)。
接着，估计部317关于选择部316选择的照相机或照相机对，使用对应部314或对应部315计算出的对应点及优化部319计算出的三维点，估计对象照相机的照相机参数(S3160)。
接着，复原部318使用估计部317估计出的照相机参数，将对象照相机摄像的帧内的特征点重建为三维点，计算特征点的三维坐标(S3170)。
接着，优化部319将估计部317估计出的照相机参数及复原部318计算出的三维点修正，以使重建的三维模型整体成为最优(S3180)。
另外，三维模型的优化的一例是，使将使用照相机参数重建的三维点再投影到各帧中而取得的二维点位置与原来的特征点的二维点位置的误差最小。
另外，将S3150～3180反复进行，直到将帧集合内的全部或一部分的帧重建。
由此，不论照相机或被摄体的运动如何，都能够重建在各时刻坐标轴一致的时间序列的三维模型。
另外，也可以将S3120～S3140在S3150之后立即进行。此时，关于由选择部316选择的照相机对或照相机，决定帧对的对应点。在由选择部316选择了照相机对的情况下，仅在由该照相机对的各照相机摄影的帧间实施决定对应点的处理。即，图7中的S3120～S3140的处理仅为1次。此外，在由选择部316选择了照相机的情况下，实施在由该照相机摄影的对象帧与该对象帧以外的全部的帧之间结成对应点的处理。即，在输入的帧数为N个的情况下，图7中的S3120～S3140的处理为N－1次。另外，该处理次数并不限于N－1次，也可以仅对在实施了S3150的时点已估计的照相机的帧进行，也可以从对象帧以外的帧中选择至少1个。
这里，详细地说明对应部315的内部结构的一例。
图8是表示本实施方式的对应部315的内部结构的一例的图。
对应部315具备运动估计部410、划分部411、对应部412、存储部413。
运动估计部410以帧对的各帧为对象帧，从存储部323取得保存在存储部413中的、摄影了对象帧的照相机的前时刻或后时刻或两者的帧，划分为对象帧内的多个微小区域，作为微小区域的特征量而估计运动矢量。
划分部411使用运动估计部410估计出的多个微小区域的运动矢量，将运动矢量一致或类似的微小区域进行综合。由此，将帧划分为运动区域和静止区域。
对应部412仅对于由划分部411划分出的图像区域中的静止区域内存在的特征点，使用提取部311提取出的特征矢量，将帧对的帧间的特征点建立对应，计算对应点。此外，将对象帧向存储部413保存。
图9是表示本实施方式的对应部315的处理流程的图。
首先，控制部312确认帧对的摄影时刻是否一致(S3200)。
接着，在S3200中摄影时刻一致的情况下，将切换器313向对应部314侧切换，在不一致的情况下，将切换器313向对应部315侧切换(S3210)。
(在S3210中摄影时刻一致的情况)
接着，情况对应部314对于由检测部310检测出的全部的特征点，使用由提取部311提取出的特征矢量，决定帧间的对应点(S3220)。
(在S3210中摄影时刻不一致的情况)
接着，运动估计部410对于帧对的各帧，使用保存在存储部413中的、用同一个照相机摄影的前或后或前后两者的时刻的帧及对象帧，估计微小区域的运动矢量(S3230)。
例如，也可以将对象帧划分为15×15像素的微小区域，计算其中心像素的时间方向的运动矢量。
另外，在以后的处理中不使用从存储部413取出的帧的情况下，也可以在这里删除。
接着，划分部411通过使用运动估计部410估计出的作为微小区域的特征量的运动矢量，将运动矢量一致或类似的微小区域进行综合，将对象帧划分为运动区域和静止区域(S3240)。
具体而言，将在S3230中计算出的运动矢量的大小和阈值比较，在阈值以上的情况下将计算出运动矢量的微小区域作为运动区域，在比阈值小的情况下设为静止区域。
这里计算的运动矢量例如是由X成分和Y成分构成的二维的矢量(X1，Y1)，可以通过(式9)来计算运动矢量的大小
[数式9]
另外，也可以考虑照相机运动，计算表示由照相机的运动带来的帧整体的运动的全局矢量如(式10)及(式11)那样通过使用全局矢量修正后的运动矢量来估计微小区域的运动。
[数式10]
X′1＝X1-Xg1…(式10)
[数式11]
Y′1＝Y1-Yg1…(式11)
接着，对应部412对于在划分部411的静止区域中存在的特征点，使用由提取部311提取出的特征矢量，决定帧间的对应点。此外，将对象帧向存储部413保存(S3250)。
另外，进行运动估计的多个微小区域既可以以区域相互重复的方式设定，也可以以邻接的方式设定，也可以以有间隙的方式离开而设定。
另外，也可以使进行运动估计的微小区域的中心与特征点一致。此时，微小区域和特征点为相同数量。此外，此时不需要对帧内的区域进行划分，也可以使用特征点的运动矢量将特征点分类为运动的点和静止点。
另外，也可以将划分部411的划分结果用于控制部312中的切换部313的切换。具体而言，使用由估计部410估计出的微小区域的运动矢量，将帧划分为1个以上的区域。在帧对的两者间，区域是1个，在区域具有的特征量一致或类似的情况下，将切换部313切换为对应部314，在其以外的情况下，将切换部313切换为对应部315。此时，在对应部315中，仅使用在特征量一致或类似的区域中存在的特征点，计算对应的特征点。
这样，通过在摄影时刻相同的帧间使用全部图像区域的特征点，在摄影时刻不同的帧间仅使用静止区域的特征点，在摄影时刻不同的帧间使用动区域的对应点而进行三维重建的情况下，由于对应的2点的三维位置不同，所以能够防止精度良好的照相机参数估计或三维点的重建变得困难，不论照相机或被摄体的运动如何，都能够重建坐标轴一致的时间序列的三维模型。
另外，对于有关本公开的1个或多个形态的摄影方法等，基于上述各实施方式及变形例进行了说明，但本公开当然并不限定于上述各实施方式及变形例。此外，以下这样的情况也包含在本公开的1个或多个形态中。
(1)上述各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中，存储有计算机程序。通过上述微处理器按照上述计算机程序动作，各装置实现其功能。这里，计算机程序是为了实现规定的功能而将表示对于计算机的指令的命令代码组合多个而构成的。
(2)构成上述各装置的构成要素的一部分或全部也可以由1个系统LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成到1个芯片上而制造出的超多功能LSI，具体而言，是包括微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，系统LSI实现其功能。
(3)构成上述各装置的构成要素的一部分或全部也可以由可相对于各装置拆装的IC卡或单体的模组构成。上述IC卡或上述模组是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模组也可以包括上述超多功能LSI。通过微处理器按照计算机程序动作，上述IC卡或上述模组实现其功能。该IC卡或该模组也可以具有耐篡改性。
(4)本公开也可以是上述所示的方法。此外，也可以是由计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。
此外，本公开也可以将上述计算机程序或上述数字信号记录到计算机可读取的记录介质，例如软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD(Blu－ray(注册商标)Disc)、半导体存储器等中。此外，也可以是记录在这些记录介质中的上述数字信号。
此外，本公开也可以将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送。
此外，本发明也可以是一种具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序而动作。
此外，也可以通过将上述程序或上述数字信号记录到上述记录介质中并移送，或通过将上述程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统实施。
(5)也可以将上述实施方式及上述变形例分别组合。
产业上的可利用性
本公开可有利地用在三维重建装置或三维重建方法中。
标号说明
100－1～100－n 照相机
200 三维重建装置
210 接收部
220 存储部
230 取得部
240 三维重建部
250 发送部
200－1～200－n 帧集合
310 检测部
311 提取部
312 控制部
313 切换器
314 对应部
315 对应部
316 选择部
317 估计部
318 复原部
319 优化部
410 运动估计部
411 划分部
412 对应部
413 存储部

Claims (7)

1.一种三维重建方法，根据多视点图像重建三维模型，其特征在于，
包括：
选择步骤，从多视点图像中选择2个帧；
图像信息计算步骤，计算上述2个帧各自的图像信息；
切换步骤，根据上述图像信息切换上述2个帧间的特征点对应方法；以及
对应步骤，通过由上述切换步骤切换后的特征点对应方法，计算对应的特征点。
2.如权利要求1所述的三维重建方法，其特征在于，
上述图像信息是帧被摄影的时刻、或同一照相机中的帧的摄影顺序。
3.如权利要求1所述的三维重建方法，是根据多视点图像重建三维模型的三维重建方法，其特征在于，
在上述图像信息一致的情况下，在2个帧间的全区域中计算对应的特征点，在上述图像信息不一致的情况下，将2个帧划分为分别具有特征量的1个以上的区域，仅在特征量相似的区域中计算对应的特征点。
4.如权利要求3所述的三维重建方法，其特征在于，
上述图像信息的一致，是指帧被摄影的时刻差比规定的阈值小。
5.如权利要求3所述的三维重建方法，其特征在于，
上述区域具有的特征量，是指在区域内至少存在1个的微小区域的时间方向的运动矢量。
6.如权利要求3所述的三维重建方法，其特征在于，
上述图像信息不一致的情况下的对应的特征点的计算包括：
估计步骤，将上述2个帧分别划分为微小区域，使用在同一照相机中在前时刻、后时刻或前后时刻两者摄影的帧来估计微小区域的运动矢量；
划分步骤，使用上述运动矢量，将上述2个帧分别划分为运动区域和静止区域；以及
对应步骤，在上述2个帧间仅对存在于静止区域中的特征点计算对应的特征点。
7.如权利要求3所述的三维重建方法，其特征在于，
上述图像信息不一致的情况下的对应的特征点的计算包括：
估计步骤，估计上述2个帧的特征点的运动矢量；
分类步骤，使用上述运动矢量将上述特征点分类为运动点和静止点；以及
对应步骤，在上述2个帧间仅对静止点计算对应的特征点。
CN201780023944.2A 2016-04-22 2017-04-06 三维重建方法 Active CN109074624B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-086595 2016-04-22
JP2016086595A JP6754992B2 (ja) 2016-04-22 2016-04-22 三次元再構成方法
PCT/JP2017/014330 WO2017183470A1 (ja) 2016-04-22 2017-04-06 三次元再構成方法

Publications (2)

Publication Number Publication Date
CN109074624A true CN109074624A (zh) 2018-12-21
CN109074624B CN109074624B (zh) 2023-08-15

Family

ID=60116804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023944.2A Active CN109074624B (zh) 2016-04-22 2017-04-06 三维重建方法

Country Status (6)

Country Link
US (1) US10789765B2 (zh)
EP (1) EP3447730B9 (zh)
JP (1) JP6754992B2 (zh)
CN (1) CN109074624B (zh)
ES (1) ES2908230T3 (zh)
WO (1) WO2017183470A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3499897B1 (en) * 2016-08-10 2021-05-19 Panasonic Intellectual Property Corporation of America Camerawork generating method and video processing device
US10771697B2 (en) 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP7046567B2 (ja) 2017-11-13 2022-04-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11475603B2 (en) * 2018-01-26 2022-10-18 Sony Corporation Multiple mesh encoding using motion tracking data of objects
JP7045218B2 (ja) * 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US11470343B2 (en) * 2018-08-29 2022-10-11 Intel Corporation Apparatus and method for feature point tracking using inter-frame prediction
WO2020118565A1 (en) * 2018-12-12 2020-06-18 Huawei Technologies Co., Ltd. Keyframe selection for texture mapping wien generating 3d model
CN110458952B (zh) * 2019-08-19 2022-07-15 江苏濠汉信息技术有限公司 一种基于三目视觉的三维重建方法和装置
CN112767300B (zh) * 2019-10-18 2024-07-09 宏达国际电子股份有限公司 自动生成手部的标注数据的方法和计算骨骼长度的方法
CN111709320B (zh) * 2020-05-28 2023-04-18 杭州电子科技大学 一种基于密度峰值聚类特征选择的三维手写字符识别方法
CN111860226B (zh) * 2020-06-30 2024-06-25 阿波罗智能技术(北京)有限公司 用于图像处理的方法、装置、设备以及存储介质
CN113532315A (zh) * 2021-06-30 2021-10-22 同济大学 基于多目视觉的三维建模设备及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1670237A2 (en) * 2004-12-10 2006-06-14 Microsoft Corporation Matching un-synchronized image portions
CN1963390A (zh) * 2005-11-08 2007-05-16 李啸炜 一种便捷高效的三维测量方法
CN101247482A (zh) * 2007-05-16 2008-08-20 北京思比科微电子技术有限公司 一种实现动态图像处理的方法和装置
CN101877143A (zh) * 2009-12-09 2010-11-03 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN102682469A (zh) * 2011-02-01 2012-09-19 卡西欧计算机株式会社 具有制作三维模型的功能的图像处理装置及方法
US20140037212A1 (en) * 2011-04-07 2014-02-06 Fujifilm Corporation Image processing method and device
CN105279789A (zh) * 2015-11-18 2016-01-27 中国兵器工业计算机应用技术研究所 一种基于图像序列的三维重建方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4985516B2 (ja) 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2010250452A (ja) 2009-04-14 2010-11-04 Tokyo Univ Of Science 任意視点画像合成装置
US20130278728A1 (en) * 2011-12-16 2013-10-24 Michelle X. Gong Collaborative cross-platform video capture
JP2014038229A (ja) * 2012-08-17 2014-02-27 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US9564175B2 (en) * 2013-04-02 2017-02-07 International Business Machines Corporation Clustering crowdsourced videos by line-of-sight
US10096114B1 (en) * 2013-11-27 2018-10-09 Google Llc Determining multiple camera positions from multiple videos
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
US9846963B2 (en) * 2014-10-03 2017-12-19 Samsung Electronics Co., Ltd. 3-dimensional model generation using edges
US9965861B2 (en) * 2014-12-29 2018-05-08 Intel Corporation Method and system of feature matching for multiple images
US9648303B1 (en) * 2015-12-15 2017-05-09 Disney Enterprises, Inc. Systems and methods for facilitating three-dimensional reconstruction of scenes from videos
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
TWI599989B (zh) * 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1670237A2 (en) * 2004-12-10 2006-06-14 Microsoft Corporation Matching un-synchronized image portions
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
CN1963390A (zh) * 2005-11-08 2007-05-16 李啸炜 一种便捷高效的三维测量方法
CN101247482A (zh) * 2007-05-16 2008-08-20 北京思比科微电子技术有限公司 一种实现动态图像处理的方法和装置
CN101877143A (zh) * 2009-12-09 2010-11-03 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN102682469A (zh) * 2011-02-01 2012-09-19 卡西欧计算机株式会社 具有制作三维模型的功能的图像处理装置及方法
US20140037212A1 (en) * 2011-04-07 2014-02-06 Fujifilm Corporation Image processing method and device
CN105279789A (zh) * 2015-11-18 2016-01-27 中国兵器工业计算机应用技术研究所 一种基于图像序列的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李聪;赵红蕊;傅罡;: "基于独立三视图的图像序列三维重建", 计算机应用研究 *

Also Published As

Publication number Publication date
EP3447730B9 (en) 2022-04-13
ES2908230T9 (es) 2022-05-09
ES2908230T3 (es) 2022-04-28
CN109074624B (zh) 2023-08-15
US20190051036A1 (en) 2019-02-14
EP3447730A1 (en) 2019-02-27
JP2017194935A (ja) 2017-10-26
EP3447730B1 (en) 2021-12-22
EP3447730A4 (en) 2019-02-27
JP6754992B2 (ja) 2020-09-16
US10789765B2 (en) 2020-09-29
WO2017183470A1 (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
CN109074624A (zh) 三维重建方法
JP7159057B2 (ja) 自由視点映像生成方法及び自由視点映像生成システム
US9576403B2 (en) Method and apparatus for fusion of images
US7471292B2 (en) Virtual view specification and synthesis in free viewpoint
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US8063930B2 (en) Automatic conversion from monoscopic video to stereoscopic video
CN108475327A (zh) 三维采集与渲染
KR101804205B1 (ko) 영상 처리 장치 및 방법
CN108605119B (zh) 2d到3d视频帧转换
JP2005244916A (ja) 画像処理装置
CN107240147B (zh) 图像渲染方法及系统
CN109644280B (zh) 生成场景的分层深度数据的方法
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
WO2020178289A1 (en) Processing of depth maps for images
CN109949354A (zh) 一种基于全卷积神经网络的光场深度信息估计方法
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
Tamboli et al. Achieving high angular resolution via view synthesis: Quality assessment of 3D content on super multiview lightfield display
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
CN106231350B (zh) 主播类互动平台场景切换方法及其装置
Knorr et al. From 2D-to stereo-to multi-view video
JP7278720B2 (ja) 生成装置、生成方法及びプログラム
CN116051916A (zh) 训练数据获取方法、模型训练方法以及视差图像获取方法
Knorr et al. Super-resolution stereo-and multi-view synthesis from monocular video sequences
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant