CN105705903A - 3维形状计测装置、3维形状计测方法及3维形状计测程序 - Google Patents

Abstract

本发明的3维形状计测装置具备：摄像部，依次输出所拍摄到的规定的2维图像；存储部，存储所述摄像部所输出的所述2维图像；3维形状模型生成部，基于所述存储部所存储的所述2维图像，生成3维形状模型，将所生成的3维形状模型存储于所述存储部；区域计算部，根据所述存储部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的已计测区域；以及显示用图像生成部，基于所述已计测区域，根据所述2维图像，生成显示用图像。

Description

3维形状计测装置、3维形状计测方法及3维形状计测程序

技术领域

本发明涉及3维形状计测装置、3维形状计测方法及3维形状计测程序。

本申请基于2013年11月6日在日本申请的特願2013－230321号而主张优先权，并在本申请中援引其内容。

背景技术

非专利文献1中记载了基于包含一边使摄像部移动一边拍摄到的对象物的多个2维图像来生成对象物的3维形状模型的技术的一例。该非专利文献1所记载的3维形状计测系统中，如下述那样生成对象物的3维形状模型。首先，一边使构成摄像部的立体摄像机移动一边以动画来拍摄对象物整体。在此所谓立体摄像机也称作两眼立体视摄像机，是从多个不同视点拍摄对象物的装置。接下来，按照每规定帧，基于1组的2维图像，计算与各像素对应的3维坐标值。其中，该时刻计算出的3维坐标值由按照立体摄像机的每个视点而不同的多个3维坐标来表示。因此，非专利文献1所记载的3维形状计测系统中，通过在遍及多个帧来追踪作为动画而拍摄到的多个2维图像中包含的特征点群，来推测立体摄像机的视点的移动。然后，基于视点移动的推测结果而将由多个坐标系表示的3维形状模型统一为同一坐标系，生成对象物的3维形状模型。

此外，非专利文献2中记载了基于一边使红外线深度传感器(以下称作摄像部)移动一边取得的多个深度图像(也称作景深图像、距离图像等)来生成对象物的3维形状模型的技术的一例。在此，所谓深度图像是指，将测定出的对象物的距离信息(与从摄像部起至对象物为止的距离有关的信息)用像素单位来表示的图像。非专利文献2所记载的3维形状计测系统中，红外线深度传感器由红外线投射部、红外线摄像部和信号处理部构成。红外线投射部对对象物投射随机散斑图案，由红外线摄像部拍摄从对象物反射的反射光。然后，基于由红外线摄像部拍摄到的随机散斑图案的偏离、形状变化，由信号处理部计算对象物的距离信息，生成深度图像。关于该红外线深度传感器的构成等，例如在专利文献1～3中有记载。

现有技术文献

专利文献

专利文献1:日本国特表2011－527790号公报

专利文献2:日本国特表2009－511897号公报

专利文献3:日本国特表2009－530604号公报

专利文献4:日本国特开2008－328367号公报

非专利文献

非专利文献1:运天弘树、增田智仁、三桥徹、安藤真，“ステレオカメラ移動撮影によるVRモデル自動生成方法の検討”，日本バーチャルリアリティ学会論文誌，Vol.12，No.2，2007年

非专利文献2:ShahramIzadi，DavidKim，OtmarHilliges，DavidMolyneaux，RichardNewcombe，PushmeetKohli，JamieShotton，SteveHodges，DustinFreeman，AndrewDavison，andAndrewFitzgibbon，”KinectFusion：Real－time3DReconstructionandInteractionUsingaMovingDepthCamera，”October2011，Publisher：ACMSymposiumonUserInterfaceSoftwareandTechnology，[平成25年4月15日检索]，网址＜URL：http：//research.microsoft.com/apps/pubs/default.aspx？id＝155416＞

发明内容

发明要解决的课题

如上述那样，在非专利文献1、非专利文献2所示的3维形状计测系统中，一边使摄像部移动一边拍摄多个2维图像，基于拍摄到的多个2维图像来生成对象物的3维形状模型(以下记作已计测3维形状模型)。能够与拍摄几乎同时地使显示部显示该已计测3维形状模型。

另一方面，在如市面出售的摄像机那样的使摄像部和显示部设为一体的摄像装置中，能够与拍摄几乎同时地使显示部显示由摄像部拍摄到的2维图像。因此，通过单纯地组合非专利文献1、非专利文献2所示的3维形状计测系统和将摄像部及显示部设为一体的摄像装置，除了所拍摄到的包含对象物的2维图像之外，还能够与拍摄同时地使显示部显示已计测3维形状模型。

然而，在这样的构成中，有在基于显示部的显示而了解到存在对象物的未计测部位时计测者无法容易地判断出具体如何使摄像部移动才能够计测未计测区域这样的课题。

本发明考虑到以上的情况而做出，其目的在于提供一种在3维形状的计测时能够容易地确定出未计测区域的3维形状计测装置、3维形状计测方法及3维形状计测程序。

用于解决课题的手段

为了解决上述的课题，本发明的第一方式的3维形状计测装置具备：摄像部，依次输出所拍摄到的规定的2维图像；存储部，存储摄像部所输出的2维图像；3维形状模型生成部，基于存储部所存储的2维图像，生成3维形状模型，将所生成的3维形状模型存储于存储部；区域计算部，根据存储部所存储的2维图像及3维形状模型，计算2维图像内的已计测区域；以及显示用图像生成部，基于已计测区域，根据2维图像，生成显示用图像。

本发明的第一方式的3维形状计测装置中，优选为，所述区域计算部根据所述存储部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的计测对象外区域、已计测区域及未计测区域，所述显示用图像生成部基于所述计测对象外区域、所述已计测区域及所述未计测区域，根据所述2维图像，生成显示用图像。

本发明的第一方式的3维形状计测装置中，优选为，所述区域计算部根据所述存储部所存储的所述2维图像及所述3维模型，计算所述2维图像内的已低精度计测区域及已高精度计测区域。

本发明的第一方式的3维形状计测装置中，优选为，所述3维形状模型生成部还具备指示精度设定的变更的精度设定变更指示部。

本发明的第一方式的3维形状计测装置中，优选为，所述显示用图像生成部生成所述已计测区域的像素值高且所述计测对象外区域的像素值低的所述显示用图像。

本发明的第一方式的3维形状计测装置中，优选为，还具备：最佳移动方向计算部，基于所述2维图像内的所述未计测区域的分布，计算最佳的所述摄像部的移动方向；以及最佳移动方向输出部，输出对由所述最佳移动方向计算部计算出的移动方向进行引导的信息。

此外，本发明的第二方式的3维形状计测方法包括如下步骤：依次取得2维图像(摄像图像取得步骤)；将摄像图像取得步骤中取得的2维图像存储于存储部(存储步骤)；基于存储步骤中存储的2维图像，生成3维模型，将所生成的3维形状模型存储于存储部(3维形状模型生成步骤)；根据存储部所存储的2维图像及3维形状模型，计算2维图像内的已计测区域(区域计算步骤)；基于区域计算步骤中计算出的已计测区域，根据2维图像，生成显示用图像(显示用图像生成步骤)。

此外，本发明的第三方式的3维形状计测程序使计算机执行如下步骤：存储步骤，使存储部存储从拍摄2维图像的摄像部输出的所述2维图像；3维形状模型生成步骤，基于存储步骤中存储的2维图像，生成3维模型，使存储部存储所生成的3维形状模型；区域计算步骤，根据存储部所存储的2维图像及3维形状模型，计算2维图像内的已计测区域；以及显示用图像生成步骤，基于已计测区域，根据2维图像，生成显示用图像。

发明效果

根据本发明的方式，能够实现在3维形状的计测时能够容易地确定未计测区域的3维形状计测装置、3维形状计测方法及3维形状计测程序。

附图说明

图1是表示本发明的实施方式的3维形状计测装置的一例的功能框图。

图2是表示图1所示的区域计算部的一例的功能框图。

图3是表示图1及图2所示的3维形状计测装置所进行的控制处理的一例的流程图。

图4是示意地表示图1所示的显示用图像生成部所进行的图像处理的一例的图。

具体实施方式

以下，参照附图对本发明的实施方式的3维形状计测装置进行说明。另外，在本说明书中，所谓对象物的3维形状模型，意思是指将3维空间内的对象物的形状在计算机内部通过数值化来表现的模型，例如意思是指基于多视点的2维图像或各像素表示距离信息的2维图像、将对象物的表面形状用3维空间内的多个点的集合(即点群)来复原的点群模型。此外，本说明书中所谓的3维形状计测是包含通过拍摄多个2维图像来生成对象物的3维形状模型、以及为了生成对象物的3维形状模型而拍摄多个2维图像的概念。

图1是表示实施方式的3维形状计测装置1的一例的功能框图。3维形状计测装置1具备摄像部11、存储部12、3维形状模型生成部13(3维形状更新部)、区域计算部14、显示用图像生成部15及显示部16。

摄像部11依次输出所拍摄到的规定的2维图像。另外，本实施方式中，所谓2维图像是指基于由具有2维排列的多个像素的摄像元件拍摄到的各像素值的图像，或者表示该图像的信号或数据。该情况下的图像是黑白图像(灰色图像)、彩色图像、红外线图像、距离图像等，或者同时拍摄而得到的多个图像(立体图像)。

存储部12是对摄像部11所输出的2维图像及已计测的3维形状模型进行存储的存储装置。

3维形状模型生成部13基于存储部12所存储的2维图像群，更新3维形状模型。在此，在基于2维图像群的3维形状模型的生成方法中，例如将多个2维图像中包含的、拍摄到的对象的区域推测为轮廓(轮廓图形)。进而，能够将所推测出的多个轮廓重叠的区域作为空间区域来计算(例如参照专利文献4)。作为这样的方法，能够使用视觉体积交叉法等。

此外，3维形状模型生成部13还具备指示精度设定的变更的精度设定变更指示部。

区域计算部14基于存储部12所存储的2维图像及3维形状模型，计算2维图像内的已计测区域，即3维形状模型已制作完的区域。

此外，区域计算部14基于存储部12所存储的2维图像及3维形状模型，计算2维图像内的计测对象外区域、已计测区域及未计测区域。

此外，区域计算部14根据2维图像及3维模型，计算2维图像内的已低精度计测区域及已高精度计测区域。

显示用图像生成部15基于区域计算部14计算出的已计测区域R1及计测对象外区域R2、存储部12所存储的2维图像I，生成显示用图像V。此外，显示用图像生成部15也可以基于已计测区域R1、计测对象外区域R2及未计测区域，根据所述2维图像来生成显示用图像。

该情况下，例如，显示用图像V能够作为构成2维图像I的各像素当中的、已计测区域R1的像素值高且计测对象外区域R2的像素值低的图像来生成。即，能够使用正的常量a及b，对2维图像I上的像素p(u，v)的像素值p’(u，v)，如下述那样定义显示用图像上的像素q(u，v)的像素值q’(u，v)。

[数1]

$q^{,}(u,v)=\left\{\begin{array}{cc}p(u,v)+a& \begin{array}{cc}if& p(u,v)\∈R1\end{array}\\ p(u,v)-b& \begin{array}{cc}if& p(u,v)\∈R2\end{array}\\ p(u,v)& else\end{array}\right.$

显示部16是液晶显示装置或有机EL等显示装置，显示由显示用图像生成部15生成的显示用图像。

此外，3维形状计测装置1也可以还具备：最佳移动方向计算部，基于所述2维图像内的所述未计测区域的分布，计算最佳的所述摄像部的移动方向；以及最佳移动方向输出部，输出对由所述最佳移动方向计算部计算出的移动方向进行引导的信息。

接下来，参照图2对参照图1所说明的区域计算部14的构成例进行说明。

图2是表示图1所示的区域计算部的一例的功能框图。图2所示的区域计算部14具备已计测区域计算部21、计测对象外区域计算部22、未计测区域计算部23。已计测区域计算部21基于存储部12所存储的2维图像群及3维形状模型，在包含摄像对象的2维图像中计算作为3维形状模型已制作完的区域的已计测区域R1。计测对象外区域计算部22基于存储部12所存储的2维图像群及3维形状模型，在包含摄像对象的2维图像中计算作为3维形状模型的制作对象外的区域的计测对象外区域R2。未计测区域计算部23基于所计算出的已计测区域R1和计测对象外区域R2，计算包含拍摄到的对象的2维图像的未计测区域R3。

此外，已计测区域计算部21能够使用存储部12所存储的3维形状计测装置1的移动的推测结果，计算已计测区域R1。该情况下，从拍摄包含拍摄到的对象的2维图像I时的视点将存储部12所存储的3维形状模型G作为2维图像进行了表示的情况下，所计算出的像素的集合相当于已计测区域R1。由此，能够计算已计测区域R1。即，例如，将上述3维形状模型G作为用绝对坐标来表示的3维点Ai(xi，yi，zi)(i＝1，2，……，n，其中，n为构成3维形状模型G的3维点的总数)的集合来表示的话，对2维图像I上的像素p(u，v)，使用从绝对坐标向2维图像I的拍摄时的视点的坐标变换T、以及2维图像I的拍摄时的投影矩阵P，能够如下述那样定义已计测区域R1。

[数2]

其中，int((s，t))设为返回将实数向量(s，t)的各要素四舍五入后的整数向量的函数。

此外，计测对象外区域计算部22能够使用存储部12所存储的3维形状模型的进深值来计算已计测区域R2。该情况下，将存储部12所存储的3维形状模型G的进深值为一定以上或者一定以下的部分视为计测对象外的近景或者远景，与其对应的包含拍摄到的对象的2维图像I的像素的集合相当于计测对象外区域R2。由此，能够计算计测对象外区域R2。即，对包含拍摄到的对象的2维图像I上的像素p(u，v)，使用进深值d(u，v)、进深阈值dmin及dmax，能够如下述那样定义计测对象外区域R2。

[数3]

R2＝{p(u，v)|d(u，v)≤dminANDd(u，v)≥dmax}

此外，未计测区域计算部23能够使用已计测区域R1和计测对象外区域R2来计算未计测区域R3。该情况下，例如，未计测区域R3不属于包含拍摄到的对象的2维图像I的各像素当中的已计测区域R1和计测对象外区域R2中的任一个，但相当于像素的集合。由此，能够计算未计测区域R3。即，对包含拍摄到的对象的2维图像I上的像素p(u，v)，能够如下述按压定义未计测区域R3。

[数4]

R3＝{p(u，v)|NOTp(u，v)∈R1ORp(u，v)∈R2}

接下来，参照图3及图4对图1及图2所示的3维形状计测装置1的动作例进行说明。例如，若计测者进行规定的操作，则摄像部11取得2维图像I(步骤S301)。接下来，存储部12存储2维图像I(步骤S302)。接下来，3维形状模型生成部13基于2维图像I、所存储的2维图像Iold，对所存储的3维形状模型G进行更新(步骤S303)。接下来，已计测区域计算部21基于所存储的2维图像I、所存储的3维形状G、摄像机位置P及摄像机参数A，计算已计测区域R1(步骤S304)。接下来，计测对象外区域计算部22根据所存储的2维图像I及所存储的3维形状模型G，计算计测对象外区域R2(步骤S305)。接下来，未计测区域计算部23根据已计测区域R1及计测对象外区域R2，计算未计测区域R3(步骤S306)。接下来，显示用图像生成部15根据已计测区域R1、计测对象外区域R2、未计测区域R3及2维图像I，生成显示用图像V(步骤S307)。接下来，显示部16显示显示用图像V(步骤S308)。然后，在基于来自计测者的指示等而使3维形状计测处理结束的情况下，结束处理(步骤S309为是)，除此之外的情况下(步骤S309为否)返回至步骤S301。

在此，基于显示部16上显示的显示用图像V，计测者使摄像部11(摄像部)移动。与此同时，摄像部11新取得包含从与前次不同的视点拍摄到的被摄像体的2维图像I。在此，处理返回至步骤S301，反复执行上述的处理。

如以上那样，本实施方式的3维形状计测装置1中，基于根据包含拍摄到的被摄像体的2维图像I及3维形状模型G计算出的已计测区域R1，生成显示用图像V。即，该构成中，生成显示用图像V时，能够将图像内的各像素是否属于已计测区域R1作为参考信息来使用。根据该构成，例如，能够生成对已计测区域R1进行了强调的显示用图像并显示于显示部16。即，与除了单纯地包含拍摄到的被摄像体的2维图像I之外将已计测3维形状模型G也显示于显示部16的情况相比，计测者能够容易地判断具体如可移动摄像部11才能够计测未计测区域。

此外，本实施方式的区域计算部14基于存储部12所存储的2维图像Iold及3维形状模型G，计算已计测区域R1、计测对象外区域R2及未计测区域R3，并向显示用图像生成部15输出。因此，生成显示用图像V时能够将已计测区域R1、计测对象外区域R2及未计测区域R3作为参考信息来使用，能够更加明确具体如何使摄像部11移动才能够计测未计测区域来生成显示用图像V。

另外，3维形状计测装置1可以如图1所示那样，将摄像部11、存储部12、3维形状模型生成部13、区域计算部14、显示用图像生成部15及显示部16作为一体来具备，也可以将例如1或者2个以上要素(3维形状计测装置的构成要素)的每个通过其他装置来构成。例如，摄像部11、存储部12、3维形状模型生成部13、区域计算部14、显示用图像生成部15及显示部16能够作为一体，作为便携式摄像机、便携式信息终端等电子设备来构成。此外，例如能够将摄像部11、存储部12及显示部16的一部分或者全部用便携式摄像机来构成，用个人计算机等来实现3维形状模型生成部13、区域计算部14及显示用图像生成部15。

进而，3维形状计测装置1也可以是，具备无线或有线的通信装置，将图1所示的构成要素间经由无线或有线的通信线路进行连接。

此外，3维形状计测装置1能够设置进行基于存储部12所存储的2维图像群及3维形状模型来对3维形状计测装置1的移动进行推测的处理的手段(装置)。该移动的推测例如通过在多个2维图像中追踪各2维图像中包含的多个特征点的位置来进行(例如，参照非专利文献1)。此时，作为在动态图像那样的多个2维图像间追踪特征点的方法，广泛地使用Kanade－Lucas－Tomasi法(KLT法)等多个方法。该移动的推测结果例如能够存储于存储部12。

此外，3维形状计测装置1也可以具有使用例如GPS(globalpositioningsystem)接收机等来取得自装置的位置信息的功能、使用加速度传感器、陀螺仪传感器等来感测自装置的移动的功能。该移动的感测结果例如能够存储于存储部12。

另外，本发明的实施方式不限于上述实施方式。例如，3维形状计测装置1能够使用1个或多个CPU和CPU所执行的程序来构成，该程序能够经由计算机可读取的记录介质或通信线路来进行流通等。

工业上的可利用性

本发明的3维形状计测装置、3维形状计测方法及3维形状计测程序能够利用于数字摄像机等摄像装置、具备摄像机的便携式信息终端等。

附图标记的说明

13维形状计测装置

11摄像部

12存储部

133维形状模型生成部

14区域计算部

15显示用图像生成部

16显示部

21已计测区域计算部

22计测对象外区域计算部

23未计测区域计算部

Claims (8)

1.一种3维形状计测装置，其中，具备：

摄像部，依次输出所拍摄到的规定的2维图像；

存储部，存储所述摄像部所输出的所述2维图像；

3维形状模型生成部，基于所述存储部所存储的所述2维图像，生成3维形状模型，将所生成的3维形状模型存储于所述存储部；

区域计算部，根据所述存储部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的已计测区域；以及

显示用图像生成部，基于所述已计测区域，根据所述2维图像，生成显示用图像。

2.如权利要求1所述的3维形状计测装置，其中，

所述区域计算部根据所述存储部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的计测对象外区域、已计测区域及未计测区域，

所述显示用图像生成部基于所述计测对象外区域、所述已计测区域及所述未计测区域，根据所述2维图像，生成显示用图像。

3.如权利要求1或2所述的3维形状计测装置，其中，

所述区域计算部根据所述存储部所存储的所述2维图像及所述3维模型，计算所述2维图像内的已低精度计测区域及已高精度计测区域。

4.如权利要求3所述的3维形状计测装置，其中，

所述3维形状模型生成部还具备指示精度设定的变更的精度设定变更指示部。

5.如权利要求1～4中任一项所述的3维形状计测装置，其中，

所述显示用图像生成部生成所述已计测区域的像素值高且所述计测对象外区域的像素值低的所述显示用图像。

6.如权利要求1～5中任一项所述的3维形状计测装置，其中，还具备：

最佳移动方向计算部，基于所述2维图像内的所述未计测区域的分布，计算最佳的所述摄像部的移动方向；以及

最佳移动方向输出部，输出对由所述最佳移动方向计算部计算出的移动方向进行引导的信息。

7.一种3维形状计测方法，其中，包括如下步骤：

依次取得2维图像；

将所取得的所述2维图像存储于存储部；

基于所存储的所述2维图像，生成3维模型，将所生成的3维形状模型存储于所述存储部；

根据所述存储部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的已计测区域；

基于所述区域计算步骤中计算出的所述已计测区域，根据所述2维图像，生成显示用图像。

8.一种3维形状计测程序，其中，使计算机执行如下步骤：

存储步骤，使存储部存储从拍摄2维图像的摄像部输出的所述2维图像；

3维形状模型生成步骤，基于所述存储步骤中存储的所述2维图像，生成3维模型，使所述存储部存储所生成的3维形状模型；

区域计算步骤，根据所述存储部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的已计测区域；以及

显示用图像生成步骤，基于所述已计测区域，根据所述2维图像，生成显示用图像。