CN104864821A - 计算设备和方法 - Google Patents

计算设备和方法 Download PDF

Info

Publication number
CN104864821A
CN104864821A CN201510083332.5A CN201510083332A CN104864821A CN 104864821 A CN104864821 A CN 104864821A CN 201510083332 A CN201510083332 A CN 201510083332A CN 104864821 A CN104864821 A CN 104864821A
Authority
CN
China
Prior art keywords
focus
cloud data
descriptor
information
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510083332.5A
Other languages
English (en)
Inventor
伊藤聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN104864821A publication Critical patent/CN104864821A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Algebra (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及计算设备和方法。根据一种实施例，计算设备包括获取单元、提取器、计算器、和输出单元。获取单元获取作为代表物体的形状的点的集合的点云数据。提取器从点云数据中提取关注点。计算器计算关注点和位于所述关注点附近的一个或多个相邻点的每个相邻点之间的距离，计算代表所述关注点和一个或多个相邻点的每个相邻点之间的关系而不是距离的关系信息，对于所述一个或多个相邻点计算所述距离和所述关系信息之间的同现频率，并且将所述同现频率确定为所述关注点的描述符。输出单元输出所述描述符。

Description

计算设备和方法
对相关申请的交叉引用
此申请基于并且要求申请于2014年2月20号提交的日本专利申请No.2014-030965的优先权的权益；其全部内容通过引用被并入于此。
技术领域
在此描述的实施例一般涉及计算设备和方法。
背景技术
物体的三维形状通常被测量多次，因为很难在单个测量中测量整个物体。因为在此情况中每个测量中得到的点云数据具有不同的坐标系，所述点云数据被对齐以使得坐标系共用于全部点云数据段并且整合使全部点云数据段。
点云数据段之间的此类对齐是由已知方法执行的，在该已知方法中，诸如特征点的关注点被从每个点云数据段中提取，以便通过比较所述关注点的描述符将提取的关注点彼此关联。在此方法中，关注点之间的关联的准确性依赖于所述描述符。
关注点的描述符表示所述关注点附近的信息并且可以被表示为直方图，例如，所述直方图被对于在所述关注点和一个或多个相邻点的每个点之间形成和连接的三类相对角度的每个角度生成。
但是，在上述相关领域中的描述符不能完整表示所述关注点附近的信息并且具有差的表达力。因此，当使用上述描述符时，由于关注点之间的关联的低的准确性，点云数据段之间的对齐更可能失败。
发明内容
在此描述的实施例的目的是提供计算设备和方法，其能够改善表示关注点附近的信息的描述符的表达力。
根据一种实施例，计算设备包括获取单元、提取器、计算器、和输出单元。获取单元获取点云数据，其是代表物体形状的点的集合。提取器从点云数据中提取关注点。计算器计算关注点和位于所述关注点附近的一个或多个相邻点的每个点之间的距离，计算代表关注点和一个或多个相邻点的每个点之间的关系而不是距离的关系信息，对于所述一个或多个相邻点计算所述距离和所述关系信息之间的同现频率，并且将所述同现频率确定为所述关注点的描述符。输出单元输出所述描述符。
根据以上描述的计算设备，表示所述关注点附近的信息的描述符的表达力。
附图说明
图1是说明根据第一实施例的计算设备的示例的框图；
图2是说明根据所述第一实施例的点云数据的示例的图；
图3是说明根据所述第一实施例的关注点和一个或多个相邻点的示例的图；
图4是说明根据所述第一实施例的计算关注点和相邻点之间的距离和关系信息的方法的示例的图；
图5是说明根据所述第一实施例的计算关注点和相邻点之间的关系信息的方法的另一示例的图；
图6是说明根据所述第一实施例的距离和关系信息的同现直方图的示例的图；
图7是说明根据所述第一实施例的距离和关系信息的所述同现直方图的示例的图；
图8是说明在第一实施例中执行的处理的示例的流程图；
图9是说明相对于第一实施例的比较示例的图；
图10是说明根据第二实施例的计算设备的示例的框图；
图11是说明在第二实施例中执行的处理的示例的流程图；
图12是说明根据第三实施例的计算设备的示例的框图；
图13是说明在第三实施例中执行的处理的示例的流程图；
图14是说明根据第四实施例的计算设备的示例的框图；
图15是说明在第四实施例中执行的处理的示例的流程图；
图16是说明根据每个实施例的计算设备的硬件配置的示例的图。
具体实施方式
将在下文中参考所述图详细描述各种实施例。
第一实施例
图1是说明根据第一实施例的计算设备10的示例的框图。如图1所示，计算设备10包括获取单元11、提取器13、计算器15、输出单元17、和存储器19。获取单元11、提取器13、计算器15、和输出单元17例如可以通过使得诸如CPU(中央处理单元)之类的处理器执行程序，即通过软件实施，通过诸如IC(集成电路)之类的硬件实施，或通过软件和硬件的组合实施。存储器19可以通过诸如可以磁、光学、或电地存储信息的HDD(硬盘驱动器)、SSD(固态驱动器)、存储卡、光盘、ROM(只读存储器)、或RAM(随机存取存储器)之类的存储器实施。
获取单元11获取点云数据，其是代表物体形状的点的集合。
在点云数据中包括的每个点保存代表在物体表面上的位置的位置信息。位置信息优选地是放置在三维笛卡尔坐标系中的三维坐标，但是不限于此。位置信息可以是放置在诸如可以被转换为三维笛卡尔坐标系的三维极坐标系或三维圆柱坐标系之类的坐标系中的三维坐标。当位置信息是放置在可以被转换为三维笛卡尔坐标系的坐标系中的三维坐标时，优选地获取单元11将所述三维坐标转换为放置在三维笛卡尔坐标系中的三维坐标。
图2是说明根据所述第一实施例的示例点云数据41的图，所述点云数据对应于未示出的物体的一部分。在图2示出的示例中，在点云数据41中包括的每个点的位置信息是放置在三维笛卡尔坐标系的三维坐标。
注意由获取单元11获取的点云数据可以使用激光传感器或立体相机通过三维测量生成，或者通过诸如3D-CAD(计算机辅助设计)之类的软件生成。
由获取单元11获取的点云数据中包括的每个点还可以包括除了位置信息之外的信息。例如，当点云数据使用有源传感器通过三维测量生成时，所述点云数据还可以包括每个点的反射强度。例如，当点云数据使用可见光相机通过三维测量生成时，所述点云数据还可以包括每个点的亮度值。例如，当点云数据使用彩色相机通过三维测量生成时，所述点云数据还可以包括每个点的颜色信息(RGB值)。例如，当点云数据在使用激光传感器或立体相机的同时通过以时间序列执行的三维测量生成时，所述点云数据还可以包括每个点的置信度级别。置信度级别表示点实际存在于那个位置的置信度。例如，当点云数据借助于激光传感器或立体相机采用光度立体方法通过三维测量生成时，所述点云数据还可以包括每个点的法向量。例如，当点云数据通过3D-CAD生成时，所述点云数据还可以包括3D模型中保存的诸如每个点的颜色信息和材料信息之类的信息。
提取器13从由获取单元11获取的点云数据中提取关注点。关注点可以是由用户预先指定的点或特征点。当关注点是预先指定的点时，提取器13从点云数据中提取预先指定的点。当关注点是特征点时，提取器13使用已知特征点检测方法以从点云数据中提取特征点。已知特征点检测方法可以是例如在2011由S.Salti et al.的“APerformance Evaluation of 3D Keypoint Detectors”中描述的方法。
注意由提取器13使用以提取关注点的参数被存储在存储器19中。提取器13使用此参数以从点云数据中提取关注点。例如，用以提取关注点的参数可以是指示预先指定的点的信息段或者用以检测特征点的参数。
计算器15计算描述符，其表示由提取器13提取的关注点附近的信息。当由获取单元11获取的点云数据与另一点云数据对齐时，所述描述符被使用。具体地，描述符是围绕所述关注点的局部信息的数字形式并且在许多情形中典型地由实数向量代表。注意点云数据的对齐不会在第一实施例中描述，但会在第二实施例中描述。
在此，将在执行点云数据段之间的对齐中描述关于描述符的要求。
首先，要求描述符不依赖于确定在点云数据中包括的每个点的位置的坐标系。
例如，假定物体是圆锥体，点云数据是所述圆锥体表面上的每个点的集合，并且关注点是所述圆锥体的顶点。在此情况中，要求关注点(顶点)的描述符具有相同的值，不管圆锥的基底位于x-y平面并且具有对应于z轴的高度方向，或者圆锥的基底位于y-z平面并且具有对应于x轴的高度方向。
这是因为将点云数据段一起对齐时，点云数据段具有不同坐标系。具体地，当描述符的值依赖于坐标系而不同时，即使当由获取单元11获取的点云数据的关注点与另一个点云数据的关注点相同时，由获取单元11获取的点云数据的关注点的描述符也具有不同于该另一个点云数据的关注点的描述符的值，由此导致点云数据段之间的对齐失败。
第二，要求描述符具有高表达力。
当关注点附近的形状(诸如关注点和位于所述关注点附近的一个或多个相邻点之间的位置关系之类)近似相同时，具有高表达力的描述符采用近似相同的值，但是当所述关注点附近的形状不同时，所述描述符采用不同的值。
因此，例如，并不优选地将位于所述关注点附近的相邻点的数目设定为描述符。在此情况中，描述符不依赖于点云数据的坐标系并且因此满足第一要求，但是不满足第二要求，因为即使当关注点附近的形状(关注点和一个或多个相邻点之间的位置关系)不同，当相邻点的数目相同时，描述符也采用相同的值。
因此，第一实施例的计算器15计算满足第一和第二要求的描述符作为由提取器13提取的关注点的描述符。具体地，计算器15计算由提取器13提取的关注点和位于所述关注点附近的一个或多个相邻点的每个点之间的距离，计算代表关注点和一个或多个相邻点的每个点之间的关系而不是距离的关系信息，对于所述一个或多个相邻点计算所述距离和所述关系信息之间的同现频率，并且将所述同现频率确定为所述关注点的描述符。
替代地，计算器15可以对于每个相邻点计算多种类型的关系信息，对于相同类型的每段关系信息计算同现频率，并且将多种类型的同现频率确定为描述符。
将在下面提供关于描述符是如何被计算的具体描述。
将首先描述所述关注点的相邻点。
图3是说明根据所述第一实施例的关注点42和一个或多个相邻点43的示例的图。在图3说明的示例中，计算器15将具有到由提取器13从点云数据41中提取的关注点42的距离等于或小于阈值r的一个或多个点，确定为一个或多个相邻点43。
例如，阈值r可以被设定，以便在考虑点云数据41的坐标系的尺度时，实际测量等于预定值。在此情况中，使用共用值作为点云数据41中的阈值r。此外，例如，可以根据使用已知尺度空间法对围绕关注点42的点的分布的分析结果来设定阈值r。在此情况中，阈值r对于点云数据41中的每个关注点采用不同的值。
例如，阈值r还可以被设定，以便当点云数据41中的点的密度等于要与所述点云数据41对齐的另一个点云数据中的点的密度时，一个或多个相邻点43的数目等于预设数目。在此情况中，阈值r采用的值等于从关注点42到离其第n最近的点的距离。但是，当点云数据41中的点的密度不同于要与所述点云数据41对齐的另一个点云数据中的点的密度时，不优选地将阈值r设定以便一个或多个相邻点43的数目n等于预设数目。这是因为，在如以上描述其中所述关注点和相邻点之间的距离被用于计算描述符的第一实施例中，当点的密度在点云数据段之间不同时，所述关注点和相邻点之间的距离也不同，由此描述符不满足第二要求。
接下来，将要描述关注点和相邻点之间的距离和关系信息，以及所述距离和关系信息的同现频率。
在以下描述中假定p0指代关注点42的位置信息(位于三维笛卡尔坐标系中的三维坐标)，相邻点43i代表关注点42的第i个相邻点，pi指代相邻点43i的位置信息(位于三维笛卡尔坐标系中的三维坐标)。而且，相邻点43的数目等于如上所述的“n”，并且“i”满足1≤i≤n。
图4是说明根据所述第一实施例的计算关注点42和相邻点43i之间的距离和关系信息的方法的示例的图。
计算器15使用表达式(1)以计算关注点42和相邻点43i的距离di(参考图4)。
di＝D(P0,Pi)＝||pi-p0||         (1)
P0代表关注点42，并且Pi代表相邻点43i。
距离di不依赖于坐标系，并且因此满足第一要求。但是，即使当n个相邻点43的每个点的距离di的频率分布都被设定为描述符时，距离di具有低表达力，并且因此不满足第二要求。
因此，在第一实施例中，计算器15还计算不同于距离d的关系信息v以将距离d和关系信息v之间的同现频率确定为描述符。关系信息v将在后面详细描述。所述描述符是同现频率以便因此掌握在哪个距离生成多少关系信息，以及多少关系信息不容易被点的密度影响，并且因此具有高表达力。
距离d和关系信息v之间的同现频率的示例可以是同现直方图，其通过将距离d量化为Ld个等级，将关系信息v量化为Lv个等级，并且计算这两个同时出现的频率。在此示例中，同现直方图(描述符)具有Ld x Lv个元素。表达式(2)代表同现直方图H(s,t)，其中“s”指代量化的距离并且“t”指代量化的关系信息。
H(s,t)＝#({P∈N(P0)|Qd(P0,P)＝s∧Qv(P0,P)＝t})/nfors＝0,…,Ld-1,t＝0,…,Lv-1  (2)
在此，N(P0)代表关注点P0的n个相邻点的集合，#(A)代表集合A中的元素数目，Qd(P0,P)代表被量化为Ld个等级的关注点P0和相邻点P之间的距离的值，并且Qv(P0,P)代表被量化为Lv个等级的关注点P0和相邻点P之间的关系信息的值。注意Qd(P0,P)由表达式(3)表达。
Q d ( P 0 , P ) = floor ( ( L d - 1 ) D ( P 0 , P o ) r ) - - - ( 3 )
在此，floor(x)代表返回不超过x的最大整数值的下取整函数。
而且，Qv(P0,P)被以与Qd(P0,P)相同的方式设定。
尽管由表达式(2)表达的同现直方图忽略了距离和关系信息的量化误差并且选择了最近的区间(bin)，但是所述量化误差也可以被考虑。例如，可以对同现直方图的四个相邻区间进行加权选择而不是只选择最近的区间。例如，根据量化误差的幅度通过执行线性插值获得的值可以被用作选择的加权。
而且，计算器15可以不只计算一种类型而是计算多种类型的关系信息。当多种类型的关系信息使用指示类型数目的“M”计算时，计算器15计算所述距离和所述关系信息之间的M个同现频率。这M个同现频率可以连接起来被用作描述符。
在此，将要详细描述关注点和相邻点之间的关系信息。
关系信息的一个示例可以是基于在从关注点42到相邻点43i的位移向量(pi-p0)与相邻点43i的法向量ni之间形成的角度βi(参考图4)的量。例如，“βi”本身可以是关系信息，通过使用表达式(4)转换“βi”得到的“γi”可以是关系信息，或者通过使用余弦函数转换“βi”得到的值可以是关系信息。
γi＝min(βi,π-βi)             (4)
在此，“π”代表圆周率。注意“γi”代表当每个位移向量(pi-p0)与法向量ni被认为是直线时形成的角度。
例如，当点云数据中包括的每个点不具有关于法向量的信息时，计算器15可以对每个点执行局部平面拟合并且将垂直于所述拟合平面的方向上的单位向量确定为那个点处的法向量。替代地，例如，计算器15可以使用另一个法向估计方法以计算所述法向量。
关系信息的另一个示例可以是关注点42的特征量和相邻点43i的特征量之间的相似度。所述特征量可以是关于点云数据41中包括的每个点的信息段。特征量的优选示例是法向量。
图5是说明根据所述第一实施例的计算关注点42和相邻点43i之间的关系信息的方法的另一个示例的图。在图5说明的示例中，在关注点42的法向量n0与相邻点43i的法向量ni之间形成的角度αi是特征量的相似度(关系信息)。
在此情况中，计算器15消除那些角度αi是钝角的相邻点，即使用那些角度αi不是钝角的相邻点，并且计算要被用作描述符的距离d和关系信息v(角度αi)之间的同现直方图。这是为了消除当角度αi是钝角时，关注点42和相邻点43i各自可能所处的物体的前侧和后侧之间的同现。在三维测量中，物体的前侧和后侧在大多数情况下不能被同时测量，由此此类消除是有效的，因为前侧和后侧之间的同现被认为是不可靠的信息段。注意特征量不限于法向量而且可以是诸如在点云数据41中的每个点中包括的RGB值、亮度值、反射强度之类的信息，或者可以是例如诸如SpinImage之类的已知特征量。
当特征量由向量代表时，计算器15使用诸如欧氏距离(L2距离)、曼哈顿(Manhattan)距离(L1距离)、余弦相似度、和特征量之间形成的角度之类的标准以计算关注点42的特征量与相邻点43i的特征量之间的相似度。
替代地，计算器15可以计算关注点42的特征量与相邻点43i的特征量之间的不相似度以代替相似度。相似度可以通过反转不相似度的符号来得到。
图6和图7都是说明根据所述第一实施例的距离和关系信息的同现直方图的示例的图。例如，当基于角度βi(诸如βi自身)的量是关系信息时，计算器15计算要被用作关注点42的描述符的、距离d和角度β(关系信息v)的同现直方图，如图6中所示。例如，当角度αi是关系信息时，计算器15计算要被用作关注点42的描述符的、距离d和角度α(关系信息v)的同现直方图，如图7中所示。例如，当角度βi和角度αi是关系信息时，计算器15如图6中所示计算距离d和角度β(关系信息v)的同现直方图以及如图7中所示计算距离d和角度α(关系信息v)的同现直方图，并且连接这些同现直方图以被用作描述符。
由计算器15使用以计算描述符的参数被存储在存储器19中。计算器15使用此参数以计算关注点的描述符。例如，用于计算关注点的参数可以是指示阈值r的值的参数或指示确定阈值r的方法的参数，或者是指示哪个信息要被用作关系信息的参数。
输出单元17输出由计算器15计算的描述符。
图8是说明由第一实施例的计算设备10执行的处理的流程的示例的流程图。
首先，获取单元11获取点云数据(步骤S101)。
提取器13接着从由获取单元11获取的点云数据中提取关注点(步骤S103)。
接着，计算器15计算由提取器13提取的关注点和位于所述关注点附近的一个或多个相邻点的每个点之间的距离，计算代表关注点和一个或多个相邻点的每个点之间的关系而不是距离的关系信息，对于所述一个或多个相邻点计算所述距离和所述关系信息之间的同现频率，并且将所述同现频率确定为所述关注点的描述符(步骤S105)。
输出单元17接着输出由计算器15计算的描述符(步骤S107)。
如上所述，根据第一实施例，因为关注点与一个或多个相邻点之间的距离和关注点与一个或多个相邻点之间的关系(关系信息)的同现频率被确定为所述关注点的描述符，所以描述符的表达力可以被增强。所述描述符掌握在哪个距离生成多少关系信息，以及多少关系信息不容易地被点的密度影响，并且因此具有高表达力。
图9是说明相对于第一实施例的比较示例的图并且说明根据在R.B.Rusu,N.Blodow和M.Beetz,“Fast Point Feature Histograms(FPFH)for 3D Registration”，Int.Conf.on Robotics andAutomation,2009(以下称为文献1)中公开的方法的描述符。在文献1中公开的方法中，关注点与一个或多个相邻点之间的每个点之间形成的三种类型的相对角度α,θ,和φ被计算，以便相对角度α,θ,和φ的每个都被表示为直方图，所述直方图接着被连接以用作描述符。
因此，在文献1中公开的方法中，相对角度α,θ,和φ的每个都被独立使用以被表示为直方图，由此表达力是低的，因为未能表达如第一实施例中描述的同现关系。
第二实施例
在第二实施例中，将要描述通过使用第一实施例中计算的描述符将点云数据段一起对齐的示例。下面，将主要描述与第一实施例的差别，而具有与第一实施例中相同功能的部件将被赋予与第一实施例中相同的名称与相同的参考数字，以省略对此类部件的描述。
图10是说明根据第二实施例的计算设备110的示例的框图。如图10所示，第二实施例的计算设备110中包括的获取单元111、提取器113、计算器115、输出单元117、存储器119、关联单元121、和估计器123都不同于第一实施例的。
获取单元111通过第一实施例中描述的方法获取第一点云数据和第二点云数据作为点云数据。第一点云数据和第二点云数据通过不同的测量获取并且具有不同坐标系。
提取器113使用第一实施例中描述的方法从由获取单元111获取的第一点云数据中提取三个或更多个第一关注点，以及从由获取单元111获取的第二点云数据中提取三个或更多个第二关注点。
三个或更多个第一关注点和三个或更多个第二关注点被认为是第二实施例中的特征点。
计算器115使用第一实施例中描述的方法对于由提取器113提取的每个第一关注点计算第一描述符和对于由提取器113提取的每个第二关注点计算第二描述符，作为描述符。
关联单元121使用由计算器115计算的三个或更多个第一描述符和三个或更多个第二描述符以将由提取器113提取的三个或更多个第一关注点与由提取器113提取的三个或更多个第二关注点关联起来。关联(匹配)与图像处理领域中使用的特征点匹配相同，并且因此特征点匹配可以用于此情况中。
具体地，关联单元121计算三个或更多个第一描述符的每一个与三个或更多个第二描述符的每一个之间的不相似度，以将三个或更多个第一关注点与所述三个或更多个第二关注点关联起来。
例如，关联单元121对于每个第一描述符检查计算的不相似度当中的最小不相似度是否等于或小于预定阈值，并且当所述不相似度等于或小于预定阈值时，将第一描述符的第一关注点与同所述第一描述符具有最小不相似度的第二描述符的第二关注点关联起来。
而且，例如，关联单元121对于每个第一描述符检查计算的不相似度当中的最小不相似度s1与第二最小不相似度s2的比率(s1/s2)是否等于或小于预定阈值，并且当该比率等于或小于预定阈值时，将第一描述符的第一关注点与同所述第一描述符具有最小不相似度的第二描述符的第二关注点关联起来。
在此，除了执行对应于第一关注点的第二关注点的前述匹配(关联)外，关联单元121还可以执行对应于第二关注点的第一关注点的匹配(关联)，并且当两个匹配结果相互一致时确认第一关注点和第二关注点之间的关联。注意两个匹配结果彼此不一致时，可以放弃第一关注点和第二关注点之间的关联。
由关联单元121使用以执行关联的参数被存储在存储器119中。关联单元121使用此参数以执行关联。例如，在关联中使用的参数可以是指示预定阈值的参数。
估计器123使用由关联单元121关联的三对或更多对第一关注点和第二关注点，以估计关于从第一点云数据的坐标系到第二点云数据的坐标系的坐标转换的信息。
坐标转换的估计是由表达式(5)表达的最小化问题，其中“pj”和“qj”分别代表第j对的第一关注点和第二关注点的位置信息。表达式(5)中的最小化问题可以通过采用已知优化技术来最小化。
E ( S , R , t ) = Σ j | | q j - S ( R p j + t ) | | 2 - - - ( 5 )
在此，“S”代表转换坐标系的尺度的对角矩阵，“R”代表旋转矩阵，并且“t”代表平移向量。当第一点云数据和第二点云数据具有相同尺度时，“S”是单位矩阵并且可以不包括在参数中。
考虑其中第一关注点和第二关注点对被关联单元121错误关联的情况，估计器123可以使用RANSAC(随机样本一致性)或类似方法估计关于坐标转换的信息。RANSAC是用以针对包括异常值(错误关联)的数据的优化方法。
当由关联单元121关联的第一关注点和第二关注点小于三对时，估计器123不能估计关于坐标转换的信息。在此情况中，报告单元(未示出)可以发送此类报告。例如，报告单元可以由显示器或灯实现。
由估计器123使用以执行估计的参数被存储在存储器119中。估计器123使用此参数以执行估计。例如，用于所述估计的参数可以是在表达式(5)中使用的参数或在RANSAC中使用的参数。
输出单元输出由估计器123估计得的关于坐标转换的信息。
图11是说明由第二实施例的计算设备110执行的处理的流程的示例的流程图。
首先，获取单元111获取第一点云数据和第二点云数据(步骤S201)。
提取器113接着从由获取单元111获取的第一点云数据中提取三个或更多个第一关注点以及从由获取单元111获取的第二点云数据中提取三个或更多个第二关注点(步骤S203)。
接着，计算器115对于由提取器113提取的每个第一关注点计算第一描述符和对于由提取器113提取的每个第二关注点计算第二描述符(步骤S205)。
关联单元121随后使用由计算器115计算得的三个或更多个第一描述符和三个或更多个第二描述符以将由提取器113提取的三个或更多个第一关注点与由提取器113提取的三个或更多个第二关注点关联(步骤S207)。
接着，估计器123使用由关联单元121关联的三对或更多对第一关注点和第二关注点，以估计关于从第一点云数据的坐标系到第二点云数据的坐标系的坐标转换的信息(步骤S209)。
接着，输出单元117输出由估计器123估计的关于坐标转换的信息(步骤S211)。
根据第二实施例，如上所述，由第一实施例中描述的方法计算的描述符被用以将点云数据段关联在一起，以便关注点可以被更准确地关联并且使得点云数据之间的对齐更容易成功。
第三实施例
在第三实施例中，将会描述改善在第二实施例中描述的对齐的准确性的示例。下面将主要描述与第二实施例的不同，而具有与第二实施例中相同功能的部件将被赋予与第二实施例中相同的名称与相同的参考数字，以省略对此类部件的描述。
图12是说明根据第三实施例的计算设备210的示例的框图。如图12所示，第三实施例的计算设备210中包括的输出单元217、存储器219、和更新单元225不同于第二实施例。
更新单元225以此种方式更新由估计器123估计的关于坐标转换的信息，以减小第一点云数据和第二点云数据之间的对齐误差。具体地，更新单元225使用除了由关联单元121关联的一对第一关注点和第二关注点之外的信息，以更新由估计器123估计的关于坐标转换的信息。
更新单元225例如使用由估计器123估计的关于坐标转换的信息作为默认值并且将ICP方法(迭代最近点)施加到第一点云数据和第二点云数据以便以减小第一点云数据和第二点云数据之间的对齐误差的方式更新坐标转换的信息。已知误差可以被用作ICP方法中使用的对齐误差。例如，表达为一个点与另一个点之间的距离的平方的点对点误差或者表达为一个点与一个平面之间的距离的平方的点对平面误差可以被用作对齐误差。
由更新单元225使用以执行更新的参数被存储在存储器219中。更新单元225使用此参数以执行更新。例如，更新中使用的参数可以是ICP方法中使用的参数。
输出单元217输出由更新单元225更新的关于坐标转换的信息。
图13是说明由第三实施例的计算设备210执行的处理的流程的示例的流程图。
在步骤S301到S309中执行的处理分别与图11中说明的流程图中的S201到S209中执行的处理相同。
随后，更新单元225以此种方式更新由估计器123估计的关于坐标转换的信息，以减小第一点云数据和第二点云数据之间的对齐误差(步骤S311)。
接着，输出单元217输出由更新单元225更新的关于坐标转换的信息(步骤S313)。
根据第三实施例，如上所述，通过更新关于坐标转换的信息可以改善对齐的准确性。
第四实施例
在第四实施例中，将会描述当点云数据之间的对齐失败时缩短重新对齐的时间的示例。下面将主要描述与第三实施例的不同，而具有与第三实施例中相同功能的部件将被赋予与第三实施例中相同的名称与相同的参考数字，以省略对此部件的描述。
当使用ICP方法更新关于坐标转换的信息时，需要缺省状态是关于坐标转换的信息几乎被估计，即，第一点云数据和第二点云数据几乎被对齐。这是因为ICP(迭代最近点)方法假定点云数据的坐标系彼此几乎是相等的。
虽然关于坐标转换的信息的估计结果通常满足此条件，但是在不满足此条件的情况下更新关于坐标转换的信息是对处理时间的浪费，结果导致点云数据之间的重新对齐需更长的时间。尤其是，关于坐标转换的信息是通过大规模使用作为点集合的第一点云数据和第二点云数据来更新的，相比于使用一对彼此关联的第一关注点和第二关注点，由此导致增加的计算负担并且需要更长的计算时间。
因此，在第四实施例中，点云数据之间的重新对齐所需的时间通过在更新关于坐标转换信息之前重新对关于坐标转换的信息进行估计而被缩短。
图14是说明根据第四实施例的计算设备310的示例的框图。如图14所示，第四实施例的计算设备310中包括的估计器323、显示器327、输入单元329、确定单元331和改变单元333不同于第三实施例。
估计器323使得显示器327在其上显示通过使用估计的关于坐标转换的信息对齐的第一点云数据和第二点云数据。显示器327可以通过诸如液晶显示器或触摸板显示器之类的显示器实施。
确定单元331确定是否重新对关于坐标转换的信息进行估计。具体地，确定单元331基于来自通过检查在显示器327上显示的结果的用户操作的输入单元329的输入，确定是否重新对关于坐标转换的信息进行估计。输入单元329可以通过诸如键盘或鼠标之类的输入设备实施。
当确定单元确定重新对关于坐标转换的信息进行估计时，改变单元333改变在存储器219中存储并由提取器113、计算器115、关联单元121、估计器323、和更新单元225中的至少一个使用的参数。
例如，改变单元333可以基于来自通过用户操作的输入单元329的输入改变参数，或者将参数改变到预设参数(预先设定的参数)。
但是，作为由提取器113、计算器115、关联单元121、和估计器323中的至少任何一个使用的参数的改变的结果，由更新单元225使用的参数在必要时被改变。
当参数被改变单元333改变时，从提取器113的提取步骤开始再次执行所述处理。通过使用由改变单元改变的参数，每个单元再次执行所述处理。
另一方面，当确定单元331确定关于坐标转换的信息的估计结果要被决定时，更新单元更新由估计器323估计的关于坐标转换的信息，以减小第一点云数据和第二点云数据之间的对齐误差。
图15是说明由第四实施例中的计算设备310执行的处理的流程图的示例。
步骤S401到S409中执行的处理分别与图11中说明的流程图中的步骤S201到S209中执行的处理相同。
随后，估计器323使得显示器327在其上显示通过使用估计的关于坐标转换的信息对齐的第一点云数据和第二点云数据(步骤S411)。
接着，确定单元331基于来自通过检查显示在显示器327上的结果的用户操作的输入单元329的输入，确定是否重新对关于坐标转换的信息进行估计(步骤S413)。
当确定要重新对关于坐标转换的信息进行估计时(步骤S413：是)，改变单元333改变在存储器219中存储并由提取器113、计算器115、关联单元121、估计器323、和更新单元225中的至少一个使用的参数(步骤S415)。所述处理随后返回到步骤S403。此后，基于被改变的参数执行步骤S403到S409和S417的每一个的处理。
另一方面，当确定不重新对关于坐标转换的信息进行估计时(步骤S413：否)，更新单元更新由估计器323估计的关于坐标转换的信息，以减小第一点云数据和第二点云数据之间的对齐误差(步骤S417)。
接着，输出单元217输出由更新单元225更新的关于坐标转换的信息(步骤S419)。
根据第四实施例，如上所述，点云数据之间的重新对齐所花的时间可以通过显示其中使用估计的关于坐标转换的信息的对齐的结果而缩短，并且当结果不利时，通过改变参数来重新估计关于坐标转换的信息。
硬件配置
图16是说明根据每个前述实施例的计算设备的硬件配置的示例的框图。如图16所示，每个前述实施例的计算设备包括诸如CPU之类的控制器901、诸如ROM和RAM之类的存储器902、诸如HDD和SSD之类的外部存储器903、诸如显示器之类的显示器904、诸如鼠标和键盘之类的输入设备905、和通信I/F 906，并且可以通过使用普通计算机的硬件配置实施。
由每个前述实施例的计算设备运行的程序被提供，同时以可安装的或可执行的文件格式存储在诸如CD-ROM、CD-R、存储卡、DVD、和软盘(FD)之类的计算机可读存储介质中。
由每个前述实施例的计算设备运行的程序可以被提供，同时预先包括在ROM等中。而且，由每个前述实施例的计算设备运行的程序可以存储在连接到诸如互联网之类的网络的计算机上并且通过经由所述网络下载提供。由每个前述实施例的计算设备运行的程序还可以经由诸如互联网之类的网络被提供或被分布。
由每个前述实施例的计算设备运行的程序具有模块配置以在计算上实施上面描述的每个单元。例如，当控制器901将程序从外部存储器903读入到存储器902中并且运行所述程序以便在计算机上实施上面描述的每个单元时，实际的硬件被配置。
例如，在不违背所述步骤的本质的情况下，前述实施例的流程图的每个步骤可以以修改的顺序执行，使得多个步骤被同时执行，或对于每次执行以不同的顺序执行。
根据前述实施例的每一个，如上所述，可以改善表达所述关注点附近的信息的描述符的表达力。
尽管已经描述了某些实施例，但是这些实施例仅作为示例被呈现，并且不旨在限制本发明的范围。实际上，在此描述的新颖实施例可以以不同的其他形式实现；此外，在不背离本发明的精神的情况下，可以对在此描述的实施例的形式做各种省略、替换和改变。所附权利要求和其等价物旨在覆盖会落入到本发明的范围和精神内的此类形式或修改。

Claims (10)

1.一种计算设备，包括：
获取单元，其获取作为代表物体的形状的点的集合的点云数据；
提取器，其从所述点云数据中提取关注点；
计算器，其计算所述关注点和位于所述关注点附近的一个或多个相邻点的每个相邻点之间的距离，计算代表所述关注点和所述一个或多个相邻点的每个相邻点之间的关系而不是距离的关系信息，对于所述一个或多个相邻点计算所述距离和所述关系信息之间的同现频率，并且将所述同现频率确定为所述关注点的描述符；以及
输出单元，其输出所述描述符。
2.如权利要求1所述的计算设备，其中所述计算器对于每个相邻点计算多种类型的关系信息，对于相同类型的每段关系信息计算同现频率，并且将所述多种类型的同现频率确定为所述描述符。
3.如权利要求1所述的计算设备，其中所述关系信息是基于在从所述关注点到所述相邻点的位移向量与所述相邻点处的法向量之间形成的角度的量。
4.如权利要求1所述的计算设备，其中所述关系信息是所述关注点的特征量和所述相邻点的特征量之间的相似度或不相似度。
5.如权利要求4所述的计算设备，其中所述特征量是法向量。
6.如权利要求1所述的计算设备，其中
所述获取单元获取第一点云数据和第二点云数据作为所述点云数据，
所述提取器从所述第一点云数据中提取三个或更多个第一关注点，以及从所述第二点云数据中提取三个或更多个第二关注点，
所述计算器对于每个第一关注点计算第一描述符作为所述描述符，并且对于每个第二关注点计算第二描述符作为所述描述符，以及
所述计算设备还包括：
关联单元，其使用所述三个或更多个第一描述符和所述三个或更多个第二描述符以将所述三个或更多个第一关注点与所述三个或更多个第二关注点关联；以及
估计器，其使用这样彼此关联的三对或更多对第一关注点和第二关注点，以估计关于从所述第一点云数据的坐标系到所述第二点云数据的坐标系的坐标转换的信息，以及
所述输出单元输出所述关于坐标转换的信息。
7.如权利要求6所述的计算设备，其中关联单元计算三个或更多个第一描述符的每个与三个或更多个第二描述符的每个之间的不相似度，以将三个或更多个第一关注点与所述三个或更多个第二关注点关联。
8.如权利要求6所述的计算设备，还包括更新单元，其更新所述关于坐标转换的信息，以减小所述第一点云数据和所述第二点云数据之间的对齐误差，其中
所述输出单元输出这样更新的关于坐标转换的信息。
9.如权利要求8所述的计算设备，还包括：
显示器，其显示通过使用这样估计的关于坐标转换的信息对齐的第一点云数据和第二点云数据；
确定单元，其确定是否重新对所述关于坐标转换的信息进行估计；以及
改变单元，其在所述确定单元确定要重新对所述关于坐标转换的信息进行估计时，改变在所述提取器、所述计算器、所述关联单元、所述估计器、和所述更新单元中的至少一个中使用的参数。
10.一种计算方法，包括：
获取作为代表物体的形状的点的集合的点云数据；
从所述点云数据中提取关注点；
计算所述关注点和位于所述关注点附近的一个或多个相邻点的每个相邻点之间的距离，计算代表所述关注点和所述一个或多个相邻点的每个相邻点之间的关系而不是距离的关系信息，对于所述一个或多个相邻点计算所述距离和所述关系信息之间的同现频率，并且将所述同现频率确定为所述关注点的描述符；
输出所述描述符。
CN201510083332.5A 2014-02-20 2015-02-16 计算设备和方法 Pending CN104864821A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014030965A JP6230442B2 (ja) 2014-02-20 2014-02-20 算出装置、方法及びプログラム
JP2014-030965 2014-02-20

Publications (1)

Publication Number Publication Date
CN104864821A true CN104864821A (zh) 2015-08-26

Family

ID=53798250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510083332.5A Pending CN104864821A (zh) 2014-02-20 2015-02-16 计算设备和方法

Country Status (3)

Country Link
US (1) US20150234782A1 (zh)
JP (1) JP6230442B2 (zh)
CN (1) CN104864821A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111637837A (zh) * 2020-06-03 2020-09-08 龙永南 一种单目摄像头测量物体尺寸及距离的方法和系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6868992B2 (ja) * 2016-09-27 2021-05-12 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
JP7109891B2 (ja) * 2017-09-01 2022-08-01 成典 田中 対応点導出方法および対応点算出装置
US10896317B2 (en) * 2018-12-28 2021-01-19 Palo Alto Research Center Incorporated Apparatus and method for identifying an articulatable part of a physical object using multiple 3D point clouds
CN111369602B (zh) * 2020-02-25 2023-10-27 阿波罗智能技术(北京)有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN117171452A (zh) * 2022-05-12 2023-12-05 中国人民解放军国防科技大学 确定时空共现区、非公共场所及用户社会行为关系的方法
CN115761137B (zh) * 2022-11-24 2023-12-22 之江实验室 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000357007A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd ３次元データ処理装置
JP2004348198A (ja) * 2003-05-20 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体
CN101331380A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 三维形状数据的存储/显示方法和装置以及三维形状的计测方法和装置
JP2011227614A (ja) * 2010-04-16 2011-11-10 Secom Co Ltd 画像監視装置
CN102763132A (zh) * 2010-02-24 2012-10-31 佳能株式会社 三维测量设备、处理方法和非暂态计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5847825A (en) * 1996-09-25 1998-12-08 Board Of Regents University Of Nebraska Lincoln Apparatus and method for detection and concentration measurement of trace metals using laser induced breakdown spectroscopy
US8200010B1 (en) * 2007-09-20 2012-06-12 Google Inc. Image segmentation by clustering web images
WO2009047335A1 (en) * 2007-10-12 2009-04-16 Mvtec Software Gmbh Computer vision cad models
JP4970381B2 (ja) * 2008-08-08 2012-07-04 株式会社東芝 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
US8630456B2 (en) * 2009-05-12 2014-01-14 Toyota Jidosha Kabushiki Kaisha Object recognition method, object recognition apparatus, and autonomous mobile robot
US8199977B2 (en) * 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
KR101791590B1 (ko) * 2010-11-05 2017-10-30 삼성전자주식회사 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US9378431B2 (en) * 2011-11-18 2016-06-28 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
US9349180B1 (en) * 2013-05-17 2016-05-24 Amazon Technologies, Inc. Viewpoint invariant object recognition
US9280825B2 (en) * 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000357007A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd ３次元データ処理装置
JP2004348198A (ja) * 2003-05-20 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体
CN101331380A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 三维形状数据的存储/显示方法和装置以及三维形状的计测方法和装置
CN102763132A (zh) * 2010-02-24 2012-10-31 佳能株式会社 三维测量设备、处理方法和非暂态计算机可读存储介质
JP2011227614A (ja) * 2010-04-16 2011-11-10 Secom Co Ltd 画像監視装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
永瀬誠信等: "《局所形状の独自性に着目した物体認識に有効な3-D 特徴点の自動抽出》", 《情報処理学会研究報告》 *
郭进等: "《一种无标记点三维点云自动拼接技术》", 《计算机应用于软件》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111637837A (zh) * 2020-06-03 2020-09-08 龙永南 一种单目摄像头测量物体尺寸及距离的方法和系统
CN111637837B (zh) * 2020-06-03 2022-04-08 龙永南 一种单目摄像头测量物体尺寸及距离的方法和系统

Also Published As

Publication number Publication date
JP2015156136A (ja) 2015-08-27
US20150234782A1 (en) 2015-08-20
JP6230442B2 (ja) 2017-11-15

Similar Documents

Publication Publication Date Title
CN104864821A (zh) 计算设备和方法
van den Heuvel et al. Automated measurement of fetal head circumference using 2D ultrasound images
US20230335259A1 (en) Method for managing annotation job, apparatus and system supporting the same
Chen et al. Automated contouring error detection based on supervised geometric attribute distribution models for radiation therapy: a general strategy
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
JP2018097852A (ja) 画像類似度を確定する方法及び装置
KR20200054138A (ko) 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
Medina-Carnicer et al. A novel histogram transformation to improve the performance of thresholding methods in edge detection
EP3089107B1 (en) Computer program product and method for determining lesion similarity of medical image
Petricek et al. Point cloud registration from local feature correspondences—Evaluation on challenging datasets
RU2721078C2 (ru) Сегментация анатомической структуры на основе модели
US20230090906A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
KR20150112832A (ko) 산출 프로그램, 산출 장치 및 산출 방법
CN111126268A (zh) 关键点检测模型训练方法、装置、电子设备及存储介质
CN110517300A (zh) 基于局部结构算子的弹性图像配准算法
Berengolts et al. On the distribution of saliency
CN108198173A (zh) 一种混凝土裂缝区域的在线检测方法、装置及终端设备
CN110647826B (zh) 商品训练图片的获取方法、装置、计算机设备和存储介质
CN114372970A (zh) 一种手术参考信息生成方法及装置
CN100538741C (zh) 肺结节检测的候选项集产生
Wang et al. Extraction of feature points on 3D meshes through data gravitation
US10467759B2 (en) Intelligent contouring of anatomy with structured user click points
JP6757242B2 (ja) 線維状組織抽出装置、線維状組織抽出方法並びに線維状組織抽出プログラム
CN109299652A (zh) 一种用于图像定位的模型训练方法、图像定位方法及装置
KR101671908B1 (ko) 조립체 모델 비교 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150826

RJ01 Rejection of invention patent application after publication