CN109564693A - 三维数据整合装置及方法 - Google Patents

三维数据整合装置及方法 Download PDF

Info

Publication number
CN109564693A
CN109564693A CN201780049378.2A CN201780049378A CN109564693A CN 109564693 A CN109564693 A CN 109564693A CN 201780049378 A CN201780049378 A CN 201780049378A CN 109564693 A CN109564693 A CN 109564693A
Authority
CN
China
Prior art keywords
data
dimensional
curvature
point
initial position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780049378.2A
Other languages
English (en)
Other versions
CN109564693B (zh
Inventor
权基勋
李承炫
金珉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koh Young Technology Inc
Industry Academic Cooperation Foundation of KNU
Original Assignee
Koh Young Technology Inc
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koh Young Technology Inc, Industry Academic Cooperation Foundation of KNU filed Critical Koh Young Technology Inc
Publication of CN109564693A publication Critical patent/CN109564693A/zh
Application granted granted Critical
Publication of CN109564693B publication Critical patent/CN109564693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

公开一种整合三维数据的方法及装置。三维数据整合方法将代表目标的三维模型表面的第一三维数据进行二维变换而生成第一二维数据，将代表目标的三维表面的至少一部分的第二三维数据进行二维变换而生成第二二维数据，将第二二维数据匹配于第一二维数据，分别决定第一二维数据上的第一匹配区域及第二二维数据上的第二匹配区域，将与第一匹配区域对应的第一三维数据的多个点及与第二匹配区域对应的第二三维数据的多个点设置为初始位置，利用初始位置，整合第一三维数据及第二三维数据。

Description

三维数据整合装置及方法
技术领域
本发明涉及三维数据整合装置及方法。
背景技术
在医疗领域，以检查和治疗为目的，可以针对诸如患者患处的对象，借助于互不相同的装置而获得多个三维数据。这些三维数据各自可以具有由生成相应数据的装置决定的固有坐标系。例如，利用MRI装置对患者的患处进行建模而生成的MRI数据、利用三维测量装置拍摄相应患处而生成的三维测量数据具有彼此相异的坐标系。
具有彼此相异的坐标系的多个三维数据在一同用于检查或治疗目的的情况下，可以以适当的方法结合这些三维数据。例如，当医生对患者手术时，为了准确掌握患者患处及环绕该患处的外部结构和形状，可以一同利用预先对该患处建模而生成的MRI数据、拍摄该患处外部而生成的三维测量数据。为了结合具有彼此相异坐标系的数据并使用，需要将与这些数据相关的坐标系变换成乃至排列成一个坐标系。例如，可以将MRI数据的坐标系变换成三维测量数据的坐标系，或将三维测量数据的坐标系变换成MRI数据的坐标系，或将MRI数据及三维测量数据的坐标系变换成第三坐标系。
另一方面，为了具有彼此相异坐标系的数据间的整合，利用多样的整合算法。根据整合算法的一个示例，数据间的相对位置可以向数据间类似度升高的方向变化，决定具有最大类似度的数据间的相对位置。这种整合算法可以为了整合而在数据中指定初始位置。此时，当在拟整合的数据中错误地指定初始位置时，整合的数据间的类似度仅局部地在初始位置周边达到最大，而可能无法在数据的全部区域达到最大。换言之，在将整合的数据中，当初始位置指定错误时，在数据间会进行不准确的整合。另外，在如此拟整合的数据中，当初始位置指定错误时，存在实现最佳整合需要大量时间的问题。
发明内容
解决的技术问题
本发明提供一种三维数据整合方法及装置，以从三维数据变换的二维数据为基础，在相应三维数据上设置用于整合的初始位置，从而能够提高数据整合的准确性和效率性。
技术方案
本发明的一个方面提供一种整合三维数据的方法。示例性实施例的方法包括：将代表目标的三维模型表面的第一三维数据进行二维变换而生成第一二维数据的步骤；将代表目标的三维表面的至少一部分的第二三维数据进行二维变换而生成第二二维数据的步骤；将第二二维数据匹配于第一二维数据而分别决定第一二维数据上的第一匹配区域及第二二维数据上的第二匹配区域的步骤；将与第一匹配区域对应的第一三维数据的多个点及与第二匹配区域对应的第二三维数据的多个点设置为初始位置的步骤；及利用初始位置，整合第一三维数据及第二三维数据的步骤。
另外，根据示例性实施例，所述分别决定第一匹配区域及第二匹配区域的步骤包括：分别对第一二维数据及第二二维数据进行偏微分而生成第一二维曲率数据及第二二维曲率数据的步骤；及匹配第一二维曲率数据及第二二维曲率数据，分别决定第一二维曲率数据上的第一匹配区域及第二二维曲率数据上的第二匹配区域的步骤。
发明效果
根据本发明的至少一个实施例，为了指定用于三维数据整合的初始位置，取代实施作为整合对象的三维数据之间的直接匹配，而是实施从三维数据变换的二维数据之间的匹配。将如此匹配的区域的数据重新进行三维变换，设置用于整合的初始位置。结果，可以实现恰当的初始位置设置，可以获得提高三维数据间的整合的准确性和效率性的效果。
另外，根据本发明的至少一个实施例，在匹配从三维数据变换的二维数据方面，实施将相应二维数据分别进行偏微分而生成的曲率数据之间的匹配。结果，初始位置得到更准确地设置，从而可以获得进一步提高三维数据间的整合的准确性和效率性的效果。
附图说明
图1是概略地显示本发明一个实施例的表面整合系统的图。
图2是图示本发明一个实施例的三维数据整合装置的详细构成的框图。
图3是显示根据本发明一个实施例从模型表面数据经二维变换的模型表面二维数据的图。
图4及图5是显示根据本发明一个实施例从测量表面数据经二维变换的测量表面二维数据的图。
图6及图7是显示根据本发明一个实施例与模型表面二维数据匹配的测量表面二维数据的图。
图8至图10是显示根据本发明一个实施例对模型表面二维曲率数据进行偏微分而生成的测量表面二维曲率数据的图。
图11及图12是显示根据本发明一个实施例设置了初始位置的模型表面数据及测量表面数据的图。
图13是显示根据本发明实施例而整合三维数据的方法的顺序图。
具体实施方式
本发明的实施例是出于说明本发明的目的而举例的。本发明的实施例可以以多样的形态实施，不得解释为本发明限定于以下提示的实施例或对这些实施例的具体说明。
本说明书中使用的术语“部”，意味着软件、诸如FPGA(field-programmable gatearray，现场可编程门阵列)、ASIC(application specific integrated circuit，专用集成电路)的硬件构成要素。但是，“部”并非限定于硬件及软件。“部”既可以构成得位于可寻址的存储介质中，也可以构成得使一个或其以上的处理器运行。因此，作为一个示例，“部”包括软件构成要素、面向对象的软件构成要素、诸如类构成要素及任务构成要素的构成要素、处理器、函数、属性、程序、子程序、程序代码的片段、驱动器、固件、微码、电路、数据、数据库、数据结构、工作台、数组及变数。构成要素和“部”内提供的功能，可以由更小数量的构成要素及“部”结合，或进一步分离成追加的构成要素和“部”。
只要未不同地定义，本说明书中使用的所有技术术语及科学术语具有本发明所属技术领域的技术人员一般理解的意义。本说明书中使用的所有术语是出于更明确地说明本发明之目的而选择的，并非为了限制本发明的范围而选择的。
只要未不同地提及，本申请说明书中记述的单数型的表达也一同包括复数型表达，这也同样适用于权利要求项中记载的单数型的表达。
在本发明的多样实施例中使用的“第一”、“第二”等表达，只是为了相互区分多个构成要素而使用的，并非限定相应构成要素的顺序或重要度。
本说明书中使用的诸如“包括的”及“具有的”表达，只要在包含相应表达的语句或文章中未特别不同地提及，则应理解为内含包括其它实施例的可能性的开放型术语(open-ended terms)。
在本说明书中，“基于～”的表达，用于记述对在包含相应表达的语句中描述的决定或判断行为或者对动作产生影响的一个以上的因子，该表达不排除对决定或判断行为或动作产生影响的追加性因子。
在本说明书中，当提及某种构成要素“连接于”或“接续于”另一构成要素时，应理解为既可以是所述某种构成要素直接连接于或接续于所述另一构成要素，也应理解为在所述某种构成要素与所述另一构成要素之间存在新的其它构成要素。
下面参照附图，详细说明本发明的实施例。对于附图上的相同构成要素，使用相同的参照符号，省略对相同构成要素的重复说明。
图1是概略地显示本发明一个实施例的表面整合系统100的图。如图1所示，表面整合系统100包括三维数据整合装置120、三维扫描仪140及光学跟踪器160。
在本实施例中，三维数据整合装置120可以存储及显示对患者20的诸如患处的目标进行建模而生成的模型数据。其中，“模型数据”可以意味着对目标的三维形状或结构进行建模的、借助于诸如CT装置或MRI装置的建模装置(图上未示出)而生成的目标的三维数据。模型数据可以具有关于建模装置的固有坐标系(例如，x1y1z1坐标系)。在图1所示的示例中，模型数据可以是诸如CT装置或MRI装置的建模装置，以患者20生物体至少一部分为目标进行建模而生成的CT/MRI数据10。此时，CT/MRI数据10具有关于CT/MRI装置的固有坐标系。
三维扫描仪140可以利用诸如摄影测量法(photogrammetry)、结构化图案光测量法(structured light 3D scanning)、调制光测量法(Modulated light3D scanning)、立体摄影法(stereo photography)、激光雷达(LIDAR)、超声波TOF(Ultrasonic Time-of-Flight)或激光TOF等的多样方法，以三维形式测量目标的表面而生成测量表面数据。如图1所示，三维扫描仪140可以将患者20生物体表面的至少一部分当作目标进行测量，生成测量表面数据。三维扫描仪140测量的目标，可以是前面以模型数据建模的目标的外部表面或其一部分。例如，当模型数据是对患者20头部三维形状进行建模的数据时，测量表面数据可以是测量在患者20头部表面的眼、鼻、口、耳等的外部形状的数据。测量表面数据可以具有关于三维扫描仪140的固有坐标系(例如，x2y2z2坐标系)。测量表面数据的坐标系可以既与模型数据的坐标系(例如，x1y1z1坐标系)相异，也与光学跟踪器160的坐标系(例如，x0y0z0坐标系)相异。
本发明一个实施例的表面整合系统100可以将模型数据的坐标系(例如，x1y1z1坐标系)和测量表面数据的坐标系(例如，x2y2z2坐标系)变换乃至排列成光学跟踪器160的坐标系(例如，x0y0z0坐标系)。三维数据整合装置120可以实施坐标系彼此相异的模型数据与测量表面数据的整合。为了实施模型数据与测量表面数据的整合，三维数据整合装置120可以从模型数据提取表面数据(以下称为“模型表面数据”)，实施模型表面数据与测量表面数据之间的整合。其中，模型表面数据的坐标系可以与模型数据的坐标系(例如，x1y1z1坐标系)相同。另外，光学跟踪器160可以以加装于三维扫描仪140的标记142为介质，将测量表面数据的坐标系(例如，x2y2z2坐标系)变换成光学跟踪器160的坐标系(例如，x0y0z0坐标系)。结果，借助于三维数据整合装置120而与测量表面数据整合的模型数据及模型表面数据的坐标系(例如，x1y1z1坐标系)也变换成光学跟踪器160的坐标系(例如，x0y0z0坐标系)。
三维数据整合装置120可以利用多样的整合算法，实施模型表面数据与测量表面数据之间的整合。例如，三维数据整合装置120可以利用ICP(Iterative Closest Point，迭代最近点)算法实施整合。三维数据整合装置120为了整合而可以在三维数据中设置初始位置，以设置的初始位置为基础执行整合算法。例如，三维数据整合装置120作为初始位置，可以以模型表面数据与测量表面数据上的既定区域或既定点为基础，计算模型表面数据与测量表面数据之间的类似度，使模型表面数据相对于测量表面数据的相对位置，向类似度升高的方向变化。例如，三维数据整合装置120可以将模型表面数据和测量表面数据中处于最短距离的点，定义为对应点集，利用对应点集之间的距离之和来计算类似度。
三维数据整合装置120为了设置在整合中利用的初始位置，可以利用将模型表面数据进行二维变换的模型表面二维数据和将测量表面数据进行二维变换的测量表面二维数据。三维数据整合装置120可以将模型表面数据(或者，测量表面数据)的各点的三维坐标映射到模型表面二维数据(或者，测量表面二维数据)的各点的二维坐标及相应点的值(例如，亮度值)。根据一个实施例，三维数据整合装置120可以通过球形展开(sphericalunwrapping)执行二维数据变换。借助于球形展开，二维数据的各点的二维坐标，可以从三维球坐标系中对应的点的两个角度成分决定。另外，二维数据的各点的值，可以根据从三维球坐标系中对应的点至原点的距离决定。根据另一实施例，三维数据整合装置120可以利用诸如圆柱形展开(cylindrical unwrapping)变换、等距柱状展开(equirectangularunwrapping)的多样形态的二维数据变换算法。
根据一个实施例，三维数据整合装置120可以算出模型表面二维数据及测量表面二维数据各自的曲率，生成模型表面二维曲率数据及测量表面二维曲率数据。根据一个实施例，三维数据整合装置120可以从模型表面二维数据(或者，测量表面二维数据)中对应的点的值与相邻的多个点的值的差，决定模型表面二维曲率数据(或者，测量表面二维曲率数据)的各点的值。根据一个实施例，三维数据整合装置120可以对二维数据的值进行偏微分而生成二维曲率数据。
三维数据整合装置120可以匹配模型表面二维数据与测量表面二维数据，决定匹配区域。另外，三维数据整合装置120在作为三维数据的模型表面数据和测量表面数据中，可以将与模型表面二维数据的匹配区域对应的模型表面数据的表面区域设置为用于整合(registration)的初始位置，可以将与测量表面二维数据的匹配区域对应的测量表面数据的表面区域，设置为用于整合的初始位置。根据一个实施例，三维数据整合装置120为了决定匹配区域，也可以取代匹配模型表面二维数据与测量表面二维数据，而是匹配模型表面二维曲率数据与测量表面二维曲率数据。关于模型表面数据及测量表面数据的初始位置的设置，将参照图2至图8更详细地进行说明。
另一方面，光学跟踪器160可以拍摄加装于三维扫描仪140的标记142，生成标记图像。光学跟踪器160可以分析在标记图像中出现的标记144的大小及位置，判断三维扫描仪140的位置和姿势，因此，可以确立三维扫描仪140相关坐标系与光学跟踪器160相关坐标系之间的变换关系。
前面三维扫描仪140相关坐标系上的测量表面数据已与用于模型数据的坐标系上的模型表面数据整合，因而光学跟踪器160可以确立模型数据的坐标系与三维扫描仪140相关坐标系之间的变换关系。光学跟踪器160可以利用三维扫描仪140相关坐标系与光学跟踪器160相关坐标系之间的变换关系及模型数据的坐标系与三维扫描仪140相关坐标系之间的变换关系，获得模型数据的坐标系与光学跟踪器160相关坐标系之间的变换关系，可以在光学跟踪器160相关坐标系内处置模型数据。
在图1中，作为模型数据及测量表面数据的目标，图示了患者20，但本发明并非限定于此。本发明的目标例如可以为具有三维形状的任意的物件、人或动物。
图2是图示本发明一个实施例的三维数据整合装置200的详细构成的框图。根据多个实施形态，图2的三维数据整合装置200可以包括图1的三维数据整合装置120的所有技术特征。如图2所示，三维数据整合装置200包括通信部210、处理部220及数据库240。
通信部210可以与外部装置，例如，可以与生成模型数据的建模装置(图上未示出)、图1的三维扫描仪140及光学跟踪器160进行通信。在通信部210中，用于与这些外部装置通信的下级构成要素，可以由一个硬件装置统合构成。
处理部220可以处理与三维数据整合相关的信息。处理部220包括表面处理部222、第一变换部224、第二变换部226、初始位置设置部228、曲率变换部230及数据整合部232。另外，数据库240可以存储与三维数据整合相关的数据。数据库240可以包括模型数据DB242、测量表面数据DB244、模型表面数据DB246、模型表面二维数据DB248、测量表面二维数据DB250、模型表面二维曲率数据DB252及测量表面二维曲率数据DB254。在图2中，构成数据库240的下级构成要素分别图示为独立的构成，但本发明不限定于此。例如，数据库240的下级构成要素的至少一部分可以统合构成。
在模型数据DB242中，存储有代表目标的三维模型的模型数据。根据一个实施例，模型数据可以是利用CT/MRI装置对患者20的头部形状进行建模而生成的CT/MRI数据10。此时，模型数据可以从CT/MRI装置，通过通信部210接收，存储于模型数据DB242。
在测量表面数据DB244，可以存储有代表目标的三维表面的至少一部分的测量表面数据。根据一个实施例，测量表面数据可以是利用图1的三维扫描仪140测量患者20的眼、耳、鼻等的外部形状的数据。此时，测量表面数据可以从三维扫描仪140，通过通信部210，存储于测量表面数据DB244。
表面处理部222可以从模型数据DB242中存储的模型数据，提取模型表面数据。模型表面数据作为代表目标的三维模型表面的数据，可以具有与模型数据相同的坐标系(例如，x1y1z1坐标系)。例如，当模型数据是代表患者20头部三维形状的CT/MRI数据10时，模型表面数据是代表患者20头部三维表面的数据。表面处理部222可以将模型表面数据存储于模型表面数据DB246。
第一变换部224可以对模型表面数据DB246中存储的模型表面数据进行二维变换。第一变换部224可以通过展开，对模型表面数据进行二维变换。其中，所谓展开，例如可以是论文“Unwrapping highly-detailed 3D meshes of rotationally symmetric man-madeobjects(Rieck、Bastian、Hubert Mara、and Susanne Kromker；(2013):259-264)”中定义的二维数据变换算法。作为展开，可以利用球形展开(spherical unwrapping)、圆柱形展开(cylindrical unwrapping)、等距柱状展开(equirectangular unwrapping)等。第一变换部224可以以模型表面数据代表的三维形状为基础，选择展开的种类。作为一个示例，当模型表面数据是如头部一样的球形时，第一变换部224可以选择球形展开。作为另一示例，当模型表面数据是诸如胳臂、腿的圆柱形时，第一变换部224可以选择圆柱形展开。
当选择球形展开时，第一变换部224可以决定模型表面数据的中心坐标。根据一个实施例，第一变换部224可以将模型表面数据的所有点的平均值决定为中心坐标。另外，第一变换部224可以将模型表面数据平行移动，使得模型表面数据的中心坐标成为坐标系(例如，x1y1z1坐标系)的原点。另外，第一变换部224可以将从中心坐标至模型表面数据的各点的距离的平均值算出为基准距离。然后，第一变换部224可以以算出的基准距离为基础，利用下面数学式1，将由x轴、y轴及z轴构成的三维坐标系(例如，x1y1z1坐标系)变换成由φ轴及θ轴构成的二维坐标系(例如，φ1θ1坐标系)。结果，第一变换部224可以获得从模型表面数据经二维变换的模型表面二维数据。
[数学式1]
数学式1是假定以y轴为基准对模型表面数据进行球形展开的情形。其中，ri意味着从中心坐标(例如，三维坐标系的原点)至模型表面数据的各点的距离。根据一个实施例，模型表面二维数据的各点的值(例如，亮度值)可以代表从与相应点对应的模型表面数据的点至中心坐标的距离。例如，从模型表面数据的预定点至中心坐标的距离越长(即，越远离中心坐标)，则对应的模型表面二维数据的点的亮度值会越增大。第一变换部224可以将从模型表面数据变换的模型表面二维数据存储于模型表面二维数据DB248。对于向模型表面二维数据的变换，后面参照图3进行叙述。
第二变换部226可以对测量表面数据DB244中存储的测量表面数据进行二维变换。第二变换部226可以通过展开，对测量表面数据进行二维变换。作为展开，可以利用球形展开、圆柱形展开、等距柱状展开等。第二变换部226可以选择与由第一变换部224选择的展开相同种类的变换。例如，当模型表面数据借助于第一变换部224而球形展开时，第二变换部226也可以将测量表面数据进行球形展开。
代表目标的表面的模型表面数据即使具有诸如头部的球形形状，扫描目标的表面一部分而获得的测量表面数据也可以像眼睛或鼻子一样，不具有球形形状。第二变换部226为了将如上所述并非球形的测量表面数据进行球形展开，例如可以使用论文“Unwrappinghighly-detailed 3D meshes of rotationally symmetric man-made objects(Rieck、Bastian、Hubert Mara、and Susanne Kromker；(2013):259-264)”中使用的展开算法。例如，第二变换部226可以生成将借助于第一变换部224而进行模型表面数据的二维变换时使用的基准距离(例如，从中心坐标至模型表面数据的各点的距离的平均值)当作半径的虚拟球。第二变换部226可以将测量表面数据平行移动或旋转移动，使得测量表面数据位于虚拟的球形表面上。然后，第二变换部226可以以基准距离为基础，利用所述数学式1，将由x轴、y轴及z轴构成的三维坐标系(例如，x2y2z2坐标系)变换成由φ轴及θ轴构成的二维坐标系(例如，φ2θ2坐标系)。结果，第二变换部226可以获得从测量表面数据经二维变换的测量表面二维数据。
根据一个实施例，测量表面二维数据的各点的值(例如，亮度值)可以代表从与相应点对应的测量表面数据的点至虚拟球的中心坐标的距离。例如，从测量表面数据的预定点至虚拟球的中心坐标的距离越长(即，越远离中心坐标)，对应的测量表面二维数据的点的亮度值越增大。第二变换部226可以将从测量表面数据变换的测量表面二维数据存储于测量表面二维数据DB250。对于向测量表面二维数据的变换，后面参照图4及图5进行叙述。
初始位置设置部228可以匹配模型表面二维数据DB248中存储的模型表面二维数据与测量表面二维数据DB250中存储的测量表面二维数据。根据一个实施例，初始位置设置部228使用NCC(Normalized Cross Correlation，归一化互相关)算法，匹配模型表面二维数据及测量表面二维数据。初始位置设置部228在模型表面二维数据中，决定与测量表面二维数据的预定区域具有最大类似度的区域，从而可以匹配模型表面二维数据及测量表面二维数据，利用如此匹配的模型表面二维数据及测量表面二维数据的区域，可以决定匹配区域。例如，初始位置设置部228在模型表面二维数据中，使测量表面二维数据的预定区域的位置，按预定距离持续地变化，并同时计算模型表面二维数据与测量表面二维数据的类似度。另外，初始位置设置部228利用具有最大类似度的模型表面二维数据及测量表面二维数据的区域，分别决定匹配区域。
根据实施例，初始位置设置部228可以用多个点表现在模型表面二维数据中决定的匹配区域。例如，当决定的匹配区域为矩形时，初始位置设置部228可以利用相应匹配区域的相向的两个顶点，或利用相应区域的四个顶点，表现这种矩形区域。另外，初始位置设置部228可以利用多个点表现测量表面二维数据的匹配区域。被初始位置设置部228特定的多个点，分别可以具有φθ坐标系(例如，φ1θ1坐标系和φ2θ2坐标系)。另外，对于模型表面二维数据及测量表面二维数据间的匹配，后面将参照图6及图7进行叙述。
初始位置设置部228可以将与在模型表面二维数据中决定的匹配区域对应的模型表面数据的区域及与在测量表面二维数据中决定的匹配区域对应的测量表面数据的区域，分别设置为初始位置。例如，初始位置设置部228可以在模型表面数据内，决定与模型表面二维数据的匹配区域的坐标对应的多个坐标，将根据决定的多个坐标而定义的区域设置为初始位置。另外，初始位置设置部228可以在测量表面数据内决定与测量表面二维数据的匹配区域的坐标对应的多个坐标，将根据决定的多个坐标而定义的区域设置为初始位置。
初始位置设置部228为了设置模型表面数据的初始位置，可以利用在借助于第一变换部224进行二维变换时所使用的展开的逆向变换。例如，当第一变换部224通过球形展开将模型表面数据进行二维变换时，初始位置设置部228可以通过球形展开的逆向变换，设置模型表面数据的初始位置。此时，初始位置设置部228可以以第一变换部224进行球形展开时曾利用的基准距离为基础，执行三维变换。模型表面数据的初始位置具有xyz坐标系(例如，x1y1z1坐标系)。
初始位置设置部228为了设置测量表面数据的初始位置，可以利用借助于第二变换部226进行二维变换时所利用的展开的逆向变换。例如，当第二变换部226通过球形展开而对测量表面数据进行二维变换时，初始位置设置部228可以通过球形展开的逆向变换，设置测量表面数据的初始位置。此时，初始位置设置部228可以以第二变换部226进行球形展开时曾利用的基准距离为基础，执行三维变换。测量表面数据的初始位置具有xyz坐标系(例如，x2y2z2坐标系)。对于模型表面数据及测量表面数据的初始位置的设置，后面将参照图11及图12进行叙述。
根据多个实施例，可以以分别对模型表面二维数据及测量表面二维数据进行偏微分的数据为基础，设置模型表面数据及测量表面数据的初始位置。为此，曲率变换部230可以分别对模型表面二维数据及测量表面二维数据进行偏微分，生成模型表面二维曲率数据及测量表面二维曲率数据。此时，初始位置设置部228可以匹配模型表面二维曲率数据及测量表面二维曲率数据，决定匹配区域。
曲率变换部230可以基于模型表面二维数据的相应点的值及相邻的多个点的值，生成模型表面二维曲率数据。根据一个实施例，模型表面二维曲率数据的各点的值(例如，亮度值)可以代表模型表面二维数据的相应点的值及相邻的多个点(例如，4个、8个、14个等)的平均值的差。模型表面二维曲率数据可以是代表模型表面二维数据的平均曲率的平均曲率数据，或代表模型表面二维数据的高斯曲率的高斯曲率数据。
曲率变换部230可以基于测量表面二维曲率数据的相应点的值及相邻的多个点的值，生成测量表面二维曲率数据。根据一个实施例，测量表面二维曲率数据的各点的值(例如，亮度值)可以代表测量表面二维数据的相应点的值及相邻的多个点(例如，4个、8个、14个等)的平均值的差。测量表面二维曲率数据可以是代表测量表面二维数据的平均曲率的平均曲率数据，或代表测量表面二维数据的高斯曲率的高斯曲率数据。
根据一个实施例，曲率变换部230可以分别生成关于模型表面二维数据的平均曲率数据及高斯曲率数据，分别生成关于测量表面二维数据的平均曲率数据及高斯曲率数据。此时，初始位置设置部228可以匹配模型表面二维数据的平均曲率数据与测量表面二维数据的平均曲率数据，在模型表面二维数据中识别测量表面二维数据匹配的第一区域。另外，初始位置设置部228可以匹配关于模型表面二维数据的高斯曲率数据与关于测量表面二维数据的高斯曲率数据，在模型表面二维数据中识别测量表面二维数据匹配的第二区域。然后，初始位置设置部228可以将第一区域及第二区域的中间值判断为匹配区域，设置初始位置。
根据一个实施例，曲率变换部230利用掩模运算执行偏微分。例如，当利用3*3大小的掩模时，曲率变换部230算出预定点的值及相邻的8个点的值的差，从而算出相应点的曲率。例如，曲率越大，曲率变换部230可以将相应点的亮度值显示得越小。借助于曲率变换部230而生成的模型表面二维曲率数据及测量表面二维曲率数据，可以分别存储于模型表面二维曲率数据DB252及测量表面二维曲率数据DB254。对于向模型表面二维曲率数据及测量表面二维曲率数据的变换，后面将参照图8至图10进行叙述。
根据至少一个实施例，借助于曲率变换部230而生成的模型表面二维曲率数据及测量表面二维曲率数据，与模型表面二维数据及测量表面二维数据相比，可以更明确地代表数据值的变化。因此，当匹配模型表面二维曲率数据及测量表面二维曲率数据，设置用于整合的初始位置时，可以获得提高数据间的整合准确性和效率性的效果。
数据整合部232可以以借助于初始位置设置部228而设置的初始位置为基础，整合模型表面数据及测量表面数据之间。根据一个实施例，数据整合部232可以利用ICP(Iterative Closest Point)算法，执行数据之间的整合。整合的模型表面数据及测量表面数据具有彼此相同的坐标系。例如，测量表面数据按模型表面数据的坐标系(例如，x1y1z1坐标系)排列。
图3是显示根据本发明一个实施例从模型表面数据300经二维变换的模型表面二维数据310的图。从模型表面数据300向模型表面二维数据310的变换流程可以借助于图2的第一变换部224而实施。
如图3所示，模型表面数据300代表人的头部的表面。根据一个实施例，模型表面数据300可以是从对人的头部进行建模而生成的模型数据(例如，CT/MRI数据10)提取表面数据而生成的数据。模型表面数据300的各点Pi具有x轴、y轴及z轴坐标值(xi、yi、zi)。
第一变换部224算出模型表面数据300的所有点的平均值，决定中心坐标Co。第一变换部224平行移动模型表面数据300，使得中心坐标Co成为坐标系的原点(0、0、0)。第一变换部224利用图2中说明的数学式1，将xyz坐标系(例如，x1y1z1坐标系)变换成φθ坐标系(例如，φ1θ1坐标系)，从作为三维数据的模型表面数据300，生成作为二维数据的模型表面二维数据310。模型表面二维数据310的宽度坐标为φ，高度坐标为θ。如图3所示，模型表面数据300的预定点Pi(xi、yi、zi)对应于模型表面二维数据310的预定点Pi(φi、θi)。
在模型表面数据300中，ri代表从中心坐标至预定点Pi的距离。在模型表面二维数据310中，模型表面数据300的既定点Pi的ri用相应点Pi的亮度值代表。例如，在模型表面数据300中，从中心坐标起，距离比较远的鼻子、下颚、耳朵、前额及后脑勺附近的点如果进行二维变换，则具有亮度值较大的数据。另外，在模型表面数据300中，从中心坐标起，距离比较近的眼、面颊附近的点如果进行二维变换，则具有亮度值较小的数据。
图4是显示根据本发明一个实施例从测量表面数据400经二维变换的测量表面二维数据410的图。另外，图5是显示根据本发明一个实施例从测量表面数据500经二维变换的测量表面二维数据510的图。从测量表面数据400、500向测量表面二维数据410、510的变换流程，可以借助于图2的第二变换部226而实施。
如图4所示，测量表面数据400代表人的眼和鼻的表面，测量表面数据500代表人的耳朵的表面。根据一个实施例，测量表面数据400、500可以是图1的三维扫描仪140扫描而生成的数据。测量表面数据400、500的各点具有x轴、y轴及z轴坐标值。
第二变换部226将测量表面数据400、500分别进行球形展开，生成测量表面二维数据410、510。当执行图3的模型表面数据300与图4的测量表面数据400、500之间的三维整合时，第二变换部226可以利用与借助于第一变换部224而进行的模型表面数据300的二维变换相同种类的变换(例如，球形展开)。
第二变换部226生成将模型表面数据300的二维变换中使用的基准距离当作半径的虚拟球。第二变换部226分别使测量表面数据400、500平行或旋转移动，使得测量表面数据400、500分别位于虚拟的球的表面上。然后，第二变换部226以基准距离(例如，虚拟球的半径)为基础，利用图2中说明的数学式1，将xyz坐标系(例如，x2y2z2坐标系)变换成φθ坐标系(例如，φ1θ1坐标系)。结果，从作为三维数据的测量表面数据400、500，生成作为二维数据的测量表面二维数据410、510。测量表面二维数据410、510的宽度坐标为φ，高度坐标为θ。
图6是显示根据本发明一个实施例与模型表面二维数据600匹配的测量表面二维数据610的图。另外，图7是显示本发明一个实施例的与模型表面二维数据700匹配的测量表面二维数据710的图。模型表面二维数据600、700可以为图3的模型表面二维数据310。另外，测量表面二维数据610可以为图4的测量表面二维数据410的至少一部分，测量表面二维数据710可以为图5的测量表面二维数据510的至少一部分。图6及图7中的匹配流程可以借助于图2的初始位置设置部228而实施。
如果参照图6，初始位置设置部228在模型表面二维数据600中，将测量表面二维数据610的位置平行移动预定距离，或旋转预定角度，并同时针对模型表面二维数据600，计算测量表面二维数据610的类似度。初始位置设置部228决定具有最大类似度的模型表面二维数据600的位置，从而可以匹配模型表面二维数据600与测量表面二维数据610。另外，初始位置设置部228可以决定与定义模型表面二维数据600与测量表面二维数据610间匹配区域所需的四个顶点对应的点620、630、640、650。与此类似，初始位置设置部228可以如图7所示，匹配模型表面二维数据700与测量表面二维数据710，决定与定义匹配区域所需的四个顶点对应的点720、730、740、750。
如上所述，根据本发明的至少一个实施例，为了指定将用于三维数据整合的初始位置，取代实施作为整合对象的三维数据之间的直接匹配，而是可以实施从三维数据变换的二维数据之间的匹配。根据实施例，本发明可以对从三维数据变换的二维数据进行加工，在分别生成的新的各个二维数据之间实施匹配。
另外，对匹配区域重新进行三维变换，在三维数据上，设置用于整合的初始位置。结果，能够设置适当的初始位置，可以获得提高三维数据间的整合的准确性和效率性的效果。
图8显示根据本发明一个实施例对图3的模型表面二维数据310进行偏微分而生成的模型表面二维曲率数据800。另外，图9显示对图4的测量表面二维数据410进行偏微分而生成的测量表面二维曲率数据900。另外，图10显示对图5的测量表面二维数据510进行偏微分而生成的测量表面二维曲率数据1000。图8至图10中的曲率变换流程可以借助于图2的曲率变换部230而实施。
如果参照图8，在模型表面二维曲率数据800中，与彼此相邻的数据的差较大的点(例如，较大的耳朵、眼、鼻及口的轮廓线附近的点)具有较大曲率值。相反，与彼此相邻的数据的差较小的点(例如，面颊或前额附近的点)具有较小曲率值。如果参照图9及图10，在测量表面二维曲率数据900、1000中，与彼此相邻的点的差越大，则具有越大的曲率值。
图8所示的模型表面二维曲率数据800与图3的模型表面二维数据310相比，数据值的变化表现得更明确。另外，图9及图10所示的测量表面二维曲率数据900、1000与图4及图5的测量表面二维数据410、510相比，数据值的变化表现得更明确。如上所述，根据本发明的至少一个实施例，在匹配从三维数据变换的二维数据方面，实施对相应二维数据分别进行偏微分的曲率数据之间的匹配。结果，初始位置更准确地设置，从而可以获得进一步提高三维数据间的整合的准确性和效率性的效果。
图11是显示根据本发明一个实施例设置了初始位置的模型表面数据1100及测量表面数据1150的图。另外，图12是显示根据本发明一个实施例设置了初始位置的模型表面数据1200及测量表面数据1250的图。图11及图12中的初始位置设置流程可以借助于图2的初始位置设置部228而实施。
如果参照图11，初始位置设置部228将与决定得能够在图6中表现匹配区域的点620、630、640、650对应的模型表面数据1100的点1110、1120、1130、1140及与点620、630、640、650对应的测量表面数据1150的点1160、1170、1180、1190，分别决定为初始位置。点1110、1120、1130、1140及点1160、1170、1180、1190分别由具有二维坐标系(例如，φ1θ1坐标系及φ2θ2坐标系)的点620、630、640、650通过球形展开的逆向变换而变换成具有三维坐标系(例如，x1y1z1坐标系及x2y2z2坐标系)。
点1110、1120、1130、1140及点1160、1170、1180、1190分别用作模型表面数据1100及测量表面数据1150之间整合所需的初始位置。换言之，以点1110、1120、1130、1140及点1160、1170、1180、1190为基础，模型表面数据1100及测量表面数据1150进行三维整合。例如，以点1110、1120、1130、1140及点1160、1170、1180、1190为基础执行ICP整合算法的结果，模型表面数据1100的坐标系(例如，x1y1z1坐标系)整合得具有测量表面数据1150的坐标系(例如，x2y2z2坐标系)。
如果参照图12，初始位置设置部228分别决定与决定得具有能够在图7中表现匹配区域的点720、730、740、750对应的模型表面数据1200的点1210、1220、1230、1240及与点720、730、740、750对应的测量表面数据1250的点1260、1270、1280、1290。点1210、1220、1230、1240及点1260、1270、1280、1290分别由具有二维坐标系(例如，φ1θ1坐标系及φ2θ2坐标系)的点720、730、740、750通过球形展开的逆向变换而变换得具有三维坐标系(例如，x1y1z1坐标系及x2y2z2坐标系)。
点1210、1220、1230、1240及点1260、1270、1280、1290分别用作模型表面数据1200及测量表面数据1250之间的整合所需的初始位置。换言之，以点1210、1220、1230、1240及点1260、1270、1280、1290为基础，模型表面数据1200及测量表面数据1250进行三维整合。例如，以点1210、1220、1230、1240及点1260、1270、1280、1290为基础执行ICP整合算法的结果，模型表面数据1200的坐标系(例如，x1y1z1坐标系)整合得具有测量表面数据1250的坐标系(例如，x2y2z2坐标系)。
根据本发明，借助于准确地设置初始位置，可以获得提高三维数据间的整合的准确性和效率性的效果。
图13是显示根据本发明实施例而整合三维数据的方法的顺序图。图13所示步骤的至少一部分可以借助于图1及图2所示的构成而执行。
首先，在步骤S1300中，将模型表面数据进行二维变换而生成模型表面二维数据。例如，图2的第一变换部224将具有三维坐标系的模型表面数据的各点进行平均而决定中心坐标后，可以利用相应中心坐标，平行移动模型表面数据。第一变换部224可以以从中心坐标至模型表面数据的各点的距离的平均值为基准距离，将模型表面数据球形展开成具有二维坐标系的模型表面二维数据。模型表面二维数据的各点的值(例如，亮度值)可以代表从与相应点对应的模型表面数据的点至中心坐标的距离。
然后，在步骤S1310中，将测量表面数据进行二维变换而生成测量表面二维数据。例如，第二变换部226可以生成将在步骤S1300中算出的基准距离当作半径的虚拟球。第二变换部226可以使测量表面数据移动，使得测量表面数据位于虚拟球的表面。然后，第二变换部226可以将测量表面数据球形展开成测量表面二维数据。测量表面二维数据的各点的值(例如，亮度值)可以代表从与相应点对应的测量表面数据的点至虚拟球的中心坐标的距离。
然后，在步骤S1320中，分别计算模型表面二维数据及测量表面二维数据的曲率。例如，曲率变换部230可以将在步骤S1300中生成的模型表面二维数据及在步骤S1310中生成的测量表面二维数据分别偏微分而生成模型表面二维曲率数据及测量表面二维曲率数据。模型表面二维曲率数据的各点的值(例如，亮度值)可以代表模型表面二维数据的相应点的值及相邻多个点的平均值的差。另外，测量表面二维曲率数据的各点的值(例如，亮度值)可以代表表面测量二维数据的相应点的值及相邻多个点的平均值的差。
然后，在步骤S1330中，匹配模型表面二维曲率数据及测量表面二维曲率数据，决定匹配区域。例如，初始位置设置部228可以以在步骤S1320中生成的模型表面二维曲率数据及测量表面二维曲率数据为基础，在模型表面二维曲率数据中，决定与测量表面二维曲率数据的预定区域具有最大类似度的区域。初始位置设置部228可以在模型表面二维曲率数据中决定的区域内，决定匹配区域。另外，初始位置设置部228可以在用于匹配的测量表面二维曲率数据的预定区域内，决定匹配区域。
然后，在步骤S1340中，分别设置模型表面数据及测量表面数据的初始位置。例如，初始位置设置部228可以利用与通过球形展开的逆向变换而在步骤S1330中决定的模型表面二维曲率数据的匹配区域对应的模型表面数据的点、及与在步骤S1330中决定的测量表面二维曲率数据的匹配区域对应的测量表面数据的点，设置初始位置。
然后，在步骤S1350中，整合模型表面数据及测量表面数据。例如，数据整合部232可以利用在步骤S1340中设置的模型表面数据的初始位置及测量表面数据的初始位置，整合模型表面数据及测量表面数据。
另外，在图13所示的步骤中，一部分步骤可以省略，或两个以上的步骤可以同时实施，或步骤间的实施顺序可以变更。根据一个实施例，步骤S1320可以省略，在步骤S1330中，可以匹配模型表面二维数据及测量表面二维数据，分别决定模型表面二维数据及测量表面二维数据上的匹配区域。根据另一实施例，在步骤S1330之前，可以还包括：接收代表目标的三维模型的CT数据或MRI数据的步骤；及从相应CT数据或MRI数据提取CT数据的表面数据或MRI数据的表面数据作为模型表面数据的步骤。
整合三维数据的方法通过特定实施例进行了说明，但所述方法也可以在计算机可读的记录介质中，以计算机可读的代码体现。计算机可读的记录介质包括存储有可借助于计算机系统而读取的数据的所有种类的记录装置。作为计算机可读的记录介质的示例，有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，另外，也包括以载波(例如，通过互联网的传送)的形态体现的情形。另外，计算机可读记录介质分散于以网络连接的计算机系统，以分散方式存储有计算机可读代码并运行。而且，用于体现所述实施例的功能性(functional)程序、代码及代码片段可以由本发明所属技术领域的程序员容易地推论。
本发明通过优选实施例进行了说明、举例，但只要是所属技术领域的技术人员便可知，可以在不超出附带的权利要求书的事项及范畴的情况下，实现多种变形及变更。

Claims (19)

1.一种三维数据整合方法，其中，包括：
将代表目标的三维模型表面的第一三维数据进行二维变换而生成第一二维数据的步骤；
将代表所述目标的三维表面的至少一部分的第二三维数据进行二维变换而生成第二二维数据的步骤；将所述第二二维数据匹配于所述第一二维数据而分别决定所述第一二维数据上的第一匹配区域及所述第二二维数据上的第二匹配区域的步骤；
将与所述第一匹配区域对应的所述第一三维数据的多个点及与所述第二匹配区域对应的所述第二三维数据的多个点设置为初始位置的步骤；及
利用所述初始位置，整合所述第一三维数据及所述第二三维数据的步骤。
2.根据权利要求1所述的三维数据整合方法，其中，
所述分别决定第一匹配区域及第二匹配区域的步骤包括：
分别对所述第一二维数据及所述第二二维数据进行偏微分而生成第一二维曲率数据及第二二维曲率数据的步骤；及
匹配所述第一二维曲率数据及所述第二二维曲率数据，分别决定所述第一二维曲率数据上的第一匹配区域及所述第二二维曲率数据上的第二匹配区域的步骤。
3.根据权利要求2所述的三维数据整合方法，其中，
所述生成第一二维曲率数据及第二二维曲率数据的步骤包括：
基于所述第一二维数据上的各点的值及相邻的多个点的值而生成所述第一二维曲率数据的步骤；及
基于所述第二二维数据上的各点的值及相邻的多个点的值而生成所述第二二维曲率数据的步骤。
4.根据权利要求2所述的三维数据整合方法，其中，
所述生成第一二维曲率数据及第二二维曲率数据的步骤包括：
作为所述第一二维曲率数据，生成代表所述第一二维数据的平均曲率的平均曲率数据或代表所述第一二维数据的高斯曲率的高斯曲率数据的步骤；及
作为所述第二二维曲率数据，生成代表所述第二二维数据的平均曲率的平均曲率数据或代表所述第二二维数据的高斯曲率的高斯曲率数据的步骤。
5.根据权利要求1所述的三维数据整合方法，其中，
所述将第一三维数据进行二维变换而生成第一二维数据的步骤包括：
决定所述第一三维数据的中心坐标的步骤；
算出从所述中心坐标至所述第一三维数据各点的距离的平均值的步骤；及
以所述算出的平均值为基准距离，将所述第一三维数据球形展开(sphericalunwrapping)为所述第一二维数据的步骤，所述第一二维数据的各点的值代表从与所述第一二维数据各点对应的所述第一三维数据点至所述中心坐标的距离。
6.根据权利要求5所述的三维数据整合方法，其中，
所述将第二三维数据进行二维变换而生成第二二维数据的步骤包括：
移动所述第二三维数据而使得所述第二三维数据位于以所述基准距离为半径的球形表面上的步骤；及
以所述基准距离为基础，将所述第二三维数据球形展开为所述第二二维数据的步骤，所述第二二维数据的各点的值代表从与所述第二二维数据各点对应的所述第二三维数据的点至所述球的中心坐标的距离。
7.根据权利要求1所述的三维数据整合方法，其中，
所述分别决定第一匹配区域及第二匹配区域的步骤包括：
在所述第一二维数据中，决定与所述第二二维数据的预定区域具有最大类似度的区域的步骤；
在所述第一二维数据中决定的区域内，决定所述第一匹配区域的步骤；及
在所述第二二维数据的预定区域内，决定所述第二匹配区域的步骤。
8.根据权利要求1所述的三维数据整合方法，其中，
所述设置初始位置的步骤包括：
在所述第一三维数据中，将与所述第一匹配区域对应的多个点设置为所述初始位置，及在所述第二三维数据中，将与所述第二匹配区域对应的多个点设置为所述初始位置的步骤。
9.根据权利要求1所述的三维数据整合方法，其中，还包括：
接收代表所述目标的三维模型的CT数据或MRI数据的步骤；及
从所述CT数据或所述MRI数据，将所述CT数据的表面数据或所述MRI数据的表面数据提取为所述第一三维数据的步骤。
10.一种三维数据整合装置，其中，包括：
第一变换部，其将代表目标的三维模型表面的第一三维数据进行二维变换而生成第一二维数据；
第二变换部，其将代表所述目标的三维表面的至少一部分的第二三维数据进行二维变换而生成第二二维数据；
初始位置设置部，其将所述第二二维数据匹配于所述第一二维数据，分别决定所述第一二维数据上的第一匹配区域及所述第二二维数据上的第二匹配区域，将与所述第一匹配区域对应的所述第一三维数据的多个点及与所述第二匹配区域对应的所述第二三维数据的多个点设置为初始位置；及
数据整合部，其利用所述初始位置，整合所述第一三维数据及所述第二三维数据。
11.根据权利要求10所述的三维数据整合装置，其中，
还包括：曲率变换部，其将所述第一二维数据及所述第二二维数据分别进行偏微分而生成第一二维曲率数据及第二二维曲率数据；
所述初始位置设置部匹配所述第一二维曲率数据及所述第二二维曲率数据，分别决定所述第一二维曲率数据上的第一匹配区域及所述第二二维曲率数据上的第二匹配区域。
12.根据权利要求11所述的三维数据整合装置，其中，
所述曲率变换部基于所述第一二维数据上的各点的值及相邻的多个点的值，生成所述第一二维曲率数据，基于所述第二二维数据上的各点的值及相邻的多个点的值，生成所述第二二维曲率数据。
13.根据权利要求11所述的三维数据整合装置，其中，
所述曲率变换部作为所述第一二维曲率数据，生成代表所述第一二维数据的平均曲率的平均曲率数据或代表所述第一二维数据的高斯曲率的高斯曲率数据；
作为所述第二二维曲率数据，生成代表所述第二二维数据的平均曲率的平均曲率数据或代表所述第二二维数据的高斯曲率的高斯曲率数据。
14.根据权利要求10所述的三维数据整合装置，其中，
所述第一变换部决定所述第一三维数据的中心坐标，算出从所述中心坐标至所述第一三维数据的各点的距离的平均值，以所述算出的平均值为基准距离，将所述第一三维数据球形展开为所述第一二维数据，所述第一二维数据的各点的值代表从与所述第一二维数据各点对应的所述第一三维数据点至所述中心坐标的距离。
15.根据权利要求14所述的三维数据整合装置，其中，
所述第二变换部移动所述第二三维数据而使得所述第二三维数据位于以所述基准距离为半径的球形表面上；以所述基准距离为基础，将所述第二三维数据球形展开为所述第二二维数据，所述第二二维数据的各点的值代表从与所述第二二维数据各点对应的所述第二三维数据的点至所述球的中心坐标的距离。
16.根据权利要求10所述的三维数据整合装置，其中，
所述初始位置设置部在所述第一二维数据中，决定与所述第二二维数据的预定区域具有最大类似度的区域；在所述第一二维数据中决定的区域内，决定所述第一匹配区域；在所述第二二维数据的预定区域内，决定所述第二匹配区域。
17.根据权利要求10所述的三维数据整合装置，其中，
所述初始位置设置部在所述第一三维数据中，将与所述第一匹配区域对应的多个点设置为所述初始位置，及在所述第二三维数据中，将与所述第二匹配区域对应的多个点设置为所述初始位置。
18.根据权利要求10所述的三维数据整合装置，其中，还包括：
通信部，其接收代表所述目标的三维模型的CT数据或MRI数据；及
表面提取部，其从所述CT数据或所述MRI数据，将所述CT数据的表面数据或所述MRI数据的表面数据提取为所述第一三维数据。
19.一种计算机可读存储介质，存储包含执行根据权利要求1至9中任意一项方法的各步骤的命令的程序。
CN201780049378.2A 2016-08-10 2017-08-09 三维数据整合装置及方法 Active CN109564693B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160102070A KR101812001B1 (ko) 2016-08-10 2016-08-10 3차원 데이터 정합 장치 및 방법
KR10-2016-0102070 2016-08-10
PCT/KR2017/008609 WO2018030781A1 (ko) 2016-08-10 2017-08-09 3차원 데이터 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
CN109564693A true CN109564693A (zh) 2019-04-02
CN109564693B CN109564693B (zh) 2024-04-09

Family

ID=60938539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780049378.2A Active CN109564693B (zh) 2016-08-10 2017-08-09 三维数据整合装置及方法

Country Status (6)

Country Link
US (1) US11481867B2 (zh)
EP (1) EP3499464B1 (zh)
JP (1) JP6785362B2 (zh)
KR (1) KR101812001B1 (zh)
CN (1) CN109564693B (zh)
WO (1) WO2018030781A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534962B2 (en) * 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
WO2020005204A1 (en) * 2018-06-25 2020-01-02 Hewlett-Packard Development Company, L.P. Three-dimensional registration procedures
KR102433473B1 (ko) * 2019-10-30 2022-08-19 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
CN104318552A (zh) * 2014-10-15 2015-01-28 北京理工大学 基于凸包投影图匹配的模型配准方法
CN105225219A (zh) * 2014-06-25 2016-01-06 联想(北京)有限公司 信息处理方法及电子设备
CN105261052A (zh) * 2015-11-03 2016-01-20 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
CN105654029A (zh) * 2015-11-30 2016-06-08 辽宁师范大学 可提高识别精度及效率的三维点云耳廓识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5531520A (en) 1994-09-01 1996-07-02 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets including anatomical body data
US6904163B1 (en) 1999-03-19 2005-06-07 Nippon Telegraph And Telephone Corporation Tomographic image reading method, automatic alignment method, apparatus and computer readable medium
JP3404675B2 (ja) 1999-03-19 2003-05-12 日本電信電話株式会社 ３次元断層画像読影方法、自動照合方法、及びその装置並びにそのプログラムを記録した記録媒体
AU2003286922A1 (en) * 2002-11-06 2004-06-03 Geometric Informatics Inc. Analysis of geometric surfaces by conformal structure
US20060293557A1 (en) 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
WO2007011306A2 (en) 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
KR100884066B1 (ko) 2007-03-30 2009-02-19 한국전자통신연구원 Ｓｖｄ 기반의 영상 비교시스템 및 방법
JP5595070B2 (ja) * 2010-02-26 2014-09-24 三菱重工業株式会社 Ｃａｄデータ送信方法、ｃａｄデータ受信方法、ｃａｄデータ送信装置、ｃａｄデータ受信装置、ｃａｄデータ送信プログラム、およびｃａｄデータ受信プログラム、ならびにデータ構造
JP6161004B2 (ja) 2011-03-09 2017-07-12 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
KR101638477B1 (ko) 2014-09-19 2016-07-11 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
DE102015210453B3 (de) * 2015-06-08 2016-10-13 Bitmanagement Software GmbH Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
JP6503906B2 (ja) * 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2016206942A1 (en) * 2015-06-25 2016-12-29 Koninklijke Philips N.V. Image registration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
CN105225219A (zh) * 2014-06-25 2016-01-06 联想(北京)有限公司 信息处理方法及电子设备
CN104318552A (zh) * 2014-10-15 2015-01-28 北京理工大学 基于凸包投影图匹配的模型配准方法
CN105261052A (zh) * 2015-11-03 2016-01-20 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
CN105654029A (zh) * 2015-11-30 2016-06-08 辽宁师范大学 可提高识别精度及效率的三维点云耳廓识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BASTIAN RIECK ET AL: "Unwrapping highly-detailed 3D meshes of rotationally symmetric man-made objects", 《XXIV INTERNATIONAL CIPA SYMPOSIUM》 *
PARK,TAEYONG ET AL: "Rapid Rigid registration method between intra-operative 2D XA and pre-operative 3D CTA images，journal of Korea multimedia society", 《JOURNAL OF KOREA MULTIMEDIA SOCIETY》 *
乔学军等: "基于参数化的三维颅面配准", 《计算机应用》 *
尹吉林等: "一种改进的曲面配准方法的研究", 《微型电脑应用》 *

Also Published As

Publication number Publication date
US20210287331A1 (en) 2021-09-16
JP6785362B2 (ja) 2020-11-18
US11481867B2 (en) 2022-10-25
EP3499464B1 (en) 2021-06-23
WO2018030781A1 (ko) 2018-02-15
EP3499464A4 (en) 2019-08-21
KR101812001B1 (ko) 2017-12-27
JP2019533218A (ja) 2019-11-14
CN109564693B (zh) 2024-04-09
EP3499464A1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
Bartol et al. A review of body measurement using 3D scanning
KR101519775B1 (ko) 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
Breuer et al. Hand gesture recognition with a novel IR time-of-flight range camera–a pilot study
ES2693028T3 (es) Sistema y método para derivar mediciones de talla de cuerpo precisas a partir de una secuencia de imágenes en 2D
US6664956B1 (en) Method for generating a personalized 3-D face model
CN109564693A (zh) 三维数据整合装置及方法
JP2019534510A5 (zh)
Auvinet et al. Multiple depth cameras calibration and body volume reconstruction for gait analysis
Canessa et al. Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment
US20100328308A1 (en) Three Dimensional Mesh Modeling
KR20150113751A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
US10776978B2 (en) Method for the automated identification of real world objects
JP2012128661A (ja) 情報処理装置、情報処理方法及びプログラム
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
Shuai et al. Motion capture with ellipsoidal skeleton using multiple depth cameras
KR20150107063A (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
Jia et al. Scene depth perception based on omnidirectional structured light
Wang et al. Accuracy of monocular gaze tracking on 3d geometry
JP6770208B2 (ja) 情報処理装置
JP2010238134A (ja) 画像処理装置及びプログラム
Seo et al. A breast modeler based on analysis of breast scans
KR20100097886A (ko) 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 기법
Liem et al. Coupled person orientation estimation and appearance modeling using spherical harmonics
Liu et al. A portable projection mapping device for medical augmented reality in single-stage cranioplasty

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant after: Gaoying Technology Co.,Ltd.

Applicant after: Qingbei University School Industry University Cooperative Force

Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant before: KOH YOUNG TECHNOLOGY Inc.

Applicant before: Qingbei University School Industry University Cooperative Force

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Han Guoshouershi

Applicant after: Gaoying Technology Co.,Ltd.

Applicant after: Qingbei University School Industry University Cooperative Force

Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant before: Gaoying Technology Co.,Ltd.

Applicant before: Qingbei University School Industry University Cooperative Force

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant