CN107657653A - 用于对三维表面的图像进行重建的方法、装置和系统 - Google Patents
用于对三维表面的图像进行重建的方法、装置和系统 Download PDFInfo
- Publication number
- CN107657653A CN107657653A CN201610590192.5A CN201610590192A CN107657653A CN 107657653 A CN107657653 A CN 107657653A CN 201610590192 A CN201610590192 A CN 201610590192A CN 107657653 A CN107657653 A CN 107657653A
- Authority
- CN
- China
- Prior art keywords
- mtd
- dimensional
- msub
- mtr
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了用于对三维表面的图像进行重建的方法、装置和系统。所述方法包括：利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数；利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数；通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系；以及利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像，其中，所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。
Description
技术领域
本发明涉及三维表面图像重建领域，具体地涉及用于对三维表面的图像进行重建的方法、装置和系统。
背景技术
通过X光成像对三维对象的图像进行重现是医疗、安检、勘探等领域的热门话题。尤其是在医疗领域中，对成像的准确和精细程度有着相当高的要求。比如，在口腔科的临床实践中，需要所使用的口腔CT机能够准确的反映牙齿的形状、大小和纵深差异，从而使得医师能够更准确地进行手术，给患者减少不必要的痛苦。并且，对于牙齿整形来讲，如果能够重建更为精细、准确的口腔模型，则有助于在术前进行更为恰当的计划制定，并且还有助于进行术前术后对比，从而评估手术效果。
已经有很多科研人员在此方面进行了大量的研究。比如，B.S.Khambay等在“Apilot study:3D stereo photogrammetric image superimposition on to 3D CT scanimages–the future of orthognathic surgery”一文中提出三维人脸扫描图像与CT骨骼组织和软组织贴合的方法；Gerard Medioni等在美国专利US8126261B2中提出了利用一系列二维图像进行三维人脸重建的方法；Jongmoo Choi等在“3D Face ReconstructionUsing A Single or Multiple Views”一文中也提出一种利用脸部特征点识别重建三维人脸的方法。
然而，这些工作仍存在不尽人意之处。B.S.Khambay等方法设想依靠可见光表面扫描设备获得三维人脸图像，将其与CT获得软组织表面贴合得到最终结果。其实，CT图像的软组织表面实际上就是三维人脸表面，再利用可见光表面扫描设备获得三维人脸实际上做了重复性工作，同时两个三维表面的贴合过程无疑增加了标记点的定位难度。
Gerard Medioni及Jongmoo Choi提出的两种方法仅仅依赖面部一些特征点的三维定位对统一的三维人脸模型进行变形，得到的结果对个体的面部特征有一定的代表性，但一些细节比如鼻子等空间曲率较大结构相对精细的地方，特征点变形有时会得到奇怪的结果。以Jongmoo Choi的方法为例，图1A-1B中示出了Jongmoo Choi的论文“3D FaceReconstruction Using A Single or Multiple Views”中实现的三维人脸重建结果。文中的重建需要单张或者多张二维照片和一个一般的人脸模型，其主要工作是利用采集的图像特征点微调一般人脸模型，实现纹理映射得到三维人脸。图1A中示出的三张图是单视角配合一般人脸模型变形的三维人脸，图1B中示出的三张图是多视角估计特征点调整一般人脸模型后的三维人脸。明显看出图1A中，在鼻子附近存在明显畸变。在图1B中鼻子的重建虽然有所好转，但仍然不尽人意，并且该方法没能对下巴区域进行重建。
发明内容
为了解决现有技术中存在的上述问题，本发明提出了用于对三维表面的图像进行重建的方法、装置和系统。
根据本发明的一个方面，提出了一种用于对三维表面的图像进行重建的方法，包括：a1)利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数；a2)利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数；b)通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系；以及c)利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像，其中，所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。
优选地，步骤a1)中的构建所述三维表面的三维模型包括：利用所述X光成像数据构建所述三维表面的体素模型；逐层提取体素模型的轮廓，以得到三维表面点云；建立三维表面点云的连接关系，构建所述三维表面的三维模型，所述三维模型是三维网格模型。
优选地，所述可见光成像数据包括在所述三维表面的不同方位产生的一系列二维初步图像，以及步骤a2)中的构建所述三维表面的一个或多个二维姿态图像包括：通过提取初步特征点的相对位置确定每个二维初步图像所对应的姿态；根据每个二维初步图像所对应的姿态，从所述一系列二维初步图像中选出所述一个或多个二维姿态图像。
优选地，所述初步特征点是从所述特征点的集合中选择的。
优选地，在步骤b)中，通过下式确定二维姿态图像与所述三维模型之间的映射矩阵T：
其中，(ui,vi)和(xi,yi,zi)分别表示所述二维图像中的n个特征点中的第i个特征点的所述二维坐标参数和所述三维坐标参数，i＝1、2、…n。
优选地，利用最小二乘或奇异值分解来解出所述映射矩阵。
优选地，步骤c)中的将所述一个或多个二维姿态图像填充到所述三维模型上包括：根据所述一个或多个二维姿态图像，将所述三维模型划分为相应的一个或多个分区；将所述一个或多个二维姿态图像分别填充到所述相应的一个或多个分区上，形成重建的三维表面图像。
根据本发明的另一方面，提供了一种用于对三维表面的图像进行重建的装置，包括：三维模型构建装置，被配置为，利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数；二维姿态图像构建装置，被配置为，利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数；映射建立装置，被配置为，通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系；以及重建装置，被配置为，利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像，其中，所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。
优选地，所述三维模型构建装置被配置为：利用所述X光成像数据构建所述三维表面的体素模型；逐层提取体素模型的轮廓，以得到三维表面点云；建立三维表面点云的连接关系，构建所述三维表面的三维模型，所述三维模型是三维网格模型。
优选地，所述可见光成像数据包括在所述三维表面的不同方位产生的一系列二维初步图像，以及所述二维姿态图像构建装置被配置为：通过提取初步特征点的相对位置确定每个二维初步图像所对应的姿态；根据每个二维初步图像所对应的姿态，从所述一系列二维初步图像中选出所述一个或多个二维姿态图像。
优选地，所述初步特征点是从所述特征点的集合中选择的。
优选地，所述映射建立装置被配置为通过下式确定二维姿态图像与所述三维模型之间的映射矩阵T：
其中，(ui,vi)和(xi,yi,zi)分别表示所述二维图像中的n个特征点中的第i个特征点的所述二维坐标参数和所述三维坐标参数，i＝1、2、…n。
优选地，所述映射建立装置被配置为：利用最小二乘或奇异值分解来解出所述映射矩阵。
优选地，所述重建装置被配置为：根据所述一个或多个二维姿态图像，将所述三维模型划分为相应的一个或多个分区；将所述一个或多个二维姿态图像分别填充到所述相应的一个或多个分区上，形成重建的三维表面图像。
根据本发明的又一方面，提供了一种用于对三维表面的图像进行重建的系统，包括：X光成像装置，被配置为围绕所述三维表面移动，用于对所述三维表面进行X光照射，以产生X光图像数据；可见光成像装置，与所述X光照射装置位于所述三维表面的相同方位，被配置为与所述X光照射装置同步地围绕所述三维表面移动，以产生可见光成像数据；以及根据如上任一方案所述的用于对三维表面的图像进行重建的装置。
通过本发明所提出的用于对三维表面的图像进行重建的方法、装置和系统，能够更加精细、准确地对三维表面进行重建，从而在诸如医疗的多个领域中实现更为丰富和细致的应用。
附图说明
图1A-1B示出了根据一种现有技术对三维表面的图像进行重建的结果；
图2示出了根据本发明的用于对三维表面的图像进行重建的方法的流程图；
图3示出了根据一个实施例的逐层提取体素模型的轮廓的示意图；
图4示出了根据一个实施例的建立三维表面点云的示意图；
图5示出了提取特征点处理的示意图；
图6示出了经过姿态映射的三维表面的二维姿态与相应的二维姿态图像；
图7中示出了通过图2中的方法对三维表面进行重建的示例性结果；
图8包括用于获取X光成像数据的X光成像装置和用于获取可见光成像数据的可见光成像装置的系统的示意图；
图9示出了根据本发明的用于对三维表面的图像进行重建的装置的结构框图；
图10示出了根据本发明的用于对三维表面的图像进行重建的系统的示意图。
具体实施方式
以下参考附图对本发明进行具体描述。需要指出的是，在以下描述中，为了描述方便，或为了便于读者理解和领会本发明的精神和效果，在描述特定实施例时采用了特定的三维表面(比如，特定的人脸)进行了描述，但是本发明不限于任何具有特定形态和/或特征的三维表面。在以下描述中，在描述特定实施例时，采用了某些特定的设备或使用了特定的算法或技术来实现本发明的一些具体特征，同样，这只是为了便于描述和/或理解，而不用于对本发明的技术方案进行限制，任何具有相应能力和/或能够实现相应效果的设备、算法和/或技术都能够用于本发明的技术方案的实施，本发明的范围由权利要求书中的各权利要求限定。
首先，图2示出了根据本发明的一个实施例的用于对三维表面的图像进行重建的方法200。所述方法200开始于步骤S210，利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数。然后，在步骤S220中，利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数。接下来，在步骤S230中，通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系。最后，在步骤S240中，利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像。在方法200中，所述三维表面的相同方位的X光成像数据和可见光成像数据应该是同步捕获的。
在步骤S210中，利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数。
作为基础，需要获取X光成像数据。X光成像数据是由X光成像装置获取的，例如，各种CT设备(例如，口腔CT机)、一般的X光机和平板探测器组合等，只要能够获得目标三维表面的X光图像数据即可。所述X光成像装置在获取X光成像数据时，围绕所述三维表面移动，以便完整地获取三维表面的X光成像数据。图8中示出了包括X光成像装置的系统的示意图。如图所示，C1为立柱，系统通过C1固定在地上、墙壁或屋顶。C2为悬臂，可以绕着与C1的连接轴旋转。C3为X光机，C4为平板探测器。使用时，三维表面处于C3和C4之间，用C5表示。悬臂C2绕着轴旋转完成对三维表面的扫描和成像。
步骤S210中，优选地，首先利用所获取的X光成像数据(比如，包括但不限于，X光衰减信息)构建三维体素模型(比如利用CT技术)，其中可以利用很多成熟的重建算法(比如FDK、ART等)。
然后，逐层提取体素模型的轮廓，从而得到三维表面点云。三维体素模型是分层的，每个体素的灰度值与该位置的衰减系数的大小有关，衰减系数相似的区域灰度值相似，变化剧烈的区域形成边缘，面部肌肉与空气的衰减系数变化巨大，提取边缘即可获得面部轮廓坐标。图3示出了根据一个实施例的逐层提取体素模型的轮廓的示意图，其中在原图的基础上经历了阈值二值化、去孤立点等处理得到了轮廓。需要指出的是，图3中所示的各个处理只是作为示例，并不意味着属于提取体素模型的轮廓的必须过程。
最后，建立三维表面点云的连接关系，构建所述三维表面的三维模型。优选地，所述三维模型是三维网格模型。这一处理可以是利用计算机图形学算法实现的，比如ball-pivoting算法。图4示出了根据一个实施例的建立三维表面点云的示意图。其中，左图是三维表面点云的示意图，中图示出了建立连接关系三角形模型，右图是细化之后的三角形模型。仍然需要指出的是，图4中示出了的建立三维表面点云的方法只是示例，并不用于对本发明的方案进行限制。
在步骤S210中，还需要提取特征点的三维坐标参数，特征点可以包括但不限于，比如鼻尖，嘴角，眼角，脸部轮廓等。
接下来，在步骤S220中，利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数。
作为这一步骤的基础，需要获取可见光成像数据。所述可见光数据可以是通过可见光成像装置获取的，例如相机、摄像头等，只要能够获得目标三维表面的可见光图像数据即可。所述可见光成像装置与所述X光成像装置位于所述三维表面的同一方位，并在获取可见光成像数据时，与所述X光成像装置同步地围绕所述三维表面移动，以便与所述X光成像装置同步地获取三维表面的不同方位的成像数据。在一个实施例中，所述可见光成像数据是在所述三维表面的不同方位产生的一系列二维初步图像。还可再次参见图8，图8的系统中还包括可见光成像装置C6。
步骤S220中，优选地，可以首先通过提取初步特征点的相对位置确定每个二维初步图像所对应的姿态。由于并不知道所述三维表面(比如人脸)的方位(比如，人脸正面的朝向)，因此往往不能只是根据所得到的一系列二维初步图像中每个初步图像的排序自动地确定该初步图像所对应的三维表面的姿态(比如，对于人脸来讲，可以有正面姿态、正左侧姿态、正右侧姿态、45°斜对姿态等)，因此在这一处理中，通过标注每个二维初步图像中的所谓初步特征点的相对位置来确定各个图像的姿态。这一处理可以是通过主动形状模型(ASM)算法来实现的。图5示出了提取特征点处理的示意图。
所述初步特征点可以与步骤S210中提及的特征点相同或可以是从所述特征点的集合中选出的更为优选的特征点。在另一实施例中，所述初步特征点可以包括所述特征点的集合之外的特征点。
接下来，根据每个二维初步图像所对应的姿态，从所述一系列二维初步图像中选出所述一个或多个二维姿态图像。二维图像用来在以下的步骤中对三维模型进行填充，并不是每一个二维初步图像都要用来填充。在一个实施例中，选取三维表面的不同姿态，从所述一系列二维初步图像中选取具有相应不同姿态的二维初步图像用于填充，这些图像也被称为二维姿态图像。
在步骤S220中，还需要从每个二维姿态图像提取特征点的二维坐标参数。这里的特征点属于步骤S210中的特征点的集合，可以包括但不限于，比如鼻尖，嘴角，眼角，脸部轮廓等。需要指出的是，在一个二维姿态图像中一般并不包括步骤S210中的特征点的集合中的全部特征点，比如，对于人脸的与正右侧姿态相对应的二维姿态图像，其中不会包括左眼角特征点。
然后，在步骤S230中，通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系(T)。
在以上步骤中，X光成像数据得到的是空间结构信息，可见光成像数据则可以反映平面纹理信息，两者融合可以获得可视化的三维表面，这需要依据特征点空间映射关系进行数据映射(T)。
一般地，一个三维表面特征点的齐次坐标可以示为经过映射T后，其所对应的二维图像上的坐标点为即
为了便于理解，可将映射T分为两个过程进行解释，第一个过程是姿态映射，第二个过程是仿射变换，映射T是两种映射的综合结果。
姿态映射指的是三维表面与可见光成像的二维姿态表面在空间姿态上的匹配关系，即姿态映射会在空间中旋转三维表面模型，使之在成像平面的投影与二维姿态表面保持一致，以正面姿态(其成像平面为x-y平面)为例，图6示出了经过姿态映射的三维表面的二维姿态(左图)与相应的二维姿态图像(右图)，其映射矩阵如下所示：
从图中可将，两者姿态是完全对应的。
其次是仿射变换，两幅二维图像的各个像素点之间的关系是简单的仿射变换关系，该放射关系与可见光成像所采用的设备的参数有关：
其中，[u1,v1,1]T为可见光上的像素坐标,[x,y,1]T为经过姿态映射后三维表面模型点云的坐标，*为待拟合的参数，主要表述坐标系间的平移和旋转。
将两个过程联系起来可以得到：
显然，映射T表示成了两个部分，一部分是与可见光成像设备的参数有关的T1(c)3×3，另一部分是与表面姿态相关的T2(θ)3×4。
以上是映射T的机理。在实际应用时，往往通过类似下式的方式来确定二维姿态图像与所述三维模型之间的映射矩阵T：
其中，(ui,vi)和(xi,yi,zi)分别表示所述二维图像中的n个特征点中的第i个特征点的所述二维坐标参数和所述三维坐标参数，i＝1、2、…n。优选地，可以利用最小二乘或奇异值分解来解出上式中的映射矩阵T。
最后，在步骤S240中，利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，实现三维表面图像的重建。
优选地，在该步骤中，可以首先根据所选定的二维姿态图像，将所述三维模型划分为相应的一个或多个分区，然后将所述一个或多个二维姿态图像分别填充到所述相应的一个或多个分区上，形成重建的三维表面图像。当然，所述分区可以是事先划分好的，并可以在选择二维姿态图像是根据所划分的分区进行选择，这并不影响本发明的技术效果。
在另一实施例中，可以不划分所述分区，针对所选择的不同二维姿态图像的重叠部分，可以对数据进行拟合处理，并使用拟合后的数据来填充重叠部分。
最后，图7中示出了通过本发明的方法200对三维表面进行重建的示例性结果。如上所述，该方法中使用可见光图像与X光成像数据融合，在视觉效果上比图1所示的方法实现的效果更优，并且该方法中实现了对下巴区域的重建，能够直接产生量身定做的三维人脸模型，提升了可靠性，不受一般三维模型(比如图1的方法中所选定的一般人脸模型)的束缚。
接下来，图9示出了根据本发明的用于对三维表面的图像进行重建的装置900的结构框图。
所述装置900包括三维模型构建装置910、二维姿态图像构建装置920、映射建立装置930和重建装置940。其中，所述三维模型构建装置910被配置为，利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数。所述二维姿态图像构建装置920被配置为，利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数。所述映射建立装置930被配置为，通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系。所述重建装置940被配置为，利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像。所述装置900所使用的X光成像数据和可见光成像数据满足：所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。
该用于对三维表面的图像进行重建的装置900与上述用于对三维表面的图像进行重建的方法200相对应。以上对方法200的具体描述和解释同样适用于装置900，在此不再赘述。
图10示出了用于对三维表面的图像进行重建的系统1000的示意图。所述系统1000包括X光成像装置1010、可见光成像装置1020和如图9所示的装置900。所述X光成像装置1010被配置为围绕所述三维表面移动，用于对所述三维表面进行X光照射，以产生X光图像数据。所述可见光成像装置1020与所述X光照射装置1010位于所述三维表面的相同方位，被配置为与所述X光照射装置1010同步地围绕所述三维表面移动，以产生可见光成像数据。在图10中，所述X光成像装置1010被示为包括X光照射装置1010a和X光接收装置1010b。
需要指出的是，在上文中，虽然X光成像装置1010和可见光成像装置1020被描述为围绕三维表面移动，但其同样可以实现为，三维表面围绕X光成像装置1010和可见光成像装置1020移动，三维表面自身旋转或三维表面与X光成像装置1010和可见光成像装置1020都围绕其他目标旋转，只要能够保证X光成像数据和可见光成像数据捕获的同步性即可。
优选地，所述系统1000还可包括显示器(图10中的1030)，以用于显示所重建的三维图像。
尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。
Claims (15)
1.一种用于对三维表面的图像进行重建的方法，包括：
a1)利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数；
a2)利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数；
b)通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系；以及
c)利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像，
其中，所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。
2.根据权利要求1所述的方法，其中，步骤a1)中的构建所述三维表面的三维模型包括：
利用所述X光成像数据构建所述三维表面的体素模型；
逐层提取体素模型的轮廓，以得到三维表面点云；
建立三维表面点云的连接关系，构建所述三维表面的三维模型，所述三维模型是三维网格模型。
3.根据权利要求1所述的方法，其中，所述可见光成像数据包括在所述三维表面的不同方位产生的一系列二维初步图像，以及步骤a2)中的构建所述三维表面的一个或多个二维姿态图像包括：
通过提取初步特征点的相对位置确定每个二维初步图像所对应的姿态；
根据每个二维初步图像所对应的姿态，从所述一系列二维初步图像中选出所述一个或多个二维姿态图像。
4.根据权利要求3所述的方法，其中，所述初步特征点是从所述特征点的集合中选择的。
5.根据权利要求1所述的方法，其中，在步骤b)中，通过下式确定二维姿态图像与所述三维模型之间的映射矩阵T：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>T</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，(ui,vi)和(xi,yi,zi)分别表示所述二维图像中的n个特征点中的第i个特征点的所述二维坐标参数和所述三维坐标参数，i＝1、2、…n。
6.根据权利要求5所述的方法，其中，利用最小二乘或奇异值分解来解出所述映射矩阵。
7.根据权利要求1所述的方法，其中，步骤c)中的将所述一个或多个二维姿态图像填充到所述三维模型上包括：
根据所述一个或多个二维姿态图像，将所述三维模型划分为相应的一个或多个分区；
将所述一个或多个二维姿态图像分别填充到所述相应的一个或多个分区上，形成重建的三维表面图像。
8.一种用于对三维表面的图像进行重建的装置，包括：
三维模型构建装置，被配置为，利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数；
二维姿态图像构建装置，被配置为，利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数；
映射建立装置，被配置为，通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系；以及
重建装置，被配置为，利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像，
其中，所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。
9.根据权利要求8所述的装置，其中，所述三维模型构建装置被配置为：
利用所述X光成像数据构建所述三维表面的体素模型；
逐层提取体素模型的轮廓，以得到三维表面点云；
建立三维表面点云的连接关系，构建所述三维表面的三维模型，所述三维模型是三维网格模型。
10.根据权利要求8所述的装置，其中，所述可见光成像数据包括在所述三维表面的不同方位产生的一系列二维初步图像，以及所述二维姿态图像构建装置被配置为：
通过提取初步特征点的相对位置确定每个二维初步图像所对应的姿态；
根据每个二维初步图像所对应的姿态，从所述一系列二维初步图像中选出所述一个或多个二维姿态图像。
11.根据权利要求10所述的装置，其中，所述初步特征点是从所述特征点的集合中选择的。
12.根据权利要求8所述的装置，其中，所述映射建立装置被配置为通过下式确定二维姿态图像与所述三维模型之间的映射矩阵T：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>T</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，(ui,vi)和(xi,yi,zi)分别表示所述二维图像中的n个特征点中的第i个特征点的所述二维坐标参数和所述三维坐标参数，i＝1、2、…n。
13.根据权利要求12所述的装置，其中，所述映射建立装置被配置为：
利用最小二乘或奇异值分解来解出所述映射矩阵。
14.根据权利要求8所述的装置，其中，所述重建装置被配置为：
根据所述一个或多个二维姿态图像，将所述三维模型划分为相应的一个或多个分区；
将所述一个或多个二维姿态图像分别填充到所述相应的一个或多个分区上，形成重建的三维表面图像。
15.一种用于对三维表面的图像进行重建的系统，包括：
X光成像装置，被配置为围绕所述三维表面移动，用于对所述三维表面进行X光照射，以产生X光图像数据；
可见光成像装置，与所述X光照射装置位于所述三维表面的相同方位，被配置为与所述X光照射装置同步地围绕所述三维表面移动，以产生可见光成像数据；以及
根据权利要求8-14中的任一项所述的用于对三维表面的图像进行重建的装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610590192.5A CN107657653A (zh) | 2016-07-25 | 2016-07-25 | 用于对三维表面的图像进行重建的方法、装置和系统 |
| US16/316,487 US20190295250A1 (en) | 2016-07-25 | 2017-05-03 | Method, apparatus and system for reconstructing images of 3d surface |
| JP2019503729A JP2019526124A (ja) | 2016-07-25 | 2017-05-03 | 三次元表面の画像を再構築するための方法、装置およびシステム |
| AU2017302800A AU2017302800A1 (en) | 2016-07-25 | 2017-05-03 | Method, apparatus and system for re-constructing image of three-dimensional surface |
| PCT/CN2017/082839 WO2018018981A1 (zh) | 2016-07-25 | 2017-05-03 | 用于对三维表面的图像进行重建的方法、装置和系统 |
| EP17173576.4A EP3276575A1 (en) | 2016-07-25 | 2017-05-30 | Method, apparatus and system for reconstructing images of 3d surface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610590192.5A CN107657653A (zh) | 2016-07-25 | 2016-07-25 | 用于对三维表面的图像进行重建的方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107657653A true CN107657653A (zh) | 2018-02-02 |
Family
ID=58873704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610590192.5A Pending CN107657653A (zh) | 2016-07-25 | 2016-07-25 | 用于对三维表面的图像进行重建的方法、装置和系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20190295250A1 (zh) |
| EP (1) | EP3276575A1 (zh) |
| JP (1) | JP2019526124A (zh) |
| CN (1) | CN107657653A (zh) |
| AU (1) | AU2017302800A1 (zh) |
| WO (1) | WO2018018981A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163903A (zh) * | 2019-05-27 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110163953A (zh) * | 2019-03-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 三维人脸重建方法、装置、存储介质和电子装置 |
| CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
| CN111524224A (zh) * | 2020-04-13 | 2020-08-11 | 国家电网有限公司 | 一种电力变压器表面温度分布的全景成像方法 |
| CN111724483A (zh) * | 2020-04-16 | 2020-09-29 | 北京诺亦腾科技有限公司 | 一种图像移植方法 |
| CN111973212A (zh) * | 2020-08-19 | 2020-11-24 | 杭州三坛医疗科技有限公司 | 参数标定方法和参数标定装置 |
| CN113838187A (zh) * | 2021-08-27 | 2021-12-24 | 南方科技大学 | 大脑皮质下结构的三维表面生成方法、装置及存储介质 |
| CN117347312A (zh) * | 2023-12-06 | 2024-01-05 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
| CN113838187B (zh) * | 2021-08-27 | 2024-07-12 | 南方科技大学 | 大脑皮质下结构的三维表面生成方法、装置及存储介质 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201907334A (zh) * | 2017-07-03 | 2019-02-16 | 華碩電腦股份有限公司 | 電子裝置、影像處理方法及非暫態電腦可讀取記錄媒體 |
| FR3077658B1 (fr) * | 2018-02-06 | 2020-07-17 | Idemia Identity And Security | Procede d'authentification d'un visage |
| CN108765555B (zh) * | 2018-05-21 | 2022-04-08 | 成都双流国际机场股份有限公司 | 民用机场障碍物限制图三维建模方法、装置及电子设备 |
| CN109584368B (zh) * | 2018-10-18 | 2021-05-28 | 中国科学院自动化研究所 | 生物样品三维结构的构建方法及装置 |
| US11010896B2 (en) * | 2018-12-17 | 2021-05-18 | Bodygram, Inc. | Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation |
| US11798299B2 (en) * | 2019-10-31 | 2023-10-24 | Bodygram, Inc. | Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation |
| CN112002014B (zh) * | 2020-08-31 | 2023-12-15 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
| CN112530003B (zh) * | 2020-12-11 | 2023-10-27 | 北京奇艺世纪科技有限公司 | 一种三维人手重建方法、装置及电子设备 |
| CN112598808B (zh) * | 2020-12-23 | 2024-04-02 | 深圳大学 | 数据处理方法、装置、电子设备和存储介质 |
| CN113050083A (zh) * | 2021-03-10 | 2021-06-29 | 中国人民解放军国防科技大学 | 一种基于点云的超宽带雷达人体姿态重构方法 |
| CN113128467B (zh) * | 2021-05-11 | 2022-03-29 | 临沂大学 | 基于面部先验知识的低分辨率人脸超分辨与识别的方法 |
| CN113362467B (zh) * | 2021-06-08 | 2023-04-07 | 武汉理工大学 | 基于点云预处理和ShuffleNet的移动端三维位姿估计方法 |
| CN113808274A (zh) * | 2021-09-24 | 2021-12-17 | 福建平潭瑞谦智能科技有限公司 | 人脸识别模型构建方法及系统及识别方法 |
| CN114998527B (zh) * | 2022-06-27 | 2024-05-03 | 上海域圆信息科技有限公司 | 一种准确性高的三维人体表面重建系统 |
| CN116548993B (zh) * | 2023-07-11 | 2024-03-08 | 北京友通上昊科技有限公司 | 基于滑杆的三维成像数据获取系统、方法和成像方法 |
| CN116570305B (zh) * | 2023-07-11 | 2023-11-17 | 北京友通上昊科技有限公司 | 三维成像数据获取系统、方法和三维成像方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102811664A (zh) * | 2010-02-02 | 2012-12-05 | 普兰梅卡有限公司 | 牙科成像设备 |
| US20130249901A1 (en) * | 2012-03-22 | 2013-09-26 | Christopher Richard Sweet | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces |
| CN103578133A (zh) * | 2012-08-03 | 2014-02-12 | 浙江大华技术股份有限公司 | 一种将二维图像信息进行三维重建的方法和设备 |
| CN104573144A (zh) * | 2013-10-14 | 2015-04-29 | 鸿富锦精密工业（深圳）有限公司 | 量测设备离线点云模拟系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19746096A1 (de) * | 1997-10-17 | 1999-05-06 | Siemens Ag | Röntgeneinrichtung |
| US6850634B1 (en) * | 1998-09-25 | 2005-02-01 | Canon Kabushiki Kaisha | Image processing apparatus, method, and storage medium for processing a radiation image |
| US7755817B2 (en) * | 2004-12-07 | 2010-07-13 | Chimei Innolux Corporation | Color gamut mapping |
| US7856125B2 (en) | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
| JP5084291B2 (ja) * | 2007-02-06 | 2012-11-28 | キヤノン株式会社 | 画像処理装置および方法 |
| JP5906015B2 (ja) * | 2007-12-18 | 2016-04-20 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 特徴に基づいた２次元／３次元画像のレジストレーション |
-
2016
- 2016-07-25 CN CN201610590192.5A patent/CN107657653A/zh active Pending
-
2017
- 2017-05-03 WO PCT/CN2017/082839 patent/WO2018018981A1/zh active Application Filing
- 2017-05-03 JP JP2019503729A patent/JP2019526124A/ja active Pending
- 2017-05-03 AU AU2017302800A patent/AU2017302800A1/en not_active Abandoned
- 2017-05-03 US US16/316,487 patent/US20190295250A1/en not_active Abandoned
- 2017-05-30 EP EP17173576.4A patent/EP3276575A1/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102811664A (zh) * | 2010-02-02 | 2012-12-05 | 普兰梅卡有限公司 | 牙科成像设备 |
| US20130249901A1 (en) * | 2012-03-22 | 2013-09-26 | Christopher Richard Sweet | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces |
| CN103578133A (zh) * | 2012-08-03 | 2014-02-12 | 浙江大华技术股份有限公司 | 一种将二维图像信息进行三维重建的方法和设备 |
| CN104573144A (zh) * | 2013-10-14 | 2015-04-29 | 鸿富锦精密工业（深圳）有限公司 | 量测设备离线点云模拟系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| ALI MD. HAIDER等: "《A 3D Human Face Reconstruction Method from CT Image and Color-Photographs》", 《IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS》 * |
| SOYOUNG CHUNG等: "《Fusion of cone-beam CT and 3D photographic images for soft tissue simulation in maxillofacial surgery》", 《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING》 * |
| 方菲: "《面向医学影像三维重建的标志点检测与姿态估计》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163953A (zh) * | 2019-03-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 三维人脸重建方法、装置、存储介质和电子装置 |
| CN110163953B (zh) * | 2019-03-11 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 三维人脸重建方法、装置、存储介质和电子装置 |
| CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
| CN110163903A (zh) * | 2019-05-27 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN111524224A (zh) * | 2020-04-13 | 2020-08-11 | 国家电网有限公司 | 一种电力变压器表面温度分布的全景成像方法 |
| CN111524224B (zh) * | 2020-04-13 | 2023-09-29 | 国家电网有限公司 | 一种电力变压器表面温度分布的全景成像方法 |
| CN111724483A (zh) * | 2020-04-16 | 2020-09-29 | 北京诺亦腾科技有限公司 | 一种图像移植方法 |
| CN111973212A (zh) * | 2020-08-19 | 2020-11-24 | 杭州三坛医疗科技有限公司 | 参数标定方法和参数标定装置 |
| CN113838187A (zh) * | 2021-08-27 | 2021-12-24 | 南方科技大学 | 大脑皮质下结构的三维表面生成方法、装置及存储介质 |
| CN113838187B (zh) * | 2021-08-27 | 2024-07-12 | 南方科技大学 | 大脑皮质下结构的三维表面生成方法、装置及存储介质 |
| CN117347312A (zh) * | 2023-12-06 | 2024-01-05 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
| CN117347312B (zh) * | 2023-12-06 | 2024-04-26 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018018981A1 (zh) | 2018-02-01 |
| JP2019526124A (ja) | 2019-09-12 |
| US20190295250A1 (en) | 2019-09-26 |
| EP3276575A1 (en) | 2018-01-31 |
| AU2017302800A1 (en) | 2019-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657653A (zh) | 用于对三维表面的图像进行重建的方法、装置和系统 | |
| US8731268B2 (en) | CT device and method based on motion compensation | |
| CN111627521B (zh) | 增强现实在放疗中的应用 | |
| US10049471B2 (en) | Unified coordinate system for multiple CT scans of patient lungs | |
| US5868675A (en) | Interactive system for local intervention inside a nonhumogeneous structure | |
| US20170135655A1 (en) | Facial texture mapping to volume image | |
| US8428315B2 (en) | Method and system for pre-operative prediction | |
| EP2602743A2 (en) | Matching geometry generation and display of mammograms and tomosynthesis images | |
| CN106056537A (zh) | 一种医学图像拼接方法及装置 | |
| CN109242954A (zh) | 基于模板变形的多视角三维人体重建方法 | |
| CN104599257B (zh) | 一种图像融合显示方法 | |
| CN102663818A (zh) | 颅颌面三维形貌模型的构建方法及其装置 | |
| CN102592283A (zh) | 一种脑部肿瘤头皮定位图像处理方法 | |
| CN102843564A (zh) | 图像处理系统、装置以及方法 | |
| CN102651145A (zh) | 股骨三维模型可视化方法 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| ES2898936T3 (es) | Procedimiento de imagen radiográfica, dispositivo de procesamiento de imagen radiográfica y dispositivo de imagen radiográfica | |
| CN115619790B (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
| EP3543955A1 (en) | Image processing device and projection system | |
| CN109242947A (zh) | 三维超声图像显示方法 | |
| US20240144610A1 (en) | System and method for overlaying a hologram onto an object | |
| CN105957062A (zh) | 膝关节mri三维重建中半月板的数据分割方法 | |
| Rodrigues | 3D Breast Cancer Models: Multimodal Data Registration | |
| Azevedo | 3D object reconstruction using computer vision: reconstruction and characterization applications for external human anatomical structures | |
| CN114270408A (zh) | 用于控制显示器的方法、计算机程序和混合现实显示设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180202 |