CN116958443A - 基于smplx重建数字人可量化检测模型、方法及应用 - Google Patents
基于smplx重建数字人可量化检测模型、方法及应用 Download PDFInfo
- Publication number
- CN116958443A CN116958443A CN202310951708.4A CN202310951708A CN116958443A CN 116958443 A CN116958443 A CN 116958443A CN 202310951708 A CN202310951708 A CN 202310951708A CN 116958443 A CN116958443 A CN 116958443A
- Authority
- CN
- China
- Prior art keywords
- smplx
- model
- detection model
- projection
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 54
- 210000003484 anatomy Anatomy 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 230000005855 radiation Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 16
- 238000002604 ultrasonography Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 23
- 238000007689 inspection Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 240000004760 Pimpinella anisum Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本申请涉及用于医学检测领域的三维数字人重建技术领域，公开了基于SMPLX重建数字人可量化检测模型、方法及应用，能够实现3D数字人的高效建立，稳定交互，为数字人的后续广泛应用提供可靠的技术支持和保证。本发明提供了基于SMPLX重建数字人可量化检测模型，用于实现多场景交互应用，尤其是在医学领域，结合《放射技术与相关解剖(第6版)》能够实现包括DR、CT、MRI、超声等诸多场景应用。
Description
技术领域
本发明涉及医用检测领域中的三维重建技术领域，尤其涉及3D数字人重建技术及应用技术领域，具体涉及基于SMPLX重建数字人可量化检测模型、方法及应用。
背景技术
在普通放射检查中，“摆位”是非常重要的环节，“摆位”是指操作人员在进行X射线摄影前，根据诊断需要，辅助受检者摆出特定的姿势，同时调整检查设备，使设备与受检部位保持特定的几何关系。“摆位”决定下游诊断时可以看到的影像内容，质量差的“摆位”可能导致误诊漏诊。
普通放射临床应用中，“检查项目”这种协议被用于上下游之间沟通检查需要，通常由检查发起方指定“检查项目”，操作人员根据“检查项目”的要求进行“摆位”并拍摄X射线影像。定义良好的“检查项目”在一定程度上提升了上下游的沟通效率，但是面对不断增多的各类疑难杂症，检查需要越来越多，“摆位”要求也越来越高，现有的“检查项目”已经无法满足诊断需要。许多设备制造商也做了努力，在较新的设备中，“检查项目”的数目在不断增加，从最早的几十种，到后来的一百多种，再到如今有两百多种，每次增加都可以在一定时间内一定程度上适应新的检查需要，但是每次增加都是对检查上下游的巨大负担，检查发起方和操作人员都需要不断学习新的“检查项目”的“摆位”细节，以使新的“检查项目”可以被实际用起来，因此对上下游的经验要求越来越高，在医疗资源本就匮乏的如今，这是不切实际的。
本申请提出一种在普通放射检查中基于3D数字人技术的交互方式，用于上下游之间更加精准地沟通检查需要，可以无限扩展，在一定程度上或完全取代“检查项目”。
3D数字人技术是以单相机(或双目相机)拍摄的含人体的RGB(或RGBD)图像或视频作为输入，通过立体视觉、深度学习、计算机图形学等后端算法处理，对RGB(或RGBD)图像或视频中的人体进行表面三维重建，并最终在交互终端上进行可视化展示的技术。
所述单相机(或双目相机)放置在适当的位置实时采集RGB(或RGBD)图像，满足其画面在工作期间始终包含目标人体；所述后端处理算法运行在高性能处理器上，处理相机采集到的包含人体的RGB(或RGBD)图像，最终实时生成对应的人体表面三维重建结果和空间位置；所述高性能处理器带有高性能GPU；所述交互终端可以有多个，放置在需要交互的位置，其上有交互软件，实时获取人体表面三维重建结果和空间位置，并进行可视化展示，还提供编辑工具，可以基于人体表面三维重建结果继续修改；所述人体表面三维重建结果是包含人体全身网格的有序顶点集合。
发明内容
为了解决现有数字人建立，以及数字人在医学检测中的应用问题，本申请提供基于SMPLX重建数字人可量化检测模型、方法及应用，用于至少达到下述效果之一：
1、本发明提供了基于SMPLX重建数字人可量化检测模型的方法，能够实现3D数字人的高效建立，稳定交互，为数字人的后续广泛应用提供可靠的技术支持和保证。
2、本发明提供了基于SMPLX重建数字人可量化检测模型，用于实现多场景交互应用，尤其是在医学领域，结合《放射技术与相关解剖(第6版)》能够实现包括DR、CT、MRI、超声等诸多场景应用。
3、数字人能够实现多场景的复现，为医生诊断提供辅助参考，解决现有DR、CT、MRI的片子单一，无法复现拍摄场景，角度，方位信息等问题。
为了达到上述目的，本申请所采用的技术方案为：
基于SMPLX重建数字人可量化检测模型的方法，包括SMPLX模型，还包括基于SMPLX模型建立与受检者具有对应关系3D数字人，具体包括如下步骤：
步骤step100，利用相机拍摄获取含受检者的图像输入至YOLO目标检测算法或Mask RCNN分割算法提取受检者的目标框、掩码；
步骤step200，对输入的含受检者的图像直接使用视觉变换器进行自注意力SelfAttention特征信息提取，获得特征信息A；
步骤step300，将步骤step100输出的受检者目标框，掩码，以及步骤step200提取的自注意力Self Attention特征信息作为请求进行交叉注意力Cross Attention，进一步提取特征，获得特征信息B；
步骤step400，将步骤step300得到的特征信息B送入一个全连接网络进行SMPLX模型控制参数的回归，最终输出受检者特定的姿态控制参数θ、形状控制参数β、面部表情参数ψ和相机参数π的估计；
步骤step500，将步骤step400得到SMPLX模型控制参数Θ＝(θ,β,ψ)输入到SMPLX模型，得到3D数字人其中代表3D人体表面网格；
步骤step600，将步骤step500中得到的3D数字人和步骤step400中获得的相机参数π进行3D数字人重投影，得到重投影后的3D关键点重投影的方法如下：
首先将3D人体表面网格输入一个线性回归器，计算出3D关键点：
J3D＝X(θ,β,ψ)
其中X表示通过SMPLX模型控制参数Θ＝(θ,β,ψ)得到的3D人体表面网格回归计算出3D关键点。
若相机已进行标定，则相机的内参矩阵K已经确定，可使用透视相机模型，根据步骤step400估计得到的相机外参数π＝[R|t]，可得：
其中，R表示相机的旋转矩阵，t表示相机的位移向量；
步骤step700，将步骤step600中得到的重投影后的2D关键点与真实的2D关键点标注x进行损失比较，求取L2损失，其中L2代表欧式距离运算；
步骤step800，将步骤step400得到的SMPLX模型控制参数Θ＝(θ,β,ψ)和真实的3D标注参数混合在一起，训练|θ|+|β|+|ψ|+2个判别器Discrimination，分别用于判断输入的每一个控制参数是真实的参数还是生成器Generator估计的参数，并求取判别器损失：
其中，|θ|代表姿态参数的个数，|β|代表形态参数的个数，|ψ|代表表情参数的个数，Di代表第i个判别器函数，E(I)代表生成器函数，代表在生成器生成的控制参数空间求数学期望；
步骤step900，将步骤step500得到的3D数字人与标注参数一起计算3D损失：
获得总损失函数为：
其中，λ为损失的相对权重，Lreproj代表重投影损失，代表3D损失，L为总损失函数，值越大表示准确度越低，值越小表示准确度越高，当L≤L0时则跳出修订过程，当L≥L0时则重复修订过程，L0为系统预设精准度阈值，从而获得3D数字人可量化检测模型。
为了提升数字人可量化检测模型的稳定性，优选地，还包括通过外观路径提高检测模型稳定性的步骤，具体包括：将相机拍摄的图像中任一单帧外观替换为加权外观的步骤，所述加权外观通过下述公式获得：
其中，
代表t时刻第i个人的单帧外观，代表t时刻共i个人的加权外观，ΦA是外观聚合函数，α为预测系数，它采用前一个轨迹和新检测的外观表示的加权和；
单帧外观在时间t时刻通过UV图和可见性掩膜合成，具体表示为：
其中，代表单帧外观的UV图，代表可见性掩膜。
为了提升数字人可量化检测模型的稳定性，优选地，还包括通过位置路径提高检测模型稳定性的步骤，具体包括：将相机拍摄的含有受检者图像中受检者人像i在时间t+1具有的3D位置替换为根据已有轨迹预测的3D位置的步骤，3D位置通过下式获得：
其中，ΦL是位置聚合函数；以相同的方式预测和ΦL采用最后的w观测值通过最小二乘法拟合直线，并独立回归x、y和n的未来位置；根据线性回归，x在时间步t′的预测区间由以下等式给出：
其中，t(1-α/2)是标准概率论和统计学中的t分布，α为置信度，w-2为自由度，MSE为预测位置的均方误差，为先前观测的时间戳的平均值。
为了提升数字人可量化检测模型的稳定性，优选地，还包括通过姿势路径提高检测模型稳定性的步骤，具体包括：通过时间姿势聚合函数ΦP来平滑帧t处的姿势具体地，将受检者的一系列姿势嵌入输入至时间姿势聚合函数ΦP并计算嵌入的时间姿态，获得t处的姿势
本发明还提供基于SMPLX重建数字人可量化检测模型，由上述的一种基于SMPLX重建数字人可量化检测模型的方法获得。
本发明还提供基于SMPLX重建数字人可量化检测模型在DR检查中的应用，包括如下步骤：
步骤1-1，获取SMPLX重建数字人可量化检测模型，结合《放射技术与相关解剖(第6版)》得到的解剖位划分先验知识，获得待检测解剖位模型，并根据先验知识获得解剖位左右侧信息；
步骤1-2，计算待检测解剖位中心点；
步骤1-3，根据解剖位模型信息，计算得到解剖位投照信息；
步骤1-4，根据投照信息，获得解剖位最小外接3D bounding-box，并根据投照位信息，计算得到投照范围；
步骤1-5，根据最小外接3D bounding-box及投照位信息，计算获得摆位角度及解剖位基本切面相对于平板探测器的倾角；
步骤1-6，根据最小外接3D bounding-box及投照位信息，计算得到待检测解剖位的厚度信息。
本发明还提供基于SMPLX重建数字人可量化检测模型在CT/MRI检查中的应用，包括如下步骤：
步骤2-1，通过算法获取SMPL-X人体3D模型，参考《放射技术与相关解剖(第6版)》得到的解剖位划分先验知识，获得待检测解剖位模型，并根据先验知识获得解剖位左右侧信息；
步骤2-2：计算待检测解剖位中心点；
步骤2-3：根据解剖位模型信息，计算得到解剖位投照信息；
步骤2-4：根据投照信息，获得解剖位最小外接3D bounding-box，并根据投照位信息，计算得到投照范围；
步骤2-5：获得解剖位模型的矢状面、冠状面、水平面；
步骤2-6：根据CT起始点，输出其三位坐标，并投影到待检测解剖位表面，并完成与解剖位矢状面、冠状面、水平面对齐。
本发明还提供基于SMPLX重建数字人可量化检测模型在DR重投影中的应用，包括如下步骤：
步骤3-1：根据首次建模的SMPLX重建数字人可量化检测模型的解剖位模型，确定解剖位的中心点坐标、投照范围(检测区域)、投照位、左右侧信息(四肢)、摆位角度；
步骤3-2：指导受检者根据SMPLX重建数字人可量化检测模型的人体3D解剖位模型进行摆位调整，包括中心点对齐、投照位对齐，摆位角度调整；
步骤3-3：根据模型提供的解剖位的顶点法向量和面片法向量、以及受检者当前SMPLX解剖位模型进行微调，包括中心点、投照位、投照范围、摆位角度。
本发明还提供基于SMPLX重建数字人可量化检测模型在超声检查中的应用，包括如下步骤：
步骤4-1：根据SMPLX重建数字人可量化检测模型，结合人体先验部位划分知识对人体模型进行划分，按照人体SMPLX重建数字人可量化检测模型顶点为划分原则固定划分；
步骤4-2：求解区域边界：对划分的顶点外边界进行连线操作，获得该部位外边界；
步骤4-3：根据划分得到的区域，获取顶点以及顶点构成的三角面片；
步骤4-4：对区域内所有三角面片求解其对应的法向量。
有益效果：
1、本发明提供了基于SMPLX重建数字人可量化检测模型的方法，能够实现3D数字人的高效建立，稳定交互，为数字人的后续广泛应用提供可靠的技术支持和保证。
2、本发明提供了基于SMPLX重建数字人可量化检测模型，用于实现多场景交互应用，尤其是在医学领域，结合《放射技术与相关解剖(第6版)》能够实现包括DR、CT、MRI、超声等诸多场景应用。
3、数字人能够实现多场景的复现，为医生诊断提供辅助参考，解决现有DR、CT、MRI的片子单一，无法复现拍摄场景，角度，方位信息等问题。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
实施例1：
本实施例在详细介绍重建数字人可量化检测模型之前，首先针对重建数字人的SMPLX模型进行简要介绍，以便利理解重建数字人后续应用的原理。
人体全身网格建模应用了现成的SMPLX模型。SMPLX模型使用N＝10475个顶点和K＝54个关节点的标准顶点线性混合蒙皮和学习到的矫正混合形状来表示人体三维表面。SMPLX模型定义为如下函数：
其中，姿态参数K+1表示关节点个数和一个表示全局身体旋转的关节，姿态参数θ又进一步分为：下颌关节参数θf、指关节参数θh和剩余身体关节参数θb；身体、面部和手部的统一形态参数面部表情参数更明确的形式是：
M(θ,β,ψ)＝W(TP(θ,β,ψ),J(β),θ)
其中，是形态混合形状函数，βn是线性形状系数，|β|是它们的数量，是由于不同个体形态变化引起的顶点移位的正交主成分，是所有这些移位构成的矩阵。
是姿态混合形状函数，向模板网格添加由于不同个体姿态变化引起的矫正顶点移位，其形式如下：
其中Rn(θ)是R(θ)的第n个分量，而是通过罗德里格斯公式(Rodrigues’sFormula)将姿态向量转换为局部相对旋转矩阵的函数，θ*表示模板网格的初始姿态，是顶点位移的正交主成分，是所有姿态混合形状构成的矩阵。
是面部表情混合形状函数，其中ε是不同个体面部表情变化的主成分，φ是相应的主成分系数。因为三维关节位置J又会因为不同的身体形态而发生变化，所以它们也是身体形态的一个函数：
其中是一个稀疏的线性回归器，将网格顶点回归到三维关节位置。
权重参数都是通过训练学习获得的，其中是将原始的特征通过主成分分析(PCA)降维得到的。
最终，SMPLX模型有{θ,β,φ}共119个参数(其中θf和θb共75个用于全局身体旋转和关节旋转，θh有24个用于手部姿态，β有10个用于主体形态，ψ有10个用于面部表情)，可以通过修改这119个控制参数来任意变换SMPLX模型的身体姿态、关节姿态、主体形态和面部表情。此外还提供男性、女性、中性模板网格模型，分别用于性别为男性、女性和未知情况下。具体地，本实施例主要重建一种能够贴合于医疗检测领域的数字人重建方法，使得数字人能够与实际患者或者受检者形成完全的形态对应，从而在事后能够通过重建数字人了解到检测时的状态，以及受检者的检测材料，如DR，CT，MRI等片子的拍摄状态，包括角度，距离，当时受检者的姿态等等，使得医生能够精准的掌握受检者片子的拍摄条件，避免因片子标注拍摄位与实际拍摄位不对应或者不等同造成理解偏差，甚至带来误判。譬如，片子显示为“侧位”，但实际拍摄时并不是标准的侧位，而是带有偏斜，但医生并不能掌握这一情况，无法再现当时的情况，从而就容易造成误判。当然，数字人后续存在多种应用，这将在后文进行详细说明，但一切应用的前提是与受检者形成统一的对应或者同步关系的数字人的建立。下面就针对数字人的重建方法进行详细的步骤说明：
本实施例提供了基于SMPLX重建数字人可量化检测模型的方法，包括SMPLX模型，还包括基于SMPLX模型建立与受检者具有对应关系3D数字人，具体包括如下步骤：
步骤step100，利用相机拍摄获取含受检者的图像输入至YOLO目标检测算法或Mask RCNN分割算法提取受检者的目标框、掩码；
步骤step200，对输入的含受检者的图像直接使用视觉变换器进行自注意力SelfAttention特征信息提取，获得特征信息A；
步骤step300，将步骤step100输出的受检者目标框，掩码，以及步骤step200提取的自注意力Self Attention特征信息作为请求进行交叉注意力Cross Attention，进一步提取特征，获得特征信息B；
步骤step400，将步骤step300得到的特征信息B送入一个全连接网络进行SMPLX模型控制参数的回归，最终输出受检者特定的姿态控制参数θ、形状控制参数β、面部表情参数ψ和相机参数π的估计；
步骤step500，将步骤step400得到SMPLX模型控制参数Θ＝(θ,β,ψ)输入到SMPLX模型，得到3D数字人其中代表3D人体表面网格；
步骤step600，将步骤step500中得到的3D数字人和步骤step400中获得的相机参数π进行3D数字人重投影，得到重投影后的3D关键点重投影的方法如下：
首先将3D人体表面网格输入一个线性回归器，计算出3D关键点：
J3D＝X(θ,β,ψ)
其中X表示通过SMPLX模型控制参数Θ＝(θ,β,ψ)得到的3D人体表面网格回归计算出3D关键点。
若相机已进行标定，则相机的内参矩阵K已经确定，可使用透视相机模型，根据步骤step400估计得到的相机外参数π＝[R|t]，可得：
其中，R表示相机的旋转矩阵，t表示相机的位移向量；
步骤step700，将步骤step600中得到的重投影后的2D关键点与真实的2D关键点标注x进行损失比较，求取L2D损失
步骤step800，将步骤step400得到的SMPLX模型控制参数Θ＝(θ,β,ψ)和真实的3D标注参数混合在一起，训练|θ|+|β|+|ψ|+2个判别器Discrimination，分别用于判断输入的每一个控制参数是真实的参数还是生成器Generator估计的参数，并求取判别器损失：
其中，|θ|代表姿态参数的个数，|β|代表形态参数的个数，|ψ|代表表情参数的个数，Di代表第i个判别器函数，E(I)代表生成器函数，代表在生成器生成的控制参数空间求数学期望；
步骤step900，将步骤step500得到的3D数字人与标注参数一起计算3D损失：
获得总损失函数为：
其中，λ为损失的相对权重，Lreproj代表重投影损失，代表3D损失，L为总损失函数，值越大表示准确度越低，值越小表示准确度越高，当L≤L0时则跳出修订过程，当L≥L0时则重复修订过程，L0为系统预设精准度阈值，从而获得3D数字人可量化检测模型。
下面简单对数字人模型交互进行介绍，在交互时，交互软件实时展示以SMPLX模型表示的人体表面三维重建结果，同时提供基于关节参数的编辑工具。
检查发起方在可视化的交互界面中，通过编辑工具修改关节姿态参数，以改变关节姿态，从而对人体全身网格的姿态进行修改，并将修改结果同步展示给操作人员，以指导操作人员进行更准确的“摆位”。这个过程也可以发生在“有经验”的操作人员和“缺乏经验”的操作人员之间。
对于文字输入，以文字表示(Text token)代替掩码表示(Mask token)进行微调学习，优化后的模型可以从文本中学习到目标姿态参数，从而调整人体全身网格的姿态。对于语音输入，直接使用现成的语音转文字模型(如Whisper)先转化为文字，再输入到微调优化后的模型之中。所有使用者都可以通过非结构化的文字、语音描述对当前人体全身网格的姿态进行调整，以指导操作人员进行准确“摆位”。更进一步的，使用大语言模型(LLM)作为最前端，将患者的病例数据信息作为输入，模型推断适当的文本描述，再使用上述的模型最终转换为人体全身网格姿态。值得说明的是，上述交互过程只是对交互方式可以通过直接键入修改控制参数、使用文字、语言修改控制参数和实用病例数据信息自动修改控制参数进行交互的简要介绍，其目的是统一的，都是达到与实际受检者实现交互的目的。
实施例2：
本实施例在实施例1的基础上为了提升数字人可量化检测模型的稳定性，本实施例中还至少包括外观、路径和姿态中的一种或者多种优化步骤，具体如下：
稳定性优化一：通过外观路径提高检测模型稳定性的步骤，具体包括：将相机拍摄的图像中任一单帧外观替换为加权外观的步骤，所述加权外观通过下述公式获得：
其中，
代表t时刻第i个人的单帧外观，代表t时刻共i个人的加权外观，ΦA是外观聚合函数，α为预测系数，它采用前一个轨迹和新检测的外观表示的加权和；
单帧外观在时间t时刻通过UV图和可见性掩膜合成，具体表示为：
其中，代表单帧外观的UV图，代表可见性掩膜。
稳定性优化二：通过位置路径提高检测模型稳定性的步骤，具体包括：将相机拍摄的含有受检者图像中受检者人像i在时间t+1具有的3D位置替换为根据已有轨迹预测的3D位置的步骤，3D位置通过下式获得：
其中，ΦL是位置聚合函数；以相同的方式预测和ΦL采用最后的w观测值通过最小二乘法拟合直线，并独立回归x、y和n的未来位置；根据线性回归，x在时间步t′的预测区间由以下等式给出：
其中，t(1-α/2)是标准概率论和统计学中的t分布，α为置信度，w-2为自由度，MSE为预测位置的均方误差，为先前观测的时间戳的平均值。
稳定性优化三：通过姿势路径提高检测模型稳定性的步骤，具体包括：通过时间姿势聚合函数ΦP来平滑帧t处的姿势具体地，将受检者的一系列姿势嵌入输入至时间姿势聚合函数ΦP并计算嵌入的时间姿态，获得t处的姿势
实施例3：
本发明还提供基于SMPLX重建数字人可量化检测模型，由上述的一种基于SMPLX重建数字人可量化检测模型的方法获得。
实施例4：
本发明还提供基于SMPLX重建数字人可量化检测模型在DR检查中的应用，包括如下步骤：
步骤1-1，获取SMPLX重建数字人可量化检测模型，结合《放射技术与相关解剖(第6版)》得到的解剖位划分先验知识，获得待检测解剖位模型，并根据先验知识获得解剖位左右侧信息；
步骤1-2，计算待检测解剖位中心点；
步骤1-3，根据解剖位模型信息，计算得到解剖位投照信息；
步骤1-4，根据投照信息，获得解剖位最小外接3D bounding-box，并根据投照位信息，计算得到投照范围；
步骤1-5，根据最小外接3D bounding-box及投照位信息，计算获得摆位角度及解剖位基本切面相对于平板探测器的倾角；
步骤1-6，根据最小外接3D bounding-box及投照位信息，计算得到待检测解剖位的厚度信息。
实施例5：
本发明还提供基于SMPLX重建数字人可量化检测模型在CT/MRI检查中的应用，包括如下步骤：
步骤2-1，通过算法获取SMPL-X人体3D模型，参考《放射技术与相关解剖(第6版)》得到的解剖位划分先验知识，获得待检测解剖位模型，并根据先验知识获得解剖位左右侧信息；
步骤2-2：计算待检测解剖位中心点；
步骤2-3：根据解剖位模型信息，计算得到解剖位投照信息；
步骤2-4：根据投照信息，获得解剖位最小外接3D bounding-box，并根据投照位信息，计算得到投照范围；
步骤2-5：获得解剖位模型的矢状面、冠状面、水平面；
步骤2-6：根据CT起始点，输出其三位坐标，并投影到待检测解剖位表面，并完成与解剖位矢状面、冠状面、水平面对齐。
实施例6：
本发明还提供基于SMPLX重建数字人可量化检测模型在DR重投影中的应用，包括如下步骤：
步骤3-1：根据首次建模的SMPLX重建数字人可量化检测模型的解剖位模型，确定解剖位的中心点坐标、投照范围(检测区域)、投照位、左右侧信息(四肢)、摆位角度；
步骤3-2：指导受检者根据SMPLX重建数字人可量化检测模型的人体3D解剖位模型进行摆位调整，包括中心点对齐、投照位对齐，摆位角度调整；
步骤3-3：根据模型提供的解剖位的顶点法向量和面片法向量、以及受检者当前SMPLX解剖位模型进行微调，包括中心点、投照位、投照范围、摆位角度。
实施例7：
本发明还提供基于SMPLX重建数字人可量化检测模型在超声检查中的应用，包括如下步骤：
步骤4-1：根据SMPLX重建数字人可量化检测模型，结合人体先验部位划分知识对人体模型进行划分，按照人体SMPLX重建数字人可量化检测模型顶点为划分原则固定划分；
步骤4-2：求解区域边界：对划分的顶点外边界进行连线操作，获得该部位外边界；
步骤4-3：根据划分得到的区域，获取顶点以及顶点构成的三角面片；
步骤4-4：对区域内所有三角面片求解其对应的法向量。
实施例8：
针对实施例4-实施例7中均涉及到被检测的部位、检查部位的位置(部位中心点坐标)，部位的范围(检测区域)，部位的投照位，左右侧信息(四肢)，部位的厚度，部位的摆位角度的运用，上述信息可以通过重建的数字人可量化检测模型的预设部位、姿态信息获得，但为了便于针对不同应用场景和目的，为后期建立独立的针对特定应用的算法系统，如DR、CT、MRI等，本实施针对上述信息的获取还提供如下获取方法：
1、针对被检测的部位
根据SMPLX的10475个顶点，10475个顶点具有固定关系，因此不会随着受检者变化而随意变化，结合《放射技术与相关解剖(第6版)》对人体进行解剖位划分，包含头、胸、腹、盆骨及四肢等解剖部位，各解剖位由固定对应的顶点及三角面片构成。根据需要检查的部位，提取SMPLX的相关顶点和三角面片构成对应的解剖位的三维模型。
2、针对检查部位的位置(部位中心点坐标)
根据提取的检查部位三维模型，计算其几何中心(本实施例定义为其重心)三维坐标作为其检查部位的位置(部位中心点坐标)，其具体计算公式如下。
其中，Pc(xc,yc,zc)为中心点三维坐标，Pi(xi,yi,zi)为该解剖位第i点的三维坐标,所有顶点在球管坐标系下，N为构成该解剖位的顶点数量。
3、针对部位的投照位
根据《放射技术与相关解剖(第6版)》对投照位的划分判定，结合机器学习算法计算出其部位的投照位，其具体实现方法如下。
其中为解剖位X的法向量，MLPX为检测解剖位X法向量的计算公式，PX为构成当前解剖位的所有顶点坐标。
指向的方向定义为解剖位的正向投照位。
4、针对部位的范围(检测区域)
以为解剖位的投照正方向，以解剖位的外侧顶点为边界唯一确定其最小外接3D框即为部位的范围(检测区域)，将面向球管的面投影转换到限束器开口处作为限束器的开口大小。投影面四个顶点分别为a(xa,ya,za)、b(xb,yb,zb)、c(xc,yc,zc)、d(xd,yd,zd)，投影到限束器窗口上的四个对应顶点为其中l为限束器平面到球管中心的距离，其具体实现过程如下:
根据获得的解剖位3D模型外接立方体，结合《放射技术与相关解剖(第6版)》对人体基本切面及基本轴的划分，获得人体的基本切面(矢状面、冠状面、水平面)。
5、针对左右侧信息(四肢)
根据SMPL-X的10475个顶点，结合《放射技术与相关解剖(第6版)》对人体进行解剖位划分，判断其左右信息。
6、针对部位的厚度
根据部位的范围(检测区域)、检查部位的位置(部位中心点坐标)、部位的摆位角度以及部位的投照位，计算光束穿过检查部位的厚度。
首先应获得解剖位投照位，以指向的方向判定，并确定X光射入解剖位的面M1(A1x+B1y+C1z+D1＝0)，同时确定X光射出面M2(A2x+B2y+C2z+D2＝0),X射线为球管坐标系的z(0,0,z)轴，由解剖位外接立方体特性可知，计算获得X光射入点与射出点间距离即可获得解剖位厚度，其具体解算如下：
(1)通过面M1上的4个立方体顶点，即可计算得到M1的方程式，同理亦可计算出面M2的方程式；
(2)计算z轴与面M1,M2的交点即为X射线与两平面的交点；
(3)计算解剖位厚度
由入射点三位坐标可得
7、针对面片的法向量
根据构成解剖位的顶点以及顶点构成的三角面片，计算各个面片的法向量其中i表示第i个面片，其由构成面片的三个顶点确定的两个向量差乘获得，具体计算如下
其中，分别为第i面片的1、2点，2、3点构成的向量。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.基于SMPLX重建数字人可量化检测模型的方法，包括SMPLX模型，其特征在于：还包括基于SMPLX模型建立与受检者具有对应关系3D数字人，具体包括如下步骤：
步骤step100，利用相机拍摄获取含受检者的图像输入至YOLO目标检测算法或MaskRCNN分割算法提取受检者的目标框、掩码；
步骤step200，对输入的含受检者的图像直接使用视觉变换器进行自注意力SelfAttention特征信息提取，获得特征信息A；
步骤step300，将步骤step100输出的受检者目标框，掩码，以及步骤step200提取的自注意力Self Attention特征信息作为请求进行交叉注意力Cross Attention，进一步提取特征，获得特征信息B；
步骤step400，将步骤step300得到的特征信息B送入一个全连接网络进行SMPLX模型控制参数的回归，最终输出受检者特定的姿态控制参数θ、形状控制参数β、面部表情参数ψ和相机参数π的估计；
步骤step500，将步骤step400得到SMPLX模型控制参数Θ＝(θ,β,ψ)输入到SMPLX模型，得到3D数字人
其中，Θ为SMPLX模型控制参数，θ为姿态参数，β为形态参数，ψ为表情参数，其中代表3D人体表面网格；
步骤step600，将步骤step500中得到的3D数字人和步骤step400中获得的相机参数π进行3D数字人重投影，得到重投影后的3D关键点重投影的方法如下：
首先将3D人体表面网格输入一个线性回归器，计算出3D关键点：
J3D＝X(θ,β,ψ)
其中X表示通过SMPLX模型控制参数Θ＝(θ,β,ψ)得到的3D人体表面网格回归计算出3D关键点。
若相机已进行标定，则相机的内参矩阵K已经确定，可使用透视相机模型，根据步骤step400估计得到的相机外参数π＝[R|t]，可得：
其中，R表示相机的旋转矩阵，t表示相机的位移向量；
步骤step700，将步骤step600中得到的重投影后的2D关键点与真实的2D关键点标注x进行损失比较，求取L2损失，其中L2代表欧式距离运算；
步骤step800，将步骤step400得到的SMPLX模型控制参数Θ＝(θ,β,ψ)和真实的3D标注参数混合在一起，训练|θ|+|β|+|ψ|+2个判别器Discrimination，分别用于判断输入的每一个控制参数是真实的参数还是生成器Generator估计的参数，并求取判别器损失：
其中，|θ|代表姿态参数的个数，|β|代表形态参数的个数，|ψ|代表表情参数的个数，Di代表第i个判别器函数，E(I)代表生成器函数，代表在生成器生成的控制参数空间求数学期望；
步骤step900，将步骤step500得到的3D数字人与标注参数一起计算3D损失：
获得总损失函数为：
其中，λ为损失的相对权重，Lreproj代表重投影损失，代表3D损失，L为总损失函数，值越大表示准确度越低，值越小表示准确度越高，当L≤L0时则跳出修订过程，当L≥L0时则重复修订过程，L0为系统预设精准度阈值，从而获得3D数字人可量化检测模型。
2.根据权利要求1所述的基于SMPLX重建数字人可量化检测模型的方法，其特征在于：还包括通过外观路径提高检测模型稳定性的步骤，具体包括：将相机拍摄的图像中任一单帧外观替换为加权外观的步骤，所述加权外观通过下述公式获得：
其中，
代表t时刻第i个人的单帧外观，代表t时刻共i个人的加权外观，ΦA是外观聚合函数，α为预测系数，它采用前一个轨迹和新检测的外观表示的加权和；
单帧外观在时间t时刻通过UV图和可见性掩膜合成，具体表示为：
其中，代表单帧外观的UV图，代表可见性掩膜。
3.根据权利要求1所述的基于SMPLX重建数字人可量化检测模型的方法，其特征在于：还包括通过位置路径提高检测模型稳定性的步骤，具体包括：将相机拍摄的含有受检者图像中受检者人像i在时间t+1具有的3D位置替换为根据已有轨迹预测的3D位置的步骤，3D位置通过下式获得：
其中，ΦL是位置聚合函数；以相同的方式预测和ΦL采用最后的w观测值通过最小二乘法拟合直线，并独立回归x、y和n的未来位置；根据线性回归，x在时间步t′的预测区间由以下等式给出：
其中，t(1-α/2)是标准概率论和统计学中的t分布，α为置信度，w-2为自由度，MSE为预测位置的均方误差，为先前观测的时间戳的平均值。
4.根据权利要求1所述的基于SMPLX重建数字人可量化检测模型的方法，其特征在于：还包括通过姿势路径提高检测模型稳定性的步骤，具体包括：通过时间姿势聚合函数ΦP来平滑帧t处的姿势具体地，将受检者的一系列姿势嵌入输入至时间姿势聚合函数ΦP并计算嵌入的时间姿态，获得t处的姿势
5.基于SMPLX重建数字人可量化检测模型，其特征在于：由权利要求1-4任一项所述的一种基于SMPLX重建数字人可量化检测模型的方法获得。
6.基于SMPLX重建数字人可量化检测模型在DR检查中的应用，其特征在于：包括如下步骤：
步骤1-1，获取SMPLX重建数字人可量化检测模型，结合《放射技术与相关解剖(第6版)》得到的解剖位划分先验知识，获得待检测解剖位模型，并根据先验知识获得解剖位左右侧信息；
步骤1-2，计算待检测解剖位中心点；
步骤1-3，根据解剖位模型信息，计算得到解剖位投照信息；
步骤1-4，根据投照信息，获得解剖位最小外接3D bounding-box，并根据投照位信息，计算得到投照范围；
步骤1-5，根据最小外接3D bounding-box及投照位信息，计算获得摆位角度及解剖位基本切面相对于平板探测器的倾角；
步骤1-6，根据最小外接3D bounding-box及投照位信息，计算得到待检测解剖位的厚度信息。
7.基于SMPLX重建数字人可量化检测模型在CT/MRI检查中的应用，其特征在于：包括如下步骤：
步骤2-1，通过算法获取SMPL-X人体3D模型，参考《放射技术与相关解剖(第6版)》得到的解剖位划分先验知识，获得待检测解剖位模型，并根据先验知识获得解剖位左右侧信息；
步骤2-2：计算待检测解剖位中心点；
步骤2-3：根据解剖位模型信息，计算得到解剖位投照信息；
步骤2-4：根据投照信息，获得解剖位最小外接3D bounding-box，并根据投照位信息，计算得到投照范围；
步骤2-5：获得解剖位模型的矢状面、冠状面、水平面；
步骤2-6：根据CT起始点，输出其三位坐标，并投影到待检测解剖位表面，并完成与解剖位矢状面、冠状面、水平面对齐。
8.基于SMPLX重建数字人可量化检测模型在DR重投影中的应用，其特征在于：包括如下步骤：
步骤3-1：根据首次建模的SMPLX重建数字人可量化检测模型的解剖位模型，确定解剖位的中心点坐标、投照范围(检测区域)、投照位、左右侧信息(四肢)、摆位角度；
步骤3-2：指导受检者根据SMPLX重建数字人可量化检测模型的人体3D解剖位模型进行摆位调整，包括中心点对齐、投照位对齐，摆位角度调整；
步骤3-3：根据模型提供的解剖位的顶点法向量和面片法向量、以及受检者当前SMPLX解剖位模型进行微调，包括中心点、投照位、投照范围、摆位角度。
9.基于SMPLX重建数字人可量化检测模型在超声检查中的应用，其特征在于：包括如下步骤：
步骤4-1：根据SMPLX重建数字人可量化检测模型，结合人体先验部位划分知识对人体模型进行划分，按照人体SMPLX重建数字人可量化检测模型顶点为划分原则固定划分；
步骤4-2：求解区域边界：对划分的顶点外边界进行连线操作，获得该部位外边界；
步骤4-3：根据划分得到的区域，获取顶点以及顶点构成的三角面片；
步骤4-4：对区域内所有三角面片求解其对应的法向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310951708.4A CN116958443A (zh) | 2023-07-31 | 2023-07-31 | 基于smplx重建数字人可量化检测模型、方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310951708.4A CN116958443A (zh) | 2023-07-31 | 2023-07-31 | 基于smplx重建数字人可量化检测模型、方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116958443A true CN116958443A (zh) | 2023-10-27 |
Family
ID=88460219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310951708.4A Pending CN116958443A (zh) | 2023-07-31 | 2023-07-31 | 基于smplx重建数字人可量化检测模型、方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958443A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117745978A (zh) * | 2024-02-20 | 2024-03-22 | 四川大学华西医院 | 一种基于人体三维重建算法的仿真质控方法、设备和介质 |
-
2023
- 2023-07-31 CN CN202310951708.4A patent/CN116958443A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117745978A (zh) * | 2024-02-20 | 2024-03-22 | 四川大学华西医院 | 一种基于人体三维重建算法的仿真质控方法、设备和介质 |
| CN117745978B (zh) * | 2024-02-20 | 2024-04-30 | 四川大学华西医院 | 一种基于人体三维重建算法的仿真质控方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10507002B2 (en) | X-ray system and method for standing subject | |
| US10217217B2 (en) | Systems and methods for obtaining 3-D images from X-ray information | |
| US10881353B2 (en) | Machine-guided imaging techniques | |
| CN107403463B (zh) | 在成像系统中具有非刚性部分的人体表示 | |
| CN110956633B (zh) | 一种基于虚拟立体定位像的快速ct扫描方法及系统 | |
| US11257241B2 (en) | System and method for component positioning by registering a 3D patient model to an intra-operative image | |
| US20210012492A1 (en) | Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones | |
| WO2023078309A1 (zh) | 目标特征点提取方法、装置、计算机设备和存储介质 | |
| US20210007806A1 (en) | A method for obtaining 3-d deformity correction for bones | |
| CN110378881B (zh) | 一种基于深度学习的肿瘤定位系统 | |
| Jones | Facial Reconstruction Using Volumetric Data. | |
| JP2015531607A (ja) | ３次元物体を追跡するための方法 | |
| JP2022517769A (ja) | 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム | |
| CN107752979B (zh) | 人工投影的自动生成方法、介质和投影图像确定装置 | |
| CN1864074A (zh) | 通过一个个性化人体模型来确定有关磁共振图像的位置和方向的患者信息 | |
| CN116958443A (zh) | 基于smplx重建数字人可量化检测模型、方法及应用 | |
| CN112154483A (zh) | 一种利用光学体表运动信号合成实时图像的方法及系统 | |
| WO2019180746A1 (en) | A method for obtaining 3-d deformity correction for bones | |
| CN114711962A (zh) | 一种增强现实手术规划导航系统及方法 | |
| CN117745978B (zh) | 一种基于人体三维重建算法的仿真质控方法、设备和介质 | |
| CN113870331B (zh) | 一种基于深度学习的胸部ct与x光实时配准算法 | |
| Chung et al. | Patient-specific bronchoscopy visualization through BRDF estimation and disocclusion correction | |
| US20230117579A1 (en) | User interface for x-ray tube-detector alignment | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| US11020189B2 (en) | System and method for component positioning by registering a 3D patient model to an intra-operative image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |