CN106580472B - 一种基于ar虚拟现实技术的整形手术实时捕捉系统 - Google Patents
一种基于ar虚拟现实技术的整形手术实时捕捉系统 Download PDFInfo
- Publication number
- CN106580472B CN106580472B CN201611141189.1A CN201611141189A CN106580472B CN 106580472 B CN106580472 B CN 106580472B CN 201611141189 A CN201611141189 A CN 201611141189A CN 106580472 B CN106580472 B CN 106580472B
- Authority
- CN
- China
- Prior art keywords
- shaping
- human body
- unit
- image
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 25
- 238000007493 shaping process Methods 0.000 claims abstract description 91
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 210000000056 organ Anatomy 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 210000000746 body region Anatomy 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000002407 reforming Methods 0.000 claims description 6
- 235000019640 taste Nutrition 0.000 claims description 6
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000002316 cosmetic surgery Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 claims 1
- 230000008859 change Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于AR虚拟现实技术的整形手术实时捕捉系统，包括：图像采集单元,采集人体需要进行整形部位的图像信息；AR呈现单元，接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像，数据分析单元与AR呈现单元实时数据通信，工作状态下：当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像；该系统还包括与AR呈现单元进行实时数据通信的终端单元，AR呈现单元将用户选择的整形模型以及该整形调整下用户的人体具体外部图像实时传送至终端单元。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种基于AR虚拟现实技术的整形手术实时捕捉系统。
背景技术
AR即增强现实是一种通过计算摄影机摄像的位置以及角度再结合相应的图像处理技术，这种技术的目的是在计算机屏幕上把虚拟世界在现实世界中进行互动和呈现。通常情况下技术人员是将显示器屏幕扩展到真实环境中，使计算机窗口与图标叠映于现实对象，由用户的眼睛、手势来指点进行操作让三维物体在用户的全景视野中根据当前任务或者需要交互的改变其形状和外观，对于现实目标通过叠加虚拟景象产生透视的增强效果。例如我们可以将地图信息直接插入到现实景观来引导驾驶员进行行车驾驶，用户可以通过虚拟现实技术来观看景观信息等等。
目前人体整形手术得到广大用户的关注和讨论的话题,很多人采用整形手术来调整自己的面部特征或者身体的其他部位特征从而使自己的五官更加完美,使自己的身心更加愉悦。但是现有技术中医生都是采用直接在人体上进行整形手术的方式,没有在手术前给出用户一个更明确的手术后图像信息,这样造成很多整形手术存在失败或者是用户不满意的现象。
发明内容
根据现有技术存在的问题，本发明公开了一种基于AR虚拟现实技术的整形手术实时捕捉系统，包括
图像采集单元,采集人体需要进行整形部位的图像信息；
AR呈现单元，接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像，所述AR呈现单元读取该人体部位的特征点信息将不同的整形模型投射、叠加到该部位进行虚拟现实展示，同时通过摄像头捕捉人体的影像信息,该人体部位的3D影像将以360度形式在患者的身体上显示；
数据分析单元，与所述AR呈现单元实时数据通信，工作状态下：当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像；
整形体验单元，接收所述数据分析单元传送的数据信息根据上述选择的整形模型以及人体需要整形的部位进行整形体验，所述整形体验单元调取其内部存储的整形工具以及该整形过程中具体细节制作出整体整形流程并生成整形视频；
首先将每个动作图像进行颜色空间转换，再采用MeanShift算法通过迭代寻优方式，找到概率分布的极值来定位每一个动作过程，将视频图像的所有帧做MeanShift运算，搜索到每一个步骤的中心位置；
该系统还包括与AR呈现单元进行实时数据通信的终端单元，所述AR呈现单元将用户选择的整形模型以及该整形调整下用户的人体具体外部图像实时传送至终端单元。
所述AR呈现单元包括存储有与人体的多个器官进行配套的整形模型的存储模块和映射模块，在AR呈现单元为人体的器官进行整形展现时，所述映射模块实时对人体的实际器官的边缘部位与模型的边缘部位进行无缝对接。
所述数据分析单元包括存储有基于人体美学技术的人体各个面部器官和人体多个器官协调比例信息的数据模块和分析建议模块，所述分析建议模块结合人体美学技术对整形后的人体表情进行数据化分析和美感建议。
所述整形体验单元包括存储有各个整形过程中使用的工具信息的元素存储单元，所述元素存储单元内存储有各个工具的使用说明和与之匹配的手术类型以及该工具的操作手法，所述整形体验单元还包括视频体验生成单元，所述视频体验生成单元根据选择的整形工具和整形部位生成整形视频；
观看中用户可以调取每一整形步骤进行慢镜头播放读取元素存储单元内具体的整形手法和用力程度。
由于采用了上述技术方案，本发明提供的一种基于AR虚拟现实技术的整形手术实时捕捉系统，通过图像采集单位来采集人体需要整形的实际的图像信息，通过AR呈现单元进行整形匹配虚拟现实的图像显示，通过数据分析单元对整形结果进行理论分析和美感评价，这样用户可以根据虚拟现实相结合技术对整形后的情况进行详细的了解和观察，从而判定以及选择采用哪种方案进行整形手术。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统的结构示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种基于AR虚拟现实技术的整形手术实时捕捉系统，包括
图像采集单元,采集人体需要进行整形部位的图像信息；
AR呈现单元，接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像，所述AR呈现单元读取该人体部位的特征点信息将不同的整形模型投射、叠加到该部位进行虚拟现实展示，同时通过摄像头捕捉人体的影像信息,该人体部位的3D影像将以360度形式在患者的身体上显示；
数据分析单元，与所述AR呈现单元实时数据通信，工作状态下：当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像；
整形体验单元，接收所述数据分析单元传送的数据信息根据上述选择的整形模型以及人体需要整形的部位进行整形体验，所述整形体验单元调取其内部存储的整形工具以及该整形过程中具体细节制作出整体整形流程并生成整形视频；
首先将每个动作图像进行颜色空间转换，再采用MeanShift算法通过迭代寻优方式，找到概率分布的极值来定位每一个动作过程，将视频图像的所有帧做MeanShift运算，搜索到每一个步骤的中心位置。通过对每一个步骤进行中心定位方便我们对每一个详细的步骤进行具体分析和观察，进行详细的动作捕捉。
该系统还包括与AR呈现单元进行实时数据通信的终端单元，所述AR呈现单元将用户选择的整形模型以及该整形调整下用户的人体具体外部图像实时传送至终端单元。通过终端单元我们可以将整形后的形象进行远程传输，传送给其他的朋友或者服务终端进行分析和美感体验。
所述AR呈现单元包括存储有与人体的多个器官进行配套的整形模型的存储模块和映射模块，在AR呈现单元为人体的器官进行整形展现时，所述映射模块实时对人体的实际器官的边缘部位与模型的边缘部位进行无缝对接。采用无缝对接技术这样可以得到更加真实的图像信息，并且医护人员观看到对接方式可以帮助医护人员更好的进行整形手术，增加整形手术的成功性和完美性。
进一步的，所述数据分析单元包括存储有基于人体美学技术的人体各个面部器官和人体多个器官协调比例信息的数据模块和分析建议模块，所述分析建议模块结合人体美学技术对整形后的人体表情进行数据化分析和美感建议。通过数据模块我们可以调取其内部存储的人体美学的相关知识，例如用户选取了一种类型的整形手术但是不知道自己选取是否合格或者自己选取的是否美观然后我们可以调取分析建议模块让其对我们的整形后的图像进行分析给出合理性的分析报告，供医护人员和整形患者使用。
所述整形体验单元包括存储有各个整形过程中使用的工具信息的元素存储单元，所述元素存储单元内存储有各个工具的使用说明和与之匹配的手术类型以及该工具的操作手法，所述整形体验单元还包括视频体验生成单元，所述视频体验生成单元根据选择的整形工具和整形部位生成整形视频；
观看中用户可以调取每一整形步骤进行慢镜头播放读取元素存储单元内具体的整形手法和用力程度。医护人员可以根据整形体验单元随时调取该手术的具体过程以及每一个详细的手术步骤具体包括例如手术刀的使用过程，具体如何进行切割和缝合过程等等都有详细的讲解和说明，并且可以调取视频进行详细的观看，供医护人员使用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于AR虚拟现实技术的整形手术实时捕捉系统，其特征在于包括：
图像采集单元,采集人体需要进行整形部位的图像信息；
AR呈现单元，接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像，所述AR呈现单元读取该人体部位的特征点信息将不同的整形模型投射、叠加到该部位进行虚拟现实展示，同时通过摄像头捕捉人体的影像信息,该人体部位的3D影像将以360度形式在患者的身体上显示；
数据分析单元，与所述AR呈现单元实时数据通信，工作状态下：当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像；
整形体验单元，接收所述数据分析单元传送的数据信息根据数据分析单元选择的整形模型以及人体需要整形的部位进行整形体验，所述整形体验单元调取其内部存储的整形工具以及该整形过程中具体细节制作出整体整形流程并生成整形视频；工作状态下：整形体验单元采用CamShift算法对整形手术过程中的步骤进行跟踪处理；
首先将每个动作图像进行颜色空间转换，再采用MeanShift算法通过迭代寻优方式，找到概率分布的极值来定位每一个动作过程，将视频图像的所有帧做MeanShift运算，搜索到每一个步骤的中心位置；
该系统还包括与AR呈现单元进行实时数据通信的终端单元，所述AR呈现单元将用户选择的整形模型以及整形调整下用户的人体具体外部图像实时传送至终端单元。
2.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统，其特征在还于：所述AR呈现单元包括存储有与人体的多个器官进行配套的整形模型的存储模块和映射模块，在AR呈现单元为人体的器官进行整形展现时，所述映射模块实时对人体的实际器官的边缘部位与模型的边缘部位进行无缝对接。
3.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统，其特征在还于：所述数据分析单元包括存储有基于人体美学技术的人体各个面部器官和人体多个器官协调比例信息的数据模块和分析建议模块，所述分析建议模块结合人体美学技术对整形后的人体表情进行数据化分析和美感建议。
4.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统，其特征在还于：所述整形体验单元包括存储有各个整形过程中使用的工具信息的元素存储单元，所述元素存储单元内存储有各个工具的使用说明和与之匹配的手术类型以及该工具的操作手法，所述整形体验单元还包括视频体验生成单元，所述视频体验生成单元根据选择的整形工具和整形部位生成整形视频；
观看中用户可以调取每一整形步骤进行慢镜头播放读取元素存储单元内具体的整形手法和用力程度。
5.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统，其特征在还于：采用MeanShift算法具体流程为：a、对该步骤进行初始化搜索，b、根据颜色直方图进行反向投影，获取搜索框的颜色概率分布；c、使用MeanShift算法，更新搜索框的中心位置和大小，对下一帧图像序列使用上一帧的搜索框位置和大小进行处理；d、重复步骤b和c，从而定位出每一个动作图像的中心位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611141189.1A CN106580472B (zh) | 2016-12-12 | 2016-12-12 | 一种基于ar虚拟现实技术的整形手术实时捕捉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611141189.1A CN106580472B (zh) | 2016-12-12 | 2016-12-12 | 一种基于ar虚拟现实技术的整形手术实时捕捉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106580472A CN106580472A (zh) | 2017-04-26 |
| CN106580472B true CN106580472B (zh) | 2019-03-26 |
Family
ID=58598860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611141189.1A Expired - Fee Related CN106580472B (zh) | 2016-12-12 | 2016-12-12 | 一种基于ar虚拟现实技术的整形手术实时捕捉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106580472B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107693117B (zh) * | 2017-09-29 | 2020-06-12 | 苏州蓝软智能医疗科技有限公司 | 辅助手术系统及3d模型与手术患者自动重合匹配的方法 |
| WO2019207170A1 (en) * | 2018-04-27 | 2019-10-31 | Crisalix Sa | Medical platform |
| CN108766504B (zh) * | 2018-06-15 | 2021-10-22 | 上海理工大学 | 一种手术导航系统的人因评价方法 |
| CN113349927B (zh) * | 2021-05-19 | 2022-11-22 | 上海交通大学 | 面部自体脂肪移植手术导航系统及虚拟刻度提示方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050048438A (ko) * | 2003-11-19 | 2005-05-24 | 주식회사 휴민텍 | 3차원 정형외과 가이드 방법 |
| US7424139B1 (en) * | 2004-11-01 | 2008-09-09 | Novaplus Systems, Incorporated | Virtual cosmetic and reconstructive systems, methods, and apparatuses |
| GB201302194D0 (en) * | 2013-02-07 | 2013-03-27 | Crisalix Sa | 3D platform for aesthetic simulation |
| WO2017008226A1 (zh) * | 2015-07-13 | 2017-01-19 | 深圳大学 | 一种三维人脸重建方法及系统 |
-
2016
- 2016-12-12 CN CN201611141189.1A patent/CN106580472B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN106580472A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10527846B2 (en) | Image processing for head mounted display devices | |
| CN112150638B (zh) | 虚拟对象形象合成方法、装置、电子设备和存储介质 | |
| JP6364022B2 (ja) | 多重現実環境における役割切り替えのためのシステムおよび方法 | |
| CN110363133B (zh) | 一种视线检测和视频处理的方法、装置、设备和存储介质 | |
| US8648924B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus | |
| US8860847B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image | |
| CN106580472B (zh) | 一种基于ar虚拟现实技术的整形手术实时捕捉系统 | |
| JP2017525052A (ja) | 表示のためにキャプチャ画像の視野を調整する技術 | |
| CN109671141B (zh) | 图像的渲染方法和装置、存储介质、电子装置 | |
| TW200844901A (en) | Banana codec | |
| WO2021143282A1 (zh) | 三维人脸模型生成方法、装置、计算机设备及存储介质 | |
| US9235320B2 (en) | Phantom image data bank (3D) | |
| CN114219878A (zh) | 虚拟角色的动画生成方法及装置、存储介质、终端 | |
| CN102668556A (zh) | 医疗支援装置，医疗支援方法以及医疗支援系统 | |
| CN106980383A (zh) | 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统 | |
| US12213750B2 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment | |
| CN106774879B (zh) | 一种基于ar虚拟现实技术的整形手术体验系统 | |
| CN111602391B (zh) | 用于根据物理环境定制合成现实体验的方法和设备 | |
| US12186022B2 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery | |
| Dewitz et al. | Real-time 3D scans of cardiac surgery using a single optical-see-through head-mounted display in a mobile setup | |
| KR102082290B1 (ko) | 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템 | |
| JP2008287588A (ja) | 画像処理装置および方法 | |
| CN106780760A (zh) | 一种基于ar虚拟现实技术的整形手术观摩系统 | |
| CN110211238A (zh) | 混合现实的显示方法、装置、系统、存储介质及处理器 | |
| Chen et al. | 3D Real-time Face Acupoints Recognition System Based on HoloLens 2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 116023 No. 11, B block, 32 Torch Road, Dalian high tech Industrial Park, Liaoning, China. Applicant after: KUAICHUANG TECHNOLOGY (DALIAN) CO.,LTD. Address before: 116000 Pioneer Building B 1101, No. 32 Torch Road, Dalian High-tech Zone, Liaoning Province Applicant before: DALIAN VINCENT SOFTWARE TECH. Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190326 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |