CN110503710A - 一种基于现实增强技术的复杂场景康复训练方法 - Google Patents

一种基于现实增强技术的复杂场景康复训练方法 Download PDF

Info

Publication number
CN110503710A
CN110503710A CN201910829975.8A CN201910829975A CN110503710A CN 110503710 A CN110503710 A CN 110503710A CN 201910829975 A CN201910829975 A CN 201910829975A CN 110503710 A CN110503710 A CN 110503710A
Authority
CN
China
Prior art keywords
scene
real
dimensional
model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910829975.8A
Other languages
English (en)
Inventor
丛曰声
周彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guorun Vision Technology Co Ltd
Original Assignee
Beijing Guorun Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guorun Vision Technology Co Ltd filed Critical Beijing Guorun Vision Technology Co Ltd
Priority to CN201910829975.8A priority Critical patent/CN110503710A/zh
Publication of CN110503710A publication Critical patent/CN110503710A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于现实增强技术的复杂场景康复训练方法，包括以下步骤：包括以下步骤：a、构建用于弱视患者辅助训练的模型部件的三维数据库；b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；d、快速估计真实场景的光照条件并进行重建场景的光照分布；e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。本发明面向盲人、低视力、老年视力障碍等不同视力损伤群体，帮助其感知周围环境，可对其进行视力辅助，视力康复训练等，这极大地便利了弱视力群体的生活和康复能力。

Description

一种基于现实增强技术的复杂场景康复训练方法
技术领域
本发明涉及现实增强技术领域，具体地说是一种基于现实增强技术的复杂场景康复训练方法。
背景技术
增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。
三维重建（3D Reconstruction）是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作及分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。
目前，有一些关于应用现实增强技术进行肢体康复训练的报道，但是都存在一些问题，例如，专利文件CN102908772公开的训练系统需依赖辅助标识，且只能进行上肢康复训练；专利文件CN109621311公开的训练方法中不涉及场景重建，且只能进行步态康复训练；专利文件CN109011097公开的训练方法中不涉及场景重建与场景交互，只能进行运动想象。
当前盲人、低视力、老年视力障碍等不同视力损伤的群体生活极为不便，传统的辅助措施并不能有效帮助视力损伤患者准确感知周围环境并进行视力康复训练。然而很少有研究将三维重建与增强现实技术应用于对视力损伤患者的环境感知与视力康复训练，因而研究一种三维重建与增强现实技术有机结合的视力康复训练方法具有重要意义。
发明内容
本发明的目的就是提供一种基于现实增强技术的复杂场景康复训练方法，以解决现有视力障碍人群康复训练难，训练效果不理想的问题。
本发明是这样实现的：一种基于现实增强技术的复杂场景康复训练方法，包括以下步骤：
a、构建用于弱视患者辅助训练的模型部件的三维数据库；
b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；
c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；
d、快速估计真实场景的光照条件并进行重建场景的光照分布；
e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。
步骤a中，结合现实模型部件的特征，利用模型虚拟设计软件，构建模型部件的三维数据库，每个模型部件的三维数据单独导出，并保存为OBJ格式的模型数据，同时添加相对应的知识语义信息。
步骤a中，针对每个三维模型部件，分别对其指定纹理贴图和光照反射模型，然后根据知识语义信息中的指示动作对三维数据库进行分类。
步骤b中，使用基于双目图像的立体视觉算法，首先提取真实场景双目图像的三维特征，然后使用立体匹配算法对双目图像的特征进行匹配，计算并优化视差，从而恢复真实场景的三维几何信息，重建复杂真实场景。
步骤c中，通过ICP算法求解相机的位姿，将当前帧的点与上一帧得到的预测表面的点进行匹配；在建立点的对应关系时，将估计表面上的点投影到上一帧相机的位置，得到图像平面上的坐标对应的预测表面上的点，然后将其线性化，并利用SVD分解的方法计算相机六自由度变换矩阵，从而将模型部件的三维数据叠加到重建场景中。
步骤d中，首先使用离散的平行光源模拟真实场景中的光照分布，然后根据重建场景的三维特征信息，通过朗伯光照模型建立重建场景中对象物体产生阴影的方程组，求解方程组即可估算出每个光源的相位角和强度，从而得到重建场景的光照分布。
步骤e中，利用双目及手持加速度传感器采集并识别患者的运动信息，将辅助训练信息、患者的运动信息与重建场景进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。
本发明的复杂场景实时增强现实技术是一种针对弱视力患者的有效的康复训练方法，其通过双目相机对复杂场景进行实时重建，在真实场景中添加环境指示信息与逼真辅助训练模型，引导患者进行环境感知和康复训练，无需依赖特定场景与辅助标识即可进行多种类型的康复训练任务，不仅节省了大量人力物力，且取得了良好的训练效果。
本发明面向盲人、低视力、老年视力障碍等不同视力损伤群体，帮助其感知周围环境，可对其进行视力辅助，视力康复训练等，这极大地便利了弱视力群体的生活和康复能力。
附图说明
图1 是本发明的总体流程图。
图2 是本发明的应用示意图。
具体实施方式
以下结合附图对本发明作进一步详细描述，本领域技术人员可由本说明书所揭露的内容实现本发明。
如图1所示，本发明的方法包括5个阶段：（1）构建辅助训练模型部件的三维数据库；（2）真实场景有效三维特征的高效提取；（3）辅助训练的三维信息与重建场景图像的实时自适应三维注册；（4）真实场景光照条件的快速高精度估计；（5）辅助训练等信息与重建场景图像的实时绘制与动态融合。其具体过程如下：
步骤（1）中，本发明聘请了专业的设计人士，针对常见视力康复训练交互模型进行了三维模型部件库的构建，最终构建了一个模型部件的3D库。所有的模型部件都是结合现实模型部件的形状特征，利用专业的模型虚拟设计软件，将样板数据转换为三维模型数据。所有的数据转换均在一个标准虚拟模型上进行。然后，将模型的每个部件三维数据单独导出，并保存为OBJ格式的模型数据，并添加相对应的知识语义信息。
其中，针对每个模型部件，需分别计算其三维特征，三维特征包括：高斯曲率特征（GC），形状直径特征（SDF），模型投影特征（SI），形状上下文特征（SC）以及模型主成分特征（PCA）。
针对每个三维模型部件，生成纹理贴图和指定光照反射模型，增加交互模型的真实感，使交互模型能够与真实场景融为一体。之后根据指示动作对模型库进行分类，为后续增强现实场景奠定基础。
步骤（2）中，本发明的获取装置是双目相机，通过双目相机采集真实复杂场景的RGB双目图像数据序列，在此基础上，使用基于双目图像的立体视觉算法，首先提取复杂场景RGB图像的三维特征，然后使用立体匹配算法对双目图像的特征进行匹配，计算并优化视差，从而恢复场景的三维几何信息，高效地重建精确的复杂场景。
立体匹配算法是立体视觉研究中的关键部分，其目标是在两个或多个视点中所采集的图像数据上匹配相应像素点，从而计算视差，对场景的三维几何信息进行三维重建。首先计算双目图像的匹配代价，即计算参考图像与匹配目标图像上各个对应点之间的匹配代价；然后通过求和、求均值等方法对匹配代价进行聚合，从而得到参考图像与匹配目标图像上的累积匹配代价，从而降低异常点的影响，提高信噪比和匹配精度；在聚合的匹配代价中选择累积代价最优的点作为对应匹配点，与之对应的视差即为最终视差；最终使用插值、像素增强、滤波等方法对视差图像进行优化，即可得到最终的双目视差。
步骤（3）中，进行辅助训练三维信息与双目图像的实时自适应三维注册时，注册配准技术是关键技术之一，它所要完成的任务是将虚拟添加的信息实时叠加到所要增强的真实场景中去，做到无缝融合。本发明相机的位姿通过ICP算法求解。将当前帧的点与上一帧得到的预测表面的点进行匹配。在建立点的对应关系时，将估计表面上的点投影到上一帧相机的位置，得到的图像平面上的坐标对应的预测表面上的点就是要找的对应点。由于变换矩阵中的旋转部分是非线性的，所以求解这个目标函数其实是一个非线性最小二乘问题，然后用近似的方法将其线性化，利用SVD分解的方法计算相机六自由度变换矩阵，从而将辅助训练三维信息叠加到复杂重建场景。
步骤（4）中，真实场景光照条件的快速高精度估计，首先使用离散的平行光源模拟场景中的光照分布，根据重建的场景三维特征信息，基于朗伯或其他更复杂的光照模型建立场景中对象物体产生阴影的方程组。由于图像中不同区域所受到的光照条件不同，因此所得到的方程组有解，求解方程组便可估算出每个光源的相位角和强度，快速地得到场景的光照分布。
步骤（5）中，本发明中配备了双目及手持加速度传感器，其能对患者运动信息进行采集并识别，系统识别到用户动作后进行相应的控制，如用户左右运动，上跳下蹲，拾取物品时，需要改变场景的视野角度。当用户和场景内的三维模型发生交互的时候，可以实时将人体动作、人像与三维模型动态结合起来，结合物体本身的属性和场景中的光照进行实时绘制与动态融合。
如图2所示，本发明应用过程为：患者在生活和康复训练中可佩戴本发明的双目头盔，本发明可以对患者所处的复杂环境进行精准的三维重建，计算出各类物体的距离信息，以获取周围环境信息；同时进行场景光照条件的快速高精度估计，通过辅助训练三维信息与双目图像的实时自适应三维注册将辅助训练三维数据库中的各类指示信息、文字信息、交互模型与实景图像叠加后反馈至患者，强化弱视力患者对周围环境的感知能力，使其能够看清周围环境，辅助训练/行走助力等信息与双目图像的实时绘制与动态融合，引导患者与增强现实场景进行实时交互，以刺激弱视力患者的眼部肌肉活动，极大提高了弱视力患者生活与康复能力。
以上具体实施方式仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者同等替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于现实增强技术的复杂场景康复训练方法，其特征是，包括以下步骤：
a、构建用于弱视患者辅助训练的模型部件的三维数据库；
b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；
c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；
d、快速估计真实场景的光照条件并进行重建场景的光照分布；
e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。
2.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤a中，结合现实模型部件的特征，利用模型虚拟设计软件，构建模型部件的三维数据库，每个模型部件的三维数据单独导出，并保存为OBJ格式的模型数据，同时添加相对应的知识语义信息。
3.根据权利要求2所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤a中，针对每个三维模型部件，分别对其指定纹理贴图和光照反射模型，然后根据知识语义信息中的指示动作对三维数据库进行分类。
4.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤b中，使用基于双目图像的立体视觉算法，首先提取真实场景双目图像的三维特征，然后使用立体匹配算法对双目图像的特征进行匹配，计算并优化视差，从而恢复真实场景的三维几何信息，重建复杂真实场景。
5.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤c中，通过ICP算法求解相机的位姿，将当前帧的点与上一帧得到的预测表面的点进行匹配；在建立点的对应关系时，将估计表面上的点投影到上一帧相机的位置，得到图像平面上的坐标对应的预测表面上的点，然后将其线性化，并利用SVD分解的方法计算相机六自由度变换矩阵，从而将模型部件的三维数据叠加到重建场景中。
6.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤d中，首先使用离散的平行光源模拟真实场景中的光照分布，然后根据重建场景的三维特征信息，通过朗伯光照模型建立重建场景中对象物体产生阴影的方程组，求解方程组即可估算出每个光源的相位角和强度，从而得到重建场景的光照分布。
7.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤e中，利用双目及手持加速度传感器采集并识别患者的运动信息，将辅助训练信息、患者的运动信息与重建场景进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。
CN201910829975.8A 2019-09-04 2019-09-04 一种基于现实增强技术的复杂场景康复训练方法 Pending CN110503710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910829975.8A CN110503710A (zh) 2019-09-04 2019-09-04 一种基于现实增强技术的复杂场景康复训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910829975.8A CN110503710A (zh) 2019-09-04 2019-09-04 一种基于现实增强技术的复杂场景康复训练方法

Publications (1)

Publication Number Publication Date
CN110503710A true CN110503710A (zh) 2019-11-26

Family

ID=68591110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910829975.8A Pending CN110503710A (zh) 2019-09-04 2019-09-04 一种基于现实增强技术的复杂场景康复训练方法

Country Status (1)

Country Link
CN (1) CN110503710A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576497A (zh) * 2021-08-30 2021-11-02 清华大学深圳国际研究生院 一种面向双眼竞争的视觉稳态诱发电位检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184342A (zh) * 2011-06-15 2011-09-14 青岛科技大学 一种虚实融合的手功能康复训练系统及方法
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN109828658A (zh) * 2018-12-17 2019-05-31 彭晓东 一种人机共融的远程态势智能感知系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184342A (zh) * 2011-06-15 2011-09-14 青岛科技大学 一种虚实融合的手功能康复训练系统及方法
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN109828658A (zh) * 2018-12-17 2019-05-31 彭晓东 一种人机共融的远程态势智能感知系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈宝权等: "混合现实中的虚实融合与人机智能交融", 《中国科学:信息科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576497A (zh) * 2021-08-30 2021-11-02 清华大学深圳国际研究生院 一种面向双眼竞争的视觉稳态诱发电位检测系统
CN113576497B (zh) * 2021-08-30 2023-09-08 清华大学深圳国际研究生院 一种面向双眼竞争的视觉稳态诱发电位检测系统

Similar Documents

Publication Publication Date Title
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
CN101452582B (zh) 一种实现三维视频特效的方法和装置
CN107067429A (zh) 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法
KR101711736B1 (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN110310319B (zh) 光照分离的单视角人体服装几何细节重建方法及装置
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
WO2020108834A9 (en) System and method for human gait analysis
CN104680582A (zh) 一种面向对象定制的三维人体模型创建方法
CN1648840A (zh) 一种头戴式立体视觉手势识别装置
CN109816784B (zh) 三维重构人体的方法和系统及介质
CN109460150A (zh) 一种虚拟现实人机交互系统及方法
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN110298286A (zh) 基于表面肌电与深度图像的虚拟现实康复训练方法及系统
CN102184342B (zh) 一种虚实融合的手功能康复训练系统及方法
CN114821675B (zh) 对象的处理方法、系统和处理器
Klein et al. A markeless augmented reality tracking for enhancing the user interaction during virtual rehabilitation
CN103679797A (zh) 采用可变形模型的人肢体建模方法及虚拟人模型控制平台
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
CN113703583A (zh) 一种多模态交叉融合的虚拟影像融合系统、方法、装置
CN110503710A (zh) 一种基于现实增强技术的复杂场景康复训练方法
CN106909904A (zh) 一种基于可学习形变场的人脸正面化方法
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
CN104616287A (zh) 一种用于3d图像采集与3d打印的移动终端及方法
KR20130003992A (ko) 3차원 영상 데이터 생성 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination