CN111047713A - 一种基于多目视觉定位的增强现实交互系统 - Google Patents

一种基于多目视觉定位的增强现实交互系统 Download PDF

Info

Publication number
CN111047713A
CN111047713A CN201911391144.3A CN201911391144A CN111047713A CN 111047713 A CN111047713 A CN 111047713A CN 201911391144 A CN201911391144 A CN 201911391144A CN 111047713 A CN111047713 A CN 111047713A
Authority
CN
China
Prior art keywords
camera
dimensional
user
real
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911391144.3A
Other languages
English (en)
Other versions
CN111047713B (zh
Inventor
王守岩
聂英男
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911391144.3A priority Critical patent/CN111047713B/zh
Publication of CN111047713A publication Critical patent/CN111047713A/zh
Application granted granted Critical
Publication of CN111047713B publication Critical patent/CN111047713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于人机交互交互领域，具体为一种基于多目视觉定位的增强现实交互系统。本发明的增强现实交互系统，包括操作平台和三维眼镜，操作平台包括承载平台、相机、嵌入式图像处理系统等；嵌入式图像处理系统包括中央处理器、图形处理器，用于控制系统的运行并对采集到的图像进行实时处理；三维眼镜包括显示屏、摄像头等；摄像头用于采集使用者前方真实场景的图像。操作平台用来对现实物体提供承载和形态位置的识别，三维眼镜用来将虚拟物体与现实环境进行融合显示。通过对多个摄像头采集的图像进行融合可以实现对物体的形态和位置的精确识别，再通过嵌入式图形处理系统将真实物体与虚拟环境进行融合，产生立体视觉实现精细的增强现实交互。

Description

一种基于多目视觉定位的增强现实交互系统
技术领域
本发明属于人机交互技术领域，具体涉及一种基于多目视觉定位的增强现实交互系统。
背景技术
增强现实技术是一种通过对现实世界中的场景和物体进行识别于定位，并实时得将虚拟的三维物体放置于现实场景中。这种技术的目标是将虚拟世界于现实世界融合并进行互动。这种技术1990年提出。增强现实技术提供了一种全新的人机交互方式，在演示、教学、娱乐、训练等领域具有巨大的价值。
增强现实主要依赖于两种关键技术：一是三维模型的实时渲染和显示，二是对现实物体形态和位置的感知。随着计算机图形计算能力的提升和三维渲染算法的发展，目前已经可以实时完成三维模型的渲染和显示。但是，目前的虚拟现实系统多使用深感相机对现实物体进行感知，无法实现对于现实物体形态和位置的精确感知，无法应用于需要较高精度要求的场景，如虚拟手术、虚拟建筑设计等。
发明内容
本发明的目的在于提供一种基于多目视觉定位的增强现实交互系统，通过多个摄像头对现实物体的形态和位置进行精确的识别，实现精细的增强现实交互。
本发明提供的基于多目视觉定位的增强现实交互系统，包括操作平台和三维眼镜；所述操作平台用来对现实物体提供承载和形态位置的识别，所述三维眼镜用来将虚拟物体与现实环境进行融合显示；其中：
所述操作平台，包括承载平台、相机支架、相机、视频采集卡、嵌入式图像处理系统以及电源；其中，承载平台作为整个系统的底座，用于承载系统各部件；相机支架固定在承载平台上，用于固定相机；相机固定在相机支架上，用于图像的采集；视频采集卡与相机相连，用于将相机采集到的图像进行数字编码；嵌入式图像处理系统包括中央处理器、图形处理器和内存，用于控制系统的运行并对采集到的图像进行实时处理；
所述三维眼镜，包括镜架、显示屏、透镜和摄像头；其中，镜架作为三维眼镜的支持载体，用于将三维眼镜固定在使用者头部；显示屏用于呈现图像；透镜用于调整显示视野；摄像头用于采集使用者前方真实场景的图像。
本发明系统通过多个摄像头采集的图像进行融合，可以实现对现实物体的形态和位置的精确识别，再通过嵌入式图形处理系统将真实物体与虚拟环境进行融合，产生立体视觉实现精细的增强现实交互。
附图说明
图1为本发明操作平台结构示意图。
图2为本发明电路系统示意图。
图3为本发明三维眼镜结构示意图。
图中标号：1为操作平台，11为承载平台，12为相机，13为相机支架，21为相机摄像头，22为视频采集卡，23为嵌入式图像处理系统，231为中央处理器，232为内存，233为图形处理器；3为三维眼镜，31为摄像头，32为显示屏，33为透镜，34为镜架。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
图1是根据一示例性实施方式示出的操作平台示意图。操作平台1作为整个系统的支撑平台，用于承载各系统部件以及现实环境中的物体；同时操作平台也作为增强现实中的场景，用于承载虚拟现实中的物体。相机12固定于相机支架13上，相机支架13固定在承载平台11上，使得多个相机12的摄像头21的视角可从多个不同角度覆盖整个承载平台11。在该实施例中，所述的视频采集卡、嵌入式图像处理系统以及电源均固定在承载平台11内部，未在图1中示出。
图2是根据一示例性实施方式示出的电路系统示意图。如图2中所示，视频采集卡22与相机12相连，用于将相机12采集到的图像进行数字编码；嵌入式图像处理系统23包括中央处理器231、图形处理器233和内存232，用于控制系统的运行并对采集到的图像进行实时处理；经嵌入式图像处理系统23处理后生成的虚拟场景通过三维眼镜3中的显示屏32进行显示。
图3是根据一示例性实施方式示出的三维眼镜结构示意图。如图3中所示，三维眼镜3包括镜架34、显示屏32、透镜33和摄像头31；所述的摄像头31位于三维眼镜3前方，用于采集使用者前方的影像；显示屏32显示的图像通过透镜33后进入使用者眼睛；显示屏32显示画面由嵌入式图像处理系统23产生，将虚拟物体与现实场景融合后的三维场景显示到显示屏32上，产生立体视觉。
通过在嵌入式图像处理系统23中预置不同的虚拟环境，本发明可实现不同的交互功能。以下根据一示例性实施方式进行说明，在嵌入式图像处理系统23预置虚拟手术场景可实现虚拟手术的操作。基于该实施方式，使用者佩戴三维眼镜3站立于操作平台1前，手持手术刀进行操作；操作平台1上的多个摄像头21对使用者手臂和手术刀的图像进行采集；嵌入式图像处理系统23对采集到的图像进行融合，构建使用者手臂和手术刀的三维模型；以承载平台11作为坐标系，将虚拟环境中的人体与使用者手臂和手术刀的三维模型进行融合；通过三维眼镜3上的双目摄像头31采集承载平台11的图像，计算得到使用者头部的位置和视线方向；将虚拟场景中的三维模型转化为使用者双眼视角的平面图形并在显示屏32上进行显示；使用者手臂和手术刀的三维模型可以按照设定的规则与虚拟环境中的人体产生作用，完成虚拟手术的操作。

Claims (2)

1.一钟基于多目视觉定位的增强现实交互系统，其特征在于，包括操作平台和三维眼镜；所述操作平台用来对现实物体提供承载和形态位置的识别，所述三维眼镜用来将虚拟物体与现实环境进行融合显示；其中：
所述操作平台，包括承载平台、相机支架、相机、视频采集卡、嵌入式图像处理系统以及电源；其中，承载平台作为整个系统的底座，用于承载系统各部件；相机支架固定在承载平台上，用于固定相机；相机固定在相机支架上，用于图像的采集；视频采集卡与相机相连，用于将相机采集到的图像进行数字编码；嵌入式图像处理系统包括中央处理器、图形处理器和内存，用于控制系统的运行并对采集到的图像进行实时处理；
所述三维眼镜，包括镜架、显示屏、透镜和摄像头；其中，镜架作为三维眼镜的支持载体，用于将三维眼镜固定在使用者头部；显示屏用于呈现图像；透镜用于调整显示视野；摄像头用于采集使用者前方真实场景的图像。
2.根据权利要求1所述的基于多目视觉定位的增强现实交互系统，其特征在于，将嵌入式图像处理系统（23）预置虚拟手术场景，以实现虚拟手术的操作：使用者佩戴三维眼镜（3）站立于操作平台（1）前，手持手术刀进行操作；操作平台（1）上的多个相机摄像头（21）对使用者手臂和手术刀的图像进行采集；嵌入式图像处理系统（23）对采集到的图像进行融合，构建使用者手臂和手术刀的三维模型；以承载平台（11）作为坐标系，将虚拟环境中的人体与使用者手臂和手术刀的三维模型进行融合；通过三维眼镜（3）上的双目摄像头（31）采集承载平台（11）的图像，计算得到使用者头部的位置和视线方向；将虚拟场景中的三维模型转化为使用者双眼视角的平面图形并在显示屏（32）上进行显示；使用者手臂和手术刀的三维模型按照设定的规则与虚拟环境中的人体产生作用，完成虚拟手术的操作。
CN201911391144.3A 2019-12-30 2019-12-30 一种基于多目视觉定位的增强现实交互系统及其操作方法 Active CN111047713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391144.3A CN111047713B (zh) 2019-12-30 2019-12-30 一种基于多目视觉定位的增强现实交互系统及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391144.3A CN111047713B (zh) 2019-12-30 2019-12-30 一种基于多目视觉定位的增强现实交互系统及其操作方法

Publications (2)

Publication Number Publication Date
CN111047713A true CN111047713A (zh) 2020-04-21
CN111047713B CN111047713B (zh) 2023-05-30

Family

ID=70241389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391144.3A Active CN111047713B (zh) 2019-12-30 2019-12-30 一种基于多目视觉定位的增强现实交互系统及其操作方法

Country Status (1)

Country Link
CN (1) CN111047713B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223342A (zh) * 2021-05-11 2021-08-06 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
CN115778544A (zh) * 2022-12-05 2023-03-14 方田医创(成都)科技有限公司 基于混合现实的手术导航精度指示系统、方法和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648077A (zh) * 2016-11-30 2017-05-10 南京航空航天大学 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN106814457A (zh) * 2017-01-20 2017-06-09 杭州青杉奇勋科技有限公司 增强现实眼镜及使用该眼镜进行家居展示的方法
WO2017173735A1 (zh) * 2016-04-07 2017-10-12 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173735A1 (zh) * 2016-04-07 2017-10-12 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法
CN106648077A (zh) * 2016-11-30 2017-05-10 南京航空航天大学 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN106814457A (zh) * 2017-01-20 2017-06-09 杭州青杉奇勋科技有限公司 增强现实眼镜及使用该眼镜进行家居展示的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宇;王涌天;刘越;张钰鹏;: "基于全景成像的增强现实系统", 计算机工程 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223342A (zh) * 2021-05-11 2021-08-06 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
CN115778544A (zh) * 2022-12-05 2023-03-14 方田医创(成都)科技有限公司 基于混合现实的手术导航精度指示系统、方法和存储介质
CN115778544B (zh) * 2022-12-05 2024-02-27 方田医创(成都)科技有限公司 基于混合现实的手术导航精度指示系统、方法和存储介质

Also Published As

Publication number Publication date
CN111047713B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN106066701B (zh) 一种ar和vr数据处理设备与方法
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN114327043A (zh) 信息处理装置、信息处理方法和记录介质
WO2013185714A1 (zh) 增强现实中识别对象的方法及系统和计算机
CN107111365A (zh) 将虚拟空间中呈现的应用与物理显示器进行选择性配对
Levin Real-time target and pose recognition for 3-d graphical overlay
CN104978548A (zh) 一种基于三维主动形状模型的视线估计方法与装置
CN109358754B (zh) 一种混合现实头戴显示系统
CN106598252A (zh) 一种图像显示调节方法、装置、存储介质及电子设备
CN203746012U (zh) 一种三维虚拟场景人机交互立体显示系统
JP2021002301A (ja) 画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置
CN112416125A (zh) Vr头戴式一体机
CA2875261A1 (en) Apparatus and method for a bioptic real time video system
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
CN111047713B (zh) 一种基于多目视觉定位的增强现实交互系统及其操作方法
CN114332429A (zh) 增强现实ar场景的展示方法及装置
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US20190369807A1 (en) Information processing device, information processing method, and program
CN110968182A (zh) 定位追踪方法、装置及其穿戴式设备
CN115359093A (zh) 一种基于单目的注视点估计视线追踪方法
CN111491159A (zh) 一种增强现实的显示系统及方法
CN109426336A (zh) 一种虚拟现实辅助选型设备
US20170300121A1 (en) Input/output device, input/output program, and input/output method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant