CN105955456B - 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 - Google Patents
虚拟现实与增强现实融合的方法、装置及智能穿戴设备 Download PDFInfo
- Publication number
- CN105955456B CN105955456B CN201610239142.2A CN201610239142A CN105955456B CN 105955456 B CN105955456 B CN 105955456B CN 201610239142 A CN201610239142 A CN 201610239142A CN 105955456 B CN105955456 B CN 105955456B
- Authority
- CN
- China
- Prior art keywords
- scene
- fusion
- information
- camera
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 80
- 230000009977 dual effect Effects 0.000 claims abstract description 66
- 238000004088 simulation Methods 0.000 claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 24
- 238000003786 synthesis reaction Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 13
- 230000004438 eyesight Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 230000003993 interaction Effects 0.000 abstract description 6
- 210000001508 eye Anatomy 0.000 description 78
- 230000006870 function Effects 0.000 description 15
- 210000003128 head Anatomy 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Abstract
本发明公开一种虚拟现实与增强现实融合的方法、装置及智能穿戴设备。该方法包括：获取模拟人眼的双摄像头采集的真实场景信息；根据虚拟现实场景信息与所述真实场景信息，生成融合场景；呈现所述融合场景。本发明实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种虚拟现实与增强现实融合的方法、装置及智能穿戴设备。
背景技术
虚拟现实(Virtual Reality,以下简称VR)技术是主要通过综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。
增强现实(Augmented Reality,以下简称AR)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。
现有技术中的一种头盔显示器，比如，类似Oculus的产品，能够让用户体验VR效果，像google眼镜类似的产品能够让用户体验AR效果。
发明人在实现本发明实施例的过程中发现:现有的VR头盔能够观看虚拟的场景、人物等，但这些虚拟的场景人物都是预先设计好的，或者是按照特定算法渲染而成的，并没有结合用户使用VR头盔时的场景，缺少与现实环境的互动。而现有的AR眼镜能够看到用户眼前的真实环境，并能够分析图像，给出一些提示信息，但不能体验逼真的虚拟场景带来的愉悦，也即AR很难做好虚拟真实的结合。
发明内容
本发明目的旨在提供一种虚拟现实与增强现实融合的方法、装置及其智能穿戴设备，以实现在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，能够增进人机交互、提升用户体验。
为解决上述技术问题，本发明实施例提供以下技术方案：
在第一方面，本发明实施例提供一种虚拟现实与增强现实融合的方法，包括：
获取模拟人眼的双摄像头采集的真实场景信息；
根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
呈现所述融合场景。
可选地，所述方法，还包括：
根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
根据所述虚拟现实场景信息，生成虚拟现实场景；
接收场景呈现切换指令；
根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
可选地，所述呈现切换指令包括：
按键切换指令、手势切换指令或距离感应切换指令。
可选地，所述获取模拟人眼的双摄像头采集的真实场景信息，具体包括：
追踪人眼的视线变化；
根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致；
获取所述双摄像头按照调整后的方向实时采集的真实场景信息。
可选地，所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左视图及右摄像头拍摄的右视图，所述虚拟场景信息包括虚拟场景左视图及右视图，所述根据虚拟现实场景信息与所述真实场景信息，生成融合场景，具体包括：
将所述左摄像头拍摄的左视图与虚拟场景的左视图叠加，合成融合场景左视图；
将所述右摄像头拍摄的右视图与虚拟场景的右视图叠加，合成融合场景右视图；
根据所述融合场景左视图及右视图，生成融合场景。
在第二方面，本发明实施例还提供一种虚拟现实与增强现实融合的装置，包括：
真实场景信息获取单元，用于获取模拟人眼的双摄像头采集的真实场景信息；
融合场景生成单元，用于根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
融合场景呈现单元，用于呈现所述融合场景。
可选地，所述装置，还包括：
增强现实场景生成单元，用于根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
虚拟现实场景生成单元，用于根据所述虚拟现实场景信息，生成虚拟现实场景；
接收单元，用于接收场景呈现切换指令；
切换单元，用于根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
可选地，所述场景呈现切换指令包括：
按键切换指令、手势切换指令或距离感应切换指令。
可选地，所述真实场景信息获取单元，具体包括：
眼部视线追踪模块，用于追踪人眼的视线变化，
摄像头方向控制模块，用于根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致；
真实场景信息采集模块，用于获取所述双摄像头按照调整后的方向实时采集真实的场景信息。
可选地，所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图，所述虚拟场景信息包括虚拟场景左视图及右视图，所述融合场景生成单元，具体包括：
融合场景左图合成模块，用于将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
融合场景右图合成模块，用于将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
融合场景合成模块，用于根据所述融合场景左图及右图，生成融合场景。
在第三方面，本发明实施例还提供了一种智能穿戴设备，包括：
双摄像头，用于模拟人眼采集真实场景信息，
中央处理器，与所述双摄像头相连接，用于获取所述双摄像头所采集的真实场景信息，并根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
显示器，与所述中央处理器相连接，用于呈现所述融合场景。
可选地，所述中央处理器还用于：根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；根据所述虚拟现实场景信息，生成虚拟现实场景；接收场景呈现切换指令，并根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
可选地，所述智能穿戴设备，还包括：
切换按键，用于接收按键操作，生成按键切换指令。
可选地，所述智能穿戴设备，还包括：
传感器，用于感应手势操作，生成手势切换指令；或者用于感应距离，生成距离感应切换指令。
可选地，所述智能穿戴设备，还包括：
眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景信息。
可选地，所述智能穿戴设备包括：智能眼镜或头盔。
在本发明实施例中，通过获取模拟人眼的双摄像头采集的真实场景信息，根据虚拟现实场景信息与所述真实场景信息，生成融合场景，呈现所述融合场景，实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。
附图说明
图1是本发明实施例一提供的一种虚拟现实模式切换方法的流程图；
图2是本发明实施例一提供的设置于智能终端上的距离传感器检测虚拟现实设备的示意图；
图3是本发明实施例二提供的一种虚拟现实模式切换装置的示意图；
图4是本发明实施例提供的一种智能穿戴设备的示意图；
图5是本发明实施例提供的一种智能眼镜的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了便于理解本发明实施例，在开始描述本发明各个实施例前，对本发明所有实施例中涉及的一些术语进行解释。
在本发明实施例中，真实场景信息包括由模拟人眼的双摄像头实时拍摄的周围环境信息，比如，左右两个摄像头分别按照用户左右眼的视线方向实时拍摄真实场景的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图，其中，左图模拟了用户左眼看到的内容，右图模拟了用户右眼看到的内容。虚拟现实场景信息包括虚拟现实模型的图像信息，比如，虚拟现实场景模型的左视图及右视图。
在本发明实施例中，增强现实场景是指利用增强现实技术将真实场景信息进行呈现的场景，虚拟现实场景是指利用虚拟现实技术将虚拟现实场景信息进行呈现的场景。
在本发明实施例中，智能穿戴设备可以包括具备AR及VR功能的头戴式智能设备，比如，智能眼镜或头盔。
下面结合具体实施例，对本发明实施例作进一步阐述。
实施例一
图1是本发明实施例一提供的一种虚拟现实与增强现实融合的方法流程图。如图1所示，该方法包括以下步骤：
S11、获取模拟人眼的双摄像头采集的真实场景信息。
在本发明实施例中，可以在智能穿戴设备，比如，VR头盔上设置双摄像头，模拟人眼实时采集真实场景信息，其中，双摄像头包括左摄像头及右摄像头，左摄像头模拟左眼，右摄像头模拟右眼。所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图。
在本发明实施例中，获取模拟人眼的双摄像头采集的真实场景信息，具体包括：追踪人眼的视线变化，根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致，获取所述双摄像头按照调整后的方向实时采集的真实场景信息。为了实现双摄像头模拟人眼拍摄真实场景信息，需要摄像头按照人眼视线方向，采集真实场景信息。为了获取人眼的视线变化，在VR头盔内部可以安装眼部视线追踪模块，以追踪视线变化。为了让两个摄像头能够更好的模拟双眼看到的场景，智能穿戴设备例如VR头盔内部的处理器需要根据双眼视线变化参数来分别调节左右两个摄像头的观看角度。双摄像头画面的实时获取并分别呈现给左右眼，此时能够复现人眼的观看效果。具体的，可以利用现有技术中的眼球跟踪技术，例如根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、主动投射红外线等光束到虹膜来提取特征进行跟踪来确定人眼的视线变化等。当然，本发明实施例不限于此，在本发明的技术构思下，本领域技术人员可以利用任意可行的技术追踪人眼的视线变化进而调整模拟人眼的左右眼摄像头的采集方向，实时采集真实场景信息。
S13、根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
在本发明的一个实施例中，所述根据虚拟现实场景信息与所述真实场景信息，生成融合场景，可具体包括：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景。
具体而言，将虚拟场景信息与真实场景信息叠加，比如，将虚拟模型信息叠加至真实场景时，需要左右两个摄像头提供真实场景实时的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图。左图模拟了左眼看到的内容，右图模拟了右眼看到的内容。左右摄像头提供实时的图像序列，这些图像序列可以通过多种方法获取，一种方法是使用摄像头厂商提供的SDK(Software Development Kit)进行图像获取，另一种方法是使用一些常用的开源工具从摄像头中读取图像，如Opencv。为了得到真实场景的层次关系，可以计算视差后，用视差的层次关系表示场景的层次关系。计算左右图之间的视差，可以使用BM、图割、ADCensus等任意一种视差计算方法进行计算。有了视差就得知了场景层次信息，场景的层次信息也称为场景的景深信息，景深信息可以用来指导虚拟模型与真实场景的融合，让虚拟模型更加合理放到真实场景中。具体方法为，虚拟模型在左右图的最小视差要比虚拟模型在左右图的覆盖区域的最大视差大，并且使用视差之前需要对视差信息进行中值平滑。在左图和右图中分别加入虚拟模型，设虚拟模型在左右图中的最小视差为d，d需要大于虚拟模型覆盖区域的最大视差。将虚拟模型对应的左视图叠加到左图中，将虚拟模型对应的右视图叠加到右图中，就可以生成融合场景。
S15、呈现所述融合场景。
在本发明实施例中，将叠加有虚拟模型左视图的左图，以及叠加有虚拟模型右视图的右图进行合成后一起送入显示器，分别在显示器的左半部分和右半部分显示，即可呈现所述融合场景，这样，用户分别通过左右眼观看，此时就能够体验真实场景与虚拟模型的良好融合。
在本发明实施例中，除了实现真实场景信息与虚拟场景信息融合，生成融合场景外，还可以根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景，或者，根据所述虚拟现实场景信息，生成虚拟现实场景，在本发明实施例中，生成增强现实场景或虚拟现实场景，即AR功能或VR功能，本领域技术人员结合本发明实施例，可以实现，此处不再赘述。
在本发明实施例中，当智能穿戴设备具备AR功能、VR功能以及融合AR及VR功能时，可以通过场景呈现切换指令实现三者之间的切换，具体的切换指令可以包括：按键切换指令、手势切换指令或距离感应切换指令。
在本发明实施例中，VR、AR、VR和AR兼容三种模式可以根据需求进行切换。切换时最直接的方法是通过智能穿戴设备外部的按钮进行切换，即在头盔的某个位置设置按钮，在用户点击按钮时，进行模式的切换。可以利用多个按钮，也可以利用一个按钮。利用一个按钮进行模式切换时，例如，如果当前是VR模式，按一下按钮则切换到AR模式；如果当前是AR模式，按一下按钮则切换到VR和AR兼容模式；如果当前是VR和AR兼容模式，按一下按钮则切换到VR模式。
此外，也可以使用手势识别的方法进行模式切换。而在配置了相应的功能模块后，语言、肢体动作都可以进行模式之间的切换。
此外，可以在某种条件下触发模式切换，例如根据距离感应进行模式切换，假设用户在VR模式下佩戴头盔行走时，前方一定距离内存在障碍物时，即感应到与障碍物之间的距离小于预设阈值，亦即相当于接收到距离感应切换指令，可以进行模式转换，将VR模式切换到VR和AR兼容模式，或者AR模式。
在本发明实施例中，通过获取模拟人眼的双摄像头采集的真实场景信息，根据虚拟现实场景信息与所述真实场景信息，生成融合场景，呈现所述融合场景，实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。而且，由于真实场景和虚拟内容的良好融合，用户能够体验更加逼真的虚拟与现实的结合，很好的解决了AR很难做好虚拟真实的结合问题，以及VR设备不兼容AR应用的问题。
在本发明实施例中，还可以通过切换指令分别实现AR及VR应用，当该设备开启VR模式后，该设备就像普通VR设备一样，可以观看虚拟的场景及模型，并可以通过头部运动进行交互控制。当该设备开启AR模式后，该设备则开启双摄像头，实时显示图像给用户，同时对摄像头提供的图像进行目标检测，检测得到目标的相关信息，例如类别、介绍等等，之后将该目标对应的相关信息显示出来。
为进一步理解本发明方法实施例，下面结合具体的辅助装修设计应用实例，对本发明方法作进一步阐述。
辅助家具设计整体流程为：获取眼部转动参数、用左眼的转动参数控制左摄像头运动，用右眼的转动参数控制右摄像头的运动、分别获取左右两个摄像头的图像序列、计算左右图视差、根据视差将虚拟模型加入场景、显示，流程图如图2所示，下面对上述流程作进一步的阐述如下：
眼部运动参数的获取有着重要作用，眼部运动参数获取的速度直接影响用户体验，主要表现为用户眼睛移动了但是观看内容却有较大延时。眼部运动参数获取速度越快，用户眼睛移动后观看内容的延迟越小，将虚拟物体与真实场景结合后，用户感觉越真实。眼部运动参数的获取可以采用市面上成熟的眼球追踪模块，也可以通过Adaboost进行人眼检测，之后可以通过卡尔曼算法进行跟踪后得到转动角度θx、θy，θx表示瞳孔沿着眼角线水平方向的移动，θy表示沿着眼角线垂直上下的方向移动。通过左眼的θx、θy控制左摄像头的转动，通过右眼的θx、θy控制右摄像头的转动。摄像头转动模块与市面上常见可转动摄像头相似，不同的是需要定制体积更小、更加灵活的模块。摄像头转动模块主要是接收眼部参数θx、θy，并根据这两个参数控制摄像头转动，让摄像头“看”的方向是眼睛看的方向，达到摄像头获取的图像接近眼睛希望看到的内容。将虚拟物体叠加到真实场景时，左右两个摄像头提供场景实时的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图。左图模拟了左眼看到的内容，右图模拟了右眼看到的内容。左右摄像头提供实时的图像序列，这些图像序列可以通过多种方法获取，一种方法是使用摄像头厂商提供的sdk进行图像获取，另一种方法是使用一些常用的开源工具从摄像头中读取图像，如opencv。为了得到场景的层次关系，可以计算视差后，用视差的层次关系表示场景的层次关系。计算左右图之间的视差，可以使用BM、图割、ADCensus等任意一种视差计算方法进行计算。有了视差就得知了场景层次信息，场景的层次信息也称为场景的景深信息，景深信息可以用来指导模型与场景的融合，让模型更加合理放到场景中。具体方法为，模型在左右图的最小视差要比模型覆盖区域的最大视差大，使用视差之前经常对视差信息进行中值平滑。在左图和右图中分别加入模型，设模型左右图中的最小视差为d，d需要大于模型覆盖区域的最大视差。将模型对应的左视图叠加到左图中，将模型对应的右视图叠加到右图中，之后将合成后的左右图一起送入显示器，分别在显示器的左半部分和右半部分显示，让用户分别通过左右眼观看，此时，用户能够体验真实场景与虚拟模型的良好融合。
在装修设计中，用户头戴本发明实施例的VR头盔，头盔上左摄像头的图像给了左眼，右摄像头的图像给了右眼，此时用户就感觉像没带头盔一样，能够直接观看室内结构。由于VR头盔透镜的作用，使得用户看到的室内结构更加宽阔。随着头部运动，头盔也在运动，头盔保持与头的位置关系不变，不影响用户通过摄像头看室内结构，摄像头就像眼睛一样，随着头部和头盔的运动而运动。用户眼睛的转动，也会带动摄像头方向的转动，让摄像头的转动尽量保持与眼睛同步，处理器、控制结构的性能越好，实时性越好。当用户看到房子结构后，通过在左图和右图分别加入模型的左视图和右视图，之后显示，此时用户看到了家具模型摆放到室内的样子。VR头盔的辅助设计能够让用户更直观的看到装修效果，能够设计出心仪的样子。通过头盔的按钮甚至可以拖动家具的摆放位置。装修设计实例中可以提供沙发、床、衣柜、餐桌、椅子、电视柜、空调等常用的室内物品模型，模型可以通过3DMax制作，也可以通过Maya制作。
实施例二
图3是本发明实施例二提供的一种虚拟现实与增强现实融合的装置示意图。如图3所示，该装置包括：
真实场景信息获取单元31，用于获取模拟人眼的双摄像头采集的真实场景信息；
融合场景生成单元32，用于根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
融合场景呈现单元33，用于呈现所述融合场景。
在本发明实施例中，为了分别实现VR及AR功能，所述装置还包括：
增强现实场景生成单元34，用于根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
虚拟现实场景生成单元35，用于根据所述虚拟现实场景信息，生成虚拟现实场景。
在本发明实施例中，为了实现VR、AR以及融合AR及VR功能之间的切换，所述装置还包括：
接收单元36，用于接收场景呈现切换指令；
切换单元37，用于根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
在本发明实施例中，所述真实场景信息获取单元31，具体包括：
眼部视线追踪模块311，用于追踪人眼的视线变化，
摄像头方向控制模块312，用于根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致，
真实场景信息采集模块313，用于获取所述双摄像头按照调整后的方向实时采集的真实场景信息。
在本发明实施例中，所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图，所述虚拟场景信息包括虚拟场景左视图及右视图，所述融合场景生成单元32，具体包括：
融合场景左图合成模块321，用于将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
融合场景右图合成模块322，用于将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
融合场景合成模块323，用于根据所述融合场景左图及右图，生成融合场景。
由于本发明装置实施例与本发明方法实施例基于相同的发明构思，方法实施例中描述的技术内容同样适用于本发明装置实施例，此处不再赘述。
在本发明实施例中，通过获取模拟人眼的双摄像头采集的真实场景信息，根据虚拟现实场景信息与所述真实场景信息，生成融合场景，呈现所述融合场景，实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。
图4是本发明实施例提供的一种智能穿戴设备的示意图，如图4所示，其包括：
双摄像头41，用于模拟人眼采集真实场景信息；
中央处理器42，与所述双摄像头相连接，用于获取所述双摄像头所采集的真实场景信息，并根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
显示器43，与所述中央处理器相连接，用于呈现所述融合场景。
在本发明实施例中，所述中央处理器42还用于：根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景，根据所述虚拟现实场景信息，生成虚拟现实场景，接收场景呈现切换指令，并根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
在本发明实施例中，所述智能穿戴设备，还包括(未图示)：
切换按键，用于接收按键操作，生成按键切换指令。
在本发明实施例中，所述智能穿戴设备，还包括(未图示)：
传感器，用于感应手势操作，生成手势切换指令；或者用于感应距离，生成距离感应切换指令。
在本发明实施例中，所述智能所述智能穿戴设备，还包括(未图示)：
眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景信息。
在本发明实施例中，所述智能穿戴设备包括：智能眼镜或头盔。
在本实施例中，中央处理器42所执行的上述操作可以以一段程序的形式存储在存储器中，当需要执行上述操作时，将该段程序调入处理器执行处理。
图5为本发明实施例提供的一种智能眼镜的外观示意图，可以理解的是，该智能眼镜仅为例示，不对本发明产生任何限制。如图5所示，该眼镜包括眼镜本体50，眼镜本体的前表面设置有用于模拟人眼的右眼摄像头51和左眼摄像头52，用于模拟用户双眼采集真实场景信息，中央处理器(未示出)和显示器(未示出)设置在眼镜本体50的内部，该眼镜还设置有物理按键53，用于开关眼镜，还可用于用户下发各种指令，例如用户可以通过操作物理按键53下发场景呈现切换指令，使得智能眼镜在VR显示模式、融合显示模式和AR显示模式等模式中切换。该眼镜还包括绑带54，在用户佩戴眼镜时套设在用户头部，起到固定眼镜的作用。
在本发明实施例中，中央处理器为该用户终端的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储单元内的软件程序和/或模块，以及调用存储在存储单元内的数据，以执行电子设备的各种功能和/或处理数据。所述中央处理器可以由集成电路组成，也可以由连接多颗相同功能或不同功能的封表集成芯片而组成。即处理器可以是GPU、数字信号处理器、及通信单元中的控制芯片的组合。
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种虚拟现实与增强现实融合的方法，其特征在于，包括：
获取模拟人眼的双摄像头采集的真实场景信息；
根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
呈现所述融合场景；
所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括所述左摄像头拍摄的左图及所述右摄像头拍摄的右图；
所述虚拟场景信息包括虚拟场景的左视图及右视图；
所述根据虚拟现实场景信息与所述真实场景信息，生成融合场景具体包括：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景；
其中，所述虚拟场景在所述融合场景左图和所述融合场景右图的最小视差大于所述虚拟场景在所述左图和右图的覆盖区域在所述左图和所述右图的最大视差。
2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
根据所述虚拟现实场景信息，生成虚拟现实场景；
接收场景呈现切换指令；
根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
3.根据权利要求2所述的方法，其特征在于，所述场景呈现切换指令包括：
按键切换指令、手势切换指令或距离感应切换指令。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取模拟人眼的双摄像头采集的真实场景信息，具体包括：
追踪人眼的视线变化；
根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致；
获取所述双摄像头按照调整后的方向实时采集的真实场景信息。
5.一种虚拟现实与增强现实融合的装置，其特征在于，包括：
真实场景信息获取单元，用于获取模拟人眼的双摄像头采集的真实场景信息，
融合场景生成单元，用于根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
融合场景呈现单元，用于呈现所述融合场景；
所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图，所述虚拟场景信息包括虚拟场景的左视图及右视图；
所述融合场景生成单元，具体包括：
融合场景左图合成模块，用于将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
融合场景右图合成模块，用于将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
融合场景合成模块，用于根据所述融合场景左图及右图，生成融合场景；
其中，所述虚拟场景在所述融合场景左图和所述融合场景右图的最小视差大于所述虚拟场景在所述左图和右图的覆盖区域在所述左图和所述右图的最大视差。
6.根据权利要求5所述的装置，其特征在于，所述装置，还包括：
增强现实场景生成单元，用于根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
虚拟现实场景生成单元，用于根据所述虚拟现实场景信息，生成虚拟现实场景，
接收单元，用于接收场景呈现切换指令，
切换单元，用于根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
7.根据权利要求6所述的装置，其特征在于，所述场景呈现切换指令包括：
按键切换指令、手势切换指令或距离感应切换指令。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述真实场景信息获取单元，具体包括：
眼部视线追踪模块，用于追踪人眼的视线变化；
摄像头方向控制模块，用于根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致；
真实场景信息采集模块，用于获取所述双摄像头按照调整后的方向实时采集的真实场景信息。
9.一种智能穿戴设备，其特征在于，包括：
双摄像头，用于模拟人眼采集真实场景信息；
中央处理器，与所述双摄像头相连接，用于获取所述双摄像头所采集的真实场景信息，并根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
显示器，与所述中央处理器相连接，用于呈现所述融合场景；
所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括所述左摄像头拍摄的左图及所述右摄像头拍摄的右图；
所述虚拟场景信息包括虚拟场景的左视图及右视图；
所述中央处理器具体用于：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景；
其中，所述虚拟场景在所述融合场景左图和所述融合场景右图的最小视差大于所述虚拟场景在所述左图和右图的覆盖区域在所述左图和所述右图的最大视差。
10.根据权利要求9所述的智能穿戴设备，其特征在于，所述中央处理器还用于：
根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
根据所述虚拟现实场景信息，生成虚拟现实场景；
接收场景呈现切换指令，并根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
11.根据权利要求10所述的智能穿戴设备，其特征在于，还包括：
切换按键，用于接收按键操作，生成按键切换指令。
12.根据权利要求10所述的智能穿戴设备，其特征在于，还包括：
传感器，用于感应手势操作，生成手势切换指令，或者用于感应距离，生成距离感应切换指令。
13.根据权利要求9至12任一项所述的智能穿戴设备，其特征在于，还包括：
眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景信息。
14.根据权利要求13所述的智能穿戴设备，其特征在于，所述智能穿戴设备包括：智能眼镜或头盔。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610239142.2A CN105955456B (zh) | 2016-04-15 | 2016-04-15 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
| US15/237,424 US9842433B2 (en) | 2016-04-15 | 2016-08-15 | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610239142.2A CN105955456B (zh) | 2016-04-15 | 2016-04-15 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105955456A CN105955456A (zh) | 2016-09-21 |
| CN105955456B true CN105955456B (zh) | 2018-09-04 |
Family
ID=56918029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610239142.2A Active CN105955456B (zh) | 2016-04-15 | 2016-04-15 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9842433B2 (zh) |
| CN (1) | CN105955456B (zh) |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885313A (zh) * | 2016-09-29 | 2018-04-06 | 阿里巴巴集团控股有限公司 | 一种设备交互方法、装置和设备 |
| CN106383587B (zh) | 2016-10-26 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
| CN106527696A (zh) * | 2016-10-31 | 2017-03-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种实现虚拟操作的方法以及可穿戴设备 |
| CN106540447A (zh) * | 2016-11-04 | 2017-03-29 | 宇龙计算机通信科技(深圳)有限公司 | Vr场景构建方法及系统、vr游戏搭建方法及系统、vr设备 |
| CN106569609B (zh) * | 2016-11-11 | 2019-05-07 | 上海远鉴信息科技有限公司 | 改进型虚拟现实中用户传送方法及系统 |
| CN106484124B (zh) * | 2016-11-14 | 2019-07-26 | 北京英贝思科技有限公司 | 一种目光操控方法 |
| CN108108012B (zh) * | 2016-11-25 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 信息交互方法和装置 |
| CN106790996A (zh) * | 2016-11-25 | 2017-05-31 | 杭州当虹科技有限公司 | 手机虚拟现实交互系统及方法 |
| CN108377355A (zh) * | 2016-11-28 | 2018-08-07 | 中兴通讯股份有限公司 | 一种视频数据处理方法、装置及设备 |
| CN106774869B (zh) * | 2016-12-08 | 2020-05-19 | 广州大西洲科技有限公司 | 一种实现虚拟现实的方法、装置及虚拟现实头盔 |
| CN106791478A (zh) * | 2016-12-15 | 2017-05-31 | 山东数字人科技股份有限公司 | 一种三维数据实时立体展示系统 |
| CN106600689A (zh) * | 2016-12-16 | 2017-04-26 | 北京小米移动软件有限公司 | 3d打印数据生成方法及装置 |
| CN108885533B (zh) | 2016-12-21 | 2021-05-07 | 杰创科科技有限公司 | 组合虚拟现实和增强现实 |
| CN106774937B (zh) * | 2017-01-13 | 2020-01-10 | 宇龙计算机通信科技(深圳)有限公司 | 一种增强现实技术中的图像交互方法及其装置 |
| US10169973B2 (en) * | 2017-03-08 | 2019-01-01 | International Business Machines Corporation | Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions |
| CN106951316B (zh) * | 2017-03-20 | 2021-07-09 | 北京安云世纪科技有限公司 | 虚拟模式与现实模式的切换方法、装置及虚拟现实设备 |
| CN107066094B (zh) * | 2017-03-22 | 2020-07-14 | 深圳市魔眼科技有限公司 | 一种场景融合显示方法及显示装置 |
| CN106980374A (zh) * | 2017-03-28 | 2017-07-25 | 联想(北京)有限公司 | 显示控制方法、显示控制装置及电子设备 |
| CN107016730A (zh) * | 2017-04-14 | 2017-08-04 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| CN107016729A (zh) * | 2017-04-14 | 2017-08-04 | 陈柳华 | 一种虚拟现实与真实场景融合的方法 |
| CN106997618A (zh) * | 2017-04-14 | 2017-08-01 | 陈柳华 | 一种虚拟现实与真实场景融合的方法 |
| CN106971426A (zh) * | 2017-04-14 | 2017-07-21 | 陈柳华 | 一种虚拟现实与真实场景融合的方法 |
| CN106896925A (zh) * | 2017-04-14 | 2017-06-27 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| CN106981100A (zh) * | 2017-04-14 | 2017-07-25 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| CN107222689B (zh) * | 2017-05-18 | 2020-07-03 | 歌尔科技有限公司 | 基于vr镜头的实景切换方法及装置 |
| CN107231531A (zh) * | 2017-05-23 | 2017-10-03 | 青岛大学 | 一种网络虚拟现实技术与实拍结合影视制作系统 |
| CN107274492A (zh) * | 2017-06-20 | 2017-10-20 | 郑州云海信息技术有限公司 | 一种数据处理方法及设备 |
| CN107402632A (zh) * | 2017-07-12 | 2017-11-28 | 青岛海信移动通信技术股份有限公司 | 切换显示增强现实图像和虚拟现实图像的方法和智能眼镜 |
| CN107340870B (zh) * | 2017-07-13 | 2020-09-01 | 深圳市未来感知科技有限公司 | 一种融合vr和ar的虚拟现实展示系统及其实现方法 |
| US10691945B2 (en) | 2017-07-14 | 2020-06-23 | International Business Machines Corporation | Altering virtual content based on the presence of hazardous physical obstructions |
| CN107396084A (zh) * | 2017-07-20 | 2017-11-24 | 广州励丰文化科技股份有限公司 | 一种基于双摄像头的mr实现方法及设备 |
| CN107515674B (zh) * | 2017-08-08 | 2018-09-04 | 山东科技大学 | 一种基于虚拟现实与增强现实的采矿操作多交互实现方法 |
| CN107506037B (zh) * | 2017-08-23 | 2020-08-28 | 三星电子（中国）研发中心 | 一种基于增强现实的控制设备的方法和装置 |
| CN107816992A (zh) * | 2017-08-28 | 2018-03-20 | 深圳市赛亿科技开发有限公司 | 一种基于ar眼镜的室内定位方法及系统 |
| CN109420336A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的游戏实现方法和装置 |
| US10861236B2 (en) * | 2017-09-08 | 2020-12-08 | Surgical Theater, Inc. | Dual mode augmented reality surgical system and method |
| CN107730350A (zh) * | 2017-09-26 | 2018-02-23 | 北京小米移动软件有限公司 | 基于增强现实的产品展示方法、装置及存储介质 |
| CN109932821A (zh) * | 2017-12-18 | 2019-06-25 | 深圳纬目信息技术有限公司 | 一种ar头戴设备 |
| CN108346458A (zh) * | 2018-01-11 | 2018-07-31 | 余军辉 | 医用教学ar用捕捉叠加系统 |
| CN108305326A (zh) * | 2018-01-22 | 2018-07-20 | 中国人民解放军陆军航空兵学院 | 一种混合虚拟现实的方法 |
| CN108287609B (zh) * | 2018-01-26 | 2021-05-11 | 成都科木信息技术有限公司 | 用于ar眼镜的图像绘制方法 |
| CN108445624B (zh) * | 2018-02-08 | 2021-01-26 | 上海橙旺智能科技有限公司 | 具有增强现实功能的头戴式显示装置 |
| CN112384880A (zh) | 2018-05-03 | 2021-02-19 | Pcms控股公司 | 用于vr体验的基于物理接近度和/或姿势的链接的系统和方法 |
| CN108648276A (zh) * | 2018-05-17 | 2018-10-12 | 上海宝冶集团有限公司 | 一种建筑装修设计方法、装置、设备及混合现实设备 |
| CN108830939B (zh) * | 2018-06-08 | 2022-06-10 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
| CN108830943B (zh) * | 2018-06-29 | 2022-05-31 | 歌尔光学科技有限公司 | 一种图像处理方法及虚拟现实设备 |
| CN109087237B (zh) * | 2018-06-29 | 2023-02-03 | 海口经济学院 | 一种虚拟头盔 |
| CN110825333B (zh) * | 2018-08-14 | 2021-12-21 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
| CN108924529B (zh) * | 2018-07-25 | 2020-03-17 | 北京小米移动软件有限公司 | 图像显示的控制方法及装置 |
| CN108986232B (zh) * | 2018-07-27 | 2023-11-10 | 江苏洪旭德生科技发展集团有限公司 | 一种在vr显示设备中呈现ar环境画面的方法 |
| CN109166182B (zh) * | 2018-08-28 | 2020-11-03 | 百度在线网络技术（北京）有限公司 | Ar模拟处理方法、装置、电子设备及可读存储介质 |
| CN109543294A (zh) * | 2018-11-21 | 2019-03-29 | 山东交通学院 | 一种用于游艇舱室内装场景的设计系统及方法 |
| CN111325798B (zh) * | 2018-12-13 | 2023-08-18 | 浙江宇视科技有限公司 | 相机模型纠正方法、装置、ar实现设备及可读存储介质 |
| CN109978945B (zh) * | 2019-02-26 | 2021-08-31 | 浙江舜宇光学有限公司 | 一种增强现实的信息处理方法和装置 |
| CN110221692A (zh) * | 2019-03-06 | 2019-09-10 | 顶拓科技(武汉)有限公司 | 一种装配控制的方法、ar眼镜和系统 |
| US11143874B2 (en) * | 2019-03-29 | 2021-10-12 | Sony Interactive Entertainment Inc. | Image processing apparatus, head-mounted display, and image displaying method |
| CN111833374B (zh) * | 2019-04-22 | 2023-12-05 | 曜科智能科技（上海）有限公司 | 基于视频融合的路径规划方法、系统、存储介质、及终端 |
| CN110321000B (zh) * | 2019-04-25 | 2022-12-23 | 南开大学 | 一种面向智能系统复杂任务的虚拟仿真系统 |
| CN110197532A (zh) * | 2019-06-05 | 2019-09-03 | 北京悉见科技有限公司 | 增强现实会场布置的系统、方法、装置及计算机存储介质 |
| CN110161700B (zh) * | 2019-06-17 | 2021-05-28 | 金陵科技学院 | 一种城市增强现实展示应用眼镜及其展示方法 |
| CN110389664B (zh) * | 2019-06-25 | 2020-09-01 | 浙江大学 | 一种基于增强现实的火灾场景模拟分析装置及方法 |
| CN110443896A (zh) * | 2019-07-02 | 2019-11-12 | 启东威艾信息技术有限公司 | 一种ar、全息智能装置 |
| CN110308794A (zh) * | 2019-07-04 | 2019-10-08 | 郑州大学 | 具有两种显示模式的虚拟现实头盔及显示模式的控制方法 |
| CN110412765B (zh) * | 2019-07-11 | 2021-11-16 | Oppo广东移动通信有限公司 | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 |
| CN110399042A (zh) * | 2019-07-30 | 2019-11-01 | 北京天耀未来文旅科技有限责任公司 | 多场景vr互动系统 |
| CN110478914B (zh) * | 2019-08-28 | 2021-03-16 | 武汉宇宙寓言影视发展有限公司 | 一种仿真儿童摇摆机的控制方法、系统及装置 |
| CN110531865A (zh) * | 2019-09-20 | 2019-12-03 | 深圳市凯达尔科技实业有限公司 | 基于5g及mr技术的虚实场景操作平台及使用方法 |
| CN110879979B (zh) * | 2019-11-13 | 2024-01-02 | 泉州师范学院 | 一种基于移动终端的增强现实系统 |
| CN110865708B (zh) * | 2019-11-14 | 2024-03-15 | 杭州网易云音乐科技有限公司 | 虚拟内容载体的交互方法、介质、装置和计算设备 |
| CN112822636A (zh) * | 2019-11-15 | 2021-05-18 | 南宁富桂精密工业有限公司 | 提供增强现实导游的方法及其装置 |
| CN111105660B (zh) * | 2019-11-27 | 2021-11-30 | 重庆特斯联智慧科技股份有限公司 | 一种用于消防演练的增强现实立体显示方法和系统 |
| CN113035010B (zh) * | 2019-12-24 | 2023-07-21 | 北京普德诚科技有限责任公司 | 一种虚实场景结合视景系统及飞行模拟装置 |
| CN111175972A (zh) * | 2019-12-31 | 2020-05-19 | Oppo广东移动通信有限公司 | 一种头戴式显示器及其场景显示方法和存储介质 |
| CN111131735B (zh) * | 2019-12-31 | 2022-02-22 | 歌尔光学科技有限公司 | 视频录制方法、视频播放方法、装置及计算机存储介质 |
| CN113253830A (zh) * | 2020-02-11 | 2021-08-13 | 山东金佳园科技股份有限公司 | 一种混合型增强现实人机交互系统 |
| CN111524240A (zh) * | 2020-05-11 | 2020-08-11 | 维沃移动通信有限公司 | 场景切换方法、装置及增强现实设备 |
| CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
| CN111708165A (zh) * | 2020-06-05 | 2020-09-25 | 广东技术师范大学天河学院 | 一种网络购物眼镜及其使用方法 |
| CN111930225B (zh) * | 2020-06-28 | 2022-12-02 | 北京理工大学 | 用于移动设备的虚实融合键盘系统和方法 |
| CN112085853A (zh) * | 2020-07-29 | 2020-12-15 | 济南浪潮高新科技投资发展有限公司 | 一种基于摄像头和vr设备的ar显示方法及系统 |
| CN112383766A (zh) * | 2020-11-12 | 2021-02-19 | 京东方科技集团股份有限公司 | 图像生成系统、方法及电子设备 |
| CN112738498B (zh) * | 2020-12-24 | 2023-12-08 | 京东方科技集团股份有限公司 | 一种虚拟游览系统及方法 |
| CN113068003A (zh) * | 2021-01-29 | 2021-07-02 | 深兰科技（上海）有限公司 | 数据显示方法、装置、智能眼镜、电子设备和存储介质 |
| CN112991556B (zh) * | 2021-05-12 | 2022-05-27 | 航天宏图信息技术股份有限公司 | Ar数据的展示方法、装置、电子设备及存储介质 |
| CN113160337B (zh) * | 2021-05-17 | 2024-02-06 | 视境技术(深圳)有限公司 | 一种ar/vr虚拟现实融合相机控制方法 |
| CN115937667A (zh) * | 2021-09-29 | 2023-04-07 | 杭州海康威视系统技术有限公司 | 一种目标位置的确定方法、装置、电子设备及存储介质 |
| CN114063771A (zh) * | 2021-10-14 | 2022-02-18 | 内蒙古雲图计算机软件开发有限公司 | 一种基于ar技术的园区场景互动展示系统 |
| CN114115527B (zh) * | 2021-10-29 | 2022-11-29 | 北京百度网讯科技有限公司 | 增强现实ar信息显示方法、装置、系统及存储介质 |
| CN114401414B (zh) * | 2021-12-27 | 2024-01-23 | 北京达佳互联信息技术有限公司 | 沉浸式直播的信息显示方法及系统、信息推送方法 |
| CN114612635B (zh) * | 2022-02-28 | 2022-10-25 | 北京行者无疆科技有限公司 | 一种能够在增强现实和虚拟现实模式切换的方法及装置 |
| CN114442814B (zh) * | 2022-03-31 | 2022-09-16 | 灯影科技有限公司 | 一种云桌面的展示方法、装置、设备及存储介质 |
| CN115212565B (zh) * | 2022-08-02 | 2024-03-26 | 领悦数字信息技术有限公司 | 用于在虚拟场景中设置虚拟环境的方法、装置以及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067716A (zh) * | 2007-05-29 | 2007-11-07 | 南京航空航天大学 | 具有视线跟踪功能的增强现实自然交互式头盔 |
| CN102914932A (zh) * | 2011-08-03 | 2013-02-06 | 浪潮乐金数字移动通信有限公司 | 一种利用摄像设备用户的眼睛来对焦的方法及摄像设备 |
| CN105075254A (zh) * | 2013-03-28 | 2015-11-18 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8693731B2 (en) * | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| KR20140090552A (ko) * | 2013-01-09 | 2014-07-17 | 엘지전자 주식회사 | 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법 |
| CN105052136B (zh) * | 2013-05-14 | 2017-04-12 | 华为技术有限公司 | 计算合成图片的方法与装置 |
| KR20150088355A (ko) * | 2014-01-23 | 2015-08-03 | 한국전자통신연구원 | 눈동자 이동 시점 생성을 지원하는 스테레오 라이트필드 입출력 장치 및 방법 |
| CN111598974B (zh) * | 2014-06-03 | 2023-12-22 | 苹果公司 | 用于呈现与真实对象相关的数字信息的方法和系统 |
| CN104023221B (zh) * | 2014-06-23 | 2016-04-13 | 深圳超多维光电子有限公司 | 立体图像视差调节方法和装置 |
| US10256859B2 (en) * | 2014-10-24 | 2019-04-09 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
| US20160163063A1 (en) * | 2014-12-04 | 2016-06-09 | Matthew Ashman | Mixed-reality visualization and method |
| US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
| US20160239985A1 (en) * | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| KR20230008893A (ko) * | 2015-04-19 | 2023-01-16 | 포토내이션 리미티드 | Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처 |
| WO2016204433A1 (en) * | 2015-06-15 | 2016-12-22 | Samsung Electronics Co., Ltd. | Head mounted display apparatus |
| CN105138119A (zh) * | 2015-08-04 | 2015-12-09 | 湖南七迪视觉科技有限公司 | 一种基于人体生物特征控制自动变焦的立体视觉系统 |
| US11609427B2 (en) * | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
-
2016
- 2016-04-15 CN CN201610239142.2A patent/CN105955456B/zh active Active
- 2016-08-15 US US15/237,424 patent/US9842433B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067716A (zh) * | 2007-05-29 | 2007-11-07 | 南京航空航天大学 | 具有视线跟踪功能的增强现实自然交互式头盔 |
| CN102914932A (zh) * | 2011-08-03 | 2013-02-06 | 浪潮乐金数字移动通信有限公司 | 一种利用摄像设备用户的眼睛来对焦的方法及摄像设备 |
| CN105075254A (zh) * | 2013-03-28 | 2015-11-18 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170301137A1 (en) | 2017-10-19 |
| US9842433B2 (en) | 2017-12-12 |
| CN105955456A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105955456B (zh) | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 | |
| CN106843456B (zh) | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 | |
| CN106170083B (zh) | 用于头戴式显示器设备的图像处理 | |
| US10861245B2 (en) | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user | |
| CN106873778B (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
| US9905052B2 (en) | System and method for controlling immersiveness of head-worn displays | |
| CN106537261B (zh) | 全息键盘显示 | |
| CN103793060B (zh) | 一种用户交互系统和方法 | |
| GB2556347A (en) | Virtual reality | |
| CN114766038A (zh) | 共享空间中的个体视图 | |
| JP2023542847A (ja) | 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース | |
| US11645823B2 (en) | Neutral avatars | |
| CN115917474A (zh) | 在三维环境中呈现化身 | |
| US20230105064A1 (en) | System and method for rendering virtual reality interactions | |
| KR102009400B1 (ko) | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 | |
| KR20230037054A (ko) | 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20080088586A1 (en) | Method for controlling a computer generated or physical character based on visual focus | |
| Beimler et al. | Smurvebox: A smart multi-user real-time virtual environment for generating character animations | |
| US20230171484A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| Bazyluk | Eye Tracking in Virtual Environments: The Study of Possibilities and the Implementation of Gaze-point Dependent Depth of Field | |
| WO2023096940A2 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| JP2021517300A (ja) | 仮想現実システムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180723 Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Shenzhen super Technology Co., Ltd. Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen. Applicant before: Shenzhen SuperD Photoelectronic Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |