CN113941138A - 一种ar交互控制系统、装置及应用 - Google Patents
一种ar交互控制系统、装置及应用 Download PDFInfo
- Publication number
- CN113941138A CN113941138A CN202110903783.4A CN202110903783A CN113941138A CN 113941138 A CN113941138 A CN 113941138A CN 202110903783 A CN202110903783 A CN 202110903783A CN 113941138 A CN113941138 A CN 113941138A
- Authority
- CN
- China
- Prior art keywords
- user
- real
- intelligent terminal
- virtual
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 53
- 210000001508 eye Anatomy 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 230000003190 augmentative effect Effects 0.000 claims abstract description 16
- 230000002452 interceptive effect Effects 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000006872 improvement Effects 0.000 claims description 5
- 238000004040 coloring Methods 0.000 claims description 2
- 210000001061 forehead Anatomy 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 93
- 230000003287 optical effect Effects 0.000 description 24
- 230000014509 gene expression Effects 0.000 description 23
- 230000009471 action Effects 0.000 description 22
- 230000000007 visual effect Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 13
- 238000010276 construction Methods 0.000 description 12
- 238000005457 optimization Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 241000700647 Variola virus Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000002313 adhesive film Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000004310 photopic vision Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
- A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
- A63F2300/306—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display for displaying a marker associated to an object or location in the game field
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/308—Details of the user interface
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一本发明提供了一种AR交互控制系统，所述交互控制系统包括一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频上叠加虚拟角色和虚拟场景，所述增强现实方法具体包括以下步骤：1.1将智能终端屏幕分成左眼视框和右眼视框。1.2利用智能终端摄像头获得现实场景的实时画面，分别在左眼视框和右眼视框同时播放；1.3根据不同智能终端的配置，放大或缩小左眼视框和右眼视框视频的成像倍数，并分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物的大小，同用户直接用眼睛观察到的大小相同。
Description
技术领域
本发明涉及增强现实技术，尤其涉及增强现实与虚拟现实混合使用技术。
背景技术
AR技术就是在现实世界增加虚拟物及特效，两者相互叠加；AR技术的视场不仅依赖现实场景的元素，也无法摆脱现实场景的束缚，一旦抠除现实场景，就无法克服与现实人或物发生的碰撞的问题；因此无法实现用户足不出户进行旅游等活动。
MR技术可以同时融入AR(增强现实）与VR（虚拟现实），其技术路线为将VR场景直接遮挡现实场景的一部分；最通常的作法如在房间内设置一个“空间门”，打开空间门后，用户进入VR场景内，在该场景中用户不能看到现实场景，而用户VR场景内的活动显然仍在现实空间中，当现实空间出现人或物，用户将无法预判可能发生的碰撞。
另外 MR缺点还包括多用户互动的效果非常差，具体如：用户进VR场景后只能看到虚拟的自己和其它用户，由于目前成像成本，虚拟自己和用户具有效果往往是部分躯干或者与用户动作差异巨大的NPC（Non-Player Character）,另外 传统增强现实及虚拟现实混合运用的头戴式眼镜。该技术方案存在以下问题：
1、传统方案1：直接通过智能终端（如：手机）摄像头获得现实场景，并智能终端显示屏中植入特效及虚拟对像；使用过程中，用户通过手持智能终端（如：手机），该方案用户从智能终端获得现实场景的大小及位置均与真实场景有很大的差别，互动的沉浸感不强。另外 对现实场景的位置判断需通过智能终端以外的视线来获得，因而因用户专注于与智能终端中虚拟角色的互动，而容易被忽略；因此用户很容易在互动过程中撞击到现实的人或物。需要指出的是该方案很难适用于头戴式获得AR效果，原因主要在于手机的摄像头位置集中在一个位置，无法模仿双眼获得摄像。而基于传统的技术认知，通过一张平面图片形成立体画面，需要对图片进行复杂解析获得图片中不同组成部份的相对位置，并通过计算模仿另一只眼睛在观看图片对应场景时所获得的像，并以此重新构成另一张图片；该方案运算量很大，且还原精度有限，且对摄像头安装位置不同的手机来说都需要重新设计运算方案，技术转化价值非常有限。
2、传统方案2：如图1所示，通过传统增强现实通过投影式获得AR视觉效果，受限于投影面积、及投影装置小，AR形成的画面极小，且画面分辨率很低（放大多倍），导致成本很高（成像显示端的分辨率要求极高）或者体验很差。
另外发明人设计的方案3：主要通过外接摄像头获得现实环境的影像，并通过事先设定的虚拟影像植入现实影像中，以获得增强现实的视觉效果。摄像头因获得视角及位置与用户眼球都有差异，因此成像设备就现实影像的画面与用户直接观看获得画面很难完全等同，因此用户无法通过成像设备准确判断现实物品、人物等真实位置（准确位置），因此在相对复杂的环境中无法安全体验“人机互动”的游戏或其它活动，如容易碰到现实世界的物品，因此无法体现复杂环境下的游戏或活动。更重要的是为了获得左右眼的立体纵深感受，需要通过两个摄像头分别仿生左右眼；而为了充分利用智能终端硬件的品质，外置的摄像头的像素及刷新率都决定成本居高不下（特别指出：本发明人未对方案3进行技术检索，不确定是否存在在先公开技术文献）。
发明内容
本发明旨在提供一种可以克服传统技术偏见，通过单个或单组摄像头或通过智能终端自带摄像头使用户依本能获得现实场景的真实大小及真实位置的头戴式MR眼镜及交互控制系统，同时提供一种利用切割现实世界结合虚拟世界以打开现实世界的边界，并使现实世界成为虚拟世界的一部份，继而实现用户在现实现界中完成与虚拟环境的虚拟人或物，及现实世界中的虚拟人或物，及与现实世界中的真人或物进行视觉上无差别的互动。
名词解释：
明视距离：就是在合适的照明条件下，眼睛最方便、最习惯的工作距离。最适合正常人眼观察近处较小物体的距离，约25厘米。这时人眼的调节功能不太紧张，可以长时间观察而不易疲劳。
智能终端：智能手机、IPA或共它集成显示功能、位置或运动变化可识别功能的便捷式设备。
所述位移差量指手机画面相应的现实景物所在位置与手机摄像头朝向的现实景物所在位置的差值。
标识贴：可以直接喷涂在游戏场所内，也可以用贴纸贴在游戏场所内。
为了实现上述目的，本发明采用了如下技术方案：
一种AR交互控制系统，其特征在于：所述交互控制系统采用一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频流上叠加虚拟角色和/或虚拟场景；所述在智能终端即时播放现实景象的视频流的方法具体包括以下步骤：
1.1 将智能终端屏幕分成左眼视框和右眼视框；
1.2利用智能终端摄像头获得现实场景的实时画面 ，分别在左眼视框和右眼视框同时显示；
1.3根据不同智能终端的配置，放大或缩小左右眼视框成像倍数和/或左右眼透镜的成像放大倍数，使得用户通过透镜观察到左眼视框和右眼视框内景物的大小，同用户直接用眼睛观察到的大小相同；
1.4根据不同智能终端的配置，调整左右眼视框视频的成像分别在左右眼视框的位置和/或左右眼透镜的位置和/或左右眼透镜光心与几何中心的相对位置，使用户通过透镜观察到左眼视框和右眼视框获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
本发明还提供了另一种AR交互控制系统，其特征在于：所述交互控制系统基于智能终端及头戴式成像装置，所述智能终端安装于头戴式成像装置内，使用户在使用过程中可以通过头戴式成像装置观看智能终端的显示窗口；所述头戴式成像装置设有一个或以上摄像头和一块或以上的显示屏幕；所述显示屏幕通过数据线连接于智能终端；所述摄像头设有横向和/或纵向调节装置；所述在智能终端即时播放现实景象的视频流的方法具体包括以下步骤：
1.1 利用智能终端摄像头和/或头戴式成像装置的摄像头获得现实场景的实时画面，在智能终端和显示屏幕上播放；
1.2根据不同智能终端的配置，缩放实时画面的成像倍数和/或左右眼透镜（或透镜组）的成像放大倍数，使得用户通过透镜观察到智能终端和显示屏幕内景物的大小，同用户直接用眼睛观察到现实景物的大小相同；
1.3根据不同智能终端的配置，调整智能终端屏幕内的画面在屏幕内的位置和/或左右眼透镜的位置和/或左右眼透镜光心与几何中心的相对位置，使用户通过智能终端屏幕内景物获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面；
1.4 调节头戴式成像装置的摄像头的位置，使得由头戴式成像装置的摄像头获得画面在智能终端和/或显示屏幕显示过程中，用户通过智能终端屏幕内景物获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
以上两种所述交互控制系统还采用成像滞后改善方法，所述成像滞后改善方法包括：
2.1 计算智能终端的运动趋势；
2.2使画面向运动方向偏移根据运动趋势获得位移差量，所述位移差量指手机画面相应的现实景物所在位置与手机摄像头朝向的现实景物所在位置的差值。
以上两种所述交互控制系统还采用多人互动方法，所述多述互动方法涉及本地用户和异地用户，包括以下步骤：
3.1 异地用户通过当地摄像头获得异地用户的影像；
3.2将异地用户的影像作为虚拟角色叠加到本地用户的移动终端上，使得本地用户见到异地用户与同地用户同处于本地用户所在环境中。
步骤3.1还包括识别异地用户的人像；对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干（如：以人像为中心，通过抠图获得人像及人像周边一定范围的环境景像，从而减少抠图计算量，同时也不破坏人像的完整性；当然人像不一定是裁选获得画像的中心）。
步骤3.1在用户所在环境里，针对不可出现的景物采用上色技术，使得系统可以自动过滤用户背景。
AR交互控制系统在游戏场所（如：公共盈利性游戏场所）的应用，其特征在于：
4.1 在游戏场所内使用一个或多个标识贴（所有标识贴都一样，或者部份标识贴不同，如游戏场所内共使用20个标识贴1、30个标识贴2），不同的标识贴或不同的标识贴组合与不同特效对应（如：三个标识贴1排成一字对应彩虹，三个标识贴1排成三角形对应雷电，一个标识2对应某个静止的靶子）；
4.2 所述特效包括造型可调特效和造型不可调特效，所述造型可调特效指特效的局部尺寸可调整；
不同可调整尺寸的局部与不同的指定标识贴对应，或与不同组合的指定标识贴对应；
4.3 在不改变标识贴位置的前提下，存在一个或多个标识贴或标识贴组合，关联多种特效；出现不同触发条件，显示不同特效；（如：在不同的指定时间点上，显示不同的指定特效；另外本技术方案是为了解决同一场游戏过程中，没有条件临时改变或全部改变实际摆件的位置，或调整标识贴的位置的问题。）
4.4 在不改变标识贴位置的前提下，多个标识贴组成的不同集合关联不同特效，出现不同触发条件，显示不同特效或不同特效组合；（标识贴1、3、5组合对应特效A的状态1，标识贴1、2、3、6组合对应特效A的状态2，标识贴1、2、3组合对应特效B的状态1，标识贴1、2、5组合对应特效B的状态2；在游戏进度1上显示特效A的状态1；在游戏进度2上显示特效A的状态2同时显示特效B的状态1）
4.3游戏场所内包括有：有触感需求景物，和无触感需求景物；
所述有触感需求景物由一个或多个基本块组成，各基本块不同拼接方法形成不同造型；实际景物造型与额定造型的差别通过特效修正；
所述有触感需求景物可移动；
所述无触感需求景物由一根或多根标识杆组成，在杆的不同位置贴上一个或多个指定标识贴，特效（如：瀑布）的不同部份与杆上的多个指定标识贴对匹配，并使特效（如：瀑布）的不同部份在杆上不同指定标识的相应位置上成像；
4.4所在述游戏场所的应用包括以下步骤：
4.4.1 用户配戴采用AR交互控制系统的头戴式VR眼镜；在游戏场所内使用一个或多个标识贴，系统通过摄像头识别标识贴，并通过AR交互控制系统使VR眼镜的视框中在标识贴相应位置产生特效；
4.4.2 根据游戏的场景需求，布置有触感需求景物；
4.4.3 根据游戏的场景需求，拼装有触感需求景物；
4.4.4 关联标识贴与一种或多种特效的对应关系，使得不同标识贴或不同的标识组合对应不同特效；并识别不同特效对应的标识贴或标识贴组成，在VR眼镜的显示器上显示不同的指定特效，尤其是在指定位置上以指定朝向显示指定特效；
4.4.5关联标识贴与同一造型可调特效的一个或多个尺寸可调的局部的对应关系，使得不同标识贴或不同的标识组合对应不同局部或不同局部尺寸；并识别不同特效对应的标识贴或标识贴组成，在VR眼镜的显示器上显示造型可调特效，尤其是在指定位置上以指定朝向显示造型可调特效；
4.4.6 在不同游戏进度上，选择性显示部份特效；使系统识别景物上不同的标识贴，并对指定标识贴产生指定特效，在VR眼镜的显示器上显示不同特效或不同特效组合；
4.4.7在不同游戏进度上，选择性显示部份造型可调特效，在VR眼镜的显示器上显示的造型可调特效在精准位置上发生指定变化。
所述AR交互控制系统应用在旅游领域上。
所述的一种AR交互控制系统应用在培训服务上。
所述的一种AR交互控制系统在导航的应用。
运用所述的一种AR交互控制系统，使即时获得的共享资源与当地的特定建筑或标识或特种形状部位关联，并在指定位置显示共享资源对应的特效和虚拟物。
所述的一种AR交互控制系统在学校的应用。
上述各方案还适用于以下任一种应用：一种XR系统的构建方法1
步骤1：通过手机摄像头扫描现实场景的信息并保存；
步骤2：规定用户视场中的现实场景为封闭空间或部份封闭空间，并规定所述封闭空间的边界；
步骤3：创建虚拟场景，所述虚拟场景覆盖现实场景边界在用户视场中的实时画面X；
步骤4：使手机画面双屏显示，双屏显示方法如实施例1所述。
所述步骤1获得现实场景在用户视场中的实时图像的方法：
步骤1.1：在使用终端安装摄像头或使用具有摄像头的使用终端，并通过摄像头模拟用户眼睛实时拍摄现实场景。
或
步骤1.1’：在使用终端安装热成像仪或使用具有热成像仪的使用终端，并通过热成像仪模拟用户眼睛实时拍摄现实场景。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法1
步骤2.1：通过AR引擎判断现实场景中的平面，并获得现实场景中的水平面和竖直面；
步骤2.2：创建判断边界规则；所述判断边界规原则包括：高于用户的水平面视为边界；位于步骤1所述实时图像边际的竖直面视为边界。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法2
步骤2.1’：通过点云引擎判断现实场景各位置的纵深信息；
步骤2.2’：创建判断边界规则；创建判断用户活动区域规则；所述判断边界规原则包括：位于步骤1所述实时图像中非用户活动区域的部份为边界。
一种XR系统的构建方法2
步骤1：获得现实场景在用户视场中的实时图像A；
步骤2：规定用户视场中的现实场景为封闭空间，判断所述封闭空间的边界在用户视场中的实时位置X；
步骤3：创建虚拟场景，所述虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X。
所述步骤1获得现实场景在用户视场中的实时图像的方法：
步骤1.1：在使用终端安装摄像头或使用具有摄像头的使用终端，并通过摄像头模拟用户眼睛实时拍摄现实场景。
或
步骤1.1’：在使用终端安装热成像仪或使用具有热成像仪的使用终端，并通过热成像仪模拟用户眼睛实时拍摄现实场景。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法1
步骤2.1：通过AR引擎判断现实场景中的平面，并获得现实场景中的水平面和竖直面；
步骤2.2：创建判断边界规则；所述判断边界规原则包括：高于用户的水平面视为边界；位于步骤1所述实时图像边际的竖直面视为边界。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法2
步骤2.1’：通过点云引擎判断现实场景各位置的纵深信息；
步骤2.2’：创建判断边界规则；创建判断用户活动区域规则；所述判断边界规原则包括：位于步骤1所述实时图像中非用户活动区域的部份为边界。
通过创建判断用户活动区域规则判断边界规则，适用于本发明获得实时图像中边界的所有技术方案，因此不仅限于上述方法2。
以上两种方法的优化方案包括以下一个或多个方案：
针对现实场景，优先解除用户活动区域上方的边界和一个竖面的边界；
规定的边界允许自定义，并允许封闭空间的边界不需要与现实场景的实际边界重合；
规定用户活动区域上方的边界离用户活动区域所在平面的高度为3米以上，面积10平方以上；
所述封闭空间的规定，包括规定用户活动空间与虚拟场景接壤的空间边界。
《判断用户活动区域规则》如：
规则1：以使用终端为球心，球半径为R的区域为活动区域；
规则2：低于使用终端的所有平面在实时图像中覆盖的区域为活动区域。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法：
步骤3.1：通过抠图或遮挡保留实时图像照片中用户所在指定区域的图像，抠除或遮挡其它图像；
步骤3.2：将步骤3.1被抠除的图片区域置换为虚拟场景或使虚拟场景遮挡步骤3.1所述其它图像。
进一步的，所述一种AR系统的构建方法还包括：
步骤4：允许现实场景作为一个整体在虚拟场景对应的坐标系内移动；使虚拟场景的不同部份按进程覆盖现实场景的边界，实现视觉效果为：通过用户视场具有现实场景作为一个整体在虚拟场景中移动。
再进一步的 所述步骤4的视觉效果包括：用户在现实场景中自移，现实场景在虚拟场景内公移。
一种AR系统的构建方法在虚拟旅游的应用，包括对用户及就近场景切割和拼接，拼接对像包括其他用户和/虚拟场景。
一种AR系统的构建方法在游戏的应用，包括对玩家及就近场景切割和拼接，拼接对像包括其他玩家和/虚拟场景。
一种AR系统的构建方法在教育的应用：包括对用户及就近场景切割和拼接，拼接对像包括其他用户和/虚拟场景。
有益之处：
1、本发明通过利用智能终端摄像头或单个或单组摄像头，将单个或单组摄像头在双视屏显示，并通过调整左右眼视屏像的大小和位置，使人眼最终获得的双视屏上的像大小和位置，均与人眼直接看到现实场景对像的大小和位置一致；通过该技术方案，高效实现双摄像头或双组摄像头具有3D成像效果，也可以避免复杂的运算，同时还能适应任意型号摄像头；通过该技术方案，使得手机等终端产品有条件成为头戴式AR的显示平台，并且本技术方案适用具有不同安装位置摄像头的手机等智能终端。
2、本发明通过利用智能终端摄像头或单个或单组摄像头，使用户能凭本能直观获得真实世界景物的大小和位置，即 用户通过本发明观看到的景物，与直接通过自身眼睛观看到景物的大小和位置均相同。而虚拟角色与现实场景完全混合一起，用户会将真实景像作为虚拟世界的一部份，或者说 将虚拟角色当作处于现实中，因此与虚拟角色互动过程，会本能且直观的规避现实物品或人等任意有形主体。该方案大大提升人机互动主题设计范围。
、本发明无需通过外置摄像头，仅通过普通低成本的光学成像器件，如：凸透镜，因此成本低、重量轻。
、本发明通过事先储备各智能终端型号所对应的画面参数，并通过自动识别智能终端型号，使得用户可以极简便的方式，直接获得本发明目的对应的视觉体验。
5、本发明通过在头戴式成像装置上添设显示屏幕，可以弥补手机等智能终端屏幕较小而无法提高视野的缺陷。
6、本发明通过对现实场景的切割，抠除墙、天花板，以解除现实场景的空间束缚，使用户在体验过程中，通过拓宽现实的边界，尤其利虚拟场景连接现实场景，使得虚拟场景成为在现实场景边界的沿伸，继而使现实场景成为虚拟世界的一部份，继而获得远大于现实空间的视野，同时还有条件直观避免与现实的人或物发生碰撞，而且有条件与同个空间的用户协同体验。
7、本发明优先解除用户头顶的边界和一个竖面的边界（不解除所有竖面的边界），由此大大降低虚实交融的难度，使得游戏开发过程中，无需考虑用户活动空间上的人或物无法遮挡虚拟场景的难点。另外 本发明规定的边界允许自定义，因此不需要与现实场景的边界重合，因此对现实场景的识别要求大大降低，从对智能终端的运算能力、摄像头等配置要求也大幅下降，因此能适用更广泛品牌、型号的手机，而且本技术方案是保证用户具有良好沉浸感为提前的。
8、本发明用户头顶的边界离用户所在平面的高度为3米以上，面积10平方以上，不仅能满足解除天花板空间边界，使用户在互动过程中的头部姿势具有良好体验，同时适用于用户在于绝大多数大小户型内的体验。
9、本发明通过规定现实场景为封闭空间或部份封闭空间，更便于规定《判断现实场景实时图像边界的规则》，继而更容易实现本发明目的。本发明对封闭空间的定义，在于规定用户活动空间与虚拟场景接壤的空间边界，显然用户活动空间的边界并需要都与虚拟场景相接壤，因此无需定义现实场景为全封闭空间。
10、本发明通过判断现实场景中竖直平面是否为空间边界，并抠掉或遮挡属于边界的竖直平面；判断现实场景中水平平面是否位于用户上空，并抠掉或遮挡位于用户上空的水平平面；其运算量极小，可实现虚实融合画面的过渡流畅、连续、不突兀。
11、本发明在实时图像中创建用户活动区域，并规定活动区域外的部分为边界，克服现实场景实际的边界的复杂性、不确定性所带来算法量巨大的问题；所述用户活动区域定义包括指定用户活动区域和用户最大活动区域，因此便于根据手机或其它使用终端的配置设计用户活动区域的判断规则，便于高配置用户获得的活动区域更接近用户最大活动区域。
附图说明
图1为实施例1的成像示意图；
图2为本实施例1观看示意图；
图3为实施例1从手机获得场景与现实场景拼接示意图；
图4为本实施例1智能终端屏幕播放区画面示意图；
图5为本实施例2智能终端屏幕播放区画面示意图。
图6为实施例10房间S内用户以第一人称视觉获得影像示意图（未采用AR系统的构建方法）。
图7为实施例10房间S内用户以第一人称视觉获得影像示意图（采用AR系统的构建方法后）。
图8为实施例10房间S用户的远程用户视场形态示意图。
图9为实施例10房间U内用户以第一人称视觉获得影像示意图（采用AR系统的构建方法后）。
图10为实施例10房间U用户的远程用户视场形态示意图。
图11为实施例10房间S用户与房间U用户在同一虚拟场景内交会的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
（参照图1-4）所示的一种外装智能终端的AR交互控制装置，所述AR交互控制装置包括壳体总成1、透镜3；所述壳体总成1在装配智能终端的位置上，设有智能终端摄像头的镂空部和/或透明部（使壳体总成1满足智能终端至少一个摄像头不被遮挡），使得智能终端摄像头可以直接获得现实世界的景像，并在手机屏幕的播放区即时显示；所述壳体总成1在智能终端的装配位上设有手机夹持装置2；所述壳体总成1设有手机屏幕的观察窗口4，所述观察窗口4包括左视观看区41和右视观看区42；所述透镜3安装于观察窗口4内。
本实施例还采用了以下一个或多个优化方案：
方案1：为了实现从手机获得场景与现实场景的良好拼接，本实施例还采用了：
在壳体总成1上在用户左眼的左侧及右眼的右侧镂空或透明，使得用户的左眼可以从壳体总成1左侧的镂空处和/或透明处，右眼可以从壳体总成1右侧的镂空处和/或透明处观看现实场景。所述壳体总成1在用户双眼的下方镂空或透明，使得用户可以从壳体总成1下端的镂空处和/或透明处观看现实场景，继而使用户从壳体总成1的镂空处和/或透明处观察到的景像与从设备获得景像形成连接。
进一步的，所述透镜3中部为凸透镜31，周边为平面镜32，使用户连续透过平面镜32及壳体总成上的透明处和/镂空处，直接观看现实场景。
方案2：为了最大化提高屏幕播放区在智能终端屏幕上的占比，同时也为实现手机屏幕播放区的边沿至壳体外轮廓之间的部份均不会落在用户视野内，本实施例还采用了：经过观察区且经透镜3折射后的光线均投照在手机屏幕上，手机屏幕播放区内任意点的光线且经透镜3折射后均投照在观察区内；所述观察区指的是用户佩戴MR眼镜状态下，眼球的活动区域。
进一步的，所述透镜3中部为凸透镜31，周边为平面镜32；经过观察区且经凸透镜31折射后的光线均投照在手机屏幕上，手机屏幕播放区内任意点的光线且经凸透镜31折射后均投照在观察区内；
进一步的 经过观察区且经平面镜32出射后的光线均不投照在手机屏幕的播放区上，手机屏幕播放区内任意点的光线且经平面镜32出射后均不投照在观察区内；
进一步的，智能终端屏幕播放区可见部份的最外点B与观察点S连接线BS与凸透镜OD相交于点C，CD部份为平面透镜，OC部份为凸透镜。
原理：
（1）如图 所示，CD部份为平面透镜，使得夹持装置不会出现在用户的视野内，尤其使用户通过平面透镜观看到的现实场景与智能终端可见屏幕（未被夹持装置遮挡）中景像相互拼接。继而使用户获得无限接近于肉眼直接观看现实场景所具有视角（广角），而不受限于智能终端屏幕、凸透镜等因素的约束。
（2）智能终端屏幕与现实场景的拼接
如图3所示，智能终端上半部MB,智能终端上半部的夹持装置AB,组成的MAB位于凸透镜OD的1倍焦距与2倍焦距之间，通过凸透镜OD，MAB的像M’A’B’与MAB位于凸透镜OD的同侧，且为放大的虚像。
如图4所示,S为观察点，即用户眼睛的位置;夹持装置的最外点B位于智能终端屏幕可见部份的最外点A的像点A’与观察点S连接线A’S朝向智能终端中心线OS的一侧，使得MAB在同一截面上仅与A’S相交于一点B，或者不相交;由此实现非智能终端可见屏幕以外的本装置，均不会落在用户的视野内；包括：夹持装置AB的像不落在用户的视野内（用户从凸透镜看不到AB的像），和夹持置不落在用户的视野内（用户从凸透镜以外的方向看不到夹持装置）。
如图5所示，A”M”是智能终端获得画面AM对应的现实世界的景像，将用户直接用眼睛可以观看到的现实世界分为A”M”部份，和XX部份；所述凸透镜OD的最外点D落在A’S上，使得用户通过凸透镜OD以外视角观看到的刚好是A”M”以外的现实世界，即XX部份。因此可实现A”M”部份，和XX部份的完整性拼接，继而实现无限缩小：用户直接用眼睛观看与戴本实施例装置观看现实世界在完整性上的差别。
显然凸透镜的周向不一定都是平面透镜，只需：通过平面透镜与壳体总成1的相邻部位连接固定。
用户能观看到现实世界的大小是特定的，智能终端的广角也是特定的，由确定的因素来推导不确定的因素；广角确定---A”M”部份确定（高度），凸透镜OD出厂后，高度及焦距也确定（开模时，焦距及高度应尽可能符合绝大多数智能终端的配置：广角和屏幕尺寸），然后通过调节凸透镜OD位置及观察位置获得适应不同机型。
方法1：
1)确定垂直方向的视野，如：向上27度以内；
2)确定智能终端屏幕成像距离，即 人眼观察距离，如：250mm；
3)选定凸透镜的焦距及直径，如：50mm及40mm；
4)通过以上原则，确定凸透镜的位置；
连接线BS朝向智能终端中心线OS的一侧；
方法2：
根据1/f1=1/u1-1/v1，已知：u(物)/v=32.5/60，f=50得出：
U=0.54v，1/u-1/v=0.85/v=0.02得出：v=42.5,u=22.95
假设v=1.1u，
1/f=0.09/u 因此u=0.09f
凸透镜紧靠于凹透镜，光心间距为10mm，v1+10=u2，观察点到凹透镜光心的距离15mm，v2=250-15=235mm
1/f1=1/u1-1/v1，f1=50mm
-1/f2=1/u2-1/v2，f2=100，所以可求得u2
智能终端拍照，获得的画面中，存在不同距离的物，所形成的纵深是特定的；因此摄像头离眼睛越近，获得真实感越强；
放大倍数小（像距与物距的比值小），像距远。
方案3：为了提升观看视角，即提高从智能终端（如：手机）观看现实世界的范围，本实施例还采用了屏幕分区方案或屏幕不分区方案：
方案3.1：屏幕分区方案
将智能终端的屏幕分为左眼视窗和右眼视窗；
进一步的，左眼视窗和右眼视窗的画面的重叠部份分别为红、蓝通道格式或蓝、红通道格式，所述凸透镜31包括左眼凸透镜和右眼凸透镜，所述左眼凸透镜在能且只能看到左眼视窗中被右眼视窗叠置的部份上设为滤光镜，使得用户通过左眼凸透镜仅能看到左眼视窗的画面且是全画面，而看不到右眼视窗的画面；所述右眼凸透镜在能且只能看到右眼视窗中被左眼视窗叠置的部份上设为滤光镜，使得用户通过右眼凸透镜仅能看到右眼视窗的画面且是全画面，而看不到左眼视窗的画面。
上述滤光镜的实施方案；如在凸透镜31上分别使用红蓝贴膜。
方案3.2：屏幕不分区方案
左眼观看区的中心位于左眼透镜光心左侧，右眼观看区的中心位于右眼透镜光心右侧。
本3.2方案也可以与3.1结合，作为优化方案进一步提高观察视角，尤其是手机广角大于人眼单眼视角时。
一种采用上述AR交互控制装置的交互控制系统，其中所述智能终端采用华为P40PRO，采用焦距为50mm的凸透镜OD，智能终端屏幕到凸透镜OD的距离为35-45mm（物距35-45mm）；所述交互控制系统通过华为智能终端P40PRO的摄像头获得现实景象A“M”的画面AMa，并在智能终端即时播放现实景象A“M”的视频AMa，并在现实景象视频AMa上叠加虚拟角色和虚拟场景，包括以下步骤：
1）将智能终端屏幕分成左眼视框和右眼视框；
2）利用智能终端摄像头获得现实场景的实时画面AMa，分别在左眼视框和右眼视框同时播放；
3）缩放左眼视框和右眼视框视频的成像AM的尺寸为通过摄像头直接获得成像AMa尺寸的0.4-0.5倍，分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物AM的大小，同用户直接用眼睛观察到的A“M”大小相同；
4）调整左眼视框和右眼视框视频的成像AM分别在左眼视框和右眼视框的位置，使用户通过透镜观察到左眼视框和右眼视框内景物获得景物AM与用户的相对位置，分别同用户直接用左眼睛与右眼睛观察到的景物A“M”与自己的相对位置相同。
本实施例中，用智能终端后置摄像头获得真实世界的景物A“M”，通过前置摄像头获得AR虚拟角色及特效及随智能终端移动或转动的功能。并使前置摄头景像、后置摄头景像、AR景像按由底向外叠置。
为了便于用户之间互动信息更完整，使用户之间的表情和肢体动作双方都能相互获得，本实施例的多人参与的交互控制系统还包括以下步骤：
5）在用户活动空间使用一个或一个以上的摄像头，以采集用户的表情或动作或表情及动作；
或 在用户活动空间使用一个或一个以上的用户动作捕捉装置，以采集用户的表情或动作或表情及动作；
进一步的，本实施例还提供了多人参与的交互控制系统，具体还包括以下步骤：
6）以本地用户为中心，对步骤5）中的摄像头获得画面进行抠图，形成远端用户影像，使得在其它用户的观看界面上，显示远端用户影像；远端用户影像的轮廓为所述抠图或经抠图变形获得或对抠图修正获得。在远端的用户看来，本地用户置身于一个透明保护球内。
如：用户X、摄像头X位于环境X，用户X配戴MR装置X；用户Y、摄像头Y位于环境Y，用户Y配戴MR装置Y；摄像头X、MR装置X、摄像头Y、MR装置Y数据连接本发明的同一人机互动系统。MR装置X设有MR装置视频处理器，功能包括：
1）接收摄像头X获得画面
2）连接摄像头X，使摄像头保持朝向用户X（MR装置X）
3）对摄像头X的画面进行抠图处理，并经抠图信息上传至MR装置Y（或经中转发送到MR装置Y）；
本实施例中的摄像头X和/或Y显然可以有一个或多个。
本实施例中的抠图，显然不需要要求精确，如抠图轨迹为一个椭圆，用户的全部或主要肢体或用户可选的肢体均在椭圆内。当然椭图并不是唯一的抠图轨迹，比如还可以是圆或矩形等。
或
对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干（如：以人像为中心，通过抠图获得人像及人像周边一定范围的环境景像，从而减少抠图计算量，同时也不破坏人像的完整性；当然人像不一定是裁选获得画像的中心）。
7）系统识别用户表情或动作或表情及动作；并在其它用户的画面中创建一个虚拟角色，用户表情或动作或表情及动作映射为虚拟角色的表情或动作或表情及动作；
8）采用自适应技术：识别根据不同智能终端的配置，自动调整调整左右屏画面缩放比例及所摄像头获得画面在左右屏画面的位置
其中
识别根据不同智能终端的配置的方法可以是以下任一一种：
81.1）采用事先设置，对智能终端类型、品牌、型号逐一测试，并获得不同类型、品牌、型号的智能终端（如：智能手机）的自适应参数；
81.2）APP启动后，并在用户体验发明人机互动产品前，APP使系统自行测试本智能终端的自适应参数。
82.1）APP自动识别智能终端类型、品牌、型号；
82.2）用户手动输入；
自适应参数包括以下一种或多种：
83.1）摄像机获得的原图与左/右屏图像比例；
83.2）左/右屏内的图像在智能终端左/右屏内向水平方向移动尺寸；
83.3）左/右屏内的图像在智能终端左/右屏内向垂直方向移动尺寸；
83.4）左/右屏内的图像在智能终端左/右屏内向周边发生形变的幅度；
83.5）左/右屏内的图像在智能终端左/右屏内发生翻转的角度（翻转：指图像的一边向靠近用户的一侧翻转，和/或图像的另一边背向用户的一侧翻转）；即 左/右屏内的图像的一边在智能终端左/右屏内向靠近用户的一侧翻转的角度，和/或图像的另一边在智能终端左/右屏内背向用户的一侧翻转的角度；
83.6）左/右屏内的图像在智能终端左/右屏所在平面内发生转动的角度。
进一步的
83.6）所述自适应参数还包括左/右屏内的图像转动对应圆心的位置；
83.5）所述自适应参数还包括左/右屏内的图像翻转对应转轴的位置；
本实施例中步骤4）左眼视框和右眼视框的景像位置的调节方法如下：
如图1所示：图1是智能终端摄像头获得全画面，包括A区、B区、C区；智能终端左屏显示AB区，右屏显示BC区
克服刷新率的解决办法，即 运动过程中画面滞后的改善方法：
1）通过捕捉用户的运动趋势，计算运动速度，使画面向运动方向偏移画面。
原理：智能终端采用多镜头，一般具有广角功能，获得的视角比单只人眼更大，在智能终端屏幕程现的不是智能终端摄像头的全景，而是部份景像；如图1所示。
本实施例中，所述的捕捉用户的运动趋势是通过智能终端自带陀螺仪跟踪智能终端移动轨迹，并判定移动速度。
实施例2
如图3所示，如实施例1所述一种交互控制系统，所述智能终端摄像头获得的画面包括A1、A2、B1、B2、B3、C1、C2；智能终端左屏显示A2、B1、B2；智能终端右屏显示B2、B3、C1；
头显方法：
如图1-图3所示，O为观察点，S为现实场景的高度，S0为智能终端摄像头获得S的照片原始高度，S1是S0经缩放后的高度，S2是S1经凸透镜放大后的高度及位置；S上的任意点Sn与S2上Sn的像Sn2的联线均通过观察点O；
不同智能终端摄像头位置不同获得画面的大小不同，为了使用户真实看到的，和通过智能终端看到的大小及位置均相同，因此需要进行调节，调整方案可以是以下任一情形：
方案1：
头盔上设有智能终端的外接调节装置，对智能终端上的画面大小及画面位置进行调节。三个控键，一个画面大小调节，一个左眼视频内的画面位置调节，一个右眼视频内的画面位置调节。
方案2：
左右逐一单独与智能终端相接的镂空处，观察现实场景任意点S，通过调节控键，使S在画面上的像点S’与S重叠。
方案3：同厂家事先对各智能终端型号对应需调节的参数储存，或者通过下载或加载的方式，使智能终端上的画面位置及大小自动调节。
方案4：自动识别智能终端型号，并通过方案3加载对应参数，使智能终端上的画面位置及大小自动调节。
实施例3
如实施例1所述的一种采用AR交互控制装置的交互控制系统在游戏场所的应用；使交互控制系统的极限运动虚拟背景与游戏场所的现实地形地貌的结合；
进一步的所述在游戏场所的应用设有地貌定位和/或判断系统和/或标识类别系统；
所述标识类别系统包括以下一种或多种：
特效标识、
地貌标识、
掩体标识：具有抗打最高值和抗打剩余值；不同抗打剩余值特效颜色不同；当受打击值大于或等于抗打剩余值，掩体视为被催毁，特效呈现为相应无掩体能力的颜色。
应用1：1个或多个用户配戴本发明所述MR头戴式装置，均身装强磁套装；所有用户均在强磁空间，因强磁作用，用户均悬浮在强磁空间中；强磁空间的周边、地面、顶部均环布绿色材料或涂装成封闭绿色空间。
实施例4
如实施例1所述的一种采用AR交互控制装置的交互控制系统在旅游
的应用。
实施例5
如实施例1所述的一种采用AR交互控制装置的交互控制系统在远程培训上
的应用。
实施例6
如实施例1所述的一种采用AR交互控制装置的交互控制系统在导航上
的应用。
实施例7
如实施例1所述的一种采用AR交互控制装置的交互控制系统在共享资源上
的应用；
进一步的，与当地的特定建筑或标识或特种形状部位产生特效和虚拟物选择相结合。
实施例8
如实施例1所述的一种采用AR交互控制装置的交互控制系统在学校上
的应用。
上述实施例1-8所述的AR交互控制装置，还可以同时具有以下一个或多个优化方案：
优化方案1：
所述AR交互控制装置还设有一个或以上摄像头和一块或以上的显示屏幕；所述显示屏幕通过数据线连接于智能终端；所述摄像头设有横向和/或纵向调节装置；所述在智能终端即时播放现实景象的视频流的方法具体包括以下步骤：
1.1 利用智能终端摄像头和/或AR交互控制装置的摄像头获得现实场景的实时画面，在智能终端和显示屏幕上播放；
1.2根据不同智能终端的配置，缩放实时画面的成像倍数和/或左右眼透镜（或透镜组）的成像放大倍数，使得用户通过透镜观察到智能终端和显示屏幕内景物的大小，同用户直接用眼睛观察到现实景物的大小相同；
1.3根据不同智能终端的配置，调整智能终端屏幕内的画面在屏幕内的位置和/或左右眼透镜的位置和/或左右眼透镜光心与几何中心的相对位置，使用户通过智能终端屏幕内景物获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面；
1.4 调节AR交互控制装置的摄像头的位置，使得由AR交互控制装置的摄像头获得画面在智能终端和/或显示屏幕显示过程中，用户通过智能终端屏幕内景物获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
本优化方案重点在于通过在AR交互控制装置（头戴式成像装置）设置补充显示屏，提高解决智能终端视角，显然手机可以放置于AR交互控制装置的一侧，因此AR交互控制装置的显示屏幕可以是一块也可以是多块，补充视野包括左向、右向、仰视、俯视中的一个或多个；相应的，AR交互控制装置的显示屏幕包括向补充屏幕、右向补充屏幕、仰视补充屏幕、俯视补充屏幕中的一种或多种补充屏幕。
优化方案2：
所述AR交互控制装置设有智能终端的视角扩充装置，所述视角扩充装置为一个或多个透镜，使得现实场景相对智能终端显示的场景的面积比例大于未使用视角扩充装置时现实场景相对智能终端显示的场景的面积比例。
所述视角扩充装置满足包括但不仅于AR FOUNDATION在内的空间平面和/或图像识别工具识别现实场景中的平面不发生飘移。
所述在智能终端即时播放现实景象的视频流的方法对应包括以下步骤：
2.1 根据视角扩充装置对手机摄像头的成像比例，修正AR工具，所述AR工具包括但不仅于AR FOUNDATION在内的空间平面和/或点云识别工具，以实现所述空间平面和/或点云识别工具获得平面和/或点云不飘移。
优化方案3:
由于手机摄像头集中在一侧，因此对成像的修正需求，左视屏幕和右视屏幕并不一样，相应本优化方案包括：
3.1当对于手机摄像头位于AR交互控制装置左侧（手机屏幕面向用户），使左眼视框成像左移：使凹透镜的几何中心位于凹透镜光心的右侧，使凸透镜的几何中心位于凹透镜光心的左侧；或者
左眼视框的几何中心位于凹透镜光心的右侧，和/或左眼视框的几何中心位于凹透镜光心的左侧；
3.2 使右眼视框成像左移：使凹透镜的几何中心位于凹透镜光心的右侧，使凸透镜的几何中心位于凹透镜光心的左侧；或者
右眼视框的几何中心位于凹透镜光心的右侧，和/或右眼视框的几何中心位于凹透镜光心的左侧；
特别指出：左眼视框成像与右眼视框成像移动的方向相同，且左眼视框成像位移大于右眼视框成像位移。
3.1’当对于手机摄像头位于AR交互控制装置右侧（手机屏幕面向用户），使左眼视框成像右移：使凹透镜的几何中心位于凹透镜光心的左侧，使凸透镜的几何中心位于凹透镜光心的右侧；或者
左眼视框的几何中心位于凹透镜光心的左侧，和/或左眼视框的几何中心位于凹透镜光心的右侧；
3.2 ’使右眼视框成像右移：使凹透镜的几何中心位于凹透镜光心的左侧，使凸透镜的几何中心位于凹透镜光心的右侧；或者
右眼视框的几何中心位于凹透镜光心的左侧，和/或右眼视框的几何中心位于凹透镜光心的右侧；
左眼视框成像与右眼视框成像移动的方向相同，且右眼视框成像位移大于左眼视框成像位移。
实施例1-8还适用于以下方案
实施例9
一种AR系统的构建方法，包括以下步骤：
步骤1：通过手机或其它移动终端的摄像头获得现实场景在用户视场中的实时图像A；
步骤2：规定用户视场中的现实场景为封闭空间，判断所述封闭空间的边界在用户视场中的实时位置X；
步骤3：创建虚拟场景，所述虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X。
所述步骤1获得现实场景在用户视场中的实时图像的方法：
步骤1.1：在使用终端安装摄像头或使用具有摄像头的使用终端，并通过摄像头模拟用户眼睛实时拍摄现实场景。
或
步骤1.1’：在使用终端安装热成像仪或使用具有热成像仪的使用终端，并通过热成像仪模拟用户眼睛实时拍摄现实场景。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法1
步骤2.1：通过AR引擎ARFOUNDATION判断现实场景中的平面，并获得现实场景中的水平面和竖直面；
步骤2.2：创建判断边界规则；所述判断边界规原则包括：高于用户的水平面视为边界；位于步骤1所述实时图像边际的竖直面视为边界。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法2
步骤2.1’：通过点云引擎判断现实场景各位置的纵深信息；
步骤2.2’：创建判断边界规则；创建判断用户活动区域规则；所述判断边界规原则包括：位于步骤1所述实时图像中非用户活动区域的部份为边界。
通过创建判断用户活动区域规则判断边界规则，适用于本发明获得实时图像中边界的所有技术方案，因此不仅限于上述方法2。
《判断用户活动区域规则》如：
规则1：以使用终端为球心，球半径为R的区域为活动区域；
规则2：低于使用终端的所有平面在实时图像中覆盖的区域为活动区域。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法1：
步骤3.1：通过抠图法保留实时图像照片中用户所在指定区域的图像，抠除其它图像；
步骤3.2：将步骤3.1被抠除的图片区域置换为虚拟场景。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法2：
步骤3.1’：使虚拟场遮挡边界区域，而不遮挡活动区域。
进一步的，所述一种AR系统的构建方法还包括：
步骤4：允许现实场景作为一个整体在虚拟场景对应的坐标系内移动；使虚拟场景的不同部份按进程覆盖现实场景的边界，实现视觉效果为：通过用户视场具有现实场景作为一个整体在虚拟场景中移动。
再进一步的 所述步骤4的视觉效果包括：用户在现实场景中自移，现实场景在虚拟场景内公移。
更具体如：采用以下方案
1、通过手机或其它移动终端的摄像头获得现实场景的实时画面，使用ARFOUNDATION获得实时画面中的平面，且获得各水平面Sx；通过手机自带的陀螺仪任意指一个水平面为基准面，并获得现实场景实时画面中各平面相对于基准面的高度hx；通过手机自带的陀螺仪获得手机相对基准面所在高度h1，比手机所在平面低的水平面Sx,各水平面Sx覆盖区域Xy组成的集合X为用户最大活动区域，抠出参与用户所在区域的图像，参与用户可以是1个或多个；使得用户通过AR获得视场至少包括自身所在环境的最大活动区域的图像，
2、针对步骤1获得“用户最大活动区域的图像”与虚拟世界的图像进行叠加，使得用户在体验虚拟世界的同时，能看到自身所在现实的最大活动区域，具体表现在于用户虚拟世界活动过程中，尤其与虚拟世界的人或物互动过程中，可以直观判断自身行动是否可能存在碰撞现实的人或物；也便于用户可以直观感受其他用户就在身旁，如：安全感。
本实施例还可以增加以下一个或多个优化方案：
1、针对现实场景，优先解除用户活动区域上方的边界和一个竖面的边界；
2、规定的边界允许自定义，并允许封闭空间的边界不需要与现实场景的实际边界重合；
3、规定用户活动区域上方的边界离用户活动区域所在平面的高度为3米以上，面积10平方以上；
4、所述封闭空间的规定，包括规定用户活动空间与虚拟场景接壤的空间边界。
针对以上通过AR技术消除现实场景的边界后与虚拟场景的融合方法，继而使用户获得由消除边界后现实场景向虚拟场景延伸的视场；以下通过在旅游、游戏、教育等应用进一步说明本发明。
实施例10：
多组用户异地使用如实施例9所述一种AR系统的构建方法在同一虚拟场景内旅游的应用，
如图6所示第一组用户A、B、C、D共4个人在房间S内，房间S包括地面S2、墙体S1、房顶天花（未画出），并房间内摆放一台外置摄像机T1；
如图9所示第二组用户E、F、G共3个人在房间U内，房间U包括地面U2、墙体(仅画两面墙体)、房顶天花U3（仅画部份天花），并房间内摆放一台外置摄像机T2；
如图7所示，利用实施例9的技术方案，去除用户A、B、C、D视场中就房间S的边界：墙体S1及房顶天花，而在用户视场中保留用户活动区域S2；创建虚拟场景W连接活动区域S2的边际，使用户A、B、C、D均获得其他三个用户及活动区域S2在虚拟场景W内的视觉效果。
本应用具体包括：
1、旅游主题以全家同坐低空飞行器游玩，飞行器就是用户家里某处，如：客厅的沙发；
2、多个家庭参与：每个家庭在虚拟世界中各自为单位，在其它家庭看来就是在设有透明视窗的封闭航行器内的一家子；允许不同家庭在世界中相遇并交互；
2个或多个单位在虚拟世界的距离小于等于指定范围，两个单位的通信装置自动握手，并根据多方的距离由系统自动控制用户听到各方的音量，以仿生现实世界走的够近就能听到对方的声音的效果（同一现实环境内的用户：现实世界以一个整体，计为虚拟世界使坐标系中模块，不在同一现实环境内的用户以相应的模块在虚拟世界中交会并交互）。
3、允许进入虚拟世界的各家庭通过通信工具互动，相互引导，如：分享道路情况，推荐游玩领域；
4、允许现实世界的导游在后面了解各用户在世界中位置，并对其引导、介绍；本方法可适用于虚拟旅游公司构建新生态，使虚拟旅游具有市场生命力，即使虚拟旅游公司通过构建优质的虚拟景区，进行营利性为用户提供旅游服务；相比现实旅游，不仅具有现实旅游的全部优点，同时还具有安全、节省路途、灵活、低成本等无以伦比的优点。
本实施例中，对于任一用户的本地环境在虚拟环境设有两种形态：本地用户视场形态和远程用户视场形态。
图6为房间S内的用户对应本地用户视场形态（第一人称视角），该视场形态为没有边界的图像。
图8为房间S内的用户对应的远程用户视场形态为带视窗的封闭整体（如：飞船）；视窗内的影像为通过本地外置摄像头T1获得影像；是房间U内用户在两房间U和S在虚拟场景W内交会时（如图11所示），看到房间S内用户的影像。
实施例11：
一种AR系统的构建方法在游戏的应用，为了便于用户之间互动信息更完整，使用户之间的表情和肢体动作双方都能相互获得，本实施例包括以下步骤：
1）在用户活动空间使用一个或一个以上的摄像头，以采集用户的表情或动作或表情及动作；
或 在用户活动空间使用一个或一个以上的用户动作捕捉装置，以采集用户的表情或动作或表情及动作；
2）以本地用户为中心，对步骤1）中的摄像头获得画面进行抠图，形成远端用户影像，使得在其它用户的观看界面上，显示远端用户影像；远端用户影像的轮廓为所述抠图或经抠图变形获得或对抠图修正获得。在远端的用户看来，本地用户置身于一个透明保护球内。
如：用户X、摄像头X位于环境X，用户X配戴MR装置X；用户Y、摄像头Y位于环境Y，用户Y配戴MR装置Y；摄像头X、MR装置X、摄像头Y、MR装置Y数据连接本发明的同一人机互动系统。MR装置X设有MR装置视频处理器，功能包括：
①接收摄像头X获得画面
②连接摄像头X，使摄像头保持朝向用户X（MR装置X）
③对摄像头X的画面进行抠图处理，并经抠图信息上传至MR装置Y（或经中转发送到MR装置Y）；
本实施例中的摄像头X和/或Y显然可以有一个或多个。
本实施例中的抠图，显然不需要要求精确，如抠图轨迹为一个椭圆，用户的全部或主要肢体或用户可选的肢体均在椭圆内。当然椭图并不是唯一的抠图轨迹，比如还可以是圆或矩形等。
或
3）对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干（如：以人像为中心，通过抠图获得人像及人像周边一定范围的环境景像，从而减少抠图计算量，同时也不破坏人像的完整性；当然人像不一定是裁选获得画像的中心）。
4）系统识别用户表情或动作或表情及动作；并在其它用户的画面中创建一个虚拟角色，用户表情或动作或表情及动作映射为虚拟角色的表情或动作或表情及动作。
实施例12：
一种AR系统的构建方法在教育的应用，
A.通过摄像头获得学生及所在场所的实时图像；
B.对步骤A实时图像对应照片进行抠图，抠图获得学生就所学习对象实施的动作和/或正观注对象；
C.通过摄像头获得老师及所在场所的实时图像；
D.对步骤C实时图像对应照片进行抠图，抠图获得老师就教材实施的动作和/或正观注对象；
E.在学生屏幕上显示步骤B获得其他学生和D获得的老师的视频或照片，使每个学生看到其他学生及老师均与他/她在同一场所的视频效果
F.在老师屏幕上显示步骤B获得所有学生。
综上 本发明的重点在于提供三种技术方案，以实现集成虚拟现实与增强现实的优势，同时相互弥补劣势： （1）通过AR技术就现实场景所获得的视频进行抠图（如：去除边界，具体如：墙壁和天花板），结合虚拟场景的技术（使现实场景成为虚拟场景中的一部份，即虚拟场景为现实场景的外景） 1.1所述抠图用于去掉现实场景的边界，通过虚拟场景衔接没有边界的现实场景，从而极大拓宽用户的视野； 1.2所述抠图用于仅保留用户所需场景 （2）对不同环境下“用户现实场景的抠图”进行拼接，再融合到虚拟场景（各用户所在现实场景均在同一虚拟场景内，各用户所现实场景在虚拟景场中的距离，根据系统需要进行调整，不受真实距离的限制）的技术 将多处用户的现实场景进行抠图，集中在其中一个用户的现实场景（即 其他用户的现实场景都进入某一用户的现实场景）进行拼接的相关技术。
Claims (7)
1.一种AR交互控制系统，其特征在于：所述交互控制系统包括一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频上叠加虚拟角色和虚拟场景，所述增强现实方法具体包括以下步骤：
1.1 将智能终端屏幕分成左眼视框和右眼视框。
2.如权利要求1所述的一种AR交互控制系统，其特征在于：所述交互控制系统还包括以下步骤：
1.2利用智能终端摄像头获得现实场景的实时画面，在左眼视框和右眼视框同时播放；
1.3根据不同智能终端的配置，放大或缩小左眼视框和右眼视框视频的成像倍数，并分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物的大小，同用户直接用眼睛观察到的大小相同。
3.如权利要求1所述的一种AR交互控制系统，其特征在于，所述增强现实方法还包括：
根据不同智能终端的配置，调整左眼视框和右眼视框视频的成像分别在左眼视框和右眼视框的位置，使用户通过透镜观察到左眼视框和右眼视框获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
4.如权利要求1所述的一种AR交互控制系统，其特征在于：所述交互控制系统还包括成像滞后改善方法，所述成像滞后改善方法包括：
1.1 计算智能终端的运动趋势;
1.2使画面向运动方向偏移根据运动趋势获得位移差量。
5.如权利要求1所述的一种AR交互控制系统，其特征在于：所述人机到动方法还包括多人互动方法，所述多述互动方法涉及本地用户和异地用户，包括以下步骤：
1.1 异地用户通过当地摄像头获得异地用户的影像；
2.2将异地用户的影像作为虚拟角色叠加到本地用户的移动终端上，使得本地用户见到异地用户与同地用户同处于本地用户所在环境中。
6.如权利要求5所述的一种AR交互控制系统，其特征在于：步骤1.1还包括识别异地用户的人像；对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干。
7.如权利要求4所述的一种AR交互控制系统，其特征在于：步骤1.1在用户所在环境里，针对不可出现的景物采用上色技术，使得系统可以自动过滤用户背景。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010785017 | 2020-08-06 | ||
| CN2020107850178 | 2020-08-06 | ||
| CN2021106115831 | 2021-06-02 | ||
| CN202110611583 | 2021-06-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113941138A true CN113941138A (zh) | 2022-01-18 |
Family
ID=79327774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110903783.4A Pending CN113941138A (zh) | 2020-08-06 | 2021-08-06 | 一种ar交互控制系统、装置及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113941138A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114942716A (zh) * | 2022-05-11 | 2022-08-26 | 美的集团(上海)有限公司 | Vr场景建立方法及装置 |
| CN115097903A (zh) * | 2022-05-19 | 2022-09-23 | 深圳智华科技发展有限公司 | Mr眼镜控制方法、装置、mr眼镜及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884490A (zh) * | 2010-03-05 | 2013-01-16 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图 |
| CN107707902A (zh) * | 2011-02-22 | 2018-02-16 | 漳州市爵晟电子科技有限公司 | 一种成像放大方法及其运用 |
| CN107810634A (zh) * | 2015-06-12 | 2018-03-16 | 微软技术许可有限责任公司 | 用于立体增强现实的显示器 |
| CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| CN110187855A (zh) * | 2019-05-28 | 2019-08-30 | 武汉市天蝎科技有限公司 | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 |
-
2021
- 2021-08-06 CN CN202110903783.4A patent/CN113941138A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884490A (zh) * | 2010-03-05 | 2013-01-16 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图 |
| CN107707902A (zh) * | 2011-02-22 | 2018-02-16 | 漳州市爵晟电子科技有限公司 | 一种成像放大方法及其运用 |
| CN107810634A (zh) * | 2015-06-12 | 2018-03-16 | 微软技术许可有限责任公司 | 用于立体增强现实的显示器 |
| CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| CN110187855A (zh) * | 2019-05-28 | 2019-08-30 | 武汉市天蝎科技有限公司 | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114942716A (zh) * | 2022-05-11 | 2022-08-26 | 美的集团(上海)有限公司 | Vr场景建立方法及装置 |
| CN115097903A (zh) * | 2022-05-19 | 2022-09-23 | 深圳智华科技发展有限公司 | Mr眼镜控制方法、装置、mr眼镜及存储介质 |
| CN115097903B (zh) * | 2022-05-19 | 2024-04-05 | 深圳智华科技发展有限公司 | Mr眼镜控制方法、装置、mr眼镜及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106157359B (zh) | 一种虚拟场景体验系统的设计方法 | |
| CN102540464B (zh) | 提供环绕视频的头戴式显示设备 | |
| KR100809479B1 (ko) | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 | |
| US20090238378A1 (en) | Enhanced Immersive Soundscapes Production | |
| US10701344B2 (en) | Information processing device, information processing system, control method of an information processing device, and parameter setting method | |
| CN107016704A (zh) | 一种基于增强现实的虚拟现实实现方法 | |
| US20050275915A1 (en) | Multi-plane horizontal perspective display | |
| CN106710362A (zh) | 使用虚拟现实设备进行的飞行训练方法 | |
| CN106131530A (zh) | 一种裸眼3d虚拟现实展示系统及其展示方法 | |
| US20050219694A1 (en) | Horizontal perspective display | |
| CN104536579A (zh) | 交互式三维实景与数字图像高速融合处理系统及处理方法 | |
| CN109599047B (zh) | 一种基于ar技术的交互式导游解说系统 | |
| CN114401414B (zh) | 沉浸式直播的信息显示方法及系统、信息推送方法 | |
| CN110969905A (zh) | 混合现实的远程教学互动、教具互动系统及其互动方法 | |
| CN105894584A (zh) | 一种三维沉浸式环境下与现实环境交互的方法和装置 | |
| CN107810634A (zh) | 用于立体增强现实的显示器 | |
| CN113941138A (zh) | 一种ar交互控制系统、装置及应用 | |
| CN109901713B (zh) | 一种多人协同装配系统及方法 | |
| CN108830944B (zh) | 光学透视式三维近眼显示系统及显示方法 | |
| CN113035010A (zh) | 一种虚实场景结合视景系统及飞行模拟装置 | |
| CN108646776B (zh) | 一种基于无人机的成像系统和方法 | |
| WO2022127747A1 (zh) | 利用虚拟场景进行真实社交的方法及系统 | |
| CN115346025A (zh) | 一种ar交互控制系统、装置及应用 | |
| CN115423916A (zh) | 基于xr技术的沉浸式互动直播构建方法、系统及介质 | |
| CN111915736A (zh) | 一种ar交互控制系统、装置及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |