CN111915736A - 一种ar交互控制系统、装置及应用 - Google Patents
一种ar交互控制系统、装置及应用 Download PDFInfo
- Publication number
- CN111915736A CN111915736A CN202010785046.4A CN202010785046A CN111915736A CN 111915736 A CN111915736 A CN 111915736A CN 202010785046 A CN202010785046 A CN 202010785046A CN 111915736 A CN111915736 A CN 111915736A
- Authority
- CN
- China
- Prior art keywords
- user
- intelligent terminal
- control system
- frame
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 36
- 210000001508 eye Anatomy 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 230000003190 augmentative effect Effects 0.000 claims abstract description 15
- 230000002452 interceptive effect Effects 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 2
- 210000001061 forehead Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 description 50
- 230000014509 gene expression Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000002313 adhesive film Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000004310 photopic vision Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一本发明提供了一种AR交互控制系统，所述交互控制系统包括一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频上叠加虚拟角色和虚拟景像，所述增强现实方法具体包括以下步骤：1.1将智能终端屏幕分成左眼视框和右眼视框。1.2利用智能终端摄像头获得现实场景的即时视频，分别在左眼视框和右眼视框同时播放；1.3根据不同智能终端的配置，放大或缩小左眼视框和右眼视框视频的成像倍数，并分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物的大小，同用户直接用眼睛观察到的大小相同。
Description
技术领域
本发明涉及增强现实技术，尤其涉及增强现实与虚拟现实混合使用技术。
背景技术
传统增强现实及虚拟现实混合运用的头戴式眼镜。该技术方案存在以下问题：
1、传统方案1：直接通过智能终端摄像头获得现实场景，并智能终端显示屏中植入特效及虚拟对像，该方案用户从智能终端获得现实场景的大小及位置均与真实场景有很大的差别，互动的沉浸感不强。另外 对现实场景的位置判断需通过智能终端以外的视线来获得，因而因用户专注于与智能终端中虚拟角色的互动，而容易被忽略；因此用户很容易在互动过程中撞击到现实的人或物。
2、传统方案2：如图1所示，通过传统增强现实通过投影式获得AR视觉效果，受限于投影面积、及投影装置小，AR形成的画面极小，且画面分辩率很低（放大多倍），导致成本很高（成像显示端的分辩率要求极高）或者体验很差。
3、传统方案3：主要通过外接摄像头获得现实环境的影像，并通过事先设定的虚拟影像植入现实影像中，以获得增强现实的视觉效果。摄像头因获得视角及位置与用户眼球都有差异，因此成像设备就现实影像的画面与用户直接观看获得画面很难完全等同，因此用户无法通过成像设备准确判断现实物品、人物等真实位置（准确位置），因此在相对复杂的环境中无法安全体验“人机互动”的游戏或其它活动，如容易碰到现实世界的物品，因此无法体现复杂环境下的游戏或活动。更重要的是为了获得左右眼的立体纵深感受，需要通过两个摄像头分别仿生左右眼；而为了充分利用智能终端硬件的品质，外置的摄像头的像素及刷新率都决定成本居高不下。
发明内容
本发明旨在提供一种可以克服传统技术偏见，通过单个或单组摄像头或通过智能终端自带摄像头使用户依本能获得现实场景的真实大小及真实位置的头戴式MR眼镜及交互控制系统。
名词解释：
明视距离：就是在合适的照明条件下，眼睛最方便、最习惯的工作距离。最适合正常人眼观察近处较小物体的距离，约25厘米。这时人眼的调节功能不太紧张，可以长时间观察而不易疲劳。
智能终端：智能手机、IPA或共它集成显示功能、位置或运动变化可识别功能的便捷式设备。
所述位移差量指手机画面相应的现实景物所在位置与手机摄像头朝向的现实景物所在位置的差值。
标识贴：可以直接喷涂在游戏场所内，也可以用贴纸贴在游戏场所内。
为了实现上述目的，本发明采用了如下技术方案：
一种AR交互控制系统，其特征在于：所述交互控制系统采用一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频流上叠加虚拟角色和/或虚拟景像；所述在智能终端即时播放现实景象的视频流的方法具体包括以下步骤：
1.1 将智能终端屏幕分成左眼视框和右眼视框；
1.2利用智能终端摄像头获得现实场景的即时视频，分别在左眼视框和右眼视框同时播放；
1.3根据不同智能终端的配置，放大或缩小左眼视框和右眼视框视频的成像倍数，并分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物的大小，同用户直接用眼睛观察到的大小相同；
1.4根据不同智能终端的配置，调整左眼视框和右眼视框视频的成像分别在左眼视框和右眼视框的位置，使用户通过透镜观察到左眼视框和右眼视框获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
本发明还提供了另一种AR交互控制系统，其特征在于：所述交互控制系统采用一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频流上叠加虚拟角色和/或虚拟景像；所述在智能终端即时播放现实景象的视频流的方法具体包括以下步骤：
1.1 利用智能终端摄像头获得现实场景的即时视频流，在智能终端的屏幕上播放；使用户的左眼观看区的中心点位于左眼透镜光心的左侧，使用户的右眼观看区的中心点位于右眼透镜光心的左侧；
1.2根据不同智能终端的配置，放大或缩小即时视频流的成像倍数，并分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到智能终端屏幕内景物的大小，同用户直接用眼睛观察到现实景物的大小相同；
1.3根据不同智能终端的配置，调整智能终端屏幕内的画面在屏幕内的位置，使用户通过智能终端屏幕内景物获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
以上两种所述交互控制系统还采用成像滞后改善方法，所述成像滞后改善方法包括：
2.1 计算智能终端的运动趋势；
2.2使画面向运动方向偏移根据运动趋势获得位移差量，所述位移差量指手机画面相应的现实景物所在位置与手机摄像头朝向的现实景物所在位置的差值。
以上两种所述交互控制系统还采用多人互动方法，所述多述互动方法涉及本地用户和异地用户，包括以下步骤：
3.1 异地用户通过当地摄像头获得异地用户的影像；
3.2将异地用户的影像作为虚拟角色叠加到本地用户的移动终端上，使得本地用户见到异地用户与同地用户同处于本地用户所在环境中。
步骤3.1还包括识别异地用户的人像；对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干（如：以人像为中心，通过抠图获得人像及人像周边一定范围的环境景像，从而减不扣图计算量，同时也不破坏人像的完整性；当然人像不一定是裁选获得画像的中心）。
步骤3.1在用户所在环境里，针对不可出现的景物采用上色技术，使得系统可以自动过滤用户背景。
AR交互控制系统在游戏场所（如：公共盈利性游戏场所）的应用，其特征在于：
4.1 在游戏场所内使用一个或多个标识贴（所有标识贴都一样，或者部份标识贴不同，如游戏场所内共使用20个标识贴1、30个标识贴2），不同的标识贴或不同的标识贴组合与不同特效对应（如：三个标识贴1排成一字对应彩虹，三个标识贴1排成三角形对应雷电，一个标识2对应某个静止的靶子）；
4.2 所述特效包括造型可调特效和造型不可调特效，所述造型可调特效指特效的局部尺寸可调整；
不同可调整尺寸的局部与不同的指定标识贴对应，或与不同组合的指定标识贴对应；
4.3 在不改变标识贴位置的前提下，存在一个或多个标识贴或标识贴组合，关联多种特效；出现不同触发条件，显示不同特效；（如：在不同的指定时间点上，显示不同的指定特效；另外本技术方案是为了解决同一场游戏过程中，没有条件临时改变或全部改变实际摆件的位置，或调整标识贴的位置的问题。）
4.4 在不改变标识贴位置的前提下，多个标识贴组成的不同集合关联不同特效，出现不同触发条件，显示不同特效或不同特效组合；（标识贴1、3、5组合对应特效A的状态1，标识贴1、2、3、6组合对应特效A的状态2，标识贴1、2、3组合对应特效B的状态1，标识贴1、2、5组合对应特效B的状态2；在游戏进度1上显示特效A的状态1；在游戏进度2上显示特效A的状态2同时显示特效B的状态1）
4.3游戏场所内包括有：有触感需求景物，和无触感需求景物；
所述有触感需求景物由一个或多个基本块组成，各基本块不同拼接方法形成不同造型；实际景物造型与额定造型的差别通过特效修正；
所述有触感需求景物可移动；
所述无触感需求景物由一根或多根标识杆组成，在杆的不同位置贴上一个或多个指定标识贴，特效（如：瀑布）的不同部份与杆上的多个指定标识贴对匹配，并使特效（如：瀑布）的不同部份在杆上不同指定标识的相应位置上成像；
4.4所在述游戏场所的应用包括以下步骤：
4.4.1 用户配戴采用AR交互控制系统的头戴式VR眼镜；在游戏场所内使用一个或多个标识贴，系统通过摄像头识别标识贴，并通过AR交互控制系统使VR眼镜的视框中在标识贴相应位置产生特效；
4.4.2 根据游戏的场景需求，布置有触感需求景物；
4.4.3 根据游戏的场景需求，拼装有触感需求景物；
4.4.4 关联标识贴与一种或多种特效的对应关系，使得不同标识贴或不同的标识组合对应不同特效；并识别不同特效对应的标识贴或标识贴组成，在VR眼镜的显示器上显示不同的指定特效，尤其是在指定位置上以指定朝向显示指定特效；
4.4.5关联标识贴与同一造型可调特效的一个或多个尺寸可调的局部的对应关系，使得不同标识贴或不同的标识组合对应不同局部或不同局部尺寸；并识别不同特效对应的标识贴或标识贴组成，在VR眼镜的显示器上显示造型可调特效，尤其是在指定位置上以指定朝向显示造型可调特效；
4.4.6 在不同游戏进度上，选择性显示部份特效；使系统识别景物上不同的标识贴，并对指定标识贴产生指定特效，在VR眼镜的显示器上显示不同特效或不同特效组合；
4.4.7在不同游戏进度上，选择性显示部份造型可调特效，在VR眼镜的显示器上显示的造型可调特效在精准位置上发生指定变化。
所述AR交互控制系统应用在旅游领域上。
所述的一种AR交互控制系统应用在培训服务上。
所述的一种AR交互控制系统在导航的应用。
运用所述的一种AR交互控制系统，使即时获得的共享资源与当地的特定建筑或标识或特种形状部位关联，并在指定位置显示共享资源对应的特效和虚拟物。
所述的一种AR交互控制系统在学校的应用。
有益之处：
1、本发明通过利用智能终端摄像头或单个或单组摄像头，使用户能凭本能直观获得真实世界景物的大小和位置，即 用户通过本发明观看到的景物，与直接通过自身眼睛观看到景物的大小和位置均相同。而虚拟角色与现实景像完全混合一起，用户会将真实景像作为虚拟世界的一部份，或者说 将虚拟角色当作处于现实中，因此与虚拟角色互动过程，会本能且直观的规避现实物品或人等任意有形主体。该方案大大提升人机互动主题设计范围。
2、本发明无需通过外置摄像头，仅通过普通低成本的光学成像器件，如：凸透镜，因此成本低、重量轻。
3、本发明通过事先储备各智能终端型号所对应的画面参数，并通过自动识别智能终端型号，使得用户可以极简便的方式，直接获得本发明目的对应的视觉体验。
附图说明
图1为实施例1的成像示意图；
图2为本实施例1观看示意图；
图3为实施例1手机景像与现实景像拼接示意图；
图4为本实施例1智能终端屏幕播放区画面示意图；
图5为本实施例2智能终端屏幕播放区画面示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
（参照图1-4）所示的一种外装智能终端的AR交互控制装置，所述AR交互控制装置包括壳体总成1、透镜3；所述壳体总成1在装配智能终端的位置上，设有智能终端摄像头的镂空部和/或透明部（使壳体总成1满足智能终端至少一个摄像头不被遮挡），使得智能终端摄像头可以直接获得现实世界的景像，并在手机屏幕的播放区即时显示；所述壳体总成1在智能终端的装配位上设有手机夹持装置2；所述壳体总成1设有手机屏幕的观察窗口4，所述观察窗口4包括左视观看区41和右视观看区42；所述透镜3安装于观察窗口4内。
本实施例还采用了以下一个或多个优化方案：
方案1：为了实现手机景像与现实景像的良好拼接，本实施例还采用了：
在壳体总成1上在用户左眼的左侧及右眼的右侧镂空或透明，使得用户的左眼可以从壳体总成1左侧的镂空处和/或透明处，右眼可以从壳体总成1右侧的镂空处和/或透明处观看现实景像。所述壳体总成1在用户双眼的下方镂空或透明，使得用户可以从壳体总成1下端的镂空处和/或透明处观看现实景像，继而使用户从壳体总成1的镂空处和/或透明处观察到的景像与从设备获得景像形成连接。
进一步的，所述透镜3中部为凸透镜31，周边为平面镜32，使用户连续透过平面镜32及壳体总成上的透明处和/镂空处，直接观看现实景像。
方案2：为了最大化提高屏幕播放区在智能终端屏幕上的占比，同时也为实现手机屏幕播放区的边沿至壳体外轮廓之间的部份均不会落在用户视野内，本实施例还采用了：经过观察区且经透镜3折射后的光线均投照在手机屏幕上，手机屏幕播放区内任意点的光线且经透镜3折射后均投照在观察区内；所述观察区指的是用户佩戴MR眼镜状态下，眼球的活动区域。
进一步的，所述透镜3中部为凸透镜31，周边为平面镜32；经过观察区且经凸透镜31折射后的光线均投照在手机屏幕上，手机屏幕播放区内任意点的光线且经凸透镜31折射后均投照在观察区内；
进一步的 经过观察区且经平面镜32出射后的光线均不投照在手机屏幕的播放区上，手机屏幕播放区内任意点的光线且经平面镜32出射后均不投照在观察区内；
进一步的，智能终端屏幕播放区可见部份的最外点B与观察点S连接线BS与凸透镜OD相交于点C，CD部份为平面透镜，OC部份为凸透镜。
原理：
（1）如图 所示，CD部份为平面透镜，使得夹持装置不会出现在用户的视野内，尤其使用户通过平面透镜观看到的现实景像与智能终端可见屏幕（未被夹持装置遮挡）中景像相互拼接。继而使用户获得无限接近于肉眼直接观看现实景像所具有视角（广角），而不受限于智能终端屏幕、凸透镜等因素的约束。
（2）智能终端屏幕与现实景像的拼接
如图3所示，智能终端上半部MB,智能终端上半部的夹持装置AB,组成的MAB位于凸透镜OD的1倍焦距与2倍焦距之间，通过凸透镜OD，MAB的像M’A’B’与MAB位于凸透镜OD的同侧，且为放大的虚像。
如图4所示,S为观察点，即用户眼睛的位置;夹持装置的最外点B位于智能终端屏幕可见部份的最外点A的像点A’与观察点S连接线A’S朝向智能终端中心线OS的一侧，使得MAB在同一截面上仅与A’S相交于一点B，或者不相交;由此实现非智能终端可见屏幕以外的本装置，均不会落在用户的视野内；包括：夹持装置AB的像不落在用户的视野内（用户从凸透镜看不到AB的像），和夹持置不落在用户的视野内（用户从凸透镜以外的方向看不到夹持装置）。
如图5所示，A”M”是智能终端获得画面AM对应的现实世界的景像，将用户直接用眼睛可以观看到的现实世界分为A”M”部份，和XX部份；所述凸透镜OD的最外点D落在A’S上，使得用户通过凸透镜OD以外视角观看到的刚好是A”M”以外的现实世界，即XX部份。因此可实现A”M”部份，和XX部份的完整性拼接，继而实现无限缩小：用户直接用眼睛观看与戴本实施例装置观看现实世界在完整性上的差别。
****显然凸透镜的周向不一定都是平面透镜，只需：通过平面透镜与壳体总成1的相邻部位连接固定。
****用户能观看到现实世界的大小是特定的，智能终端的广角也是特定的，由确定的因素来推导不确定的因素；广角确定---A”M”部份确定（高度），凸透镜OD出厂后，高度及焦距也确定（开模时，焦距及高度应尽可能符合绝大多数智能终端的配置：广角和屏幕尺寸），然后通过调节凸透镜OD位置及观察位置获得适应不同机型。
方法1：
1)确定垂直方向的视野，如：向上27度以内；
2)确定智能终端屏幕成像距离，即 人眼观察距离，如：250mm；
3)选定凸透镜的焦距及直径，如：50mm及40mm；
4)通过以上原则，确定凸透镜的位置；
连接线BS朝向智能终端中心线OS的一侧；
方法2：
根据1/f1=1/u1-1/v1，已知：u(物)/v=32.5/60，f=50得出：
U=0.54v，1/u-1/v=0.85/v=0.02得出：v=42.5,u=22.95
假设v=1.1u，
1/f=0.09/u 因此u=0.09f
凸透镜紧靠于凹透镜，光心间距为10mm，v1+10=u2，观察点到凹透镜光心的距离15mm，v2=250-15=235mm
1/f1=1/u1-1/v1，f1=50mm
-1/f2=1/u2-1/v2，f2=100，所以可求得u2
智能终端拍照，获得的画面中，存在不同距离的物，所形成的纵深是特定的；因此摄像头离眼睛越近，获得真实感越强；
放大倍数小（像距与物距的比值小），像距远。
方案3：为了提升观看视角，即提高从智能终端（如：手机）观看现实世界的范围，本实施例还采用了屏幕分区方案或屏幕不分区方案：
方案3.1：屏幕分区方案
将智能终端的屏幕分为左眼视窗和右眼视窗；
进一步的，左眼视窗和右眼视窗的画面的重叠部份分别为红、蓝通道格式或蓝、红通道格式，所述凸透镜31包括左眼凸透镜和右眼凸透镜，所述左眼凸透镜在能且只能看到左眼视窗中被右眼视窗叠置的部份上设为滤光镜，使得用户通过左眼凸透镜仅能看到左眼视窗的画面且是全画面，而看不到右眼视窗的画面；所述右眼凸透镜在能且只能看到右眼视窗中被左眼视窗叠置的部份上设为滤光镜，使得用户通过右眼凸透镜仅能看到右眼视窗的画面且是全画面，而看不到左眼视窗的画面。
上述滤光镜的实施方案；如在凸透镜31上分别使用红蓝贴膜。
方案3.2：屏幕不分区方案
左眼观看区的中心位于左眼透镜光心左侧，右眼观看区的中心位于右眼透镜光心右侧。
本3.2方案也可以与3.1结合，作为优化方案进一步提高观察视角，尤其是手机广角大于人眼单眼视角时。
一种采用上述AR交互控制装置的交互控制系统，其中所述智能终端采用华为P40PRO，采用焦距为50mm的凸透镜OD，智能终端屏幕到凸透镜OD的距离为35-45mm（物距35-45mm）；所述交互控制系统通过华为智能终端P40PRO的摄像头获得现实景象A“M”的画面AMa，并在智能终端即时播放现实景象A“M”的视频AMa，并在现实景象视频AMa上叠加虚拟角色和虚拟景像，包括以下步骤：
1）将智能终端屏幕分成左眼视框和右眼视框；
2）利用智能终端摄像头获得现实场景的即时视频AMa，分别在左眼视框和右眼视框同时播放；
3）缩放左眼视框和右眼视框视频的成像AM的尺寸为通过摄像头直接获得成像AMa尺寸的0.4-0.5倍，分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物AM的大小，同用户直接用眼睛观察到的A“M”大小相同；
4）调整左眼视框和右眼视框视频的成像AM分别在左眼视框和右眼视框的位置，使用户通过透镜观察到左眼视框和右眼视框内景物获得景物AM与用户的相对位置，分别同用户直接用左眼睛与右眼睛观察到的景物A“M”与自己的相对位置相同。
本实施例中，用智能终端后置摄像头获得真实世界的景物A“M”，通过前置摄像头获得AR虚拟角色及特效及随智能终端移动或转动的功能。并使前置摄头景像、后置摄头景像、AR景像按由底向外叠置。
为了便于用户之间互动信息更完整，使用户之间的表情和肢体动作双方都能相互获得，本实施例的多人参与的交互控制系统还包括以下步骤：
5）在用户活动空间使用一个或一个以上的摄像头，以采集用户的表情或动作或表情及动作；
或 在用户活动空间使用一个或一个以上的用户动作捕捉装置，以采集用户的表情或动作或表情及动作；
进一步的，本实施例还提供了多人参与的交互控制系统，具体还包括以下步骤：
6）以本地用户为中心，对步骤5）中的摄像头获得画面进行抠图，形成远端用户影像，使得在其它用户的观看界面上，显示远端用户影像；远端用户影像的轮廓为所述抠图或经抠图变形获得或对抠图修正获得。在远端的用户看来，本地用户置身于一个透明保护球内。
如：用户X、摄像头X位于环境X，用户X配戴MR装置X；用户Y、摄像头Y位于环境Y，用户Y配戴MR装置Y；摄像头X、MR装置X、摄像头Y、MR装置Y数据连接本发明的同一人机互动系统。MR装置X设有MR装置视频处理器，功能包括：
1）接收摄像头X获得画面
2）连接摄像头X，使摄像头保持朝向用户X（MR装置X）
3）对摄像头X的画面进行抠图处理，并经抠图信息上传至MR装置Y（或经中转发送到MR装置Y）；
本实施例中的摄像头X和/或Y显然可以有一个或多个。
本实施例中的抠图，显然不需要要求精确，如抠图轨迹为一个椭圆，用户的全部或主要肢体或用户可选的肢体均在椭圆内。当然椭图并不是唯一的抠图轨迹，比如还可以是圆或矩形等。
或
对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干（如：以人像为中心，通过抠图获得人像及人像周边一定范围的环境景像，从而减不扣图计算量，同时也不破坏人像的完整性；当然人像不一定是裁选获得画像的中心）。
7）系统识别用户表情或动作或表情及动作；并在其它用户的画面中创建一个虚拟角色，用户表情或动作或表情及动作映射为虚拟角色的表情或动作或表情及动作；
8）采用自适应技术：识别根据不同智能终端的配置，自动调整调整左右屏画面缩放比例及所摄像头获得画面在左右屏画面的位置
其中
识别根据不同智能终端的配置的方法可以是以下任一一种：
81.1）采用事先设置，对智能终端类型、品牌、型号逐一测试，并获得不同类型、品牌、型号的智能终端（如：智能手机）的自适应参数；
81.2）APP启动后，并在用户体验发明人机互动产品前，APP使系统自行测试本智能终端的自适应参数。
82.1）APP自动识别智能终端类型、品牌、型号；
82.2）用户手动输入；
自适应参数包括以下一种或多种：
83.1）摄像机获得的原图与左/右屏图像比例；
83.2）左/右屏内的图像在智能终端左/右屏内向水平方向移动尺寸；
83.3）左/右屏内的图像在智能终端左/右屏内向垂直方向移动尺寸；
83.4）左/右屏内的图像在智能终端左/右屏内向周边发生形变的幅度；
83.5）左/右屏内的图像在智能终端左/右屏内发生翻转的角度（翻转：指图像的一边向靠近用户的一侧翻转，和/或图像的另一边背向用户的一侧翻转）；即 左/右屏内的图像的一边在智能终端左/右屏内向靠近用户的一侧翻转的角度，和/或图像的另一边在智能终端左/右屏内背向用户的一侧翻转的角度；
83.6）左/右屏内的图像在智能终端左/右屏所在平面内发生转动的角度。
进一步的
83.6）所述自适应参数还包括左/右屏内的图像转动对应圆心的位置；
83.5）所述自适应参数还包括左/右屏内的图像翻转对应转轴的位置；
本实施例中步骤4）左眼视框和右眼视框的景像位置的调节方法如下：
如图1所示：图1是智能终端摄像头获得全画面，包括A区、B区、C区；智能终端左屏显示AB区，右屏显示BC区
克服刷新率的解决办法，即 运动过程中画面滞后的改善方法：
1）通过捕捉用户的运动趋势，计算运动速度，使画面向运动方向偏移画面。
原理：智能终端采用多镜头，一般具有广角功能，获得的视角比单只人眼更大，在智能终端屏幕程现的不是智能终端摄像头的全景，而是部份景像；如图1所示。
本实施例中，所述的捕捉用户的运动趋势是通过智能终端自带陀螺仪跟踪智能终端移动轨迹，并判定移动速度。
实施例2
如图3所示，如实施例1所述一种交互控制系统，所述智能终端摄像头获得的画面包括A1、A2、B1、B2、B3、C1、C2；智能终端左屏显示A2、B1、B2；智能终端右屏显示B2、B3、C1；
头显方法：
如图1-图3所示，O为观察点，S为现实景像的高度，S0为智能终端摄像头获得S的照片原始高度，S1是S0经缩放后的高度，S2是S1经凸透镜放大后的高度及位置；S上的任意点Sn与S2上Sn的像Sn2的联线均通过观察点O；
不同智能终端摄像头位置不同获得画面的大小不同，为了使用户真实看到的，和通过智能终端看到的大小及位置均相同，因此需要进行调节，调整方案可以是以下任一情形：
方案1：
头盔上设有智能终端的外接调节装置，对智能终端上的画面大小及画面位置进行调节。三个控键，一个画面大小调节，一个左眼视频内的画面位置调节，一个右眼视频内的画面位置调节。
方案2：
左右逐一单独与智能终端相接的镂空处，观察现实景像任意点S，通过调节控键，使S在画面上的像点S’与S重叠。
方案3：同厂家事先对各智能终端型号对应需调节的参数储存，或者通过下载或加载的方式，使智能终端上的画面位置及大小自动调节。
方案4：自动识别智能终端型号，并通过方案3加载对应参数，使智能终端上的画面位置及大小自动调节。
实施例3
如实施例1所述的一种采用AR交互控制装置的交互控制系统在游戏场所的应用；使交互控制系统的极限运动虚拟背景与游戏场所的现实地形地貌的结合；
进一步的所述在游戏场所的应用设有地貌定位和/或判断系统和/或标识类别系统；
所述标识类别系统包括以下一种或多种：
特效标识、
地貌标识、
掩体标识：具有抗打最高值和抗打剩余值；不同抗打剩余值特效颜色不同；当受打击值大于或等于抗打剩余值，掩体视为被催毁，特效呈现为相应无掩体能力的颜色。
应用1：1个或多个用户配戴本发明所述MR头戴式装置，均身装强磁套装；所有用户均在强磁空间，因强磁作用，用户均悬浮在强磁空间中；强磁空间的周边、地面、顶部均环布绿色材料或涂装成封闭绿色空间。
实施例4
如实施例1所述的一种采用AR交互控制装置的交互控制系统在旅游
的应用。
实施例5
如实施例1所述的一种采用AR交互控制装置的交互控制系统在远程培训上
的应用。
实施例6
如实施例1所述的一种采用AR交互控制装置的交互控制系统在导航上
的应用。
实施例7
如实施例1所述的一种采用AR交互控制装置的交互控制系统在共享资源上
的应用；
进一步的，与当地的特定建筑或标识或特种形状部位产生特效和虚拟物选择相结合。
实施例8
如实施例1所述的一种采用AR交互控制装置的交互控制系统在学校上
的应用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种AR交互控制系统，其特征在于：所述交互控制系统包括一增强现实方法，所述增强现实方法是通过智能终端摄像头获得现实景象，并在智能终端即时播放现实景象的视频，并在现实景象视频上叠加虚拟角色和虚拟景像，所述增强现实方法具体包括以下步骤：
1.1 将智能终端屏幕分成左眼视框和右眼视框。
2.如权利要求1所述的一种AR交互控制系统，其特征在于：所述交互控制系统还包括以下步骤：
1.2利用智能终端摄像头获得现实场景的即时视频，分别在左眼视框和右眼视框同时播放；
1.3根据不同智能终端的配置，放大或缩小左眼视框和右眼视框视频的成像倍数，并分别与左眼透镜和右眼透镜匹配，使得用户通过透镜观察到左眼视框和右眼视框内景物的大小，同用户直接用眼睛观察到的大小相同。
3.如权利要求1所述的一种AR交互控制系统，其特征在于，所述增强现实方法还包括：
1.4根据不同智能终端的配置，调整左眼视框和右眼视框视频的成像分别在左眼视框和右眼视框的位置，使用户通过透镜观察到左眼视框和右眼视框获得虚拟景物与用户的相对位置，同用户直接用眼睛观察到的现实景物与自己的相对位置相同；所述虚拟景物是智能终端摄像头获得现实景物的画面。
4.如权利要求1所述的一种AR交互控制系统，其特征在于：所述交互控制系统还包括成像滞后改善方法，所述成像滞后改善方法包括：
2.1 计算智能终端的运动趋势;
2.2使画面向运动方向偏移根据运动趋势获得位移差量。
5.如权利要求1所述的一种AR交互控制系统，其特征在于：所述人机到动方法还包括多人互动方法，所述多述互动方法涉及本地用户和异地用户，包括以下步骤：
3.1 异地用户通过当地摄像头获得异地用户的影像；
3.2将异地用户的影像作为虚拟角色叠加到本地用户的移动终端上，使得本地用户见到异地用户与同地用户同处于本地用户所在环境中。
6.如权利要求5所述的一种AR交互控制系统，其特征在于：步骤3.1还包括识别异地用户的人像；对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干。
7.如权利要求4所述的一种AR交互控制系统，其特征在于：步骤3.1在用户所在环境里，针对不可出现的景物采用上色技术，使得系统可以自动过滤用户背景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010785046.4A CN111915736A (zh) | 2020-08-06 | 2020-08-06 | 一种ar交互控制系统、装置及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010785046.4A CN111915736A (zh) | 2020-08-06 | 2020-08-06 | 一种ar交互控制系统、装置及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915736A true CN111915736A (zh) | 2020-11-10 |
Family
ID=73286555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010785046.4A Pending CN111915736A (zh) | 2020-08-06 | 2020-08-06 | 一种ar交互控制系统、装置及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915736A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884490A (zh) * | 2010-03-05 | 2013-01-16 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图 |
| US20150371447A1 (en) * | 2014-06-20 | 2015-12-24 | Datangle, Inc. | Method and Apparatus for Providing Hybrid Reality Environment |
| CN106648322A (zh) * | 2016-12-21 | 2017-05-10 | 广州市动景计算机科技有限公司 | 与虚拟对象进行互动操作的触发方法、装置和系统 |
| CN106997617A (zh) * | 2017-03-10 | 2017-08-01 | 深圳市云宙多媒体技术有限公司 | 混合现实虚拟呈现方法及装置 |
| CN108124150A (zh) * | 2017-12-26 | 2018-06-05 | 歌尔科技有限公司 | 虚拟现实头戴显示设备及通过其观察真实场景的方法 |
| CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
| CN108845670A (zh) * | 2018-06-27 | 2018-11-20 | 苏州馨镜家园软件科技有限公司 | 一种基于体感设备的在线虚拟健身娱乐系统及方法 |
| CN109194951A (zh) * | 2018-11-12 | 2019-01-11 | 京东方科技集团股份有限公司 | 头戴显示设备的显示方法和头戴显示设备 |
| US20190054379A1 (en) * | 2017-08-17 | 2019-02-21 | Disney Enterprises, Inc. | Augmented reality (ar) gaming system with sight lines to other players |
| CN110365995A (zh) * | 2019-07-22 | 2019-10-22 | 视云融聚（广州）科技有限公司 | 在视频中融合增强现实标签的流媒体服务方法及系统 |
-
2020
- 2020-08-06 CN CN202010785046.4A patent/CN111915736A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884490A (zh) * | 2010-03-05 | 2013-01-16 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图 |
| US20150371447A1 (en) * | 2014-06-20 | 2015-12-24 | Datangle, Inc. | Method and Apparatus for Providing Hybrid Reality Environment |
| CN106648322A (zh) * | 2016-12-21 | 2017-05-10 | 广州市动景计算机科技有限公司 | 与虚拟对象进行互动操作的触发方法、装置和系统 |
| CN106997617A (zh) * | 2017-03-10 | 2017-08-01 | 深圳市云宙多媒体技术有限公司 | 混合现实虚拟呈现方法及装置 |
| US20190054379A1 (en) * | 2017-08-17 | 2019-02-21 | Disney Enterprises, Inc. | Augmented reality (ar) gaming system with sight lines to other players |
| CN108124150A (zh) * | 2017-12-26 | 2018-06-05 | 歌尔科技有限公司 | 虚拟现实头戴显示设备及通过其观察真实场景的方法 |
| CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
| CN108845670A (zh) * | 2018-06-27 | 2018-11-20 | 苏州馨镜家园软件科技有限公司 | 一种基于体感设备的在线虚拟健身娱乐系统及方法 |
| CN109194951A (zh) * | 2018-11-12 | 2019-01-11 | 京东方科技集团股份有限公司 | 头戴显示设备的显示方法和头戴显示设备 |
| CN110365995A (zh) * | 2019-07-22 | 2019-10-22 | 视云融聚（广州）科技有限公司 | 在视频中融合增强现实标签的流媒体服务方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭占涛;: "浅谈虚拟现实技术的发展现状", 科研信息化技术与应用, no. 05, 20 September 2017 (2017-09-20), pages 76 - 81 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11651565B2 (en) | Systems and methods for presenting perspective views of augmented reality virtual object | |
| KR100809479B1 (ko) | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 | |
| CN102540464B (zh) | 提供环绕视频的头戴式显示设备 | |
| CN105103034B (zh) | 显示器 | |
| EP3779559A1 (en) | Head-mounted display, and display screen, head-mounted bracket and video thereof | |
| WO2019041614A1 (zh) | 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法 | |
| CN104483753A (zh) | 自配准透射式头戴显示设备 | |
| CN106162203A (zh) | 全景视频播放方法、播放器与头戴式虚拟现实设备 | |
| CN203746012U (zh) | 一种三维虚拟场景人机交互立体显示系统 | |
| CN107810634A (zh) | 用于立体增强现实的显示器 | |
| CN108428375A (zh) | 一种基于增强现实的教学辅助方法及设备 | |
| CN102929091A (zh) | 数字球幕立体电影的制作方法 | |
| CN106168855A (zh) | 一种便携式mr眼镜、手机和mr眼镜系统 | |
| CN113941138A (zh) | 一种ar交互控制系统、装置及应用 | |
| CN108646776B (zh) | 一种基于无人机的成像系统和方法 | |
| CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
| CN110244837A (zh) | 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法 | |
| KR20090078085A (ko) | 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법 | |
| CN106408666A (zh) | 混合现实实境演示方法 | |
| CN111915736A (zh) | 一种ar交互控制系统、装置及应用 | |
| CN107888900A (zh) | 一种全视差三维显示的投影机器人及该机器人的投影方法 | |
| CN111736692B (zh) | 显示方法、显示装置、存储介质与头戴式设备 | |
| CN108696740A (zh) | 一种基于增强现实的直播方法及设备 | |
| US20170163932A1 (en) | Head-wearable apparatus, 3d video call system and method for implementing 3d video call | |
| CN115346025A (zh) | 一种ar交互控制系统、装置及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |