CN108646578A - 一种无介质浮空投影虚拟画面与现实交互技术 - Google Patents
一种无介质浮空投影虚拟画面与现实交互技术 Download PDFInfo
- Publication number
- CN108646578A CN108646578A CN201810400334.6A CN201810400334A CN108646578A CN 108646578 A CN108646578 A CN 108646578A CN 201810400334 A CN201810400334 A CN 201810400334A CN 108646578 A CN108646578 A CN 108646578A
- Authority
- CN
- China
- Prior art keywords
- real
- control
- wifi
- mobile phone
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000007667 floating Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 39
- 230000002452 interceptive effect Effects 0.000 claims abstract description 8
- 238000005266 casting Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 101000743596 Homo sapiens Vacuolar protein sorting-associated protein 26C Proteins 0.000 claims description 7
- 102100038397 Vacuolar protein sorting-associated protein 26C Human genes 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000004378 air conditioning Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 11
- 230000027455 binding Effects 0.000 description 9
- 238000009739 binding Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种无介质浮空投影虚拟画面与现实交互技术，该交互技术是基于体感或语音识别技术以及无介质浮空投影技术实现无介质浮空投影虚拟画面与现实交互，实现虚拟世界位置与现实位置的匹配，具体实现过程中还使用了SLAM技术、事先设定技术或实时矫正技术；交互技术采用位置判决装置来判定虚拟与现实位置的一致性，然后根据虚拟与现实位置的关系触发不同的应用；本发明实现了以无介质空中成像为基础，利用软件与硬件相结合，将虚拟画面与现实中的物件连接互动的功能，本发明属于一种全新的智能家居控制系统，提供了一种新的交互体验和方式。
Description
技术领域
本发明属于虚拟现实技术领域，具体的说是涉及一种无介质浮空投影虚拟画面与现实交互技术。
背景技术
随着科技的发展，虚拟现实技术的发展越来越快，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中，虚拟现实技术可以构建虚拟的世界，而不能与现实世界互动。现有技术中常用的通讯配网方式通常包括Soft AP软路由模式和Smart config一键配置模式。
如图1所示，Soft AP模式是将智能硬件切换成Soft AP软路由的配网方式，智能硬件处于Soft AP模式，手机处于station模式，手机连接智能硬件的Soft AP后组成局域网。手机和智能硬件就可以建立socket通信，两者之间就可以进行数据的交互，手机获取WIFI路由器列表，选择指定的路由器的ssid并输入登录密码，智能硬件收到ssid和密码之后，将联网模式从Soft AP模式自动切换成station模式，然后智能硬件就主动连接路由器，登陆云端，将手机Wifi设置成和智能硬件一样的路由器ssid和密码。手机和智能硬件同时连接同一个路由器，智能硬件将身份识别码和App注册ID提交给云服务器，从而实现智能硬件和手机的绑定，至此以后两者就可以交互了，手机通过2G/3G/4G/Wifi网络可以控制智能硬件。Soft AP模式的优点为配网相当稳定，几乎能够达到100％的配网成功率。但是Soft AP模式的缺点有：操作比较复杂，Soft AP模式需要手动切换手机的Wifi连接网络，先连接智能硬件的AP网络，配置完成后再恢复连接正常Wifi网络；仅适合室内有Wifi网络环境的应用场景。
如图2所示，Smart config一键配置模式是源自TI半导体的Smart config，其原理其实很简单，将智能硬件切换成Smart config一键配置的配网方式，手机正常连接到Wifi路由器，手机App发送带有该路由器经过加密的ssid和密码的udp广播包，内置Smartconfig 功能的Wifi模块拥有monitor监听模式，可以抓取空中的广播包，Wifi模块扫描出当前的可以连接的所有路由器处于哪个信道，并对这些信道分别监听，然后收到了经过加密的手机端发送的广播包后，解密出来就是可以连接的路由器ssid和密码，将连接模式从监听模式切换成station模式，主动连接路由器，登陆云端。手机和智能硬件同时连接同一个路由器，智能硬件将身份识别码和App注册ID提交给云服务器，从而实现智能硬件和手机的绑定，至此以后两者就可以交互了，手机通过2G/3G/4G/Wifi网络可以控制智能硬件。Smart config一键配置模式的优点是操作简单，其缺点有：由于路由器品牌及手机品牌众多，存在一定的兼容性问题，配网会有一定的失败率，仅适合室内有Wifi网络环境的应用场景。
发明内容
本发明为了克服现有技术存在的不足，提供一种无介质浮空投影虚拟画面与现实交互技术，该交互技术实现了以无介质空中成像为基础，利用软件与硬件相结合，将虚拟画面与现实中的物件连接互动的功能。
本发明是通过以下技术方案实现的：一种无介质浮空投影虚拟画面与现实交互技术，该交互技术是基于体感或语音识别技术以及无介质浮空投影技术实现无介质浮空投影虚拟画面与现实交互，实现虚拟世界位置与现实位置的匹配，具体实现过程中还使用了SLAM技术、事先设定技术或实时矫正技术；交互技术采用位置判决装置来判定虚拟与现实位置的一致性，然后根据虚拟与现实位置的关系触发不同的应用；无介质浮空投影虚拟画面与现实交互技术的实现过程具体为：首先将显示装置倒放在DCRA光学元件或SMA光学元件下方，在空中形成虚拟画面，通过语音或手势选择控制的模块，通过手势控制或语音来操作控制软件，然后经过语音识别或手势识别后，控制软件通过红外、蓝牙、Wifi或zigbee技术发送指令到智能硬件来完成相应指令，智能硬件接收到服务器的指令，将指令转化为系统中能够被识别的无限制式，从而实现交互控制；电脑通过网络通讯技术与对应的物件完成连接，将相应的指令发送到对应的物件上，控制其完成相应的指令，同时虚拟画面中生成的虚拟人物识别出被控制物件的方位，把手指向被控制物件，虚拟物体移动到受控制现实物体位置之后而进行互动，使用户真实地感觉到虚拟人物与现实物件之间的交互；SMA为在透明平板的内部以一定的间距并列形成带状的平面光反射部的第一光控制面板、第二光控制面板以第一光控制面板的平面光反射部与第二光控制面板的平面光反射部交叉的方式相对配置的光学成像装置，DCRA为由100μm大小的微小镜子组合而成的光学元件。
网络通讯技术采用智能硬件Wifi配网方式，通过单台手机Wifi热点实现App与智能硬件的通讯绑定,单台手机通过手机热点实现智能硬件的室内外无缝切换联网，智能硬件Wifi配网方式包括YPlink配网模式和室内外Wifi网络无缝切换模式；
室内外Wifi网络无缝切换模式的配网方式具体为：（1）进入手机App修改内置ssid和密码的界面，输入Wifi模块常用的路由器ssid和密码，手机App向服务器发起修改Wifi模块内置路由器ssid和密码的申请；（2）服务器向Wifi模块发送需要修改的ssid和密码，Wifi模块收到之后，给服务器发送修改完成的确认信息；（3）进入手机设置界面将手机个人热点的名称和密码与路由器改成一样。
通过语音或手势选择控制的模块包括控制灯光、控制窗帘、控制空调、控制电器、控制影音、控制多媒体互动或控制智能机器人。
本发明中YPlink配网模式的配网方式具体为：设备绑定：（1）在Wifi模块中内置出厂的路由器ssid和密码；（2）打开App进入YPlink的配网模式页面，按照要求设置手机热点；（3）打开手机热点，将手机热点设置成和Wifi模块一样的ssid和密码；（4）Wifi模块识别到手机热点，然后登陆手机热点，通过手机的GPRS/2G/3G/4G/5G运营商网络上报Wifi模块的身份信息；（5）手机App，点击确认绑定，App端将App的身份信息上报给服务器，同时提出绑定设备申请；（6）服务器端识别到来自同一个网络的2台设备，即刻将手机和设备绑定，服务器生成加密的token并把它传给设备和手机App保存，至此设备和App之间建立了通讯关系；（7）如果绑定成功，Wifi模块和手机App同时向服务器发送绑定成功的确认信息，至此完成手机和设备的绑定；（8）已经被手机App绑定的Wifi模块不能再次被其他手机绑定；设备解绑：（1）手机App端发起解除绑定关系的申请；（2）设备端发起解除绑定申请，长按配网按键N秒重新进入配网模式，之前的配网关系解除。
虚拟现实技术需要用到无介质浮空投影，如图9所示，无介质浮空投影的技术原理为：利用一种使入射图像的光线产生弯曲的SMA光学元件，光线在光学元件中经过至少2次反射后，形成与入射图像对应的空中实像，应用无介质浮空投影的空中成像技术，不需要任何介质，便可在不存在任何事物的空中出现正视的映像，便于实现崭新的空中成像人机交互系统。
体感/语音识别的技术原理为：控制器中采用深度感应技术，内置彩色摄像机、红外发射器和一个麦克风阵列，可以检测并跟踪手、手指和类似手指的工具。这个器件可以在高精确度和高跟踪帧率下工作。软件分析在器件可视范围内的物体，它识别手、手指和工具，可以实时获取它们的位置、手势和动作，并能够感知人类的位置、动作和声音。
手势识别原理：采用了右手笛卡尔坐标系，返回的数值都是以真实世界的毫米为单位。原点在控制器的中心，x轴和z轴在器件的水平面上，x轴和设备的长边平行，z轴和短边平行。y轴是垂直的，以正值增加形式朝上，与朝向下的计算机图形学的坐标系相反。距离计算机屏幕越远，z轴正值不断增加。控制器可以通过检测运动追踪数据、手与手指的运动、手势来判断用户所做的动作。
语音识别原理：语音识别系统本质上是一种模式识别系统，包括特征提取、模式匹配、参考模式库等三个基本单元，它的基本结构如图5所示。未知语音经过话筒变换成电信号后加在识别系统的输入端，首先经过预处理，再根据人的语音特点建立语音模型，对输入的语音信号进行分析，并抽取所需的特征，在此基础上建立语音识别所需的模板。而计算机在识别过程中要根据语音识别的模型，将计算机中存放的语音模板与输入的语音信号的特征进行比较，根据一定的搜索和匹配策略，找出一系列最优的与输入语音匹配的模板，然后根据此模板的定义，通过查表就可以给出计算机的识别结果。显然，这种最优的结果与特征的选择、语音模型的好坏、模板是否准确都有直接的关系。
语音识别系统的构建过程整体上包括两大部分：训练和识别。训练通常是离线完成的，对预先收集好的海量语音、语言数据库进行信号处理和知识挖掘，获取语音识别系统所需要的“声学模型”和“语言模型”；而识别过程通常是在线完成的，对用户实时的语音进行自动识别。识别过程通常又可以分为前端和后端两大模块：前端模块主要的作用是进行端点检测，即去除多余的静音和非说话声、降噪和特征提取等；后端模块的作用是利用训练好的“声学模型”和“语言模型”对用户说话的特征向量进行统计模式识别，又称解码，得到其包含的文字信息，此外，后端模块还存在一个“自适应”的反馈模块，可以对用户的语音进行自学习，从而对“声学模型”和“语音模型”进行必要的“校正”，进一步提高识别的准确率。
语音识别系统的工作流程为：一般来说，一套完整的语音识别系统其工作过程可分为7步：①对语音信号进行分析和处理，除去冗余信息；②提取影响语音识别的关键信息和表达语言含义的特征信息；③紧扣特征信息，用最小单元识别字词；④按照不同语言的各自语法，依照先后次序识别字词；⑤把前后意思当作辅助识别条件，有利于分析和识别；⑥按照语义分析，给关键信息划分段落，取出所识别出的字词并连接起来，同时根据语句意思调整句子构成；⑦结合语义，仔细分析上下文的相互联系，对当前正在处理的语句进行适当修正。
语音识别系统的基本原理结构如图6所示。语音识别原理有三点：①对语音信号中的语言信息编码是按照幅度谱的时间变化来进行；②由于语音是可以阅读的，也就是说声学信号可以在不考虑说话人说话传达的信息内容的前提下用多个具有区别性的、离散的符号来表示；③语音的交互是一个认知过程，所以绝对不能与语法、语义和用语规范等方面分裂开来。
预处理过程其中就包括对语音信号进行采样、克服混叠滤波、去除部分由个体发音的差异和环境引起的噪声影响，此外还会考虑到语音识别基本单元的选取和端点检测问题。反复训练是在识别之前通过让说话人多次重复语音，从原始语音信号样本中去除冗余信息，保留关键信息，再按照一定规则对数据加以整理，构成模式库。再者是模式匹配，它是整个语音识别系统的核心部分，是根据一定规则以及计算输入特征与库存模式之间的相似度，进而判断出输入语音的意思。
前端处理是先对原始语音信号进行处理，再进行特征提取，消除噪声和不同说话人的发音差异带来的影响，使处理后的信号能够更完整地反映语音的本质特征提取，消除噪声和不同说话人的发音差异带来的影响，使处理后的信号能够更完整地反映语音的本质特征。
SLAM(simultaneous localization and mapping)，也称CML (ConcurrentMapping and Localization)，即时定位与地图构建或并发建图与定位。通过摄像头或激光雷达等视觉技术进行3D建模，帮助物体在未知环境里面进行定位和跟踪，避免漂移。
网络通讯方式：通过手势控制或语音来操作控制软件，软件通过红外、蓝牙、Wifi、zigbee等技术发送指令到智能家居、智能机器人来完成相应指令。
1、红外控制电器原理：微处理器芯片IC1内部的振荡器通过2、3脚与外部的振荡晶体X组成一个高频振荡器，产生高频振荡信号（480kHz），此信号送入定时信号发生器后产生40KHz的正弦信号和定时脉冲信号。正弦信号送入编码调制器作为载波信号；定时脉冲信号送至扫信号发生器、键控输入编码器和指令编码器作为这些电路的时间标准信号。IC1内部的扫描信号发生器产生五种不同时间的扫描脉冲信号，由5～9脚输出送至键盘矩阵电路。当按下某一键时，相应于该功能按键的控制信号分别由10～14脚输入到键控编码器，输出相应功能的数码信号。然后由指令编码器输出指令码信号，经过调制器调制在载波信号上，形成包含有功能信息的高频脉冲串，由17脚输出经过晶体管BG放大，推动红外线发光二极管D发射出脉冲调制信号。
2、通过连接网络，如Wifi、zigbee等无线协议完成，家庭终端起到一个接受与转发的功能，它接收到服务器的指令，将指令转化为你自己系统中可识别的无限制式，实现控制。
根据以上体感/语音识别技术、无介质浮空投影技术、Slam技术三种技术，申请人编写了以无介质浮空投影技术为基础，实现无介质浮空投影虚拟画面与现实交互的技术软件。
实现交互技术软件的实现流程为：将显示装置倒放在DCRA光学元件或SMA光学元件下方，在空中形成虚拟画面，通过语音或手势选择控制的模块，控制灯光、控制窗帘、控制空调、控制电器、控制影音、控制多媒体互动等，经过语音或手势识别后，电脑通过目前市场上常用的通讯技术，如红外、蓝牙、Wifi、zigbee等技术,与对应的物件完成连接，将相应的指令发送到对应的物件上，控制其完成相应的指令，同时虚拟画面中生成的虚拟人物将通过SLAM技术识别出被控制物件的方位，把手指向被控制的物件，使用户真实地感觉到虚拟人物与现实物件之间的交互。实现交互技术软件的软件内容为：智能家居助手+语音助手+养成类游戏。
本发明的有益效果是：本发明提供了一种无介质浮空投影虚拟画面与现实交互技术，该交互技术实现了以无介质空中成像为基础，利用软件与硬件相结合，将虚拟画面与现实中的物件连接互动的功能。本发明属于一种全新的智能家居控制系统，属于一种新的交互体验和方式，其功能较多，带来新的视觉体验，给用户一种打破次元壁的体验感觉，让用户感觉到虚拟人物就在现实中与其交互。本发明中的虚拟画面与现实交互技术还具有如下优点：1、在空中投影出虚拟画面，无需介质，节省空间；2、视线可穿越，不会遮挡住视线；3、介质浮空投影对主机的系统及内容无要求，系统可以是Windows、Android、Ios等，内容可以是2D或者3D的，兼容性强；4、可以根据手势或语音来控制程序；5、富有科技感，带来全新的视觉以及交互的体验，实现虚拟画面与现实物件的交互；6、系统可安装的位置可根据所需行业及场景变化。
本发明智能硬件Wifi配网方式能够实现类似蓝牙联网的功能，还能够实现Wifi模块在移动状态和固定位置的网络自由切换，实现在固定位置摆放与移动状态下智能硬件的快速上网。在移动状态下，让Wifi智能硬件通过单台手机的Wifi热点实现快速联网，通过手机App远程重置智能硬件的Wifi热点和密码，假如智能硬件设置Wifi热点和密码与经常所处的Wifi路由器ssid和密码一致，智能硬件将能够在手机热点和Wifi路由器之间实现无缝切换。
本发明通过单台手机Wifi热点实现App与智能硬件的通讯绑定，单台手机还能够通过手机热点实现智能硬件室内外的无缝切换联网。本发明中的智能硬件Wifi配网方式增加了一种手机和智能硬件配网的连接方式，比Soft AP配网模式简单，比Smart config配网模式的成功率高，是对现有配网模式一种有益的补充。本发明室内外Wifi网络无缝切换模式在室内Wifi模块连接路由器，室外连接手机热点，只要有网络的地方，手机都可以和Wifi模块进行交互。
本发明中的智能硬件Wifi配网方式仅通过一台手机便能够实现以下功能：1、智能硬件Wifi模块通过和手机热点的结合，实现了蓝牙的功能，近场通讯，在没有Wifi网络的环境下，通过手机热点实现智能硬件和手机以及云端的通讯，无需了解蓝牙通讯协议，降低了产品设计和采购成本；2、通过手机发起修改智能硬件内置的ssid和密码的功能，将手机热点和路由器的ssid和密码设置成一样的，智能硬件、特别是便携式智能硬件就可以实现室内、室外联网的无缝切换，在室内自动连接路由器，在室外联网热点，ssid和密码均为自己设置，确保其安全性。
附图说明
图1是现有技术中Soft AP模式的配网流程图；
图2是现有技术中Smart config模式的配网流程图；
图3是本发明中YPlink配网模式的配网方式流程图；
图4是本发明中室内外Wifi网络无缝切换模式的配网方式流程图；
图5是本发明中语音识别系统的基本结构图；
图6是本发明中语音识别系统的基本原理框图；
图7是本发明中智能家居助手+语音助手+养成类游戏的实现功能图；
图8是本发明中实现软件的具体软件流程图；
图9是本发明中光学成像元件的原理示意图。
具体实施方式
以下结合附图和具体实施方式对本发明作详细描述。
如图3至图9所示，一种无介质浮空投影虚拟画面与现实交互技术，该交互技术是基于体感或语音识别技术以及无介质浮空投影技术实现无介质浮空投影虚拟画面与现实交互，实现虚拟世界位置与现实位置的匹配，具体实现过程中还使用了SLAM技术、事先设定技术或实时矫正技术；交互技术采用位置判决装置来判定虚拟与现实位置的一致性，然后根据虚拟与现实位置的关系触发不同的应用；无介质浮空投影虚拟画面与现实交互技术的实现过程具体为：首先将显示装置倒放在DCRA光学元件或SMA光学元件下方，在空中形成虚拟画面，通过语音或手势选择控制的模块，通过手势控制或语音来操作控制软件，然后经过语音识别或手势识别后，控制软件通过红外、蓝牙、Wifi或zigbee技术发送指令到智能硬件来完成相应指令，智能硬件接收到服务器的指令，将指令转化为系统中能够被识别的无限制式，从而实现交互控制；电脑通过网络通讯技术与对应的物件完成连接，将相应的指令发送到对应的物件上，控制其完成相应的指令，同时虚拟画面中生成的虚拟人物识别出被控制物件的方位，把手指向被控制物件，虚拟物体移动到受控制现实物体位置之后而进行互动，使用户真实地感觉到虚拟人物与现实物件之间的交互；SMA为在透明平板的内部以一定的间距并列形成带状的平面光反射部的第一光控制面板、第二光控制面板以第一光控制面板的平面光反射部与第二光控制面板的平面光反射部交叉的方式相对配置的光学成像装置，DCRA为由100μm大小的微小镜子组合而成的光学元件。通过语音或手势选择控制的模块包括控制灯光、控制窗帘、控制空调、控制电器、控制影音、控制多媒体互动或控制智能机器人。
网络通讯技术采用智能硬件Wifi配网方式，通过单台手机Wifi热点实现App与智能硬件的通讯绑定,单台手机通过手机热点实现智能硬件的室内外无缝切换联网，智能硬件Wifi配网方式包括YPlink配网模式和室内外Wifi网络无缝切换模式；室内外Wifi网络无缝切换模式的配网方式具体为：（1）进入手机App修改内置ssid和密码的界面，输入Wifi模块常用的路由器ssid和密码，手机App向服务器发起修改Wifi模块内置路由器ssid和密码的申请；（2）服务器向Wifi模块发送需要修改的ssid和密码，Wifi模块收到之后，给服务器发送修改完成的确认信息；（3）进入手机设置界面将手机个人热点的名称和密码与路由器改成一样。
最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。
Claims (4)
1.一种无介质浮空投影虚拟画面与现实交互技术，其特征在于：所述交互技术是基于体感或语音识别技术以及无介质浮空投影技术实现无介质浮空投影虚拟画面与现实交互，实现虚拟世界位置与现实位置的匹配，具体实现过程中还使用了SLAM技术、事先设定技术或实时矫正技术；所述交互技术采用位置判决装置来判定虚拟与现实位置的一致性，然后根据虚拟与现实位置的关系触发不同的应用；所述无介质浮空投影虚拟画面与现实交互技术的实现过程具体为：首先将显示装置倒放在DCRA光学元件或SMA光学元件下方，在空中形成虚拟画面，通过语音或手势选择控制的模块，通过手势控制或语音来操作控制软件，然后经过语音识别或手势识别后，控制软件通过红外、蓝牙、Wifi或zigbee技术发送指令到智能硬件来完成相应指令，智能硬件接收到服务器的指令，将指令转化为系统中能够被识别的无限制式，从而实现交互控制；电脑通过网络通讯技术与对应的物件完成连接，将相应的指令发送到对应的物件上，控制其完成相应的指令，同时虚拟画面中生成的虚拟人物识别出被控制物件的方位，把手指向被控制物件，虚拟物体移动到受控制现实物体位置之后而进行互动，使用户真实地感觉到虚拟人物与现实物件之间的交互；所述SMA为在透明平板的内部以一定的间距并列形成带状的平面光反射部的第一光控制面板、第二光控制面板以第一光控制面板的平面光反射部与第二光控制面板的平面光反射部交叉的方式相对配置的光学成像装置，所述DCRA为由100μm大小的微小镜子组合而成的光学元件。
2.根据权利要求1所述的一种无介质浮空投影虚拟画面与现实交互技术，其特征在于：所述网络通讯技术采用智能硬件Wifi配网方式，通过单台手机Wifi热点实现App与智能硬件的通讯绑定,单台手机通过手机热点实现智能硬件的室内外无缝切换联网，所述智能硬件Wifi配网方式包括YPlink配网模式和室内外Wifi网络无缝切换模式。
3.根据权利要求2所述的一种无介质浮空投影虚拟画面与现实交互技术，其特征在于：所述室内外Wifi网络无缝切换模式的配网方式具体为：
（1）进入手机App修改内置ssid和密码的界面，输入Wifi模块常用的路由器ssid和密码，手机App向服务器发起修改Wifi模块内置路由器ssid和密码的申请；
（2）服务器向Wifi模块发送需要修改的ssid和密码，Wifi模块收到之后，给服务器发送修改完成的确认信息；
（3）进入手机设置界面将手机个人热点的名称和密码与路由器改成一样。
4.根据权利要求1所述的一种无介质浮空投影虚拟画面与现实交互技术，其特征在于：所述通过语音或手势选择控制的模块包括控制灯光、控制窗帘、控制空调、控制电器、控制影音、控制多媒体互动或控制智能机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810400334.6A CN108646578B (zh) | 2018-04-28 | 2018-04-28 | 一种无介质浮空投影虚拟画面与现实交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810400334.6A CN108646578B (zh) | 2018-04-28 | 2018-04-28 | 一种无介质浮空投影虚拟画面与现实交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108646578A true CN108646578A (zh) | 2018-10-12 |
| CN108646578B CN108646578B (zh) | 2021-03-26 |
Family
ID=63748625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810400334.6A Active CN108646578B (zh) | 2018-04-28 | 2018-04-28 | 一种无介质浮空投影虚拟画面与现实交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108646578B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109634431A (zh) * | 2019-01-22 | 2019-04-16 | 像航（上海）科技有限公司 | 无介质浮空投影视觉追踪互动系统 |
| CN113132185A (zh) * | 2019-12-30 | 2021-07-16 | 深圳Tcl新技术有限公司 | 一种设备配网绑定方法、系统、移动终端及存储介质 |
| CN113318425A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN113357806A (zh) * | 2021-03-26 | 2021-09-07 | 安徽省东超科技有限公司 | 无触摸空调及操作方法和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204631361U (zh) * | 2015-04-03 | 2015-09-09 | 徐州工程学院 | 三维虚拟投影系统 |
| CN105182662A (zh) * | 2015-09-28 | 2015-12-23 | 神画科技（深圳）有限公司 | 具有增强现实效果的投影方法及系统 |
| CN204945944U (zh) * | 2015-07-08 | 2016-01-06 | 赵刚 | 一种全息互动影像系统 |
| CN204965804U (zh) * | 2015-10-08 | 2016-01-13 | 国网技术学院 | 基于全息投影交互的配电网三维仿真培训系统 |
| US9310883B2 (en) * | 2010-03-05 | 2016-04-12 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| CN205491078U (zh) * | 2016-03-22 | 2016-08-17 | 深圳市优思曼科技有限公司 | 一种空中成像智能音响 |
| CN106228922A (zh) * | 2016-07-26 | 2016-12-14 | 江苏前景信息科技有限公司 | 多视角三维地景立体数字化全息沙盘系统 |
| CN106814532A (zh) * | 2015-11-30 | 2017-06-09 | 深圳市三川叶传媒有限公司 | 一种270度全息投影展示柜 |
| CN107014395A (zh) * | 2017-03-31 | 2017-08-04 | 武汉大学 | 基于虚拟现实技术的指向性全景导航系统 |
| CN107247511A (zh) * | 2017-05-05 | 2017-10-13 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
| US20170365092A1 (en) * | 2016-06-21 | 2017-12-21 | Apple Inc. | Method and System for Vision Based 3D Reconstruction and Object Tracking |
-
2018
- 2018-04-28 CN CN201810400334.6A patent/CN108646578B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9310883B2 (en) * | 2010-03-05 | 2016-04-12 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| CN204631361U (zh) * | 2015-04-03 | 2015-09-09 | 徐州工程学院 | 三维虚拟投影系统 |
| CN204945944U (zh) * | 2015-07-08 | 2016-01-06 | 赵刚 | 一种全息互动影像系统 |
| CN105182662A (zh) * | 2015-09-28 | 2015-12-23 | 神画科技（深圳）有限公司 | 具有增强现实效果的投影方法及系统 |
| CN204965804U (zh) * | 2015-10-08 | 2016-01-13 | 国网技术学院 | 基于全息投影交互的配电网三维仿真培训系统 |
| CN106814532A (zh) * | 2015-11-30 | 2017-06-09 | 深圳市三川叶传媒有限公司 | 一种270度全息投影展示柜 |
| CN205491078U (zh) * | 2016-03-22 | 2016-08-17 | 深圳市优思曼科技有限公司 | 一种空中成像智能音响 |
| US20170365092A1 (en) * | 2016-06-21 | 2017-12-21 | Apple Inc. | Method and System for Vision Based 3D Reconstruction and Object Tracking |
| CN106228922A (zh) * | 2016-07-26 | 2016-12-14 | 江苏前景信息科技有限公司 | 多视角三维地景立体数字化全息沙盘系统 |
| CN107014395A (zh) * | 2017-03-31 | 2017-08-04 | 武汉大学 | 基于虚拟现实技术的指向性全景导航系统 |
| CN107247511A (zh) * | 2017-05-05 | 2017-10-13 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109634431A (zh) * | 2019-01-22 | 2019-04-16 | 像航（上海）科技有限公司 | 无介质浮空投影视觉追踪互动系统 |
| CN109634431B (zh) * | 2019-01-22 | 2024-04-26 | 像航（上海）科技有限公司 | 无介质浮空投影视觉追踪互动系统 |
| CN113132185A (zh) * | 2019-12-30 | 2021-07-16 | 深圳Tcl新技术有限公司 | 一种设备配网绑定方法、系统、移动终端及存储介质 |
| CN113132185B (zh) * | 2019-12-30 | 2022-06-10 | 深圳Tcl新技术有限公司 | 一种设备配网绑定方法、系统、移动终端及存储介质 |
| CN113318425A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN113357806A (zh) * | 2021-03-26 | 2021-09-07 | 安徽省东超科技有限公司 | 无触摸空调及操作方法和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108646578B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108646578A (zh) | 一种无介质浮空投影虚拟画面与现实交互技术 | |
| US11087134B2 (en) | Augmented reality smartglasses for use at cultural sites | |
| CN110348524A (zh) | 一种人体关键点检测方法及装置、电子设备和存储介质 | |
| CN104410883B (zh) | 一种移动可穿戴非接触式交互系统与方法 | |
| CN110266992A (zh) | 一种基于增强现实的远程视频交互系统以及方法 | |
| CN111274910B (zh) | 场景互动方法、装置及电子设备 | |
| CN113011723B (zh) | 一种基于增强现实的远程装备维保系统 | |
| CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
| CN104777911B (zh) | 一种基于全息技术的智能交互方法 | |
| CN105116785A (zh) | 一种多平台远程机器人通用控制系统 | |
| TW201733345A (zh) | 使用互動化身的通訊技術（二） | |
| CN111556278A (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| CN107240317A (zh) | 一种利用ar实现远程教育的方法及设备 | |
| CN105677018A (zh) | 一种屏幕截图方法、装置和电子设备 | |
| CN115480923B (zh) | 一种多模态的智慧教室边缘计算控制系统 | |
| WO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Oliveira et al. | Virtual theater for industrial training: A collaborative virtual environment | |
| CN106377401A (zh) | 导盲前端设备、导盲后端设备及导盲系统 | |
| CN208723929U (zh) | 一种ar遥控器 | |
| CN113014960B (zh) | 一种在线制作视频的方法、装置及存储介质 | |
| CN107333063A (zh) | 一种利用ar拍摄电影的方法 | |
| CN108459716B (zh) | 一种在vr中实现多人协作完成任务的方法 | |
| CN110262662A (zh) | 一种智能人机交互方法 | |
| WO2013097556A1 (zh) | 一种控制可视光源的方法、终端及视频会议系统 | |
| CN206421330U (zh) | 一种虚拟现实资源平台系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Hong Zenghui Inventor after: Li Jun Inventor after: Zhang Bing Inventor after: Shan Lin Inventor before: Hong Zenghui Inventor before: Li Jun Inventor before: Zhang Bing |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |