CN106997235B - 用于实现增强现实交互和展示的方法、设备 - Google Patents

用于实现增强现实交互和展示的方法、设备 Download PDF

Info

Publication number
CN106997235B
CN106997235B CN201610049175.0A CN201610049175A CN106997235B CN 106997235 B CN106997235 B CN 106997235B CN 201610049175 A CN201610049175 A CN 201610049175A CN 106997235 B CN106997235 B CN 106997235B
Authority
CN
China
Prior art keywords
information
equipment
seperated
control
intelligent glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610049175.0A
Other languages
English (en)
Other versions
CN106997235A (zh
Inventor
廖春元
唐荣兴
黄玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201610049175.0A priority Critical patent/CN106997235B/zh
Priority to PCT/CN2017/078224 priority patent/WO2017129148A1/zh
Publication of CN106997235A publication Critical patent/CN106997235A/zh
Application granted granted Critical
Publication of CN106997235B publication Critical patent/CN106997235B/zh
Priority to US16/044,297 priority patent/US20200090622A9/en
Priority to US17/392,135 priority patent/US20210385299A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Abstract

本发明的目的是提供一种用于实现增强现实交互和展示的方法、智能眼镜设备、分体设备及控制设备，智能眼镜设备通过基于通信协议与分体设备建立通信连接；基于所述通信协议向所述分体设备发送相关控制信息；获取所述分体设备基于所述通信协议所发送的分体反馈数据；并基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果，以更好地实现用户线上线下信息链接和虚实融合的交互体验。

Description

用于实现增强现实交互和展示的方法、设备
技术领域
本发明涉及计算机领域增强现实技术，尤其涉及一种增强现实智能眼镜技术。
背景技术
增强现实(Augmented Reality，AR)是在自然图片识别技术的一个子领域，将虚拟三维模型动画、视频、文字、图片等数字信息实时叠加显示到真实场景中，并与现实物体或者使用者实现自然互动的创新的人机交互技术，强调虚实融合的自然人机视觉交互。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。由于该技术的先进性和新颖性，增强现实技术的应用和推广也曾一度处于停滞不前的状态。
在移动互联网时代，人机交互的一个非常核心的技术问题是如何高效、简便、自然地连接用户的线下当前真实场景和线上虚拟的信息和交互。
在现有技术中，实现连接技术核心是计算机对线下物品的感知，包括检测、识别与跟踪。实现这种感知的手段大致有两种：用人工方式给线下物品打标签、用计算机自动识别线下物品。前者例如二维码、NFC、WiFi定位等技术，需要对每个目标物体进行修改，因此存在功能单一、部署和维护成本高、交互不自然、不直观、缺少美感等缺点。后者以自然图片识别技术为基础，对摄像头采集的图像数据进行智能分析，自动判断物体身份、类别和空间姿态等信息，对目标物体不需要任何改变，也更接近人的自然交互。
因此，如何更好地实现用户线上线下信息链接和虚实融合的交互体验成为业界主流课题。
发明内容
本发明的一个目的是提供用于实现增强现实交互和展示的方法、智能眼镜设备、分体设备及控制设备，以更好地实现用户线上线下信息链接和虚实融合的交互体验。
A基于通信协议与分体设备建立通信连接；
B基于所述通信协议向所述分体设备发送相关控制信息；
C获取所述分体设备基于所述通信协议所发送的分体反馈数据；
D基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。
根据本申请一优选实施例提供的一种在智能眼镜设备端用于实现增强现实交互展示的方法，其中，所述方法包括：
A1基于通信协议与分体设备建立通信连接；
B1基于所述通信协议向所述分体设备发送相关控制信息；
C1获取所述分体设备基于所述通信协议所发送的分体反馈数据；
D1基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。
根据本申请另一优选实施例提供的一种在智能眼镜设备端用于游戏控制中实现增强现实交互和展示的方法，其中，所述方法包括：
A2基于通信协议与游戏控制分体设备建立通信连接；
B2基于所述通信协议向所述游戏控制分体设备发送相关控制信息，其中，所述相关控制信息包括至少以下任一项：传感数据采集控制信息、特效展示控制信息；
C2获取所述游戏控制分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述游戏控制分体设备所获取的游戏相关信息，其中，所述游戏相关信息包括：用户操作信息；
D2基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑的执行结果展示游戏相关的相应增强现实效果。
根据本申请另一方面提供的一种在分体设备端用于配合实现增强现实交互和展示的方法，其中，所述方法包括：
a基于通信协议与智能眼镜设备建立通信连接；
b获取所述智能眼镜设备基于所述通信协议发送的相关控制信息；
c基于所述相关控制信息，收集采集数据，综合分析所述采集数据，以生成分体反馈数据；
d基于所述通信协议向所述智能眼镜设备发送所述分体反馈数据，以配合所述智能眼镜设备展示相应增强现实效果。
根据本申请再一方面提供的一种在控制设备端用于配合实现增强现实交互和展示的方法，其中，所述控制设备与所述智能眼镜设备物理分离，所述方法包括：
aa获取所述智能眼镜设备所发送的分体反馈数据；
bb解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息；
cc基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，并将所述相应增强现实效果的展示信息发送至所述智能眼镜设备。
根据本申请另一方面提供的一种用于实现增强现实交互和展示的智能眼镜设备，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述分体设备发送相关控制信息；
第三装置，用于获取所述分体设备基于所述通信协议所发送的分体反馈数据；
第四装置，用于基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。
根据本申请一优选实施例提供的一种用于行车监控中实现增强现实交互和展示的智能眼镜设备，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与行车监控分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述行车监控分体设备发送相关控制信息，其中，所述相关控制信息包括至少以下任一项：实时定位控制信息、实时录像控制信息、实时语音导航控制信息；
第三装置，用于获取所述行车监控分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述行车监控分体设备所获取的行车信息，其中，所述行车信息包括至少以下任一项：时速信息、障碍信息、行人信息；
第四装置，用于基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑执行结果展示相应增强现实效果，其中，所述业务逻辑包括至少以下任一项：显示关键导航信息、提示障碍信息或行人信息。
根据本申请另一优选实施例提供的一种用于游戏控制中实现增强现实交互和展示的智能眼镜设备，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与游戏控制分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述游戏控制分体设备发送相关控制信息，其中，所述相关控制信息包括至少以下任一项：传感数据采集控制信息、特效展示控制信息；
第三装置，用于获取所述游戏控制分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述游戏控制分体设备所获取的游戏相关信息，其中，所述游戏相关信息包括：用户操作信息；
第四装置，用于基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑执行结果展示游戏相关的相应增强现实效果。
根据本申请另一方面提供的一种用于配合实现增强现实交互和展示的分体设备，其中，所述分体设备包括：
第五装置，用于基于通信协议与智能眼镜设备建立通信连接；
第六装置，用于获取所述智能眼镜设备基于所述通信协议发送的相关控制信息；
第七装置，用于基于所述相关控制信息，收集采集数据，综合分析所述采集数据，以生成分体反馈数据；
第八装置，用于基于所述通信协议向所述智能眼镜设备发送所述分体反馈数据，以配合所述智能眼镜设备展示相应增强现实效果。
根据本申请再一方面提供的一种用于配合实现增强现实交互和展示的控制设备，其中，所述控制设备与所述智能眼镜设备物理分离，所述控制设备包括：
第十二装置，用于获取所述智能眼镜设备所发送的分体反馈数据；
第十三装置，用于解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息；
第十四装置，用于基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息，并将所述相应增强现实效果的展示信息发送至所述智能眼镜设备。
根据本申请再一方面提供的一种用于实现增强现实交互和展示的系统，所述系统包括前述智能眼镜设备和前述分体设备。
根据本申请再一方面提供的一种用于实现增强现实交互和展示的系统，所述系统包括前述智能眼镜设备、前述分体设备及前述控制设备。
与现有技术相比，根据本申请的实施例所述的用于实现增强现实交互和展示的方法、智能眼镜设备及分体设备智能眼镜设备通过基于通信协议与所述分体设备建立通信连接，以智能眼镜设备为交互核心，能够控制分体设备实现相应功能，并根据所述分体设备所发送的分体反馈数据展示相应增强现实效果，从而将智能眼镜设备的功能扩展到分体设备中，并且将分体设备的分体反馈数据展现在智能眼镜设备上，进而更好地实现用户线上线下信息链接和虚实融合的交互体验。优选地，所述分体设备与所述智能眼镜设备物理分离。
进一步地，通过所述智能眼镜设备配置物理分离的与控制设备物理分体，并以有线或无线的方式通信连接，将所述智能眼镜设备的处理核心业务逻辑，包括分体设备的相关控制信息、多模态场景融合处理等的工作交由控制设备执行，能够降低智能眼镜设备本身体积和重量，并避免智能眼镜设备过度散热导致用户使用不适。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一方面提供的一种用于实现增强现实交互和展示的智能眼镜设备的设备示意图；
图2示出根据本申请一优选实施例提供的一种实现增强现实交互和展示的智能眼镜设备1和分体设备2配合的设备示意图；
图3示出根据本申请优选实施例提供的一种用于配合实现增强现实交互和展示的智能眼镜设备、分体设备和控制设备配合的设备示意图；
图4示出根据本申请一方面提供的一种智能眼镜设备实现增强现实交互和展示的方法示意图；
图5示出根据本申请一优选实施例提供的一种智能眼镜设备与分体设备配合实现增强现实交互和展示的方法示意图；
图6示出根据本申请一优选的实施例提供的一种用于行车监控中实现增强现实交互和展示的智能眼镜设备与行车监控的分体设备配合的流程示意图；
图7示出根据本申请一优选的实施例提供的一种用于游戏控制中实现增强现实交互和展示的智能眼镜设备和游戏控制的分体设备配合的流程示意图；
图8示出根据本申请优选实施例提供的一种用于配合实现增强现实交互和展示的智能眼镜设备1、分体设备2和控制设备3的配合方法的流程示意图；
图9示出根据本申请一优选实施例提供的一种用于配合实现增强现实交互和展示的智能眼镜设备1和控制设备3的具体场景的配合方法的流程示意图。。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示出根据本申请一方面提供的一种用于实现增强现实交互和展示的智能眼镜设备1的设备示意图，其中，所述智能眼镜设备1包括：第一装置11、第二装置12、第三装置13和第四装置14。
其中，所述第一装置11基于通信协议与分体设备2建立通信连接；所述第二装置12基于所述通信协议向所述分体设备2发送相关控制信息；第三装置13获取所述分体设备2基于所述通信协议所发送的分体反馈数据；第四装置14基于所述分体反馈数据展示相应增强现实效果。
在此，所述增强现实效果是把原本在现实世界的一定时间空间范围内很难体验到的实体效果(包括视觉信息、声音、味觉、触觉等效果)，通过智能眼镜设备模拟仿真后再叠加展示到真实世界中。其中，优选地，所述增强现实效果可以包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。
在此，所述智能眼镜设备1是一种可穿戴智能设备，以眼镜的硬件载体形式、融合AR(Augmented Reality，增强现实)的软件交互方式，以实现用户线上线下的信息链接和虚实融合的交互体验。所述智能眼镜设备1可以采用任意操作系统，如android操作系统、iOS操作系统等。如android操作系统、iOS操作系统等。所述智能眼镜设备1的硬件设备可以包括摄像输入模块(例如RGB摄像头、三维摄像头等)、传感输入模块(例如惯性测量单元IMU，包括电子罗盘、加速度、角速度、陀螺仪等)、语音输入模块(例如话筒等)、显示屏、语音播放设备、触觉输出设备以及数据处理模块等。当然，以上对智能眼镜设备1所包括硬件设备的描述仅为举例，今后可能出现的智能眼镜设备1，如适用本申请，仍可以以引用的方式包含于此。
在此，所述分体设备2可以是包括但不限于包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述分体设备2可以是具有自主处理能力的设备，可以独自完整的功能。在未连接智能眼镜设备时，可以作为独立的设备运行，当连接智能眼镜设备后，可以通过协议与智能眼镜设备交换数据(经过处理的数据)和接收指令，完成指定的功能；例如行车控制设备、视频播放设备；所述分体设备2还可以是电子设备配件，以智能眼镜设备为控制和处理中心，通过协议连接智能眼镜设备后，向眼镜输入采集到的数据(未经处理的数据)，并接受和输出眼镜处理过的数据，完成指定的功能；例如游戏配件(手柄、手套等游戏道具)、鼠标、键盘等。当然，本领域技术人员应能理解上述分体设备2仅为举例，其他现有的或今后可能出现的分体设备2如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
本申请所述智能眼镜设备1通过基于通信协议与所述分体设备2建立通信连接，以智能眼镜设备1为交互核心，能够控制分体设备2实现相应功能，并根据所述分体设备2所发送的分体反馈数据展示相应增强现实效果，从而将智能眼镜设备1的功能扩展到分体设备2中，并且将分体设备2的分体反馈数据展现在智能眼镜设备1上，进而更好地实现用户线上线下信息链接和虚实融合的交互体验。
首先，所述第一装置11可以利用一个或多个通信协议设备(Device ProxyService，DPS)建立通信连接，且所述通信协议设备与所述分体设备2可以是一对一、一对多等方式，所述通信协议设备与分体设备2之间的通信协议可以根据具体分体设备2或相应应用定义而相同或不同，所述通信协议设备与所述智能眼镜设备1的通信协议需统一，从而实现智能眼镜设备1与不同的分体设备2匹配。
具体地，所述第一装置11基于通信协议可以与所述分体设备2通过有线或无线方式建立通信连接。
在本申请中，所述有线方式可以但不限于包括数据线等方式，所述无线方式可以但不限于包括Wifi(无线宽带)、蓝牙等方式，当然今后可能出现的通信连接方式，也可以以引用的方式包含于此。
接着，第二装置12基于所述通信协议向所述分体设备2发送相关控制信息，具体地，所述智能眼镜设备1的第二装置12将一些控制命令，通过所述通信协议设备封装后发送相关控制信息给相应分体设备2，例如“开始”、“停止”等控制信息，当然，上述控制信息仅为举例且语言化，其他复杂的控制信息或采用不同语言形式的控制信息，例如二进制数据、各种计算机语言等方式，均可以以引用的方式包含于此。
接着，所述第三装置13获取所述分体设备2基于所述通信协议所发送的分体反馈数据；其中，所述第三装置13获取到所述分体反馈数据后，可以利用通信协议设备解析相应分体反馈数据，以生成智能眼镜设备1可识别的信息。例如，用于行车监控的分体设备2发送了采集到的“前方有障碍物”的数据。
接着，所述第四装置14基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。具体地，所述第四装置14会根据所述分体反馈数据执行相应业务逻辑，并根据所述业务逻辑所确定的显示规则在智能眼镜设备1上利用显示屏、语音播报模块及输出模块向用户传达相应的提示信息。接前例，当所述第四装置14收到用于行车监控的分体设备2发送的“前方有障碍物”的分体反馈数据后，分析所述分体反馈数据确定需要提示用户前方有障碍物，则确定例如需在显示屏追踪的障碍物及进行高亮显示、调用语音播放设备播报警报提示音或调用触觉输出设备启动震动等提示信息的内容等增强现实效果。
在一优选的实施例中，所述第四装置14可以对所述分体反馈数据直接进行处理和展示；具体地，所述第四装置14包括：第四一单元(未示出)和第四二单元(未示出)。其中，所述第四一单元解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项：所述分体反馈数据的优先级信息、展示相关信息、参数信息等；例如，接前例，当所述智能眼镜设备1收到用于行车监控的分体设备2发送的“前方有障碍物”的分体反馈数据后，分析所述分体反馈数据确定需要提示用户前方有障碍物，则首先确定提示内容的优先级信息，例如是否优先于即将要播报的当前导航语音(例如“请直行”、“请在前方500米右转”等)信息等，分析所述展示相关信息以及参数信息，以确定例如需在显示屏追踪的障碍物及进行高亮显示、调用语音播放设备播报警报提示音或调用触觉输出设备启动震动等提示信息的内容等。所述第四二单元基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息。在此，所述第四二单元基于所述分体反馈数据的相关信息可以根据所述分体反馈数据执行相应业务逻辑，获得相关信息的输出结果。具体业务逻辑可根据实际场景具体设置和确定，不再详述。
此外，对于具有逻辑处理能力的分体设备2，其发送的分体反馈数据可以直接携带其相关信息，例如“最优先播放紧急提示音”，则所述第四一单元无需分析所述分体反馈数据的逻辑，可直接根据所述分体反馈数据获取相关信息，所述第四二单元根据所述分体反馈数据的相关信息执行相应业务逻辑。
在另一优选的实施例中，所述第四装置14也可以将所述分体反馈数据发送至与所述智能眼镜设备1相配合的控制设备3。具体地，所述第四装置14包括第四三单元(未示出)和第四四单元(未示出)，其中，所述第四三单元将所述分体反馈数据发送至所述控制设备3；第四四单元获取所述控制设备3通过解析所述分体反馈数据所确定的相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息。
在此，所述控制设备3用于处理智能眼镜设备1的核心业务逻辑，所述控制设备3可以与所述智能眼镜设备1物理分体，并以有线或无线的方式通信连接，将用于处理核心业务逻辑的控制设备3与所述智能眼镜设备1物理分体，能够降低智能眼镜设备1本身体积和重量，并避免智能眼镜设备1过度散热导致用户使用不适。
此外，所述第四装置14还包括：第四五单元(未示出)，所述第四五单元基于所述业务逻辑向所述分体设备2发送用以控制所述分体设备2进行展示辅助效果的辅助控制信息。所述辅助控制信息可以例如是控制分体设备2自身的触控设备、语音设备或显示设备进行相应的配合展示，进而提高用户交互体验。
根据本申请优选的实施例，所述智能眼镜设备1可以通过多通道获取多模态场景信息，并将多模态场景信息融合处理后产生相关的控制信息。具体地，所述第二装置12还包括：第二一单元(未示出)，用于获取多模态场景信息，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；第二二单元(未示出)，用于综合处理所述多模态场景信息，以生成所述相关控制信息。
所述第二装置12通过利用不同通道(即各种输入模块)接收用户的各种自然语言交互方式的输入信息，以分析用户行为信息确定操作目标、操作动作和操作参数，操作目标即为相应的分体设备2。
在此，所述现实场景信息可以是图片、照片、场景图像、实物图像、或有特定形状物体等。所述增强现实效果可以包括相关联的增强现实内容(包括但不限于视频、语音、链接、二维动画和三维动画等)和对应的增强现实显示效果。
所述第二一单元可以利用若干硬件采集多模态各个通道的输入信息，例如智能眼镜设备的RGB摄像头获取场景图像信息，智能眼镜设备的深度摄像头获取手势信息，智能眼镜设备的麦克风获取语音信息，智能眼镜设备的触控板获取触控信息等，当然，所述第二一单元获取的输入信息及使用的硬件设备并不被限定，今后可能出现的获取方式或获取设备都可以以引用的方式包含于此。
所述第二二单元可以先利用不同处理模块对相应所述输入模块的若干所述输入信息分别进行识别预处理，以生成若干所述结构化数据，其中，所述处理模块包括场景图像识别模块、手势识别模块、声音识别模块、触控识别模块和传感识别模块，利用对应识别模块处理每个通道的输入信息，包括提取特征和/或分析语义，输出成结构化数据(每一通道的输入信息对应的结构化数据的结构可以相同或不同，能够进行融合处理和仲裁分析即可)；再对若干所述结构化数据进行融合处理和仲裁分析，以生成相关控制信息命令，其中，可以利用已预先定义或预先训练的(包括由开发者定义初始规则集或训练初始模型，或由用户基于规则或模型进行更新的模型)，规则可以是自然交互方式间的关系(比如手势与语音配合或竞争关系等)，也可以是机器学习模型(如决策树、随机森林等)；也可以利用深度学习模型直接对输入信息的原始数据进行处理，以生成相关控制信息命令。
根据本申请另一优选的实施例，所述智能眼镜设备1可以通过多通道获取多模态场景信息，并将多模态场景信息发给控制设备3进行融合处理，再从所述控制设备3获取其生成的相关控制信息。具体地，所述第二装置还包括：第二三单元(未示出)，用于获取多模态场景信息，其中，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；第二四单元(未示出)，用于将所述多模态场景信息发送至控制设备3；第二五单元(未示出)，用于获取所述控制设备3基于综合处理所述多模态场景信息所生成的所述相关控制信息；第二六单元(未示出)，用于基于所述通信协议向所述分体设备2发送相关控制信息。
本申请实施例所述的智能眼镜设备1通过接受多输入设备的数据流，并对目标进行识别、定位与跟踪，并对周边物理场景建模(真实模型)，然后把虚拟模型和真实模型叠加，在统一的、混合模型中实现虚实模型的交互，之后把交互结果生成的相关控制信息发送给对应分体设备2，相比于现有技术中简单的按键、触控等操作控制分体设备2的方式，进一步提高了用户设备的交互体验。
优选地，所述智能眼镜设备中对应每一个输入、输出模块都可以都有对应一个模块处理相应数据，完成与核心逻辑处理模块的适配，以保证核心逻辑处理模块跟具体的输入、输出设备无关，降低了核心逻辑处理的依赖性，进而提高了智能眼镜设备1的可扩展性。
图2示出根据本申请一优选实施例提供的一种实现增强现实交互和展示的智能眼镜设备1和分体设备2配合的设备示意图。
所述智能眼镜设备包括第一装置11、第二装置12、第三装置13和第四装置14，其中，图2所示的第一装置11、第二装置12、第三装置13和第四装置14与图1所示的第一装置11、第二装置12、第三装置13和第四装置14内容相同或基本相同，为简明起见，不再赘述，并以引用的方式包含于此。
在此，所述分体设备2可以是包括但不限于包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述分体设备2可以是具有自主处理能力的设备，可以独自完整的功能。在未连接智能眼镜设备时，可以作为独立的设备运行，当连接智能眼镜设备后，可以通过协议与智能眼镜设备交换数据(经过处理的数据)和接收指令，完成指定的功能；例如行车控制设备、视频播放设备；所述分体设备2还可以是电子设备配件，以智能眼镜设备为控制和处理中心，通过协议连接智能眼镜设备后，向眼镜输入采集到的数据(未经处理的数据)，并接受和输出眼镜处理过的数据，完成指定的功能；例如游戏配件(手柄、手套等游戏道具)、鼠标、键盘等。当然，本领域技术人员应能理解上述分体设备2仅为举例，其他现有的或今后可能出现的分体设备2如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
其中，所述分体设备与所述智能眼镜设备1通过有线或无线方式建立通信连接。所述分体设备2包括：第五装置25、第六装置26、第七装置27和第八装置28。其中，所述第五装置25基于通信协议与所述智能眼镜设备1的第一装置11建立通信连接；所述第六装置26获取所述智能眼镜设备1的第二装置12基于所述通信协议发送的相关控制信息；所述第七装置27基于所述相关控制信息，收集采集数据，综合分析所述采集数据，以生成分体反馈数据；所述第八装置28基于所述通信协议向所述智能眼镜设备1的第三装置13发送所述分体反馈数据，以配合所述智能眼镜设备1展示相应增强现实效果。
进一步地，所述分体设备2还包括：第十一装置(未示出)，所述第十一装置获取所述智能眼镜设备1基于所述分体反馈数据所执行的相应业务逻辑发送的辅助控制信息，并基于所述辅助控制信息展示相应辅助效果，其中，所述辅助效果包括至少以下任一项：辅助声音效果、辅助振动效果、辅助视觉效果。
进一步地，所述第七装置27包括：第七一单元(未示出)和第七二单元(未示出)。其中，第七一单元基于所述相关控制信息，收集采集数据，多方所述采集数据包括至少以下任一项：图像采集数据、传感定位采集数据、声音采集数据；第七二单元综合分析所述采集数据，获取分体反馈数据的相关信息，其中，所述分体反馈数据的相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息。
根据本申请一方面提供的一种实现增强现实交互和展示的系统，所述系统包括智能眼镜设备和分体设备，其中，所述智能眼镜设备和分体设备及其配合内容与图2所示的智能眼镜设备1和分体设备2及其配合内容相同或基本相同，为简明起见，不再赘述，仅以引用的方式包含于此。
图3示出根据本申请优选实施例提供的一种用于配合实现增强现实交互和展示的智能眼镜设备1和控制设备3的配合的设备示意图。
所述智能眼镜设备包括第一装置11、第二装置12、第三装置13和第四装置14，其中，图3所示的第一装置11、第二装置12、第三装置13和第四装置14与图1所示的第一装置11、第二装置12、第三装置13和第四装置14内容相同或基本相同，为简明起见，不再赘述，并以引用的方式包含于此。所述分体设备2包括：第五装置25、第六装置26、第七装置27和第八装置28，其中，图3所示的第五装置25、第六装置26、第七装置27和第八装置28与图2所示的第五装置25、第六装置26、第七装置27和第八装置28内容相同或基本相同，为简明起见，不再赘述，并以引用的方式包含于此。
在此，所述控制设备3可以是包括但不限于包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述控制设备3具有自主处理能力的设备，可以独自完整的功能。在连接智能眼镜设备后，可以协助智能眼镜设备树立核心技术逻辑及存储相关数据，并反馈相关控制信息等。此外，所述控制设备3还可以具有供用户进行触摸操作的触摸输入设备。当然，本领域技术人员应能理解上述所述控制设备3仅为举例，其他现有的或今后可能出现的所述控制设备3如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
其中，所述控制设备3与所述智能眼镜设备1物理分离，且与所述智能眼镜设备1通过有线或无线方式建立通信连接。
其中，所述控制设备3包括：第十二装置32、第十三装置33和第十四装置34。其中，所述第十二装置32获取所述智能眼镜设备1所发送的从分体设备2所反馈的分体反馈数据；第十三装置33解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息；第十四装置34基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息，并将所述相应增强现实效果的展示信息发送至所述智能眼镜设备。
进一步地，所述控制设备3还包括：第十五装置(未示出)和第十六装置(未示出)，其中，所述第十五装置获取所述智能眼镜设备发送的多模态场景信息，其中，所述多模态场景信息包括所述智能眼镜设备所获取的现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；其中，所述第十六装置综合处理所述多模态场景信息，以生成所述相关控制信息，并向所述智能眼镜设备1发送相关控制信息。
所述控制设备3还可以具备操作输入功能，具体地，所述控制设备还包括：第十七装置(未示出)，所述第十七装置获取用户对所述控制设备的触控操作信息，并将所述触控操作信息发送至所述智能眼镜设备。相应地，所述第十六装置还可以用于综合处理所述多模态场景信息和触控操作信息，以生成所述相关控制信息。
根据本申请一方面提供的一种实现增强现实交互和展示的系统，所述系统包括智能眼镜设备、分体设备和控制设备，其中，所述智能眼镜设备分体设备和控制设备及其配合内容与图3所示的智能眼镜设备1、分体设备2和控制设备及其配合内容相同或基本相同，为简明起见，不再赘述，仅以引用的方式包含于此。
图4示出根据本申请一方面提供的一种智能眼镜设备实现增强现实交互和展示的方法示意图；其中，所述方法包括：步骤S11、步骤S12、步骤S13和步骤S14。
其中，所述步骤S11中，智能眼镜设备1基于通信协议与分体设备2建立通信连接；所述步骤S12中，智能眼镜设备1基于所述通信协议向所述分体设备2发送相关控制信息；所述步骤S13获取所述分体设备2中，智能眼镜设备1基于所述通信协议所发送的分体反馈数据；所述步骤S14中，智能眼镜设备1基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。
在此，所述智能眼镜设备1是一种可穿戴智能设备，以眼镜的硬件载体形式、融合AR(Augmented Reality，增强现实)的软件交互方式，以实现用户线上线下的信息链接和虚实融合的交互体验。所述智能眼镜设备1可以采用任意操作系统，如android操作系统、iOS操作系统等。如android操作系统、iOS操作系统等。所述智能眼镜设备1的硬件设备可以包括摄像输入模块(例如RGB摄像头、三维摄像头等)、传感输入模块(例如惯性测量单元IMU，包括电子罗盘、加速度、角速度、陀螺仪等)、语音输入模块(例如话筒等)、显示屏、语音播放设备、触觉输出设备以及数据处理模块等。当然，以上对智能眼镜设备1所包括硬件设备的描述仅为举例，今后可能出现的智能眼镜设备1，如适用本申请，仍可以以引用的方式包含于此。
本申请所述智能眼镜设备1通过基于通信协议与所述分体设备2建立通信连接，以智能眼镜设备1为交互核心，能够控制分体设备2实现相应功能，并根据所述分体设备2所发送的分体反馈数据展示相应增强现实效果，从而将智能眼镜设备1的功能扩展到分体设备2中，并且将分体设备2的分体反馈数据展现在智能眼镜设备1上，进而更好地实现用户线上线下信息链接和虚实融合的交互体验。
首先，所述步骤S11中，智能眼镜设备1可以利用一个或多个通信协议设备(DeviceProxy Service，DPS)建立通信连接，且所述通信协议设备与所述分体设备2可以是一对一、一对多等方式，所述通信协议设备与分体设备2之间的通信协议可以根据具体分体设备2或相应应用定义而相同或不同，所述通信协议设备与所述智能眼镜设备1的通信协议需统一，从而实现智能眼镜设备1与不同的分体设备2匹配。
具体地，所述步骤S11中，智能眼镜设备1基于通信协议可以与所述分体设备2通过有线或无线方式建立通信连接。
在本申请中，所述有线方式可以但不限于包括数据线等方式，所述无线方式可以但不限于包括Wifi(无线宽带)、蓝牙等方式，当然今后可能出现的通信连接方式，也可以以引用的方式包含于此。
接着，步骤S12中，智能眼镜设备1基于所述通信协议向所述分体设备2发送相关控制信息，具体地，所述智能眼镜设备1在步骤S12中，将一些控制命令，通过所述通信协议设备封装后发送相关控制信息给相应分体设备2，例如“开始”、“停止”等控制信息，当然，上述控制信息仅为举例且语言化，其他复杂的控制信息或采用不同语言形式的控制信息，例如二进制数据、各种计算机语言等方式，均可以以引用的方式包含于此。
接着，所述步骤S13中，智能眼镜设备1获取所述分体设备2基于所述通信协议所发送的分体反馈数据；其中，所述步骤S13中，智能眼镜设备1获取到所述分体反馈数据后，可以利用通信协议设备解析相应分体反馈数据，以生成智能眼镜设备1可识别的信息。例如，用于行车监控的分体设备2发送了采集到的“前方有障碍物”的数据。
接着，所述步骤S14中，智能眼镜设备1基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果。具体地，所述步骤S14中，智能眼镜设备1会根据所述分体反馈数据执行相应业务逻辑，并根据所述业务逻辑所确定的显示规则在智能眼镜设备1上利用显示屏、语音播报模块及输出模块向用户传达相应的提示信息。接前例，当所述步骤S14中，智能眼镜设备1收到用于行车监控的分体设备2发送的“前方有障碍物”的分体反馈数据后，分析所述分体反馈数据确定需要提示用户前方有障碍物，则确定例如需在显示屏追踪的障碍物及进行高亮显示、调用语音播放设备播报警报提示音或调用触觉输出设备启动震动等提示信息的内容等增强现实效果。
在一优选的实施例中，所述步骤S14中，智能眼镜设备1可以对所述分体反馈数据直接进行处理和展示；具体地，所述步骤S14包括：解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息；例如，接前例，当所述智能眼镜设备1收到用于行车监控的分体设备2发送的“前方有障碍物”的分体反馈数据后，分析所述分体反馈数据确定需要提示用户前方有障碍物，则首先确定提示内容的优先级信息，例如是否优先于即将要播报的当前导航语音(例如“请直行”、“请在前方500米右转”等)信息等，分析所述展示相关信息以及参数信息，以确定例如需在显示屏追踪的障碍物及进行高亮显示、调用语音播放设备播报警报提示音或调用触觉输出设备启动震动等提示信息的内容等。基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息。在此，智能眼镜设备1基于所述分体反馈数据的相关信息可以根据所述分体反馈数据执行相应业务逻辑，获得相关信息的输出结果。具体业务逻辑可根据实际场景具体设置和确定，不再详述。
此外，对于具有逻辑处理能力的分体设备2，其发送的分体反馈数据可以直接携带其相关信息，例如“最优先播放紧急提示音”，则智能眼镜设备1无需分析所述分体反馈数据的逻辑，可直接根据所述分体反馈数据获取相关信息执行相应业务逻辑。
在另一优选的实施例中，所述步骤S14也可以将所述分体反馈数据发送至与所述智能眼镜设备1相配合的控制设备3。具体地，所述步骤S14包括将所述分体反馈数据发送至所述控制设备3；获取所述控制设备3基于解析所述分体反馈数据所确定的相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息。
在此，所述控制设备3用于处理智能眼镜设备1的核心业务逻辑，所述控制设备3可以与所述智能眼镜设备1物理分体，并以有线或无线的方式通信连接，将用于处理核心业务逻辑的控制设备3与所述智能眼镜设备1物理分体，能够降低智能眼镜设备1本身体积和重量，并避免智能眼镜设备1过度散热导致用户使用不适。
此外，所述步骤S14还包括：基于所述业务逻辑向所述分体设备2发送用以控制所述分体设备2进行展示辅助效果的辅助控制信息。所述辅助控制信息可以例如是控制分体设备2自身的触控设备、语音设备或显示设备进行相应的配合展示，进而提高用户交互体验。
根据本申请优选的实施例，所述智能眼镜设备1可以通过多通道获取多模态场景信息，并将多模态场景信息融合处理后产生相关的控制信息。具体地，所述步骤S12还包括：获取多模态场景信息，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；综合处理所述多模态场景信息，以生成所述相关控制信息。
在此，所述现实场景信息可以是图片、照片、场景图像、实物图像、或有特定形状物体等。所述增强现实效果可以包括相关联的增强现实内容(包括但不限于视频、语音、链接、二维动画和三维动画等)和对应的增强现实显示效果。
具体地，所述智能眼镜设备1可以利用若干硬件采集多模态各个通道的输入信息，例如智能眼镜设备的RGB摄像头获取场景图像信息，智能眼镜设备的深度摄像头获取手势信息，智能眼镜设备的麦克风获取语音信息，智能眼镜设备的触控板获取触控信息等，当然，所述所述智能眼镜设备1获取的输入信息及使用的硬件设备并不被限定，今后可能出现的获取方式或获取设备都可以以引用的方式包含于此。
所述智能眼镜设备1可以先利用不同处理模块对相应所述输入模块的若干所述输入信息分别进行识别预处理，以生成若干所述结构化数据，其中，所述处理模块包括场景图像识别模块、手势识别模块、声音识别模块、触控识别模块和传感识别模块，利用对应识别模块处理每个通道的输入信息，包括提取特征和/或分析语义，输出成结构化数据(每一通道的输入信息对应的结构化数据的结构可以相同或不同，能够进行融合处理和仲裁分析即可)；再对若干所述结构化数据进行融合处理和仲裁分析，以生成相关控制信息命令，其中，可以利用已预先定义或预先训练的(包括由开发者定义初始规则集或训练初始模型，或由用户基于规则或模型进行更新的模型)，规则可以是自然交互方式间的关系(比如手势与语音配合或竞争关系等)，也可以是机器学习模型(如决策树、随机森林等)；也可以利用深度学习模型直接对输入信息的原始数据进行处理，以生成相关控制信息命令。
根据本申请另一优选的实施例，所述智能眼镜设备1可以通过多通道获取多模态场景信息，并将多模态场景信息发给控制设备3进行融合处理，再从所述控制设备3获取其生成的相关控制信息。具体地，所述步骤S12还包括：获取多模态场景信息，其中，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；将所述多模态场景信息发送至控制设备3；获取所述控制设备3基于综合处理所述多模态场景信息所生成的所述相关控制信息；基于所述通信协议向所述分体设备2发送相关控制信息。
本申请实施例所述的智能眼镜设备1通过接受多输入设备的数据流，并对目标进行识别、定位与跟踪，并对周边物理场景建模(真实模型)，然后把虚拟模型和真实模型叠加，在统一的、混合模型中实现虚实模型的交互，之后把交互结果生成的相关控制信息发送给对应分体设备2，相比于现有技术中简单的按键、触控等操作控制分体设备2的方式，进一步提高了用户设备的交互体验。
优选地，所述智能眼镜设备1中对应每一个输入、输出模块都可以都有对应一个模块处理相应数据，完成与核心逻辑处理模块的适配，以保证核心逻辑处理模块跟具体的输入、输出设备无关，降低了核心逻辑处理的依赖性，进而提高了智能眼镜设备1的可扩展性。
图5示出根据本申请一优选实施例提供的一种智能眼镜设备与分体设备配合实现增强现实交互和展示方法的流程示意图；
所述智能眼镜设备端实现方法包括步骤S11、步骤S12、步骤S13和步骤S14，其中，图5所示的步骤S11、步骤S12、步骤S13和步骤S14与图4所示的步骤S11、步骤S12、步骤S13和步骤S14内容相同或基本相同，为简明起见，不再赘述，并以引用的方式包含于此。
所述分体设备2端实现方法包括：步骤S25、步骤S26、步骤S27和步骤S28。其中，所述步骤S25所述分体设备2基于通信协议与所述智能眼镜设备1的步骤S11建立通信连接；所述步骤S26所述分体设备2获取所述智能眼镜设备1的步骤S12基于所述通信协议发送的相关控制信息；所述步骤S27所述分体设备2基于所述相关控制信息，收集采集数据，综合分析所述采集数据，以生成分体反馈数据；所述步骤S28所述分体设备2基于所述通信协议向所述智能眼镜设备1发送所述分体反馈数据，以配合所述智能眼镜设备1展示相应增强现实效果。
在此，所述分体设备2可以是包括但不限于包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述分体设备2可以是具有自主处理能力的设备，可以独自完整的功能。在未连接智能眼镜设备时，可以作为独立的设备运行，当连接智能眼镜设备后，可以通过协议与智能眼镜设备交换数据(经过处理的数据)和接收指令，完成指定的功能；例如行车控制设备、视频播放设备；所述分体设备2还可以是电子设备配件，以智能眼镜设备为控制和处理中心，通过协议连接智能眼镜设备后，向眼镜输入采集到的数据(未经处理的数据)，并接受和输出眼镜处理过的数据，完成指定的功能；例如游戏配件(手柄、手套等游戏道具)、鼠标、键盘等。当然，本领域技术人员应能理解上述分体设备2仅为举例，其他现有的或今后可能出现的分体设备2如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
其中，所述分体设备2与所述智能眼镜设备1通过有线或无线方式建立通信连接。
进一步地，所述方法还包括：分体设备2获取所述智能眼镜设备1基于所述分体反馈数据所执行的相应业务逻辑发送的辅助控制信息，并基于所述辅助控制信息展示相应辅助效果，其中，所述辅助效果包括至少以下任一项：辅助声音效果、辅助振动效果、辅助视觉效果。
进一步地，所述步骤S27包括：基于所述相关控制信息，收集采集数据，多方所述采集数据包括至少以下任一项：图像采集数据、传感定位采集数据、声音采集数据；综合分析所述采集数据，获取分体反馈数据的相关信息，其中，所述分体反馈数据的相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息。
在图1所示的智能眼镜设备1的基础上，根据本申请一优选的实施例提供的一种用于行车监控中实现增强现实交互和展示的智能眼镜设备1，其中，所述智能眼镜设备1包括：
第一装置，用于基于通信协议与行车监控分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述行车监控分体设备发送相关控制信息，其中，所述相关控制信息包括至少以下任一项：实时定位控制信息、实时录像控制信息、实时语音导航控制信息；
第三装置，用于获取所述行车监控分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述行车监控分体设备所获取的行车信息，其中，所述行车信息包括至少以下任一项：时速信息、障碍信息、行人信息；
第四装置，用于基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑执行结果展示相应增强现实效果，其中，所述业务逻辑包括至少以下任一项：显示关键导航信息、提示障碍信息或行人信息。
图6示出根据本申请一优选的实施例提供的一种用于行车监控中实现增强现实交互和展示的智能眼镜设备1与行车监控分体设备2配合流程示意图，在驾驶场景中的智能眼镜设备与行车监控分体设备(例如行车监控仪)配合完成交互。以行车监控仪为例，行车监控仪是具有自主处理能力的设备，主要包括数据采集模块、控制和处理模块、数据传输模块和数据输出模块四大模块。行车监控仪拥有自己的控制和处理中心，可以独自完整的功能。在未连接智能眼镜设备时，可以作为独立的设备运行；连接智能眼镜设备后，可以通过协议与智能眼镜设备交换数据(经过处理的数据)和接收指令，完成指定的功能。行车监控分体设备类的分体设备可以类似手机连接电脑的形式连接智能眼镜设备。
其中，智能眼镜设备1与行车监控分体设备2配合流程具体包括：
步骤S41：所述智能眼镜设备1首先根据用户指令打开用于行车监控的应用，例如地图或导航等应用；
步骤S42：然后，根据通信协议与行车监控分体控制设备2(例如行车监控仪)建立通信连接，其中智能眼镜设备1和行车监控分体控制设备2通过数据传输模块建立连接，数据传输模块可以是有线连接、无线网络(Wifi)或蓝牙设备，行车监控分体控制设备2具有控制和处理模块(例如但不限于嵌入式芯片)；
步骤S43：所述行车监控分体控制设备2的数据采集模块获取各种采集数据，例如摄像头或汽车控制系统采集到的时速、车轮转速、行人、障碍物、路标等信息；
步骤S44：所述控制和处理模块收集行车监控分体控制设备2的数据采集模块获取的采集数据，并处理和分析所述采集数据，以生成分体反馈数据；
步骤S45：所述分体行车监控设备2基于所述通信协议将生成的分体反馈数据通过数据传输模块发送至智能眼镜设备1；
步骤S46：接着，所述智能眼镜设备1基于通信协议获取到分体反馈数据，执行相应的业务逻辑，例如显示关键导航信息、高亮行人位置等；
步骤S47：此外，所述智能眼镜设备1还可以根据用户交互生成相关控制信息，并将控制行车监控分体设备2进行相关操作的相关控制信息发送至所述分体控制设备2中，例如启动录像、启动语音导航等控制信息，其中所述步骤S47与步骤S41～步骤S46先后顺序不被限定；
步骤S48：随后，所述分体设备2根据所述相关控制信息执行相应的操作，包括进行录像、拍照、利用数据输出模块(包括扬声器等)播报导航信息。
在图1所示的智能眼镜设备1的基础上，根据本申请一优选的实施例提供的一种用于游戏控制中实现增强现实交互和展示的智能眼镜设备示意图，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与游戏控制分体设备2建立通信连接；
第二装置，用于基于所述通信协议向所述游戏控制分体设备2发送相关控制信息，其中，所述相关控制信息包括至少以下任一项：传感数据采集控制信息、特效展示控制信息；
第三装置，用于获取所述游戏控制分体设备2基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述游戏控制分体设备2所获取的游戏相关信息，其中，所述游戏相关信息包括：用户操作信息；
第四装置，用于基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑执行结果展示游戏相关的相应增强现实效果。
图7示出根据本申请一优选的实施例提供的一种用于游戏控制中实现增强现实交互和展示的智能眼镜设备和游戏控制分体设备示意图以上为游戏场景中的智能眼镜设备与游戏控制分体设备(例如游戏手套、手柄、射击枪等游戏设备)的信号流示意图。以游戏控制分体设备为例，主要包括数据采集模块、数据传输模块和数据输出三大模块。游戏控制分体设备以智能眼镜设备为控制和处理中心，通过协议连接智能眼镜设备后，向眼镜输入采集到的数据(未经处理的数据)，并接受和输出眼镜处理过的数据，完成指定的功能。游戏控制分体设备以类似电脑配件鼠标或键盘等外设连接电脑的形式连接智能眼镜设备。
其中，智能眼镜设备1与游戏控制分体设备2配合流程具体包括：
步骤S51：所述智能眼镜设备1首先根据用户指令打开游戏应用；
步骤S52：然后，根据通信协议与分体控制设备2建立通信连接，其中智能眼镜设备1和分体控制设备2通过数据传输模块建立连接，数据传输模块可以是有线连接、无线网络(Wifi)或蓝牙设备；
步骤S53：所述分体控制设备2的数据采集模块获取各种采集数据，例如用户的动作、手势、对分体控制设备2所具有的控制键或控制杆的控制等；
步骤S54：所述控制设备2基于所述通信协议将包括所述采集数据的分体反馈数据通过数据传输模块发送至智能眼镜设备1；
步骤S55：接着，所述智能眼镜设备1基于所述分体反馈数据，执行相应的游戏业务逻辑，例如控制游戏中人、物、场景发生变化等；
步骤S56：所述智能眼镜设备1还可以根据用户交互生成相关操作的相关控制信息；
步骤S57：接着，所述智能眼镜设备1基于通信协议发送至所述分体控制设备2中，例如控制分体控制设备2产生相应游戏特效，其中所述步骤S57与步骤S51～步骤S56先后顺序不被限定；
步骤S58：随后，所述分体设备2根据所述相关控制信息执行相应的操作，包括进行播放特效声音、产生振动、热感和冷感等。
图8示出根据本申请优选实施例提供的一种用于配合实现增强现实交互和展示的智能眼镜设备1、分体设备2和控制设备3的配合方法的流程示意图。
所述智能眼镜设备端实现方法包括步骤S11、步骤S12、步骤S13和步骤S14，其中，图8所示的步骤S11、步骤S12、步骤S13和步骤S14与图4所示的步骤S11、步骤S12、步骤S13和步骤S14内容相同或基本相同。所述分体设备2端实现方法包括：步骤S25、步骤S26、步骤S27和步骤S28，其中，图8所示的步骤S25、步骤S26、步骤S27和步骤S28与图2所示的步骤S25、步骤S26、步骤S27和步骤S28内容相同或基本相同，为简明起见，不再赘述，并以引用的方式包含于此。
在此，所述控制设备3可以是包括但不限于包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述控制设备3具有自主处理能力的设备，可以独自完整的功能。在连接智能眼镜设备后，可以协助智能眼镜设备树立核心技术逻辑及存储相关数据，并反馈相关控制信息等。此外，所述控制设备3还可以具有供用户进行触摸操作的触摸输入设备。当然，本领域技术人员应能理解上述所述控制设备3仅为举例，其他现有的或今后可能出现的所述控制设备3如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
其中，所述控制设备3端方法包括：步骤S32、步骤S33和步骤S34。其中，所述步骤S32中，所述控制设备3获取所述智能眼镜设备1所发送的从分体设备2所反馈的分体反馈数据；所述步骤S33中，所述控制设备3解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项：优先级信息、展示相关信息、参数信息；所述步骤S34中，所述控制设备3基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，其中，所述展示信息包括至少以下任一项：虚拟图像展示信息、声音展示信息、震动展示信息，并将所述相应增强现实效果的展示信息发送至所述智能眼镜设备。
进一步地，所述方法还包括：所述控制设备3获取所述智能眼镜设备发送的多模态场景信息，其中，所述多模态场景信息包括所述智能眼镜设备所获取的现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；所述控制设备3综合处理所述多模态场景信息，以生成所述相关控制信息，并向所述智能眼镜设备1发送相关控制信息。
所述控制设备3还可以具备操作输入功能，具体地，所述控制设备还获取用户对所述控制设备的触控操作信息，并将所述触控操作信息发送至所述智能眼镜设备。相应地，所述控制设备3可以综合处理所述多模态场景信息和触控操作信息，以生成所述相关控制信息。
图9示出根据本申请一优选实施例提供的一种用于配合实现增强现实交互和展示的智能眼镜设备1和控制设备3的具体场景的配合方法的流程示意图。
所述智能眼镜设备1包括输入模块和输出模块，所述输入模块包括RGB摄像、深度摄像头、运动传感器和麦克风，RGB摄像头可以采集场景信息，深度摄像头可以采集手势信息，运动传感器可以采集智能眼镜设备在三维空间中的角速度和加速度等传感信息，麦克风采集语音信息，将采集的各个输入数据发送至控制设备3的计算和存储模块中，所述计算和存储模块进行数据处理和逻辑控制，包括计算智能眼镜设备1的空间位置、图像识别和跟踪、手势的识别以及用户交互指令等，并将相应的处理结果反馈至所述智能眼镜设备1的输出模块，所述输出模块利用扬声器输出声音、振动传感器输出振动、显示屏显示相应虚拟图像等。期间，所述控制设备2还可以利用自身具有的输入触摸板采集用户触控输入数据，并发送给所述计算和存储模块一并进行数据处理和逻辑控制。
与现有技术相比，根据本申请的实施例所述的用于实现增强现实交互和展示的方法、智能眼镜设备及分体设备智能眼镜设备通过基于通信协议与所述分体设备建立通信连接，以智能眼镜设备为交互核心，能够控制分体设备实现相应功能，并根据所述分体设备所发送的分体反馈数据展示相应增强现实效果，从而将智能眼镜设备的功能扩展到分体设备中，并且将分体设备的分体反馈数据展现在智能眼镜设备上，进而更好地实现用户线上线下信息链接和虚实融合的交互体验。
进一步地，通过所述智能眼镜设备配置物理分离的与控制设备物理分体，并以有线或无线的方式通信连接，将所述智能眼镜设备的处理核心业务逻辑，包括分体设备的相关控制信息、多模态场景融合处理等的工作交由控制设备3执行，能够降低智能眼镜设备1本身体积和重量，并避免智能眼镜设备1过度散热导致用户使用不适。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (26)

1.一种在智能眼镜设备端用于实现增强现实交互和展示的方法，其中，所述方法包括：
A基于通信协议与分体设备建立通信连接；
B基于所述通信协议向所述分体设备发送相关控制信息；
C获取所述分体设备基于所述通信协议所发送的分体反馈数据；
D基于所述分体反馈数据展示相应增强现实效果；
所述步骤B还包括：
获取多模态场景信息，其中，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息；
将所述多模态场景信息发送至控制设备，所述控制设备与所述智能眼镜设备物理分离；
获取所述控制设备基于综合处理所述多模态场景信息和用户对所述控制设备的触控操作信息所生成的所述相关控制信息。
2.根据权利要求1所述的方法，其中，所述步骤D中基于所述分体反馈数据展示相应增强现实效果还包括：
解析所述分体反馈数据的相关信息；
基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息。
3.根据权利要求1所述的方法，其中，所述步骤D中基于所述分体反馈数据展示相应增强现实效果还包括：
将所述分体反馈数据发送至所述控制设备；
获取所述控制设备通过解析所述分体反馈数据所确定的相应增强现实效果的展示信息。
4.根据权利要求1至3中任一项所述的方法，其中，所述步骤D还包括：
向所述分体设备发送用以控制所述分体设备进行展示辅助效果的辅助控制信息。
5.根据权利要求1所述的方法，其中，所述步骤A包括：
基于通信协议，与所述分体设备通过有线或无线方式建立通信连接。
6.一种在智能眼镜设备端实现行车监控中增强现实交互和展示的方法，其中，所述方法包括：
A1基于通信协议与行车监控分体设备建立通信连接；
B1基于所述通信协议向所述行车监控分体设备发送相关控制信息，其中，所述相关控制信息为控制设备基于综合处理多模态场景信息和用户对所述控制设备的触控操作信息所生成，所述相关控制信息包括至少以下任一项:实时定位控制信息、实时录像控制信息、实时语音导航控制信息，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息，所述控制设备与所述智能眼镜设备物理分离；
C1获取所述行车监控分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述行车监控分体设备所获取的行车信息，其中，所述行车信息包括至少以下任一项:时速信息、障碍信息、行人信息；
D1基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑的执行结果展示相应增强现实效果，其中，所述业务逻辑包括至少以下任一项：显示关键导航信息、提示障碍信息或行人信息。
7.一种在智能眼镜设备端用于游戏控制中实现增强现实交互和展示的方法，其中，所述方法包括：
A2基于通信协议与游戏控制分体设备建立通信连接；
B2基于所述通信协议向所述游戏控制分体设备发送相关控制信息，其中，所述相关控制信息为控制设备基于综合处理多模态场景信息和用户对所述控制设备的触控操作信息所生成，所述相关控制信息包括至少以下任一项:传感数据采集控制信息、特效展示控制信息，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息，所述控制设备与所述智能眼镜设备物理分离；
C2获取所述游戏控制分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述游戏控制分体设备所获取的游戏相关信息，其中，所述游戏相关信息包括:用户操作信息；
D2基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑的执行结果展示游戏相关的相应增强现实效果。
8.一种在分体设备端用于配合实现增强现实交互和展示的方法，其中，所述方法包括：
a基于通信协议与智能眼镜设备建立通信连接；
b获取所述智能眼镜设备基于所述通信协议发送的相关控制信息，所述相关控制信息为控制设备基于综合处理多模态场景信息和用户对所述控制设备的触控操作信息所生成，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息，所述控制设备与所述智能眼镜设备物理分离；
c基于所述相关控制信息，收集采集数据，分析所述采集数据，以生成分体反馈数据；
d基于所述通信协议向所述智能眼镜设备发送所述分体反馈数据，以配合所述智能眼镜设备展示相应增强现实效果。
9.根据权利要求8所述方法，其中，所述方法还包括：
g获取所述智能眼镜设备基于所述分体反馈数据所执行的相应发送的辅助控制信息，并基于所述辅助控制信息展示相应辅助效果，其中，所述辅助效果包括至少以下任一项:辅助声音效果、辅助振动效果、辅助视觉效果。
10.根据权利要求8或9所述方法，其中，所述步骤a包括：
基于通信协议，与所述智能眼镜设备通过有线或无线方式建立通信连接。
11.根据权利要求8或9所述方法，其中，所述步骤c包括：
基于所述相关控制信息，收集采集数据，其中，所述采集数据包括至少以下任一项：图像采集数据、传感定位采集数据、声音采集数据；
分析所述采集数据，获取分体反馈数据的相关信息，其中，所述分体反馈数据的相关信息包括至少以下任一项:优先级信息、展示相关信息、参数信息。
12.一种在控制设备端用于配合实现增强现实交互和展示的方法，其中，所述控制设备与智能眼镜设备物理分离，所述方法包括：
aa获取所述智能眼镜设备所发送的分体反馈数据；
bb解析所述分体反馈数据的相关信息；
cc基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，并将所述相应增强现实效果的展示信息发送至所述智能眼镜设备；
该方法还包括：
dd获取所述智能眼镜设备发送的多模态场景信息和用户对所述控制设备的触控操作信息，其中，所述多模态场景信息包括所述智能眼镜设备所获取的现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息；
ee用于综合处理所述多模态场景信息和用户对所述控制设备的触控操作信息，以生成相关控制信息，并向所述智能眼镜设备发送相关控制信息。
13.根据权利要求12所述的方法，其中，所述方法还包括：
与所述智能眼镜设备通过有线或无线方式建立通信连接。
14.一种用于实现增强现实交互和展示的智能眼镜设备，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述分体设备发送相关控制信息；
第三装置，用于获取所述分体设备基于所述通信协议所发送的分体反馈数据；
第四装置，用于基于所述分体反馈数据展示相应增强现实效果，所述增强现实效果包括配合现实场景所显示的虚拟图像、所播放的声音效果及振动效果；
所述第二装置包括：
第二三单元，用于获取多模态场景信息，其中，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项：手势信息、语音信息、传感信息、触控操作信息；
第二四单元，用于将所述多模态场景信息发送至控制设备，所述控制设备与所述智能眼镜设备物理分离；
第二五单元，用于获取所述控制设备基于综合处理所述多模态场景信息和用户对所述控制设备的触控操作信息所生成的所述相关控制信息；
第二六单元，用于基于所述通信协议向所述分体设备发送相关控制信息。
15.据权利要求14所述的智能眼镜设备，其中，所述第四装置包括：
第四一单元，用于解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项:优先级信息、展示相关信息、参数信息；
第四二单元，用于基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息。
16.根据权利要求15所述的智能眼镜设备，其中，所述第四装置包括：
第四三单元，用于将所述分体反馈数据发送至所述控制设备；
第四四单元，用于获取所述控制设备基于解析所述分体反馈数据所确定的相应增强现实效果的展示信息。
17.根据权利要求15所述的智能眼镜设备，其中，所述第四装置还包括：
第四五单元，用于基于所述业务逻辑向所述分体设备发送用以控制所述分体设备进行展示辅助效果的辅助控制信息。
18.根据权利要求14至16中任一项所述的智能眼镜设备，其中，所述第一装置用于：
基于通信协议，与所述分体设备通过有线或无线方式建立通信连接。
19.一种用于行车监控中实现增强现实交互和展示的智能眼镜设备，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与行车监控分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述行车监控分体设备发送相关控制信息，其中，所述相关控制信息为控制设备基于综合处理多模态场景信息和用户对所述控制设备的触控操作信息所生成，所述相关控制信息包括至少以下任一项:实时定位控制信息、实时录像控制信息、实时语音导航控制信息，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息，所述控制设备与所述智能眼镜设备物理分离；
第三装置，用于获取所述行车监控分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述行车监控分体设备所获取的行车信息，其中，所述行车信息包括至少以下任一项:时速信息、障碍信息、行人信息；
第四装置，用于基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑执行结果展示相应增强现实效果，其中，所述业务逻辑包括至少以下任一项：显示关键导航信息、提示障碍信息或行人信息。
20.一种用于游戏控制中实现增强现实交互和展示的智能眼镜设备，其中，所述智能眼镜设备包括：
第一装置，用于基于通信协议与游戏控制分体设备建立通信连接；
第二装置，用于基于所述通信协议向所述游戏控制分体设备发送相关控制信息，其中，所述相关控制信息为控制设备基于综合处理多模态场景信息和用户对所述控制设备的触控操作信息所生成，所述相关控制信息包括至少以下任一项:传感数据采集控制信息、特效展示控制信息，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息，所述控制设备与所述智能眼镜设备物理分离；
第三装置，用于获取所述游戏控制分体设备基于所述通信协议所发送的分体反馈数据，所述分体反馈数据包括所述游戏控制分体设备所获取的游戏相关信息，其中，所述游戏相关信息包括:用户操作信息；
第四装置，用于基于所述分体反馈数据执行相应业务逻辑，并基于所述业务逻辑执行结果展示游戏相关的相应增强现实效果。
21.一种用于配合实现增强现实交互和展示的分体设备，其中，所述分体设备包括：
第五装置，用于基于通信协议与智能眼镜设备建立通信连接；
第六装置，用于获取所述智能眼镜设备基于所述通信协议发送的相关控制信息，所述相关控制信息为控制设备基于综合处理多模态场景信息和用户对所述控制设备的触控操作信息所生成，所述多模态场景信息包括现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息，所述控制设备与所述智能眼镜设备物理分离；
第七装置，用于基于所述相关控制信息，收集采集数据，综合分析所述采集数据，以生成分体反馈数据；
第八装置，用于基于所述通信协议向所述智能眼镜设备发送所述分体反馈数据，以配合所述智能眼镜设备展示相应增强现实效果。
22.根据权利要求21所述分体设备，其中，所述分体设备还包括：
第十一装置，用于获取所述智能眼镜设备基于所述分体反馈数据所执行的相应业务逻辑发送的辅助控制信息，并基于所述辅助控制信息展示相应辅助效果，其中，所述辅助效果包括至少以下任一项:辅助声音效果、辅助振动效果、辅助视觉效果。
23.根据权利要求21或22所述分体设备，其中，所述分体设备基于通信协议，与所述智能眼镜设备通过有线或无线方式建立通信连接。
24.根据权利要求21或22所述分体设备，其中，所述第七装置包括：
第七一单元，用于基于所述相关控制信息，收集采集数据，多方所述采集数据包括至少以下任一项：图像采集数据、传感定位采集数据、声音采集数据；
第七二单元，用于综合分析所述采集数据，获取分体反馈数据的相关信息，其中，所述分体反馈数据的相关信息包括至少以下任一项:优先级信息、展示相关信息、参数信息。
25.一种用于配合实现增强现实交互和展示的控制设备，其中，所述控制设备与智能眼镜设备物理分离，所述控制设备包括：
第十二装置，用于获取所述智能眼镜设备所发送的分体反馈数据；
第十三装置，用于解析所述分体反馈数据的相关信息，其中，所述相关信息包括至少以下任一项:优先级信息、展示相关信息、参数信息；
第十四装置，用于基于所述分体反馈数据的相关信息执行相应业务逻辑，以确定相应增强现实效果的展示信息，并将所述相应增强现实效果的展示信息发送至所述智能眼镜设备；
所述控制设备还包括：
第十五装置，用于获取所述智能眼镜设备发送的多模态场景信息，其中，所述多模态场景信息包括所述智能眼镜设备所获取的现实场景信息、虚拟场景信息以及用户操作信息，其中，所述用户操作信息包括至少以下任一项:手势信息、语音信息、传感信息、触控操作信息；
第十六装置，用于综合处理所述多模态场景信息和用户对所述控制设备的触控操作信息，以生成相关控制信息，并向所述智能眼镜设备发送相关控制信息；
第十七装置，用于获取用户对所述控制设备的触控操作信息。
26.根据权利要求25所述的控制设备，其中，所述控制设备与所述智能眼镜设备通过有线或无线方式建立通信连接。
CN201610049175.0A 2016-01-25 2016-01-25 用于实现增强现实交互和展示的方法、设备 Active CN106997235B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610049175.0A CN106997235B (zh) 2016-01-25 2016-01-25 用于实现增强现实交互和展示的方法、设备
PCT/CN2017/078224 WO2017129148A1 (zh) 2016-01-25 2017-03-25 用于实现增强现实交互和展示的方法、设备
US16/044,297 US20200090622A9 (en) 2016-01-25 2018-07-24 Method and devices used for implementing augmented reality interaction and displaying
US17/392,135 US20210385299A1 (en) 2016-01-25 2021-08-02 Method and apparatus for augmented reality interaction and presentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610049175.0A CN106997235B (zh) 2016-01-25 2016-01-25 用于实现增强现实交互和展示的方法、设备

Publications (2)

Publication Number Publication Date
CN106997235A CN106997235A (zh) 2017-08-01
CN106997235B true CN106997235B (zh) 2018-07-13

Family

ID=59397470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610049175.0A Active CN106997235B (zh) 2016-01-25 2016-01-25 用于实现增强现实交互和展示的方法、设备

Country Status (3)

Country Link
US (1) US20200090622A9 (zh)
CN (1) CN106997235B (zh)
WO (1) WO2017129148A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997236B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
EP4220258A1 (en) 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
WO2019017253A1 (ja) * 2017-07-18 2019-01-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
CN109934929A (zh) * 2017-12-15 2019-06-25 深圳梦境视觉智能科技有限公司 图像增强现实的方法、装置、增强现实显示设备及终端
CN108170267A (zh) * 2017-12-25 2018-06-15 天脉聚源(北京)传媒科技有限公司 一种获取三维数据的方法及装置
CN108197571B (zh) * 2018-01-02 2021-09-14 联想(北京)有限公司 一种面罩遮挡检测方法及电子设备
CN108079577A (zh) * 2018-01-05 2018-05-29 玛雅国际文化发展有限公司 一种游乐场的管理系统及管理方法
CN108608180A (zh) * 2018-03-14 2018-10-02 斑马网络技术有限公司 零件装配方法及其装配系统
CN108762482B (zh) * 2018-04-16 2021-05-28 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
CN108646925B (zh) * 2018-06-26 2021-01-05 朱光 一种分体式头戴显示器系统及交互方法
CN110732133A (zh) * 2018-07-20 2020-01-31 北京君正集成电路股份有限公司 一种基于智能眼镜遥控游戏视角的方法和装置
CN109361727B (zh) * 2018-08-30 2021-12-07 Oppo广东移动通信有限公司 信息共享方法、装置、存储介质及穿戴式设备
CN109407832B (zh) * 2018-09-29 2021-06-29 维沃移动通信有限公司 一种终端设备的控制方法及终端设备
WO2020114395A1 (zh) * 2018-12-03 2020-06-11 广东虚拟现实科技有限公司 虚拟画面的控制方法、终端设备及存储介质
US10990168B2 (en) * 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
CN111488055A (zh) * 2019-01-28 2020-08-04 富顶精密组件（深圳）有限公司 一种车用扩增实境眼镜辅助装置
CN109976690B (zh) * 2019-03-27 2020-05-12 优奈柯恩(北京)科技有限公司 Ar眼镜远程交互方法、装置和计算机可读介质
CN110705063A (zh) * 2019-09-20 2020-01-17 深圳市酷开网络科技有限公司 一种模拟震动方法、系统及存储介质
CN111158466B (zh) * 2019-12-11 2023-11-21 上海纪烨物联网科技有限公司 适用于智能棋具的ai眼镜传感交互方法、系统、介质及设备
CN111367407B (zh) * 2020-02-24 2023-10-10 Oppo（重庆）智能科技有限公司 智能眼镜交互方法、智能眼镜交互装置及智能眼镜
CN111651035B (zh) * 2020-04-13 2023-04-07 济南大学 一种基于多模态交互的虚拟实验系统及方法
CN113917687A (zh) * 2020-07-08 2022-01-11 佐臻股份有限公司 智能眼镜轻量化装置
JP7071454B2 (ja) * 2020-08-27 2022-05-19 株式会社バンダイ ゲーム支援システム、プログラム及び情報通信端末
GB2598759A (en) * 2020-09-11 2022-03-16 Muzaffar Saj Data entry apparatus and method
CN112486322A (zh) * 2020-12-07 2021-03-12 济南浪潮高新科技投资发展有限公司 一种基于语音识别和手势识别的多模态ar眼镜交互系统
CN113542891B (zh) * 2021-06-22 2023-04-21 海信视像科技股份有限公司 一种视频特效显示方法及设备
CN113741687B (zh) * 2021-08-10 2023-05-23 广东工业大学 基于ar眼镜的工业空调控制通讯方法、系统及存储介质
CN114063778A (zh) * 2021-11-17 2022-02-18 北京蜂巢世纪科技有限公司 一种利用ar眼镜模拟图像的方法、装置、ar眼镜及介质
CN114900530B (zh) * 2022-04-22 2023-05-05 冠捷显示科技（厦门）有限公司 一种显示设备与元宇宙虚实切换与整合系统及其方法
CN115690149B (zh) * 2022-09-27 2023-10-20 江苏盛利智能科技有限公司 显示器的图像融合处理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102773822A (zh) * 2012-07-24 2012-11-14 青岛理工大学 一种具有智能诱导功能的扳手系统及测量方法和诱导方法
CN103488994A (zh) * 2012-06-12 2014-01-01 达索系统公司 共生助手
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口
CN104049739A (zh) * 2013-03-15 2014-09-17 英默森公司 可佩戴触觉设备
CN204462541U (zh) * 2015-01-02 2015-07-08 靳卫强 一种可实现增强现实的智能眼镜
CN104808795A (zh) * 2015-04-29 2015-07-29 王子川 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
CN105182662A (zh) * 2015-09-28 2015-12-23 神画科技（深圳）有限公司 具有增强现实效果的投影方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
CN105208333B (zh) * 2012-12-22 2019-05-10 华为技术有限公司 一种眼镜式通信装置、系统及方法
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US9164281B2 (en) * 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR101510340B1 (ko) * 2013-10-14 2015-04-07 현대자동차 주식회사 신체 착용 컴퓨터
KR102187848B1 (ko) * 2014-03-19 2020-12-07 삼성전자 주식회사 프로젝터를 이용한 영상 표시 방법 및 이를 구현하는 착용형 전자장치
CN105031918B (zh) * 2015-08-19 2018-02-23 深圳游视虚拟现实技术有限公司 一种基于虚拟现实技术的人机交互系统
CN105172599B (zh) * 2015-09-25 2018-03-06 大陆汽车电子(芜湖)有限公司 集成可穿戴设备的主动式汽车仪表系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488994A (zh) * 2012-06-12 2014-01-01 达索系统公司 共生助手
CN102773822A (zh) * 2012-07-24 2012-11-14 青岛理工大学 一种具有智能诱导功能的扳手系统及测量方法和诱导方法
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口
CN104049739A (zh) * 2013-03-15 2014-09-17 英默森公司 可佩戴触觉设备
CN204462541U (zh) * 2015-01-02 2015-07-08 靳卫强 一种可实现增强现实的智能眼镜
CN104808795A (zh) * 2015-04-29 2015-07-29 王子川 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
CN105182662A (zh) * 2015-09-28 2015-12-23 神画科技（深圳）有限公司 具有增强现实效果的投影方法及系统

Also Published As

Publication number Publication date
WO2017129148A1 (zh) 2017-08-03
CN106997235A (zh) 2017-08-01
US20200090622A9 (en) 2020-03-19
US20180357978A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN106997235B (zh) 用于实现增强现实交互和展示的方法、设备
CN108027664B (zh) 统一的虚拟现实平台
WO2017177766A1 (zh) 虚拟现实设备的控制方法、装置及虚拟现实设备、系统
US20190156558A1 (en) Virtual reality system
CN111131904B (zh) 视频播放方法及头戴电子设备
CN110348524A (zh) 一种人体关键点检测方法及装置、电子设备和存储介质
US20180061138A1 (en) Virtual reality system
CN107066507A (zh) 一种基于云机器人混合云架构的语义地图构建方法
US11769306B2 (en) User-exhibit distance based collaborative interaction method and system for augmented reality museum
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
US11775130B2 (en) Guided retail experience
KR102338984B1 (ko) 인공지능을 활용한 3d 모형 증강현실 서비스 제공 시스템 및 그 방법
CN112632778A (zh) 数字孪生模型的运行方法、装置和电子设备
US10846901B2 (en) Conversion of 2D diagrams to 3D rich immersive content
CN105138763A (zh) 一种增强现实中实景与现实信息叠加的方法
CN112037090A (zh) 基于vr技术和6dof姿态跟踪的知识教育系统
CN110262662A (zh) 一种智能人机交互方法
De Paolis et al. Augmented Reality, Virtual Reality, and Computer Graphics: 6th International Conference, AVR 2019, Santa Maria al Bagno, Italy, June 24–27, 2019, Proceedings, Part II
CN107688573A (zh) 一种基于互联网+的交互、可视化系统及其使用方法
US20210385299A1 (en) Method and apparatus for augmented reality interaction and presentation
Joshi et al. An Insight into EDGE-Based Solutions for Augmented Reality
NL2014682B1 (en) Method of simulating conversation between a person and an object, a related computer program, computer system and memory means.
CN117148969A (zh) 一种数据处理方法及装置
Stahl et al. REAL: Situated dialogue in instrumented environments
CN108242080A (zh) 增强现实方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liao Chunyuan

Inventor after: Tang Rongxing

Inventor after: Huang Mei

Inventor before: Liao Chunyuan

Inventor before: Tang Rongxing

Inventor before: Ling Haibin

Inventor before: Huang Mei

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and equipment for realizing augmented reality interaction and display

Effective date of registration: 20221008

Granted publication date: 20180713

Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000277

PE01 Entry into force of the registration of the contract for pledge of patent right
CP02 Change in the address of a patent holder

Address after: 7th Floor, No. 1, Lane 5005, Shenjiang Road, Pudong New Area Free Trade Pilot Zone, Shanghai, October 2012

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 1109, No. 570, Shengxia Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai, March 2012

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230906

Granted publication date: 20180713

Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000277

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Methods and devices for implementing augmented reality interaction and display

Effective date of registration: 20231107

Granted publication date: 20180713

Pledgee: Industrial Bank Co.,Ltd. Shanghai Caohejing sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000719

PE01 Entry into force of the registration of the contract for pledge of patent right