CN107135237A - 一种呈现目标增强信息的实现方法和装置 - Google Patents
一种呈现目标增强信息的实现方法和装置 Download PDFInfo
- Publication number
- CN107135237A CN107135237A CN201710549365.3A CN201710549365A CN107135237A CN 107135237 A CN107135237 A CN 107135237A CN 201710549365 A CN201710549365 A CN 201710549365A CN 107135237 A CN107135237 A CN 107135237A
- Authority
- CN
- China
- Prior art keywords
- information
- region
- roi region
- positional information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种呈现目标增强信息的实现方法，该方法包括：当确定一区域为用户的感兴趣区域ROI区域时，将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端；接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。基于同样的发明构思，本申请还提出一种呈现目标增强信息的实现装置，能够在虚拟场景中，与虚拟目标交互信息。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种呈现目标增强信息的实现方法和装置。
背景技术
近年来，随着显示设备以及显卡性能的提升，物理追踪技术的日益精确以及互动方式的更加丰富，虚拟现实(Virtual Reality，VR)技术得到了飞速的发展。越来越多的虚拟现实技术被应用到了娱乐，社交，教育，医疗以及旅游等领域。
虚拟现实是集合仿真技术、计算机图形学、人机接口技术、多媒体技术传感技术以及网络技术等多种领域技术而开发出来的一种计算机仿真系统，能够创建并让用户感受到原本只有在真实世界才会拥有的体验。简单来说，虚拟现实技术能够将用户的感知带入由它创建的虚拟世界，并让用户以为眼前的以前一切都是真实的。
目前市场上很多企业推出各自的VR产品，最具代表性的分别是谷歌、三星、Oculus、HTC以及索尼，它们分别研发推出了各自的VR头显，移动端的Google Daydream、Samsung Gear VR，Sony PSVR，以及PC端的Oculus Rift和HTC Vive。
VR最大的特色在于能够给用户提供了沉浸式的体验，让用户有一种身临其境的感受。目前国内外有很多的内容供应商提供了VR内容服务，国外有Facebook、YouTube、Amazon等,国内有爱奇艺、乐视、优酷等。
沉浸式体验意味着在虚拟世界里，用户体验任何虚拟事物都需要自己独立完成，无法从外界获得任何帮助。如果用户在虚拟世界里对某个事物特别感兴趣，希望了解该虚拟目标的详细信息时，VR设备通常无法提供交互帮助。
发明内容
有鉴于此，本申请提供一种呈现目标增强信息的实现方法和装置，能够在虚拟场景中，与虚拟目标交互信息。
为解决上述技术问题，本申请的技术方案是这样实现的：
一种呈现目标增强信息的实现方法，应用于VR客户端上，该方法包括：
当确定一区域为用户的ROI区域时，将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端；
接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。
一种呈现目标增强信息的实现方法，应用于呈现服务器上，该方法包括：
接收到VR客户端发送的ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据；
通过深度学习的方法识别该目标，并获取该目标的增强信息，反馈给VR客户端，使所述VR客户端在所述ROI区域显示所述增强信息。
一种呈现目标增强信息的实现装置，应用于VR客户端上，该装置包括：确定单元、发送单元、接收单元和显示单元；
所述确定单元，用于确定用户的ROI区域；
所述发送单元，用于当所述确定单元确定一区域为用户的ROI区域时，将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端；
所述接收单元，用于接收增强信息；
所述显示单元，用于当所述接收单元接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。
一种呈现目标增强信息的实现装置，应用于呈现服务器上，该装置包括：接收单元、获取单元、处理单元和发送单元；
所述接收单元，用于接收VR客户端发送的位置信息；
所述获取单元，用于当所述接收单元接收到VR客户端发送的ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据；获取所述处理单元识别的目标的增强信息；
所述处理单元，用于根据所述获取单元获取的目标的轮廓和数据通过深度学习的方法识别该目标；
所述发送单元，用于将所述获取单元获取的增强信息反馈给VR客户端，使所述VR客户端在所述ROI区域显示所述增强信息。
由上面的技术方案可知，本申请中客户端实时监控，当确定用户感兴趣的区域时，将该区域的位置信息发送给呈现服务器，使呈现服务器确定该区域对应的目标的增强信息，并反馈给本客户端在该区域上叠加显示。该方案能够在虚拟场景中，与虚拟目标交互信息。
附图说明
图1为本申请实施例中VR客户端呈现增强信息的流程示意图；
图2为本申请实施例中呈现服务器实现呈现目标增强信息流程示意图；
图3为本申请实施例中应用于VR客户端上的装置结构示意图；
图4为本申请实施例中应用于呈现服务器上的装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。
本申请实施例中提供一种呈现目标增强信息的实现方法，应用于包括VR客户端、呈现服务器的和内容分发服务器的系统中，VR客户端确定用户的感兴趣区域(Region ofInteresting，ROI)区域时，将该区域的位置信息发送给呈现服务器，呈现服务器根据该区域的位置信息获取对应目标的增强信息，并反馈给VR客户端在该ROI区域进行显示。能够在虚拟场景中，与虚拟目标交互信息，极大的增强了虚拟世界的用户体验度。
本申请实施例中，内容分发服务器用于向呈现服务器和VR客户端推送全景内容；在具体实现时，呈现服务器和内容分发服务器可以使用一个服务器实现，也可以使用不同的服务器实现。
下文描述以呈现服务器和内容分发服务器为不同服务器为例，且为了描述方便，在下文的描述中VR客户端简称为客户端。
客户端、呈现服务器，分别与内容分发服务器之间建立会话连接，如RTP会话连接；客户端与呈现服务器之间建立会话连接，如TCP会话连接。
内容分发服务器分别向客户端和呈现服务器以组播报文的方式，如RTP组播，发送全景内容，在报文中携带全景内容的时间戳及编码数据。一个全景内容的数据帧可能由一个或者多个RTP报文组成。
其中，全景内容可是视频、游戏等。
客户端以及呈现服务器接收到的全景内容，在时间上需要保持同步。
客户端接收到全景内容后，将视角范围内的全景内容显示给用户，用于给用户进行身临其境的观看、操作。
下面结合附图，详细描述本申请实施例中呈现目标增强信息的实现过程。即用户在观看、操作全景内容时，实时监控用户所注视的区域，如果对某一区域的内容感兴趣时，进行如下处理。
参见图1，图1为本申请实施例中VR客户端呈现增强信息的流程示意图。具体步骤为：
步骤101，当确定一区域为用户的ROI区域时，客户端将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端。
本申请实施例中的目标即为一个对象，可以为：人、动物、植物、城镇等。
本步骤中确定一区域为用户的ROI区域，具体包括：
每隔第一预设时间，确定用户当前视线停留区域；并统计用户视线停留在每个区域内的次数；
在确定用户实现停留区域时，客户端输出用户实现停留，也就是注视某一点的位置坐标，再根据划分的区域坐标，确定当前实现停留的区域。
每确定一次实现停留区域，统计一次用户视线停留在每个区域的次数，也可以每次只统计新增停留次数的区域。
当第二预设时间内，停留在一区域的次数达到预设次数时，确定该区域为用户的ROI区域。即用户频繁注视某一目标，即视线落入某一区域的次数达到预设次数，则确定该区域为用户的ROI区域。
在具体实现时第二预设时间应大于第一预设时间，第一时间如可以配置为50ms，或100ms。
本申请实施例中的区域是预先划分的，划分的区域的大小可以根据实际需要确定。
本客户端接收内容分发服务器发送的全景内容，与呈现服务器上接收相同的全景内容时，在时间上保持同步。
本步骤中将该ROI区域的位置信息发送给呈现服务器时，同时将当前用户的视角位置信息发送给呈现服务器，使呈现服务器在查找到视角位置信息所对应的范围中确定该ROI区域的位置信息所对应的目标的增强信息。
在具体是现实，可以但不限于通过眼球追踪仪确定ROI区域的位置信息，该位置信息为二维坐标信息；该二维坐标信息包括二维坐标系上水平方向和垂直方向的位置坐标。
如果用户在虚拟世界中长时间注视某一位置，客户端中的眼球追踪仪检测到用户视线停留的位置，进而提取出ROI坐标信息。
可以但不限于通过陀螺仪确定视角位置信息，该位置信息为三维坐标信息；该三维坐标信息包含三维坐标系上水平方向和垂直方向的角度坐标。
本步骤中当确定一区域为用户的ROI区域时，进一步包括：
提示用户是否需要显示增强信息；
当接收到用户输入的需要显示增强信息的指令，或预设时间到时未接收到用户输入的指令时，将该ROI区域的位置信息发送给呈现服务器。
当接收到用户输入的不需要显示增强信息的指令时，结束处理，即不将该ROI区域的位置信息发送给呈现服务器。
呈现服务器接收到客户端发送的ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据；
通过深度学习的方法识别该目标，并获取该目标的增强信息，反馈给VR客户端；使所述客户端在所述ROI区域显示所述增强信息。
目标的增强信息可以为目标的属性信息，包括下述参数之一或任意组合：
目标的名称、颜色、产地、背景、价值、历史。
即增强信息可以包括但不限于目标的名称、颜色、产地、背景、价值、历史等属性信息，也可以是根据目标的具体情况确定要显示的属性信息。
增强信息也可以为用户基于所述目标作出的评价或交互信息。
增强信息还可以同时包括目标的属性信息和针对目标作出的评价、交互信息等。
针对增强信息所包含的内容，本申请实施例中不限于上述给出的信息，可以根据实际应用配置要显示的参数，进而获取对应的参数的信息作为增强信息。
步骤102，客户端接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。
增强信息在ROI区域显示的位置可以预先配置，也可以根据要显示的信息内容的多少进行适当调整。
在具体实现时，还可以配置增强信息显示的时间，时间到时，自动关闭增强信息的显示。
也可以先显示增强信息的同时显示关闭增强信息的选项，由用户选择是否关闭当前显示的增强信息。
参见图2，图2为本申请实施例中呈现服务器实现呈现目标增强信息流程示意图。具体步骤为：
步骤201，呈现服务器接收到客户端发送的ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据。
本步骤呈现服务器接收VR客户端发送的ROI区域的位置信息时，同时接收到VR客户端发送的当前用户的视角位置信息。
本步骤中，获取该ROI区域的位置信息对应的目标的轮廓和数据之前，进一步包括：
确定ROI区域的位置信息和视角位置信息是否有效；
当ROI区域的位置信息和视角位置信息均有效时，获取该ROI区域的位置信息对应的目标的轮廓和数据；
当ROI区域的位置信息和视角位置信息中任一信息存在无效时，不进行进一步处理，也可以向客户端发送错误提示信息。
针对视觉位置信息是否有效，即确定对应视觉坐标是否处于0-360度数据范围内，若在0-360度数据范围内，则确定该视觉位置信息有效；否则，确定无效。
针对ROI位置信息是否有效，即确定ROI位置信息对应的坐标是否在对应的视觉位置信息所对应的位置坐标范围内，如果是，确定ROI位置信息有效；否则，确定ROI位置信息无效。
本步骤中，呈现服务器获取该ROI区域的位置信息对应的目标的轮廓和数据，具体包括：
对本地存储的全景内容进行处理，生成所述视角位置信息所对应范围内的数据，并去畸变；
在去畸变的数据所对应的内容中获取该ROI区域的位置信息对应的目标的轮廓和数据。
步骤202，该呈现服务器通过深度学习的方法识别该目标，并获取该目标的增强信息，反馈给客户端，使所述客户端在所述ROI区域显示所述增强信息。
本步骤中，呈现服务器通过深度学习的方法识别该目标，并生成一系列可能的参考目标及可靠度。
通常默认可靠度最高并可靠比率超过80％的目标为最终识别目标，如果未能满足该条件，则认为识别失败，处理过程直接结束。
在识别成功的前提下，呈现服务器通过大数据搜索，获得该目标的一系列信息，并通过预定义的方式，将该目标的某些属性生成增强信息。
基于同样的发明构思，本申请实施例中还提出一种呈现目标增强信息的实现装置，应用于VR客户端上。参见图3，图3为本申请实施例中应用于VR客户端上的装置结构示意图。该装置包括：确定单元301、收发单元302、和显示单元303；
确定单元301，用于确定用户的ROI区域；
收发单元302，用于当确定单元301确定一区域为用户的ROI区域时，将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端；接收增强信息；
显示单元303，用于当收发单元302接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。
较佳地，
确定单元301，具体用于确定一区域为用户的ROI区域时，每隔第一预设时间，确定用户当前视线停留区域；并统计用户视线停留在每个区域内的次数；当第二预设时间内，停留在一区域的次数达到预设次数时，确定该区域为用户的ROI区域。
较佳地，
收发单元302，用于接收内容分发服务器发送的全景内容，与呈现服务器上接收相同的全景内容时，在时间上保持同步。
较佳地，
收发单元302，进一步用于将该ROI区域的位置信息发送给呈现服务器时，同时将当前用户的视角位置信息发送给呈现服务器，使呈现服务器在查找到视角位置信息所对应的范围中确定该ROI区域的位置信息所对应的目标的增强信息。
较佳地，
确定单元301，进一步用于通过眼球追踪仪确定ROI区域的位置信息，所述位置信息为二维坐标信息；通过陀螺仪确定视角位置信息，所述位置信息为三维坐标信息。
较佳地，
显示单元303，进一步用于当确定单元301确定一区域为用户的ROI区域时，提示用户是否需要显示增强信息；
收发单元302，进一步用于接收用户输入的指令；接收到用户输入的需要显示增强信息的指令，或预设时间到时未接收到用户输入的指令时，将该ROI区域的位置信息发送给呈现服务器。
基于同样的发明构思，本申请实施例中还提出一种呈现目标增强信息的实现装置，应用于呈现服务器上。参见图4，图4为本申请实施例中应用于呈现服务器上的装置结构示意图。该装置包括：接收单元401、获取单元402、处理单元403和发送单元404；
接收单元401，用于接收VR客户端发送的位置信息；
获取单元402，用于当接收单元401接收到VR客户端发送的ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据；获取处理单元403识别的目标的增强信息；
处理单元403，用于根据获取单元402获取的目标的轮廓和数据通过深度学习的方法识别该目标；
发送单元404，用于将获取单元402获取的增强信息反馈给VR客户端，使所述VR客户端在所述ROI区域显示所述增强信息。
较佳地，
接收单元401，进一步用于在接收到VR客户端发送的ROI区域的位置信息时，同时接收到VR客户端发送的当前用户的视角位置信息。
较佳地，该装置进一步包括：确定单元405；
确定单元405，用于确定接收到的ROI区域的位置信息和视角位置信息是否有效；当ROI区域的位置信息和视角位置信息均有效时，触发获取单元402获取该ROI区域的位置信息对应的目标的轮廓和数据。
较佳地，
获取单元402，具体用于获取该ROI区域的位置信息对应的目标的轮廓和数据时，对本地存储的全景内容进行处理，生成所述视角位置信息所对应范围内的数据，并去畸变；在去畸变的数据所对应的内容中获取该ROI区域的位置信息对应的目标的轮廓和数据；其中，ROI区域的位置信息为二维坐标信息；视角位置信息为三维坐标信息。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
综上所述，本申请通过内容分发服务器用来向呈现服务器以及所有的客户端推送全景内容；客户端定时获取用户的视角位置信息和感兴趣区域的位置信息，并上传给呈现服务器；呈现服务器在获取到用户的视角位置信息和感兴趣区域的位置信息的情况下，对感兴趣区域内的目标进行识别，并将识别出来的增强信息反馈给客户端，使客户端在感兴趣区域显示该增强信息。用户对虚拟世界里的目标感兴趣时，能够及时获取到该目标的详细信息，极大的增强了虚拟世界的用户体验度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (24)
1.一种呈现目标增强信息的实现方法，应用于虚拟现实VR客户端上，其特征在于，该方法包括：
当确定一区域为用户的感兴趣区域ROI区域时，将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端；
接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。
2.根据权利要求1所述的方法，其特征在于，所述确定一区域为用户的ROI区域，包括：
每隔第一预设时间，确定用户当前视线停留区域；并统计用户视线停留在每个区域内的次数；
当第二预设时间内，停留在一区域的次数达到预设次数时，确定该区域为用户的ROI区域。
3.根据权利要求1所述的方法，其特征在于，
接收内容分发服务器发送的全景内容，与呈现服务器上接收相同的全景内容时，在时间上保持同步。
4.根据权利要求1所述的方法，其特征在于，所述将该ROI区域的位置信息发送给呈现服务器时，所述方法进一步包括：
同时将当前用户的视角位置信息发送给呈现服务器，使呈现服务器在查找到视角位置信息所对应的范围中确定该ROI区域的位置信息所对应的目标的增强信息。
5.根据权利要求4所述的方法，其特征在于，
通过眼球追踪仪确定ROI区域的位置信息，所述位置信息为二维坐标信息；
通过陀螺仪确定视角位置信息，所述位置信息为三维坐标信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述当确定一区域为用户的ROI区域时，所述方法进一步包括：
提示用户是否需要显示增强信息；
当接收到用户输入的需要显示增强信息的指令，或预设时间到时未接收到用户输入的指令时，将该ROI区域的位置信息发送给呈现服务器。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述增强信息为目标的属性信息，包括下述参数之一或任意组合：
目标的名称、颜色、产地、背景、价值、历史。
8.根据权利要求1-5任一项所述的方法，其特征在于，
所述增强信息为用户基于所述目标作出的评价或交互信息。
9.一种呈现目标增强信息的实现方法，其特征在于，应用于呈现服务器上，该方法包括：
接收到虚拟现实VR客户端发送的感兴趣区域ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据；
通过深度学习的方法识别该目标，并获取该目标的增强信息，反馈给VR客户端，使所述VR客户端在所述ROI区域显示所述增强信息。
10.根据权利要求9所述的方法，其特征在于，所述接收到VR客户端发送的ROI区域的位置信息时，所述方法进一步包括：
同时接收到VR客户端发送的当前用户的视角位置信息。
11.根据权利要求10所述的方法，其特征在于，所述获取该ROI区域的位置信息对应的目标的轮廓和数据之前，所述方法进一步包括：
确定ROI区域的位置信息和视角位置信息是否有效；
当ROI区域的位置信息和视角位置信息均有效时，获取该ROI区域的位置信息对应的目标的轮廓和数据。
12.根据权利要求10或11所述的方法，其特征在于，所述获取该ROI区域的位置信息对应的目标的轮廓和数据，包括：
对本地存储的全景内容进行处理，生成所述视角位置信息所对应范围内的数据，并去畸变；
在去畸变的数据所对应的内容中获取该ROI区域的位置信息对应的目标的轮廓和数据；
其中，ROI区域的位置信息为二维坐标信息；视角位置信息为三维坐标信息。
13.根据权利要求9-11任一项所述的方法，其特征在于，所述增强信息为目标的属性信息，包括下述参数之一或任意组合：
目标的名称、颜色、产地、背景、价值、历史。
14.根据权利要求9-11任一项所述的方法，其特征在于，所述增强信息为用户基于所述目标作出的评价或交互信息。
15.一种呈现目标增强信息的实现装置，应用于虚拟现实VR客户端上，其特征在于，该装置包括：确定单元、收发单元和显示单元；
所述确定单元，用于确定用户的感兴趣区域ROI区域；
所述收发单元，用于当所述确定单元确定一区域为用户的ROI区域时，将该ROI区域的位置信息发送给呈现服务器，使呈现服务器确定该ROI区域的位置信息所对应的目标的增强信息，并反馈给本客户端；接收增强信息；
所述显示单元，用于当所述收发单元接收到呈现服务器反馈的增强信息时，将该增强信息叠加在该ROI区域，并显示。
16.根据权利要求15所述的装置，其特征在于，
所述确定单元，具体用于确定一区域为用户的ROI区域时，每隔第一预设时间，确定用户当前视线停留区域；并统计用户视线停留在每个区域内的次数；当第二预设时间内，停留在一区域的次数达到预设次数时，确定该区域为用户的ROI区域。
17.根据权利要求15所述的装置，其特征在于，
所述收发单元，用于接收内容分发服务器发送的全景内容，与呈现服务器上接收相同的全景内容时，在时间上保持同步。
18.根据权利要求15所述的装置，其特征在于，
所述收发单元，进一步用于将该ROI区域的位置信息发送给呈现服务器时，同时将当前用户的视角位置信息发送给呈现服务器，使呈现服务器在查找到视角位置信息所对应的范围中确定该ROI区域的位置信息所对应的目标的增强信息。
19.根据权利要求18所述的装置，其特征在于，
所述确定单元，进一步用于通过眼球追踪仪确定ROI区域的位置信息，所述位置信息为二维坐标信息；通过陀螺仪确定视角位置信息，所述位置信息为三维坐标信息。
20.根据权利要求15-19任一项所述的方法，其特征在于，
所述显示单元，进一步用于当所述确定单元确定一区域为用户的ROI区域时，提示用户是否需要显示增强信息；
所述收发单元，进一步用于接收用户输入的指令；当接收到用户输入的需要显示增强信息的指令，或预设时间到时未接收到用户输入的指令时，将该ROI区域的位置信息发送给呈现服务器。
21.一种呈现目标增强信息的实现装置，其特征在于，应用于呈现服务器上，该装置包括：接收单元、获取单元、处理单元和发送单元；
所述接收单元，用于接收虚拟现实VR客户端发送的位置信息；
所述获取单元，用于当所述接收单元接收到VR客户端发送的感兴趣区域ROI区域的位置信息时，获取该ROI区域的位置信息对应的目标的轮廓和数据；获取所述处理单元识别的目标的增强信息；
所述处理单元，用于根据所述获取单元获取的目标的轮廓和数据通过深度学习的方法识别该目标；
所述发送单元，用于将所述获取单元获取的增强信息反馈给VR客户端，使所述VR客户端在所述ROI区域显示所述增强信息。
22.根据权利要求21所述的装置，其特征在于，
所述接收单元，进一步用于在接收到VR客户端发送的ROI区域的位置信息时，同时接收到VR客户端发送的当前用户的视角位置信息。
23.根据权利要求22所述的装置，其特征在于，所述装置进一步包括：确定单元；
所述确定单元，用于确定接收到的ROI区域的位置信息和视角位置信息是否有效；当ROI区域的位置信息和视角位置信息均有效时，触发所述获取单元获取该ROI区域的位置信息对应的目标的轮廓和数据。
24.根据权利要求22或23所述的装置，其特征在于，
所述获取单元，具体用于获取该ROI区域的位置信息对应的目标的轮廓和数据时，对本地存储的全景内容进行处理，生成所述视角位置信息所对应范围内的数据，并去畸变；在去畸变的数据所对应的内容中获取该ROI区域的位置信息对应的目标的轮廓和数据；其中，ROI区域的位置信息为二维坐标信息；视角位置信息为三维坐标信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549365.3A CN107135237A (zh) | 2017-07-07 | 2017-07-07 | 一种呈现目标增强信息的实现方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549365.3A CN107135237A (zh) | 2017-07-07 | 2017-07-07 | 一种呈现目标增强信息的实现方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107135237A true CN107135237A (zh) | 2017-09-05 |
Family
ID=59737403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710549365.3A Pending CN107135237A (zh) | 2017-07-07 | 2017-07-07 | 一种呈现目标增强信息的实现方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107135237A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019157803A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 传输控制方法 |
| CN110968281A (zh) * | 2018-09-30 | 2020-04-07 | 千寻位置网络有限公司 | 景象的呈现方法及装置、执行终端、中控台、控制系统 |
| WO2020093862A1 (zh) * | 2018-11-08 | 2020-05-14 | 华为技术有限公司 | 一种vr视频处理的方法及相关装置 |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| CN111656356A (zh) * | 2018-03-16 | 2020-09-11 | 罗克韦尔柯林斯德国公司 | 利用分布式神经网络的对象识别系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104253862A (zh) * | 2014-09-12 | 2014-12-31 | 北京诺亚星云科技有限责任公司 | 基于数字全景的沉浸式互动导览支持服务系统及设备 |
| CN105468142A (zh) * | 2015-11-16 | 2016-04-06 | 上海璟世数字科技有限公司 | 基于增强现实技术的互动方法、系统和终端 |
| CN105573500A (zh) * | 2015-12-22 | 2016-05-11 | 王占奎 | 眼动控制的智能ar眼镜设备 |
| CN106020497A (zh) * | 2016-07-11 | 2016-10-12 | 北京集创北方科技股份有限公司 | 显示设备、系统及显示处理方法 |
| CN106200956A (zh) * | 2016-07-07 | 2016-12-07 | 北京时代拓灵科技有限公司 | 一种虚拟现实领域多媒体呈现和交互的方法 |
| CN106485789A (zh) * | 2016-09-14 | 2017-03-08 | 乐视控股（北京）有限公司 | 一种3d模型加载方法及其装置 |
| CN106527722A (zh) * | 2016-11-08 | 2017-03-22 | 网易（杭州）网络有限公司 | 虚拟现实中的交互方法、系统及终端设备 |
| CN106598259A (zh) * | 2016-12-28 | 2017-04-26 | 歌尔科技有限公司 | 一种头戴式设备的输入方法、输入器和vr头戴设备 |
-
2017
- 2017-07-07 CN CN201710549365.3A patent/CN107135237A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104253862A (zh) * | 2014-09-12 | 2014-12-31 | 北京诺亚星云科技有限责任公司 | 基于数字全景的沉浸式互动导览支持服务系统及设备 |
| CN105468142A (zh) * | 2015-11-16 | 2016-04-06 | 上海璟世数字科技有限公司 | 基于增强现实技术的互动方法、系统和终端 |
| CN105573500A (zh) * | 2015-12-22 | 2016-05-11 | 王占奎 | 眼动控制的智能ar眼镜设备 |
| CN106200956A (zh) * | 2016-07-07 | 2016-12-07 | 北京时代拓灵科技有限公司 | 一种虚拟现实领域多媒体呈现和交互的方法 |
| CN106020497A (zh) * | 2016-07-11 | 2016-10-12 | 北京集创北方科技股份有限公司 | 显示设备、系统及显示处理方法 |
| CN106485789A (zh) * | 2016-09-14 | 2017-03-08 | 乐视控股（北京）有限公司 | 一种3d模型加载方法及其装置 |
| CN106527722A (zh) * | 2016-11-08 | 2017-03-22 | 网易（杭州）网络有限公司 | 虚拟现实中的交互方法、系统及终端设备 |
| CN106598259A (zh) * | 2016-12-28 | 2017-04-26 | 歌尔科技有限公司 | 一种头戴式设备的输入方法、输入器和vr头戴设备 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019157803A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 传输控制方法 |
| CN111656356A (zh) * | 2018-03-16 | 2020-09-11 | 罗克韦尔柯林斯德国公司 | 利用分布式神经网络的对象识别系统 |
| CN111656356B (zh) * | 2018-03-16 | 2023-08-08 | 罗克韦尔柯林斯德国公司 | 利用分布式神经网络的对象识别系统 |
| US11816567B2 (en) | 2018-03-16 | 2023-11-14 | Rockwell Collins Deutschland Gmbh | System for identifying objects by means of distributed neural networks |
| CN110968281A (zh) * | 2018-09-30 | 2020-04-07 | 千寻位置网络有限公司 | 景象的呈现方法及装置、执行终端、中控台、控制系统 |
| CN110968281B (zh) * | 2018-09-30 | 2023-09-08 | 千寻位置网络有限公司 | 景象的呈现方法及装置、执行终端、中控台、控制系统 |
| WO2020093862A1 (zh) * | 2018-11-08 | 2020-05-14 | 华为技术有限公司 | 一种vr视频处理的方法及相关装置 |
| CN111163306A (zh) * | 2018-11-08 | 2020-05-15 | 华为技术有限公司 | 一种vr视频处理的方法及相关装置 |
| CN111163306B (zh) * | 2018-11-08 | 2022-04-05 | 华为技术有限公司 | 一种vr视频处理的方法及相关装置 |
| US11341712B2 (en) | 2018-11-08 | 2022-05-24 | Huawei Technologies Co., Ltd. | VR video processing method and related apparatus |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| CN111479112B (zh) * | 2020-06-23 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107135237A (zh) | 一种呈现目标增强信息的实现方法和装置 | |
| TWI700612B (zh) | 信息展示方法、裝置及系統 | |
| US9338589B2 (en) | User-generated content in a virtual reality environment | |
| US20220130115A1 (en) | Side-by-side character animation from realtime 3d body motion capture | |
| US11748931B2 (en) | Body animation sharing and remixing | |
| US10863310B2 (en) | Method, server and terminal for information interaction | |
| US11782272B2 (en) | Virtual reality interaction method, device and system | |
| CN116457829A (zh) | 个性化化身实时运动捕获 | |
| CN107169135B (zh) | 图像处理方法、装置和电子设备 | |
| CN111768479B (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
| KR20130022434A (ko) | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 | |
| WO2012103265A1 (en) | Methods and system for enabling communication of identity information during online transaction | |
| CN106341380B (zh) | 一种用于对用户进行远程身份认证的方法、装置和系统 | |
| CN111914811B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
| CN118076980A (zh) | 根据姿态和言语输入推断意图 | |
| KR20220114081A (ko) | 마커 기반 공유된 증강 현실 세션 생성 | |
| CN116076063A (zh) | 增强现实信使系统 | |
| CN116438574A (zh) | 在增强现实组件中使用肖像图像 | |
| CN116194184A (zh) | 用于同步用户的图形标记生成系统 | |
| CN116235194A (zh) | 媒体内容传输和管理 | |
| CN103440307B (zh) | 媒体信息提供方法及装置 | |
| WO2014190794A1 (zh) | 一种实现第三方应用社交化的方法及装置、系统 | |
| US9699123B2 (en) | Methods, systems, and non-transitory machine-readable medium for incorporating a series of images resident on a user device into an existing web browser session | |
| Dhanisha et al. | Android interface based GCM home security system using object motion detection | |
| KR20230160930A (ko) | 사용자 존재 표시 데이터 관리 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170905 |