CN107807736A - 3d场景交互装置、系统和交互方法 - Google Patents

3d场景交互装置、系统和交互方法 Download PDF

Info

Publication number
CN107807736A
CN107807736A CN201711103763.9A CN201711103763A CN107807736A CN 107807736 A CN107807736 A CN 107807736A CN 201711103763 A CN201711103763 A CN 201711103763A CN 107807736 A CN107807736 A CN 107807736A
Authority
CN
China
Prior art keywords
scene
interactivities
equipment
views
subelement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711103763.9A
Other languages
English (en)
Other versions
CN107807736B (zh
Inventor
刘俊伟
黄栋
李家可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terry Digital Technology Beijing Co ltd
Original Assignee
TERRA INFOTECH (BEIJING) CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TERRA INFOTECH (BEIJING) CO Ltd filed Critical TERRA INFOTECH (BEIJING) CO Ltd
Priority to CN201711103763.9A priority Critical patent/CN107807736B/zh
Publication of CN107807736A publication Critical patent/CN107807736A/zh
Application granted granted Critical
Publication of CN107807736B publication Critical patent/CN107807736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种3D场景交互装置、系统和交互方法,涉及3D场景交互的技术领域,该装置包括:系统模块,以及与系统模块连接的3D场景模块;系统模块包括主机,以及与主机连接的消息收发单元、数据读取单元和颜色校正单元;消息收发单元用于接收用户输入的操作指示,并传输至主机;主机用于提取操作指示中包含的3D场景显示指示,读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图发送至VR设备进行显示,以及在显示3D场景视图时,对3D场景视图进行颜色校正。本发明提供的3D场景交互装置、系统和交互方法,减小3D视图产生的眩晕感,同时抑制、缩减3D画面的斑点闪烁,从而提高用户体验的舒适度。

Description

3D场景交互装置、系统和交互方法
技术领域
本发明涉及3D场景交互的技术领域,尤其是涉及一种3D场景交互装置、系统和交互方法。
背景技术
近几年来,由于VR(Virtual Reality,虚拟现实)技术的发展逐步完善,VR应用也逐步兴起,从VR博物馆数字展厅、VR影院、VR游戏、到VR电商虚拟服装订制等等,应用越来越广泛。
目前,VR应用主要由VR眼镜硬件、VR应用APP和VR内容三部分组成,VR眼镜、VR内容通过VR应用APP衔接。而VR内容的来源比较单一,或者专门由VR内容开发商制作,费用高昂,使得VR设备和VR内容的应用广度降低,同时,VR设备在显示VR场景时,存在眩晕感,导致用户的舒适度欠佳,从而降低了用户的体验度。
发明内容
有鉴于此,本发明的目的在于提供一种3D场景交互装置、系统和交互方法,以提高用户体验度。
第一方面,本发明实施例提供了一种3D场景交互装置,包括:系统模块,以及与系统模块连接的3D场景模块;系统模块包括主机,以及与主机连接的消息收发单元、数据读取单元和颜色校正单元;消息收发单元用于接收用户输入的操作指示,将操作指示传输至主机;其中,操作指示包括启动指示和3D场景显示指示;主机用于提取操作指示中包含的3D场景显示指示,通过数据读取单元读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图通过消息收发单元发送至VR设备进行显示,以及,当VR设备显示3D场景视图时,通过颜色校正单元对3D场景视图进行颜色校正。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述3D场景模块与系统模块通过标准数据交换接口连接,数据读取单元为标准数据交换接口读取单元。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,上述系统模块还包括瞳距获取单元,瞳距获取单元用于获取用户的瞳孔距离,并将瞳孔距离传输至主机和VR设备;主机还用于根据瞳孔距离对3D场景视图进行调节,以使3D场景视图与瞳孔距离一致。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述瞳距获取单元包括图像获取子单元和瞳距提取子单元;图像获取子单元用于摄取指定焦距下用户的正面图像;瞳距计算子单元用于根据指定焦距、和正面图像计算用户的瞳孔距离。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,颜色校正单元包括视图像素获取子单元、颜色处理子单元、图像划分子单元和图形渲染子单元;视图像素获取子单元用于获取3D场景视图的中每个图像画面的像素点,以像素点为中心,统计像素点指定像素半径内的颜色的中值,查找与中值接近的像素点,保存查找到的像素点的位置和颜色;所述颜色处理子单元用于对视图像素获取子单元中保存的像素点进行重复点合并处理,对重复点的颜色取中值;图像划分子单元用于对颜色处理子单元处理后的图像画面的离散点进行三角剖分,将图像画面划分成三角形的集合;图形渲染子单元用于对三角形的集合进行图形渲染,复原出原始图像,以完成3D场景视图的颜色校正。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,上述主机设置有VR设备接口;系统模块通过VR设备接口与VR设备连接。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,上述3D场景模块包括多个3D场景应用单元,每个3D场景应用单元包含有指定的3D资源。
第二方面,本发明实施例还提供了一种3D场景交互系统,该系统包括上述第一方面所述的3D场景交互装置,还包括VR设备;VR设备与3D场景交互装置通信连接。
第三方面,本发明实施例还提供了一种3D场景交互方法,该方法应用于第二方面所述的3D场景交互系统,该方法包括:3D场景交互装置接收用户输入的操作指示;其中,操作指示包括启动指示和3D场景显示指示;3D场景交互装置提取3D场景显示指示,通过数据读取单元读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图通过消息收发单元发送至VR设备进行显示;当VR设备显示3D场景视图时,3D场景交互装置通过颜色校正单元对3D场景视图进行颜色校正。
结合第三方面,本发明实施例提供了第三方面的第一种可能的实施方式,其中,上述方法还包括:3D场景交互装置获取用户的瞳孔距离;根据瞳孔距离对3D场景视图进行调节,以使3D场景视图与瞳孔距离一致。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存为上述3D场景交互装置所用的计算机软件指令,其包含用于执行上述方面为3D场景交互装置所设计的程序。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种3D场景交互装置、系统和交互方法,能够提取用户输入的操作指示中包括的3D场景显示指示,读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图发送至VR设备进行显示,同时,还可以在VR设备显示3D场景视图的过程中通过颜色校正单元对3D场景视图进行颜色校正,使用户能够体验到更加真实的3D视图,减小眩晕感,同时也能够抑制、缩减3D画面的斑点闪烁,从而提高了用户体验的舒适度。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种3D场景交互装置的结构示意图;
图2为本发明实施例提供的另一种3D场景交互装置的结构示意图;
图3为本发明实施例提供的一种3D场景交互系统的结构框图;
图4为本发明实施例提供的一种3D场景交互方法的流程图;
图5为本发明实施例提供的一种交互设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,人们虽然能够通过各种VR设备体验虚拟现实技术,但是,VR眼镜等应用处于起步、发展中阶段,其应用的行业广度、其展现的内容和展现体验的舒适度等等,都有待进一步的提升,如,VR内容来源单一,内容不够丰富。VR硬件厂商都为自己的产品开发了独立的APP DEMO,其展现内容一般与VR应用APP集成一体,或专门由VR内容开发商制作,如VR游戏、VR电影等等,其VR内容来源欠广泛且费用高昂,这种模式限制了VR的应用广度,如3D(Three Dimensional,三维)场景方面某些行业的应用;同时,VR眼镜设备的应用舒适度欠佳,存在眩晕感,在一定程度上也降低了用户的体验度。
基于此,本发明实施例提供的一种3D场景交互装置、系统和交互方法,以提高用户的体验度。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种3D场景交互装置进行详细介绍。
实施例一:
本发明实施例提供了一种3D场景交互装置,如图1所示的一种3D场景交互装置的结构示意图,包括:系统模块10,以及与系统模块10连接的3D场景模块30;
系统模块10包括主机101,以及与主机101连接的消息收发单元102、数据读取单元103和颜色校正单元104;消息收发单元用于接收用户输入的操作指示,将操作指示传输至主机;其中,操作指示包括启动指示和3D场景显示指示;
主机用于提取操作指示中包含的3D场景显示指示,通过数据读取单元读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图通过消息收发单元发送至VR设备(图1中未示出)进行显示,以及当VR设备显示3D场景视图时,通过颜色校正单元对3D场景视图进行颜色校正。
本发明实施例提供的一种3D场景交互装置,能够提取用户输入的操作指示中包括的3D场景显示指示,读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图发送至VR设备进行显示,同时,还可以在VR设备显示3D场景视图的过程中通过颜色校正单元对3D场景视图进行颜色校正,使用户能够体验到更加真实的3D视图,减小眩晕感,同时也能够抑制、缩减3D画面的斑点闪烁,从而提高了用户体验的舒适度。
具体实现时,本发明实施例所述的3D场景视图包括左眼视图和右眼视图,因此,上述VR设备显示的3D场景包括左眼视图和右眼视图。
进一步,上述消息收发单元接收用户输入的操作指示后,可以完成VR设备、系统模块和3D场景模块间的信息传输与控制指令传输,VR设备与系统模块间完成观察者姿态信息传递、3D场景视图的传递,以及控制显示;系统模块与3D场景模块间传递接收自VR的姿态信息,控制3D场景的显示与调整,获取的3D场景左眼视图和右眼视图等。
进一步,上述主机可以控制消息或者信息的传输,因此,上述主机可以设置有人机交互接口,主机通过人机交互接口连接显示器,通过该显示器为上述主机提供人机交互界面,用户可以通过该人机交互界面输入操作指示等,对3D场景交互装置进行操作。
进一步,上述VR设备与系统模块连接,具体地,上述主机可以设置有VR设备接口;系统模块通过该VR设备接口与VR设备连接。同时,VR设备上可以预先装载有VR设备的APP,以便于为用户提供VR体验,并对用户的姿态进行跟踪;在实际使用时,上述VR设备可以为VR眼镜,或者头戴式VR设备,由于上述VR设备直接与系统模块连接,因此,上述VR设备的类型可以有多种,只需使该VR设备与系统模块兼容,就可以实现应用不同厂商的VR设备。这种VR设备与系统模块连接的方式,能够将VR设备与3D场景模块分离,不仅能拓展VR内容的来源渠道,也便于多种类型的VR设备和多种3D场景模块的综合应用。
进一步,上述系统模块可以通过计算机实现,例如,在计算机的主机上装载系统模块的系统APP等,且,计算机的主机上设置有与VR设备兼容的数据接口,同时,上述3D场景模块也配置有相应的3D场景APP,该3D场景APP可以装载在系统模块的计算机上,也可以装载在其他计算机上,当装载在其他计算机上时,该计算机可以与系统模块的计算机进行通信。
具体实现时,上述3D场景模块与系统模块通过标准数据交换接口连接,该标准数据交换接口通过编程实现,同时,上述数据读取单元为标准数据交换接口读取单元。
在实际使用时,上述3D场景APP是VR内容的最终来源;通过编程实现标准数据交换接口,是3D场景APP与VR设备的APP的数据交换载体;系统APP是3D场景交互装置的控制核心,能够读取标准数据交换接口的数据,进行消息收发,并进行瞳孔距离计算和颜色校正处理等。
本发明实施例中采用的标准数据交换接口,能够使3D场景APP与VR设备的APP间采用内存交换左右视图,并通过消息传递视图控制参数、读取控制。能够实现VR内容与VR设备和3D场景APP的应用分离,各部分间耦合低,其VR内容可来源不同的3D场景模块,便于不同厂商的VR设备、不同场景的3D场景APP的综合应用,不仅拓展了VR内容的来源渠道,也便于使用已存在的3D场景应用资源,同时采用规范化的标准数据交换接口,也避免了目前VR设备与3D场景模块的高度关联糅合。
进一步,在上述图1的基础上,本发明实施例还提供了另一种3D场景交互装置的结构示意图,如图2所示。
具体地,上述系统模块还包括瞳距获取单元105,该瞳距获取单元105用于获取用户的瞳孔距离,并将瞳孔距离传输至主机101和VR设备;主机101还用于根据瞳孔距离对3D场景视图进行调节,以使3D场景视图与瞳孔距离一致。由于上述3D场景视图包括左眼视图和右眼视图,因此,在VR设备显示上述3D场景视图时,能够在获取到瞳孔距离后,将左眼视图和右眼视图与瞳孔距离匹配,以使用户体验到更加真实的3D场景,避免因瞳孔距离数据误差过大造成左右视图差异,从而缩减对VR用户造成的眼睛不适。
具体实现时,上述瞳距获取单元105还包括图像获取子单元105a和瞳距提取子单元105b;图像获取子单元用于摄取指定焦距下用户的正面图像;瞳距计算子单元用于根据指定焦距和正面图像计算用户的瞳孔距离。
在实际使用时,上述图像获取子单元可以是照相设备,该照相设备与系统模块连接,在用户体验上述3D场景交互装置之前,可以由用户进行选择是否需要进行瞳孔距离调节,当需要调节时,用户可以通过照相设备摄取面部正面图像,如,将照相设备放置在距离面部一定距离位置(指定焦距)时摄取眼部的正面图像等,然后根据正面图像,基于参照物(如瞳孔周边黑色外圈)图像获取瞳孔距离。
进一步,对于具有瞳孔距离提取功能的VR设备,上述正面图像和瞳孔距离还可以由VR设备进行提取,并传输给主机,具体以实际使用情况为准,本发明实施例对此不进行限制。
具体实现时,计算瞳孔距离的过程是基于人肤色的基础数据库进行的,例如,对某一焦距的图像进行人脸范围提取圈定,方案为:提取图像像素点的颜色,与基础数据库比对,确定是否是肤色,从而提取出肤色区域;对肤色区域(含人脸区域),依据图像像素点的区域差异,即梯度,进行颜色突变边缘提取,以此作为进一步识别人眼的基础数据;对提取出来的边缘数据,综合颜色信息(人眼边缘存在大量黑色信息),进行人眼区域圈定,并对人眼区域的边缘点进行分类识别,可采用最小距离法与最大曲率法,识别出圆形的存在,从而圈定出包含瞳孔的眼球的深色圆形区域。识别出人脸的包含瞳孔的2个圆形区域,即可确定2个圆心以及半径(图像像素表示),并确定出2个圆心的图像距离(图像像素表示),鉴于图像是正面拍摄,人脸区域成像基本一致,结合人眼瞳孔边缘深色圆的半径变化不大,可采用经典数值算法,瞳孔距离为:瞳孔边缘深色圆的半径经典数值*2个圆心的图像距离/瞳孔边缘深色圆的半径。
瞳距提取子单元计算出瞳孔距离后,将瞳孔距离传输至主机,使主机能够根据瞳孔距离对3D场景进行调节,并通过VR设备形成画面视图,避免因瞳孔距离的数据误差过大造成的左右眼视图的差异,从而缩减对VR设备用户造成的眼睛不适。
进一步,上述颜色校正单元104包括依次连接的视图像素获取子单元104a、颜色处理子单元104b、图像划分子单元104c和图形渲染子单元104d;
视图像素获取子单元104a用于获取3D场景视图的中每个图像画面的像素点,以像素点为中心,统计像素点指定像素半径内的颜色的中值,如,统计5至10像素半径内的颜色的中值,查找与中值接近的像素点,通常选取最接近的像素点,保存查找到的像素点的位置和颜色;
颜色处理子单元104b用于对视图像素获取子单元中保存的像素点进行重复点合并处理,重复点由像素点索引坐标,即像素点的行列点索引确定,对重复点的颜色取中值,此时,已经形成在图像行列范围内分布的随机点,每个点都有相应的颜色,对这些点,以图像行列位置为坐标点,进行划分。
图像划分子单元104c用于对颜色处理子单元处理后的图像画面的离散点进行三角剖分,将图像画面划分成三角形的集合;
图形渲染子单元104d用于对三角形的集合进行图形渲染,结合已保存的每个点关联的颜色数值渲染出原始图像的减少斑点的图像,以完成3D场景视图的颜色校正,由于每个点都有颜色,且已经进行了颜色光滑处理,因此可以渲染出恢复出原始图像的光滑,斑点减少的图像。
进一步,由于上述3D场景模块与系统模块通过标准数据交换接口连接,该规范化的标准数据交换接口实现了VR内容的3D场景应用与VR设备的分离,因此,3D场景模块只需与系统模块进行通信,就可以实现3D场景交互,使VR内容越来越广泛。考虑到3D场景应用的快速发展,特别是GIS(Geographic Information System,地理信息系统)行业,积累了大量的3D场景资源,为了把这类众多的资源整合到VR设备中作为其展示内容来源,上述3D场景模块可以设置有多个3D场景应用单元,每个3D场景应用单元包含有指定的3D资源,如3DSkyline资源,3D Google earth资源和3D globe资源等特有的3D资源,每种资源可以通过相应的APP装载到3D场景模块上,如图2所示的3D Skyline APP,3D Google earth APP和3Dglobe APP等,每种资源相应的APP,都通过标准数据交换接口与系统模块连接,以便于系统模块通过标准数据交换接口读取指定的3D资源,不仅实现VR显示内容来源的多样性,也有效整合、利用已经存在的众多3D场景资源。
实施例二:
在上述实施例的基础上,本发明实施例还提供了一种3D场景交互系统,如图3所示的一种3D场景交互系统的结构框图,该系统包括上述实施例一所述的3D场景交互装置300,还包括VR设备301;该VR设备与3D场景交互装置通信连接。
具体地,本发明实施例还提供了一种3D场景交互方法,该方法应用于上述3D场景交互系统,如图4所示的一种3D场景交互方法的流程图,该方法包括以下步骤:
步骤S402,3D场景交互装置接收用户输入的操作指示;其中,操作指示包括启动指示和3D场景显示指示。
步骤S404,3D场景交互装置提取3D场景显示指示,通过数据读取单元读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图通过消息收发单元发送至VR设备进行显示。
进一步,上述消息收发单元接收用户输入的操作指示后,可以完成VR设备、系统模块和3D场景模块间的信息传输与控制指令传输,VR设备与系统模块间完成观察者姿态信息传递、3D场景视图的传递,以及控制显示;系统模块与3D场景模块间传递接收自VR的姿态信息,控制3D场景的显示与调整,获取的3D场景左眼视图和右眼视图等。
步骤S406,当VR设备显示3D场景视图时,3D场景交互装置通过颜色校正单元对3D场景视图进行颜色校正。
进一步,为了避免因为瞳孔距离数据误差过大造成人眼左右视图差异,从而导致的用户眼部不适,产生晕眩感,上述方法还包括:(1)3D场景交互装置获取用户的瞳孔距离;(2)根据瞳孔距离对3D场景视图进行调节,以使3D场景视图与瞳孔距离一致。
本发明实施例提供的一种3D场景交互方法,通过3D场景交互装置提取用户输入的操作指示中包括的3D场景显示指示,读取3D场景模块中包含的与3D场景显示指示匹配的3D场景视图,并将3D场景视图发送至VR设备进行显示,同时,还可以在VR设备显示3D场景视图的过程中通过颜色校正单元对3D场景视图进行颜色校正,使用户能够体验到更加真实的3D视图,减小眩晕感,同时也能够抑制、缩减3D画面的斑点闪烁,从而提高了用户体验的舒适度。
本发明实施例提供的3D场景交互方法,与上述实施例提供的3D场景交互装置具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
进一步,本发明实施例还提供了一种交互设备,该交互设备包括存储器以及处理器,存储器用于存储支持处理器执行上述方法的程序,处理器被配置为用于执行存储器中存储的程序。
进一步,本发明实施例提供了一种计算机存储介质,用于储存为上述3D场景交互装置所用的计算机软件指令,其包含用于执行上述方面为3D场景交互装置所设计的程序。
参见图5,本发明实施例提供了一种交互设备的结构示意图,包括:处理器500,存储器501,总线502和通信接口503,处理器500、通信接口503和存储器501通过总线502连接;处理器500用于执行存储器501中存储的可执行模块,例如计算机程序。
其中,存储器501可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器501用于存储程序,所述处理器500在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的3D场景交互装置所执行的方法可以应用于处理器500中,或者由处理器500实现。
处理器500可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器500读取存储器501中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的3D场景交互装置、系统和交互方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的交互设备的具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指示用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种3D场景交互装置,其特征在于,包括:系统模块,以及与所述系统模块连接的3D场景模块;
所述系统模块包括主机,以及与所述主机连接的消息收发单元、数据读取单元和颜色校正单元;
所述消息收发单元用于接收用户输入的操作指示,将所述操作指示传输至所述主机;其中,所述操作指示包括启动指示和3D场景显示指示;
所述主机用于提取所述操作指示中包含的所述3D场景显示指示,通过所述数据读取单元读取所述3D场景模块中包含的与所述3D场景显示指示匹配的3D场景视图,并将所述3D场景视图通过所述消息收发单元发送至VR设备进行显示;
以及,当所述VR设备显示所述3D场景视图时,通过所述颜色校正单元对所述3D场景视图进行颜色校正。
2.根据权利要求1所述的装置,其特征在于,所述3D场景模块与所述系统模块通过标准数据交换接口连接,所述数据读取单元为标准数据交换接口读取单元。
3.根据权利要求1所述的装置,其特征在于,所述系统模块还包括瞳距获取单元;
所述瞳距获取单元用于获取所述用户的瞳孔距离,并将所述瞳孔距离传输至所述主机和所述VR设备;
所述主机还用于根据所述瞳孔距离对所述3D场景视图进行调节,以使所述3D场景视图与所述瞳孔距离一致。
4.根据权利要求3所述的装置,其特征在于,所述瞳距获取单元包括图像获取子单元和瞳距提取子单元;
所述图像获取子单元用于摄取指定焦距下所述用户的正面图像;
所述瞳距计算子单元用于根据所述指定焦距和所述正面图像计算所述用户的瞳孔距离。
5.根据权利要求1所述的装置,其特征在于,所述颜色校正单元包括视图像素获取子单元、颜色处理子单元、图像划分子单元和图形渲染子单元;
所述视图像素获取子单元用于获取所述3D场景视图中每个图像画面的像素点,以所述像素点为中心,统计所述像素点指定像素半径内的颜色的中值,查找与所述中值接近的像素点,保存查找到的所述像素点的位置和颜色;
所述颜色处理子单元用于对所述视图像素获取子单元中保存的所述像素点进行重复点合并处理,对所述重复点的颜色取中值;
所述图像划分子单元用于对所述颜色处理子单元处理后的所述图像画面的离散点进行三角剖分,将所述图像画面划分成三角形的集合;
所述图形渲染子单元用于对所述三角形的集合进行图形渲染,复原出原始图像,以完成所述3D场景视图的颜色校正。
6.根据权利要求1所述的装置,其特征在于,所述主机设置有VR设备接口;所述系统模块通过所述VR设备接口与所述VR设备连接。
7.根据权利要求1所述的装置,其特征在于,所述3D场景模块包括多个3D场景应用单元,每个所述3D场景应用单元包含有指定的3D资源。
8.一种3D场景交互系统,其特征在于,所述系统包括权利要求1~6任一项所述的3D场景交互装置,还包括VR设备;
所述VR设备与所述3D场景交互装置通信连接。
9.一种3D场景交互方法,其特征在于,所述方法应用于权利要求8所述的3D场景交互系统,所述方法包括:
3D场景交互装置接收用户输入的操作指示;其中,所述操作指示包括启动指示和3D场景显示指示;
所述3D场景交互装置提取所述3D场景显示指示,通过数据读取单元读取3D场景模块中包含的与所述3D场景显示指示匹配的3D场景视图,并将所述3D场景视图通过消息收发单元发送至VR设备进行显示;
当所述VR设备显示所述3D场景视图时,所述3D场景交互装置通过颜色校正单元对所述3D场景视图进行颜色校正。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
所述3D场景交互装置获取所述用户的瞳孔距离;
根据所述瞳孔距离对所述3D场景视图进行调节,以使所述3D场景视图与所述瞳孔距离一致。
CN201711103763.9A 2017-11-10 2017-11-10 3d场景交互装置、系统和交互方法 Active CN107807736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711103763.9A CN107807736B (zh) 2017-11-10 2017-11-10 3d场景交互装置、系统和交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711103763.9A CN107807736B (zh) 2017-11-10 2017-11-10 3d场景交互装置、系统和交互方法

Publications (2)

Publication Number Publication Date
CN107807736A true CN107807736A (zh) 2018-03-16
CN107807736B CN107807736B (zh) 2020-11-06

Family

ID=61590692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711103763.9A Active CN107807736B (zh) 2017-11-10 2017-11-10 3d场景交互装置、系统和交互方法

Country Status (1)

Country Link
CN (1) CN107807736B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257563A (zh) * 2020-10-20 2021-01-22 海南大学 瞳孔测距方法、装置及设备
CN112363615A (zh) * 2020-10-27 2021-02-12 上海影创信息科技有限公司 多用户vr/ar交互系统、方法及计算机可读存储介质
CN117519483A (zh) * 2023-11-22 2024-02-06 艾迪普科技股份有限公司 基于数字虚拟的媒体动态交互方法、系统和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791584B1 (en) * 2000-09-05 2004-09-14 Yiling Xie Method of scaling face image with spectacle frame image through computer
CN101242476A (zh) * 2008-03-13 2008-08-13 北京中星微电子有限公司 图像颜色自动校正方法及数字摄像系统
CN101553862A (zh) * 2006-09-13 2009-10-07 国际在线设计与建筑有限公司 使用三维虚拟模型提供建筑物情境意识的以计算机为基础的系统和方法
CN103150960A (zh) * 2013-03-20 2013-06-12 魏润俏 三维场景演示方法及系统
CN103260040A (zh) * 2013-04-12 2013-08-21 南京熊猫电子制造有限公司 基于人眼视觉特性的3d显示自适应调节方法
CN103731651A (zh) * 2012-10-10 2014-04-16 索尼公司 图像处理装置、图像处理方法和程序
CN106683197A (zh) * 2017-01-11 2017-05-17 福建佳视数码文化发展有限公司 一种融合vr和ar技术的楼盘展示系统及其方法
CN106951881A (zh) * 2017-03-30 2017-07-14 成都创想空间文化传播有限公司 一种三维场景呈现方法、装置及系统
CN107132912A (zh) * 2017-03-24 2017-09-05 广西七三科技有限公司 一种gis与bim增强现实在建筑规划的互动演示方法及系统
CN107193375A (zh) * 2017-05-17 2017-09-22 刘继君 一种基于虚拟现实的电力安全生产场景交互系统
US10540491B1 (en) * 2016-10-25 2020-01-21 Wells Fargo Bank, N.A. Virtual and augmented reality signatures

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791584B1 (en) * 2000-09-05 2004-09-14 Yiling Xie Method of scaling face image with spectacle frame image through computer
CN101553862A (zh) * 2006-09-13 2009-10-07 国际在线设计与建筑有限公司 使用三维虚拟模型提供建筑物情境意识的以计算机为基础的系统和方法
CN101242476A (zh) * 2008-03-13 2008-08-13 北京中星微电子有限公司 图像颜色自动校正方法及数字摄像系统
CN103731651A (zh) * 2012-10-10 2014-04-16 索尼公司 图像处理装置、图像处理方法和程序
CN103150960A (zh) * 2013-03-20 2013-06-12 魏润俏 三维场景演示方法及系统
CN103260040A (zh) * 2013-04-12 2013-08-21 南京熊猫电子制造有限公司 基于人眼视觉特性的3d显示自适应调节方法
US10540491B1 (en) * 2016-10-25 2020-01-21 Wells Fargo Bank, N.A. Virtual and augmented reality signatures
CN106683197A (zh) * 2017-01-11 2017-05-17 福建佳视数码文化发展有限公司 一种融合vr和ar技术的楼盘展示系统及其方法
CN107132912A (zh) * 2017-03-24 2017-09-05 广西七三科技有限公司 一种gis与bim增强现实在建筑规划的互动演示方法及系统
CN106951881A (zh) * 2017-03-30 2017-07-14 成都创想空间文化传播有限公司 一种三维场景呈现方法、装置及系统
CN107193375A (zh) * 2017-05-17 2017-09-22 刘继君 一种基于虚拟现实的电力安全生产场景交互系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴秉斌: "基于实时三维重建的远程呈现技术", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257563A (zh) * 2020-10-20 2021-01-22 海南大学 瞳孔测距方法、装置及设备
CN112363615A (zh) * 2020-10-27 2021-02-12 上海影创信息科技有限公司 多用户vr/ar交互系统、方法及计算机可读存储介质
CN117519483A (zh) * 2023-11-22 2024-02-06 艾迪普科技股份有限公司 基于数字虚拟的媒体动态交互方法、系统和介质

Also Published As

Publication number Publication date
CN107807736B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US10846388B2 (en) Virtual reality environment-based identity authentication method and apparatus
JP6444886B2 (ja) ニアアイ・ディスプレイのディスプレイ更新時間の低減
CN109471603A (zh) 一种界面显示方法及装置
CN114586071A (zh) 支持多设备类型的交叉现实系统
CN104408764A (zh) 眼镜虚拟试戴方法、装置及系统
CN107807736A (zh) 3d场景交互装置、系统和交互方法
CN106484116A (zh) 媒体文件的处理方法和装置
US10268267B2 (en) Content sharing methods and apparatuses
CN106774929B (zh) 一种虚拟现实终端的显示处理方法和虚拟现实终端
CN112669202B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20170270714A1 (en) Virtual reality and augmented reality device
WO2023184817A1 (zh) 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN113282169B (zh) 头戴式显示设备的交互方法、装置及头戴式显示设备
CN110335200A (zh) 一种虚拟现实反畸变方法、装置以及相关设备
CN117083641A (zh) 实时体验真实尺寸眼戴装置
US20240305644A1 (en) System and method for performing interactions across geographical regions within a metaverse
CN106791792B (zh) 调节vr设备显示影像的方法及系统
CN113392763B (zh) 一种人脸识别方法、装置以及设备
US20170206051A1 (en) Content sharing methods and apparatuses
CN117891330A (zh) 智能眼镜的屏幕显示控制方法、装置、计算机设备和介质
CN113784105A (zh) 一种沉浸式vr终端的信息处理方法及系统
US20180239422A1 (en) Tracking eye movements with a smart device
US20160274765A1 (en) Providing a context related view with a wearable apparatus
CN107872666A (zh) 图像流传输方法和支持该方法的电子设备
CN113282167A (zh) 头戴式显示设备的交互方法、装置及头戴式显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Junwei

Inventor after: Li Jiake

Inventor before: Liu Junwei

Inventor before: Huang Dong

Inventor before: Li Jiake

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 5th Floor, Block A and B, Lingzhi Center, Aobei Science and Technology Park, No. 1 Baosheng South Road, Haidian District, Beijing 100089

Patentee after: Terry digital technology (Beijing) Co.,Ltd.

Address before: 100080 room 9078, science and technology building, building 683, 5 Zhongguancun South Street, Haidian District, Beijing

Patentee before: Terra-IT Technology (Beijing) Co.,Ltd.

CP03 Change of name, title or address