CN110400375A - 混合现实交互系统 - Google Patents
混合现实交互系统 Download PDFInfo
- Publication number
- CN110400375A CN110400375A CN201910704285.XA CN201910704285A CN110400375A CN 110400375 A CN110400375 A CN 110400375A CN 201910704285 A CN201910704285 A CN 201910704285A CN 110400375 A CN110400375 A CN 110400375A
- Authority
- CN
- China
- Prior art keywords
- user
- image
- real
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 30
- 230000003993 interaction Effects 0.000 claims abstract description 44
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 210000005252 bulbus oculi Anatomy 0.000 claims description 16
- 210000001508 eye Anatomy 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000007474 system interaction Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种混合现实交互系统，包括，用户影像采集模块，用于采集用户实时立体影像，交互场景构建模块，用于构建用户交互场景，用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，显示模块，用于显示交互图像，其中，所述用户实时立体影像与所述用户模型相匹配渲染。基于简化模型确定用户影像的物理边界，同时将用户实时立体影像与所述用户模型相匹配渲染，避免了影像虚无飘忽的问题的同时，降低了即时计算成本，并由于模型与影像的匹配渲染，提高了模型的真实度，提高系统交互的真实感。
Description
技术领域
本发明实施例涉及混合现实技术领域，具体涉及一种混合现实交互系统。
背景技术
混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
现有的混合现实技术中，公开了诸如混合现实显示设备及其图像形成方法、全息内容的调整方法及装置、眼球追踪方法及电子装置、眼镜对焦控制方法系统及拍照设备等，以提高用户的混合现实交互体验，当用户使用MR产品系统时，系统可根据用户的头部乃至身体的位移偏转和视线变焦，为用户提供由系统生成的对应的虚拟交互影像。
然而，现有技术中普遍存在的问题是，当所述虚拟交互影像为实时真实物体时，特别的，当所述虚拟交互影像为其他用户的实时影像或实时虚拟形象时，多个用户之间无法通过混合现实系统实现具有真实体验的实时交互，比如在远程谈判或是远程约会场景中，用户限于只能看到其他用户的实时平面影像，即使该影像经过处理后可以展示完整的用户头像表情，如中国专利CN107608513A——″一种穿戴式设备及数据处理方法″中所述，也无法实现用户之间的真实交互体验，如用户之间的目光对视、眼神交流等，特别的，由于显示图像由系统单方面输出，用户需要根据看到的图像去自行适应，且图像没有真实的变焦虚化变化，画面缺乏真实感，容易造成用户的眼睛疲劳、眩晕不适等问题。
发明内容
为此，本发明实施例提供一种混合现实交互系统，以解决现有技术中存在的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的一种混合现实交互系统，包括，
用户影像采集模块，用于采集用户实时立体影像，
交互场景构建模块，用于构建用户交互场景，
用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，
显示模块，用于显示交互图像，
其中，所述用户实时立体影像与所述用户模型相匹配渲染。
由此，基于简化模型确定用户影像的物理边界，同时将用户实时立体影像与所述用户模型相匹配渲染，避免了影像虚无飘忽的问题的同时，降低了即时计算成本，并由于模型与影像的匹配渲染，提高了模型的真实度，提高系统交互的真实感。
优选的，所述用户影像采集模块包括第一影像采集模块和第二影像采集模块，其中，
所述第一影像采集模块采集第一用户由所述显示模块覆盖的外部全身实时立体影像，
所述第二影像采集模块采集第一用户由所述显示模块覆盖的内部面部实时立体影像，
所述第一用户的实时立体影像由外部全身实时立体影像和内部面部实时立体影像合成而成。
由此避免了由于可穿戴设备导致的面部图像缺失问题，利于完成用户之间的表情判断、眼神交流等交互动作。
优选的，所述用户影像采集模块包括眼球追踪模块，
其中，所述眼球追踪模块用于实时捕捉第二用户眼球偏转方向角度以及视线焦点。
进一步的，所述影像采集模块至少包括第一摄像装置和第二摄像装置，
所述第一摄像装置和第二摄像装置可围绕在第一用户周围移动，并
分别基于所述眼球追踪模块实时捕捉的第二用户左右眼球偏转方向角度以及视线焦点改变所述第一摄像装置和第二摄像装置的拍摄方向角度及焦距和第一摄像装置与第二摄像装置之间的相对位置关系。从而可基于第二用户的视野变化调整对第一用户的图像采集，使其与第二用户的真实视角相匹配。
特别的，通过调整第一摄像装置与第二摄像装置之间的相对位置关系，并配合角度和焦距变化，可以在相对固定的拍摄距离内实现超远景和超近景的近似拍摄，大幅提高了第二用户的视距变化范围。
进一步的，所述用户交互场景包括第一交互场景和第二交互场景，所述第一交互场景和第二交互场景基于相同的选定场景生成，其中，
所述第一交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化，
所述第二交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户另一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化。
进一步的，所述用户模型包括第一模型和第二模型，
所述第一模型构成为至少基于所述第一摄像装置所采集的第一用户的第一实时立体影像构建生成于所述第一交互场景中，
所述第二模型构成为至少基于所述第二摄像装置所采集的第一用户的第二实时立体影像构建生成于所述第二交互场景中，其中，
所述第一实时立体影像与所述第一模型相匹配渲染，所述第二实时立体影像与所述第二模型相匹配渲染。
进一步的，所述显示模块包括第一显示模块和第二显示模块，
所述第一显示模块设定为显示第一图像信息，所述第一图像信息由所述第一交互场景构成，
所述第二显示模块设定为显示第二图像信息，所述第二图像信息由所述第二交互场景构成。
由此，使交互画面远近可分，场景真实度提高，进而降低用户出现眼睛疲劳、眩晕不适等问题的可能。
优选的，所述用户模型构建模块包括预存用户模型，所述预存用户模型基于用户以往采集的立体影像生成并存储，用于当用户进入所述混合现实交互系统时调取用户模型与用户实时立体影像进行匹配渲染。从而可以省去用户模型构建过程，加快系统响应和对实时图像采集模块的要求。
优选的，还包括物理引擎模块，所述物理引擎模块基于所述交互场景和用户模型初始化物理模型及其坐标关系，用于用户-场景以及用户-用户的交互。
优选的，所述交互场景包括虚拟场景、现实拍摄场景、虚拟现实叠加场景中的至少一种。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明提供的一种混合现实交互系统的用户实时图像采集设备；
图2为用户实时图像采集设备的摄像头部分局部放大图；
图3为用户使用图像采集设备的示意图；
图4为图像采集原理示意图；
图5为用户模型构建与实时立体影像匹配示意图。
图中：100-基座；200-支撑装置；300-环状结构；301-环形滑轨；400-升降连杆；500-摄像组件；501-端部；502-摄像头；503-伸缩连杆；504-转轴；600-用户实时立体影像；700-用户模型；800-匹配结果
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种混合现实交互系统，包括用户影像采集模块，用于采集用户实时立体影像，交互场景构建模块，用于构建用户交互场景，用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，显示模块，用于显示交互图像，其中，所述用户实时立体影像与所述用户模型相匹配渲染。
由此，基于简化模型确定用户影像的物理边界，同时将用户实时立体影像与所述用户模型相匹配渲染，避免了影像虚无飘忽的问题的同时，降低了即时计算成本，并由于模型与影像的匹配渲染，提高了模型的真实度，提高系统交互的真实感。
具体的，本发明的一个实施方式为：用户影像采集模块使用如图1、2所示的用户实时图像采集设备，包括基座100，支撑装置200，环状结构300，升降连杆400和摄像组件500。其中，支撑装置200固定立于基座100上用以支撑环状结构300，环状结构300可固定升降地连接在支撑装置200，环状结构300下断面设有环形滑轨301，环形滑轨301内可电滑动地连接有升降连杆400的一端，升降连杆400可基于控制信号在环形滑轨301内快速滑动，并可基于控制信号自由伸缩，升降连杆400的另一端通过转轴504的两端各连接有伸缩连杆503，伸缩连杆503可基于控制信号围绕升降连杆400左右上下翻转定位，伸缩连杆503的一端与转轴504连接，另一端可枢转地连接有端部501，端部501可基于控制信号上下翻转定位，端部501的向心侧设有摄像头502，摄像头502可基于控制信号自由转动并变焦摄像。
由此，当用户实时图像采集设备接收到控制信号后，可围绕中心区域快速响应拍摄。如图3所示，用户X和用户Y(未图示)在使用混合现实交互系统时位于基座中心可进行全方位拍摄。进而可以形成用户X的实时立体影像，然后，参见图5，此时用户X的实时立体影像为用户实时立体影像600，然后，系统将用户实时立体影像600的头颈五官躯干四肢等特征进行分区切割，并调用既有模型700，模型700在虚拟场景中根据其尺寸外形具有可交互的物理边界，模型700上具有与分区相对应的模组，通过计算用户实时立体影像600的各分区尺寸比例，对模型700的各分区尺寸比例进行调整重组，使其与用户实时立体影像600相匹配，进而，将用户实时立体影像600的各个分区影像匹配渲染到调整后的模型700上，形成匹配结果800，匹配结果800拥有用户实时立体影像600的视觉外观，且其在虚拟场景中拥有与用户实时立体影像600相匹配的物理边界，并时刻跟随用户实时立体影像600的动作，从而可进行一些列的交互动作，并便于其他用户对该用户在虚拟场景中的位置进行准确的视觉定位。
进而，以用户X和用户Y为例，当二者在使用混合现实交互系统进行交互时，假设在虚拟场景中，用户Y在某一时刻看到用户X，其二者的视觉距离由XY缩短为X’Y，双眼视线夹角由α变大到β，焦距由XA1缩短到X’A1，而现实中，用户X在使用用户实时图像采集设备中，其现实中的摄像组件500与用户X的现实距离无法缩短，由此，伸缩连杆503伸长到B1B2处，使得现实拍摄夹角变大为β，并拉近摄像头焦距，从而使用户Y在虚拟场景中产生真实的视觉感受，同理，用户X亦如此。基于此，在用户使用混合现实交互系统时，系统基于用户与被视用户在虚拟空间中的位置关系，计算出摄像头502应处的位置、拍摄角度及焦距并控制用户实时图像采集设备进行及时调整，进而使用户之间产生真实的视觉感受。
本发明的另一个实施方式可以是，基于视线追踪装置对用户Y的视线进行追踪，根据追踪得来的视线角度和焦距对用户A的用户实时图像采集设备进行控制，同样可以使用户Y在虚拟场景中产生真实的视觉感受。
另外，本发明的一个实施方式为：用户可预先在用户模型构建模块中对身体各尺寸形状参数进行设定，并留存为用户模型库，当用户使用本发明的混合现实交互系统时，系统自动调用用户模型库中数据进行用户模型生成，从而可快速低成本的完成用户影像与模型匹配的过程，特别的，当真实度要求不高时，或是只是面部有真实交互需求时，用户无需使用上述用户实时图像采集设备，只需要通过其他双摄或多摄拍照设备，如手机等进行人脸实录，并映射到用户模型上，用户其他身体部位可以挑选既往拍摄记录进行覆盖，从而提高了使用效率，降低成本，提高了系统使用便携度。
除此之外，本领域技术人员可基于上述发明内容理解得到本发明的其他发明内容，在此不再赘述。
在此描述的和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用程序特定的电路和/或被配置为执行具体和特定计算机指令的电子硬件来执行的代码模块中并且完全或部分自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由特定于给定功能的电路来执行。
此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算装置(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或实质上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体编程的计算机硬件对于处理视频数据以在商业上合理的时间量内提供期望的图像处理任务或应用是必需的。
代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、相同或相似的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，该传输介质包括基于无线的和基于有线/电缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其它方式存储在任何类型的非暂态有形计算机存储器中，或者可以经由计算机可读传输介质来传达。
在此描述的和/或附图中描述的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地代表包括用于实现特定功能(例如逻辑或算术)或过程中的步骤的一个或多个可执行指令的代码模块、代码段或代码部分。各种过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其它方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。在此描述的方法和过程也不限于任何特定的序列，并且与其相关的框、步骤或状态可以以适当的其它序列(例如串行、并行或以一些其它方式)来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，在此描述的实施方式中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。
过程、方法和系统可以在网络(或分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、互联网和万维网。网络可以是有线或无线网络或任何其它类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，其中没有单独的一个对于在此公开的期望的属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将在此定义的一般原理应用于其它实施方式。因此，权利要求不旨在限于在此所示的实施方式，而是应被赋予与本公开、在此公开的原理和新颖特征一致的最宽范围。
本说明书中在分开的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。相反地，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中或以任何合适的子组合来实现。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。每个和所有实施例都不需要或不可缺少任何单个特征或特征组合。
除非另有明确说明，或者在所使用的上下文中以其它方式理解，否则在此使用的条件语言，诸如″能够″、″可″、″可能″、″可以″、″例如″等是通常旨在表达某些实施例包括，而其它实施例不包括某些特征、元件和/或步骤。因此，这种条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在或将在任何特定实施例中执行。术语″包含″、″包括″、″具有″等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。此外，术语″或″以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语″或″表示一个、列表中的一些或全部元素。另外，除非另有说明，否则本申请和所附权利要求书中使用的冠词″一″、″一个″和″所述″应被解释为表示″一个或多个″或″至少一个″。
如在此所使用的，提及项目列表中的″至少一个″的短语是指这些项目的任何组合，包括单个成员。举例来说，″A、B或C中的至少一个″旨在覆盖：A，B，C，A和B，A和C，B和C以及A、B和C。除非另有特别说明，否则诸如短语″X、Y和Z中的至少一个″的连接语言通常用于表达项目、术语等可以是X、Y或Z中的至少一个。因此，这种连接语言通常并不意味着某些实施例需要X中的至少一个，Y中的至少一个和Z中的至少一个各自存在。
类似地，虽然操作可以以特定顺序在附图中描绘，但是应该认识到，这种操作不需要以所示出的特定顺序或按顺序执行，或者执行所有示出的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其它操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其它实施方式中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种混合现实交互系统，其特征在于，包括，
用户影像采集模块，用于采集用户实时立体影像，
交互场景构建模块，用于构建用户交互场景，
用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，
显示模块，用于显示交互图像，
其中，所述用户实时立体影像与所述用户模型相匹配渲染。
2.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户影像采集模块包括第一影像采集模块和第二影像采集模块，其中，
所述第一影像采集模块采集第一用户由所述显示模块覆盖的外部全身实时立体影像，
所述第二影像采集模块采集第一用户由所述显示模块覆盖的内部面部实时立体影像，
所述第一用户的实时立体影像由外部全身实时立体影像和内部面部实时立体影像合成而成。
3.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户影像采集模块包括眼球追踪模块，
其中，所述眼球追踪模块用于实时捕捉第二用户眼球偏转方向角度以及视线焦点。
4.根据权利要求3所述的混合现实交互系统，其特征在于，所述影像采集模块至少包括第一摄像装置和第二摄像装置，
所述第一摄像装置和第二摄像装置可围绕在第一用户周围移动，并
分别基于所述眼球追踪模块实时捕捉的第二用户左右眼球偏转方向角度以及视线焦点改变所述第一摄像装置和第二摄像装置的拍摄方向角度及焦距和第一摄像装置与第二摄像装置之间的相对位置关系。
5.根据权利要求4所述的混合现实交互系统，其特征在于，所述用户交互场景包括第一交互场景和第二交互场景，所述第一交互场景和第二交互场景基于相同的选定场景生成，其中，
所述第一交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化，
所述第二交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户另一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化。
6.根据权利要求5所述的混合现实交互系统，其特征在于，所述用户模型包括第一模型和第二模型，
所述第一模型构成为至少基于所述第一摄像装置所采集的第一用户的第一实时立体影像构建生成于所述第一交互场景中，
所述第二模型构成为至少基于所述第二摄像装置所采集的第一用户的第二实时立体影像构建生成于所述第二交互场景中，其中，
所述第一实时立体影像与所述第一模型相匹配渲染，所述第二实时立体影像与所述第二模型相匹配渲染。
7.根据权利要求6所述的混合现实交互系统，其特征在于，所述显示模块包括第一显示模块和第二显示模块，
所述第一显示模块设定为显示第一图像信息，所述第一图像信息由所述第一交互场景构成，
所述第二显示模块设定为显示第二图像信息，所述第二图像信息由所述第二交互场景构成。
8.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户模型构建模块包括预存用户模型，所述预存用户模型基于用户以往采集的立体影像生成并存储，用于当用户进入所述混合现实交互系统时调取用户模型与用户实时立体影像进行匹配渲染。
9.根据权利要求1-8任一项所述的混合现实交互系统，其特征在于，还包括物理引擎模块，所述物理引擎模块基于所述交互场景和用户模型初始化物理模型及其坐标关系，用于用户-场景以及用户-用户的交互。
10.根据权利要求1-8任一项所述的混合现实交互系统，其特征在于，所述交互场景包括虚拟场景、现实拍摄场景、虚拟现实叠加场景中的至少一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704285.XA CN110400375A (zh) | 2019-07-31 | 2019-07-31 | 混合现实交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704285.XA CN110400375A (zh) | 2019-07-31 | 2019-07-31 | 混合现实交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110400375A true CN110400375A (zh) | 2019-11-01 |
Family
ID=68327046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910704285.XA Pending CN110400375A (zh) | 2019-07-31 | 2019-07-31 | 混合现实交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110400375A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179436A (zh) * | 2019-12-26 | 2020-05-19 | 浙江省文化实业发展有限公司 | 一种基于高精度定位技术的混合现实交互系统 |
| CN111586304A (zh) * | 2020-05-25 | 2020-08-25 | 重庆忽米网络科技有限公司 | 一种基于5g及vr技术的全景摄像系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002058045A (ja) * | 2000-08-08 | 2002-02-22 | Komatsu Ltd | 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法 |
| US20100194863A1 (en) * | 2009-02-02 | 2010-08-05 | Ydreams - Informatica, S.A. | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
| CN104537716A (zh) * | 2015-01-20 | 2015-04-22 | 湖南化身科技有限公司 | 三维数字人像与虚拟场景的合成系统 |
| US20150288923A1 (en) * | 2014-04-02 | 2015-10-08 | Nebulys Technologies, Inc. | Systems and methods for video communication |
| US20170069134A1 (en) * | 2015-09-09 | 2017-03-09 | Microsoft Technology Licensing, Llc | Tactile Interaction In Virtual Environments |
| CN106502427A (zh) * | 2016-12-15 | 2017-03-15 | 北京国承万通信息科技有限公司 | 虚拟现实系统及其场景呈现方法 |
| CN106600702A (zh) * | 2016-11-23 | 2017-04-26 | 中南大学 | 基于虚拟现实技术的图像处理方法及设备 |
| CN109542213A (zh) * | 2017-09-21 | 2019-03-29 | 托比股份公司 | 使用注视信息与计算设备交互的系统和方法 |
-
2019
- 2019-07-31 CN CN201910704285.XA patent/CN110400375A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002058045A (ja) * | 2000-08-08 | 2002-02-22 | Komatsu Ltd | 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法 |
| US20100194863A1 (en) * | 2009-02-02 | 2010-08-05 | Ydreams - Informatica, S.A. | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
| US20150288923A1 (en) * | 2014-04-02 | 2015-10-08 | Nebulys Technologies, Inc. | Systems and methods for video communication |
| CN104537716A (zh) * | 2015-01-20 | 2015-04-22 | 湖南化身科技有限公司 | 三维数字人像与虚拟场景的合成系统 |
| US20170069134A1 (en) * | 2015-09-09 | 2017-03-09 | Microsoft Technology Licensing, Llc | Tactile Interaction In Virtual Environments |
| CN106600702A (zh) * | 2016-11-23 | 2017-04-26 | 中南大学 | 基于虚拟现实技术的图像处理方法及设备 |
| CN106502427A (zh) * | 2016-12-15 | 2017-03-15 | 北京国承万通信息科技有限公司 | 虚拟现实系统及其场景呈现方法 |
| CN109542213A (zh) * | 2017-09-21 | 2019-03-29 | 托比股份公司 | 使用注视信息与计算设备交互的系统和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179436A (zh) * | 2019-12-26 | 2020-05-19 | 浙江省文化实业发展有限公司 | 一种基于高精度定位技术的混合现实交互系统 |
| CN111586304A (zh) * | 2020-05-25 | 2020-08-25 | 重庆忽米网络科技有限公司 | 一种基于5g及vr技术的全景摄像系统及方法 |
| CN111586304B (zh) * | 2020-05-25 | 2021-09-14 | 重庆忽米网络科技有限公司 | 一种基于5g及vr技术的全景摄像系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657651B (zh) | 表情动画生成方法和装置、存储介质及电子装置 | |
| US10198845B1 (en) | Methods and systems for animating facial expressions | |
| US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
| CN108259496B (zh) | 特效程序文件包的生成及特效生成方法与装置、电子设备 | |
| CN108280883B (zh) | 变形特效程序文件包的生成及变形特效生成方法与装置 | |
| US9245499B1 (en) | Displaying glasses with recorded images | |
| CN106161939B (zh) | 一种照片拍摄方法及终端 | |
| US11380134B2 (en) | Method and device for determining parameter for gaze tracking device | |
| CN109671141A (zh) | 图像的渲染方法和装置、存储介质、电子装置 | |
| CN114219878A (zh) | 虚拟角色的动画生成方法及装置、存储介质、终端 | |
| CN111179396B (zh) | 图像生成方法、装置、存储介质及电子装置 | |
| US20210150774A1 (en) | Method, device, and system for delivering recommendations | |
| CN110400375A (zh) | 混合现实交互系统 | |
| CN113362263A (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| CN111815768B (zh) | 三维人脸重建方法和装置 | |
| CN110070481A (zh) | 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质 | |
| CN115984447A (zh) | 图像渲染方法、装置、设备和介质 | |
| CN111476151A (zh) | 眼球检测方法、装置、设备及存储介质 | |
| CN115100707A (zh) | 模型的训练方法、视频信息生成方法、设备以及存储介质 | |
| JP7183414B2 (ja) | 画像処理の方法及び装置 | |
| CN110163063A (zh) | 表情处理方法、装置、计算机可读存储介质和计算机设备 | |
| KR101888837B1 (ko) | 스테레오 매칭 시스템의 전처리 장치 | |
| CN114285944B (zh) | 视频彩铃生成方法、装置及电子设备 | |
| US20040131247A1 (en) | Image processing device executing image processing on input image and processing method for the same | |
| CN110349269A (zh) | 一种目标穿戴物试戴方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240112 |