CN108648281A - 混合现实方法和系统 - Google Patents
混合现实方法和系统 Download PDFInfo
- Publication number
- CN108648281A CN108648281A CN201810469433.XA CN201810469433A CN108648281A CN 108648281 A CN108648281 A CN 108648281A CN 201810469433 A CN201810469433 A CN 201810469433A CN 108648281 A CN108648281 A CN 108648281A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- target object
- subsystem
- digital signal
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种混合现实方法和系统，该方法包括：通过红外光谱领域非可见光波段探测技术采集现实环境中目标对象的物理信息，得到该目标对象的光信号，然后将该光信号转换为电信号，将该电信号转换为数字信号，通过分布式数据传输子系统向三维数字化操作子系统发送该数字信号，由三维数字化操作子系统根据数字信号中的目标对象的物理信息生成目标对象的三维图像的相关信息，最后由三维数字化模型子系统根据目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理，从而将现实环境的物理数据叠加到三维虚拟环境中。
Description
技术领域
本发明实施例涉及人工智能领域中的混合现实领域以及智能制造产业中的传感器集成应用领域，具体涉及一种基于红外光谱领域非可见光波段的混合现实方法和系统。
背景技术
混合现实系统的设计与开发在全球科技领域都是属于高难度的。混合现实(MixedReality，简称MR)，是一种把真实世界叠加进虚拟世界的技术。相对于增强现实(AugmentReality，简称AR)，把虚拟的东西叠加到真实世界，混合现实则是把真实的东西叠加到虚拟世界。
虽然混合现实和增强现实都是把现实和虚拟混到一起，但其实差别很大，因为把虚拟叠加到现实比较容易，就是在真实的画上显示虚拟的东西。但要把现实叠加到虚拟里，难度相对较大。因为首先需要把现实的东西虚拟化，也就是先得到摄像机捕捉的画面，但普通可见光领域的摄像机捕捉的画都是二维的图像，也就是画面是一体且扁平的，没有层次感更没有立体感，所以还得把二维的图像通过计算机形成三维(3Dimensions，简称3D)的虚拟图像，相当于3D建模，只有这样虚拟化之后，才能把它很好地融合进3D虚拟环境。
然而，目前技术都没有给出如何把现实环境的物理数据直接叠加到3D虚拟环境中。
发明内容
本发明实施例涉及新一代信息技术产业中的微纳电子与光电子领域的下一代射频芯片和硅基光电子技术、集成电路领域中的微机电系统(Microelectro MechanicalSystems，MEMS)技术、人工智能领域中的混合现实技术、物联网领域中的传感器网络技术、智能制造产业中的微机电系统传感器制备技术、工业创感器领域中的传感器集成技术，具体涉及一种基于红外光谱领域非可见光波段的混合现实方法和系统。
本发明实施例的一个目的在于提供一种混合现实方法和系统，解决如何将现实环境的物理数据直接叠加到3D虚拟环境中的问题。
第一方面，提供了一种混合现实方法，包括：
图像采集模块基于红外光谱领域非可见光波段探测，得到目标对象的光信号，并向红外非可见光传感器发送所述光信号，其中，所述光信号包含所述目标对象的物理信息；
所述红外非可见光传感器将所述光信号转换为电信号，并向光电子系统发送所述电信号；
所述光电子系统将所述电信号转换为数字信号，并向分布式数据传输子系统发送所述数字信号；
所述分布式数据传输子系统向三维数字化操作子系统发送所述数字信号；
所述三维数字化操作子系统根据所述数字信号中的所述目标对象的物理信息生成所述目标对象的三维图像的相关信息，并向三维数字化模型子系统发送所述目标对象的三维图像的相关信息；
所述三维数字化模型子系统根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理。
可选地，所述光电子系统将所述电信号转换为数字信号，并向分布式数据传输子系统发送所述数字信号，包括：
所述光电子系统将所述电信号转换为数字信号，并向计算图像采集器模块发送所述数字信号，其中，所述计算图像采集器模块用于视觉通信接口或MIPI接口与以太网之间的数据传输；
所述计算图像采集器模块向所述分布式数据传输子系统发送所述数字信号。
可选地，所述计算图像采集器模块包括：一种或多种类型的输入接口和/或输出接口。
可选地，所述方法还包括：
射频连接器子系统向三维数字化控制系统发送频段信号；
所述三维数字化控制系统向所述三维数字化模型子系统发送所述频段信号；
所述三维数字化模型子系统根据所述频段信号与三维虚拟环境进行混合现实处理。
可选地，所述三维数字化模型子系统根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理，包括：
所述三维数字化模型子系统确定所述目标对象的三维图像在三维虚拟环境中的体素坐标；
所述三维数字化模型子系统根据所述体素坐标，对所述目标对象的三维图像与三维虚拟环境进行混合现实处理。
第二方面，还提供了一种混合现实系统，包括：图像采集模块、红外非可见光传感器、光电子系统、分布式数据传输子系统和三维数字化操作子系统，其中，
所述图像采集模块用于基于红外光谱领域非可见光波段探测，得到目标对象的光信号，并向红外非可见光传感器发送所述光信号，其中，所述光信号包含所述目标对象的物理信息；
所述红外非可见光传感器将所述光信号转换为电信号，并向光电子系统发送所述电信号；
所述光电子系统将所述电信号转换为数字信号，并向分布式数据传输子系统发送所述数字信号；
所述分布式数据传输子系统用于向三维数字化操作子系统发送所述数字信号；
所述三维数字化操作子系统用于根据所述数字信号中的所述目标对象的物理信息生成所述目标对象的三维图像的相关信息，并向三维数字化模型子系统发送所述目标对象的三维图像的相关信息；
所述三维数字化模型子系统用于根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理。
可选地，所述系统还包括：计算图像采集器模块；
所述光电子系统进一步用于将所述电信号转换为数字信号，并向所述计算图像采集器模块发送所述数字信号，其中，所述计算图像采集器模块用于视觉通信接口或MIPI接口与以太网之间的数据传输；所述计算图像采集器模块用于向所述分布式数据传输子系统发送所述数字信号。
可选地，所述计算图像采集器模块包括：一种或多种类型的输入接口和/或输出接口。
可选地，所述系统还包括：射频连接器子系统和三维数字化控制系统，其中，所述射频连接器子系统用于向三维数字化控制系统发送频段信号；所述三维数字化控制系统向所述三维数字化模型子系统发送所述频段信号；
所述三维数字化模型子系统还用于根据所述频段信号与三维虚拟环境进行混合现实处理。
可选地，所述三维数字化模型子系统进一步用于：确定所述目标对象的三维图像在三维虚拟环境中的体素坐标；
所述三维数字化模型子系统进一步用于：根据所述体素坐标，对所述目标对象的三维图像与三维虚拟环境进行混合现实处理。
本发明的实施例，通过红外光谱领域非可见光波段探测技术采集现实环境中目标对象的物理信息，得到该目标对象的光信号，以解决真实世界的物理数据的采集问题，然后将该光信号转换为电信号，以解决物理数据有效转换为机器数据的问题，然后将该电信号转换为数字信号，以解决机器数据有效转换为信息数据的问题，然后通过分布式数据传输子系统向三维数字化操作子系统发送该数字信号，以解决各类信息孤岛的互联互通的问题，然后由三维数字化操作子系统根据数字信号中的目标对象的物理信息生成目标对象的三维图像的相关信息，最后由三维数字化模型子系统根据目标对象的三维图像与三维虚拟环境进行混合现实处理，以解决规模化生成三维虚拟世界数据的问题，从而能够直接将现实环境的物理数据叠加到三维虚拟环境中。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的基于红外光谱领域非可见光波段的混合现实方法的流程图；
图2为本发明实施例的基于红外光谱领域非可见光波段的混合现实系统的结构示意图之一；
图3为本发明实施例的基于红外光谱领域非可见光波段的混合现实系统的结构示意图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，说明书以及权利要求中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B，表示包含单独A，单独B，以及A和B都存在三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
参见图1，图中示出根据本发明实施例的基于红外光谱领域非可见光波段的混合现实方法流程，具体步骤如下：
步骤101：图像采集模块基于红外光谱领域非可见光波段探测，得到目标对象的光信号，并向红外非可见光传感器发送光信号，其中，光信号包含目标对象的物理信息；
在本发明实施例中，图像采集模块(或者称为物理感知芯片模块)具有红外光谱领域非可见光波段探测能力。
在本发明实施例中，红外光谱领域非可见光波段(其可以包括：近红外波段、中红外波段或者远红外波段)探测技术，用于真实世界的所有物质波长介于微波与可见光之间的电磁波，该电磁波的波长在1mm(毫米)到760纳米(nm)之间，比红光长的非可见光的探测。
高于绝对零度(-273.15℃)的物质都可以产生红外线。该红外光谱领域非可见光波段探测技术可以直接获取目标对象的目标红外波段的参数，不需要获取目标红外波段以外的其他信息，例如：可见光波段。
其中，目标对象可以是现实环境(或者称为物理环境)中的建筑物、人、动物、车辆等，当然并不限于此。目标对象的物理信息包括目标对象在现实环境中位置信息、形状信息、尺寸信息等中的一项或多项组合。
步骤102：红外非可见光传感器将光信号转换为电信号，并向光电子系统发送电信号；
在本发明实施例中，红外非可见光传感器可以是采用晶圆级封装技术或者针脚栅格阵列(Pin Grid Array，PGA)封装技术的红外波段传感器，其分辨率大于1K以上，具备数字化协议标准接口，该红外非可见光传感器能够与光电子系统在物理、数据、智能控制领域形成互联互通。
步骤103：光电子系统将电信号转换为数字信号，并向分布式数据传输子系统发送数字信号；
在本发明实施例中，光电子系统采用数字信号进行交互，而非模拟信号。该光电子系统可以与红外非可见光传感器实现一体化数字标准转换。进一步地，通过光电子系统的微控制单元(Microcontroller Unit，MCU)与分布式数据传输子系统进行通信。
具体地，在步骤103中，光电子系统将电信号转换为数字信号，并向计算图像采集器模块(或者称为计算帧抓取器(Computing Frame Grabber))发送数字信号，其中，该计算图像采集器模块用于视觉通信接口或移动产业处理器接口(Mobile Industry ProcessorInterface，MIPI)接口与以太网之间的数据传输；计算图像采集器模块向分布式数据传输子系统发送数字信号。
在本发明实施例中，计算图像采集器模块用于视觉通信接口或MIPI接口与以太网互联互通，其可以帮助服务器或者数据中心通过以太网调用机器视觉通信接口或MIPI接口互联互通，也就是，通过计算图像采集器模块帮助设备间、服务器或者数据中心通过以太网调用机器视觉通信接口或MIPI接口，从而智能化操控摄像机和其他设备。
在本发明实施例中，计算图像采集器模块具有独立的图像处理能力，用户不需要使用任何额外的计算设备来运行图像处理程序，上述独立的图像处理能力可以由内置的现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者微处理器分别处理，也可以协同处理。
需要说明的时，该计算图像采集器模块包括支持多种类型的输入接口和/或输出接口，例如：以太网接口、视频图形阵列(Video Graphics Array，VGA)接口、通用串行总线(Universal Serial Bus，USB)接口、高清晰度多媒体接口(High Definition MultimediaInterface，HDMI)接口和SD卡(Secure Digital Memory Card)接口，从而可以帮助用户或开发人员实现各类摄像的功能应用及图像系统的开发和应用。
在本发明实施例中，上述图像采集模块、红外非可见光传感器、计算图像采集器模块和光电子系统可以集成在摄像机中，该摄像机可以为基于互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)制成及MIPI接口标准的全数字化微光夜视传感器，该摄像机能在白天、无月光环境及微弱的星光环境下同样拥有极佳的夜视表现。
进一步地，该摄像机还具有独立的图像处理能力，该图像处理能力包括图像分离、图像智能化识别、图像边缘计算、图像实时共享等处理能力，这样用户不需要使用任何额外的计算设备来运行图像处理程序，该摄像机的独立的图像处理能力可以由内置的FPGA或微处理器分别处理，也可以由内置的FPGA和微处理器协同处理。
需要说的是，该摄像机可以用于极端黑暗环境、民用安防及军用市场、辅助车辆驾驶、工业智能机器人、科学研究、交通管理控制、或者民用无人机及军用无人机等领域。
步骤104：分布式数据传输子系统向三维数字化操作子系统发送数字信号；
在本发明实施例中，分布式数据传输子系统能够基于以太网协议实现各类网关的互联互通，形成局域网布局。各类设备可以通过分布式数据传输子系统实现跨平台、跨系统享受数据互联互通。例如：能够实现不同运营商的数据互联互通，或者实现政府机关与企业的数据互联互通。
在本发明实施例中，三维数字化操作子系统可以采用三维图像模拟真实图像的数字化技术，该三维数字化操作子系统用于建立三维模拟环境，其可以安装在服务器(或者称为数据中心)上，也可以安装在移动终端(例如智能手机)上，通过分布式数据传输子系统能够实现数据的实时分享和人机交互。
例如：多台摄像机可以采用分布式数据传输协议进行数据传输，无需中央服务器进行统一的分配及处理，该多台摄像机均具备有效的边缘计算能力。
步骤105：三维数字化操作子系统根据数字信号中的目标对象的物理信息生成目标对象的三维图像的相关信息，并向三维数字化模型子系统发送目标对象的三维图像的相关信息；
在本发明实施例中，目标对象的三维图像的相关信息是指用于在三维环境中建立目标对象三维图像的信息。
在本发明实施例中，三维数字化模型子系统可以安装在服务器(或者称为数据中心)上，也可以安装在移动终端(例如智能手机)上。
步骤106：三维数字化模型子系统根据目标对象的三维图像的相关信息和三维虚拟环境进行混合现实处理。
具体地，三维数字化模型子系统(或称为体素计算子系统)确定所述目标对象的三维图像在三维虚拟环境中的体素坐标；三维数字化模型子系统根据所述体素坐标，对所述目标对象的三维图像与三维虚拟环境进行混合现实处理。体素计算子系统如同像素计算，体素计算本身并不含有空间中位置的数据(即它们的坐标)，却可以从它们相对于其它体素的位置来计算相对空间坐标，意即它们在构成单一张体积影像的数据结构中的位置。在本发明实施例中，三维数字化模型子系统通过激光技术、即时定位与地图构建(SimultaneousLocalization And Mapping，SLMA)技术、大数据技术等，实现现实环境的坐标点与三维虚拟环境的坐标点的统一。
体素是体积元素(Volume Pixel)的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。一如其名，是数字数据于三维空间分割上的最小单位，体素用于三维成像、科学数据与医学影像等领域。上述体素坐标是指体积元素在三维环境中的位置信息。
混合现实数据处理的过程如下：
1、体素是体积元素(Volume Pixel)的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来，是数字数据于三维空间分割上的最小单位。概念上类似二维空间的最小单位——像素，像素用在二维计算机图像的影像数据上。而体素用在三维计算机数据处理。
2、将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据集，其不仅包含模型的表面信息，而且能描述模型的内部属性。
3、体素计算本身并不含有空间中位置的数据(即它们的坐标)，系统却可以从它们相对于其它体素的位置来计算相对空间坐标，构成单一张体积影像的数据结构中的位置。
4、将体素化信息与三维虚拟环境进行混合现实数据处理。
可选地，在本发明实施例中的混合现实方法还包括：射频连接器子系统向三维数字化控制系统发送频段信号；所述三维数字化控制系统将所述频段信号向所述三维数字化模型子系统发送；所述三维数字化模型子系统将所述频段信号与三维虚拟环境进行混合现实处理。
上述频段信号为极高频(Extremly High Frequency，EHF)或毫米波频段，频率范围为30-300GHz。该频段对应于IEEE的Ka(26.5-40GHz)、V(40-75GHz)等频段的信号。
本发明的实施例，通过红外光谱领域非可见光波段探测技术采集现实环境中目标对象的物理信息，得到该目标对象的光信号，以解决真实世界的物理数据的采集问题，然后将该光信号转换为电信号，以解决物理数据有效转换为机器数据的问题，然后将该电信号转换为数字信号，以解决机器数据有效转换为信息数据的问题，然后通过分布式数据传输子系统向三维数字化操作子系统发送该数字信号，以解决各类信息孤岛的互联互通的问题，然后由三维数字化操作子系统根据数字信号中的目标对象的物理信息生成目标对象的三维图像的相关信息，最后由三维数字化模型子系统根据目标对象的三维图像与三维虚拟环境进行混合现实处理，以解决规模化生成三维虚拟世界数据的问题，从而能够直接将现实环境的物理数据叠加到三维虚拟环境中。
本发明实施例中还提供了一种混合现实系统，由于混合现实系统解决问题的原理与本发明实施例中混合现实方法相似，因此该混合现实系统的实施可以参见方法的实施，重复之处不再敷述。
参见图2，图中示出根据本发明实施例的混合现实系统的结构，该混合现实系统包括：图像采集模块201、红外非可见光传感器202、光电子系统203、分布式数据传输子系统204、三维数字化操作子系统205和三维数字化模型子系统206，其中，
所述图像采集模块201用于基于红外光谱领域非可见光波段探测，得到目标对象的光信号，并向红外非可见光传感器发送所述光信号，其中，所述光信号包含所述目标对象的物理信息；
所述红外非可见光传感器202将所述光信号转换为电信号，并向光电子系统203发送所述电信号；
所述光电子系统203将所述电信号转换为数字信号，并向分布式数据传输子系统204发送所述数字信号；
所述分布式数据传输子系统204用于向三维数字化操作子系统205发送所述数字信号；
所述三维数字化操作子系统205用于根据所述数字信号中的所述目标对象的物理信息生成所述目标对象的三维图像的相关信息，并向三维数字化模型子系统发送所述目标对象的三维图像的相关信息；
所述三维数字化模型子系统206用于根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理。
参见图3，该系统还包括：计算图像采集器模块206，所述光电子系统203进一步用于将所述电信号转换为数字信号，并向计算图像采集器模块207发送所述数字信号，其中，所述计算图像采集器模块207用于视觉通信接口或MIPI接口与以太网之间的数据传输；所述计算图像采集器模块207用于向所述分布式数据传输子系统发送所述数字信号。
在本发明实施例中，可选地，计算图像采集器模块207包括：支持一种或多种类型的输入接口和/或输出接口，例如：以太网接口、VGA接口、USB接口、HDMI接口和SD卡接口，从而可以帮助用户和开发人员实现各类摄像的功能应用及图像系统的开发和应用。
参见图3，系统还包括：射频连接器子系统208和三维数字化控制系统209，其中，射频连接器子系统208用于向三维数字化控制系统209发送频段信号；所述三维数字化控制系统209将所述频段信号向所述三维数字化模型子系统206发送；
所述三维数字化模型子系统206还用于将所述频段信号X与三维虚拟环境进行混合现实处理。
在本发明实施例中，可选地，三维数字化模型子系统206进一步用于：确定所述目标对象的三维图像在三维虚拟环境中的体素坐标；三维数字化模型子系统206进一步用于：根据所述体素坐标，对所述目标对象的三维图像与三维虚拟环境进行混合现实处理。
本发明的实施例，通过红外光谱领域非可见光波段探测技术采集现实环境中目标对象的物理信息，得到该目标对象的光信号，以解决真实世界的物理数据的采集问题，然后将该光信号转换为电信号，以解决物理数据有效转换为机器数据的问题，然后将该电信号转换为数字信号，以解决机器数据有效转换为信息数据的问题，然后通过分布式数据传输子系统向三维数字化操作子系统发送该数字信号，以解决各类信息孤岛的互联互通的问题，然后由三维数字化操作子系统根据数字信号中的目标对象的物理信息生成目标对象的三维图像的相关信息，最后由三维数字化模型子系统根据目标对象的三维图像与三维虚拟环境进行混合现实处理，以解决规模化生成三维虚拟世界数据的问题，从而能够直接将现实环境的物理数据叠加到三维虚拟环境中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种混合现实方法，其特征在于，包括：
图像采集模块基于红外光谱领域非可见光波段探测，得到目标对象的光信号，并向红外非可见光传感器发送所述光信号，其中，所述光信号包含所述目标对象的物理信息；
所述红外非可见光传感器将所述光信号转换为电信号，并向光电子系统发送所述电信号；
所述光电子系统将所述电信号转换为数字信号，并向分布式数据传输子系统发送所述数字信号；
所述分布式数据传输子系统向三维数字化操作子系统发送所述数字信号；
所述三维数字化操作子系统根据所述数字信号中的所述目标对象的物理信息生成所述目标对象的三维图像的相关信息，并向三维数字化模型子系统发送所述目标对象的三维图像的相关信息；
所述三维数字化模型子系统根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理。
2.根据权利要求1所述的方法，其特征在于，所述光电子系统将所述电信号转换为数字信号，并向分布式数据传输子系统发送所述数字信号，包括：
所述光电子系统将所述电信号转换为数字信号，并向计算图像采集器模块发送所述数字信号，其中，所述计算图像采集器模块用于视觉通信接口或移动产业处理器接口MIPI接口与以太网之间的数据传输；
所述计算图像采集器模块向所述分布式数据传输子系统发送所述数字信号。
3.根据权利要求2所述的方法，其特征在于，所述计算图像采集器模块包括：一种或多种类型的输入接口和/或输出接口。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
射频连接器子系统向三维数字化控制系统发送频段信号；
所述三维数字化控制系统向所述三维数字化模型子系统发送所述频段信号；
所述三维数字化模型子系统根据所述频段信号与三维虚拟环境进行混合现实处理。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述三维数字化模型子系统根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理，包括：
所述三维数字化模型子系统确定所述目标对象的三维图像在三维虚拟环境中的体素坐标；
所述三维数字化模型子系统根据所述体素坐标，对所述目标对象的三维图像与三维虚拟环境进行混合现实处理。
6.一种混合现实系统，其特征在于，包括：图像采集模块、红外非可见光传感器、光电子系统、分布式数据传输子系统和三维数字化操作子系统，其中，
所述图像采集模块用于基于红外光谱领域非可见光波段探测，得到目标对象的光信号，并向红外非可见光传感器发送所述光信号，其中，所述光信号包含所述目标对象的物理信息；
所述红外非可见光传感器将所述光信号转换为电信号，并向光电子系统发送所述电信号；
所述光电子系统将所述电信号转换为数字信号，并向分布式数据传输子系统发送所述数字信号；
所述分布式数据传输子系统用于向三维数字化操作子系统发送所述数字信号；
所述三维数字化操作子系统用于根据所述数字信号中的所述目标对象的物理信息生成所述目标对象的三维图像的相关信息，并向三维数字化模型子系统发送所述目标对象的三维图像的相关信息；
所述三维数字化模型子系统用于根据所述目标对象的三维图像的相关信息与三维虚拟环境进行混合现实处理。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：计算图像采集器模块；
所述光电子系统进一步用于将所述电信号转换为数字信号，并向所述计算图像采集器模块发送所述数字信号，其中，所述计算图像采集器模块用于视觉通信接口或MIPI接口与以太网之间的数据传输；所述计算图像采集器模块用于向所述分布式数据传输子系统发送所述数字信号。
8.根据权利要求7所述的系统，其特征在于，所述计算图像采集器模块包括：一种或多种类型的输入接口和/或输出接口。
9.根据权利要求6所述的系统，其特征在于，所述系统还包括：射频连接器子系统和三维数字化控制系统，其中，所述射频连接器子系统用于向三维数字化控制系统发送频段信号；所述三维数字化控制系统向所述三维数字化模型子系统发送所述频段信号；
所述三维数字化模型子系统还用于根据所述频段信号与三维虚拟环境进行混合现实处理。
10.根据权利要求6至9任一项所述的系统，其特征在于，
所述三维数字化模型子系统进一步用于：确定所述目标对象的三维图像在三维虚拟环境中的体素坐标；
所述三维数字化模型子系统进一步用于：根据所述体素坐标，对所述目标对象的三维图像与三维虚拟环境进行混合现实处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810469433.XA CN108648281B (zh) | 2018-05-16 | 2018-05-16 | 混合现实方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810469433.XA CN108648281B (zh) | 2018-05-16 | 2018-05-16 | 混合现实方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108648281A true CN108648281A (zh) | 2018-10-12 |
| CN108648281B CN108648281B (zh) | 2019-07-16 |
Family
ID=63756371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810469433.XA Active CN108648281B (zh) | 2018-05-16 | 2018-05-16 | 混合现实方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648281B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110554142A (zh) * | 2019-08-02 | 2019-12-10 | 珠海格力电器股份有限公司 | 空气质量监测方法、装置、系统、存储介质及电子设备 |
| CN111208842A (zh) * | 2019-12-27 | 2020-05-29 | 西安羚控电子科技有限公司 | 一种虚拟无人机与实体无人机混合集群任务控制系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2535727A (en) * | 2015-02-25 | 2016-08-31 | Bae Systems Plc | Interactive information system |
| CN105955483A (zh) * | 2016-05-06 | 2016-09-21 | 乐视控股（北京）有限公司 | 虚拟现实终端及其视觉虚拟方法和装置 |
| CN106502388A (zh) * | 2016-09-26 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种互动式运动方法及头戴式智能设备 |
| CN106797458A (zh) * | 2014-07-31 | 2017-05-31 | 惠普发展公司，有限责任合伙企业 | 真实对象的虚拟改变 |
| CN107430437A (zh) * | 2015-02-13 | 2017-12-01 | 厉动公司 | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 |
-
2018
- 2018-05-16 CN CN201810469433.XA patent/CN108648281B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106797458A (zh) * | 2014-07-31 | 2017-05-31 | 惠普发展公司，有限责任合伙企业 | 真实对象的虚拟改变 |
| CN107430437A (zh) * | 2015-02-13 | 2017-12-01 | 厉动公司 | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 |
| GB2535727A (en) * | 2015-02-25 | 2016-08-31 | Bae Systems Plc | Interactive information system |
| CN105955483A (zh) * | 2016-05-06 | 2016-09-21 | 乐视控股（北京）有限公司 | 虚拟现实终端及其视觉虚拟方法和装置 |
| CN106502388A (zh) * | 2016-09-26 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种互动式运动方法及头戴式智能设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110554142A (zh) * | 2019-08-02 | 2019-12-10 | 珠海格力电器股份有限公司 | 空气质量监测方法、装置、系统、存储介质及电子设备 |
| CN111208842A (zh) * | 2019-12-27 | 2020-05-29 | 西安羚控电子科技有限公司 | 一种虚拟无人机与实体无人机混合集群任务控制系统 |
| CN111208842B (zh) * | 2019-12-27 | 2021-03-19 | 西安羚控电子科技有限公司 | 一种虚拟无人机与实体无人机混合集群任务控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108648281B (zh) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102509348B (zh) | 一种共享增强现实场景的真实物体多方位表示方法 | |
| US10846844B1 (en) | Collaborative disparity decomposition | |
| CN115880555B (zh) | 目标检测方法、模型训练方法、装置、设备及介质 | |
| EP3170151B1 (en) | Blending between street view and earth view | |
| CN110473293B (zh) | 虚拟对象处理方法及装置、存储介质和电子设备 | |
| CN107223269A (zh) | 三维场景定位方法和装置 | |
| CN112053440B (zh) | 单体化模型的确定方法及通信装置 | |
| CN109917419B (zh) | 一种基于激光雷达与图像的深度填充密集系统及方法 | |
| KR20140057610A (ko) | 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성 | |
| CN104376596A (zh) | 一种基于单幅图像的三维场景结构建模与注册方法 | |
| CN112784621A (zh) | 图像显示方法及设备 | |
| CN106898049A (zh) | 一种用于混合现实设备的空间匹配方法及系统 | |
| CN110574370B (zh) | 用于处理全向图像的方法和装置 | |
| WO2014149381A1 (en) | Personal information communicator | |
| WO2013176894A2 (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
| AU2020449562B2 (en) | Geometry-aware augmented reality effects with a real-time depth map | |
| CN108648281B (zh) | 混合现实方法和系统 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN113724309B (zh) | 图像生成方法、装置、设备及存储介质 | |
| Gadasin et al. | A Model for Representing the Color and Depth Metric Characteristics of Objects in an Image | |
| CN115619986B (zh) | 场景漫游方法、装置、设备和介质 | |
| CN111161398A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| CN113436307A (zh) | 基于osgEarth影像数据到UE4场景的映射算法 | |
| CN115311414A (zh) | 基于数字孪生的实景渲染方法、装置及相关设备 | |
| CN116030228B (zh) | 一种基于web的mr虚拟画面展示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 233, building 4, complex building, No. 699, Linding Road, Dingqiao Town, Jianggan District, Hangzhou City, Zhejiang Province, 310022 Patentee after: Hot core technology Co.,Ltd. Address before: Room 233, building 4, complex building, No. 699, Linding Road, Dingqiao Town, Jianggan District, Hangzhou City, Zhejiang Province, 310022 Patentee before: REXIN TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 571924 4001, 4th floor, incubation building, Hainan Ecological Software Park, high tech industry demonstration zone, old town, Chengmai County, Hainan Province Patentee after: Hot core technology Co.,Ltd. Address before: 310022 233, room 4, 699 complex, Lin Ding Road, Ding Qiao Town, Jianggan District, Hangzhou, Zhejiang Patentee before: Hot core technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |