CN113781661B - 面向沉浸式场景的多投影空间布局评估方法和系统 - Google Patents

面向沉浸式场景的多投影空间布局评估方法和系统 Download PDF

Info

Publication number
CN113781661B
CN113781661B CN202111067499.4A CN202111067499A CN113781661B CN 113781661 B CN113781661 B CN 113781661B CN 202111067499 A CN202111067499 A CN 202111067499A CN 113781661 B CN113781661 B CN 113781661B
Authority
CN
China
Prior art keywords
projection
space
scene
camera
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111067499.4A
Other languages
English (en)
Other versions
CN113781661A (zh
Inventor
陆鼎阳
冯兵
朱登明
朱正刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Original Assignee
TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES filed Critical TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Priority to CN202111067499.4A priority Critical patent/CN113781661B/zh
Publication of CN113781661A publication Critical patent/CN113781661A/zh
Application granted granted Critical
Publication of CN113781661B publication Critical patent/CN113781661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种面向沉浸式场景的多投影空间布局评估方法和系统。该方法包括:根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数;根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案;在虚拟空间中搭建真实场景仿真模型,实现场景中设备在仿真空间中位姿的动态调整,实现实时纹理输出;根据投影设备在场景空间坐标之中的位姿,通过设备视场角获取纹理,实现最终的图像投影。本发明实现对沉浸式场景布局方案质量的快速评估和可视化呈现,解决真沉浸式场景中空间布局投影死角难发现问题,降低沉浸式环境部署执行门槛。

Description

面向沉浸式场景的多投影空间布局评估方法和系统
技术领域
本发明涉及计算机视觉及计算机图形学技术领域,尤其涉及一种面向沉浸式场景的多投影空间布局评估方法和系统。
背景技术
随着科技的不断进步,VR(Virtual Reality,虚拟现实)以及AR(AugmentedReality,增强现实)技术在视频、教育、旅游等各行业得到越来越深入的应用。VR以及AR技术相对传统的PC(Personal Computer,个人计算机)和手机最大的特点是沉浸感。三维沉浸式环境是一种虚实融合的三维动态实境仿真系统和多源信息融合的实体交互式系统,通过虚拟3D场景投影带来的视觉真实性以及实时动态虚实互动的交互真实性,使用户沉浸到该环境中。三维沉浸式环境在体感游戏、影视娱乐、远程立体视频会议、远程教学等各个领域都有着重要的应用价值。
三维沉浸式环境是真实环境和虚拟环境的融合,目前市面上涌现出很多种类形态不一的硬件设备和软体,往往只能解决单一面、静态环境的融合,而且安装部署复杂,精度校准难,对于沉浸感要求高的场景,往往需要凭借人工经验和反复调试,执行门槛高,因此行业中急需行之有效的高效率高质量的解决方案。
发明内容
有鉴于此,本发明的目的是为了提出一种面向沉浸式场景的多投影空间布局评估方法和系统,实现对沉浸式场景布局方案质量的快速评估和可视化呈现,解决真沉浸式场景中空间布局投影死角难发现问题,降低沉浸式环境部署执行门槛。
基于上述目的,第一方面,本发明实施例提供了一种面向沉浸式场景的多投影空间布局评估方法,该方法包括:
根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数;
根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案;
在虚拟空间中搭建真实场景仿真模型,实现场景中设备在仿真空间中位姿的动态调整,实现实时纹理输出;
根据投影设备在场景空间坐标之中的位姿,通过设备视场角获取纹理,实现最终的图像投影。
进一步地,所述根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数,包括:
根据投影设备分辨率,生成结构光条纹码;
选定一个纯色背景板区域,将标定板固定在投射区域内,使用相机对准所述投射区域,调整焦距和曝光,使之在相机视角内清晰成像;
启动结构光投影程序,逐个拍摄条纹码图像,通过结构光多步相移法确定标定板角点在相机坐标系和投影坐标系下的位置,执行双目标定,获取相机和投影的内外参数;
重复所述获取相机和投影的内外参数的步骤,完成所有投影和相机设备的标定,得到内参矩阵。
进一步地,所述根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案,包括:
通过深度相机结合惯性测量单元获取环境场景的点云数据;
通过数据中各点云数据之间的距离信息和直通滤波算法对所述点云数据进行第一次降噪,得到初始数据,之后根据预设的环境信息,使用条件滤波算法对初始数据进行二次降噪,获取单一的场景空间点云数据;
根据所述场景空间点云数据进行拟合,得到环境场景数据;
在虚拟仿真环境中,导入投影和相机设备、场景数据,计算多投影空间布局评估结果;
在虚拟场景中删减或移动投影设备,重复计算多投影空间布局评估结果直至达到理想的沉浸式效果,导出投影部署方案。
进一步地,所述根据所述场景空间点云数据进行拟合时,采用最小二乘法进行点云数据的拟合,将点云数据落在直线上。
进一步地,所述计算多投影空间布局评估结果,包括:投影清晰度和投影覆盖率;
所述投影清晰度的计算过程为:在仿真空间中,已知投影设备空间位姿,由场景空间点云数据计算在投影空间中的每个点到投影设备的深度值,将所述深度值代入到最佳投影区间进行线性计算,得到对应的投影清晰度;
所述投影覆盖率的计算过程为:由所述环境场景数据,在仿真空间中已知设备空间位姿,将每个投影设备的投射空间视为包围盒,执行空间包围盒重叠检测,计算出投影设备投射空间之间的重叠区域,以及投射空间中未重叠部分,得到投影覆盖率。
进一步地,在所述导出投影部署方案之后,进一步包括:
根据所述投影部署方案,在实际场景空间中进行安装部署。
进一步地,在所述安装部署之后,进一步包括:
投射仿真系统中纹理图案,查看真实环境与虚拟环境是否存在装配误差,如存在误差,使用立体标定的方式,进行精配准。
第二方面,本发明实施例提供了面向沉浸式场景的多投影空间布局评估系统,该系统包括:
结构光标定模块,用于根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数。
空间评估模块,用于根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案。
虚拟仿真模块,用于在虚拟空间中搭建真实场景仿真模型,实现场景中设备在仿真空间中位姿的动态调整,实现实时纹理输出。
图像投影模块,用于根据投影设备在场景空间坐标之中的位姿,通过设备视场角获取纹理,实现最终的图像投影。
第三方面,本发明实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被处理器所执行时,使所述处理器执行如第一方面任一项所述的用于沉浸式场景的多投影空间布局评估系统和装置。
第四方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上第一方面任一项所述的用于沉浸式场景的多投影空间布局评估系统和装置。
本发明实施例的有益效果为:
1、基于多投影空间布局评估方法,实现场景空间中多设备无缝部署,取得更好的沉浸式效果。
2、处理迅速且节约人力,对于全新的应用环境,能在设备部署安装前完成沉浸式效果仿真,避免重复安装带来的麻烦和损耗。
3、自动化程度较高,除标定和校准过程需要人工参与外,其余流程均交由系统自动完成,无需额外的人工介入。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出本发明的最佳投影区间示意图。
图2示出根据本发明实施例的投影清晰度与深度关系图。
图3示出根据本发明实施例的面向沉浸式场景的多投影空间布局评估系统的构成图。
图4示出了本发明一实施例所提供的一种电子设备的结构示意图;
图5示出了本发明一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
一种面向沉浸式场景的多投影空间布局评估方法和系统,其中硬件设备包括:标定投影设备和相机设备,投影和相机设备内参对整个沉浸式环境的精度有决定性影响。同时获取环境场景的三维点云数据,根据场景投影方案和获取到的投影设备和相机设备的内参,构建虚拟仿真环境,评估仿真环境中多投影空间布局,并给出评估结果。根据最后的投影布局方案完成设备部署和精配准,由于设备安装存在一定的装配误差,所以在完成初步安装后,需要进行整体场景标定,计算各个设备间的实际空间位置关系,保证虚拟和真实环境的一致性。
具体的,本发明的一种面向沉浸式场景的多投影空间布局评估方法,包括:
步骤s1:根据投影设备分辨率,生成结构光条纹投影图案。
步骤s2:选定一个纯色背景板区域,保证投影图案清晰的投射在背景板上,将标定板固定在投射区域内,使用相机对准该区域,调整焦距和曝光,使之能在相机视角内清晰成像。
步骤s3:启动结构光投影程序,逐个拍摄条纹码图像,通过结构光多步相移法确定标定板角点在相机坐标系和投影坐标系下的位置,执行双目标定,获取相机和投影的内外参数。
步骤s4:重复执行步骤s3,完成所有投影和相机设备的标定,得到内参矩阵In。
步骤s5:通过深度相机结合惯性测量单元快速的获取环境场景的点云数据。
步骤s6:步骤s5获取的点云数据存在较多噪声,本实施例通过数据中各点云数据之间的距离信息和直通滤波算法对所述点云数据进行第一次降噪,得到初始数据C0,之后根据预设的环境信息,使用条件滤波算法对初始数据进行二次降噪,获取单一的场景空间点云数据C,减少后续计算开销。
步骤s7:根据步骤s6所述场景空间点云数据C进行拟合,可以采用最小二乘法进行点云数据的拟合,从而将散乱的点云数据整齐地落在直线上,拟合完毕以后即得到环境场景数据P。
步骤s8:在虚拟仿真环境中,导入投影和相机设备、场景数据,计算多投影空间布局评估结果。
多投影空间布局评估计算方式分两部分,一是投影清晰度,二是投影覆盖率:
投影清晰度的计算过程为:投影设备如相机设备一样,投影空间存在一个最佳投影空间S该空间由投影镜头Z轴方向深度和视场角Fov决定,Fov由投影设备内参In得到,如图1所示,设最佳投影深度为Zx,最佳投影区间[Za,Zb]。在仿真空间中,已知投影设备空间位姿M,由场景空间点云数据C可计算在投影空间中的每个点Cn到投影设备的深度值Zn,将Zn代入到最佳投影区间[Za,Zb]进行线性计算,如图2所示,得到其对应的投影清晰度Dn。
投影覆盖率的计算过程为:由步骤s7我们得到环境场景数据P,在仿真空间中已知设备空间位姿M,而每个投影设备都有其投射空间S,将所述空间视为包围盒,执行空间包围盒重叠检测,计算出投影设备投射空间之间的重叠区域,以及空间中未重叠部分即投影死角空间。减少投影设备间重叠区域可以增加设备总体利用率,减少投影死角可以提升沉浸式效果。
步骤s9:在虚拟场景中删减或移动投影设备,重复步骤s8直至达到理想的沉浸式效果,导出投影部署方案。
步骤s10:根据投影部署方案,在实际场景空间中进行安装部署。
步骤s11:投射仿真系统中纹理图案,查看真实环境与虚拟环境是否存在装配误差,如存在误差,使用立体标定的方式,进行精配准。
申请实施例提供了一种面向沉浸式场景的多投影空间布局评估系统,该系统用于执行上述实施例所述的面向沉浸式场景的多投影空间布局评估方法,如图3所示,该系统包括:
结构光标定模块,其实现为:根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数。
空间评估模块,其实现为:根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案。
虚拟仿真模块,其实现为:在虚拟空间中搭建真实场景仿真模型,实现场景中设备在仿真空间中位姿的动态调整,实现实时纹理输出。
图像投影模块,其实现为:根据投影设备在场景空间坐标之中的位姿,通过设备视场角获取纹理,实现最终的图像投影。
本发明的上述实施例提供的面向沉浸式场景的多投影空间布局评估系统与本发明实施例提供的面向沉浸式场景的多投影空间布局评估方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本发明实施方式还提供一种与前述实施方式所提供的面向沉浸式场景的多投影空间布局评估方法对应的电子设备,以执行上面向沉浸式场景的多投影空间布局评估方法。本发明实施例不做限定。
请参考图4,其示出了本发明的一些实施方式所提供的一种电子设备的示意图。如图4所示,所述电子设备2包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本发明前述任一实施方式所提供的面向沉浸式场景的多投影空间布局评估方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本发明实施例任一实施方式揭示的所述面向沉浸式场景的多投影空间布局评估方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本发明实施例提供的电子设备与本发明实施例提供的面向沉浸式场景的多投影空间布局评估方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本发明实施方式还提供一种与前述实施方式所提供的面向沉浸式场景的多投影空间布局评估方法对应的计算机可读存储介质,请参考图5,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的面向沉浸式场景的多投影空间布局评估方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本发明的上述实施例提供的计算机可读存储介质与本发明实施例提供的面向沉浸式场景的多投影空间布局评估方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中,这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种面向沉浸式场景的多投影空间布局评估方法,其特征在于,包括:
根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数,包括:根据投影设备分辨率,生成结构光条纹码;选定一个纯色背景板区域,将标定板固定在投射区域内,使用相机对准所述投射区域,调整焦距和曝光,使之在相机视角内清晰成像;启动结构光投影程序,逐个拍摄条纹码图像,通过结构光多步相移法确定标定板角点在相机坐标系和投影坐标系下的位置,执行双目标定,获取相机和投影的内外参数;重复所述获取相机和投影的内外参数的步骤,完成所有投影和相机设备的标定,得到内参矩阵;
根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案,包括:通过深度相机结合惯性测量单元获取环境场景的点云数据;通过数据中各点云数据之间的距离信息和直通滤波算法对所述点云数据进行第一次降噪,得到初始数据,之后根据预设的环境信息,使用条件滤波算法对初始数据进行二次降噪,获取单一的场景空间点云数据;根据所述场景空间点云数据进行拟合,得到环境场景数据;在虚拟仿真环境中,导入投影和相机设备、场景数据,计算多投影空间布局评估结果;在虚拟场景中删减或移动投影设备,重复计算多投影空间布局评估结果直至达到理想的沉浸式效果,导出投影部署方案;所述计算多投影空间布局评估结果,包括:投影清晰度和投影覆盖率;所述投影清晰度的计算过程为:在仿真空间中,已知投影设备空间位姿,由场景空间点云数据计算在投影空间中的每个点到投影设备的深度值,将所述深度值代入到最佳投影区间进行线性计算,得到对应的投影清晰度;所述投影覆盖率的计算过程为:由所述环境场景数据,在仿真空间中已知设备空间位姿,将每个投影设备的投射空间视为包围盒,执行空间包围盒重叠检测,计算出投影设备投射空间之间的重叠区域,以及投射空间中未重叠部分,得到投影覆盖率;
在虚拟空间中搭建真实场景仿真模型,实现场景中设备在仿真空间中位姿的动态调整,实现实时纹理输出;
根据投影设备在场景空间坐标之中的位姿,通过设备视场角获取纹理,实现最终的图像投影。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述场景空间点云数据进行拟合时,采用最小二乘法进行点云数据的拟合,将点云数据落在直线上。
3.根据权利要求1所述的方法,其特征在于,在所述导出投影部署方案之后,进一步包括:
根据所述投影部署方案,在实际场景空间中进行安装部署。
4.根据权利要求3所述的方法,其特征在于,在所述安装部署之后,进一步包括:
投射仿真系统中纹理图案,查看真实环境与虚拟环境是否存在装配误差,如存在误差,使用立体标定的方式,进行精配准。
5.一种面向沉浸式场景的多投影空间布局评估系统,其特征在于,包括:
结构光标定模块,用于根据投影分辨率生成结构光条纹码,使用相机采集图像数据,计算相机空间和投影空间中标定板特征点坐标,使用双目标定方法,输出内外参数,包括:根据投影设备分辨率,生成结构光条纹码;选定一个纯色背景板区域,将标定板固定在投射区域内,使用相机对准所述投射区域,调整焦距和曝光,使之在相机视角内清晰成像;启动结构光投影程序,逐个拍摄条纹码图像,通过结构光多步相移法确定标定板角点在相机坐标系和投影坐标系下的位置,执行双目标定,获取相机和投影的内外参数;重复所述获取相机和投影的内外参数的步骤,完成所有投影和相机设备的标定,得到内参矩阵;
空间评估模块,用于根据设备内参、视场角、场景需求和场景空间数据计算沉浸式多投影空间布局的评估结果,生成投影部署方案,包括:通过深度相机结合惯性测量单元获取环境场景的点云数据;通过数据中各点云数据之间的距离信息和直通滤波算法对所述点云数据进行第一次降噪,得到初始数据,之后根据预设的环境信息,使用条件滤波算法对初始数据进行二次降噪,获取单一的场景空间点云数据;根据所述场景空间点云数据进行拟合,得到环境场景数据;在虚拟仿真环境中,导入投影和相机设备、场景数据,计算多投影空间布局评估结果;在虚拟场景中删减或移动投影设备,重复计算多投影空间布局评估结果直至达到理想的沉浸式效果,导出投影部署方案;所述计算多投影空间布局评估结果,包括:投影清晰度和投影覆盖率;所述投影清晰度的计算过程为:在仿真空间中,已知投影设备空间位姿,由场景空间点云数据计算在投影空间中的每个点到投影设备的深度值,将所述深度值代入到最佳投影区间进行线性计算,得到对应的投影清晰度;所述投影覆盖率的计算过程为:由所述环境场景数据,在仿真空间中已知设备空间位姿,将每个投影设备的投射空间视为包围盒,执行空间包围盒重叠检测,计算出投影设备投射空间之间的重叠区域,以及投射空间中未重叠部分,得到投影覆盖率;
虚拟仿真模块,用于在虚拟空间中搭建真实场景仿真模型,实现场景中设备在仿真空间中位姿的动态调整,实现实时纹理输出;
图像投影模块,用于根据投影设备在场景空间坐标之中的位姿,通过设备视场角获取纹理,实现最终的图像投影。
6.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现如权利要求1-4中任一项所述的方法。
CN202111067499.4A 2021-09-13 2021-09-13 面向沉浸式场景的多投影空间布局评估方法和系统 Active CN113781661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111067499.4A CN113781661B (zh) 2021-09-13 2021-09-13 面向沉浸式场景的多投影空间布局评估方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111067499.4A CN113781661B (zh) 2021-09-13 2021-09-13 面向沉浸式场景的多投影空间布局评估方法和系统

Publications (2)

Publication Number Publication Date
CN113781661A CN113781661A (zh) 2021-12-10
CN113781661B true CN113781661B (zh) 2023-06-27

Family

ID=78842983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111067499.4A Active CN113781661B (zh) 2021-09-13 2021-09-13 面向沉浸式场景的多投影空间布局评估方法和系统

Country Status (1)

Country Link
CN (1) CN113781661B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097997A (zh) * 2022-05-23 2022-09-23 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质
CN117278735B (zh) * 2023-09-15 2024-05-17 山东锦霖智能科技集团有限公司 一种沉浸式图像投影设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915606A (zh) * 2020-08-20 2020-11-10 新石器慧义知行智驰(北京)科技有限公司 一种车辆相机参数标定结果的评价方法及装置
CN112102387A (zh) * 2020-08-14 2020-12-18 上海西虹桥导航技术有限公司 一种基于深度相机深度估计性能的测试方法与测试系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657103B (zh) * 2015-03-16 2017-06-16 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
CN105373224B (zh) * 2015-10-22 2016-06-22 山东大学 一种基于普适计算的混合现实游戏系统及方法
CN106991716A (zh) * 2016-08-08 2017-07-28 深圳市圆周率软件科技有限责任公司 一种全景三维建模装置、方法及系统
CN107945268B (zh) * 2017-12-15 2019-11-29 深圳大学 一种基于二元面结构光的高精度三维重建方法及系统
CN107845130A (zh) * 2017-12-20 2018-03-27 浙江煮艺文化科技有限公司 一种环境三维重构方法
CN109829981B (zh) * 2019-02-16 2023-06-27 深圳市未来感知科技有限公司 三维场景呈现方法、装置、设备及存储介质
CN110109552B (zh) * 2019-05-23 2020-06-05 重庆大学 基于真实环境的虚拟驾驶场景建模方法
CN110111428B (zh) * 2019-05-28 2023-06-20 艾瑞迈迪科技石家庄有限公司 一种应用于增强现实的虚拟目标标定方法及装置
CN112291543A (zh) * 2020-10-28 2021-01-29 杭州如雷科技有限公司 一种用于沉浸式三维内容的投影方法和系统
CN113091646B (zh) * 2021-03-29 2021-11-16 上海交通大学 基于条纹标定的三维形貌测量方法
CN113310432A (zh) * 2021-05-25 2021-08-27 湖北工业大学 一种基于逐像素调控的自适应条纹投影三维测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102387A (zh) * 2020-08-14 2020-12-18 上海西虹桥导航技术有限公司 一种基于深度相机深度估计性能的测试方法与测试系统
CN111915606A (zh) * 2020-08-20 2020-11-10 新石器慧义知行智驰(北京)科技有限公司 一种车辆相机参数标定结果的评价方法及装置

Also Published As

Publication number Publication date
CN113781661A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN110490916B (zh) 三维对象建模方法与设备、图像处理装置及介质
CN113781661B (zh) 面向沉浸式场景的多投影空间布局评估方法和系统
CN111383279B (zh) 外参标定方法、装置及电子设备
US10559095B2 (en) Image processing apparatus, image processing method, and medium
CN110191326B (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
US20180293805A1 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN114022799A (zh) 一种自监督单目深度估计方法和装置
US20180240264A1 (en) Information processing apparatus and method of generating three-dimensional model
CN114332349B (zh) 一种双目结构光边缘重建方法、系统及存储介质
JP2020009447A (ja) 拡張現実方法及び装置
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN110008802B (zh) 从多个脸部中选择目标脸部及脸部识别比对方法、装置
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
CN113781414A (zh) 一种镜头解像力测试方法、装置和电子设备
CN111504299B (zh) 一种地图建立方法、装置、可读介质及电子设备
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
JP6674644B2 (ja) 画像処理装置及び画像処理方法
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
CN109410304B (zh) 一种投影确定方法、装置及设备
JP6684454B2 (ja) 画像処理装置及び画像処理方法
CN113744361A (zh) 一种基于三目视觉的三维高精地图构建方法及装置
CN112634439A (zh) 一种3d信息展示方法及装置
US20200202140A1 (en) Method and device for evaluating images, operating assistance method, and operating device
CN113450415A (zh) 一种成像设备标定方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant