CN116760960B - 一种多设备投影成像方法及系统 - Google Patents

一种多设备投影成像方法及系统 Download PDF

Info

Publication number
CN116760960B
CN116760960B CN202311034747.4A CN202311034747A CN116760960B CN 116760960 B CN116760960 B CN 116760960B CN 202311034747 A CN202311034747 A CN 202311034747A CN 116760960 B CN116760960 B CN 116760960B
Authority
CN
China
Prior art keywords
projection
data
color
image
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311034747.4A
Other languages
English (en)
Other versions
CN116760960A (zh
Inventor
康国辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengyun Holographic Technology Co ltd
Original Assignee
Shenzhen Mengyun Holographic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengyun Holographic Technology Co ltd filed Critical Shenzhen Mengyun Holographic Technology Co ltd
Priority to CN202311034747.4A priority Critical patent/CN116760960B/zh
Publication of CN116760960A publication Critical patent/CN116760960A/zh
Application granted granted Critical
Publication of CN116760960B publication Critical patent/CN116760960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Abstract

本发明公开了一种多设备投影成像方法及系统,通过预定的匹配规则对体素模型数据、颜色属性以及备份显示数据进行分割并分配给对应的投影设备,每个投影设备的独立渲染及独立模型计算分担了中心控制器的运算压力、提升了设备间的协同性能,而基于体素的独立渲染及计算分割技术还使得三维投影成像重建精度更高、三维视觉效果更真实和三维纹理表征更丰富;存储有备份显示数据的投影设备可在其他投影设备出现无法正常显示的故障时,接管发生故障的投影设备原先的显示任务,为多设备长时间稳定投影成像提供更灵活的协同工作保障。

Description

一种多设备投影成像方法及系统
技术领域
本发明属于多设备投影成像技术,具体是一种多设备投影成像方法及系统。
背景技术
随着科学技术的发展,投影成像技术逐步日益成熟。其中,多设备成像技术在多个领域的应用逐渐扩展,特别是在三维重建、虚拟现实、增强现实、医学影像等方面取得了显著进展。现有的成像技术主要包括多视角成像、结构光成像、时间飞行成像和立体视觉等。这些技术主要通过多个摄像头同时拍摄场景的不同视角或投射特定光栅来获取三维信息,从而实现对真实场景的立体感知和再现。
然而,现有的多设备成像技术仍存在一定的限制。首先,多设备成像的复杂性导致设备之间难以长时间保持稳定的协同工作,而这种复杂性也带来了较高的控制和操作成本,从而限制了消费市场的普及应用。其次,多视角成像和立体视觉等方法在实现多设备成像技术时,在复杂场景中容易出现匹配误差,这影响了三维重建的精度和真实性。同时,结构光成像和飞行时间成像等多设备成像技术对环境光线十分敏感,需要精确的光栅解析和校准,以及高速的成像处理能力。在环境条件复杂且光线变化频繁的情况下,这些技术的稳定性和适应性仍有待进一步改进。
体素是“体积像素”(Volume Pixel)的简称,是三维空间中的最小单位,就像二维图像中的像素(pixel)一样。体素包含了三维坐标(x,y,z)以及该点的视觉信息(颜色、亮度等)。通过体素的集合可以表示三维物体的形状和表面特征。可以通过立体渲染或者多边形等值面提取三维物体的轮廓。体素广泛应用于三维成像、科学数据和医学影像等领域,是表示和处理三维信息的基础单位。体素与二维图像中的像素类似,但包含了三维信息。它使得对三维场景的数字化表示和交互成为可能。
尽管传统多设备成像技术存在一系列挑战,为满足市场对多设备成像技术的应用需求和拓展,为三维交互、可视化等应用提供更好的支持,研发一种基于体素技术并具有协同性能更优、三维重建精度更高、三维视觉效果更真实和三维纹理表征更丰富的投影成像方法及系统显得尤为重要。
发明内容
针对现有技术存在的不足,本发明目的是提供一种多设备投影成像方法及系统,包括以下步骤:
获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性;
将获得的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份;
根据每个所述投影设备的状态信息,按照预定的匹配规则将分割后的所述体素模型数据、所述颜色属性分配以及备份显示数据给对应的所述投影设备;
每个所述投影设备独立地渲染自己分配的部分模型,生成二维的投影图像,并计算出模型在不同视角下的图像;
在所述投影设备之间共享投影生成的视角图像;
当预先指定的所述投影设备出现无法正常显示的故障时,根据预设的接管顺序和优先级,控制事先保存的所述投影设备的所述备份显示数据被分配传输到其他指定的所述投影设备上,以接管发生故障的投影设备原先的显示任务。
进一步地,所述预定的匹配规则包括但不限于:所述投影设备的分辨率、亮度、色彩还原能力以及其在空间中的位置、方向进行优化分配方案和备份显示方案。
进一步地,根据所述将获得的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份的步骤,包括使用透视投影公式进行计算和分割,其中,所述透视投影公式为:
x' = d × (x/z)
y' = d × (y/z)
在该公式中,(x', y') 是所述投影设备上的投影结果点;(x, y, z) 是三维空间中的点;d 是所述投影设备与投影平面之间的距离;此步骤中,会为每个所述投影设备单独进行计算,确保所有所述投影设备的投影结果能够在空间中准确地对齐。
进一步地,所述的每个所述投影设备独立地渲染自己分配的部分模型步骤中,渲染的过程包括光照计算和颜色混合,所述光照计算采用基于体素的全局光照算法,所述颜色混合采用向量混合积算法实现。
进一步地,所述的获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性的步骤,还包括对所述体素模型数据进行优化处理,所述的优化处理包括但不限于通过八叉树空间数据结构减少空气体素模型数据,通过Marching Cubes算法对所述体素模型数据表面网格化。
进一步地,所述在所述投影设备之间共享投影生成的视角图像步骤,具体包括:所述投影设备之间可接收彼此的渲染结果,所述渲染结果可通过设置在所述投影设备的所述深度感知相机获得,根据接收到所述渲染结果通过时间戳或者帧同步技术来确保和校正所有所述投影设备都在相同的时间渲染相同的帧。
一种多设备投影成像系统,包括:
图像获取和处理单元,用于获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性;
数据处理单元,用于将所获取的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份,并根据每个所述投影设备的状态信息,按照预定的匹配规则将分割后的所述体素模型数据、所述颜色属性分配以及备份显示数据给对应的所述投影设备以及模型数据的运算处理;
数据存储单元,用于接收并存储所述体素模型数据、所述颜色属性、备份显示数据、所述预定的匹配规则以及预设的接管顺序和优先级;
若干个投影设备,所述投影设备包括渲染模块、存储模块、计算处理模块、投影模块和深度感知相机,每个所述投影设备利用所述渲染模块独立地渲染自己所述存储模块分配接收到的部分模型,生成二维的投影图像,并通过所述计算处理模块计算出模型在不同视角下的图像,利用所述投影模块在投影设备之间共享投影生成的视角图像,利用所述深度感知相机跟踪监测生成的所述视角图像;
协调控制单元,用于协调若干个所述投影设备的输出输入控制工作,当所述深度感知相机跟踪监测到预先指定的所述投影设备出现无法正常显示的故障时,所述协调控制单元调用所述数据存储单元中预设的接管顺序和优先级,控制事先保存的所述投影设备的备份显示数据被分配传输到其他指定的所述投影设备上,以接管发生故障的所述投影设备原先的显示任务,
所述图像获取和处理单元、数据处理单元、数据存储单元、若干个投影设备和协调控制单元通过数据交互连接。
进一步地,所述的图像获取和处理单元包括深度图像传感器和彩色图像传感器,所述深度图像传感器用于采集三维深度信息,所述彩色图像传感器用于采集物体颜色信息,所述图像获取和处理单元还包括图像处理模块,用于将所获取的所述深度图像和所述彩色图像处理为所述体素模型数据和所述颜色属性。
进一步地,所述的协调控制单元包括故障检测模块,所述故障检测模块用于定期检测每个投影设备的运行状态,并在检测到投影设备无法正常显示时,向所述协调控制单元发送故障信号,从而启动所述预设的接管顺序和优先级。
进一步地,所述的数据存储单元包括一个数据库,所述数据库用于存储所述体素模型数据、颜色属性、备份显示数据、预定的匹配规则以及预设的接管顺序和优先级,所述数据库连接至所述图像获取和处理单元、数据处理单元和协调控制单元,以便于数据的读取和写入。
与现有技术相比,本申请通过预定的匹配规则对体素模型数据、颜色属性以及备份显示数据进行分割并分配给对应的投影设备,每个投影设备可独立地渲染自己分配的部分模型,生成二维的投影图像,并计算出模型在不同视角下的图像,由投影设备之间共享投影生成的视角图像;投影设备的独立渲染及独立模型计算分担了中心控制器的运算压力、提升了设备间的协同性能,而基于体素的独立渲染及计算分割技术还使得三维投影成像重建精度更高、三维视觉效果更真实和三维纹理表征更丰富;存储有备份显示数据的投影设备可在其他投影设备出现无法正常显示的故障时,接管发生故障的投影设备原先的显示任务,为多设备长时间稳定投影成像提供更灵活的协同工作保障。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本申请一种多设备投影成像方法的工作流程示意图;
图2为本申请一种多设备投影成像方法的投影设备分配体素模型数据和颜色属性的示意图;
图3为本申请一种多设备投影成像方法的投影设备独立渲染分配的部分模型示意图;
图4为本申请实施例提供的一种多设备投影成像系统的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在实施例中,请参阅图1至3所示,一种多设备投影成像方法,包括以下步骤:
获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性,具体为将所述深度图像和彩色图像的图像数据传输到多设备投影成像系统进行图像处理,该系统使用专门的算法,如图像融合和体素化,将深度图像和彩色图像结合起来,以形成所述体素模型数据,每个体素包含关于该体素位置的三维空间坐标以及对应颜色信息。获取并处理深度图像和彩色图像步骤还包括对所述体素模型数据进行优化处理,所述的优化处理包括但不限于通过八叉树空间数据结构减少空气体素模型数据,通过Marching Cubes算法对所述体素模型数据表面网格化。
将获得的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份,该步骤通过透视投影公式进行计算和分割实现,该公式根据所述预设的投影设备空间位置(可为编码在系统中或在运行时确定)将所述体素模型数据和所述颜色属性分割成多份。例如,如果系统有两个投影设备在两个不同的空间位置,那么算法将所述体素模型数据分割成两份,每份包含属于每个所述投影设备视角的体素模型数据;所述透视投影公式为:
x' = d × (x/z)
y' = d × (y/z)
在该公式中,(x', y') 是所述投影设备上的投影结果点;(x, y, z) 是三维空间中的点;d 是所述投影设备与投影平面之间的距离;此步骤中,会为每个所述投影设备单独进行计算,确保所有所述投影设备的投影结果能够在空间中准确地对齐。
根据每个所述投影设备的状态信息,按照预定的匹配规则将分割后的所述体素模型数据、所述颜色属性分配以及备份显示数据给对应的所述投影设备,在该步骤,系统会检查每个所述投影设备的状态信息,包括但不限于设备的操作状态、可用性、分辨率、亮度、色彩还原能力等。然后,按照所述预定的匹配规则(可以基于设备的特性和位置),将分割后的所述体素模型数据、颜色属性以及备份显示数据分配给每个投影设备。此外,备份显示数据可以是存储在本地或远程存储,以便在需要时使用。所述预定的匹配规则包括但不限于:所述投影设备的分辨率、亮度、色彩还原能力以及其在空间中的位置、方向进行优化分配方案和备份显示方案。
每个所述投影设备独立地渲染自己分配的部分模型,生成二维的投影图像,并计算出模型在不同视角下的图像,在该步骤,每个所述投影设备独立地使用图形渲染硬件和软件,对其分配的部分模型进行渲染。在渲染过程中,可能使用各种计算图形学算法,包括但不限于光照计算和颜色混合,所述光照计算采用基于体素的全局光照算法,所述全局光照算法可采用Voxel Cone Tracing,所述颜色混合采用向量混合积算法实现,例如 alphablending。最后,每个投影设备将生成二维的投影图像,并且为了适应不同的观看角度,可能会计算出模型在不同视角下的图像。
在所述投影设备之间共享投影生成的视角图像,所述投影设备具有联网功能,可通过有线或无线网络连接,以便在设备之间共享投影生成的所述视角图像,这可能包括设备间同步渲染结果,以便在不同设备上提供一致的视觉体验;所述投影设备之间可接收彼此的渲染结果,根据接收到所述渲染结果通过时间戳或者帧同步技术来确保和校正所有所述投影设备都在相同的时间渲染相同的帧。
当预先指定的所述投影设备出现无法正常显示的故障时,根据预设的接管顺序和优先级,控制事先保存的所述投影设备的所述备份显示数据被分配传输到其他指定的所述投影设备上,以接管发生故障的投影设备原先的显示任务,在该步骤中,系统会持续监控每个投影设备的状态。一旦发现某个投影设备出现故障,系统将根据所述预设的接管顺序和优先级,将该所述投影设备的备份显示数据转移到另一个或多个正常工作的投影设备上。这样可以确保在设备故障时不会中断显示任务,提供了更稳定、连续的视觉体验。
在实施例中,请参阅图4所示,一种多设备投影成像系统,包括:
图像获取和处理单元,用于获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性,所述图像获取和处理单元可以由一个或多个深度相机和彩色相机组成或者由图像获取输入接口组成,它们可以以独立的设备形式存在,也可以整合在同一设备内;这些设备将在多个视角下获取深度图像和彩色图像,然后通过图像处理算法(例如,体素化,色彩映射等)将这些图像转换为体素模型数据和对应的颜色属性;
数据处理单元,所述数据处理单元可以通过运算处理将所述体素模型数据和颜色属性根据所述预设的投影设备空间位置进行分割,分割为若干份,并根据每个所述投影设备的状态信息, 如设备的运行状况,分辨率,颜色还原能力等,按照预定的匹配规则将分割后的所述体素模型数据、所述颜色属性分配以及备份显示数据给对应的所述投影设备以及模型数据的运算处理,所述备份显示数据也会被分配,这在设备出现故障时可以用来接管显示任务;
数据存储单元,所述数据存储单元可以是一个或多个硬盘驱动器、固态驱动器、存储芯片或其他适当的存储设备。它们将用于接收并存储所有的数据,包括体素模型数据,颜色属性,备份显示数据,预定的匹配规则以及预设的接管顺序和优先级;
若干个投影设备,每个所述投影设备包括一个渲染模块、存储模块、计算处理模块、投影模块和深度感知相机,每个所述投影设备利用所述渲染模块独立地渲染自己所述存储模块分配接收到的部分模型,生成二维的投影图像,并通过所述计算处理模块计算出模型在不同视角下的图像,而所述深度感知相机将跟踪监测生成的视角图像,所述投影模块则用于在投影设备之间共享这些视角图像。
协调控制单元,所述协调控制单元可为一个集成软件或控制指令的芯片或单片机,用于协调若干个所述投影设备的输出输入控制工作,当所述深度感知相机跟踪监测到预先指定的所述投影设备出现无法正常显示的故障时,所述协调控制单元调用所述数据存储单元中预设的接管顺序和优先级,控制事先保存的所述投影设备的备份显示数据被分配传输到其他指定的所述投影设备上,以接管发生故障的所述投影设备原先的显示任务,
所述图像获取和处理单元、数据处理单元、数据存储单元、若干个投影设备和协调控制单元通过数据交互连接。所述的图像获取和处理单元包括深度图像传感器和彩色图像传感器,所述深度图像传感器可以使用各种技术(如结构光、ToF等)来捕获采集三维深度信息,所述彩色图像传感器用于采集物体颜色信息,所述图像获取和处理单元还包括图像处理模块,用于将所获取的所述深度图像和所述彩色图像处理为所述体素模型数据和所述颜色属性。所述的协调控制单元包括故障检测模块,所述故障检测模块用于定期检测每个投影设备的运行状态,并在检测到投影设备无法正常显示时,向所述协调控制单元发送故障信号,从而启动所述预设的接管顺序和优先级。所述的数据存储单元包括一个数据库,所述数据库用于存储所述体素模型数据、颜色属性、备份显示数据、预定的匹配规则以及预设的接管顺序和优先级,所述数据库连接至所述图像获取和处理单元、数据处理单元和协调控制单元,以便于数据的读取和写入。
下面以一个具体的实施例来进一步说明该技术方案:
首先,假设我们的这个多设备投影成像系统包括四个投影设备P1,P2,P3,P4,每一个投影设备的空间位置和方向都是预设好的。系统还包括一个数据处理单元、一个数据存储单元和一个协调控制单元,所述数据处理单元负责处理图像数据,所述协调控制单元负责控制投影设备,所述数据存储单元负责存储体素模型数据、颜色属性以及备份显示数据。
在使用系统进行投影成像时,首先需要获取深度图像和彩色图像。这些图像可以来自一个或多个图像传感器或图像输入接口,例如深度相机或RGB相机。数据处理单元将这些图像数据进行处理,例如通过计算机视觉技术和图像处理算法将深度图像和彩色图像结合起来,生成体素模型数据和相应的颜色属性。这个体素模型可以表示为一系列的体素,每个体素对应到三维空间中的一个体积单元,并且包含了这个体积单元的颜色属性。在这个过程中,为了优化体素模型数据,可以使用八叉树空间数据结构和Marching Cubes算法。例如,通过八叉树空间数据结构,可以有效地压缩和存储体素模型数据,通过Marching Cubes算法,可以对体素模型数据进行表面网格化,更有效地表示三维物体的表面。
接着,根据预设的投影设备空间位置,数据处理单元将体素模型数据和颜色属性分割为三份,每一份分配给一个投影设备。在这个过程中,数据处理单元使用透视投影公式对每个投影设备进行计算,以确保所有投影设备的投影结果能够在空间中准确地对齐。例如,对于投影设备P1,数据处理单元计算出其在三维空间中的投影点,然后根据这些投影点,将体素模型数据和颜色属性分割出一部分,分配给P1。
接下来,每个投影设备开始独立地渲染自己分配的部分模型。在这个过程中,投影设备使用基于体素的全局光照算法进行光照计算,使用向量混合积算法进行颜色混合。例如,投影设备P1可以计算出每个体素在不同光照条件下的颜色值,然后根据这些颜色值和体素的空间位置,生成二维的投影图像。
当所有的投影设备都生成了投影图像之后,这些投影设备可以通过网络或其他通信方式,在投影设备之间共享投影生成的视角图像。在这个过程中,可以通过时间戳或者帧同步技术来确保和校正所有投影设备都在相同的时间渲染相同的帧。例如,如果投影设备P1、P2和P3同时生成了一帧图像,这两个设备可以通过网络将这一帧图像发送给投影设备P4,然后P4根据接收到的时间戳或者帧同步信号,确保和P1、P2和P3在相同的时间渲染这一帧图像。
最后,为了确保投影系统的稳定性,当预先指定的投影设备出现无法正常显示的故障时,数据处理单元可以根据预设的接管顺序和优先级,控制备份显示数据被分配传输到其他指定的投影设备上。例如,如果投影设备P1发生故障,那么数据处理单元可以将P1的备份显示数据分配给P2、P3和P4,由P2、P3和P4接管P1原先的显示任务。
相较现有技术,本技术方案在以下三个方面对多设备投影成像技术进行了融合创新:
多设备接触网计算协同投影:使用了多个投影设备,并且每一个投影设备都是一个独立的计算节点,这些节点需要共享信息并且协同工作。我们可以建立一种协议,让每个节点在进行处理前,将自己的状态信息(比如当前的任务量、存储量、带宽等)发送给其他节点,以便进行任务的分配和调度。数据处理单元根据每个节点的状态信息,将计算任务和数据存储任务分配给最合适的节点。这个算法需要能够动态调整,根据节点的实时状态进行任务的重新分配。为了增加系统的可靠性,我们还可以设计一种节点冗余机制。当一个节点出现故障时,其他节点可以快速接管它的任务,确保系统的正常运行。每个投影设备根据各自的空间位置和状态信息进行体素模型数据和颜色属性的分配,实现了多设备之间的协同工作。这种方法可以实现更复杂和广泛的投影需求,相较于传统的单设备投影,具有更高的适应性和灵活性。所述接触网计算为将处理任务尽可能地靠近数据源进行,就像直接触碰到网络的各个节点,可以有效地解决多设备协同投影的延时问题,提供高效且稳定的计算服务。
备份显示数据的应用:在预设的投影设备出现无法正常显示的故障时,可以通过预设的接管顺序和优先级,控制事先保存的备份显示数据被分配传输到其他指定的投影设备上,从而接管故障设备的显示任务。这种机制提高了系统的稳定性和可靠性。而且相较传统技术,备份数据一般都是统一存储,而本技术方案通过分配给各个投影设备,从而保证发生故障时应急响应更快,备份显示数据的应用还会大大提高系统在面临设备故障时的可靠性。
高效的体素模型处理:这个技术在处理深度图像和彩色图像以获得体素模型数据和颜色属性时,采用了透视投影公式进行分割、八叉树空间数据结构减少空气体素模型数据、以及Marching Cubes算法进行表面网格化等方法,有效提高了数据处理的效率,使用体素渲染算法将三维模型转化为体素表示,这使得每个立体投影设备能够投影出更真实的立体图像。
综上,本技术方案相比现有的投影技术具有较大的创新性。其创新点主要体现在实现了多设备的接触网计算协同投影、提高了系统的稳定性和可靠性、以及提高了数据处理效率等方面。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种多设备投影成像方法,其特征在于,包括以下步骤:
获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性;
将获得的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份;
根据每个所述投影设备的状态信息,按照预定的匹配规则将分割后的所述体素模型数据和所述颜色属性分配给对应的所述投影设备;
每个所述投影设备独立地渲染分配的部分模型,生成二维的投影图像,所述二维的投影图像包括为了适应不同的观看角度,根据预设的所述投影设备空间位置,计算出所述部分模型在不同视角下的视角图像;所述投影设备之间共享所述视角图像,以确保通过帧同步技术投影所述投影设备对应的视角图像;
当预先指定的所述投影设备出现无法正常显示的故障时,根据预设的接管顺序和优先级,控制事先保存的所述投影设备的备份显示数据传输到其他指定的所述投影设备上,以接管发生故障的投影设备原先的显示任务。
2.根据权利要求1所述的一种多设备投影成像方法,其特征在于,所述预定的匹配规则包括:所述投影设备的分辨率、亮度、色彩还原能力以及其在空间中的位置、方向进行优化分配方案和备份显示方案。
3.根据权利要求1所述的一种多设备投影成像方法,其特征在于,根据所述将获得的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份的步骤,包括使用透视投影公式进行计算和分割,其中,所述透视投影公式为:
x' = d × (x/z)
y' = d × (y/z)
在该公式中,(x', y') 是所述投影设备上的投影结果点;(x, y, z) 是三维空间中的点;d 是所述投影设备与投影平面之间的距离;此步骤中,每个所述投影设备单独进行计算,确保所有所述投影设备的投影结果在空间中准确地对齐。
4.根据权利要求3所述的一种多设备投影成像方法,其特征在于,所述的每个所述投影设备独立地渲染分配的部分模型步骤中,渲染的过程包括光照计算和颜色混合。
5.根据权利要求4所述的一种多设备投影成像方法,其特征在于,所述的获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性的步骤,还包括对所述体素模型数据进行优化处理,所述的优化处理包括通过八叉树空间数据结构减少所述体素模型数据和对所述体素模型数据表面网格化。
6.一种多设备投影成像系统,其特征在于,包括:
图像获取和处理单元,用于获取并处理深度图像和彩色图像,从而获得对应的体素模型数据以及颜色属性;
数据处理单元,用于将所获取的所述体素模型数据以及所述颜色属性根据预设的投影设备空间位置分割为若干份,并根据每个所述投影设备的状态信息,按照预定的匹配规则将分割后的所述体素模型数据和所述颜色属性分配给对应的所述投影设备以及负责模型数据的运算处理;
数据存储单元,用于接收并存储所述体素模型数据、所述颜色属性、备份显示数据、所述预定的匹配规则以及预设的接管顺序和优先级;
若干个投影设备,所述投影设备包括渲染模块、存储模块、计算处理模块、投影模块和深度感知相机,每个所述投影设备独立地渲染分配的部分模型,生成二维的投影图像,所述二维的投影图像包括为了适应不同的观看角度,根据预设的所述投影设备空间位置,计算出所述部分模型在不同视角下的视角图像;所述投影设备之间共享所述视角图像,以确保通过帧同步技术投影所述投影设备对应的视角图像;利用所述深度感知相机跟踪监测生成的所述视角图像;
协调控制单元,用于协调若干个所述投影设备的输出和输入控制工作,当所述深度感知相机跟踪监测到预先指定的所述投影设备出现无法正常显示的故障时,所述协调控制单元调用所述数据存储单元中预设的接管顺序和优先级,控制事先保存的所述投影设备的备份显示数据传输到其他指定的所述投影设备上,以接管发生故障的所述投影设备原先的显示任务,
所述图像获取和处理单元、数据处理单元、数据存储单元、若干个投影设备和协调控制单元通过数据交互连接。
7.根据权利要求6所述的一种多设备投影成像系统,其特征在于,所述的图像获取和处理单元包括深度图像传感器和彩色图像传感器,所述深度图像传感器用于采集三维深度信息,所述彩色图像传感器用于采集物体颜色信息,所述图像获取和处理单元还包括图像处理模块,用于将所获取的所述深度图像和所述彩色图像处理为所述体素模型数据和所述颜色属性。
8.根据权利要求6所述的一种多设备投影成像系统,其特征在于,所述的协调控制单元包括故障检测模块,所述故障检测模块用于定期检测每个投影设备的运行状态,并在检测到投影设备无法正常显示时,向所述协调控制单元发送故障信号,从而启动所述预设的接管顺序和优先级。
9.根据权利要求6至8中任意一项所述的一种多设备投影成像系统,其特征在于,所述的数据存储单元包括一个数据库,所述数据库用于存储所述体素模型数据、颜色属性、备份显示数据、预定的匹配规则以及预设的接管顺序和优先级,所述数据库连接至所述图像获取和处理单元、数据处理单元和协调控制单元,以便于数据的读取和写入。
CN202311034747.4A 2023-08-17 2023-08-17 一种多设备投影成像方法及系统 Active CN116760960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311034747.4A CN116760960B (zh) 2023-08-17 2023-08-17 一种多设备投影成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311034747.4A CN116760960B (zh) 2023-08-17 2023-08-17 一种多设备投影成像方法及系统

Publications (2)

Publication Number Publication Date
CN116760960A CN116760960A (zh) 2023-09-15
CN116760960B true CN116760960B (zh) 2023-12-05

Family

ID=87953640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311034747.4A Active CN116760960B (zh) 2023-08-17 2023-08-17 一种多设备投影成像方法及系统

Country Status (1)

Country Link
CN (1) CN116760960B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090165A (ko) * 2016-01-28 2017-08-07 허상훈 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
CN110475109A (zh) * 2019-09-11 2019-11-19 北京软通智慧城市科技有限公司 一种投影成像系统、方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
US9298071B2 (en) * 2012-07-12 2016-03-29 Cj Cgv Co., Ltd. Multi-projection system
JP2015161830A (ja) * 2014-02-27 2015-09-07 株式会社リコー 画像投影システムおよび画像投影装置
US9645482B2 (en) * 2015-03-10 2017-05-09 Disney Enterprises, Inc. Fail-safe projection system
KR102519653B1 (ko) * 2018-01-20 2023-04-07 삼성전자주식회사 포인트 클라우드 압축 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090165A (ko) * 2016-01-28 2017-08-07 허상훈 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
CN110475109A (zh) * 2019-09-11 2019-11-19 北京软通智慧城市科技有限公司 一种投影成像系统、方法、装置及存储介质

Also Published As

Publication number Publication date
CN116760960A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US11354840B2 (en) Three dimensional acquisition and rendering
US6573912B1 (en) Internet system for virtual telepresence
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
CN111062873A (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
TWI786157B (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
US20220005216A1 (en) Method for generating layered depth data of a scene
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
US10769811B2 (en) Space coordinate converting server and method thereof
WO2020184174A1 (ja) 画像処理装置および画像処理方法
Mulligan et al. Stereo-based environment scanning for immersive telepresence
Kanade et al. Virtualized reality: perspectives on 4D digitization of dynamic events
CN116760960B (zh) 一种多设备投影成像方法及系统
US6559844B1 (en) Method and apparatus for generating multiple views using a graphics engine
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
Jung et al. A Framework for Constructing Real-time Immersive Environments for Training Physical Activities.
WO2023230182A1 (en) Three dimensional mapping
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
US20220239889A1 (en) Dynamic-baseline imaging array with real-time spatial data capture and fusion
Jung et al. Learning physical activities in immersive virtual environments
US20230360318A1 (en) Virtual view generation
JPH08263696A (ja) 3次元オブジェクトモデル作成方法
KR20190072742A (ko) 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템
WO2024032165A1 (zh) 3d模型生成方法、系统及电子设备
Ide et al. Real-time active multiview 3d reconstruction
KR20220071935A (ko) 광학 흐름을 이용한 고해상도 깊이 영상 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant