CN116468992B - 一种重复校正性监督空间识别与还原方法与装置 - Google Patents

Abstract

本发明实施例提供一种重复校正性监督空间识别与还原方法与装置，该方法包括：获取输入源信息，所述输入源信息包括真实空间信息；对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；根据所述推理模型和所述动态对比拟合模型确定稳定深度图；根据所述稳定深度图和动态参数确定空间拟合模型；将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。该方法使得虚拟制作中的图像空间满足实时性、准确性、稳定性及离线性。

Description

一种重复校正性监督空间识别与还原方法与装置

技术领域

本发明涉及虚拟制作领域，具体地涉及一种重复校正性监督空间识别与还原方法与装置。

背景技术

随着计算机视觉图像处理技术的快速发展，基于人工智能识别图像空间的技术在近年来已经成为研究重点。现有主流技术中有双目RGB摄像头、深度摄像头、激光雷达深度（自动驾驶）、人工智能感知深度；其中双目RGB摄像头、深度摄像头、激光雷达深度（自动驾驶）这三种技术都比较成熟，但是这三种技术存在很多问题（例如：资源开销大、分辨率1080P（100万像素），实时性在30fps（每秒30帧）内接入渲染引擎的开销很大，画面的抖动现象也很严重）。而现有的人工智能深度的分辨率为1080P/4K，接入渲染引擎需要在离线状态下，无法满足实时性和准确性的要求。

发明内容

本发明实施例的目的是提供一种重复校正性监督空间识别与还原方法与装置，该方法使得虚拟制作中的图像空间满足实时性、准确性、稳定性及离线性。

为了实现上述目的，本发明实施例提供一种重复校正性监督空间识别与还原方法，该方法包括：获取输入源信息，所述输入源信息包括真实空间信息；对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；根据所述推理模型和所述动态对比拟合模型确定稳定深度图；根据所述稳定深度图和动态参数确定空间拟合模型；将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。

可选的，所述对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，包括：

所述输入源为RGBA、RGB和alpha中的至少一种；

获取所述输入源信息中每帧图像的时间编码，根据所述时间编码对图像进行下采样得到下采样图，根据所述下采样图和动态参数得到推理模型，所述推理模型用于确定动态灰度图；

所述时间编码还用于同步图像；

所述动态对比拟合模型用于动态地获取和更新所述输入源的参数。

可选的，所述根据所述推理模型和所述动态对比拟合模型确定稳定深度图，包括：

根据所述推理模型得到动态灰度图；

通过所述动态对比拟合模型对所述动态灰度图进行预处理和特征提取得到特征向量，对所述特征向量进行计算和校正直至满足精度阈值，则根据该特征向量得到稳定深度图，所述稳定深度图不存在闪烁现象；

所述预处理包括图像灰度化、滤波、校验及图像增强;

所述校验包括时间码校验和alpha遮罩校验。

可选的，所述根据所述稳定深度图和动态参数确定空间拟合模型，包括：

根据所述动态参数对所述稳定深度图进行分割、重建及拟合得到空间拟合模型。

可选的，所述空间视频中的物体的空间位置与真实空间中物体的位置一致。

可选的，所述动态参数包括透视与距离标定参数、尺寸、焦距及光学畸变参数。

另一方面，本发明提供一种重复校正性监督空间识别与还原装置，该装置包括：获取模块，用于获取输入源信息，所述输入源信息包括真实空间信息；

第一处理模块，用于对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；

第二处理模块，用于根据所述推理模型和所述动态对比拟合模型确定稳定深度图；

第三处理模块，用于根据所述稳定深度图和动态参数确定空间拟合模型；

第四处理模块，用于将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；

第五处理模块，用于根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。

可选的，所述对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，包括：

所述输入源为RGBA、RGB和alpha中的至少一种；

获取所述输入源信息中每帧图像的时间编码，根据所述时间编码对图像进行下采样得到下采样图，根据所述下采样图和动态参数得到推理模型，所述推理模型用于确定动态灰度图；

所述时间编码还用于同步图像；

所述动态对比拟合模型用于动态地获取和更新所述输入源的参数。

可选的，所述根据所述推理模型和所述动态对比拟合模型确定稳定深度图，包括：根据所述推理模型得到动态灰度图；通过所述动态对比拟合模型对所述动态灰度图进行预处理和特征提取得到特征向量，对所述特征向量进行计算和校正直至满足精度阈值，则根据该特征向量得到稳定深度图，所述稳定深度图不存在闪烁现象；所述预处理包括图像灰度化、滤波、校验及图像增强；所述校验包括时间码校验和alpha遮罩校验。可选的，所述根据所述稳定深度图和动态参数确定空间拟合模型，包括：根据所述动态参数对所述稳定深度图进行分割、重建及拟合得到空间拟合模型。

本发明的重复校正性监督空间识别与还原方法包括：获取输入源信息，所述输入源信息包括真实空间信息；对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；根据所述推理模型和所述动态对比拟合模型确定稳定深度图；根据所述稳定深度图和动态参数确定空间拟合模型；将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。本申请通过建立独有的AI渲染管道，实现单目实时4K深度图输出，稳定准确的深度空间还原，连接虚拟现实的桥梁，使得虚拟制作中的图像空间满足实时性、准确性、稳定性和离线性，让用户在虚拟世界中自由穿梭和交互。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明的一种重复校正性监督空间识别与还原方法的流程示意图；

图2是本发明的一种重复校正性监督空间识别与还原方法的主体框图；

图3是本发明的透视与距离标定的示意图；

图4是本发明的获取推理模型的示意图；

图5是本发明的去噪处理示意图；

图6是本发明的实时生成深度灰度图的示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1是本发明的一种重复校正性监督空间识别与还原方法的流程示意图，图2是本发明的一种重复校正性监督空间识别与还原方法的主体框图，结合1和图2所示，所述重复校正性监督空间识别与还原方法包括，步骤S101为获取输入源信息，所述输入源信息包括真实空间信息。

传统深度图获取采用双目摄像机相机，而本发明中采用单目深度引擎来获取真实世界的灰度图像。输入源是指获取真实世界空间的信息到单目深度引擎的摄像系统用以获取真实世界空间的信息。输入源可以将人类输入的信息（例如文字、图像、声音等）转换为单目深度引擎可识别的数据，以供后续处理和分析。在许多应用程序中，输入源通常是用户与单目深度引擎系统之间的主要交互方式。随着技术的不断发展，新型输入源也在不断涌现，例如，虚拟现实中的手柄、头戴式显示器等设备，以及基于手势和语音的智能家居控制设备等，为用户提供更加自然和直观的交互体验。在本发明中的输入源指的是单目深度引擎摄像系统获取的真实空间信息。

步骤S102为对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点。具体的，所述对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，包括：所述输入源具有复杂性，所述输入源的复杂性是指，输入源所述输入源为RGBA、RGB和alpha中的至少一种；获取所述输入源信息中每帧图像的时间编码，根据所述时间编码可以同步图像；根据所述时间编码对图像进行下采样得到下采样图，根据所述下采样图和动态参数得到推理模型，所述推理模型用于确定动态灰度图；所述动态对比拟合模型用于动态地获取和更新所述输入源的参数。所述时间编码唯一，时间编码中每个帧都分配一个数字，以表示年、月、日、小时、分钟、秒钟和帧数。

按照一种具体的实施方式，将所述输入源信息发送至动态感知模块、动态参数获取模块、识别单元、处理单元、重复校正单元、推理单元、对比单元及拟合单元，经过各个模块和单元的处理得到推理模型和动态对比拟合模型。其中，所述动态感知模块是一种软件或硬件组件，用于监测和分析系统的运行状况，以便及时发现并响应异常情况。该模块通常能够实时地收集和处理多种类型的数据，例如系统资源使用率、网络流量、日志文件等。并通过算法或规则引擎分析和识别异常事件。动态感知模块可以与安全防御系统、性能优化工具和故障诊断系统等其他组件协同工作，提高系统的可靠性和稳定性。所述动态感知模块用于对输入源进行重采样处理。

所述输入源中含有噪点，噪点的产生是拍摄系统拍摄图像时，光子会进入单目深度引擎的拍摄系统镜头中，将输入源发送给动态参数获取模块和动态感知模块。可以通过控制终端是与操作系统进行交互并执行命令。控制终端通常是一个虚拟终端。用户可以通过控制终端使用命令行界面来执行各种任务和自动操控，例如文件管理、进程管理等。控制终端也可以通过协议从远程访问以及离线访问。输入源经过动态参数获取模块，经过透镜的聚焦作用后打到CCD（电荷耦合器件）上。CCD会将光子转换为电荷并储存下来，最终形成数字图像。

所述动态参数获取模块为一种软件或硬件组件，用于系统运行时动态地获取和更新参数值。该模块通常会与应用程序或服务端紧密集成，以便根据特定的条件或事件对参数进行自动调整。动态参数获取模块可以基于多种数据源来获取参数值（如环境变量、配置文件、数据库、API接口等），并支持多种参数类型，例如整数、浮点数、字符串等。通过使用动态参数获取模块，AI模块能够更加灵活地管理和优化系统的运行状况，从而提高系统的可靠性和性能。动态参数获取模块用于获取的参数包括透视与距离标定、CCD尺寸\焦距和光学畸变等。

在拍摄图像时，光子会进入单目深度引擎的动态参数获取模块，经过透镜的聚焦作用后打到CCD（电荷耦合器件）上。CCD会将光子转换为电荷并储存下来，也就是将输入源的信息转换为电荷并存储下来最终形成数字图像。光子的波粒二象性和量子力学中的不确定性会导致拍摄图像时的噪点问题。例如在低照度情况下，图像中的噪点往往由于光子的随机性造成的。这是因为光子在进入拍摄系统后会遇到不同的物体和介质，会发生散射、反射、折射等现象，导致最终在CCD上形成的电荷信号有所不同，从而产生了噪点。此外，拍摄系统本身的电路噪声、传感器自发光等也可能会对图像质量产生影响。

透视是指在三维空间中，在不同的距离和角度下观察对象时，由于远近关系而产生的大小和形状的变化。在单目深度引擎视觉中，透视问题常出现在图像中包含有多个物体，且需要进行三维重构或测量的场景中。距离标定是指通过一些已知的物理量来确定拍摄系统与物体之间的距离关系。常用的方法包括使用定标板、结构光等测量技术，以及利用多视角图像进行三维重建等。通过距离标定可以减小透视带来的误差，提高图像测量和三维重构的精度。传统的修图时使得两个图层的叠加没有正式感，本发明式实现摄像系统实时拍摄，实时获取深度透视关系和距离等，建立了正确的透视关系和正确标定距离及其空间坐标位置。如图3所示：

首先，在单目深度引擎中的拍摄系统中动态参数获取模块自动获取参数的信息，拍摄图像时得到A和B的空间位置信息。当原始图像需要替换后景图像时，识别单元检测目标物体A和B。识别单元是指在系统中用于身份验证和授权的模块，在单目深度引擎中通常会与管理系统、访问控制系统等其他组件协同工作，以便对进行身份验证和授权管理。在功能模块的身份验证成功后，识别单元还可以将信息发送到其他系统组件，以便进行访问控制和授权管理。识别单元在单目深度引擎用来确保系统的安全性和可靠性。识别单元还可以识别图像的噪点类型，控制终端将将根据噪点的类型发送给处理单元，使得处理单元选择最合适的方法去除图像的噪点，将图像损失降到最低。

具体的，通过识别单元的图像处理技术检测目标物体，确定其四个角点的位置。根据目标物体的四个角点坐标，使用透视变换将图像中的斜视视角转换为俯视视角，使得目标物体在图像中的形状和大小与实际相符。对经过透视变换后的图像进行进一步处理，如裁剪、旋转等操作，以达到更好的效果。通过图像处理技术从每张图像中提取出定标板上的特征点，利用提取出的特征点计算出相机的焦距和光心位置等重要参数。利用摄像机参数和已知的空间信息，可以根据三角形相似原理计算出目标物体与单目深度引擎之间的拍摄系统的距离。在以同样的方式确定和计算所需替换的后景图像物体C的位置，使得单目深度引擎系统的自动操作得到具有正确透视关系的效果图像，得到二维图像的三维信息，用来确定图像的三维空间。

光学畸变是指由于拍摄系统镜头的物理特性，使得图像中的直线或曲线与实际物体存在差异的现象。主要包括径向畸变和切向畸变两种类型：径向畸变和切向畸变。

所述径向畸变指由于镜头形状的非球面性质而引起的图像失真，表现为图像中离光轴越远的位置，失真程度越严重。常见的径向畸变分为桶形畸变（图像中的直线向外弯曲）和枕形畸变（图像中的直线向内弯曲）。

所述切向畸变指由于镜头安装不平行而引起的图像失真，表现为图像中的直线或曲线向某一方向倾斜。切向畸变可以通过调整拍摄系统和镜头的安装位置来避免或减小。在单目深度引擎视觉中，需要对图像进行去畸变处理，以保证后续的图像测量、三维重建等任务的精度。识别单元识别图像的畸变类型，当图像产生桶形光学畸变时，控制终端发送相对应的指令给AI模块，AI模块自动对图像进行矫正还原，传统的处理方式不能完全的消除畸变；当图像产生线形畸变时，AI模块对该图像进行三维重建，创建虚拟的图像三维空间来更换广角镜头，或者前后移动镜头对虚拟的图像三维空间进行拍摄，得到没有产生线性畸变的新图像；当图像产生枕形畸变时，AI模块对该图像进行三维重建，创建虚拟的图像三维空间来更换镜头对虚拟的图像三维空间进行拍摄，得到没有产生枕形畸变的新图像，实现对拍摄图像的放大缩小。

控制终端将输入源发送给动态感知模块中，动态感知模块经过一系列处理得到重采样的模型。动态感知模块是指一种软件或硬件组件，用于监测和分析系统的运行状况，以便及时发现并响应异常情况。该模块通常能够实时地收集和处理多种类型的数据，例如系统资源使用率、网络流量、日志文件等，并通过算法或规则引擎进行分析和识别异常事件。动态感知模块可以与安全防御系统、性能优化工具和故障诊断系统等其他组件协同工作，提高系统的可靠性和稳定性。在工业自动化、云计算、网络安全等领域，动态感知模块被广泛应用。

在本发明的动态感知模块将对输入源进行重采样处理。重采样是指在数字信号处理中，通过重新取样一个信号来改变其采样率的过程。例如，将一个采样率为44.1kHz的音频文件转换为采样率为48kHz的文件，就需要进行重采样处理。重采样包括目标采样率和插值方法。目标采样率是指想要得到的新采样率，而插值方法则是指计算新采样点时所使用的算法。常见的插值方法包括最近邻插值、线性插值、多项式插值等。重采样可以用于音频处理、图像处理、视频处理等领域。它可以帮助人们更好地管理和控制数据大小，同时还可以提高信号质量并降低噪声水平。重采样也常用于将不同采样率的信号进行混合或匹配，以实现更加顺畅的数据处理和传输。

重采样处理之后需要再进行下采样、噪声拟合、模糊采样。所述噪声拟合（NoiseFitting）是指在信号处理中，通过拟合一个模型来消除噪声的影响，以提高信号质量和准确性的过程。在实际应用中，由于信号采集过程中受到了各种干扰和噪声的影响，因此需要对信号进行噪声拟合处理，使得信号能够更加准确地被分析和处理。噪声拟合通常会使用统计学或机器学习技术来建立模型，并将其应用于信号处理中。噪声拟合可以用于音频处理、图像处理、视频处理等领域。例如，在语音识别中，噪声拟合可以帮助识别系统更好地识别人类语音并减少噪声的影响。在图像处理中，噪声拟合可以帮助去除图像中的噪点和伪像，提高图像的清晰度和细节。在视频处理中，噪声拟合可以帮助消除视频中的噪声和抖动，提高视频的观看体验，也就是提高图像和视频画面的稳定性。

所述下采样是指将信号的采样率降低的过程。在数字信号处理中，采样率是指每秒钟对信号进行采样的次数，通常用赫兹（Hz）来表示。下采样可以更好地管理和控制数据大小，并降低信号处理所需的计算资源和内存开销。但是下采样也会导致信息丢失和失真，因此需要谨慎使用。在音频处理中，下采样可以帮助减小文件大小，提高播放效率，但同时也会导致声音质量的损失。在图像处理中，下采样可以帮助减小图像大小，降低存储和传输成本，但也会导致图像细节的失真和模糊。在视频处理中，下采样可以帮助减小视频帧数或分辨率，以降低存储和传输成本，但同时也会导致视频质量的下降和运动模糊现象的出现。下采样通常与上采样相对应，上采样是指将信号采样率提高的过程，在一些应用场景中它们可以结合使用来实现更加高效的信号处理和传输，这都是由控制终端自动控制和发送最佳指令。

控制终端将输入源发送到识别单元，识别的单元自动判断输入源是否有时间码。时间码是是一种用于记录素材（如：电影、视频、音频等媒体）时间信息的编码方式。它通常由数字组成，表示自开始录制或播放以来经过的时间，以及当前位置在整个媒体中所处的时间轴位置。时间码可以精确到帧级别，使得不同设备之间的媒体同步变得更加准确可靠。它在电影、电视、广告、音乐视频等领域被广泛使用，以支持剪辑、混音、特效等后期制作工作。这些时间码格式包括小时、分钟、秒以及帧数等信息，并允许通过各种方式进行读取、转换和操作。在本发明中该信号为视频中的每个帧都分配一个数字，以表示年、月、日、小时、分钟、秒钟、帧数。在本发明中是指对于源层的所有图像进行识别，识别出每一帧图像的时间编码，实现每一帧都有唯一的时间编码。如果有时间码控制终端将会发送时间编码信息至动态感知模块中确定下采样信息得到下采样确定图。控制终端将下采样确定图与动态参数获取模块获取到的参数信息发送到推理单元中，得到推理模型如图4所示。

模糊采样是指在图像处理中，通过对像素进行采样并添加一定的模糊效果来减少图像的噪点和细节使其更加柔和和自然。通常模糊采样可以使用一些滤波器来实现，例如高斯滤波器或均值滤波器等。

模糊采样可以帮助减小图像文件大小，提高图像的观感和品质，并降低后续处理所需的计算资源和时间成本。在图像处理中，模糊采样经常被用于去除噪声、平滑边缘、模糊背景等。例如，在数字拍摄系统中，由于光线条件不好或摄像头抖动等原因，拍摄的照片可能会出现噪点和模糊现象，此时可以通过模糊采样进行处理以改善图像质量。在电影和视频领域中，模糊采样也被广泛应用于特效制作和后期处理中，以达到不同的视觉效果和风格要求。

处理单元是指用于对信号进行降噪的电路或算法模块。在图像处理中，去噪处理单元通常需要通过一系列的滤波、去除孤立点、平滑等操作来去除图像中的噪点，从而提高图像质量和后续算法的准确性。识别单元还可以识别图像的噪点类型，控制终端将将根据噪点的类型去发送指令给处理单元，使得处理单元选择最合适的方法去除图像的噪点，将图像损失降到最低。如图5常见的去噪处理单元包括：均值滤波器、中值滤波器、高斯滤波器、双边滤波器和小波变换。

所述均值滤波器为使用一个固定窗口内像素灰度值的平均值来替代当前像素的灰度值。所述中值滤波器为使用一个固定窗口内像素灰度值的中位数来替代当前像素的灰度值。所述高斯滤波器为使用高斯函数作为权值系数来计算当前像素的灰度值，从而平滑图像并去除噪点。所述双边滤波器为结合空间域和灰度值域的信息来滤波图像，可以保留图像的边缘信息，适用于复杂背景下的噪声去除。所述小波变换为利用小波基函数对图像进行分解和重构，可以实现多尺度去噪和较好的噪声抑制效果。

处理单元处理输入源得到的原图去噪后稳定版本图像。处理单元是指用于本发明中单目深度引擎对信号进行降噪的电路或算法模块。在图像处理中，去噪处理单元通常需要通过一系列的滤波、去除孤立点、平滑等操作来去除图像中的噪点，从而提高图像质量和后续算法的准确性。因此处理单元得到的稳定图像。控制终端自动将动态参数获取模块将获取到的CCD尺寸\焦距、头时候与近距标定、光学畸变的参数发送给推理单元和重复校正单元。在控制终端发送指令时先经过识别单元，控制终端将识别单元时间编码信息发送至动态感知模块中与下采样结合生成下采样确定图。

推理单元是指在人工智能领域中，在本发明中用于单目深度引擎执行推理过程的硬件或软件模块。它通常会与知识库、规则引擎等其他组件协同工作，以便根据已有知识和规则进行逻辑推理和决策。推理单元可以基于多种推理方法来进行推理，例如前向推理、后向推理、深度学习等。它可以自动地从数据中发现模式和规律，并根据这些规律生成新的结论和推断。推理单元在单目深度引擎中的机器学习、自然语言处理、图像识别、智能控制等，用来提高智能系统的决策能力和自动化水平。

重复校正单元是指在数字电路中用于实现冗余计算并检测错误的硬件模块。在本发明中它通常由两个或多个相同的逻辑电路组成，这些电路并行地执行相同的计算，并将结果进行比较以检测错误。重复校正单元广泛应用于高可靠性系统中，就是本发明中的单目深度引擎系统中。重复校正单元可以通过增加硬件成本来提高系统的容错能力和稳定性。在本发明中它在单目深度引擎中通常会与其他组件（例如存储器、处理器等）协同工作，以便在数据传输和处理过程中及时发现并纠正错误。重复校正单元可以通过多种方式来检测错误，例如奇偶校验、循环冗余检测（CRC）、海明码等方法。一旦发现错误，重复校正单元可以自动进行纠正，或者向其他组件发送信号以通知异常情况。

步骤S103为根据所述推理模型和所述动态对比拟合模型确定稳定深度图。按照一种具体的实施方式，所述根据所述推理模型和所述动态对比拟合模型确定稳定深度图，包括：根据所述推理模型得到动态灰度图；通过所述动态对比拟合模型对所述动态灰度图进行预处理和特征提取得到特征向量，对所述特征向量进行计算和校正直至满足精度阈值，则根据该特征向量得到稳定深度图，所述稳定深度图不存在闪烁现象。所述预处理包括图像灰度化、滤波及图像增强。

重复校正单元在单目深度引擎系统用来提高系统的可靠性和稳定性。先通过预处理对输入图像进行预处理，包括图像灰度化、滤波、校验及图像增强等操作，以提高图像质量和特征识别能力。校验分为两种，一种是时间码校验，另外一种是alpha遮罩校验，所述时间码校验是通过图像唯一的时间编码用来验证图像的准确性；所述alpha遮罩校验是进指将未选择的蒙版区域不计入计算范围内，减少计算消耗，使得深度图更加的稳定。再特征提取采用卷积神经网络（CNN）等深度学习方法，对预处理后的图像进行特征提取，并得到目标物体的特征向量。通过对目标物体特征向量的多次重复计算和校正，不断提高识别和还原精度。具体地，每次计算时将输入图像分割成若干个区域，对每个区域内的特征向量进行计算和校正，直至达到预设的精度阈值为止。

经过重复校正单元和推理单元反复推理和校正得到推理模型。通过推理模型得到动态灰度图。处理模块得到原图去噪的稳定图像。控制终端将所述动态灰度图和稳定图像发送至对比单元和拟合单元。拟合单元是指在数据分析和机器学习中，用于单目深度引擎将模型与数据进行拟合的算法或模块。用来解决动态灰度图的闪烁问题。在单目深度引擎中它通常会根据已有数据集来训练模型，并通过模型参数的调整来最小化预测值和实际值之间的误差。拟合单元可以基于多种模型来进行拟合，例如线性回归、非线性回归、支持向量机等。它还可以使用各种优化算法来找到最优模型参数，例如梯度下降、牛顿法、遗传算法等。本发明中拟合单元在单目深度引擎做数据挖掘、信号处理、图像分析等处理，用来提高模型的预测精度和泛化能力。对比单元是指在本发明中的单目深度引擎系统中用于比较两个输入信号的硬件或软件模块。它通常会输出一个比较结果，指示哪个输入信号更大、相等或更小。对比单元可以基于多种比较方法进行比较，例如数字比较、模拟比较、字符串比较等。例如本发明的单目深度引擎系统的处理器中用于比较寄存器和内存中的值，以及数字信号处理中用于比较两个连续的采样值等。除了在数字电路中使用之外，在本发明中对比单元在单目深度引擎中做排序算法、查找算法、数据压缩和加密等处理。用来对比哪个图像的噪点最少以得到噪点稳定版本图像。重复校正单元校正输入源的时间码，通过对比单元和拟合单元同时工作得到稳定深度图。

步骤S104为根据所述稳定深度图和动态参数确定空间拟合模型。具体的，所述根据所述稳定深度图和动态参数确定空间拟合模型，包括：根据所述动态参数对所述稳定深度图进行分割、重建及拟合得到空间拟合模型。

按照一种具体的实施方式，将透视标定的距离参数发送到深度空间拟合模块，用于对深度图像进行分割和重建。具体使用神经网络等技术来实现对深度图像的自动分割和重建。将深度图像分为不同的区域，并对每个区域进行三维重建和拟合。重建和拟合过程中还可以结合其他信息源（例如彩色图像、纹理信息等），以提高分割和重建的准确性和稳定性。深度空间拟合模块在单目深度引擎中应用于虚拟现实、增强现实，用来从深度传感器获取的数据中提取有用的信息并生成可视化结果。空间拟合模块将得到空间的参数信息发送到定位还原单元，定位还原单元是指在数字通信系统中用于接收和处理无线电信号的硬件或软件模块。在单目深度引擎中它通常会对接收到的信号进行定位、解调和还原，以便从原始信号中提取出有用的信息和像素空间定位。定位还原单元可以使用多种技术来对信号进行定位和还原。它还可以对信号进行滤波、去噪和放大等处理，用来提高信号质量和减少误差，来确保无线电信号的可靠传输和正确接收。像素空间定位实现稳定三维的像素空间和减少像素移位的误差出现。定位还原单元将去定三维像素空间，以便于确定空间中物体的前后、远近关系。如图6中替换后景后的正确的空间关系，在拍摄系统获取图像时，后期实时生成正确空间关系的图像，如图6所示：人在树后，人在树前。根据所述定位还原单元和深度空间拟合单元实时得到空间拟合模型。通过对信号进行定位、解调和还原，能够提取有用信息和像素空间定位，实现稳定的三维的像素空间，减少了像素移位的误差，确定了三维空间中物体的前后远近关系。

步骤S105为将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图。所述动态参数包括透视与距离标定参数、尺寸、焦距及光学畸变参数。所述第二深度图为准确的深度图。具体的，通过使用稳压器、精密电阻、电容等元器件来实现高精度的电压或电流输出。本发明提供多种参考电压或电流，例如标准参考电压、放大器输入电压、运放反馈电压等，用于确保系统的稳定性和精度。传统的双目RGB摄像头、深度摄像头、激光雷达深度探测仪都不稳定，生成的深度图闪烁明显。在本发明中将生成的深度图实时快速得多次模拟重复校正得到稳定的深度图，即准确深度图。

步骤S106为根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。所述空间视频中的物体的空间位置与真实空间中物体的位置一致。

按照一种具体的实施方式，对准确深度图还原数据传递时导致的误差和像素空间错乱，保证准确深度图稳定性和准确性。经过分布空间计算系统计算（分布空间计算系统是指一种分布式计算架构，用于处理和分析具有地理空间信息的数据等）。本申请通常将多个计算节点相互连接，并使用并行计算和分布式存储技术来实现高效的空间数据处理和分析。分布空间计算系统可以提供多种空间数据处理功能，例如空间插值、空间统计、空间模拟等。它还可以结合其他组件或工具，例如机器学习算法、可视化工具等，以支持更复杂的空间数据分析任务。分布空间计算系统在单目深度引擎中用来帮助用户更好地理解和利用空间数据，并支持决策制定和应用开发。分布空间计算系统通过计算实现像素空间融合，像素空间融合是指将两张或多张图像按照一定的比例混合在一起，形成一幅新的图像。这种融合方法通常是在像素级别上进行操作，通过对每个像素的亮度值进行加权平均或其他算法处理来实现。其中有基础融合和感知动态融合。基础融合是一种图像处理技术，通过将两张或多张重叠的图像进行简单合成，使它们呈现出平滑、自然的过渡效果。这种融合方法通常是在像素级别上进行操作，通过对每个像素的亮度值和颜色值进行加权平均或其他算法处理来实现。基础融合主要应用于数字图像处理、计算机视觉等领域，例如合成全景图像、拼接全景视频等。感知动态融合是一种基于人眼视觉感知的图像处理技术，用于将两个或多个不同的图像序列（例如视频）融合成一个自然、平滑的过渡效果。它通过分析场景中的运动和深度信息来实现像素级别的融合，以达到更加真实、逼真的效果。感知动态融合广泛应用于虚拟现实、增强现实、视频编辑等领域，可以使用户更加身临其境，提升用户体验。经过分布空间计算系统像素空间融合和定位还原单元稳定融合后的三维空间像素。

本申请将像素空间融合的三维信息发送给空间序列化模块，空间序列化模块是指本发明中在单目深度引擎视觉中图像处理时，用于将三维场景或物体序列化为二维图像的软件或硬件模块。在单目深度引擎中它通常会使用摄像机、激光扫描仪等设备来获取三维数据，并将其转换为二维图像数据。空间序列化模块可以实现各种类型的空间序列化，例如投影、切片、纹理映射等。它还可以进行多个视角的融合，以提高重建质量和可视化效果。空间序列化模块应用于虚拟现实、增强现实的单目深度引擎中，用来支持从三维场景中提取有用信息并生成与现实世界相似的二维图像。空间序列化模块得到确定空间信息（二维信息中的帧图像）。

所述准确深度图在实时引擎中实现像素色彩融合。将单目深度引擎接入实时引擎中。也就是将深度图与原始颜色图进行像素级别的融合，可以采用加权平均等算法，也可以使用更复杂的混合算法，例如alpha混合、线性混合等。在本发明中，将融合后的图像应用到场景中的物体表面。这通常需要将融合后的图像纹理映射到物体表面，并根据物体的深度值进行遮挡处理，以实现透明效果。融合的结果是一张新的图像，其中包含了原始颜色和深度信息。将此三维深度信息传输空间序列化模块进行附着融合，附着融合是一种图像处理技术，通过将两张或多张图像按照一定的比例混合在一起，并将其中一张图像完全覆盖另一张图像，从而实现一种粘贴、叠加或覆盖的效果。这种融合方法通常是在像素级别上进行操作，通过对每个像素的亮度值和颜色值进行透明度调整或其他算法处理来实现。

根据所述空间视频实时显示渲染视频。通过空间序列化模块处理得到素材，对所述素材进行实时渲染和交互。本申请可以提供多种渲染效果和交互方式，例如阴影、反射等，还可以结合其他传感器或数据源（例如运动捕捉系统、深度传感器等），以实现更为逼真的虚拟场景和交互体验。本申请在单目深度引擎中用来展示和分析具有复杂结构和行为的物体或场景，并支持实时的交互和控制以得到实时渲染后的视频。

另一方面，本发明提供一种重复校正性监督空间识别与还原装置，该装置包括：获取模块，用于获取输入源信息，所述输入源信息包括真实空间信息；第一处理模块，用于对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；第二处理模块，用于根据所述推理模型和所述动态对比拟合模型确定稳定深度图；第三处理模块，用于根据所述稳定深度图和动态参数确定空间拟合模型；第四处理模块，用于将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；第五处理模块，用于根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。该装置使得虚拟制作中的图像空间满足实时性和准确性。

本发明的重复校正性监督空间识别与还原方法包括：获取输入源信息，所述输入源信息包括真实空间信息；对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；根据所述推理模型和所述动态对比拟合模型确定稳定深度图；根据所述稳定深度图和动态参数确定空间拟合模型；将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频。本申请通过建立独有的AI渲染管道，实现单目实时4K深度图输出，稳定准确的深度空间还原，连接虚拟现实的桥梁，使得虚拟制作中的图像空间满足实时性和准确性，让用户在虚拟世界中自由穿梭和交互。本发明可以用于工业、自动驾驶、军事等领域。

本发明具有离线性和实时性，具体包括控制终端控制各种任务的进行，其可以通过协议从远程访问以及离线访问。传统技术实时性在30fps内接入渲染引擎开销严重，并且离线性差，本发明技术实时性在6-fps内接入渲染引擎开销低，并且可以完全离线。传统的深度图闪烁现象明显，本发明中得到经过多种功能模块实时生成稳定版本深度图。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种重复校正性监督空间识别与还原方法，其特征在于，该方法包括：

获取输入源信息，所述输入源信息包括真实空间信息；

对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；

根据所述推理模型和所述动态对比拟合模型确定稳定深度图；

根据所述稳定深度图和动态参数确定空间拟合模型；

将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；

根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频；

所述对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，包括：获取所述输入源信息中每帧图像的时间编码，根据所述时间编码对图像进行下采样得到下采样图，根据所述下采样图和动态参数得到推理模型，所述推理模型用于确定动态灰度图；所述时间编码还用于同步图像；所述动态对比拟合模型用于动态地获取和更新所述输入源的参数；

所述根据所述推理模型和所述动态对比拟合模型确定稳定深度图，包括：根据所述推理模型得到动态灰度图；通过所述动态对比拟合模型对所述动态灰度图进行预处理和特征提取得到特征向量，对所述特征向量进行计算和校正直至满足精度阈值，则根据该特征向量得到稳定深度图，所述稳定深度图不存在闪烁现象；

所述根据所述稳定深度图和动态参数确定空间拟合模型，包括：根据所述动态参数对所述稳定深度图进行分割、重建及拟合得到空间拟合模型。

2.根据权利要求1所述的方法，其特征在于，所述输入源为RGBA、RGB和alpha中的至少一种。

3.根据权利要求1所述的方法，其特征在于，

所述预处理包括图像灰度化、滤波、校验及图像增强;

所述校验包括时间码校验和alpha遮罩校验。

4.根据权利要求1所述的方法，其特征在于，

所述空间视频中的物体的空间位置与真实空间中物体的位置一致。

5.根据权利要求1所述的方法，其特征在于，

所述动态参数包括透视与距离标定参数、尺寸、焦距及光学畸变参数。

6.一种重复校正性监督空间识别与还原装置，其特征在于，该装置包括：

获取模块，用于获取输入源信息，所述输入源信息包括真实空间信息；

第一处理模块，用于对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，所述第一处理包括重采样、动态获取和更新参数、识别噪点及去除噪点；

第二处理模块，用于根据所述推理模型和所述动态对比拟合模型确定稳定深度图；

第三处理模块，用于根据所述稳定深度图和动态参数确定空间拟合模型；

第四处理模块，用于将所述空间拟合模型中的稳定深度图进行模拟及校正得到第二深度图；

第五处理模块，用于根据所述第二深度图中的地理空间信息生成二维图像，对所述二维图像进行实时渲染得到空间视频；

所述对所述输入源信息进行第一处理得到推理模型和动态对比拟合模型，包括：获取所述输入源信息中每帧图像的时间编码，根据所述时间编码对图像进行下采样得到下采样图，根据所述下采样图和动态参数得到推理模型，所述推理模型用于确定动态灰度图；所述时间编码还用于同步图像；所述动态对比拟合模型用于动态地获取和更新所述输入源的参数，

所述根据所述推理模型和所述动态对比拟合模型确定稳定深度图，包括：根据所述推理模型得到动态灰度图；通过所述动态对比拟合模型对所述动态灰度图进行预处理和特征提取得到特征向量，对所述特征向量进行计算和校正直至满足精度阈值，则根据该特征向量得到稳定深度图，所述稳定深度图不存在闪烁现象。

所述根据所述稳定深度图和动态参数确定空间拟合模型，包括：根据所述动态参数对所述稳定深度图进行分割、重建及拟合得到空间拟合模型。

7.根据权利要求6所述的装置，其特征在于，

所述输入源为RGBA、RGB和alpha中的至少一种。

8.根据权利要求6所述的装置，其特征在于，

所述预处理包括图像灰度化、滤波、校验及图像增强;

所述校验包括时间码校验和alpha遮罩校验。

9.根据权利要求6所述的装置，其特征在于，

所述空间视频中的物体的空间位置与真实空间中物体的位置一致。

10.根据权利要求6所述的装置，其特征在于，

所述动态参数包括透视与距离标定参数、尺寸、焦距及光学畸变参数。