CN115002427A - 一种基于神经网络的投影融合方法 - Google Patents
一种基于神经网络的投影融合方法 Download PDFInfo
- Publication number
- CN115002427A CN115002427A CN202210462371.6A CN202210462371A CN115002427A CN 115002427 A CN115002427 A CN 115002427A CN 202210462371 A CN202210462371 A CN 202210462371A CN 115002427 A CN115002427 A CN 115002427A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- projection
- pixels
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 36
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
本发明涉及人工智能技术领域，具体涉及一种基于神经网络的投影融合方法，包括：获取光照图像、投影图像、目标图像，根据光照图像获得投影重合区域，根据投影图像获得每个第一像素的单应性矩阵，根据每个第一像素的单应性矩阵获得每个第二像素的单应性矩阵以及准确程度，根据第二像素的单应性矩阵和子投影图像，获得每个第二像素的第一融合目标图像和第二融合目标图像，最终获得投影偏移特征向量；根据投影偏移特征向量利用神经网络获得投影机调整参数，并调整投影机。本发明通过投影图像和目标图像获得投影机的参数调整方法，使得调整过程简单快捷，能够在弧形的屏幕上获得准确的投影融合结果，避免投影图像出现错误纹理信息。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于神经网络的投影融合方法。
背景技术
在指挥监控中心、网管中心、视频会议、学术报告、技术讲座、多功能会议室等场景，为了提高视觉感受，对大画面，多色彩，高亮度，高分辨率显示效果的需求越来越强烈。以往通过单个投影机很难投影出高分辨率的图像，现如今，通过投影融合技术可以将多个投影机投影的图像拼接融合在一起，达到高分辨率显示效果提高视觉感受。
但是现有的投影融合方法大多需要人为的去调整投影机的姿态和参数，使得不同投影机投影的图像的纹理对齐，然后再通过边缘融合算法获得最终的投影效果。但是手动调整的过程十分麻烦，如果投影机位置偏移或者设备更换、投影设施的重新布具或者检修，都需要在此手动的调整参数，导致各种问题，例如会议效率低、会议时间推迟，或者画面异常。
现有的一些自动化的投影融合方法和系统，需要进行构建投影场景的三维模型，设置控制点，场景的测量，设备的标定等繁重工作，而且非常容易引入误差。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于神经网络的投影融合方法，所采用的技术方案具体如下：
本发明提供了一种基于神经网络的投影融合方法，该方法包括以下步骤：
采集所有投影机投影的光照图像，通过阈值分割算法获得投影机的投影重合区域；
将投影图像上且在投影重合区域外的每个像素视为每个第一像素，以每个第一像素为中心，获得预设窗口内所有像素构成的子投影图像，根据每个第一像素的子投影图像的角点和目标图像的角点获得每个第一像素的单应性矩阵；
将投影图像上且在投影重合区域内的每个像素视为每个第二像素，获取与每个第二像素的欧式距离最小的预设数量的第一像素，根据所述所有预设数量的第一像素的单应性矩阵的聚类结果获得每个第二像素的单应性矩阵和准确程度；
以每个第二像素为中心获得预设窗口内所有像素构成的子投影图像，利用每个第二像素的单应性矩阵和子投影图像，并结合目标图像，获得每个第二像素的第一融合目标图像；
根据每个第二像素的子投影图像与其第一融合目标图像获得每个第二像素的第二融合目标图像；
结合所有第二像素的准确程度，根据所有第二像素的第一融合目标图像与第二融合目标图像，获得投影机的投影偏移特征向量，将投影偏移特征向量输入神经网络中，网络输出投影机的调整参数，投影机根据调整参数进行调整并重新投影图像。
进一步地，所述的投影偏移特征向量的获取步骤包括：
获取每个第二像素的第一融合目标图像中所有像素坐标的第一融合均值，以及每个第二像素的第二融合目标图像中所有像素坐标的第二融合均值，获取第一融合均值到第二融合均值构成的位移向量，将所述的位移向量和所述的第一融合均值合并为一个向量，称为每个第二像素的偏移向量；
利用均值漂移算法对所有第二像素的偏移向量进行聚类，获得所有类别，对于所述每个类别中的偏移向量进行加权求和，获得的结果称为每个类别的参考偏移向量；所述的加权求和的权重为所述的每个类别中每个偏移向量对应的第二像素的准确程度；将所有类别的参考偏移向量合并为一个高维向量，称为投影偏移特征向量。
进一步地，所述的每个第二像素的单应性矩阵和准确程度的获取步骤包括：
对于与每个第二像素的欧式距离最小的预设数量的第一像素，获取所述预设数量的第一像素的所有单应性矩阵的集合，将每个单应性矩阵展平为一维向量，对所述集合中的单应性矩阵进行聚类获得所有类别，获得所有类别中包含单应性矩阵数目最多的类别，计算所述类别中所有单应性矩阵的第一均值，所述第一均值作为每个第二像素的单应性矩阵；
获取所述类别中所有单应性矩阵对应的第一像素集合，计算所述第一像素集合中像素坐标的第二均值，将每个第二像素的坐标与所述第二均值的欧式距离称为每个第二像素的距离因子，然后计算所述类别中所有单应性矩阵与所述第一均值的L2范数，所有所述L2范数的方差称为每个第二像素的分布因子；
每个第二像素的距离因子与每个第二像素的分布因子的乘积的倒数作为每个第二像素的准确程度。
进一步地，所述的每个第二像素的第一融合目标图像的获取步骤包括：
获取每个第二像素的投影子图像上所有像素的齐次坐标，将所述的所有像素的齐次坐标与每个第二像素的单应性矩阵相乘，进而获得所有新的像素坐标；
然后获取目标图像的亮度图，获取所述新的像素坐标在目标图像亮度图上对应的灰度值，所述新的像素坐标和对应的灰度值构成每个第二像素的第一融合目标图像。
进一步地，所述的每个第二像素的第二融合目标图像的获取步骤包括：
获取每个第二像素的子投影图像的像素坐标，以及在每个第二像素的第一融合目标图像上的、与所述像素坐标对应的像素的灰度值，以所述的像素坐标和灰度值构建每个第二像素的临时图像；
获得每个第二像素的子投影图像与每个第二像素的临时图像的差值，称为差异图像，获取差异图像中最小的灰度值，差异图像中每个像素的灰度值与所述的最小灰度值做差，然后对差异图像进行归一化处理；
利用角点检测算法获得差异图像的所有角点，利用角点匹配算法将差异图像上的所有角点和目标图像上所有角点进行匹配，获得所有匹配成对的角点，然后将所述的所有角点对作为数据样本拟合一个单应性矩阵；
获取所述差异图像上所有像素的齐次坐标，将所述的所有像素的齐次坐标与所述的单应性矩阵相乘，进而获得所有新的像素坐标；
获取所述新的像素坐标在目标图像亮度图上对应的灰度值，所述新的像素坐标和对应的灰度值构成每个第二像素的第二融合目标图像。
进一步地，所述的每个第一像素的子投影图像和每个第二像素的子投影图像的获取步骤包括：
以每个第一像素为中心，建立一个矩形预设窗口，获取窗口内的且属于投影图像上的所有像素；如果所述的所有像素中存在属于投影重合区域内的像素时，将所述属于投影重合区域内的像素的像素值设置为零向量；然后获取所述所有像素在投影图像上的像素坐标和对应的像素值，将所述所有像素坐标和像素值构建成的图像的亮度图称为每个第一像素的子投影图像；
同理，以每个第二像素为中心，以预设邻域范围为大小，建立一个矩形窗口，获取窗口内的且属于投影图像上的所有像素，如果所述的所有像素中存在属于投影重合区域外的像素时，将所述属于投影重合区域外的像素的像素值设置为零向量；然后获取所述所有像素在投影图像上的像素坐标和对应的像素值，将所述所有像素坐标和像素值构建成的图像的亮度图称为每个第二像素的子投影图像。
进一步地，所述的每个第一像素的单应性矩阵的获取步骤包括：
利用角点检测算法获得每个第一像素的子投影图像的所有角点，同理，利用检点检测算法获得目标图像的所有角点，利用角点匹配算法对每个第一像素的子投影图像上所有角点和目标图像上所有角点进行匹配，获得所有的匹配成对的角点，然后将所有的角点对作为数据样本拟合一个单应性矩阵，该单应性矩阵就是所述的每个第一像素的单应性矩阵。
进一步地，所述的投影重合区域的获取步骤包括：
所有摄影机投射白光到屏幕上，利用相近采集屏幕上的白光图像，将图像变换为灰度图，利用大津阈值分割算法对所述灰度图像进行分割，获得所有的连通域，计算每个连通域中所有像素的灰度值的均值，获得所述均值最大的连通域作为投影重合区域；
所述的所有摄影机中其中一个是调整好参数的投影机，其他是尚未调整好参数的投影机。
进一步地，所述的神经网络为全连接神经网络，该神经网络的数据集有模拟器生成，神经网络的损失函数为均方差损失函数，根据损失函数结合数据集利用随机梯度下降算法训练神经网络，使得神经网络收敛。
进一步地，所述的目标图像是指需要被投影机投影到屏幕上的高分辨率的图像，目标图像上具有丰富的纹理信息；所述的投影图像是指目标图像被投影仪投影到屏幕后，在通过相机采集获得的图像，所述的相机是RGB相机，安装在投影机上。
本发明具有如下有益效果：
1.本发明通过要被投影的目标图像以及投影机上安装的相机采集的投影图像，获得投影机的调整参数，投影机调整参数后即可将投影机投影的图像的纹理对齐，获得较好的投影融合效果，无需引入其他繁重的处理工作和大量的辅助数据，设备简单，只是在投影仪上添加相机，无需额外的设备，实施方便，适用多种场景。
2.本发明通过投影融合区域外的投影图像和目标图像的单应性矩阵，来估计投影融合区域内的投影图像和目标图像的单应性矩阵，使得本发明能够在弧形的屏幕上进行投影融合；更进一步，本发明根据投影融合区域内的投影图像和目标图像的单应性矩阵，获得投影机在不同位置所投影的目标融合图像相对其他投影机所投影的目标融合图像的偏移向量，对不同位置的偏移向量进行融合，获得最终的投影偏移特征向量，避免在想弧面屏幕投影时的误差，确保计算结果的准确。
3.本发明通过投影偏移特征向量获得投影机的调整参数，使得投影融合快速准确，容易实现自动化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于神经网络的投影融合方法的流程图；
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于神经网络的投影融合方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于神经网络的投影融合方法的具体方案。
请参阅图1，其示出了本发明一种基于神经网络的投影融合方法，其特征在于，该方法包括以下步骤：
步骤S001，根据两个投影机投影的光照获得投影重合区域。
本发明以两个投影机向弧形屏幕投影图像为例进行叙述，本发明首先人为的将其中一个投影机调整好参数，所述的参数包括投影机的姿态视角和投影机投影图像的焦距等，使得其中一个投影机能够在屏幕的正确位置上投影出清晰图像，接下来本发明只需让另一个投影机投影的图像和调整好参数的投影机投影的图像进行投影融合即可，因此本发明接下来主要对另一个投影机进行分析，为了便于叙述本发明后续所述得投影机如无特殊说明均指上述所述得另一个投影机。
首先两个投影机向屏幕上投影白光，屏幕被照亮，两个投影机投影重合区域的光照比较亮；本发明在投影机上安装RGB相机，相机视角朝向屏幕，能够采集屏幕上的图像，当两个投影机向屏幕投影白光时，相机采集到的图像为光照图像；将该光照图像灰度化处理获得灰度图，利用大津阈值分割算法对所述灰度图像进行分割，获得所有的连通域，计算每个连通域中所有像素的灰度值的均值，获得所述均值最大的连通域作为投影重合区域。
步骤S002、根据投影图像和目标图像获得投影重合区域外的像素点的单应性矩阵。
两个投影机需要将一个高分辨率的清晰的图像投影到屏幕上，本发明将这个高分辨率的图像称为目标图像，该目标图像具有丰富的纹理细节，将目标图像分割为两张子图像，这两张子图像具有重合的像素区域，两个投影机分别将这两个子图像投影到屏幕上，这两张图像就会在在屏幕上显示出来；
本发明期望的时这两张图像在投影重合区域的相同位置显示相同的纹理和，这样才能保证投影的图像不会产生错误的纹理，但是实际上由于投影机参数尚未设置好，使得这两张图像在投影重合区域的相同位置显示的纹理不一样，导致屏幕上显示的图像具有错误的纹理。
本发明首先利用投影机上的相机采集屏幕上显示的图像，称为投影图像，即投影图像在投影重合区域内的纹理信息是错误的；总结来说，投影重合区域内的投影图像上每个位置的纹理信息是由目标图像分割成的两张子图像上某两个位置的纹理信息叠加而成的，或者可以说成：投影重合区域内的、投影图像上的每个位置的纹理信息是由目标图像上某两个位置的纹理信息叠加而成的。那么本发明需要获取当给定投影重合区域内的、投影图像上的某个位置或区域后，该位置或区域在目标图像上对应的两个位置和区域，但是由于投影重合区域内的投影图像上的纹理信息是错误的，因此无法直接获得上述结果。本发明给出如下方法：
考虑到屏幕是弧形的，但是认为屏幕的局部区域是平面的，基于次，本发明获取在投影图像上的且在投影重合区域外的每个像素，这些像素统称为第一像素，对于任意一个第一像素p，以第一像素p为中心，建立一个矩形预设窗口，窗口大小为K×K(本发明K＝127×127)，这个窗口对应屏幕上的一个局部区域，认为屏幕上的这个局部区域是平面。获取该窗口内的且属于投影图像上的所有像素,这些像素记为像素集合Sp，如果Sp中存在属于投影重合区域内的像素时，那么将属于投影重合区域内的像素的像素值设置为零向量；然后获取Sp中像素的像素坐标和对应的像素值，需要说明的是，由于投影图像是RGB图，因此每个像素的像素值是三维向量，三维向量的每个维度对应RGB三个通道；这些像素坐标和像素值构建成一个图像，这个图像也是RGB图像，获取该图像的亮度图Ip，将Ip称为第一像素p的子投影图像。需要说明的是。Ip上像素的坐标和投影图像上的对应的像素坐标是一样的，但是Ip是单通道灰度图。
所述的RGB图像的亮度图的获取方法为：将RGB图像转换到HSV颜色空间，在HSV颜色空间获得亮度分量，所述的亮度分量就是RGB图像的亮度图。
同理，获取投影图像上的且在投影重合区域内的每个像素，这些像素统称为第二像素，对于任意一个第二像素q，以第二像素q为中心，建立一个矩形预设窗口，窗口大小为K×K(本发明K＝127×127)，这个窗口对应屏幕上的一个局部区域，认为屏幕上的这个局部区域是平面。获取该窗口内的且属于投影图像上的所有像素，这些像素记为像素集合Sq，如果Sq中存在属于投影重合区域外的像素时，那么将属于投影重合区域外的像素的像素值设置为零向量；然后获取Sq中像素的像素坐标和对应的像素值，这些像素坐标和像素值构建成一个图像，获取该图像的亮度图Iq，将Iq称为第二像素q的子投影图像。
需要说明的是，正如步骤S002所述：投影重合区域内的、投影图像上的每个位置的纹理信息是由目标图像上某两个位置的纹理信息叠加而成的；那么可知：第二像素q的子投影图像Iq上每个位置的纹理信息是有目标图像上某两个位置的纹理信息叠加而成的。
对于第一像素p的子投影图像Ip，Ip是目标图像经过投影机投影到屏幕上后获得的投影图像上的一部分，即Ip中的纹理和目标图像上某个区域的纹理是相同的，本发明在需要获取目标图像上的这个相同纹理的区域，考虑到投影机和相机视角问题，不能直接获得，本发明给出如下方法：
利用Hartis角点检测算法获得Ip上的所有角点以及目标图像上的所有角点，利用基于归一化互相关(NCC)的角点匹配算法将Ip上的角点与目标图像上的角点进行匹配，获得所有匹配在一起的角点对，以所有角点对的角点坐标为数据样本，利用RANSC算法拟合出一个单应性矩阵Dp,该矩阵满足u＝vDp,v、u表示任意一对角点坐标的齐次坐标，其中v表示来投影图像的角点的齐次坐标，u表示目标图像的角点的坐标，Dp表示的是投影图像上局部像素区域和目标图像上具有相同纹理的局部像素区域的映射关系或者说仿射变换关系。将Dp称为第一像素p的单应性矩阵
同理获得所有第一像素的单应性矩阵。
步骤S003、根据第一像素的单应性矩阵获得第二像素的单应性矩阵。
本发明其实期望获得的是投影融合区域之内的且在投影图像上的局部区域和目标图像的映射关系，即第二像素的单应性矩阵；但是由于投影融合区域之内的投影图像上局部区域的纹理是错误的，无法像上述获取第一像素的单应性矩阵一样获得第二像素的单应性矩。
本发明认为投影图像上相邻像素的单应性矩阵几乎是相等的，因为屏幕是一个有规律的弧面，弧面上相邻位置的曲率不会存在突变，基于此，本发明利用第一像素的单应性矩阵来获得第二像素的单应性矩阵
对于任意一个第二像素q，在投影图像上获得距离第二像素q最近的N(本发明N＝64)个第一像素，本发明认为第二像素q的单应性矩阵与这N个第一像素的单应性矩阵有关。第二像素q的单应性矩阵的获取方法为：
获取这N个第一像素的单应性矩阵的集合Mq，将单应性矩阵展平为一维向量，利用均值漂移聚类算法对Mq中的单应性矩阵聚类，获得所有类别，获得所有类别包含单应性矩阵数目最多的类别,记为M1q，该类别中的单应性矩阵包含很多相似的、集中分布在一起的单应性矩阵，那么第二像素q的单应性矩阵为
其中Xp该类别M1q中包含的单应性矩阵的数量，di表示该类别中第i个单应性矩阵，Dq表示该别M1q中所有单应性矩阵的均值，即本名发明认为第二像素q的单应性矩阵为距离第二像素q最近的一些第一像素的单应性矩阵中大量在一起的单应性矩阵的均值，使得第二像素q的单应性矩阵尽可能准确，避免引入噪声；但是本发明还需要进一步的来描述第二像素q获得的单应性矩阵的准确程度；
第二像素q的准确程度为
其中θp的计算方法为：计算M1q中所有单应性矩阵与Dq的L2范数，所有L2范数的方差为θp，θp越大，表示Mq中的单应性矩阵分布越离散，那么根据Mq聚类结果获得的Dq准确率越低；βp的计算方法为：获取M1q中所有单应性矩阵对应的第一像素的像素坐标，计算这些像素坐标的均值，那么βp就表示该均值与第二像素p的坐标的欧式距离，该值越大说明同第二像素p与最近的且单应性矩阵大量集中分布的第一像素的距离越远，那么获得的Dq的准确率越低。
至此本发明用第二像素的准确率来描述第二像素的单应性矩阵的准确性，避免后续引人入太多误差。
同理获得所有第二像素的单应性矩阵和准确程度。
步骤S004、根据第二像素的单应性矩阵获得第二像素的第一融合目标图像和第二融合目标图像。
对于第二像素p，其子投影图像为Iq，那么根据其单应性矩阵Dq即可获得在目标图像上与Iq具有相同纹理的像素区域，具体方法为：获取Iq的任意一个像素的齐次坐标a，令b＝aDq，b也表示一个齐次坐标，获取b所表示的二维坐标，获取该坐标处且在目标图像上的像素，即根据Dq可以获得Iq的任意一个像素在目标图像上对应的像素，那么可以获取Iq上所有像素在目标图像上对应的像素，这些像素的像素坐标和这些像素在目标图像的亮度图上的灰度值构成一个子图像，该子图像为单通道灰度图，称为第二像素q的第一融合目标图像I1q。
正如步骤S002所述，第二像素q的子投影图像上每个位置获取的纹理信息是由目标图像上某两个位置的纹理信息叠加而成的，也可以说是第二像素q的子投影图像的纹理信息是由目标图像上两个子图像的纹理信息叠加而成的，其中第二像素q的第一融合目标图像I1q就是所述的目标图像上两个子图像中的一个，那么另一个称为第二像素q的第二融合目标图像I2q，I2q的获取方法为：
首先需要明确说明的是，Iq的像素坐标经过Dq的仿射变换后，获得了I1q的像素坐标，即Iq的像素与I1q的像素一一对应，其中Iq上像素的灰度值是由投影图像获得的，I1q的灰度值是由目标图像获得的。
本发明以Iq上的像素坐标以及I1q上的与该像素坐标对应像素的灰度值重新构建一个图像
即图像
上的像素坐标与Iq上的像素坐标相同，但是灰度值是I1q上对应的像素的灰度值，那么令
至此可知Iq是由
与
叠加而成的，两台投影机中调整好参数的投影机将目标图像上的I2q投影到屏幕上，在屏幕上的显示结果为
另一台未调整好参数的投影机将目标图像上的I1q投影在屏幕上，在屏幕上显示的结果为
因为
和
被投影在了相同的屏幕区域内，因此屏幕上在这个区域显示的最终结果为
与
的叠加结果Iq，这便是投影机的工作和成像过程。接下来继续叙述I2q的获取方法：
首先对
进行预处理：获取
中最小的灰度值，然后
中每个像素的灰度值与所述的最小灰度值做差，然后对差异图像进行归一化处理，目的是保证
上的最小灰度值为0。
利用角点检测算法获得
的所有角点，利用角点匹配算法将
上的所有角点和目标图像上所有角点进行匹配，获得所有匹配成对的角点，然后将所述的所有角点对作为数据样本利用RANSC算法拟合一个单应性矩阵，获取
上所有像素的齐次坐标，将所述的所有像素的齐次坐标与所述的单应性矩阵相乘，进而获得所有新的像素坐标，这些像素坐标与这些像素坐标在目标图像亮度图上的灰度值构成了I2q。
至此获得了第二像素q的第一融合目标图像和第二融合目标图像，同理获得所有第二像素的第一融合目标图像和第二融合目标图像。
步骤S005、根据每个第二像素的第一融合目标图像和第二融合目标图像获得投影偏移特征向量。
如步骤S004所述，对于第二像素p，获得其第一融合目标图像I1q和第二融合目标图像I2q，这两个图像均是目标图像上的子图像，由于投影机的参数没有调整好，使得I1q与I2q表示的是目标图像上不同区域的纹理信息，本发明获取I1q中所有像素的像素坐标的均值x1p，获取I2q中所有像素的像素坐标的均值x2p，本发明将x2p-x1p与x1p合并为一个向量xp，称为第二像素p的偏移向量，用于表示投影机所要投影的图像相对于另一个设置好参数的投影机所要投影的图像的偏移情况。
对于所有第二像素的偏移向量进行均值漂移聚类，获得所有聚类结果，同一个类别中的偏移向量相似，表示同一种偏移情况。对于每个类别中的偏移向量进行加权求和，获得的结果称为每个类别的参考偏移向量；所述的加权求和的权重为所述的每个类别中每个偏移向量对应的第二像素的准确程度；将所有类别的参考偏移向量合并为一个高维向量，称为投影偏移特征向量。该投影偏移特征向量就用于表示投影机在不同位置投影时的偏移情况。
步骤S006，根据投影偏移特征向量结合神经网络，获得投影机的调整参数。
构造一个全连接神经网络，该网络的输入为P维的向量，输出为投影机的参数调整量。
训练该网络的数据集的获取方法为：计算机模拟器(如虚幻游戏引擎)中构建虚拟的投影机，所述的虚拟投影机的投影结果和调整参数均可由计算机程序控制，无需人为参与，让两个虚拟投影机投影出完全重合的图像，然后计算机改变其中一个投影机的参数，使得投影结果变得不重合，获取所有不重合位置的偏移向量，构建一个投影偏移特征向量，将该投影偏移特征向量和虚拟投影机的参数调整量作为数据和标签；通过不断的改变虚拟机的参数以及屏幕的形状可以快速获得大量数据集，且无需人为的参与。
利用所述的数据集利用均方差损失函数和随机梯度下降算法训练该神经网络，使得神经网络收敛。
将投影偏移特征向量输入训练完毕的神经网络中，输出投影机的调整参数。如果投影偏移特征向量维度不足P维，需要对投影偏移特征向量填充0，若果投影偏移特征向量维度大于P维，那么将多余的维度删除即可，不影响网络的输出结果。
最后投影机按照输出的调整参数自动调整投影机的姿态视角和焦距等参数，使得两个投影机投影在屏幕上的图像在投影重合区域的具有相同的、重合的纹理。
然后通过边缘融合算法使得投影重合区域的亮度和其他区域的亮度一致，进而获得高分辨率的投影图像，至此完成了投影机的自动调整工作，使得在之后的指挥监控中心、网管中心、视频会议、学术报告、技术讲座、多功能会议室等场景中具有良好的投影融合效果。
为了提高本发明的准确性，可以连续多次实施本发明。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于神经网络的投影融合方法，其特征在于，该方法包括以下步骤：
采集所有投影机投影的光照图像，通过阈值分割算法获得投影机的投影重合区域；
将投影图像上且在投影重合区域外的每个像素视为每个第一像素，以每个第一像素为中心，获得预设窗口内所有像素构成的子投影图像，根据每个第一像素的子投影图像的角点和目标图像的角点获得每个第一像素的单应性矩阵；
将投影图像上且在投影重合区域内的每个像素视为每个第二像素，获取与每个第二像素的欧式距离最小的预设数量的第一像素，根据所述所有预设数量的第一像素的单应性矩阵的聚类结果获得每个第二像素的单应性矩阵和准确程度；
以每个第二像素为中心获得预设窗口内所有像素构成的子投影图像，利用每个第二像素的单应性矩阵和子投影图像，并结合目标图像，获得每个第二像素的第一融合目标图像；
根据每个第二像素的子投影图像与其第一融合目标图像获得每个第二像素的第二融合目标图像；
结合所有第二像素的准确程度，根据所有第二像素的第一融合目标图像与第二融合目标图像，获得投影机的投影偏移特征向量，将投影偏移特征向量输入神经网络中，网络输出投影机的调整参数，投影机根据调整参数进行调整并重新投影图像。
2.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的投影偏移特征向量的获取步骤包括：
获取每个第二像素的第一融合目标图像中所有像素坐标的第一融合均值，以及每个第二像素的第二融合目标图像中所有像素坐标的第二融合均值，获取第一融合均值到第二融合均值构成的位移向量，将所述的位移向量和所述的第一融合均值合并为一个向量，称为每个第二像素的偏移向量；
利用均值漂移算法对所有第二像素的偏移向量进行聚类，获得所有类别，对于所述每个类别中的偏移向量进行加权求和，获得的结果称为每个类别的参考偏移向量；所述的加权求和的权重为所述的每个类别中每个偏移向量对应的第二像素的准确程度；将所有类别的参考偏移向量合并为一个高维向量，称为投影偏移特征向量。
3.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的每个第二像素的单应性矩阵和准确程度的获取步骤包括：
对于与每个第二像素的欧式距离最小的预设数量的第一像素，获取所述预设数量的第一像素的所有单应性矩阵的集合，将每个单应性矩阵展平为一维向量，对所述集合中的单应性矩阵进行聚类获得所有类别，获得所有类别中包含单应性矩阵数目最多的类别，计算所述类别中所有单应性矩阵的第一均值，所述第一均值作为每个第二像素的单应性矩阵；
获取所述类别中所有单应性矩阵对应的第一像素集合，计算所述第一像素集合中像素坐标的第二均值，将每个第二像素的坐标与所述第二均值的欧式距离称为每个第二像素的距离因子，然后计算所述类别中所有单应性矩阵与所述第一均值的L2范数，所有所述L2范数的方差称为每个第二像素的分布因子；
每个第二像素的距离因子与每个第二像素的分布因子的乘积的倒数作为每个第二像素的准确程度。
4.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的每个第二像素的第一融合目标图像的获取步骤包括：
获取每个第二像素的投影子图像上所有像素的齐次坐标，将所述的所有像素的齐次坐标与每个第二像素的单应性矩阵相乘，进而获得所有新的像素坐标；
然后获取目标图像的亮度图，获取所述新的像素坐标在目标图像亮度图上对应的灰度值，所述新的像素坐标和对应的灰度值构成每个第二像素的第一融合目标图像。
5.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的每个第二像素的第二融合目标图像的获取步骤包括：
获取每个第二像素的子投影图像的像素坐标，以及在每个第二像素的第一融合目标图像上的、与所述像素坐标对应的像素的灰度值，以所述的像素坐标和灰度值构建每个第二像素的临时图像；
获得每个第二像素的子投影图像与每个第二像素的临时图像的差值，称为差异图像，获取差异图像中最小的灰度值，差异图像中每个像素的灰度值与所述的最小灰度值做差，然后对差异图像进行归一化处理；
利用角点检测算法获得差异图像的所有角点，利用角点匹配算法将差异图像上的所有角点和目标图像上所有角点进行匹配，获得所有匹配成对的角点，然后将所述的所有角点对作为数据样本拟合一个单应性矩阵；
获取所述差异图像上所有像素的齐次坐标，将所述的所有像素的齐次坐标与所述的单应性矩阵相乘，进而获得所有新的像素坐标；
获取所述新的像素坐标在目标图像亮度图上对应的灰度值，所述新的像素坐标和对应的灰度值构成每个第二像素的第二融合目标图像。
6.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的每个第一像素的子投影图像和每个第二像素的子投影图像的获取步骤包括：
以每个第一像素为中心，建立一个矩形预设窗口，获取窗口内的且属于投影图像上的所有像素；如果所述的所有像素中存在属于投影重合区域内的像素时，将所述属于投影重合区域内的像素的像素值设置为零向量；然后获取所述所有像素在投影图像上的像素坐标和对应的像素值，将所述所有像素坐标和像素值构建成的图像的亮度图称为每个第一像素的子投影图像；
同理，以每个第二像素为中心，以预设邻域范围为大小，建立一个矩形窗口，获取窗口内的且属于投影图像上的所有像素，如果所述的所有像素中存在属于投影重合区域外的像素时，将所述属于投影重合区域外的像素的像素值设置为零向量；然后获取所述所有像素在投影图像上的像素坐标和对应的像素值，将所述所有像素坐标和像素值构建成的图像的亮度图称为每个第二像素的子投影图像。
7.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的每个第一像素的单应性矩阵的获取步骤包括：
利用角点检测算法获得每个第一像素的子投影图像的所有角点，同理，利用检点检测算法获得目标图像的所有角点，利用角点匹配算法对每个第一像素的子投影图像上所有角点和目标图像上所有角点进行匹配，获得所有的匹配成对的角点，然后将所有的角点对作为数据样本拟合一个单应性矩阵，该单应性矩阵就是所述的每个第一像素的单应性矩阵。
8.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的投影重合区域的获取步骤包括：
所有摄影机投射白光到屏幕上，利用相近采集屏幕上的白光图像，将图像变换为灰度图，利用大津阈值分割算法对所述灰度图像进行分割，获得所有的连通域，计算每个连通域中所有像素的灰度值的均值，获得所述均值最大的连通域作为投影重合区域；
所述的所有摄影机中其中一个是调整好参数的投影机，其他是尚未调整好参数的投影机。
9.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的神经网络为全连接神经网络，该神经网络的数据集有模拟器生成，神经网络的损失函数为均方差损失函数，根据损失函数结合数据集利用随机梯度下降算法训练神经网络，使得神经网络收敛。
10.根据权利要求1所述的一种基于神经网络的投影融合方法，其特征在于，所述的目标图像是指需要被投影机投影到屏幕上的高分辨率的图像，目标图像上具有丰富的纹理信息；所述的投影图像是指目标图像被投影仪投影到屏幕后，在通过相机采集获得的图像，所述的相机是RGB相机，安装在投影机上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210462371.6A CN115002427A (zh) | 2022-04-28 | 2022-04-28 | 一种基于神经网络的投影融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210462371.6A CN115002427A (zh) | 2022-04-28 | 2022-04-28 | 一种基于神经网络的投影融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115002427A true CN115002427A (zh) | 2022-09-02 |
Family
ID=83024622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210462371.6A Pending CN115002427A (zh) | 2022-04-28 | 2022-04-28 | 一种基于神经网络的投影融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115002427A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060290890A1 (en) * | 2005-06-27 | 2006-12-28 | Seiko Epson Corporation | Projection image position adjustment method |
| CN101727880A (zh) * | 2009-11-23 | 2010-06-09 | 清投视讯(北京)科技有限公司 | 一种真无缝背投式大屏幕显示图像的投影融合方法 |
| US20150254819A1 (en) * | 2014-03-10 | 2015-09-10 | Ricoh Company, Ltd. | Projection image correcting apparatus, method for correcting image to be projected, and program |
| JP2016075883A (ja) * | 2014-10-07 | 2016-05-12 | 株式会社リコー | 投影システム、投影装置、投影方法、及びプログラム |
| US20190219903A1 (en) * | 2018-01-17 | 2019-07-18 | Canon Kabushiki Kaisha | Display control apparatus, image projection system, and control method |
| JP2021061513A (ja) * | 2019-10-04 | 2021-04-15 | キヤノン株式会社 | 装置及び方法、プログラム、記憶媒体 |
| WO2021169334A1 (zh) * | 2020-02-24 | 2021-09-02 | 山东省科学院海洋仪器仪表研究所 | 一种高分辨率图像的宽视角快速拼接方法 |
-
2022
- 2022-04-28 CN CN202210462371.6A patent/CN115002427A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060290890A1 (en) * | 2005-06-27 | 2006-12-28 | Seiko Epson Corporation | Projection image position adjustment method |
| CN101727880A (zh) * | 2009-11-23 | 2010-06-09 | 清投视讯(北京)科技有限公司 | 一种真无缝背投式大屏幕显示图像的投影融合方法 |
| US20150254819A1 (en) * | 2014-03-10 | 2015-09-10 | Ricoh Company, Ltd. | Projection image correcting apparatus, method for correcting image to be projected, and program |
| JP2016075883A (ja) * | 2014-10-07 | 2016-05-12 | 株式会社リコー | 投影システム、投影装置、投影方法、及びプログラム |
| US20190219903A1 (en) * | 2018-01-17 | 2019-07-18 | Canon Kabushiki Kaisha | Display control apparatus, image projection system, and control method |
| JP2021061513A (ja) * | 2019-10-04 | 2021-04-15 | キヤノン株式会社 | 装置及び方法、プログラム、記憶媒体 |
| WO2021169334A1 (zh) * | 2020-02-24 | 2021-09-02 | 山东省科学院海洋仪器仪表研究所 | 一种高分辨率图像的宽视角快速拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| US9438878B2 (en) | Method of converting 2D video to 3D video using 3D object models | |
| US5745668A (en) | Example-based image analysis and synthesis using pixelwise correspondence | |
| US20170180680A1 (en) | Object following view presentation method and system | |
| US11399141B2 (en) | Processing holographic videos | |
| CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN111583116A (zh) | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 | |
| CN105141841B (zh) | 摄像设备及其方法 | |
| WO2001047285A1 (en) | Method and apparatus for calibrating projector-camera system | |
| US11908241B2 (en) | Method for correction of the eyes image using machine learning and method for machine learning | |
| JP4965967B2 (ja) | 映像表示システムの調整システム | |
| CN108665415B (zh) | 基于深度学习的图像质量提升方法及其装置 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN107633537B (zh) | 一种基于投影的摄像头标定方法 | |
| CN108898550A (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| CN115002427A (zh) | 一种基于神经网络的投影融合方法 | |
| US20240104774A1 (en) | Multi-dimensional Object Pose Estimation and Refinement | |
| CN116109681A (zh) | 图像融合方法、装置、电子设备及可读存储介质 | |
| US20210304352A1 (en) | Multi-view consistency regularization for semantic interpretation of equal-rectangular panoramas | |
| JP2005142765A (ja) | 撮像装置及び方法 | |
| US11620765B2 (en) | Automatic detection of a calibration object for modifying image parameters | |
| CN115705660A (zh) | 图像背景生成方法及装置、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |