CN110555822B - 一种面向实时视频融合的颜色一致性调整方法 - Google Patents

一种面向实时视频融合的颜色一致性调整方法 Download PDF

Info

Publication number
CN110555822B
CN110555822B CN201910835272.6A CN201910835272A CN110555822B CN 110555822 B CN110555822 B CN 110555822B CN 201910835272 A CN201910835272 A CN 201910835272A CN 110555822 B CN110555822 B CN 110555822B
Authority
CN
China
Prior art keywords
model
camera
real
color consistency
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910835272.6A
Other languages
English (en)
Other versions
CN110555822A (zh
Inventor
周颐
孟明
游景帝
周忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bigview Technology Co ltd
Original Assignee
Beijing Bigview Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bigview Technology Co ltd filed Critical Beijing Bigview Technology Co ltd
Priority to CN201910835272.6A priority Critical patent/CN110555822B/zh
Publication of CN110555822A publication Critical patent/CN110555822A/zh
Application granted granted Critical
Publication of CN110555822B publication Critical patent/CN110555822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Architecture (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种面向实时视频融合的颜色一致性调整方法，(1)对于相邻相机，分别使用各自的相机视锥对三维模型进行几何求交计算，求得共有三维重叠面片，进一步计算其在对应图像中的二维投影区域；(2)对于全体相机，根据投影区域比例关系，构建相机拓扑，使用颜色直方图的链式调整策略，对拓扑中所有相机画面进行优化调整，获取颜色一致的整体视觉效果；(3)由于计算资源的限制，无法快速对所有的相机画面进行颜色一致性，因此在(2)的基础上提供一种实时颜色一致性优化调度。本发明能够为基于视频投影的虚实融合提供颜色一致性纹理，生成无视觉拼缝的高质量纹理网格，还能够用于提升图像/视频拼接的效果。

Description

一种面向实时视频融合的颜色一致性调整方法
技术领域
本发明涉及增强虚拟环境技术领域，更具体的讲，涉及一种面向实时视频融合的颜色一致性调整方法。
背景技术
增强虚拟环境(AVE)是用于在三维虚拟环境中以任意视角展示多路图片或者视频流的一项技术，该项技术将视频画面与三维模型融合显示，在城市漫游、交通分析、视频监控等一体化监控系统领域有着重要的应用。融合的方法通常分为两类，基于视频投影的视频虚实融合方法和基于单幅照片建模的视频虚实融合方法。前者需要高度精确的三维模型并且虚实对准困难、纹理常见畸变扭曲。基于图像建模的融合方法在效率和效果上具有更明显优势。在真实的监控场景中，不同的相机、相同相机不同的参数或者光照的变化都会使得捕获的图像/视频存在颜色差异。采用原始采集的图像/视频数据作为纹理进行融合渲染，会产生明显的颜色变化梯度、鬼影等视觉伪像。为此，研究图像/视频序列的颜色矫正方法，基于矫正的纹理进行视频的融合渲染，提高用户的视觉体验。
图像/视频的颜色矫正通常用于提高图像拼接、多视图立体重建、基于图像渲染的质量。颜色矫正方法通常包括两种方式，一是调整相机的参数，如增益、伽玛、亮度、曝光时间、光圈和白平衡等参数，但该方式需要具有专业技能的人工调整，代价高、效率低。另外一种方式是通过图像处理方法调整捕获的图像/视频。在图像/视频拼接应用中，通常采用多波段融合技术调整重叠纹理区域的颜色，但是该方法难以处理不同光照条件下骤变的颜色差异。考虑到上述问题，进行虚实融合场景中模型纹理颜色一致性优化，通过三维重叠区域纹理的提取获得更加准确、鲁棒的用于颜色一致优化的区域。根据场景特点与效率需求，选取不同的调整策略，最后通过触发机制实现视频流的实时颜色一致性优化。
本发明前，已经有人对图像/视频序列颜色一致性优化做了相关研究。颜色变换的思想最早是由Reinhard等人发表论文“Color transfer between images”(IEEE ComputerGraphics and Applications(CGA)，21(5)：34-41，2001)提出的，颜色变换的目标是将一个图像的颜色特点传播给另一个图像，以该方法为基础，后续展开了许多相关的工作。Yamamoto等人发表论文“Color correction for multi-view video using energyminimization of view networks”(International Journal of Automation andComputing(2008)234-245)提出用于基于图像渲染的多视图颜色一致性调整方法，该方法采用能量最小化方式计算LookUpTable。HaCohen等人发表论文“Optimizing colorconsistency in photo collections”(ACM Transactions on Graphics(TOG)(2013)38)提出用于现实生活中个人相册颜色一致性自动调整的方法，该方法采用全局优化二次曲线的方式得到用于颜色变换的映射模型，但是该方法通常处理的包含大量共享内容数据集合。上述的研究都是基于全帧内容或SIFT特征生成颜色一致性对应，并未考虑几何信息，该类方法难以满足颜色一致性优化精确、鲁棒的特点。接着，Tian等人发表论文“Histogram-Based Color Transfer for Image Stitching”(IEEE Imaging，2017)提出基于直方图的用于拼接的颜色变换方法，该方法首先获取源图像与目标图像的重叠区域，接着提取重叠区域对应的直方图，之后在三个通道上分别采用全局最小化目标函数计算颜色映射模型。但是该方法值限于在图像对上进行颜色变换。本发明提出了一种面向实时视频融合的颜色一致性调整方法，通过计算三维重叠区域重复考虑几何信息，在此基础上对图像/视频序列进行链式色调调整，最后通过调度相机连通子图的划分加速颜色一致性优化的过程，能够对实时视频流进行颜色一致性调整，提升用户整理的视觉体验。
发明内容
本发明的目的是：克服现有技术的鲁棒性差，提供一种面向实时视频融合的颜色一致性调整方法，能够解决AVE场景中拼接模型纹理不一致的问题，还能够提高用户观察场景的视觉感受的目的。
本发明的技术解决方案：一种面向实时视频融合的颜色一致性调整方法，在三维重叠区域纹理提取中，提取相邻模型重叠的模型面片得到对应的图像中的纹理区域；在颜色一致性优化中，采用链式颜色一致性调整策略；在实时颜色一致性优化调度中，分别考虑场景中相机的实时调度与实时视频颜色一致性优化调度，通过构建与划分相机拓扑图加快颜色调整过程。
首先是提取相邻模型的三维重叠区域；接着计算重叠区域对应的图像中纹理的直方图；之后在直方图的基础上进行颜色一致性优化；随后调度相机并构建相机拓扑图实现可见实时视频流的实时颜色一致性调整。在本发明中引入了一种基于参数模型的颜色一致性优化和一种相机拓扑图构建与划分的方法。
三维重叠区域的提取主要是在AVE中计算视频模型之间重叠的网格面片，通过三维区域的获得计算其在图像中对应的二维区域。提取的三维重叠区域指的是两个对应的相机都可见的区域。
颜色一致性优化主要是在重叠区域纹理直方图的基础上对颜色一致性进行链式调整。链式调整通过寻找连通子图中的最短路径作为传播路线，相邻两个模型之间的颜色调整采用直方图线性匹配的方式。
实时颜色一致性优化调度主要是为实现实时视频的颜色一致性优化。其包括相机的实时调度，相机拓扑图构建与划分和实时视频流颜色一致性优化调度。相机的实时调度用于实时处理场景中加载/卸载的相机，为后续相机拓扑图构建提供基础。在可见相机的基础上构建相机拓扑图，每个相机作图的顶点，相机间重叠比率作为边的权重。通过连通子图的划分达到图剪纸的效果，加快颜色一致性优化的过程，实现实时、准确的颜色调整。
本发明的一种面向实时视频融合的颜色一致性调整方法，包括：视频重叠区域的纹理提取步骤、颜色一致性优化步骤和颜色一致性优化的实时调度步骤；其中：
(1)视频重叠区域的纹理提取步骤：用于计算相邻相机的两模型的三维重叠区域对应的纹理；在基于图像建模的虚实融合场景中，首先提取视频背景帧，之后通过相机注册、视频网格模型建模和视频拼接，生成完整视频模型；最后将实时视频流直接投影到视频模型上，通过相机视锥相交的方法计算视频模型的三维重叠区域，进一步计算得到视频重叠区域对应的纹理，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj；
(2)颜色一致性优化步骤：用于实现相邻相机的两模型纹理颜色的一致性；首先，在视频重叠区域的纹理Ri和Rj提取基础上，计算Ri、Rj在RGB三个通道上的颜色直方图Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj_B}；再通过颜色直方图的调整实现相邻相机的两模型纹理颜色一致性的调整；
(3)颜色一致性优化调度步骤：用于通过颜色一致性优化调度策略实现监控场景多个相机的实时颜色一致性调整；首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型；再通过实时调度的相机构建相机拓扑图，并划分成连通子图；最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。
所述步骤(1)进一步实现步骤为：
(sc1)分别提取模型i与模型j对应的相机视锥Fi，Fj；
(sc2)分别提取模型i与模型j的模型面片 与/>分别为模型i与模型j的第ni与nj个面片，ni与nj分别为模型i与模型j的面片总个数；
(sc3)计算步骤(sc1)中Fi在步骤(sc2)的可见多边形集合 为模型j面片在i相机视锥中的可见区域个数，其中xm∈(1，nj)；
(sc4)计算步骤(sc3)中VPi，j→i在Fj中的可见多边形 为最终裁剪的重叠区域，其中xn∈(1，ni)为模型i面片在j相机视锥中的可见区域个数，xm∈(1，nj)；
(sc5)计算(sc4)中三维重叠区域，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj，其中Ri与Rj分别为(sc4)中VPi→j，j→i模型i面片和模型j面片在图像中对应的二维区域。
所述步骤(2)进一步实现步骤如下：
(lc1)在视频重叠区域的纹理提取的基础上，分别计算Ri、Rj在RGB三个通道上的直方图，记为Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj_B}；
(lc2)调整(lc1)步骤中的直方图，采用线性参数映射模型分别调整每个通道的直方图，求得映射参数，实现相邻相机的两模型纹理颜色一致性的调整。
所述步骤(3)进一步实现步骤如下：
首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型，其步骤为：
(cd1)加载已有的场景；
(cd2)在步骤(cd1)的场景中加载或卸载相机模型；
(cd3)递归遍历步骤(cd2)中所有加载的相机模型，并添加到可见相机模型列表Lvis；
之后通过实时调度的相机构建相机拓扑图，并划分成连通子图，其步骤为：
(cp1)对步骤(cd3)Lvis中的可见相机模型进行分组，得到对应的分组列表Gvis＝{g1，g2，....，gm}，其中gm表示第m组相机模型；
(cp2)构建步骤(cp1)相机分组对应的拓扑图其中/>表示第i组相机模型对应的相机拓扑图；
(cp3)为加速颜色一致性优化过程，将步骤(cp2)中每组相机拓扑图划分成若干个连通子图，其中/>为第i组相机模型划分的第n个连通子图；
(cp4)寻找步骤(cp3)中每个连通子图的最短路径，在每个连通子图上进行颜色一致性优化；
最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。
所述步骤(sc3)包括步骤如下：
(sc3.1)选取模型j中一个面片，计算其与视锥Fi的相交部分；
(sc3.2)判断相交的结果，若相交点数大于0且相交公共部分为空间面，则获取i的最优视点位置VPli，并设置VPli对应的包围盒
(sc3.3)循环判断包围盒与每个空间面的包含关系，若包含个数大于等于3，则该空间面片为可见面片；
(sc3.4)重复步骤(sc3.3)直到模型j对应所有面片遍历结束，得到Fi的可见多边形集合为模型j面片在i相机视锥中的可见区域个数，其中xm∈(1，nj)；
所述步骤(sc4)包括步骤如下：
(sc4.1)选取VPi，j→i中模型i对应面片，计算其与视锥Fj的相交部分；
(sc4.2)判断步骤(sc4.1)中相交的结果，若相交点数大于0且相交公共部分为空间面，则获取j的最优视点位置VPlj，并设置VPlj对应的包围盒
(sc4.3)循环判断步骤(sc4.2)中包围盒与每个空间面的包含关系，若包含个数大于等于3，则该空间面片为可见面片；
(sc4.4)重复步骤(sc4.3)直到模型i对应所有面片遍历结束，得到Fj中的可见多边形为最终裁剪的重叠区域，其中xn∈(1，ni)为模型i面片在j相机视锥中的可见区域个数，xm∈(1，nj)；
所述步骤(sc5)包括步骤如下：
(sc5.1)获取可见区域VPi→j，j→i对应的ROI节点集合；
(sc5.2)根据相机i，计算步骤(sc5.1)ROI中其对应的图像中二维区域Ri；
(sc5.3)根据相机j，计算步骤(sc5.1)ROI中其对应的图像中二维区域Rj。
所述步骤(lc2)包括步骤如下：
(lc2.1)分别计算Hi与Hj中三个通道对应的均值，分别记为Meani与Meanj；
(lc2.2)通过步骤(lc2.1)中求得的Hi均值计算Hi在不同映射系数下的映射矩阵；
(lc2.3)计算出(lc2.2)中与(lc2.1)中Hj方差距离最小的映射矩阵及其对应的映射系数k；
(lc2.4)通过步骤(lc2.1)中求得的均值与步骤(lc2.3)中寻找到的映射系数计算Hi到Hj的映射矩阵，线性参数映射模型为mapt＝(t-Meani)*k+Meanj，其中t为通道。
所述步骤(cp1)包括步骤如下：
(cpl.1)在步骤(cd3)中获得可见相机列表Lvis，选取其中一个可见相机，判断该相机父节点所属的图层与分组中第一个相机父节点所属的图层是否一致；
(cp1.2)重复步骤(cp1.1)的判断操作，若一致，则该相机归属到相应的分组，若都不一致则该相机作为新一个分组的起始相机；
(cp1.3)重复步骤(cp1.1)与(cp1.2)，直到遍历完Lvis中所有的可见相机，得到对应的分组列表Gvis＝{g1，g2，....，gm}，其中gm表示第m组相机模型；
所述步骤(cp2)包括步骤如下：
(cp2.1)在步骤(cp1.3)中求出可见相机的对应的分组，选取其中一个分组构建其对应的相机拓扑图；
(cp2.2)每个相机拓扑图由两部分组成(V，E)，V表示该分组中所有的相机节点，E表示连接两个相机节点的边；
(cp2.3)相机拓扑中通过两模型重叠比率乘积mr确定其是否连接，若mr小于重叠阈值，则将其设置为两模型不相交，否则记为相交，并且两相机节点间边的权重为1/mr；
(cp2.4)重复步骤(cp2.1)、(cp2.2)和(cp2.3)，直到每个相机分组都构建出对应的相机拓扑图为止，相机分组对应的拓扑图其中/>表示第i组相机模型对应的相机拓扑图；
所述步骤(cp3)包括步骤如下：
(cp3.1)在步骤(cp2.4)中求得每组可见相机对应的相机拓扑图，为加快实时视频颜色一致性优化过程，划分相机拓扑图到更精细的连通子图；
(cp3.2)选取其中一个相机拓扑图，将其中每个节点记为一个子图；
(cp3.3)循环遍历该拓扑图中的每个相机节点，取出其所对应的所有边；
(cp3.4)根据边的连接情况合并相机节点归属的连通子图；
(cp3.5)重复步骤(cp3.2)、(cp3.3)和(cp3.4)，直到所有相机拓扑图都被划分为精细的连通子图为止，得到对应的其中/>为第i组相机模型划分的第n个连通子图；
所述步骤(cp4)包括步骤如下：
(cp4.1)已知步骤(cp3.5)中连通子图集合中第t连通子图/>其中/>为该连通子图包含的相机节点，/>为对应的边，初始时，最短路径集合Lpath中只包含以每个相机节点为起点的起始点；
(cp4.2)选择步骤(cp4.1)中的一个起始点Starti，相机节点之间的距离为图中边的权重(重叠比率)，计算/>(除去起始点)中与起始点距离最短的相机节点作为下一个相机节点；
(cp4.3)重复步骤(cp4.2)，直到遍历完(除去起始点)中所有的顶点，求得Starti对应的最短路径；
(cp4.4)重复步骤(cp4.2)与(cp4.3)，直到以中每个点作为起始点求得对应的最短路径为止。
本发明与现有技术相比的优点在于：
(1)本发明首先在重叠纹理获取过程中，采用相机视锥相交的方式计算相邻相机的两模型的三维重叠区域，进一步计算视频重叠区域对应的纹理。该计算方式将几何关系加入颜色一致性优化过程中，调整结果更加准确，相邻相机色差更小。
(2)本发明中全新的颜色一致性调度算法，通过相机的实时调度，相机拓扑图构建与划分和实时视频流颜色一致性优化调度，能够有效的应对监控场景中大量相机视频对调色速度的要求，可以实现实时的颜色一致性调整。
本发明实现虚实融合场景中实时视频融合的颜色一致性展示，进一步提升用户观察场景的视觉感受。
附图说明
图1为基于图像建模拼接的实时视频颜色一致性优化方法的总体示意图；
图2重叠区域计算图；
图3图构建划分流程图，左图为划分前，右图为划分后。
具体实施方法
下面结合附图对本发明做进一步详细的描述，在介绍本发明的具体实施方法之前，首先对一些基本概念进行说明：
(1)虚实融合：将虚拟的三维模型与真实的图片或视频融合显示；
(2)图像建模：采集真实场景中的图像，基于单幅图像场景建模；
(3)三维重叠区域：基于图像建模得到的模型称之为视频模型，每个模型由多个网格面片组成，相邻模型重叠的网格面片即为三维重叠区域；
(4)通道：完整图像的表示形式，图像中每个像素点由RGB三个值描述，图像对应R、G、B三个通道；
(5)直方图：用于统计图像区域各个强度所占的比例，每一个颜色通道对应不同的直方图分布；
(6)相机拓扑图：场景中可见相机节点转化得到的一张带权无向图；
(7)边的权重：表示路径沿这条边移动的代价或消耗；
视频重叠区域的纹理提取步骤为：
(1)分别提取模型i与模型j对应的相机视锥Fi，Fj；
(2)分别提取模型i与模型j的模型面片 与/>分别为模型i与模型j的第ni与nj个面片，ni与nj分别为模型f与模型j的面片总个数；
(3)计算Fi的可见多边形集合为模型j面片在f相机视锥中的可见区域个数，其中xm∈(1，nj)；
(4)计算VPi，j→i在Fj中的可见多边形 为最终裁剪的重叠区域，其中xn∈(1，ni)为模型f面片在j相机视锥中的可见区域个数，xm∈(1，nj)；
(5)计算三维重叠区域，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj，其中Ri与Rj分别为中VPi→j，j→i模型i面片和模型j面片在图像中对应的二维区域，分别将模型f与模型j对应的纹理转化为Mat格式，记为mi与mj分别对应图像I与J。
颜色一致性优化步骤：
(lc1)在视频重叠区域的纹理提取的基础上，分离图像的RGB三个通道，设定直方图的bin数目与取值范围，分别计算Ri、Rj在每个通道对应的直方图，记为Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj_B}；
(lc2)调整(1c1)步骤中的直方图，采用线性参数映射模型分别调整每个通道的直方图，求得映射参数，实现相邻相机的两模型纹理颜色一致性的调整。
颜色一致性优化调度步骤：
首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型，其步骤为：
(cd1)加载已有的场景；
(cd2)在步骤(cd1)的场景中加载或卸载相机模型；
(cd3)递归遍历步骤(cd2)中所有加载的相机模型，并添加到可见相机模型列表Lvis；
之后通过实时调度的相机构建相机拓扑图，并划分成连通子图，其步骤为：
(cp1)对步骤(cd3)Lvis中的可见相机模型进行分组，得到对应的分组列表Gvis＝{g1，g2，....，gm}，其中gm表示第m组相机模型；
(cp2)构建步骤(cp1)相机分组对应的拓扑图其中/>表示第f组相机模型对应的相机拓扑图；
(cp3)为加速颜色一致性优化过程，将步骤(cp2)中每组相机拓扑图划分成若干个连通子图，其中/>为第i组相机模型划分的第n个连通子图；
(cp4)寻找步骤(cp3)中每个连通子图的最短路径，在每个连通子图上进行颜色一致性优化；
最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。
如图1所示，本发明的总体示意图，首先在基于图像建模的虚实融合场景中，提取相邻相机的两模型f与j对应的视频重叠区域纹理Ri和Rj，在此基础对相邻相机的两模型纹理的颜色一致性进行优化，通过颜色一致性优化调度策略实现监控场景多个相机的实时颜色一致性调整。
在视频重叠区域的纹理提取时，首先提取视频背景帧，之后通过相机注册、视频网格模型建模和视频拼接，生成完整视频模型。最后将实时视频流直接投影到视频模型上，通过相机视锥相交的方法计算视频模型的三维重叠区域对应的纹理，如图2所示。该步骤包括：分别提取模型i与模型j对应的cam1，cam2相机的视锥Fi，Fj，接着分别提取模型i与模型j的模型面片 与/>分别为模型i与模型j的第ni与nj个面片，ni与nj分别为模型i与模型j的面片总个数；之后计算Fi的可见多边形集合/> 为模型j面片在i相机视锥中的可见区域个数，其中xm∈(1，nj)，接着计算VPi，j→i在Fj中的可见多边形VPi→j，j→i＝为最终裁剪的重叠区域，其中xn∈(1，ni)为模型i面片在j相机视锥中的可见区域个数，xm∈(1，nj)；最后计算三维重叠区域如图2中灰色区域所示，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj，其中Ri与Rj分别为(sc4)中VPi→j，j→i模型i面片和模型j面片在图像中对应的二维区域；此时，这些二维区域为重叠区域进行下一步的一致性优化计算。
在颜色一致性进行优化过程中，首先，在视频重叠区域的纹理Ri和Rj提取基础上，计算Ri、Rj在RGB三个通道上的颜色直方图Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj_B}。之后，采用线性参数映射模型分别调整相邻相机的两模型重叠区域每个通道的直方图，求得映射参数，通过求得的参数实现相邻相机的两模型纹理颜色一致性的调整。
在颜色一致性优化调度过程中，首先，加载已有的场景，递归遍历所有加载的相机模型，并添加到可见相机模型列表Lvis，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型。之后对可见相机模型进行分组，得到对应的分组列表Gvis＝{g1，g2，....，gm}，构建相机分组对应的拓扑图 其中/>表示第i组相机模型对应的相机拓扑图，如图3中左图所示，其中1-9表示相机节点，边的权重d11-d23为三维区域重叠比率。每组相机拓扑图划分成若干个连通子图，如图3中右图所示的两个连通子图，/> 其中/>为第i组相机模型划分的第n个连通子图，寻找每个连通子图的最短路径，在每个连通子图上进行颜色一致性优化。最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。
总之，本发明能够为基于视频投影的虚实融合提供颜色一致性纹理，生成无视觉拼缝的高质量纹理网格，还能够用于提升图像/视频拼接的效果。
本发明中未详细阐述的部分属于本领域技术人员的公知技术。
最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明在基于三维重叠区域提取重叠纹理和基于重叠区域直方图颜色一致性实时优化的方法下，还可以做出若干改进或等同变换，这些改进和等同变换也应视为本发明的保护范围。

Claims (6)

1.一种面向实时视频融合的颜色一致性调整方法，其特征在于，包括：视频重叠区域的纹理提取步骤、颜色一致性优化步骤和颜色一致性优化的实时调度步骤；其中：
(1)视频重叠区域的纹理提取步骤：用于计算相邻相机的两模型的三维重叠区域对应的纹理；在基于图像建模的虚实融合场景中，首先提取视频背景帧，之后通过相机注册、视频网格模型建模和视频拼接，生成完整视频模型；最后将实时视频流直接投影到视频模型上，通过相机视锥相交的方法计算视频模型的三维重叠区域，进一步计算得到视频重叠区域对应的纹理，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj；
(2)颜色一致性优化步骤：用于实现相邻相机的两模型纹理颜色的一致性；首先，在视频重叠区域的纹理Ri和Rj提取基础上，计算Ri、Rj在RGB三个通道上的颜色直方图Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj_B}；再通过颜色直方图的调整实现相邻相机的两模型纹理颜色一致性的调整；
(3)颜色一致性优化的实时调度步骤：用于通过颜色一致性优化调度策略实现监控场景多个相机的实时颜色一致性调整；首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型；再通过实时调度的相机构建相机拓扑图，并划分成连通子图；最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化的实时调度。
2.根据权利要求1所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(1)进一步实现步骤为：
(sc1)分别提取模型i与模型j对应的相机视锥Fi，Fj；
(sc2)分别提取模型i与模型j的模型面片 与/>分别为模型i与模型j的第ni与nj个面片，ni与nj分别为模型i与模型j的面片总个数；
(sc3)计算步骤(scl)中Fi在步骤(sc2)的可见多边形集合 为模型j面片在i相机视锥中的可见区域个数，其中xm∈(1，nj)；
(sc4)计算步骤(sc3)中VPi，j→i在Fj中的可见多边形 为最终裁剪的重叠区域，其中xn∈(1，ni)为模型i面片在j相机视锥中的可见区域个数，xm∈(1，nj)；
(sc5)计算(sc4)中三维重叠区域，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj，其中Ri与Rj分别为(sc4)中VPi→j，j→i模型i面片和模型j面片在图像中对应的二维区域。
3.根据权利要求1所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(2)进一步实现步骤如下：
(lc1)在视频重叠区域的纹理提取的基础上，分别计算Ri、Rj在RGB三个通道上的直方图，记为Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj-B}；
(1c2)调整(lc1)步骤中的直方图，采用线性参数映射模型分别调整每个通道的直方图，求得映射参数，实现相邻相机的两模型纹理颜色一致性的调整。
4.根据权利要求1所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(3)进一步实现步骤如下：
首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型，其步骤为：
(cd1)加载已有的场景；
(cd2)在步骤(cd1)的场景中加载或卸载相机模型；
(cd3)递归遍历步骤(cd2)中所有加载的相机模型，并添加到可见相机模型列表Lvis；
之后通过实时调度的相机构建相机拓扑图，并划分成连通子图，其步骤为：
(cp1)对步骤(cd3)Lvis中的可见相机模型进行分组，得到对应的分组列表Gvis＝{g1，g2，....，gm}，其中gm表示第m组相机模型；
(cp2)构建步骤(cp1)相机分组对应的拓扑图其中/>表示第i组相机模型对应的相机拓扑图；
(cp3)为加速颜色一致性优化过程，将步骤(cp2)中每组相机拓扑图划分成若干个连通子图，其中/>为第i组相机模型划分的第n个连通子图；
(cp4)寻找步骤(cp3)中每个连通子图的最短路径，在每个连通子图上进行颜色一致性优化；
最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。
5.根据权利要求2所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(sc3)包括步骤如下：
(sc3.1)选取模型j中一个面片，计算其与视锥Fi的相交部分；
(sc3.2)判断相交的结果，若相交点数大于0且相交公共部分为空间面，则获取i的最优视点位置VPli，并设置VPli对应的包围盒
(sc3.3)循环判断包围盒与每个空间面的包含关系，若包含个数大于等于3，则该空间面片为可见面片；
(sc3.4)重复步骤(sc3.3)直到模型j对应所有面片遍历结束，得到Fi的可见多边形集合为模型j面片在i相机视锥中的可见区域个数，其中xm∈(1，nj)；
所述步骤(sc4)包括步骤如下：
(sc4.1)选取VPi，j→i中模型i对应面片，计算其与视锥Fj的相交部分；
(sc4.2)判断步骤(sc4.1)中相交的结果，若相交点数大于0且相交公共部分为空间面，则获取j的最优视点位置VPlj，并设置VPlj对应的包围盒
(sc4.3)循环判断步骤(sc4.2)中包围盒与每个空间面的包含关系，若包含个数大于等于3，则该空间面片为可见面片；
(sc4.4)重复步骤(sc4.3)直到模型i对应所有面片遍历结束，得到Fj中的可见多边形为最终裁剪的重叠区域，其中xn∈(1，ni)为模型i面片在j相机视锥中的可见区域个数，xm∈(1，nj)；
所述步骤(sc5)包括步骤如下：
(sc5.1)获取可见区域VPi→j，j→i对应的ROI节点集合；
(sc5.2)根据相机i，计算步骤(sc5.1)ROI中其对应的图像中二维区域Ri；
(sc5.3)根据相机j，计算步骤(sc5.1)ROI中其对应的图像中二维区域Rj。
6.根据权利要求3所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(lc2)包括步骤如下：
(lc2.1)分别计算Hi与Hj中三个通道对应的均值，分别记为Meani与Meanj；
(lc2.2)通过步骤(lc2.1)中求得的Hi均值计算Hi在不同映射系数下的映射矩阵；
(lc2.3)计算出(lc2.2)中与(lc2.1)中Hj方差距离最小的映射矩阵及其对应的映射系数k；
(lc2.4)通过步骤(lc2.1)中求得的均值与步骤(lc2.3)中寻找到的映射系数计算Hi到Hj的映射矩阵，线性参数映射模型为mapt＝(t-Meani)*k+Meanj，其中t为通道。
CN201910835272.6A 2019-09-05 2019-09-05 一种面向实时视频融合的颜色一致性调整方法 Active CN110555822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910835272.6A CN110555822B (zh) 2019-09-05 2019-09-05 一种面向实时视频融合的颜色一致性调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910835272.6A CN110555822B (zh) 2019-09-05 2019-09-05 一种面向实时视频融合的颜色一致性调整方法

Publications (2)

Publication Number Publication Date
CN110555822A CN110555822A (zh) 2019-12-10
CN110555822B true CN110555822B (zh) 2023-08-29

Family

ID=68738989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910835272.6A Active CN110555822B (zh) 2019-09-05 2019-09-05 一种面向实时视频融合的颜色一致性调整方法

Country Status (1)

Country Link
CN (1) CN110555822B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593049B (zh) * 2021-07-27 2023-08-04 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN115409953B (zh) * 2022-11-02 2023-03-28 汉斯夫(杭州)医学科技有限公司 基于多相机颜色一致性的颌面重建方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
EP2816803A1 (en) * 2013-06-21 2014-12-24 Thomson Licensing Method and processor-controlled machine for color calibration of images of a multi-view or stereoscopic image
CN105957111A (zh) * 2016-04-27 2016-09-21 武汉大学 序列遥感影像的色调一致性校正方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
EP2816803A1 (en) * 2013-06-21 2014-12-24 Thomson Licensing Method and processor-controlled machine for color calibration of images of a multi-view or stereoscopic image
CN105957111A (zh) * 2016-04-27 2016-09-21 武汉大学 序列遥感影像的色调一致性校正方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于3DGMM的多视点视频直方图颜色校正;张倩等;《电视技术》;20150202(第03期);全文 *

Also Published As

Publication number Publication date
CN110555822A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN103019643B (zh) 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质
CN106462944A (zh) 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN109891880B (zh) 通过机器学习技术改进2d至3d的自动转换质量的方法
CN111047510A (zh) 一种基于标定的大视场角图像实时拼接方法
US10834379B2 (en) 2D-to-3D video frame conversion
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN112991458B (zh) 一种基于体素的快速三维建模方法及系统
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN110555822B (zh) 一种面向实时视频融合的颜色一致性调整方法
Xu et al. A general texture mapping framework for image-based 3D modeling
WO2017059620A1 (zh) 用于led显示屏的图像处理方法和装置
CN111462030A (zh) 多图像融合的立体布景视觉新角度构建绘制方法
CN113538569B (zh) 一种弱纹理物体位姿估计方法和系统
CN108090877A (zh) 一种基于图像序列的rgb-d相机深度图像修复方法
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
WO2022217470A1 (en) Hair rendering system based on deep neural network
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN114463521A (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
Woodford et al. On New View Synthesis Using Multiview Stereo.
Musialski et al. Interactive Multi-View Facade Image Editing.
EP4150560B1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
CN110147809A (zh) 图像处理方法及装置、存储介质及图像设备
JP7405702B2 (ja) 仮想視点レンダリング装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant