CN117880643A - 一种摄像头切换方法及系统 - Google Patents

一种摄像头切换方法及系统 Download PDF

Info

Publication number
CN117880643A
CN117880643A CN202410268174.XA CN202410268174A CN117880643A CN 117880643 A CN117880643 A CN 117880643A CN 202410268174 A CN202410268174 A CN 202410268174A CN 117880643 A CN117880643 A CN 117880643A
Authority
CN
China
Prior art keywords
camera
white balance
switching
image
balance parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410268174.XA
Other languages
English (en)
Other versions
CN117880643B (zh
Inventor
孙喧
孙鸣
汤姣姣
王亚琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Funi Digital Technology Co ltd
Original Assignee
Shenzhen Funi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Funi Digital Technology Co ltd filed Critical Shenzhen Funi Digital Technology Co ltd
Priority to CN202410268174.XA priority Critical patent/CN117880643B/zh
Publication of CN117880643A publication Critical patent/CN117880643A/zh
Application granted granted Critical
Publication of CN117880643B publication Critical patent/CN117880643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明涉及一种摄像头切换方法及系统,步骤包括:切换前,根据两个摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,切换过程中,通过监测环境光源的变化数据,利用白平衡参数模型预测计算切换前后画面的白平衡参数,并对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡的突变,同时,利用生成对抗网络构建图像融合模型,将两个摄像头的视频流实时合成,生成连续的视频流。本发明对第二摄像头的白平衡参数依次进行两次调整,不仅可以更好地适应不同情况下的画面切换,提高画面质量和观感连贯性,尤其是当环境光源变化剧烈或者切换前后摄像头特性有显著差异时,还能根据实际环境校正误差,以确保最终的白平衡参数更加准确。

Description

一种摄像头切换方法及系统
技术领域
本发明属于摄像头切换技术领域,尤其涉及一种摄像头切换方法及系统。
背景技术
目前在很多领域都需要执行摄像头切换操作,例如监控系统、视频会议、直播和摄影等领域。这些应用场景都需要在不同视角或者不同场景下捕捉视频,并在需要时进行切换,以满足用户的需求或者提供更丰富的观看体验。
然而,传统技术在摄像头切换过程中可能会存在以下一些问题:在切换不同摄像头时,由于每个摄像头可能使用不同的白平衡参数,导致画面之间的颜色偏差,使得观看者感受到不连贯的画面色彩;当摄像头切换时,环境光源的变化可能导致画面的白平衡参数发生突变,使得画面出现不自然的色彩变化,影响观看体验;摄像头切换时由于画面的不连贯性问题,可能会导致出现画面的跳跃或者闪烁,导致观看者感到不适,降低了观看体验的连贯性和舒适度。
发明内容
本发明提供一种摄像头切换方法及系统,旨在解决上述背景技术提到的问题。
本发明是这样实现的,提供一种摄像头切换方法,步骤包括:
在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配;
摄像头切换过程中,根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡突变;
摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流。
更进一步的,所述根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整的步骤包括:
收集包含不同环境光源和场景的图像数据集,确保数据集涵盖各种光源类型和光照条件,其中,图像数据集中的每张图像包含相应的白平衡参数标记信息及对应的环境光源类型标记和强度信息,光源类型包括自然光、白炽灯光和荧光灯光,光照条件包括明亮和昏暗;
从每张图像中提取特征,提取的特征包括颜色直方图、色彩特征和亮度,并对环境光源信息进行编码,例如将光源类型编码为数字特征。
对提取的特征进行标准化处理并生成特征训练集;
使用特征训练集对模型进行训练,以学习环境光源和白平衡参数之间的关系,得到白平衡参数模型;
当进行摄像头切换时,实时获取切换过程包含环境光源的变化信息的每一帧图像,环境光源的变化信息包括光源类型和强度信息;
将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型,每一帧画面的白平衡参数包括切换前画面的白平衡参数及切换后画面的白平衡参数;
将预测计算得到的切换后画面的白平衡参数与切换前画面的白平衡参数之间的差异进行比较,计算得到白平衡参数补偿值;
将白平衡参数补偿值应用到第二摄像头的白平衡参数上,实现对切换后画面的白平衡参数的调整。
更进一步的,所述将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型的步骤后还包括:
若切换过程画面对应的环境光源类型发生变化,则立即在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理。
更进一步的,所述在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理的步骤包括:
在环境光源类型变化的关键帧之前和之后各添加数帧作为过渡帧;
根据环境光源类型变化前后画面的白平衡参数差异,计算出需要调整的白平衡参数值;
将计算得到的白平衡参数补偿值应用到过渡帧上,以调整其色彩平衡;
将处理过的过渡帧与关键帧周围的图像序列进行融合,以确保在切换时画面的色彩过渡平滑。
更进一步的,所述在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤前还包括:
在系统初始化阶段,获取各摄像头的硬件特性参数,硬件特性参数包括感光元件型号、图像处理芯片型号和色彩滤镜类型;
创建一个硬件特性数据库,用于存储各摄像头的硬件特性参数,硬件特性数据库包括摄像头的唯一标识符以及对应的硬件特性参数;
调取硬件特性数据库中摄像头的唯一标识符及与白平衡相关的硬件特性参数为各摄像头建立参数对应关系表,其中,与白平衡相关的硬件特性参数包括感光元件类型和色彩滤镜类型,参数对应关系表用于动态存储各摄像头的唯一标识符及其硬件特性参数,及用于动态计算并存储两个待切换摄像头之间的白平衡参数差异,白平衡参数差异包括白平衡增益、白平衡偏移和色温补偿。
更进一步的,所述根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤包括:
获取第一摄像头与第二摄像头的唯一标识符;
根据第一摄像头与第二摄像头的唯一标识符,在参数对应关系表中查找第一摄像头与第二摄像头之间的白平衡参数差异;
根据第一摄像头与第二摄像头之间的白平衡参数差异,对第二摄像头的白平衡参数进行动态调整,并对参数对应关系表中第二摄像头的白平衡参数进行更新。
更进一步的,所述摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流的步骤包括:
基于训练数据,并利用生成对抗网络训练一个图像融合模型,图像融合模型的目标是学习用于将输入的第一摄像头和第二摄像头的帧映射到合成的视频帧上,其中,训练数据包括切换过程中第一摄像头和第二摄像头的历史视频帧对;
在摄像头切换过程中,实时获取第一摄像头和第二摄像头的视频流;
将视频流分解成帧,并输入训练好的图像融合模型中;
通过图像融合模型对每一帧图像进行图像融合处理,以将第一摄像头的图像与第二摄像头的图像进行融合;
将实时融合后的视频帧合成为连续的视频流。
更进一步的,所述基于训练数据,并利用生成对抗网络训练一个图像融合模型的步骤包括:
收集历史的若干组摄像头的视频数据,确保视频内容相对应,每组摄像头均包括第一摄像头和第二摄像头;
将视频数据分解成帧,并将每组摄像头的对应帧进行配对作为一个训练样本;
选择适合图像融合任务的生成对抗网络架构,并设计生成对抗网络模型中生成器网络和判别器网络的架构,生成器网络用于接收第一摄像头和第二摄像头的帧作为输入并生成合成的视频帧,判别器网络用于区分生成的视频帧与真实视频帧的差异;
使用对抗损失和内容损失训练生成器网络,对抗损失用于确保生成的图像逼真度,内容损失用于保持生成图像与目标图像的内容一致性;
使用训练集对生成器和判别器网络进行训练,通过优化对抗损失和内容损失来提高生成器网络的性能;
通过随机梯度下降优化算法更新模型参数;
在每个训练周期结束时,使用验证集评估模型的性能,并根据需要调整模型的超参数或架构,最终得到优化后的图像融合模型。
本发明还提供一种摄像头切换系统,用于执行摄像头切换方法,包括:
动态调整模块:用于在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配;
补偿调整模块:用于摄像头切换过程中,根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡突变;
合成模块:用于摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流。
本发明的有益效果在于,与现有技术相比,本发明的摄像头切换方法及系统,本发明在摄像头切换前后,对第二摄像头的白平衡参数依次进行两次调整(分别为基于两个摄像头白平衡参数差异的动态调整、及根据由环境光源的变化数据导致的画面白平衡参数差异进行的补偿调整),不仅可以更好地适应不同情况下的画面切换,提高画面质量和观感连贯性,尤其是当环境光源变化剧烈或者切换前后摄像头特性有显著差异时,还能根据实际环境校正误差,以确保最终的白平衡参数更加准确,从而更好地维护画面的质量,确保画面在切换过程中保持清晰度和色彩准确度,这对于需要高质量视频的场景,如直播、会议等,尤其重要;
其中,摄像头切换前,基于两个摄像头白平衡参数差异的动态调整为第一次调整,可以确保第二摄像头的白平衡参数与第一摄像头尽可能匹配,减少切换时的突变,这样可以防止在切换瞬间出现明显的色彩差异或不适应的色调,使观众感觉到画面更加连贯和自然;
摄像头切换过程中,根据由环境光源的变化数据导致的画面白平衡参数差异进行的补偿调整,是对切换后的画面进行的微调,这样可以更准确地适应环境光源的变化,进一步提高了画面质量和色彩准确度, 第一次调整可能会存在一定的误差,尤其是在处理复杂情况或者突发事件时,第二次调整可以根据实际情况对这些误差进行校正,以确保最终的白平衡参数更加准确,例如,在环境光源类型发生突变或光线突然变暗变亮的情况下,第二次调整可以更好地适应这种变化;
第二次调整是通过白平衡参数模型来实现的,白平衡参数模型能够自动分析图像的色彩信息和环境光源的特性,在每一帧图像上实时进行白平衡参数的预测和计算,这意味着该系统可以根据当前的光照条件和图像特征,立即进行调整,以确保画面的色彩准确性和一致性,根据实时变化的光照条件动态调整白平衡参数,这种动态适应性使得系统能够更好地应对不断变化的光线条件,从而保持画面质量稳定,这种调整也更加精准,能够更好地反映当前场景下的光照和色彩情况,且通过模型的预测计算也使得系统具有更大的灵活性和自主性,能够根据当前情况灵活地进行调整,适应各种不同的拍摄场景和光照条件;
第一摄像头与第二摄像头视频流的合成是由图像融合模型实现的,而基于生成对抗网络架构的图像融合模型可以实现高质量的图像合成,能够生成逼真的合成图像,从而让观众感知不到摄像头切换的瞬间。
附图说明
图1是本发明提供的摄像头切换方法的流程示意图;
图2是本发明提供的摄像头切换系统的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一
参考图1,实施例一提供一种摄像头切换方法,包括步骤S101~S103:
S101,在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配。
需要说明的是,在摄像头切换前,系统会获取第一摄像头和第二摄像头的白平衡参数,如色温、色彩增益等,然后,比较这些参数,并计算出两个摄像头之间的白平衡参数差异,这个差异包括色温偏差、色彩饱和度、亮度等方面的差异。
根据计算得到的白平衡参数差异,系统会对第二摄像头的白平衡参数进行动态调整,调整的方式可以是根据差异值进行线性调整,也可以根据预设的调整模型进行非线性调整,例如,如果第一摄像头的色温较高,而第二摄像头的色温较低,则可以增加第二摄像头的色温值以匹配第一摄像头的色温。
调整过程中,需要考虑调整的平滑性和稳定性,即使白平衡参数发生了调整,也需要确保调整过程的平滑过渡,避免画面出现突变或抖动的情况,以提高观看体验。
摄像头切换前,基于两个摄像头白平衡参数差异的动态调整可以确保第二摄像头的白平衡参数与第一摄像头尽可能匹配,能够减少切换时的突变,这样可以防止在切换瞬间出现明显的色彩差异或不适应的色调,使观众感觉到画面更加连贯和自然。
其中,所述根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤包括:
在系统初始化阶段对第一摄像头与第二摄像头进行硬件特性匹配,并建立两个摄像头之间的参数对应关系表;
在切换摄像头时,根据建立的参数对应关系表动态调整第二摄像头的白平衡参数。
需要说明的是,参数对应关系表用于确保系统能够准确地了解每个摄像头的硬件特性,为后续的白平衡参数动态调整提供了准确的基础数据,还提供了关键的参考数据,确保了系统在切换摄像头时能够准确地进行参数调整,并为后续的白平衡参数动态调整提供了实时的、准确的差异数据,确保了系统能够在切换摄像头时及时、精确地进行参数调整。
进一步,所述在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤前还包括:
在系统初始化阶段,获取各摄像头的硬件特性参数,硬件特性参数包括感光元件型号、图像处理芯片型号和色彩滤镜类型,这些信息可以通过摄像头驱动程序或者相关的硬件接口进行查询获取;
创建一个硬件特性数据库,用于存储各摄像头的硬件特性参数,硬件特性数据库包括摄像头的唯一标识符(如序列号或设备ID)以及对应的硬件特性参数;
调取硬件特性数据库中摄像头的唯一标识符及与白平衡相关的硬件特性参数为各摄像头建立参数对应关系表,其中,与白平衡相关的硬件特性参数包括感光元件类型和色彩滤镜类型,参数对应关系表用于动态存储各摄像头的唯一标识符及其硬件特性参数,及用于动态计算并存储两个待切换摄像头之间的白平衡参数差异,白平衡参数差异包括白平衡增益、白平衡偏移和色温补偿。
需要说明的是,在系统初始化阶段获取各摄像头的硬件特性参数,如感光元件型号、图像处理芯片型号和色彩滤镜类型等,这些信息通过摄像头驱动程序或硬件接口获取,并存储在硬件特性数据库中。目的是为了确保系统能够准确地了解每个摄像头的硬件特性,为后续的白平衡参数动态调整提供准确的基础数据。
根据硬件特性数据库中存储的摄像头的唯一标识符及与白平衡相关的硬件特性参数,建立参数对应关系表,这个表用于动态存储各摄像头的硬件特性参数,并用于计算并存储两个待切换摄像头之间的白平衡参数差异,为后续的白平衡参数动态调整提供了关键的参考数据。
在建立参数对应关系表的基础上,系统会动态计算并存储两个待切换摄像头之间的白平衡参数差异,这些差异包括白平衡增益、白平衡偏移和色温补偿等,为后续的白平衡参数动态调整提供了实时的、准确的差异数据,确保了系统能够在切换摄像头时及时、精确地进行参数调整。
进一步,所述根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤包括:
获取第一摄像头与第二摄像头的唯一标识符;
根据第一摄像头与第二摄像头的唯一标识符,在参数对应关系表中查找第一摄像头与第二摄像头之间的白平衡参数差异;
根据第一摄像头与第二摄像头之间的白平衡参数差异,对第二摄像头的白平衡参数进行动态调整,并对参数对应关系表中第二摄像头的白平衡参数进行更新。
需要说明的是,该步通过获取摄像头的唯一标识符、查询参数对应关系表中的白平衡参数差异、动态调整第二摄像头的白平衡参数,并更新参数对应关系表,实现了在摄像头切换前动态调整白平衡参数,使得切换后画面能够与第一摄像头的画面匹配,从而提高了画面的一致性。
S102,摄像头切换过程中,根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡突变。
需要说明的是,在摄像头切换过程中,实时获取包含环境光源变化信息的图像,这些图像可以通过摄像头捕获。利用实时获取的图像数据,使用预先训练好的白平衡参数模型来实时预测计算切换前后画面的白平衡参数。再根据预测计算得到的切换前后画面的白平衡参数,计算出两者之间的差异,这个差异可以涵盖色温、色彩饱和度、亮度等方面的变化情况。根据预测计算得到的白平衡参数差异,对切换摄像头的白平衡参数进行补偿调整,以确保切换后画面的白平衡与切换前尽可能一致。通过对切换摄像头的白平衡参数进行补偿调整,可以有效减少画面白平衡的突变,这意味着观看者在摄像头切换过程中不会感知到明显的色彩变化或不连续性,提升了看体验。
摄像头切换过程中,根据由环境光源的变化数据导致的画面白平衡参数差异进行的补偿调整,是对切换后的画面进行的微调,这样可以更准确地适应环境光源的变化,进一步提高了画面质量和色彩准确度, 第一次调整可能会存在一定的误差,尤其是在处理复杂情况或者突发事件时,第二次调整可以根据实际情况对这些误差进行校正,以确保最终的白平衡参数更加准确,例如,在环境光源类型发生突变或光线突然变暗变亮的情况下,第二次调整可以更好地适应这种变化;
第二次调整是通过白平衡参数模型来实现的,白平衡参数模型能够自动分析图像的色彩信息和环境光源的特性,在每一帧图像上实时进行白平衡参数的预测和计算,这意味着该系统可以根据当前的光照条件和图像特征,立即进行调整,以确保画面的色彩准确性和一致性,根据实时变化的光照条件动态调整白平衡参数,这种动态适应性使得系统能够更好地应对不断变化的光线条件,从而保持画面质量稳定,这种调整也更加精准,能够更好地反映当前场景下的光照和色彩情况,且通过模型的预测计算也使得系统具有更大的灵活性和自主性,能够根据当前情况灵活地进行调整,适应各种不同的拍摄场景和光照条件;
其中,所述根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整的步骤包括:
收集包含不同环境光源和场景的图像数据集,确保数据集涵盖各种光源类型和光照条件,其中,图像数据集中的每张图像包含相应的白平衡参数标记信息及对应的环境光源类型标记和强度信息,光源类型包括自然光、白炽灯光和荧光灯光,光照条件包括明亮和昏暗;
从每张图像中提取特征,提取的特征包括颜色直方图、色彩特征和亮度,并对环境光源信息进行编码,例如将光源类型编码为数字特征。
对提取的特征进行标准化处理并生成特征训练集;
使用特征训练集对模型进行训练,以学习环境光源和白平衡参数之间的关系,得到白平衡参数模型;
当进行摄像头切换时,实时获取切换过程包含环境光源的变化信息的每一帧图像,环境光源的变化信息包括光源类型和强度信息;
将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型,每一帧画面的白平衡参数包括切换前画面的白平衡参数及切换后画面的白平衡参数;
将预测计算得到的切换后画面的白平衡参数与切换前画面的白平衡参数之间的差异进行比较,计算得到白平衡参数补偿值;
将白平衡参数补偿值应用到第二摄像头的白平衡参数上,实现对切换后画面的白平衡参数的调整。这样做可以确保切换后的画面在色彩上保持连续性和稳定性,避免出现突变或不自然的色彩变化。为了避免画面白平衡突变,可以采用渐变的方式将白平衡参数从切换前的值平滑地过渡到调整后的值,可以逐步增加或减少补偿量,直至达到目标白平衡参数。
需要说明的是,每一帧图像都会依次被输入到已经训练好的白平衡参数模型中。这个模型会根据图像中的色彩和亮度等信息,预测计算出该帧画面的白平衡参数,包括色温、色彩增益等。除了预测白平衡参数,模型还会根据图像特征预测当前帧画面所对应的环境光源类型,如自然光、白炽灯、荧光灯等。
进一步,所述将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型的步骤后还包括:
若切换过程画面对应的环境光源类型发生变化,则立即在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理。
需要说明的是,在预测环境光源类型的过程中,系统会实时监测环境光源类型是否发生变化,如果检测到环境光源类型发生了变化,就意味着出现了关键帧。 一旦检测到环境光源类型变化的关键帧,系统会立即在该帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理,以使得画面的白平衡逐渐过渡到新的环境光源类型下,从而实现画面色彩在环境光源类型变化过程中的平滑过渡。
进一步,所述在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理的步骤包括:
在环境光源类型变化的关键帧之前和之后各添加数帧作为过渡帧;
根据环境光源类型变化前后画面的白平衡参数差异,计算出需要调整的白平衡参数值;
将计算得到的白平衡参数补偿值应用到过渡帧上,以调整其色彩平衡;
将处理过的过渡帧与关键帧周围的图像序列进行融合,以确保在切换时画面的色彩过渡平滑。
需要说明的是, 在环境光源类型变化的关键帧之前和之后,分别添加数帧作为过渡帧,这些过渡帧的数量可以根据需要进行调整,通常越多的过渡帧可以实现更加平滑的色彩过渡效果。
对于添加的过渡帧,根据环境光源类型变化前后画面的白平衡参数差异,计算出需要调整的白平衡参数值,这个差异可以是色温、色彩增益等方面的变化。然后,将计算得到的白平衡参数补偿值应用到过渡帧上,以调整其色彩平衡。通过增加或减少色温、色彩增益等参数,使过渡帧的色彩与环境光源类型变化前后的画面更加一致。
处理过的过渡帧与关键帧周围的图像序列进行融合,以确保在切换时画面的色彩过渡平滑,这个融合过程可以通过淡入淡出等技术来实现,使得过渡帧与关键帧之间的色彩过渡更加自然和连续。
在对过渡帧进行白平衡参数调整时,系统可能会采用平滑过渡的方式,逐渐将参数从旧的环境光源类型调整到新的环境光源类型,而不是突然地改变参数值,这样可以确保画面的色彩过渡更加自然,减少突变的感知。
过渡帧的白平衡校正处理用来确保切换时画面的色彩一致性,通过对过渡帧进行额外的白平衡校正,系统可以在环境光源类型变化时平滑地调整画面的色彩,使观看者感知到的画面过渡更加流畅和自然。
S103,摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流。
需要说明的是,首先,基于生成对抗网络架构构建图像融合模型,生成对抗网络包括生成器和判别器两个主要组件,生成器负责生成合成图像,判别器负责评估生成器生成的图像是否逼真。通过不断地迭代训练,生成器能够生成与真实图像相似的合成图像。
基于生成对抗网络架构构建图像融合模型,该模型接受第一摄像头和第二摄像头的视频流作为输入,并实时合成连续的视频流。图像融合模型的生成器部分将负责将两个摄像头的图像进行融合,以生成连续的、无缝的视频流,
在摄像头切换过程中,系统会通过图像融合模型将第一摄像头和第二摄像头的视频流进行实时合成,能够生成逼真的合成图像,实现高质量的图像合成,从而让观众感知不到摄像头切换的瞬间。并生成一个连续的视频流,其中包含了第一摄像头和第二摄像头的内容,这个视频流会在摄像头切换过程中持续输出,使得观看者能够无缝地观看切换后的画面,不会感到画面的突变或不连续。
其中,所述摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流的步骤包括:
基于训练数据,并利用生成对抗网络训练一个图像融合模型,图像融合模型的目标是学习用于将输入的第一摄像头和第二摄像头的帧映射到合成的视频帧上,其中,训练数据包括切换过程中第一摄像头和第二摄像头的历史视频帧对;
在摄像头切换过程中,实时获取第一摄像头和第二摄像头的视频流;
将视频流分解成帧,并输入训练好的图像融合模型中;
通过图像融合模型对每一帧图像进行图像融合处理,以将第一摄像头的图像与第二摄像头的图像进行融合;
将实时融合后的视频帧合成为连续的视频流。
进一步,所述基于训练数据,并利用生成对抗网络训练一个图像融合模型的步骤包括:
收集历史的若干组摄像头的视频数据,确保视频内容相对应,每组摄像头均包括第一摄像头和第二摄像头;
将视频数据分解成帧,并将每组摄像头的对应帧进行配对作为一个训练样本;
选择适合图像融合任务的生成对抗网络架构,并设计生成对抗网络模型中生成器网络和判别器网络的架构,生成器网络用于接收第一摄像头和第二摄像头的帧作为输入并生成合成的视频帧,判别器网络用于区分生成的视频帧与真实视频帧的差异;
使用对抗损失和内容损失训练生成器网络,对抗损失用于确保生成的图像逼真度,内容损失用于保持生成图像与目标图像的内容一致性;
使用训练集对生成器和判别器网络进行训练,通过优化对抗损失和内容损失来提高生成器网络的性能;
通过随机梯度下降优化算法更新模型参数;
在每个训练周期结束时,使用验证集评估模型的性能,并根据需要调整模型的超参数或架构,最终得到优化后的图像融合模型。
实施例二
参考图2,实施例二提供一种摄像头切换系统,用于执行实施例一的摄像头切换方法,包括:
动态调整模块:用于在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配。
动态调整模块还用于:
在系统初始化阶段,获取各摄像头的硬件特性参数,硬件特性参数包括感光元件型号、图像处理芯片型号和色彩滤镜类型;
创建一个硬件特性数据库,用于存储各摄像头的硬件特性参数,硬件特性数据库包括摄像头的唯一标识符以及对应的硬件特性参数;
调取硬件特性数据库中摄像头的唯一标识符及与白平衡相关的硬件特性参数为各摄像头建立参数对应关系表,其中,与白平衡相关的硬件特性参数包括感光元件类型和色彩滤镜类型,参数对应关系表用于动态存储各摄像头的唯一标识符及其硬件特性参数,及用于动态计算并存储两个待切换摄像头之间的白平衡参数差异,白平衡参数差异包括白平衡增益、白平衡偏移和色温补偿。
动态调整模块还用于:
获取第一摄像头与第二摄像头的唯一标识符;
根据第一摄像头与第二摄像头的唯一标识符,在参数对应关系表中查找第一摄像头与第二摄像头之间的白平衡参数差异;
根据第一摄像头与第二摄像头之间的白平衡参数差异,对第二摄像头的白平衡参数进行动态调整,并对参数对应关系表中第二摄像头的白平衡参数进行更新。
补偿调整模块:用于摄像头切换过程中,根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡突变。
补偿调整模块还用于:
收集包含不同环境光源和场景的图像数据集,确保数据集涵盖各种光源类型和光照条件,其中,图像数据集中的每张图像包含相应的白平衡参数标记信息及对应的环境光源类型标记和强度信息,光源类型包括自然光、白炽灯光和荧光灯光,光照条件包括明亮和昏暗;
从每张图像中提取特征,提取的特征包括颜色直方图、色彩特征和亮度,并对环境光源信息进行编码,例如将光源类型编码为数字特征。
对提取的特征进行标准化处理并生成特征训练集;
使用特征训练集对模型进行训练,以学习环境光源和白平衡参数之间的关系,得到白平衡参数模型;
当进行摄像头切换时,实时获取切换过程包含环境光源的变化信息的每一帧图像,环境光源的变化信息包括光源类型和强度信息;
将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型,每一帧画面的白平衡参数包括切换前画面的白平衡参数及切换后画面的白平衡参数;
将预测计算得到的切换后画面的白平衡参数与切换前画面的白平衡参数之间的差异进行比较,计算得到白平衡参数补偿值;
将白平衡参数补偿值应用到第二摄像头的白平衡参数上,实现对切换后画面的白平衡参数的调整。
补偿调整模块还用于:
若切换过程画面对应的环境光源类型发生变化,则立即在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理。
补偿调整模块还用于:
在环境光源类型变化的关键帧之前和之后各添加数帧作为过渡帧;
根据环境光源类型变化前后画面的白平衡参数差异,计算出需要调整的白平衡参数值;
将计算得到的白平衡参数补偿值应用到过渡帧上,以调整其色彩平衡;
将处理过的过渡帧与关键帧周围的图像序列进行融合,以确保在切换时画面的色彩过渡平滑。
合成模块:用于摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流。
合成模块还用于:
基于训练数据,并利用生成对抗网络训练一个图像融合模型,图像融合模型的目标是学习用于将输入的第一摄像头和第二摄像头的帧映射到合成的视频帧上,其中,训练数据包括切换过程中第一摄像头和第二摄像头的历史视频帧对;
在摄像头切换过程中,实时获取第一摄像头和第二摄像头的视频流;
将视频流分解成帧,并输入训练好的图像融合模型中;
通过图像融合模型对每一帧图像进行图像融合处理,以将第一摄像头的图像与第二摄像头的图像进行融合;
将实时融合后的视频帧合成为连续的视频流。
合成模块还用于:
收集历史的若干组摄像头的视频数据,确保视频内容相对应,每组摄像头均包括第一摄像头和第二摄像头;
将视频数据分解成帧,并将每组摄像头的对应帧进行配对作为一个训练样本;
选择适合图像融合任务的生成对抗网络架构,并设计生成对抗网络模型中生成器网络和判别器网络的架构,生成器网络用于接收第一摄像头和第二摄像头的帧作为输入并生成合成的视频帧,判别器网络用于区分生成的视频帧与真实视频帧的差异;
使用对抗损失和内容损失训练生成器网络,对抗损失用于确保生成的图像逼真度,内容损失用于保持生成图像与目标图像的内容一致性;
使用训练集对生成器和判别器网络进行训练,通过优化对抗损失和内容损失来提高生成器网络的性能;
通过随机梯度下降优化算法更新模型参数;
在每个训练周期结束时,使用验证集评估模型的性能,并根据需要调整模型的超参数或架构,最终得到优化后的图像融合模型。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种摄像头切换方法,其特征在于,步骤包括:
在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配;
摄像头切换过程中,根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡突变;
摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流。
2.根据权利要求1所述的摄像头切换方法,其特征在于,所述根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整的步骤包括:
收集包含不同环境光源和场景的图像数据集,确保数据集涵盖各种光源类型和光照条件,其中,图像数据集中的每张图像包含相应的白平衡参数标记信息及对应的环境光源类型标记和强度信息,光源类型包括自然光、白炽灯光和荧光灯光,光照条件包括明亮和昏暗;
从每张图像中提取特征,提取的特征包括颜色直方图、色彩特征和亮度,并对环境光源信息进行编码;
对提取的特征进行标准化处理并生成特征训练集;
使用特征训练集对模型进行训练,以学习环境光源和白平衡参数之间的关系,得到白平衡参数模型;
当进行摄像头切换时,实时获取切换过程包含环境光源的变化信息的每一帧图像,环境光源的变化信息包括光源类型和强度信息;
将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型,每一帧画面的白平衡参数包括切换前画面的白平衡参数及切换后画面的白平衡参数;
将预测计算得到的切换后画面的白平衡参数与切换前画面的白平衡参数之间的差异进行比较,计算得到白平衡参数补偿值;
将白平衡参数补偿值应用到第二摄像头的白平衡参数上,实现对切换后画面的白平衡参数的调整。
3.根据权利要求2所述的摄像头切换方法,其特征在于,所述将实时获取的切换过程包含环境光源的变化信息的每一帧图像依次输入到训练好的白平衡参数模型中,以通过白平衡参数模型对切换过程每一帧画面的白平衡参数依次进行预测计算,并依次输出切换过程每一帧画面对应的环境光源类型的步骤后还包括:
若切换过程画面对应的环境光源类型发生变化,则立即在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理。
4.根据权利要求3所述的摄像头切换方法,其特征在于,所述在环境光源类型变化的关键帧周围添加过渡帧,并对过渡帧进行额外的白平衡校正处理的步骤包括:
在环境光源类型变化的关键帧之前和之后各添加数帧作为过渡帧;
根据环境光源类型变化前后画面的白平衡参数差异,计算出需要调整的白平衡参数值;
将计算得到的白平衡参数补偿值应用到过渡帧上,以调整其色彩平衡;
将处理过的过渡帧与关键帧周围的图像序列进行融合,以确保在切换时画面的色彩过渡平滑。
5.根据权利要求1所述的摄像头切换方法,其特征在于,所述在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤前还包括:
在系统初始化阶段,获取各摄像头的硬件特性参数,硬件特性参数包括感光元件型号、图像处理芯片型号和色彩滤镜类型;
创建一个硬件特性数据库,用于存储各摄像头的硬件特性参数,硬件特性数据库包括摄像头的唯一标识符以及对应的硬件特性参数;
调取硬件特性数据库中摄像头的唯一标识符及与白平衡相关的硬件特性参数为各摄像头建立参数对应关系表,其中,与白平衡相关的硬件特性参数包括感光元件类型和色彩滤镜类型,参数对应关系表用于动态存储各摄像头的唯一标识符及其硬件特性参数,及用于动态计算并存储两个待切换摄像头之间的白平衡参数差异,白平衡参数差异包括白平衡增益、白平衡偏移和色温补偿。
6.根据权利要求5所述的摄像头切换方法,其特征在于,所述根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配的步骤包括:
获取第一摄像头与第二摄像头的唯一标识符;
根据第一摄像头与第二摄像头的唯一标识符,在参数对应关系表中查找第一摄像头与第二摄像头之间的白平衡参数差异;
根据第一摄像头与第二摄像头之间的白平衡参数差异,对第二摄像头的白平衡参数进行动态调整,并对参数对应关系表中第二摄像头的白平衡参数进行更新。
7.根据权利要求1所述的摄像头切换方法,其特征在于,所述摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流的步骤包括:
基于训练数据,并利用生成对抗网络训练一个图像融合模型,图像融合模型的目标是学习用于将输入的第一摄像头和第二摄像头的帧映射到合成的视频帧上,其中,训练数据包括切换过程中第一摄像头和第二摄像头的历史视频帧对;
在摄像头切换过程中,实时获取第一摄像头和第二摄像头的视频流;
将视频流分解成帧,并输入训练好的图像融合模型中;
通过图像融合模型对每一帧图像进行图像融合处理,以将第一摄像头的图像与第二摄像头的图像进行融合;
将实时融合后的视频帧合成为连续的视频流。
8.根据权利要求1所述的摄像头切换方法,其特征在于,所述基于训练数据,并利用生成对抗网络训练一个图像融合模型的步骤包括:
收集历史的若干组摄像头的视频数据,确保视频内容相对应,每组摄像头均包括第一摄像头和第二摄像头;
将视频数据分解成帧,并将每组摄像头的对应帧进行配对作为一个训练样本;
选择适合图像融合任务的生成对抗网络架构,并设计生成对抗网络模型中生成器网络和判别器网络的架构,生成器网络用于接收第一摄像头和第二摄像头的帧作为输入并生成合成的视频帧,判别器网络用于区分生成的视频帧与真实视频帧的差异;
使用对抗损失和内容损失训练生成器网络,对抗损失用于确保生成的图像逼真度,内容损失用于保持生成图像与目标图像的内容一致性;
使用训练集对生成器和判别器网络进行训练,通过优化对抗损失和内容损失来提高生成器网络的性能;
通过随机梯度下降优化算法更新模型参数;
在每个训练周期结束时,使用验证集评估模型的性能,并根据需要调整模型的超参数或架构,最终得到优化后的图像融合模型。
9.一种摄像头切换系统,其特征在于,包括:
动态调整模块:用于在将第一摄像头切换至第二摄像头的步骤前,根据第二摄像头与第一摄像头的白平衡参数差异,动态调整第二摄像头的白平衡参数,使其与第一摄像头的白平衡匹配;
补偿调整模块:用于摄像头切换过程中,根据实时获取的包含环境光源变化信息的图像,通过白平衡参数模型实时预测计算切换前后画面的白平衡参数,并根据预测计算得到的切换前后画面的白平衡参数之间的差异对切换摄像头的白平衡参数进行补偿调整,以减少画面白平衡突变;
合成模块:用于摄像头切换过程中,基于生成对抗网络架构构建图像融合模型,并通过图像融合模型将第一摄像头与第二摄像头的视频流进行实时合成,以生成一个连续的视频流。
CN202410268174.XA 2024-03-09 2024-03-09 一种摄像头切换方法及系统 Active CN117880643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410268174.XA CN117880643B (zh) 2024-03-09 2024-03-09 一种摄像头切换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410268174.XA CN117880643B (zh) 2024-03-09 2024-03-09 一种摄像头切换方法及系统

Publications (2)

Publication Number Publication Date
CN117880643A true CN117880643A (zh) 2024-04-12
CN117880643B CN117880643B (zh) 2024-05-17

Family

ID=90577631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410268174.XA Active CN117880643B (zh) 2024-03-09 2024-03-09 一种摄像头切换方法及系统

Country Status (1)

Country Link
CN (1) CN117880643B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277480A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 白平衡同步方法、装置和终端设备
CN110460826A (zh) * 2019-08-12 2019-11-15 Oppo广东移动通信有限公司 白平衡处理方法、处理装置和移动终端
CN111314683A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 白平衡调节方法及相关设备
CN111492653A (zh) * 2017-09-30 2020-08-04 深圳传音通讯有限公司 相机白平衡快速调整方法、装置及计算机可读存储介质
CN116095476A (zh) * 2021-11-05 2023-05-09 荣耀终端有限公司 摄像头的切换方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277480A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 白平衡同步方法、装置和终端设备
CN111492653A (zh) * 2017-09-30 2020-08-04 深圳传音通讯有限公司 相机白平衡快速调整方法、装置及计算机可读存储介质
CN110460826A (zh) * 2019-08-12 2019-11-15 Oppo广东移动通信有限公司 白平衡处理方法、处理装置和移动终端
CN111314683A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 白平衡调节方法及相关设备
CN116095476A (zh) * 2021-11-05 2023-05-09 荣耀终端有限公司 摄像头的切换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117880643B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN109219844B (zh) 在视频优先级与图形优先级之间转换
CN105409203B (zh) 用于产生场景稳定元数据的系统和方法
KR100878767B1 (ko) 사용자 색선호성 데이터 생성 방법
KR101405032B1 (ko) 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
JP6081360B2 (ja) 改善された画像の符号化及び/又は復号のための装置、方法並びに画像データ記憶媒体
JP7084984B2 (ja) トーンカーブ最適化方法および関連するビデオエンコーダとビデオデコーダ
KR102176398B1 (ko) 영상처리장치 및 영상처리방법
CN110050292B (zh) 用于调整高动态范围图像的视频处理曲线的系统和方法
CN103621084A (zh) 用于生成图像编码信号的方法和装置
CN101783871A (zh) 图像补偿设备
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
CN110770787B (zh) 高效端到端单层逆向显示管理编码
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
US20060288400A1 (en) System and method for display control
JP3794749B2 (ja) 映像信号符号化装置
US20060159340A1 (en) Digital image photographing apparatus and method
CN117880643B (zh) 一种摄像头切换方法及系统
CN104205795A (zh) 色彩分级预览方法和装置
CN115152212A (zh) 图像处理中的联合前向和后向神经网络优化
JP2023537939A (ja) ハイダイナミックレンジビデオ用のピクチャメタデータ
KR101903428B1 (ko) 연관 이미지간 컬러 보정 시스템 및 보정방법
KR100461018B1 (ko) 디지털 텔레비젼의 자연영상 생성장치 및 방법
WO2024042979A1 (ja) 画像ファイル作成方法、及び画像ファイル作成装置
WO2024042974A1 (ja) 画像ファイル作成方法、及び画像ファイル作成装置
EP4246988A1 (en) Image synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant