CN114638771B - 基于混合模型的视频融合方法及系统 - Google Patents
基于混合模型的视频融合方法及系统 Download PDFInfo
- Publication number
- CN114638771B CN114638771B CN202210236725.5A CN202210236725A CN114638771B CN 114638771 B CN114638771 B CN 114638771B CN 202210236725 A CN202210236725 A CN 202210236725A CN 114638771 B CN114638771 B CN 114638771B
- Authority
- CN
- China
- Prior art keywords
- video
- videos
- shooting
- angle
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000002156 mixing Methods 0.000 claims abstract description 9
- 238000003491 array Methods 0.000 claims abstract description 5
- 239000002131 composite material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提出基于混合模型的视频融合方法及系统，属于视频融合技术领域。系统包括多个摄像机阵列、预设时段设定子系统、拍摄角度调节子系统、视频合成角度计算子系统、分组子系统、视频融合子系统以及对比显示子系统。方法包括基于视频混合模型将多个不同角度的视频分组后，将每组中包含的视频进行融合，获得多个分组融合视频，并将多个分组融合视频在同一个显示区域同时显示。本发明还提出实现所述方法的计算机可读存储介质。本发明的技术方案能够实现摄像机阵列拍摄的不同角度视频的混合分组后的视频融合，并基于融合结果调节摄像机阵列的参数状态。
Description
技术领域
本发明属于视频融合技术领域，尤其涉及一种基于混合模型的视频融合方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。
背景技术
视频融合技术一般指将多个由不同视频采集设备采集的关于某场景或模型的图像序列视频融合，以生成一个新的关于此场景的视频场景或模型。在实际实现中，视频融合通常需要配置多个摄像头同时对包含预定追踪目标或者标准参考目标的区域进行拍摄，分别获得多个摄像头拍摄的多个不同角度视频后执行视频融合以增强显示效果。
在特定的视频场合，例如视频追踪、焦点追踪直播(球赛直播)等，需要布置多个摄像头自动的对包含目标对象(目标人物、球或者其他比赛器具)进行拍摄追踪获得多个不同视频，然后对不同的视频进行融合后展现为直播画面；同时，考虑了目标对象所在的场景范围，摄像头针对目标对象还需要保持一定的角度(避免目标对象一直出现在画面正中央或者一直处于画面的同一个位置)。因此，获得的多个不同视频的角度通常在不断变化。
如何针对这种多摄像头(称摄像头阵列)拍摄得到的多个不同角度的视频进行视频融合，确保直播画面的美感的同时，考虑数据传输流畅性以及摄像头状态调节的适配性和跟踪性，成为本领域技术人员关注的问题。
现有的视频融合技术大多只是针对视频融合本身进行，并没有考虑角度问题，尤其没有考虑摄像机的状态调节问题。
发明内容
为解决上述技术问题，本发明提出一种基于混合模型的视频融合方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。
在本申请的第一个方面，提供基于混合模型的视频融合方法，所述方法包括如下步骤：
S100：获得多个不同拍摄角度的视频；
S200：将所述多个不同拍摄角度的视频分为至少两组，所述至少两组包括第一组和第二组，每组中至少包括两个不同拍摄角度的视频；
S300：将每组中包含的至少两个不同拍摄角度的视频进行融合，获得多个分组融合视频；
S400：将所述多个分组融合视频在同一个显示区域同时显示；
其中，所述步骤S200基于视频混合模型将所述多个不同拍摄角度的视频分为至少两组；
所述视频混合模型对视频进行分组时基于不同视频的拍摄角度以及不同拍摄角度之间的角度差进行。
在本发明的技术方案中，所述拍摄角度表征当前拍摄的摄像头中心线与拍摄场景中包含的目标对象的几何中心与摄像头中心连线的夹角。
作为进一步的改进，在所述步骤S400之后，还包括如下步骤：
S500：计算所述在同一个显示区域同时显示的所述多个分组融合视频的帧间一致性，
若所述帧间一致性小于预设值，则返回步骤S100。
具体的，所述步骤S100中获得的每一个视频的拍摄角度按秒动态变化，但是所述多个不同角度的视频的每一帧均包含目标对象。
所述步骤S200基于视频混合模型将所述多个不同角度的视频分为至少两组，具体包括：
S201：计算第一预设时段内每一个视频的合成拍摄角度；
S202：计算每两个视频的合成拍摄角度之间的视频一致性；
S203：若所述视频一致性满足第一预设条件，则将所述两个视频分到同一组；
否则，若所述视频一致性满足第二预设条件，则将所述两个视频分到不同组。
在本发明的第二个方面，还提出一种基于混合模型的视频融合系统，用于实现第一个方面所述的方法。
在结构上，所述系统包括：
多个摄像机阵列，每个摄像机阵列中的每一个摄像机的拍摄角度可调节；
预设时段设定子系统，所述预设时段设定子系统用于设定时长t；
拍摄角度调节子系统，用于调节每一个摄像机的拍摄角度，所述拍摄角度表征每个摄像机的镜头中心线与目标对象的几何中心的夹角；
视频合成角度计算子系统，用于每一个摄像机在所述预设时段内拍摄的每一个视频的合成拍摄角度；
分组子系统，用于基于不同视频的合成拍摄角度以及不同合成拍摄角度之间的角度差将在所述预设时段内拍摄的多个视频进行分组；
视频融合子系统，用于将每个分组中包含的至少两个不同角度的视频进行融合，获得多个分组融合视频；
对比显示子系统，用于将所述多个分组融合视频在同一个显示区域同时对比显示。
其中，每个摄像机阵列中的每一个摄像机的拍摄帧率可调节。
具体的，所述系统还包括帧率调节子系统，所述帧率调节子系统用于调节所述每个摄像机的拍摄帧率。
其中，所述调节包括：
设定所述摄像机在所述设定时长t内的拍摄帧率的上限值和下限值；
所述设定时长t为N秒，N为大于2的整数；
在所述设定时长t内，所述摄像机的拍摄帧率在所述上限值和所述下限值之间逐秒递减，或者，所述摄像机的拍摄帧率在所述下限值和所述上限值之间逐秒递增。
本发明的上述方法可以通过计算机设备自动化实现。
具体的，在本发明的第三个方面，提供视频融合设备，所述设备包括处理器和存储器，所述存储器上存储有计算机可执行程序指令，通过所述处理器执行所述可执行程序指令，用于实现前述第一个方面所述的方法。
进一步的，在本发明的第四个方面，本发明可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，前述第一个方面所述的方法。
同样的，在本发明的第五个方面，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机可读存储介质，通过处理器执行所述程序，从而实现前述第一个方面所述的方法。
本发明的技术方案，在针对多个摄像机拍摄得到多个不同角度视频进行融合时，充分考虑了不同角度视频的角度变化和帧率变化；在进行分组时将同一预定范围内的视频融合为一组，其他的融合为另一组，并且能够在同一个显示区域同时对比显示，从而针对重点目标人物或者目标对象直播时产生的较好的视觉效应；同时，在视频融合后还可以基于融合效果对相机状态参数进行自适应反馈调节，从而形成闭环的全自动反馈过程，达到自学习能力。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于混合模型的视频融合方法的流程示意图；
图2是本发明再一个优选实施例的一种基于混合模型的视频融合方法的流程示意图；
图3是图1或图2所述实施例中步骤S200的具体实现方式示意图；
图4是本发明中最小像素区域面积的区域示意图；
图5是本发明中相机中心线与最小像素区域的几何中心的夹角示意图；
图6是本发明一个实施例的一种基于混合模型的视频融合系统的部分结构模块示意图；
图7是本发明再一个优选实施例的一种基于混合模型的视频融合系统的部分结构模块示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，图1是本发明一个实施例的一种基于混合模型的视频融合方法的流程示意图。
在图1中，所述方法包括步骤S100-步骤S400，各个步骤具体实现如下：
S100：获得多个不同角度的视频；
S200：将所述多个不同角度的视频分为至少两组，所述至少两组包括第一组和第二组，每组中至少包括两个不同角度的视频；
S300：将每组中包含的至少两个不同角度的视频进行融合，获得多个分组融合视频；
S400：将所述多个分组融合视频在同一个显示区域同时显示；
其中，所述步骤S200基于视频混合模型将所述多个不同角度的视频分为至少两组；
所述视频混合模型对视频进行分组时基于不同视频的拍摄角度以及不同拍摄角度之间的角度差进行。
作为更具体的实施例，所述步骤S100中获得的每一个视频的拍摄角度按秒动态变化；
所述多个不同角度的视频的每一帧均包含目标对象；
在此基础上，参见图3，所述步骤S200基于视频混合模型将所述多个不同角度的视频分为至少两组，具体包括：
S201：计算第一预设时段内每一个视频的合成拍摄角度；
S202：计算每两个视频的合成拍摄角度之间的视频一致性；
S203：若所述视频一致性满足第一预设条件，则将所述两个视频分到同一组；
否则，若所述视频一致性满足第二预设条件，则将所述两个视频分到不同组。
更具体的，所述第一预设时段为t秒，视频Vi在第k秒的拍摄帧率为Nk帧/秒；t为大于2的整数；
视频Vi在第k秒的拍摄角度为anglek；
k＝t0,t0+1,t0+2,…t0+(t-1),t0+t；
t0为所述第一预设时段的计时起点；
则步骤S201按照如下方式计算视频Vi在第一预设时段内的合成拍摄角度angle(t)i：
所述步骤S202计算每两个视频的合成拍摄角度之间的视频一致性，具体包括：
按照如下方式计算视频Vi和视频Vj在第一预设时段t秒内的合成拍摄角度之间的视频一致性Vij：
视频Vi在第k秒的拍摄帧率为Nk帧/秒；视频Vj在第M秒的拍摄帧率为Nm帧/秒；
angle(t)i为视频Vi在第一预设时段内的合成拍摄角度；
angle(t)j为视频Vj在第一预设时段内的合成拍摄角度；
所述Nk、Nm在所述第一预设时段t秒内随时间增大逐渐增加或者逐渐减少。
在图1基础上，参见图2。图2是本发明再一个优选实施例的一种基于混合模型的视频融合方法的流程示意图。
在图2中，所述方法还包括：
在所述步骤S400之后，还包括如下步骤：
S500：计算所述在同一个显示区域同时显示的所述多个分组融合视频的帧间一致性，
若所述帧间一致性小于预设值，则返回步骤S100。
具体的，所述帧间一致性按照如下方式计算：
其中，Fij为第i、第j个分组融合视频的帧间一致性；
Area(i)、Area(j)分别为第i、第j个分组融合视频中获得的时间同步关键帧中包含目标对象的最小像素区域面积；
pix(i)、pix(j)为第i、第j个分组融合视频中获得的时间同步关键帧的分辨率。
在本发明的各个实施例中，所述拍摄角度表征当前拍摄的摄像头中心线与拍摄场景中包含的目标对象的几何中心与摄像头中心连线的夹角。
优选的，所述拍摄角度表征当前拍摄的摄像头中心线与拍摄场景中包含的目标对象的最小像素区域的几何中心与摄像头中心连线的夹角。
接下来图4-图5分别示意性的解释了上述夹角与最小像素区域的示意图。
在图4中，示意性的示出了某个摄相机拍摄的包含目标对象的某视频帧图像。
作为示意性的例子，图4所述视频帧图像包括5×6＝30个像素区域，图中表示为1-30号像素区域，假设每个像素区域的面积为1。
最小像素区域可以是根据当前屏幕分辨率确定的该视频帧图像的最小分块单位。
基于此，图4中，所述目标对象在所述视频帧图像中共涉及14、15-16(图中被遮盖)、20、21-22(图中被遮盖)、以及9-10共计8个像素区域。
因此，拍摄场景中包含的目标对象的最小像素区域的最小像素区域面积为8。
即包含所述目标对象的最小像素区域为所述目标对象涉及的所有最小像素区域的个数。
作为另一个优选，可以考虑更多的邻域最小像素区域，即在上述8个像素区域基础上，认为8号像素区域也为所述标准参考目标涉及的所有最小像素区域，从而构成3×3的最小像素区域。
上述实施例即包含所述目标对象的最小像素区域为所述目标对象涉及的所有最小像素区域以及部分邻域像素区域构成的a×b规格的最小像素区域，a、b均为大于1的正整数。
接下来参见图5。
在图5中，示出每个相机的中心线、包含所述目标对象的最小像素区域的几何中心以及每个光场相机的可调节拍摄范围(预设范围)、以及当前拍摄的摄像头中心线与拍摄场景中包含的目标对象的几何中心与摄像头中心连线的夹角，所述夹角称为拍摄角度。
在具体实现中，所述夹角采用弧度作为单位。
在图1-图5基础上，参见图6。图6是本发明一个实施例的一种基于混合模型的视频融合系统的部分结构模块示意图。
在图6中，基于混合模型的视频融合系统包括多个摄像机阵列、预设时段设定子系统、拍摄角度调节子系统、视频合成角度计算子系统、分组子系统、视频融合子系统以及对比显示子系统。
在具体功能上，所述多个摄像机阵列中的每个摄像机阵列中的每一个摄像机的拍摄角度可调节；并且每一个摄像机的拍摄帧率可调节。
更具体的，所述系统还包括帧率调节子系统(图6未示出)，所述帧率调节子系统用于调节所述每个摄像机的拍摄帧率。
其中，所述调节包括：
设定所述摄像机在所述设定时长t内的拍摄帧率的上限值和下限值；
所述设定时长t为N秒，N为大于2的整数；
在所述设定时长t内，所述摄像机的拍摄帧率在所述上限值和所述下限值之间逐秒递减，或者，所述摄像机的拍摄帧率在所述下限值和所述上限值之间逐秒递增。
在图6中，所述预设时段设定子系统用于设定时长t；
拍摄角度调节子系统用于调节每一个摄像机的拍摄角度，所述拍摄角度表征每个摄像机的镜头中心线与目标对象的几何中心的夹角；
视频合成角度计算子系统用于每一个摄像机在所述预设时段内拍摄的每一个视频的合成拍摄角度；
分组子系统用于基于不同视频的合成拍摄角度以及不同合成拍摄角度之间的角度差将在所述预设时段内拍摄的多个视频进行分组；
视频融合子系统用于将每个分组中包含的至少两个不同角度的视频进行融合，获得多个分组融合视频；
对比显示子系统用于将所述多个分组融合视频在同一个显示区域同时对比显示。
更具体的，若某个摄像机在设定时长t秒内的第k秒的拍摄帧率为Nk，则该摄像机在设定时长t秒内的拍摄的视频Vi的合成拍摄角度angle(t)i计算如下：
其中，t为大于2的整数；
视频Vi在第k秒的拍摄角度为anglek；t0为所述预设时段的计时起点。
在图6基础上，进一步参见图7。
图7所述系统除包括图6外，还进一步帧间一致性计算模块，用于计算在所述同一个显示区域同时对比显示的多个分组融合视频的帧间一致性；
所述帧间一致性按照如下方式计算：
其中，Fij为第i、第j个分组融合视频的帧间一致性；
Area(i)、Area(j)分别为第i、第j个分组融合视频中获得的时间同步关键帧中包含目标对象的最小像素区域面积；
pix(i)、pix(j)为第i、第j个分组融合视频中获得的时间同步关键帧的分辨率。
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。同样的，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述技术方案。
因此更多的实施例包括一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机可执行程序，所述处理器被配置为执行上述方法的各个步骤。
本发明的技术方案，在针对多个摄像机拍摄得到多个不同角度视频进行融合时，充分考虑了不同角度视频的角度变化和帧率变化；在进行分组时将同一预定范围内的视频融合为一组，其他的融合为另一组，并且能够在同一个显示区域同时对比显示，从而针对重点目标人物或者目标对象直播时产生的较好的视觉效应；同时，在视频融合后还可以基于融合效果对相机状态参数进行自适应反馈调节，从而形成闭环的全自动反馈过程，达到自学习能力。
需要注意的是，本发明可以解决多个技术问题或者达到相应的技术效果，但是并不要求本发明的每一个实施例均解决所有技术问题或者达到所有的技术效果，单独解决某一个或者某几个技术问题、获得一个或多个改进效果的某个实施例同样构成单独的技术方案。
本发明未特别明确的部分模块结构或者技术术语，以现有技术记载的内容为准。例如关键帧、同步、融合等概念。举例来说，关键帧可以是包含参考目标的连续帧中的某一帧或者采用其他定义等，同步为时间同步(相同)，所有“预设条件”均可以根据经验(预先)设定，本发明不对此做出特别限定。
本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。
Claims (9)
1.一种基于混合模型的视频融合方法，其特征在于，所述方法包括如下步骤：
S100：获得多个不同角度的视频；
S200：将所述多个不同角度的视频分为至少两组，所述至少两组包括第一组和第二组，每组中至少包括两个不同角度的视频；
S300：将每组中包含的至少两个不同角度的视频进行融合，获得多个分组融合视频；
S400：将所述多个分组融合视频在同一个显示区域同时显示；
其中，所述步骤S200基于视频混合模型将所述多个不同角度的视频分为至少两组；
所述视频混合模型对视频进行分组时基于不同视频的拍摄角度以及不同拍摄角度之间的角度差进行；
所述步骤S200基于视频混合模型将所述多个不同角度的视频分为至少两组，具体包括：
S201：计算第一预设时段内每一个视频的合成拍摄角度；
S202：计算每两个视频的合成拍摄角度之间的视频一致性；
S203：若所述视频一致性满足第一预设条件，则将所述两个视频分到同一组；
否则，若所述视频一致性满足第二预设条件，则将所述两个视频分到不同组；
所述步骤S202计算每两个视频的合成拍摄角度之间的视频一致性，具体包括：
按照如下方式计算视频Vi和视频Vj在第一预设时段t秒内的合成拍摄角度之间的视频一致性Vij：
t0为所述第一预设时段t的计时起点；
视频Vi在第k秒的拍摄帧率为Nk帧/秒；视频Vj在第m秒的拍摄帧率为Nm帧/秒；
angle(t)i为视频Vi在第一预设时段内的合成拍摄角度；
angle(t)j为视频Vj在第一预设时段内的合成拍摄角度；
所述Nk、Nm在所述第一预设时段t秒内随时间增大逐渐增加或者逐渐减少。
2.如权利要求1所述的一种基于混合模型的视频融合方法，其特征在于，
所述方法还包括：
在所述步骤S400之后，还包括如下步骤：
S500：计算所述在同一个显示区域同时显示的所述多个分组融合视频的帧间一致性，若所述帧间一致性小于预设值，则返回步骤S100；
所述帧间一致性按照如下方式计算：
其中，Fij为第i、第j个分组融合视频的帧间一致性；
Area(i)、Area(j)分别为第i、第j个分组融合视频中获得的时间同步关键帧中包含目标对象的最小像素区域面积；
pix(i)、pix(j)为第i、第j个分组融合视频中获得的时间同步关键帧的分辨率。
3.如权利要求1所述的一种基于混合模型的视频融合方法，其特征在于，
所述步骤S100中获得的每一个视频的拍摄角度按秒动态变化；
所述多个不同角度的视频的每一帧均包含目标对象。
4.如权利要求3所述的一种基于混合模型的视频融合方法，其特征在于，
所述第一预设时段为t秒，视频Vi在第k秒的拍摄帧率为Nk帧/秒；t为大于2的整数；视频Vi在第k秒的拍摄角度为anglek；
k＝t0,t0+1,t0+2,…t0+(t-1),t0+t；
t0为所述第一预设时段的计时起点；
则步骤S201按照如下方式计算视频Vi在第一预设时段内的合成拍摄角度angle(t)i：
5.一种基于混合模型的视频融合系统，其特征在于，所述系统包括：
多个摄像机阵列，每个摄像机阵列中的每一个摄像机的拍摄角度可调节；
预设时段设定子系统，所述预设时段设定子系统用于设定时长t；
拍摄角度调节子系统，用于调节每一个摄像机的拍摄角度，所述拍摄角度表征每个摄像机的镜头中心线与目标对象的几何中心的夹角；
视频合成角度计算子系统，用于每一个摄像机在所述预设时段内拍摄的每一个视频的合成拍摄角度；
分组子系统，用于基于视频混合模型将在所述预设时段内拍摄的多个视频进行分组,具体包括：
计算第一预设时段内每一个视频的合成拍摄角度；
计算每两个视频的合成拍摄角度之间的视频一致性；
若所述视频一致性满足第一预设条件，则将所述两个视频分到同一组；
否则，若所述视频一致性满足第二预设条件，则将所述两个视频分到不同组；
所述计算每两个视频的合成拍摄角度之间的视频一致性，具体包括：
按照如下方式计算视频Vi和视频Vj在第一预设时段t秒内的合成拍摄角度之间的视频一致性Vij：
t0为所述第一预设时段t的计时起点；
视频Vi在第k秒的拍摄帧率为Nk帧/秒；视频Vj在第M秒的拍摄帧率为Nm帧/秒；
angle(t)i为视频Vi在第一预设时段内的合成拍摄角度；
angle(t)j为视频Vj在第一预设时段内的合成拍摄角度；
所述Nk、Nm在所述第一预设时段t秒内随时间增大逐渐增加或者逐渐减少；
视频融合子系统，用于将每个分组中包含的至少两个不同角度的视频进行融合，获得多个分组融合视频；
对比显示子系统，用于将所述多个分组融合视频在同一个显示区域同时对比显示。
6.如权利要求5所述的一种基于混合模型的视频融合系统，其特征在于：
每个摄像机阵列中的每一个摄像机的拍摄帧率可调节。
7.如权利要求5所述的一种基于混合模型的视频融合系统，其特征在于：
若某个摄像机在设定时长t秒内的第k秒的拍摄帧率为Nk，则该摄像机在设定时长t秒内的拍摄的视频Vi的合成拍摄角度angle(t)i计算如下：
其中，t为大于2的整数；
视频Vi在第k秒的拍摄角度为anglek；t0为所述预设时段的计时起点。
8.如权利要求5所述的一种基于混合模型的视频融合系统，其特征在于：
还包括帧间一致性计算模块，用于计算在所述同一个显示区域同时对比显示的多个分组融合视频的帧间一致性；
所述帧间一致性按照如下方式计算：
其中，Fij为第i、第j个分组融合视频的帧间一致性；
Area(i)、Area(j)分别为第i、第j个分组融合视频中获得的时间同步关键帧中包含目标对象的最小像素区域面积；
pix(i)、pix(j)为第i、第j个分组融合视频中获得的时间同步关键帧的分辨率。
9.一种计算机可读介质，所述计算机可读介质上存储有计算机程序指令，通过处理器执行所述计算机程序指令，用于实现权利要求1-4任一项所述的方法的全部步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236725.5A CN114638771B (zh) | 2022-03-11 | 2022-03-11 | 基于混合模型的视频融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236725.5A CN114638771B (zh) | 2022-03-11 | 2022-03-11 | 基于混合模型的视频融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114638771A CN114638771A (zh) | 2022-06-17 |
| CN114638771B true CN114638771B (zh) | 2022-11-29 |
Family
ID=81947507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210236725.5A Active CN114638771B (zh) | 2022-03-11 | 2022-03-11 | 基于混合模型的视频融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638771B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104994369A (zh) * | 2013-12-04 | 2015-10-21 | 中兴通讯股份有限公司 | 一种图像处理方法、用户终端、图像处理终端及系统 |
| CN107197318A (zh) * | 2017-06-19 | 2017-09-22 | 深圳市望尘科技有限公司 | 一种基于多摄像头光场拍摄的实时自由视点直播方法 |
| CN109558781A (zh) * | 2018-08-02 | 2019-04-02 | 北京市商汤科技开发有限公司 | 一种多视角视频识别方法及装置、设备和存储介质 |
| CN110602400A (zh) * | 2019-09-17 | 2019-12-20 | Oppo（重庆）智能科技有限公司 | 一种视频拍摄方法、装置及计算机可读存储介质 |
| CN112367474A (zh) * | 2021-01-13 | 2021-02-12 | 清华大学 | 一种自适应光场成像方法、装置及设备 |
| CN112365397A (zh) * | 2020-11-20 | 2021-02-12 | 天津七所精密机电技术有限公司 | 一种二维视频信息与三维地理信息融合的方法 |
| CN112616017A (zh) * | 2020-12-15 | 2021-04-06 | 深圳市普汇智联科技有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法和系统 |
| CN113660456A (zh) * | 2021-07-12 | 2021-11-16 | 无锡安科迪智能技术有限公司 | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3004565B1 (fr) * | 2013-04-12 | 2016-11-11 | Kolor | Fusion de plusieurs flux video |
-
2022
- 2022-03-11 CN CN202210236725.5A patent/CN114638771B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104994369A (zh) * | 2013-12-04 | 2015-10-21 | 中兴通讯股份有限公司 | 一种图像处理方法、用户终端、图像处理终端及系统 |
| CN107197318A (zh) * | 2017-06-19 | 2017-09-22 | 深圳市望尘科技有限公司 | 一种基于多摄像头光场拍摄的实时自由视点直播方法 |
| CN109558781A (zh) * | 2018-08-02 | 2019-04-02 | 北京市商汤科技开发有限公司 | 一种多视角视频识别方法及装置、设备和存储介质 |
| CN110602400A (zh) * | 2019-09-17 | 2019-12-20 | Oppo（重庆）智能科技有限公司 | 一种视频拍摄方法、装置及计算机可读存储介质 |
| CN112365397A (zh) * | 2020-11-20 | 2021-02-12 | 天津七所精密机电技术有限公司 | 一种二维视频信息与三维地理信息融合的方法 |
| CN112616017A (zh) * | 2020-12-15 | 2021-04-06 | 深圳市普汇智联科技有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法和系统 |
| CN112367474A (zh) * | 2021-01-13 | 2021-02-12 | 清华大学 | 一种自适应光场成像方法、装置及设备 |
| CN113660456A (zh) * | 2021-07-12 | 2021-11-16 | 无锡安科迪智能技术有限公司 | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114638771A (zh) | 2022-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8773509B2 (en) | Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images | |
| CN105120247B (zh) | 一种白平衡调整方法及电子设备 | |
| US8135270B2 (en) | Imaging device and imaging method | |
| CN106851122A (zh) | 基于双摄像头系统的自动曝光参数的标定方法和装置 | |
| JPH08205196A (ja) | ２次元映像を３次元映像に変換する方法 | |
| CN105141841B (zh) | 摄像设备及其方法 | |
| US20130113962A1 (en) | Image processing method for producing background blurred image and image capturing device thereof | |
| JP6494386B2 (ja) | 撮像装置およびその制御方法 | |
| JP5735846B2 (ja) | 画像処理装置およびその方法 | |
| CN111640065B (zh) | 基于相机阵列的图像拼接方法、成像装置 | |
| US8836820B2 (en) | Image capturing apparatus having a control unit controlling switching unit such that first image is displayed in case a predetermined motion is detected and a composite image is displayed in case motion is not detected, control method thereof, and storage medium | |
| JP2020042665A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN114638771B (zh) | 基于混合模型的视频融合方法及系统 | |
| CN112312114B (zh) | 信息处理设备、信息处理方法和存储介质 | |
| US20130194444A1 (en) | Image capture control apparatus, method of limiting control range of image capture direction, and storage medium | |
| CN114449130B (zh) | 一种多摄像头的视频融合方法及系统 | |
| KR20150125244A (ko) | 다시점 카메라가 획득한 영상에 대한 색상 보정 방법 및 다시점 카메라가 획득한 영상에 대한 색상을 보정하는 장치 | |
| CN114612360B (zh) | 基于运动模型的视频融合方法及系统 | |
| CN110738617A (zh) | 相机环形阵列的图像矫正方法、系统及介质 | |
| CN113395434A (zh) | 一种预览图像虚化方法、存储介质及终端设备 | |
| CN112738425A (zh) | 一种多摄像头采集的视频实时拼接系统 | |
| JP2001306022A (ja) | 画像表示装置及び画像調整方法 | |
| JP2008042664A (ja) | 画像表示装置 | |
| CN116614648B (zh) | 一种基于视场角补偿系统的自由视角视频显示方法和系统 | |
| KR101204097B1 (ko) | 감시시스템 및 그 제어방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |