CN114554281A - 视频画面拼接方法、装置、终端和存储介质 - Google Patents
视频画面拼接方法、装置、终端和存储介质 Download PDFInfo
- Publication number
- CN114554281A CN114554281A CN202210152677.1A CN202210152677A CN114554281A CN 114554281 A CN114554281 A CN 114554281A CN 202210152677 A CN202210152677 A CN 202210152677A CN 114554281 A CN114554281 A CN 114554281A
- Authority
- CN
- China
- Prior art keywords
- video picture
- target
- target object
- splicing
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000006854 communication Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000190070 Sarracenia purpurea Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Abstract
本申请实施例公开了一种视频画面拼接方法、装置、终端和存储介质，该方法包括：根据视频画面中目标物体的运动状态，确定每个视频画面之间的重合区域；其中，目标物体为每个视频画面中共同出现的物体；根据目标物体的形状，以及目标物体在视频画面中的目标位置，在重合区域内生成每个视频画面的拼接线；根据拼接线，对每个视频画面进行拼接，得到第一目标视频画面；响应于目标物体在第一目标视频画面中发生变化，在拼接线不变的情况下，将目标物体所在第一区域的当前图像叠加至重合区域，以得到第二目标视频画面；其中，第一区域在重合区域的范围内。本申请实施例能够极大地节省视频画面拼接所需的计算资源、提升拼接效果。
Description
技术领域
本申请涉及计算机领域，具体涉及一种视频画面拼接方法、装置、终端和存储介质。
背景技术
为获取较大场景下的全景视频画面，例如大型会议场景、大型课堂场景等，可以通过将多个摄像头获取的视频画面进行拼接得到。为了提升拼接合成的效果，通常会对不同视频画面之间的重合区域进行颜色融合处理，或者在不同视频画面之间以动态规划拼接线的方式进行合成。
然而，第一种处理方式会使拼接后的视频画面产生鬼影、色差等缺陷，第二种处理方式会因程序占用较多计算资源，导致拼接后的视频画面输出帧率较低、画质不佳。因此，现有技术存在缺陷，有待改进与发展。
发明内容
本申请实施例提供一种视频画面拼接方法、装置、终端和存储介质，能够极大地节省视频画面拼接所需的计算资源、提升拼接效果。
第一方面，本申请实施例提供一种视频画面拼接方法，包括：
根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体为所述每个视频画面中共同出现的物体；
根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线；
根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面；
响应于所述目标物体在所述第一目标视频画面中发生变化，在所述拼接线不变的情况下，将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
可选的，所述将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面，包括：
获取所述重合区域在所述第一目标视频画面中的静态图像；
响应于所述目标物体在所述第一目标视频画面中发生变化，获取所述当前图像；
将所述当前图像渲染叠加至所述静态图像，以得到所述第二目标视频画面。
可选的，所述方法还包括：建立监控缓存区，所述监控缓存区用于接收所述目标物体在所述第一目标视频画面中是否发生变化。
可选的，根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域，包括：
将满足第一预设条件的所述目标物体对应的至少一个预设区域，确定为候选重合区域；其中，所述第一预设条件包括在单位时间内，所述运动状态发生变化的频率小于预设阈值；
响应于所述候选重合区域为多个，根据所述多个候选重合区域在所述视频画面中的位置，从所述多个候选重合区域中确定出一个所述重合区域。
可选的，所述根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线，包括：
将满足第二预设条件的侯选位置，确定为所述目标位置；其中，所述第二预设条件包括所述目标物体在所述侯选位置保持静止的时长大于预设阈值；
在所述目标位置下，生成避让所述目标物体的形状的所述拼接线。
可选的，在所述根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面之前，所述方法还包括：
对包含所述拼接线的每个视频画面，沿所述拼接线的轨迹进行裁剪；
将裁剪后的所述每个视频画面进行拼接，得到所述第一目标视频画面。
可选的，所述方法还包括：将所述第一目标视频画面和所述第二目标视频画面发送至显示设备，以将所述述第一目标视频画面和所述第二目标视频画面进行显示。
第二方面，本申请实施例还提供一种视频画面拼接装置，包括：
重合区域确定模块，用于根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体为所述每个视频画面中共同出现的物体；
拼接线生成模块，用于根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线；
第一目标视频画面获取模块，用于根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面；
第二目标视频画面获取模块，用于响应于所述目标物体在所述第一目标视频画面中发生变化，在所述拼接线不变的情况下，将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
可选的，所述第二目标视频画面获取模块进一步用于：
获取所述重合区域在所述第一目标视频画面中的静态图像；
响应于所述目标物体在所述第一目标视频画面中发生变化，获取所述当前图像；
将所述当前图像渲染叠加至所述静态图像，以得到所述第二目标视频画面。
可选的，所述装置还包括：监控缓存区建立模块，用于建立监控缓存区，所述监控缓存区用于接收所述目标物体在所述第一目标视频画面中是否发生变化。
可选的，所述重合区域确定模块进一步用于：
将满足第一预设条件的所述目标物体对应的至少一个预设区域，确定为候选重合区域；其中，所述第一预设条件包括在单位时间内，所述运动状态发生变化的频率小于预设阈值；
响应于所述候选重合区域为多个，根据所述多个候选重合区域在所述视频画面中的位置，从所述多个候选重合区域中确定出一个所述重合区域。
可选的，所述拼接线生成模块进一步用于：
将满足第二预设条件的侯选位置，确定为所述目标位置；其中，所述第二预设条件包括所述目标物体在所述侯选位置保持静止的时长大于预设阈值；
在所述目标位置下，生成避让所述目标物体的形状的所述拼接线。
可选的，所述装置还包括：
视频画面裁剪模块，用于对包含所述拼接线的每个视频画面，沿所述拼接线的轨迹进行裁剪；
目标视频画面拼接模块，将裁剪后的所述每个视频画面进行拼接，得到所述第一目标视频画面。
可选的，所述装置还包括：发送模块，用于将所述第一目标视频画面和所述第二目标视频画面发送至显示设备，以将所述述第一目标视频画面和所述第二目标视频画面进行显示。
第三方面，本申请实施例还提供一种终端，所述终端能够执行上述任一项所述的视频画面拼接方法中的操作。
第四方面，本申请实施例还提供一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行上述任一项所述的视频画面拼接方法。
本申请实施例公开了一种视频画面拼接方法、装置、终端和存储介质，该方法包括：根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体为所述每个视频画面中共同出现的物体；根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线；根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面；响应于所述目标物体在所述第一目标视频画面中发生变化，在所述拼接线不变的情况下，将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
由上可知，本申请实施例通过目标物体的运动状态，先准确地确定出视频画面之间拼接的重合区域，再根据重合区域和目标物体的变化动态规划出拼接线，以保证该拼接线在后续保持不变。并且在检测到目标物体的变化后，可以该区域内将变化后的图像直接渲染叠加至视频画面中，整个处理过程操作简单，且无需重新动态规划拼接线，从而能够极大地节省拼接过程中所占用的计算资源，不影响后续输出拼接视频画面的帧率和画质，显著地提升了视频画面拼接合成的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频画面拼接方法的流程示意图；
图2是本申请实施例提供的视频画面拼接方法的另一流程示意图；
图3是本申请实施例提供的显示第一目标视频画面的示意图；
图4是本申请实施例提供的显示第二目标视频画面的示意图；
图5是本申请实施例提供的视频画面拼接装置的结构示意图；
图6是本申请实施例提供的终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多所述特征。在本申请的描述中，“至少两个”的含义是两个或两个以上，除非另有明确具体的限定。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本申请实施例所提供的视频画面拼接方法可以适用于任何具有图像处理功能或视频拼接功能的终端，本申请实施例不再一一列举。以下对该、装置、终端和存储介质进行详细说明，需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
下面结合附图和具体实施方式对本发明予以详细描述，请参阅图1至图4。
请参阅图1和图2，图1是本申请实施例提供的视频画面拼接方法的流程示意图，图2是本申请实施例提供的视频画面拼接方法的另一流程示意图。其中，本申请实施例可以包括：
步骤110、根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域。
其中，视频画面可以是视频采集终端(例如摄像头、录影机等)采集，并在显示终端(例如，显示器、液晶屏幕等)的显示界面进行显示的图像数据。
其中，目标物体可以为每个视频画面中共同出现的物体。以会议场景为例，目标物体可以为会议桌、椅子，或者会议桌上的盆栽、水杯等。目标物体的运动状态可以包括静止、移动，与静止和移动的相关数据，例如静止状态下的持续时间、处于移动状态下的速度等信息。对于目标物体，以及目标物体运动状态所包括的种类，本实施例不作限制。
其中，重合区域是指任意数量的视频画面进行拼接时所处的重叠区域。例如图3和图4中所示的重合区域31，即为两个视频画面拼接产生的重叠区域。
可选地，步骤110还可以包括：
将满足第一预设条件的所述目标物体33对应的至少一个预设区域，确定为候选重合区域31；其中，所述第一预设条件包括在单位时间内，所述运动状态发生变化的频率小于预设阈值；
响应于所述候选重合区域31为多个，根据所述多个候选重合区域31在所述视频画面中的位置，从所述多个候选重合区域31中确定出一个所述重合区域31。
其中，目标物体33运动状态发生变化可以是静止与移动之间的状态切换，例如目标物体33被移动到另一位置，目标物体33结束移动后静止停留等。相应地，目标物体33运动状态发生变化，也可以是目标物体33在静止或移动中其自身发生变化。例如，静止的水杯中冒出热气，椅子被移动的速率变慢等。
可以理解，为保证后续只需较少的计算资源来对重合区域31进行处理，因此重合区域31内优选为目标物体33运动状态变化频率较小的区域。例如，可以将满足第一预设条件的目标物体33对应的至少一个预设区域，确定为候选重合区域31。其中，第一预设条件可以包括在单位时间内，运动状态发生变化的频率小于预设阈值。例如，单位时间可以为1分钟，预设阈值可以为1，也即在当前视频画面中，若目标物体33若满足1分钟内运动状态变化小于1次，则将目标物体33对应的至少一个区域确定为候选重合区域31。
需要说明的是，候选重合区域31的大小可以取决于各视频画面重叠部分的大小，也可以为人为圈定。并且，符合第一预设条件的候选重合区域31的数量可以为一个，也可以为多个，本实施例不作限制。
其中，当候选重合区域31为多个，可以根据多个候选重合区域31在视频画面中的位置，从多个候选重合区域31中确定出一个重合区域31。例如，可以接收用户输入选定最合适的重合区域31。例如，可以选择拼接后处于整个视频画面较中心的候选重合区域31，作为重合区域31。又例如，可以选择目标物体33运动状态发生变化的频率最小的候选重合区域31，作为重合区域31。
由此，可以根据目标物体33运动状态的变化情况，合理、准确地选择出重合区域31，以保证后续重合区域31中视频画面的动态信息较少，从而能够极大地节省视频画面拼接所需的计算资源。
步骤120、根据所述目标物体33的形状，以及所述目标物体33在所述视频画面中的目标位置，在所述重合区域31内生成所述每个视频画面的拼接线32。
在本申请实施例中，目标物体33的形状可以是指目标物体33在视频画面中所显示的形状。其中，目标位置可以是系统生成拼接线32时目标物体33的当前位置。可以理解，本申请实施例可以通过目标物体33的形状和目标位置，采用动态规划拼接线32的方式，在目标位置下避开目标物体33的形状，以提升拼接后全景视频具有较佳的视觉效果。
可选地，步骤120还可以包括：
将满足第二预设条件的侯选位置，确定为所述目标位置；其中，所述第二预设条件包括所述目标物体33在所述侯选位置保持静止的时长大于预设阈值；
在所述目标位置下，生成避让所述目标物体33的形状的所述拼接线32。
其中，在确定目标物体33的目标位置之前，可以先判断目标物体33的侯选位置是否满足第二预设条件。其中，第二预设条件可以包括目标物体33在侯选位置保持静止的时长大于预设阈值。例如，预设阈值可以为30分钟、1小时等，当目标物体33在侯选位置保持静止的时长大于30钟，则该侯选位置满足第二预设条件，将该候选位置确定为目标物体33的目标位置。
在一些实施例中，可以在目标位置下，生成避让目标物体33的形状的拼接线32。具体地，如图3和图4所示，系统可以通过图像处理算法对目标物体33实现动态规划拼接线32，拼接线32可以完美地避开目标物体33的形状。由于拼接线32是裁剪视频画面的基础，使得目标物体33可以不被拼接线32切割而完整地出现在对应的视频画面中，从而能够提升后续视频画面拼接的效果。
步骤130、根据所述拼接线32，对所述每个视频画面进行拼接，得到第一目标视频画面。
在步骤130之前，本申请实施例还可以包括：
对包含所述拼接线32的每个视频画面，沿所述拼接线32的轨迹进行裁剪；
将裁剪后的所述每个视频画面进行拼接，得到所述第一目标视频画面。
具体地，如图3所示，系统可以通过图像处理技术，以拼接线32为基准，沿拼接线32的轨迹对视频画面进行裁剪，并对裁剪后的视频画面以拼接线32为边界进行拼接即可，将拼接后的视频画面作为第一目标视频画面。可以理解，第一目标视频画面即为拼接好的目标视频。
步骤140，响应于所述目标物体33在所述第一目标视频画面中发生变化，在所述拼接线32不变的情况下，将所述目标物体33所在第一区域的当前图像41叠加至所述重合区域31，以得到第二目标视频画面。
其中，目标物体33在第一目标视频画面中发生变化可以是指目标物体33的种类发生变化。如图3和图4所示，在该会议场景下，目标物体33为放置在会议桌上的盆栽，当目标物体33的种类由该盆栽变为水壶时，可以通过图像处理技术将该水壶的图像渲染叠加至第一目标视频画面的对应区域，例如可以将水壶的图像渲染叠加至第一目标视频画面对应的视频帧中，最终可以将第一目标视频画面更新为第二目标视频画面。
关于步骤140的更多细节可以参见图2及其相关描述。
可选地，本申请实施例还可以包括：
将所述第一目标视频画面和所述第二目标视频画面发送至显示设备，以将所述述第一目标视频画面和所述第二目标视频画面进行显示。
可以理解，对于第一目标视频画面和第二目标视频画面，均是在系统后台通过图像处理技术进行拼接后得到的，因此系统可以将拼接好的第一目标视频画面和第二目标视频画面发送至显示设备进行显示，例如可以其发送至显示器、液晶屏等终端设备进行显示。
由上可知，本申请实施例可以通过目标物体33的运动状态，先准确地确定出视频画面之间拼接的重合区域31，再根据重合区域31和目标物体33的变化动态规划出拼接线32，以保证该拼接线32在后续保持不变。并且在检测到目标物体33的变化后，可以该区域内将变化后的图像直接渲染叠加至视频画面中，整个处理过程操作简单，且无需重新动态规划拼接线32，从而能够极大地节省拼接过程中所占用的计算资源，不影响后续输出拼接视频画面的帧率和画质，显著地提升了视频画面拼接合成的效果。
请参阅图2，图2是本申请实施例提供的视频画面拼接方法的另一流程示意图。
如图2所示，本申请实施例可以包括：
获取所述重合区域31在所述第一目标视频画面中的静态图像；
响应于所述目标物体33在所述第一目标视频画面中发生变化，获取所述当前图像41；
将所述当前图像41渲染叠加至所述静态图像，以得到所述第二目标视频画面。
具体地，可以通过截图的方式获取重合区域31在所述第一目标视频画面中的静态图像，将该静态图像作为底图叠加至第一目标视频画面。可以理解，由于重合区域31是经过目标物体33的运动状态满足第一预设条件筛选而来的，因此重合区域31在第一目标视频画面中，本就不存在或仅存在较少的运动信息，即便将该重合区域31的静态图像与其它区域的动态视频画面一同显示，也不会影响第一目标视频画面的整体显示效果。
可选地，本申请实施例还可以包括：
建立监控缓存区，所述监控缓存区用于接收所述目标物体33在所述第一目标视频画面中是否发生变化。
可以理解，即使重合区域31在大多时间内不存在或仅存在较少的运动信息，但还需实时监控重合区域31内目标物体33的变化情况，以保证输出视频画面的准确性。其中，可以建立单独的监控缓存区，负责监控目标物体33在第一视频画面中的变化情况。如步骤140中的示例，当目标物体33的种类由盆栽变为水壶时，监控缓存区可以获取该变化，并向系统发出相应地处理指令。例如处理指令可以包括对水壶的截图操作，以及将水壶的截图叠加渲染至重合区域31的操作等。
需要说明的是，将当前图像41叠加渲染至重合区域31时，系统可以通过相关图像处理技术对当前图像41进行处理，例如对当前图像41进行缩放、旋转等，以使当前图像41不超出重合区域31的范围且不穿过拼接线32。
由上可知，本申请实施例在拼接视频画面时，能够在不改变拼接线32的基础上，将当前区域的静态图像渲染叠加至重合区域31的静态图像中，从而能够占用较少的计算资源对视频画面进行拼接，以拼接合成较高帧率、画质的目标视频画面。
请参阅图5，图5是本申请实施例提供的视频画面拼接装置的结构示意图。
如图5所示，视频画面拼接装置可以包括重合区域确定模块51、拼接线生成模块52、第一目标视频画面获取模块53和第二目标视频画面获取模块54。
在一些实施例中，重合区域确定模块51可以用于根据视频画面中目标物体33的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体33为所述每个视频画面中共同出现的物体；
在一些实施例中，拼接线生成模块52可以用于根据所述目标物体33的形状，以及所述目标物体33在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线32；
在一些实施例中，第一目标视频画面获取模块53可以用于根据所述拼接线32，对所述每个视频画面进行拼接，得到第一目标视频画面；
在一些实施例中，第二目标视频画面获取模块54可以用于响应于所述目标物体33在所述第一目标视频画面中发生变化，在所述拼接线32不变的情况下，将所述目标物体33所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
在一些实施例中，所述第二目标视频画面获取模块54进一步用于：
获取所述重合区域在所述第一目标视频画面中的静态图像；
响应于所述目标物体33在所述第一目标视频画面中发生变化，获取所述当前图像；
将所述当前图像渲染叠加至所述静态图像，以得到所述第二目标视频画面。
在一些实施例中，所述装置还包括：监控缓存区建立模块，用于建立监控缓存区，所述监控缓存区用于接收所述目标物体33在所述第一目标视频画面中是否发生变化。
在一些实施例中，所述重合区域确定模块51进一步用于：
将满足第一预设条件的所述目标物体33对应的至少一个预设区域，确定为候选重合区域；其中，所述第一预设条件包括在单位时间内，所述运动状态发生变化的频率小于预设阈值；
响应于所述候选重合区域为多个，根据所述多个候选重合区域在所述视频画面中的位置，从所述多个候选重合区域中确定出一个所述重合区域。
在一些实施例中，所述拼接线生成模块52进一步用于：
将满足第二预设条件的侯选位置，确定为所述目标位置；其中，所述第二预设条件包括所述目标物体33在所述侯选位置保持静止的时长大于预设阈值；
在所述目标位置下，生成避让所述目标物体33的形状的所述拼接线32。
在一些实施例中，所述装置还包括：
视频画面裁剪模块，用于对包含所述拼接线32的每个视频画面，沿所述拼接线32的轨迹进行裁剪；
目标视频画面拼接模块，将裁剪后的所述每个视频画面进行拼接，得到所述第一目标视频画面。
在一些实施例中，所述装置还包括：发送模块，用于将所述第一目标视频画面和所述第二目标视频画面发送至显示设备，以将所述述第一目标视频画面和所述第二目标视频画面进行显示。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
由此，本实施例的视频画面拼接装置，在对视频画面进行拼接时，重合区域确定模块51可以用于根据视频画面中目标物体33的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体33为所述每个视频画面中共同出现的物体；之后，拼接线生成模块52可以用于根据所述目标物体33的形状，以及所述目标物体33在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线32；之后，第一目标视频画面获取模块53可以用于根据所述拼接线32，对所述每个视频画面进行拼接，得到第一目标视频画面；最后，第二目标视频画面获取模块54可以用于响应于所述目标物体33在所述第一目标视频画面中发生变化，在所述拼接线32不变的情况下，将所述目标物体33所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
由上可知，本申请实施例可以根据目标物体33运动状态的变化情况，合理、准确地选择出重合区域，以保证后续重合区域中视频画面的动态信息较少，从而能够极大地节省视频画面拼接所需的计算资源。
此外，本申请实施例在拼接视频画面时，能够在不改变拼接线32的基础上，将当前区域的静态图像渲染叠加至重合区域的静态图像中，从而能够占用较少的计算资源对视频画面进行拼接，以拼接合成较高帧率、画质的目标视频画面。
如图6所示，该终端可以包括射频(Radio Frequency，RF)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(Wireless Fidelity，Wi-Fi)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图6中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(Subscriber Identity Module，SIM)卡、收发信机、耦合器、低噪声放大器(LowNoise Amplifier，LNA)、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(GeneralPacketRadio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long TermEvolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示屏，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示屏。进一步的，触敏表面可覆盖显示屏，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示屏上提供相应的视觉输出。
终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个位置上(一般为三轴)加速度的大小，静止时可检测出重力的大小及位置，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。具体的，在本申请实施例中，所述处理器接收用户输入的控制指令后，从而控制所述摄像装置中的驱动装置执行对应操作。
终端还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得所有其他实施例，除本申请实施例提到的与本申请实施例方案一致的此类设计，都属于本发明保护的范围。
以上对本申请实施例所提供的一种动作合成方法及终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。
Claims (10)
1.一种视频画面拼接方法，其特征在于，包括：
根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体为所述每个视频画面中共同出现的物体；
根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线；
根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面；
响应于所述目标物体在所述第一目标视频画面中发生变化，在所述拼接线不变的情况下，将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面，包括：
获取所述重合区域在所述第一目标视频画面中的静态图像；
响应于所述目标物体在所述第一目标视频画面中发生变化，获取所述当前图像；
将所述当前图像渲染叠加至所述静态图像，以得到所述第二目标视频画面。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：建立监控缓存区，所述监控缓存区用于接收所述目标物体在所述第一目标视频画面中是否发生变化。
4.根据权利要求1所述的方法，其特征在于，根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域，包括：
将满足第一预设条件的所述目标物体对应的至少一个预设区域，确定为候选重合区域；其中，所述第一预设条件包括在单位时间内，所述运动状态发生变化的频率小于预设阈值；
响应于所述候选重合区域为多个，根据所述多个候选重合区域在所述视频画面中的位置，从所述多个候选重合区域中确定出一个所述重合区域。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线，包括：
将满足第二预设条件的侯选位置，确定为所述目标位置；其中，所述第二预设条件包括所述目标物体在所述侯选位置保持静止的时长大于预设阈值；
在所述目标位置下，生成避让所述目标物体的形状的所述拼接线。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面之前，所述方法还包括：
对包含所述拼接线的每个视频画面，沿所述拼接线的轨迹进行裁剪；
将裁剪后的所述每个视频画面进行拼接，得到所述第一目标视频画面。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述第一目标视频画面和所述第二目标视频画面发送至显示设备，以将所述述第一目标视频画面和所述第二目标视频画面进行显示。
8.一种视频画面拼接装置，其特征在于，包括：
重合区域确定模块，用于根据视频画面中目标物体的运动状态，确定每个所述视频画面之间的重合区域；其中，所述目标物体为所述每个视频画面中共同出现的物体；
拼接线生成模块，用于根据所述目标物体的形状，以及所述目标物体在所述视频画面中的目标位置，在所述重合区域内生成所述每个视频画面的拼接线；
第一目标视频画面获取模块，用于根据所述拼接线，对所述每个视频画面进行拼接，得到第一目标视频画面；
第二目标视频画面获取模块，用于响应于所述目标物体在所述第一目标视频画面中发生变化，在所述拼接线不变的情况下，将所述目标物体所在第一区域的当前图像叠加至所述重合区域，以得到第二目标视频画面；其中，所述第一区域在所述重合区域的范围内。
9.一种终端，其特征在于，适用于执行权利要求1至7任一项所述的视频画面拼接方法中的操作。
10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行权利要求1至7任一项所述的视频画面拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210152677.1A CN114554281A (zh) | 2022-02-18 | 2022-02-18 | 视频画面拼接方法、装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210152677.1A CN114554281A (zh) | 2022-02-18 | 2022-02-18 | 视频画面拼接方法、装置、终端和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114554281A true CN114554281A (zh) | 2022-05-27 |
Family
ID=81676411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210152677.1A Pending CN114554281A (zh) | 2022-02-18 | 2022-02-18 | 视频画面拼接方法、装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114554281A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160344931A1 (en) * | 2015-05-22 | 2016-11-24 | Caterpillar Inc. | Imaging system for generating a surround-view image |
| CN106683051A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇艺世纪科技有限公司 | 一种图像拼接方法及装置 |
| CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达（北京）科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
| CN111131706A (zh) * | 2019-12-30 | 2020-05-08 | 维沃移动通信有限公司 | 视频画面处理方法及电子设备 |
| CN112991178A (zh) * | 2021-03-24 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备和介质 |
-
2022
- 2022-02-18 CN CN202210152677.1A patent/CN114554281A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160344931A1 (en) * | 2015-05-22 | 2016-11-24 | Caterpillar Inc. | Imaging system for generating a surround-view image |
| CN106683051A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇艺世纪科技有限公司 | 一种图像拼接方法及装置 |
| CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达（北京）科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
| CN111131706A (zh) * | 2019-12-30 | 2020-05-08 | 维沃移动通信有限公司 | 视频画面处理方法及电子设备 |
| CN112991178A (zh) * | 2021-03-24 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220020339A1 (en) | Display method and apparatus | |
| US10643666B2 (en) | Video play method and device, and computer storage medium | |
| WO2017140276A1 (zh) | 网络连接方法及装置、计算机存储介质 | |
| US9760998B2 (en) | Video processing method and apparatus | |
| CN106371964B (zh) | 一种进行消息提示的方法和装置 | |
| CN103390034A (zh) | 图片展示的方法、装置、终端及服务器 | |
| US20170147904A1 (en) | Picture processing method and apparatus | |
| CN105989572B (zh) | 图片处理方法及装置 | |
| CN105094501B (zh) | 一种移动终端中消息的显示方法、装置和系统 | |
| WO2015070769A1 (en) | Data transfer method and apparatus | |
| CN105094809A (zh) | 组合图片布局修改方法、装置以及终端设备 | |
| US9824476B2 (en) | Method for superposing location information on collage, terminal and server | |
| CN104869465A (zh) | 视频播放控制方法和装置 | |
| CN109495769B (zh) | 视频通信方法、终端、智能电视、服务器及存储介质 | |
| CN107396193B (zh) | 视频播放的方法和装置 | |
| CN107622234B (zh) | 一种显示萌脸礼物的方法和装置 | |
| CN107153715B (zh) | 在页面上添加文件的方法及装置 | |
| CN106708390B (zh) | 一种截屏的方法、装置和系统 | |
| CN110708742B (zh) | 选取频点的方法、装置、电子设备及介质 | |
| US11243668B2 (en) | User interactive method and apparatus for controlling presentation of multimedia data on terminals | |
| CN106228994B (zh) | 一种检测音质的方法和装置 | |
| CN104166899A (zh) | 语音互动的方法及终端 | |
| CN111083285A (zh) | 一种移动终端通话定位系统和方法 | |
| CN106488297B (zh) | 一种显示图像数据的方法和装置 | |
| CN106210325B (zh) | 一种设置社交应用来电铃声的方法、装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |