CN110457974A - 图像叠加方法、装置、电子设备及可读存储介质 - Google Patents
图像叠加方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN110457974A CN110457974A CN201810426978.2A CN201810426978A CN110457974A CN 110457974 A CN110457974 A CN 110457974A CN 201810426978 A CN201810426978 A CN 201810426978A CN 110457974 A CN110457974 A CN 110457974A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- frame image
- frame
- test object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 83
- 230000006870 function Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010030 laminating Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 19
- 239000002699 waste material Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供一种图像叠加方法、装置、电子设备及可读存储介质。该方法通过对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中，并针对帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态，而后将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，最后将待输出图像编码为目标图像格式输出。由此，能够有效解决目前传输带宽和存储空间浪费的问题，减少背景图对传输带宽和对存储空间的占用，提高传输效率和存储效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像叠加方法、装置、电子设备及可读存储介质。
背景技术
随着智能分析技术的发展，其在视频监控系统中的应用越来越普及。现在的视频解析输出图片的编码格式一般采用JPEG格式，并且为满足视频解析的目的，一般需要进行编码JPEG图片编码的视频分辨率较高，因此输出的JPEG图片较大。
本申请发明人在实际研究中发现，当视频场景目标数目过多的情况下，会导致视频监控设备输出的JPEG图片流的带宽过大，同时存储服务器为了保存这些JPEG图片流，需要占用过多的存储空间。因此，现有技术普遍存在传输带宽和存储空间严重浪费的问题。
发明内容
为了克服现有技术中的上述不足，本发明的目的在于提供一种图像叠加方法、装置、电子设备及可读存储介质，能够有效解决目前传输带宽和存储空间浪费的问题，减少背景图对传输带宽和对存储空间的占用，提高传输效率和存储效率。
为了实现上述目的，本发明实施例采用的技术方案如下：
本发明实施例提供一种图像叠加方法，应用于电子设备，所述方法包括：
对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中；
针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度；
将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，其中，所述目标帧图像为所述帧缓存区域中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像；
将所述待输出图像编码为目标图像格式输出。
可选地，所述针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度的步骤，包括：
针对所述帧缓存区域中的每一帧图像，通过深度网络模型对该帧图像进行目标检测，获得该帧图像中的检测对象；
对该帧图像中的检测对象进行姿态估计，获得所述检测对象的姿态角度。
可选地，所述对该帧图像中的检测对象进行姿态估计，获得所述检测对象的姿态角度的步骤，包括：
检测所述检测对象的关键特征点；
根据所述关键特征点的角度确定所述检测对象的姿态角度；或者
通过深度网络模型识别出所述检测对象的姿态角度。
可选地，所述将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像的步骤，包括：
根据每一帧图像中每个检测对象的姿态角度，将满足目标姿态角度的每个检测对象作为目标对象，获取每个目标对象对应的图像；
将所述帧缓存中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像；
将每个目标对象从对应的图像中截取；
将截取出的每个目标对象叠加到所述目标帧图像中，生成待输出图像。
可选地，所述将截取出的每个目标对象叠加到所述目标帧图像中，生成待输出图像的步骤，包括：
将截取出的每个目标对象叠加到所述目标帧图像中；
针对叠加到目标帧图像中每个截取出的目标对象，分别将该目标对象与所述目标帧图像中与该目标对象对应的检测对象进行关联标记，以生成待输出图像。
可选地，所述将截取出的每个目标对象叠加到所述目标帧图像中的步骤，还包括：
计算所述目标帧图像中叠加的每个目标对象以及对应的检测对象的占用面积比例；
判断所述占用面积比例是否大于预设阈值；
若所述占用面积比例大于预设阈值，则停止叠加目标对象。
可选地，所述将所述待输出图像编码为目标图像格式输出的步骤，包括：
删除所述帧缓存的每一帧图像，并将所述待输出图像编码为JPEG格式输出。
第二方面，本发明实施例还提供一种图像叠加装置，应用于电子设备，所述装置包括：
解析模块，用于对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中；
图像识别模块，用于针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度；
截取叠加模块，用于将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，其中，所述目标帧图像为所述帧缓存区域中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像；
编码输出模块，用于将所述待输出图像编码为目标图像格式输出。
第三方面，本发明实施例还提供一种电子设备，所述电子设备包括：
存储器；
处理器；以及
上所述的图像叠加装置，所述图像叠加装置存储于所述存储器中并包括由所述处理器执行的软件功能模块。
第四方面，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的图像叠加方法。
相对于现有技术而言，本发明具有以下有益效果：
本发明实施例提供一种图像叠加方法、装置、电子设备及可读存储介质，首先通过对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中，并针对帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态，而后将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，最后将待输出图像编码为目标图像格式输出。由此，当视频图像中含有多个检测对象时，通过将除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像，通过将截取出的每个目标对象叠加到一目标帧图像中，能够进一步减少背景图数量，有效解决目前传输带宽和存储空间浪费的问题，减少背景图对传输带宽和对存储空间的占用，提高传输效率和存储效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本发明实施例提供的图像叠加方法的流程示意图；
图2为图1中所示的步骤S230包括的各个子步骤的流程示意图；
图3为本发明实施例提供的互补背景说明示意图；
图4为本发明实施例提供的图像叠加装置的功能模块图；
图5为本发明实施例提供的用于实现上述图像叠加方法的电子设备的结构框图。
图标：100-电子设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-图像叠加装置；210-解析模块；220-图像识别模块；230-截取叠加模块；240-编码输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
智能分析技术普及应用带来的一个变化就是对输入的视频流进行目标检测与识别，上述目标可以是人脸、人体、机动车、非机动车等任意用户需要检测的目标，对目标进行检测识别的目的之一就是从视频流中把目标截取，具体地，目前的做法是把目标截取后以图片编码输出作为目标检测识别结果，同时输出对应的背景图或者全景图作为该目标在实际场景中的证据图，例如，在一个户外场景中，目标对象可以是人体，对应的背景图或者全景图可以是人体所处的户外背景。
现有技术中，对检测对象识别的结果就是从输入的视频流中截取目标前景图，也即检测对象对应的图像，同时，会选取包含该检测对象最佳角度的背景图或者全景图，并将该目标前景图和该背景图作为视频解析结果。
本申请发明人在采用上述方案的过程中，发现现在的视频解析输出图片的编码格式一般采用JPEG格式，并且为了满足视频解析的目的，一般需要进行编码JPEG图片编码的视频分辨率较高，例如至少为200万像素，所以输出的JPEG图片尺寸也较大。
发明人在实际研究中，发现采用上述现有方案一个显著的缺点是，当视频场景目标数目过多的情况下，输出的背景图数量会非常多，输出视频解析结果的频次几乎接近于视频的帧率，这就相当于摄像机或者后端视频解析服务器输出一路高清晰度的MJPEG流。由于MJPEG编码效率远远低于H.264或者H.265的视频编码效率，即在视频场景目标数目过多的情况下，输出的背景图JPEG图片流的带宽过大，或者说存储服务器为了保存这些背景图，需要占用过多的存储空间，这不仅浪费了传输带宽，更浪费了存储空间。
以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。
为了解决上述问题，请参阅图1，为本发明实施例提供的图像叠加方法的一种流程示意图。所应说明的是，本发明实施例提供的图像叠加方法不以图1及以下所述的具体顺序为限制，该图像叠加方法可以通过如下步骤实现：
步骤S210，对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中。
本实施例中，摄像机可以实时采集当前摄像场景的视频流并对所述视频流进行解析，或者也可以将视频流输入给视频解析服务器等具有视频解析能力的设备进行解析。其中，视频流由多帧图像组成，在实际对视频流进行解析的同时都会存在一个帧缓存区域，通过解析出每一帧图像并将解析得到的每一帧图像存入该帧缓存区域中。
所述帧缓存(Frame Buffer)区域可用于存储多帧图像，实际可根据不同解析需求的不同，帧缓存区域大小也不同。例如，如果帧缓存区域设置的大些，也就意味着对实时视频流中的运动目标跟踪持续时间更久一些，如此可以实现一个运动目标从进入摄像机采集图像场景，一直到目标离开该采集图像场景。
步骤S220，针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度。
本实施例中，视频监控关注的检测对象一般是运动的前景目标，例如，人脸、行人、机动车、非机动车等等。在实际实施时，首先，可以针对所述帧缓存区域中的每一帧图像，通过深度网络模型对该帧图像进行目标检测，获得该帧图像中的检测对象。其中，该深度网络模型可以采用卷积神经网络的深度网络模型，可预先通过大量的检测对象样本，例如人脸样本、行人样本、机动车样本、非机动车样本等等输入到卷积神经网络中训练得到。
接着，在识别到上述每帧图像中的检测对象的基础上，对该帧图像中的检测对象进行姿态估计，获得所述检测对象的姿态角度。例如，可根据不同检测对象类型(人脸、行人、机动车、非机动车)，通过检测所述检测对象的关键特征点，并根据所述关键特征点的角度确定所述检测对象的姿态角度，或者，也可以通过预先训练好的深度网络模型识别出所述检测对象的姿态角度。
所述检测对象的姿态角度也即在所述检测对象在该帧图像中的姿态，以人脸为例，当人脸正面全部出现在图像中时，此时该人脸为最佳姿态角度。
步骤S230，将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像。
作为一种实施方式，请参阅图2，所述步骤S230可以通过如下子步骤实现：
子步骤S231，根据每一帧图像中每个检测对象的姿态角度，将满足目标姿态角度的每个检测对象作为目标对象，获取每个目标对象对应的图像。
本实施例中，在上述得到的每一帧图像中每个检测对象的姿态角度的基础上，可以选择满足目标姿态角度的每个检测对象作为目标对象，例如图3所示，在No.1帧、No.2帧、No.3帧以及No.4帧中都包括有两个检测对象(深色人脸和浅色人脸)的姿态角度，根据图3所示的示例可以看出，同时该两个人脸的姿态角度在第一帧(No.1)中都不是目标姿态角度，通过跟踪和姿态估计，在第二帧(No.2)中，深色人脸目标姿态变为目标姿态角度，通过跟踪和姿态估计，在第三帧(No.3)中两个人脸角度都不是目标姿态角度，继续通过跟踪和姿态估计，在第四帧(No.4)中，浅色人脸目标的姿态角度变为目标姿态角度，此时则获取第二帧(No.2)和第四帧(No.4)。
子步骤S232，将所述帧缓存中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像。
本实施例中，可以将所述帧缓存中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像，例如第三帧(No.3)。
子步骤S233，将每个目标对象从对应的图像中截取。
子步骤S234，将截取出的每个目标对象叠加到所述目标帧图像中，生成待输出图像。
现有技术中的方案，一般是将姿态角度最好的一帧，也即第二帧(No.2)和第四帧(No.4)中将人脸目标对象截取出来后编码为JPEG输出，同时把第二帧(No.2)和第四帧(No.4)作为背景图编码为JPEG输出，将该帧作为背景图输出，这种方式具有信息重复性，因为截取的人脸本身就存在于对应的背景图中。
而本实施例中，选择背景图不再是包含目标对象的帧，为了保证目标对象更加全面，本实施例选择与目标姿态角度具有互补性的一帧作为背景图，也即图3中所示的第三帧(No.3)。在实际应用过程中，由于截取的目标对象的姿态角度为预设姿态角度，而在该帧之前帧中的检测对象的姿态角度都不是最佳的，即都存在互补性，因此为了进一步减少背景图数目，当视频流中存在多个检测对象跟踪时，当在视频流中选择了多个目标对象的预设姿态角度时，就可以选择除去目标对象对应的图像之外的且同时包括有每个检测对象的一帧图像作为背景帧，分别把多个目标对象都叠加到该帧中。
由于前景目标抠图和背景图中的目标的姿态角度不同，为了更进一步说明两者关系，将截取出的每个目标对象叠加到所述目标帧图像中后，可针对叠加到目标帧图像中每个截取出的目标对象，分别将该目标对象与所述目标帧图像中与该目标对象对应的检测对象进行关联标记，以生成待输出图像。也即，在所述待输出图像中将截取出的目标对象叠加在背景图中不存在前景目标的区域，并用箭头标识二者的对应关系，如图3所示，在所述待输出图像中，背景图中的原检测对象和叠加在背景图中的处于预设姿态角度的目标对象，分别以半透明方框标出，并使用半透明标识的连接箭头标识二者关系，以免实线方框和连接箭头遮挡住当前背景图中的其它前景目标。
由此，通过在叠加背景图中，把背景图的原始检测对象和叠加的目标对象进行对应关系标识，能够提高目标对象信息的全面性。同时，把多个目标对象叠加到一个背景图中，使得多个目标对象在背景图中信息可以以互补呈现，进一步减少背景图数目，减少背景图对传输带宽和对存储空间的占用，提高了传输效率和存储效率。
进一步地，发明人在实际研究中还发现，当同一个互补的背景图中叠加目标对象以及原检测对象占整个图像面积过大时，会丢失过多的背景细节。为了解决上述问题，可选的，在叠加过程中，还可以计算所述目标帧图像中叠加的每个目标对象以及对应的检测对象的占用面积比例，并判断所述占用面积比例是否大于预设阈值，例如60％，若所述占用面积比例大于预设阈值，则停止叠加目标对象。如此，可以有效防止整个场景的真实背景区域被叠加的目标对象覆盖太多而丢失了过多的背景细节的问题。
步骤S240，将所述待输出图像编码为目标图像格式输出。
本实施例中，在获得所述待输出图像后，可删除所述帧缓存的每一帧图像，也即图3中所示的在No.1帧、No.2帧、No.3帧以及No.4帧，并将所述待输出图像编码为JPEG格式输出。由此，当视频图像中含有多个检测对象时，通过将除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像，通过将截取出的每个目标对象叠加到一目标帧图像中，能够进一步减少背景图数量，有效解决目前传输带宽和存储空间浪费的问题，减少背景图对传输带宽和对存储空间的占用，提高传输效率和存储效率。
进一步地，请参阅图4，本发明实施例还提供一种图像叠加装置200，所述装置包括：
解析模块210，用于对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中。
图像识别模块220，用于针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度。
截取叠加模块230，用于将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，其中，所述目标帧图像为所述帧缓存区域中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像。
编码输出模块240，用于将所述待输出图像编码为目标图像格式输出。
可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述图1中方法实施例中相应步骤的详细描述，在此不再重复赘述。
请参阅图5，为本发明实施例提供的用于实现上述图像叠加方法的电子设备100的结构框图。本实施例中，所述电子设备100可以是摄像机、视频解析服务器或者任意具有解析能力的设备，在此不作具体限制。
如图5所示，所述电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。
可以替换的，电子设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。
可替换的，电子设备100可以使用下述来实现:具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，电子设备100可以使用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本发明通篇所描述的各种功能的电路的任意组合。
其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。
在图5中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于电子设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。
所述处理器120可执行上述实施例，具体地，所述存储介质130中存储有图像叠加装置200，所述处理器120可以用于执行所述图像叠加装置200。
进一步地，本发明实施例还提供一种可读存储介质，所述可读存储介质被执行时实现上述的图像叠加方法。
综上所述，本发明实施例提供一种图像叠加方法、装置、电子设备及可读存储介质，首先通过对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中，并针对帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态，而后将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，最后将待输出图像编码为目标图像格式输出。由此，当视频图像中含有多个检测对象时，通过将除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像，通过将截取出的每个目标对象叠加到一目标帧图像中，能够进一步减少背景图数量，有效解决目前传输带宽和存储空间浪费的问题，减少背景图对传输带宽和对存储空间的占用，提高传输效率和存储效率。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等
需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种图像叠加方法，其特征在于，应用于电子设备，所述方法包括：
对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中；
针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度；
将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，其中，所述目标帧图像为所述帧缓存区域中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像；
将所述待输出图像编码为目标图像格式输出。
2.根据权利要求1所述的图像叠加方法，其特征在于，所述针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度的步骤，包括：
针对所述帧缓存区域中的每一帧图像，通过深度网络模型对该帧图像进行目标检测，获得该帧图像中的检测对象；
对该帧图像中的检测对象进行姿态估计，获得所述检测对象的姿态角度。
3.根据权利要求2所述的图像叠加方法，其特征在于，所述对该帧图像中的检测对象进行姿态估计，获得所述检测对象的姿态角度的步骤，包括：
检测所述检测对象的关键特征点；
根据所述关键特征点的角度确定所述检测对象的姿态角度；或者通过深度网络模型识别出所述检测对象的姿态角度。
4.根据权利要求1所述的图像叠加方法，其特征在于，所述将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像的步骤，包括：
根据每一帧图像中每个检测对象的姿态角度，将满足目标姿态角度的每个检测对象作为目标对象，获取每个目标对象对应的图像；
将所述帧缓存中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像作为目标帧图像；
将每个目标对象从对应的图像中截取；
将截取出的每个目标对象叠加到所述目标帧图像中，生成待输出图像。
5.根据权利要求4所述的图像叠加方法，其特征在于，所述将截取出的每个目标对象叠加到所述目标帧图像中，生成待输出图像的步骤，包括：
将截取出的每个目标对象叠加到所述目标帧图像中；
针对叠加到目标帧图像中每个截取出的目标对象，分别将该目标对象与所述目标帧图像中与该目标对象对应的检测对象进行关联标记，以生成待输出图像。
6.根据权利要求5所述的图像叠加方法，其特征在于，所述将截取出的每个目标对象叠加到所述目标帧图像中的步骤，还包括：
计算所述目标帧图像中叠加的每个目标对象以及对应的检测对象的占用面积比例；
判断所述占用面积比例是否大于预设阈值；
若所述占用面积比例大于预设阈值，则停止叠加目标对象。
7.根据权利要求1所述的图像叠加方法，其特征在于，所述将所述待输出图像编码为目标图像格式输出的步骤，包括：
删除所述帧缓存的每一帧图像，并将所述待输出图像编码为JPEG格式输出。
8.一种图像叠加装置，其特征在于，应用于电子设备，所述装置包括：
解析模块，用于对输入的视频流进行解析，将解析得到的每一帧图像存入帧缓存区域中；
图像识别模块，用于针对所述帧缓存区域中的每一帧图像，对该帧图像进行图像识别，获得该帧图像中至少一个检测对象的姿态角度；
截取叠加模块，用于将满足目标姿态角度的每个检测对象作为目标对象，并将每个目标对象从对应的图像中截取，并将截取出的每个目标对象叠加到一目标帧图像中，生成待输出图像，其中，所述目标帧图像为所述帧缓存区域中除去目标对象对应的图像之外的且包括有每个检测对象的一帧图像；
编码输出模块，用于将所述待输出图像编码为目标图像格式输出。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器；
处理器；以及
权利要求8所述的图像叠加装置，所述图像叠加装置存储于所述存储器中并包括由所述处理器执行的软件功能模块。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的图像叠加方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810426978.2A CN110457974B (zh) | 2018-05-07 | 2018-05-07 | 图像叠加方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810426978.2A CN110457974B (zh) | 2018-05-07 | 2018-05-07 | 图像叠加方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110457974A true CN110457974A (zh) | 2019-11-15 |
| CN110457974B CN110457974B (zh) | 2022-06-14 |
Family
ID=68471945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810426978.2A Active CN110457974B (zh) | 2018-05-07 | 2018-05-07 | 图像叠加方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110457974B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111372062A (zh) * | 2020-05-02 | 2020-07-03 | 北京花兰德科技咨询服务有限公司 | 人工智能图像通信系统及记录方法 |
| CN112135092A (zh) * | 2020-09-03 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法 |
| CN112184722A (zh) * | 2020-09-15 | 2021-01-05 | 上海传英信息技术有限公司 | 图像处理方法、终端及计算机存储介质 |
| CN112312043A (zh) * | 2020-10-20 | 2021-02-02 | 深圳市前海手绘科技文化有限公司 | 一种动画视频导出的优化方法和装置 |
| CN114007100A (zh) * | 2021-10-28 | 2022-02-01 | 深圳市商汤科技有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101617339A (zh) * | 2007-02-15 | 2009-12-30 | 索尼株式会社 | 图像处理装置和图像处理方法 |
| CN104639994A (zh) * | 2013-11-08 | 2015-05-20 | 杭州海康威视数字技术股份有限公司 | 基于运动目标生成视频摘要的方法、系统及网络存储设备 |
| CN104850842A (zh) * | 2015-05-21 | 2015-08-19 | 北京中科虹霸科技有限公司 | 移动终端虹膜识别的人机交互方法 |
| CN107871108A (zh) * | 2016-09-26 | 2018-04-03 | 上海银晨智能识别科技有限公司 | 一种人脸数据采集装置及其采集人脸数据的方法 |
-
2018
- 2018-05-07 CN CN201810426978.2A patent/CN110457974B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101617339A (zh) * | 2007-02-15 | 2009-12-30 | 索尼株式会社 | 图像处理装置和图像处理方法 |
| CN104639994A (zh) * | 2013-11-08 | 2015-05-20 | 杭州海康威视数字技术股份有限公司 | 基于运动目标生成视频摘要的方法、系统及网络存储设备 |
| CN104850842A (zh) * | 2015-05-21 | 2015-08-19 | 北京中科虹霸科技有限公司 | 移动终端虹膜识别的人机交互方法 |
| CN107871108A (zh) * | 2016-09-26 | 2018-04-03 | 上海银晨智能识别科技有限公司 | 一种人脸数据采集装置及其采集人脸数据的方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111372062A (zh) * | 2020-05-02 | 2020-07-03 | 北京花兰德科技咨询服务有限公司 | 人工智能图像通信系统及记录方法 |
| CN112135092A (zh) * | 2020-09-03 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法 |
| CN112135092B (zh) * | 2020-09-03 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法 |
| CN112184722A (zh) * | 2020-09-15 | 2021-01-05 | 上海传英信息技术有限公司 | 图像处理方法、终端及计算机存储介质 |
| CN112184722B (zh) * | 2020-09-15 | 2024-05-03 | 上海传英信息技术有限公司 | 图像处理方法、终端及计算机存储介质 |
| CN112312043A (zh) * | 2020-10-20 | 2021-02-02 | 深圳市前海手绘科技文化有限公司 | 一种动画视频导出的优化方法和装置 |
| CN114007100A (zh) * | 2021-10-28 | 2022-02-01 | 深圳市商汤科技有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110457974B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110457974A (zh) | 图像叠加方法、装置、电子设备及可读存储介质 | |
| Tu et al. | Multi-stream CNN: Learning representations based on human-related regions for action recognition | |
| Senst et al. | Crowd violence detection using global motion-compensated lagrangian features and scale-sensitive video-level representation | |
| CN107862270B (zh) | 人脸分类器训练方法、人脸检测方法及装置、电子设备 | |
| Boult et al. | Into the woods: Visual surveillance of noncooperative and camouflaged targets in complex outdoor settings | |
| CN108010037B (zh) | 图像处理方法、装置及存储介质 | |
| Johnston et al. | A review of digital video tampering: From simple editing to full synthesis | |
| Li et al. | Unsupervised learning for human sensing using radio signals | |
| CN109961444A (zh) | 图像处理方法、装置及电子设备 | |
| WO2023126914A2 (en) | METHOD AND SYSTEM FOR SEMANTIC APPEARANCE TRANSFER USING SPLICING ViT FEATURES | |
| CN111476710B (zh) | 基于移动平台的视频换脸方法及系统 | |
| CN112200187A (zh) | 一种目标检测方法、装置、机器可读介质及设备 | |
| CN110858277A (zh) | 一种获得姿态分类模型的方法以及装置 | |
| Fang et al. | Surveillance face anti-spoofing | |
| CN110781980A (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN114117128A (zh) | 视频标注的方法、系统及设备 | |
| CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
| Chen et al. | Instance segmentation in the dark | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| Gao et al. | SuperFast: 200$\boldsymbol {\times} $ Video Frame Interpolation via Event Camera | |
| Dakhia et al. | A hybrid-backward refinement model for salient object detection | |
| Hou et al. | A perceptual quality metric for video frame interpolation | |
| CN113901931A (zh) | 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法 | |
| Liu et al. | Remote video detection algorithm of sports wrong actions under wireless network | |
| Shao et al. | Imagebeacon: Broadcasting color images over connectionless bluetooth le packets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |