CN114189685A - 一种基于视频相关性的视频预处理方法、装置以及存储介质 - Google Patents
一种基于视频相关性的视频预处理方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN114189685A CN114189685A CN202111492061.0A CN202111492061A CN114189685A CN 114189685 A CN114189685 A CN 114189685A CN 202111492061 A CN202111492061 A CN 202111492061A CN 114189685 A CN114189685 A CN 114189685A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- sequence
- frame
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于视频相关性的视频预处理的方法、装置以及存储介质，通过接收视频序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标、第一图像信息；依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；基于第一视频帧与第二视频帧的相关性，判断是否将所述第二视频帧作为目标视频帧序列。本发明，通过镜头分割以及对于镜头分割后的视频序列进行基于视频对象基准关键点的识别与匹配从而确定视频帧是否应该剔除，从而解决视频序列存在干扰的技术问题。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其涉及一种基于视频相关性的视频预处理方法、装置以及存储介质
背景技术
视频预处理的第一个作用是提高编码视频的质量。在实际的视频监控的应用中，不像娱乐视频，往往有高质量的摄像机、良好的演播室拍摄环境和专业技术人员的时时人为干预，因此可以保证得到的高质量的采集视频。而视频监控系统由于成本、环境等因素影响，所获取的原始视频质量并不高，甚至很低。例如，由于环境、噪声、光照、运动等影响，往往所采集的图像常常出现模糊、扭曲、噪点、太亮或太暗、彩色不鲜明、……。对于这样比较差的视频，再进行压缩、传输、解码显示，用户所看到的监控视频常常不能令人满意的。如何在现有的条件下提高采集视频质量的问题就实在地放在我们面前。对此，一个重要的应对措施就是在视频采集环节进行预处理(preprocessing)，以利于提高采集视频质量，有利于后续的视频处理，以利于用户提取视频中感兴趣的信息。
现如今，视频数据的分割以及预处理，主要集中于基于颜色直方图以及镜头分割的算法，执行的视频序列中的镜头分割。而对于传统的对于一个镜头中的视频数据，也可能存在一些与视频主对象不相关的视频帧。比如：我们在对于人脸的视频拍摄过程中，对于人脸扭头去做别的动作；以及当前视频的对象进行了片刻的遮挡等等。这些产生的干扰因素几帧图像在进行整个图像识别时根本没有识别以及跟踪的必要，而且会对整个视频的识别产生干扰。对于基于视频对象的视频而言，其必须要经过图像预处理来将干扰的视频帧剔除，且尽可能保证进入后续视频识别以及视频分析的视频帧对象的纯粹性，低干扰性，从而便于后续的视频处理与视频分析。
发明内容
有鉴于此，本发明提供了基于视频相关性的视频预处理方法、装置以及存储介质，通过镜头分割以及对于镜头分割后的视频序列进行基于视频对象基准关键点的识别与匹配从而确定视频帧是否应该剔除，从而解决视频序列存在干扰的技术问题。
本发明的技术方案如下：
一种基于视频相关性的视频预处理的方法，所述方法包括：
接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；
初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；
依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；；
基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
优选的，所述获取所述目标区域的第一坐标，包括：获取所述目标区域的区域中心点坐标。
优选的，所述第一图像信息、第二图像信息包括：图像像素信息以及时间戳信息。
优选的，所述基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性，包括：
比较所述第一视频帧与第二视频帧的对应坐标位置的图像像素之间的欧氏距离，若大于设定阈值Th1，则进一步判断所述第二视频帧与第一视频帧的时间戳绝对值差，若大于设定阈值Th2，则确定所述第一视频帧与第二视频帧不相关。
优选的，对所述与第一视频帧不相关的第二视频帧进行滤除。
此外，本发明还提出一种基于视频相关性的视频预处理的装置，所述装置包括：
接收模块，接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；
初始化模块，初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；
获取模块，依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；；
确定模块，基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
优选的，所述获取所述目标区域的第一坐标，包括：获取所述目标区域的区域中心点坐标。
优选的，所述第一图像信息、第二图像信息包括：图像像素信息以及时间戳信息。
优选的，所述确定模块，还包括：
比较所述第一视频帧与第二视频帧的对应坐标位置的图像像素之间的欧氏距离，若大于设定阈值Th1，则进一步判断所述第二视频帧与第一视频帧的时间戳绝对值差，若大于设定阈值Th2，则确定所述第一视频帧与第二视频帧不相关。
此外，本发明还提出一种存储介质，所述存储介质存储有指令，所述指令适于处理器进行加载，以执行上述的基于视频相关性的视频预处理的方法的步骤。
在本发明实施例的方案中，基于视频相关性的视频预处理的方法，所述方法包括：接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；；基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。本发明，通过镜头分割以及对于镜头分割后的视频序列进行基于视频对象基准关键点的识别与匹配从而确定视频帧是否应该剔除，从而解决视频序列存在干扰的技术问题。
附图说明
图1为本发明实施例一基于视频相关性的视频预处理的方法流程图；
图2为本发明实施例二基于视频相关性的视频预处理的装置结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施一种基于视频相关性的视频预处理的方法，所述方法包括：
接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；
这里基于目标区域的识别，可以是基于若干帧进行背景建模，并基于像素点的匹配进行像素点分类，来确定出目标对象。若进一步，针对的是人脸视频，则我们可以进一步执行人脸关键点的监测，这里可以基于人脸识别库face-recognition实现，通过相关函数可以得到视频帧中的人脸各个关键点区域，包括眼睛的轮廓，嘴唇位置，以及鼻子的位置。而本实施例，则可以以为鼻尖所在的坐标作为视频对象的第一区域作为目标区域。
初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；
依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；；
优选的，所述第一图像信息、第二图像信息包括：图像像素信息以及时间戳信息。
优选的，所述获取所述目标区域的第一坐标，包括：获取所述目标区域的区域中心点坐标。
具体地，对于镜头分割视频序列，可以采用背景减除法，建立背景模型，这里包括，但不仅限于可以参照现有技术的镜头分割的算法。识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域，这里比如在针对的是人脸视频序列，可以将人脸作为视频对象，并将人脸的关键区域鼻子，或者人脸的眼睛作为目标区域，比如将鼻子作为目标区域时，可以将鼻子的中心点作为目标区域-鼻子的第一坐标；并且获取第一坐标对应的像素信息，以及该帧对应的时间戳信息。
具体地，若第二视频帧，不存在目标区域，则直接剔除该帧；若第二视频帧中存在目标区域，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息，如将鼻子作为目标区域时，即，获取第二视频帧中鼻子区域，以及将第二视频帧中的鼻子的中心点作为与第一视频帧对应的目标区域的第二坐标；获取相应的像素信息以及该第二视频帧的时间戳信息。
再有，如果针对的视频序列是动物，我们可以将动物的眼睛作为目标区域，将眼睛作为目标区域时，所述目标区域就可以分为第一目标区域，以及第二目标区域，所述第一目标区域为左眼，第二目标区域为右眼，并确定左眼、右眼的中心点位置的坐标，作为第一坐标的子坐标1，子坐标2。并且获取第一坐标的子坐标1、子坐标2对应的像素信息，以及上述坐标所在的视频帧对应的时间戳信息。
进一步，基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；
优选的，所述基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性，包括：
比较所述第一视频帧与第二视频帧的对应坐标位置的图像像素之间的欧氏距离，若大于设定阈值Th1，则进一步判断所述第二视频帧与第一视频帧的时间戳绝对值差，若大于设定阈值Th2，则确定所述第一视频帧与第二视频帧不相关。
具体地，若所述的目标区域对应的第一坐标为1个，比如目标区域为鼻子，那么我们分别比较所述第一视频帧与第二视频帧的对应鼻子中心点坐标位置的图像像素之间的欧氏距离；若大于设定阈值Th1，则进一步判断两帧时间戳绝对值差，若大于设定阈值Th2，则说明两帧时间的时间差距帧差较远，则具备不相关的可能，这里一般人物被遮挡是逐帧遮挡，或者人物扭头是逐帧扭头，而不会出现突变的情况，因此，设定阈值Th2，来进一步，保证差别较大的两帧不会是近距离的帧，确定所述第一视频帧与第二视频帧不相关。
具体地，若所述的目标区域对应的第一坐标为2个，比如目标区域为左眼、右眼，那么我们分别比较所述第一视频帧与第二视频帧的对应左眼中心点坐标位置的图像像素之间的欧氏距离、以及比较所述第一视频帧与第二视频帧的对应右眼中心点坐标位置的图像像素之间的欧氏距离；若均大于设定阈值Th1，则进一步判断两帧时间戳绝对值差，若大于设定阈值Th2，则说明两帧时间的时间差距帧差较远，确定所述第一视频帧与第二视频帧不相关。
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
优选的，对所述与第一视频帧不相关的第二视频帧进行剔除，而将剔除后的所述视频序列进行重新整合，形成预处理后的视频帧，从而用于后续的视频分析，比如情感识别等等。
实施例二
本发明实施一种基于视频相关性的视频预处理的装置，所述装置包括：
接收模块，接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；
这里基于目标区域的识别，可以是基于若干帧进行背景建模，并基于像素点的匹配进行像素点分类，来确定出目标对象。若进一步，针对的是人脸视频，则我们可以进一步执行人脸关键点的监测，这里可以基于人脸识别库face-recognition实现，通过相关函数可以得到视频帧中的人脸各个关键点区域，包括眼睛的轮廓，嘴唇位置，以及鼻子的位置。而本实施例，则可以以为鼻尖所在的坐标作为视频对象的第一区域作为目标区域。
初始化模块，初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；
获取模块，依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；
确定模块，基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
优选的，所述获取所述目标区域的第一坐标，包括：获取所述目标区域的区域中心点坐标。
具体地，对于镜头分割视频序列，可以采用背景减除法，建立背景模型，这里包括，但不仅限于可以参照现有技术的镜头分割的算法。识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域，这里比如在针对的是人脸视频序列，可以将人脸作为视频对象，并将人脸的关键区域鼻子，或者人脸的眼睛作为目标区域，比如将鼻子作为目标区域时，可以将鼻子的中心点作为目标区域-鼻子的第一坐标；并且获取第一坐标对应的像素信息，以及该帧对应的时间戳信息。
优选的，所述第一图像信息、第二图像信息包括：图像像素信息以及时间戳信息。
优选的，所述确定模块，还包括：
比较所述第一视频帧与第二视频帧的对应坐标位置的图像像素之间的欧氏距离，若大于设定阈值Th1，则进一步判断所述第二视频帧与第一视频帧的时间戳绝对值差，若大于设定阈值Th2，则确定所述第一视频帧与第二视频帧不相关。
具体地，若所述的目标区域对应的第一坐标为1个，比如目标区域为鼻子，那么我们分别比较所述第一视频帧与第二视频帧的对应鼻子中心点坐标位置的图像像素之间的欧氏距离；若大于设定阈值Th1，则进一步判断两帧时间戳绝对值差，若大于设定阈值Th2，则说明两帧时间的时间差距帧差较远，则具备不相关的可能，这里一般人物被遮挡是逐帧遮挡，或者人物扭头是逐帧扭头，而不会出现突变的情况，因此，设定阈值Th2，来进一步，保证差别较大的两帧不会是近距离的帧，确定所述第一视频帧与第二视频帧不相关。
具体地，若所述的目标区域对应的第一坐标为2个，比如目标区域为左眼、右眼，那么我们分别比较所述第一视频帧与第二视频帧的对应左眼中心点坐标位置的图像像素之间的欧氏距离、以及比较所述第一视频帧与第二视频帧的对应右眼中心点坐标位置的图像像素之间的欧氏距离；若均大于设定阈值Th1，则进一步判断两帧时间戳绝对值差，若大于设定阈值Th2，则说明两帧时间的时间差距帧差较远，确定所述第一视频帧与第二视频帧不相关。
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
优选的，对所述与第一视频帧不相关的第二视频帧进行剔除，而将剔除后的所述视频序列进行重新整合，形成预处理后的视频帧，从而用于后续的视频分析，比如情感识别等等。
此外，本发明还提出一种存储介质，所述存储介质存储有指令，所述指令适于处理器进行加载，以执行上述的基于视频相关性的视频预处理的方法的步骤。
在本发明实施例的方案中，基于视频相关性的视频预处理的方法，所述方法包括：接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。本发明，通过镜头分割以及对于镜头分割后的视频序列进行基于视频对象基准关键点的识别与匹配从而确定视频帧是否应该剔除，从而解决视频序列存在干扰的技术问题。
此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上基于远程互动和云计算的媒体数据处理方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其它编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或大数据平台上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和列表的顺序、数字字母的使用、或其它名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的偏移处理和等价组合。例如，虽然以上所描述的系统组件可以通过互动业务实现，但是也可以只通过软件的解决方案得以实现，如在现有的大数据平台或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种基于视频相关性的视频预处理的方法，其特征在于，所述方法包括：
接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；
初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；
依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；
基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
2.根据权利要求1所述的基于视频相关性的视频预处理的方法，其特征在于，所述获取所述目标区域的第一坐标，包括：获取所述目标区域的区域中心点坐标。
3.根据权利要求1或2所述的基于视频相关性的视频预处理的方法，其特征在于，所述第一图像信息、第二图像信息包括：图像像素信息以及时间戳信息。
4.根据权利要求3所述的基于视频相关性的视频预处理的方法，其特征在于，所述基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性，包括：
比较所述第一视频帧与第二视频帧的对应目标区域位置的图像像素之间的欧氏距离，若大于设定阈值Th1，则进一步判断所述第二视频帧与第一视频帧的时间戳绝对值差，若大于设定阈值Th2，则确定所述第一视频帧与第二视频帧不相关。
5.根据权利要求4所述的基于视频相关性的视频预处理的方法，其特征在于，对所述与第一视频帧不相关的第二视频帧进行滤除。
6.一种基于视频相关性的视频预处理的装置，其特征在于，所述装置包括：
接收模块，接收视频序列；所述视频序列为经过镜头分割的视频帧序列；识别所述视频序列中的视频对象，并确定所述视频对象的第一区域作为目标区域；
初始化模块，初始化所述视频序列的第一视频帧，并获取所述目标区域的第一坐标，以及所述第一坐标对应的第一图像信息；所述第一视频帧为视频序列的首帧图像；
获取模块，依次获取所述视频序列的第二视频帧，并获取所述目标区域的第二坐标，以及所述第二坐标对应的第二图像信息；
确定模块，基于第一图像信息以及第二图像信息，确定第一视频帧与第二视频帧的相关性；
基于所述相关性，判断是否将所述第二视频帧作为目标视频帧序列。
7.根据权利要求6所述的基于视频相关性的视频预处理的装置，其特征在于，所述获取所述目标区域的第一坐标，包括：获取所述目标区域的区域中心点坐标。
8.根据权利要求6或7所述的基于视频相关性的视频预处理的装置，其特征在于，所述第一图像信息、第二图像信息包括：图像像素信息以及时间戳信息。
9.根据权利要求8所述的基于视频相关性的视频预处理的装置，其特征在于，所述确定模块，还包括：
比较所述第一视频帧与第二视频帧的对应坐标位置的图像像素之间的欧氏距离，若大于设定阈值Th1，则进一步判断所述第二视频帧与第一视频帧的时间戳绝对值差，若大于设定阈值Th2，则确定所述第一视频帧与第二视频帧不相关。
10.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令适于处理器进行加载，以执行权利要求1至5任一项所述的基于视频相关性的视频预处理的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111492061.0A CN114189685A (zh) | 2021-12-08 | 2021-12-08 | 一种基于视频相关性的视频预处理方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111492061.0A CN114189685A (zh) | 2021-12-08 | 2021-12-08 | 一种基于视频相关性的视频预处理方法、装置以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114189685A true CN114189685A (zh) | 2022-03-15 |
Family
ID=80542762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111492061.0A Pending CN114189685A (zh) | 2021-12-08 | 2021-12-08 | 一种基于视频相关性的视频预处理方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114189685A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307218A (zh) * | 2023-03-27 | 2023-06-23 | 松原市邹佳网络科技有限公司 | 基于人工智能的元宇宙体验用户行为预测方法及系统 |
| CN117177004A (zh) * | 2023-04-23 | 2023-12-05 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
| CN117177004B (zh) * | 2023-04-23 | 2024-05-31 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
-
2021
- 2021-12-08 CN CN202111492061.0A patent/CN114189685A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307218A (zh) * | 2023-03-27 | 2023-06-23 | 松原市邹佳网络科技有限公司 | 基于人工智能的元宇宙体验用户行为预测方法及系统 |
| CN117177004A (zh) * | 2023-04-23 | 2023-12-05 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
| CN117177004B (zh) * | 2023-04-23 | 2024-05-31 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10937167B2 (en) | Automated generation of pre-labeled training data | |
| US10037599B2 (en) | Automatic gain control filter in a video analysis system | |
| CN110232369B (zh) | 一种人脸识别方法和电子设备 | |
| US9020209B2 (en) | Face identification device | |
| CN107172354B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| KR20180109665A (ko) | 객체 검출을 위한 영상 처리 방법 및 장치 | |
| CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
| US9639943B1 (en) | Scanning of a handheld object for 3-dimensional reconstruction | |
| WO2021179471A1 (zh) | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 | |
| CN111079613B (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
| CN110956114A (zh) | 人脸活体检测方法、装置、检测系统及存储介质 | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN112598677B (zh) | 用于图像分析的方法和设备 | |
| US20230063309A1 (en) | Method for processing human body image and electronic device | |
| CN109145752B (zh) | 用于评估对象检测和跟踪算法的方法、装置、设备和介质 | |
| CN107346417B (zh) | 人脸检测方法及装置 | |
| CN114189685A (zh) | 一种基于视频相关性的视频预处理方法、装置以及存储介质 | |
| CN111325773A (zh) | 运动目标的检测方法、装置、设备及可读存储介质 | |
| CN113205011A (zh) | 图像掩膜确定方法及装置、存储介质和电子设备 | |
| WO2018159037A1 (ja) | 顔検出装置およびその制御方法、並びにプログラム | |
| US11275926B2 (en) | Face tracking method and device | |
| CN108446653B (zh) | 用于处理面部图像的方法和装置 | |
| CN114565531A (zh) | 一种图像修复方法、装置、设备和介质 | |
| US20190370942A1 (en) | Red-eye correction techniques | |
| CN112070954A (zh) | 活体识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |