CN113542868A - 视频关键帧选取方法、装置、电子设备、存储介质 - Google Patents

视频关键帧选取方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN113542868A
CN113542868A CN202110580563.2A CN202110580563A CN113542868A CN 113542868 A CN113542868 A CN 113542868A CN 202110580563 A CN202110580563 A CN 202110580563A CN 113542868 A CN113542868 A CN 113542868A
Authority
CN
China
Prior art keywords
image
frame image
current frame
moving object
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110580563.2A
Other languages
English (en)
Inventor
孙璆琛
李合青
陈小彪
李建超
邱红祥
章金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110580563.2A priority Critical patent/CN113542868A/zh
Publication of CN113542868A publication Critical patent/CN113542868A/zh
Priority to PCT/CN2022/081557 priority patent/WO2022247406A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频关键帧选取方法、装置、电子设备、存储介质，选取方法包括：获取视频流的一帧图像作为当前帧图像；根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度；若运动幅度大于幅度阈值，则将当前帧图像设置为关键帧图像。以此能够提高视频关键帧选取的准确性。

Description

视频关键帧选取方法、装置、电子设备、存储介质
技术领域
本发明涉及视频图像处理技术领域，尤其是涉及一种视频关键帧选取方法、装置、电子设备、存储介质。
背景技术
视频关键帧是指包含视频流关键信息的图像帧，包括连续图像帧之间相同的静态信息，以及和目标动作相关的动态信息。在视频监控场景中，通过对视频流中关键帧的使用，可以达到节省存储空间并提高视频处理效率的目的，因此视频关键帧的准确性尤为重要。
发明内容
本发明提供一种视频关键帧选取方法、装置、电子设备、存储介质。其能够提高视频关键帧选取的准确性。
为解决上述技术问题，本发明提供的第一个技术方案为：提供一种视频关键帧选取方法，包括：获取视频流的一帧图像作为当前帧图像；根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度；若运动幅度大于幅度阈值，则将当前帧图像设置为关键帧图像。
其中，根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度的步骤，包括：计算当前帧图像的清晰度；若清晰度大于清晰度阈值，则执行步骤：根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度。
其中，根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度的步骤，包括：对当前帧图像以及第一关键帧进行分割，进而得到当前帧图像的第一运动目标图像，以及第一关键帧的第二运动目标图像；计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值，光流值为运动幅度。
其中，计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值的步骤，包括：计算第一运动目标图像中每一运动目标到第二运动目标图像中每一运动目标的第一光流值；基于所有运动目标的第一光流值，进而得到光流值。
其中，基于所有运动目标的第一光流值，进而得到光流值的步骤，包括：对所有运动目标的第一光流值进行求和，进而得到光流值。
其中，对当前帧图像以及第一关键帧进行分割，进而得到当前帧图像的第一运动目标图像，以及第一关键帧的第二运动目标图像的步骤，包括：利用背景差分法对当前帧图像中的运动目标进行检测，进而得到第一差分图像，以及利用背景差分法对第一关键帧中的运动目标进行检测，进而得到第二差分图像；对第一差分图像进行二值化处理，进而得到第一二值图像，对第二差分图像进行二值化处理，进而得到第二二值图像；对第一二值图像进行形态学滤波，找到形态学滤波图像的第一八连通区域，基于第一八连通区域得到运动目标的第一外接矩形；对第二二值图像进行形态学滤波，找到形态学滤波图像的第二八连通区域，基于第二八连通区域得到运动目标的第二外接矩形；基于第一外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第二外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。
其中，基于第一外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第二外接矩形对第一关键帧进行分割，进而得到第二运动目标图像的步骤，包括：将第一外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第三外接矩形，将第二外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第四外接矩形；基于第三外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第四外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。
其中，计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值的步骤，包括：利用光流网络计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流场；将光流场中所有像素位置的第一方向以及第二方向的光流值相加，进而得到第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值。
其中，计算当前帧图像的清晰度的步骤，包括：利用拉普拉斯梯度函数法计算当前帧图像的清晰度。
其中，利用拉普拉斯梯度函数法计算当前帧图像的清晰度的步骤，包括：计算当前帧图像的单通道灰度图像；利用拉普拉斯算法基于单通道灰度图像计算得到当前帧图像的清晰度。
其中，方法还包括：利用拉普拉斯梯度函数法计算出视频流中所有视频帧图像的清晰度，基于所有视频帧图像的清晰度的得到清晰度平均值，清晰度平均值为清晰度阈值。
其中，获取视频流的一帧图像作为当前帧图像之前包括：判断获取的图像是否为视频流的最后一帧图像；若否，则将获取的图像作为当前帧图像。
为解决上述技术问题，本发明提供的第二个技术方案为：提供一种视频关键帧选取装置，包括：获取模块，用于获取视频流的预设帧图像作为当前帧图像；运动幅度计算模块，用于根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度；关键帧选取模块，用于在运动幅度大于幅度阈值时，则将当前帧图像设置为关键帧图像。
为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的方法。
为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。
本发明的有益效果，区别于现有技术的情况，本发明根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度；若运动幅度大于幅度阈值，则将当前帧图像设置为关键帧图像。以此能够提高视频关键帧选取的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为本发明视频关键帧选取方法的第一实施例的流程示意图；
图2为图1中步骤S12的一实施例的流程示意图；
图3为图2中步骤S21的一实施例的流程示意图；
图4为本发明视频关键帧选取方法的第二实施例的流程示意图；
图5为本发明视频关键帧选取装置的一实施例的结构示意图；
图6为本发明电子设备的一实施例的结构示意图；
图7为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，为本发明视频关键帧选取方法的第一实施例的流程示意图，具体包括：
步骤S11：获取视频流的一帧图像作为当前帧图像。
获取视频流的一帧图像作为当前帧图像。具体的，在得到当前帧图像时，判断获取的图像是否为视频流的最后一帧图像，若是，则将最后一帧图像设置为关键帧图像，若否，则将获取的图像作为当前帧图像。
在本申请的一实施例中，假设视频流的第一帧图像为关键帧图像，然后判断下一帧是否为该视频流的最后一帧，若是，则将最后一帧图像设置为关键帧图像，若否，则将其当前帧图像。
步骤S12：根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度。
在本实施例中，在确定当前帧图像后，判断当前帧图像中的运动目标的运动幅度，基于运动幅度确定是否将当前帧图像设置为关键帧图像。
具体的，根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度。例如，将视频流的第一帧图像设置为关键帧图像，第二帧图像不是该视频流的最后一帧图像，则将第二帧图像作为当前帧图像，第一帧图像为其最邻近的第一关键帧图像。此时，根据第二帧图像以及第一帧图像计算第二帧图像中运动目标的运动幅度。
具体的，请结合图2，图2为计算当前帧图像的运动幅度的一实施例的流程示意图，具体包括：
步骤S21：对当前帧图像以及第一关键帧进行分割，进而得到当前帧图像的第一运动目标图像，以及第一关键帧的第二运动目标图像。
在一具体实施例中，为了避免图像中驳杂区域对运动幅度判断的影响，在本实施例中，对当前帧图像以及第一关键帧图像进行分割，以将图像中的驳杂区域去除，进而得到当前帧图像中包含运动目标的第一运动目标图像以及第一关键帧中包含运动目标的第二运动目标图像。
具体请结合图3，步骤S21包括：
步骤S31：利用背景差分法对当前帧图像中的运动目标进行检测，进而得到第一差分图像，以及利用背景差分法对第一关键帧中的运动目标进行检测，进而得到第二差分图像。
具体的，利用背景差分法对当前帧图像中的运动目标进行检测，进而得到第一差分图像；利用背景差分算对第一关键帧中的运动目标进行检测，进而得到第二差分图像。
背景差分法是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法，其性能依赖于所使用的背景建模技术。在基于背景差分方法的运动目标检测中，背景图像的建模和模拟的准确程度，直接影响到检测的效果。背景差分法检测运动目标速度快，检测准确，易于实现。本实施例通过背景差分法能够快速检测运动目标，且检测结果准确。
步骤S32：对第一差分图像进行二值化处理，进而得到第一二值图像，对第二差分图像进行二值化处理，进而得到第二二值图像。
对第一差分图像进行二值化处理，进而得到第一二值图像，对第二差分图像进行二值化处理，进而得到第二二值图像。
二值化处理主要是将第一差分图像以及第二差分图像上的像素点的灰度值设置为0或255，也就是将第一差分图像以及第二差分图像呈现出明显的黑白效果。
步骤S33：对第一二值图像进行形态学滤波，找到形态学滤波图像的第一八连通区域，基于第一八连通区域得到运动目标的第一外接矩形；对第二二值图像进行形态学滤波，找到形态学滤波图像的第二八连通区域，基于第二八连通区域得到运动目标的第二外接矩形。
对第一二值图像进行形态学滤波，找到形态学滤波图像的第一八连通区域，基于第一八连通区域得到运动目标的第一外接矩形。对第二二值图像进行形态学滤波，找到形态学滤波图像的第二八连通区域，基于第二八连通区域得到运动目标的第二外接矩形。
形态学滤波主要是对第一二值图像以及第二二值图像进行降噪、增强等处理。在一具体实施例中，在对第一二值图像进行形态学滤波后，找到形态学滤波图像的第一八连通区域，将第一八连通区域中面积大于预设值例如1000的部分提取为当前帧图像中的运动目标，并得到运动目标的第一外接矩形的位置坐标。在对第二二值图像进行形态学滤波后，找到形态学滤波图像的第二八连通区域，将第二八连通区域中面积大于预设值例如1000的部分提取为第一关键帧中的运动目标，并得到运动目标的第二外接矩形的坐标位置。
步骤S34：基于第一外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第二外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。
基于第一外接矩形对当前帧图像进行分割，进而得到第一运动目标图像。基于第二外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。
在一实施例中，还可以将第一外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第三外接矩形，将第二外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第四外接矩形。例如，将第一外接矩形以及第二外接矩形在X轴和Y轴的正负方向上各扩充5个像素点，进而得到第三外接矩形以及第四外接矩形。需要注意的是，不足5个像素点时，扩充到边缘位置即可。基于第三外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第四外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。
步骤S22：计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值，光流值为运动幅度。
具体的，假设视频流中共有n帧图像，视频流的第一帧图像记为I0，其中，I表示视频流中的视频帧图像，0表示视频流的第一帧，视频流中的视频帧图像可以表示为Ii，i为当前视频帧的下标，取值范围为[0，n-1]。将第一运动目标图像记为Sij，其中，j表示当前帧图像中运动目标，j的取值为[0,m-1]，m为当前帧图像中运动目标的个数，也即Sij表示第i帧图像中第j个运动目标的第一运动目标图像。将第二运动目标图像记为Skj，其中，k表示最邻近的第一关键帧，也即Skj表示第一关键帧中第j个运动目标的第二运动目标图像。将第一运动目标图像Sij以及第二运动目标图像Skj送入光流网络中，计算出当前帧图像中运动目标到第一关键帧中运动目标的光流值。在一实施例中，若运动目标为一个，那么该运动目标的光流值即为当前帧图像中运动目标到第一关键帧中运动目标的光流值。若运动目标为多个，那么需要计算第一运动目标图像中每一运动目标到第二运动目标图像中每一运动目标的第一光流值；基于所有运动目标的第一光流值，进而得到当前帧图像中运动目标到第一关键帧中运动目标的光流值。在一具体实施例中，对所有运动目标的第一光流值进行求和，进而得到当前帧图像中运动目标到第一关键帧中运动目标的光流值。
光流是指连续图像序列中运动物体上像素的瞬时运动速度，光流的计算是利用像素在连续图像序列中时间域上的变化以及相邻图像帧之间的相关性，找到相邻图像序列存在的对应关系，从而计算出相邻两个图像帧之间物体的运动信息的一种方法，因此光流值为运动幅度的一种表征方式。将光流值与预设光流值进行比较，若光流值大于预设光流值，则说明当前视频帧与第一关键帧相比，运动目标发生了剧烈运动，也即运动幅度大于幅度阈值，此时将当前帧图像设置为关键帧图像。若光流值小于预设光流值，则说明当前视频帧与第一关键帧相比，运动目标未发生剧烈运动，也即运动幅度小于幅度阈值，此时返回步骤S11：获取视频流的一帧图像作为当前帧图像，对当前帧图像之后的其余视频帧图像进行运动幅度的判断，具体判断方法与上述相同，在此不再赘述。
光流网络是利用卷积神经网络预测两张图像之间的光流信息的网络模型，光流网络分为卷积部分和反卷积部分，卷积部分对应为缩小部分，反卷积部分对应为放大部分。
在一实施例中，利用光流网络计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流场；将光流场中所有像素位置的第一方向以及第二方向的光流值相加，进而得到第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值。
具体的，假设当前帧图像的第j个第一运动目标图像Sij以及第一关键帧的第j个第二运动目标图像Skj尺寸为384×512×3，其中，384×512为高×宽，3为通道数。将第一运动目标图像Sij以及第二运动目标图像Skj送入提前训练好的光流网络中，光流网络将这两张图像在通道维度上进行连接，则光流网络的输入可以看作为一个通道数为6、尺寸为384×512的图像数据，利用卷积部分进行下采样，输出特征图的尺寸为6×8。利用反卷积部分对6×8的特征图进行反卷积，在反卷积过程中，对当前小尺寸的特征图进行光流的预测，同时将此特征图进行后面步骤的反卷积，然后对小尺寸特征图的预测结果进行双线性插值操作，最后将双线性插值后的结果和反卷积后的特征图在通道维度上进行连接，将连接后的特征图继续往后进行相同的操作，此过程共重复四次，所以反卷积部分的输出特征图尺寸为96×128，再对反卷积部分的输出进行两次双线性插值操作，可得到和输入相同分辨率的光流预测图，也即光流场Mij-kj。
光流场Mij-kj的通道数为2，其中空间中每个位置处预测的光流信息都分为X方向和Y方向两个维度，将光流场Mij-kj中所有像素位置的X方向和Y方向的光流值进行相加，可得到当前帧图像的第一运动目标图像Sij到第一关键帧相应的第二运动目标图像Skj的光流值Dij-kj，光流值Dij-kj的计算如下所示：
Dij-kj(n)＝∑x∑yMij-kj(n) (1)；
其中，n表示光流场中的某个像素位置。
在一实施例中，若运动目标为一个，那么该运动目标的光流值即为当前帧图像中运动目标到第一关键帧中运动目标的光流值。若运动目标为多个，那么需要计算第一运动目标图像中每一运动目标到第二运动目标图像中每一运动目标的第一光流值；基于所有运动目标的第一光流值，进而得到当前帧图像中运动目标到第一关键帧中运动目标的光流值。在一具体实施例中，对所有运动目标的第一光流值进行求和，进而得到当前帧图像中运动目标到第一关键帧中运动目标的光流值，具体为：
Figure BDA0003085961940000091
步骤S13：若运动幅度大于幅度阈值，则将当前帧图像设置为关键帧图像。
具体的，光流是指连续图像序列中运动物体上像素的瞬时运动速度，光流的计算是利用像素在连续图像序列中时间域上的变化以及相邻图像帧之间的相关性，找到相邻图像序列存在的对应关系，从而计算出相邻两个图像帧之间物体的运动信息的一种方法，因此光流值为运动幅度的一种表征方式。将光流值与预设光流值进行比较，若光流值大于预设光流值，则说明当前视频帧与第一关键帧相比，运动目标发生了剧烈运动，也即运动幅度大于幅度阈值，此时将当前帧图像设置为关键帧图像。若光流值小于预设光流值，则说明当前视频帧与第一关键帧相比，运动目标未发生剧烈运动，也即运动幅度小于幅度阈值，此时返回步骤S11：获取视频流的一帧图像作为当前帧图像，对当前帧图像之后的其余视频帧图像进行运动幅度的判断，具体判断方法与上述相同，在此不再赘述。
现有技术中，利用Lucas-Kanade光流估计方法计算的光流为稀疏光流，稀疏光流智能表征目标是否运动，而不能准确得到运动幅度，稀疏光流对图像的像素配准效果不足，对于连贯的运动情况，光流跟踪效果不好。本实施例的视频关键帧选取方法，利用光流网络估计当前帧图像与当前帧图像最邻近的第一关键帧之间的光流值，并将计算出的光流值用于判断目标物体的运动幅度，克服了现有技术中只关注目标物体是否运动而忽略其运动幅度，造成提取到的视频关键帧出现较多冗余的问题，提高了视频流中关键帧提取的质量和效率。
本实施例对当前帧图像以及当前视频帧邻近的第一关键帧中的运动目标进行检测，提取出运动目标图像，并将当前帧中目标运动图像与第一关键帧中相同位置的目标运动图像同时送入光流网络估计光流场，去除驳杂区域，而不是利用整个视频帧进行光流场的估计，在一定程度上克服了现有技术中光流估计耗时较高的问题，使得本专利提案提高了视频流关键帧提取的速度。
请参见图4，为本发明视频关键帧选取方法的第二实施例的流程示意图，与图1所示的第一实施例相比，区别在于，本实施例还需要计算当前帧图像的清晰度。具体的，本实施例包括：
步骤S41：获取视频流的一帧图像作为当前帧图像。
步骤S41与上述图1中步骤S11相同，在此不再赘述。
步骤S42：计算当前帧图像的清晰度。
在一实施例中，利用拉普拉斯梯度函数法计算当前帧图像的清晰度。具体的，计算当前帧图像的单通道灰度图像；利用拉普拉斯算法基于单通道灰度图像计算得到当前帧图像的清晰度。
具体的通过如下公式计算当前帧图像的单通道灰度图像：
Img＝0.299×Ii(R)+0.587×Ii(G)+0.114×Ii(B) (3)；
其中，图像Img中坐标位置为(x，y)的像素点的灰度值为Img(x，y)，Img(x，y)的取值范围为[0，255]，灰度值为0时，表示此像素点为黑色，灰度值为255时，表示此像素点为白色。
假设单通道灰度图像为：
Figure BDA0003085961940000111
拉普拉斯算子为：
Figure BDA0003085961940000112
利用拉普拉斯梯度函数法计算当前帧图像的清晰度D(Ii)的公式为：
D(Ii)＝∑y∑x|G(x,y)| (6)；
其中，G(x,y)是像素点(x,y)处的拉普拉斯梯度函数法计算结果，其中，0＜x＜9，0＜y＜9。拉普拉斯梯度函数法计算方法的变换过程和卷积操作的过程一致，即将拉普拉斯算子Lap在灰度图像Img上逐行移动，对拉普拉斯算子Lap中与灰度图像Img重合的像素值进行相乘后求和，赋值给与拉普拉斯算子Lap中心点重合的像素点，对灰度图像Img中的边缘像素点无法进行此操作，直接赋值为0即可。对灰度图像Img中所有位置进行拉普拉斯卷积的结果L(Img)如下所示：
Figure BDA0003085961940000121
对公式(7)中的拉普拉斯卷积结果再利用公式(6)计算当前帧图像的清晰度D(Ii)，得到的清晰度值为242。
在一实施例中，可以利用拉普拉斯梯度函数法计算出视频流中所有视频帧图像的清晰度，基于所有视频帧图像的清晰度的得到清晰度平均值，将清晰度平均值作为清晰度阈值。将计算得到的当前帧图像的清晰度与清晰度阈值进行比较。
步骤S43：若清晰度大于清晰度阈值，则执行步骤：根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度。
计算当前帧图像中运动目标的运动幅度的方式与上述相同，在此不再赘述。
若清晰度小于清晰度阈值，返回步骤S41，获取下一帧图像作为当前帧图像，重新进行清晰度计算。
步骤S44：若运动幅度大于幅度阈值，则将当前帧图像设置为关键帧图像。
本实施例的方法，计算当前帧图像的清晰度，在清晰度大于清晰度阈值时，进一步计算当前帧图像中运动目标的运动幅度，在运动幅度大于幅度阈值时，将当前帧图像作为关键帧图像。以此可以提高关键帧的准确性。
具体的，现有技术中，利用Lucas-Kanade光流估计方法计算的光流为稀疏光流，稀疏光流智能表征目标是否运动，而不能准确得到运动幅度，稀疏光流对图像的像素配准效果不足，对于连贯的运动情况，光流跟踪效果不好。本实施例的视频关键帧选取方法，利用光流网络估计当前帧图像与当前帧图像最邻近的第一关键帧之间的光流值，并将计算出的光流值用于判断目标物体的运动幅度，克服了现有技术中只关注目标物体是否运动而忽略其运动幅度，造成提取到的视频关键帧出现较多冗余的问题，提高了视频流中关键帧提取的质量和效率。
本实施例对当前帧图像以及当前视频帧邻近的第一关键帧中的运动目标进行检测，提取出运动目标图像，并将当前帧中目标运动图像与第一关键帧中相同位置的目标运动图像同时送入光流网络估计光流场，去除驳杂区域，而不是利用整个视频帧进行光流场的估计，在一定程度上克服了现有技术中光流估计耗时较高的问题，使得本专利提案提高了视频流关键帧提取的速度。
本实施例在对视频流中的视频关键帧进行提取时，利用拉普拉斯梯度函数法对当前帧图像进行清晰度判断，过滤掉模糊的视频帧图像，克服了现有技术中，由于提取到的视频关键帧较模糊，出现的视频关键帧代表性不强，以及存在较多冗余关键帧的问题，使得本专利减少了冗余关键帧数量的同时，提高了视频关键帧提取的效率。
请参见图5，为本发明视频关键帧选取装置的一实施例的结构示意图，具体包括获取模块51、运动幅度计算模块52以及关键帧选取模块53。
其中，获取模块51用于获取视频流的预设帧图像作为当前帧图像。具体的，在得到当前帧图像时，判断获取的图像是否为视频流的最后一帧图像，若是，则将最后一帧图像设置为关键帧图像，若否，则将获取的图像作为当前帧图像。在本申请的一实施例中，假设视频流的第一帧图像为关键帧图像，然后判断下一帧是否为该视频流的最后一帧，若是，则将最后一帧图像设置为关键帧图像，若否，则将其当前帧图像。
运动幅度计算模块52用于根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度。
具体的，运动幅度计算模块52用于对当前帧图像以及第一关键帧进行分割，进而得到当前帧图像的第一运动目标图像，以及第一关键帧的第二运动目标图像。例如，运动幅度计算模块52利用背景差分法对当前帧图像中的运动目标进行检测，进而得到第一差分图像，以及利用背景差分法对第一关键帧中的运动目标进行检测，进而得到第二差分图像。对第一差分图像进行二值化处理，进而得到第一二值图像，对第二差分图像进行二值化处理，进而得到第二二值图像。对第一二值图像进行形态学滤波，找到形态学滤波图像的第一八连通区域，基于第一八连通区域得到运动目标的第一外接矩形；对第二二值图像进行形态学滤波，找到形态学滤波图像的第二八连通区域，基于第二八连通区域得到运动目标的第二外接矩形。基于第一外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第二外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。计算第一运动目标图像中运动目标到第二运动目标图像中运动目标的光流值，光流值为运动幅度。
在一实施例中，还可以将第一外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第三外接矩形，将第二外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第四外接矩形。例如，将第一外接矩形以及第二外接矩形在X轴和Y轴的正负方向上各扩充5个像素点，进而得到第三外接矩形以及第四外接矩形。需要注意的是，不足5个像素点时，扩充到边缘位置即可。基于第三外接矩形对当前帧图像进行分割，进而得到第一运动目标图像，基于第四外接矩形对第一关键帧进行分割，进而得到第二运动目标图像。
关键帧选取模块53用于在运动幅度大于幅度阈值时，则将当前帧图像设置为关键帧图像。
在一实施例中，运动幅度计算模块52还用于计算当前帧图像的清晰度，若清晰度大于清晰度阈值，则根据当前帧图像以及与当前帧图像邻近的第一关键帧图像计算当前帧图像中运动目标的运动幅度。
本实施例的装置，计算当前帧图像的清晰度，在清晰度大于清晰度阈值时，进一步计算当前帧图像中运动目标的运动幅度，在运动幅度大于幅度阈值时，将当前帧图像作为关键帧图像。以此可以提高关键帧的准确性。
具体的，现有技术中，利用Lucas-Kanade光流估计方法计算的光流为稀疏光流，稀疏光流智能表征目标是否运动，而不能准确得到运动幅度，稀疏光流对图像的像素配准效果不足，对于连贯的运动情况，光流跟踪效果不好。本实施例的视频关键帧选取方法，利用光流网络估计当前帧图像与当前帧图像最邻近的第一关键帧之间的光流值，并将计算出的光流值用于判断目标物体的运动幅度，克服了现有技术中只关注目标物体是否运动而忽略其运动幅度，造成提取到的视频关键帧出现较多冗余的问题，提高了视频流中关键帧提取的质量和效率。
本实施例对当前帧图像以及当前视频帧邻近的第一关键帧中的运动目标进行检测，提取出运动目标图像，并将当前帧中目标运动图像与第一关键帧中相同位置的目标运动图像同时送入光流网络估计光流场，去除驳杂区域，而不是利用整个视频帧进行光流场的估计，在一定程度上克服了现有技术中光流估计耗时较高的问题，使得本专利提案提高了视频流关键帧提取的速度。
本实施例在对视频流中的视频关键帧进行提取时，利用拉普拉斯梯度函数法对当前帧图像进行清晰度判断，过滤掉模糊的视频帧图像，克服了现有技术中，由于提取到的视频关键帧较模糊，出现的视频关键帧代表性不强，以及存在较多冗余关键帧的问题，使得本专利减少了冗余关键帧数量的同时，提高了视频关键帧提取的效率。
请参见图6，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。
存储器202用于存储实现上述任意一项的设备的方法的程序指令。
处理器201用于执行存储器202存储的程序指令。
其中，处理器201还可以称为CPU(Central Processing Unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器202可以为内存条、TF卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
请参阅图7，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种视频关键帧选取方法，其特征在于，包括：
获取视频流的一帧图像作为当前帧图像；
根据所述当前帧图像以及与所述当前帧图像邻近的第一关键帧图像计算所述当前帧图像中运动目标的运动幅度；
若所述运动幅度大于幅度阈值，则将所述当前帧图像设置为所述关键帧图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像以及与所述当前帧图像邻近的第一关键帧图像计算所述当前帧图像中运动目标的运动幅度的步骤，包括：
计算所述当前帧图像的清晰度；
若所述清晰度大于清晰度阈值，则执行步骤：根据所述当前帧图像以及与所述当前帧图像邻近的第一关键帧图像计算所述当前帧图像中运动目标的运动幅度。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前帧图像以及与所述当前帧图像邻近的第一关键帧图像计算所述当前帧图像中运动目标的运动幅度的步骤，包括：
对所述当前帧图像以及所述第一关键帧进行分割，进而得到所述当前帧图像的第一运动目标图像，以及所述第一关键帧的第二运动目标图像；
计算所述第一运动目标图像中运动目标到所述第二运动目标图像中运动目标的光流值，所述光流值为所述运动幅度。
4.根据权利要求3所述的方法，其特征在于，所述计算所述第一运动目标图像中运动目标到所述第二运动目标图像中运动目标的光流值的步骤，包括：
计算所述第一运动目标图像中每一运动目标到所述第二运动目标图像中每一运动目标的第一光流值；
基于所有所述运动目标的所述第一光流值，进而得到所述光流值。
5.根据权利要求4所述的方法，其特征在于，所述基于所有所述运动目标的所述第一光流值，进而得到所述光流值的步骤，包括：
对所有所述运动目标的所述第一光流值进行求和，进而得到所述光流值。
6.根据权利要求3所述的方法，其特征在于，所述对所述当前帧图像以及所述第一关键帧进行分割，进而得到所述当前帧图像的第一运动目标图像，以及所述第一关键帧的第二运动目标图像的步骤，包括：
利用背景差分法对所述当前帧图像中的运动目标进行检测，进而得到第一差分图像，以及利用背景差分法对所述第一关键帧中的运动目标进行检测，进而得到第二差分图像；
对所述第一差分图像进行二值化处理，进而得到第一二值图像，对所述第二差分图像进行二值化处理，进而得到第二二值图像；
对所述第一二值图像进行形态学滤波，找到形态学滤波图像的第一八连通区域，基于所述第一八连通区域得到所述运动目标的第一外接矩形；对所述第二二值图像进行形态学滤波，找到形态学滤波图像的第二八连通区域，基于所述第二八连通区域得到所述运动目标的第二外接矩形；
基于所述第一外接矩形对所述当前帧图像进行分割，进而得到所述第一运动目标图像，基于所述第二外接矩形对所述第一关键帧进行分割，进而得到所述第二运动目标图像。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一外接矩形对所述当前帧图像进行分割，进而得到所述第一运动目标图像，基于所述第二外接矩形对所述第一关键帧进行分割，进而得到所述第二运动目标图像的步骤，包括：
将所述第一外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第三外接矩形，将所述第二外接矩形在第一方向以及第二方向各扩充预设数量的像素点，进而得到第四外接矩形；
基于所述第三外接矩形对所述当前帧图像进行分割，进而得到所述第一运动目标图像，基于所述第四外接矩形对所述第一关键帧进行分割，进而得到所述第二运动目标图像。
8.根据权利要求3所述的方法，其特征在于，所述计算所述第一运动目标图像中运动目标到所述第二运动目标图像中运动目标的光流值的步骤，包括：
利用光流网络计算所述第一运动目标图像中运动目标到所述第二运动目标图像中运动目标的光流场；
将所述光流场中所有像素位置的第一方向以及第二方向的光流值相加，进而得到所述第一运动目标图像中运动目标到所述第二运动目标图像中运动目标的所述光流值。
9.根据权利要求2所述的方法，其特征在于，所述计算所述当前帧图像的清晰度的步骤，包括：
利用拉普拉斯梯度函数法计算所述当前帧图像的清晰度。
10.根据权利要求9所述的方法，其特征在于，所述利用拉普拉斯梯度函数法计算所述当前帧图像的清晰度的步骤，包括：
计算所述当前帧图像的单通道灰度图像；
利用拉普拉斯算法基于所述单通道灰度图像计算得到所述当前帧图像的清晰度。
11.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用拉普拉斯梯度函数法计算出所述视频流中所有视频帧图像的清晰度，
基于所有视频帧图像的清晰度的得到清晰度平均值，所述清晰度平均值为所述清晰度阈值。
12.根据权利要求1所述的方法，其特征在于，所述获取视频流的一帧图像作为当前帧图像之前包括：
判断获取的所述图像是否为所述视频流的最后一帧图像；
若否，则将获取的所述图像作为所述当前帧图像。
13.一种视频关键帧选取装置，其特征在于，包括：
获取模块，用于获取视频流的预设帧图像作为当前帧图像；
运动幅度计算模块，用于根据所述当前帧图像以及与所述当前帧图像邻近的第一关键帧图像计算所述当前帧图像中运动目标的运动幅度；
关键帧选取模块，用于在所述运动幅度大于幅度阈值时，则将所述当前帧图像设置为所述关键帧图像。
14.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行如权利要求1-12任一项所述的视频关键帧选取方法。
15.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-12任一项所述的视频关键帧选取方法。
CN202110580563.2A 2021-05-26 2021-05-26 视频关键帧选取方法、装置、电子设备、存储介质 Pending CN113542868A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110580563.2A CN113542868A (zh) 2021-05-26 2021-05-26 视频关键帧选取方法、装置、电子设备、存储介质
PCT/CN2022/081557 WO2022247406A1 (en) 2021-05-26 2022-03-17 Systems and methods for determining key frame images of video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110580563.2A CN113542868A (zh) 2021-05-26 2021-05-26 视频关键帧选取方法、装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN113542868A true CN113542868A (zh) 2021-10-22

Family

ID=78124429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110580563.2A Pending CN113542868A (zh) 2021-05-26 2021-05-26 视频关键帧选取方法、装置、电子设备、存储介质

Country Status (2)

Country Link
CN (1) CN113542868A (zh)
WO (1) WO2022247406A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247406A1 (en) * 2021-05-26 2022-12-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining key frame images of video data
CN117112833A (zh) * 2023-10-24 2023-11-24 北京智汇云舟科技有限公司 一种基于存储空间优化的视频静态帧过滤方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009138037A1 (zh) * 2008-05-13 2009-11-19 华为技术有限公司 视频服务系统、视频服务装置及其关键帧的提取方法
CN106204594A (zh) * 2016-07-12 2016-12-07 天津大学 一种基于视频图像的弥散性运动物体的方向检测方法
CN108459785A (zh) * 2018-01-17 2018-08-28 中国科学院软件研究所 一种视频多尺度可视化方法与交互方法
CN111639600A (zh) * 2020-05-31 2020-09-08 石家庄铁道大学 基于中心偏移的视频关键帧提取方法
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2740104B1 (en) * 2011-08-02 2016-12-28 ViewsIQ Inc. Apparatus and method for digital microscopy imaging
US20130215221A1 (en) * 2012-02-21 2013-08-22 Sen Wang Key video frame selection method
CN110956219B (zh) * 2019-12-09 2023-11-14 爱芯元智半导体(宁波)有限公司 视频数据的处理方法、装置和电子系统
CN111629262B (zh) * 2020-05-08 2022-04-12 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN113542868A (zh) * 2021-05-26 2021-10-22 浙江大华技术股份有限公司 视频关键帧选取方法、装置、电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009138037A1 (zh) * 2008-05-13 2009-11-19 华为技术有限公司 视频服务系统、视频服务装置及其关键帧的提取方法
CN106204594A (zh) * 2016-07-12 2016-12-07 天津大学 一种基于视频图像的弥散性运动物体的方向检测方法
CN108459785A (zh) * 2018-01-17 2018-08-28 中国科学院软件研究所 一种视频多尺度可视化方法与交互方法
CN111639600A (zh) * 2020-05-31 2020-09-08 石家庄铁道大学 基于中心偏移的视频关键帧提取方法
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247406A1 (en) * 2021-05-26 2022-12-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining key frame images of video data
CN117112833A (zh) * 2023-10-24 2023-11-24 北京智汇云舟科技有限公司 一种基于存储空间优化的视频静态帧过滤方法及装置
CN117112833B (zh) * 2023-10-24 2024-01-12 北京智汇云舟科技有限公司 一种基于存储空间优化的视频静态帧过滤方法及装置

Also Published As

Publication number Publication date
WO2022247406A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
CN110245659B (zh) 基于前背景相互关系的图像显著对象分割方法及装置
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
KR101643672B1 (ko) 광류 추적 방법 및 장치
US20120328161A1 (en) Method and multi-scale attention system for spatiotemporal change determination and object detection
EP1975879A2 (en) Computer implemented method for tracking object in sequence of frames of video
CN109035287B (zh) 前景图像提取方法和装置、运动车辆识别方法和装置
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN112509003B (zh) 解决目标跟踪框漂移的方法及系统
CN113822352B (zh) 基于多特征融合的红外弱小目标检测方法
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN111079669A (zh) 一种图像处理方法、装置及存储介质
WO2017135120A1 (en) Computationally efficient frame rate conversion system
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN111598088B (zh) 目标检测方法、装置、计算机设备及可读存储介质
CN116486288A (zh) 基于轻量级密度估计网络的航拍目标计数与检测方法
CN111914756A (zh) 一种视频数据处理方法和装置
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
CN111723634A (zh) 一种图像检测方法、装置、电子设备及存储介质
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
CN116863458A (zh) 车牌识别方法、装置、系统及存储介质
CN111768426B (zh) 一种运动目标的检测方法、装置、设备及存储介质
CN111540016B (zh) 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
KR20230030996A (ko) 객체 추적 장치 및 방법
CN112967321A (zh) 运动目标的检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022