CN111753642A - 一种确定关键帧的方法及装置 - Google Patents
一种确定关键帧的方法及装置 Download PDFInfo
- Publication number
- CN111753642A CN111753642A CN202010385239.0A CN202010385239A CN111753642A CN 111753642 A CN111753642 A CN 111753642A CN 202010385239 A CN202010385239 A CN 202010385239A CN 111753642 A CN111753642 A CN 111753642A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- entity
- image frame
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 34
- 238000010191 image analysis Methods 0.000 claims abstract description 34
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims description 104
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种确定关键帧的方法及装置，其中，该确定关键帧的方法包括：对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型；根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组；对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合；针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧，可以提高对关键帧的图像分析的准确度。
Description
技术领域
本发明涉及图像分析技术领域，具体而言，涉及一种确定关键帧的方法及装置。
背景技术
在对捕捉到的画面图像进行图像分析时，由于捕捉到的图像帧数量较为庞大，因此，为了减轻后端处理器对于图像分析的负载压力，往往需要从捕捉到的图像帧中，抽取部分图像帧作为图像分析的关键帧。如何确定待抽取的关键帧，进而提高对关键帧的图像分析的准确度，成为当前图像分析技术领域迫切需要解决的技术问题。
目前的方法，对于一段连续时间内捕捉到的图像帧，可以预先设置关键帧的抽取时间间隔，然后根据该抽取时间间隔，从捕捉到的图像帧中，定时的抽取图像帧，将抽取的图像帧作为图像分析的关键帧，传输给后端处理器。这种确定关键帧的方法，依据固定的时间间隔，定时的确定关键帧，由于对关键帧包含的图像信息并没有进行限定，仅减少了待分析的关键帧数量，因此，抽取出的每一关键帧的图像分析价值较低，进而导致关键帧的图像分析的准确度较低。
发明内容
有鉴于此，本发明的目的在于提供一种确定关键帧的方法及装置，以提高对关键帧的图像分析的准确度。
第一方面，本发明实施例提供了确定关键帧的方法，所述方法包括：
对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型；
根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组；
对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合；
针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧。
可选地，在所述依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类之前，所述方法还包括：
从预先设置的实体类型与实体评价指标的映射关系库中，获取该图像帧组对应的实体类型映射的实体评价指标；
针对该图像帧组中包含的每一实体对象，利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值；
依据该实体对象对应的各所述实体评价指标的指标值以及该实体评价指标对应的指标权重值，进行加权求和，将加权求和的结果作为该实体对象对应的图像分值；
依据预先设置的图像分数阈值，删除该图像帧组中所述图像分值小于所述图像分数阈值的实体对象所在的待处理图像帧。
可选地，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，包括：
当所述实体评价指标为图像占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的图像面积，以及该实体对象的图像面积；
计算该实体对象在该待处理图像帧中的图像面积占比值，将计算得到的所述图像面积占比值作为该实体对象对应的所述图像占比指标的指标值。
可选地，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，还包括：
当所述实体评价指标为中心位置占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的中心区域面积，以及该待处理图像帧的中心区域中包含的实体对象的图像面积，其中，该待处理图像帧的中心区域面积与该待处理图像帧的图像面积存在预定的比例关系；
计算该实体对象与该待处理图像帧的中心区域的重合区域的面积比值，将计算得到的所述重合区域的面积比值作为该实体对象对应的所述中心位置占比指标的指标值。
可选地，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，还包括：
当所述实体评价指标为清晰度指标时，对该实体对象进行模糊检测，得到该实体对象对应的模糊检测分值，将得到的所述模糊检测分值作为该实体对象对应的所述清晰度指标的指标值。
可选地，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，还包括：
当所述实体评价指标为对比度指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧中包含的背景图像的亮度值，以及该实体对象的亮度值；
计算该实体对象与该待处理图像帧中包含的背景图像的亮度值的比值，将计算得到的所述亮度值的比值作为该实体对象对应的所述对比度指标的指标值。
可选地，所述依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合，包括：
针对该图像帧组中包含的每一待处理图像帧，依据该待处理图像帧的时间戳信息以及预先设置的时间差阈值，得到该待处理图像帧对应的时间戳匹配周期，其中，所述时间戳匹配周期为闭区间，该待处理图像帧的时间戳信息与所述时间差阈值的差值作为该闭区间的最小值，该待处理图像帧的时间戳信息与所述时间差阈值的和值作为该闭区间的最大值；
从该图像帧组中，提取时间戳信息位于所述时间戳匹配周期内的待处理图像帧，得到所述图像帧集合。
可选地，所述对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧，包括：
依据该图像帧集合中包含的实体对象，对该图像帧集合中的待处理图像帧进行图像分割，得到实体对象子集以及背景图像子集；
对于所述实体对象子集，按照预先设置的实体对象的图像参数优先级顺序，依次对该实体对象子集中的实体对象的图像参数进行比较，得到图像参数最优的实体对象作为关键实体对象；
对于所述背景图像子集，按照预先设置的背景图像的图像参数优先级顺序，依次对该背景图像子集中的背景的图像参数进行比较，得到图像参数最优的背景图像作为关键背景图像；
对所述关键实体对象以及所述关键背景图像，进行图像合成，将图像合成的结果作为所述关键帧。
第二方面，本发明实施例还提供了一种确定关键帧的装置，所述装置包括：
实体类型确定模块，用于对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型；
图像帧分组模块，用于根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组；
图像帧处理模块，用于对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合；
关键帧确定模块，用于针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧。
可选地，所述图像帧处理模块，还包括：
指标获取单元，用于从预先设置的实体类型与实体评价指标的映射关系库中，获取该图像帧组对应的实体类型映射的实体评价指标；
指标值计算单元，用于针对该图像帧组中包含的每一实体对象，利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值；
图像分值计算单元，用于依据该实体对象对应的各所述实体评价指标的指标值以及该实体评价指标对应的指标权重值，进行加权求和，将加权求和的结果作为该实体对象对应的图像分值；
图像帧筛选单元，用于依据预先设置的图像分数阈值，删除该图像帧组中所述图像分值小于所述图像分数阈值的实体对象所在的待处理图像帧。
可选地，所述指标值计算单元，具体用于：
当所述实体评价指标为图像占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的图像面积，以及该实体对象的图像面积；
计算该实体对象在该待处理图像帧中的图像面积占比值，将计算得到的所述图像面积占比值作为该实体对象对应的所述图像占比指标的指标值。
可选地，所述指标值计算单元，还具体用于：
当所述实体评价指标为中心位置占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的中心区域面积，以及该待处理图像帧的中心区域中包含的实体对象的图像面积，其中，该待处理图像帧的中心区域面积与该待处理图像帧的图像面积存在预定的比例关系；
计算该实体对象与该待处理图像帧的中心区域的重合区域的面积比值，将计算得到的所述重合区域的面积比值作为该实体对象对应的所述中心位置占比指标的指标值。
可选地，所述指标值计算单元，还具体用于：
当所述实体评价指标为清晰度指标时，对该实体对象进行模糊检测，得到该实体对象对应的模糊检测分值，将得到的所述模糊检测分值作为该实体对象对应的所述清晰度指标的指标值。
可选地，所述指标值计算单元，还具体用于：
当所述实体评价指标为对比度指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧中包含的背景图像的亮度值，以及该实体对象的亮度值；
计算该实体对象与该待处理图像帧中包含的背景图像的亮度值的比值，将计算得到的所述亮度值的比值作为该实体对象对应的所述对比度指标的指标值。
可选地，所述图像帧处理模块，还具体用于：
针对该图像帧组中包含的每一待处理图像帧，依据该待处理图像帧的时间戳信息以及预先设置的时间差阈值，得到该待处理图像帧对应的时间戳匹配周期，其中，所述时间戳匹配周期为闭区间，该待处理图像帧的时间戳信息与所述时间差阈值的差值作为该闭区间的最小值，该待处理图像帧的时间戳信息与所述时间差阈值的和值作为该闭区间的最大值；
从该图像帧组中，提取时间戳信息位于所述时间戳匹配周期内的待处理图像帧，得到所述图像帧集合。
可选地，所述关键帧确定模块，具体用于：
依据该图像帧集合中包含的实体对象，对该图像帧集合中的待处理图像帧进行图像分割，得到实体对象子集以及背景图像子集；
对于所述实体对象子集，按照预先设置的实体对象的图像参数优先级顺序，依次对该实体对象子集中的实体对象的图像参数进行比较，得到图像参数最优的实体对象作为关键实体对象；
对于所述背景图像子集，按照预先设置的背景图像的图像参数优先级顺序，依次对该背景图像子集中的背景的图像参数进行比较，得到图像参数最优的背景图像作为关键背景图像；
对所述关键实体对象以及所述关键背景图像，进行图像合成，将图像合成的结果作为所述关键帧。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述确定关键帧的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述确定关键帧的方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
相较于传统的图像分析方法需要逐一分析各待处理图像帧，由于在本申请中，所述图像帧集合是由同一实体类型对应的图像帧组中时间戳信息相匹配的待处理图像帧组成的，因此，所述图像帧集合对应的关键帧与该图像帧集合中实体对象所属的实体类型存在对应关系，在进行图像分析时，可以按照实体类型，获取该实体类型对应的关键帧，极大地缩小了待分析的图像帧数量。这样，在进行图像分析时，可以有效地减轻后端处理器对于图像分析的负载压力。
进一步地，由于确定的关键帧是同一图像帧集合中的实体对象与背景图像的图像合成的结果，这样，将同一图像帧集合中包含的各待处理图像帧的图像信息浓缩成一个关键帧，提高了单一关键帧中包含的图像信息的可分析价值，进而，可以有效地提高对关键帧的图像分析的准确度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的确定关键帧的方法的流程示意图；
图2示出了本申请实施例所提供的一种待处理关键帧的筛选方法的流程示意图；
图3示出了本申请实施例所提供的一种对图像帧组中包含的待处理图像帧进行分类的方法的流程示意图；
图4示出了本申请实施例所提供的一种对图像帧集合中的实体对象以及背景图像进行图像合成的方法的流程示意图；
图5示出了本申请实施例所提供的一种提取关键帧的方法的流程示意图；
图6示出了本申请实施例所提供的一种计算实体评价指标的指标值的方法的流程示意图；
图7示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图；
图8示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图；
图9示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图；
图10示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图；
图11示出了本发明实施例所提供的确定关键帧的装置的结构示意图；
图12为本申请实施例提供的一种计算机设备1200的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种确定关键帧的方法及装置，下面通过实施例进行描述。
实施例一
图1示出了本发明实施例所提供的确定关键帧的方法的流程示意图，该方法包括步骤S101-S104；具体的：
步骤S101，对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型。
具体的，在对各待处理图像帧进行图像分析之前，可以根据待处理图像帧对应的应用场景，预先获取训练样本图像帧，依据该应用场景对应的实体类型，利用对象识别技术，训练目标检测模型，所述目标检测模型用于确定各所述待处理图像帧中的实体对象所属的实体类型。
示例性的说明，例如，在交通巡查的应用场景下，待识别的实体类型包括：人脸、身份证、驾驶证，预先获取交通巡查的历史图像帧数据作为训练样本图像帧，训练目标检测模型，在实际应用时，将待处理图像帧输入训练好的目标检测模型，若该待处理图像帧的输出结果为人脸，则确定该待处理图像帧中的实体对象所属的实体类型为人脸；若该待处理图像帧的输出结果为人脸和身份证，则确定该待处理图像帧中的实体对象所属的实体类型既包含人脸也包含身份证；若该待处理图像帧的输出结果为其他，作为一可选实施例，则可以删除该待处理图像帧。
需要说明的是，本申请实施例中的术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。本申请实施例中所提到的“交通巡查”应用场景仅是为了方便举例说明，并不排除增加其它的应用场景。由于本申请实施例解决的是：如何确定关键帧，以提高对关键帧的图像分析的准确度的技术问题，因此，对于待处理图像帧中的实体对象所属的实体类型的识别方法，在此并不进行限定。
步骤S102，根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组。
具体的，在对所述待处理图像帧进行分组时，作为一可选实施例，可以将仅包含单一实体类型的实体对象所在的待处理图像帧作为该实体类型对应的图像帧组；作为另一可选实施例，也可以将包含该实体类型的实体对象所在的全部待处理图像帧作为该实体类型对应的图像帧组，通过对图像帧组中待处理图像帧包含的实体对象进行限定，以便可以按照实体对象所属的实体类型获取相应的关键帧，缩小待分析的关键帧数量，减轻后端处理器在图像分析时的负载压力。
示例性的说明，例如，以交通巡查场景为例，实体类型包括：人脸、身份证以及驾驶证，待处理图像帧数量为100帧，其中，若仅包含人脸的待处理图像帧有30帧，仅包含身份证的待处理图像帧有20帧，仅包含驾驶证的待处理图像帧有20帧，既包含人脸也包含身份证的待处理图像帧有15帧，既包含人脸也包含驾驶证的待处理图像帧有5帧，既包含身份证也包含驾驶证的待处理图像帧有5帧，人脸、身份证以及驾驶证都包含的待处理图像帧有5帧。若将仅包含单一实体类型的实体对象所在的待处理图像帧作为该实体类型对应的图像帧组，则人脸对应的图像帧组为仅包含人脸的30帧待处理图像帧；若将包含该实体类型的实体对象所在的全部待处理图像帧作为该实体类型对应的图像帧组，则人脸对应的图像帧组为包含人脸的全部55帧待处理图像帧。
步骤S103，对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合。
具体的，考虑到不同时间戳信息的待处理图像帧中包含的图像信息内容可能存在较大的不同。因而，按照时间戳信息，对同一图像帧组中的待处理图像帧进行分类，将时间戳信息相差较小的待处理图像帧分为一个图像帧集合，以提高用于确定关键帧的图像帧集合的图像信息的准确度。
作为一可选实施例，在对该图像帧组中包含的待处理图像帧进行分类时，可以预先设置一个时间差阈值，若两个待处理图像帧的时间戳信息之差的绝对值小于该时间差阈值，则确定这两个待处理图像帧的时间戳信息相匹配。
步骤S104，针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧。
具体的，对同一图像帧集合中的待处理图像帧进行图像分割，可以得到该图像帧集合中的实体对象集合，以及该图像帧集合中的背景图像集合，然后，从所述实体对象集合中，选取最优的实体对象，从所述背景图像集合中，选取最优的背景图像，将最优的实体对象与最优的背景图像进行图像合成，得到该图像帧集合对应的关键帧。这样，将同一图像帧集合中包含的各待处理图像帧的图像信息浓缩成一个关键帧，提高了单一关键帧中包含的图像信息的可分析价值，进而，可以有效地提高对关键帧的图像分析的准确度。
在一个可行的实施方案中，图2示出了本申请实施例所提供的一种待处理关键帧的筛选方法的流程示意图，如图2所示，在执行步骤S103之前，该方法还包括步骤S201-S204；具体的：
步骤S201，从预先设置的实体类型与实体评价指标的映射关系库中，获取该图像帧组对应的实体类型映射的实体评价指标。
需要说明的是，实体评价指标用于评价实体对象的可分析价值，具体的实体评价指标的种类和数量可以根据实体类型或者图像分析的实际需要进行设定，在此不做具体限定。
示例性的说明，例如，以实体类型身份证为例，作为一可选实施例，身份证映射的实体评价指标可以包括：图像占比指标、中心位置占比指标、清晰度指标以及对比度指标。
步骤S202，针对该图像帧组中包含的每一实体对象，利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值。
具体的，预先建立各所述实体评价指标与指标值计算公式的对应关系，在计算一个实体评价指标的指标值时，利用该对应关系确定该实体评价指标对应的指标值计算公式，然后，利用确定的该指标值计算公式计算该实体评价指标的指标值。
步骤S203，依据该实体对象对应的各所述实体评价指标的指标值以及该实体评价指标对应的指标权重值，进行加权求和，将加权求和的结果作为该实体对象对应的图像分值。
具体的，可以根据图像分析需要，调整各所述实体评价指标对应的指标权重值，以便计算出的图像分值可以更好地表征实体对象的可分析价值，提高对实体对象的可分析价值的评价的准确度。
示例性的说明，例如，以身份证对应的图像帧组为例，作为一可选实施例，身份证映射的实体评价指标包括：图像占比指标、中心位置占比指标、清晰度指标、对比度指标，其中，图像占比指标对应的指标权重值为0.1、中心位置占比指标对应的指标权重值为0.3、清晰度指标对应的指标权重值为0.4、对比度指标对应的指标权重值为0.2，针对实体对象身份证x，利用各实体评价指标对应的指标值计算公式，若计算得到身份证x的图像占比指标值为50分、中心位置占比指标值为30分、清晰度指标值为70分、对比度指标值为60分，则利用各实体评价指标的指标值以及该实体评价指标对应的指标权重值，进行加权求和，可以计算得到身份证x对应的图像分值为54分，若预先设置的图像分数阈值为60分，则删除身份证x所在的待处理图像帧，若预先设置的图像分数阈值为50分，则保留身份证x所在的待处理图像帧。
步骤S204，依据预先设置的图像分数阈值，删除该图像帧组中所述图像分值小于所述图像分数阈值的实体对象所在的待处理图像帧。
具体的，由于所述图像分值可以表征实体对象的可分析价值，图像分值越高表示实体对象的可分析价值越高，因此，根据所述图像分值，对该图像帧组中的待处理图像帧进行进一步的筛选，得到实体对象的可分析价值更高的待处理图像帧，以提高对关键帧的图像分析的准确度。
作为一可选实施例，对于包含多个同实体类型的实体对象的待处理图像帧，可以当该待处理图像帧中包含的全部实体对象的图像分值均小于所述图像分数阈值时，删除该待处理图像帧。
示例性的说明，例如，预先设置的图像分数阈值为60分，同一图像帧组中，待处理图像帧A中包含人脸a、b、c，待处理图像帧B中包含人脸d、e，其中，若人脸a的图像分值为47分、人脸b的图像分值为36分、人脸c的图像分值为67分、人脸d的图像分值为22分、人脸e的图像分值为55分，对于待处理图像帧A，由于人脸c的图像分值为67分超过图像分数阈值，因此，保留待处理图像帧A；对于待处理图像帧B，由于人脸d和e的图像分值均小于图像分数阈值，因此，删除待处理图像帧B。
在一个可行的实施方案中，图3示出了本申请实施例所提供的一种对图像帧组中包含的待处理图像帧进行分类的方法的流程示意图，如图3所示，在执行步骤S103时，还可以通过以下步骤实现：
步骤S301，针对该图像帧组中包含的每一待处理图像帧，依据该待处理图像帧的时间戳信息以及预先设置的时间差阈值，得到该待处理图像帧对应的时间戳匹配周期。
具体的，所述时间戳匹配周期为闭区间，该待处理图像帧的时间戳信息与所述时间差阈值的差值作为该闭区间的最小值，该待处理图像帧的时间戳信息与所述时间差阈值的和值作为该闭区间的最大值。
步骤S302，从该图像帧组中，提取时间戳信息位于所述时间戳匹配周期内的待处理图像帧，得到所述图像帧集合。
示例性的说明，例如，图像帧组包括待处理图像帧A、B、C、D、E，其中，待处理图像帧A的时间戳为2020年04月22日8时10分30秒、待处理图像帧B的时间戳为2020年04月22日8时10分31秒、待处理图像帧C的时间戳为2020年04月22日8时10分28秒、待处理图像帧D的时间戳为2020年04月22日8时10分50秒、待处理图像帧E的时间戳为2020年04月22日8时11分05秒，以待处理图像帧A为例，若预先设置的时间差阈值为5秒，则待处理图像帧A对应的时间戳匹配周期为：2020年04月22日8时10分25秒至2020年04月22日8时10分35秒，由于待处理图像帧B与待处理图像帧C的时间戳信息均位于该时间戳匹配周期，因此，该图像帧组中，待处理图像帧A、B、C为同一图像帧集合。
在一个可行的实施方案中，图4示出了本申请实施例所提供的一种对图像帧集合中的实体对象以及背景图像进行图像合成的方法的流程示意图，如图4所示，当执行步骤S104时，可以通过以下步骤实现：
步骤S401，依据该图像帧集合中包含的实体对象，对该图像帧集合中的待处理图像帧进行图像分割，得到实体对象子集以及背景图像子集。
具体的，针对该图像帧集合中包含的每一待处理图像帧，依据该待处理图像帧中包含的实体对象的边缘区域，对该待处理图像帧进行图像分割，得到该待处理图像帧中包含的实体对象，以及该待处理图像帧中包含的背景图像。
步骤S402，对于所述实体对象子集，按照预先设置的实体对象的图像参数优先级顺序，依次对该实体对象子集中的实体对象的图像参数进行比较，得到图像参数最优的实体对象作为关键实体对象。
作为一可选实施例，预先设置的实体对象的图像参数优先级顺序可以为：清晰度、对比度、标准重合度，其中，所述标准重合度为该实体对象与该实体对象所属的实体类型的标准识别模板的重合度。
示例性的说明，例如，以身份证为例，身份证的标准识别模板包括：身份证的规则形状以及身份证的标识信息，若实体对象子集中包含身份证a、身份证b、身份证c以及身份证d，其中，清晰度：身份证a＝身份证b＝身份证c>身份证d，对比度：身份证a＝身份证b>身份证d>身份证c，标准重合度：身份证a>身份证b>身份证c＝身份证d，按照预先设置的实体对象的图像参数优先级顺序，首先比较各身份证的清晰度，清晰度越高代表实体对象越优，由于身份证a、身份证b、身份证c的清晰度相同，进而，继续比较三个身份证的对比度，对比度越高代表实体对象越优，由于身份证a、身份证b的对比度也相同，因此，继续比较两个身份证的标准重合度，标准重合度越高代表实体对象越优，由于身份证a的标准重合度大于身份证b的标准重合度，因此，确定身份证a为关键实体对象。
步骤S403，对于所述背景图像子集，按照预先设置的背景图像的图像参数优先级顺序，依次对该背景图像子集中的背景的图像参数进行比较，得到图像参数最优的背景图像作为关键背景图像。
作为一可选实施例，预先设置的背景图像的图像参数优先级顺序可以为：背景噪声、干扰物数量、背景色彩种类。
示例性的说明，例如，若背景图像子集中包含背景图像1、背景图像2、背景图像3以及背景图像4，其中，背景噪声：背景图像1＝背景图像2＝背景图像3<背景图像4，干扰物数量：背景图像1＝背景图像2<背景图像3<背景图像4，背景色彩种类：背景图像1<背景图像2<背景图像3＝背景图像4，按照预先设置的背景图像的图像参数优先级顺序，首先比较各背景图像的背景噪声，背景噪声值越低代表背景图像越优，由于背景图像1、背景图像2、背景图像3的背景噪声值相同，进而，继续比较三个背景图像的干扰物数量，干扰物数量越低代表背景图像越优，由于背景图像1、背景图像2的干扰物数量也相同，因此，继续比较两个背景图像的背景色彩种类，背景色彩种类越少代表背景图像越优，由于背景图像1的背景色彩种类小于背景图像2的背景色彩种类，因此，确定背景图像1为关键背景图像，若身份证a为关键实体对象，则对身份证a与背景图像1进行图像合成，将图像合成结果作为所述关键帧。
步骤S404，对所述关键实体对象以及所述关键背景图像，进行图像合成，将图像合成的结果作为所述关键帧。
具体的，通过对所述关键实体对象以及所述关键背景图像，进行图像合成，将同一图像帧集合中包含的各待处理图像帧的图像信息浓缩成一个关键帧，提高了单一关键帧中包含的图像信息的可分析价值，进而，可以有效地提高对关键帧的图像分析的准确度。
作为一可选实施例，若关键背景图像中包含多个空白实体对象区域，则可以从多个空白实体对象区域中，选取与关键实体对象的图像面积之差最小的空白实体对象区域进行图像合成。
示例性的说明，例如，以上述举例情况中的背景图像1与身份证a为例，若背景图像1中包含的空白实体对象区域包括：空白区域1、空白区域2、空白区域3，其中，空白区域1面积为15平方厘米、空白区域2面积为25平方厘米、空白区域3面积为50平方厘米，若身份证a的图像面积为45平方厘米，由于身份证a与空白区域3的图像面积之差最小，因此，在图像合成时，将身份证a填充至背景图像1中的空白区域3，得到背景图像1与身份证a的图像合成结果。
在一个可行的实施方案中，图5示出了本申请实施例所提供的一种提取关键帧的方法的流程示意图，如图5所示，在执行完步骤S104之后，可以通过以下步骤实现：
步骤S501，获取当前后端处理器的图像分析需求。
步骤S502，依据获取的所述图像分析需求，提取符合所述图像分析需求的关键帧，将提取的所述关键帧发送给后端处理器。
示例性的说明，例如，在得到人脸对应的关键帧、身份证对应的关键帧、驾驶证对应的关键帧之后，若当前后端处理器的图像分析需求为分析人脸实体类型对应的待处理图像帧，则提取人脸对应的图像帧组中各图像帧集合对应的关键帧，将提取的各关键帧发送给后端处理器。
在一个可行的实施方案中，图6示出了本申请实施例所提供的一种计算实体评价指标的指标值的方法的流程示意图，如图6所示，实体评价指标包括：图像占比指标、中心位置占比指标、清晰度指标以及对比度指标，在执行步骤S202时，当所述实体评价指标为图像占比指标时，可以通过以下步骤实现：
步骤S601，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的图像面积，以及该实体对象的图像面积。
步骤S602，计算该实体对象在该待处理图像帧中的图像面积占比值，将计算得到的所述图像面积占比值作为该实体对象对应的所述图像占比指标的指标值。
具体的，由于图像占比指标可以表征实体对象在待处理图像帧中所占的面积之比，图像占比指标值越高表示实体对象在待处理图像帧中所占的比重越高，因此，可以将图像占比指标作为实体对象的实体评价指标之一，以便更好地计算各实体对象对应的图像分值，提高对实体对象的可分析价值的评价的准确度。
示例性的说明，例如，以身份证x为例，身份证x所在的待处理图像帧为M，若M的图像面积为200平方厘米，身份证x的图像面积为50平方厘米，则利用身份证x的图像面积除以待处理图像帧M的图像面积，可以得到身份证x在待处理图像帧M中的图像面积占比值为25％，作为一可选实施例，身份证x对应的图像占比指标的指标值可以为25分。
在一个可行的实施方案中，图7示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图，如图7所示，实体评价指标包括：图像占比指标、中心位置占比指标、清晰度指标以及对比度指标，在执行步骤S202时，当所述实体评价指标为中心位置占比指标时，可以通过以下步骤实现：
步骤S701，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的中心区域面积，以及该待处理图像帧的中心区域中包含的实体对象的图像面积。
具体的，该待处理图像帧的中心区域面积与该待处理图像帧的图像面积存在预定的比例关系。
步骤S702，计算该实体对象与该待处理图像帧的中心区域的重合区域的面积比值，将计算得到的所述重合区域的面积比值作为该实体对象对应的所述中心位置占比指标的指标值。
具体的，由于中心位置占比指标可以表征实体对象在待处理图像帧的中心区域所占的比重，中心位置占比指标越高表示实体对象越接近图像的中心区域，因此，可以将中心位置占比指标作为实体对象的实体评价指标之一，以便更好地计算各实体对象对应的图像分值，提高对实体对象的可分析价值的评价的准确度。
示例性的说明，例如，仍以身份证x为例，身份证x所在的待处理图像帧M的中心区域面积为M图像面积的20％，若M的图像面积为200平方厘米，则M的中心区域面积为40平方厘米，其中，M的中心区域中包含的身份证x的图像面积为20平方厘米，则利用M的中心区域中包含的身份证x的图像面积除以M的中心区域面积，可以得到身份证x与待处理图像帧M的中心区域的重合区域的面积比值为50％，作为一可选实施例，身份证x对应的中心位置占比指标的指标值可以为50分。
在一个可行的实施方案中，图8示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图，如图8所示，实体评价指标包括：图像占比指标、中心位置占比指标、清晰度指标以及对比度指标，在执行步骤S202时，当所述实体评价指标为清晰度指标时，可以通过以下步骤实现：
步骤S801，对该实体对象进行模糊检测，得到该实体对象对应的模糊检测分值，将得到的所述模糊检测分值作为该实体对象对应的所述清晰度指标的指标值。
具体的，由于清晰度指标可以表征实体对象的图像清晰度，清晰度指标越高表示实体对象越清晰，因此，可以将清晰度指标作为实体对象的实体评价指标之一，以便更好地计算各实体对象对应的图像分值，提高对实体对象的可分析价值的评价的准确度。
示例性的说明，例如，以身份证x为例，可以在OpenCV(计算机视觉库)环境中，利用图像的模糊检测算法，对身份证x进行模糊检测，其中，模糊检测的分值越高，代表身份证x越清晰，若得到身份证x的模糊检测分值为80分，则身份证x对应的清晰度指标的指标值为80分。作为一可选实施例，在本申请中，所述模糊检测算法可以包括Tenengrad梯度函数、Brenner梯度函数、Laplacian(拉普拉斯算子)梯度函数以及SMD灰度方差函数中的一种或多种。
在一个可行的实施方案中，图9示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图，如图9所示，实体评价指标包括：图像占比指标、中心位置占比指标、清晰度指标以及对比度指标，在执行步骤S202时，当所述实体评价指标为对比度指标时，可以通过以下步骤实现：
步骤S901，从该实体对象所在的待处理图像帧中，获取该待处理图像帧中包含的背景图像的亮度值，以及该实体对象的亮度值。
步骤S902，计算该实体对象与该待处理图像帧中包含的背景图像的亮度值的比值，将计算得到的所述亮度值的比值作为该实体对象对应的所述对比度指标的指标值。
具体的，由于对比度指标可以表征实体对象与背景图像的区别程度，对比度指标越高表示实体对象与背景图像的区别程度越高，因此，可以将对比度指标作为实体对象的实体评价指标之一，以便更好地计算各实体对象对应的图像分值，提高对实体对象的可分析价值的评价的准确度。
示例性的说明，例如，以身份证x为例，从身份证x所在的待处理图像帧M中，若获取身份证x的亮度值为150，待处理图像帧M中除身份证x以外的背景图像的亮度值为187.5，则利用身份证x的亮度值除以待处理图像帧M中的背景图像的亮度值，可以得到在待处理图像帧M中，身份证x与背景图像的亮度值的比值为80％，身份证x对应的对比度指标的指标值为80分。作为另一可选实施例，还可以利用待处理图像帧中实体对象与背景图像的灰度值的比值，计算该实体对象对应的对比度指标的指标值。
在一个可行的实施方案中，图10示出了本申请实施例所提供的另一种计算实体评价指标的指标值的方法的流程示意图，如图10所示，当该图像帧组对应的实体类型为人脸时，在执行步骤S202时，当所述实体评价指标为对称性指标时，可以通过以下步骤实现：
步骤S1001，从该实体对象所在的待处理图像帧中，获取该实体对象的图像形状信息。
具体的，所述图像形状信息包括：图像面积以及图像区域最大直径。
步骤S1002，利用该实体对象对应的规则形状，计算该实体对象的形状规则程度，将计算得到的所述形状规则程度作为该实体对象对应的所述对称性指标的指标值。
具体的，由于人脸具有对称性特点，人脸的对称性越高表示该人脸的可分析价值越高，因此，当实体对象所属的实体类型为人脸时，可以将对称性作为人脸的实体评价指标之一，以便更好地计算各实体对象对应的图像分值，提高对实体对象的可分析价值的评价的准确度。
示例性的说明，例如，以人脸a为例，人脸对应的规则形状为圆形，从人脸a所在的待处理图像帧A中，获取人脸a的图像形状信息，若人脸a的图像面积为36平方厘米、图像区域最大直径为8厘米，则以所述图像区域最大直径作为直径的规则圆形面积为50.27平方厘米，利用人脸a的图像面积除以人脸a对应的规则圆形面积，得到人脸a的形状规则程度为72％，则人脸a对应的对称性指标的指标值为72分。
实施例二
图11示出了本发明实施例所提供的确定关键帧的装置的结构示意图，所述装置包括：
实体类型确定模块1101，用于对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型；
图像帧分组模块1102，用于根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组；
图像帧处理模块1103，用于对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合；
关键帧确定模块1104，用于针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧。
作为一可选实施例，所述图像帧处理模块1103，还包括：
指标获取单元(图中未示出)，用于从预先设置的实体类型与实体评价指标的映射关系库中，获取该图像帧组对应的实体类型映射的实体评价指标；
指标值计算单元(图中未示出)，用于针对该图像帧组中包含的每一实体对象，利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值；
图像分值计算单元(图中未示出)，用于依据该实体对象对应的各所述实体评价指标的指标值以及该实体评价指标对应的指标权重值，进行加权求和，将加权求和的结果作为该实体对象对应的图像分值；
图像帧筛选单元(图中未示出)，用于依据预先设置的图像分数阈值，删除该图像帧组中所述图像分值小于所述图像分数阈值的实体对象所在的待处理图像帧。
作为一可选实施例，所述指标值计算单元，具体用于：
当所述实体评价指标为图像占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的图像面积，以及该实体对象的图像面积；
计算该实体对象在该待处理图像帧中的图像面积占比值，将计算得到的所述图像面积占比值作为该实体对象对应的所述图像占比指标的指标值。
作为一可选实施例，所述指标值计算单元，还具体用于：
当所述实体评价指标为中心位置占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的中心区域面积，以及该待处理图像帧的中心区域中包含的实体对象的图像面积，其中，该待处理图像帧的中心区域面积与该待处理图像帧的图像面积存在预定的比例关系；
计算该实体对象与该待处理图像帧的中心区域的重合区域的面积比值，将计算得到的所述重合区域的面积比值作为该实体对象对应的所述中心位置占比指标的指标值。
作为一可选实施例，所述指标值计算单元，还具体用于：
当所述实体评价指标为清晰度指标时，对该实体对象进行模糊检测，得到该实体对象对应的模糊检测分值，将得到的所述模糊检测分值作为该实体对象对应的所述清晰度指标的指标值。
作为一可选实施例，所述指标值计算单元，还具体用于：
当所述实体评价指标为对比度指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧中包含的背景图像的亮度值，以及该实体对象的亮度值；
计算该实体对象与该待处理图像帧中包含的背景图像的亮度值的比值，将计算得到的所述亮度值的比值作为该实体对象对应的所述对比度指标的指标值。
作为一可选实施例，所述图像帧处理模块1103，还具体用于：
针对该图像帧组中包含的每一待处理图像帧，依据该待处理图像帧的时间戳信息以及预先设置的时间差阈值，得到该待处理图像帧对应的时间戳匹配周期，其中，所述时间戳匹配周期为闭区间，该待处理图像帧的时间戳信息与所述时间差阈值的差值作为该闭区间的最小值，该待处理图像帧的时间戳信息与所述时间差阈值的和值作为该闭区间的最大值；
从该图像帧组中，提取时间戳信息位于所述时间戳匹配周期内的待处理图像帧，得到所述图像帧集合。
作为一可选实施例，所述关键帧确定模块1104，具体用于：
依据该图像帧集合中包含的实体对象，对该图像帧集合中的待处理图像帧进行图像分割，得到实体对象子集以及背景图像子集；
对于所述实体对象子集，按照预先设置的实体对象的图像参数优先级顺序，依次对该实体对象子集中的实体对象的图像参数进行比较，得到图像参数最优的实体对象作为关键实体对象；
对于所述背景图像子集，按照预先设置的背景图像的图像参数优先级顺序，依次对该背景图像子集中的背景的图像参数进行比较，得到图像参数最优的背景图像作为关键背景图像；
对所述关键实体对象以及所述关键背景图像，进行图像合成，将图像合成的结果作为所述关键帧。
实施例三
如图12所示，本申请一实施例提供了一种计算机设备1200，用于执行本申请中的确定关键帧的方法，该设备包括存储器1201、处理器1202及存储在该存储器1201上并可在该处理器1202上运行的计算机程序，其中，上述处理器1202执行上述计算机程序时实现上述确定关键帧的方法的步骤。
具体地，上述存储器1201和处理器1202可以为通用的存储器和处理器，这里不做具体限定，当处理器1202运行存储器1201存储的计算机程序时，能够执行上述确定关键帧的方法。
对应于本申请中的确定关键帧的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述确定关键帧的方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述确定关键帧的方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例技术方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种确定关键帧的方法，其特征在于，所述方法包括：
对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型；
根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组；
对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合；
针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧。
2.根据权利要求1所述的方法，其特征在于，在所述依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类之前，所述方法还包括：
从预先设置的实体类型与实体评价指标的映射关系库中，获取该图像帧组对应的实体类型映射的实体评价指标；
针对该图像帧组中包含的每一实体对象，利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值；
依据该实体对象对应的各所述实体评价指标的指标值以及该实体评价指标对应的指标权重值，进行加权求和，将加权求和的结果作为该实体对象对应的图像分值；
依据预先设置的图像分数阈值，删除该图像帧组中所述图像分值小于所述图像分数阈值的实体对象所在的待处理图像帧。
3.根据权利要求2所述的方法，其特征在于，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，包括：
当所述实体评价指标为图像占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的图像面积，以及该实体对象的图像面积；
计算该实体对象在该待处理图像帧中的图像面积占比值，将计算得到的所述图像面积占比值作为该实体对象对应的所述图像占比指标的指标值。
4.根据权利要求2所述的方法，其特征在于，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，还包括：
当所述实体评价指标为中心位置占比指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧的中心区域面积，以及该待处理图像帧的中心区域中包含的实体对象的图像面积，其中，该待处理图像帧的中心区域面积与该待处理图像帧的图像面积存在预定的比例关系；
计算该实体对象与该待处理图像帧的中心区域的重合区域的面积比值，将计算得到的所述重合区域的面积比值作为该实体对象对应的所述中心位置占比指标的指标值。
5.根据权利要求2所述的方法，其特征在于，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，还包括：
当所述实体评价指标为清晰度指标时，对该实体对象进行模糊检测，得到该实体对象对应的模糊检测分值，将得到的所述模糊检测分值作为该实体对象对应的所述清晰度指标的指标值。
6.根据权利要求2所述的方法，其特征在于，所述利用各所述实体评价指标对应的指标值计算公式，计算该实体对象对应的各所述实体评价指标的指标值，还包括：
当所述实体评价指标为对比度指标时，从该实体对象所在的待处理图像帧中，获取该待处理图像帧中包含的背景图像的亮度值，以及该实体对象的亮度值；
计算该实体对象与该待处理图像帧中包含的背景图像的亮度值的比值，将计算得到的所述亮度值的比值作为该实体对象对应的所述对比度指标的指标值。
7.根据权利要求1所述的方法，其特征在于，所述依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合，包括：
针对该图像帧组中包含的每一待处理图像帧，依据该待处理图像帧的时间戳信息以及预先设置的时间差阈值，得到该待处理图像帧对应的时间戳匹配周期，其中，所述时间戳匹配周期为闭区间，该待处理图像帧的时间戳信息与所述时间差阈值的差值作为该闭区间的最小值，该待处理图像帧的时间戳信息与所述时间差阈值的和值作为该闭区间的最大值；
从该图像帧组中，提取时间戳信息位于所述时间戳匹配周期内的待处理图像帧，得到所述图像帧集合。
8.根据权利要求1所述的方法，其特征在于，所述对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧，包括：
依据该图像帧集合中包含的实体对象，对该图像帧集合中的待处理图像帧进行图像分割，得到实体对象子集以及背景图像子集；
对于所述实体对象子集，按照预先设置的实体对象的图像参数优先级顺序，依次对该实体对象子集中的实体对象的图像参数进行比较，得到图像参数最优的实体对象作为关键实体对象；
对于所述背景图像子集，按照预先设置的背景图像的图像参数优先级顺序，依次对该背景图像子集中的背景的图像参数进行比较，得到图像参数最优的背景图像作为关键背景图像；
对所述关键实体对象以及所述关键背景图像，进行图像合成，将图像合成的结果作为所述关键帧。
9.一种确定关键帧的装置，其特征在于，所述装置包括：
实体类型确定模块，用于对各待处理图像帧进行图像分析，确定各所述待处理图像帧中的实体对象所属的实体类型；
图像帧分组模块，用于根据各所述待处理图像帧中的实体对象所属的实体类型，对各所述待处理图像帧进行分组，得到各实体类型对应的图像帧组；
图像帧处理模块，用于对于每一图像帧组，依据该图像帧组中待处理图像帧的时间戳信息，对该图像帧组中包含的待处理图像帧进行分类，得到所述时间戳信息相匹配的待处理图像帧的图像帧集合；
关键帧确定模块，用于针对每一所述图像帧集合，对该图像帧集合中的实体对象以及背景图像进行图像合成，将图像合成的结果作为该图像帧集合对应的关键帧。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的确定关键帧的方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的确定关键帧的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010385239.0A CN111753642B (zh) | 2020-05-09 | 2020-05-09 | 一种确定关键帧的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010385239.0A CN111753642B (zh) | 2020-05-09 | 2020-05-09 | 一种确定关键帧的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753642A true CN111753642A (zh) | 2020-10-09 |
| CN111753642B CN111753642B (zh) | 2024-02-20 |
Family
ID=72673493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010385239.0A Active CN111753642B (zh) | 2020-05-09 | 2020-05-09 | 一种确定关键帧的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753642B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270695A (zh) * | 2020-11-04 | 2021-01-26 | 首都师范大学 | 一种确定相机运动状态的方法、装置、设备及存储介质 |
| CN113814212A (zh) * | 2021-09-06 | 2021-12-21 | 中南大学 | 一种基于镜片模糊检测的前置镜片在线智能自清洗装置及其方法 |
| CN117746344A (zh) * | 2024-02-21 | 2024-03-22 | 厦门农芯数字科技有限公司 | 一种猪场监控视频的事件分析方法、装置以及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030189588A1 (en) * | 2002-04-03 | 2003-10-09 | Andreas Girgensohn | Reduced representations of video sequences |
| JP2005175533A (ja) * | 2003-12-05 | 2005-06-30 | Canon Inc | 映像処理装置および代表画像設定方法 |
| US20060026524A1 (en) * | 2004-08-02 | 2006-02-02 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
| CN1764262A (zh) * | 2004-10-20 | 2006-04-26 | 奥林巴斯株式会社 | 图像管理装置、照相机和图像管理装置的显示方法 |
| US20070211962A1 (en) * | 2006-03-10 | 2007-09-13 | Samsung Electronics Co., Ltd. | Apparatus and method for selectively outputing image frames |
| CN102819528A (zh) * | 2011-06-10 | 2012-12-12 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
| US20130336590A1 (en) * | 2012-05-03 | 2013-12-19 | Stmicroelectronics S.R.L. | Method and apparatus for generating a visual story board in real time |
| CN104717574A (zh) * | 2015-03-17 | 2015-06-17 | 华中科技大学 | 一种视频摘要中事件与背景的融合方法 |
| US20160232234A1 (en) * | 2015-02-10 | 2016-08-11 | Hanwha Techwin Co., Ltd. | System and method for browsing summary image |
| CN107729809A (zh) * | 2017-09-11 | 2018-02-23 | 汕头大学 | 一种自适应生成视频摘要的方法、装置及其可读存储介质 |
| WO2019137167A1 (zh) * | 2018-01-10 | 2019-07-18 | Oppo广东移动通信有限公司 | 相册管理方法、装置、存储介质及电子设备 |
-
2020
- 2020-05-09 CN CN202010385239.0A patent/CN111753642B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030189588A1 (en) * | 2002-04-03 | 2003-10-09 | Andreas Girgensohn | Reduced representations of video sequences |
| JP2005175533A (ja) * | 2003-12-05 | 2005-06-30 | Canon Inc | 映像処理装置および代表画像設定方法 |
| US20060026524A1 (en) * | 2004-08-02 | 2006-02-02 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
| CN1764262A (zh) * | 2004-10-20 | 2006-04-26 | 奥林巴斯株式会社 | 图像管理装置、照相机和图像管理装置的显示方法 |
| US20070211962A1 (en) * | 2006-03-10 | 2007-09-13 | Samsung Electronics Co., Ltd. | Apparatus and method for selectively outputing image frames |
| CN102819528A (zh) * | 2011-06-10 | 2012-12-12 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
| US20130336590A1 (en) * | 2012-05-03 | 2013-12-19 | Stmicroelectronics S.R.L. | Method and apparatus for generating a visual story board in real time |
| US20160232234A1 (en) * | 2015-02-10 | 2016-08-11 | Hanwha Techwin Co., Ltd. | System and method for browsing summary image |
| CN104717574A (zh) * | 2015-03-17 | 2015-06-17 | 华中科技大学 | 一种视频摘要中事件与背景的融合方法 |
| CN107729809A (zh) * | 2017-09-11 | 2018-02-23 | 汕头大学 | 一种自适应生成视频摘要的方法、装置及其可读存储介质 |
| WO2019137167A1 (zh) * | 2018-01-10 | 2019-07-18 | Oppo广东移动通信有限公司 | 相册管理方法、装置、存储介质及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| BA TU TRUONG 等: "Video abstraction: A systematic review and classification", 《ACM TRANSACTIONS ON MULTIMEDIA COMPUTING, COMMUNICATIONS, AND APPLICATIONS》, vol. 3, no. 1, pages 1 - 37, XP009092966, DOI: 10.1145/1198302.1198305 * |
| JIANG PENG 等: "Keyframe-Based Video Summary Using Visual Attention Clues", 《IEEE MULTIMEDIA》, vol. 17, no. 2, pages 64 - 73, XP011295840 * |
| 仲梦洁 等: "基于视觉显著性车辆监控视频关键帧提取方法", 《计算机技术与发展》, vol. 29, no. 6, pages 164 - 169 * |
| 阮瑞: "基于对象的监控视频关键帧提取技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 10, pages 138 - 401 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270695A (zh) * | 2020-11-04 | 2021-01-26 | 首都师范大学 | 一种确定相机运动状态的方法、装置、设备及存储介质 |
| CN113814212A (zh) * | 2021-09-06 | 2021-12-21 | 中南大学 | 一种基于镜片模糊检测的前置镜片在线智能自清洗装置及其方法 |
| CN113814212B (zh) * | 2021-09-06 | 2022-09-02 | 中南大学 | 一种基于镜片模糊检测的前置镜片在线智能自清洗装置及其方法 |
| CN117746344A (zh) * | 2024-02-21 | 2024-03-22 | 厦门农芯数字科技有限公司 | 一种猪场监控视频的事件分析方法、装置以及设备 |
| CN117746344B (zh) * | 2024-02-21 | 2024-05-14 | 厦门农芯数字科技有限公司 | 一种猪场监控视频的事件分析方法、装置以及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753642B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107346409B (zh) | 行人再识别方法和装置 | |
| CN110674881B (zh) | 商标图像检索模型训练方法、系统、存储介质及计算机设备 | |
| CN108229674B (zh) | 聚类用神经网络的训练方法和装置、聚类方法和装置 | |
| EP2851874A1 (en) | Paper identifying method and related device | |
| CN111125416A (zh) | 一种基于多特征融合的图像检索方法 | |
| CN113065474B (zh) | 行为识别方法、装置及计算机设备 | |
| CN111639629B (zh) | 一种基于图像处理的猪只体重测量方法、装置及存储介质 | |
| CN116091883B (zh) | 基于多源信息融合的目标检测识别方法、系统及存储介质 | |
| CN111898581A (zh) | 动物检测方法、装置、电子设备及可读存储介质 | |
| EP3644232B1 (en) | Method and device for classifying samples to be assessed | |
| US10657628B2 (en) | Method of providing a sharpness measure for an image | |
| KR20190076288A (ko) | 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| Garcia et al. | Information theoretic measure for visual target distinctness | |
| CN111753642B (zh) | 一种确定关键帧的方法及装置 | |
| CN113779308A (zh) | 一种短视频检测和多分类方法、装置及存储介质 | |
| CN111275040A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN111507324A (zh) | 卡片边框识别方法、装置、设备和计算机存储介质 | |
| CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN116129195A (zh) | 图像质量评价装置、方法、电子设备和存储介质 | |
| CN110969642A (zh) | 视频过滤方法、装置、电子设备及存储介质 | |
| CN115294035B (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
| CN108960181B (zh) | 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法 | |
| CN116071569A (zh) | 图像选择方法、计算机设备及存储装置 | |
| CN109558771B (zh) | 海上船舶的行为状态识别方法、装置、设备及存储介质 | |
| CN111382741B (zh) | 一种自然场景图片中文本检测方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |