CN109753883A - 视频定位方法、装置、存储介质和电子设备 - Google Patents
视频定位方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN109753883A CN109753883A CN201811528202.8A CN201811528202A CN109753883A CN 109753883 A CN109753883 A CN 109753883A CN 201811528202 A CN201811528202 A CN 201811528202A CN 109753883 A CN109753883 A CN 109753883A
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- target
- region
- rectangle region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本公开涉及一种视频定位方法、装置、存储介质及电子设备，包括：以预设视频帧间隔从视频中提取多个视频帧；对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域；将所述目标区域拟合为目标矩形区域；根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。通过上述技术方案，能够使得对视频中静止或运动的物体进行定位时，不仅能够完成对视频中所有视频帧进行目标物体的定位，而且能够保证在视频的每一视频帧中定位的目标物体的位置都能在同一条曲线上，从而避免了视频中的目标定位区域会出现跳动的情况，大大提高了用户体验。
Description
技术领域
本公开涉及视频定位领域，具体地，涉及一种视频定位方法、装置、存储介质和电子设备。
背景技术
目前，在对连续的视频中的某个物体进行识别时，由于识别方法或者视频本身清晰度等的原因，可能会造成不同帧识别到的物体位置不够连续的问题，或者会在某一帧中原本没有该物体的位置错误地识别出额外的物体，这样，如果需要对识别的物体进行标记，那么该标记就会出现在不同帧之间位置跳动的情况，甚至在不可能存在该物体的位置出现该物体的标记的情况。而且，由于识别区域的精度问题，该标记可能会将视频中不属于该物体的区域也进行了标记，这样可能会影响到原视频的内容。例如，在某些对车辆进行拍摄的视频中，视频中可能会存在很多车牌信息，如果用户不想泄露此类隐私信息，可能会有对视频中的车牌进行遮盖或者打马赛克的需求。在这种情况下，就需要对该视频中的每个视频帧都进行车牌的识别，并对识别出的车牌位置进行遮盖或者打码。由于视频帧的连续性，以及多个帧图像中识别出的车牌的位置的不确定性等以上所述的问题，用户最终看到处理后的视频中，识别出来的车牌区域可能会在视频中的一小部分区域内跳动显示，或者在没有车牌的地方也突然出现一个短暂的遮盖区域或者打码区域，严重影响用户的观看体验。
发明内容
本公开的目的是提供一种视频定位方法、装置、存储介质和电子设备，能够使得对视频中静止或运动的物体进行定位时，不仅能够完成对视频中所有视频帧进行目标物体的定位，而且能够保证在视频的每一视频帧中定位的目标物体的位置都能在同一条曲线上，从而避免了视频中的目标定位区域会出现跳动的情况，大大提高了用户体验。
为了实现上述目的，本公开提供一种视频定位方法，所述方法包括：
以预设视频帧间隔从视频中提取多个视频帧；
对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域；
将所述目标区域拟合为目标矩形区域；
根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
可选地，所述根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置包括：
获取所述多个视频帧中位于所述目标矩形区域的四个角的角像素点的位置；
对所述角像素点在所述多个视频帧中的位置分别进行拟合，得到与所述角像素点分别对应的四条第一二次曲线；
根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置；
根据所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
可选地，所述根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置包括：
获取所述多个视频帧中位于所述目标矩形区域的中心的中心像素点的位置；
对所述中心像素点在所述多个视频帧中的位置分别进行拟合，得到与所述中心像素点对应的第二二次曲线；
根据所述第二二次曲线确定所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置；
根据所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
可选地，所述根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置包括：
若在所述多个视频帧中，在所述目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，也存在目标矩形区域，则根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
可选地，所述对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域包括：
将所述多个视频帧输入预设识别模型中以得到各个视频帧中每个像素点属于所述目标区域的概率；
将属于所述目标区域的概率大于第一预设阈值的像素点标记为第一值，并将属于所述目标区域的概率不大于所述第一预设阈值的像素点标记为第二值，得到与各个视频帧分别相对应的多个二值图；
根据预设规则对各个二值图中被标记为第一值的像素点所构成的区域进行连通域分析，并将得到的连通区域作为各个视频帧中所述目标物体所在的所述目标区域。
可选地，所述预设规则包括：
所述连通区域的填充率不小于第二预设阈值；和/或
所述连通区域的长宽比在预设范围内。
本公开还提供一种视频定位装置，所述装置包括：
提取模块，用于以预设视频帧间隔从视频中提取多个视频帧；
图像识别模块，用于对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域；
拟合模块，用于将所述目标区域拟合为目标矩形区域；
拟合模块，用于根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
可选地，所述拟合模块包括：
第一获取子模块，用于获取所述多个视频帧中位于所述目标矩形区域的四个角的角像素点的位置；
第一拟合子模块，用于对所述角像素点在所述多个视频帧中的位置分别进行拟合，得到与所述角像素点分别对应的四条第一二次曲线；
第一确定子模块，用于根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置；
第二确定子模块，用于根据所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
可选地，所述拟合模块包括：
第二获取子模块，用于获取所述多个视频帧中位于所述目标矩形区域的中心的中心像素点的位置；
第二拟合子模块，用于对所述中心像素点在所述多个视频帧中的位置分别进行拟合，得到与所述中心像素点对应的第二二次曲线；
第三确定子模块，用于根据所述第二二次曲线确定所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置；
第四确定子模块，用于根据所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
可选地，所述拟合模块还用于：
若在所述多个视频帧中，在所述目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，也存在目标矩形区域，则根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
可选地，所述图像识别模块包括：
概率计算子模块，用于将所述多个视频帧输入预设识别模型中以得到各个视频帧中每个像素点属于所述目标区域的概率；
二值图标记子模块，用于将属于所述目标区域的概率大于第一预设阈值的像素点标记为第一值，并将属于所述目标区域的概率不大于所述第一预设阈值的像素点标记为第二值，得到与各个视频帧分别相对应的多个二值图；
连通域分析子模块，用于根据预设规则对各个二值图中被标记为第一值的像素点所构成的区域进行连通域分析，并将得到的连通区域作为各个视频帧中所述目标物体所在的所述目标区域。
可选地，所述预设规则包括：
所述连通区域的填充率不小于第二预设阈值；和/或
所述连通区域的长宽比在预设范围内。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述视频定位方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述视频定位方法的步骤。
通过上述技术方案，从待定位的视频中按照预设视频帧间隔获取多个视频帧，并对其分别图像识别的处理，以获得多个视频帧的每一视频帧中待识别目标物体所在的目标区域，在将该目标区域拟合成目标矩形区域之后，根据多个视频帧中的目标矩形区域的位置，通过拟合得到待定位的视频中所有视频帧中的目标矩形区域的位置，即得到所述视频的每一视频帧中所述目标物体的位置，这样不仅能够完成对视频中所有视频帧进行目标物体的定位，而且能够保证在视频的每一视频帧中定位的目标物体的位置都能在同一条曲线上，从而避免了视频中的目标定位区域会出现跳动的情况，大大提高了用户体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种视频定位方法的流程图。
图2是根据本公开一示例性实施例示出的一种视频定位方法中得到视频的每一视频帧中所述目标物体的位置的方法的流程图。
图3是根据本公开一示例性实施例示出的又一视频定位方法中得到视频的每一视频帧中所述目标物体的位置的方法的流程图。
图4是根据本公开一示例性实施例示出的又一视频定位方法的流程图。
图5是根据本公开一示例性实施例示出的一种视频定位方法中对多个视频帧分别进行图像识别的方法的流程图。
图6是根据本公开一示例性实施例示出的一种视频定位装置的结构框图。
图7是根据本公开一示例性实施例示出的一种视频定位装置中拟合模块的结构框图。
图8是根据本公开一示例性实施例示出的又一视频定位装置中拟合模块的结构框图。
图9是根据本公开一示例性实施例示出的一种视频定位装置中图像识别模块的结构框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一示例性实施例示出的一种视频定位方法的流程图。如图1所示，所述方法包括步骤101至步骤104。
在步骤101中，以预设视频帧间隔从视频中提取多个视频帧。所述预设间隔可以为例如5个视频帧，即，从待定位的视频中，每隔5个视频帧提取一个视频帧，从而就可以从待定位视频中提取出互相间隔5个视频帧的多个视频帧。
在步骤102中，对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域。在将所述多个视频帧从待定位视频的所有视频帧中提取出来之后，对其进行针对目标物体的图像识别，以在所述多个视频帧中的每一视频帧中都将该目标物体所在的目标区域识别出来。图像识别的方法在此不做限制，只要能将该目标物体所在的目标区域识别出来即可，例如，可以使用图像分割的思想对该多个视频帧进行识别等，所述多个视频帧可以都是用同样的图像识别的方法，也可以使用多种不同的图像识别的方法。
在步骤103中，将所述目标区域拟合为目标矩形区域。通过图像识别出来的目标物体所在的目标区域很大可能是不规则的形状，因此将步骤102中通过图像识别识别出来的目标区域拟合成矩形，以得到目标矩形区域，从而方便步骤104中对该目标矩形区域的位置进行处理。
在步骤104中，根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。通过对该多个视频帧中的每一视频帧中的目标矩形区域所在的位置进行拟合，能够得到表征该目标物体在该视频中的位移轨迹曲线，从而就能根据该拟合得到的曲线得到该目标物体在该视频的每一视频帧上的位置。
通过上述技术方案，从待定位的视频中按照预设视频帧间隔获取多个视频帧，并对其分别图像识别的处理，以获得多个视频帧的每一视频帧中待识别目标物体所在的目标区域，在将该目标区域拟合成目标矩形区域之后，根据多个视频帧中的目标矩形区域的位置，通过拟合得到待定位的视频中所有视频帧中的目标矩形区域的位置，即得到所述视频的每一视频帧中所述目标物体的位置，这样不仅能够完成对视频中所有视频帧进行目标物体的定位，而且能够保证在视频的每一视频帧中定位的目标物体的位置都能在同一条曲线上，从而避免了视频中的目标定位区域会出现跳动的情况，大大提高了用户体验。
图2是根据本公开一示例性实施例示出的一种视频定位方法中得到视频的每一视频帧中所述目标物体的位置的方法的流程图。如图2所示，图1中所示的步骤104包括以下示出的步骤201至步骤204。
在步骤201中，获取所述多个视频帧中位于所述目标矩形区域的四个角的角像素点的位置。以目标矩形区域的左上角为例，位于视频帧中的目标矩形区域的左上角上的像素点即为所述角像素点之一，该角像素点所在的位置即该角像素点在该视频帧中的相对位置，该位置的表达方式可以根据坐标系选取的不同而不同，在本公开中对坐标系的选取以及该角像素点的位置的表达方式不做限制，只要是能够表征该角像素点在与之对应的视频帧中的相对位置即可。
在步骤202中，对所述角像素点在所述多个视频帧中的位置分别进行拟合，得到与所述角像素点分别对应的四条第一二次曲线。在所述多个视频帧中，所有识别到的目标矩形区域的四个角上的角像素点都已经在步骤201中得到，因此可以以单个角像素点为单位进行位置的拟合。例如，对多个视频帧中所有目标矩形区域的左上角上的角像素点的位置进行拟合，就能够得到目标矩形区域左上角的角像素点的在多个视频帧上的位移轨迹曲线，即第一二次曲线。分别对右上角上的角像素点、左下角上的角像素点、右下角上的角像素点进行拟合，就能够得到与四个角像素点分别对应的四条第一二次曲线了。上述示例是在每个视频帧中都只识别到一个目标矩形区域的情况下对目标矩形区域的四个角上的角像素点进行拟合的方法，当所述多个视频帧中的一个视频帧内识别到多个不同的目标矩形区域时，则需要对所述不同的目标矩形区域进行分别进行四个角像素点的拟合。
在步骤203中，根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置。在得到与目标矩形区域的四个角上的角像素点分别对应的四条第一二次曲线之后，就能够一一得到所述视频的每一视频帧上该目标矩形区域的四个角上角像素点的位置。其中，由于该第一二次曲线不一定经过用于拟合的多个视频帧中的各个角像素点，因此，当该多个视频帧中的目标矩形区域上的角像素点的位置也会根据所述四条第一二次曲线更新。即，在根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置时，所述视频的每一视频帧也包括以预设视频帧间隔从视频中提取出来的多个视频帧。
在步骤204中，根据所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。在确定了视频中每一视频帧中的目标矩形区域的四个角上的角像素点的位置之后，即确定了目标矩形区域的位置，每一视频帧中目标矩形区域的位置即为每一视频帧中目标物体所对应的位置。
图3是根据本公开一示例性实施例示出的又一视频定位方法中得到视频的每一视频帧中所述目标物体的位置的方法的流程图。如图3所示，图1红所示的步骤104包括以下示出的步骤301至步骤304。
在步骤301中，获取所述多个视频帧中位于所述目标矩形区域的中心的中心像素点的位置。
在步骤302中，对所述中心像素点在所述多个视频帧中的位置分别进行拟合，得到与所述中心像素点对应的第二二次曲线。
在步骤303中，根据所述第二二次曲线确定所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置。
在步骤304中根据所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
上述通过对多个视频帧中位于目标矩形区域的中心的中心像素点进行拟合从而确定所述视频的每一视频帧中目标物体的位置的过程，与如图2中所述的通过对多个视频帧中的位于目标矩形区域的四个角的角像素点进行拟合从而确定所述视频的每一视频帧中目标物体的位置的过程相近，此处就不再赘述。
图4是根据本公开一示例性实施例示出的又一视频定位方法的流程图。如图4所示，在如图1所示的步骤104之前，所述方法还包括步骤401。
在步骤401中，判断在所述多个视频帧中，在所述目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，是否存在目标矩形区域；如果存在，则转至步骤104，如果不存在，则转至步骤101。
所述预设个数可以为例如1个或者2个。在所述多个视频帧中的某一帧上识别到目标矩形区域后，有可能会是由于识别失误而导致误识别，原视频中在该位置上或许根本就没有目标物体，因此，在根据从视频中提出的多个视频帧的图像识别的结果对整个视频的目标物体进行定位之前，会先对图像识别后得到的视频帧上的目标识别区域进行真假判断，当该目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，存在目标矩形区域，则可以说明该目标矩形区域的确是目标物体所对应的区域，而不是由于图像识别失误造成的。
图5是根据本公开一示例性实施例示出的一种视频定位方法中对多个视频帧分别进行图像识别的方法的流程图。如图5所示，所述方法包括步骤501至步骤503。
在步骤501中，将所述多个视频帧输入预设识别模型中以得到各个视频帧中每个像素点属于所述目标区域的概率。所述预设识别模型可以是已经针对该目标物体训练好的深度学习模型，用于训练该预设识别模型的训练数据为大量的采样数据，本公开中对该预设识别模型的训练数据的来源不做限制，只要是能够将该预设识别模型的精度训练到预设精度或将该预设识别模型的精度训练至预设精度以上即可。在经过该预设识别模型识别之后，就能够所述多个视频帧中的每一帧图像上的所有像素点属于所述目标区域的概率。
在步骤502中，将属于所述目标区域的概率大于第一预设阈值的像素点标记为第一值，并将属于所述目标区域的概率不大于所述第一预设阈值的像素点标记为第二值，得到与各个视频帧分别相对应的多个二值图。所述第一预设阈值可以为例如80％等。
在步骤503中，根据预设规则对各个二值图中被标记为第一值的像素点所构成的区域进行连通域分析，并将得到的连通区域作为各个视频帧中所述目标物体所在的所述目标区域。所述被标记为第一值的像素点即为可能属于目标区域的像素点，因此，由被标记为第一值的像素点构成的所述连通区域即为目标物体所在的目标区域。
在一种可能的实施方式中，所述预设规则包括：所述连通区域的填充率不小于第二预设阈值；和/或所述连通区域的长宽比在预设范围内。所述第二预设阈值可以为例如90％等。
图6是根据本公开一示例性实施例示出的一种视频定位装置的结构框图。如图6所示，所述装置包括：提取模块10，用于以预设视频帧间隔从视频中提取多个视频帧；图像识别模块20，用于对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域；拟合模块30，用于将所述目标区域拟合为目标矩形区域；拟合模块40，用于根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
通过上述技术方案，从待定位的视频中按照预设视频帧间隔获取多个视频帧，并对其分别图像识别的处理，以获得多个视频帧的每一视频帧中待识别目标物体所在的目标区域，在将该目标区域拟合成目标矩形区域之后，根据多个视频帧中的目标矩形区域的位置，通过拟合得到待定位的视频中所有视频帧中的目标矩形区域的位置，即得到所述视频的每一视频帧中所述目标物体的位置，这样不仅能够完成对视频中所有视频帧进行目标物体的定位，而且能够保证在视频的每一视频帧中定位的目标物体的位置都能在同一条曲线上，从而避免了视频中的目标定位区域会出现跳动的情况，大大提高了用户体验。
图7是根据本公开一示例性实施例示出的一种视频定位装置中拟合模块40的结构框图。如图7所示，所述拟合模块40包括：第一获取子模块401，用于获取所述多个视频帧中位于所述目标矩形区域的四个角的角像素点的位置；第一拟合子模块402，用于对所述角像素点在所述多个视频帧中的位置分别进行拟合，得到与所述角像素点分别对应的四条第一二次曲线；第一确定子模块403，用于根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置；第二确定子模块404，用于根据所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
图8是根据本公开一示例性实施例示出的又一视频定位装置中拟合模块40的结构框图。如图8所示，所述拟合模块40包括：第二获取子模块405，用于获取所述多个视频帧中位于所述目标矩形区域的中心的中心像素点的位置；第二拟合子模块406，用于对所述中心像素点在所述多个视频帧中的位置分别进行拟合，得到与所述中心像素点对应的第二二次曲线；第三确定子模块407，用于根据所述第二二次曲线确定所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置；第四确定子模块408，用于根据所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
在一种可能的实施方式中，所述拟合模块40还用于：若在所述多个视频帧中，在所述目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，也存在目标矩形区域，则根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
图9是根据本公开一示例性实施例示出的一种视频定位装置中图像识别模块20的结构框图。如图9所示，所述图像识别模块20包括：概率计算子模块201，用于将所述多个视频帧输入预设识别模型中以得到各个视频帧中每个像素点属于所述目标区域的概率；二值图标记子模块202，用于将属于所述目标区域的概率大于第一预设阈值的像素点标记为第一值，并将属于所述目标区域的概率不大于所述第一预设阈值的像素点标记为第二值，得到与各个视频帧分别相对应的多个二值图；连通域分析子模块203，用于根据预设规则对各个二值图中被标记为第一值的像素点所构成的区域进行连通域分析，并将得到的连通区域作为各个视频帧中所述目标物体所在的所述目标区域。
在一种可能的实施方式中，所述预设规则包括：所述连通区域的填充率不小于第二预设阈值；和/或所述连通区域的长宽比在预设范围内。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种电子设备1000的框图。如图10所示，该电子设备1000可以包括：处理器1001，存储器1002。该电子设备1000还可以包括多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005中的一者或多者。
其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的视频定位方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件10010可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的视频定位方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的视频定位方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的视频定位方法。
图11是根据一示例性实施例示出的一种电子设备1100的框图。例如，电子设备1100可以被提供为一服务器。参照图11，电子设备1100包括处理器1122，其数量可以为一个或多个，以及存储器1132，用于存储可由处理器1122执行的计算机程序。存储器1132中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1122可以被配置为执行该计算机程序，以执行上述的视频定位方法。
另外，电子设备1100还可以包括电源组件1126和通信组件1150，该电源组件1126可以被配置为执行电子设备1100的电源管理，该通信组件1150可以被配置为实现电子设备1100的通信，例如，有线或无线通信。此外，该电子设备1100还可以包括输入/输出(I/O)接口1158。电子设备1100可以操作基于存储在存储器1132的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的视频定位方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1132，上述程序指令可由电子设备1100的处理器1122执行以完成上述的视频定位方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (14)
1.一种视频定位方法，其特征在于，所述方法包括：
以预设视频帧间隔从视频中提取多个视频帧；
对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域；
将所述目标区域拟合为目标矩形区域；
根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
2.根据权利要求1所述方法，其特征在于，所述根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置包括：
获取所述多个视频帧中位于所述目标矩形区域的四个角的角像素点的位置；
对所述角像素点在所述多个视频帧中的位置分别进行拟合，得到与所述角像素点分别对应的四条第一二次曲线；
根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置；
根据所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置包括：
获取所述多个视频帧中位于所述目标矩形区域的中心的中心像素点的位置；
对所述中心像素点在所述多个视频帧中的位置分别进行拟合，得到与所述中心像素点对应的第二二次曲线；
根据所述第二二次曲线确定所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置；
根据所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置包括：
若在所述多个视频帧中，在所述目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，也存在目标矩形区域，则根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
5.根据权利要求1所述的方法，其特征在于，所述对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域包括：
将所述多个视频帧输入预设识别模型中以得到各个视频帧中每个像素点属于所述目标区域的概率；
将属于所述目标区域的概率大于第一预设阈值的像素点标记为第一值，并将属于所述目标区域的概率不大于所述第一预设阈值的像素点标记为第二值，得到与各个视频帧分别相对应的多个二值图；
根据预设规则对各个二值图中被标记为第一值的像素点所构成的区域进行连通域分析，并将得到的连通区域作为各个视频帧中所述目标物体所在的所述目标区域。
6.根据权利要求5所述方法，其特征在于，所述预设规则包括：
所述连通区域的填充率不小于第二预设阈值；和/或
所述连通区域的长宽比在预设范围内。
7.一种视频定位装置，其特征在于，所述装置包括：
提取模块，用于以预设视频帧间隔从视频中提取多个视频帧；
图像识别模块，用于对所述多个视频帧分别进行图像识别，得到所述多个视频帧中目标物体所在的目标区域；
拟合模块，用于将所述目标区域拟合为目标矩形区域；
拟合模块，用于根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
8.根据权利要求7所述装置，其特征在于，所述拟合模块包括：
第一获取子模块，用于获取所述多个视频帧中位于所述目标矩形区域的四个角的角像素点的位置；
第一拟合子模块，用于对所述角像素点在所述多个视频帧中的位置分别进行拟合，得到与所述角像素点分别对应的四条第一二次曲线；
第一确定子模块，用于根据所述四条第一二次曲线确定所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置；
第二确定子模块，用于根据所述视频的每一视频帧中所述目标矩形区域的四个角上的角像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
9.根据权利要求7所述的装置，其特征在于，所述拟合模块包括：
第二获取子模块，用于获取所述多个视频帧中位于所述目标矩形区域的中心的中心像素点的位置；
第二拟合子模块，用于对所述中心像素点在所述多个视频帧中的位置分别进行拟合，得到与所述中心像素点对应的第二二次曲线；
第三确定子模块，用于根据所述第二二次曲线确定所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置；
第四确定子模块，用于根据所述视频的每一视频帧中所述目标矩形区域的中心像素点的位置，确定所述视频的每一视频帧中所述目标物体的位置。
10.根据权利要求7所述的装置，其特征在于，所述拟合模块还用于：
若在所述多个视频帧中，在所述目标矩形区域所在的视频帧之前或者在所述目标矩形区域所在的视频帧之后的预设个数的视频帧中，与所述目标矩形区域的位置相同或相邻的位置上，也存在目标矩形区域，则根据所述目标矩形区域在所述多个视频帧中的位置，通过拟合得到所述视频的每一视频帧中所述目标物体的位置。
11.根据权利要求7所述的装置，其特征在于，所述图像识别模块包括：
概率计算子模块，用于将所述多个视频帧输入预设识别模型中以得到各个视频帧中每个像素点属于所述目标区域的概率；
二值图标记子模块，用于将属于所述目标区域的概率大于第一预设阈值的像素点标记为第一值，并将属于所述目标区域的概率不大于所述第一预设阈值的像素点标记为第二值，得到与各个视频帧分别相对应的多个二值图；
连通域分析子模块，用于根据预设规则对各个二值图中被标记为第一值的像素点所构成的区域进行连通域分析，并将得到的连通区域作为各个视频帧中所述目标物体所在的所述目标区域。
12.根据权利要求11所述装置，其特征在于，所述预设规则包括：
所述连通区域的填充率不小于第二预设阈值；和/或
所述连通区域的长宽比在预设范围内。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
14.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528202.8A CN109753883A (zh) | 2018-12-13 | 2018-12-13 | 视频定位方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528202.8A CN109753883A (zh) | 2018-12-13 | 2018-12-13 | 视频定位方法、装置、存储介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109753883A true CN109753883A (zh) | 2019-05-14 |
Family
ID=66403860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811528202.8A Pending CN109753883A (zh) | 2018-12-13 | 2018-12-13 | 视频定位方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753883A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503042A (zh) * | 2019-08-23 | 2019-11-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
| CN111249742A (zh) * | 2020-01-21 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种作弊用户检测方法、装置、存储介质和电子设备 |
| CN112215063A (zh) * | 2020-09-02 | 2021-01-12 | 鹏城实验室 | 一种车牌脱敏方法、终端及存储介质 |
| CN112884830A (zh) * | 2021-01-21 | 2021-06-01 | 浙江大华技术股份有限公司 | 一种目标边框确定方法及装置 |
| CN112954443A (zh) * | 2021-03-23 | 2021-06-11 | 影石创新科技股份有限公司 | 全景视频的播放方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
| CN106682573A (zh) * | 2016-11-15 | 2017-05-17 | 中山大学 | 一种单摄像头的行人跟踪方法 |
| CN108280843A (zh) * | 2018-01-24 | 2018-07-13 | 新华智云科技有限公司 | 一种视频目标检测跟踪方法及设备 |
| US20180211113A1 (en) * | 2017-01-20 | 2018-07-26 | Conduent Business Services, Llc | System and method for detecting potential drive-up drug deal activity via trajectory-based analysis |
-
2018
- 2018-12-13 CN CN201811528202.8A patent/CN109753883A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
| CN106682573A (zh) * | 2016-11-15 | 2017-05-17 | 中山大学 | 一种单摄像头的行人跟踪方法 |
| US20180211113A1 (en) * | 2017-01-20 | 2018-07-26 | Conduent Business Services, Llc | System and method for detecting potential drive-up drug deal activity via trajectory-based analysis |
| CN108280843A (zh) * | 2018-01-24 | 2018-07-13 | 新华智云科技有限公司 | 一种视频目标检测跟踪方法及设备 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503042A (zh) * | 2019-08-23 | 2019-11-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
| CN110503042B (zh) * | 2019-08-23 | 2022-04-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
| CN111249742A (zh) * | 2020-01-21 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种作弊用户检测方法、装置、存储介质和电子设备 |
| CN111249742B (zh) * | 2020-01-21 | 2022-05-17 | 腾讯科技（深圳）有限公司 | 一种作弊用户检测方法、装置、存储介质和电子设备 |
| CN112215063A (zh) * | 2020-09-02 | 2021-01-12 | 鹏城实验室 | 一种车牌脱敏方法、终端及存储介质 |
| CN112215063B (zh) * | 2020-09-02 | 2024-08-23 | 鹏城实验室 | 一种车牌脱敏方法、终端及存储介质 |
| CN112884830A (zh) * | 2021-01-21 | 2021-06-01 | 浙江大华技术股份有限公司 | 一种目标边框确定方法及装置 |
| CN112884830B (zh) * | 2021-01-21 | 2024-03-29 | 浙江大华技术股份有限公司 | 一种目标边框确定方法及装置 |
| CN112954443A (zh) * | 2021-03-23 | 2021-06-11 | 影石创新科技股份有限公司 | 全景视频的播放方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753883A (zh) | 视频定位方法、装置、存储介质和电子设备 | |
| CN110232311B (zh) | 手部图像的分割方法、装置及计算机设备 | |
| JP6392468B2 (ja) | 領域認識方法及び装置 | |
| CN105550633B (zh) | 区域识别方法及装置 | |
| CN105426818B (zh) | 区域提取方法及装置 | |
| CN105528607B (zh) | 区域提取方法、模型训练方法及装置 | |
| CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN106295511B (zh) | 人脸跟踪方法及装置 | |
| CN108229324A (zh) | 手势追踪方法和装置、电子设备、计算机存储介质 | |
| KR20170097638A (ko) | 주의 중심점을 기반으로 한 가이드식 지문등록 | |
| CN107977659A (zh) | 一种文字识别方法、装置及电子设备 | |
| CN112200187A (zh) | 一种目标检测方法、装置、机器可读介质及设备 | |
| CN105678242B (zh) | 手持证件模式下的对焦方法和装置 | |
| CN107832741A (zh) | 人脸特征点定位的方法、装置及计算机可读存储介质 | |
| CN108875667B (zh) | 目标识别方法、装置、终端设备和存储介质 | |
| CN112749609B (zh) | 人体图像分割方法、装置、计算机设备及存储介质 | |
| CN109635142B (zh) | 图像选择方法及装置、电子设备和存储介质 | |
| CN106250831A (zh) | 图像检测方法、装置和用于图像检测的装置 | |
| CN111414888A (zh) | 低分辨率人脸识别方法、系统、装置及存储介质 | |
| CN112949437B (zh) | 一种手势识别方法、手势识别装置及智能设备 | |
| CN106295515A (zh) | 确定图像中的人脸区域的方法及装置 | |
| CN109670458A (zh) | 一种车牌识别方法及装置 | |
| CN103105924A (zh) | 人机交互方法和装置 | |
| CN111340848A (zh) | 对目标区域的对象跟踪方法、系统、设备及介质 | |
| CN111382655A (zh) | 一种举手行为识别方法及装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |
|
| RJ01 | Rejection of invention patent application after publication |