CN113727095A - 摄像头移动的检测方法、装置、设备、系统及存储介质 - Google Patents
摄像头移动的检测方法、装置、设备、系统及存储介质 Download PDFInfo
- Publication number
- CN113727095A CN113727095A CN202110995252.2A CN202110995252A CN113727095A CN 113727095 A CN113727095 A CN 113727095A CN 202110995252 A CN202110995252 A CN 202110995252A CN 113727095 A CN113727095 A CN 113727095A
- Authority
- CN
- China
- Prior art keywords
- video frame
- target
- determining
- point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 114
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种摄像头移动的检测方法、装置、设备、系统及存储介质，用以解决现有技术中对摄像头移动的检测不准确的问题。包括：获取摄像头拍摄的目标视频帧，目标视频帧包括第一视频帧和第二视频帧；第一视频帧对应的拍摄时间早于第二视频帧对应的拍摄时间；确定各目标视频帧中包含预设移动对象的移动区域；过滤各目标视频帧中的移动区域，得到各目标视频帧对应的目标区域；目标区域包括第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域；对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。该技术方案使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种摄像头移动的检测方法、装置、设备、系统及存储介质。
背景技术
随着人们安全防范意识的不断增强，视频监控的应用越来越广泛。目前，通过安装在待监控区域内的摄像头，能够不断地采集待监控区域内的画面以形成监控视频，用户通过与摄像头对应的后端平台就能查看监控视频，从而实现对待监控区域的监控。
由于待监控区域即是用户想要监控的区域，一般用户在安装摄像头之后，就不会再改变摄像头的设置方位。但是，在实际应用中，不乏自然因素(如大风、冰雹等极端天气)或人为因素导致摄像头发生移动，使得摄像头所监控的区域与用户想要监控的区域不一致。而一般情况下，用户不会实时查看监控视频，若没有相应的检测手段，则用户很难及时发现摄像头发生了移动。因此，在摄像头工作过程中，对摄像头移动的情况进行检测就显得尤为重要。
现有技术中，一般通过获取摄像头拍摄的图像，对获取到的图像进行移动检测，并计算统计获取到的图像中差分像素的个数，若差分像素的个数大于预设阈值，则确定该摄像头发生了移动。这种方式直接根据获取到的图像对摄像头移动的情况进行判断，并未考虑获取到的图像中是否存在干扰因素(如可移动的对象)，易使得针对摄像头移动的检测结果不准确。
发明内容
本申请实施例的目的是提供一种摄像头移动的检测方法、装置、设备、系统及存储介质，用以解决现有技术中对摄像头移动的检测不准确的问题。
为解决上述技术问题，本申请实施例是这样实现的：
一方面，本申请实施例提供一种摄像头移动的检测方法，包括：
获取摄像头拍摄的目标视频帧，所述目标视频帧包括第一视频帧和第二视频帧；所述第一视频帧对应的拍摄时间早于所述第二视频帧对应的拍摄时间；
确定各所述目标视频帧中包含预设移动对象的移动区域；
过滤各所述目标视频帧中的所述移动区域，得到各所述目标视频帧对应的目标区域；所述目标区域包括所述第一视频帧对应的第一目标区域和所述第二视频帧对应的第二目标区域；
对所述第一目标区域和所述第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定所述摄像头的移动信息。
另一方面，本申请实施例提供一种摄像头移动的检测装置，包括：
获取模块，用于获取摄像头拍摄的目标视频帧，所述目标视频帧包括第一视频帧和第二视频帧；所述第一视频帧对应的拍摄时间早于所述第二视频帧对应的拍摄时间；
确定模块，用于确定各所述目标视频帧中包含预设移动对象的移动区域；
过滤模块，用于过滤各所述目标视频帧中的所述移动区域，得到各所述目标视频帧对应的目标区域；所述目标区域包括所述第一视频帧对应的第一目标区域和所述第二视频帧对应的第二目标区域；
匹配及确定模块，用于对所述第一目标区域和所述第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定所述摄像头的移动信息。
再一方面，本申请实施例提供一种摄像头移动的检测设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述的摄像头移动的检测方法。
再一方面，本申请实施例提供一种摄像头移动的检测系统，包括：
摄像机，用于获取视频帧；
服务器，用于接收摄像机获取的视频帧，并执行上述的摄像头移动的检测方法。
再一方面，本申请实施例提供一种存储介质，用于存储计算机程序，所述计算机程序在被处理器执行时以实现上述的摄像头移动的检测方法。
采用本申请实施例的技术方案，通过获取摄像头拍摄的目标视频帧(包括第二视频帧和早于第二视频帧拍摄的第一视频帧)，确定各目标视频帧中包含预设移动对象的移动区域，并过滤各目标视频帧中的移动区域，分别得到各目标视频帧中不包含预设移动对象的区域(即第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)，从而对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。可见，该技术方案能够首先确定并过滤掉各目标视频帧中的干扰因素(即包含预设移动对象的移动区域)，从而根据过滤后得到的各目标视频帧中的目标区域确定摄像头的移动信息，有效避免了干扰因素对摄像头的移动信息的影响，从而使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请一实施例的一种摄像头移动的检测方法的示意性流程图；
图2是根据本申请一实施例的样本像素集的示意图；
图3是根据本申请一实施例的尺度空间极值检测的示意图；
图4是根据本申请另一实施例的一种摄像头移动的检测方法的示意性流程图；
图5是根据本申请一实施例的一种摄像头移动的检测系统的示意性框图；
图6是根据本申请一实施例的一种摄像头移动的检测装置的示意性框图；
图7是根据本申请一实施例的一种摄像头移动的检测设备的结构示意图。
具体实施方式
本申请实施例提供一种摄像头移动的检测方法、装置、设备、系统及存储介质，用以解决现有技术中对摄像头移动的检测不准确的问题。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1是根据本申请一实施例的一种摄像头移动的检测方法的示意性流程图，如图1所示，摄像头移动的检测方法可包括：
S102，获取摄像头拍摄的目标视频帧，目标视频帧包括第一视频帧和第二视频帧。
其中，第一视频帧对应的拍摄时间早于第二视频帧对应的拍摄时间。在执行S102时，可响应于用户的触发操作，获取摄像头拍摄的目标视频帧。此时，第一视频帧可由用户预先指定，第二视频帧可响应于用户的触发操作进行拍摄而得到。需要说明的是，第二视频帧与用户预先指定的第一视频帧中的场景一致。
在执行S102时，还可根据预设的针对摄像头移动的定时检测任务，获取摄像头拍摄的目标视频帧。此时，第一视频帧可在开启定时检测任务时拍摄得到，第二视频帧可在定时检测任务中的各定时时刻拍摄得到。为缩小各目标视频帧之间的场景差异，第一视频帧可在当前定时时刻拍摄得到，第二视频帧则可在当前定时时刻的下一定时时刻拍摄得到，从而提高了第一视频帧与第二视频帧之间的相似度，进而使得最终确定的摄像头的移动信息更加准确。
S104，确定各目标视频帧中包含预设移动对象的移动区域。
其中，预设移动对象可包括人、车辆、动物等可移动的对象。
S106，过滤各目标视频帧中的移动区域，得到各目标视频帧对应的目标区域；目标区域包括第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域。
在一个实施例中，移动区域为前景区域，目标区域为背景区域。前景区域可为包括可移动的对象的区域，背景区域可为包括不可移动的对象(即静止不动的对象)、以及移动非常缓慢的对象(如建筑物的影子)的区域。
S108，对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。
采用本申请实施例的技术方案，通过获取摄像头拍摄的目标视频帧(包括第二视频帧和早于第二视频帧拍摄的第一视频帧)，确定各目标视频帧中包含预设移动对象的移动区域，并过滤各目标视频帧中的移动区域，分别得到各目标视频帧中不包含预设移动对象的区域(即第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)，从而对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。可见，该技术方案能够首先确定并过滤掉各目标视频帧中的干扰因素(即包含预设移动对象的移动区域)，从而根据过滤后得到的各目标视频帧中的目标区域确定摄像头的移动信息，有效避免了干扰因素对摄像头的移动信息的影响，从而使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
需要说明的是，由于目标视频帧包括第二视频帧和早于第二视频帧拍摄得到的第一视频帧，因此，在后续实施例中对目标视频帧执行的各操作，即是分别对第一视频帧和第二视频帧执行的操作。
在一个实施例中，在执行S104时，可根据如下步骤A1-A3，确定各目标视频帧中包含预设移动对象的移动区域：
步骤A1，针对目标视频帧中的任一采样点，确定采样点的采样点类型；采样点类型包括背景采样点或前景采样点；以及，将目标视频帧划分为多个第一子区域；各第一子区域内包括多个采样点。
其中，采样点可以是目标视频帧中的像素点。各第一子区域为矩形。在将目标视频帧划分为多个第一子区域时，可根据预设的视频帧的分辨率与第一划分精度之间的对应关系，从而按照该对应关系，根据目标视频帧的分辨率，确定目标视频帧对应的第一划分精度，并按照该第一划分精度将目标视频帧划分为多个第一子区域。
其中，第一划分精度可用各第一子区域在长、宽上的像素点的数量来表征，形式为：长*宽。比如，第一划分精度可为30*30、30*40、40*50等等。若预设当视频帧的分辨率为1600*1200时，对应的第一划分精度为40*30，当视频帧的分辨率为2400*1800时，对应的第一划分精度为80*60。按照预设的对应关系，若确定目标视频帧的分辨率为2400*1800，则可确定目标视频帧对应的第一划分精度为80*60，从而按照该第一划分精度可将目标视频帧划分为30个第一子区域。
步骤A2，根据各第一子区域内包括的背景采样点和/或前景采样点的数量，确定各第一子区域的区域类型。
其中，区域类型包括前景区域或背景区域。在执行步骤A2时，可通过预设前景采样点对应的第一数量阈值，在第一子区域内包括的前景采样点的数量大于或等于第一数量阈值时，确定该第一子区域的区域类型为前景区域；在第一子区域内包括的前景采样点的数量小于第一数量阈值时，确定该第一子区域的区域类型为背景区域。
或者，在执行步骤A2时，可通过预设背景采样点对应的第二数量阈值，在第一子区域内包括的背景采样点的数量大于或等于第二数量阈值时，确定该第一子区域的区域类型为背景区域；在第一子区域内包括的背景采样点的数量小于第二数量阈值时，确定该第一子区域的区域类型为前景区域。
或者，在执行步骤A2时，可通过预设上述第一数量阈值和第二数量阈值，在第一子区域内包括的前景采样点的数量小于第一数量阈值、且该第一子区域内包括的背景采样点的数量大于或等于第二数量阈值时，确定该第一子区域的区域类型为背景区域；在第一子区域内包括的背景采样点的数量小于第二数量阈值、且该第一子区域内包括的前景采样点的数量大于或等于第一数量阈值时，确定该第一子区域的区域类型为前景区域。
需要说明的是，第一数量阈值及第二数量阈值的大小可根据各第一子区域中采样点的数量的平均值进行确定。第一数量阈值和第二数量阈值的大小可相同或不同。为了精确得到各第一子区域的区域类型，第一数量阈值和第二数量阈值之和可等于各第一子区域中采样点的数量的平均值。例如，若各第一子区域中采样点的数量的平均值为100个，那么，当第一数量阈值为42时，第二数量阈值为58；当第一数量阈值为50时，第二数量阈值也为50；等等。
步骤A3，对目标视频帧中的前景区域进行组合，根据组合结果确定移动区域。
在本实施例中，通过确定目标视频帧中的背景采样点和前景采样点，并将目标视频帧划分为多个第一子区域，从而根据各第一子区域内包括的背景采样点和/或前景采样点的数量，确定各第一子区域是前景区域还是背景区域，进而对属于前景区域的各第一子区域进行组合，根据组合结果确定移动区域。可见，通过划分子区域的方式，能够最大限度的确定出目标视频帧中的前景区域，为减少目标视频帧中的干扰因素提供了数据基础。
在一个实施例中，执行上述步骤A1时，可采用ViBe(Visual backgroundextractor，视频前景提取)算法，确定采样点的采样点类型。ViBe算法是一种像素级视频背景建模或前景检测的算法。其思想是首先为目标视频帧中的每个像素点(即采样点)存储一个背景点样本集，背景点样本集包括该像素点历史的像素值和其邻居点的像素值，然后将目标视频帧中的每个像素点的像素值和背景点样本集进行比较，以确定各像素点属于背景采样点还是前景采样点。具体包括如下步骤B1-B4：
在执行步骤B1之前，可首先对目标视频帧进行降噪处理，以消除目标视频帧在数字化过程中产生或者混入的噪声。在进行降噪处理时，可以选择高斯滤波的方式进行降噪。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。
步骤B1，确定采样点对应的样本像素集。
其中，样本像素集包括以下至少一项：目标视频帧中位于采样点周围预设范围内的第一像素点、历史视频帧中与第一像素点位于相同位置的第二像素点。历史视频帧对应的拍摄时间早于目标视频帧对应的拍摄时间，且历史视频帧与目标视频帧中的场景一致。
其中，在确定目标视频帧中位于采样点周围预设范围内的第一像素点时，可将以采样点V1为中心，以R为半径的空间域内的各像素点确定为第一像素点，从而将N个历史视频帧形成的时间域中与第一像素点位于相同位置的各像素点确定为第二像素点，如图2所示，a图示意性地展示了目标视频帧中的各第一像素点V2、V3和V4，b图示意性地展示了由2个历史视频帧形成的时间域中与第一像素点位于相同位置的各第二像素点V1'、V2'、V3'、V4'、V1”、V2”、V3”和V4”。
步骤B2，计算样本像素集中的每个像素点和采样点之间的像素距离。
其中，像素距离可为样本像素集中的像素点的像素值与采样点的像素值之间的差值，或者，为样本像素集中的像素点的像素坐标(可直接从目标视频帧及历史视频帧中获得)与采样点的像素坐标(可直接从目标视频帧中获得)之间的距离。
步骤B3，确定小于或等于第一预设阈值的像素距离的数量。
本实施例中，能够确定样本像素集中与采样点之间的像素距离小于或等于第一预设阈值的像素点的数量，即能够确定样本像素集中与采样点最为接近的像素点的数量。
步骤B4，若上述数量大于预设数量阈值，则确定采样点为背景采样点；若上述数量小于或等于预设数量阈值，则确定采样点为前景采样点。
需要说明的是，本实施例中，还可基于其他现有的前景提取算法和/或背景提取算法，确定采样点的采样点类型，本申请对此不作限定。
在本实施例中，通过确定采样点对应的样本像素集，计算样本像素集中的每个像素点和采样点之间的像素距离，确定小于或等于第一预设阈值的像素距离的数量，从而根据上述数量与预设数量阈值之间的大小关系，确定采样点为背景采样点或前景采样点，不仅实现简单，而且采用ViBe算法相较于其他相关算法而言，大大减少了计算量，节省了对内存的占用，处理速度有明显提升，确定出的采样点类型的准确度也更高。
在一个实施例中，上述步骤A3(对目标视频帧中的前景区域进行组合，根据组合结果确定移动区域)，可具体执行为如下步骤C1-C3：
步骤C1，对目标视频帧中相邻的前景区域进行组合，得到第一区域。
其中，相邻是指在待组合的前景区域的上、下、左、右四个方位上相邻。可选的，得到第一区域后，可将第一区域扩充为矩形区域或者其他形状(如三角形、平行四边形等等)区域，以最大限度的确定出目标视频帧中的前景区域，为后续实施例中减少目标视频帧中的干扰因素提供了数据基础。在将第一区域扩充为矩形区域时，可将第一区域最长的两条边作为矩形区域的长和宽。
步骤C2，利用目标检测算法，检测目标视频帧中的预设移动对象对应的第二区域。
在一个实施例中，可采用目标检测网络CenterNet对目标视频帧进行检测，通过CenterNet中预先训练好的预设移动对象(如人、车、动物等可移动的对象)对应的模型，检测出目标视频帧中的预设移动对象，从而得到第二区域。
需要说明的是，本实施例中，还可基于其他现有的目标检测算法，检测目标视频帧中的预设移动对象对应的第二区域，本申请对此不作限定。
步骤C3，确定第一区域和第二区域的并集区域，作为移动区域。
在本实施例中，通过对目标视频帧中相邻的前景区域进行组合，得到第一区域，利用目标检测算法，检测目标视频帧中的预设移动对象对应的第二区域，从而确定第一区域和第二区域的并集区域，作为移动区域，使得确定出的移动区域更加全面、准确，最大限度地确定出了目标视频帧中的干扰因素，有利于在后续实施例中避免干扰因素对摄像头的移动信息的影响，以及提升确定出的摄像头的移动信息的准确度。
在一个实施例中，在执行S108时，可根据如下步骤D1-D5，对第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息：
步骤D1，确定第一目标区域对应的图像数据中的第一特征点，以及第二目标区域对应的图像数据中的第二特征点。
其中，对于第一目标区域对应的图像数据、以及第二目标区域对应的图像数据可采用相同的方式确定特征点。比如，可采用LIFT(Learned Invariant Feature Transform，深度学习的特征点检测)算法确定特征点。其思想主要是根据自动获取到的视频帧构建训练数据集，利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法检测各视频帧中的特征点，从而根据训练数据集及检测出的各特征点训练特征点检测模型，以根据特征点检测模型快速、高效的检测视频帧中的特征点。
其中，SIFT算法检测特征点的过程主要包括：针对待检测的视频帧(也就是本实施例中的第一目标区域和第二目标区域)检测尺度空间极值点，精确定位特征点，确定各特征点的方向参数，生成各特征点的特征向量。
以确定第一目标区域对应的图像数据中的第一特征点为例，详细说明特征点的确定过程：
(1)尺度空间极值检测。
本实施例中，可将第一目标区域对应的图像数据与高斯核函数卷积，得到第一目标区域在不同尺度(Scale)下的尺度空间。然后，对尺度空间进行离散化采样，得到高斯金字塔。将高斯金字塔中相邻两层的尺度空间进行相减就能够得到DOG(Difference ofGuassian，高斯差分)金字塔，将DOG金字塔中第一目标区域里的每个像素点(即采样点)的像素值与同层的8个像素点、上层的9个像素点和下层的9个像素点等26个像素点(图3中以灰色圆形表征这26个像素点)的像素值进行大小比较，如果第一目标区域里待比较的像素点的像素值为极大值或极小值，则把该像素点确定为备选特征点。
本实施例中，还可构建第一目标区域对应的Hessian(黑塞)矩阵行列式近似值图像，从而确定Hessian矩阵行列式近似值图像中的各像素点为备选特征点。
需要说明的是，可对本实施例提供的两种方式所确定出的备选特征点取并集，以最大限度地确定出第一目标区域中的第一特征点。
(2)精确定位第一特征点。
本实施例中，可采用非极大抑制算法去除邻近位置的多个特征点，以精确定位第一特征点。具体包括：计算各备选特征点对应的响应值(即各备选特征点与相邻的备选特征点的像素值差值的绝对值之和)，比较相邻的备选特征点分别对应的响应值大小，保留响应值最大的备选特征点，作为第一特征点。
其中，可将以待计算的备选特征点为中心、环绕该备选特征点的其他备选特征点，确定为该备选特征点对应的相邻的备选特征点。比如，将以待计算的备选特征点为中心、环绕该备选特征点的8个其他备选特征点，确定为该备选特征点对应的相邻的备选特征点；将以待计算的备选特征点为中心、环绕该备选特征点的24个其他备选特征点，确定为该备选特征点对应的相邻的备选特征点；等等。
(3)确定各第一特征点的方向参数。
本实施例中，可分别以各第一特征点为中心，采用STN(Spatial TransformerNetworks，空间变换网络)截取第一目标区域中的一块图像(patch)，计算这一patch中各像素点的梯度方向和幅值，作为特征方向估计(SIFT算法提供的功能)的输入参数，从而根据特征方向估计的输出结果，确定各第一特征点的方向参数。其中，各第一特征点的方向参数包括各第一特征点的主方向。
(4)生成各第一特征点的特征向量。
通过(3)确定各第一特征点的主方向之后，可以生成各第一特征点的特征描述子。具体包括：针对任一第一特征点，以该第一特征点为中心取16×16窗口，在4×4的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值。为每个4×4的图像小块统计梯度信息，16×16的邻域产生4×4个图像小块，因此特征描述子一共4×4×8＝128维。特征描述子由所有图像小块的梯度方向直方图构成，最终形成128维的该第一特征点的特征向量。
需要说明的是，本实施例中，还可基于其他现有的特征点检测算法确定特征点，本申请对此不作限定。
步骤D2，针对任一第一特征点，计算各第二特征点和第一特征点之间的空间距离；根据得到的空间距离，确定第一特征点和第二特征点之间的移动系数。
步骤D3，根据各第一特征点分别对应的移动系数，确定各第一特征点和各第二特征点之间相互匹配的特征对。
在一个实施例中，可采用FLANN(Fast Approximate Nearest Neighbor SearchLibrary，快速最近邻逼近搜索函数库)算法对第一特征点和第二特征点进行粗匹配。从而在上述步骤D2中，空间距离可为欧式距离。可根据各特征点的特征向量，计算各第二特征点和第一特征点之间的欧式距离。
需要说明的是，本实施例中，还可基于其他现有的特征点匹配算法对特征点进行粗匹配，本申请对此不作限定。
步骤D4，根据特征对中第一特征点和第二特征点之间的位置关系，确定第一视频帧和第二视频帧之间的仿射关系。
其中，位置关系是指第一特征点在第一目标区域内的位置信息、以及第二特征点在第二目标区域内的位置信息，这两个位置信息之间的位置关系。
假设第一特征点在第一目标区域内的位置信息为[x，y]，第二特征点在第二目标区域内的位置信息为[x'，y']，可根据下述矩阵(1)确定第一视频帧和第二视频帧之间的仿射关系。
其中，a1、a2、b1、b2为旋转变量，c1为水平偏移量，c2为垂直偏移量。在实施中，可选取至少3对第一特征点和第二特征点之间的位置关系，代入矩阵(1)，以求出a1、a2、b1、b2、c1和c2这六个值，从而确定第一视频帧和第二视频帧之间的仿射关系。
步骤D5，根据仿射关系，确定摄像头在拍摄第一视频帧和第二视频帧之间的移动信息。
其中，移动信息包括是否移动、移动方式、移动距离、移动方向中的至少一项。根据上述矩阵(1)中的a1、a2、b1、b2、c1和c2这六个值，即可确定摄像头在拍摄第一视频帧和第二视频帧之间的移动信息。
在本实施例中，通过对第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息，提升了确定出的摄像头的移动信息的准确度。
在一个实施例中，执行上述步骤D2时，可按照各空间距离之间的大小关系，筛选出各空间距离中最小的第一空间距离和第二空间距离。其中，第一空间距离小于第二空间距离。然后，利用第一空间距离除以第二空间距离，得到第一特征点和第二特征点之间的移动系数。
若采用FLANN算法，则可按照各欧式距离之间的大小关系，筛选出各欧式距离中最小的第一欧式距离和第二欧式距离。其中，第一欧式距离小于第二欧式距离，即第一欧式距离对应的第二特征点为与第一特征点最邻近的特征点，第二欧式距离对应的第二特征点为与第一特征点次邻近的特征点。然后，利用第一欧式距离除以第二欧式距离可得到比率ratio(即移动系数)。
从而在执行上述步骤D3时，若移动系数(即上述比率ratio)小于第二预设阈值，则确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对。
在本实施例中，通过筛选出各空间距离中最小的第一空间距离和第二空间距离，利用较小的第一空间距离除以第二空间距离，得到第一特征点和第二特征点之间的移动系数，从而在移动系数小于第二预设阈值时，确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对，实现了快速确定出相互匹配的特征对的效果。
在一个实施例中，确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对之后，可根据下述步骤E1-E4，对确定出的相互匹配的特征对进行验证：
步骤E1，针对待验证的特征对中的任一特征点，确定特征点对应的目标区域，并确定特征点对应的目标区域所包含的多个第二子区域。
其中，可根据预设的视频帧的分辨率与第二划分精度之间的对应关系，从而按照该对应关系，根据目标视频帧的分辨率，确定目标区域对应的第二划分精度，并按照该第二划分精度将目标区域划分为多个第二子区域。其中，第二划分精度可与第一划分精度相同或不同。
若待验证的特征对中的任一特征点为第一特征点，则特征点对应的目标区域为第一目标区域，并可确定第一特征点对应的第一目标区域所包含的多个第二子区域。若待验证的特征对中的任一特征点为第二特征点，则特征点对应的目标区域为第二目标区域，并可确定第二特征点对应的第二目标区域所包含的多个第二子区域。
步骤E2，确定特征点对应的目标第二子区域，以及与目标第二子区域相邻的邻接第二子区域。
其中，与特征点对应的目标第二子区域即是该特征点所处的第二子区域，与目标第二子区域相邻的邻接第二子区域可包括目标第二子区域的上、下、左、右等方位上的第二子区域。例如，邻接第二子区域可由以目标第二子区域为中心、环绕目标第二子区域的8个第二子区域组成；邻接第二子区域还可由以目标第二子区域为中心、环绕目标第二子区域的24个第二子区域组成；等等。
步骤E3，判断邻接第二子区域内包含的特征对的数量是否大于或等于第三预设阈值；若是，则确定待验证的特征对验证通过，即保留该待验证的特征对；若否，则执行步骤E4。
步骤E4，舍弃待验证的特征对。
在本实施例中，通过对确定出的相互匹配的特征对进行验证，能够得到更加准确的相互匹配的特征对，从而能够提升根据特征对确定出的第一视频帧和第二视频帧之间的仿射关系的准确度，进而能够提升根据仿射关系，确定出的摄像头的移动信息的准确度。
图4是根据本申请另一实施例的一种摄像头移动的检测方法的示意性流程图，如图4所示，摄像头移动的检测方法可包括：
S401，获取摄像头拍摄的目标视频帧，目标视频帧包括第一视频帧和第二视频帧。
其中，第一视频帧对应的拍摄时间早于第二视频帧对应的拍摄时间。
S402，针对目标视频帧中的任一采样点，确定采样点的采样点类型；采样点类型包括背景采样点或前景采样点；以及，将目标视频帧划分为多个第一子区域；各第一子区域内包括多个采样点。
其中，在确定采样点的采样点类型时，可首先确定采样点对应的样本像素集；样本像素集包括以下至少一项：目标视频帧中位于采样点周围预设范围内的第一像素点、历史视频帧中与第一像素点位于相同位置的第二像素点。然后，计算样本像素集中的每个像素点和采样点之间的像素距离，确定小于或等于第一预设阈值的像素距离的数量；若上述数量大于预设数量阈值，则确定采样点为背景采样点；若上述数量小于或等于预设数量阈值，则确定采样点为前景采样点。
S403，根据各第一子区域内包括的背景采样点和/或前景采样点的数量，确定各第一子区域的区域类型；区域类型包括前景区域或背景区域。
S404，对目标视频帧中相邻的前景区域进行组合，得到第一区域。
S405，利用目标检测算法，检测目标视频帧中的预设移动对象对应的第二区域。
需要说明的是，本实施例中不对S405的执行顺序进行限定。例如，除本实施例中列举的先执行S402至S404，后执行S405的执行顺序之外，还可先执行S405，后执行S402至S404，或者同步执行S402至S404与S405。
S406，确定第一区域和第二区域的并集区域，作为移动区域。
S407，过滤各目标视频帧中的移动区域，得到各目标视频帧对应的目标区域；目标区域包括第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域。
其中，移动区域为前景区域，目标区域为背景区域。
S408，确定第一目标区域对应的图像数据中的第一特征点，以及第二目标区域对应的图像数据中的第二特征点。
S409，针对任一第一特征点，计算各第二特征点和第一特征点之间的空间距离；根据空间距离，确定第一特征点和第二特征点之间的移动系数。
其中，可按照各空间距离之间的大小关系，筛选出各空间距离中最小的第一空间距离和第二空间距离，第一空间距离小于第二空间距离，利用第一空间距离除以第二空间距离，得到第一特征点和第二特征点之间的移动系数。
S410，根据各第一特征点分别对应的移动系数，确定各第一特征点和各第二特征点之间相互匹配的特征对。
本实施例中，若移动系数小于第二预设阈值，则确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对。
此外，确定各第一特征点和各第二特征点之间相互匹配的特征对之后，还可对确定出的特征对进行验证。具体包括：针对待验证的特征对中的任一特征点，确定特征点对应的目标区域，并确定特征点对应的目标区域所包含的多个第二子区域；确定特征点对应的目标第二子区域，以及与目标第二子区域相邻的邻接第二子区域；判断邻接第二子区域内包含的特征对的数量是否大于或等于第三预设阈值；若是，则保留待验证的特征对；若否，则舍弃待验证的特征对。
S411，根据特征对中第一特征点和第二特征点之间的位置关系，确定第一视频帧和第二视频帧之间的仿射关系。
其中，位置关系是指第一特征点在第一目标区域内的位置信息、以及第二特征点在第二目标区域内的位置信息，这两个位置信息之间的位置关系。
S412，根据仿射关系，确定摄像头在拍摄第一视频帧和第二视频帧之间的移动信息。
其中，移动信息包括是否移动、移动方式、移动距离、移动方向中的至少一项。
上述S401-S412的具体过程在上述实施例中已进行详细说明，此处不再赘述。
采用本申请实施例的技术方案，通过获取摄像头拍摄的目标视频帧(包括第二视频帧和早于第二视频帧拍摄的第一视频帧)，确定各目标视频帧中包含预设移动对象的移动区域，并过滤各目标视频帧中的移动区域，分别得到各目标视频帧中不包含预设移动对象的区域(即第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)，从而对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。可见，该技术方案能够首先确定并过滤掉各目标视频帧中的干扰因素(即包含预设移动对象的移动区域)，从而根据过滤后得到的各目标视频帧中的目标区域确定摄像头的移动信息，有效避免了干扰因素对摄像头的移动信息的影响，从而使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
在一个实施例中，摄像机的摄像头是否被移动过，可以由服务器来检测。其中，摄像机通过摄像头采集视频帧，然后将视频帧发送给本地服务器或者云服务器，从而本地服务器或者云服务器根据接收到的视频帧，对摄像头的移动情况进行检测。如图5所示，是根据本实施例的一种摄像头移动的检测系统的示意性框图，该摄像头移动的检测系统可包括摄像机510和服务器520。
摄像机510，用于获取视频帧，向服务器520发送视频帧。
服务器520，用于接收摄像机510发送的视频帧，从视频帧中确定出目标视频帧(包括第一视频帧和第二视频帧；第一视频帧对应的拍摄时间早于第二视频帧对应的拍摄时间)；确定各目标视频帧中包含预设移动对象的移动区域；过滤各目标视频帧中的移动区域，得到各目标视频帧对应的目标区域(包括第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)；对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。其中，移动区域为前景区域；目标区域为背景区域。
本实施例中，在确定各目标视频帧中包含预设移动对象的移动区域时，服务器520还用于：针对目标视频帧中的任一采样点，确定采样点的采样点类型(包括背景采样点或前景采样点)；以及，将目标视频帧划分为多个第一子区域(各第一子区域内包括多个采样点)；根据各第一子区域内包括的背景采样点和/或前景采样点的数量，确定各第一子区域的区域类型(包括前景区域或背景区域)；对目标视频帧中的前景区域进行组合，根据组合结果确定移动区域。
本实施例中，在确定采样点的采样点类型时，服务器520还用于：确定采样点对应的样本像素集(包括以下至少一项：目标视频帧中位于采样点周围预设范围内的第一像素点、历史视频帧中与第一像素点位于相同位置的第二像素点)；计算样本像素集中的每个像素点和采样点之间的像素距离；确定小于或等于第一预设阈值的像素距离的数量；若像素距离的数量大于预设数量阈值，则确定采样点为背景采样点；若像素距离的数量小于或等于预设数量阈值，则确定采样点为前景采样点。
本实施例中，在对目标视频帧中的前景区域进行组合，根据组合结果确定移动区域时，服务器520还用于：对目标视频帧中相邻的前景区域进行组合，得到第一区域；利用目标检测算法，检测目标视频帧中的预设移动对象对应的第二区域；确定第一区域和第二区域的并集区域，作为移动区域。
本实施例中，在对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息时，服务器520还用于：确定第一目标区域对应的图像数据中的第一特征点，以及第二目标区域对应的图像数据中的第二特征点；针对任一第一特征点，计算各第二特征点和第一特征点之间的空间距离；根据空间距离，确定第一特征点和第二特征点之间的移动系数；根据各第一特征点分别对应的移动系数，确定各第一特征点和各第二特征点之间相互匹配的特征对；根据特征对中第一特征点和第二特征点之间的位置关系，确定第一视频帧和第二视频帧之间的仿射关系；根据仿射关系，确定摄像头在拍摄第一视频帧和第二视频帧之间的移动信息(包括是否移动、移动方式、移动距离、移动方向中的至少一项)。
本实施例中，在根据空间距离，确定第一特征点和第二特征点之间的移动系数时，服务器520还用于：按照各空间距离之间的大小关系，筛选出各空间距离中最小的第一空间距离和第二空间距离；第一空间距离小于第二空间距离；利用第一空间距离除以第二空间距离，得到第一特征点和第二特征点之间的移动系数。
在根据各第一特征点分别对应的移动系数，确定各第一特征点和各第二特征点之间相互匹配的特征对时，服务器520还用于：若移动系数小于第二预设阈值，则确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对。
本实施例中，在确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对之后，服务器520还用于：针对待验证的特征对中的任一特征点，确定特征点对应的目标区域，并确定特征点对应的目标区域所包含的多个第二子区域；确定特征点对应的目标第二子区域，以及与目标第二子区域相邻的邻接第二子区域；判断邻接第二子区域内包含的特征对的数量是否大于或等于第三预设阈值；若否，则舍弃待验证的特征对。
采用本申请实施例的系统，服务器通过接收摄像机发送的视频帧，从视频帧中确定出目标视频帧(包括第二视频帧和早于第二视频帧拍摄的第一视频帧)，确定各目标视频帧中包含预设移动对象的移动区域，并过滤各目标视频帧中的移动区域，分别得到各目标视频帧中不包含预设移动对象的区域(即第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)，从而对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。可见，该系统能够首先确定并过滤掉各目标视频帧中的干扰因素(即包含预设移动对象的移动区域)，从而根据过滤后得到的各目标视频帧中的目标区域确定摄像头的移动信息，有效避免了干扰因素对摄像头的移动信息的影响，从而使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
本领域的技术人员应可理解，图5中的摄像头移动的检测系统能够用来实现前文所述的摄像头移动的检测方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。
基于同样的思路，本申请实施例还提供一种摄像头移动的检测装置。图6是根据本申请一实施例的一种摄像头移动的检测装置的示意性框图，如图6所示，摄像头移动的检测装置可包括：
获取模块610，用于获取摄像头拍摄的目标视频帧，目标视频帧包括第一视频帧和第二视频帧；第一视频帧对应的拍摄时间早于第二视频帧对应的拍摄时间；
确定模块620，用于确定各目标视频帧中包含预设移动对象的移动区域；
过滤模块630，用于过滤各目标视频帧中的移动区域，得到各目标视频帧对应的目标区域；目标区域包括第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域；
匹配及确定模块640，用于对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。
在一个实施例中，移动区域为前景区域；目标区域为背景区域。
在一个实施例中，确定模块620包括：
确定及划分单元，用于针对目标视频帧中的任一采样点，确定采样点的采样点类型；采样点类型包括背景采样点或前景采样点；以及，将目标视频帧划分为多个第一子区域；各第一子区域内包括多个采样点；
第一确定单元，用于根据各第一子区域内包括的背景采样点和/或前景采样点的数量，确定各第一子区域的区域类型；区域类型包括前景区域或背景区域；
组合及确定单元，用于对目标视频帧中的前景区域进行组合，根据组合结果确定移动区域。
在一个实施例中，确定及划分单元具体用于：
确定采样点对应的样本像素集；样本像素集包括以下至少一项：目标视频帧中位于采样点周围预设范围内的第一像素点、历史视频帧中与第一像素点位于相同位置的第二像素点；
计算样本像素集中的每个像素点和采样点之间的像素距离；
确定小于或等于第一预设阈值的像素距离的数量；
若像素距离的数量大于预设数量阈值，则确定采样点为背景采样点；若像素距离的数量小于或等于预设数量阈值，则确定采样点为前景采样点。
在一个实施例中，组合及确定单元具体用于：
对目标视频帧中相邻的前景区域进行组合，得到第一区域；
利用目标检测算法，检测目标视频帧中的预设移动对象对应的第二区域；
确定第一区域和第二区域的并集区域，作为移动区域。
在一个实施例中，匹配及确定模块640包括：
第二确定单元，用于确定第一目标区域对应的图像数据中的第一特征点，以及第二目标区域对应的图像数据中的第二特征点；
计算及确定单元，用于针对任一第一特征点，计算各第二特征点和第一特征点之间的空间距离；根据空间距离，确定第一特征点和第二特征点之间的移动系数；
第三确定单元，用于根据各第一特征点分别对应的移动系数，确定各第一特征点和各第二特征点之间相互匹配的特征对；
第四确定单元，用于根据特征对中第一特征点和第二特征点之间的位置关系，确定第一视频帧和第二视频帧之间的仿射关系；
第五确定单元，用于根据仿射关系，确定摄像头在拍摄第一视频帧和第二视频帧之间的移动信息；移动信息包括是否移动、移动方式、移动距离、移动方向中的至少一项。
在一个实施例中，计算及确定单元具体用于：
按照各空间距离之间的大小关系，筛选出各空间距离中最小的第一空间距离和第二空间距离；第一空间距离小于第二空间距离；
利用第一空间距离除以第二空间距离，得到第一特征点和第二特征点之间的移动系数；
第三确定单元具体用于：
若移动系数小于第二预设阈值，则确定第一特征点和第一空间距离对应的第二特征点为相互匹配的特征对。
在一个实施例中，匹配及确定模块640还包括：
第六确定单元，用于针对待验证的特征对中的任一特征点，确定特征点对应的目标区域，并确定特征点对应的目标区域所包含的多个第二子区域；
第七确定单元，用于确定特征点对应的目标第二子区域，以及与目标第二子区域相邻的邻接第二子区域；
判断单元，用于判断邻接第二子区域内包含的特征对的数量是否大于或等于第三预设阈值；
执行单元，用于若否，则舍弃待验证的特征对。
采用本申请实施例的装置，通过获取摄像头拍摄的目标视频帧(包括第二视频帧和早于第二视频帧拍摄的第一视频帧)，确定各目标视频帧中包含预设移动对象的移动区域，并过滤各目标视频帧中的移动区域，分别得到各目标视频帧中不包含预设移动对象的区域(即第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)，从而对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。可见，该装置能够首先确定并过滤掉各目标视频帧中的干扰因素(即包含预设移动对象的移动区域)，从而根据过滤后得到的各目标视频帧中的目标区域确定摄像头的移动信息，有效避免了干扰因素对摄像头的移动信息的影响，从而使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
本领域的技术人员应可理解，图6中的摄像头移动的检测装置能够用来实现前文所述的摄像头移动的检测方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。
基于同样的思路，本申请实施例还提供一种摄像头移动的检测设备，如图7所示。摄像头移动的检测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器701和存储器702，存储器702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对摄像头移动的检测设备中的一系列计算机可执行指令。更进一步地，处理器701可以设置为与存储器702通信，在摄像头移动的检测设备上执行存储器702中的一系列计算机可执行指令。摄像头移动的检测设备还可以包括一个或一个以上电源703，一个或一个以上有线或无线网络接口704，一个或一个以上输入输出接口705，一个或一个以上键盘706。
具体在本实施例中，摄像头移动的检测设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对摄像头移动的检测设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取摄像头拍摄的目标视频帧，目标视频帧包括第一视频帧和第二视频帧；第一视频帧对应的拍摄时间早于第二视频帧对应的拍摄时间；
确定各目标视频帧中包含预设移动对象的移动区域；
过滤各目标视频帧中的移动区域，得到各目标视频帧对应的目标区域；目标区域包括第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域；
对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。
采用本申请实施例的设备，通过获取摄像头拍摄的目标视频帧(包括第二视频帧和早于第二视频帧拍摄的第一视频帧)，确定各目标视频帧中包含预设移动对象的移动区域，并过滤各目标视频帧中的移动区域，分别得到各目标视频帧中不包含预设移动对象的区域(即第一视频帧对应的第一目标区域和第二视频帧对应的第二目标区域)，从而对第一目标区域和第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定摄像头的移动信息。可见，该设备能够首先确定并过滤掉各目标视频帧中的干扰因素(即包含预设移动对象的移动区域)，从而根据过滤后得到的各目标视频帧中的目标区域确定摄像头的移动信息，有效避免了干扰因素对摄像头的移动信息的影响，从而使得对摄像头移动的检测更加准确，提升了确定出的摄像头的移动信息的准确度。
本申请实施例还提出了一种存储介质，该存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行上述摄像头移动的检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种摄像头移动的检测方法，其特征在于，包括：
获取摄像头拍摄的目标视频帧，所述目标视频帧包括第一视频帧和第二视频帧；所述第一视频帧对应的拍摄时间早于所述第二视频帧对应的拍摄时间；
确定各所述目标视频帧中包含预设移动对象的移动区域；
过滤各所述目标视频帧中的所述移动区域，得到各所述目标视频帧对应的目标区域；所述目标区域包括所述第一视频帧对应的第一目标区域和所述第二视频帧对应的第二目标区域；
对所述第一目标区域和所述第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定所述摄像头的移动信息。
2.根据权利要求1所述的方法，其特征在于，所述移动区域为前景区域；所述目标区域为背景区域。
3.根据权利要求2所述的方法，其特征在于，所述确定各所述目标视频帧中包含预设移动对象的移动区域，包括：
针对所述目标视频帧中的任一采样点，确定所述采样点的采样点类型；所述采样点类型包括背景采样点或前景采样点；以及，将所述目标视频帧划分为多个第一子区域；各所述第一子区域内包括多个所述采样点；
根据各所述第一子区域内包括的所述背景采样点和/或所述前景采样点的数量，确定各所述第一子区域的区域类型；所述区域类型包括所述前景区域或所述背景区域；
对所述目标视频帧中的所述前景区域进行组合，根据组合结果确定所述移动区域。
4.根据权利要求3所述的方法，其特征在于，所述确定所述采样点的采样点类型，包括：
确定所述采样点对应的样本像素集；所述样本像素集包括以下至少一项：所述目标视频帧中位于所述采样点周围预设范围内的第一像素点、历史视频帧中与所述第一像素点位于相同位置的第二像素点；
计算所述样本像素集中的每个像素点和所述采样点之间的像素距离；
确定小于或等于第一预设阈值的所述像素距离的数量；
若所述像素距离的数量大于预设数量阈值，则确定所述采样点为所述背景采样点；若所述像素距离的数量小于或等于所述预设数量阈值，则确定所述采样点为所述前景采样点。
5.根据权利要求3所述的方法，其特征在于，所述对所述目标视频帧中的所述前景区域进行组合，根据组合结果确定所述移动区域，包括：
对所述目标视频帧中相邻的所述前景区域进行组合，得到第一区域；
利用目标检测算法，检测所述目标视频帧中的所述预设移动对象对应的第二区域；
确定所述第一区域和所述第二区域的并集区域，作为所述移动区域。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一目标区域和所述第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定所述摄像头的移动信息，包括：
确定所述第一目标区域对应的图像数据中的第一特征点，以及所述第二目标区域对应的图像数据中的第二特征点；
针对任一所述第一特征点，计算各所述第二特征点和所述第一特征点之间的空间距离；根据所述空间距离，确定所述第一特征点和所述第二特征点之间的移动系数；
根据各所述第一特征点分别对应的所述移动系数，确定各所述第一特征点和各所述第二特征点之间相互匹配的特征对；
根据所述特征对中所述第一特征点和所述第二特征点之间的位置关系，确定所述第一视频帧和所述第二视频帧之间的仿射关系；
根据所述仿射关系，确定所述摄像头在拍摄所述第一视频帧和所述第二视频帧之间的移动信息；所述移动信息包括是否移动、移动方式、移动距离、移动方向中的至少一项。
7.根据权利要求6所述的方法，其特征在于，所述根据所述空间距离，确定所述第一特征点和所述第二特征点之间的移动系数，包括：
按照各所述空间距离之间的大小关系，筛选出各所述空间距离中最小的第一空间距离和第二空间距离；所述第一空间距离小于所述第二空间距离；
利用所述第一空间距离除以所述第二空间距离，得到所述第一特征点和所述第二特征点之间的所述移动系数；
所述根据各所述第一特征点分别对应的所述移动系数，确定各所述第一特征点和各所述第二特征点之间相互匹配的特征对，包括：
若所述移动系数小于第二预设阈值，则确定所述第一特征点和所述第一空间距离对应的所述第二特征点为相互匹配的所述特征对。
8.根据权利要求7所述的方法，其特征在于，所述确定所述第一特征点和所述第一空间距离对应的所述第二特征点为相互匹配的所述特征对之后，还包括：
针对待验证的所述特征对中的任一特征点，确定所述特征点对应的所述目标区域，并确定所述特征点对应的所述目标区域所包含的多个第二子区域；
确定所述特征点对应的目标第二子区域，以及与所述目标第二子区域相邻的邻接第二子区域；
判断所述邻接第二子区域内包含的所述特征对的数量是否大于或等于第三预设阈值；
若否，则舍弃待验证的所述特征对。
9.一种摄像头移动的检测装置，其特征在于，包括：
获取模块，用于获取摄像头拍摄的目标视频帧，所述目标视频帧包括第一视频帧和第二视频帧；所述第一视频帧对应的拍摄时间早于所述第二视频帧对应的拍摄时间；
确定模块，用于确定各所述目标视频帧中包含预设移动对象的移动区域；
过滤模块，用于过滤各所述目标视频帧中的所述移动区域，得到各所述目标视频帧对应的目标区域；所述目标区域包括所述第一视频帧对应的第一目标区域和所述第二视频帧对应的第二目标区域；
匹配及确定模块，用于对所述第一目标区域和所述第二目标区域分别对应的图像数据进行特征匹配，根据匹配结果确定所述摄像头的移动信息。
10.一种摄像头移动的检测设备，其特征在于，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序，以实现如权利要求1-8任一项所述的摄像头移动的检测方法。
11.一种摄像头移动的检测系统，其特征在于，包括：
摄像机，用于获取视频帧；
服务器，用于接收摄像机获取的视频帧，并执行如权利要求1-8任一项所述的摄像头移动的检测方法。
12.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序被处理器执行以实现如权利要求1-8任一项所述的摄像头移动的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110995252.2A CN113727095A (zh) | 2021-08-27 | 2021-08-27 | 摄像头移动的检测方法、装置、设备、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110995252.2A CN113727095A (zh) | 2021-08-27 | 2021-08-27 | 摄像头移动的检测方法、装置、设备、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113727095A true CN113727095A (zh) | 2021-11-30 |
Family
ID=78678485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110995252.2A Pending CN113727095A (zh) | 2021-08-27 | 2021-08-27 | 摄像头移动的检测方法、装置、设备、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113727095A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116629844A (zh) * | 2023-07-26 | 2023-08-22 | 山东碧汀智能科技有限公司 | 饮用水设备运维的自动派单方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070269108A1 (en) * | 2006-05-03 | 2007-11-22 | Fotonation Vision Limited | Foreground / Background Separation in Digital Images |
| CN105551012A (zh) * | 2014-11-04 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 计算机图像配准中降低错误匹配对的方法及其系统 |
| CN108830283A (zh) * | 2018-06-15 | 2018-11-16 | 阿依瓦（北京）技术有限公司 | 一种图像特征点匹配方法 |
| CN109040604A (zh) * | 2018-10-23 | 2018-12-18 | Oppo广东移动通信有限公司 | 拍摄图像的处理方法、装置、存储介质及移动终端 |
| CN110443128A (zh) * | 2019-06-28 | 2019-11-12 | 广州中国科学院先进技术研究所 | 一种基于surf特征点精确匹配的指静脉识别方法 |
| CN110782409A (zh) * | 2019-10-21 | 2020-02-11 | 太原理工大学 | 一种去除多运动物体阴影的方法 |
| CN111369578A (zh) * | 2020-02-25 | 2020-07-03 | 四川新视创伟超高清科技有限公司 | 云台异动智能跟踪方法及其系统 |
| CN112652021A (zh) * | 2020-12-30 | 2021-04-13 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
| CN113158831A (zh) * | 2021-03-30 | 2021-07-23 | 北京爱笔科技有限公司 | 检测摄像设备移动的方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-27 CN CN202110995252.2A patent/CN113727095A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070269108A1 (en) * | 2006-05-03 | 2007-11-22 | Fotonation Vision Limited | Foreground / Background Separation in Digital Images |
| CN105551012A (zh) * | 2014-11-04 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 计算机图像配准中降低错误匹配对的方法及其系统 |
| CN108830283A (zh) * | 2018-06-15 | 2018-11-16 | 阿依瓦（北京）技术有限公司 | 一种图像特征点匹配方法 |
| CN109040604A (zh) * | 2018-10-23 | 2018-12-18 | Oppo广东移动通信有限公司 | 拍摄图像的处理方法、装置、存储介质及移动终端 |
| CN110443128A (zh) * | 2019-06-28 | 2019-11-12 | 广州中国科学院先进技术研究所 | 一种基于surf特征点精确匹配的指静脉识别方法 |
| CN110782409A (zh) * | 2019-10-21 | 2020-02-11 | 太原理工大学 | 一种去除多运动物体阴影的方法 |
| CN111369578A (zh) * | 2020-02-25 | 2020-07-03 | 四川新视创伟超高清科技有限公司 | 云台异动智能跟踪方法及其系统 |
| CN112652021A (zh) * | 2020-12-30 | 2021-04-13 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
| CN113158831A (zh) * | 2021-03-30 | 2021-07-23 | 北京爱笔科技有限公司 | 检测摄像设备移动的方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116629844A (zh) * | 2023-07-26 | 2023-08-22 | 山东碧汀智能科技有限公司 | 饮用水设备运维的自动派单方法及系统 |
| CN116629844B (zh) * | 2023-07-26 | 2023-09-26 | 山东碧汀智能科技有限公司 | 饮用水设备运维的自动派单方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102150776B1 (ko) | 얼굴 위치 추적 방법, 장치 및 전자 디바이스 | |
| KR101643672B1 (ko) | 광류 추적 방법 및 장치 | |
| EP3186780B1 (en) | System and method for image scanning | |
| CN106027931B (zh) | 视频录制方法及服务器 | |
| CN105303514A (zh) | 图像处理方法和装置 | |
| CN109711241B (zh) | 物体检测方法、装置与电子设备 | |
| CN109377499B (zh) | 一种像素级物体分割方法及装置 | |
| CN107005623B (zh) | 用于图像处理的方法和装置 | |
| CN110738078A (zh) | 一种人脸识别方法及终端设备 | |
| CN113129229A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及系统 | |
| CN110046623B (zh) | 一种图像特征点提取方法和相机 | |
| CN113727095A (zh) | 摄像头移动的检测方法、装置、设备、系统及存储介质 | |
| CN112204957A (zh) | 白平衡处理方法和设备、可移动平台、相机 | |
| CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
| CN112116068A (zh) | 一种环视图像拼接方法、设备及介质 | |
| CN116091781B (zh) | 一种用于图像识别的数据处理方法及装置 | |
| WO2022206679A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN112784828B (zh) | 基于方向梯度直方图的图像检测方法、装置、计算机设备 | |
| US11790483B2 (en) | Method, apparatus, and device for identifying human body and computer readable storage medium | |
| CN111104870B (zh) | 基于卫星视频的运动检测方法、装置、设备和存储介质 | |
| CN113592801A (zh) | 视频图像的条纹干扰检测方法及其装置 | |
| CN112818743A (zh) | 图像识别的方法、装置、电子设备及计算机存储介质 | |
| CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
| CN115019055A (zh) | 一种图像匹配方法、装置、智能设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |