CN112907540A - 一种拼接异常检测方法、装置、设备及介质 - Google Patents
一种拼接异常检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112907540A CN112907540A CN202110198080.6A CN202110198080A CN112907540A CN 112907540 A CN112907540 A CN 112907540A CN 202110198080 A CN202110198080 A CN 202110198080A CN 112907540 A CN112907540 A CN 112907540A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- homography matrix
- time
- ipc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 42
- 230000002159 abnormal effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 abstract description 8
- 238000012369 In process control Methods 0.000 description 84
- 210000004544 dc2 Anatomy 0.000 description 84
- 238000004190 ion pair chromatography Methods 0.000 description 84
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种拼接异常检测方法、装置、设备及介质，用以解决现有技术中检测拼接异常时，无法有效、准确进行检测的问题。由于在本发明实施例中，根据进行拼接时，可以确定第一图像及第二图像对应的目标单应矩阵，并根据目标单应矩阵中每个目标元素均进行判断，判断该目标单应矩阵任一目标元素与获取的该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，进而有效地判断是否发生场景变更，进而准确地确定是否存在拼接异常。
Description
技术领域
本发明涉及图像处理技术以及智能监控技术领域，尤其涉及一种拼接异常检测方法、装置、设备及介质。
背景技术
随着社会的发展，人们对生活品质的要求也越来越高，单个相机进行图像采集已经不再能满足用户需求，为了满足用户需求，提出了全景图像，通过将多个网络相机(IPC)的编码画面发送到后端拼接设备，通过拼接设备解码、画面畸变矫正、图形投影、拼接等处理得到全景图像。然而IPC在使用过程中因外力或其他因素可能会导致镜头偏移，使得全景图像的拼接出现异常。并且由于在获取全景图像时，会基于几十个或者上百个IPC进行获取，因此整体全景图像出现异常的概率会更大。
现有技术中为了有效的解决全景图像拼接出现异常，使用像素差分法、直方图匹配法、基于块的方法、图像特征点匹配方法等方法，来判断是否有场景变更，从而确定是否出现拼接异常。然而由于在确定拼接是否出现异常时，都是基于“历史画面”和“当前画面”进行判断，由于实际上时间前后的画面，有很多画面差异等不确定因素，很难同时针对多种复杂场景下的全景图像拼接异常进行判断，类似于复杂的十字路口、现场突发状况、场景缓慢变化等场合，容易由于全景图像出现异常，引起后续基于全景图像进行其他操作。
发明内容
本发明提供了一种拼接异常检测的方法、装置、设备及介质，用以解决现有技术中检测拼接异常时，无法有效、准确进行检测的问题。
第一方面，本发明实施例提供了一种拼接异常检测方法，所述方法包括：
接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
根据所述第一图像及所述第二图像，确定目标单应矩阵；
针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
第二方面，本发明实施例提供了一种拼接异常检测装置，所述装置包括：
接收模块，用于接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
确定模块，用于根据所述第一图像及所述第二图像，确定目标单应矩阵；
处理模块，用于针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
第三方面，本发明实施例提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时执行上述任一所述拼接异常检测方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时执行上述任一所述拼接异常检测方法的步骤。
由于在本发明实施例中，根据进行拼接时，可以确定第一图像及第二图像对应的目标单应矩阵，并根据目标单应矩阵中每个目标元素均进行判断，判断该目标单应矩阵任一目标元素与获取的该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，进而有效地判断是否发生场景变更，进而准确地确定是否存在拼接异常。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种拼接异常检测过程示意图；
图2为本发明实施例提供的全景图像确定过程；
图3为本发明实施例提供的该拼接异常检测的详细实施过程示意图；
图4为本发明实施例提供的一种拼接异常检测装置结构示意图；
图5为本发明实施例提供的一种电子设备。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
为了有效检测拼接是否出现异常，本发明实施例提供了一种拼接异常检测方法、装置、设备及介质。
实施例1：
图1为本发明实施例提供的一种拼接异常检测过程示意图，该过程包括以下步骤：
S101：接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像。
本发明实施例提供的拼接异常检测方法应用于电子设备，该电子设备可以是图像采集设备，PC或服务器等智能设备。
在本发明实施例中，电子设备接收第一IPC发送的第一图像及第二IPC发送的第二图像。为了进行区分，将其中一个IPC称为第一IPC，与该第一IPC相邻的IPC称为第二IPC。并且由于在获取全景图像时，所有IPC采集的图像均会参与全景图像的拼接，因此为了对全景图像的拼接是否存在异常进行检测，在进行图像拼接时，一般是对位置邻近的IPC采集的图像进行拼接，因此，在选用IPC时，均选择左右相邻的两个IPC，或者前后相邻的两个IPC，其中，左右相邻或前后相邻为IPC进行安装位置左右相邻或前后相邻。具体的，选用左侧相邻、右侧相邻、前侧相邻或后侧相邻的IPC，在此不做限制。
S102：根据所述第一图像及所述第二图像，确定目标单应矩阵。
由于在进行全景图像拼接时，是基于单应矩阵进行两个图像的拼接，因此在本发明实施例中，根据接收到的第一图像及第二图像，确定可以准确的实现第一图像及第二图像拼接的目标单应矩阵。
具体的，根据第一图像及第二图像，确定目标单应矩阵的过程为现有技术，在此不再赘述。
S103：针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
由于可以基于第一IPC及第二IPC采集的图像确定进行拼接的单应矩阵，为了确定拼接是否异常，在本发明实施例中，预先保存有原始拼接单应矩阵。并且确定的目标单应矩阵与该原始拼接单应矩阵的维度相同，因此目标单应矩阵中每个元素对应有原始拼接单应矩阵中对应的元素。
为了进行区分，将目标单应矩阵中的元素称为目标元素，由于在本发明实施例中，不同目标元素及该目标元素对应的元素的偏差范围是不一致的，因此预先保存有允许补偿矩阵，其中，允许补偿矩阵中每个补偿值为对应的目标元素及元素允许的偏差，并且允许补偿矩阵与目标单应矩阵及原始拼接单应矩阵的维度相同。
因此针对目标单应矩阵中每个目标元素，获取该目标元素对应的元素，及对应的补偿值，根据补偿值可确定该目标元素及对应的元素对应的预设的偏差范围，进而判断该目标元素及对应的元素的偏差是否在对应的预设的偏差范围内，若不在对应的预设的偏差范围内，则确定基于第一图像及第二图像的全景图像的拼接存在异常。
例如，确定的目标单应矩阵为
原始拼接单应矩阵为
并且在本发明实施例中，允许补偿值矩阵中每个补偿值为目标单应矩阵中对应的目标元素与原始拼接单应矩阵中对应的元素的最大偏差，并且允许补偿值矩阵R中每个补偿值均大于等于0，也就是说原始拼接单应矩阵及允许补偿值矩阵中每个元素及对应的补偿值Ht±R，可得到目标单应矩阵中对应的目标元素正常的元素范围。也就是说R中每个补偿值为对应的目标单应矩阵中目标元素及预设元素中对应的元素的允许的偏差。例如，目标单应矩阵中目标元素h11与原始拼接单应矩阵中元素ht11允许的最大偏差为允许补偿单应矩阵中对应的补偿值R11。
由于在本发明实施例中，根据进行拼接时，可以确定第一图像及第二图像对应的目标单应矩阵，并根据目标单应矩阵中每个目标元素均进行判断，判断该目标单应矩阵任一目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，进而有效地判断是否发生场景变更，进而准确地确定是否存在拼接异常。
实施例2：
为了检测拼接是否出现异常，在上述实施例的基础上，在本发明实施例中，所述接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像之后，所述根据所述第一图像及所述第二图像，确定目标单应矩阵之前，所述方法还包括：
获取所述第一IPC采集所述第一图像的第一时间，及所述第二IPC采集所述第二图像的第二时间；
判断所述第一时间及所述第二时间的差值是否位于预设的时间差范围内；
若是，则执行后续根据所述第一图像及所述第二图像，确定目标单应矩阵的操作。
由于接收到的第一图像及第二图像可能并不是同一场景下采集的图像，因此基于第一图像及第二图像的采集时间进行判断。获取第一IPC采集第一图像的第一时间，及第二IPC采集第二图像的第二时间，其中，将第一IPC采集第一图像的时间称为第一时间，将第二IPC采集第二图像的时间称为第二时间。并且该第一时间及第二时间为第一IPC及第二IPC在获取到IPC中传感器送来的第一图像及第二图像时，获取IPC内部的IPC系统的时间为时间戳，即第一时间及第二时间，并将第一时间及第二时间伴随图像的编码输出，经过网传，在电子设备接收到该第一图像及第二图像后，获取该第一时间及第二时间。其中，传感器安装在IPC上，负责图像的采集，并且为了确保IPC系统的时间准确，在本发明实施例中，通过开启网络时间协议(Network Time Protocol，NTP)服务使IPC系统时间同步，具体的，NTP服务为使时间同步化的一种协议。
并且为了判断采集的第一图像及第二图像是否为同一场景下的图像，预先保存有时间差范围，获取第一时间及第二时间后，判断第一时间及第二时间的差值是否位于预设的时间差范围内，若是，则说明该第一图像及第二图像为同一场景下采集的图像，则进行后续基于第一图像及第二图像确定目标单应矩阵的操作。
图2为本发明实施例提供的全景图像确定过程，详细过程为：
通过多个经过一定角度或平行安装的IPC中的传感器采集图像，获取IPC系统的时间，将所采集的图像及对应的时间的编码画面通过网络交换机发送至电子设备，通过电子设备编码输出或显示设备显示全景画面图像。由图2可知，相邻IPC之间在进行图像采集时，会存在重叠的区域，其中相匹配的关键点均为重叠区域中的特征点。并且为了便于区分，在图2中将IPC 1及IPC 2的重叠的区域标记为重叠域1；将IPC 2及IPC 3的重叠的区域标记为重叠域2；将IPC 3及IPC 4的重叠的区域标记为重叠域3；将IPC 4及IPC 5的重叠的区域标记为重叠域4。
由于在本发明实施例中，在获取全景图像时，将多个IPC采集的图像进行拼接，为了准确地获取存在异常的IPC，在本发明实施例中，针对确定的目标单应矩阵进行特征的标识，例如，确定的目标单应矩阵为：
通过确定目标单应矩阵H是否存在异常确定对应的IPC是否存在场景变更，若目标单应矩阵为IPC 1及IPC 2采集的图像确定的单应矩阵，并且该目标单应矩阵中任一目标元素与对应的元素的偏差不在对应的预设的偏差范围内，则说明IPC 1和/或IPC 2发生场景变更。具体的，如何确定哪个IPC发生场景变更，在此不做限制。若该目标单应矩阵中每一目标元素与对应的元素的偏差均在对应的预设的偏差范围内，则说明IPC 1及IPC 2均未发生场景变更。
为了准确地对拼接异常进行确定，在上述各实施例的基础上，在本发明实施例中，所述方法还包括：
若所述第一时间及所述第二时间的差值不位于预设的时间差范围内，则确定基于所述第一图像及所述第二图像的拼接存在异常。
若第一时间及第二时间之间的差值超过预设的时间差范围，则说明第一图像及第二图像并不是同一场景下采集的图像，则确定基于第一图像及第二图像的拼接存在异常。
例如预设的时间差范围为(0，2ms)，若第一时间及第二时间的差值为1ms，则可认为第一图像及第二图像为采集的同一场景下的图像，若第一时间及第二时间的差值为3ms，则认为第一图像及第二图像为采集的不同场景下的图像，认为基于第一图像及第二图像的拼接存在异常。
实施例3：
为了检测拼接是否出现异常，在上述各实施例的基础上，在本发明实施例中，所述根据所述第一图像及所述第二图像，确定目标单应矩阵包括：
获取所述第一图像及所述第二图像的相匹配的预设数量个关键点的位置信息；
根据相匹配的所述预设数量个关键点的位置信息，确定所述目标单应矩阵。
由于为了将第一图像及第二图像进行准确地拼接，根据第一图像及第二图像确定目标单应矩阵，并根据目标单应矩阵，实现第一图像及第二图像的拼接，获取基于第一图像及第二图像拼接后的全景图像。
其中，在确定单应矩阵时，首先通过尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法获取第一图像及第二图像中相同的关键点，并进行匹配，并且由于通过SIFT算法匹配有时就会因为不同地方有类似的图案导致匹配错误，因此在本发明实施例中，通过随机采样一致性(Random Sample Consensus，RANSAC)算法从第一图像及第二图像中相匹配的关键点中获取正确关键点并摒弃噪声点。具体的SIFT算法及RANSAC算法为现有技术，在此不再赘述。
根据第一图像及第二图像中相匹配预设数量个关键点，并获取确定的预设数量个关键点的位置信息，根据预设数量个相匹配的关键点的位置信息及预设的单应矩阵计算方法，确定实现第一图像及第二图像拼接的目标单应矩阵。
并且在本发明实施例中计算目标单应性矩阵至少需要4对匹配点，以预设数量为4举例，具体的计算过程如下：
其中，坐标系可以以图像左上角为原点，方向向右为x轴正方向，垂直向下为y轴正方向确定坐标系(其中，上、下、左、右指的是图像中的上、下、左、右)。x1为第一图像中该坐标系下第一个特征点的横坐标，y1为第一图像中该坐标系下第一个特征点的纵坐标，x1’为第二图像中该坐标系下第一个特征点的横坐标，y1’为第二图像中该坐标系下第一个特征点的纵坐标；x2为第一图像中该坐标系下第二个特征点的横坐标，y2为第一图像中该坐标系下第二个特征点的纵坐标，x2’为第二图像中该坐标系下第二个特征点的横坐标，y2’为第二图像中该坐标系下第二个特征点的纵坐标；x3为第一图像中该坐标系下第三个特征点的横坐标，y3为第一图像中该坐标系下第三个特征点的纵坐标，x3’为第二图像中该坐标系下第三个特征点的横坐标，y3’为第二图像中该坐标系下第三个特征点的纵坐标；x1为第一图像中该坐标系下第四个特征点的横坐标，y1为第一图像中该坐标系下第四个特征点的纵坐标，x1’为第二图像中该坐标系下第四个特征点的横坐标，y1’为第二图像中该坐标系下第四个特征点的纵坐标。h11，h12，h13，h21，h22，h23，h31，h32分别为目标单应矩阵中的目标元素。
目标单应矩阵为
其中，h33＝1，或者根据h112+h122++h132+h212+h222+h232+h312+h322+h332＝1，确定h33，并且在本发明实施例中原始拼接单应矩阵的确定方式与目标单应矩阵的确定方式相同，具体的，目标单应矩阵如何进行确定在此不做限制。
在本发明实施例中，还可获取第一图像及第二图像中任意匹配的4对特征匹配坐标，具体的，在第一图像中随机抽取4个关键点的位置信息，以及这4个特征坐标在第二图像中匹配的4个关键点的位置信息，组成4对关键点的位置信息，利用这4对特征匹配坐标计算出第一单应矩阵，并且该第一单应矩阵为3x3的一个矩阵，根据该第一单应矩阵可以将第二图像经过矩阵变换后，映射到第一图像的坐标空间中，再将第二图像进行简单的平移即可与第一图像实现无缝拼接，再将第二图像中所有特征匹配点经过该单应矩阵映射到第一图像的坐标空间，然后与第一图像的其他匹配点实际坐标求欧氏距离，其中计算欧式距离是为了验证计算出来的该第一单应矩阵是否满足绝大多数特征匹配点；之后重复上述描述的内容，再随机抽取不同的四组特征匹配坐标，再计算第二单应矩阵，再求欧式距离，如此重复多次。最后确定欧式距离最小的单应矩阵为目标单应矩阵，也就是将满足最多的关键点的单应矩阵确定为目标单应矩阵。具体的计算欧式距离的方式为现有技术，在此不做限制。
为了准确地对拼接是否出现异常进行确定，在上述各实施例的基础上，在本发明实施例中，所述方法还包括：
若确定基于所述第一图像及所述第二图像的拼接存在异常，则控制报警设备报警。
在本发明实施例中，当确定基于第一图像及第二图像的拼接存在异常时，则控制报警设备报警，其中，该电子设备在控制报警设备报警时，可以是控制自身报警，也可以是控制其他报警设备报警。在该电子设备控制自身报警时，可以是通过声音、灯光等向工作人员报警。在该电子设备控制其他设备报警时，例如可以是该电子设备向工作人员的终端发送报警信号，控制工作人员的终端报警，通知工作人员第一IPC或第二IPC场景发生变化，以便工作人员对该第一IPC或第二IPC进行调整。
实施例4：
下面结合一个具体实施例，对本发明实施例提供的拼接异常检测过程进行详细说明。
图3为本发明实施例提供的该拼接异常检测的详细实施过程示意图，该过程包括：
S301：接收第一IPC发送的第一图像及第二IPC发送的第二图像。
S302：获取第一IPC采集第一图像的第一时间及第二IPC采集第二图像的第二时间。
S303：判断第一时间及第二时间的差值是否位于预设的时间差范围内，若是，则执行S304，若否，则执行S305。
S304：根据第一图像及第二图像，确定目标单应矩阵。并执行S306。
S305：确定基于第一图像及第二图像的拼接存在异常，并执行S309。
S306：针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素。
S307：判断该目标元素与该目标征值对应的元素的偏差是否在预设的偏差范围内，若是，则执行S308，若否，则执行S305。
S308：确定基于第一图像及第二图像的拼接不存在异常。
S309：控制报警设备报警。
实施例5：
图4为本发明实施例提供的一种拼接异常检测装置结构示意图，该装置包括：
接收模块401，用于接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
确定模块402，用于根据所述第一图像及所述第二图像，确定目标单应矩阵；
处理模块403，用于针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
在一种可能的实施方式中，所述处理模块403，具体用于获取所述第一IPC采集所述第一图像的第一时间，及所述第二IPC采集所述第二图像的第二时间；判断所述第一时间及所述第二时间的差值是否位于预设的时间差范围内；若是，则执行后续根据所述第一图像及所述第二图像，确定目标单应矩阵的操作。
在一种可能的实施方式中，所述处理模块403，具体用于若所述第一时间及所述第二时间的差值不位于预设的时间差范围内，则确定基于所述第一图像及所述第二图像的拼接存在异常。
在一种可能的实施方式中，所述处理模块403，具体用于获取所述第一图像及所述第二图像的相匹配的预设数量个关键点的位置信息；根据相匹配的所述预设数量个关键点的位置信息，确定所述目标单应矩阵。
在一种可能的实施方式中，所述装置还包括：控制设备404，用于若确定基于所述第一图像及所述第二图像的拼接存在异常，则控制报警设备报警。
实施例6：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图5所示，包括：处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：
接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
根据所述第一图像及所述第二图像，确定目标单应矩阵；
针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
在一种可能的实施方式中，所述接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像之后，所述根据所述第一图像及所述第二图像，确定目标单应矩阵之前，所述方法还包括：
获取所述第一IPC采集所述第一图像的第一时间，及所述第二IPC采集所述第二图像的第二时间；
判断所述第一时间及所述第二时间的差值是否位于预设的时间差范围内；
若是，则执行后续根据所述第一图像及所述第二图像，确定目标单应矩阵的操作。
在一种可能的实施方式中，所述方法还包括：
若所述第一时间及所述第二时间的差值不位于预设的时间差范围内，则确定基于所述第一图像及所述第二图像的拼接存在异常。
在一种可能的实施方式中，所述根据所述第一图像及所述第二图像，确定目标单应矩阵包括：
获取所述第一图像及所述第二图像的相匹配的预设数量个关键点的位置信息；
根据相匹配的所述预设数量个关键点的位置信息，确定所述目标单应矩阵。
在一种可能的实施方式中，所述方法还包括：
若确定基于所述第一图像及所述第二图像的拼接存在异常，则控制报警设备报警。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如下步骤：
接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
根据所述第一图像及所述第二图像，确定目标单应矩阵；
针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
在一种可能的实施方式中，所述接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像之后，所述根据所述第一图像及所述第二图像，确定目标单应矩阵之前，所述方法还包括：
获取所述第一IPC采集所述第一图像的第一时间，及所述第二IPC采集所述第二图像的第二时间；
判断所述第一时间及所述第二时间的差值是否位于预设的时间差范围内；
若是，则执行后续根据所述第一图像及所述第二图像，确定目标单应矩阵的操作。
在一种可能的实施方式中，所述方法还包括：
若所述第一时间及所述第二时间的差值不位于预设的时间差范围内，则确定基于所述第一图像及所述第二图像的拼接存在异常。
在一种可能的实施方式中，所述根据所述第一图像及所述第二图像，确定目标单应矩阵包括：
获取所述第一图像及所述第二图像的相匹配的预设数量个关键点的位置信息；
根据相匹配的所述预设数量个关键点的位置信息，确定所述目标单应矩阵。
在一种可能的实施方式中，所述方法还包括：
若确定基于所述第一图像及所述第二图像的拼接存在异常，则控制报警设备报警。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种拼接异常检测方法，其特征在于，所述方法包括：
接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
根据所述第一图像及所述第二图像，确定目标单应矩阵；
针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
2.根据权利要求1所述的方法，其特征在于，所述接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像之后，所述根据所述第一图像及所述第二图像，确定目标单应矩阵之前，所述方法还包括：
获取所述第一IPC采集所述第一图像的第一时间，及所述第二IPC采集所述第二图像的第二时间；
判断所述第一时间及所述第二时间的差值是否位于预设的时间差范围内；
若是，则执行后续根据所述第一图像及所述第二图像，确定目标单应矩阵的操作。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述第一时间及所述第二时间的差值不位于预设的时间差范围内，则确定基于所述第一图像及所述第二图像的拼接存在异常。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像及所述第二图像，确定目标单应矩阵包括：
获取所述第一图像及所述第二图像的相匹配的预设数量个关键点的位置信息；
根据相匹配的所述预设数量个关键点的位置信息，确定所述目标单应矩阵。
5.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：
若确定基于所述第一图像及所述第二图像的拼接存在异常，则控制报警设备报警。
6.一种拼接异常检测装置，其特征在于，所述装置包括：
接收模块，用于接收第一网络相机IPC发送的第一图像及第二IPC发送的第二图像；
确定模块，用于根据所述第一图像及所述第二图像，确定目标单应矩阵；
处理模块，用于针对所述目标单应矩阵中每个目标元素，获取原始拼接单应矩阵中该目标元素对应的元素，根据该目标元素与该目标元素对应的元素的偏差是否在对应的预设的偏差范围内，确定基于所述第一图像及所述第二图像的拼接是否存在异常。
7.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于获取所述第一IPC采集所述第一图像的第一时间，及所述第二IPC采集所述第二图像的第二时间；判断所述第一时间及所述第二时间的差值是否位于预设的时间差范围内；若是，则执行后续根据所述第一图像及所述第二图像，确定目标单应矩阵的操作。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，具体用于若所述第一时间及所述第二时间的差值不位于预设的时间差范围内，则确定基于所述第一图像及所述第二图像的拼接存在异常。
9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时执行权利要求1-5中任一所述拼接异常检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时执行权利要求1-5中任一所述拼接异常检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110198080.6A CN112907540B (zh) | 2021-02-22 | 2021-02-22 | 一种拼接异常检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110198080.6A CN112907540B (zh) | 2021-02-22 | 2021-02-22 | 一种拼接异常检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907540A true CN112907540A (zh) | 2021-06-04 |
| CN112907540B CN112907540B (zh) | 2024-05-14 |
Family
ID=76124491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110198080.6A Active CN112907540B (zh) | 2021-02-22 | 2021-02-22 | 一种拼接异常检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907540B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538251A (zh) * | 2021-09-16 | 2021-10-22 | 浙江太美医疗科技股份有限公司 | 确定医学影像拼接异常的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550995A (zh) * | 2016-01-27 | 2016-05-04 | 武汉武大卓越科技有限责任公司 | 隧道影像拼接方法及系统 |
| CN106991690A (zh) * | 2017-04-01 | 2017-07-28 | 电子科技大学 | 一种基于运动目标时序信息的视频序列同步方法 |
| CN108846861A (zh) * | 2018-06-12 | 2018-11-20 | 广州视源电子科技股份有限公司 | 图像单应矩阵计算方法、装置、移动终端及存储介质 |
| CN110349086A (zh) * | 2019-07-03 | 2019-10-18 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
| CN110517209A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 数据处理方法、装置、系统以及计算机可读存储介质 |
| WO2021017699A1 (zh) * | 2019-07-30 | 2021-02-04 | 广州市百果园信息技术有限公司 | 异常点对的检测方法、图像拼接方法、装置及设备 |
-
2021
- 2021-02-22 CN CN202110198080.6A patent/CN112907540B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550995A (zh) * | 2016-01-27 | 2016-05-04 | 武汉武大卓越科技有限责任公司 | 隧道影像拼接方法及系统 |
| CN106991690A (zh) * | 2017-04-01 | 2017-07-28 | 电子科技大学 | 一种基于运动目标时序信息的视频序列同步方法 |
| CN110517209A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 数据处理方法、装置、系统以及计算机可读存储介质 |
| CN108846861A (zh) * | 2018-06-12 | 2018-11-20 | 广州视源电子科技股份有限公司 | 图像单应矩阵计算方法、装置、移动终端及存储介质 |
| CN110349086A (zh) * | 2019-07-03 | 2019-10-18 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
| WO2021017699A1 (zh) * | 2019-07-30 | 2021-02-04 | 广州市百果园信息技术有限公司 | 异常点对的检测方法、图像拼接方法、装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| XIN PAN ET AL.: "Parallax-tolerant Image Stitching Based on Mesh Optimization", 《2017 IEEE 2ND ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC)》, 2 October 2017 (2017-10-02), pages 414 - 420 * |
| 孔玲玲: "基于局部相位一致性特征的图像拼接质量评价算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, pages 1 - 8 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538251A (zh) * | 2021-09-16 | 2021-10-22 | 浙江太美医疗科技股份有限公司 | 确定医学影像拼接异常的方法及装置 |
| CN113538251B (zh) * | 2021-09-16 | 2021-12-28 | 浙江太美医疗科技股份有限公司 | 确定医学影像拼接异常的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907540B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103026720B (zh) | 立体摄像机系统的光学自诊断 | |
| CN108337505B (zh) | 信息获取方法和装置 | |
| WO2020147498A1 (zh) | 自动驾驶传感器的检测方法、装置和电子设备 | |
| CN103517041A (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| CN110046649B (zh) | 一种基于区块链的多媒体信息监播方法、装置及系统 | |
| US20130147910A1 (en) | Mobile device and image capturing method | |
| CN110166765B (zh) | 一种花屏检测方法、电子设备及可读存储介质 | |
| CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
| CN111798374A (zh) | 一种图像拼接方法、装置、设备及介质 | |
| CN112907540B (zh) | 一种拼接异常检测方法、装置、设备及介质 | |
| CN100525475C (zh) | 影像清晰检测方法 | |
| CN113469869B (zh) | 一种图像管理方法和装置 | |
| US20240168465A1 (en) | Rapid automation system and method for line clearance | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| US10748397B2 (en) | Monitoring system | |
| WO2020135097A1 (zh) | 显示终端通道切换检测方法和装置 | |
| JP2016099633A (ja) | 携帯端末を利用した保全点検システム | |
| CN115457530A (zh) | 输电线路的防外破方法、防外破装置与防外破系统 | |
| KR100860358B1 (ko) | 가변 정보 표지판의 픽셀 오류 검출 장치 및 방법 | |
| CN112804453A (zh) | 一种全景图像边缘处理方法和装置 | |
| JP2011061651A (ja) | 不審物検知システム | |
| KR100860357B1 (ko) | 가변 정보 표지판의 감시 장치 및 방법 | |
| CN117041443B (zh) | 一种离线照片处理的方法、装置及存储介质 | |
| US11461989B2 (en) | Monitor method and monitor system thereof wherein mask is used to cover image for detecting object | |
| CN112634460B (zh) | 基于Haar-like特征的户外全景图生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |