CN112001357B - 目标识别检测方法及系统 - Google Patents
目标识别检测方法及系统 Download PDFInfo
- Publication number
- CN112001357B CN112001357B CN202010925666.3A CN202010925666A CN112001357B CN 112001357 B CN112001357 B CN 112001357B CN 202010925666 A CN202010925666 A CN 202010925666A CN 112001357 B CN112001357 B CN 112001357B
- Authority
- CN
- China
- Prior art keywords
- target
- pixel
- point
- identified
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标识别检测方法及系统，包括：识别出多个视频中相互匹配的图像；将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；将横向视频中的图像进行拼接，得到拼接图像；在拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；在监控视频中的图像中识别出待识别目标；通过待识别拼接目标对拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标。拼接图像中包含的待识别目标的信息是完整的，在拼接图像识别出的待识别拼接目标能够较为完整地反应待识别目标的信息，通过待识别拼接目标对在原始的监控视频中的图像中识别出待识别目标，提高了目标检测识别的准确性和可靠性。
Description
技术邻域
本发明涉及监控技术邻域，具体而言，涉及一种目标识别检测方法及系统。
背景技术
在监控技术邻域，目标识别广泛用于识别监控目标，例如识别行人、车辆等等。
目前，目标识别的方法主要是通过单个摄像机拍摄的视频或者图像进行识别。对于目标发生运动的情况下，由于目标在摄像机视野中有变化，通过单个摄像机拍摄的视频或者图像中不能完整地拍摄到目标，从而没法准确识别出目标。另外，带个摄像机视野单一，没法获得目标整个完整的拍摄角度，必然没法准确识别出目标。
发明内容
本发明的目的在于提供了一种目标识别检测方法及系统，用以解决现有技术中存在的上述问题。
第一方面，本发明实施例提供了一种目标识别检测方法，包括：
从大数据库中获得监控区域的多个所述监控视频，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频；
识别出多个视频中相互匹配的图像，所述相互匹配的图像中存在相同的待识别目标；
将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；
将所述横向视频中的图像进行拼接，得到拼接图像；
在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；
在所述监控视频中的图像中识别出待识别目标；
通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标。
可选的，所述通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标，包括：
对待识别拼接目标和所述待识别目标中的每个像素点进行匹配；
获得相互匹配的两个像素点的位置坐标之间的中间位置，所述中间位置到相互匹配的两个像素点的距离相同；
将相互匹配的两个像素点的像素值的平均值作为所述中间位置的像素值。
可选的，所述对待识别拼接目标和所述待识别目标中的每个像素点进行匹配，包括：
提取对待识别拼接目标的第一特征点和待识别目标的第二特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r＝d/(d+1)*Id/(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
获得所述第一特征点的8邻域内的像素点的像素值的平均值与所述第二特征点的8邻域内的像素点的像素值的平均值的差值；
若所述匹配因子小于第一预设值，且所述差值小于第二预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
可选的，所述待识别目标包括车辆、行人。
可选的，所述特征点为角点和\或纹理的端头和\或端尾。
第二方面，本发明还提供了一种目标识别检测系统，包括：
获得模块，用于从大数据库中获得监控区域的多个所述监控视频，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频；
匹配识别模块，用于识别出多个视频中相互匹配的图像，所述相互匹配的图像中存在相同的待识别目标；
横向视频获得模块，用于，将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；
拼接模块，用于将所述横向视频中的图像进行拼接，得到拼接图像；
识别模块，用于在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；在所述监控视频中的图像中识别出待识别目标；
调整模块，用于通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标。
可选的，所述通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标，包括：
对待识别拼接目标和所述待识别目标中的每个像素点进行匹配；
获得相互匹配的两个像素点的位置坐标之间的中间位置，所述中间位置到相互匹配的两个像素点的距离相同；
将相互匹配的两个像素点的像素值的平均值作为所述中间位置的像素值。
可选的，所述对待识别拼接目标和所述待识别目标中的每个像素点进行匹配，包括：
提取对待识别拼接目标的第一特征点和待识别目标的第二特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r＝d/(d+1)*Id/(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
获得所述第一特征点的8邻域内的像素点的像素值的平均值与所述第二特征点的8邻域内的像素点的像素值的平均值的差值；
若所述匹配因子小于第一预设值，且所述差值小于第二预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
可选的，所述待识别目标包括车辆、行人。
可选的，所述特征点为角点和\或纹理的端头和\或端尾。
相对于现有技术，本发明实施例达到的有益效果如下：
本发明的目的在于提供了一种目标识别检测方法及系统，所述方法包括：从大数据库中获得监控区域的多个所述监控视频，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频；识别出多个视频中相互匹配的图像，所述相互匹配的图像中存在相同的待识别目标；将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；将所述横向视频中的图像进行拼接，得到拼接图像；在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；在所述监控视频中的图像中识别出待识别目标；通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标。
由多个摄像机从不同角度拍摄待识别目标，可以获得待识别目标多个角度的图像，对相互匹配的图像进行拼接后，得到的拼接图像中包含的待识别目标的信息是较为完整的，在拼接图像识别出的待识别拼接目标能够较为完整地反应待识别目标的信息，通过这样的待识别拼接目标对在原始的监控视频中的图像中识别出待识别目标，得到的最终检测识别的目标是准确的，提高了目标检测识别的准确性和可靠性。
附图说明
图1是本发明实施例提供的一种目标识别检测方法流程图。
图2是本发明实施例提供的一种电子设备的方框结构示意图。
图标：500-总线；501-接收器；502-处理器；503-发送器；504-存储器；505-总线接口。
具体实施方式
下面结合附图，对本发明作详细的说明。
实施例
本申请提供了一种目标识别检测方法，用于检测识别车辆、行人、飞机、轮船等目标，例如应用于高速公路的车辆检测、智能楼宇的车辆、行人检测。本申请所述的方法可以应用于高速公路监控室、城市交通监控室、地铁监控室、智能楼宇监控系统中。请参阅图1，所述的目标识别检测方法包括：
S101：从大数据库中获得监控区域的多个所述监控视频。
其中，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频。每个摄像机拍摄得到监控视频后，发送到监控系统的服务器或者云端中，服务器或者云端将监控视频存储在大数据库中，当监控系统中的某个终端设备(可以是区块链中的某个区块链节点)(电脑、服务器)需要进行目标识别检测时，从大数据库中调取监控视频，然后执行S101～S107所述的方法步骤。
S102：识别出多个视频中相互匹配的图像。
其中，所述相互匹配的图像中存在相同的待识别目标。
S103：将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频。
S104：将所述横向视频中的图像进行拼接，得到拼接图像。
S105：在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标。
S106：在所述监控视频中的图像中识别出待识别目标。
S107：通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标。
通过采用以上方案，由多个摄像机从不同角度拍摄待识别目标，可以获得待识别目标多个角度的图像，对相互匹配的图像进行拼接后，得到的拼接图像中包含的待识别目标的信息是完整的，在拼接图像识别出的待识别拼接目标能够完整地反应待识别目标的信息，通过这样的待识别拼接目标对在原始的监控视频中的图像中识别出待识别目标，得到的最终检测识别的目标是准确的，提高了目标检测识别的准确性和可靠性。
需要说明的是，在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标，具体为：通过R-CNN，Fast R-CNN,Faster R-CNN,ION,HyperNet,SDP-CRC,YOLO,G-CNN,SSD等方法在拼接图像识别出待识别拼接目标。
在所述监控视频中的图像中识别出待识别目标，具体为：通过R-CNN，Fast R-CNN,Faster R-CNN,ION,HyperNet,SDP-CRC,YOLO,G-CNN,SSD等方法在监控视频中拍摄时间与拼接图像的对应的时间相同的图像中识别出待识别目标。
需要说明的是，识别出待识别目标的图像与用来拼接成拼接图像的图像的拍摄时间相同。
可选的，即判断两张图像是否是由两个不同的摄像机拍摄且两张图像是否存在相同的待识别目标且拍摄时间相同，若两张图像是由两个不同的摄像机拍摄且两张图像存在相同的待识别目标且拍摄时间相同，确定这两张图像是相互匹配的图像。
可选的，判断两张图像中是否存在相同的待识别目标，若是，即可确定为相互匹配的图像。
作为进一步的，所述通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标，包括：对待识别拼接目标和所述待识别目标中的每个像素点进行匹配；获得相互匹配的两个像素点的位置坐标之间的中间位置，所述中间位置到相互匹配的两个像素点的距离相同；将相互匹配的两个像素点的像素值的平均值作为所述中间位置的像素值。
如此，最终得到的最终检测识别的目标的像素点位置坐标都是由上述得到的对应的中间位置，每个像素点的像素值都是对应的中间位置的像素值，如此，调整了待识别目标，提高了目标检测识别的准确性和可靠性。
需要说明的是，述对待识别拼接目标和所述待识别目标中的每个像素点进行匹配，包括：
提取对待识别拼接目标的第一特征点和待识别目标的第二特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r＝d/(d+1)*Id/(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
获得所述第一特征点的8邻域内的像素点的像素值的平均值与所述第二特征点的8邻域内的像素点的像素值的平均值的差值；
若所述匹配因子小于第一预设值，且所述差值小于第二预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
其中，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对具体为：
获得待识别拼接目标中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；第一非特征像素点为待识别拼接目标中不是第一特征点的像素点，第一特征点可以是角点或者纹理的端头、端尾。
获得待识别目标中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；第二非特征像素点为待识别目标中不是第二特征点的像素点，第二特征点可以是角点或者纹理的端头、端尾。
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1＝d1/(d1+1)*Id1/(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
在本发明实施例中，将所述横向视频中的图像进行拼接，得到拼接图像可以是：按照图像在横向视频中的排序，对将横向视频中的图像进行拼接，得到拼接图像。具体的，可以按照先后顺序，先将横向视频中的前两张图像进行拼接，得到第一拼接图像后，再将第三张图像与第一拼接图像进行拼接，得到第二拼接图像，然后再将第二拼接图像与第四张图像进行拼接，以此类推，直到完成对横向视频中最后一张图像的拼接。
所述横向视频中的图像进行拼接，得到拼接图像具体为：
获得需要拼接的两张图像，两张图像包括第一图像和第二图像；在本发明中，需要拼接的两张图像为横向视频中的第一张图像和第二张图像，或者第一拼接图像和第三张图像，或者第二拼接图像与第四张图像，等等，按照需要确定。
分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r＝d/(d+1)*Id/(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；
对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；
获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；
对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
其中，相互匹配的两张图像包括第一图像和第二图像，第一图像和第二图像由不同的摄像机拍摄，摄像机可以是CCD相机。对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第而图像中的第而非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1＝d1/(d1+1)*Id1/(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
如此，提高了匹配的准确性，从而提高了图像拼接的精度，进一步提高了基于拼接图像的目标检测的结果的准确性。
在本发明实施例中，所述待识别目标包括车辆、行人，所述特征点为角点和\或纹理的端头和\或端尾。
针对上述实施例提供一种目标识别检测方法，本申请实施例还对应提供一种目标识别检测系统，目标识别检测系统用于执行上述的目标识别检测方法。目标识别检测系统包括：
获得模块，用于从大数据库中获得监控区域的多个所述监控视频，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频；
匹配识别模块，用于识别出多个视频中相互匹配的图像，所述相互匹配的图像中存在相同的待识别目标；
横向视频获得模块，用于，将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；
拼接模块，用于将所述横向视频中的图像进行拼接，得到拼接图像；
识别模块，用于在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；在所述监控视频中的图像中识别出待识别目标；
调整模块，用于通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标。
可选的，所述通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标，包括：
对待识别拼接目标和所述待识别目标中的每个像素点进行匹配；
获得相互匹配的两个像素点的位置坐标之间的中间位置，所述中间位置到相互匹配的两个像素点的距离相同；
将相互匹配的两个像素点的像素值的平均值作为所述中间位置的像素值。
可选的，所述对待识别拼接目标和所述待识别目标中的每个像素点进行匹配，包括：
提取对待识别拼接目标的第一特征点和待识别目标的第二特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r＝d/(d+1)*Id/(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
获得所述第一特征点的8邻域内的像素点的像素值的平均值与所述第二特征点的8邻域内的像素点的像素值的平均值的差值；
若所述匹配因子小于第一预设值，且所述差值小于第二预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在上述有关控方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种电子设备，其中，所述的服务器可以是所述的电子设备。如图2所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前所述的目标识别检测方法的任一方法的步骤。
其中，在图2中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本邻域所公知的，因此，本文不再对其进行进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述目标识别检测方法的任一方法的步骤。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本邻域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本邻域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本邻域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本邻域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (6)
1.一种目标识别检测方法，其特征在于，包括：
从大数据库中获得监控区域的多个所述监控视频，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频；
识别出多个视频中相互匹配的图像，所述相互匹配的图像中存在相同的待识别目标；
将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；
将所述横向视频中的图像进行拼接，得到拼接图像；
在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；
在所述监控视频中的图像中识别出待识别目标；
通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标；
所述通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标，包括：
对待识别拼接目标和所述待识别目标中的每个像素点进行匹配；
获得相互匹配的两个像素点的位置坐标之间的中间位置，所述中间位置到相互匹配的两个像素点的距离相同；
将相互匹配的两个像素点的像素值的平均值作为所述中间位置的像素值；
所述对待识别拼接目标和所述待识别目标中的每个像素点进行匹配，包括：
提取对待识别拼接目标的第一特征点和待识别目标的第二特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
获得所述第一特征点的8邻域内的像素点的像素值的平均值与所述第二特征点的8邻域内的像素点的像素值的平均值的差值；
若所述匹配因子小于第一预设值，且所述差值小于第二预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
2.根据权利要求1所述的方法，其特征在于，所述待识别目标包括车辆、行人。
3.根据权利要求1所述的方法，其特征在于，所述特征点为角点和\或纹理的端头和\或端尾。
4.一种目标识别检测系统，其特征在于，包括：
获得模块，用于从大数据库中获得监控区域的多个所述监控视频，每个所述监控视频是由不同的摄像机拍摄得到的，不同的摄像机拍摄角度不同，每个视频包括多张图像，多张所述图像按照拍摄时间的先后顺序排列一组图像序列，所述图像序列就是所述监控视频；
匹配识别模块，用于识别出多个视频中相互匹配的图像，所述相互匹配的图像中存在相同的待识别目标；
横向视频获得模块，用于，将相互匹配的图像按照拍摄时间的先后顺序排列成的新的图像序列作为横向视频；
拼接模块，用于将所述横向视频中的图像进行拼接，得到拼接图像；
识别模块，用于在所述拼接图像进行目标识别，识别出拼接图像中的待识别拼接目标；在所述监控视频中的图像中识别出待识别目标；
调整模块，用于通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标；
所述通过所述待识别拼接目标对所述拼接图像对应的图像中识别出的待识别目标进行调整，得到最终检测识别的目标，包括：
对待识别拼接目标和所述待识别目标中的每个像素点进行匹配；
获得相互匹配的两个像素点的位置坐标之间的中间位置，所述中间位置到相互匹配的两个像素点的距离相同；
将相互匹配的两个像素点的像素值的平均值作为所述中间位置的像素值；
所述对待识别拼接目标和所述待识别目标中的每个像素点进行匹配，包括：
提取对待识别拼接目标的第一特征点和待识别目标的第二特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
获得所述第一特征点的8邻域内的像素点的像素值的平均值与所述第二特征点的8邻域内的像素点的像素值的平均值的差值；
若所述匹配因子小于第一预设值，且所述差值小于第二预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对待识别拼接目标和所述待识别目标中的其他像素点进行稠密匹配，得到待识别拼接目标和所述待识别目标中的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
5.根据权利要求4所述的系统，其特征在于，所述待识别目标包括车辆、行人。
6.根据权利要求4所述的系统，其特征在于，所述特征点为角点和\或纹理的端头和\或端尾。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010925666.3A CN112001357B (zh) | 2020-09-07 | 2020-09-07 | 目标识别检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010925666.3A CN112001357B (zh) | 2020-09-07 | 2020-09-07 | 目标识别检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001357A CN112001357A (zh) | 2020-11-27 |
| CN112001357B true CN112001357B (zh) | 2022-02-11 |
Family
ID=73468788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010925666.3A Active CN112001357B (zh) | 2020-09-07 | 2020-09-07 | 目标识别检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001357B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862676A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种图像拼接方法、设备、存储介质 |
| CN112801070B (zh) * | 2021-04-14 | 2021-09-21 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506800A (zh) * | 2014-12-15 | 2015-04-08 | 浙江宇视科技有限公司 | 一种多方向电警摄像机场景合成及综合监控方法和装置 |
| CN105447864A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 图像的处理方法、装置及终端 |
| CN106791710A (zh) * | 2017-02-10 | 2017-05-31 | 北京地平线信息技术有限公司 | 目标检测方法、装置和电子设备 |
| CN108898171A (zh) * | 2018-06-20 | 2018-11-27 | 深圳市易成自动驾驶技术有限公司 | 图像识别处理方法、系统及计算机可读存储介质 |
| CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
| CN111614899A (zh) * | 2020-05-15 | 2020-09-01 | 高斯贝尔数码科技股份有限公司 | 一种基于人脸识别的定制化视频内容产生方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810619B (zh) * | 2018-06-29 | 2021-03-26 | 北京奇虎科技有限公司 | 识别视频中水印的方法、装置和电子设备 |
-
2020
- 2020-09-07 CN CN202010925666.3A patent/CN112001357B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506800A (zh) * | 2014-12-15 | 2015-04-08 | 浙江宇视科技有限公司 | 一种多方向电警摄像机场景合成及综合监控方法和装置 |
| CN105447864A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 图像的处理方法、装置及终端 |
| CN106791710A (zh) * | 2017-02-10 | 2017-05-31 | 北京地平线信息技术有限公司 | 目标检测方法、装置和电子设备 |
| CN108898171A (zh) * | 2018-06-20 | 2018-11-27 | 深圳市易成自动驾驶技术有限公司 | 图像识别处理方法、系统及计算机可读存储介质 |
| CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
| CN111614899A (zh) * | 2020-05-15 | 2020-09-01 | 高斯贝尔数码科技股份有限公司 | 一种基于人脸识别的定制化视频内容产生方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001357A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| JP2018124787A (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| CN112001357B (zh) | 目标识别检测方法及系统 | |
| CN109828250B (zh) | 一种雷达标定方法、标定装置及终端设备 | |
| CN111553956A (zh) | 拍摄装置的标定方法、装置、电子设备和存储介质 | |
| CN111754388B (zh) | 一种建图方法及车载终端 | |
| US20200279395A1 (en) | Method and system for enhanced sensing capabilities for vehicles | |
| CN113793356B (zh) | 车道线检测方法和装置 | |
| CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| CN113936042A (zh) | 一种目标跟踪方法、装置和计算机可读存储介质 | |
| US11442913B2 (en) | Method and device for creating a localization map | |
| CN113658265A (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
| CN109598199B (zh) | 车道线生成方法和装置 | |
| CN114821513B (zh) | 一种基于多层网络的图像处理方法及装置、电子设备 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| CN112819953B (zh) | 三维重建方法、网络模型训练方法、装置及电子设备 | |
| CN113514825B (zh) | 道路边缘的获取方法、装置和终端设备 | |
| CN113255405B (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
| EP3288260A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means | |
| CN109740518B (zh) | 一种视频中对象的确定方法及装置 | |
| CN113591720A (zh) | 车道偏离检测方法、装置及计算机存储介质 | |
| CN113147746A (zh) | 坡道车位的探测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Lei Inventor after: Other inventors ask not to disclose names Inventor before: Not publicizing the inventor |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220125 Address after: 210012 room 2001-18, D2 south, No. 32, Dazhou Road, Yuhuatai District, Nanjing, Jiangsu Province Applicant after: Jiangsu Yansong Technology Co.,Ltd. Address before: 556000 No.38, Yingpan West Road, Ximen street, Kaili City, Qiandongnan Miao and Dong Autonomous Prefecture, Guizhou Province Applicant before: Yang Xianlian |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |