CN116758494B - 一种网联车车载视频智能监控方法及系统 - Google Patents
一种网联车车载视频智能监控方法及系统 Download PDFInfo
- Publication number
- CN116758494B CN116758494B CN202311061681.8A CN202311061681A CN116758494B CN 116758494 B CN116758494 B CN 116758494B CN 202311061681 A CN202311061681 A CN 202311061681A CN 116758494 B CN116758494 B CN 116758494B
- Authority
- CN
- China
- Prior art keywords
- video data
- module
- video
- preset
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 115
- 238000000605 extraction Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000012512 characterization method Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 239000003550 marker Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种网联车车载视频智能监控方法及系统，其中，方法包括：通过获取的第一视频数据，按照时间进行第一次筛选，然后根据物体特征进行第二次筛选，并通过像素以及运动信息进行三次筛选，从而可以得到目标视频数据。本发明的有益效果：完成了对目标视频数据的第三次筛选，提高了目标视频数据的筛选精度，可以使相关人员对事故进行监控，提高了查看视频数据的效率。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种网联车车载视频智能监控方法及系统。
背景技术
网联车车载视频是指在车辆中使用的联网视频系统。这种系统通常使用摄像头来捕捉车辆周围的实时视频，并通过网络传输将视频数据发送到其他设备或服务器进行处理。
随着网联车视频系统的不断完善，不少车主都可以将车辆视频进行共享，当交通事故或者是其他事故发生时，可以从车主上传的车辆视频还原事故的情形，以达到监控事故的目的，然而随着车主上传车辆视频的数量增多，现有技术中，对各种车辆视频逐一进行人工查看的效率较低，因此，如何利用信息化的技术去在这些海量的视频数据中充分地分析挖掘视频的内容、提取出有用的信息，无疑具有极高的研究和应用价值。
发明内容
本发明的主要目的为提供一种网联车车载视频智能监控方法及系统，旨在解决对各种车辆视频逐一进行人工查看的效率较低的问题。
本发明提供了一种网联车车载视频智能监控方法，包括：
当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间；
采用预设的特征提取模块提取所述第一视频数据帧中的物体特征；
基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据；
根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据；
对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点；
基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量；
提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个节点相同；
计算所述第一向量集合中相邻两个第一向量的向量差的模；
计算相邻两帧图片中所有模的平均值，并将其设置为前一帧中的权重值；
将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合；
获取所述第一视频数据中每帧图片的像素信息；
将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息；
根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故。
进一步地，所述将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息的步骤之前，还包括：
获取多组训练数据，其中，一组训练数据包括训练视频数据的像素信息、向量集合以及对应的人工标识构成，所述人工标识为训练视频数据的表征信息；
将所述像素信息以及向量集合输入预设的双流神经网络中，采用有监督的方式进行训练，从而得到双流网络。
进一步地，所述根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据的步骤，包括：
从每个所述第二视频数据中抽取第二预设数量的视频帧；
通过预设的特征提取模块提取所述视频帧中的目标特征；
通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度；
按照相似度的大小，从大至小选取第一预设数量的第三视频数据。
进一步地，所述对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点的步骤，包括：
通过预设的目标检测算法对所述物体特征进行标记；
记录标记的位置，从而得到对应的多个标记点。
进一步地，所述采用预设的特征提取模块提取所述第一视频数据帧中的物体特征的步骤，包括：
将所述第一视频数据帧分别输入至对应的所述特征提取网络的所述输入层；
通过隐藏层利用激励函数对所述输入层输入的所述第一视频数据帧进行非线性化处理，得到拟合的结果；
通过输出层对所述拟合的结果进行输出表示，输出所述第一视频数据帧对应的物体特征。
本发明还提供了一种网联车车载视频智能监控系统，包括：
第一获取模块，用于当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间；
第一提取模块，用于采用预设的特征提取模块提取所述第一视频数据帧中的物体特征；
找取模块，用于基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据；
第一计算模块，用于根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据；
标记模块，用于对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点；
第二计算模块，用于基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量；
第二提取模块，用于提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个节点相同；
第三计算模块，用于计算所述第一向量集合中相邻两个第一向量的向量差的模；
第四计算模块，用于计算相邻两帧图片中所有模的平均值，并将其设置为前一帧中的权重值；
第五计算模块，用于将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合；
第二获取模块，用于获取所述第一视频数据中每帧图片的像素信息；
输入模块，用于将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息；
筛选模块，用于根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故。
进一步地，所述网联车车载视频智能监控系统，还包括：
训练数据获取模块，用于获取多组训练数据，其中，一组训练数据包括训练视频数据的像素信息、向量集合以及对应的人工标识构成，所述人工标识为训练视频数据的表征信息；
信息输入模块，用于将所述像素信息以及向量集合输入预设的双流神经网络中，采用有监督的方式进行训练，从而得到双流网络。
进一步地，所述第一计算模块，包括：
抽取子模块，用于从每个所述第二视频数据中抽取第二预设数量的视频帧；
提取子模块，用于通过预设的特征提取模块提取所述视频帧中的目标特征；
计算子模块，用于通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度；
选取子模块，用于按照相似度的大小，从大至小选取第一预设数量的第三视频数据。
进一步地，所述标记模块，包括：
标记子模块，用于通过预设的目标检测算法对所述物体特征进行标记；
记录子模块，用于记录标记的位置，从而得到对应的多个标记点。
进一步地，所述第一提取模块，包括：
数据帧输入子模块，用于将所述第一视频数据帧分别输入至对应的所述特征提取网络的所述输入层；
非线性化处理子模块，用于通过隐藏层利用激励函数对所述输入层输入的所述第一视频数据帧进行非线性化处理，得到拟合的结果；
输出子模块，用于通过输出层对所述拟合的结果进行输出表示，输出所述第一视频数据帧对应的物体特征。
本发明的有益效果：通过获取的第一视频数据，按照时间进行第一次筛选，然后根据物体特征进行第二次筛选，并通过像素以及运动信息进行三次筛选，从而可以得到目标视频数据，完成对目标视频数据的第三次筛选，提高了目标视频数据的筛选精度，可以使相关人员对事故进行监控，提高了查看视频数据的效率。
附图说明
图1 是本发明一实施例的一种网联车车载视频智能监控方法的流程示意图；
图2 是本发明一实施例的一种网联车车载视频智能监控系统的结构示意框图；
图3 为本申请一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后等）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明提出一种网联车车载视频智能监控方法，包括：
S1：当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间；
S2：采用预设的特征提取模块提取所述第一视频数据帧中的物体特征；
S3：基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据；
S4：根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据；
S5：对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点；
S6：基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量；
S7：提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个节点相同；
S8：计算所述第一向量集合中相邻两个第一向量的向量差的模；
S9：计算相邻两帧图片中所有模的平均值，并将其设置为前一帧中的权重值；
S10：将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合；
S11：获取所述第一视频数据中每帧图片的像素信息；
S12：将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息；
S13：根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故。
如上述步骤S1所述，当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间。其中，事故报警指令触发的条件可以是相关人员拨打报警电话后触发，也可以是通过对视频数据进行分析，从而确定发生事故，从而导致事故报警指令触发，在一些实施例中，也可以是人为触发该事故报警指令，本申请对此不作限定，获取针对事故的第一视频数据，由于报警人看到的画面与拍摄的画面不同，因此，可以预先获取第一视频数据，该第一视频数据可以是任意的，但是具有事故发生的片段，由于第一视频数据中可能对事故的还原性不强，因此需要获取其他的视频数据，达到监控事故的目的，获取第一视频数据的拍摄时间，由于拍摄过程中，会记录对应的拍摄时间，因此，拍摄时间可以直接获取得到。
如上述步骤S2所述，采用预设的特征提取模块提取所述第一视频数据帧中的物体特征，特征提取模块可以是基于计算机视觉的算法，如卷积神经网络，也可以是其他的特征提取模块，提取物体特征。
如上述步骤S3所述，基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据。可以预先建立网联车车载视频的数据库，根据时间段将一个车辆拍摄的车载视频进行切割，从而可以根据拍摄时间找取多个第二视频数据，在一些具体地实施例中，事故发生的时间也可以在第一视频数据中被记录，因此，可以根据对应的拍摄时间找取多个第二视频数据，从而完成对时间段内的视频数据的第一步筛选，在一个具体地实施例中，第一视频数据的拍摄时间是可以根据视频确定的，因此可以建立时间戳，然后根据该时间戳找取对应的第二视频数据即可，即各个车主将车载视频上传之后，是一段较长的视频，那么可以根据时间戳对该视频进行剪辑，例如第一视频数据的拍摄时间是16时14分00秒至16时19分00秒，那么时间戳可以设置为16时13分00秒至16时20分00，然后根据该时间戳进行剪辑即可得到第二视频数据。另外，若拍摄时间点为A，则可设置起点为A+a，终点为A+b的时间窗口为指定时间窗口，再从预设的视频数据库中找取在指定时间窗口内的多个第二视频数据；其中a，b均为预设的时间参数。
如上述步骤S4所述，根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据。其中，匹配计算的方式可以是特征点匹配，即通过图像特征描述符来提取每个视频帧的特征点，然后使用特征点之间的相似性进行匹配计算，计算的方式可以是计算不同特征点之间的距离或相似性度量来实现。常见的度量方法包括欧氏距离、汉明距离、余弦相似度等。还可以是通过深度学习的匹配，通过深度学习模型（如Siamese网络、Triplet网络等）训练模型以学习图像之间的相似度，并将其用于匹配计算。从而完成对目标视频数据的第二步筛选，
如上述步骤S5所述，对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点，具体地，可以通过目标检测算法或物体识别算法来标记每个帧中的物体特征。目标检测算法如YOLO、SSD、Faster R-CNN等可以帮助在图像中定位和标记多个物体，可以识别不同类别的物体并为每个物体生成标记。
如上述步骤S6所述，基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量，即以每个标记点为起点，至其他标记点的向量记为第一向量。
如上述步骤S7所述，提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个节点相同；即相同第一向量在不同帧的图片中一般都会有不同，此处，将相同的两个相同第一向量在各帧中组成的第一向量进行整合，得到第一向量集合。按照拍摄顺序将所述第一向量集合中的第一向量进行排列。
如上述步骤S8所述，计算所述第一向量集合中相邻两个第一向量的向量差的模，即计算相邻两个第一向量的向量差，即将第一个第一向量减去第二个第一向量，并求得到的向量的模值。
如上述步骤S9所述，计算相邻两帧图片中所有模的平均值，并将其设置为前一帧中的权重值。需要说明的是，若模的值越大，表明此处的事故更加严重，因此需要赋予更高的权重值，若模值变化不大，则可以减小权重值，使后续更加准确定位至物体的运动情况。具体地，计算平均值，假设其具有每帧图片中具有两个第一向量，那么则是两个模的平均值，在一些具体地实施例中，由于拍摄角度的问题，导致一些标记点无法被拍到，此时对应的第一向量数量不对等，可以只计算相邻两帧图片都共有的第一向量，即具有相同标记点的两个第一向量。
如上述步骤S10所述，将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合，然后将其乘以对应的第一向量作为其向量集合，以作为运动信息。
如上述步骤S11-S12所述，像素信息可以直接从每帧图片中直接进行获取，将其输入至预设的双流网络中，得到所述第一视频数据的表征信息，双流网络指的是一种神经网络架构，它由两个并行的子网络（流）组成。每个子网络都接收不同类型的输入数据，并学习不同的特征表示。在计算机视觉领域中，双流网络通常用于处理视频数据。其中一条流通常接收视频帧作为输入，并学习从静态图像中提取的空间特征。另一条流通常接收光流或光学流作为输入，并学习从连续帧之间的运动中提取的时间特征。本申请将向量集合作为运动信息代替光流进行输入，可以降低模型的计算量，从而得到对应的表征信息。
如上述步骤S13所述，根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故，具体地，获取到表征信息后，可以提取第三视频数据中的目标表征信息，然后通过预设的相似度算法计算目标表征信息与表征信息的相似度，计算相似度的方式可以是欧式距离，余弦相似度算法等，然后根据相似度大小选取目标视频数据，从而完成对目标视频数据的第三次筛选，提高了目标视频数据的筛选精度，从而可以使相关人员对事故进行监控，从而提高了查看的效率。
在一个实施例中，所述将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息的步骤S12之前，还包括：
S1101：获取多组训练数据，其中，一组训练数据包括训练视频数据的像素信息、向量集合以及对应的人工标识构成，所述人工标识为训练视频数据的表征信息；
S1102：将所述像素信息以及向量集合输入预设的双流神经网络中，采用有监督的方式进行训练，从而得到双流网络。
如上述步骤S1101-S1102所述，每个训练数据包括视频像素信息、向量集合和对应的人工标识。人工标识提供了视频数据的表征信息。
在这个系统中，视频像素信息和向量集合被输入到预设的双流神经网络中进行训练。这意味着网络有两个输入端，一个用于处理像素信息，另一个用于处理向量集合。通过监督学习的方式进行训练，系统可以得到一个训练完成的双流网络。从而实现了在模型的输入端输入像素信息以及向量集合，可以得到对应的表征信息。
在一个实施例中，所述根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据的步骤S4，包括：
S401：从每个所述第二视频数据中抽取第二预设数量的视频帧；
S402：通过预设的特征提取模块提取所述视频帧中的目标特征；
S403：通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度；
S404：按照相似度的大小，从大至小选取第一预设数量的第三视频数据。
如上述步骤S401所述，从每个所述第二视频数据中抽取第二预设数量的视频帧，抽取的方式可以是随机抽取，也可以是按照预设的时间间隔进行抽取，本申请对此不作限定。
如上述步骤S402所述，通过预设的特征提取模块提取所述视频帧中的目标特征，特征提取模块上述有详细说明，此处不再赘述。
如上述步骤S403所述，通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度，需要说明的是，由于一个第二视频数据具有多个相似度，本申请只取其中相似度最大的一个相似度值作为该第二视频数据与第一视频数据的相似度。预设的相似度度量算法可以是欧几里得距离、余弦相似度、汉明距离、编辑距离等任意一种。
如上述步骤S404所述，按照相似度的大小，从大至小选取第一预设数量的第三视频数据，从而完成对视频数据的第二步筛选。
在一个实施例中，所述对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点的步骤S5，包括：
S501：通过预设的目标检测算法对所述物体特征进行标记；
S502：记录标记的位置，从而得到对应的多个标记点。
如上述步骤501-S502所述，通过预设的目标检测算法对所述物体特征进行标记；记录标记的位置，从而得到对应的多个标记点。目标检测算法可使用不同的技术和方法，如基于深度学习的卷积神经网络（CNN），如Faster R-CNN、YOLO（You Only Look Once）和SSD（Single Shot MultiBox Detector），以及传统的机器学习方法，如HOG（Histogram ofOriented Gradients）和Haar特征级联分类器。这些预设的目标检测算法通常会对检测到的物体进行边界框标记，以显示其位置和尺寸。一些算法还可以提供对物体类别的预测或标签。
在一个实施例中，所述采用预设的特征提取模块提取所述第一视频数据帧中的物体特征的步骤S2，包括：
S201：将所述第一视频数据帧分别输入至对应的所述特征提取网络的所述输入层；
S202：通过隐藏层利用激励函数对所述输入层输入的所述第一视频数据帧进行非线性化处理，得到拟合的结果；
S203：通过输出层对所述拟合的结果进行输出表示，输出所述第一视频数据帧对应的物体特征。
如上述步骤S201-S203所述，其中，该特征提取网络的训练方式可以是基于BP神经网络的方法从特征提取器参数中进行特征选择，将所述每个第一视频数据的标注特征及每个第一视频数据的原始特征进行合并，得到每个第一视频数据的合并后的物体特征；利用随机森林变量的重要性方法，从每个第一视频数据的合并后的特征中筛选出每个第一视频数据的重要特征；利用所述训练数据中每个第一视频数据的重要特征重新训练所述重构后的特征提取网络，直至迭代终止，并得到训练好的特征提取网络。训练完成后直接将第一视频数据输入即可得到对应的物体特征。
参照图2，本发明还提供了一种网联车车载视频智能监控系统，包括：
第一获取模块10，用于当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间；
第一提取模块20，用于采用预设的特征提取模块提取所述第一视频数据帧中的物体特征；
找取模块30，用于基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据；
第一计算模块40，用于根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据；
标记模块50，用于对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点；
第二计算模块60，用于基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量；
第二提取模块70，用于提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个节点相同；
第三计算模块80，用于计算所述第一向量集合中相邻两个第一向量的向量差的模；
第四计算模块90，用于计算相邻两帧图片中所有模的平均值，并将其设置为前一帧中的权重值；
第五计算模块100，用于将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合；
第二获取模块110，用于获取所述第一视频数据中每帧图片的像素信息；
输入模块120，用于将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息；
筛选模块130，用于根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故。
在一个实施例中，所述网联车车载视频智能监控系统，还包括：
训练数据获取模块，用于获取多组训练数据，其中，一组训练数据包括训练视频数据的像素信息、向量集合以及对应的人工标识构成，所述人工标识为训练视频数据的表征信息；
信息输入模块，用于将所述像素信息以及向量集合输入预设的双流神经网络中，采用有监督的方式进行训练，从而得到双流网络。
在一个实施例中，所述第一计算模块40，包括：
抽取子模块，用于从每个所述第二视频数据中抽取第二预设数量的视频帧；
提取子模块，用于通过预设的特征提取模块提取所述视频帧中的目标特征；
计算子模块，用于通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度；
选取子模块，用于按照相似度的大小，从大至小选取第一预设数量的第三视频数据。
在一个实施例中，所述标记模块50，包括：
标记子模块，用于通过预设的目标检测算法对所述物体特征进行标记；
记录子模块，用于记录标记的位置，从而得到对应的多个标记点。
在一个实施例中，所述第一提取模块20，包括：
数据帧输入子模块，用于将所述第一视频数据帧分别输入至对应的所述特征提取网络的所述输入层；
非线性化处理子模块，用于通过隐藏层利用激励函数对所述输入层输入的所述第一视频数据帧进行非线性化处理，得到拟合的结果；
输出子模块，用于通过输出层对所述拟合的结果进行输出表示，输出所述第一视频数据帧对应的物体特征。
本发明的有益效果：通过获取的第一视频数据，按照时间进行第一次筛选，然后根据物体特征进行第二次筛选，并通过像素以及运动信息进行三次筛选，从而可以得到目标视频数据，完成对目标视频数据的第三次筛选，提高了目标视频数据的筛选精度，可以使相关人员对事故进行监控，提高了查看视频数据的效率。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种视频数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的网联车车载视频智能监控方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一实施例所述的网联车车载视频智能监控方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种网联车车载视频智能监控方法，其特征在于，包括：
当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间；
采用预设的特征提取模块提取所述第一视频数据中的物体特征；
基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据；
根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据；
对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点；
基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量；
提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个标记点相同；
计算所述第一向量集合中相邻两个第一向量的向量差的模；
计算相邻两帧图片中所有模的平均值，并将其设置为前一帧图片对应的权重值；
将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合；
获取所述第一视频数据中每帧图片的像素信息；
将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息；
根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故。
2.如权利要求1所述的网联车车载视频智能监控方法，其特征在于，所述将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息的步骤之前，还包括：
获取多组训练数据，其中，一组训练数据包括训练视频数据的像素信息、向量集合以及对应的人工标识构成，所述人工标识为训练视频数据的表征信息；
将所述像素信息以及向量集合输入预设的双流神经网络中，采用有监督的方式进行训练，从而得到双流网络。
3.如权利要求1所述的网联车车载视频智能监控方法，其特征在于，所述根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据的步骤，包括：
从每个所述第二视频数据中抽取第二预设数量的视频帧；
通过预设的特征提取模块提取所述视频帧中的目标特征；
通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度；
按照相似度的大小，从大至小选取第一预设数量的第三视频数据。
4.如权利要求1所述的网联车车载视频智能监控方法，其特征在于，所述对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点的步骤，包括：
通过预设的目标检测算法对所述物体特征进行标记；
记录标记的位置，从而得到对应的多个标记点。
5.如权利要求1所述的网联车车载视频智能监控方法，其特征在于，所述采用预设的特征提取模块提取所述第一视频数据中的物体特征的步骤，包括：
将所述第一视频数据分别输入至对应的特征提取网络的输入层；
通过隐藏层利用激励函数对所述输入层输入的所述第一视频数据进行非线性化处理，得到拟合的结果；
通过输出层对所述拟合的结果进行输出表示，输出所述第一视频数据对应的物体特征。
6.一种网联车车载视频智能监控系统，其特征在于，包括：
第一获取模块，用于当事故报警指令触发时，获取针对事故的第一视频数据，并获取所述第一视频数据的拍摄时间；
第一提取模块，用于采用预设的特征提取模块提取所述第一视频数据中的物体特征；
找取模块，用于基于所述拍摄时间从预设的视频数据库中找取多个第二视频数据；
第一计算模块，用于根据物体特征从所述第二视频数据中进行匹配计算，按照匹配计算结果获取第一预设数量的第三视频数据；
标记模块，用于对所述第一视频数据每帧图片中的物体特征进行节点标记，得到多个标记点；
第二计算模块，用于基于每个标记点的位置计算每个所述标记点至其他标记点的第一向量；
第二提取模块，用于提取所述第一视频数据每帧中同一第一向量，构成第一向量集合；其中，所述第一向量集合中任意两个第一向量所对应的两个标记点相同；
第三计算模块，用于计算所述第一向量集合中相邻两个第一向量的向量差的模；
第四计算模块，用于计算相邻两帧图片中所有模的平均值，并将其设置为前一帧图片对应的权重值；
第五计算模块，用于将每帧对应的第一向量与对应的权重值相乘，以得到每帧图片对应的向量集合；
第二获取模块，用于获取所述第一视频数据中每帧图片的像素信息；
输入模块，用于将所述像素信息和所述向量集合输入至预设的双流网络中，得到所述第一视频数据的表征信息；
筛选模块，用于根据所述表征信息从第一预设数量的所述第三视频数据筛选目标视频数据，从而监控所述事故。
7.如权利要求6所述的网联车车载视频智能监控系统，其特征在于，所述网联车车载视频智能监控系统，还包括：
训练数据获取模块，用于获取多组训练数据，其中，一组训练数据包括训练视频数据的像素信息、向量集合以及对应的人工标识构成，所述人工标识为训练视频数据的表征信息；
信息输入模块，用于将所述像素信息以及向量集合输入预设的双流神经网络中，采用有监督的方式进行训练，从而得到双流网络。
8.如权利要求6所述的网联车车载视频智能监控系统，其特征在于，所述第一计算模块，包括：
抽取子模块，用于从每个所述第二视频数据中抽取第二预设数量的视频帧；
提取子模块，用于通过预设的特征提取模块提取所述视频帧中的目标特征；
计算子模块，用于通过预设的相似度度量算法计算所述目标特征与所述物体特征的相似度；
选取子模块，用于按照相似度的大小，从大至小选取第一预设数量的第三视频数据。
9.如权利要求6所述的网联车车载视频智能监控系统，其特征在于，所述标记模块，包括：
标记子模块，用于通过预设的目标检测算法对所述物体特征进行标记；
记录子模块，用于记录标记的位置，从而得到对应的多个标记点。
10.如权利要求6所述的网联车车载视频智能监控系统，其特征在于，所述第一提取模块，包括：
数据帧输入子模块，用于将所述第一视频数据分别输入至对应的特征提取网络的输入层；
非线性化处理子模块，用于通过隐藏层利用激励函数对所述输入层输入的所述第一视频数据进行非线性化处理，得到拟合的结果；
输出子模块，用于通过输出层对所述拟合的结果进行输出表示，输出所述第一视频数据对应的物体特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311061681.8A CN116758494B (zh) | 2023-08-23 | 2023-08-23 | 一种网联车车载视频智能监控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311061681.8A CN116758494B (zh) | 2023-08-23 | 2023-08-23 | 一种网联车车载视频智能监控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758494A CN116758494A (zh) | 2023-09-15 |
| CN116758494B true CN116758494B (zh) | 2023-12-22 |
Family
ID=87953815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311061681.8A Active CN116758494B (zh) | 2023-08-23 | 2023-08-23 | 一种网联车车载视频智能监控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758494B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102754422A (zh) * | 2010-02-15 | 2012-10-24 | 夏普株式会社 | 动态检测装置、控制程序以及集成电路 |
| CN103258432A (zh) * | 2013-04-19 | 2013-08-21 | 西安交通大学 | 基于视频的交通事故自动识别处理方法和系统 |
| CN109492129A (zh) * | 2018-10-26 | 2019-03-19 | 武汉理工大学 | 一种基于双流神经网络的相似视频搜索方法和系统 |
| CN109543610A (zh) * | 2018-11-22 | 2019-03-29 | 中国科学院长春光学精密机械与物理研究所 | 车辆检测跟踪方法、装置、设备及存储介质 |
| CN110163041A (zh) * | 2018-04-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频行人再识别方法、装置及存储介质 |
| CN110188637A (zh) * | 2019-05-17 | 2019-08-30 | 西安电子科技大学 | 一种基于深度学习的行为识别技术方法 |
| CN112434608A (zh) * | 2020-11-24 | 2021-03-02 | 山东大学 | 一种基于双流结合网络的人体行为识别方法及系统 |
| CN112989784A (zh) * | 2021-03-04 | 2021-06-18 | 广州汇才创智科技有限公司 | 基于孪生神经网络的文本自动评分方法、装置及电子设备 |
| CN114913466A (zh) * | 2022-06-01 | 2022-08-16 | 桂林电子科技大学 | 一种基于双流信息与稀疏表示的视频关键帧提取方法 |
| KR20220160388A (ko) * | 2021-05-27 | 2022-12-06 | 삼성에스디에스 주식회사 | 영상 유사도 산출 장치 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1748378B1 (en) * | 2005-07-26 | 2009-09-16 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| CN113569607A (zh) * | 2021-01-29 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 动作识别方法、装置、设备以及存储介质 |
-
2023
- 2023-08-23 CN CN202311061681.8A patent/CN116758494B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102754422A (zh) * | 2010-02-15 | 2012-10-24 | 夏普株式会社 | 动态检测装置、控制程序以及集成电路 |
| CN103258432A (zh) * | 2013-04-19 | 2013-08-21 | 西安交通大学 | 基于视频的交通事故自动识别处理方法和系统 |
| CN110163041A (zh) * | 2018-04-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频行人再识别方法、装置及存储介质 |
| CN109492129A (zh) * | 2018-10-26 | 2019-03-19 | 武汉理工大学 | 一种基于双流神经网络的相似视频搜索方法和系统 |
| CN109543610A (zh) * | 2018-11-22 | 2019-03-29 | 中国科学院长春光学精密机械与物理研究所 | 车辆检测跟踪方法、装置、设备及存储介质 |
| CN110188637A (zh) * | 2019-05-17 | 2019-08-30 | 西安电子科技大学 | 一种基于深度学习的行为识别技术方法 |
| CN112434608A (zh) * | 2020-11-24 | 2021-03-02 | 山东大学 | 一种基于双流结合网络的人体行为识别方法及系统 |
| CN112989784A (zh) * | 2021-03-04 | 2021-06-18 | 广州汇才创智科技有限公司 | 基于孪生神经网络的文本自动评分方法、装置及电子设备 |
| KR20220160388A (ko) * | 2021-05-27 | 2022-12-06 | 삼성에스디에스 주식회사 | 영상 유사도 산출 장치 및 방법 |
| CN114913466A (zh) * | 2022-06-01 | 2022-08-16 | 桂林电子科技大学 | 一种基于双流信息与稀疏表示的视频关键帧提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758494A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102553883B1 (ko) | 비디오 감시 시스템에서 경보들을 발생시키는 방법 | |
| CN110569702B (zh) | 视频流的处理方法和装置 | |
| CN112232293B (zh) | 图像处理模型训练、图像处理方法及相关设备 | |
| CN112560999B (zh) | 一种目标检测模型训练方法、装置、电子设备及存储介质 | |
| CN109644255B (zh) | 标注包括一组帧的视频流的方法和装置 | |
| US10740964B2 (en) | Three-dimensional environment modeling based on a multi-camera convolver system | |
| US9111148B2 (en) | Unsupervised learning of feature anomalies for a video surveillance system | |
| WO2019047789A1 (zh) | 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质 | |
| CN111372037B (zh) | 目标抓拍系统和方法 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| US20110096149A1 (en) | Video surveillance system with object tracking and retrieval | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| CN110851652A (zh) | 一种辅助查看行车记录视频的方法及装置 | |
| CN111160275B (zh) | 行人重识别模型训练方法、装置、计算机设备和存储介质 | |
| WO2014081726A1 (en) | Method and system for metadata extraction from master-slave cameras tracking system | |
| CN111666922A (zh) | 视频匹配方法、装置、计算机设备和存储介质 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN110796074A (zh) | 一种基于时空数据融合的行人再识别方法 | |
| CN113298045A (zh) | 一种违章车辆的识别方法、系统及装置 | |
| CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和系统 | |
| CN110991385A (zh) | 一种识别船只行驶轨迹的方法、装置及电子设备 | |
| CN110766077A (zh) | 证据链图像中特写图筛选方法、装置和设备 | |
| CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN113936175A (zh) | 一种识别视频中的事件的方法及系统 | |
| CN111695627A (zh) | 路况检测方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |