CN113869125A - 一种视频流的分析处理方法、装置、设备及可读存储介质 - Google Patents
一种视频流的分析处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113869125A CN113869125A CN202111005394.6A CN202111005394A CN113869125A CN 113869125 A CN113869125 A CN 113869125A CN 202111005394 A CN202111005394 A CN 202111005394A CN 113869125 A CN113869125 A CN 113869125A
- Authority
- CN
- China
- Prior art keywords
- video stream
- analysis processing
- inference
- processing model
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 249
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 claims abstract description 176
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009432 framing Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 description 64
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000006399 behavior Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种视频流的分析处理方法、装置、设备及可读存储介质，涉及视频流处理技术领域，该方法包括以下步骤：采集至少一路的视频流，为所述视频流编排分析处理模型；将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；所述消息队列推送重新编码后的所述推理视频流，本发明推送过程中可以将存储在消息队列中的告警信息推送到公共消息组件以供上层业务系统订阅，形成业务闭环，摄像头因此可以对视频流进行灵活的视频分析。
Description
技术领域
本发明涉及视频流处理技术领域，尤其涉及一种视频流的分析处理方法、装置、设备及可读存储介质。
背景技术
目前已经存在具有人工智能(Artificial Intelligence，AI)分析功能的摄像头设备，但是，这类摄像头设备的AI分析能力是嵌入到摄像头的内置芯片中的，导致AI方面的分析算力较弱，使得这类摄像头设备的AI分析功能均比较基础，并且由于嵌入在芯片中的设计，导致摄像头设备的AI能力无法灵活替换，对于一些算法相对复杂的推理，摄像头也无法满足需求。
发明内容
本发明提供一种视频流的分析处理方法、装置、设备及可读存储介质，用以解决现有技术中摄像头AI推理能力无法替换导致无法满足应用要求的缺陷，实现对视频流进行灵活的视频分析。
本发明提供一种视频流的分析处理方法，包括以下步骤：
采集至少一路的视频流，为所述视频流编排分析处理模型；
将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；其中，所述推理结果以固定格式保存至所述消息队列；
推流服务推流保存在所述消息队列中重新编码后的所述推理视频流。
根据本发明提供的一种视频流的分析处理方法，所述采集至少一路的视频流，为所述视频流编排分析处理模型，进行所述视频流的通道编排，具体包括以下步骤：
配置分析处理仓；其中，所述分析处理仓中存储有所述分析处理模型以及所述分析处理模型对应的参数；
采集至少一路的所述视频流；
基于所述分析处理仓，为每路的视频流编排所述分析处理模型。
根据本发明提供的一种视频流的分析处理方法，所述编排的方式包括一对一、一对多、多对一以及多对多。
根据本发明提供的一种视频流的分析处理方法，所述分析处理模型的推理过程具体包括以下步骤：
将所述视频流作为推理用的输入数据，根据所述分析处理模型的参数，解码抽帧所述视频流，得到连续多帧的所述图像信息，并将图像信息保存在数据库中；
从所述数据库中抽取并推理所述抽帧数据，生成所述推理结果。
根据本发明提供的一种视频流的分析处理方法，所述数据库采用远程字典服务。
根据本发明提供的一种视频流的分析处理方法，所述发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流，具体包括以下步骤：
发送所述视频流对应的至少一个所述推理结果至所述消息队列；
对每个所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流。
本发明还提供一种视频流的分析处理装置，包括：
通道编排模块，用于采集至少一路的视频流，为所述视频流编排分析处理模型；
推理模块，用于将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
编码模块，用于发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；
告警推送模块，用于通过推流服务推送保存在所述消息队列中重新编码后的所述推理视频流。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频流的分析处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频流的分析处理方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频流的分析处理方法的步骤。
本发明提供的视频流的分析处理方法、装置、设备及可读存储介质，通过将分析处理模型与视频流采集侧通道灵活编排，可以赋予普通的视频流采集侧例如摄像头设备AI推理分析能力，并且将AI推理能力与摄像头设备解耦，编排后，将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果，并且，分析处理模型推理视频流时，将视频流解码为连续多帧的图像信息，之后，将标准的推理结果数据返回到MQ，并以固定格式进行保存，因为在分析过程中可以对所分析的图像信息进行标注，因此可将分析后的带标注的图片重新编码为推理视频流并通过MQ向业务系统推送，重新编码后的推理视频流可以展示推理结果以及包含的告警信息，使得推送过程中可以将存储在MQ中的告警信息推送到公共消息组件以供上层业务系统订阅，形成业务闭环，摄像头设备因此可以对视频流进行灵活的视频分析。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的视频流的分析处理方法的流程示意图；
图2是本发明提供的视频流的分析处理方法中步骤S100具体的流程示意图；
图3是本发明提供的视频流的分析处理方法中步骤S300具体的流程示意图；
图4是本发明提供的视频流的分析处理装置的结构示意图；
图5是本发明提供的视频流的分析处理装置中通道编排模块具体的结构示意图；
图6是本发明提供的视频流的分析处理装置中编码模块具体的结构示意图；
图7是本发明提供的摄像头设备的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的视频流的分析处理方法，该方法运用在视频流采集侧例如摄像头设备中，该方法包括以下步骤：
S100、采集至少一路的视频流，为接入的视频流编排分析处理模型。
步骤S100中进行的是视频流的通道编排。通道编排设置灵活，针对需要分析的视频内容选择合适的分析处理模型即视频分析算法，步骤S100通过为视频流进行通道编排，使得该方法支持对多种视频信息进行分析，支持视频流采集侧例如摄像头设备采集到的视频信息的直接分析、上传视频文件分析、实时流传输协议(Real Time StreamingProtocol，RTSP)视频流分析等。
由于接入的视频流采集侧可以是多个，所需要进行AI分析的场景类型也可以是多个，因此，该方法中通道编排的方式包括一对一、一对多、多对一以及多对多，一对一即一个视频流采集侧绑定编排一种分析处理模型，使得该视频流采集侧具有一种情况下的AI分析能力，一对多即一个视频流采集侧绑定编排多种分析处理模型，使得该视频流采集侧同时具有多种情况下的AI分析能力，多对一即多个视频流采集侧均绑定编排同一种分析处理模型，这些视频流采集侧具有同一种情况下的AI分析能力，多对多即多个视频流采集侧绑定编排多种分析处理模型，每个视频流采集侧均同时具有多种情况下的AI分析能力，且，每个视频流采集侧均所具有的AI分析能力并非需要相同，可以根据实际运用场景，进行具体的AI分析能力的编排。
每个绑定后的视频流采集侧(视频流通道)均可以作为一个分析通道，这样在后续分析视频流时就可以进行高效的组合，将需要分析的视频流建立不同分析通道即可实现一个摄像头多种分析场景用，同时便于后续将视频流的AI推理结果发送到公共消息组件供上层业务系统订阅。
需要说明的是，新增视频流采集侧(视频流通道)时可对视频流通道的类型进行设置，视频流采集侧可将视频文件、实时传递的视频流作为视频源。
S200、将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果。其中，推理结果中包含告警信息，分析处理模型推理所述视频流时，会将视频流解码为连续多帧的图像信息即图片。
具体的，步骤S200中分析处理模型的推理过程具体包括以下步骤：
S210、将视频流作为推理用的输入数据，根据分析处理模型的参数，解码抽帧视频流，得到连续多帧的图像信息，并将图像信息保存在数据库中。
S220、从数据库中抽取并AI推理抽帧数据，生成推理结果。
在本实施例中，步骤S200中的图像信息是保存在数据库中的。优选的，数据库可以采用远程字典服务(Remote Dictionary Server，Redis)。同样的，是从Redis中获取图像信息并对图像信息进行分析推理，得到推理结果，以判断是否存在需要告警的数据，如通过安全帽场景分析处理模型对应的算法分析是否存在工人未佩戴安全帽的行为、通过口罩场景分析处理模型对应的算法分析是否存在工人未佩戴口罩的行为等。
S300、发送视频流对应的推理结果至消息队列(Message Queue，MQ)，并将推理结果对应帧数的图像信息重新编码，具体的，将AI推理得到的推理结果对应的图像信息即图片进行一帧一帧的重新编码，生成推理结果对应的推理视频流。重新编码并通过此种方法标注之后的推理视频流就可以明确的展示出AI推理的结果
在本实施例中，推理结果以固定格式保存至MQ，方便后续将告警信息进行解析及推送，具体的，该方法中的固定格式是Json数据格式，例如：
S400、推流服务推送保存在MQ中重新编码后的推理视频流，例如，通过将编码后的推理视频流推送给公共消息组件，实现将存储在MQ中的告警信息发送给公共消息组件以供上层业务系统订阅，并形成业务闭环。
本发明的视频流的分析处理方法，通过将分析处理模型与视频流采集侧通道灵活编排，可以赋予普通的视频流采集侧例如摄像头设备AI推理分析能力，并且将AI推理能力与摄像头设备解耦，编排后，将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果，并且，分析处理模型推理视频流时，将视频流解码为连续多帧的图像信息，之后，将标准的推理结果数据返回到MQ，并以固定格式进行保存，因为在分析过程中可以对所分析的图像信息进行标注，因此可将分析后的带标注的图片重新编码为推理视频流并通过MQ向业务系统推送，重新编码后的推理视频流可以展示推理结果以及包含的告警信息，使得推送过程中可以将存储在MQ中的告警信息推送到公共消息组件以供上层业务系统订阅，形成业务闭环，摄像头设备因此可以对视频流进行灵活的视频分析。
下面结合图2描述本发明的视频流的分析处理方法，步骤S100具体包括以下步骤：
S110、配置分析处理仓。其中，分析处理仓中存储有分析处理模型以及分析处理模型对应的参数，参数包括关联AI算法、设置图片的保存类型、设置每秒的抽帧数量、图片的最小边长、过期时间、告警标签、消息推送类型等。在步骤S110中设置视频流相应的分析参数时支持多种参数组合设置。
配置分析处理仓中具体可以为：先通过大量的样本集针对分析处理模型进行训练，最终形成可用的分析处理模型。需要说明的是，该方法中还支持接入第三方的可用的分析处理模型，只要分析处理模型经过步骤S200和步骤S300的处理后，得到的数据格式为该方法中的固定格式即可。之后，将可用的分析处理模型发布上架，并为发布的分析处理模型发布配置相应的参数，可对发布后分析处理模型的参数进行手动设置，例如人脸识别算法可配置人脸库信息、区域入侵算法可配置区域的坐标信息等，针对不同的分析处理模型可配置不同的参数。之后，版本升级时可对分析处理模型的参数进行实时的更新。
S120、采集至少一路的视频流。
S130、基于分析处理仓，为每路的视频流编排分析处理模型。
该方法中通道编排的方式包括一对一、一对多、多对一以及多对多，一对一即一个视频流采集侧绑定编排一种分析处理模型，使得该视频流采集侧具有一种情况下的AI分析能力，一对多即一个视频流采集侧绑定编排多种分析处理模型，使得该视频流采集侧同时具有多种情况下的AI分析能力，多对一即多个视频流采集侧均绑定编排同一种分析处理模型，这些视频流采集侧具有同一种情况下的AI分析能力，多对多即多个视频流采集侧绑定编排多种分析处理模型，每个视频流采集侧均同时具有多种情况下的AI分析能力，且，每个视频流采集侧均所具有的AI分析能力并非需要相同，可以根据实际运用场景，进行具体的AI分析能力的编排，对一种视频流可从多角度进行分析。
下面结合图3描述本发明的视频流的分析处理方法，由于每一路的视频流均可能同时具有多种情况下的AI分析能力，使得经过步骤S200的AI推理后，得到的推理结果也会是多个，因此，步骤S300具体包括以下步骤：
S310、发送视频流对应的至少一个推理结果至MQ。
S310、对每个推理结果对应帧数的图像信息重新编码，生成推理结果对应的推理视频流，每一个推理结果分别对应一个推理视频流。
下面对本发明提供的视频流的分析处理装置进行描述，下文描述的视频流的分析处理装置与上文描述的视频流的分析处理方法可相互对应参照。
下面结合图4描述本发明的视频流的分析处理装置，该装置运用在视频流采集侧例如摄像头设备中，该装置包括：
通道编排模块A100，用于采集至少一路的视频流，为接入的视频流编排分析处理模型。
通道编排模块A100中进行的是视频流的通道编排。通道编排设置灵活，针对需要分析的视频内容选择合适的分析处理模型即视频分析算法，通道编排模块A100通过为视频流进行通道编排，使得该装置支持对多种视频信息进行分析，支持视频流采集侧例如摄像头设备采集到的视频信息的直接分析、上传视频文件分析、RTSP视频流分析等。
由于接入的视频流采集侧可以是多个，所需要进行AI分析的场景类型也可以是多个，因此，该装置中通道编排的方式包括一对一、一对多、多对一以及多对多，一对一即一个视频流采集侧绑定编排一种分析处理模型，使得该视频流采集侧具有一种情况下的AI分析能力，一对多即一个视频流采集侧绑定编排多种分析处理模型，使得该视频流采集侧同时具有多种情况下的AI分析能力，多对一即多个视频流采集侧均绑定编排同一种分析处理模型，这些视频流采集侧具有同一种情况下的AI分析能力，多对多即多个视频流采集侧绑定编排多种分析处理模型，每个视频流采集侧均同时具有多种情况下的AI分析能力，且，每个视频流采集侧均所具有的AI分析能力并非需要相同，可以根据实际运用场景，进行具体的AI分析能力的编排。
每个绑定后的视频流采集侧(视频流通道)均可以作为一个分析通道，这样在后续分析视频流时就可以进行高效的组合，将需要分析的视频流建立不同分析通道即可实现一个摄像头多种分析场景用，同时便于后续将视频流的AI推理结果发送到公共消息组件供上层业务系统订阅。
需要说明的是，新增视频流采集侧(视频流通道)时可对视频流通道的类型进行设置，视频流采集侧可将视频文件、实时传递的视频流作为视频源。
推理模块A200，用于将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果。其中，推理结果中包含告警信息，分析处理模型推理所述视频流时，会将视频流解码为连续多帧的图像信息即图片。
具体的，推理模块A200中分析处理模型的推理过程具体包括以下步骤：
解码抽帧单元A210，用于将视频流作为推理用的输入数据，根据分析处理模型的参数，解码抽帧视频流，得到连续多帧的图像信息，并将图像信息保存在数据库中。
推理单元A220，用于从数据库中抽取并AI推理抽帧数据，生成推理结果。
在本实施例中，推理模块A200中的图像信息是保存在数据库中的。优选的，数据库可以采用Redis。同样的，是从Redis中获取图像信息并对图像信息进行分析推理，生成推理结果，以判断是否存在需要告警的数据，如通过安全帽场景分析处理模型对应的算法分析是否存在工人未佩戴安全帽的行为、通过口罩场景分析处理模型对应的算法分析是否存在工人未佩戴口罩的行为等。
编码模块A300、发送推理结果至MQ，并将推理结果对应的视频数据重新编码，具体的，将AI推理得到的推理结果对应帧数的图像信息及图片进行一帧一帧的重新编码，生成推理结果对应的推理视频流。重新编码并通过此种方式标注之后的推理视频流就可以明确的展示出AI推理的结果
在本实施例中，推理结果以固定格式保存至MQ，方便后续将告警信息进行解析及推送，具体的，该装置中的固定格式是Json数据格式。
告警推送模块A400，用于通过推流服务推送保存在MQ中重新编码后的推理视频流，例如，通过将编码后的推理视频流推送给公共消息组件，实现将存储在MQ中的告警信息发送给公共消息组件以供上层业务系统订阅，并形成业务闭环。
本发明的视频流的分析处理装置，通过将分析处理模型与视频流采集侧通道灵活编排，可以赋予普通的视频流采集侧例如摄像头设备AI推理分析能力，并且将AI推理能力与摄像头设备解耦，编排后，将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果，并且，分析处理模型推理视频流时，将视频流解码为连续多帧的图像信息，之后，将标准的推理结果数据返回到MQ，并以固定格式进行保存，因为在分析过程中可以对所分析的图像信息进行标注，因此可将分析后的带标注的图片重新编码为推理视频流并通过MQ向业务系统推送，重新编码后的推理视频流可以展示推理结果以及包含的告警信息，使得推送过程中可以将存储在MQ中的告警信息推送到公共消息组件以供上层业务系统订阅，形成业务闭环，摄像头设备因此可以对视频流进行灵活的视频分析。
下面结合图5描述本发明的视频流的分析处理装置，通道编排模块A100具体包括：
配置单元A110，用于配置分析处理仓。其中，分析处理仓中存储有分析处理模型以及分析处理模型对应的参数，参数包括关联AI算法、设置图片的保存类型、设置每秒的抽帧数量、图片的最小边长、过期时间、告警标签、消息推送类型等。在步骤S110中设置视频流相应的分析参数时支持多种参数组合设置。
配置分析处理仓中具体可以为：先通过大量的样本集针对分析处理模型进行训练，最终形成可用的分析处理模型。需要说明的是，该装置中还支持接入第三方的可用的分析处理模型，只要分析处理模型经过解码抽帧模块A200和推理模块A200的处理后，得到的数据格式为该装置中的固定格式即可。之后，将可用的分析处理模型发布上架，并为发布的分析处理模型发布配置相应的参数，可对发布后分析处理模型的参数进行手动设置，例如人脸识别算法可配置人脸库信息、区域入侵算法可配置区域的坐标信息等，针对不同的分析处理模型可配置不同的参数。之后，版本升级时可对分析处理模型的参数进行实时的更新。
采集单元A120，用于采集至少一路的视频流。
通道编排单元A130，用于基于分析处理仓，为每路的视频流编排分析处理模型。
该装置中通道编排的方式包括一对一、一对多、多对一以及多对多，一对一即一个视频流采集侧绑定编排一种分析处理模型，使得该视频流采集侧具有一种情况下的AI分析能力，一对多即一个视频流采集侧绑定编排多种分析处理模型，使得该视频流采集侧同时具有多种情况下的AI分析能力，多对一即多个视频流采集侧均绑定编排同一种分析处理模型，这些视频流采集侧具有同一种情况下的AI分析能力，多对多即多个视频流采集侧绑定编排多种分析处理模型，每个视频流采集侧均同时具有多种情况下的AI分析能力，且，每个视频流采集侧均所具有的AI分析能力并非需要相同，可以根据实际运用场景，进行具体的AI分析能力的编排，对一种视频流可从多角度进行分析。
下面结合图6描述本发明的视频流的分析处理装置，由于每一路的视频流均可能同时具有多种情况下的AI分析能力，使得经过推理模块A200的AI推理后，得到的推理结果也会是多个，因此，编码模块A300具体包括：
返回单元A310，用于发送视频流对应的至少一个推理结果至MQ。
编码单元A310，用于对每个推理结果对应帧数的图像信息重新编码，生成推理结果对应的推理视频流，每一个推理结果分别对应一个推理视频流。
下面结合图7描述本发明的摄像头设备，该摄像头设备包括：
通道编排模块B100，用于采集至少一路的视频流，为接入的视频流编排分析处理模型。
通道编排模块B100中进行的是视频流的通道编排。通道编排设置灵活，针对需要分析的视频内容选择合适的分析处理模型即视频分析算法，通道编排模块B100通过为视频流进行通道编排，使得该摄像头设备支持对多种视频信息进行分析，支持视频流采集侧例如摄像头设备采集到的视频信息的直接分析、上传视频文件分析、RTSP视频流分析等。
由于接入的摄像头设备可以是多个，所需要进行AI分析的场景类型也可以是多个，因此，通道编排的方式包括一对一、一对多、多对一以及多对多，一对一即一个摄像头设备绑定编排一种分析处理模型，使得该摄像头设备具有一种情况下的AI分析能力，一对多即一个摄像头设备绑定编排多种分析处理模型，使得该摄像头设备同时具有多种情况下的AI分析能力，多对一即多个摄像头设备均绑定编排同一种分析处理模型，这些摄像头设备具有同一种情况下的AI分析能力，多对多即多个摄像头设备绑定编排多种分析处理模型，每个摄像头设备均同时具有多种情况下的AI分析能力，且，每个摄像头设备均所具有的AI分析能力并非需要相同，可以根据实际运用场景，进行具体的AI分析能力的编排。
每个绑定后的摄像头设备(视频流通道)均可以作为一个分析通道，这样在后续分析视频流时就可以进行高效的组合，将需要分析的视频流建立不同分析通道即可实现一个摄像头多种分析场景用，同时便于后续将视频流的AI推理结果发送到公共消息组件供上层业务系统订阅。
需要说明的是，新增摄像头设备(视频流通道)时可对视频流通道的类型进行设置，视频流采集侧可将视频文件、实时传递的视频流作为视频源。
推理模块B200，用于将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果。其中，推理结果中包含告警信息，分析处理模型推理所述视频流时，会将视频流解码为连续多帧的图像信息即图片。
具体的，推理模块B200中分析处理模型的推理过程具体包括以下步骤：
解码抽帧单元B210，用于将视频流作为推理用的输入数据，根据分析处理模型的参数，解码抽帧视频流，得到连续多帧的图像信息，并将图像信息保存在数据库中。
推理单元B220，用于从数据库中抽取并AI推理抽帧数据，生成推理结果。
在本实施例中，推理模块B200中的图像信息是保存在数据库中的。优选的，数据库可以采用Redis。同样的，是从Redis中获取图像信息并对图像信息进行分析推理，生成推理结果，以判断是否存在需要告警的数据，如通过安全帽场景分析处理模型对应的算法分析是否存在工人未佩戴安全帽的行为、通过口罩场景分析处理模型对应的算法分析是否存在工人未佩戴口罩的行为等。
编码模块B300、发送推理结果至MQ，并将推理结果对应帧数的图像信息重新编码，具体的，将AI推理得到的推理结果对应的图像信息即图片进行一帧一帧的重新编码，生成推理结果对应的推理视频流。重新编码并通过此种方式标注之后的推理视频流就可以明确的展示出AI推理的结果
在本实施例中，推理结果以固定格式保存至MQ，方便后续将告警信息进行解析及推送，具体的，该摄像头设备中的固定格式是Json数据格式。
告警推送模块B400，用于通过推流服务推送保存在MQ中重新编码后的推理视频流，例如，通过将编码后的推理视频流推送给公共消息组件，实现将存储在MQ中的告警信息发送给公共消息组件以供上层业务系统订阅，并形成业务闭环。
本发明的摄像头设备，通过将分析处理模型与摄像头设备灵活编排，可以赋予普通的摄像头设备AI推理分析能力，并且将AI推理能力与摄像头设备解耦，编排后，将视频流输入至对应编排的分析处理模型，得到分析处理模型输出的推理结果，并且，分析处理模型推理视频流时，将视频流解码为连续多帧的图像信息，之后，将标准的推理结果数据返回到MQ，并以固定格式进行保存，因为在分析过程中可以对所分析的图像信息进行标注，因此可将分析后的带标注的图片重新编码为推理视频流并通过MQ向业务系统推送，重新编码后的推理视频流可以展示推理结果以及包含的告警信息，使得推送过程中可以将存储在MQ中的告警信息推送到公共消息组件以供上层业务系统订阅，形成业务闭环，摄像头设备因此可以对视频流进行灵活的视频分析。。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行视频流的分析处理方法，该方法包括以下步骤：
S100、采集至少一路的视频流，为所述视频流编排分析处理模型；
S200、将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
S300、发送所述视频流对应的所述推理结果至MQ，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；其中，所述推理结果以固定格式保存至所述MQ；
S400、推流服务推送保存在所述MQ中送重新编码后的所述推理视频流。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的视频流的分析处理方法，该方法包括以下步骤：
S100、采集至少一路的视频流，为所述视频流编排分析处理模型；
S200、将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
S300、发送所述视频流对应的所述推理结果至MQ，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；其中，所述推理结果以固定格式保存至所述MQ；
S400、推流服务推送保存在所述MQ中重新编码后的所述推理视频流。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的视频流的分析处理方法，该方法包括以下步骤：
S100、采集至少一路的视频流，为所述视频流编排分析处理模型；
S200、将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
S300、发送所述视频流对应的所述推理结果至MQ，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；其中，所述推理结果以固定格式保存至所述MQ；
S400、推流服务推送保存在所述MQ中重新编码后的所述推理视频流。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种视频流的分析处理方法，其特征在于，包括以下步骤：
采集至少一路的视频流，为所述视频流编排分析处理模型；
将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；其中，所述推理结果以固定格式保存至所述消息队列；
推流服务推流保存在所述消息队列中重新编码后的所述推理视频流。
2.根据权利要求1所述的视频流的分析处理方法，其特征在于，所述采集至少一路的视频流，为所述视频流编排分析处理模型，具体包括以下步骤：
配置分析处理仓；其中，所述分析处理仓中存储有所述分析处理模型以及所述分析处理模型对应的参数；
采集至少一路的所述视频流；
基于所述分析处理仓，为每路的视频流编排所述分析处理模型。
3.根据权利要求2所述的视频流的分析处理方法，其特征在于，所述编排的方式包括一对一、一对多、多对一以及多对多。
4.根据权利要求1所述的视频流的分析处理方法，其特征在于，所述分析处理模型的推理过程具体包括以下步骤：
将所述视频流作为推理用的输入数据，根据所述分析处理模型的参数，解码抽帧所述视频流，得到连续多帧的所述图像信息，并将图像信息保存在数据库中；
从所述数据库中抽取并推理所述抽帧数据，生成所述推理结果。
5.根据权利要求4所述的视频流的分析处理方法，其特征在于，所述数据库采用远程字典服务。
6.根据权利要求3所述的视频流的分析处理方法，其特征在于，所述发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流，具体包括以下步骤：
发送所述视频流对应的至少一个所述推理结果至所述消息队列；
对每个所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流。
7.一种视频流的分析处理装置，其特征在于，包括：
通道编排模块，用于采集至少一路的视频流，为所述视频流编排分析处理模型；
推理模块，用于将所述视频流输入至对应编排的所述分析处理模型，得到所述分析处理模型输出的推理结果；其中，所述推理结果中包含告警信息，所述分析处理模型推理所述视频流时，将所述视频流解码为连续多帧的图像信息；
编码模块，用于发送所述视频流对应的所述推理结果至消息队列，并将所述推理结果对应帧数的所述图像信息重新编码，生成所述推理结果对应的推理视频流；
告警推送模块，用于通过推流服务推送保存在所述消息队列中重新编码后的所述推理视频流。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述视频流的分析处理方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频流的分析处理方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频流的分析处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111005394.6A CN113869125A (zh) | 2021-08-30 | 2021-08-30 | 一种视频流的分析处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111005394.6A CN113869125A (zh) | 2021-08-30 | 2021-08-30 | 一种视频流的分析处理方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113869125A true CN113869125A (zh) | 2021-12-31 |
Family
ID=78988906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111005394.6A Pending CN113869125A (zh) | 2021-08-30 | 2021-08-30 | 一种视频流的分析处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113869125A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531603A (zh) * | 2022-02-10 | 2022-05-24 | 广联达科技股份有限公司 | 一种视频流的图像处理方法、系统及电子设备 |
| CN114915787A (zh) * | 2022-05-20 | 2022-08-16 | 苏州浪潮智能科技有限公司 | 视频流和ai模型的调度管理系统、方法、装置及存储介质 |
| CN115209179A (zh) * | 2022-05-27 | 2022-10-18 | 浪潮通信技术有限公司 | 视频数据处理方法及装置 |
| WO2023213073A1 (zh) * | 2022-05-05 | 2023-11-09 | 中国移动通信集团广东有限公司 | 移动视频ai平台及视频流处理方法 |
| CN117459792A (zh) * | 2023-12-20 | 2024-01-26 | 深圳市奔迈科技有限公司 | 基于视觉算法的视频处理方法和ai盒子 |
-
2021
- 2021-08-30 CN CN202111005394.6A patent/CN113869125A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531603A (zh) * | 2022-02-10 | 2022-05-24 | 广联达科技股份有限公司 | 一种视频流的图像处理方法、系统及电子设备 |
| CN114531603B (zh) * | 2022-02-10 | 2024-03-22 | 广联达科技股份有限公司 | 一种视频流的图像处理方法、系统及电子设备 |
| WO2023213073A1 (zh) * | 2022-05-05 | 2023-11-09 | 中国移动通信集团广东有限公司 | 移动视频ai平台及视频流处理方法 |
| CN114915787A (zh) * | 2022-05-20 | 2022-08-16 | 苏州浪潮智能科技有限公司 | 视频流和ai模型的调度管理系统、方法、装置及存储介质 |
| CN115209179A (zh) * | 2022-05-27 | 2022-10-18 | 浪潮通信技术有限公司 | 视频数据处理方法及装置 |
| CN117459792A (zh) * | 2023-12-20 | 2024-01-26 | 深圳市奔迈科技有限公司 | 基于视觉算法的视频处理方法和ai盒子 |
| CN117459792B (zh) * | 2023-12-20 | 2024-04-26 | 深圳市奔迈科技有限公司 | 基于视觉算法的视频处理方法和ai盒子 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113869125A (zh) | 一种视频流的分析处理方法、装置、设备及可读存储介质 | |
| US20220038724A1 (en) | Video stream decoding method and apparatus, terminal device, and storage medium | |
| US11412270B2 (en) | Method and apparatus for processing multimedia file, storage medium, and electronic apparatus | |
| US20170193810A1 (en) | Video event detection and notification | |
| CN115866356A (zh) | 一种视频的水印添加方法、装置、设备及存储介质 | |
| CN114679607B (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
| CN110969572A (zh) | 换脸模型训练方法、人脸互换方法、装置及电子设备 | |
| CN111343503B (zh) | 视频的转码方法、装置、电子设备及存储介质 | |
| CN111476124A (zh) | 摄像头检测方法、装置、电子设备及系统 | |
| US20240080495A1 (en) | Iteratively updating a filtering model | |
| CN110891195B (zh) | 花屏图像的生成方法、装置、设备和存储介质 | |
| CN111814669A (zh) | 一种银行网点异常行为的识别方法及装置 | |
| CN104333765B (zh) | 一种视频直播流的处理方法及处理装置 | |
| CN116193197A (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
| CN113179261B (zh) | 视频流处理方法及装置、存储介质和平台服务器 | |
| US10666711B2 (en) | Automated adaption of a codec | |
| CN115209179A (zh) | 视频数据处理方法及装置 | |
| CN112132079B (zh) | 在线教学中监控学生的方法、装置及系统 | |
| CN110855619B (zh) | 播放音视频数据的处理方法、装置、存储介质及终端设备 | |
| CN111541864B (zh) | 一种数字视网膜软件定义摄像机方法及系统 | |
| US11350134B2 (en) | Encoding apparatus, image interpolating apparatus and encoding program | |
| CN108933945B (zh) | 一种gif图片的压缩方法、装置及存储介质 | |
| CN111757115A (zh) | 一种视频流处理方法及装置 | |
| CN112822511A (zh) | 视频处理方法、系统、智能终端及计算机可读存储介质 | |
| CN111010534A (zh) | 实时异步视频分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |