CN117459792B - 基于视觉算法的视频处理方法和ai盒子 - Google Patents

基于视觉算法的视频处理方法和ai盒子 Download PDF

Info

Publication number
CN117459792B
CN117459792B CN202311757168.2A CN202311757168A CN117459792B CN 117459792 B CN117459792 B CN 117459792B CN 202311757168 A CN202311757168 A CN 202311757168A CN 117459792 B CN117459792 B CN 117459792B
Authority
CN
China
Prior art keywords
algorithm
data
visual
push
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311757168.2A
Other languages
English (en)
Other versions
CN117459792A (zh
Inventor
李大帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Benmai Technology Co ltd
Original Assignee
Shenzhen Benmai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Benmai Technology Co ltd filed Critical Shenzhen Benmai Technology Co ltd
Priority to CN202311757168.2A priority Critical patent/CN117459792B/zh
Publication of CN117459792A publication Critical patent/CN117459792A/zh
Application granted granted Critical
Publication of CN117459792B publication Critical patent/CN117459792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及视频处理领域,具体公开了一种基于视觉算法的视频处理方法和AI盒子。该方法包括:使用相机协议获取局域网内的相机视频流数据;将获取到的所述相机视频流数据进行解码,得到解码数据;将所述相机视频流数据解码后的所述解码数据使用包括各种监控场景的集成视觉算法处理,生成算法结果信息;将所述算法结果信息进行编码,生成推流视频和推送信息。通过包含了各种监控场景的集成视觉算法对监控场景中的视频处理,得到推流视频和推送信息,达到远程监控的目的,可以实现一次部署AI盒子就能适配各种场景下危险预警的功能。

Description

基于视觉算法的视频处理方法和AI盒子
技术领域
本发明涉及视频处理领域,尤其涉及一种基于视觉算法的视频处理方法和AI盒子。
背景技术
在当前人工智能AI技术的高速发展下,嵌入式AI成为目前监控领域的核心驱动力,能解决智慧工地、智慧工厂、智慧农业、智慧电力、危化品企业智能化等各种生产安全问题。
然而,在目前的安防领域的市场中,在AI盒子中预设有某个场景的监控算法,对应监控一种危险场景预警,缺少适配所有监控场景的AI盒子,需要经常升级改造才能适配不同的场景。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种基于视觉算法的视频处理方法和AI盒子,旨在解决现有技术中的AI盒子需要经常升级改造才能适配不同的场景,无法适配所有监控场景的技术问题。
为实现上述目的,本发明提供了一种基于视觉算法的视频处理方法,所述方法包括以下步骤:
使用相机协议获取局域网内的相机视频流数据;
将获取到的所述相机视频流数据进行解码,得到解码数据;
将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息;其中,所述集成视觉算法包括各种监控场景的视觉算法;
将所述算法结果信息进行编码,生成推流视频和推送信息。
可选的,所述将获取到的所述相机视频流数据进行解码,得到解码数据的步骤包括:
将所述相机视频流数据解码得到YUV数据;
将每一帧所述YUV数据与帧ID及帧率进行封装结合,得到所述解码数据。
可选的,所述将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理的步骤之前,还包括:
基于各种监控场景构建对应的视觉算法;
集成多种监控场景的视觉算法构建集成视觉算法。
可选的,所述将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息的步骤包括:
将所述解码数据使用集成视觉算法中的单个所述视觉算法进行处理得到单个算法结果;
将处理得到的所述单个算法结果与所述解码数据结合保存,生成所述算法结果信息。
可选的,所述将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息的步骤,还包括:
将所述解码数据使用集成视觉算法中的全部所述视觉算法进行处理得到全部算法结果;
将处理得到的所述全部算法结果与所述解码数据结合保存,生成所述算法结果信息。
可选的,所述将所述算法结果信息进行编码,生成推流视频和推送信息的步骤包括:
在YUV图像上绘制上所述算法结果信息;
将所述算法结果信息进行封装处理;
根据绘制了所述算法结果信息的YUV图像进行编码生成推流视频,根据所述封装处理后的所述算法结果信息生成推送信息。
此外,为实现上述目的,本发明还提出一种AI盒子,所述AI盒子包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉算法的视频处理程序,所述基于视觉算法的视频处理程序配置为实现上述的基于视觉算法的视频处理方法的步骤。
可选的,所述AI盒子还包括:千兆通信网口,通过所述千兆通信网口与交换机连接,接收所述交换机传输的所述相机视频流数据,并将所述推流视频和推送信息传输至所述交换机。
可选的,所述AI盒子还包括:多种硬件通信串口,通过硬件通信串口与外部设备连接,接收所述外部设备传输的所述相机视频流数据,并将所述推流视频和推送信息传输至所述外部设备。
可选的,所述AI盒子还包括:参数设置模块;
所述参数设置模块,用于设置接收所述相机视频流数据的地址以及传输所述推流视频和推送信息的目标服务器IP地址。
本发明技术方案包括:使用相机协议获取局域网内的相机视频流数据;将获取到的所述相机视频流数据进行解码,得到解码数据;将所述相机视频流数据解码后的所述解码数据使用包括各种监控场景的集成视觉算法处理,生成算法结果信息;将所述算法结果信息进行编码,生成推流视频和推送信息。通过包含了各种监控场景的集成视觉算法对监控场景中的视频处理,得到推流视频和推送信息,达到远程监控的目的。可以实现一次部署AI盒子就能适配各种场景下危险预警的功能。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的AI盒子的结构框图;
图2为本发明基于视觉算法的视频处理方法第一实施例的流程示意图;
图3为本发明基于视觉算法的视频处理方法第二实施例的流程示意图;
图4为本发明基于视觉算法的视频处理方法第三实施例的流程示意图;
图5为本发明AI盒子的结构示意图。
附图标号说明:
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的AI盒子的结构框图。
如图1所示,该AI盒子中可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对AI盒子的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于视觉算法的视频处理程序。
在图1所示的AI盒子中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明AI盒子的处理器1001、存储器1005可以设置在AI盒子中,所述AI盒子通过处理器1001调用存储器1005中存储的基于视觉算法的视频处理程序,并执行本发明实施例提供的基于视觉算法的视频处理方法。
本发明实施例提供了一种基于视觉算法的视频处理方法,参照图2,图2为本发明基于视觉算法的视频处理方法第一实施例的流程示意图。
在本实施例中,所述基于视觉算法的视频处理方法包括以下步骤:
步骤S10:使用相机协议获取局域网内的相机视频流数据。
需要说明的是,本实施方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的数据通信设备(如手机、平板电脑、个人电脑等),或者是能够实现相同或相似功能的电子设备,例如上述AI盒子。本实施例及下述各实施例将以上述AI盒子为例进行说明。
应当理解的是,所述AI盒子可以与局域网内的相机设备进行通讯和数据交换,可以使用实时数据流传输协议(Real-Time Streaming Protocol,RTSP)、音视频数据传输协议(Real-Time Messaging Protocol,RTMP)和GB2881国标协议进行视频数据的传输。
需要说明的是,所述相机视频流数据可以是在上述AI盒子局域网内的所述相机设备,将捕捉拍摄到的视频以上述相机协议处理的数据。所述AI盒子可以通过接收局域网内的相机视频流数据的方式获取相机设备拍摄的视频。
步骤S20:将获取到的所述相机视频流数据进行解码,得到解码数据。
需要说明的是,所述将获取到的所述相机视频流数据进行解码的过程可以是将上述获取到的相机视频流数据逐帧以数学方式描述色彩空间,将每一帧图片的颜色信息以数据的形式保存。所述解码的方法可以包括RGB方式,即通过三原色红、绿和蓝的亮度值组合来表示具体的颜色,可以通过修改三原色各自亮度值的方式表示不同的颜色。所述解码的方法还可以包括YUV方式,即通过灰度值、色度值和饱和度值的组合来表示具体的颜色,可以通过修改数值组合的方式表示不同的颜色。
应当理解的是,将所述相机视频流数据每一帧图片均按照上述解码方式解码,得到的数值组合即为所述解码数据。
步骤S30:将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息。
需要说明的是,所述集成视觉算法包括各种监控场景的视觉算法。所述视觉算法可以是应用于视频监控系统中识别的人工智能算法,可以通过图像识别和处理技术对上述解码数据分析,检测各种监控场景中的目标、行为和事件,实现智能化监控的功能。
其中,所述各种监控场景可以是在工作场地中需要危险预警并进行监控的所有场景。可以包括:未佩戴安全帽报警、未穿戴工作服报警、未佩戴安全带报警、未佩戴反光衣报警、火焰报警、烟雾报警、消防设施检测、杂物堆放、摔倒检测、睡岗检测、人员离岗、人脸检测、人形检测、车牌检测、人脸识别对比、车牌对比、人员离开、非机动车禁停、非机动车离开、骑车未戴安全帽、机动车超出数量等工作场地中可能发生的预警场景。
应当理解的是,将上述所有监控场景的视觉算法组合形成所述集成视觉算法。通过所述集成视觉算法,将所述解码数据进行处理,可以实现对所有监控场景的检测和预警功能,并生成所述算法结果信息。
进一步地,所述算法结果信息可以是利用所述集成视觉算法对所有监控场景进行检测判断并得出结果,并将结果封装成的数据信息。所述算法结果信息可以通过将判断结果绘制在上述色彩空间的每一帧图片上(例如上述RGB图像或YUV图像)绘制标记框或标记文字的方式进行结果展示。
步骤S40:将所述算法结果信息进行编码,生成推流视频和推送信息。
需要说明的是,可以将所述算法结果信息进行编码,将其转换为压缩后的视频数据。可以采用视频编码器进行上述编码过程,如H264或H265等。编码后的视频数据可以减少存储空间和传输带宽的占用。
进一步地,还可以将所述算法结果信息进行编码,将其转换为可传输的结构化易读数据。可以采用轻量级数据交换格式(JavaScript Object Notation,JSON)的方式进行封装,即通过将数据组织成键值对的形式,并使用大括号和方括号进行包裹的方式封装。
应当理解的是,所述推流视频可以是上述压缩后的视频数据,可以将所述推流视频通过网络协议传输给接收端。所述推送信息可以是上述可传输的结构化易读数据,可以将所述推送信息通过网络协议发送给外部设备或系统。
在本实施例中,通过使用相机协议获取局域网内的相机视频流数据;将获取到的所述相机视频流数据进行解码,得到解码数据;将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息;其中,所述集成视觉算法包括各种监控场景的视觉算法;将所述算法结果信息进行编码,生成推流视频和推送信息。通过包含了各种监控场景的集成视觉算法对监控场景中的视频处理,得到推流视频和推送信息,达到远程监控的目的。可以实现一次部署AI盒子就能适配各种场景下危险预警的功能。
参考图3,图3为本发明基于视觉算法的视频处理方法第二实施例的流程示意图。基于上述第一实施例,在本实施例中,所述步骤S20包括:
步骤S201:将所述相机视频流数据解码得到YUV数据。
需要说明的是,所述YUV数据可以是表示和传输彩色图像或视频数据。所述YUV数据中可以用Y表示亮度分量,即图像的黑白信息,决定了图像的明暗程度。可以用U和V表示色度分量,即图像的颜色信息,决定了图像的色彩和饱和度。YUV数据通常以像素为单位进行存储和传输,每个像素包含一个Y值和一对UV值,以提高图像和视频的压缩效率。
应当理解的是,从相机或其他视频源中获取的所述相机视频流数据,通常是压缩格式,因此要先对所述相机视频流数据解码转换成原始的像素数据。进而从解码后的像素数据中提取YUV数据。
步骤S202:将每一帧所述YUV数据与帧ID及帧率进行封装结合,得到所述解码数据。
需要说明的是,上述封装结合的过程可以是将每一帧的YUV数据以及其他与YUV数据相关信息一起打包封装,形成数据包的过程。与YUV数据相关信息可以包括上述帧ID及帧率信息。
应当理解的是,所述帧ID信息可以用于标识每一帧的顺序,所述帧率可以记录视频的播放速度。将所述帧ID、所述帧率以及每一帧所述YUV数据结合形成的数据包即为所述解码数据。
进一步地,所述步骤S30之前,还包括:
步骤S203:基于各种监控场景构建对应的视觉算法。
需要说明的是,在工作场地中需要危险预警并进行监控的所有场景包括未佩戴安全帽报警、未穿戴工作服报警、未佩戴安全带报警、未佩戴反光衣报警、火焰报警、烟雾报警、消防设施检测、杂物堆放、摔倒检测、睡岗检测、人员离岗、人脸检测、人形检测、车牌检测、人脸识别对比、车牌对比、人员离开、非机动车禁停、非机动车离开、骑车未戴安全帽、机动车超出数量等工作场地中可能发生的预警场景。可以通过图像分割、特征提取技术以及基于深度学习的行为分析和识别技术,提取监控场景中的异常行为并发出预警信息。
应当理解的是,对上述所有的监控场景均可以对每一个场景均构建对应的视觉算法。任何场景中出现异常行为均可以通过所述视觉算法发出预警信息。
步骤S204:集成多种监控场景的视觉算法构建集成视觉算法。
需要说明的是,可以将上述多个监控场景中的多种视觉算法进行数据融合决策,将所有监控场景的所有视觉算法整合构成所述集成视觉算法。
应当理解的是,可以通过使用所述集成视觉算法对包含了监控场景的视频进行处理,任何在视频的监控场景中出现异常行为均可以通过所述视觉算法发出预警信息。
在本实施例中,通过将所述相机视频流数据解码得到YUV数据;将每一帧所述YUV数据与帧ID及帧率进行封装结合,得到所述解码数据使用YUV方式传输彩色图像或视频数据,提高了图像和视频的压缩效率。通过基于各种监控场景构建对应的视觉算法;集成多种监控场景的视觉算法构建集成视觉算法。可以部署到实际的监控场所中,实现对多种监控场景的综合监控和分析,提高监控效率和准确性。
参考图4,图4为本发明基于视觉算法的视频处理方法第三实施例的流程示意图。基于上述实施例,在本实施例中,所述步骤S30包括:
步骤S301:将所述解码数据使用集成视觉算法中的单个所述视觉算法进行处理得到单个算法结果。
需要说明的是,将上述帧ID、所述帧率以及每一帧所述YUV数据结合形成的所述解码数据通过所述集成视觉算法中的每一个视觉算法进行处理,得到单个算法对应的监控场景下的算法结果。
应当理解的是,可以通过对所述集成视觉算法的控制变量进行设置,可以控制所述视觉算法的开启或关闭。开启的所述视觉算法可以对所述解码数据进行处理得到所述算法结果。关闭的所述视觉算法处于休眠状态,不会对所述解码数据进行处理。
步骤S302:将处理得到的所述单个算法结果与所述解码数据结合保存,生成所述算法结果信息。
需要说明的是,使用所述算法结果处理后的所述算法结果可以与上述帧ID、所述帧率以及每一帧所述YUV数据结合形成的所述解码数据相结合,并使用线程安全的数据结构(例如缓存队列)来保存结果。缓存队列可以是,用于存储数据的数据结构。
应当理解的是,解析缓存队列中的算法结果,并进行阈值判断。根据阈值的判断结果,可以将绘制结果在YUV图像上,进而形成所述算法结果信息。
进一步地,所述步骤S30,还包括:
步骤S303:将所述解码数据使用集成视觉算法中的全部所述视觉算法进行处理得到全部算法结果。
需要说明的是,由于可以通过对所述集成视觉算法的控制变量进行设置,控制所述集成视觉算法中每个视觉算法的开启或关闭。因此需要对所述集成视觉算法中全部开启的所述视觉算法对所述解码数据进行处理,得到所述全部算法结果。
应当理解的是,所述全部算法结果包含了实际的监控场所中的全部监控场景的分析结果。
步骤S304:将处理得到的所述全部算法结果与所述解码数据结合保存,生成所述算法结果信息。
需要说明的是,所述全部算法结果可以与上述帧ID、所述帧率以及每一帧所述YUV数据结合形成的所述解码数据相结合,并使用线程安全的数据结构(例如缓存队列)来保存结果。
应当理解的是,解析缓存队列中的全部算法结果,并进行阈值判断。根据阈值的判断结果,可以将绘制结果在YUV图像上,进而形成所述全部算法结果信息。绘制在所述YUV图像上的所述全部算法结果信息包含了实际的监控场所中的全部监控场景的分析结果。
进一步地,所述步骤S40包括:
步骤S401:在YUV图像上绘制上所述算法结果信息。
需要说明的是,可以通过在上述YUV图像中绘制标记框或标记文字的方式绘制所述算法结果信息。
应当理解的是,经过上述集成视觉算法处理后的所述算法结果信息可以对YUV图像中的全部监控场景的分析结果,通过绘制标记框或标记文字的方式进行展示。
步骤S402:将所述算法结果信息进行封装处理。
需要说明的是,所述封装处理可以是将YUV数据、帧ID和帧率等信息打包成一个数据包的处理过程。这个数据包可以使用二进制格式或其他格式进行存储和传输。在解码时,可以按照数据包的格式进行解析,提取出YUV数据和相关信息进行解码和处理,进而还原出原始的图像或视频数据进行分析。
应当理解的是,上述算法结果信息是每一帧YUV图像的算法结果信息,可以将所述相机视频流数据解码获得的多帧YUV图像的所述算法结果信息均进行封装处理。
步骤S403:根据绘制了所述算法结果信息的YUV图像进行编码生成推流视频,根据所述封装处理后的所述算法结果信息生成推送信息。
需要说明的是,可以将绘制了所述算法结果信息的YUV图像进行编码,可以采用H264编码方式将其转换为压缩后的视频数据,即为所述推流视频。可以将所述推流视频传输至监控后台实现远程监控的目的。
应当理解的是,可以所述算法结果信息采用JSON方式进行封装,即为所述推送信息,可以将所述推送信息通过网络协议发送给外部设备或系统。
进一步地,所述推送信息中还封装有AI盒子的运行状态,例如:CPU使用率、任务线程的管理、网口IP等信息。
在本实施例中,通过所述集成视觉算法对上述解码数据进行处理,获得所述算法结果信息,并将所述算法结构信息进行编码形成所述推流视频和所述推送信息,发送至外部系统实现远程监控的效果。集成了多种监控场景的视觉算法构建集成视觉算法。实现对多种监控场景的远程监控和分析,提高监控效率和准确性。
此外,本发明实施例还提出一种AI盒子,参照图5,图5为本发明AI盒子的结构示意图。如图5所示,本发明实施例提出的AI盒子包括:上述存储有基于视觉算法的视频处理程序的存储器1005以及所述处理器1001。
进一步地,所述AI盒子还包括:千兆通信网口1。
需要说明的是,所述AI盒子可以通过所述千兆通信网口与交换机连接,接收所述交换机传输的所述相机视频流数据,并将所述推流视频和推送信息传输至所述交换机。
应当理解的是,上述相机设备通过连接到交换机,将所述相机视频流数据传输至所述交换机,进而传输至所述AI盒子。通过设置四个所述千兆通信网口1与交换机连接,可以使得局域网内的相机设备获取视频流相互隔离,防止网络报文的洪水效应。
进一步地,所述AI盒子还包括:多种硬件通信串口2。可以包括rs232、rs485、CAN总线、USB2.0和USB3.0等通信串口。
需要说明的是,所述AI盒子通过所述硬件通信串口2与外部设备连接,接收所述外部设备传输的所述相机视频流数据,并将所述推流视频和推送信息传输至所述外部设备。
进一步地,所述AI盒子还包括:参数设置模块3。
需要说明的是,所述参数设置模块3可以设置接收所述相机视频流数据的地址以及传输所述推流视频和推送信息的目标服务器IP地址。
应当理解的是,通过设置接收地址和所述目标服务器IP地址,可以修改连接的所述相机设备的通信进而旋转接收到的所述相机视频流数据;同时可以修改所述推流视频和推送信息传输的外部设备和系统。
进一步地,所述参数设置模块3还可以自定义MQTT和Http消息协议模板,实现远程的运维管理。
在本实施例中,通过设置四组千兆通信网口1,与交换机连接并进行数据交换,将不同网口的数据相互隔离,以防止网络报文的洪水效应。通过设置硬件通信串口2与外部设备连接,可以接入全部现有的视频通讯设备,适配更多的监控场景。通过设置所述参数设置模块3修改接收地址和传输目标地址,实现不同监控场景的远程切换处理,能实现危险的工作场地里一次部署AI盒子,可以达到长期远程监控和危险预警的功能。
本发明AI盒子的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于视觉算法的视频处理方法,其特征在于,所述基于视觉算法的视频处理方法包括:
使用相机协议获取局域网内的相机视频流数据;
将获取到的所述相机视频流数据进行解码,得到解码数据;
将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息;其中,所述集成视觉算法包括各种监控场景的视觉算法;
将所述算法结果信息进行编码,生成推流视频和推送信息;
其中,所述将获取到的所述相机视频流数据进行解码,得到解码数据的步骤包括:
将所述相机视频流数据解码得到YUV数据;
将每一帧所述YUV数据与帧ID及帧率进行封装结合,得到所述解码数据;
其中,所述将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理的步骤之前,还包括:
基于各种监控场景构建对应的视觉算法;
集成多种监控场景的视觉算法构建集成视觉算法,其中集成过程包括将多个监控场景中的多种视觉算法进行数据融合决策;
其中,将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息的步骤包括:
将所述解码数据使用集成视觉算法中的单个所述视觉算法进行处理得到单个算法结果;其中,通过对所述集成视觉算法的控制变量进行设置,控制所述集成视觉算法中每个视觉算法的开启或关闭,开启的所述视觉算法对所述解码数据进行处理得到所述算法结果,关闭的所述视觉算法处于休眠状态;
将处理得到的所述单个算法结果与所述解码数据结合保存,生成所述算法结果信息;
所述将所述相机视频流数据解码后的所述解码数据使用集成视觉算法处理,生成算法结果信息的步骤,还包括:
将所述解码数据使用集成视觉算法中的全部所述视觉算法进行处理得到全部算法结果;
将处理得到的所述全部算法结果与所述解码数据结合保存,生成所述算法结果信息;
所述将所述算法结果信息进行编码,生成推流视频和推送信息的步骤包括:
在YUV图像上绘制上所述算法结果信息;
将所述算法结果信息进行封装处理;
根据绘制了所述算法结果信息的YUV图像进行编码生成推流视频,根据所述封装处理后的所述算法结果信息生成推送信息。
2.一种AI盒子,其特征在于,所述AI盒子包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉算法的视频处理程序,所述基于视觉算法的视频处理程序配置为实现如权利要求1所述的基于视觉算法的视频处理方法的步骤。
3.如权利要求2所述的AI盒子,其特征在于,所述AI盒子还包括:千兆通信网口,通过所述千兆通信网口与交换机连接,接收所述交换机传输的所述相机视频流数据,并将所述推流视频和推送信息传输至所述交换机。
4.如权利要求3所述的AI盒子,其特征在于,所述AI盒子还包括:多种硬件通信串口,通过硬件通信串口与外部设备连接,接收所述外部设备传输的所述相机视频流数据,并将所述推流视频和推送信息传输至所述外部设备。
5.如权利要求4所述的AI盒子,其特征在于,所述AI盒子还包括:参数设置模块;
所述参数设置模块,用于设置接收所述相机视频流数据的地址以及传输所述推流视频和推送信息的目标服务器IP地址。
CN202311757168.2A 2023-12-20 2023-12-20 基于视觉算法的视频处理方法和ai盒子 Active CN117459792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311757168.2A CN117459792B (zh) 2023-12-20 2023-12-20 基于视觉算法的视频处理方法和ai盒子

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311757168.2A CN117459792B (zh) 2023-12-20 2023-12-20 基于视觉算法的视频处理方法和ai盒子

Publications (2)

Publication Number Publication Date
CN117459792A CN117459792A (zh) 2024-01-26
CN117459792B true CN117459792B (zh) 2024-04-26

Family

ID=89589436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311757168.2A Active CN117459792B (zh) 2023-12-20 2023-12-20 基于视觉算法的视频处理方法和ai盒子

Country Status (1)

Country Link
CN (1) CN117459792B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901630A (zh) * 2020-06-17 2020-11-06 视联动力信息技术股份有限公司 一种数据传输方法、装置、终端设备和存储介质
CN113869125A (zh) * 2021-08-30 2021-12-31 浪潮软件科技有限公司 一种视频流的分析处理方法、装置、设备及可读存储介质
CN114745229A (zh) * 2022-02-15 2022-07-12 成都臻识科技发展有限公司 一种嵌入式ai视频网关及其实现方法
CN115801487A (zh) * 2022-10-25 2023-03-14 中国电信股份有限公司 视频ai盒子、视频数据处理方法、装置及电子设备
CN116980569A (zh) * 2023-08-29 2023-10-31 高花妹 一种基于云计算的安全监控系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8941735B2 (en) * 2008-07-25 2015-01-27 International Business Machines Corporation Network based real-time analytics of raw video streams

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901630A (zh) * 2020-06-17 2020-11-06 视联动力信息技术股份有限公司 一种数据传输方法、装置、终端设备和存储介质
CN113869125A (zh) * 2021-08-30 2021-12-31 浪潮软件科技有限公司 一种视频流的分析处理方法、装置、设备及可读存储介质
CN114745229A (zh) * 2022-02-15 2022-07-12 成都臻识科技发展有限公司 一种嵌入式ai视频网关及其实现方法
CN115801487A (zh) * 2022-10-25 2023-03-14 中国电信股份有限公司 视频ai盒子、视频数据处理方法、装置及电子设备
CN116980569A (zh) * 2023-08-29 2023-10-31 高花妹 一种基于云计算的安全监控系统及方法

Also Published As

Publication number Publication date
CN117459792A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
JP7057651B2 (ja) プライバシーマスクされた画像を符号化すること
US20200356742A1 (en) Image recognition method and apparatus
CN102413320A (zh) 一种无线网络智能视频监控系统的实现方法
TW201722136A (zh) 保全系統及方法
EP3383030B1 (en) Osd information generation camera, osd information synthesis terminal (20), and osd information sharing system comprising same
CN201369791Y (zh) 移动多媒体安防监控系统
CN101562729B (zh) 一种基于手机交互的家居视频监控系统及方法
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN113542875A (zh) 视频处理方法、装置、电子设备以及存储介质
CN110598596A (zh) 一种危险行为监测方法、装置及电子设备
CN101600097B (zh) 移动多媒体安防监控的方法和系统
CN117459792B (zh) 基于视觉算法的视频处理方法和ai盒子
US10805527B2 (en) Image processing device and method
CN115019462A (zh) 视频处理方法、装置、存储介质及设备
CN108288026A (zh) 带有图像色彩识别及报警功能的视频监控系统及方法
CN111294543A (zh) 一种针对视频监控拍照防护的系统和方法
US20200380635A1 (en) Configuring alpha channel video based on display settings
CN112543376A (zh) 一种基于物联网的自运营媒体运维方法、系统、存储介质及装置
CN112348627A (zh) 应用推送方法、装置、设备及计算机可读存储介质
CN111782876A (zh) 一种数据处理方法、装置、系统及存储介质
CN111565303A (zh) 基于雾计算及深度学习的视频监控方法、系统和可读存储介质
CN114938408B (zh) 一种云手机的数据传输方法、系统、设备及介质
CN116193197A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN115611105A (zh) 一种基于大数据的用户管理分析系统及方法
CN114241396A (zh) 灯效控制方法、系统、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant