CN109089160A - 一种高校餐厅食品加工违规行为视频分析系统及方法 - Google Patents

一种高校餐厅食品加工违规行为视频分析系统及方法 Download PDF

Info

Publication number
CN109089160A
CN109089160A CN201811091998.5A CN201811091998A CN109089160A CN 109089160 A CN109089160 A CN 109089160A CN 201811091998 A CN201811091998 A CN 201811091998A CN 109089160 A CN109089160 A CN 109089160A
Authority
CN
China
Prior art keywords
video
picture
module
unlawful practice
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811091998.5A
Other languages
English (en)
Other versions
CN109089160B (zh
Inventor
周鹏
戴永寿
孙伟峰
万勇
李立刚
曲晓俊
郝宪锋
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201811091998.5A priority Critical patent/CN109089160B/zh
Publication of CN109089160A publication Critical patent/CN109089160A/zh
Priority to PCT/CN2019/087707 priority patent/WO2020057159A1/zh
Application granted granted Critical
Publication of CN109089160B publication Critical patent/CN109089160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Abstract

本发明公开了一种高校餐厅食品加工违规行为视频分析系统及方法，属于图像处理领域，系统包括硬件系统和软件系统；软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块。本发明视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测；在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述两种违规行为的视频分析方法；测试结果验证了系统功能的正确性；本发明方法提高了预防食品安全风险的能力。

Description

一种高校餐厅食品加工违规行为视频分析系统及方法
技术领域
本发明属于图像处理领域，具体涉及一种高校餐厅食品加工违规行为视频分析系统及方法。
背景技术
高校餐厅作为学校广大师生员工集中就餐的场所，对食品安全的要求非常严格。一旦出现食品安全事故，由于学校人员高度密集的特点，其造成的后果将非常严重。尽管目前很多食品生产经营企业(例如：高校餐厅)都布设了很多摄像机用于采集食品生产、经营行为的视频。但受各种客观条件的限制，多数企业都不能安排专门的监管人员进行实时监视。另外，即便安排了专门的监管人员进行监视，由于摄像机的机位较多，造成工作人员的劳动强度大、工作效率低、监视效果差。在上述现状下，所采集的视频一般只能用于事后的责任追溯，不能及时预防食品安全风险的发生。为此，有必要在食品安全管理信息化系统中建设专门的视频分析子系统，对一些典型的食品加工违规行为进行自动监视和报警，提高食品安全风险的预防能力。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种高校餐厅食品加工违规行为视频分析系统及方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种高校餐厅食品加工违规行为视频分析系统，包括硬件系统和软件系统；其中，
硬件系统，包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站；摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接，视频分析工作站和汇聚交换机通过网线连接；
软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块；
实时视频读取模块，被配置用于读取配置文件后从网络录像机实时读取视频；
视频分析模块，被配置用于对食品加工过程中可能出现的违规行为进行检测；
违规行为图片存储模块，被配置用于存储检测到的违规行为的图片；
手机短信报警模块，被配置用于检测到违规行为时自动向管理人员发送短信进行报警；
日志记录模块，被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息，也用于自动维护和显示数据库的访问记录；
参数配置模块，被配置用于供用户进行各种参数的配置。
此外，本发明还提出一种高校餐厅食品加工违规行为视频分析方法，该方法采用如上所述的高校餐厅食品加工违规行为视频分析系统，设该系统布设有N台摄像机，视频分析工作站有M个CPU核，N＞＞M，N除以M的整数商是K、余数是L，0≤L<M，i表示当前要进行视频读取和处理的CPU核编号，1≤i≤M；
当K和L确定后，P是与i有关的变量，且有：
当L<i时，P＝K-1；
当L≥i时，P＝K；
第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作，第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作，…，第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作；
具体包括如下步骤：
步骤1：设i＝1；
步骤2：通过实时视频读取模块，读取配置文件，获取第i个CPU核所负责摄像机的各自的视频分析周期和需检测行为的编号，并将摄像机集合记为Ci；每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中；
步骤3：通过实时视频读取模块，读取Ci中第1台摄像机第1个视频帧对应的图片，并根据该摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤4：通过实时视频读取模块，依次读取Ci中其它摄像机第1个视频帧对应的图片，并根据这些摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤5：根据Ci中各摄像机各自的视频分析周期，确定对这些摄像机进行视频分析的顺序；
步骤6：根据分析顺序，依次完成各摄像机其它视频帧的视频分析，当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤7：令i＝i+1，重复步骤2-6，直至完成所有M个CPU核所负责摄像机的视频分析工作。
优选地，违规行为，包括员工不着工作服行为和用素食案板加工生肉行为。
优选地，员工不着工作服行为的视频分析方法如下：
步骤S01：读取摄像机视频帧，生成待分析图片；
步骤S02：读取数据库中有效区域的信息，仅保留待分析图片的有效区域；
步骤S03：对待分析图片进行人脸检测；
步骤S04：判断是否检测到人脸区域；
若：判断结果是检测到人脸区域，则根据检测到的人脸区域长度和宽度，按比例和间距可确定上衣区域，并完成灰度化；
或判断结果是没有检测到人脸区域，则判定无违规行为，结束；
步骤S05：读取工作服模板图片，并完成灰度化；
步骤S06：判断上衣区域是否小于工作服模板；
若：判断结果是上衣区域小于工作服模板，则对工作服模板图片的长度和宽度进行同比例缩小；
判断结果是上衣区域大于或者等于工作服模板，则执行步骤S07；
步骤S07：根据互相关公式(1)，计算互相关结果值，对上衣区域图片和工作服模板图片进行模板匹配；
其中，T为尺寸为M′×N′的灰度化后的模板图片，S为灰度化后上衣区域图片中左上方与同T尺寸的图片，Si,j为灰度化后上衣区域图片中对S进行平移后的图片，i和j分别是行和列方向的平移像素数，为图片T所有像素灰度值的平均值，为图片Si,j所有像素灰度值的平均值，corr(i,j)为互相关运算的结果值；
判断互相关结果中的最大值是否大于阈值；
若：判断结果是互相关结果中的最大值大于阈值，则判定无违规行为，结束；
或判断结果是互相关结果中的最大值小于或者等于阈值，则判定有违规行为。
优选地，用素食案板加工生肉行为的视频分析方法如下：
步骤S11：读取摄像机视频帧，生成待分析图片；
步骤S12：对图片进行二值化；
步骤S13：对图片进行降噪；
步骤S14：对图片进行边缘检测；
步骤S15：利用Hough变换，在预处理后的图片中进行案板检测，并在原始图片中截取案板区域；
步骤S16：对原始图片中截取的案板区域进行RGB分割；
步骤S17：判断是否检测到红色区域；若：判断结果是检测到红色区域，则读取生肉模板图片；或判断结果是没有检测到红色区域，则判定无违规行为，结束；
步骤S18：计算互相关结果值，将原始图片中截取的案板区域与生肉图片进行模板匹配；判断互相关结果中的最大值是否大于阈值；
若：判断结果是互相关结果中的最大值大于阈值，则判定有违规行为，结束；
或判断结果是互相关结果中的最大值小于或者等于阈值，则判定无违规行为。
本发明所带来的有益技术效果：
本发明设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测；在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述两种违规行为的视频分析算法；测试结果验证了系统功能的正确性；所开发的视频分析子系统可提高预防食品安全风险的能力。
附图说明
图1为完整的视频监控系统的硬件组成图。
图2为视频分析子系统的模块组成图。
图3为视频分析子系统的工作主流程图。
图4为检测员工不着工作服行为的视频分析方法的流程图。
图5为检测用素食案板加工生肉行为的视频分析方法的流程图。
图6为员工是否着工作服行为的测试结果示意图；图(a)为员工着工作服时的示意图；图(b)为员工未着工作服时的示意图；图(c)为着工作服时的上衣区域示意图；图(d)为未着工作服时的上衣区域示意图。
图7为当发现员工未着工作服的违规行为时向系统管理员自动发送手机短信的示意图。
图8为素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图，图(b)是截取的案板区域示意图，图(c)是检测到的案板区域进行RGB分割后的结果示意图，图(d)是经模板匹配后检测到生肉后的图片的示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
1视频分析子系统的组成和主流程图
1.1视频分析子系统的组成
如图1所示，完整的视频监控硬件系统由高清摄像机、接入交换机、汇聚交换机、光模块、网络录像机、监视器、网线和光缆、视频分析工作站等连接组成。高清摄像机所采集的视频实时地传输至网络录像机进行存储。视频分析工作站则实时地采集网络录像机存储的视频，运行视频分析算法，当检测到违规行为时则通过本地GSM(Global System forMobile communications，全球移动通信系统)模块或通过网络调用GSM服务器向管理人员发送报警短信。
视频分析子系统是所研发的食品安全管理信息系统中的一个软件子系统，它运行在视频分析工作站的硬件平台上。如图2所示，视频分析子系统由实时视频读取、视频分析、违规行为图片存储、手机短信报警、日志记录、参数配置6个模块组成。实时视频读取模块用于读取配置文件后从网络录像机实时读取视频。视频分析模块用于对食品加工过程中可能出现的违规行为进行检测。违规行为图片存储模块用于存储检测到违规行为时的图片，所存储的图片作为证据长期留存。手机短信报警模块用于检测到违规行为时自动向管理人员发送短信进行报警。日志记录模块用于记录违规行为出现时的时间、地点、行为类型等信息，也用于自动维护和显示数据库的访问记录。参数配置模块用于供用户进行各种参数的配置，如：网络录像机的IP地址和端口号、每台摄像机检测的违规行为类型、每台摄像机的视频帧采集周期等。
目前的视频分析模块支持员工不着工作服、用素食案板加工生肉2种违规行为的检测。该模块将来可以扩充检测其它违规行为的子模块，从而保证了系统具有良好的扩展性。
1.2视频分析子系统的工作主流程图
设布设有N台摄像机，视频分析工作站有M个CPU核(N＞＞M)，N除以M的整数商是K、余数是L，0≤L<M，i表示当前要进行视频读取和处理的CPU核编号，1≤i≤M。当K和L确定后，P是与i有关的变量，且有：
当L<i时，P＝K-1；
当L≥i时，P＝K；
图3给出了视频分析子系统的工作主流程。从图中可以看出，第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作，第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作，…，第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作。
下面以第1个CPU核为例，介绍其工作流程。其它CPU核的工作流程与之类似。首先读取配置文件，获得摄像机1、M+1、2M+1、…、PM+1的视频分析周期和需检测行为的编号。这里需指出的是，有的摄像机只需要检测员工不着工作服的违规行为，有的摄像机只需要检测用素食案板加工生肉的违规行为，有的摄像机需要同时检测2种违规行为。每台摄像机需检测的行为类型都通过参数配置模块事先存储在配置文件中。接下来，读取摄像机1第1个视频帧对应的图片，并根据摄像机1需检测的行为，依次进行对应行为检测，当发现违规行为时进行违规图片存储、发送手机短信、完成日志记录。之后，摄像机M+1、2M+1、…、PM+1依次完成各自第1个视频帧的图片读取、行为检测。当发现违规行为时，分别进行违规图片存储、发送手机短信、违规日志记录的工作。然后，根据摄像机1、M+1、2M+1、…、PM+1各自的视频分析周期，确定对这些摄像机进行视频分析的顺序。例如，设摄像机1的视频分析周期为10s，摄像机M+1的视频分析周期为20s，摄像机2M+1、…、PM+1的视频分析周期为30s，则可确定出对应的视频分析顺序为：摄像机1的第2个视频帧、摄像机1的第3个视频帧、摄像机M+1的第2个视频帧、摄像机1的第4个视频帧、摄像机2M+1的第2个视频帧、…、摄像机PM+1的第2个视频帧、摄像机1的第5个视频帧、摄像机M+1的第3个视频帧、摄像机1的第6个视频帧、摄像机1的第7个视频帧、摄像机M+1的第4个视频帧、摄像机2M+1的第3个视频帧、…、摄像机PM+1的第3个视频帧、…。这里，每台摄像机两个相邻视频帧的时间间隔等于各自所设置的视频分析周期。当确定了对摄像机1、M+1、2M+1、…、PM+1进行视频分析的顺序后，根据分析顺序，依次完成后继视频帧的视频分析。当发现违规行为时，分别进行违规图片存储、发送手机短信、违规日志记录的工作。
2视频分析算法原理
2.1员工不着工作服行为的视频分析算法
为检测员工在工作区域内是否着工作服，其技术关键是图片中上衣区域的确定和与工作服模板图片的匹配。为实现上衣区域的确定，可首先利用成熟的人脸检测算法确定人脸区域，然后根据检测到的人脸长度和宽度的像素数，按人脸长度与宽度和上身长度与宽度的正常比例和人脸与上身的正常间距，可确定图片中上衣所在区域。为检测图片中上衣所在区域是否确实是餐厅员工的工作服，需事先存储工作服的图片作为模板，然后即可通过模板匹配的方法确定员工是否着工作服。考虑到工作人员处于监视区域不同位置时人脸所占据像素数的不同，当像素数相对较少从而上衣区域的像素数也较少时，对工作服模板图片进行同比例缩小，保证上衣区域的长度和宽度大于缩小后模板图片的长度和宽度。
在进行模板匹配时，用到如下互相关公式：
其中，T为尺寸为M′×N′的灰度化后模板图片，S为灰度化后上衣区域图片中左上方与同T尺寸的图片，Si,j为灰度化后上衣区域图片中对S进行平移后的图片，i和j分别是行和列方向的平移像素数，为图片T所有像素灰度值的平均值，为图片Si,j所有像素灰度值的平均值，corr(i,j)corr为互相关运算的结果值。当计算出的互相关值中的最大值超过阈值时，则判定员工着工作服，否则判定员工未着工作服。考虑到所监视区域中可能只有部分区域属于工作人员的工作区域，为提高处理效率，可事先在数据库中存储各摄像机监控区域中的有效区域信息，在进行违规行为检测时只需在有效区域中检测即可。图4给出了检测员工不着工作服行为的视频分析方法的流程。
2.2用素食案板加工生肉行为的视频分析算法
为检测是否有在素食案板上加工生肉的行为，其技术关键是案板的检测和生肉与红色蔬菜的区分。案板一般为圆形或长方形且尺寸已知，可利用从图形中提取尺寸已知的圆形或长方形物体的方法进行检测。无论是圆形还是长方形的物体，均可采用Hough(霍夫)变换，将图像坐标空间变换到参数平面实现检测。下面以圆形检测为例简述其工作原理。圆形的方程可表示为：
其中，(x0,y0)为圆心的坐标，r为圆的半径，(x,y)为圆上任意一点的坐标，θ为半径与x轴正向的夹角。以xy平面为参数平面，参数平面上任意一点的强度值等于图像平面上以该点为圆心，以r为半径的圆对应的像素点的强度值之和。参数平面上强度值最大的点对应检测到的圆心。在图像平面上以该点为圆心，以已知的半径r画出的圆即为检测到的圆形物体。需说明的是，在进行圆形检测前，需对图片进行二值化、降噪、边缘检测等预处理。实现案板的检测后，需对案板上摆放的生肉和蔬菜进行区分。可先利用RGB分割后得到的颜色信息进行初步划分，黄瓜、生菜等蔬菜为绿色，生肉为红色。但西红柿、胡萝卜等蔬菜也为红色，因此仅通过颜色信息不能完全准确区分。为实现生肉与红色蔬菜的区分，可利用与生肉模板图片进行模板匹配的方法完成。图5给出了检测用素食案板加工生肉行为的视频分析方法的流程。
3测试结果
利用C#和Matlab进行了混合编程，实现了视频实时读取、违规行为检测、违规行为短信报警等功能。Matlab语言主要用于实现图片读取、图片分析的功能，其它功能由C#语言实现。
图6为员工是否着工作服行为的测试结果示意图；图(a)为员工着工作服时的示意图；图(b)为员工未着工作服时的示意图；图(c)为着工作服时的上衣区域示意图；图(d)为未着工作服时的上衣区域示意图。经过与事先存储的工作服模板图片进行匹配，图(c)互相关的结果超过阈值，图(d)互相关的结果远小于阈值。图7显示了当发现员工未着工作服的违规行为时向系统管理员自动发送的手机短信。
图8是素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图，图(b)是截取的案板区域示意图，图(c)是检测到的案板区域进行RGB分割后的结果示意图，图(d)是经模板匹配后检测到生肉后的图片的示意图。
4结论
设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉2种典型违规行为的自动检测。在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述2种违规行为的视频分析算法。测试结果验证了系统功能的正确性。所开发的视频分析子系统可提高预防食品安全风险的能力。下一步将对视频分析模块进行扩展，实现其它一些典型违规行为的自动检测。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种高校餐厅食品加工违规行为视频分析系统，其特征在于：包括硬件系统和软件系统；其中，
硬件系统，包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站；摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接，视频分析工作站和汇聚交换机通过网线连接；
软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块；
实时视频读取模块，被配置用于读取配置文件后从网络录像机实时读取视频；
视频分析模块，被配置用于对食品加工过程中可能出现的违规行为进行检测；
违规行为图片存储模块，被配置用于存储检测到的违规行为的图片；
手机短信报警模块，被配置用于检测到违规行为时自动向管理人员发送短信进行报警；
日志记录模块，被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息，也用于自动维护和显示数据库的访问记录；
参数配置模块，被配置用于供用户进行各种参数的配置。
2.一种高校餐厅食品加工违规行为视频分析方法，其特征在于：采用如权利要求1所述的高校餐厅食品加工违规行为视频分析系统，设该系统布设有N台摄像机，视频分析工作站有M个CPU核，N＞＞M，N除以M的整数商是K、余数是L，0≤L<M，i表示当前要进行视频读取和处理的CPU核编号，1≤i≤M；
当K和L确定后，P是与i有关的变量，且有：
当L<i时，P＝K-1；
当L≥i时，P＝K；
第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作，第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作，…，第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作；
具体包括如下步骤：
步骤1：设i＝1；
步骤2：通过实时视频读取模块，读取配置文件，获取第i个CPU核所负责摄像机的各自的视频分析周期和需检测行为的编号，并将摄像机集合记为Ci；每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中；
步骤3：通过实时视频读取模块，读取Ci中第1台摄像机第1个视频帧对应的图片，并根据该摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤4：通过实时视频读取模块，依次读取Ci中其它摄像机第1个视频帧对应的图片，并根据这些摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤5：根据Ci中各摄像机各自的视频分析周期，确定对这些摄像机进行视频分析的顺序；
步骤6：根据分析顺序，依次完成各摄像机其它视频帧的视频分析，当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤7：令i＝i+1，重复步骤2-6，直至完成所有M个CPU核所负责摄像机的视频分析工作。
3.根据权利要求2所述的高校餐厅食品加工违规行为视频分析方法，其特征在于：违规行为，包括员工不着工作服行为和用素食案板加工生肉行为。
4.根据权利要求3所述的高校餐厅食品加工违规行为视频分析方法，其特征在于：员工不着工作服行为的视频分析方法如下：
步骤S01：读取摄像机视频帧，生成待分析图片；
步骤S02：读取数据库中有效区域的信息，仅保留待分析图片的有效区域；
步骤S03：对待分析图片进行人脸检测；
步骤S04：判断是否检测到人脸区域；
若：判断结果是检测到人脸区域，则根据检测到的人脸区域长度和宽度，按比例和间距可确定上衣区域，并完成灰度化；
或判断结果是没有检测到人脸区域，则判定无违规行为，结束；
步骤S05：读取工作服模板图片，并完成灰度化；
步骤S06：判断上衣区域是否小于工作服模板；
若：判断结果是上衣区域小于工作服模板，则对工作服模板图片的长度和宽度进行同比例缩小；
判断结果是上衣区域大于或者等于工作服模板，则执行步骤S07；
步骤S07：根据互相关公式(1)，计算互相关结果值，对上衣区域图片和工作服模板图片进行模板匹配；
其中，T为尺寸为M′×N′的灰度化后的模板图片，S为灰度化后上衣区域图片中左上方与同T尺寸的图片，Si,j为灰度化后上衣区域图片中对S进行平移后的图片，i和j分别是行和列方向的平移像素数，为图片T所有像素灰度值的平均值，为图片Si,j所有像素灰度值的平均值，corr(i,j)为互相关运算的结果值；
判断互相关结果中的最大值是否大于阈值；
若：判断结果是互相关结果中的最大值大于阈值，则判定无违规行为，结束；
或判断结果是互相关结果中的最大值小于或者等于阈值，则判定有违规行为。
5.根据权利要求3所述的高校餐厅食品加工违规行为视频分析方法，其特征在于：用素食案板加工生肉行为的视频分析方法如下：
步骤S11：读取摄像机视频帧，生成待分析图片；
步骤S12：对图片进行二值化；
步骤S13：对图片进行降噪；
步骤S14：对图片进行边缘检测；
步骤S15：利用Hough变换，在预处理后的图片中进行案板检测，并在原始图片中截取案板区域；
步骤S16：对原始图片中截取的案板区域进行RGB分割；
步骤S17：判断是否检测到红色区域；若：判断结果是检测到红色区域，则读取生肉模板图片；或判断结果是没有检测到红色区域，则判定无违规行为，结束；
步骤S18：计算互相关结果值，将原始图片中截取的案板区域与生肉图片进行模板匹配；判断互相关结果中的最大值是否大于阈值；
若：判断结果是互相关结果中的最大值大于阈值，则判定有违规行为，结束；
或判断结果是互相关结果中的最大值小于或者等于阈值，则判定无违规行为。
CN201811091998.5A 2018-09-19 2018-09-19 一种高校餐厅食品加工违规行为视频分析系统及方法 Active CN109089160B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811091998.5A CN109089160B (zh) 2018-09-19 2018-09-19 一种高校餐厅食品加工违规行为视频分析系统及方法
PCT/CN2019/087707 WO2020057159A1 (zh) 2018-09-19 2019-05-21 一种高校餐厅食品加工违规行为视频分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811091998.5A CN109089160B (zh) 2018-09-19 2018-09-19 一种高校餐厅食品加工违规行为视频分析系统及方法

Publications (2)

Publication Number Publication Date
CN109089160A true CN109089160A (zh) 2018-12-25
CN109089160B CN109089160B (zh) 2020-11-03

Family

ID=64842122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811091998.5A Active CN109089160B (zh) 2018-09-19 2018-09-19 一种高校餐厅食品加工违规行为视频分析系统及方法

Country Status (2)

Country Link
CN (1) CN109089160B (zh)
WO (1) WO2020057159A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905680A (zh) * 2019-04-15 2019-06-18 秒针信息技术有限公司 操作的监控方法及装置、存储介质、电子装置
CN109993069A (zh) * 2019-03-12 2019-07-09 秒针信息技术有限公司 厨具检测方法和装置及系统、存储介质
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质
CN110363428A (zh) * 2019-07-16 2019-10-22 上海秒针网络科技有限公司 一种档案关联处理方法及装置
CN110460814A (zh) * 2019-08-12 2019-11-15 上海秒针网络科技有限公司 指示信息的发送方法及装置、存储介质、电子装置
CN110636260A (zh) * 2019-09-11 2019-12-31 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理方法
CN110689054A (zh) * 2019-09-10 2020-01-14 华中科技大学 一种工人违规行为监测方法
WO2020057159A1 (zh) * 2018-09-19 2020-03-26 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN111310539A (zh) * 2019-11-26 2020-06-19 上海秒针网络科技有限公司 食品加工区域的监管方法和装置
CN112541391A (zh) * 2020-10-30 2021-03-23 四川天翼网络服务有限公司 一种基于考试视频分析的违规行为识别方法与系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553329A (zh) * 2020-06-14 2020-08-18 深圳天海宸光科技有限公司 一种基于机器视觉的加油站智能安全处理系统及方法
CN112001284A (zh) * 2020-08-14 2020-11-27 中建海峡建设发展有限公司 基于人工智能的劳务实名制管理系统
CN114339145A (zh) * 2021-12-06 2022-04-12 浪潮软件股份有限公司 一种基于智能可视化的企业经营闭环监管方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013776A1 (en) * 2001-11-15 2007-01-18 Objectvideo, Inc. Video surveillance system employing video primitives
CN106412513A (zh) * 2016-10-14 2017-02-15 环球大数据科技有限公司 视频处理系统及处理方法
CN106936964A (zh) * 2016-12-14 2017-07-07 浙江大学 一种基于霍夫变换模板匹配的手机屏幕角点检测方法
CN106998450A (zh) * 2017-04-21 2017-08-01 林仁昌 一种提供餐厅食品加工画面的方法及系统
CN107564035A (zh) * 2017-07-31 2018-01-09 华南农业大学 基于重要区域识别和匹配的视频跟踪方法
CN107609544A (zh) * 2017-10-27 2018-01-19 华润电力技术研究院有限公司 一种检测方法以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1139890C (zh) * 2001-08-18 2004-02-25 贺贵明 粮库粮虫智能监测系统及方法
US9430090B2 (en) * 2012-08-08 2016-08-30 Uni-Structures, Inc. Switch system for outputting multimedia content to a digital sign
CN206805256U (zh) * 2017-05-26 2017-12-26 莫进惠 一种多级智能远程监管系统
CN206805626U (zh) * 2017-06-05 2017-12-26 深圳玖捌伍亮厨科技有限公司 一种可视化智能餐饮门店管理系统
CN109089160B (zh) * 2018-09-19 2020-11-03 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013776A1 (en) * 2001-11-15 2007-01-18 Objectvideo, Inc. Video surveillance system employing video primitives
CN106412513A (zh) * 2016-10-14 2017-02-15 环球大数据科技有限公司 视频处理系统及处理方法
CN106936964A (zh) * 2016-12-14 2017-07-07 浙江大学 一种基于霍夫变换模板匹配的手机屏幕角点检测方法
CN106998450A (zh) * 2017-04-21 2017-08-01 林仁昌 一种提供餐厅食品加工画面的方法及系统
CN107564035A (zh) * 2017-07-31 2018-01-09 华南农业大学 基于重要区域识别和匹配的视频跟踪方法
CN107609544A (zh) * 2017-10-27 2018-01-19 华润电力技术研究院有限公司 一种检测方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万莉等: "高校餐厅餐饮安全监管系统设计", 《食品安全质量检测学报》 *
侯宏花: "《数字图像处理与分析》", 30 September 2011 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020057159A1 (zh) * 2018-09-19 2020-03-26 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN109993069A (zh) * 2019-03-12 2019-07-09 秒针信息技术有限公司 厨具检测方法和装置及系统、存储介质
CN109905680A (zh) * 2019-04-15 2019-06-18 秒针信息技术有限公司 操作的监控方法及装置、存储介质、电子装置
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质
CN110363428A (zh) * 2019-07-16 2019-10-22 上海秒针网络科技有限公司 一种档案关联处理方法及装置
CN110460814A (zh) * 2019-08-12 2019-11-15 上海秒针网络科技有限公司 指示信息的发送方法及装置、存储介质、电子装置
CN110689054A (zh) * 2019-09-10 2020-01-14 华中科技大学 一种工人违规行为监测方法
CN110689054B (zh) * 2019-09-10 2022-04-01 华中科技大学 一种工人违规行为监测方法
CN110636260A (zh) * 2019-09-11 2019-12-31 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理方法
CN111310539A (zh) * 2019-11-26 2020-06-19 上海秒针网络科技有限公司 食品加工区域的监管方法和装置
CN112541391A (zh) * 2020-10-30 2021-03-23 四川天翼网络服务有限公司 一种基于考试视频分析的违规行为识别方法与系统

Also Published As

Publication number Publication date
CN109089160B (zh) 2020-11-03
WO2020057159A1 (zh) 2020-03-26

Similar Documents

Publication Publication Date Title
CN109089160A (zh) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN106412501B (zh) 一种视频的施工安全行为智能监控系统及其监控方法
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN102799935B (zh) 一种基于视频分析技术的人流量统计方法
CN103514694A (zh) 一种入侵检测监控系统
CN106791655B (zh) 一种视频处理方法及装置
US11615620B2 (en) Systems and methods of enforcing distancing rules
US10635908B2 (en) Image processing system and image processing method
EP4090036A1 (en) Privacy shielding processing method and apparatus, electronic device, and monitoring system
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
CN110830772A (zh) 一种厨房视频分析资源调度方法、装置及系统
CN108109348A (zh) 分级报警方法及装置
CN110348343A (zh) 一种暴力行为监测方法、装置、存储介质及终端设备
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
CN110781735A (zh) 一种用于识别人员在岗状态的报警方法及系统
CN103093177A (zh) 人脸辨识监控管理方法
CN103971477A (zh) 基于模式识别技术的防盗系统
CN116320292A (zh) 基于大数据的水利监控控制系统
CN102867214B (zh) 区域范围内人数统计管理方法
CN110602453A (zh) 一种物联网大数据智能视频安防监控系统
US20210357654A1 (en) Systems and methods of identifying persons-of-interest
CN107301373B (zh) 数据处理方法、装置及存储介质
CN113901946A (zh) 一种异常行为检测的方法、装置、电子设备及存储介质
CN111539254A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN210983509U (zh) 入境重点人群布控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant