CN115376071A - 一种餐饮行业工作人员作业规范的图像识别方法 - Google Patents

一种餐饮行业工作人员作业规范的图像识别方法 Download PDF

Info

Publication number
CN115376071A
CN115376071A CN202211134665.2A CN202211134665A CN115376071A CN 115376071 A CN115376071 A CN 115376071A CN 202211134665 A CN202211134665 A CN 202211134665A CN 115376071 A CN115376071 A CN 115376071A
Authority
CN
China
Prior art keywords
constraint object
image
stay time
attribute state
catering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211134665.2A
Other languages
English (en)
Inventor
刘同旺
聂一亮
龙涛
阮仕海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aimo Technology Co ltd
Shenzhen Hailenshi Technology Co ltd
Original Assignee
Shenzhen Aimo Technology Co ltd
Shenzhen Hailenshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aimo Technology Co ltd, Shenzhen Hailenshi Technology Co ltd filed Critical Shenzhen Aimo Technology Co ltd
Priority to CN202211134665.2A priority Critical patent/CN115376071A/zh
Publication of CN115376071A publication Critical patent/CN115376071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种餐饮行业工作人员作业规范的图像识别方法,涉及图像识别技术领域。解决了现有方法无法对不同工作人员进行身份识别,进而导致过多误检的技术问题。本发明包括步骤为:人体检测与跟踪、人体属性识别、作业规范约束对象判断以及对判断为作业规范约束对象进行不规范行为识别。本方法同时对工作人员进行身份识别和作业规范行为识别,作业规范行为识别不仅能够识别不规范穿戴,还能够识别超时休息的不规范行为,其识别准确率高,有效避免误检,而且应用范围广,具有市场推广价值。

Description

一种餐饮行业工作人员作业规范的图像识别方法
技术领域
本发明涉及餐饮行业的图像识别技术领域,尤其涉及一种餐饮行业工作人员作业规范的图像识别方法。
背景技术
在餐饮行业,企业为了提升服务质量和运营规范性,往往需要对员工行为进行规范和监督。如,厨房或者用餐区着装规范,即要求厨房人员必须佩系围裙、卫生帽、口罩;如工作人员在休息区休息时不存在超时休息。近些年来随着人工智能算法的广泛落地,在餐饮店各个区域均安装监控摄像头,通过图像识别的方法对店内相关人员的不合规行为进行检测的方案已经得到了普及和应用。
然而,现有方法无法解决的问题是对不同工作人员进行身份识别,如厨房人员身份的识别。因为不同的工作人员监督管理要求存在差异,不能采用统一的规范管理标准。因此,亟需一种针对餐饮店工作人员进行身份识别、对身份识别后的相关工作人员的作业规范进行精准识别的方法。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种餐饮行业工作人员作业规范的图像识别方法。
本发明解决其技术问题所采用的技术方案是:一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,包括以下步骤:
S10、在餐饮空间内,对获取的多帧待识别图像进行人体检测与跟踪,得到检测与跟踪的每个人对应的编号;
S20、每个编号对应的人从所述餐饮空间从出现到消失的过程中,记录每个编号在每帧中对应的人数、每个编号对应的停留时长、每个编号在每帧中对应的人体属性状态以及人体属性状态对应的帧数;
S30、每个编号对应的人从所述餐饮空间消失时,根据编号的人体属性状态对应的帧数、编号对应的停留时长以及所述待识别图像的总帧数,对每个编号对应的人是否为作业约束对象进行判断;
S40、每个判断为所述作业约束对象从所述餐饮空间消失时,根据编号在每帧中对应的人数、编号对应的停留时长、编号的人体属性状态对应的帧数以及所述待识别图像的总帧数,对编号对应的每个所述作业约束对象的不规范作业行为进行判断与记录。
进一步地,步骤S30包括如下步骤:
每个所述编号对应的人从所述餐饮空间消失时,计算每个编号的非作业规范约束对象停留时长;将所述非作业规范约束对象停留时长不小于第一阈值的所有编号对应的人确定为所述作业规范约束对象;其中,所述作业规范约束对象为厨师,所述餐饮空间为厨房。
进一步地,每个所述编号的非作业规范约束对象停留时长T的计算公式为:
T=(t2-t1)×(count-count1)/count;
其中,t2-t1为每个编号对应的停留时长;count为所述待识别图像的总帧数;count1为每个编号的所述人体属性状态为第一属性状态对应的图像帧数;所述第一属性状态为系围裙或者戴卫生帽。
进一步地,当每个编号对应的人通过所述非作业规范约束对象停留时长未确认为所述作业规范约束对象时,步骤S30还包括如下步骤:
每个所述编号对应的人从所述餐饮空间消失时,计算每个编号的所述人体属性状态为第一属性状态对应的图像帧数占所述待识别图像的总帧数的比值;将比值不小于预设比例的全部所述编号对应的人确认为所述作业规范约束对象。
进一步地,步骤S40包括如下步骤:
判断为所述作业约束对象从所述餐饮空间消失的时,计算每个所述作业规范约束对象的累计停留时长;将所述累计停留时长不小于第二阈值的每个所述作业规范约束对象确认为存在不规范作业行为并进行记录,返回步骤S10,进行下一批次的图像识别。
进一步地,每个所述作业规范约束对象的累计停留时长T1的计算公式如下:
T1=(t4-t3)×(count-count2)/count;
其中,t4-t3为每个所述作业规范约束对象的编号对应的停留时长;count为所述待识别图像的总帧数;count2为每个所述作业规范约束对象的编号对应的所述人体属性状态为同时满足第一属性状态和第二属性状态的图像帧数;所述第二属性状态包括不系围裙、不戴卫生帽、不戴口罩。
进一步地,步骤S40还包括如下步骤:
判断为所述作业约束对象在从所述餐饮空间消失时,计算每个所述作业规范约束对象的不合规停留时长;将所述不合规停留时长满足预设条件的每个所述作业规范约束对象确定为作业不规范并进行记录,返回步骤S10,进行下一批次的图像识别;其中,所述餐饮空间为休息区。
进一步地,每个所述作业规范约束对象的所述不合规停留时长DT计算公式如下:
DT=(t6-t5)×(1-r);
r=num/count3;
其中,num为每个所述作业规范约束对象的编号在每帧中对应的人数大于C对应的图像帧数,count3为每个所述作业约束对象的编号对应的图像帧数;C为在所述餐饮空间内正常停留最小人数阈值;t6-t5为每个所述作业约束对象的编号对应的停留时长。
进一步地,所述预设条件为:
所述不合规停留时长不小于第三阈值,且r<R;其中,R为正常停留的所述作业约束对象在所述餐饮空间停留的总时间与集体聚集时间占比的阈值。
实施本发明的餐饮行业工作人员作业规范的图像识别方法的技术方案,具有如下优点或有益效果:
本发明提出了一种对不同工作人员的身份进行识别的方法,并针对身份识别的工作人员进行高效、高精准度的作业规范行为识别。本方法同时对工作人员进行身份识别和作业规范行为识别,其识别精度、识别准确率均高,能有效避免误检,特别地,能有效避免人体跟踪算法ID号交换导致误报。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,附图中:
图1是本发明实施例一种餐饮行业工作人员作业规范的图像识别方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下文将要描述的各种示例性实施例将要参考相应的附图,这些附图构成了示例性实施例的一部分,其中描述了实现本发明可能采用的各种示例性实施例,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白,它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子,还可使用其他的实施例,或者对本文列举的实施例进行结构和功能上的修改,而不会脱离本发明的范围和实质。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的元器件或插件必须具有的特定的方位、以特定的方位构造和操作,因此,不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体连接;可以是机械连接,也可以是电连接或可以相互通讯连接;可以是直接相连,也可以是通过中间媒介简介相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
实施例一:
如图1所示,本发明实施例提供的一种餐饮行业工作人员作业规范的图像识别方法,包括以下步骤:
S10、在餐饮空间内,对获取的多帧待识别图像进行人体检测与跟踪,得到检测与跟踪的每个人对应的编号;
本实施例中,餐饮空间包括但不限于厨房、餐厅、员工休息区,可以从安装在餐饮空间的摄像头获取视频帧,每一帧对应一张静止的待识别图像,对获取的多帧待识别图像,分别进行人体检测与跟踪。其中,人体检测得到每个图像上所有的人体框,可以是任意的目标检测算法,如:yolo、ssd、centernet等。人体跟踪对前后帧检测到的人体框进行关联,为每一个不同的人维护一个对应有ID号的编号,从在餐饮空间出现直到消失。人体跟踪算法可以采用常用的算法,如:sort、deepsort等。需说明的是,本步骤根据人体框抠取每帧待识别图像的人体图像,分别通过不同的人体属性状态,如围裙、卫生帽、口罩等二分类模型(如识别出工作人员系有围裙二分类模型输出为1,否则为0)进行属性状态识别。需说明的是,人体属性状态分类模型都需要预先采集对应属性的人体图像的大量正负样本进行模型训练,可以使用任意的深度学习分类方法,比如:resnet18、loss等。
S20、每个编号对应的人从餐饮空间从出现到消失的过程中,记录每个编号在每帧中对应的人数、每个编号对应的停留时长、每个编号在每帧中对应的人体属性状态以及人体属性状态对应的帧数;
需说明的是,步骤S20实施方式中,人体跟踪算法每次产生一个新编号(ID号)时为它建立一个具有4个指标的识别状态统计表,分别记录ID号对应的人在整个识别周期内(出现至消失的时间内)的相关工作人员类型的属性识别,得到不同属性下的状态的统计数据。如下文的厨师身份与规范作业识别过程中,4个指标为:厨师(系围裙或戴卫生帽)、是厨师且不系围裙(戴卫生帽且不系围裙)、是厨师且不戴卫生帽(系围裙且不戴卫生帽)、是厨师且不戴口罩(系围裙或戴卫生帽、且不戴口罩);上述指标的统计内容为:检测与跟踪的人的编号、编号在每帧中对应的人数(每帧中检测与跟踪的人数总和)、编号对应的停留时长、编号在每帧中对应的人体属性状态以及人体属性状态对应的帧数等。另外,对所有检测与跟踪的人对应的编号(ID)进行停留时长计算时,如果ID为初次出现,则为该ID初始化一个人数缓存统计表,并且记录ID初次出现的开始时间t1;如果ID在当前帧被移除,记录ID被移除时的结束时间t2。ID在当前帧被移除时,则认为该ID对应的检测与跟踪的人从餐饮空间消失。
S30、每个编号对应的人从餐饮空间消失时,根据编号的人体属性状态对应的帧数、编号对应的停留时长以及待识别图像的总帧数,对每个编号对应的人是否为作业约束对象进行判断;
S40、每个判断为作业约束对象从餐饮空间消失时,根据编号在每帧中对应的人数、编号对应的停留时长、编号的人体属性状态对应的帧数以及待识别图像的总帧数,对编号对应的每个作业约束对象的不规范作业行为进行判断与记录。
需说明的是,现有的餐饮行业的识工作人员作业不规范行为,一般以每个人员单次进入餐饮空间直至离开为一个时间周期,分别统计这个时间周期内工作人员相关人体属性,如不佩系围裙、不佩戴卫生帽、不佩戴口罩等的累计时长,如果不小于限定的阈值则表示发生了该类型的不合规行为,记录一次对应的事件。然而,现实情况是餐饮行业的工作人员类型较多,如厨师、传菜员、前台服务人员、大堂经理、清洁人员等,采用统一的标准来对他们的不规范作业行为进行识别,是不符合特定实际需要,会出现误识别;而且采用单一的时间周期来判断不合规行为会出现识别准确性不够高。本发明针对餐饮行业的厨师的规范行为提供了一种能够有效识别不同工作人员身份的高准确率的方法,该方法针厨师、传菜人员、服务人员、清洁工等均能实现有效身份识别与不规范行为的高准确率的识别。本发明提供了自动对餐饮行业工作人员身份进行识别的实施例,使用了两种方案:在相应工作区域停留时长较长、大多数情况下着装或佩戴标识物(如穿戴工作服、系围裙或者戴卫生帽等)。两种方案互补,保证能够准确识别到相应类别的工作人员,因而能够大大降低错误识别率。本方法能够适用与餐饮行业不同种类的工作人员作业规范行为识别,也能够应用于其他行业的工作人员的作业规范行为识别,具备广泛的应用性。
另外,本实施例对餐饮行业的不同类型的员工,会为其标注一个ID号,在餐饮这样的监控场景下,前后人员遮挡比较严重,当他们轨迹交叉的时候,人体跟踪算法容易发生ID号交换,这种情况下同一个ID号实际包含了两个不同的人。现有技术直接对ID号的每一帧直接进行不合规行为识别而不管是否为相关工作人员,则会在不是特定场合下的工作人员造成误识别。本发明只对不同类型的员工的人体属性状态的帧进行着装规范或佩戴标识物规范识别,有效规避现有技术存在不足。
作为一种可选的实施方式,步骤S30包括如下步骤:
每个编号对应的人从餐饮空间消失时,计算每个编号的非作业规范约束对象停留时长;将非作业规范约束对象停留时长不小于第一阈值的所有编号对应的人确定为作业规范约束对象;其中,作业规范约束对象为厨师,餐饮空间为厨房。
作为一种可选的实施方式,每个编号的非作业规范约束对象停留时长T的计算公式为:
T=(t2-t1)×(count-count1)/count (1);
其中,t2-t1为每个编号对应的停留时长;count为待识别图像的总帧数;count1为每个编号的人体属性状态为第一属性状态对应的图像帧数;第一属性状态为系围裙或者戴卫生帽。
进一步的,当每个编号对应的人通过所述非作业规范约束对象停留时长未确认为所述作业规范约束对象时,步骤S30还包括如下步骤:
每个编号对应的人从餐饮空间消失时,计算每个编号的人体属性状态为第一属性状态对应的图像帧数占待识别图像的总帧数的比值;将比值不小于预设比例的全部编号对应的人确认为作业规范约束对象。当然,比值小于预设比例的全部编号对应的人确定为不存在不合规行为。其中,上述比值B的计算公式如下:
B=count1/count (2);
需说明的是,一般只有对厨师才要求同时佩系围裙、卫生帽、口罩,而其他人员因为不是长时间停留在厨房,所以只需要佩戴口罩即可。因此,本步骤的筛选指标为:系围裙或者戴卫生帽,即可一定程度上将其它人员排除在外。需进一步说明的是,本步骤针对厨房中的厨师身份识别提供了两种实施方式,对于餐饮行业的其他区域,如餐厅、客户等候区等区域的相关类型工作人员,人体属性可以替换为着装、工牌等,第一属性状态可以替换为着工装或戴工牌等。当然,对于非餐饮行业的其他行业,如购物商店、生产厂区等,上述人体属性、第一属性状态均可根据实际情况设定。
作为一种可选的实施方式,步骤S40包括如下步骤:
判断为作业约束对象从餐饮空间消失的时,计算每个作业规范约束对象的累计停留时长;将累计停留时长不小于第二阈值的每个作业规范约束对象确认为存在不规范作业行为并进行记录,返回步骤S10,进行下一批次的图像识别。
作为一种可选的实施方式,每个作业规范约束对象的累计停留时长T1的计算公式如下:
T1=(t4-t3)×(count-count2)/count (3);
其中,t4-t3为每个作业规范约束对象的编号对应的停留时长;count为待识别图像的总帧数;count2为每个作业规范约束对象的编号对应的人体属性状态为同时满足第一属性状态和第二属性状态的图像帧数。其中,同时为第一属性状态和第二属性状态包括戴卫生帽且不系围裙、系围裙且不戴卫生帽、系围裙或戴卫生帽且不戴口罩;其中,第二属性状态包括不系围裙、不戴卫生帽、不戴口罩。
需说明的是,本步骤,针对作业规范约束对象为厨师的规范作业行为识别提供的一种实施方式,在识别时,需要针对第二属性状态的上述不系围裙、不戴卫生帽、不戴口罩三个具体的不规范状态的每一个属性状态分别进行识别,进而得出厨师是否系围裙、是否戴卫生帽、是否戴口罩的结果。当然,第二属性状态不仅限于此三种,可以根据实际情况确定。另外,对于餐饮行业的其他区域,如餐厅、客户等候区等区域的相关类型工作人员,第二属性状态可以替换为着工装、戴工牌等。当然,对于非餐饮行业的其他行业,如购物商店、生产厂区等,上述人体属性、第二属性状态均可根据实际情况设定。
综上所述,考虑到厨师以外的人员一般不会在厨房逗留太久,因此可以通过较长的停留时长对厨师进行识别;而对停留时长较短的厨师,考虑到大部分情况下即使不合规着装的厨师也不会同时不系围裙和卫生帽,因此可以通过佩戴二者任意其一对厨师身份进行识别。由此,本实施例的自动对厨师的识别使用了两种方案:停留时长较长、佩系围裙或者卫生帽。两种方案互补,保证能够准确识别到所有的厨师,因而能够大大降低错误识别率。总之,本实施例对作业规范约束对象采用了停留时长、特定人体属性状态(第一属性状态)来对作业规范约束对象的身份进行识别,并对识别的作业规范约束对象采用第二属性状态进行不规范作业进行识别。该方法能够对餐饮行业不同类型的工作人员的身份进行识别,能够有效避免不同类型工作人员的误识别,大大提高了餐饮行业工作人员作业规范的识别效率与识别精度,而且能够有效避免人体跟踪算法ID号交换导致误报。
实施例二:
本实施还提供了一种判定餐饮行业工作人员休息时间不规范的图像识别方法,具体的,步骤S40还包括如下步骤:
判断为作业约束对象在从餐饮空间消失时,计算每个作业规范约束对象的不合规停留时长;将不合规停留时长满足预设条件的每个作业规范约束对象确定为作业不规范并进行记录,返回步骤S10,进行下一批次的图像识别;其中,餐饮空间为休息区。
作为一种可选的实施方式,每个作业规范约束对象的不合规停留时长DT计算公式如下:
DT=(t6-t5)×(1-r) (4);
r=num/count3 (5);
其中,num为每个作业规范约束对象的编号在每帧中对应的人数大于C对应的图像帧数,count3为每个作业约束对象的编号对应的图像帧数;C为在餐饮空间内正常停留最小人数阈值;t6-t5为每个作业约束对象的编号对应的停留时长。
作为一种可选的实施方式,本实施例的预设条件为:
不合规停留时长不小于第三阈值,且r<R;
其中,R为正常停留的作业约束对象在餐饮空间停留的总时间与集体聚集时间占比的阈值。
需说明的是,本实施的作业规范约束对象可以为厨师,也可以是餐厅的所有工作人员,当然还可以是实施例一所述的其他行业。可对所有工作人员或单独的工作类别人员的休息时间进行规范识别。对于所有员工的身份属性识别,相关属性状态可以是每种类型的员工的着装或相关佩戴物。如实施例一中的厨师,可以通过佩戴卫生帽或系围裙来判断;如前厅的服务人员,可以通过着装或佩戴的标识牌来判断。也可通过员工共同的标识来判断,如厨房的厨师、洗碗工、清洁工,他们都会穿统一的工作服、系围裙,或佩戴卫生帽;再如,所有工作人员都会佩戴工牌,或者所有员工的着装上均有公司的显眼logo等。当然,某些情况也可以不对每类工作员工进行上述识别,如员工休息区其他人不允许进入。可根据实际情况来定。
需进一步说明的是,在正常的休息时间段,通常会出现大量的人员聚集在餐饮空间的休息室,因此可以通过人数大致判断是否处于休息状态。然而,由于每个人进入休息室的时间是有先后的,所以在休息时间开始或者结束的时候,人数可能并不多,还是容易将这些最早进入休息室或者最晚离开休息室的人误检为超时停留。但是,这些情况都有一个共同的特征,人员停留在休息室的整个时间段一定是跟集体聚集时间段存在重合的,因此可以通过这个重合关系对这些情况进行过滤,从而避免产生误检。基于上述情况,本实施例一方面为每个跟踪与检测的人维护了一个由编号、编号对应每帧中的人数、编号对应的停留时长和编号对应的图像帧数的缓存数据列表,并且设置不合规停留最大人数阈值,相当于通过本方法自动发现正常休息时间,并且不对这些时间进行停留计时,这样有效地避免了人员集体聚集情况下的大量超时停留误检;另一方面,计算编号对应的停留时间跟集体聚集时间重合的占比,相当于通过本方法自动发现休息时间最先进入休息室或者最后离开休息室的人,弥补了单纯通过人数进行休息时间判断的缺陷,这样有效地避免了休息开始和结束时刻的超时停留误检,另外甚至可以据此推测实际的完整的休息时间段。
另外,在某些应用场景中,可以不只对作业约束对象进行休息时间不规范识别,而是要针对所有员工进行,则相关步骤如下:
根据人体检测与跟踪得到的每个人的编号,记录每个检测与跟踪的人从餐饮空间出现到消失时对应的编号、编号对应每帧中的人数、编号对应的停留时长和编号对应的图像帧数;根据每个检测与跟踪的人的编号、编号对应每帧中的人数、编号对应的停留时长和编号对应的图像帧数,分别计算每个检测与跟踪的人的不合规停留时长;将不合规停留时长满足预设条件对应的检测与跟踪的人为判定为作业不规范,返回步骤S10,进行下一批次的图像识别。
综上所述,本发明的实施例提供餐饮行业工作人员作业规范的图像识别方法能够对特定类型的工作人员的不规范穿戴进行识别,还能够对工作人员超时休息的不规范行为进行识别,其识别准确率高,有效避免误检,而且应用范围广,具有市场推广价值。
以上仅为本发明的较佳实施例而已,本领域技术人员知悉,在不脱离本发明的精神和范围的情况下,可以对这些特征和实施例进行各种改变或等同替换。另外,在本发明的教导下,可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此,本发明不受此处所公开的具体实施例的限制,所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (9)

1.一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,包括以下步骤:
S10、在餐饮空间内,对获取的多帧待识别图像进行人体检测与跟踪,得到检测与跟踪的每个人对应的编号;
S20、每个编号对应的人从所述餐饮空间从出现到消失的过程中,记录每个编号在每帧中对应的人数、每个编号对应的停留时长、每个编号在每帧中对应的人体属性状态以及人体属性状态对应的帧数;
S30、每个编号对应的人从所述餐饮空间消失时,根据编号的人体属性状态对应的帧数、编号对应的停留时长以及所述待识别图像的总帧数,对每个编号对应的人是否为作业约束对象进行判断;
S40、每个判断为所述作业约束对象从所述餐饮空间消失时,根据编号在每帧中对应的人数、编号对应的停留时长、编号的人体属性状态对应的帧数以及所述待识别图像的总帧数,对编号对应的每个所述作业约束对象的不规范作业行为进行判断与记录。
2.根据权利要求1所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,步骤S30包括如下步骤:
在每个所述编号对应的人从所述餐饮空间消失时,计算每个编号的非作业规范约束对象停留时长;
将所述非作业规范约束对象停留时长不小于第一阈值的所有编号对应的人确定为所述作业规范约束对象;
其中,所述作业规范约束对象为厨师,所述餐饮空间为厨房。
3.根据权利要求2所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,每个所述编号的非作业规范约束对象停留时长T的计算公式为:
T=(t2-t1)×(count-count1)/count;
其中,t2-t1为每个编号对应的停留时长;count为所述待识别图像的总帧数;count1为每个编号的所述人体属性状态为第一属性状态对应的图像帧数;
所述第一属性状态为系围裙或者戴卫生帽。
4.根据权利要求3所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,当每个编号对应的人通过所述非作业规范约束对象停留时长未确认为所述作业规范约束对象时,步骤S30还包括如下步骤:
每个所述编号对应的人从所述餐饮空间消失时,计算每个编号的所述人体属性状态为第一属性状态对应的图像帧数占所述待识别图像的总帧数的比值;
将比值不小于预设比例的全部所述编号对应的人确认为所述作业规范约束对象。
5.根据权利要求3所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,步骤S40包括如下步骤:
判断为所述作业约束对象从所述餐饮空间消失的时,计算每个所述作业规范约束对象的累计停留时长;
将所述累计停留时长不小于第二阈值的每个所述作业规范约束对象确认为存在不规范作业行为并进行记录,返回步骤S10,进行下一批次的图像识别。
6.根据权利要求5所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,每个所述作业规范约束对象的累计停留时长T1的计算公式如下:
T1=(t4-t3)×(count-count2)/count;
其中,t4-t3为每个所述作业规范约束对象的编号对应的停留时长;count为所述待识别图像的总帧数;count2为每个所述作业规范约束对象的编号对应的所述人体属性状态为同时满足第一属性状态和第二属性状态的图像帧数;
所述第二属性状态包括不系围裙、不戴卫生帽、不戴口罩。
7.根据权利要求1所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,步骤S40还包括如下步骤:
判断为所述作业约束对象在从所述餐饮空间消失时,计算每个所述作业规范约束对象的不合规停留时长;
将所述不合规停留时长满足预设条件的每个所述作业规范约束对象确定为作业不规范并进行记录,返回步骤S10,进行下一批次的图像识别;
其中,所述餐饮空间为休息区。
8.根据权利要求7所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,每个所述作业规范约束对象的所述不合规停留时长DT计算公式如下:
DT=(t6-t5)×(1-r);
r=num/count3;
其中,num为每个所述作业规范约束对象的编号在每帧中对应的人数大于C对应的图像帧数,count3为每个所述作业约束对象的编号对应的图像帧数;C为在所述餐饮空间内正常停留最小人数阈值;t6-t5为每个所述作业约束对象的编号对应的停留时长。
9.根据权利要求8所述的一种餐饮行业工作人员作业规范的图像识别方法,其特征在于,所述预设条件为:
所述不合规停留时长不小于第三阈值,且r<R;
其中,R为正常停留的所述作业约束对象在所述餐饮空间停留的总时间与集体聚集时间占比的阈值。
CN202211134665.2A 2022-09-19 2022-09-19 一种餐饮行业工作人员作业规范的图像识别方法 Pending CN115376071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211134665.2A CN115376071A (zh) 2022-09-19 2022-09-19 一种餐饮行业工作人员作业规范的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211134665.2A CN115376071A (zh) 2022-09-19 2022-09-19 一种餐饮行业工作人员作业规范的图像识别方法

Publications (1)

Publication Number Publication Date
CN115376071A true CN115376071A (zh) 2022-11-22

Family

ID=84071776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211134665.2A Pending CN115376071A (zh) 2022-09-19 2022-09-19 一种餐饮行业工作人员作业规范的图像识别方法

Country Status (1)

Country Link
CN (1) CN115376071A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278696A (zh) * 2023-11-17 2023-12-22 西南交通大学 一种建造现场实时个人防护装备违规视频剪辑方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278696A (zh) * 2023-11-17 2023-12-22 西南交通大学 一种建造现场实时个人防护装备违规视频剪辑方法
CN117278696B (zh) * 2023-11-17 2024-01-26 西南交通大学 一种建造现场实时个人防护装备违规视频剪辑方法

Similar Documents

Publication Publication Date Title
CN109117827B (zh) 基于视频的工服工帽穿戴状态自动识别方法与报警系统
CN110633697A (zh) 一种厨房卫生智能监控方法
CN115376071A (zh) 一种餐饮行业工作人员作业规范的图像识别方法
WO2019105269A1 (zh) 作业人员评价系统、作业人员评价装置及评价方法
EP3296929A1 (en) Method and device for calculating customer traffic volume
CN110738135A (zh) 一种工人作业工步规范视觉识别判定与指导方法及系统
CN110717448A (zh) 一种食堂后厨智能管理系统
CN112257660B (zh) 无效客流的去除方法、系统、设备及计算机可读存储介质
CN111881867A (zh) 视频分析方法及装置、电子设备
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN101696877A (zh) 机器视觉系统对弹簧垂直度的在线检测方法
CN101726265A (zh) 机器视觉系统对弹簧平行度的在线检测方法
CN111428944B (zh) 基于大数据的餐饮行业管理系统及方法
CN110000705A (zh) 一种磨机异常加工操作的检测方法、系统及相关组件
CN113485277A (zh) 一种智慧电厂视频识别监控管理系统和方法
CN110173830A (zh) 空调运行数据的监控方法及相关设备
TWI698803B (zh) 影像辨識方法及其監控攝影機與監控攝影系統
CN105427303B (zh) 一种变电站遗留物的视觉测量与估计方法
CN113705988B (zh) 一种监理人员绩效管理方法、系统、存储介质及智能终端
CN111881733B (zh) 一种工人作业工步规范视觉识别判定与指导方法和系统
CN113516632A (zh) 检测方法、装置、系统、存储介质及电子装置
CN115909580A (zh) 一种基于物联网的智慧办公方法和系统
CN106101696B (zh) 视频质量诊断系统及视频质量分析算法
CN106707114A (zh) Gis间隔运行状态的检测方法及装置
CN114386491A (zh) 一种网上贸易代理智能货物信息统计分类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination