CN116151836A - 一种智能前台辅助服务系统 - Google Patents
一种智能前台辅助服务系统 Download PDFInfo
- Publication number
- CN116151836A CN116151836A CN202310431462.8A CN202310431462A CN116151836A CN 116151836 A CN116151836 A CN 116151836A CN 202310431462 A CN202310431462 A CN 202310431462A CN 116151836 A CN116151836 A CN 116151836A
- Authority
- CN
- China
- Prior art keywords
- feature
- intelligent
- foreground
- visitor
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 104
- 230000009471 action Effects 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004220 aggregation Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
- G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Finance (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能前台辅助服务系统,包括多路图像采集装置、人工智能服务器、办公系统服务器、智能网关和多个物联网终端;多路图像采集装置用于采集待测目标的图像信息,人工智能服务器用于采用改进型YOLO目标检测模型进行目标检测输出目标检测结果,办公系统服务器向智能网关下发控制指令,以控制物联网终端执行前台辅助服务动作;其中,改进型YOLO目标检测模型包括CSPNet主干网络、颈部和检测头,主干网络对图像信息进行特征提取,颈部采用双机制进行特征融合,检测头考虑了交并比预测值。本发明的目标检测模型检测精度高,模型性能优良,为企业前台服务提供了有力的技术支持,提高了前台服务的工作效率。
Description
技术领域
本发明涉及智能服务技术领域,具体涉及一种智能前台辅助服务系统。
背景技术
企业前台是企业的对外窗口,对于企业形象的建立具有重要作用,服务质量的好坏直接代表了企业的形象好坏和服务质量好坏。
前台接待,是企业的典型职位之一,属于面向于公司外部的公司门面,代表着企业的形象,由于此岗位需要值班,不得脱岗,因此职位人数通常不得低于2人;大多数企业通常会依据人员流动性来提供周期性内调的规定,其通常主要负责客户的来访以及登记、电话转接等事务,迎候来宾、判断来宾意向并与接待、办理相关手续、接听来电以及回访常见问题等。
传统的前台服务体系是接待到访人员,登记到访人员信息,智能化较弱,同时整体工作效率较为低下。
发明内容
本发明的目的在于克服现有技术存在的技术问题,提供一种智能前台辅助服务系统,以至少达到提高前台服务的智能化工作效率,提高员工办公体验和访客到访体验。
本发明的目的是通过以下技术方案来实现的:
一方面本发明提供一种智能前台辅助服务系统,包括多路图像采集装置、人工智能服务器、办公系统服务器、智能网关以及多个物联网终端,每路所述图像采集装置分别与所述人工智能服务器连接,所述人工智能服务器分别与所述办公系统服务器和所述智能网关连接,所述智能网关分别与所述办公系统服务器和每一所述物联网终端连接;
多路所述图像采集装置分别部署于包括企业前台区域的多个检测区域,用于采集各个检测区域中待测目标的图像信息,并将图像信息发送至所述人工智能服务器,其中,所述待测目标至少包括人脸;
所述人工智能服务器用于采用改进型YOLO目标检测模型对图像信息进行目标检测以输出目标检测结果,并将目标检测结果发送至所述办公系统服务器;其中,改进型YOLO目标检测模型包括CSPNet主干网络、颈部和检测头, 主干网络对图像信息进行特征提取,颈部采用路径聚合增强和金字塔平衡注意力双机制进行特征融合,检测头考虑了交并比预测值;
所述办公系统服务器用于将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令,并将所述控制指令下发至所述智能网关,其中,数据库中至少预存有员工信息和/或访客信息;
所述智能网关用于根据所述控制指令控制对应的物联网终端执行前台辅助服务动作,其中,物联网终端至少包括员工考勤服务终端和/或访客服务终端。
在一种可能的设计中,在采用改进型YOLO目标检测模型对图像信息进行目标检测时,所述人工智能服务器具体用于:
将图像信息输入至CSPNet主干网络进行特征提取,并输出多个不同尺度的第一特征图;
将多个第一特征图输入至路径聚合增强模块,以便路径聚合增强模块对多个第一特征图进行感受野增大和特征融合,得到多个第二特征图;
将多个第二特征图输入至金字塔平衡注意力模块,以便金字塔平衡注意力模块基于注意力机制对多个第二特征图进行权重计算,得到输出特征图;
将输出特征图输入至考虑交并比预测值的检测头,以便检测头基于交并比预测值对预测框的置信度进行计算,输出目标检测结果。
在一种可能的设计中,在路径聚合增强模块对多个第一特征图进行感受野增大和特征融合,得到多个第二特征图时,路径聚合增强模块具体用于:
在自上而下的路径中采用空洞卷积金字塔池化层以不同的空洞率并行地对多个第一特征图进行感受野增大,提取多个不同尺度的第三特征图,同时通过自下而上的路径传递输出多个第四特征图;
将多个第三特征图输入至卷积层和sigmoid激活函数进行注意力权重计算,并将注意力权重分别作用于多个第三特征图和多个第四特征图进行加权计算,得到多个第二特征图,其中,第二特征图用于表征感兴趣区域。
在一种可能的设计中,在金字塔平衡注意力模块基于注意力机制对多个第二特征图进行权重计算,得到输出特征图时,金字塔平衡注意力模块具体用于:
将多个第二特征图输入至多尺度特征捕获单元,对各个第二特征图的特征空间信息进行学习并形成金字塔结构,输出第五特征图;
将多个第二特征图分别输入至并联的空间注意力单元和通道注意力单元进行权重计算,得到注意力图;
利用注意力图对第五特征图进行加权计算,得到输出特征图。
在一种可能的设计中,在检测头基于交并比预测值对预测框的置信度进行计算时,检测头具体用于:
结合预测框的交并比预测值、预测框的分类得分以及预测框的目标得分,对预测框的置信度进行计算,计算公式如下:
其中,交并比预测值采用交叉熵损失函数进行训练,并仅对包含待测目标的预测框的交并比预测值进行损失计算,计算公式如下:
在一种可能的设计中,当目标检测结果为人脸时,在将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令时,所述办公系统服务器具体用于:
将人脸检测结果与数据库中预存的员工人脸信息和/或访客人脸信息进行匹配,以对员工身份和/或访客身份进行识别;
其中,当识别为员工时,进一步获取员工所在检测区域以及图像信息的采集时间,若员工处于前台考勤区域且图像信息的采集时间为预设的考勤时段,则生成员工考勤确认指令,以便智能网关控制考勤服务终端执行考勤确认动作;
当识别为访客时,则生成访客接待指令,以便智能网关控制访客服务终端执行访客服务动作。
在一种可能的设计中,所述系统还包括员工终端,当识别为访客时,所述办公系统服务器还用于:
进一步判断访客是否有预约,若是,将访客到访通知下发至对应接待员工所在终端。
在一种可能的设计中,所述物联网终端还包括报警器,当识别为访客时,所述办公系统服务器还用于:
进一步判断访客访问状态是否异常,若是,则向智能网关下发报警指令,以便智能网关控制报警器执行报警动作。
在一种可能的设计中,所述物联网终端还包括快递存取终端,当根据所述控制指令控制对应的物联网终端执行前台辅助服务动作时,所述智能网关具体用于:
根据快递存取指令控制快递存取终端执行自助存储服务动作;
在将人脸检测结果与数据库中预存的员工人脸信息进行匹配之后,所述办公系统服务器还用于:判断当前处理人与预设处理人是否一致,若否,则进行误处理提示。
在一种可能的设计中,所述待测目标还包括人脸表情,在将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令时,所述办公系统服务器具体用于:
将人脸表情检测结果与数据库预存的表情标签进行匹配以对人脸表情进行识别,当识别到负面表情时,生成关怀服务控制指令,以便智能网关控制关怀服务终端执行关怀服务动作。
本发明的有益效果是:
本发明通过多路图像采集装置采集待测目标的图像信息,通过人工智能服务器采用改进型YOLO目标检测模型对图像信息进行目标检测以输出目标检测结果,通过办公系统服务器向智能网关下发控制指令,以控制物联网终端执行前台辅助服务动作;其中,改进型YOLO目标检测模型采用CSPNet主干网络对图像信息进行特征提取,能够获得丰富强大的特征表征并减少计算量;采用路径聚合增强和金字塔平衡注意力双机制进行特征融合的颈部,能够进一步增强特征的表征能力,且输出的特征能够包含不同尺度且更具判别力,减少噪声干扰的影响,提升了目标检测模型的性能;考虑交并比预测值的检测头,使得模型的预测框对于待测目标的定位更加准确;通过上述系统的设置,本发明能够辅助前台自助完成员工考勤工作和访客接待工作,提高了前台工作的效率,进而提高了员工的办公体验和访客的访问体验。
附图说明
图1为本申请实施例中的前台辅助服务系统的结构框图;
图2为本申请实施例中的改进型YOLO目标检测模型的结构框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
为了使本发明的目的,技术方案及优点更加清楚明白,结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且,术语“包括”,“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程,方法,物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程,方法,物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程,方法,物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1和图2所示,本申请实施例一方面提供一种智能前台辅助服务系统,包括多路图像采集装置、人工智能服务器、办公系统服务器、智能网关以及多个物联网终端,每路所述图像采集装置分别与所述人工智能服务器连接,所述人工智能服务器分别与所述办公系统服务器和所述智能网关连接,所述智能网关分别与所述办公系统服务器和每一所述物联网终端连接;
多路所述图像采集装置分别部署于包括企业前台区域的多个检测区域,用于采集各个检测区域中待测目标的图像信息,并将图像信息发送至所述人工智能服务器,其中,所述待测目标至少包括人脸;
其中,需要说明的是,优选的,所述图像采集装置采用摄像头,多个摄像头分别部署于包括企业前台区域的多个检测区域,例如安装在企业大楼门禁处、企业办公楼门口处、办公楼前台处、办公楼各个办公区域处、办公楼走廊等,具体可以根据实际的应用需求进行部署,此处不做限定;优选的,所述待测目标除了人脸之外,还可以是人物、快递件、快递架、信件、智能手机、烟雾、打火机、抽烟姿态等各种目标信息,具体可以根据企业内部管理和外部服务需要进行调整,此处不做限定;优选的,所述人工智能服务器可以是一个,也可以是分布式部署的服务器集群,此处不做限定。
所述人工智能服务器用于采用改进型YOLO目标检测模型对图像信息进行目标检测以输出目标检测结果,并将目标检测结果发送至所述办公系统服务器;其中,改进型YOLO目标检测模型包括用于对图像信息进行特征提取的CSPNet主干网络、采用路径聚合增强和金字塔平衡注意力双机制进行特征融合的颈部以及考虑交并比预测值的检测头;
所述办公系统服务器用于将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令,并将所述控制指令下发至所述智能网关,其中,数据库中至少预存有员工信息和/或访客信息;
所述智能网关用于根据所述控制指令控制对应的物联网终端执行前台辅助服务动作,其中,物联网终端至少包括员工考勤服务终端和/或访客服务终端。
基于上述公开的内容,本申请实施例通过多路图像采集装置采集待测目标的图像信息,通过人工智能服务器采用改进型YOLO目标检测模型对图像信息进行目标检测以输出目标检测结果,通过办公系统服务器向智能网关下发控制指令,以控制物联网终端执行前台辅助服务动作;其中,改进型YOLO目标检测模型采用CSPNet主干网络对图像信息进行特征提取,能够获得丰富强大的特征表征并减少计算量;采用路径聚合增强和金字塔平衡注意力双机制进行特征融合的颈部,能够进一步增强特征的表征能力,且输出的特征能够包含不同尺度且更具判别力,减少噪声干扰的影响,提升了目标检测模型的性能;考虑交并比预测值的检测头,使得模型的预测框对于待测目标的定位更加准确;通过上述系统的设置,本发明能够辅助前台自助完成员工考勤工作和访客接待工作,提高了前台工作的效率,进而提高了员工的办公体验和访客的访问体验。
在一种具体的实施方式中,在采用改进型YOLO目标检测模型对图像信息进行目标检测时,所述人工智能服务器具体用于:
1)将图像信息输入至CSPNet(Cross Stage Partial Network,跨阶段局部网络)主干网络进行特征提取,并输出多个不同尺度的第一特征图;
其中,需要说明的是,CSPNet主干网络通过将梯度的变化从头到尾地集成到特征图中,在减少了计算量的同时能够保证准确率。
2)将多个第一特征图输入至路径聚合增强模块,以便路径聚合增强模块对多个第一特征图进行感受野增大和特征融合,得到多个第二特征图;
在一种具体的实施方式中,在路径聚合增强模块对多个第一特征图进行感受野增大和特征融合,得到多个第二特征图时,路径聚合增强模块具体用于:
在自上而下的路径中采用空洞卷积金字塔池化层以不同的空洞率并行地对多个第一特征图进行感受野增大,提取多个不同尺度的第三特征图,同时通过自下而上的路径传递输出多个第四特征图;
其中,需要说明的是,空洞卷积能够在增大特征图的感受野的同时,无需引入额外参数,通过采用不同空洞率的空洞卷积层来对多个第一特征图进行卷积,能够在多尺度上铺货图像的上下文信息,作为一种示例,空洞卷积金字塔池化层可以采用多个并行的分支,例如4个并行的分支对第一特征图进行处理,以捕获多尺度特征;其中,当采用4个并行分支时,可对前3个分支分别采用3个不同的空洞率的空洞卷积对第一特征图进行卷积,然后经过ReLU激活函数,并对第4个分支依次经过平均池化操作、1×1卷积和ReLU激活函数,并对输出的特征大小进行调整;最后将第4个分支的输出特征与前3个分支的输出特征按照通道维度进行拼接,以获得空洞卷积金字塔池化层的输出结果。其中,优选的,前3个分支的空洞卷积的卷积核可以依次设置为k=[1,3,3],空洞率可以依次设置为r=[1,3,5],填充可以依次设置为p=[0,3,5],步长均设置为1,卷积的输出通道数为输入通道数的1/n,n为整数,优选的,n取值为4,当然可以理解的是,上述取值仅为本申请实施例中的空洞卷积金字塔池化层的其中一种参数设置,在其他的应用场景中,还可以根据应用需求对参数设置进行调整,此处不做限定。
将多个第三特征图输入至卷积层和sigmoid激活函数进行注意力权重计算,并将注意力权重分别作用于多个第三特征图和多个第四特征图进行加权计算,得到多个第二特征图,其中,第二特征图用于表征感兴趣区域。
其中,需要说明的是,优选的,可将多个第三特征图输入至1×1卷积和sigmoid激活函数进行注意力权重计算,从而使得目标检测模型仅关注重要信息而忽略无关的信息,其中,通过sigmoid激活函数将第三特征图进行归一化,既归一化到(0,1),从而得到第三特征图中每个像素值的重要程度权重。
作为一种优选,将注意力权重分别作用于多个第三特征图和多个第四特征图进行加权计算,采用的计算公式可以如下:
基于上述公开的内容,通过在空洞卷积金字塔池化层中采用注意力权重对特征图进行加权计算,即将第三特征图和第四特征图进行有效融合,从而进一步增强输出的第二特征图的表征能力。
将多个第二特征图输入至金字塔平衡注意力模块,以便金字塔平衡注意力模块基于注意力机制对多个第二特征图进行权重计算,得到输出特征图;
在一种具体的实施方式中,在金字塔平衡注意力模块基于注意力机制对多个第二特征图进行权重计算,得到输出特征图时,金字塔平衡注意力模块具体用于:
将多个第二特征图输入至多尺度特征捕获单元,对各个第二特征图的特征空间信息进行学习并形成金字塔结构,输出第五特征图;
其中,需要说明的是,本申请实施例中的多尺度特征捕获单元采用并行的多个分支结构来独立地学习第二特征图的空间信息,从而可以获取多尺度特征并形成金字塔结构。在金字塔结构中,采用不同卷积核大小的卷积操作可以获得不同尺度的特征空间信息,优选的,为了减少参数量,多尺度特征捕获单元采用深度可分离卷积来提取第二特征图的空间信息;例如,可以采用4个不同大小卷积核的深度可分离卷积,并将卷积核大小分别设置为k=[1,3,5,7],并将每一分支的输出通道数均设置为输入通道数的1/4,将提取得到的特征图按照通道维度进行拼接得到第五特征图,从而丰富输入特征图的特征空间。
将多个第二特征图分别输入至并联的空间注意力单元和通道注意力单元进行权重计算,得到注意力图;
其中,需要说明的是,本申请实施例中的空间注意力单元通过压缩通道维度为输入的第二特征图计算空间注意力权重,从而获取图像中空间位置贡献更大的区域;本申请实施例中的空间注意力单元通过根据输入的第二特征图的通道重要程度赋予通道不同权重,具体是越关键的通道赋予越高的权重,从而使得目标检测模型选择权重更高的通道进行特征响应。
具体的,将多个第二特征图分别输入至并联的空间注意力单元和通道注意力单元进行权重计算,得到注意力图,可采用如下公式进行计算:
其中,表示经过空间注意力单元计算的第一权重,/>表示经过通道注意力单元计算的第二权重,/>表示第一权重和第二权重通过广播乘法计算得到的每一第二特征图加权后的第一注意力图;/>表示多个第一注意力图按照通道维度进行拼接得到的第二注意力图。
利用注意力图对第五特征图进行加权计算,得到输出特征图。
具体的,利用注意力图对第五特征图进行加权计算,得到输出特征图,可采用如下公式进行计算:
基于上述公开的内容,通过在金字塔平衡注意力模块利用多尺度特征捕获单元学习不同尺度的特征空间信息以形成金字塔结构,然后通过加权计算得到包含不同尺度且更具判别力的特征,能够减少噪声干扰的影响,进而提升模型的检测性能。
4)将输出特征图输入至考虑交并比预测值的检测头,以便检测头基于交并比预测值对预测框的置信度进行计算,输出目标检测结果。
在一种具体的实施方式中,在检测头基于交并比预测值对预测框的置信度进行计算时,检测头具体用于:
结合预测框的交并比预测值、预测框的分类得分以及预测框的目标得分,对预测框的置信度进行计算,计算公式如下:
其中,交并比预测值采用交叉熵损失函数进行训练,并仅对包含待测目标的预测框的交并比预测值进行损失计算,计算公式如下:
基于上述公开的内容,通过在检测头中增加交并比预测分支对预测框的定位准确性进行评估,从而提高了预测框的目标定位精度。
在一种具体的实施方式中,当目标检测结果为人脸时,在将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令时,所述办公系统服务器具体用于:
将人脸检测结果与数据库中预存的员工人脸信息和/或访客人脸信息进行匹配,以对员工身份和/或访客身份进行识别;
其中,当识别为员工时,进一步获取员工所在检测区域以及图像信息的采集时间,若员工处于前台考勤区域且图像信息的采集时间为预设的考勤时段,则生成员工考勤确认指令,以便智能网关控制考勤服务终端执行考勤确认动作;
当识别为访客时,则生成访客接待指令,以便智能网关控制访客服务终端执行访客服务动作。
其中,需要说明的是,企业服务器可在数据库预存员工的人脸信息以及登记在册的访客信息,例如历史访客信息、已预约访客信息等,则当目标检测模型检测到人脸后,若通过数据库比对判断当前人脸信息为员工的人脸信息,则根据人脸信息获取员工的身份信息,并进一步获取员工所在的检测区域和图像采集时间,若员工处于前台考勤区域且图像信息的采集时间为预设的考勤时段,例如处于上班时间点9:00之前、迟到计算时段9:00-10:00、下班时间点18:00之后、早退计算时段17:00-18:00等,则将识别到人脸信息作为员工的考勤信息,并控制考勤服务终端直接执行考勤确认动作,例如语音播报“上班签到成功”、“迟到”等提示信息,从而解决了员工上下班排队打卡、忘记打卡等问题,实现考勤智能化;同理,若通过数据库比对判断当前人脸信息为访客,则生成访客接待指令,并控制访客服务终端执行访问服务动作,例如开放门禁、迎宾屏幕播放欢迎词和/或公司背景材料视频动画、音频终端播放欢迎语音等,或者在前台无人工值守时,可配置智能机器人为访客提供茶水服务等,此处不做限定;优选的,所述系统还包括员工终端,当识别为访客时,所述办公系统服务器还用于:进一步判断访客是否有预约,若是,将访客到访通知下发至对应接待员工所在终端,从而可以第一时间通知到负责该客户的员工,提高员工办公效率和客户的到访体验;当然,可以理解的是,员工通过所在终端,也可使用企业办公系统提前对客户信息进行注册、预约等,更加便于客户上门时的快速响应服务。
在一种具体的实施方式中,所述物联网终端还包括报警器,当识别为访客时,所述办公系统服务器还用于:
进一步判断访客访问状态是否异常,若是,则向智能网关下发报警指令,以便智能网关控制报警器执行报警动作。
其中,需要说明的是,访问状态异常的情况包括访问在深夜非工作时段上门拜访、访客携带管制刀具等危险物品等明显异常的情况,此外,在通过报警器报警的同时,还可以将报警信息同步至办公楼安保系统,以提醒安保人员及时处理异常状况。
在一种具体的实施方式中,所述物联网终端还包括快递存取终端,当根据所述控制指令控制对应的物联网终端执行前台辅助服务动作时,所述智能网关具体用于:
根据快递存取指令控制快递存取终端执行自助存储服务动作;
在将人脸检测结果与数据库中预存的员工人脸信息进行匹配之后,所述办公系统服务器还用于:判断当前处理人与预设处理人是否一致,若否,则进行误处理提示。
其中,需要说明的是,所述快递存取终端包括多个快递存取单元,企业可根据部门人员的划分对快递存取单元的使用进行划分,以提高快递存取的效率;通过目标检测模型,能够对快递存取终端中各部门的快递剩余数量、某部门新到快递等情形进行检测,并通过企业办公服务器直接通知到对应部门和部门员工终端,无需员工人为前往前台确认,进一步提高了前台的服务效率;此外,企业办公系统可专门设置邮寄与取件系统,对快递进行记录与绑定以及消息通知等,也可以联动控制智能文件箱以防止机密文件泄漏或错领,例如智能识别领件人与待领人是否一致,若不一致,则进行误处理提示,此外,代领人若提前设置取件安全锁,旁人会取件触发错领报警系统。
在一种具体的实施方式中,所述待测目标还包括人脸表情,在将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令时,所述办公系统服务器具体用于:
将人脸表情检测结果与数据库预存的表情标签进行匹配以对人脸表情进行识别,当识别到负面表情时,生成关怀服务控制指令,以便智能网关控制关怀服务终端执行关怀服务动作,例如当识别到某员工或某客户情绪欠佳,通过设置智能机器人移动至员工或客户所在区域来提供关怀服务,以提高员工的办公体验或者访问的访问体验。
当然,可以理解的是,本申请的待测目标不限于本申请实施例中所列举的情形,其他诸于危险物品检测,例如非吸烟区域检测到打火机、烟头或烟雾等,都在本申请实施例的保护范围之内,具体可以根据实际的应用需求进行设置,此处不做限定。
基于上述公开的内容,本申请实施例通过多路图像采集装置采集待测目标的图像信息,通过人工智能服务器采用改进型YOLO目标检测模型对图像信息进行目标检测以输出目标检测结果,通过办公系统服务器向智能网关下发控制指令,以控制物联网终端执行前台辅助服务动作;其中,改进型YOLO目标检测模型采用CSPNet主干网络对图像信息进行特征提取,能够获得丰富强大的特征表征并减少计算量;采用路径聚合增强和金字塔平衡注意力双机制进行特征融合的颈部,能够进一步增强特征的表征能力,且输出的特征能够包含不同尺度且更具判别力,减少噪声干扰的影响,提升了目标检测模型的性能;考虑交并比预测值的检测头,使得模型的预测框对于待测目标的定位更加准确;通过上述系统的设置,本发明能够辅助前台自助完成员工考勤工作和访客接待工作,提高了前台工作的效率,进而提高了员工的办公体验和访客的访问体验。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种智能前台辅助服务系统,其特征在于,包括多路图像采集装置、人工智能服务器、办公系统服务器、智能网关以及多个物联网终端,每路所述图像采集装置分别与所述人工智能服务器连接,所述人工智能服务器分别与所述办公系统服务器和所述智能网关连接,所述智能网关分别与所述办公系统服务器和每一所述物联网终端连接;
多路所述图像采集装置分别部署于包括企业前台区域的多个检测区域,用于采集各个检测区域中待测目标的图像信息,并将图像信息发送至所述人工智能服务器,其中,所述待测目标至少包括人脸;
所述人工智能服务器用于采用改进型YOLO目标检测模型对图像信息进行目标检测以输出目标检测结果,并将目标检测结果发送至所述办公系统服务器;其中,改进型YOLO目标检测模型包括CSPNet主干网络、颈部和检测头,主干网络对图像信息进行特征提取,颈部采用路径聚合增强和金字塔平衡注意力双机制进行特征融合,检测头考虑了交并比预测值;
所述办公系统服务器用于将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令,并将所述控制指令下发至所述智能网关,其中,数据库中至少预存有员工信息和/或访客信息;
所述智能网关用于根据所述控制指令控制对应的物联网终端执行前台辅助服务动作,其中,物联网终端至少包括员工考勤服务终端和/或访客服务终端。
2.根据权利要求1所述的智能前台辅助服务系统,其特征在于,在采用改进型YOLO目标检测模型对图像信息进行目标检测时,所述人工智能服务器具体用于:
将图像信息输入至CSPNet主干网络进行特征提取,并输出多个不同尺度的第一特征图;
将多个第一特征图输入至路径聚合增强模块,以便路径聚合增强模块对多个第一特征图进行感受野增大和特征融合,得到多个第二特征图;
将多个第二特征图输入至金字塔平衡注意力模块,以便金字塔平衡注意力模块基于注意力机制对多个第二特征图进行权重计算,得到输出特征图;
将输出特征图输入至考虑交并比预测值的检测头,以便检测头基于交并比预测值对预测框的置信度进行计算,输出目标检测结果。
3.根据权利要求2所述的智能前台辅助服务系统,其特征在于,在路径聚合增强模块对多个第一特征图进行感受野增大和特征融合,得到多个第二特征图时,路径聚合增强模块具体用于:
在自上而下的路径中采用空洞卷积金字塔池化层以不同的空洞率并行地对多个第一特征图进行感受野增大,提取多个不同尺度的第三特征图,同时通过自下而上的路径传递输出多个第四特征图;
将多个第三特征图输入至卷积层和sigmoid激活函数进行注意力权重计算,并将注意力权重分别作用于多个第三特征图和多个第四特征图进行加权计算,得到多个第二特征图,其中,第二特征图用于表征感兴趣区域。
4.根据权利要求2所述的智能前台辅助服务系统,其特征在于,在金字塔平衡注意力模块基于注意力机制对多个第二特征图进行权重计算,得到输出特征图时,金字塔平衡注意力模块具体用于:
将多个第二特征图输入至多尺度特征捕获单元,对各个第二特征图的特征空间信息进行学习并形成金字塔结构,输出第五特征图;
将多个第二特征图分别输入至并联的空间注意力单元和通道注意力单元进行权重计算,得到注意力图;
利用注意力图对第五特征图进行加权计算,得到输出特征图。
5.根据权利要求2所述的智能前台辅助服务系统,其特征在于,在检测头基于交并比预测值对预测框的置信度进行计算时,检测头具体用于:
结合预测框的交并比预测值、预测框的分类得分以及预测框的目标得分,对预测框的置信度进行计算,计算公式如下:
其中,交并比预测值采用交叉熵损失函数进行训练,并仅对包含待测目标的预测框的交并比预测值进行损失计算,计算公式如下:
6.根据权利要求1-5任意一项所述的智能前台辅助服务系统,其特征在于,当目标检测结果为人脸时,在将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令时,所述办公系统服务器具体用于:
将人脸检测结果与数据库中预存的员工人脸信息和/或访客人脸信息进行匹配,以对员工身份和/或访客身份进行识别;
其中,当识别为员工时,进一步获取员工所在检测区域以及图像信息的采集时间,若员工处于前台考勤区域且图像信息的采集时间为预设的考勤时段,则生成员工考勤确认指令,以便智能网关控制考勤服务终端执行考勤确认动作;
当识别为访客时,则生成访客接待指令,以便智能网关控制访客服务终端执行访客服务动作。
7.根据权利要求6所述的智能前台辅助服务系统,其特征在于,所述系统还包括员工终端,当识别为访客时,所述办公系统服务器还用于:
进一步判断访客是否有预约,若是,将访客到访通知下发至对应接待员工所在终端。
8.根据权利要求6所述的智能前台辅助服务系统,其特征在于,所述物联网终端还包括报警器,当识别为访客时,所述办公系统服务器还用于:
进一步判断访客访问状态是否异常,若是,则向智能网关下发报警指令,以便智能网关控制报警器执行报警动作。
9.根据权利要求6所述的智能前台辅助服务系统,其特征在于,所述物联网终端还包括快递存取终端,当根据所述控制指令控制对应的物联网终端执行前台辅助服务动作时,所述智能网关具体用于:
根据快递存取指令控制快递存取终端执行自助存储服务动作;
在将人脸检测结果与数据库中预存的员工人脸信息进行匹配之后,所述办公系统服务器还用于:判断当前处理人与预设处理人是否一致,若否,则进行误处理提示。
10.根据权利要求1所述的智能前台辅助服务系统,其特征在于,所述待测目标还包括人脸表情,在将目标检测结果与数据库进行匹配以对待测目标进行识别,在识别之后生成对应的控制指令时,所述办公系统服务器具体用于:
将人脸表情检测结果与数据库预存的表情标签进行匹配以对人脸表情进行识别,当识别到负面表情时,生成关怀服务控制指令,以便智能网关控制关怀服务终端执行关怀服务动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310431462.8A CN116151836A (zh) | 2023-04-21 | 2023-04-21 | 一种智能前台辅助服务系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310431462.8A CN116151836A (zh) | 2023-04-21 | 2023-04-21 | 一种智能前台辅助服务系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116151836A true CN116151836A (zh) | 2023-05-23 |
Family
ID=86339223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310431462.8A Pending CN116151836A (zh) | 2023-04-21 | 2023-04-21 | 一种智能前台辅助服务系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116151836A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246244A (zh) * | 2019-05-16 | 2019-09-17 | 珠海华园信息技术有限公司 | 基于人脸识别的智能前台管理系统 |
CN111653023A (zh) * | 2020-05-22 | 2020-09-11 | 深圳欧依云科技有限公司 | 一种智能工厂监管方法 |
CN113065528A (zh) * | 2021-05-08 | 2021-07-02 | 南京四维向量科技有限公司 | 一种嵌入式人脸识别、计数、测温的视觉计算系统 |
CN114783024A (zh) * | 2022-04-18 | 2022-07-22 | 吉林大学 | 基于YOLOv5的公共场所戴口罩的人脸识别系统 |
-
2023
- 2023-04-21 CN CN202310431462.8A patent/CN116151836A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246244A (zh) * | 2019-05-16 | 2019-09-17 | 珠海华园信息技术有限公司 | 基于人脸识别的智能前台管理系统 |
CN111653023A (zh) * | 2020-05-22 | 2020-09-11 | 深圳欧依云科技有限公司 | 一种智能工厂监管方法 |
CN113065528A (zh) * | 2021-05-08 | 2021-07-02 | 南京四维向量科技有限公司 | 一种嵌入式人脸识别、计数、测温的视觉计算系统 |
CN114783024A (zh) * | 2022-04-18 | 2022-07-22 | 吉林大学 | 基于YOLOv5的公共场所戴口罩的人脸识别系统 |
Non-Patent Citations (2)
Title |
---|
傅云龙等: "基于机器视觉与YOLO算法的马铃薯表面缺陷检测", 《机械制造》, vol. 59, no. 08, pages 248 - 252 * |
江泽涛等: "基于Dark-YOLO的低照度目标检测方法", 《计算机辅助设计与图形学学报》, vol. 35, no. 03, pages 441 - 451 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014148395A1 (ja) | 映像監視システム、映像監視方法、および映像監視装置 | |
JP6930126B2 (ja) | 人物検出システム | |
US20120207356A1 (en) | Targeted content acquisition using image analysis | |
CN106204948A (zh) | 储物柜管理方法及储物柜管理装置 | |
US20070174272A1 (en) | Facial Recognition in Groups | |
US20100005045A1 (en) | Situation recognizing apparatus, situation recognizing method, and radio terminal apparatus | |
CN111091047B (zh) | 活体检测方法、装置、服务器和人脸识别设备 | |
US20130216107A1 (en) | Method of surveillance by face recognition | |
CN112785769B (zh) | 基于人脸识别的排队叫号管理方法、装置、设备及存储介质 | |
CN109993044B (zh) | 电信诈骗识别系统、方法、装置、电子设备及存储介质 | |
CN109711309B (zh) | 一种自动识别人像图片是否闭眼的方法 | |
US10679082B2 (en) | Self-Service Terminal (SST) facial authentication processing | |
CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统 | |
US11659144B1 (en) | Security video data processing systems and methods | |
CN107273862A (zh) | 一种自动抓拍方法、监控设备及计算机可读存储介质 | |
CN112183472A (zh) | 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法 | |
CN113688794A (zh) | 身份识别方法、装置、电子设备和计算机可读存储介质 | |
CN112699328A (zh) | 网点服务数据处理方法、装置、系统、设备及存储介质 | |
CN108885691A (zh) | 基于自动特征提取的图像动作 | |
CN111339927A (zh) | 一种电力营业厅人员工作状态智能识别系统 | |
CN109983526A (zh) | 信息处理设备、信息处理方法以及记录介质 | |
CN116151836A (zh) | 一种智能前台辅助服务系统 | |
US11637994B2 (en) | Two-way intercept using coordinate tracking and video classification | |
US20230270593A1 (en) | Assistive smart glasses for visual impairment, and system and control method thereof | |
CN111160945A (zh) | 基于视频技术的广告精准投放方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230523 |