CN112990167B - 图像处理方法及装置、存储介质及电子设备 - Google Patents
图像处理方法及装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112990167B CN112990167B CN202110545943.2A CN202110545943A CN112990167B CN 112990167 B CN112990167 B CN 112990167B CN 202110545943 A CN202110545943 A CN 202110545943A CN 112990167 B CN112990167 B CN 112990167B
- Authority
- CN
- China
- Prior art keywords
- face image
- image
- dimensional
- quality
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000003908 quality control method Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 31
- 230000006855 networking Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 23
- 238000005286 illumination Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 9
- 210000001331 nose Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法及装置、存储介质及电子设备，该方法应用于边缘计算机，边缘计算机包括数据采集模块、质量控制模块及人脸识别模块，方法包括：获取各个人脸图像并确定对应的图像质量；保留高质人脸图像生成对应的三维人脸图像；计算三维人脸图像的欧拉角，保留欧拉角在预设的角度范围内的三维人脸图像为目标三维人脸图像；识别目标三维人脸图像对应的到访人员的人员身份；若存在人员身份为经纪人的到访人员，则标记人员身份为访客的到访人员对应的目标三维人脸图像，以在边缘计算机联网时上传至服务器。应用该方法，可以利用边缘计算机对图像数据进行过滤和识别等操作，完成部分对时延要求较高的任务，缓解服务器压力。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法及装置、存储介质及电子设备。
背景技术
在房地产领域，为了提高楼房的销售量，房地产商会与外部的房地产经纪人达成合作关系，由经纪人为房地产招揽客户到房产销售中心进行楼房交易活动。经纪人若携带客户到房产销售中心进行房产交易，则会在对应的交易系统中进行对应的报备，当经纪人携带的客户日后达成购房交易，经纪人可以从中赚取相对应的佣金。
为防止经纪人和案场工作人员存在虚假报备的情况，经过人脸识别的方式将渠道客户与经纪人进行绑定，但是在人脸识别的过程中，需要将大量的图像上传至服务器进行处理。在现有技术中，边缘设备在采集到图像后，需要将大量的图像上传至服务器进行处理。当边缘设备出现异常时，需要依赖人工进行重启等操作，自动化程度及鲁棒性不高，在断网等异常条件的影响下，需要存储大量的图像，并在恢复正常后再将图像上传至服务器进行人脸识别等后续的处理。但是边缘设备的内存有限，在异常期间无法存储大量图像，容易造成部分数据丢失。
发明内容
有鉴于此，本发明提供一种图像处理方法，通过该方法，利用边缘计算机结合人脸识别，对采集到的图像数据进行多次过滤等处理，避免无意义的数据存储和传输。同时，在保证人脸识别模块的输入图像质量符合标准的情况下，完成部分对时延要求较高的任务，缓解服务器压力。
本发明还提供了一种图像处理装置，用以保证上述方法在实际中的实现及应用。
一种图像处理方法，所述方法应用于边缘计算机，所述边缘计算机包括数据采集模块、质量控制模块以及人脸识别模块，所述方法包括：
获取所述数据采集模块在同一时刻下采集到的至少一个人脸图像；
通过所述质量控制模块确定每个所述人脸图像对应的图像质量；
在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；
应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；
计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；
识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；
若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；
检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器。
上述的方法，可选的，所述通过所述质量控制模块确定每个所述人脸图像对应的图像质量，包括：
对于每个所述人脸图像，应用预先设置的质量控制模块，识别所述人脸图像中每个识别区域对应的完整度值，以及所述人脸图像的整体清晰度和光照度；
基于每个所述识别区域对应的完整度值，确定所述人脸图像是否存在遮挡区域；
若所述人脸图像不存在遮挡区域，则基于每个所述识别区域对应的完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量；
若所述人脸图像存在遮挡区域，则设置每个所述识别区域对应的权重值，并基于每个所述识别区域对应的权重值和完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量。
上述的方法，可选的，所述应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像，包括：
应用预先设置的人脸识别模块，识别每个所述高质人脸图像中人脸头部的姿态，并提取每个所述高质人脸图像中的各个人脸特征数据；
基于每个所述高质人脸图像中人脸头部的姿态及各个人脸特征数据，确定每个所述高质人脸图像在二维坐标系中的各个检测点；
应用预先设置的转换公式，将各个在所述二维坐标系中的检测点映射至所述三维坐标系中，构建每个所述高质人脸图像对应的三维人脸图像。
上述的方法，可选的，所述识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员，包括：
获取预先设置的数据库中的各个人脸数据，各个所述人脸数据分别为已存储的所有案场工作人员及经纪人的三维人脸图像；
将各个目标三维人脸图像与各个人脸数据进行匹配；
若存在任意的目标三维人脸图像匹配失败，则确定所述目标三维人脸图像对应的到访人员的人员身份为访客；
若存在任意的目标三维人脸图像匹配成功，则获取与所述目标三维人脸图像相匹配的人脸数据的数据标签；判断所述数据标签是否为携带第一标识位的数据标签；若所述数据标签为携带第一标识位的数据标签，则确定所述目标三维人脸图像对应的到访人员的人员身份为经纪人；反之，则确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员。
上述的方法，可选的，还包括：
当确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员时，将所述目标三维人脸图像删除。
上述的方法，可选的，还包括：
若不存在人员身份为经纪人的到访人员，则保存所有人员身份为访客的到访人员对应的目标三维人脸图像，并将各个人员身份为访客的到访人员记录为普通访客。
上述的方法，可选的，还包括：
在所述边缘计算机不处于联网状态时，向所述服务器发送轮询指令；
将各个所述已标记的目标三维人脸图像作为人脸图像组，缓存至预先设置的消息队列中，所述消息队列用于缓存至少一个人脸图像组；
当接收到所述服务器基于所述轮询指令反馈的响应消息时，将所述消息队列中缓存的各个人脸图像组依次上传至所述服务器。
一种图像处理装置，所述装置应用于边缘计算机，所述装置包括：
获取单元，用于获取所述数据采集模块在同一时刻下采集到的至少一个人脸图像；
确定单元，用于通过所述质量控制模块确定每个所述人脸图像对应的图像质量；
过滤单元，用于在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；
生成单元，用于应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；
计算单元，单元计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；
识别单元，用于识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；
标记单元，用于若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；
上传单元，用于检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器。
一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的图像处理方法。
一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的图像处理方法。
与现有技术相比，本发明包括以下优点：
本发明提供了一种图像处理方法，所述方法应用于边缘计算机，所述边缘计算机包括数据采集模块、质量控制模块以及人脸识别模块，所述方法包括：获取所述数据采集模块在同一时刻下采集到的至少一个人脸图像；通过所述质量控制模块确定每个所述人脸图像对应的图像质量；在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器。应用本发明提供的方法，可以在边缘计算机断网的情况下实现人脸质量检测和人脸识别的过程，避免服务器存储大量人脸图像，缓解服务器压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的方法流程图；
图2为本发明实施例提供的一种图像处理方法的又一方法流程图；
图3为本发明实施例提供的一种图像处理方法的再一方法流程图；
图4为本发明实施例提供的一种图像处理装置的装置结构图；
图5为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种图像处理方法，该方法可以应用边缘侧设备，所述边缘侧设备中包含用于数据采集的数据采集模块以及数据处理的质量控制模块和人脸识别模块，所述方法的方法流程图如图1所示，具体包括：
S101：获取数据采集模块同一个时刻下采集到的至少一个人脸图像。
在本发明实施例中，数据采集模块用于实时采集预先设置的监控区域内的人脸图像。当有到访人员踏入监控区域时，数据采集模块对到访人员的人脸进行定位，采集同一个时刻同时出现在该监控区域内的到访人员的人脸图像。
S102：通过所述质量控制模块确定每个所述人脸图像对应的图像质量。
在本发明实施例中，获取该数据采集模块采集到的各个人脸图像，并根据光照度、清晰度以及完整度等，获得人脸图像对应的图像质量。
S103：在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像。
在本发明实施例中，根据预设质量阈值，保留图像质量高的人脸图像，高质量的人脸图像则为高质人脸图像。
S104：应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像。
在本发明实施例中，数据采集模块所采集到的人脸图像为二维图像，在进行人脸识别之前，应用人脸识别模块将二维的人脸图像转换成三维人脸图像。
S105：计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像。
在本发明实施例中，欧拉角由俯仰角、偏航角和滚转角组成，用来确定定点转动刚体位置的三个一组独立角参量。在将二维的人脸图像映射成三维人脸图像后，计算三维人脸图像在三维坐标系上的俯仰角、偏航角和滚转角，即，欧拉角。将欧拉角与设定的角度范围进行比对，若该欧拉角在该角度范围内，则保留三维人脸图像，反之则将三维人脸图像过滤。
其中，俯仰角为绕X轴旋转的角度，偏航角为绕Y轴旋转的角度，滚转角为绕Z轴旋转的角度。
S106：识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员。
在本发明实施例中，到访人员的人员身份包含访客、经纪人以及案场工作人员三种，在识别出各个到访人员的人员身份后，确定各个到访人员中是否包含经纪人。
具体的，将目标三维人脸图像与预先设置的云端的数据库中的各个人脸数据进行匹配。其中，该云端的数据库中存储了所有的案场工作人员的人脸数据及所有经纪人的人脸数据。如果能够成功匹配，则表征到访人员为案场工作人员或经纪人，如果不能成功匹配，则到访人员为访客。
需要说明的是，经纪人的渠道客户一般都由经纪人带领进入销售中心，因此，根据各个到访人员的人员身份，确定是否存在经纪人携带的渠道客户。
S107：若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户。
在本发明实施例中，若各个到访人员中存在人员身份为经纪人的到访人员，则表征该经纪人携带其渠道客户进行看房。获取经纪人的经纪人编号，将该经纪人编号标记至人员身份为访客的到访人员对应的目标三维人脸图像中。其中，人员身份为访客的到访人员为该经纪人的渠道客户。在渠道客户对应的目标三维人脸图像中标记经纪人的经纪人编号，并将渠道客户与该经纪人绑定。
具体的，将渠道客户与经纪人绑定，实际是基于每个渠道客户的目标三维人脸图像，生成对应的客户信息登记在该经纪人名下。当渠道客户完成购房交易时，可以通过已保存的目标三维人脸图像进行核对，确定当前完成交易的渠道客户为该经纪人名下的渠道客户。
S108：检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器。
可以理解的是，本发明的边缘计算机可以在断网的情况下实现人脸识别和人脸质量检测，将数据采集模块采集到的人脸图像进行多次过滤后，获得最终的人脸识别结果，即已标记经纪人编号的各个目标三维人脸图像。在检测到联网时，将已标记的目标三维人脸图像上传至服务器中，减轻服务器的压力。
本发明实施例提供的图像处理方法，获取数据采集模块采集同一个时刻下的至少一个人脸图像，并通过质量控制模块确定每个人脸图像的图像质量。在各个人脸图像中，根据预先设置的质量阈值，保留高质量的人脸图像。应用人脸识别模块对各个高质人脸图像进行图像处理，生成三维人脸图像，并计算每个三维图像的欧拉角，保留欧拉角在预设角度范围内的三维人脸图像，获得各个目标三维人脸图像。识别每个目标三维人脸图像对应的到访人员的人员身份，以确定各个到访人员中是否存在人员身份为经纪人的到访人员。若存在人员身份为经纪人的到访人员，将所有的人员身份为访客的到访人员记录为该经纪人的渠道客户，并获取经纪人编号，将经纪人编号标记在渠道客户对应的目标三维人脸图像中。检测边缘计算机是否联网，若是则直接将各个已标记的目标三维人脸图像上传至服务器。
需要说明的是，若数据采集模块在同一个时刻下只采集到了一个人脸图像，并正在执行上述S101~S105过程后，若确定该人脸图像对应的到访人员为经纪人，则无需对该经纪人进行标记；若确定该人脸图像对应的到访人员为访客，则该访客为普通客户；若该人脸图像对应的到访人员为案场工作人员，则删除该人脸图像。
应用本发明实施例提供的方法，利用边缘计算机结合人脸识别，对采集到的图像数据进行多次过滤等处理，避免无意义的数据存储和传输。同时，在保证人脸识别模块的输入图像质量符合标准的情况下，完成部分对时延要求较高的任务，缓解服务器压力。
本发明实施例提供的方法中，基于上述S101的内容，所述通过所述质量控制模块确定每个所述人脸图像对应的图像质量的过程如图2所示，具体可以包括：
S201：对于每个所述人脸图像，应用预先设置的质量控制模块，识别所述人脸图像中每个识别区域对应的完整度值，以及所述人脸图像的整体清晰度和光照度。
在本发明实施例中，将人脸图像输入至质量控制模块中，由质量控制模块识别出整个脸部的光照度和清晰度，以及脸部各个识别区域对应的完整度值。脸部的各个识别区域分别为眉毛、眼睛、鼻子、下巴、嘴巴和脸颊等。
S202：基于每个所述识别区域对应的完整度值，确定所述人脸图像是否存在遮挡区域。
在本发明实施例中，人脸每个识别区域对应的完整度值取值范围为[0,1]，若某个识别区域的完整度值为0，则表征该识别区域被遮挡。因此，基于同一个人脸图像中的各个完整度值，可以确定该人脸图像是否存在被遮挡的遮挡区域。若所述人脸图像不存在遮挡区域，则执行S203；若所述人脸图像存在遮挡区域，则执行S204。
例如，在疫情期间按照疫情防范要求，出入公共场所需要佩戴口罩，则拍摄到的人脸图像中，嘴巴以及鼻子等识别区域将会被遮挡，因此拍摄的人脸图像将会存在遮挡区域。
S203：基于每个所述识别区域对应的完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量。
在本发明实施例中，若该人脸图像不存在遮挡区域，则对各个完整度值求取完整度均值，该平均值则为该人脸图像的整体的完整度。
例如，经质量控制模块识别，人脸各部分完整度为：眉毛0.9，下巴0.8，眼部0.7，鼻子0.6，嘴部0.5，面颊0.4，则该人脸完整度为（0.9+0.8+0.7+0.6+0.5+0.4）/6=0.65。
其中，人脸图像的完整度、清晰度和光照度越高，其对应的人脸质量就越高，反之则越低。
S204：设置每个所述识别区域对应的权重值，并基于每个所述识别区域对应的权重值和完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量。
在本发明实施例中，若存在人脸图像存在遮挡区域，则为人脸图像中的每个识别区域设置对应的权重值，并基于每个识别区域对应的权重值和完整度值，计算该人脸图像的完整度。
具体的，当人脸图像存在遮挡区域时，该人脸图像的整体的完整度的计算公式如下：
其中，p为完整度，x为识别区域的完整度值，y为权重值，对于遮挡区域内的识别区域，其对应的权重可以设置为0。
还需要说明的是，对于每个识别区域，可能会存在某些区域并未被完全遮挡，此时该识别区域对应的权重值较低。
本发明实施例提供的图像处理方法中，在获得人脸图像后，应用质量控制模块识别每个人脸图像中各个识别区域分别对应的完整度值以及人脸图像整体的清晰度和光照度。根据各个完整度值确定人脸图像中是否存在遮挡区域。若不存在遮挡区域，则将人脸图像中各个完整度值的均值作为该人脸图像的整体的完整度，以基于完整度、清晰度和光照度确定人脸图像的图像质量；反之，则将为每个识别区域设定对应的权重值，按照每个识别区域对应的权重值和完整度值，计算整个人脸图像的完整度。
基于上述实施例提供的方法，本发明对于计算人脸图像的完整度具体有一下实施过程：
若经质量控制模块识别，人脸各部分完整度为：眉毛0.9，下巴0.8，眼部0.7，鼻子0.6，嘴部0.5，面颊0.4，则确定该人脸图像不存在遮挡区域，因此，该人脸完整度为（0.9+0.8+0.7+0.6+0.5+0.4）/6=0.65。若到访人员脸部佩戴口罩，则其对应的人脸图像中的嘴巴、鼻子和下巴将完全被遮挡，面颊部分的识别区域为部分遮挡，经质量控制模块识别，人脸各个识别部分的完整度值分别为：眉毛0.9，下巴0，眼部0.7，鼻子0，嘴部0，面颊0.4，则可以设置眉毛的权重值为0.4，眼睛的权重值为0.4，面颊的权重值为0.2，根据图像质量的计算公式，该人脸图像的完整度为：1-[（1-0.9）×0.4+（1-0.7）×0.4+（1-0.4）×0.2]=0.72。
需要说明的是，在得到每个人脸图像对应的图像质量后，将各个图像质量与预设质量阈值进行比较，保留图像大于该预设的图像阈值的人脸图像为高质人脸图像。
还需要说明的是，质量控制模块为神经网络模型，该模块应用大量的训练数据进行学习训练，对该模块进行训练为各种人脸图像，并以各个识别区域对应的完整度值、光照度和清晰度作为训练标签进行学习训练，直至模型满足设定的收敛条件。
应用本发明实施例提供的方法，根据人脸图像的图像质量，对人脸图像进行初步的过滤，筛选出高质量的人脸图像，保证后续查证时能够清晰识别出具体的人脸信息。
本发明实施例提供的方法中，基于上述S103的内容，所述应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像，包括：
应用预先设置的人脸识别模块，识别每个所述高质人脸图像中人脸头部的姿态，并提取每个所述高质人脸图像中的各个人脸特征数据；
基于每个所述高质人脸图像中人脸头部的姿态及各个人脸特征数据，确定每个所述高质人脸图像在二维坐标系中的各个检测点；
应用预先设置的转换公式，将各个在所述二维坐标系中的检测点映射至所述三维坐标系中，构建每个所述高质人脸图像对应的三维人脸图像。
本发明实施例提供的图像处理方法中，高质人脸图像图像中的检测点实际可以是二维人脸图像中的68个检测关键点，各个检测点定位出人脸的大致轮廓。应用人脸识别模块，识别出人脸图像中人脸头部的姿态，并同时提取人脸图像中的各个人脸特征数据，例如：眼睛、鼻子、眉毛以及嘴巴等。通过人脸头部的姿态以及各个人脸特征数据，确定每个人脸图像在二维坐标系中的各个检测点，即确定各个检测点在二维坐标系中的二维坐标，按照预先设置的二维转三维的转换公式，将二维的监测点转换成三维的检测点，即，将各个检测点映射到三维坐标系上，生成高质人脸图像对应的三维人脸图像。
可以理解的是，人脸头部的姿态影响了各个检测点的密集程度以及同一个人脸中各个检测点的距离。若人脸图像中的人脸正对前方，确定各个人脸特征数据后，该人脸图像中的各个检测点则均匀分布；若人脸向左偏，则人脸左边的各个检测点较为密集。
需要说明的是，在将二维的高质人脸图像转换成三维人脸图像后，计算二维映射到三维过程中的旋转向量，按照该旋转向量计算三维人脸图像中的欧拉角，并以三维坐标系中的坐标值作为标准值，设定角度范围。将欧拉角中的偏航角、旋转角和俯仰角与该角度范围进行比较，若偏航角、旋转角和俯仰角都在该角度范围内，则保留三维人脸图像，保留下来的三维人脸图像为目标三维人脸图像。
进一步地，人脸识别模块为神经网络模型，该模型应用大量的训练数据进行学习训练，对该模型进行训练为各种人脸姿态的人脸图像，并以人脸特征数据作为训练标签进行学习训练，直至模型满足设定的收敛条件。
本发明实施例提供的方法，将二维的人脸图像转换成三维人脸图像，使得后期识别客户时更加形象。
本发明实施例提供的方法中，基于上述S105的内容，所述应用预先设置的人脸识别模块，识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员的过程如图3所示，具体可以包括：
S301：获取预先设置的数据库中的各个人脸数据。
其中，各个所述人脸数据分别为已存储的所有案场工作人员及经纪人的三维人脸图像。
在本发明实施例中，该数据库为云端数据库，该数据库中存储所有案场工作人员的人脸数据以及所有合作的经纪人的人脸数据。
S302：将各个目标三维人脸图像与各个人脸数据进行匹配；若匹配成功，则执行S303；反之，则执行S304。
在本发明实施例中，将目标三维人脸图像与各个人脸数据进行匹配，确定各个到访人员中是否存在案场工作人员或经纪人。
S303：若存在任意的目标三维人脸图像匹配失败，则确定所述目标三维人脸图像对应的到访人员的人员身份为访客。
在本发明实施例中，若目标三维人脸图像对应的各个人脸特征数据与数据库中的各个人脸数据匹配失败，则表征该目标三维人脸图像对应的到访人员为访客，并非工作人员和经纪人。
S304：若存在任意的目标三维人脸图像匹配成功，则获取与所述目标三维人脸图像相匹配的人脸数据的数据标签。
在本发明实施例中，若目标三维人脸图像对应的各个人脸特征数据与数据库中的某个人脸数据匹配成功，则表征该目标三维人脸图像对应的到访用户为案场工作人员或者是经纪人。因此，需要确切的确认该到访人员的人员身份。
S305：判断所述数据标签是否为携带第一标识位的数据标签；若是，执行S306；反之，则执行S307。
在本发明实施例中，在数据库中，案场工作人员和经纪人的人脸数据的均携带不同的数据标签，其中，携带第一标识位的数据标签用于表征该数据标签所属的人脸数据为经纪人的人脸数据。
S306：若所述数据标签为携带第一标识位的数据标签，则确定所述目标三维人脸图像对应的到访人员的人员身份为经纪人。
在本发明实施例中，对于各个匹配成功的目标三维人脸图像，若目标三维人脸图像相匹配的人脸数据的数据标签中协议第一标识位，则表征该目标三维人脸数据对应的到访人员的人员身份为经纪人。
S307：若所述数据标签非携带第一标识位的数据标签，则确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员。
在本发明实施例中，数据库中仅存储案场工作人员以及经纪人的人脸数据，若与数据库中人脸数据匹配成功的目标三维人脸图像对应的到访人员非经纪人，则该到访人员为案场工作人员。
本发明中，对于案场工作人员对应的目标三维人脸图像，具体还包括以下内容：
当确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员时，将所述目标三维人脸图像删除。
可以理解的是，案场工作人员并非经纪人的渠道客户，在销售中心内会来回走动，为了避免将案场工作人员认成客户，需要将人员身份为案场工作人员的目标三维人脸图像删除，也可以进一步避免过多保存不必要的人脸图像造成空间内存变少。
进一步地，若经过判断，确认各个目标三维人脸图像对应的到访人员的人员身份中不包含经纪人，则有以下具体实施过程：
若不存在人员身份为经纪人的到访人员，则保存所有人员身份为访客的到访人员对应的目标三维人脸图像，并将各个人员身份为访客的到访人员记录为普通访客。
可以理解的是，若存在匹配成功的目标三维人脸图像，则表征该目标三维人脸图像对应的到访人员为经纪人或者是案场工作人员。若所有匹配成功的目标三维人脸图像对应的到访人员均不是经纪人，则证明所有人员身份为访客的到访人员并非经纪人携带的渠道客户，因此将人员身份为访客的到访人员记录为普通访客。
本发明实施例提供的方法中，将到访人员身份记录为普通访客后，避免经纪人与案场工作人员串通将普通访客报备在经纪人名下赚取佣金。
本发明实施例提供的方法中，应用人脸识别模块提取出每个目标三维人脸图像对应的各个人脸数据特征，并将各个人脸数据特征与数据库中各个人脸数据进行匹配，若目标三维人脸图像匹配成功，则表征该目标三维人脸图像对应的到访人员为案场工作人员或者经纪人，反之则为访客。通过人脸数据的数据标签，进一步确定匹配成功的目标三维人脸图像对应的到访人员为经纪人还是案场工作人员。若数据标签中携带第一标识位，则其对应的人脸数据为经纪人，反之则为案场工作人员。若为经纪人，则其他人员身份为访客的到访人员为该经纪人的渠道客户。若经过与数据库中的各个人脸数据进行匹配，确定每个目标三维人脸图像对应的到访人员中，不存在人员身份为经纪人的到访人员，则其他人员身份为访客的到访人员则为普通客户。同时，存在人员身份为案场工作人员的目标三维人脸图像删除，避免占用过多的内存。
应用本发明实施例提供的方法，将二维的人脸图像转换成三维的人脸图像后，再次进行过滤，获得各个目标三维人脸图像。将每个目标三维人脸图像对应的各个人脸数据特征与数据库中的各个人脸数据进行匹配，确定各个到访人员的是否存在经纪人携带的渠道客户，避免存在虚假报备的情况。
基于本发明实施例提供的方法中，在数据采集模块每次采集到同一个时刻下的各个人脸图像后，边缘侧设备需要进行人脸图像的质量检测和人脸识别，以进行多次过滤人脸质量低、三维人脸图像不满足预先设定的欧拉角的角度范围、经纪人以及案场工作人员的人脸图像。因此，在经过多次过滤和识别后，再通过联网的方式将保留下来的各个已标记的目标三维人脸图像上传至服务器。在上传前需要检测边缘计算机是否联网，若已联网，则可以试想人脸图像的上传；若未联网，则需要进行多次轮询，具体过程可以包括：
在所述边缘计算机不处于联网状态时，向所述服务器发送轮询指令；
将各个所述已标记的目标三维人脸图像作为人脸图像组，缓存至预先设置的消息队列中，所述消息队列用于缓存至少一个人脸图像组；
当接收到所述服务器基于所述轮询指令反馈的响应消息时，将所述消息队列中缓存的各个人脸图像组依次上传至所述服务器。
在本发明实施例提供的图像处理方法中，实时监控该边缘计算机是否处于联网状态，当边缘计算机不处于联网状态时，表征该边缘计算机断网，边缘计算机无法上传人脸图像。因此，边缘计算机在断网状态下需要向服务器上传已标记的三维人脸图像时，将各个已标记的三维人脸图像设置为人脸图像组存储至消息队列中。同时，边缘计算机在检测到断网时，将生成轮询指令，实时向该服务器发送轮询指令。在断网情况下，边缘计算机无法成功发送轮询指令，服务器也无法接收到轮询指令进行响应；当边缘计算机恢复联网并再次发送轮询指令时，则服务器可以对当前的轮询指令进行响应。当边缘计算机接收到服务器基于该轮询指令反馈的响应消息时，确定边缘计算机成功联网，并从该边缘计算机的消息队列中依次获取各个人脸图像组上传至该服务器中。
可以理解的是，边缘计算机处于联网状态下，实时监控数据采集模块采集人脸图像的情况，并在经过质量检测和人脸识别以及获得最终需要发送的人脸图像组后，可以将该人脸图像组存放至消息队列。同事，边缘计算机在断网情况下，消息队列中的人脸图像组的缓存容量超出设定的存储阈值后，将最早存入消息队列中的至少一个人脸图像组删除。
应用本发明实施例提供的方法，边缘计算机在断网时，将需要上传的各个人脸图像进行缓存，避免断网时丢失数据。
上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。
与图1所述的方法相对应，本发明实施例还提供了一种图像处理装置，用于对图1中方法的具体实现，本发明实施例提供的图像处理装置可以应用计算机终端或各种移动设备中，其结构示意图如图4所示，具体包括：
获取单元401，用于获取所述数据采集模块在同一时刻下采集到的至少一个人脸图像；
确定单元402，用于通过所述质量控制模块确定每个所述人脸图像对应的图像质量；
过滤单元403，用于在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；
生成单元404，用于应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；
计算单元405，单元计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；
识别单元406，用于识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；
标记单元407，用于若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；
上传单元408，用于检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器。
本发明实施提供的图像处理装置中，获取数据采集模块采集同一个时刻下的至少一个人脸图像，并通过质量控制模块确定每个人脸图像的图像质量。在各个人脸图像中，根据预先设置的质量阈值，保留高质量的人脸图像。应用人脸识别模块对各个高质人脸图像进行图像处理，生成三维人脸图像，并计算每个三维图像的欧拉角，保留欧拉角在预设角度范围内的三维人脸图像，获得各个目标三维人脸图像。识别每个目标三维人脸图像对应的到访人员的人员身份，以确定各个到访人员中是否存在人员身份为经纪人的到访人员。若存在人员身份为经纪人的到访人员，将所有的人员身份为访客的到访人员记录为该经纪人的渠道客户，并获取经纪人编号，将经纪人编号标记在渠道客户对应的目标三维人脸图像中。检测边缘计算机是否联网，若是则直接将各个已标记的目标三维人脸图像上传至服务器。
应用本发明实施例提供的装置，利用边缘计算机结合人脸识别，对采集到的图像数据进行多次过滤等处理，避免无意义的数据存储和传输。同时，在保证人脸识别模块的输入图像质量符合标准的情况下，完成部分对时延要求较高的任务，缓解服务器压力。
本发明实施例提供的装置中，所述确定单元402，包括：
识别子单元，用于对于每个所述人脸图像，应用预先设置的质量控制模块，识别所述人脸图像中每个识别区域对应的完整度值，以及所述人脸图像的整体清晰度和光照度；
判断子单元，用于基于每个所述识别区域对应的完整度值，确定所述人脸图像是否存在遮挡区域；
第一计算子单元，用于若所述人脸图像不存在遮挡区域，则基于每个所述识别区域对应的完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量；
第二计算子单元，用于若所述人脸图像存在遮挡区域，则设置每个所述识别区域对应的权重值，并基于每个所述识别区域对应的权重值和完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量。
本发明实施例提供的装置中，所述生成单元404，包括：
提取子单元，用于应用预先设置的人脸识别模块，识别每个所述高质人脸图像中人脸头部的姿态，并提取每个所述高质人脸图像中的各个人脸特征数据；
确定子单元，用于基于每个所述高质人脸图像中人脸头部的姿态及各个人脸特征数据，确定每个所述高质人脸图像在二维坐标系中的各个检测点；
构建子单元，用于应用预先设置的转换公式，将各个在所述二维坐标系中的检测点映射至所述三维坐标系中，构建每个所述高质人脸图像对应的三维人脸图像。
本发明实施例提供的装置中，所述识别单元406，包括：
获取子单元，用于获取预先设置的数据库中的各个人脸数据，各个所述人脸数据分别为已存储的所有案场工作人员及经纪人的三维人脸图像；
匹配子单元，用于获取预先设置的数据库中的各个人脸数据，各个所述人脸数据分别为已存储的所有案场工作人员及经纪人的三维人脸图像；
判定子单元，用于若存在任意的目标三维人脸图像匹配失败，则确定所述目标三维人脸图像对应的到访人员的人员身份为访客；
验证子单元，用于若存在任意的目标三维人脸图像匹配成功，则获取与所述目标三维人脸图像相匹配的人脸数据的数据标签；判断所述数据标签是否为携带第一标识位的数据标签；若所述数据标签为携带第一标识位的数据标签，则确定所述目标三维人脸图像对应的到访人员的人员身份为经纪人；反之，则确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员。
本发明实施例提供的装置中，还包括：
删除子单元，用于当确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员时，将所述目标三维人脸图像删除。
本发明实施例提供的装置中，还包括：
记录子单元，用于若不存在人员身份为经纪人的到访人员，则保存所有人员身份为访客的到访人员对应的目标三维人脸图像，并将各个人员身份为访客的到访人员记录为普通访客。
本发明实施例提供的装置中，还包括：
监控单元，用于在所述边缘计算机不处于联网状态时，向所述服务器发送轮询指令；将各个所述已标记的目标三维人脸图像作为人脸图像组，缓存至预先设置的消息队列中，所述消息队列用于缓存至少一个人脸图像组；当接收到所述服务器基于所述轮询指令反馈的响应消息时，将所述消息队列中缓存的各个人脸图像组依次上传至所述服务器。
以上本发明实施例公开的图像处理装置中各个单元及子单元的具体工作过程，可参见本发明上述实施例公开的图像处理方法中的对应内容，这里不再进行赘述。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述图像处理方法。
本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：
获取所述数据采集模块在同一时刻下采集到的至少一个人脸图像；
通过所述质量控制模块确定每个所述人脸图像对应的图像质量；
在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；
应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；
计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；
识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；
若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；
检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。
为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种图像处理方法，其特征在于，所述方法应用于边缘计算机，所述边缘计算机包括数据采集模块、质量控制模块以及人脸识别模块，所述方法包括：
获取所述数据采集模块在同一时刻下采集到的至少一个人脸图像；
通过所述质量控制模块确定每个所述人脸图像对应的图像质量；
在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；
应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；
计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；
识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；
若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；
检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器；
其中，所述通过所述质量控制模块确定每个所述人脸图像对应的图像质量，包括：
对于每个所述人脸图像，应用预先设置的质量控制模块，识别所述人脸图像中每个识别区域对应的完整度值，以及所述人脸图像的整体清晰度和光照度；
基于每个所述识别区域对应的完整度值，确定所述人脸图像是否存在遮挡区域；
若所述人脸图像不存在遮挡区域，则基于每个所述识别区域对应的完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量；
若所述人脸图像存在遮挡区域，则设置每个所述识别区域对应的权重值，并基于每个所述识别区域对应的权重值和完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量。
2.根据权利要求1所述的方法，其特征在于，所述应用所述人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像，包括：
应用预先设置的人脸识别模块，识别每个所述高质人脸图像中人脸头部的姿态，并提取每个所述高质人脸图像中的各个人脸特征数据；
基于每个所述高质人脸图像中人脸头部的姿态及各个人脸特征数据，确定每个所述高质人脸图像在二维坐标系中的各个检测点；
应用预先设置的转换公式，将各个在所述二维坐标系中的检测点映射至所述三维坐标系中，构建每个所述高质人脸图像对应的三维人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员，包括：
获取预先设置的数据库中的各个人脸数据，各个所述人脸数据分别为已存储的所有案场工作人员及经纪人的三维人脸图像；
将各个目标三维人脸图像与各个人脸数据进行匹配；
若存在任意的目标三维人脸图像匹配失败，则确定所述目标三维人脸图像对应的到访人员的人员身份为访客；
若存在任意的目标三维人脸图像匹配成功，则获取与所述目标三维人脸图像相匹配的人脸数据的数据标签；判断所述数据标签是否为携带第一标识位的数据标签；若所述数据标签为携带第一标识位的数据标签，则确定所述目标三维人脸图像对应的到访人员的人员身份为经纪人；反之，则确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员。
4.根据权利要求3所述的方法，其特征在于，还包括：
当确定所述目标三维人脸图像对应的到访人员的人员身份为案场工作人员时，将所述目标三维人脸图像删除。
5.根据权利要求1或3任意一项所述的方法，其特征在于，还包括：
若不存在人员身份为经纪人的到访人员，则保存所有人员身份为访客的到访人员对应的目标三维人脸图像，并将各个人员身份为访客的到访人员记录为普通访客。
6.根据权利要求1所述的方法，其特征在于，还包括：
在所述边缘计算机不处于联网状态时，向所述服务器发送轮询指令；
将各个所述已标记的目标三维人脸图像作为人脸图像组，缓存至预先设置的消息队列中，所述消息队列用于缓存至少一个人脸图像组；
当接收到所述服务器基于所述轮询指令反馈的响应消息时，将所述消息队列中缓存的各个人脸图像组依次上传至所述服务器。
7.一种图像处理装置，其特征在于，所述装置应用于边缘计算机，所述装置包括：
获取单元，用于获取数据采集模块在同一时刻下采集到的至少一个人脸图像；
确定单元，用于通过质量控制模块确定每个所述人脸图像对应的图像质量；
过滤单元，用于在各个所述人脸图像中，保留图像质量高于预设质量阈值的人脸图像，获得各个高质人脸图像；
生成单元，用于应用人脸识别模块对各个所述高质人脸图像进行图像处理，以生成每个所述高质人脸图像对应的三维人脸图像；
计算单元，单元计算每个所述三维人脸图像在三维坐标系中的欧拉角，并在各个所述三维人脸图像中，保留欧拉角在预设的角度范围内的三维人脸图像，获得各个目标三维人脸图像；
识别单元，用于识别每个所述目标三维人脸图像对应的到访人员的人员身份，以确定是否存在人员身份为经纪人的到访人员；
标记单元，用于若存在人员身份为经纪人的到访人员，则在所有人员身份为访客的到访人员对应的目标三维人脸图像中，标记所述经纪人的经纪人编号，以将各个人员身份为访客的到访人员绑定为所述经纪人的渠道客户；
上传单元，用于检测所述边缘计算机的联网状态，并在所述边缘计算机处于联网状态时，将各个已标记的目标三维人脸图像上传至预先设置的服务器；
其中，所述确定单元，具体用于对于每个所述人脸图像，应用预先设置的质量控制模块，识别所述人脸图像中每个识别区域对应的完整度值，以及所述人脸图像的整体清晰度和光照度；基于每个所述识别区域对应的完整度值，确定所述人脸图像是否存在遮挡区域；若所述人脸图像不存在遮挡区域，则基于每个所述识别区域对应的完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量；若所述人脸图像存在遮挡区域，则设置每个所述识别区域对应的权重值，并基于每个所述识别区域对应的权重值和完整度值，计算所述人脸图像整体的完整度，并基于所述人脸图像整体的完整度、清晰度和光照度，确定所述人脸图像的图像质量。
8.一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1~6任意一项所述的图像处理方法。
9.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1~6任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110545943.2A CN112990167B (zh) | 2021-05-19 | 2021-05-19 | 图像处理方法及装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110545943.2A CN112990167B (zh) | 2021-05-19 | 2021-05-19 | 图像处理方法及装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990167A CN112990167A (zh) | 2021-06-18 |
| CN112990167B true CN112990167B (zh) | 2021-08-10 |
Family
ID=76336797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110545943.2A Active CN112990167B (zh) | 2021-05-19 | 2021-05-19 | 图像处理方法及装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990167B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108124486A (zh) * | 2017-12-28 | 2018-06-05 | 深圳前海达闼云端智能科技有限公司 | 基于云端的人脸活体检测方法、电子设备和程序产品 |
| CN110765958A (zh) * | 2019-10-29 | 2020-02-07 | 成都旺小宝科技有限公司 | 基于人脸识别的渠道风险控制方法方法、装置及系统 |
| CN110827321A (zh) * | 2019-10-16 | 2020-02-21 | 天津大学 | 一种基于三维信息的多相机协同的主动目标跟踪方法 |
| CN111612657A (zh) * | 2020-05-22 | 2020-09-01 | 创新奇智(重庆)科技有限公司 | 一种客户类型识别方法、装置、电子设备及存储介质 |
| CN112188091A (zh) * | 2020-09-24 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 人脸信息识别方法、装置、电子设备及存储介质 |
| CN112188171A (zh) * | 2020-09-30 | 2021-01-05 | 重庆天智慧启科技有限公司 | 一种客户到访关系判断系统及方法 |
| CN112306528A (zh) * | 2020-11-04 | 2021-02-02 | 北京焦点新干线信息技术有限公司 | 一种数据更新方法及装置 |
| CN112541434A (zh) * | 2020-12-14 | 2021-03-23 | 无锡锡商银行股份有限公司 | 一种基于中心点跟踪模型的人脸识别方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7238217B2 (ja) * | 2017-02-09 | 2023-03-14 | プレシエン ピーティーワイ リミテッド | 定義されたオブジェクトを識別するためのシステム |
| US11657525B2 (en) * | 2018-12-04 | 2023-05-23 | Yoti Holding Limited | Extracting information from images |
| CN109978621A (zh) * | 2019-03-25 | 2019-07-05 | 重庆锐云科技有限公司 | 房地产渠道客户及佣金结算管理方法、一体化系统 |
| CN110414419A (zh) * | 2019-07-25 | 2019-11-05 | 四川长虹电器股份有限公司 | 一种基于移动端观看者的姿势检测系统及方法 |
| CN111259813B (zh) * | 2020-01-17 | 2024-01-12 | 珠海市横琴盈实科技研发有限公司 | 人脸检测跟踪方法、装置、计算机设备和存储介质 |
| CN112150203A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 房地产客户到访识别方法、装置、电子设备及存储介质 |
| CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
| CN112668562B (zh) * | 2021-03-16 | 2021-06-25 | 北京焦点新干线信息技术有限公司 | 一种客户识别方法及装置 |
-
2021
- 2021-05-19 CN CN202110545943.2A patent/CN112990167B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108124486A (zh) * | 2017-12-28 | 2018-06-05 | 深圳前海达闼云端智能科技有限公司 | 基于云端的人脸活体检测方法、电子设备和程序产品 |
| CN110827321A (zh) * | 2019-10-16 | 2020-02-21 | 天津大学 | 一种基于三维信息的多相机协同的主动目标跟踪方法 |
| CN110765958A (zh) * | 2019-10-29 | 2020-02-07 | 成都旺小宝科技有限公司 | 基于人脸识别的渠道风险控制方法方法、装置及系统 |
| CN111612657A (zh) * | 2020-05-22 | 2020-09-01 | 创新奇智(重庆)科技有限公司 | 一种客户类型识别方法、装置、电子设备及存储介质 |
| CN112188091A (zh) * | 2020-09-24 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 人脸信息识别方法、装置、电子设备及存储介质 |
| CN112188171A (zh) * | 2020-09-30 | 2021-01-05 | 重庆天智慧启科技有限公司 | 一种客户到访关系判断系统及方法 |
| CN112306528A (zh) * | 2020-11-04 | 2021-02-02 | 北京焦点新干线信息技术有限公司 | 一种数据更新方法及装置 |
| CN112541434A (zh) * | 2020-12-14 | 2021-03-23 | 无锡锡商银行股份有限公司 | 一种基于中心点跟踪模型的人脸识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| Identifying Noncooperative Subjects at a Distance Using Face Images and Inferred Three-Dimensional Face Models;GÉrard Medioni et al;《IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans》;20090131;第39卷(第1期);12-24 * |
| 人脸图像的光照和清晰度质量无参考评价及应用;尹渺源;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615(第6期);I138-1288 * |
| 基于质量评价的目标识别算法研究;刘桂荣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115(第1期);I138-2209 * |
| 运用人脸识别技术创新房地产业务模式;武佳卫;《上海房地》;20171231(第1期);43-44 * |
| 面向视频监控的多姿态人脸识别技术研究与实现;邓铭坚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715(第7期);第I136-673页正文第67-68页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112990167A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590430A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN105612533B (zh) | 活体检测方法、活体检测系统以及计算机程序产品 | |
| CN111598038B (zh) | 脸部特征点检测方法、装置、设备及存储介质 | |
| CN113657300B (zh) | 一种基于ai人脸识别技术的在线考试防作弊实现方法 | |
| CN110532988B (zh) | 行为监控方法、装置、计算机设备和可读存储介质 | |
| CN111126219A (zh) | 一种基于人工智能的变电站人员的身份识别系统和方法 | |
| CN110738178A (zh) | 园区施工安全检测方法、装置、计算机设备及存储介质 | |
| CN110472613A (zh) | 对象行为识别方法和装置 | |
| EP3944188A1 (en) | Image processing device, image processing method, and recording medium in which program is stored | |
| JP5718632B2 (ja) | 部位認識装置、部位認識方法、及び部位認識プログラム | |
| CN112507772A (zh) | 一种人脸识别安防系统及可疑人员检测与预警方法 | |
| CN111597879A (zh) | 一种基于监控视频的姿态检测方法、装置及系统 | |
| CN111178233A (zh) | 基于活体认证的身份认证方法及装置 | |
| CN113688793A (zh) | 人脸模型的训练方法及人脸识别系统 | |
| CN113963426B (zh) | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 | |
| CN112990167B (zh) | 图像处理方法及装置、存储介质及电子设备 | |
| CN114187561A (zh) | 异常行为的识别方法、装置、终端设备及存储介质 | |
| JP2022003526A (ja) | 情報処理装置、検出システム、情報処理方法、及びプログラム | |
| CN113628172A (zh) | 一种人员手持武器智能检测算法及智慧城市安防系统 | |
| CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
| CN116844094A (zh) | 一种基于实时视频流的人员点名方法、设备及介质 | |
| CN114758286B (zh) | 基于工作票事件的边缘智能安全监测方法和装置 | |
| CN111582183A (zh) | 一种公共场所的口罩识别方法及系统 | |
| CN113420667B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN114897499A (zh) | 一种景区员工工作状态判断的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231113 Address after: 100190 901-1, Floor 9, Building 3, No. 2 Academy South Road, Haidian District, Beijing Patentee after: Beijing Bodian Zhihe Technology Co.,Ltd. Address before: 100190 1001-3, 10th floor, building 3, No.2 Academy of Sciences South Road, Haidian District, Beijing Patentee before: BEIJING JIAODIAN XINGANXIAN INFORMATION TECHNOLOGY CO.,LTD. |