CN108921982A - 一种云平台与人体红外热成像相结合的智能控制方法 - Google Patents
一种云平台与人体红外热成像相结合的智能控制方法 Download PDFInfo
- Publication number
- CN108921982A CN108921982A CN201810470501.4A CN201810470501A CN108921982A CN 108921982 A CN108921982 A CN 108921982A CN 201810470501 A CN201810470501 A CN 201810470501A CN 108921982 A CN108921982 A CN 108921982A
- Authority
- CN
- China
- Prior art keywords
- cloud platform
- portrait
- voice signal
- voice
- back brake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001931 thermography Methods 0.000 title claims abstract description 45
- 230000005236 sound signal Effects 0.000 claims abstract description 69
- 230000001815 facial effect Effects 0.000 claims abstract description 67
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 230000000875 corresponding effect Effects 0.000 claims description 72
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 2
- 230000001755 vocal effect Effects 0.000 description 20
- 230000015654 memory Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
- H04L9/3231—Biological data, e.g. fingerprint, voice or retina
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一种云平台与人体红外热成像相结合的智能控制方法,其特点为:在结合人体红外热成像发现倒闸柜的柜门的前方存在包含的目标人脸图像与倒闸柜对应的倒闸操作执行者的人脸图像相匹配的第一目标人像及包含的目标人脸图像与倒闸柜对应的倒闸操作监护者的人脸图像相匹配的第二目标人像时,控制位于倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音及第二人员发出的第二语音,将第一语音转换为第一声音信号及将第二语音转换为第二声音信号,对第一声音信号及第二声音信号合成得到验证声音信号;若判断验证声音信号与倒闸柜的柜门对应的合法开门声音信号匹配,控制倒闸柜的柜门执行开启操作。可以安全、快速的控制电气设备的倒闸柜的柜门开启。
Description
技术领域
本发明涉及控制技术领域,尤其涉及一种云平台与人体红外热成像相结合的智能控制方法。
背景技术
在电气领域,电气设备分为运行、备用(冷备用及热备用)、检修三种状态。其中,将电气设备由一种状态转变为另一种状态的过程称为电气设备的倒闸操作。在实际应用中,对电气设备进行倒闸操作通常是在电气设备接入的倒闸柜(属于一种控制柜)上进行的,通过操作电气设备接入的倒闸柜上的隔离开关、断路器以及挂、拆接地线等可以将电气设备从一种状态转变为另一种状态。根据《电力安全工作规程》的规定,倒闸操作应当由两人进行,即对电气设备较熟悉的一人担任监护,另一人执行倒闸操作。这样,倒闸操作中既有监护人的监护,又有操作人的监督,从而保证正确地按顺序进行倒闸操作。
在实践中发现,电气设备接入的倒闸柜通常是采用钥匙来开启柜门的,这种方式会降低倒闸柜的柜门的开启效率,而且一旦钥匙发生丢失,会使得倒闸柜的柜门存在被非法开启的风险。
发明内容
本发明实施例公开了一种云平台与人体红外热成像相结合的智能控制方法,能够安全、快速的控制电气设备接入的倒闸柜的柜门开启。
其中,一种云平台与人体红外热成像相结合的智能控制方法,所述方法包括:
云平台控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取所述柜门的前方的人体红外热成像;
若获取到的所述柜门的前方的人体红外热成像的数量为至少两个,云平台控制位于所述倒闸柜的柜门上的拍照装置朝所述倒闸柜的柜门的前方进行拍摄,获得拍摄图像;
云平台确定所述拍摄图像中是否包含至少两个人像;若包含至少两个人像,识别所述至少两个人像中的是否存在第一目标人像和第二目标人像;所述第一目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作执行者的人脸图像相匹配,所述第二目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作监护者的人脸图像相匹配;若存在所述第一目标人像和所述第二目标人像,控制位于所述倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音;
云平台将所述第一语音转换为第一声音信号,并将第二语音转换为第二声音信号;对所述第一声音信号以及所述第二声音信号进行合成得到验证声音信号;
云平台判断所述验证声音信号与所述倒闸柜的柜门对应的合法开门声音信号是否匹配,若匹配,控制所述倒闸柜的柜门执行开启操作。
作为一种可选的实施方式,本发明实施例中,所述云平台确定所述拍摄图像中是否包含至少两个人像,包括:
云平台通过模板数据库访问端口,从模板数据库中读取出常见姿势模板;
云平台根据所述拍摄图像中的地理场景从所述常见姿势模板中确定待用姿势模板;
云平台根据所述待用姿势模板确定待用姿势的包络框;
云平台利用所述包络框在所述拍摄图像中进行匹配,以确定所述拍摄图像是否包含至少两个人像;
其中,所述云平台根据所述拍摄图像中的地理场景从所述常见姿势模板中确定待用姿势模板,包括:
云平台对所述拍摄图像对应的图像焦平面的地理场景进行识别;
若识别出所述图像焦平面的地理场景为地板,则云平台从所述常见姿势模板中确定站立姿势和下蹲姿势为待用姿势模板;
若识别出所述图像焦平面的地理场景为椅子,则云平台从所述常见姿势模板中确定站立姿势和坐下姿势为待用姿势模板。
作为一种可选的实施方式,本发明实施例中,所述云平台对所述第一声音信号以及所述第二声音信号进行合成得到验证声音信号,包括:
云平台确定所述第一声音信号与所述第二声音信号之间的对齐点;其中,所述对齐点是指所述第一声音信号和所述第二声音信号合成的开始位置;
云平台根据所述对齐点将所述第一声音信号与所述第二声音信号合成为验证声音信号。
作为一种可选的实施方式,本发明实施例中,所述云平台确定所述第一声音信号与所述第二声音信号之间的对齐点,包括
云平台计算所述第一声音信号的第一时长以及所述第二声音信号的第二时长;其中,所述第一时长表示所述第一声音信号的声音持续的时间;所述第二时长表示所述第二声音信号的声音持续的时间;
云平台计算所述第一时长和所述第二时长之间的差值;
云平台判断所述差值是否小于或等于预设数值,若是,对所述第一声音信号和所述第二声音信号中的任一声音信号进行周期上的缩放,以获得最终持续时长相同的第一声音信号和第二声音信号,再以所述最终持续时长相同的第一声音信号和第二声音信号的首个音频帧作为对齐点。
作为一种可选的实施方式,本发明实施例中,所述云平台对所述第一声音信号和所述第二声音信号中的任一声音信号进行周期上的缩放,包括:
若所述第一声音信号的第一时长相对于所述第二声音信号的第二时长较短,则云平台根据所述差值确定所述差值占所述第一声音信号的第一时长的比例X;
云平台计算所述第一声音信号的音频帧数Y;
云平台计算放大系数Z,所述Z=X*(Y/(Y-1));
云平台按照所述放大系数,对所述第一声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一声音信号的最终持续时长与所述第二声音信号的第二时长相同。
作为一种可选的实施方式,本发明实施例中,若所述差值大于所述预设数值,所述方法还包括:
云平台使用相同的默认采样频率对所述第一声音信号以及所述第二声音信号分别进行采样,得到第一采样组和第二采样组;
云平台根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组;其中,所述互相关权值与所述差值正相关,所述互相关组中包含有多个数值;
云平台将所述互相关组中的多个数值进行比较,找出最大的数值;
云平台使用所述最大的数值对应的音频帧位置作为对齐点。
作为一种可选的实施方式,本发明实施例中,所述云平台根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示所述第一采样组中的第m个采样数据,y[m-t]表示所述第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f为所述默认采样频率。
作为一种可选的实施方式,本发明实施例中,在识别出所述至少两个人像中的存在所述第一目标人像和所述第二目标人像之后,以及控制位于所述倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音之前,所述方法还包括:
云平台针对所述至少两个人像中的每一人像,利用人像属性算法对所述人像进行前向计算,得到所述人像的属性信息,从而获得所述至少两个人像中的各个人像的属性信息;
云平台判断所述至少两个人像中的各个人像的属性信息中是否存在第一人像的属性信息和第二人像的属性信息;其中,所述第一人像的属性信息与所述倒闸柜对应的倒闸操作执行者的属性信息相匹配,而所述第二人像的属性信息与所述倒闸柜对应的倒闸操作监护者的属性信息相匹配;
若所述至少两个人像中的各个人像的属性信息中存在所述第一人像的属性信息和所述第二人像的属性信息,云平台执行所述的控制位于所述倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音的步骤。
作为一种可选的实施方式,本发明实施例中,所述人像属性算法是基于多个样本人像图像以及所述多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到;其中,所述属性信息包括:年龄、性别以及身高。
作为一种可选的实施方式,本发明实施例中,所述人像属性算法通过以下方式训练得到,即:
云平台读取预先录入的样本人像数据,每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息;
云平台从所述样本人像图像中提取人像特征;
云平台根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算,得到每个样本人像图像的多个属性信息的预测值;
云平台根据所述预测值与属性信息的值,按照属性信息的不同类型计算得到所述多个属性信息的损耗;
云平台将所述多个属性信息的损耗求和,得到所述多个属性信息的总损耗;
云平台对所述初始模型中的不同属性信息对应的子模型的参数进行调整,直到调整后的参数使得所述多个属性信息的总损耗小于或等于预设阈值时,停止调整得到所述人像属性算法;
其中,第一目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作执行者的人脸图像的匹配过程为:
根据所述第一目标人像包含的目标人脸图像的色彩信息,对所述第一目标人像包含的目标人脸图像进行二值化处理;将二值化处理后的第一目标人像包含的目标人脸图像分成多个像素块,并对每个像素块内所有像素对应的像素值进行或运算,得到每个像素块的或运算结果组成第一目标人像包含的目标人脸图像的下采样图片;将得到的下采样图片划分为多个像素区域,通过对每个像素区域中所有像素点的或运算结果求和,获得组成第一目标人像包含的目标人脸图像的每个像素区域的特征信息;根据第一目标人像包含的目标人脸图像的每个像素区域的特征信息判断第一目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作执行者的人脸图像是否相匹配。
本发明实施例中,在获取到的电气设备接入的倒闸柜的柜门的前方存在至少两个人体红外热成像时,可以控制位于倒闸柜的柜门上的拍照装置朝倒闸柜的柜门的前方进行拍摄,获得拍摄图像;当确定拍摄图像中包含至少两个人像,且其中存在包含的目标人脸图像与倒闸柜对应的倒闸操作执行者的人脸图像相匹配的第一目标人像以及包含的目标人脸图像与倒闸柜对应的倒闸操作监护者的人脸图像相匹配的第二目标人像时,可以控制位于倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音及第二人员发出的第二语音,并将第一语音转换为第一声音信号以及将第二语音转换为第二声音信号,并对第一声音信号及第二声音信号进行合成得到验证声音信号;若判断出验证声音信号与倒闸柜的柜门对应的合法开门声音信号匹配,控制倒闸柜的柜门执行开启操作。可见,与现有技术中采用钥匙来开启柜门的方式相比,本发明实施例可以安全、快速的控制电气设备的倒闸柜的柜门开启。
此外,本发明实施例中,在获取到第一声音信号和第二声音信号之后,并不是逐一的对这两个声音信号进行验证,而是把这两个声音信号进行合成得到验证声音信号,然后再将该验证声音信号与倒闸柜的柜门对应的合法开门声音信号进行匹配,而声音信号合成后会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段声音信号,提高了验证的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种云平台与人体红外热成像相结合的智能控制方法的流程示意图;
图2为本发明实施例公开的另一种云平台与人体红外热成像相结合的智能控制方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种云平台与人体红外热成像相结合的智能控制方法,能够安全、快速的控制电气设备接入的倒闸柜的柜门开启。以下进行结合附图进行详细描述。
请参阅图1,图1为本发明实施例公开的一种云平台与人体红外热成像相结合的智能控制方法的流程示意图。如图1所示,该云平台与人体红外热成像相结合的智能控制方法可以包括以下步骤:
101、云平台控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取所述柜门的前方的人体红外热成像。
本发明实施例中,云平台可以实时控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取该柜门的前方的人体红外热成像;或者,云平台可以在判断出当前时间位于预设的电气设备的倒闸操作时段时,控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取该柜门的前方的人体红外热成像;又或者,云平台可以在判断出当前条件(如天气条件) 满足预设的电气设备的倒闸操作的条件时,控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取该柜门的前方的人体红外热成像。
102、若获取到的该柜门的前方的人体红外热成像的数量为至少两个,云平台控制位于该倒闸柜的柜门上的拍照装置朝该倒闸柜的柜门的前方进行拍摄,获得拍摄图像。
本发明实施例中,若获取到的该柜门的前方的人体红外热成像的数量少于两个,可以结束本流程。
103、云平台确定拍摄图像中是否包含至少两个人像,若包含至少两个人像,识别该至少两个人像中的是否存在第一目标人像和第二目标人像;其中,第一目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作执行者的人脸图像相匹配,该第二目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作监护者的人脸图像相匹配,若存在该第一目标人像和该第二目标人像,控制位于该倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音。
由于《电力安全工作规程》的规定,在电气设备接入的倒闸柜上对电气设备进行倒闸操作应当由两人进行,即对电气设备较熟悉的一人担任监护,另一人执行倒闸操作。因此,云平台在确定出拍摄图像中包含至少两个人像时,可以识别该至少两个人像中的是否存在包含的目标人脸图像与该倒闸柜对应的倒闸操作执行者的人脸图像相匹配的第一目标人像以及包含的目标人脸图像与该倒闸柜对应的倒闸操作监护者的人脸图像相匹配的第二目标人像,若存在该第一目标人像和该第二目标人像,可以精确的、安全的控制位于该倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音;反之,若该至少两个人像中的不存在包含的目标人脸图像与该倒闸柜对应的倒闸操作执行者的人脸图像相匹配的第一目标人像,和/ 或,不存在包含的目标人脸图像与该倒闸柜对应的倒闸操作监护者的人脸图像相匹配的第二目标人像,可以结束本流程。
作为一种可选的实施方式,本发明实施例中,云平台确定拍摄图像中是否包含至少两个人像,包括:
云平台通过模板数据库访问端口,从模板数据库中读取出常见姿势模板;
云平台根据拍摄图像中的地理场景从该常见姿势模板中确定待用姿势模板;
云平台根据待用姿势模板确定待用姿势的包络框;
云平台利用该包络框在拍摄图像中进行匹配,以确定拍摄图像是否包含至少两个人像。
其中,云平台根据拍摄图像中的地理场景从该常见姿势模板中确定待用姿势模板,包括:
云平台对拍摄图像对应的图像焦平面的地理场景进行识别;
若识别出图像焦平面的地理场景为地板,则云平台从该常见姿势模板中确定站立姿势和下蹲姿势为待用姿势模板;
若识别出图像焦平面的地理场景为椅子,则云平台从该常见姿势模板中确定站立姿势和坐下姿势为待用姿势模板。
其中,实施上述实施方式,可以有效的识别出拍摄图像是否包含至少两个人像,提高人像识别的准确性。
104、云平台将该第一语音转换为第一声音信号,并将第二语音转换为第二声音信号;对该第一声音信号以及该第二声音信号进行合成得到验证声音信号。
作为一种可选的实施方式,本发明实施例中,云平台对该第一声音信号以及该第二声音信号进行合成得到验证声音信号,包括:
云平台确定该第一声音信号与该第二声音信号之间的对齐点;其中,该对齐点是指该第一声音信号和该第二声音信号合成的开始位置;换句话说,该第一声音信号与该第二声音信号要合成的话,需要找到从哪个音频帧开始合成,这个音频帧就可以理解为对齐点;
以及,云平台根据该对齐点将该第一声音信号与该第二声音信号合成为验证声音信号。
作为一种可选的实施方式,本发明实施例中,云平台确定该第一声音信号与该第二声音信号之间的对齐点,包括
云平台计算该第一声音信号的第一时长以及该第二声音信号的第二时长;其中,第一时长表示该第一声音信号的声音持续的时间;第二时长表示该第二声音信号的声音持续的时间;
云平台计算该第一时长和该第二时长之间的差值;
云平台判断该差值是否小于或等于预设数值,若是,对该第一声音信号和该第二声音信号中的任一声音信号进行周期上的缩放,以获得最终持续时长相同的第一声音信号和第二声音信号,再以最终持续时长相同的第一声音信号和第二声音信号的首个音频帧作为对齐点。
本发明实施例中,如果该差值小于或等于预设数值,则说明两段声音信号(即该第一声音信号和该第二声音信号)在输入时的差距较小,此时可以对其中的一段声音信号(如该第一声音信号)进行周期上的缩放,例如对时长较长的声音信号进行周期上的压缩(也就是俗称的快进),和/或对时长较短的声音信号进行周期上的放大(也就是俗称的慢进),使得两段声音信号的最终持续时长相同,再以两段声音信号的首个音频帧作为对齐点进行对齐。
其中,该预设数值的取值范围可以为0至0.1秒。
本发明实施例中,云平台对该第一声音信号和该第二声音信号中的任一声音信号进行周期上的缩放,包括:
若该第一声音信号的第一时长相对于该第二声音信号的第二时长较短,则根据该差值确定该差值占该第一声音信号的第一时长的比例X;
计算该第一声音信号的音频帧数Y;
计算放大系数Z,该Z=X*(Y/(Y-1));
按照该放大系数,对该第一声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一声音信号的最终持续时长与该第二声音信号的第二时长相同。
举例来说,该第一声音信号为1秒,有100个音频帧,则每个音频帧0.01 秒,该第二声音信号为1.1秒,需要把该第一声音信号放大至1.1秒。第一帧不动,放大后续的99帧,先确定放大的系数Z为0.1*(100/(100-1))=0.101,即10.1%;此时后续的99帧,每帧需要放大10.1%,放大后的每帧为0.01* (1+10.1%)=0.01101,放大后这99帧的长度为1.09秒,再加上没有动的第一帧0.01秒,就为1.1秒了,即放大后的第一声音信号的最终持续时长与该第二声音信号的第二时长相同。
本发明实施例中,如果该差值大于预设数值,则说明两段声音信号(即该第一声音信号和该第二声音信号)在输入时的差距较大,如果此时还是对其中的一段声音信号进行周期上的缩放,则缩放后会造成比较严重的失真,后续的校验会出现问题,所以可以采用互相关算法来确定对齐点。即,在该差值大于预设数值时,该方法还包括:
云平台使用相同的默认采样频率对该第一声音信号以及该第二声音信号分别进行采样,得到第一采样组和第二采样组;
云平台根据该默认采样频率(例如8000Hz到10000Hz)、第一采样组、第二采样组以及互相关权值生成互相关组;其中,该互相关权值与该差值正相关(例如该互相关权值可以为该差值的1.5倍),该互相关组中包含有多个数值;
云平台将该互相关组中的多个数值进行比较,找出最大的数值;
云平台使用该最大的数值对应的音频帧位置作为对齐点。
其中,云平台根据该默认采样频率、第一采样组、第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示第一采样组中的第m个采样数据, y[m-t]表示第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t 为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f 为默认采样频率。
其中,云平台使用该最大的数值对应的音频帧位置作为对齐点可以为:
云平台找到最大的数值后,可以根据上述的公式(1)反推出m是多少,也就是哪一个采样数据,然后再确定该采样数据所在的音频帧是哪一个,并且使用该音频帧作为对齐点。
105、云平台判断该验证声音信号与该倒闸柜的柜门对应的合法开门声音信号是否匹配,若匹配,控制该倒闸柜的柜门执行开启操作。
或者,如果云平台判断该验证声音信号与该倒闸柜的柜门对应的合法开门声音信号是不匹配,可以结束本流程。
本发明实施例中,与现有技术中采用钥匙来开启柜门的方式相比,图1 所描述的方法可以安全、快速的控制电气设备的倒闸柜的柜门开启。
此外,在图1所描述的方法中,在获取到第一声音信号和第二声音信号之后,并不是逐一的对这两个声音信号进行验证,而是把这两个声音信号进行合成得到验证声音信号,然后再将该验证声音信号与倒闸柜的柜门对应的合法开门声音信号进行匹配,而声音信号合成后会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段声音信号,提高了验证的安全性。
请参阅图2,图2为本发明实施例公开的另一种云平台与人体红外热成像相结合的智能控制方法的流程示意图。如图2所示,该云平台与人体红外热成像相结合的智能控制方法可以包括以下步骤:
201、云平台控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取所述柜门的前方的人体红外热成像。
202、若获取到的该柜门的前方的人体红外热成像的数量为至少两个,云平台控制位于该倒闸柜的柜门上的拍照装置朝该倒闸柜的柜门的前方进行拍摄,获得拍摄图像。
203、云平台确定拍摄图像中是否包含至少两个人像,若包含至少两个人像,识别该至少两个人像中的是否存在第一目标人像和第二目标人像;其中,第一目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作执行者的人脸图像相匹配,该第二目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作监护者的人脸图像相匹配,若存在该第一目标人像和该第二目标人像,针对该至少两个人像中的每一人像,利用人像属性算法对该人像进行前向计算,得到该人像的属性信息,从而获得该至少两个人像中的各个人像的属性信息。
作为一种可选的实施方式,第一目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作执行者的人脸图像的匹配过程为:
云平台根据第一目标人像包含的目标人脸图像的色彩信息,对第一目标人像包含的目标人脸图像进行二值化处理;将二值化处理后的第一目标人像包含的目标人脸图像分成多个像素块,并对每个像素块内所有像素对应的像素值进行或运算,得到每个像素块的或运算结果组成第一目标人像包含的目标人脸图像的下采样图片;将得到的下采样图片划分为多个像素区域,通过对每个像素区域中所有像素点的或运算结果求和,获得组成第一目标人像包含的目标人脸图像的每个像素区域的特征信息;进一步地,可以根据第一目标人像包含的目标人脸图像的每个像素区域的特征信息判断第一目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作执行者的人脸图像是否相匹配。其中,这种实施方式可以提高人脸图像匹配的准确率和效率。
其中,第二目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作监护者的人脸图像的匹配过程为:
云平台根据第二目标人像包含的目标人脸图像的色彩信息,对第二目标人像包含的目标人脸图像进行二值化处理;将二值化处理后的第二目标人像包含的目标人脸图像分成多个像素块,并对每个像素块内所有像素对应的像素值进行或运算,得到每个像素块的或运算结果组成第二目标人像包含的目标人脸图像的下采样图片;将得到的下采样图片划分为多个像素区域,通过对每个像素区域中所有像素点的或运算结果求和,获得组成第二目标人像包含的目标人脸图像的每个像素区域的特征信息;进一步地,可以根据第二目标人像包含的目标人脸图像的每个像素区域的特征信息判断第二目标人像包含的目标人脸图像与该倒闸柜对应的倒闸操作监护者的人脸图像是否相匹配。其中,这种实施方式可以提高人脸图像匹配的准确率和效率。
作为一种可选的实施方式,本发明实施例中,云平台确定拍摄图像中是否包含至少两个人像,包括:
云平台通过模板数据库访问端口,从模板数据库中读取出常见姿势模板;
云平台根据拍摄图像中的地理场景从该常见姿势模板中确定待用姿势模板;
云平台根据待用姿势模板确定待用姿势的包络框;
云平台利用该包络框在拍摄图像中进行匹配,以确定拍摄图像是否包含至少两个人像。
其中,云平台根据拍摄图像中的地理场景从该常见姿势模板中确定待用姿势模板,包括:
云平台对拍摄图像对应的图像焦平面的地理场景进行识别;
若识别出图像焦平面的地理场景为地板,则云平台从该常见姿势模板中确定站立姿势和下蹲姿势为待用姿势模板;
若识别出图像焦平面的地理场景为椅子,则云平台从该常见姿势模板中确定站立姿势和坐下姿势为待用姿势模板。
其中,实施上述实施方式,可以有效的识别出拍摄图像是否包含至少两个人像,提高人像识别的准确性。
本发明实施例中,该人像属性算法是基于多个样本人像图像以及多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到;其中,属性信息包括:年龄、性别以及身高。
作为一种可选的实施方式,该人像属性算法通过以下方式训练得到,即:
云平台读取预先录入的样本人像数据,每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息;
云平台从样本人像图像中提取人像特征;
云平台根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算,得到每个样本人像图像的多个属性信息的预测值;
云平台根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗;
云平台将多个属性信息的损耗求和,得到多个属性信息的总损耗;
云平台对初始模型中的不同属性信息对应的子模型的参数进行调整,直到调整后的参数使得多个属性信息的总损耗小于或等于预设阈值时,停止调整得到人像属性算法。
作为一种可选的实施方式,云平台根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗,可以包括:
云平台对于多个属性信息中每一个属性信息,若该属性信息为回归属性,按照如下公式对该属性信息的预测值和属性信息的值进行计算,得到该属性信息的损耗:
其中,m表示该属性信息在多个属性信息中的编号,表示初始模型计算得到的预测值,表示该属性信息的值,i表示回归维度,j表示回归维度的标,L表示该属性信息对应的损耗。
作为一种可选的实施方式,云平台根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗,可以包括:
云平台对于多个属性信息中每一个属性信息,若该属性信息不为回归属性,按照如下公式对该属性信息的预测向量和属性信息向量进行计算,得到该属性信息的损耗:
其中,m表示该属性信息在多个属性信息中的编号,x表示该属性信息的值,z表示初始模型计算得到的预测值,d表示该属性信息的识别结果数目,h表示该属性信息的识别结果的标识,L表示该属性信息对应的损耗。
204、云平台判断该至少两个人像中的各个人像的属性信息中是否存在第一人像的属性信息和第二人像的属性信息;其中,第一人像的属性信息与该倒闸柜对应的倒闸操作执行者的属性信息相匹配,而第二人像的属性信息与该倒闸柜对应的倒闸操作监护者的属性信息相匹配;如果存在,执行步骤205- 步骤207;如果不存在,结束本流程。
205、云平台控制位于该倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音。
作为一种可选的实施方式,云平台执行步骤205之后,以及执行步骤206 之前,还可以执行以下步骤:
云平台识别该第一语音的声纹特征是否与该倒闸柜对应的倒闸操作执行者的声纹特征相匹配,以及,识别第二语音的声纹特征是否与该倒闸柜对应的倒闸操作监护者的声纹特征相匹配;如果都匹配,云平台执行步骤206;反之,若该第一语音的声纹特征与该倒闸柜对应的倒闸操作执行者的声纹特征不匹配,和/或,若该第二语音的声纹特征与该倒闸柜对应的倒闸操作监护者的声纹特征不匹配,结束本流程。
其中,该第一语音的声纹特征与该倒闸柜对应的倒闸操作执行者的声纹特征的匹配方式为:
云平台对第一语音进行预处理,预处理包括预加重、分帧和加窗处理;从预处理后的语音信号中提取声纹特征MFCC、LPCC、△MFCC、△LPCC、能量、能量的一阶差分以及GFCC共同组成第一多维特征向量,其中:MFCC为梅尔频率倒谱系数,LPCC为线性预测倒谱系数,△MFCC为MFCC的一阶差分,△LPCC 为LPCC的一阶差分,GFCC为Gammatone滤波器倒谱系数;判断第一多维特征向量是否与该倒闸柜对应的倒闸操作执行者的声纹特征对应的第二多维向量完全匹配,如果完全匹配,则确定第一语音的声纹特征与该倒闸柜对应的倒闸操作执行者的声纹特征相匹配。
其中,该第二语音的声纹特征与该倒闸柜对应的倒闸操作监护者的声纹特征的匹配方式为:
云平台对第二语音进行预处理,预处理包括预加重、分帧和加窗处理;从预处理后的语音信号中提取声纹特征MFCC、LPCC、△MFCC、△LPCC、能量、能量的一阶差分以及GFCC共同组成第一多维特征向量,其中:MFCC为梅尔频率倒谱系数,LPCC为线性预测倒谱系数,△MFCC为MFCC的一阶差分,△LPCC 为LPCC的一阶差分,GFCC为Gammatone滤波器倒谱系数;判断第一多维特征向量是否与该倒闸柜对应的倒闸操作监护者的声纹特征对应的第二多维向量完全匹配,如果完全匹配,则确定第二语音的声纹特征与该倒闸柜对应的倒闸操作监护者的声纹特征相匹配。
其中,实施上述实施方式,可以提高声纹特征匹配的精确度。
206、云平台将该第一语音转换为第一声音信号,并将第二语音转换为第二声音信号;对该第一声音信号以及该第二声音信号进行合成得到验证声音信号。
作为一种可选的实施方式,本发明实施例中,云平台对该第一声音信号以及该第二声音信号进行合成得到验证声音信号,包括:
云平台确定该第一声音信号与该第二声音信号之间的对齐点;其中,该对齐点是指该第一声音信号和该第二声音信号合成的开始位置;换句话说,该第一声音信号与该第二声音信号要合成的话,需要找到从哪个音频帧开始合成,这个音频帧就可以理解为对齐点;
以及,云平台根据该对齐点将该第一声音信号与该第二声音信号合成为验证声音信号。
作为一种可选的实施方式,本发明实施例中,云平台确定该第一声音信号与该第二声音信号之间的对齐点,包括
云平台计算该第一声音信号的第一时长以及该第二声音信号的第二时长;其中,第一时长表示该第一声音信号的声音持续的时间;第二时长表示该第二声音信号的声音持续的时间;
云平台计算该第一时长和该第二时长之间的差值;
云平台判断该差值是否小于或等于预设数值,若是,对该第一声音信号和该第二声音信号中的任一声音信号进行周期上的缩放,以获得最终持续时长相同的第一声音信号和第二声音信号,再以最终持续时长相同的第一声音信号和第二声音信号的首个音频帧作为对齐点。
本发明实施例中,如果该差值小于或等于预设数值,则说明两段声音信号(即该第一声音信号和该第二声音信号)在输入时的差距较小,此时可以对其中的一段声音信号(如该第一声音信号)进行周期上的缩放,例如对时长较长的声音信号进行周期上的压缩(也就是俗称的快进),和/或对时长较短的声音信号进行周期上的放大(也就是俗称的慢进),使得两段声音信号的最终持续时长相同,再以两段声音信号的首个音频帧作为对齐点进行对齐。
其中,该预设数值的取值范围可以为0至0.1秒。
本发明实施例中,云平台对该第一声音信号和该第二声音信号中的任一声音信号进行周期上的缩放,包括:
若该第一声音信号的第一时长相对于该第二声音信号的第二时长较短,则根据该差值确定该差值占该第一声音信号的第一时长的比例X;
计算该第一声音信号的音频帧数Y;
计算放大系数Z,该Z=X*(Y/(Y-1));
按照该放大系数,对该第一声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一声音信号的最终持续时长与该第二声音信号的第二时长相同。
举例来说,该第一声音信号为1秒,有100个音频帧,则每个音频帧0.01 秒,该第二声音信号为1.1秒,需要把该第一声音信号放大至1.1秒。第一帧不动,放大后续的99帧,先确定放大的系数Z为0.1*(100/(100-1))=0.101,即10.1%;此时后续的99帧,每帧需要放大10.1%,放大后的每帧为0.01* (1+10.1%)=0.01101,放大后这99帧的长度为1.09秒,再加上没有动的第一帧0.01秒,就为1.1秒了,即放大后的第一声音信号的最终持续时长与该第二声音信号的第二时长相同。
本发明实施例中,如果该差值大于预设数值,则说明两段声音信号(即该第一声音信号和该第二声音信号)在输入时的差距较大,如果此时还是对其中的一段声音信号进行周期上的缩放,则缩放后会造成比较严重的失真,后续的校验会出现问题,所以可以采用互相关算法来确定对齐点。即,在该差值大于预设数值时,该方法还包括:
云平台使用相同的默认采样频率对该第一声音信号以及该第二声音信号分别进行采样,得到第一采样组和第二采样组;
云平台根据该默认采样频率(例如8000Hz到10000Hz)、第一采样组、第二采样组以及互相关权值生成互相关组;其中,该互相关权值与该差值正相关(例如该互相关权值可以为该差值的1.5倍),该互相关组中包含有多个数值;
云平台将该互相关组中的多个数值进行比较,找出最大的数值;
云平台使用该最大的数值对应的音频帧位置作为对齐点。
其中,云平台根据该默认采样频率、第一采样组、第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示第一采样组中的第m个采样数据, y[m-t]表示第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t 为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f 为默认采样频率。
其中,云平台使用该最大的数值对应的音频帧位置作为对齐点可以为:
云平台找到最大的数值后,可以根据上述的公式(1)反推出m是多少,也就是哪一个采样数据,然后再确定该采样数据所在的音频帧是哪一个,并且使用该音频帧作为对齐点。
207、云平台判断该验证声音信号与该倒闸柜的柜门对应的合法开门声音信号是否匹配,若匹配,控制该倒闸柜的柜门执行开启操作。
或者,如果云平台判断该验证声音信号与该倒闸柜的柜门对应的合法开门声音信号是不匹配,可以结束本流程。
其中,该验证声音信号与该倒闸柜的柜门对应的合法开门声音信号可以包括:该验证声音信号的声音特征与该倒闸柜的柜门对应的合法开门声音信号的声音特征相匹配。
本发明实施例中,与现有技术中采用钥匙来开启柜门的方式相比,图2 所描述的方法可以安全、快速的控制电气设备的倒闸柜的柜门开启。
此外,在图2所描述的方法中,在获取到第一声音信号和第二声音信号之后,并不是逐一的对这两个声音信号进行验证,而是把这两个声音信号进行合成得到验证声音信号,然后再将该验证声音信号与倒闸柜的柜门对应的合法开门声音信号进行匹配,而声音信号合成后会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段声音信号,提高了验证的安全性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种云平台与人体红外热成像相结合的智能控制方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述方法包括:
云平台控制位于电气设备接入的倒闸柜的柜门上的人体红外热成像装置获取所述柜门的前方的人体红外热成像;
若获取到的所述柜门的前方的人体红外热成像的数量为至少两个,云平台控制位于所述倒闸柜的柜门上的拍照装置朝所述倒闸柜的柜门的前方进行拍摄,获得拍摄图像;
云平台确定所述拍摄图像中是否包含至少两个人像;若包含至少两个人像,识别所述至少两个人像中的是否存在第一目标人像和第二目标人像;所述第一目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作执行者的人脸图像相匹配,所述第二目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作监护者的人脸图像相匹配;若存在所述第一目标人像和所述第二目标人像,控制位于所述倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音;
云平台将所述第一语音转换为第一声音信号,并将第二语音转换为第二声音信号;对所述第一声音信号以及所述第二声音信号进行合成得到验证声音信号;
云平台判断所述验证声音信号与所述倒闸柜的柜门对应的合法开门声音信号是否匹配,若匹配,控制所述倒闸柜的柜门执行开启操作。
2.根据权利要求1所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述云平台确定所述拍摄图像中是否包含至少两个人像,包括:
云平台通过模板数据库访问端口,从模板数据库中读取出常见姿势模板;
云平台根据所述拍摄图像中的地理场景从所述常见姿势模板中确定待用姿势模板;
云平台根据所述待用姿势模板确定待用姿势的包络框;
云平台利用所述包络框在所述拍摄图像中进行匹配,以确定所述拍摄图像是否包含至少两个人像;
其中,所述云平台根据所述拍摄图像中的地理场景从所述常见姿势模板中确定待用姿势模板,包括:
云平台对所述拍摄图像对应的图像焦平面的地理场景进行识别;
若识别出所述图像焦平面的地理场景为地板,则云平台从所述常见姿势模板中确定站立姿势和下蹲姿势为待用姿势模板;
若识别出所述图像焦平面的地理场景为椅子,则云平台从所述常见姿势模板中确定站立姿势和坐下姿势为待用姿势模板。
3.根据权利要求1或2所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述云平台对所述第一声音信号以及所述第二声音信号进行合成得到验证声音信号,包括:
云平台确定所述第一声音信号与所述第二声音信号之间的对齐点;其中,所述对齐点是指所述第一声音信号和所述第二声音信号合成的开始位置;
云平台根据所述对齐点将所述第一声音信号与所述第二声音信号合成为验证声音信号。
4.根据权利要求3所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述云平台确定所述第一声音信号与所述第二声音信号之间的对齐点,包括
云平台计算所述第一声音信号的第一时长以及所述第二声音信号的第二时长;其中,所述第一时长表示所述第一声音信号的声音持续的时间;所述第二时长表示所述第二声音信号的声音持续的时间;
云平台计算所述第一时长和所述第二时长之间的差值;
云平台判断所述差值是否小于或等于预设数值,若是,对所述第一声音信号和所述第二声音信号中的任一声音信号进行周期上的缩放,以获得最终持续时长相同的第一声音信号和第二声音信号,再以所述最终持续时长相同的第一声音信号和第二声音信号的首个音频帧作为对齐点。
5.根据权利要求4所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述云平台对所述第一声音信号和所述第二声音信号中的任一声音信号进行周期上的缩放,包括:
若所述第一声音信号的第一时长相对于所述第二声音信号的第二时长较短,则云平台根据所述差值确定所述差值占所述第一声音信号的第一时长的比例X;
云平台计算所述第一声音信号的音频帧数Y;
云平台计算放大系数Z,所述Z=X*(Y/(Y-1));
云平台按照所述放大系数,对所述第一声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一声音信号的最终持续时长与所述第二声音信号的第二时长相同。
6.根据权利要求4或5所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,若所述差值大于所述预设数值,所述方法还包括:
云平台使用相同的默认采样频率对所述第一声音信号以及所述第二声音信号分别进行采样,得到第一采样组和第二采样组;
云平台根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组;其中,所述互相关权值与所述差值正相关,所述互相关组中包含有多个数值;
云平台将所述互相关组中的多个数值进行比较,找出最大的数值;
云平台使用所述最大的数值对应的音频帧位置作为对齐点。
7.根据权利要求6所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述云平台根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示所述第一采样组中的第m个采样数据,y[m-t]表示所述第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f为所述默认采样频率。
8.根据权利要求1-7任一项所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,在识别出所述至少两个人像中的存在所述第一目标人像和所述第二目标人像之后,以及控制位于所述倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音之前,所述方法还包括:
云平台针对所述至少两个人像中的每一人像,利用人像属性算法对所述人像进行前向计算,得到所述人像的属性信息,从而获得所述至少两个人像中的各个人像的属性信息;
云平台判断所述至少两个人像中的各个人像的属性信息中是否存在第一人像的属性信息和第二人像的属性信息;其中,所述第一人像的属性信息与所述倒闸柜对应的倒闸操作执行者的属性信息相匹配,而所述第二人像的属性信息与所述倒闸柜对应的倒闸操作监护者的属性信息相匹配;
若所述至少两个人像中的各个人像的属性信息中存在所述第一人像的属性信息和所述第二人像的属性信息,云平台执行所述的控制位于所述倒闸柜的柜门上的拾音装置获取第一人员发出的第一语音以及第二人员发出的第二语音的步骤。
9.根据权利要求8所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述人像属性算法是基于多个样本人像图像以及所述多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到;其中,所述属性信息包括:年龄、性别以及身高。
10.根据权利要求9所述的云平台与人体红外热成像相结合的智能控制方法,其特征在于,所述人像属性算法通过以下方式训练得到,即:
云平台读取预先录入的样本人像数据,每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息;
云平台从所述样本人像图像中提取人像特征;
云平台根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算,得到每个样本人像图像的多个属性信息的预测值;
云平台根据所述预测值与属性信息的值,按照属性信息的不同类型计算得到所述多个属性信息的损耗;
云平台将所述多个属性信息的损耗求和,得到所述多个属性信息的总损耗;
云平台对所述初始模型中的不同属性信息对应的子模型的参数进行调整,直到调整后的参数使得所述多个属性信息的总损耗小于或等于预设阈值时,停止调整得到所述人像属性算法;
其中,第一目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作执行者的人脸图像的匹配过程为:
根据所述第一目标人像包含的目标人脸图像的色彩信息,对所述第一目标人像包含的目标人脸图像进行二值化处理;将二值化处理后的第一目标人像包含的目标人脸图像分成多个像素块,并对每个像素块内所有像素对应的像素值进行或运算,得到每个像素块的或运算结果组成第一目标人像包含的目标人脸图像的下采样图片;将得到的下采样图片划分为多个像素区域,通过对每个像素区域中所有像素点的或运算结果求和,获得组成第一目标人像包含的目标人脸图像的每个像素区域的特征信息;根据第一目标人像包含的目标人脸图像的每个像素区域的特征信息判断第一目标人像包含的目标人脸图像与所述倒闸柜对应的倒闸操作执行者的人脸图像是否相匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810470501.4A CN108921982A (zh) | 2018-05-17 | 2018-05-17 | 一种云平台与人体红外热成像相结合的智能控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810470501.4A CN108921982A (zh) | 2018-05-17 | 2018-05-17 | 一种云平台与人体红外热成像相结合的智能控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108921982A true CN108921982A (zh) | 2018-11-30 |
Family
ID=64404348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810470501.4A Withdrawn CN108921982A (zh) | 2018-05-17 | 2018-05-17 | 一种云平台与人体红外热成像相结合的智能控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108921982A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010145966A (ja) * | 2008-12-22 | 2010-07-01 | Fujinon Corp | オートフォーカスシステム |
CN102110438A (zh) * | 2010-12-15 | 2011-06-29 | 方正国际软件有限公司 | 一种基于语音的身份认证方法及系统 |
CN104469157A (zh) * | 2014-12-08 | 2015-03-25 | 广东欧珀移动通信有限公司 | 一种相机多人拍摄的方法和装置 |
CN106599866A (zh) * | 2016-12-22 | 2017-04-26 | 上海百芝龙网络科技有限公司 | 一种多维度用户身份识别方法 |
CN107016761A (zh) * | 2017-04-17 | 2017-08-04 | 合肥酷庆信息科技有限公司 | 一种基于人脸识别的单元门禁用智能控制系统 |
CN107644204A (zh) * | 2017-09-12 | 2018-01-30 | 南京凌深信息科技有限公司 | 一种用于安防系统的人体识别与跟踪方法 |
CN107818316A (zh) * | 2017-11-24 | 2018-03-20 | 合肥博焱智能科技有限公司 | 一种批量人脸识别系统 |
-
2018
- 2018-05-17 CN CN201810470501.4A patent/CN108921982A/zh not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010145966A (ja) * | 2008-12-22 | 2010-07-01 | Fujinon Corp | オートフォーカスシステム |
CN102110438A (zh) * | 2010-12-15 | 2011-06-29 | 方正国际软件有限公司 | 一种基于语音的身份认证方法及系统 |
CN104469157A (zh) * | 2014-12-08 | 2015-03-25 | 广东欧珀移动通信有限公司 | 一种相机多人拍摄的方法和装置 |
CN106599866A (zh) * | 2016-12-22 | 2017-04-26 | 上海百芝龙网络科技有限公司 | 一种多维度用户身份识别方法 |
CN107016761A (zh) * | 2017-04-17 | 2017-08-04 | 合肥酷庆信息科技有限公司 | 一种基于人脸识别的单元门禁用智能控制系统 |
CN107644204A (zh) * | 2017-09-12 | 2018-01-30 | 南京凌深信息科技有限公司 | 一种用于安防系统的人体识别与跟踪方法 |
CN107818316A (zh) * | 2017-11-24 | 2018-03-20 | 合肥博焱智能科技有限公司 | 一种批量人脸识别系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109446981B (zh) | 一种脸部活体检测、身份认证方法及装置 | |
US5761329A (en) | Method and apparatus employing audio and video data from an individual for authentication purposes | |
CN108888281A (zh) | 精神状态评估方法、设备及系统 | |
CN103856689B (zh) | 面向新闻视频的人物对话字幕提取方法 | |
CN108470169A (zh) | 人脸识别系统及方法 | |
CN102014278A (zh) | 一种基于语音识别技术的智能视频监控方法 | |
CN106599660A (zh) | 终端安全验证方法及装置 | |
Chetty et al. | Automated lip feature extraction for liveness verification in audio-video authentication | |
Chetty | Biometric liveness checking using multimodal fuzzy fusion | |
JP2012014394A (ja) | ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機 | |
CN107918726A (zh) | 距离感应方法、设备及存储介质 | |
CN110309799A (zh) | 基于摄像头的说话判断方法 | |
CN114332744B (zh) | 一种基于机器视觉的变电站自适应安防方法及系统 | |
CN109101925A (zh) | 活体检测方法 | |
CN111091840A (zh) | 一种建立性别识别模型的方法及性别识别方法 | |
Kolossa et al. | Audiovisual speech recognition with missing or unreliable data. | |
CN110047184A (zh) | 一种防录音攻击的身份验证方法及门禁系统 | |
CN108615020A (zh) | 一种视频监控区域内的流动人数统计方法 | |
CN109886251A (zh) | 一种基于姿势引导对抗学习的端到端的行人再识别方法 | |
CN108765653A (zh) | 一种电气设备接入的倒闸柜的柜门控制方法 | |
CN108921982A (zh) | 一种云平台与人体红外热成像相结合的智能控制方法 | |
KR100876786B1 (ko) | 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법 | |
CN108648317A (zh) | 一种超声波测距与人像的属性信息结合的智能控制方法 | |
CN112258707A (zh) | 一种基于人脸识别的智能门禁管理系统 | |
CN108876984A (zh) | 一种红外热成像与人像的属性信息结合的自动控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181130 |