CN112990104A - 增强现实显示装置及其控制方法、智能头戴设备 - Google Patents
增强现实显示装置及其控制方法、智能头戴设备 Download PDFInfo
- Publication number
- CN112990104A CN112990104A CN202110416306.5A CN202110416306A CN112990104A CN 112990104 A CN112990104 A CN 112990104A CN 202110416306 A CN202110416306 A CN 202110416306A CN 112990104 A CN112990104 A CN 112990104A
- Authority
- CN
- China
- Prior art keywords
- image
- display module
- augmented reality
- display device
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 230000001960 triggered effect Effects 0.000 claims abstract description 18
- 230000005611 electricity Effects 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims abstract 2
- 238000001931 thermography Methods 0.000 claims description 48
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 239000011521 glass Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Economics (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种增强现实显示装置及其控制方法、智能头戴设备,属于增强现实显示技术领域,包括显示模组、图像摄取模组和处理器,显示模组和图像摄取模组分别和处理器电连接,图像摄取模组用于获取视野范围的图像并将获取的图像传输至处理器进行比对计算,图像至少包括人脸图像,处理器根据比对计算结果触发显示模组启动并显示比对计算后的图像信息。使用增强现实显示装置,图像摄取模组将摄取的图像反馈给处理器,处理器接收图像并与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动并显示匹配的图像信息,使用者通过显示模组查看匹配的图像信息锁定目标,显示模组能够在图像非匹配状态下保持待机,节约能耗。
Description
技术领域
本申请涉及增强现实显示技术领域,具体涉及一种增强现实显示装置及其控制方法、智能头戴设备。
背景技术
虚拟现实技术(英文名称:Virtual Reality,简称VR),又称灵境技术,是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术,基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。增强现实(英文名称:AugmentedReality,简称AR),增强现实技术也被称为扩增现实,增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在。
头盔式显示器(Head-mounted displays,简称HMD)被广泛应用于增强现实系统中,用以增强用户的视觉沉浸感。根据具体实现原理又可以划分为基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-throughHMD)。头盔式显示器可应用于人们生产生活的各个方面,用于进行图像的采集、信号的识别等。但是,现有技术的增强现实系统仍存在视野相对较窄等原因导致的长时间佩戴疲劳不舒适,以及工作功耗大的问题。
发明内容
本申请实施例的目的在于提供一种增强现实显示装置及其控制方法、智能头戴设备,通过图像的摄取和处理,对视野范围的图像信息进行识别,由图像匹配结果触发显示模组的显示,使得显示模组能够在图像非匹配状态下保持待机,节约能耗。
本申请实施例的一方面,提供了一种增强现实显示装置,包括显示模组、图像摄取模组和处理器,显示模组和图像摄取模组分别和处理器电连接,图像摄取模组用于获取视野范围的图像并将获取的图像传输至处理器进行比对计算,图像至少包括人脸图像,处理器根据比对计算结果触发显示模组启动并显示比对计算后的图像信息。
可选地,还包括与处理器电连接的示警部件,处理器根据比对结果触发示警部件告警提示。
可选地,示警部件包括指示灯、振动器、音频播放器的至少一种。
可选地,图像摄取模组包括摄像头和红外相机,摄像头用于拍摄视野范围的人脸图像,红外相机用于拍摄视野范围的热成像图像。
本申请实施例的另一方面,提供了一种增强现实显示装置的控制方法,该方法包括接收由图像摄取模组拍摄的视野范围的图像,图像至少包括人脸图像;将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的显示模组中显示比对计算后的图像信息。
可选地,增强现实显示装置还包括与处理器电连接的示警部件;将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动还包括:根据比对的匹配结果触发示警部件告警提示。
可选地,将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的显示模组中显示比对计算后的图像信息之后,方法还包括:在显示模组启动后开始计时;显示模组接收到触发启动信号,计时归零重新计时;计时的时长达到预设时长,显示模组进入待机。
可选地,增强现实显示装置的图像摄取模组包括摄像头和红外相机;将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的显示模组中显示比对计算后的图像信息包括:将接收到的摄像头拍摄的人脸图像与数据库中存储的人脸图像数据进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的显示模组中显示相匹配的人脸图像信息;启动红外相机,红外相机拍摄相匹配的人脸图像信息对应的人物所在范围的热成像图像;当热成像图像与数据库中存储的预设物的热成像轮廓图像相匹配,在启动的显示模组中附加显示相匹配的热成像图像信息。
可选地,增强现实显示装置的图像摄取模组包括摄像头和红外相机;将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的显示模组中显示比对计算后的图像信息包括:接收摄像头拍摄的人脸图像以及红外相机拍摄的热成像图像;分别将接收到的人脸图像和热成像图像与数据库中存储的人脸图像数据和预设物的热成像轮廓图像进行比对计算;当人脸图像比对得到匹配结果,或者,热成像图像比对得到匹配结果,则触发显示模组启动,并在启动的显示模组中显示相匹配的图像信息。
本申请实施例的另一方面,提供了一种智能头戴设备,包括头盔部件,以及上述的增强现实显示装置,增强现实显示装置在头盔部件上可转动连接设置,增强现实显示装置转动具有使得显示模组对应佩戴者视物的第一状态,以及收至头盔部件边侧待机的第二状态。
本申请实施例提供的增强现实显示装置及其控制方法、智能头戴设备,增强现实显示装置包括图像摄取模组、显示模组和处理器,图像摄取模组和显示模组分别和处理器电连接,图像摄取模组用于摄取图像,显示模组用于显示图像信息,处理器用于对摄取的图像与数据库的对应图像数据进行比对计算,并根据比对计算后得到的匹配结果,触发显示模组的启动信号。使用该增强现实显示装置时,图像摄取模组将摄取的视野范围的图像反馈给处理器,处理器将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,显示模组显示匹配的图像信息,图像至少包括人脸图像,也就是该增强现实显示装置至少可进行人脸识别,而且,当比对得到不匹配的结果时并不触发显示模组的启动,在此情况下显示模组可以处于待机状态,且不显示不匹配的图像信息。使用者佩戴本申请实施例的增强现实显示装置,在未获得匹配的图像信息时可以不必始终佩戴显示模组进行图像的人工观测,在得到匹配信息,并且使得显示模组启动后进行佩戴,可通过显示模组查看确认匹配的图像信息,从而辅助使用者锁定目标。例如将本申请实施例的增强现实显示装置应用于警用安全巡逻中,巡警佩戴本申请实施例的增强现实显示装置,在图像摄取模组摄取的人脸图像在处理器中未得到匹配结果时,显示模组保持待机状态,巡警也可以不必始终佩戴,当人脸图像得到匹配结果时,触发显示模组工作并显示匹配信息,巡警佩戴后进行识别确认即可锁定嫌疑人,保证公众安全。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种增强现实显示装置的控制方法的流程图之一;
图2是本申请实施例提供的一种增强现实显示装置的结构示意图之一;
图3是本申请实施例提供的一种增强现实显示装置的结构示意图之二;
图4是本申请实施例提供的一种增强现实显示装置的控制方法的流程图之二;
图5是本申请实施例提供的一种增强现实显示装置的控制方法的流程图之三;
图6是本申请实施例提供的一种增强现实显示装置的控制方法的流程图之四。
图标:101-图像摄取模组;102-显示模组;103-处理器;104-示警部件。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的描述中,需要说明的是,术语“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
请参照图1,本申请实施例提供一种增强现实显示装置的控制方法,该方法包括:
S100:接收由图像摄取模组101拍摄的视野范围的图像,图像至少包括人脸图像。
图像摄取模组101拍摄在其视野范围内的图像,然后将拍摄的图像反馈给处理器103,处理器103接收该图像。
其中,图像至少包括人脸图像,通过人脸图像可以对于视野范围内出现的人物的人脸图像与数据库中储存的人脸图像进行比对,从而对人物进行身份的识别。
当然,本申请实施例中的图像摄取模组101拍摄的图像不限于人脸图像,还可包括其他图像,本申请实施例对此不做具体限定,只要能够与数据库中对应类别的图像之间进行比对计算,即可进行对应类别的图像识别。
S110:将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组102启动,并在启动的显示模组102中显示比对计算后的图像信息。
处理器103接收图像后,将该图像和数据库中的存储图像进行比对计算,从而实现对接收图像的识别,需要说明的是,此处比对的结果不仅是得出“匹配”或“不匹配”两种结论,而是通过对人脸图像中各个特征点的比对,并且进行计算得到整体相似度的比例数值,例如,当该整体相似度的比例数值超过预设的阈值则认为比对结果为匹配结果,若低于预设的阈值,则得出比对结果为不匹配结果。
当处理器103根据比对计算得到匹配结果,则根据该匹配结果发出信号以触发显示模组102的启动,并在启动后的显示模组102中显示比对计算后的图像信息,其中,本领域技术人员可根据实际需要进行设定,使得此时在显示模组102中显示的图像信息为拍摄的图像与数据库匹配图像的对比图,或者仅显示拍摄的图像,或者仅显示数据库中的匹配图像。
并且,需要说明的是,由于显示模组102中显示的图像是用于给使用者进行观看和进一步确认的,因此,在显示模组102启动后显示的图像,通常应当是在显示模组102上持续显示一定的时间,例如20秒,或者1分钟等等,以便给使用者预留能清晰地辨认图像并识别的时间。
上述的图像摄取模组101、显示模组102和处理器103构成了本申请实施例的增强现实显示装置的基本结构组成,当然,要使得本申请实施例的增强现实显示装置能够更个性化和适应性的匹配使用者的使用需求,还可以在此基本结构的基础上进一步增加其他辅助部件。
与之对应的,请参照图2,本申请实施例还提供一种增强现实显示装置,包括显示模组102、图像摄取模组101和处理器103,显示模组102和图像摄取模组101分别和处理器103电连接,图像摄取模组101用于获取视野范围的图像并将获取的图像传输至处理器103进行比对计算,图像至少包括人脸图像,处理器103根据比对计算结果触发显示模组102启动并显示比对计算后的图像信息图像摄取模组101用于摄取图像,显示模组102用于显示图像信息,处理器103用于比对计算,并根据比对计算的结果,给显示模组102传递启动信号。
显示模组102和图像摄取模组101分别和处理器103电连接,图像摄取模组101将摄取的图像反馈给处理器103,处理器103将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组102启动,启动后的显示模组102显示匹配的图像信息,图像信息包括拍摄的图像与数据库匹配图像的对比图,或者仅显示拍摄的图像,或者仅显示数据库中的匹配图像。
本申请实施例提供的增强现实显示装置中,图像摄取模组101和显示模组102分别和处理器103电连接,图像摄取模组101用于摄取图像,显示模组102用于显示图像信息,处理器103用于对摄取的图像与数据库的对应图像数据进行比对计算,并根据比对计算后得到的匹配结果,触发显示模组102的启动信号。使用该增强现实显示装置时,图像摄取模组101将摄取的视野范围的图像反馈给处理器103,处理器103将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组102启动,显示模组102显示匹配的图像信息,图像至少包括人脸图像,也就是该增强现实显示装置至少可进行人脸识别,而且,当比对得到不匹配的结果时并不触发显示模组102的启动,在此情况下显示模组102可以处于待机状态,且不显示不匹配的图像信息。使用者佩戴本申请实施例的增强现实显示装置,在未获得匹配的图像信息时可以不必始终佩戴显示模组102进行图像的人工观测,在得到匹配信息,并且使得显示模组102启动后进行佩戴,可通过显示模组102查看确认匹配的图像信息,从而辅助使用者锁定目标。例如将本申请实施例的增强现实显示装置应用于警用安全巡逻中,巡警佩戴本申请实施例的增强现实显示装置,在图像摄取模组101摄取的人脸图像在处理器103中未得到匹配结果时,显示模组102保持待机状态,巡警也可以不必始终佩戴,当人脸图像得到匹配结果时,触发显示模组102工作并显示匹配信息,巡警佩戴后进行识别确认即可锁定嫌疑人,保证公众安全。
示例地,增强现实显示装置具体可为增强现实眼镜,增强现实眼镜可为双目眼镜,也可为单目眼镜,本领域技术人员可以根据实际需要进行选择配置。
当增强现实显示装置为增强现实眼镜,并应用于智能头戴设备(头盔)上时,增强现实显示装置可为设在头盔上的可旋转调节位置的单目眼镜,当本申请实施例的智能头戴设备用于巡警佩戴巡逻,在常规巡逻过程中,可以将单目眼镜旋转至头盔一侧,当示警部件104告警或者当显示模组102启动工作时,再手动或自动控制使得单目眼镜旋转至头盔前侧的佩戴位置。
可选地,在一种实施方式中,如图3所示,本申请实施例的增强现实显示装置还包括与处理器103电连接的示警部件104;当处理器103比对计算后得到匹配结果时,还可以将信号传输至电连接的示警部件104,通过示警部件104对使用者进行提示,例如可以是报警的提示,可以是佩戴观察的提示等。
示警部件104用于告警提示,可使使用者不需长时间佩戴头盔式显示器,避免眼镜疲劳,在身份识别和物品识别匹配后,通过示警部件104告警后,提醒使用者,使用者此时再戴上头盔式显示器查看对应的匹配图像,以锁定嫌疑人和嫌疑物品。
具体地,示警部件104包括指示灯、振动器、音频播放器的至少一种。示警部件104用于向使用者示警,因此只要能保证提示到使用者所知即可,例如,指示灯,在示警时闪灯,使用者看到灯光亮起或者灯光闪烁,可得到提示信息,振动器,在示警时振动,使用者感受到振动可得到提示信息,音频播放器,在示警时发出音乐或者语音提示,使用者根据听到的提示音得到提示信息。当然,由于示警部件104的作用就是要使使用者得到提示,因此,上述举例的示警方式可以单独使用,也可以相互结合适应,此外,考虑到当本申请实施例的增强现实显示装置应用于巡警巡逻中时,为了避免音频播放器发出的声音或者指示灯发出的亮光惊动嫌疑人,本申请实施例的示警部件104不限于上述举例,例如还可以使用轻微的微电流刺激等方式对使用者进行示警提示。
与之对应的,在增强现实显示装置还包括示警部件104的情况下,其控制方法中,在将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组102启动还包括:
根据比对的匹配结果触发示警部件104告警提示。
将图像摄取模组101摄取的图像和数据库中的存储图像进行比对计算后,如果计算结果超过预设阈值,则比对结果为匹配结果。此时,处理器103触发示警部件104告警提示,以提醒使用者佩戴显示模组102,使用者可以根据提醒佩戴显示模组102,并且在佩戴后通过显示模组102显示的图像进行进一步的识别确认。
此外,当通过示警部件104提示使用者佩戴的时候,为了给使用者留出佩戴的时间,可设置处理器103先触发示警部件104告警提示,然后再触发启动显示模组102进行显示,例如,二者相差5-10秒的时间差,便于使用者及时佩戴且不错过显示信息。
通过告警提示,可使得使用者平时不必进行佩戴,且在收到告警提示后能够及时佩戴并查看显示模组102的显示图像信息,避免使用者始终佩戴并持续观看显示模组102而导致的眼部疲累。
示例的,上述的图像摄取模组101具体可包括摄像头和红外相机,其中,摄像头用于拍摄视野范围内包括有人脸图像的图像,红外相机用于拍摄视野范围内的热成像图像。
如图4所示,在本申请的一个实施例中,以人脸识别为例,S110具体包括:
S111A:将接收到的摄像头拍摄的人脸图像与数据库中存储的人脸图像数据进行比对计算,根据比对的匹配结果触发显示模组102启动,并在启动的显示模组102中显示相匹配的人脸图像信息。
摄像头拍摄包括有人脸图像的图像,提取图像中的所有人脸图像并分别反馈给处理器103;处理器103将接收到的人脸图像与数据库中存储的人脸图像数据进行比对计算,当得到匹配结果后,启动显示模组102并在显示模组102中显示匹配结果的人脸图像对比信息,通过显示模组102的显示,可使使用者在佩戴状态下直观地根据人脸图像信息进行对应人物的身份识别确认。
S112A:启动红外相机,红外相机用于在人脸图像比对得到匹配结果后,对相匹配的人脸图像信息对应的人物所在范围拍摄热成像图像。
热成像图像是利用热成像技术获取的图像,热成像技术利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上,从而获得红外热像图,这种热像图与物体表面的热分布场相对应,通俗地讲红外热像仪就是将物体发出的不可见红外能量转变为可见的热图像。
S113A:当热成像图像与数据库中存储的预设物的热成像轮廓图像相匹配,在启动的显示模组102中附加显示相匹配的热成像图像信息。
热成像图像通过人体温度和人携带的其他物品的温度差,在热成像图像中呈现出不同的颜色和轮廓,通过热成像图像中呈现出的不同的颜色和轮廓与预设的热成像轮廓图像进行比对,若存在高度匹配,可判断被测对象身上是否携带有待检出的物品,例如,若通过人脸图像匹配结果初步判定被测对象为犯罪嫌疑人,则可通过热成像图像判断嫌疑人身上是否携带有违禁品或武器,从而便于使用者如巡警预先做好相应的抓捕准备,从而提高自身安全性。
具体的,通过S113A,可使使用者确认被测对象携带的是何物品,进行物品识别,便于提前预案处理。
例如,如果被测对象在衣服内袋中携带了刀具,此时热成像图像中可显示出在被测对象衣服内袋的位置存在一个疑似刀具的轮廓图像,该图像与数据库中存储的预设物(刀具)的热成像轮廓图像高度匹配,则可在显示模组102中附加显示该相匹配的热成像图像信息,那么就能够为巡警预先给到嫌疑人可能还携带有武器的警示信息,巡警能够通过显示模组102中显示的图像进行进一步的确认判断,并且可提前进行预案,从而保证公众安全以及使用者自身的安全。
在上述识别人脸的实施例中,以使用者为巡警、被测对象为可能携带武器的嫌疑人,巡警通过佩戴改增强现实显示装置进行武装巡检为例,以下进一步说明增强现实显示装置的控制方法如何应用:
图像摄取模组101、显示模组102和处理器103均集成于增强现实显示装置,巡警可以头盔的形式佩戴增强现实显示装置。
图像摄取模组101包括摄像头和红外相机,摄像头用于拍摄视野范围的人脸图像,红外相机用于拍摄视野范围的热成像图像。
摄像头拍摄图像中提取的人脸图像,通过人脸图像进行身份识别,以锁定嫌疑人。红外相机用于拍摄锁定的嫌疑人的热成像图像,通过热成像图像对嫌疑人携带物品进行识别,以判断嫌疑人是否携带有违禁品或武器等。
首先,图像摄取模组101的摄像头拍摄人脸图像,然后将拍摄的人脸图像反馈给处理器103,处理器103接收人脸图像,并将接收到的人脸图像与数据库中存储的人脸图像数据进行比对计算,比对计算后,匹配的人脸图像信息通过显示模组102显示,使巡警能够直观的通过增强现实显示装置对嫌疑人进行识别,并且对嫌疑人的身份进行确认,从而便于迅速反应锁定嫌疑人。
上述在显示模组102启动前的人脸图像获取和比对过程可在本申请实施例的增强现实显示装置的处理器103中自动进行处理计算,在未触发显示模组102显示之前,显示模组102可以始终处于待机状态,且巡警也可以不全程监控上述过程,避免巡警眼镜疲劳,例如,上述提到当增强现实显示装置为增强现实眼镜,并应用于头盔式显示器时,增强现实显示装置可为设在头盔式显示器上可旋转的单目眼镜,用于巡警佩戴,作为警用安全巡逻中使用,此时可以将单目眼镜旋转至头盔式显示器边侧待机。如果比对结果匹配,匹配的结果通过示警部件104发出示警,以提醒巡警针对性的在显示模组102中查看,此时巡警再将单目眼镜旋转至头盔式显示器上可视物的位置,以便确认嫌疑人的人脸图像。
锁定嫌疑人后,通过红外相机拍摄嫌疑人所在范围的热成像图像,如果嫌疑人携带了违禁品或武器,热成像图像中呈现出的不同的颜色和轮廓与预设的热成像轮廓图像进行比对,如果两者高度匹配,则表明嫌疑人确实携带了嫌疑物品,则在显示模组102中附加显示嫌疑物品的信息,以便进一步清晰显示嫌疑物品具体为何物。如果确认为嫌疑物品就是违禁品或武器,则便于巡警提前进行预案处理,根据相关法律规定,收缴违禁品或武器,控制嫌疑人,保证公众安全。
如图5所示,在本申请的另一个实施例中,S110具体包括:
S111B:接收摄像头拍摄的人脸图像以及红外相机拍摄的热成像图像。
摄像头拍摄包括有人脸图像的图像,提取图像中的所有人脸图像并分别反馈给处理器103;红外相机拍摄热成像图像,并反馈给处理器103,处理器103分别接收人脸图像和热成像图像。
S112B:分别将接收到的人脸图像和热成像图像与数据库中存储的人脸图像数据和预设物的热成像轮廓图像进行比对计算。
S113B:当人脸图像比对得到匹配结果,或者,热成像图像比对得到匹配结果,则触发显示模组102启动,并在启动的显示模组102中显示相匹配的图像信息。
处理器103分别对接收到的人脸图像与数据库中存储的人脸图像数据进行比对计算,对接收到的热成像图像与数据库中存储的预设物的热成像轮廓图像进行比对计算,对于任意一种图像比对计算得到匹配结果,均启动显示模组102,并在显示模组102中显示改匹配结果对应的图像。即,能够通过这种方式同时通过人脸识别排查犯罪嫌疑人,以及通过红外识别人群中是否有人携带危险物品的情况。
上述过程和第一个实施例的功能相似,区别在于人脸识别和热成像图像物品识别的先后顺序以及识别范围有所不同。
第一个实施例中,首先通过人脸图像比对进行身份识别,当锁定系统中匹配的嫌疑人后,红外相机直接对嫌疑人是否携带有违禁品或武器进行识别。而第二个实施例中,通过人脸图像对于嫌疑人身份识别和人员携带嫌疑物品识别同时进行,其识别范围均包括增强现实显示装置的视野范围,这样一来,摄像头和红外相机同时启动工作,各自获取各自的图像并传输至处理器103分别进行比对计算,不管是匹配到嫌疑人的人脸图像,还是匹配到有人携带违禁品或武器,均发出告警并触发显示模组102启动,提示使用者查看对应的匹配图像。
本申请实施例以上述两个实施例为例进行说明,但本申请实施例不限于上述两个实施例,对不同的具体情况,可根据需要设置识别顺序和识别逻辑。
请参照图6,在将接收到的图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组102启动,并在启动的显示模组102中显示比对计算后的图像信息(包括人脸图像和热成像图像)之后,增强现实显示装置的控制方法还包括:
S121:在显示模组102启动后开始计时。
显示模组102一旦启动,即在处理器103中启动计时。
S122:显示模组102接收到触发启动信号,计时归零重新计时。
当显示模组102启动工作和未达到预设时长的计时过程中,再次接收到处理器103的触发启动信号,计时时长归零并重新计时。
S123:计时的时长达到预设时长,显示模组102进入待机。
当计时的时长达到预设时长,例如,预设时长为10分钟,在10分钟内,显示模组102没有再接收到触发启动信号,也就是该时长范围摄取的图像中没有比对到人脸识别和热成像图像的匹配结果,而显示模组102对于前一次触发启动所显示的图像也已经显示了足够的时间,则为了节约功耗,显示模组102重新进入待机状态。
通过上述设置,在显示模组102启动一定时长之后,如果没有再次接收到触发信号,则进入待机状态,以节约功耗。
当然,除此之外,也可以是使用者主动通过手动将显示模组102重新设置为待机状态,重新等待触发信号。
本申请实施例的另一方面,还提供一种智能头戴设备,包括头盔部件,以及上述任意一项的增强现实显示装置,增强现实显示装置在头盔部件上可转动连接设置,增强现实显示装置转动具有使得显示模组102对应佩戴者(使用者)视物的第一状态,以及收至头盔部件边侧待机的第二状态。将上述的增强现实显示装置转动连接在头盔部件上,以形成智能头戴设备。
增强现实显示装置在头盔部件转动时,通过转动在第一状态和第二状态之间切换。其中,当身份识别和物品识别有匹配结果时,显示模组102显示匹配的图像,此时需要使用者确认,因此需将增强现实显示装置转动到第一状态,使使用者可视物以查看显示模组102。
当身份识别和物品识别没有匹配结果时,也就是处于正常状态,没有发现嫌疑人和嫌疑物品,则此时显示模组102位待机状态,可将增强现实显示装置转动到第二状态,图像摄取模组101仍然保持运行以拍摄图像并发送处理器103进行比对计算,此时没有匹配结果,无需使用者查看显示模组102,同时还不影响使用者正常动作,例如巡警正常行走巡逻等。
当有了匹配结果后,在具有示警部件104的情况下,可以通过示警部件104发出示警并启动显示模组102,在没有示警部件104的情况下,可以直接启动显示模组102,此时使用者再将增强现实显示装置的显示模组102转动到第一状态进行查看即可。
此外,增强现实显示装置从第一状态切换到第二状态时,可以通过转轴转动的方式实现。具体可通过手动推拉的方式,使增强现实显示装置在第一状态和第二状态之间转动切换,或者通过设置铰链轴的按钮方式实现切换,本申请实施例对此不做具体限定。
需要说明的是,无论增强现实显示装置处于第一状态还是第二状态,或者在第一状态和第二状态切换时,图像摄取模组101和处理器103始终在工作状态,显示模组102在第二状态处于待机状态,显示模组102在第一状态时触发启动工作。因此,为了保证图像摄取模组101能够始终保持对视野范围的图像进行拍摄获取,可以设置无论增强现实显示装置处于第一状态还是第二状态,图像摄取模组101均保持与同一位置朝向视野范围区域拍摄。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种增强现实显示装置,其特征在于,包括显示模组、图像摄取模组和处理器,所述显示模组和所述图像摄取模组分别和所述处理器电连接,所述图像摄取模组用于获取视野范围的图像并将获取的所述图像传输至所述处理器进行比对计算,所述图像至少包括人脸图像,所述处理器根据比对计算结果触发所述显示模组启动并显示比对计算后的图像信息。
2.根据权利要求1所述的增强现实显示装置,其特征在于,还包括与所述处理器电连接的示警部件,所述处理器根据比对结果触发所述示警部件告警提示。
3.根据权利要求2所述的增强现实显示装置,其特征在于,所述示警部件包括指示灯、振动器、音频播放器的至少一种。
4.根据权利要求1-3任意一项所述的增强现实显示装置,其特征在于,所述图像摄取模组包括摄像头和红外相机,所述摄像头用于拍摄视野范围的人脸图像,所述红外相机用于拍摄视野范围的热成像图像。
5.一种增强现实显示装置的控制方法,其特征在于,所述方法包括:
接收由图像摄取模组拍摄的视野范围的图像,所述图像至少包括人脸图像;
将接收到的所述图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的所述显示模组中显示比对计算后的图像信息。
6.根据权利要求5所述的控制方法,其特征在于,所述增强现实显示装置还包括与处理器电连接的示警部件;
所述将接收到的所述图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动还包括:
根据比对的匹配结果触发所述示警部件告警提示。
7.根据权利要求5或6所述的控制方法,其特征在于,所述将接收到的所述图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的所述显示模组中显示比对计算后的图像信息之后,所述方法还包括:
在所述显示模组启动后开始计时;
所述显示模组接收到触发启动信号,所述计时归零重新计时;
所述计时的时长达到预设时长,所述显示模组进入待机。
8.根据权利要求5所述的控制方法,其特征在于,所述增强现实显示装置的图像摄取模组包括摄像头和红外相机;
所述将接收到的所述图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的所述显示模组中显示比对计算后的图像信息包括:
将接收到的所述摄像头拍摄的人脸图像与数据库中存储的人脸图像数据进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的所述显示模组中显示相匹配的人脸图像信息;
启动所述红外相机,所述红外相机拍摄相匹配的人脸图像信息对应的人物所在范围的热成像图像;
当所述热成像图像与数据库中存储的预设物的热成像轮廓图像相匹配,在启动的所述显示模组中附加显示相匹配的热成像图像信息。
9.根据权利要求5所述的控制方法,其特征在于,所述增强现实显示装置的图像摄取模组包括摄像头和红外相机;
所述将接收到的所述图像与数据库中的存储图像进行比对计算,根据比对的匹配结果触发显示模组启动,并在启动的所述显示模组中显示比对计算后的图像信息包括:
接收所述摄像头拍摄的人脸图像以及所述红外相机拍摄的热成像图像;
分别将接收到的所述人脸图像和所述热成像图像与数据库中存储的人脸图像数据和预设物的热成像轮廓图像进行比对计算;
当所述人脸图像比对得到匹配结果,或者,所述热成像图像比对得到匹配结果,则触发显示模组启动,并在启动的所述显示模组中显示相匹配的图像信息。
10.一种智能头戴设备,其特征在于,包括头盔部件,以及如权利要求1-4任意一项所述的增强现实显示装置,所述增强现实显示装置在所述头盔部件上可转动连接设置,所述增强现实显示装置转动具有使得显示模组对应佩戴者视物的第一状态,以及收至所述头盔部件边侧待机的第二状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110416306.5A CN112990104A (zh) | 2021-04-19 | 2021-04-19 | 增强现实显示装置及其控制方法、智能头戴设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110416306.5A CN112990104A (zh) | 2021-04-19 | 2021-04-19 | 增强现实显示装置及其控制方法、智能头戴设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112990104A true CN112990104A (zh) | 2021-06-18 |
Family
ID=76340925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110416306.5A Pending CN112990104A (zh) | 2021-04-19 | 2021-04-19 | 增强现实显示装置及其控制方法、智能头戴设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112990104A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639800A (zh) * | 2008-08-01 | 2010-02-03 | 华为技术有限公司 | 一种显示屏显示方法及终端 |
CN106557744A (zh) * | 2016-10-28 | 2017-04-05 | 南京理工大学 | 可穿戴人脸识别装置及实现方法 |
CN107463922A (zh) * | 2017-08-17 | 2017-12-12 | 北京小度信息科技有限公司 | 信息显示方法、信息匹配方法、对应的装置和电子设备 |
CN109145714A (zh) * | 2018-07-02 | 2019-01-04 | 深圳云感物联网科技有限公司 | 一种人脸图像识别对重点管控人员进行跟踪预警方法 |
US20190318166A1 (en) * | 2018-04-17 | 2019-10-17 | Pegatron Corporation | Vr wearable device and obstacle detecting method thereof |
CN111126146A (zh) * | 2018-04-12 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
-
2021
- 2021-04-19 CN CN202110416306.5A patent/CN112990104A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639800A (zh) * | 2008-08-01 | 2010-02-03 | 华为技术有限公司 | 一种显示屏显示方法及终端 |
CN106557744A (zh) * | 2016-10-28 | 2017-04-05 | 南京理工大学 | 可穿戴人脸识别装置及实现方法 |
CN107463922A (zh) * | 2017-08-17 | 2017-12-12 | 北京小度信息科技有限公司 | 信息显示方法、信息匹配方法、对应的装置和电子设备 |
CN111126146A (zh) * | 2018-04-12 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
US20190318166A1 (en) * | 2018-04-17 | 2019-10-17 | Pegatron Corporation | Vr wearable device and obstacle detecting method thereof |
CN109145714A (zh) * | 2018-07-02 | 2019-01-04 | 深圳云感物联网科技有限公司 | 一种人脸图像识别对重点管控人员进行跟踪预警方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108293187B (zh) | 利用可穿戴装置注册用户的方法和系统 | |
JP5456791B2 (ja) | 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法 | |
EP2054007B1 (en) | Assistance system for visually handicapped persons | |
US10345103B2 (en) | Cellular phone and personal protective equipment usage monitoring system | |
US9859938B2 (en) | Public safety smart belt | |
CN106682540A (zh) | 一种智能防偷窥方法及装置 | |
EP3463051A1 (fr) | Dispositif connecté de suivi comportemental d'un individu et permettant la détection et/ou la prévention d'une anomalie | |
US11308744B1 (en) | Wrist-wearable tracking and monitoring device | |
CN106184016B (zh) | 一种智能后视镜系统及其控制方法 | |
US20100308999A1 (en) | Security and monitoring apparatus | |
WO2008127316A1 (en) | Security and monitoring apparatus | |
CN109700113A (zh) | 智能头盔、消防救援方法及相关产品 | |
CN104966359A (zh) | 防盗报警系统和方法 | |
WO2009134784A2 (en) | Real time system for readiness monitoring of dismounted soldiers | |
US10048031B1 (en) | Apparatus for preventing unsafe use of a gun | |
CN112990104A (zh) | 增强现实显示装置及其控制方法、智能头戴设备 | |
US11915376B2 (en) | Wearable assisted perception module for navigation and communication in hazardous environments | |
CN106203486A (zh) | 一种出入境安全识别系统 | |
JP5066479B2 (ja) | 被指揮者識別装置及び指揮支援システム | |
CN105054940B (zh) | 安全定位监护仪及其监护方法 | |
KR101914685B1 (ko) | 생체인증 형 실종방지 웨어러블 디바이스를 이용한 실종방지 방법 | |
TWI773141B (zh) | 危險預知應對裝置及系統 | |
KR20200015291A (ko) | 시계형 스마트 웨어러블 장치 및 이를 포함하는 모니터링 시스템 | |
KR102005094B1 (ko) | 전방위를 촬영하는 카메라 렌즈모듈을 구비한 장치 및 그 제어 방법 | |
GB2570777A (en) | Thermal imaging camera and thermal imaging camera systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
RJ01 | Rejection of invention patent application after publication |