CN111222372A - 人员搜寻方法、装置、存储介质和处理器 - Google Patents
人员搜寻方法、装置、存储介质和处理器 Download PDFInfo
- Publication number
- CN111222372A CN111222372A CN201811419503.7A CN201811419503A CN111222372A CN 111222372 A CN111222372 A CN 111222372A CN 201811419503 A CN201811419503 A CN 201811419503A CN 111222372 A CN111222372 A CN 111222372A
- Authority
- CN
- China
- Prior art keywords
- image
- collected
- target
- person
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人员搜寻方法、装置、存储介质和处理器。其中,该方法包括:获取各个搜寻点的采集图像;将被搜寻人员的目标图像和采集图像输入图像识别模型,由图像识别模型确定,采集图像包括目标图像的第一概率,其中,图像识别模型为使用多组数据通过机器学习训练得出的,多组数据中的每组数据均包括:目标图像和采集图像,以及采集图像中是否包括目标图像;根据第一概率确定采集图像中是否包括目标图像。本发明解决了相关技术中大型居住场所中人员搜寻不便的技术问题。
Description
技术领域
本发明涉及安防领域,具体而言,涉及一种人员搜寻方法、装置、存储介质和处理器。
背景技术
针对别墅或居住面积较大的用户,在家中房间较多时,在各家庭成员散布在不同区域时,常有家庭成员之间不便找寻的情况,现有的解决方法,多为在家中相关位置安装摄像头,但该方式仅能给用户提供各位置影像,既无法便捷提示用户找寻人地址信息,又影响室内装饰美观度。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种人员搜寻方法、装置、存储介质和处理器,以至少解决相关技术中大型居住场所中人员搜寻不便的技术问题。
根据本发明实施例的一个方面,提供了一种人员搜寻方法,包括:获取各个搜寻点的采集图像;将被搜寻人员的目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率,其中,所述图像识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标图像和采集图像,以及所述采集图像中是否包括所述目标图像;根据所述第一概率确定所述采集图像中是否包括所述目标图像。
可选的,获取各个搜寻点的采集图像包括:建立图像搜寻系统,其中,所述搜寻系统包括多个设置在搜寻点的图像采集装置,所述图像搜寻系统通过第一机器人操作系统ROS系统,统一各个所述搜寻点的图像采集装置的驱动接口;通过所述图像搜寻系统获取各个搜寻点的采集图像。
可选的,所述图像识别模型包括用于确定所述采集图像中人物图像区域的第一人员检测模块,将所述目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率包括:所述第一人员检测模块根据快速R型卷积神经网络Faster R-CNN,从所述采集图像中确定人物图像的图像范围区域;将所述图像范围区域的人物图像,与所述被搜寻人员的目标图像进行特征匹配,确定匹配程度;根据所述匹配程度,确定所述采集图像中包含所述目标图像中的所述被搜寻人员的第一概率。
可选的,所述第一人员检测模块根据所述Faster R-CNN,从所述采集图像中确定人物图像的图像范围区域包括:将所述采集图像分为深度图像和彩色图像;通过区域候选网络RPN分别确定所述深度图像和所述彩色图像的多个候选区域;分别融合所述深度图像和所述彩色图像的多个候选区域的候选框,通过去除互相无交集的候选框,得到所述深度图像的第一候选框,以及所述彩色图像的第二候选框;以所述第二候选框为基准,对所述第一候选框进行校准;根据校准后的第一候选框的区域范围,确定所述采集图像中的人物图像的图像范围区域。
可选的,获取各个所述搜寻点的采集声音;将被搜寻人员的目标语音和所述采集声音输入语音识别模型,由所述语音识别模型确定,所述采集声音包括所述目标语音中的所述被搜寻人员语音的第二概率,其中,所述语音识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标语音和采集声音,以及所述采集声音中是否包括所述目标语音中的被搜寻人员的语音;根据所述第二概率,确定所述采集声音中是否包括所述目标语音中的被搜寻人员的语音。
可选的,获取各个所述搜寻点的采集声音包括:建立声音搜寻系统,其中,所述声音系统包括多个设置在所述搜寻点的声音采集装置,所述声音搜寻系统通过第二机器人操作系统ROS系统,统一各个所述搜寻点的声音采集装置的驱动接口;通过所述声音搜寻系统获取各个搜寻点的采集声音。
可选的,所述语音识别模型包括第二人员检测模块,所述第二人员检测模块用于调整语音识别模型的神经网络的参数,以及各个网络层的输入输出设置。
根据本发明实施例的另一方面,还提供了一种人员搜寻装置,包括:获取模块,用于获取各个搜寻点的采集图像;识别模块,用于将被搜寻人员的目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率,其中,所述图像识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标图像和采集图像,以及所述采集图像中是否包括所述目标图像;确定模块,用于根据所述第一概率确定所述采集图像中是否包括所述目标图像。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的方法。
在本发明实施例中,采用获取各个搜寻点的采集图像;将被搜寻人员的目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率,其中,所述图像识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标图像和采集图像,以及所述采集图像中是否包括所述目标图像;根据所述第一概率确定所述采集图像中是否包括所述目标图像的方式,通过对不同搜寻点的图像进行采集,并对采集图像中是否包括被搜寻人员的目标图像进行识别,达到了确定所述被搜寻人员所在搜寻点的目的,从而实现了快速有效的搜寻到被搜寻人员的位置的技术效果,进而解决了相关技术中大型居住场所中人员搜寻不便的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种人员搜寻方法的流程图;
图2是根据本发明实施例的一种人员搜寻装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种人员搜寻方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种人员搜寻方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取各个搜寻点的采集图像;
步骤S104,将被搜寻人员的目标图像和采集图像输入图像识别模型,由图像识别模型确定,采集图像包括目标图像的第一概率,其中,图像识别模型为使用多组数据通过机器学习训练得出的,多组数据中的每组数据均包括:目标图像和采集图像,以及采集图像中是否包括目标图像;
步骤S106,根据第一概率确定采集图像中是否包括目标图像。
在本发明实施例中,采用获取各个搜寻点的采集图像;将被搜寻人员的目标图像和采集图像输入图像识别模型,由图像识别模型确定,采集图像包括目标图像的第一概率,其中,图像识别模型为使用多组数据通过机器学习训练得出的,多组数据中的每组数据均包括:目标图像和采集图像,以及采集图像中是否包括目标图像;根据第一概率确定采集图像中是否包括目标图像中的被搜寻人员的方式,通过对不同搜寻点的图像进行采集,并对采集图像中是否包括被搜寻人员的目标图像进行识别,达到了确定被搜寻人员所在搜寻点的目的,从而实现了快速有效的搜寻到被搜寻人员的位置的技术效果,进而解决了相关技术中大型居住场所中人员搜寻不便的技术问题。
上述获取各个搜寻点的采集图像之前,可以包括接收被搜寻人员的目标图像,可以采用多种方式接收被搜寻人员的目标图像,用户可以通过直接上传该被搜寻人员的目标图像;还可以通过图像采集装置采集该被搜寻人员的目标图像,如,照相机,摄像机,电子摄像头等;还可以通过指令从存储器中调用该被搜寻人员的目标图像,还可以根据采集到的采集图像,选取被搜选人员的目标图像。
需要说明的是,上述获取采集图像时,可以通过传感器、摄像头、照相机、录像机等信息采集设备获取上述各个搜寻点的采集图像。由于图像采集装置容易受到外界环境条件的影响,会出现采集死角、重复采集等问题,因而可以对搜寻点预先设定区域内的预定范围。上述图像采集装置还可以是在该搜寻点的图像采集范围可以根据用户需求进行改变的可转向图像采集装置。
在使用图像模型识别进行图像识别之前,需要构建图像识别模型,然后使用多组数据通过机器学习方式对构建的图像识别模型进行训练,上述多组数据包括:目标图像和采集图像,以及采集图像中是否包括目标图像。上述采集图像中包括目标图像,可以是上述采集图像包括目标图像的第一概率为100%。上述采集图像不包括目标图像,可以是上述采集图像包括目标图像的第一概率为0%。通过对构建的图像识别模型的训练,建立采集图像和目标图像的识别结果的关联性。而且,在对大量多组数据的训练时,不断地对错误的图像识别进行修正,例如,调整算法,人为设置等,从而有效提高图像模型的识别准确度。还可以采用对抗样本对该训练模型进行训练,增强该图像识别模型的准确率。
上述根据第一概率确定采集图像中是否包括目标图像,可以采用多种方式,例如,可以设定概率阈值,在第一概率超过该概率阈值的情况下,确定该采集图像中包括上述目标图像,也即是确定采集图像中包含被搜寻人员的图像,可以根据该采集图像的采集位置确定该被搜寻人员的所在位置;在第一概率不超过该概率阈值的情况下,确定该采集图像中不包括上述目标图像,也即是确定采集图像中不包含被搜寻人员的图像。还可以基于多种目标图像对一张采集图像进行识别,确定多个第一概率,根据多个第一概率确定该采集图像中是否包括目标图像,可以使确定的结果更加准确。
可选的,获取各个搜寻点的采集图像包括:建立图像搜寻系统,其中,搜寻系统包括多个设置在搜寻点的图像采集装置,图像搜寻系统通过第一机器人操作系统ROS系统,统一各个搜寻点的图像采集装置的驱动接口;通过图像搜寻系统获取各个搜寻点的采集图像。
通过建立图像搜寻系统,可以将多个搜寻点的图像采集装置所采集的采集图像,汇集在一处,例如,处理器,存储器,或者服务器,进行统一处理。通过对采集图像中是否包含被搜寻人的图像进行识别,从而确定被搜寻人在不同时间所处搜寻点的位置,从而可以确定被搜寻人的当前位置,或被搜寻人在一定时间内的活动轨迹。上述ROS系统,可以提供发布-订阅式的通信框架用以简单、快速地构件分布式计算系统,从而使多搜寻点的图像采集装置的采集图像和传输该采集图像等操作,与其他的搜寻点的图像采集装置的操作互相独立,有效提高整个多搜寻点的采集图像处理效率和速度。
可选的,图像识别模型包括用于确定采集图像中人物图像区域的第一人员检测模块,将目标图像和采集图像输入图像识别模型,由图像识别模型确定,采集图像包括目标图像的第一概率包括:第一人员检测模块根据快速R型卷积神经网络Faster R-CNN,从采集图像中确定人物图像的图像范围区域;将图像范围区域的人物图像,与目标图像进行特征匹配,确定匹配程度;根据匹配程度,确定采集图像中包含目标图像的第一概率。
上述快速R型卷积神经网络Faster R-CNN,主要分为四部分,包括数据部分Dataset,用于提供符合要求的数据格式;Extractor,利用CNN提取图片特征features;区域候选网络部分RPN(Region Proposal Network):用于提供候选区域rios;RolHead,用于对上述区域rios进行分类和微调,对RPN找出的rois进行判断,是否包含目标对象,并修正框的位置和坐标。
上述第一人员检测模块根据Faster R-CNN,从采集图像中确定人物图像的图像范围区域包括:将采集图像分为深度图像和彩色图像;通过区域候选网络RPN分别确定深度图像和彩色图像的多个候选区域;分别融合深度图像和彩色图像的多个候选区域的候选框,通过去除互相无交集的候选框,得到深度图像的第一候选框,以及彩色图像的第二候选框;以第二候选框为基准,对第一候选框进行校准;根据校准后的第一候选框的区域范围,确定采集图像中的人物图像的图像范围区域。
可选的,获取各个搜寻点的采集声音;将被搜寻人员的目标语音和采集声音输入语音识别模型,由语音识别模型确定,采集声音包括目标语音的第二概率,其中,语音识别模型为使用多组数据通过机器学习训练得出的,多组数据中的每组数据均包括:目标语音和采集声音,以及采集声音中是否包括目标语音;根据第二概率,确定采集声音中是否包括目标语音。
上述获取各个搜寻点的采集声音之前,可以包括接收被搜寻人员的目标语音,可以采用多种方式接收被搜寻人员的目标语音,用户可以通过直接上传该被搜寻人员的目标语音;还可以通过语音采集装置采集该被搜寻人员的目标语音,如,录音机,麦克风;还可以通过指令从存储器中调用该被搜寻人员的目标语音,还可以根据采集到的采集声音,选取被搜选人员的目标语音。需要说明的是,上述获取采集声音时,可以通过传感器、录音机、麦克风、捕音器等信息采集设备获取上述各个搜寻点的采集声音。
在使用语音模型识别进行语音识别之前,需要构建语音识别模型,然后使用多组数据通过机器学习方式对构建的语音识别模型进行训练,这里多组数据包括:目标语音和采集声音,以及采集声音中是否包括目标语音。采集声音中包括目标语音,也即是采集声音中包含被搜寻人员的语音,可以认为是上述采集声音包括目标语音的第二概率为100%。上述采集声音不包括目标语音,也即是上述采集声音中不包含被搜寻人员的语音,可以认为是上述采集声音包括目标语音的第二概率为0%。通过对构建的语音识别模型的训练,建立采集声音和目标语音的识别结果的关联性。而且,在对大量多组数据的训练时,不断地对错误的语音识别进行修正,例如,调整算法,人为设置等,从而有效提高语音模型的识别准确度。还可以采用对抗样本对该训练模型进行训练。
上述根据第一概率确定采集声音中是否包括目标语音,可以采用多种方式,例如,可以设定概率阈值,在第二概率超过该概率阈值的情况下,确定该采集声音中包括目标语音,也即是包括被搜寻人员的语音,可以根据该采集声音的采集位置确定被搜选人员的位置;在第二概率不超过该概率阈值的情况下,确定该采集声音中包括目标语音中包括上述目标语音,也即是不包括被搜寻人员的语音。还可以基于多条目标语音对一条采集声音进行识别,确定多个第二概率,根据多个第二概率确定该采集声音中是否包括目标语音,结果更加准确。
可选的,获取各个搜寻点的采集声音包括:建立声音搜寻系统,其中,声音系统包括多个设置在搜寻点的声音采集装置,声音搜寻系统通过第二机器人操作系统ROS系统,统一各个搜寻点的声音采集装置的驱动接口;通过声音搜寻系统获取各个搜寻点的采集声音。
建立声音搜寻系统,可以将多个搜寻点的声音采集装置所采集的采集声音,汇集在一处,通过对采集声音中是否包含被搜寻人的声音进行识别,从而确定被搜寻人在不同时间所处搜寻点的位置,从而可以确定被搜寻人的活动轨迹。上述ROS系统,可以提供发布-订阅式的通信框架用以简单、快速地构件分布式计算系统,从而使多搜寻点的声音采集装置的采集声音和传输该采集声音等操作,与其他的搜寻点的声音采集装置的操作互相独立,有效提高整个多搜寻点的采集声音处理效率和速度。
可选的,语音识别模型包括第二人员检测模块,第二人员检测模块用于调整语音识别模型的神经网络的参数,以及各个网络层的输入输出设置。
上述第二人员检测模块调整语音识别模型的神经网络的参数,以及各个网络层的输入输出设置,从而调整该语音识别模型的性能参数,以及针对的不同的目标语音,具有不同的准确率。
需要说明的是,本实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
在家中设置人员搜寻系统,系统中设置图像识别模块和语音识别模块。其中,将各房间相关家电中配套的图像采集器(如摄像头)联网成智能家居相机网络,将其作为室内人员感知系统的图像采集装置;将各房间相关家电中配套的语音采集器(如麦克风阵列)联网成智能家居麦克风网络,将其作为室内人员感知系统的语音采集装置。用户在任意一个房间相关家电中通过语音指令,说出要找寻的家中某一成员的名字,通过智能家居相机网络的图像采集,图像识别模块针对采集的图像识别各房间内人员身份,结合语音识别模块针对用户发出的语音识别出的人员,使人员搜寻系统可以即刻辨识出用户要找寻的家庭成员所在的房间,并通过语音提示给用户。
本实施方式通过在智能家居中,使用人员搜寻系统中基于多模态深度学习模型的人员检测器,分别检测出各房间中采集的图像中的人员信息、和用户发出的搜寻指令中的人员信息,两者进行匹配后,将匹配出的结果,即用户所要寻找的家庭成员所在的房间,通过用户所在的房间中的相关电器语音提示给用户,进而迅速便捷的实现大型居住场所中人员搜寻不便的问题。
例如,可以结合房中的空调设备来实现本实施方式,放置空调的空间可以是房间、商场、办公区等开放或不开放的区域。具体的,在空调机器上设置摄像头,采集进入空间内的人员的采集图像、语音信息、手势信息等。感知或识别出对象信息之后,来进一步应用在相关场景中。例如下列场景:
1、在商场中,如果需要寻找走失的人,可以输入需要寻找的人的信息,然后使用本发明的技术采集各个空间内的采集图像,来进行寻人;
2、在家中,如果找不到家中成员或者感觉到陌生人进入家中,可以基于本发明的技术对采集到的对象的图像或声音等信息进行识别,确定进一步的措施,报警或提示等。
3、在物联网环境下,基于空调采集到的对象信息进行识别,然后其他家用电器进行相应的关联和控制。
用户在任意一个房间相关家电中通过语音指令,如用户在主卧中,说出要找寻孩子的名字“贝贝”,通过智能家居相机网络的图像采集,图像识别模块针对采集的图像识别各房间内人员身份,其中,图像识别模块中的第一人员检测器已通过大量输入的及日常采集的贝贝的照片进行图像辨识训练,并对贝贝的特征打出“贝贝”的标签,同时,也对家庭中所有人员均作了相关辨识训练和标注。因此,可以通过第一人员检测器对各房间中采集到的空间内人员图像进行辨识,识别出人员信息。
同时,语音识别模块也针对用户发出的语音进行识别,识别出用户发出语音中要求找寻的人员,如识别出要找的人是“贝贝”,进而语音识别模块将“贝贝”这一信息输入人员搜寻系统,通过将语音识别模块识别出的信息与图像识别模块识别出的信息进行逐一匹配后,如在健身房识别出的人员是“贝贝”,则人员搜寻系统可以即刻通过语音提示给用户,“贝贝在健身房”,进而用户可以直接去健身房找贝贝。
图2是根据本发明实施例的一种人员搜寻装置的示意图,如图2所示,该人员搜寻装置,包括:获取模块22,识别模块24和确定模块26,下面对该装置进行详细说明。
获取模块22,用于获取各个搜寻点的采集图像;识别模块24,与上述获取模块22相连,用于将被搜寻人员的目标图像和采集图像输入图像识别模型,由图像识别模型确定,采集图像包括目标图像的第一概率,其中,图像识别模型为使用多组数据通过机器学习训练得出的,多组数据中的每组数据均包括:目标图像和采集图像,以及采集图像中是否包括目标图像;确定模块26,与上述识别模块24相连,用于根据第一概率确定采集图像中是否包括目标图像。
通过上述装置,采用获取模块22获取各个搜寻点的采集图像;识别模块24将被搜寻人员的目标图像和采集图像输入图像识别模型,由图像识别模型确定,采集图像包括目标图像的第一概率,其中,图像识别模型为使用多组数据通过机器学习训练得出的,多组数据中的每组数据均包括:目标图像和采集图像,以及采集图像中是否包括目标图像;确定模块26根据第一概率确定采集图像中是否包括目标图像的方式,通过对不同搜寻点的图像进行采集,并对采集图像中是否包括目标图像进行识别,达到了确定被搜寻人员所在搜寻点的目的,从而实现了快速有效的搜寻到被搜寻人员的位置的技术效果,进而解决了相关技术中大型居住场所中人员搜寻不便的技术问题。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种人员搜寻方法,其特征在于,包括:
获取各个搜寻点的采集图像;
将被搜寻人员的目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率,其中,所述图像识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标图像和采集图像,以及所述采集图像中是否包括所述目标图像;
根据所述第一概率确定所述采集图像中是否包括所述目标图像。
2.根据权利要求1所述的方法,其特征在于,获取各个搜寻点的采集图像包括:
建立图像搜寻系统,其中,所述搜寻系统包括多个设置在搜寻点的图像采集装置,所述图像搜寻系统通过第一机器人操作系统ROS系统,统一各个所述搜寻点的图像采集装置的驱动接口;
通过所述图像搜寻系统获取各个搜寻点的采集图像。
3.根据权利要求1所述的方法,其特征在于,所述图像识别模型包括用于确定所述采集图像中人物图像的第一人员检测模块,将所述目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率包括:
所述第一人员检测模块根据快速R型卷积神经网络Faster R-CNN,从所述采集图像中确定人物图像的图像范围区域;
将所述图像范围区域的人物图像,与所述目标图像进行特征匹配,确定匹配程度;
根据所述匹配程度,确定所述采集图像中包含所述目标图像的第一概率。
4.根据权利要求3所述的方法,其特征在于,所述第一人员检测模块根据所述FasterR-CNN,从所述采集图像中确定人物图像的图像范围区域包括:
将所述采集图像分为深度图像和彩色图像;
通过区域候选网络RPN分别确定所述深度图像和所述彩色图像的多个候选区域;
分别融合所述深度图像和所述彩色图像的多个候选区域的候选框,通过去除互相无交集的候选框,得到所述深度图像的第一候选框,以及所述彩色图像的第二候选框;
以所述第二候选框为基准,对所述第一候选框进行校准;
根据校准后的第一候选框的区域范围,确定所述采集图像中的人物图像的图像范围区域。
5.根据权利要求1所述的方法,其特征在于,
获取各个所述搜寻点的采集声音;
将被搜寻人员的目标语音和所述采集声音输入语音识别模型,由所述语音识别模型确定,所述采集声音包括所述目标语音的第二概率,其中,所述语音识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标语音和采集声音,以及所述采集声音中是否包括所述目标语音;
根据所述第二概率,确定所述采集声音中是否包括所述目标语音。
6.根据权利要求5所述的方法,其特征在于,获取各个所述搜寻点的采集声音包括:
建立声音搜寻系统,其中,所述声音系统包括多个设置在所述搜寻点的声音采集装置,所述声音搜寻系统通过第二机器人操作系统ROS系统,统一各个所述搜寻点的声音采集装置的驱动接口;
通过所述声音搜寻系统获取各个搜寻点的采集声音。
7.根据权利要求5所述的方法,其特征在于,所述语音识别模型包括第二人员检测模块,所述第二人员检测模块用于调整语音识别模型的神经网络的参数,以及各个网络层的输入输出设置。
8.一种人员搜寻装置,其特征在于,包括:
获取模块,用于获取各个搜寻点的采集图像;
识别模块,用于将被搜寻人员的目标图像和所述采集图像输入图像识别模型,由所述图像识别模型确定,所述采集图像包括所述目标图像的第一概率,其中,所述图像识别模型为使用多组数据通过机器学习训练得出的,所述多组数据中的每组数据均包括:目标图像和采集图像,以及所述采集图像中是否包括所述目标图像;
确定模块,用于根据所述第一概率确定所述采集图像中是否包括所述目标图像。
9.一种存储介质,其特征在于,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811419503.7A CN111222372A (zh) | 2018-11-26 | 2018-11-26 | 人员搜寻方法、装置、存储介质和处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811419503.7A CN111222372A (zh) | 2018-11-26 | 2018-11-26 | 人员搜寻方法、装置、存储介质和处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111222372A true CN111222372A (zh) | 2020-06-02 |
Family
ID=70827085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811419503.7A Pending CN111222372A (zh) | 2018-11-26 | 2018-11-26 | 人员搜寻方法、装置、存储介质和处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111222372A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
CN108064388A (zh) * | 2017-11-16 | 2018-05-22 | 深圳前海达闼云端智能科技有限公司 | 人物搜寻方法、装置、终端及云端服务器 |
CN108108698A (zh) * | 2017-12-25 | 2018-06-01 | 哈尔滨市舍科技有限公司 | 基于人脸识别和全景视频的目标跟踪方法和系统 |
-
2018
- 2018-11-26 CN CN201811419503.7A patent/CN111222372A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
CN108064388A (zh) * | 2017-11-16 | 2018-05-22 | 深圳前海达闼云端智能科技有限公司 | 人物搜寻方法、装置、终端及云端服务器 |
CN108108698A (zh) * | 2017-12-25 | 2018-06-01 | 哈尔滨市舍科技有限公司 | 基于人脸识别和全景视频的目标跟踪方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106295313B (zh) | 对象身份管理方法、装置和电子设备 | |
CN108009521B (zh) | 人脸图像匹配方法、装置、终端及存储介质 | |
CN105426857B (zh) | 人脸识别模型训练方法和装置 | |
WO2020125499A9 (zh) | 一种操作提示方法及眼镜 | |
CN112051743A (zh) | 设备控制方法、冲突处理方法、相应的装置及电子设备 | |
CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
CN112699808B (zh) | 密集目标检测方法、电子设备及相关产品 | |
AU2020309090A1 (en) | Image processing methods and apparatuses, electronic devices, and storage media | |
CN105042789B (zh) | 一种智能空调的控制方法及系统 | |
CN105183758A (zh) | 一种连续记录视频、影像的内容识别方法 | |
CN111245688A (zh) | 一种基于室内智能控制电器设备的方法及系统 | |
US20210201478A1 (en) | Image processing methods, electronic devices, and storage media | |
CN112289239B (zh) | 一种可动态调整的讲解方法、装置及电子设备 | |
CN110895934A (zh) | 家电控制方法及装置 | |
CN110908340A (zh) | 智能家居的控制方法及装置 | |
CN108170401A (zh) | 一种基于人脸识别的音频播放系统 | |
CN107526994A (zh) | 一种信息处理方法、装置及移动终端 | |
CN110749055A (zh) | 控制空调的方法、装置和系统 | |
CN107910006A (zh) | 语音识别方法、装置和多信源语音区分识别系统 | |
WO2019080900A1 (zh) | 神经网络训练方法和装置、存储介质及电子装置 | |
CN110524559B (zh) | 基于人员行为数据的智能人机交互系统及方法 | |
CN108415572B (zh) | 应用于移动终端的模块控制方法、装置及存储介质 | |
CN111222372A (zh) | 人员搜寻方法、装置、存储介质和处理器 | |
CN115118536B (zh) | 分享方法、控制设备及计算机可读存储介质 | |
US11790041B2 (en) | Method and system for reducing false positives in object detection neural networks caused by novel objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |