CN111062234A - 一种监控方法、智能终端及计算机可读存储介质 - Google Patents

一种监控方法、智能终端及计算机可读存储介质 Download PDF

Info

Publication number
CN111062234A
CN111062234A CN201811211163.9A CN201811211163A CN111062234A CN 111062234 A CN111062234 A CN 111062234A CN 201811211163 A CN201811211163 A CN 201811211163A CN 111062234 A CN111062234 A CN 111062234A
Authority
CN
China
Prior art keywords
camera
image
video data
detected
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811211163.9A
Other languages
English (en)
Inventor
张忠海
吴海全
张恩勤
曹磊
师瑞文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Grandsun Electronics Co Ltd
Original Assignee
Shenzhen Grandsun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Grandsun Electronics Co Ltd filed Critical Shenzhen Grandsun Electronics Co Ltd
Priority to CN201811211163.9A priority Critical patent/CN111062234A/zh
Publication of CN111062234A publication Critical patent/CN111062234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于监控技术领域,提供了一种监控方法、智能终端及计算机可读存储介质,所述监控方法包括:通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测,当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测,若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配,若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端,通过本申请可以及时对事故实现预警。

Description

一种监控方法、智能终端及计算机可读存储介质
技术领域
本申请属于监控技术领域,尤其涉及一种监控方法、智能终端及计算机可读存储介质。
背景技术
随着人们生活水平和居住环境的提高,人们对居住场所的安全也具有越来越高的要求。同时,由于人们工作繁忙,经常长时间外出,大部分人选择在居住场所安装监控设备。
目前的监控设备大部分仅具有拍摄视频的功能,用户往往在事故发生后,才会去调取历史监控视频了解事故发生时的具体状况。然而,这种监控的方法无法及时对事故实现预警。
发明内容
有鉴于此,本申请实施例提供了一种监控方法、智能终端及计算机可读存储介质,以解决目前的监控方法无法及时对事故实现预警的问题。
本申请实施例的第一方面提供了一种监控方法,包括:
通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测;
当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测;
若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配;
若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
本申请实施例的第二方面提供了一种智能终端,包括:
运动目标检测模块,用于通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测;
人脸检测模块,用于当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测;
匹配模块,用于若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配;
第一预警模块,用于若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
本申请实施例的第三方面提供了一种智能终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测,当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测,若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配,若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端,由于本申请实施例先对摄像头采集的视频数据进行运动目标的检测,只有在检测到运动目标时才会进行人脸检测,运动目标的检测相对于人脸检测比较简单,能够降低智能智能终端的内存使用率,咋检测到人脸图像后,还会将检测到的人脸图像与预设数据库中的人脸模板进行匹配,预设数据库中的人脸模板可以设置为允许出现的人的人脸模板,那么在检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端,这样,通过将允许出现的人之外的人的人脸图像发送至预设的移动终端,以起到及时预警的作用。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种监控方法的实现流程示意图;
图2是本申请实施例提供的一种鱼眼反畸变方法的示意图;
图3是本申请实施例提供的另一种监控方法的实现流程示意图;
图4是本申请实施例提供的一种旋转摄像头的示意图;
图5是本申请实施例提供的一种智能终端的示意框图;
图6是本申请实施例提供的另一种智能终端的示意框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
图1是本申请一实施例提供的监控方法的实现流程示意图,如图所示该方法可以包括以下步骤:
步骤S101,通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测。
在本申请实施例中,所述智能终端可以放置于家居环境中用于监控家居环境,还可以放置于工作场所用于监控工作场所的安全。智能终端上设置了摄像头,所述摄像头可以实时采集视频数据,所述视频数据也可以理解为图像帧序列,即所述摄像头连续采集的多帧图像组成了视频数据。所述摄像头实时采集的视频数据的同时,对所述摄像头实时采集的视频数据进行运动目标的检测。
作为本申请一实施例,所述摄像头为背对背设置的两个鱼眼摄像头时,在对所述摄像头实时采集的视频数据进行运动目标的检测之前,还包括:
对通过两个鱼眼摄像头采集的两路视频数据进行拼接,获得全景视频;
所述对所述摄像头实时采集的视频数据进行运动目标的检测包括:
基于所述全景视频进行运动目标的检测。
在本申请实施例中,为了避免单一摄像头由于位置固定,无法采集到全部的运动目标,或者采集的视频数据存在死角的问题,可以将所述摄像头设置为背对背设置的两个鱼眼摄像头。以智能音箱为例,可以在智能音箱的两侧分别设置一个鱼眼摄像头,还可以在智能音箱的顶部设置背对背的两个鱼眼摄像头,设置的两个鱼眼摄像头为广角摄像头,能通过背对背设置的两个鱼眼摄像头采集到360度全景图像。如果是通过背对背的两个鱼眼摄像头采集视频数据,采集到的视频数据是两路视频数据,就需要对采集的两路视频数据进行拼接,获得全景视频,获得全景视频之后,基于所述全景视频进行运动目标的检测。
作为本申请另一实施例,在对通过两个鱼眼摄像头采集的两路视频数据进行拼接之前,所述监控方法还包括:
将鱼眼摄像头采集的视频数据中每一帧图像划分为包含两个以上图像块的图像矩阵,并获得所述图像矩阵中每个图像块对应的第一坐标;
基于预设的坐标变换因子,将所述图像矩阵中每个图像块对应的第一坐标变换为第二坐标;
基于所述第二坐标,将所述图像矩阵中的每个图像块重新排列获得校正后的图像,每一帧校正后的图像组合为校正后的视频数据;
所述对通过两个鱼眼摄像头采集的两路视频数据进行拼接包括:
对通过两个鱼眼摄像头采集的两路视频数据对应的校正后的视频数据进行拼接。
在本申请实施例中,采集视频数据采用的是鱼眼摄像头,我们平时常用的手机、相机镜头拍摄的图像,成像角度大概70度至90度,即把镜头前面70度左右视角空间内的景物成像为一张数码照片。然而,鱼眼摄像头作为广角摄像头具有镜头焦距短,拍摄范围广,视场接近或超过180度的特点,所以鱼眼摄像头会产生“桶形”的畸变,使图象产生扭曲。如图2(a)所示的为鱼眼摄像头拍摄的图像示意图,拍摄的图像产生了“桶形”的畸变,使图象产生扭曲现象。为了使得鱼眼摄像头拍摄的照片更符合我们真实看到的场景图像,可以对所述鱼眼摄像头拍摄的图像进行鱼眼反畸变处理。例如,先将鱼眼摄像头拍摄的图像划分为包含多个图像块的图像矩阵,图2(a)所示的示意图就是划分为包含多个图像块的图像矩阵。所述图像矩阵获得的方法为:在球体中选取一个点作为目标点,围绕所述目标点在球体上做多个同心圆,同心圆的半径以预设的步长递增,在每个同心圆的上、下、左、右四个点做切线,多个同心圆的切线将球体表面分割成多个图像块,以人的视角正对所述目标点看到的图像就是图2(a)所示的图像,图2(a)所示的图像中多个图像块组成了图像矩阵,所述图像矩阵中每个图像块的重心位置对应的坐标就是所述图像块的第一坐标。
以180度鱼眼摄像头为例,是将上下、左右180度视角空间内的景物成像为一张数码照片,这也就解释了为什么鱼眼镜头都是向外突出的,而我们的普通相机镜头都是平的。那么当180度视角范围的景物成像在一张平面上时,正前方的视角,是不会畸变的,图2(a)所示的圆中圆心附近的位置,也理解为目标点附近的位置;而边缘部分,越靠近镜头边缘,畸变越厉害。
在获得第一坐标之后,需要将第一坐标转换第二坐标,第二坐标就是如图2(b)所示的反畸变处理后的坐标,可以预设坐标变换因子,将所述第一坐标转换为第二坐标,所述坐标变化因子,可以通过鱼眼摄像头拍摄的照片中和普通摄像头拍摄的照片中选取相同的观测点,基于大量的观测点模拟观测点的第一坐标和第二坐标关联的曲线函数,所述曲线函数就是坐标变换因子,然后基于所述坐标变换因子,就可以将所述图像矩阵中每个图像块对应的第一坐标变换为第二坐标;将所述图像矩阵中的每个图像块根据所述第二坐标重新排列后获得校正后的图像,由于图2(a)对应的图像块都不是完全的矩形图像块,在转换为图2(b)的过程中,需要在第二坐标对应的位置将每个图像块拉伸为矩形图像块。每个鱼眼摄像头每拍摄一帧图像,就进行一次反畸变处理,获得校正后的图像,多帧图像组合在一起就是校正后视频数据。
为了使得两个鱼眼摄像头的视频数据能够完整拼接为全景视频,需要两个鱼眼摄像头的规格相同,且同步曝光,这样,将两路视频数据中对应的同时曝光的两帧校正后的图像拼接,在将同时曝光的校正后的图像拼接后,就可以获得全景视频。
具体的工作过程可以理解为:第一鱼眼摄像头和第二鱼眼摄像头规格相同、且同步曝光,第一个鱼眼摄像头和第二个鱼眼摄像头同时拍摄视频,由于视频是有图像帧序列组成,并且两个鱼眼摄像头是同步曝光。所以,第一鱼眼摄像头和第二鱼眼摄像头同时拍摄图像,在拍摄图像的同时,处理器也在进行一系列的处理:分别对两个鱼眼摄像头当前拍摄的图像进行反畸变处理,获得两个处理后的图像,然后将两个处理后的图像进行拼接,鱼眼摄像头每拍摄一次图像,就进行一次反畸变处理、进行一次拼接、获得一张拼接后的图像,多张拼接后的图像组成了拼接后的全景视频。
步骤S102,当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测。
在本申请实施例中,如果对所述摄像头实时采集的视频数据进行了处理获得了全景视频,就需要基于所述全景视频进行运动目标的检测。
作为本申请又一实施例,所述基于所述全景视频进行运动目标的检测包括:
检测所述全景视频中连续两帧图像的差异度;
若连续两帧图像的差异度大于预设阈值,则从连续两帧图像的差异区域中提取运动目标。
在本申请实施例中,可以预先将所述全景视频中的每一帧图像处理为灰度图像,连续两帧图像中灰度值的差值可以作为连续两帧图像的差异度,设置了一个阈值,如果连续两帧图像中灰度值的差值大于阈值,则表示连续两帧图像中第二帧图像中出现了运动目标。所述连续两帧图像的差异区域为连续两帧图像中灰度值变化的区域,连续两帧图像,第二个图像与第一张图像相比,灰度值变化了区域中提取运动目标。再从运动目标中检测人脸。
步骤S 103,若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配。
在本申请实施例中,若在运动目标中检测到人脸图像,表示有人出现在所述智能终端所在的工作环境中。预设数据库中预先存储了人脸图像,以家居环境为例,可以将家庭成员的脸部照片存储在预设的数据库中,将预先存储的人脸照片生成人脸模板,将检测到的人脸图像与预设数据库中的人脸模板进行匹配。可以提取检测到的人脸图像中人脸的主要特征点,将检测到的人脸图像中的特征点与预设数据库中存储的人脸模板的特征点进行匹配。
步骤S104,若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
在本申请实施例,若检测到的人脸图像与预设数据库中的人脸模板匹配成功,则控制所述智能终端发出交互信息,所述交互信息包括语音信息。作为举例,若检测到的人脸图像与预设数据库中的至少一个人脸模板匹配成功,表示有家庭成员进入家中,不用产生预警,可以设置为打招呼的,例如,发出“你好”的语音。然后,可以由智能终端如智能音箱通过语音与家庭成员进行人机交互,以进行娱乐、家居设备的控制等。若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,表示有家庭成员之外的人员进入家居环境中,就需要检测到的人脸图像发送至预设的移动终端,所述预设的移动终端可以是家庭成员的手机对应的移动终端。这样就能够及时发出预警,以提醒家庭成员有非家庭成员进入。
作为本申请又一实施例,在将检测到的人脸图像发送至预设的移动终端之后,还包括:
接收所述预设的移动终端返回的信息,并基于所述预设的移动终端返回的信息发出放行的指令或者戒备的指令。
在本申请实施例中,在将检测到的人脸图像发送至预设的移动终端之后,预设的移动终端一侧的家庭成员可通过预设的移动终端授权智能终端是否准许相关人员进入或对相关设备进行控制等其他事务。作为举例,预设的移动终端一侧的家庭成员根据接收到的人脸图像确认为亲戚就可以通过移动终端向智能终端发送放行的信息;预设的移动终端一侧的家庭成员根据接收到的人脸图像确认为陌生人就可以通过移动终端向智能终端发送戒备的信息。若智能终端一侧接收到的为放行的信息,可以控制门禁系统开启等操作,若智能终端一侧接收到的为戒备的信息,可以控制家居或者工作场所的某些计算机等设备无法启动等操作(防止数据资料被窃取)。放行对应的执行动作和戒备对应的执行动作在此仅用于举例,不用于限制本发明。如果以应用在工作场所为例,可以将员工的人脸照片预先存储在数据库中,如果检测到的人脸图像与预设数据库中的人脸模板均匹配失败,表示有非本公司人员进入工作场所,就可以将检测到的人脸图像发送至管理员或者保安对应的移动终端,以提醒管理员或者保安有陌生人进入,管理员或者保安可通过移动终端授权智能终端是否准许相关人员进入或对相关设备进行控制等其他事务。
图3是本申请实施例提供的另一种监控方法的流程示意图,如图所示该方法可以包括以下步骤:
步骤S301,通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测。
在本申请实施例中,所述摄像头可以为旋转摄像头,并且为所述摄像头设置一个初始位置,该步骤中对运动目标的检测可参照图1所示实施例中对运动目标的检测,不同的是,图1所示实施例中从全景视频视频中检测运动目标,本申请实施例是从摄像头实时采集的视频数据中检测运动目标、
步骤S302,当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测。
步骤S303,若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配。
步骤S304,若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像作为追踪目标。
在本申请实施例中,对检测到的运动目标进行人脸检测、以及将检测到的人脸图像与预设数据库中的人脸模板进行匹配的过程可以参照图1所示实施例中的描述,在此不再赘述。
由于本申请实施例提供的摄像头为旋转摄像头,所以,本申请实施例提供的摄像头并不能向图1所示实施例中提供的背对背设置的两个语言摄像头那样可以获得全景视频。但是旋转摄像头由于具有旋转的作用,可以通过旋转摄像头将检测到的人脸作为追踪目标一直拍摄。
步骤S305,获取所述追踪目标在所述旋转摄像头当前采集的图像中的位置。
在本申请实施例中,一旦检测到人脸图像,就将检测到的人脸图像作为追踪目标,并获取所述追踪目标在所述旋转摄像头当前采集的图像中的位置,例如,可以将所述追踪目标所在区域的重心的坐标作为所述追踪目标在所述旋转摄像头当前采集的图像中的位置。
步骤S306,根据所述追踪目标在所述旋转摄像头当前采集的图像中的位置相对于所述图像中心点的距离和方位,确定所述旋转摄像头旋转的自由度方向和角度。
在本申请实施例中,为了能够更好的追踪所述追踪目标,可以是所述追踪目标保持在所述旋转摄像头实时采集的图像中的中心位置,那么所述追踪目标的坐标相对于所述图像中心点的坐标的距离和方位,就可以计算出所述旋转摄像头旋转的自由度方向和角度。
图4是本申请一实施例提供的旋转摄像头,当所述旋转摄像头面向用户时,所述旋转摄像头可以左右旋转,也可以上下旋转,所述自由度方向就是向上、下、左、右旋转的方向,所述旋转的角度就是以摄像头的镜头的中心点为基准,旋转的过程中,基于旋转轴所述镜头的中心点旋转的角度。
步骤S307,调整所述旋转摄像头向确定的自由度方向旋转确定的角度,并基于调整后的旋转摄像头实时采集图像。
在本申请实施例中,所述旋转摄像头调整了旋转的自由度方向和旋转角度后,理论上,调整后的旋转摄像头实时采集图像中追踪目标应该在中心位置,然而,实际应用中,追踪目标并不是固定位置不变的,旋转摄像头调整的过程中,追踪目标也一直在变换位置,这就需要在步骤S307之后,基于所述追踪目标在调整后的旋转摄像头当前采集的图像中的位置,继续调整所述旋转摄像头,以控制所述追踪目标在所述旋转摄像头实时采集的图像中。实际上这是循环执行步骤S305至步骤S307的过程。
步骤S305至步骤S307是基于所述追踪目标在所述旋转摄像头当前采集的图像中的位置,调节所述旋转摄像头向上、下、左、右四个自由度方向中的至少一个自由度方向运动,以控制所述追踪目标在所述旋转摄像头实时采集的图像中的详细描述过程。
步骤S308,在拍摄所述追踪目标的过程中,将所述摄像头实时采集的视频数据发送至预设的移动终端,直到所述摄像头实时采集的预设时间之内视频数据中均无法检测到所述追踪目标。
在本申请实施例中,为了能够使得预设的移动终端对应的用户能够实时了解所述智能终端所在工作环境的状况,可以在拍摄所述追踪目标的过程中,将所述摄像头实时采集的视频数据发送至预设的移动终端,直到所述摄像头实时采集的预设时间之内视频数据中均无法检测到所述追踪目标。
需要说明的是,如果采用的是两个鱼眼摄像头,可以在检测到人脸图像后,将所述摄像头实时采集的视频数据发送至预设的移动终端,直到所述摄像头实时采集的预设时间之内视频数据中均无法检测到所述人脸图像。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图5是本申请实施例提供的一种智能终端的示意框图,为了便于说明,仅示出与本申请实施例相关的部分。
该智能终端5可以是内置于现有的例如智能音箱、智能台灯等智能终端内的软件单元、硬件单元或者软硬结合的单元,也可以作为独立的挂件集成到所述现有的例如智能音箱、智能台灯等智能终端中,还可以作为独立的智能终端存在。
所述智能终端5包括:
运动目标检测模块51,用于通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测;
人脸检测模块52,用于当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测;
匹配模块53,用于若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配;
第一预警模块54,用于若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
可选的,所述摄像头为背对背设置的两个鱼眼摄像头时,所述智能终端5还包括:
拼接模块55,用于在对所述摄像头实时采集的视频数据进行运动目标的检测之前,对通过两个鱼眼摄像头采集的两路视频数据进行拼接,获得全景视频;
所述运动目标检测模块51还用于:
基于所述全景视频进行运动目标的检测。
可选的,所述智能终端5还包括:
校正模块56,所述校正模块56包括:
第一坐标获取单元561,用于在对通过两个鱼眼摄像头采集的两路视频数据进行拼接之前,将鱼眼摄像头采集的视频数据中每一帧图像划分为包含两个以上图像块的图像矩阵,并获得所述图像矩阵中每个图像块对应的第一坐标;
第二坐标获取单元562,用于基于预设的坐标变换因子,将所述图像矩阵中每个图像块对应的第一坐标变换为第二坐标;
校正单元563,用于基于所述第二坐标,将所述图像矩阵中的每个图像块重新排列获得校正后的图像,每一帧校正后的图像组合为校正后的视频数据;
所述拼接模块55还用于:
对通过两个鱼眼摄像头采集的两路视频数据对应的校正后的视频数据进行拼接。
可选的,所述运动目标检测模块51包括:
差异度检测单元511,用于检测所述全景视频中连续两帧图像的差异度;
运动目标检测单元512,用于若连续两帧图像的差异度大于预设阈值,则从连续两帧图像的差异区域中提取运动目标。
可选的,所述摄像头为旋转摄像头时,所述智能终端5还包括:
调整模块57,用于将检测到的人脸图像作为追踪目标,基于所述追踪目标在所述旋转摄像头当前采集的图像中的位置,调节所述旋转摄像头向上、下、左、右四个自由度方向中的至少一个自由度方向运动,以控制所述追踪目标在所述旋转摄像头实时采集的图像中。
所述调整模块57包括:
位置获取单元571,用于获取所述追踪目标在所述旋转摄像头当前采集的图像中的位置;
旋转方向和角度确定单元572,用于根据所述追踪目标在所述旋转摄像头当前采集的图像中的位置相对于所述图像中心点的距离和方位,确定所述旋转摄像头旋转的自由度方向和角度;
调整单元573,用于调整所述旋转摄像头向确定的自由度方向旋转确定的角度,并基于调整后的旋转摄像头实时采集图像;
循环处理单元574,用于基于所述追踪目标在调整后的旋转摄像头当前采集的图像中的位置,继续调整所述旋转摄像头,以控制所述追踪目标在所述旋转摄像头实时采集的图像中。
可选的,所述智能终端5还包括:
第二预警模块58,用于所述若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,将所述摄像头实时采集的视频数据发送至预设的移动终端,直到所述摄像头实时采集的预设时间之内视频数据中均无法检测到人脸图像。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述智能终端的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图6是本申请实施例提供的另一种智能终端的示意框图。如图6所示,该实施例的智能终端6包括:一个或多个处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个监控方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器60执行所述计算机程序62时实现上述智能终端实施例中各模块/单元的功能,例如图5所示模块51至54的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述智能终端6中的执行过程。例如,所述计算机程序62可以被分割成运动目标检测模块、人脸检测模块、匹配模块、第一预警模块。
所述运动目标检测模块,用于通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测;
所述人脸检测模块,用于当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测;
所述匹配模块,用于若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配;
所述第一预警模块,用于若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
其它模块或者单元可参照图5所示的实施例中的描述,在此不再赘述。
所述智能终端包括但不仅限于处理器60、存储器61。本领域技术人员可以理解,图6仅仅是智能终端6的一个示例,并不构成对智能终端6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述智能终端还可以包括输入设备、输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述智能终端6的内部存储单元,例如智能终端6的硬盘或内存。所述存储器61也可以是所述智能终端6的外部存储设备,例如所述智能终端6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述智能终端6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述智能终端所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的智能终端和方法,可以通过其它的方式实现。例如,以上所描述的智能终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种监控方法,其特征在于,应用于智能终端,所述监控方法包括:
通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测;
当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测;
若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配;
若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
2.如权利要求1所述的监控方法,其特征在于,所述摄像头为背对背设置的两个鱼眼摄像头时,在对所述摄像头实时采集的视频数据进行运动目标的检测之前,还包括:
对通过两个鱼眼摄像头采集的两路视频数据进行拼接,获得全景视频;
所述对所述摄像头实时采集的视频数据进行运动目标的检测包括:
基于所述全景视频进行运动目标的检测。
3.如权利要求2所述的监控方法,其特征在于,在对通过两个鱼眼摄像头采集的两路视频数据进行拼接之前,所述监控方法还包括:
将鱼眼摄像头采集的视频数据中每一帧图像划分为包含两个以上图像块的图像矩阵,并获得所述图像矩阵中每个图像块对应的第一坐标;
基于预设的坐标变换因子,将所述图像矩阵中每个图像块对应的第一坐标变换为第二坐标;
基于所述第二坐标,将所述图像矩阵中的每个图像块重新排列获得校正后的图像,每一帧校正后的图像组合为校正后的视频数据;
所述对通过两个鱼眼摄像头采集的两路视频数据进行拼接包括:
对通过两个鱼眼摄像头采集的两路视频数据对应的校正后的视频数据进行拼接。
4.如权利要求2所述的监控方法,其特征在于,所述基于所述全景视频进行运动目标的检测包括:
检测所述全景视频中连续两帧图像的差异度;
若连续两帧图像的差异度大于预设阈值,则从连续两帧图像的差异区域中提取运动目标。
5.如权利要求1所述的监控方法,其特征在于,所述摄像头为旋转摄像头时,所述若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,所述监控方法还包括:
将检测到的人脸图像作为追踪目标,基于所述追踪目标在所述旋转摄像头当前采集的图像中的位置,调节所述旋转摄像头向上、下、左、右四个自由度方向中的至少一个自由度方向运动,以控制所述追踪目标在所述旋转摄像头实时采集的图像中。
6.如权利要求5所述的监控方法,其特征在于,所述基于所述追踪目标在所述旋转摄像头当前采集的图像中的位置,调节所述旋转摄像头向上、下、左、右四个自由度方向中的至少一个自由度方向运动,以控制所述追踪目标在所述旋转摄像头实时采集的图像中包括:
获取所述追踪目标在所述旋转摄像头当前采集的图像中的位置;
根据所述追踪目标在所述旋转摄像头当前采集的图像中的位置相对于所述图像中心点的距离和方位,确定所述旋转摄像头旋转的自由度方向和角度;
调整所述旋转摄像头向确定的自由度方向旋转确定的角度,并基于调整后的旋转摄像头实时采集图像;
基于所述追踪目标在调整后的旋转摄像头当前采集的图像中的位置,继续调整所述旋转摄像头,以控制所述追踪目标在所述旋转摄像头实时采集的图像中。
7.如权利要求1至6任一项所述的监控方法,其特征在于,所述若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,所述监控方法还包括:
将所述摄像头实时采集的视频数据发送至预设的移动终端,直到所述摄像头实时采集的预设时间之内视频数据中均无法检测到人脸图像。
8.一种智能终端,其特征在于,包括:
运动目标检测模块,用于通过设置在所述智能终端上的摄像头实时采集视频数据,并对所述摄像头实时采集的视频数据进行运动目标的检测;
人脸检测模块,用于当所述摄像头实时采集的视频数据中检测到运动目标时,对检测到的运动目标进行人脸检测;
匹配模块,用于若检测到人脸图像,则将检测到的人脸图像与预设数据库中的人脸模板进行匹配;
第一预警模块,用于若检测到的人脸图像与预设数据库中的人脸模板均匹配失败,则将检测到的人脸图像发送至预设的移动终端。
9.一种智能终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被一个或多个处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201811211163.9A 2018-10-17 2018-10-17 一种监控方法、智能终端及计算机可读存储介质 Pending CN111062234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811211163.9A CN111062234A (zh) 2018-10-17 2018-10-17 一种监控方法、智能终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811211163.9A CN111062234A (zh) 2018-10-17 2018-10-17 一种监控方法、智能终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111062234A true CN111062234A (zh) 2020-04-24

Family

ID=70297327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811211163.9A Pending CN111062234A (zh) 2018-10-17 2018-10-17 一种监控方法、智能终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111062234A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036242A (zh) * 2020-07-28 2020-12-04 重庆锐云科技有限公司 人脸图片采集方法、装置、计算机设备及存储介质
CN112489004A (zh) * 2020-11-25 2021-03-12 成都菲斯洛克电子技术有限公司 智能图像采集方法、装置、存储介质和终端
CN113635833A (zh) * 2020-04-26 2021-11-12 晋城三赢精密电子有限公司 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN113691690A (zh) * 2021-08-26 2021-11-23 广东知乐技术有限公司 一种无线高清视频采集器
CN114257786A (zh) * 2021-12-16 2022-03-29 珠海格力电器股份有限公司 监控方法、装置、智能猫眼及存储介质
CN114257754A (zh) * 2020-09-21 2022-03-29 Oppo广东移动通信有限公司 视频合成方法、装置、终端及存储介质
CN114827540A (zh) * 2022-04-14 2022-07-29 山西长河科技股份有限公司 一种基于视频智能分析技术的监测站安全运行方法和终端
US11457247B1 (en) 2021-05-21 2022-09-27 Sensetime International Pte. Ltd. Edge computing method and apparatus, edge device and storage medium
WO2022243736A1 (en) * 2021-05-21 2022-11-24 Sensetime International Pte. Ltd. Edge computing method and apparatus, edge device and storage medium
CN116069976A (zh) * 2023-03-06 2023-05-05 南京和电科技有限公司 一种区域视频分析方法及系统
CN117011964A (zh) * 2023-08-02 2023-11-07 广州市图威信息技术服务有限公司 门禁系统及门禁监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101440676A (zh) * 2008-12-22 2009-05-27 北京中星微电子有限公司 一种基于摄像头的智能防盗门锁及其报警处理方法
CN104240236A (zh) * 2014-08-26 2014-12-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法
CN107730558A (zh) * 2017-02-14 2018-02-23 上海大学 基于双向鱼眼摄像机的360°行车记录系统及方法
CN108416285A (zh) * 2018-03-02 2018-08-17 深圳市佳信捷技术股份有限公司 枪球联动监控方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101440676A (zh) * 2008-12-22 2009-05-27 北京中星微电子有限公司 一种基于摄像头的智能防盗门锁及其报警处理方法
CN104240236A (zh) * 2014-08-26 2014-12-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法
CN107730558A (zh) * 2017-02-14 2018-02-23 上海大学 基于双向鱼眼摄像机的360°行车记录系统及方法
CN108416285A (zh) * 2018-03-02 2018-08-17 深圳市佳信捷技术股份有限公司 枪球联动监控方法、装置及计算机可读存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113635833A (zh) * 2020-04-26 2021-11-12 晋城三赢精密电子有限公司 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN112036242A (zh) * 2020-07-28 2020-12-04 重庆锐云科技有限公司 人脸图片采集方法、装置、计算机设备及存储介质
CN114257754A (zh) * 2020-09-21 2022-03-29 Oppo广东移动通信有限公司 视频合成方法、装置、终端及存储介质
CN112489004B (zh) * 2020-11-25 2024-04-09 成都菲斯洛克电子技术有限公司 智能图像采集方法、装置、存储介质和终端
CN112489004A (zh) * 2020-11-25 2021-03-12 成都菲斯洛克电子技术有限公司 智能图像采集方法、装置、存储介质和终端
US11457247B1 (en) 2021-05-21 2022-09-27 Sensetime International Pte. Ltd. Edge computing method and apparatus, edge device and storage medium
WO2022243736A1 (en) * 2021-05-21 2022-11-24 Sensetime International Pte. Ltd. Edge computing method and apparatus, edge device and storage medium
CN113691690A (zh) * 2021-08-26 2021-11-23 广东知乐技术有限公司 一种无线高清视频采集器
CN114257786A (zh) * 2021-12-16 2022-03-29 珠海格力电器股份有限公司 监控方法、装置、智能猫眼及存储介质
CN114827540A (zh) * 2022-04-14 2022-07-29 山西长河科技股份有限公司 一种基于视频智能分析技术的监测站安全运行方法和终端
CN116069976B (zh) * 2023-03-06 2023-09-12 南京和电科技有限公司 一种区域视频分析方法及系统
CN116069976A (zh) * 2023-03-06 2023-05-05 南京和电科技有限公司 一种区域视频分析方法及系统
CN117011964A (zh) * 2023-08-02 2023-11-07 广州市图威信息技术服务有限公司 门禁系统及门禁监控方法
CN117011964B (zh) * 2023-08-02 2024-02-13 广州市图威信息技术服务有限公司 门禁系统及门禁监控方法

Similar Documents

Publication Publication Date Title
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
CN106650671B (zh) 人脸识别方法、装置及系统
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
CN109167924B (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
JP5942270B2 (ja) 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム
CN104580992B (zh) 一种控制方法及移动终端
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
CN109032039B (zh) 一种语音控制的方法及装置
KR101776702B1 (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
WO2011107448A2 (en) Object detection and rendering for wide field of view (wfov) image acquisition systems
CN109657576B (zh) 图像采集控制方法、装置、存储介质及系统
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN109981964B (zh) 基于机器人的拍摄方法、拍摄装置及机器人
CN113608641B (zh) 曲面屏显示位置的调整方法、装置、智能音箱及存储介质
CN112689221B (zh) 录音方法、录音装置、电子设备及计算机可读存储介质
JP2011217202A (ja) 画像取得装置
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
CN112470189A (zh) 光场系统的遮挡消除
CN103546680B (zh) 一种无变形的全方位鱼眼摄像装置及实现方法
CN115842960A (zh) 一种设备镜头角度的调整方法、终端设备和存储介质
CN103780829A (zh) 多摄影机的整合处理系统及其方法
JP2012222664A (ja) 車載カメラシステム
JP2002101408A (ja) 監視カメラシステム
TW201603557A (zh) 立體影像處理系統、裝置與方法
CN106856558B (zh) 具有摄影机自动调派功能的3d影像监控系统及其监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication