CN112601054B - 摄像画面的采集方法及装置、存储介质、电子设备 - Google Patents

摄像画面的采集方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112601054B
CN112601054B CN202011474592.2A CN202011474592A CN112601054B CN 112601054 B CN112601054 B CN 112601054B CN 202011474592 A CN202011474592 A CN 202011474592A CN 112601054 B CN112601054 B CN 112601054B
Authority
CN
China
Prior art keywords
picture
scene
target area
point cloud
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011474592.2A
Other languages
English (en)
Other versions
CN112601054A (zh
Inventor
熊剑
宋德超
陈翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202011474592.2A priority Critical patent/CN112601054B/zh
Publication of CN112601054A publication Critical patent/CN112601054A/zh
Application granted granted Critical
Publication of CN112601054B publication Critical patent/CN112601054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Abstract

本发明公开了一种摄像画面的采集方法及装置、存储介质、电子设备,属于数据安全领域。其中,该方法包括:采集目标区域的轮廓画面;基于所述轮廓画面识别所述目标区域的场景类型;若所述场景类型为目标场景,采集所述目标区域的完整画面。通过本发明,解决了相关技术中的摄像头在采集画面时不能保护用户隐私的技术问题,实现了一种兼顾隐私保护和安全监控的摄像方案,在确保安全监控的前提下降低了用户隐私的泄露风险。

Description

摄像画面的采集方法及装置、存储介质、电子设备
技术领域
本发明涉及数据安全领域,具体而言,涉及一种摄像画面的采集方法及装置、存储介质、电子设备。
背景技术
相关技术中,随着AI、大数据、云计算等技术的发展,安防产品在能力上突破了过去的局限,呈现出高清化和智能化的发展方向。
相关技术中,摄像头越来越多的出现在我们的生活中,人们对个人隐私的重视程度也逐渐加强。申请人发现:在一些公共场合的应用场景中,可以利用RGB摄像头进行拍摄,而在特定场景中,比如卧室、酒店等人们希望个人隐私得到很好的保护,因此利用RGB摄像头进行全彩图像的采集可能导致隐私泄露,不能从源头解决用户的隐私问题,相关技术在安全监控的同时不能兼顾用户的隐私保护。
针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种摄像画面的采集方法及装置、存储介质、电子设备,以解决相关技术中的摄像头在采集画面时不能保护用户隐私的技术问题。
根据本申请实施例的一个方面,提供了一种摄像画面的采集方法,包括:采集目标区域的轮廓画面;基于所述轮廓画面识别所述目标区域的场景类型;若所述场景类型为目标场景,采集所述目标区域的完整画面。
进一步,基于所述轮廓画面识别所述目标区域的场景类型包括:获取所述轮廓画面的点云数据;根据所述点云数据提取所述轮廓画面中包含的人体画面;基于所述人体画面识别所述目标区域内是否存在预设用户;若所述目标区域内不存在预设用户,确定所述场景类型为目标场景;若所述目标区域内存在预设用户,确定所述场景类型不为目标场景。
进一步,基于所述轮廓画面识别所述目标区域的场景类型包括:获取所述轮廓画面的点云数据;根据所述点云数据提取所述轮廓画面中包含的活动行为画面;基于所述活动行为画面识别所述目标区域内是否存在指定活动;若所述目标区域内在存在指定活动,确定所述场景类型为目标场景;若所述目标区域内不存在指定活动,确定所述场景类型不为目标场景。
进一步,基于所述轮廓画面识别所述目标区域的场景类型包括:根据所述轮廓画面构建点云图,其中,所述点云图的点云数据格式为n×3,n为所述轮廓画面中点云的个数,3代表xyz的3个坐标值;将所属点云图输入一维卷积神经网络,输出所述点云图的全局特征,其中,所述卷积神经网络用于利用不同的卷积核与池化对所述点云图进行特征变换;将所述全局特征进行最大值池化,生成多个场景元素,其中,所述场景元素是表征所述场景类型的基础特征;将所述多个场景元素输入逻辑回归模型softmax,输出所述目标区域的场景类型的识别结果。
进一步,根据所述轮廓画面构建点云图包括:提取所述轮廓画面中的位置信息和深度信息;基于所述位置信息和深度信息构建点云图。
进一步,在基于所述轮廓画面识别所述目标区域的场景类型之后,所述方法还包括:若所述场景类型不为目标场景,继续采集所述目标区域的轮廓画面。
进一步,在采集所述目标区域的完整画面之后,所述方法还包括:基于所述完整画面生成报警信息;向指定终端发送所述报警信息。
根据本申请实施例的另一个方面,还提供了一种摄像画面的采集装置,包括:第一采集模块,用于采集目标区域的轮廓画面;识别模块,用于基于所述轮廓画面识别所述目标区域的场景类型;第二采集模块,用于若所述场景类型为目标场景,采集所述目标区域的完整画面。
进一步,所述识别模块包括:获取单元,用于获取所述轮廓画面的点云数据;第一提取单元,用于根据所述点云数据提取所述轮廓画面中包含的人体画面;第一识别单元,用于基于所述人体画面识别所述目标区域内是否存在预设用户;第一确定单元,用于若所述目标区域内不存在预设用户,确定所述场景类型为目标场景;若所述目标区域内存在预设用户,确定所述场景类型不为目标场景。
进一步,所述识别模块包括:获取单元,用于获取所述轮廓画面的点云数据;第二提取单元,用于根据所述点云数据提取所述轮廓画面中包含的活动行为画面;第二识别单元,用于基于所述活动行为画面识别所述目标区域内是否存在指定活动;第二确定单元,用于若所述目标区域内在存在指定活动,确定所述场景类型为目标场景;若所述目标区域内不存在指定活动,确定所述场景类型不为目标场景。
进一步,所述识别模块包括:构建单元,用于根据所述轮廓画面构建点云图,其中,所述点云图的点云数据格式为n×3,n为所述轮廓画面中点云的个数,3代表xyz的3个坐标值;第一处理单元,用于将所属点云图输入一维卷积神经网络,输出所述点云图的全局特征,其中,所述卷积神经网络用于利用不同的卷积核与池化对所述点云图进行特征变换;第二处理单元,用于将所述全局特征进行最大值池化,生成多个场景元素,其中,所述场景元素是表征所述场景类型的基础特征;第三处理单元,用于将所述多个场景元素输入逻辑回归模型softmax,输出所述目标区域的场景类型的识别结果。
进一步,所述构建单元包括:提取子单元,用于提取所述轮廓画面中的位置信息和深度信息;构建子单元,用于基于所述位置信息和深度信息构建点云图。
进一步,所述装置还包括:第三采集模块,用于在所述识别模块基于所述轮廓画面识别所述目标区域的场景类型之后,若所述场景类型不为目标场景,继续采集所述目标区域的轮廓画面。
进一步,所述装置还包括:生成模块,用于在所述第二采集模块采集所述目标区域的完整画面之后,基于所述完整画面生成报警信息;发送模块,用于向指定终端发送所述报警信息。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
通过本发明,采集目标区域的轮廓画面,然后基于轮廓画面识别目标区域的场景类型,若场景类型为目标场景,采集目标区域的完整画面,通过在开始阶段采集轮廓画面,并识别目标区域的场景类型,可以确定是否需要进行隐私保护或安全监控,从而选择继续采集轮廓画面还是完整画面,从采集的原始画面中实现用户隐私保护,可以在保护用户个人隐私的前提下实现安全监控,解决了相关技术中的摄像头在采集画面时不能保护用户隐私的技术问题,实现了一种兼顾隐私保护和安全监控的摄像方案,在确保安全监控的前提下降低了用户隐私的泄露风险。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种摄像头的硬件结构框图;
图2是根据本发明实施例的一种摄像画面的采集方法的流程图;
图3是本发明实施例的流程框图;
图4是本发明应用在酒店场景的流程图;
图5是本发明应用在居家场景的流程图;
图6是根据本发明实施例的一种摄像画面的采集装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在摄像头、手机、平板或者类似的影像或监控装置中执行。以运行在摄像头上为例,图1是本发明实施例的一种摄像头的硬件结构框图。如图1所示,摄像头可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述摄像头还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述摄像头的结构造成限定。例如,摄像头还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储摄像头程序,例如,应用软件的软件程序以及模块,如本发明实施例中的一种摄像画面的采集方法对应的摄像头程序,处理器102通过运行存储在存储器104内的摄像头程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至摄像头。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括摄像头的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种摄像画面的采集方法,图2是根据本发明实施例的一种摄像画面的采集方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,采集目标区域的轮廓画面;
本实施例的轮廓画面是原始视频帧或实时视频帧,与实际环境中的轮廓画面对应,不包含完整的画面,如RGB数据等。
步骤S204,基于轮廓画面识别目标区域的场景类型;
本实施例的场景类型可以根据目标区域中是否存在隐私画面信息,违法画面信息等,隐私画面信息可以人体预设的隐私区域,如人脸,躯干,当然也可以是电话号码,身上特定位置的纹身区域,伤疤区域等。
步骤S206,若场景类型为目标场景,采集目标区域的完整画面。
在本实施例的另一方面,若场景类型不为目标场景,继续采集目标区域的轮廓画面。本实施例的轮廓画面和完整画面可以是摄像头的两种数据采集模式,也可以是同一摄像设备内的两个子摄像头,如红外摄像头采集轮廓画面,RGB摄像头采集完整画面,本实施例并不作限定。
可选的,在采集到轮廓画面或完整画面后,还可以基于该画面的视频帧进行本地保存,进一步压缩编码,传输等。该完整画面可以是比轮廓画面更清晰,图像特征更多,包括颜色特征的画面。
通过上述步骤,采集目标区域的轮廓画面,然后基于轮廓画面识别目标区域的场景类型,若场景类型为目标场景,采集目标区域的完整画面,通过在开始阶段采集轮廓画面,并识别目标区域的场景类型,可以确定是否需要进行隐私保护或安全监控,从而选择继续采集轮廓画面还是完整画面,从采集的原始画面中实现用户隐私保护,可以在保护用户个人隐私的前提下实现安全监控,解决了相关技术中的摄像头在采集画面时不能保护用户隐私的技术问题,实现了一种兼顾隐私保护和安全监控的摄像方案,在确保安全监控的前提下降低了用户隐私的泄露风险。
本实施例的目标区域可以是家庭环境区域、酒店环境区域、街道环境区域等,通过选择拍摄模式,可以针对不同的目标区域进行隐私保护和安全监控,区分不同的场景类型,并预设设定目标场景。
在本实施例的一个应用场景中,基于轮廓画面识别目标区域的场景类型包括:获取轮廓画面的点云数据;根据点云数据提取轮廓画面中包含的人体画面;基于人体画面识别目标区域内是否存在预设用户;若目标区域内不存在预设用户,确定场景类型为目标场景;若目标区域内存在预设用户,确定场景类型不为目标场景。
在一个示例中,在基于人体画面识别目标区域内是否存在预设用户时,可以通过提取的人体画面与预设用户集的验证画面进行比对,如果人体画面与预设用户集的任一验证画面匹配,则判定目标区域内存在预设用户。可选的,该预设用户集可以是摄像头所在家庭位置的用户成员,公司的员工集,VIP客户集,等其他录入用户,在拍摄画面中出现上述预设用户时,则采集目标区域的轮廓画面,否则拍摄完整画面,从而实现了针对预设用户的隐私保护。
在本实施例的另一个应用场景中,基于轮廓画面识别目标区域的场景类型包括:获取轮廓画面的点云数据;根据点云数据提取轮廓画面中包含的活动行为画面;基于活动行为画面识别目标区域内是否存在指定活动;若目标区域内在存在指定活动,确定场景类型为目标场景;若目标区域内不存在指定活动,确定场景类型不为目标场景。
在一个示例中,指定活动可以是赌博活动、吸毒活动等违法或禁止的活动,如在酒店管理中,在客房中设置摄像头,通过分析轮廓画面,轮廓画面中包括多个人头,且同时出现骰子、现金等预设活动元素,则判定目标区域内存在指定活动,如赌博活动。
在本实施例的一个实施方式中,基于轮廓画面识别目标区域的场景类型包括:根据轮廓画面构建点云图,其中,点云图的点云数据格式为n×3,n为轮廓画面中点云的个数,3代表xyz的3个坐标值;将所属点云图输入一维卷积神经网络,输出点云图的全局特征,其中,卷积神经网络用于利用不同的卷积核与池化对点云图进行特征变换;将全局特征进行最大值池化,生成多个场景元素,其中,场景元素是表征场景类型的基础特征;将多个场景元素输入逻辑回归模型softmax,输出目标区域的场景类型的识别结果。
基于上述实施方式,根据轮廓画面构建点云图包括:提取轮廓画面中的位置信息和深度信息;基于位置信息和深度信息构建点云图。
在本实施例的一个实施方式中,在采集目标区域的完整画面之后,还包括:基于完整画面生成报警信息;向指定终端发送报警信息。
本实施例针对一些特定场景中,摄像头的存在使人们担心自己的个人隐私问题。比如酒店客房中,人们不希望房间里有摄像头,但是酒店管理人员则需要知道客房里是否有人在进行违法犯罪的活动;在家居场景中,人们也不适应家里安装摄像头,但是外出时又希望知道家里是否被盗,以及盗窃者的相貌,便于后期警方调查。鉴于此本实施例提出了一种智能摄像头限制拍摄的方法。利用红外摄像头拍摄,采集点云数据,仅识别人体或物体,无需拍摄用户实际图像。在保证用户个人隐私的前提下可以实现房间场景的监控。
图3是本发明实施例的流程框图,如图3所示,包含3个模块,数据获取模块、数据处理及控制模块、app信息反馈模块。
数据获取模块由两个摄像头组成,一个是RGB摄像头可以拍摄真实图像,一个是红外摄像头只能拍摄物体轮廓采集点云图像。当摄像头正常运行时,由红外摄像头进行数据采集,而RGB摄像头由一个可以活动的盖板遮挡,确保不会拍摄到用户隐私,同时摄像头旁边亮灯提示用户正在进行红外点云采集。数据处理及控制模块,主要接受获取来的3D点云图,然后利用深度学习进行场景识别,通过识别到的场景进行后续处理。app信息反馈模块则用于用户提醒和反馈。
图4是本发明应用在酒店场景的流程图,如图4所示,包括:
S41,红外摄像头采集深度信息;
S42,建立3D点云图;
S43,深度学习场景检测;
S44,判断人员数量,及是否进行违法犯罪活动;
S45,打开rgb摄像头盖板,拍摄人员彩色图片并存储到云端;
S46,通过app发送到管理人员手机,并报警;
S47,关闭rgb摄像头盖板,并继续利用红外摄像头进行房间监控。
当摄像头安装在酒店场景下时,可以设置摄像头为公用模式,此时摄像头通过点云数据进行场景识别,判断室内人员数量以及人员是否进行违法犯罪活动。当检测到人员正在进行违法犯罪活动时,打开RGB摄像头的活动盖板,将违法犯罪活动的图片证据储存到云端,并将信息发送到酒店管理人员的app中并报警,便于后期警方取证。
采用的摄像头是点云摄像头,该摄像头只能采集点云数据,本实施例的点云是一组包含了位置信息和深度信息的数据点,这些数据点代表了摄像头拍摄区域中物体的位置。利用点云数据识别物体是通过建立卷积神经网络进行物体识别。首先将一帧全部点云数据输入网络,由于点云数据具有无序性,因此输入的点云数据格式为n×3,其中n代表该一帧中点云的个数,3代表xyz的3个坐标值,从输入数据的结构可以看出,此处采用的卷积方式为一维卷积。接着构建卷积神经网络对输入数据进行特征提取,利用不同的卷积核与池化对输入n×3的数据进行特征变换,以获得点云整体的global feature。场景、物体或人体的识别属于分类任务,因此将global feature特征再经过max-pooling获得需要识别的类别个数,最后通过softmax建立损失函数,并获得分类结果,实现不同场景、物体或者人体的识别。
图5是本发明应用在居家场景的流程图,如图5所示,包括:
S51,红外摄像头采集深度信息;
S52,建立3D点云图;
S53,录入人脸信息;
S54,深度学习场景检测;
S55,判断是否为离家场景;
S56,是否有人员进入;
S57,是否为已录入人员;
S58,打开rgb摄像头盖板,拍摄人员彩色图片并存储到云端;
S59,通过app发送到用户手机;
S60,由用户判定是否被盗,并报警;
S61,关闭rgb摄像头盖板,并继续利用红外摄像头进行房间监控。
当摄像头安装在家用场景下时,可以设置摄像头为家用模式,此时可以通过红外摄像头录入3D点云的人脸信息,红外摄像头将能够对用户及用户家人进行识别。当摄像头识别到用户在家时,此时摄像头只通过红外摄像头采集数据。当用户离家后,继续利用红外摄像头对房间进行监控,当摄像头检测到人员出入且该人员不属于已录入人员信息时,打开RGB摄像头的活动盖板,拍摄人员的彩色图片,并将图片通过app发送给用户,由用户判定家里是否被盗,然后结合实际情况报警处理。
本实施例在特定场景的拍摄中,利用红外摄像头对目标区域进行拍摄,并用物理方式对RGB摄像头进行遮挡,避免拍到用户隐私,提高用户的安全感。然后通过红外摄像头获得3d点云图,根据点云信号进行物体检测和特征提取,不用拍摄用户实际图像,实现人体或物体的识别检测,只有当发生紧急情况时才开启RGB摄像头,进行取证。针对普通RGB摄像头不能满足人们对隐私保护以及现场监控的要求。采用红外摄像头对场景进行拍摄,采集点云信号,实现对人体或物体的识别。
通过对拍摄所用的摄像头进行限制,可以很好的保护用户的隐私。在正常情况下使用红外摄像头拍摄点云数据,不用获取用户的实际图像,当房间被盗或者发生违法犯罪活动时,又能够及时获得现场图片。可以在保护用户隐私的前提下实现了现场监控。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种摄像画面的采集装置,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的一种摄像画面的采集装置的结构框图,如图6所示,该装置包括:第一采集模块60,识别模块62,第二采集模块64,其中,
第一采集模块60,用于采集目标区域的轮廓画面;
识别模块62,用于基于所述轮廓画面识别所述目标区域的场景类型;
第二采集模块64,用于若所述场景类型为目标场景,采集所述目标区域的完整画面。
可选的,所述识别模块包括:获取单元,用于获取所述轮廓画面的点云数据;第一提取单元,用于根据所述点云数据提取所述轮廓画面中包含的人体画面;第一识别单元,用于基于所述人体画面识别所述目标区域内是否存在预设用户;第一确定单元,用于若所述目标区域内不存在预设用户,确定所述场景类型为目标场景;若所述目标区域内存在预设用户,确定所述场景类型不为目标场景。
进一步,所述识别模块包括:获取单元,用于获取所述轮廓画面的点云数据;第二提取单元,用于根据所述点云数据提取所述轮廓画面中包含的活动行为画面;第二识别单元,用于基于所述活动行为画面识别所述目标区域内是否存在指定活动;第二确定单元,用于若所述目标区域内在存在指定活动,确定所述场景类型为目标场景;若所述目标区域内不存在指定活动,确定所述场景类型不为目标场景。
进一步,所述识别模块包括:构建单元,用于根据所述轮廓画面构建点云图,其中,所述点云图的点云数据格式为n×3,n为所述轮廓画面中点云的个数,3代表xyz的3个坐标值;第一处理单元,用于将所属点云图输入一维卷积神经网络,输出所述点云图的全局特征,其中,所述卷积神经网络用于利用不同的卷积核与池化对所述点云图进行特征变换;第二处理单元,用于将所述全局特征进行最大值池化,生成多个场景元素,其中,所述场景元素是表征所述场景类型的基础特征;第三处理单元,用于将所述多个场景元素输入逻辑回归模型softmax,输出所述目标区域的场景类型的识别结果。
进一步,所述构建单元包括:提取子单元,用于提取所述轮廓画面中的位置信息和深度信息;构建子单元,用于基于所述位置信息和深度信息构建点云图。
进一步,所述装置还包括:第三采集模块,用于在所述识别模块基于所述轮廓画面识别所述目标区域的场景类型之后,若所述场景类型不为目标场景,继续采集所述目标区域的轮廓画面。
进一步,所述装置还包括:生成模块,用于在所述第二采集模块采集所述目标区域的完整画面之后,基于所述完整画面生成报警信息;发送模块,用于向指定终端发送所述报警信息。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,采集目标区域的轮廓画面;
S2,基于所述轮廓画面识别所述目标区域的场景类型;
S3,若所述场景类型为目标场景,采集所述目标区域的完整画面。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,采集目标区域的轮廓画面;
S2,基于所述轮廓画面识别所述目标区域的场景类型;
S3,若所述场景类型为目标场景,采集所述目标区域的完整画面。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种摄像画面的采集方法,其特征在于,包括:
采集目标区域的轮廓画面;
基于所述轮廓画面识别所述目标区域的场景类型;
若所述场景类型为目标场景,打开RGB摄像头盖板,并采集所述目标区域的完整画面,其中,所述轮廓画面通过红外摄像头采集,所述完整画面通过RGB摄像头采集;
基于所述轮廓画面识别所述目标区域的场景类型包括:
获取所述轮廓画面的点云数据;
根据所述点云数据提取所述轮廓画面中包含的人体画面;
基于所述人体画面识别所述目标区域内是否存在预设用户;
若所述目标区域内不存在预设用户,确定所述场景类型为目标场景;若所述目标区域内存在预设用户,确定所述场景类型不为目标场景。
2.根据权利要求1所述的方法,其特征在于,基于所述轮廓画面识别所述目标区域的场景类型包括:
根据所述轮廓画面构建点云图,其中,所述点云图的点云数据格式为n×3, n为所述轮廓画面中点云的个数,3代表xyz的3个坐标值;
将所属点云图输入一维卷积神经网络,输出所述点云图的全局特征,其中,所述卷积神经网络用于利用不同的卷积核与池化对所述点云图进行特征变换;
将所述全局特征进行最大值池化,生成多个场景元素,其中,所述场景元素是表征所述场景类型的基础特征;
将所述多个场景元素输入逻辑回归模型softmax,输出所述目标区域的场景类型的识别结果。
3.根据权利要求2所述的方法,其特征在于,根据所述轮廓画面构建点云图包括:
提取所述轮廓画面中的位置信息和深度信息;
基于所述位置信息和深度信息构建点云图。
4.根据权利要求1所述的方法,其特征在于,在基于所述轮廓画面识别所述目标区域的场景类型之后,所述方法还包括:
若所述场景类型不为目标场景,继续采集所述目标区域的轮廓画面。
5.根据权利要求1所述的方法,其特征在于,在采集所述目标区域的完整画面之后,所述方法还包括:
基于所述完整画面生成报警信息;
向指定终端发送所述报警信息。
6.一种摄像画面的采集装置,其特征在于,包括:
第一采集模块,用于采集目标区域的轮廓画面;
识别模块,用于基于所述轮廓画面识别所述目标区域的场景类型;
第二采集模块,用于若所述场景类型为目标场景,打开RGB摄像头盖板,并采集所述目标区域的完整画面,其中,所述轮廓画面通过红外摄像头采集,所述完整画面通过RGB摄像头采集;
所述识别模块包括:
获取单元,用于获取所述轮廓画面的点云数据;
第一提取单元,用于根据所述点云数据提取所述轮廓画面中包含的人体画面;
第一识别单元,用于基于所述人体画面识别所述目标区域内是否存在预设用户;
第一确定单元,用于若所述目标区域内不存在预设用户,确定所述场景类型为目标场景;若所述目标区域内存在预设用户,确定所述场景类型不为目标场景。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至5中任一项所述的方法步骤。
8.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1至5中任一项所述的方法步骤。
CN202011474592.2A 2020-12-14 2020-12-14 摄像画面的采集方法及装置、存储介质、电子设备 Active CN112601054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474592.2A CN112601054B (zh) 2020-12-14 2020-12-14 摄像画面的采集方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474592.2A CN112601054B (zh) 2020-12-14 2020-12-14 摄像画面的采集方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN112601054A CN112601054A (zh) 2021-04-02
CN112601054B true CN112601054B (zh) 2022-08-16

Family

ID=75196497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474592.2A Active CN112601054B (zh) 2020-12-14 2020-12-14 摄像画面的采集方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112601054B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883959B (zh) * 2023-02-14 2023-06-06 深圳市湘凡科技有限公司 用于隐私保护的画面内容控制方法及相关产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020014109A (ja) * 2018-07-18 2020-01-23 株式会社日立製作所 検出システム、および検出方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044645A (ja) * 2000-07-24 2002-02-08 Gen Tec:Kk テレビカメラによる自動監視方法及び同装置並びに同プログラムを記録した記録媒体
CN103873834A (zh) * 2012-12-10 2014-06-18 联想(北京)有限公司 图像采集方法及相应图像采集单元
CN104639907B (zh) * 2015-02-04 2018-02-13 惠州Tcl移动通信有限公司 一种基于移动终端的智能安防方法及系统
CN104836958A (zh) * 2015-05-15 2015-08-12 深圳市万物联有限公司 摄像头自动防隐装置及其防隐方法
KR20170083256A (ko) * 2016-01-08 2017-07-18 한국전자통신연구원 뎁스 영상 기반 감시 영상 제공 장치 및 방법
CN105872456A (zh) * 2016-03-29 2016-08-17 乐视控股(北京)有限公司 一种基于智能电视机的安防方法及装置
CN106440199B (zh) * 2016-09-26 2019-01-11 珠海格力电器股份有限公司 空调器控制方法及装置
CN106781165A (zh) * 2016-11-30 2017-05-31 华中科技大学 一种基于深度传感的室内多摄像头智能联动监控装置
US20190034716A1 (en) * 2017-12-28 2019-01-31 Intel Corporation Privacy-preserving demographics identification
CN108419042B (zh) * 2018-01-12 2020-06-09 孙向东 全维度画面监控采集控制系统及智能监控系统
CN208569712U (zh) * 2018-06-07 2019-03-01 石家庄金卡电子科技有限公司 一种基于人脸识别的考勤设备
CN111050114A (zh) * 2018-10-15 2020-04-21 珠海格力电器股份有限公司 一种低功耗摄像头、监控管理控制系统及其控制方法
CN109640039B (zh) * 2018-12-07 2020-08-04 遵义汇峰智能系统有限责任公司 一种智能安防系统
CN110035259A (zh) * 2019-04-04 2019-07-19 北京明略软件系统有限公司 视频图像的处理方法、装置及系统
CN110012203A (zh) * 2019-04-26 2019-07-12 浙江核聚智能技术有限公司 一种可嵌入全能型智能网关的摄像头与镜头盖一体化设备
CN209787279U (zh) * 2019-05-31 2019-12-13 安徽柏络智能科技有限公司 一种双目摄像头人脸采集装置
CN211573245U (zh) * 2019-09-27 2020-09-25 天津星月欧瑞门业有限公司 一种带有人脸识别与报警系统的防盗门
CN111031278B (zh) * 2019-11-25 2021-02-05 广州恒龙信息技术有限公司 一种基于结构光和tof的监控方法和系统
CN111242018A (zh) * 2020-01-10 2020-06-05 珠海格力电器股份有限公司 厨房内的安全预警方法、装置、电子设备及存储介质
CN111246177A (zh) * 2020-01-23 2020-06-05 深圳市大拿科技有限公司 一种用户安全告警提示方法及系统
CN111292504A (zh) * 2020-01-23 2020-06-16 深圳市大拿科技有限公司 一种通过图像识别进行安全告警方法及系统
CN111292412A (zh) * 2020-01-23 2020-06-16 深圳市大拿科技有限公司 一种环境管理方法及其装置
CN111327821B (zh) * 2020-02-24 2021-08-17 珠海格力电器股份有限公司 智能摄像装置的控制方法、装置、计算机设备和存储介质
CN111723691B (zh) * 2020-06-03 2023-10-17 合肥的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111901567A (zh) * 2020-07-31 2020-11-06 平安信托有限责任公司 隐私保护方法、装置、设备及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020014109A (ja) * 2018-07-18 2020-01-23 株式会社日立製作所 検出システム、および検出方法

Also Published As

Publication number Publication date
CN112601054A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN103268680B (zh) 一种家庭智能监控防盗系统
US6774905B2 (en) Image data processing
US7683929B2 (en) System and method for video content analysis-based detection, surveillance and alarm management
US20030164764A1 (en) Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring
CN107590212A (zh) 一种人脸图片的入库系统及方法
CN102176746A (zh) 一种用于局部小区域安全进入的智能监控系统及实现方法
CN103258191A (zh) 基于人脸识别的小区门禁系统
CN104867217A (zh) 小区监控管理系统
CN101610396A (zh) 具有隐私保护的智能视频监控设备模组和系统及其监控方法
CN205354056U (zh) 一种带有人脸识别的执法记录仪
CN106951846A (zh) 一种人脸3d模型录入和识别方法和装置
KR101084914B1 (ko) 차량번호 및 사람 이미지의 인덱싱 관리시스템
CN111178241A (zh) 一种基于视频分析的智能监控系统及方法
CN110602453B (zh) 一种物联网大数据智能视频安防监控系统
EP1266525B1 (en) Image data processing
CN112601054B (zh) 摄像画面的采集方法及装置、存储介质、电子设备
CN114898443A (zh) 一种人脸数据获取方法及装置
CN113627339A (zh) 一种隐私保护的方法、装置及设备
CN109741224A (zh) 布控方法及相关产品
CN108197614A (zh) 一种基于人脸识别技术的考场监控摄像机及系统
CN109120896B (zh) 安防视频监控卫士系统
CN110111436A (zh) 一种人脸签到方法、装置及系统
CN104052975B (zh) 一种带客流量计数的店铺联网视频报警器
KR101381524B1 (ko) 영상을 이용한 출입자 관리 시스템
CN106921846A (zh) 视频移动终端遗留物检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant