CN111031278A - 一种基于结构光和tof的监控方法和系统 - Google Patents

一种基于结构光和tof的监控方法和系统 Download PDF

Info

Publication number
CN111031278A
CN111031278A CN201911165459.6A CN201911165459A CN111031278A CN 111031278 A CN111031278 A CN 111031278A CN 201911165459 A CN201911165459 A CN 201911165459A CN 111031278 A CN111031278 A CN 111031278A
Authority
CN
China
Prior art keywords
camera
tof
cameras
sub
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911165459.6A
Other languages
English (en)
Other versions
CN111031278B (zh
Inventor
王清奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huazheng Mao Technology Co.,Ltd.
Original Assignee
Guangzhou Henglong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Henglong Information Technology Co Ltd filed Critical Guangzhou Henglong Information Technology Co Ltd
Priority to CN201911165459.6A priority Critical patent/CN111031278B/zh
Publication of CN111031278A publication Critical patent/CN111031278A/zh
Application granted granted Critical
Publication of CN111031278B publication Critical patent/CN111031278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明公开了一种基于结构光和TOF的监控方法和系统，涉及图像处理和安防领域，用于实现：通过3D结构光摄像头对监控区域进行实时图像采集，对区域内的活体对象进行距离判断，根据所述距离与设定值的大小调用对应的子摄像头采集对应的特征信息，上传至服务器进行对比，根据对比结果执行对应操作。本发明的有益效果为：根据被测对象距离摄像头的距离自动调用对应的子摄像头，保证了信息的测量的准确性和高效性，能够适用于更加复杂的环境，使得产品适用范围更为广泛，同时自动报警功能也增加了用户的使用安全性。

Description

一种基于结构光和TOF的监控方法和系统
技术领域
本发明涉及图像处理领和安防域，特别涉及一种基于结构光和TOF的监控方法和系统。
背景技术
随着生活水平的提升，以及科学技术的发展，人们对居住、办公环境的私密性以及安全性有了更高的要求。
目前，人们普遍的做法是采取安装安防监控系统的方式来达到安全监控的目的。
目前公共场所的监控摄像头多为2D RGB子摄像头，只能对一定距离内的人群行为和行动进行记录，或者进行2D人脸识别，不能够对人体的行动动作，3D轮廓进行记录和识别，导致监控摄像头的监控能力大打折扣。而部分无人商店类的3D摄像头多为单一的双摄方案或者结构光方案摄像头，适应距离都在1米以内，无法起到远程监控的作用。
发明内容
为至少解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于结构光和TOF的监控方法和系统，通过3D结构光摄像头对监控区域进行实时图像采集，对区域内的活体对象进行距离判断，根据所述距离与设定值的大小调用对应的子摄像头采集对应的特征信息，上传至服务器进行对比，根据对比结果执行对应操作。
本发明解决其问题所采用的技术方案第一方面是：一种基于结构光和TOF的监控方法，其特征在于，包括以下步骤：S10、调用3D监控摄像头实时采集指定区域的图像数据；S20、对所述指定区域内的活动对象进行甄别，判断是否为活体对象，若是则执行S30，否则不执行任何操作；S30、根据所述活体对象与所述3D监控摄像头的距离调用对应的子摄像头；S40、根据所述子摄像头采集的图像数据，上传置云端服务器进行甄别和提取，若甄别结果异常则启动报警功能，否则不执行任何操作。
有益效果：根据被测对象距离摄像头的距离自动调用对应的子摄像头，保证了信息的测量的准确性和高效性，能够适用于更加复杂的环境，使得产品适用范围更为广泛，同时自动报警功能也增加了用户的使用安全性。
根据本发明第一方面所述的，S20还包括：S21、实时获取所述指定区域内活动对象的活体特征；S22、根据所述活体特征进行活体判断，若判断为活体则执行步骤S30，否则不执行任何操作，其中所述活体特征包括眨眼、张嘴、摇头、点头以及人脸关键点定位。
根据本发明第一方面所述的，S30还包括：S31、计算所述活体对象与所述3D监控摄像头的距离，若大于设定值，则执行步骤S32，否则执行步骤S33；S32、调用所述3D监控摄像头的子摄像头中的TOF摄像头，对所述活体对象的深度信息进行采集，并调用骨架提取算法，对所述活体对象的的行动骨架动作习惯进行提取，得到特征信息，并执行步骤S34；S33、调用所述3D监控摄像头的子摄像头中的结构光摄像头，对所述活体对象的深度信息进行采集，结合所述活体对象的人脸轮廓深度信息和动作信息，分别调用3D人脸识别算法和骨架提取算法，对人脸信息和行动骨架动作习惯进行提取，得到特征信息；S34、所述3D监控摄像头的子摄像头中的RGB子摄像头采集到的RGB信息与所述特征信息打包整合，作为所述图像数据。
根据本发明第一方面所述的，S30还包括：计算所述活体对象与所述3D监控摄像头的距离，当同时存在两个以上的距离分别大于设定值和小于设定值时，执行下一步骤，否则按照所述距离调用对应的子摄像头；调用所述3D监控摄像头的子摄像头中的TOF摄像头的结构光摄像头；对所述子摄像头进行间歇性驱动，调用所述子摄像头对所述多个活体对象的深度信息按时间段进行分段采集；结合所述活体对象的人脸轮廓深度信息和动作信息，分别调用3D人脸识别算法和骨架提取算法，对人脸信息和行动骨架动作习惯进行提取，得到特征信息；将子摄像头中的RGB子摄像头采集到的RGB信息与所述特征信息打包整合，作为所述图像数据。
根据本发明第一方面所述的，分段采集具体包括：将所述TOF摄像头及所述结构光摄像头的方案曝光时间设置为间歇进行，进行帧率间断隔帧曝光；所述TOF摄像头在1帧获取所述活体对象的深度信息，曝光结束后，光源驱动停止，所述结构光摄像头开启激光光源进行曝光，曝光获取1帧近距离的所述活体对象的深度信息后马上截止，切换成所述TOF摄像头获取所述活体对象的深度信息；反复执行上一步骤，获取TOF和结构光的双重深度信息。
本发明解决其问题所采用的技术方案第二方面是：一种基于结构光和TOF的监控系统，其特征在于，包括：3D监控摄像头，用于实时采集指定区域的图像数据；活体判断模块，用于对所述指定区域内的活动对象进行甄别，判断是否为活体对象；调用模块，用于根据所述活体对象与所述3D监控摄像头的距离调用对应的子摄像头；服务器，用于根据所述子摄像头采集的图像数据，上传置云端服务器进行甄别和提取，根据甄别结果执行对应操作。
有益效果：根据被测对象距离摄像头的距离自动调用对应的子摄像头，保证了信息的测量的准确性和高效性，能够适用于更加复杂的环境，使得产品适用范围更为广泛，同时自动报警功能也增加了用户的使用安全性。
根据本发明第二方面所述的，3D监控摄像头包括：TOF子摄像头、结构光子摄像头以及RGB子摄像头。
根据本发明第二方面所述的，TOF子摄像头和所述结构光子摄像头分别位于所述RGB子摄像头的两侧或者一侧，并与RGB的视角进行对齐标定，采用该方法可保证RGB获取信息和深度信息视角偏差少于像素数量设计值。
根据本发明第二方面所述的，调用模块还包括：间歇性驱动单元，用于对所述3D监控摄像头的子摄像头中的TOF摄像头的结构光摄像头进行间歇性驱动，使所述子摄像头对所述多个活体对象的深度信息按时间段进行分段采集。
根据本发明第二方面所述的，调用模块还包括：计算单元，用于计算所述活体对象与所述3D监控摄像头的距离并判断与设定值的大小关系；特征信息提取单元，用于将所述3D监控摄像头采集的信息调用对应的算法进行计算同时进行特征提取，得到特征信息；图像数据整合单元，用于将RGB信息与所述特征信息打包整合，作为所述图像数据。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1是根据本发明优选实施例的方法流程示意图；
图2是根据本发明优选实施例的系统结构示意图；
图3是根据本发明优选实施例的多摄像头调用示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲或调制光源，然后用传感器接收从物体返回的光，通过探测光脉冲或调制光源的飞行(往返)时间来得到目标物距离。现有的TOF技术包括直接TOF技术跟间接TOF技术，直接TOF技术也就是脉冲调制，是由与发射光脉冲产生器同步的高精度计数器开始，探测到从目标返回的光信号后，计数器停止计时，然后直接记录往返所需要的时间T，在结合光速就可以计算出所拍摄的物体的距离。间接TOF技术也就是连续波调制，是传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离,由于硬件方案发展的差异，近距离无法像结构光技术一样提供高分辨率和高精度的数据，但在远距离结构光深度获取的盲区可以提供精度较高的深度信息，可以辅助进行远距离人体轮廓信息提取和动作骨架识别，从而通过步态进行身份判定和行动方向预判和记录。
TOF技术：结构光(Structured light)：通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。根据编码图案不同一般有条纹结构光、编码结构光、散斑结构光。较成熟的技术使用是散斑结构光，散斑就是激光照射到粗糙物体或穿透毛玻璃后随机形成的衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同而变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源标定，通过对比标定平面的光斑分布，就能精确计算出当前物体距离相机的距离，其中在近距离，尤其在1m以内能够提供高分辨率和高精度的depth数据，可以进行近距离人脸3D和行为骨架动作进行采集和识别。
参照图1，是根据本发明优选实施例的方法流程示意图，包括以下步骤：
S10、调用3D监控摄像头实时采集指定区域的图像数据；
S20、对指定区域内的活动对象进行甄别，判断是否为活体对象，若是则执行S30，否则不执行任何操作；
S30、根据活体对象与3D监控摄像头的距离调用对应的子摄像头；
S40、根据子摄像头采集的图像数据，上传置云端服务器进行甄别和提取，若甄别结果异常则启动报警功能，否则不执行任何操作。
S20还包括：
S21、实时获取指定区域内活动对象的活体特征；
S22、根据活体特征进行活体判断，若判断为活体则执行步骤S30，否则不执行任何操作，其中活体特征包括眨眼、张嘴、摇头、点头以及人脸关键点定位。
S30还包括：
计算所述活体对象与所述3D监控摄像头的距离，当同时存在两个以上的距离分别大于设定值和小于设定值时，执行下一步骤，否则按照所述距离调用对应的子摄像头；
调用所述3D监控摄像头的子摄像头中的TOF摄像头的结构光摄像头；
对子摄像头进行间歇性驱动，调用子摄像头对多个活体对象的深度信息按时间段进行分段采集；
结合活体对象的人脸轮廓深度信息和动作信息，分别调用3D人脸识别算法和骨架提取算法，对人脸信息和行动骨架动作习惯进行提取，得到特征信息；
将子摄像头中的RGB子摄像头采集到的RGB信息与特征信息打包整合，作为图像数据。
分段采集具体包括：
将TOF摄像头及结构光摄像头的方案曝光时间设置为间歇进行，进行帧率间断隔帧曝光；
TOF摄像头在1帧获取活体对象的深度信息，曝光结束后，光源驱动停止，结构光摄像头开启激光光源进行曝光，曝光获取1帧近距离的活体对象的深度信息后马上截止，切换成TOF摄像头获取活体对象的深度信息；
反复执行上一步骤，获取TOF和结构光的双重深度信息。
参照图2，是根据本发明优选实施例的系统结构示意图，包括：
3D监控摄像头，用于实时采集指定区域的图像数据；
活体判断模块，用于对指定区域内的活动对象进行甄别，判断是否为活体对象；
调用模块，用于根据活体对象与3D监控摄像头的距离调用对应的子摄像头；
服务器，用于根据子摄像头采集的图像数据，上传置云端服务器进行甄别和提取，根据甄别结果执行对应操作。
3D监控摄像头包括：TOF子摄像头、结构光子摄像头以及RGB子摄像头。
TOF子摄像头和结构光子摄像头分别位于RGB子摄像头的两侧或者一侧，并与RGB的视角进行对齐标定。
调用模块还包括：
间歇性驱动单元，用于对3D监控摄像头的子摄像头中的TOF摄像头的结构光摄像头进行间歇性驱动，使子摄像头对多个活体对象的深度信息按时间段进行分段采集。
调用模块还包括：
计算单元，用于计算活体对象与3D监控摄像头的距离并判断与设定值的大小关系；
特征信息提取单元，用于将3D监控摄像头采集的信息调用对应的算法进行计算同时进行特征提取，得到特征信息；
图像数据整合单元，用于将RGB信息与特征信息打包整合，作为图像数据。
参照图3，是根据本发明优选实施例的多摄像头调用示意图，包括：
S31、计算活体对象与3D监控摄像头的距离，若大于设定值，则执行步骤S32，否则执行步骤S33；
S32、调用3D监控摄像头的子摄像头中的TOF摄像头，对活体对象的深度信息进行采集，并调用骨架提取算法，对活体对象的的行动骨架动作习惯进行提取，得到特征信息，并执行步骤S34；
S33、调用3D监控摄像头的子摄像头中的结构光摄像头，对活体对象的深度信息进行采集，结合活体对象的人脸轮廓深度信息和动作信息，分别调用3D人脸识别算法和骨架提取算法，对人脸信息和行动骨架动作习惯进行提取，得到特征信息；
S34、3D监控摄像头的子摄像头中的RGB子摄像头采集到的RGB信息与特征信息打包整合，作为图像数据。
举一实施例加以说明：
3D监控摄像头硬件方案包括RGB摄像头、TOF深度摄像头和结构光深度摄像头，其中TOF摄像头和结构光摄像头分别设计RGB的两侧或者一侧，并与RGB的视角进行对齐标定，保证RGB获取信息和深度信息视角偏差少于像素数量设计值。
1.启动远距离TOF和RGB，判断场景的目标的的数量，若判断目标为多目标，同时分别在远近不同距离
2.启动TOF与结构光混合双流异步流程：
3.将TOF及结构光的方案曝光时间设置为间歇进行，进行帧率间断隔帧曝光，即：第一帧TOF获取深度信息，曝光结束后，光源驱动停止，结构光开启激光光源进行曝光，曝光获取1帧近距离深度后马上截止，切换成TOF光源驱动和曝光获取深度；周而复始，从而获取TOF和结构光的双重深度
4.启动CPU双核同步处理系统：
(1)A核处理TOF深度和RGB同步和动作甄别
(2)B核处理
结构光深度和RGB同步和动作甄别
3.当出现异常后，进行主体影像获取并同步报警。
1、3D监控摄像头启动,首先启动RGB和TOF摄像头；
2、TOF摄像头判断目标人员距离；
3、如果距离大于1m，TOF开始depth采集，并结合骨架提取算法，对行动骨架动作习惯进行提取，和RGB数据共同传输到云端服务器进行甄别和提取；
4、如果距离小于1m，开启结构光深度相机，开始depth采集，并结合人脸轮廓深度信息和3D人脸识别算法，动作提取和骨架提取算法，对行动骨架动作习惯进行提取，和RGB数据共同传输到云端服务器进行甄别和提取；
5、如果判断远近距离都有目标人员，开启结构光和TOF相机，同时对于启动间歇性驱动逻辑，让二者获取depth的时间段间隔开，防止相互产生串扰，从而进行depth的提取，进行远近距离人员行动骨架，轮廓及人脸信息进行提取，双路与RGB进行对齐匹配，将RGBD数据流传输到云端后台，进行甄别和提取。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于结构光和TOF的监控方法，其特征在于，包括以下步骤：
S10、调用3D监控摄像头实时采集指定区域的图像数据；
S20、对所述指定区域内的活动对象进行甄别，判断是否为活体对象，若是则执行S30，否则不执行任何操作；
S30、根据所述活体对象与所述3D监控摄像头的距离调用对应的子摄像头；
S40、根据所述子摄像头采集的图像数据，上传置云端服务器进行甄别和提取，若甄别结果异常则启动报警功能，否则不执行任何操作。
2.根据权利要求1所述的基于结构光和TOF的监控方法，其特征在于，所述S20还包括：
S21、实时获取所述指定区域内活动对象的活体特征；
S22、根据所述活体特征进行活体判断，若判断为活体则执行步骤S30，否则不执行任何操作，其中所述活体特征包括眨眼、张嘴、摇头、点头以及人脸关键点定位。
3.根据权利要求1所述的基于结构光和TOF的监控方法，其特征在于，所述S30还包括：
S31、计算所述活体对象与所述3D监控摄像头的距离，若大于设定值，则执行步骤S32，否则执行步骤S33；
S32、调用所述3D监控摄像头的子摄像头中的TOF摄像头，对所述活体对象的深度信息进行采集，并调用骨架提取算法，对所述活体对象的的行动骨架动作习惯进行提取，得到特征信息，并执行步骤S34；
S33、调用所述3D监控摄像头的子摄像头中的结构光摄像头，对所述活体对象的深度信息进行采集，结合所述活体对象的人脸轮廓深度信息和动作信息，分别调用3D人脸识别算法和骨架提取算法，对人脸信息和行动骨架动作习惯进行提取，得到特征信息；
S34、所述3D监控摄像头的子摄像头中的RGB子摄像头采集到的RGB信息与所述特征信息打包整合，作为所述图像数据。
4.根据权利要求1所述的基于结构光和TOF的监控方法，其特征在于，所述S30还包括：
计算所述活体对象与所述3D监控摄像头的距离，当同时存在两个以上的距离分别大于设定值和小于设定值时，执行下一步骤，否则按照所述距离调用对应的子摄像头；
调用所述3D监控摄像头的子摄像头中的TOF摄像头的结构光摄像头；
对所述子摄像头进行间歇性驱动，调用所述子摄像头对所述多个活体对象的深度信息按时间段进行分段采集；
结合所述活体对象的人脸轮廓深度信息和动作信息，分别调用3D人脸识别算法和骨架提取算法，对人脸信息和行动骨架动作习惯进行提取，得到特征信息；
将子摄像头中的RGB子摄像头采集到的RGB信息与所述特征信息打包整合，作为所述图像数据。
5.根据权利要求4所述的基于结构光和TOF的监控方法，其特征在于，所述分段采集具体包括：
将所述TOF摄像头及所述结构光摄像头的方案曝光时间设置为间歇进行，进行帧率间断隔帧曝光；
所述TOF摄像头在1帧获取所述活体对象的深度信息，曝光结束后，光源驱动停止，所述结构光摄像头开启激光光源进行曝光，曝光获取1帧近距离的所述活体对象的深度信息后马上截止，切换成所述TOF摄像头获取所述活体对象的深度信息；
反复执行上一步骤，获取TOF和结构光的双重深度信息。
6.一种基于结构光和TOF的监控系统，其特征在于，包括：
3D监控摄像头，用于实时采集指定区域的图像数据；
活体判断模块，用于对所述指定区域内的活动对象进行甄别，判断是否为活体对象；
调用模块，用于根据所述活体对象与所述3D监控摄像头的距离调用对应的子摄像头；
服务器，用于根据所述子摄像头采集的图像数据，上传置云端服务器进行甄别和提取，根据甄别结果执行对应操作。
7.根据权利要求6所述的基于结构光和TOF的监控系统，其特征在于，所述3D监控摄像头包括：TOF子摄像头、结构光子摄像头以及RGB子摄像头。
8.根据权利要求7所述的基于结构光和TOF的监控系统，其特征在于，所述TOF子摄像头和所述结构光子摄像头分别位于所述RGB子摄像头的两侧或者一侧，并与RGB的视角进行对齐标定。
9.根据权利要求7所述的基于结构光和TOF的监控系统，其特征在于，所述调用模块还包括：
间歇性驱动单元，用于对所述3D监控摄像头的子摄像头中的TOF摄像头的结构光摄像头进行间歇性驱动，使所述子摄像头对所述多个活体对象的深度信息按时间段进行分段采集。
10.根据权利要求6所述的基于结构光和TOF的监控系统，其特征在于，所述调用模块还包括：
计算单元，用于计算所述活体对象与所述3D监控摄像头的距离并判断与设定值的大小关系；
特征信息提取单元，用于将所述3D监控摄像头采集的信息调用对应的算法进行计算同时进行特征提取，得到特征信息；
图像数据整合单元，用于将RGB信息与所述特征信息打包整合，作为所述图像数据。
CN201911165459.6A 2019-11-25 2019-11-25 一种基于结构光和tof的监控方法和系统 Active CN111031278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911165459.6A CN111031278B (zh) 2019-11-25 2019-11-25 一种基于结构光和tof的监控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911165459.6A CN111031278B (zh) 2019-11-25 2019-11-25 一种基于结构光和tof的监控方法和系统

Publications (2)

Publication Number Publication Date
CN111031278A true CN111031278A (zh) 2020-04-17
CN111031278B CN111031278B (zh) 2021-02-05

Family

ID=70206639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911165459.6A Active CN111031278B (zh) 2019-11-25 2019-11-25 一种基于结构光和tof的监控方法和系统

Country Status (1)

Country Link
CN (1) CN111031278B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379389A (zh) * 2020-11-11 2021-02-19 杭州蓝芯科技有限公司 一种结合结构光相机和tof深度相机的深度信息获取装置和方法
CN112601054A (zh) * 2020-12-14 2021-04-02 珠海格力电器股份有限公司 摄像画面的采集方法及装置、存储介质、电子设备
CN113747028A (zh) * 2021-06-15 2021-12-03 荣耀终端有限公司 一种拍摄方法及电子设备
CN114067575A (zh) * 2021-11-23 2022-02-18 安徽富煌科技股份有限公司 一种基于3d结构光检测的交通枢纽区域安全分析装置
US11922648B2 (en) 2021-05-13 2024-03-05 Samsung Electronics Co., Ltd Method for providing image and electronic device supporting the same
CN112379389B (zh) * 2020-11-11 2024-04-26 杭州蓝芯科技有限公司 一种结合结构光相机和tof深度相机的深度信息获取装置和方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090033655A1 (en) * 2007-08-02 2009-02-05 Boca Remus F System and method of three-dimensional pose estimation
US20120020516A1 (en) * 2010-07-23 2012-01-26 Hon Hai Precision Industry Co., Ltd. System and method for monitoring motion object
US20130131836A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation System for controlling light enabled devices
US20140015919A1 (en) * 2011-10-21 2014-01-16 Navteq B.V. Reimaging Based on Depthmap Information
CN105141939A (zh) * 2015-08-18 2015-12-09 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN105554440A (zh) * 2014-10-27 2016-05-04 安讯士有限公司 监控方法和设备
US20170180708A1 (en) * 2015-12-18 2017-06-22 Aquifi, Inc. System and method for speckle reduction in laser projectors
CN107480612A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人物动作的识别方法、装置和终端设备
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN109194856A (zh) * 2018-09-30 2019-01-11 Oppo广东移动通信有限公司 电子装置的控制方法和电子装置
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN109830078A (zh) * 2019-03-05 2019-05-31 北京智慧眼科技股份有限公司 适用于狭小空间的智能行为分析方法及智能行为分析设备
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN109903324A (zh) * 2019-04-08 2019-06-18 京东方科技集团股份有限公司 一种深度图像获取方法及装置
US10475310B1 (en) * 2018-06-11 2019-11-12 Sray-Tech Image Co., Ltd. Operation method for security monitoring system

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090033655A1 (en) * 2007-08-02 2009-02-05 Boca Remus F System and method of three-dimensional pose estimation
US20120020516A1 (en) * 2010-07-23 2012-01-26 Hon Hai Precision Industry Co., Ltd. System and method for monitoring motion object
US20140015919A1 (en) * 2011-10-21 2014-01-16 Navteq B.V. Reimaging Based on Depthmap Information
US20130131836A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation System for controlling light enabled devices
CN105554440A (zh) * 2014-10-27 2016-05-04 安讯士有限公司 监控方法和设备
CN105141939A (zh) * 2015-08-18 2015-12-09 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
US20170180708A1 (en) * 2015-12-18 2017-06-22 Aquifi, Inc. System and method for speckle reduction in laser projectors
CN107480612A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人物动作的识别方法、装置和终端设备
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
US10475310B1 (en) * 2018-06-11 2019-11-12 Sray-Tech Image Co., Ltd. Operation method for security monitoring system
CN109194856A (zh) * 2018-09-30 2019-01-11 Oppo广东移动通信有限公司 电子装置的控制方法和电子装置
CN109830078A (zh) * 2019-03-05 2019-05-31 北京智慧眼科技股份有限公司 适用于狭小空间的智能行为分析方法及智能行为分析设备
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
CN109903324A (zh) * 2019-04-08 2019-06-18 京东方科技集团股份有限公司 一种深度图像获取方法及装置
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379389A (zh) * 2020-11-11 2021-02-19 杭州蓝芯科技有限公司 一种结合结构光相机和tof深度相机的深度信息获取装置和方法
CN112379389B (zh) * 2020-11-11 2024-04-26 杭州蓝芯科技有限公司 一种结合结构光相机和tof深度相机的深度信息获取装置和方法
CN112601054A (zh) * 2020-12-14 2021-04-02 珠海格力电器股份有限公司 摄像画面的采集方法及装置、存储介质、电子设备
US11922648B2 (en) 2021-05-13 2024-03-05 Samsung Electronics Co., Ltd Method for providing image and electronic device supporting the same
CN113747028A (zh) * 2021-06-15 2021-12-03 荣耀终端有限公司 一种拍摄方法及电子设备
CN113747028B (zh) * 2021-06-15 2024-03-15 荣耀终端有限公司 一种拍摄方法及电子设备
CN114067575A (zh) * 2021-11-23 2022-02-18 安徽富煌科技股份有限公司 一种基于3d结构光检测的交通枢纽区域安全分析装置

Also Published As

Publication number Publication date
CN111031278B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN111031278B (zh) 一种基于结构光和tof的监控方法和系统
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
US20180182087A1 (en) Tethered 3d scanner
US9432593B2 (en) Target object information acquisition method and electronic device
CN102763420B (zh) 深度相机兼容性
CN111344647A (zh) 具有低延时运动规划更新的智能激光雷达系统
KR20220058947A (ko) 라이다 이미지의 처리
KR20210090134A (ko) 깊이 정보 추출 장치 및 방법
EP3275828B1 (en) Monitoring of step rollers and maintenance mechanics of passenger conveyors
CN102741887A (zh) 深度相机兼容性
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN108109207B (zh) 一种可视化立体建模方法及系统
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
CN105829829A (zh) 图像处理装置和图像处理方法
CN111095297B (zh) 人脸识别的装置、方法和电子设备
CN109086694A (zh) 一种人脸识别系统及方法
US10671857B2 (en) Methods and systems for video surveillance
CN110383289A (zh) 人脸识别的装置、方法和电子设备
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
US20230060421A1 (en) Multi-sensor superresolution scanning and capture system
US10753736B2 (en) Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching
CN108513661A (zh) 身份鉴权方法、身份鉴权装置、和电子设备
Pohl et al. Depth map improvements for stereo-based depth cameras on drones
CN113811888A (zh) 用于使用光的3d测图和建模进行对象识别的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230404

Address after: 518100 15F, Ruijun Building, Zhongxin Road, Shajing Street, Bao'an District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Huazheng Mao Technology Co.,Ltd.

Address before: Room 2604, 48 Kexue Avenue, Huangpu District, Guangzhou, Guangdong 519000

Patentee before: Guangzhou Henglong Information Technology Co.,Ltd.