CN111723598A - 机器视觉系统及其实现方法 - Google Patents

机器视觉系统及其实现方法 Download PDF

Info

Publication number
CN111723598A
CN111723598A CN201910205174.4A CN201910205174A CN111723598A CN 111723598 A CN111723598 A CN 111723598A CN 201910205174 A CN201910205174 A CN 201910205174A CN 111723598 A CN111723598 A CN 111723598A
Authority
CN
China
Prior art keywords
information
machine vision
visual
scene
computing platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910205174.4A
Other languages
English (en)
Inventor
艾本仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baustem Information Technology Co ltd
Original Assignee
Beijing Baustem Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baustem Information Technology Co ltd filed Critical Beijing Baustem Information Technology Co ltd
Priority to CN201910205174.4A priority Critical patent/CN111723598A/zh
Publication of CN111723598A publication Critical patent/CN111723598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)

Abstract

一种机器视觉系统及其实现方法,其中,所述机器视觉系统,包括:一个或多个机器视觉传感器和视觉计算平台,所述机器视觉传感器用于采集一个或多个目标区域的图像信息;所述视觉计算平台与所述一个或多个机器视觉传感器相连,用于对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。本申请实施例用机器视觉传感器同时替代各种家庭安防传感器,简化安全、安防系统,用一个系统替代众多的系统,方便安装和维护,功能也得到增强。

Description

机器视觉系统及其实现方法
技术领域
本文涉及机器视觉领域,尤指一种机器视觉系统及其实现方法。
背景技术
传统的家庭安防传感器包括门/窗磁、红外门光栅、窗栏、门镜等。例如,如图1所示,传统的家庭安防设备中,对于窗户的安防部分,包括震动传感器、窗磁和红外窗栏发射器等11个装置,其中,震动传感器用于检测玻璃的震动情况,窗磁用于判断窗口的开合状态,红外窗栏发射器用于检测是否有人从窗外闯入。如图2所示,对于入户门的安防部分,包括门磁,控制面板,人体传感器等,其中门磁用于判断门的开合状态,控制面板用于用户输入密码设防/撤防,人体传感器用于感应人员位置。
可以看出,众多的传感器以及形形色色的智能家居产品使得家庭安全、安防功能更加全面的同时,家庭智能设备的联动、安装、维护也更复杂。
发明内容
本申请提供了一种机器视觉系统及其实现方法,以简化传统的家庭安防方案,本申请也可以应用于其他需要视觉的场景,不局限于家庭安防。
本申请提供了一种机器视觉系统,包括:一个或多个机器视觉传感器和视觉计算平台,其中
所述机器视觉传感器用于采集一个或多个目标区域的图像信息;
所述视觉计算平台与所述一个或多个机器视觉传感器相连,用于对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。
在一实施例中,所述图像信息包括相同或不同波段图像的信息,所述一个或多个机器视觉传感器应用于一种或多种视觉传感场景,以替代除视觉传感器以外的其他类型传感器,所述机器视觉传感器通过视频或图像接口将所述图像信息输出至所述视觉计算平台。
在一实施例中,所述视觉计算平台用于采用一种或多种视觉识别算法对所述目标区域的图像信息进行识别。
在一实施例中,所述视觉计算平台还用于通过获取典型场景环境的图像数据,建立所述视觉识别算法的特征模型,以适配对应场景中对象的各种形态。
在一实施例中,所述机器视觉系统,还包括:云端服务器,
所述云端服务器与所述视觉计算平台相连,用于在所述视觉计算平台无法根据本地的视觉识别算法对所述目标区域的图像信息进行识别时,提供云端的视觉识别算法供所述视觉计算平台下载使用。
在一实施例中,所述机器视觉输出结果包括场景、对象以及所述对象的状态信息;
所述视觉计算平台用于根据视觉识别算法和所述目标区域的图像信息,确定对应的场景,根据所述场景,识别对象以及所述对象的状态信息。
在一实施例中,所述场景为窗户安防时:
所述对象包括如下至少之一:窗户、玻璃、人脸、身体、室内外光照;
所述对象的状态信息包括如下至少之一:窗户的开关状态信息、玻璃是否完好的信息、人脸的识别信息、身体的姿态信息、室内外光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据窗户的开关状态信息进行开窗通风时的安全风险评估;
根据人脸的识别信息和/或身体的姿态信息进行安全风险评估,提供安全风险预警或安全风险告警;
根据室内外光照强度提供事件驱动以控制窗帘的打开或关闭;
根据玻璃是否完好的信息提供安全风险预警或安全风险告警。
在一实施例中,所述场景为入户门安防时:
所述对象包括如下至少之一:门、人脸、身体、室内外光照;
所述对象的状态信息包括如下至少之一:门的开关状态信息、人脸的识别信息、身体的姿态信息、人员的位置信息、室内外光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据门的开关状态信息、以及人脸的识别信息和/或身体的姿态信息自动进行撤防、设防和报警中的至少之一;
根据人脸的识别信息、人员的位置信息和/或室内外光照强度提供事件驱动以控制灯的开关。
在一实施例中,所述场景为楼道安防或街道安防时:
所述对象包括如下至少之一:人脸、身体、室外光照;
所述对象的状态信息包括如下至少之一:人脸的识别信息、身体的姿态信息、室外光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据人脸的识别信息和/或身体的姿态信息进行安全风险评估,提供安全风险预警、安全风险告警、服务质量追踪中的至少之一;
根据室外光照强度提供事件驱动以控制灯的开关。
在一实施例中,所述场景为家庭人员监护时:
所述对象包括如下至少之一:人脸、身体、心率、室内光照;
所述对象的状态信息包括如下至少之一:人脸的识别信息、身体的姿态信息、心率的变化信息、室内光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据人脸的识别信息和/或身体的姿态信息提供儿童锁、服务交付、起居监护中的至少之一;
根据心率的变化信息提供睡眠质量监护;
根据室内光照强度提供事件驱动以控制灯的开关。
本申请还提供一种机器视觉的实现方法,包括:
采集一个或多个目标区域的图像信息;
对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。
在一实施例中,所述对所述目标区域的图像信息进行识别,包括:
采用一种或多种视觉识别算法对所述目标区域的图像信息进行识别。
在一实施例中,所述方法还包括:
通过获取典型场景环境的图像数据,建立所述视觉识别算法的特征模型,以适配对应场景中对象的各种形态。
在一实施例中,所述方法还包括:
在无法根据本地的视觉识别算法对所述目标区域的图像信息进行识别时,通过下载云端的视觉识别算法,对所述目标区域的图像信息进行识别。
在一实施例中,所述机器视觉输出结果包括场景、对象以及所述对象的状态信息,所述对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务,包括:
根据视觉识别算法和所述目标区域的图像信息,确定对应的场景,根据所述场景,识别对象以及所述对象的状态信息,根据所述对象以及所述对象的状态信息提供相应的服务。
与相关技术相比,本申请的机器视觉系统,包括:一个或多个机器视觉传感器和视觉计算平台,所述机器视觉传感器用于采集一个或多个目标区域的图像信息;所述视觉计算平台与所述一个或多个机器视觉传感器相连,用于对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。本申请实施例用机器视觉传感器同时替代各种家庭安防传感器,简化安全、安防系统,用一个系统替代众多的系统,方便安装和维护,功能也得到增强。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
图1为传统的家庭窗户安防示意图;
图2为传统的家庭入户门安防示意图;
图3为本申请实施例的机器视觉系统的组成示意图;
图4为本申请实施例的机器视觉识别的示意图;
图5为本申请实施例的三级分类的示意图;
图6为本申请实施例的视觉计算平台的组成示意图;
图7为本申请另一实施例的机器视觉系统的组成示意图;
图8为本申请实施例的窗户安防场景示意图;
图9为本申请实施例的入户门安防场景示意图;
图10为本申请实施例的楼道/街道安防场景示意图;
图11为本申请实施例的家庭人员监护安防场景示意图;
图12为本申请实施例的机器视觉的实现方法的流程图;
图13为本申请应用实例的机器视觉的实现方法的流程图。
具体实施方式
本申请描述了多个实施例,但是该描述是示例性的,而不是限制性的,并且对于本领域的普通技术人员来说显而易见的是,在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合,并在具体实施方式中进行了讨论,但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外,任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用,或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合,以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合,以形成另一个由权利要求限定的独特的发明方案。因此,应当理解,在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此,除了根据所附权利要求及其等同替换所做的限制以外,实施例不受其它限制。此外,可以在所附权利要求的保护范围内进行各种修改和改变。
此外,在描述具有代表性的实施例时,说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而,在该方法或过程不依赖于本文所述步骤的特定顺序的程度上,该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的,其它的步骤顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外,针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤,本领域技术人员可以容易地理解,这些顺序可以变化,并且仍然保持在本申请实施例的精神和范围内。
本申请提出一个通用系统,不同于现有的各个专用设备和系统,使得类似于家庭安防这样的需求能够通过一个简单的闭路视觉系统得到满足。
如图3所示,本申请实施例的机器视觉系统,包括:一个或多个机器视觉传感器11和视觉计算平台12,其中
所述机器视觉传感器11用于采集一个或多个目标区域的图像信息;
所述视觉计算平台12与所述一个或多个机器视觉传感器11相连,用于对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。
其中,所述机器视觉传感器11也可称为成像单元,采用的成像方法有光学摄像(可见光、红外、毫米波),立体成像(TOF(Time of flight,飞行时间测距法)、双目摄像头)等。
所述服务可以是安防服务、安全服务以及其他涉及视觉的服务。
在一实施例中,所述图像信息包括相同或不同波段图像的信息,所述一个或多个机器视觉传感器应用于一种或多种视觉传感场景,以替代除视觉传感器以外的其他类型传感器,所述机器视觉传感器通过视频或图像接口将所述图像信息输出至所述视觉计算平台。
参照图4,将不同波段的图像通过统一的视频或图像接口,连接到视觉计算平台,通过图像处理(例如但不限于神经网络),产生统一的机器视觉识别输出。
其中,机器视觉传感器11可以采集日光可见物体的图像、红外可见物体的图像以及毫米波可见物体的图像,图像信息经过TOF成像、单目或双目摄像头通过接口适配进入视觉计算平台12。
机器视觉传感器11可以用于所有的视觉传感场景,全部代替其他传感器,例如门/窗磁、红外门光栅、窗栏、门镜等。
在一实施例中,所述视觉计算平台12用于采用一种或多种视觉识别算法对所述目标区域的图像信息进行识别。
本申请提供一个统一的视觉计算平台,各种视觉识别模型、算法(可采用相关技术实现)在这个平台上完成计算,获得统一的结果。所述机器视觉输出结果包括场景、对象以及所述对象的状态信息;所述视觉计算平台12用于根据视觉识别算法和所述目标区域的图像信息,确定对应的场景,根据所述场景,识别对象以及所述对象的状态信息。
由于现阶段还没有通用人工智能算法,因此不同的视觉观测场景需要不同的模型和算法,本申请实施例采用如图5所示的三级分类流程,使得同一个闭路视觉系统可以适应不同的视觉观测场景。例如一个人站在落地窗前的场景,平台从图像中识别出这是窗户安防场景,然后识别出场景中的对象,例如人脸,身体,窗等,最后交给状态识别,人脸是谁的(或者是陌生人),身体的姿态(朝窗外还是朝室内,在室内还是在窗外),窗户是开着还是关着,玻璃是否完好等。
本申请实施例的视觉计算平台12产生一个统一的视觉输出,输出的结果中包含场景、对象和状态。例如,场景:窗户安防;对象1:窗户,状态:开20°;对象2:人员,注册用户A,背向站立,位置:3米2,朝向:256度。在成像装置旋转时,场景、识别的对象也会发生变化,本申请实施例的视觉计算平台12通过持续对场景进行分类,使得平台上的应用可以动态选择处理某一图像的模型和算法。
视觉计算平台12对不同的图像来源进行场景分类,可以通过神经网络等图像计算实现视觉。其中,机器视觉和神经网络、训练方法、人脸识别、姿态识别等可采用已有的成熟技术实现。
参照图6,本申请实施例的视觉计算平台12为这些算法提供统一的基础能力,包括但不限于统一的视觉输入接口(由平台自适应完成适配转换),场景识别信息,应用管理,算法模块管理,数据反馈管理,存储管理等。
参照图7,在一实施例中,机器视觉系统还包括云端服务器13,所述云端服务器13与所述视觉计算平台12相连,用于在所述视觉计算平台12无法根据本地的视觉识别算法对所述目标区域的图像信息进行识别时,提供云端的视觉识别算法供所述视觉计算平台12下载使用。
本申请实施例中,可以将各种视觉识别模型和算法封装成统一接口规范的模块部署在云端服务器13上,这些模块可由视觉计算平台12下载和更新。视觉计算平台12根据需要下载、安装所需算法模块,作为能力提供给应用。
在一实施例中,所述视觉计算平台12还用于通过获取典型场景环境的图像数据,建立所述视觉识别算法的特征模型,以适配对应场景中对象的各种形态。在一实施例中,所述视觉计算平台12还用于通过自学习的方式训练和更新所述视觉识别算法。
本申请实施例中,提出一种用机器视觉取代传统智能家居门、窗安防传感器的方法,可以通过采集典型场景环境(不同的门窗产品,不同的布局,不同的光线、阴影、物体遮挡或对象叠加)的图像数据,建立视觉识别算法中的特征模型,能够自动识别门窗的开合、完整、破损、人员进出等状态。不同于基于图像对比的方法,用户不需要输入每一个特定的门窗、或特定的布局的图像作为参考,本方案可以用一个视觉识别算法适配所有尺寸、布局、材质的门窗,也适用于被遮挡的门窗。而且,可以通过自学习的方式训练和更新视觉识别算法。
本申请实施例用机器视觉传感器同时替代各种家庭安防传感器,简化安全、安防系统,用一个系统替代众多的系统,方便安装和维护,功能也得到增强。而且,多个视觉计算平台可以通过网络连接起来,并通过自学习实现智能进化。
所述场景可以包括窗户安防、入户门安防、楼道/街道安防、家庭人员监护等。本申请也可以适用于指定场景的情况,例如,指定场景为窗户安防,则无需识别场景,直接根据指定的场景,识别对象以及所述对象的状态信息。
下面对各种场景进行详细描述。
1、场景为窗户安防
窗户安防的对象可以包括如下至少之一:窗户、玻璃、人脸、身体、室内外光照。
所述对象的状态信息可以包括如下至少之一:窗户的开关状态信息、玻璃是否完好的信息、人脸的识别信息、身体的姿态信息、室内外光照强度。
所述视觉计算平台可以提供包括但不限于如下的服务:
根据窗户的开关状态信息进行开窗通风时的安全风险评估;
根据人脸的识别信息和/或身体的姿态信息进行安全风险评估,提供安全风险预警或安全风险告警;
根据室内外光照强度提供事件驱动以控制窗帘的打开或关闭;
根据玻璃是否完好的信息提供安全风险预警或安全风险告警。
其中,根据室内外光照强度提供事件驱动,可以使得其他系统根据该事件驱动控制窗帘的打开或关闭。
参照图1和图8的对比,可以看出:
1)本申请实施例中,可以检测机器视觉传感器视野内所有窗户的开合、开合的角度及变化,可以在开窗通风时进行安全风险评估;而传统方案采用窗磁,在开窗通风的情况下不能工作。
2)本申请实施例中,可以检测人员从窗户的进出,提供安全风险告警;可以结合人脸、姿态识别进行安全风险评估,例如是否有失窃的风险、是否有家庭成员坠楼的风险等;传统方案需要在每个窗户上安装红外围栏。
3)本申请实施例中,可以检测在窗外停留的人员,提供安全风险预警;可以结合人脸、姿态识别进行安全风险评估;
4)本申请实施例中,可以检测室内外的亮度,可以用于窗帘控制;传统方案需要另外安装室内外的光传感器;同时视觉传感器还能反馈给系统窗帘是否打开或关闭;
5)本申请实施例中,可以检测玻璃破碎,传统方案需要玻璃震动传感器。
通过对比传统方案和采用本申请实施例的机器视觉系统在典型家庭场景的应用情况,可以看出本申请实施例使用一个视觉传感器替代了图1中标出的11个装置,再加上室内外的两个光线传感器,明显简化了传统的家庭窗户安防方案。
2、场景为入户门安防
入户门安防的对象可以包括如下至少之一:门、人脸、身体、室内外光照。
所述对象的状态信息可以包括如下至少之一:门的开关状态信息、人脸的识别信息、身体的姿态信息、人员的位置信息、室内外光照强度。
所述视觉计算平台可以提供包括但不限于如下的服务:
根据门的开关状态信息、以及人脸的识别信息和/或身体的姿态信息自动进行撤防、设防和报警中的至少之一;
根据人脸的识别信息、人员的位置信息和/或室内外光照强度提供事件驱动以控制灯的开关。
参照图2和图9的对比,可以看出:
1)本申请实施例中,可以检测门的开合,替代传统方案中的门磁;
2)本申请实施例中,可以检测人员的进入,离开;结合人脸识别和/或姿态识别可以自动撤防/设防/报警;传统技术需要用户输入密码设防/撤防,或等待一段时间才能报警(会给入侵者破坏系统的机会);
3)本申请实施例中,可以检测入户后人员的位置检测,可以用于控制门厅灯的开关;传统技术需要另外安装人体感应器。
通过对比传统方案和采用本申请实施例的机器视觉系统在典型家庭场景的应用情况,可以看出本申请实施例使用一个视觉传感器替代了图2中的3个装置,并提供更加智能的功能。
3、场景为楼道安防或街道安防
楼道/街道安防的对象可以包括如下至少之一:人脸、身体、室外光照。
所述对象的状态信息可以包括如下至少之一:人脸的识别信息、身体的姿态信息、室外光照强度。
所述视觉计算平台可以提供包括但不限于如下的服务:
根据人脸的识别信息和/或身体的姿态信息进行安全风险评估,提供安全风险预警、安全风险告警、服务质量追踪中的至少之一;
根据室外光照强度提供事件驱动以控制灯的开关。
其中,参照图10,户外楼道/街道的安防,可以朝向户外的机器视觉传感器,例如门铃或门镜上的摄像头,可以检测到:
1)户外楼道/街道的安全,通过访客/用户的面部识别、姿态识别,可用于安全预警;或快递等服务的质量追踪;
2)替代人体传感器、声音传感器,控制楼道/门廊照明。
4、场景为家庭人员监护
家庭人员监护的对象可以包括如下至少之一:人脸、身体、心率、室内光照。
所述对象的状态信息可以包括如下至少之一:人脸的识别信息、身体的姿态信息、心率的变化信息、室内光照强度。
所述视觉计算平台可以提供包括但不限于如下的服务:
根据人脸的识别信息和/或身体的姿态信息提供儿童锁、服务交付、起居监护中的至少之一;
根据心率的变化信息提供睡眠质量监护;
根据室内光照强度提供事件驱动以控制灯的开关。
其中,出于隐私保护的原因,可以采用非光学成像,例如毫米波雷达、TOF等。常见的应用如下图11所示,包括:
1)家庭成员识别,用于电视、互联网内容的儿童锁,服务的精准交付等;
2)人员的姿态识别、记录,用于起居监护,跌倒报警等;
3)面部分析,机器视觉可以检测到用户的表情、呼吸变化,毫米波雷达成像装置甚至可以捕获被测人的心率变化,用于睡眠质量监护等。
可以看出,通过场景间切换和分解,配合适合的成像设备(机器视觉传感器),通过一个机器视觉系统就可以完成多种家庭安防、安全的监控、监护任务,使智能化家庭简洁,可靠。
相应地,如图12所示,本申请实施例的机器视觉的实现方法,包括:
步骤201,采集一个或多个目标区域的图像信息。
所述图像信息可以包括相同或不同波段图像的信息,例如,日光可见物体的图像、红外可见物体的图像以及毫米波可见物体的图像等。可以通过机器视觉传感器,例如通过TOF成像、单目或双目摄像头采集图像信息。
所述机器视觉传感器可以用于所有的视觉传感场景,全部代替其他传感器,例如门/窗磁、红外门光栅、窗栏、门镜等。
步骤202,对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。
在一实施例中,采用一种或多种视觉识别算法对所述目标区域的图像信息进行识别。
在一实施例中,所述方法还可包括:
通过获取典型场景环境的图像数据,建立所述视觉识别算法的特征模型,以适配对应场景中对象的各种形态。
可以通过采集典型场景环境(不同的门窗产品,不同的布局,不同的光线、阴影、物体遮挡或对象叠加等)的图像数据,建立特征模型,能够自动识别门窗的开合、完整、破损、人员进出等状态。不同于基于图像对比的方法,用户不需要输入每一个特定的门窗、或特定的布局的图像作为参考,可以用一个算法适配所有尺寸、布局、材质的门窗,也适用于被遮挡的门窗。
在一实施例中,所述方法还可包括:
在无法根据本地的视觉识别算法对所述目标区域的图像信息进行识别时,通过下载云端的视觉识别算法,对所述目标区域的图像信息进行识别。
在一实施例中,所述方法还可包括:
通过自学习的方式训练和更新所述视觉识别算法。
在一实施例中,所述机器视觉输出结果包括场景、对象以及所述对象的状态信息,步骤102,可以包括:
根据视觉识别算法和所述目标区域的图像信息,确定对应的场景,根据所述场景,识别对象以及所述对象的状态信息,根据所述对象以及所述对象的状态信息提供相应的服务。
参照图13,以一个应用实例进行说明:
步骤301,捕获图像;
其中,可以通过一个或多个机器视觉传感器捕获图像。
步骤302,和上一帧图像比较;
步骤303,判断是否发生变化,若发生变化,则执行步骤304,若没有发生变化,返回执行步骤301;
步骤304,进行场景分类;
其中,场景可以包括窗户安防、入户门安防、楼道/街道安防、家庭人员监护等。
步骤305,判断本地是否存在与场景匹配的视觉识别算法,若是,执行步骤306,若否,执行步骤308;
步骤306,进行对象识别和状态识别;
步骤307,进行视觉输出,返回执行步骤301;
步骤308,下载并安装视觉识别算法;
其中,可以从云端服务器下载视觉识别算法。
步骤309,判断是否下载并安装成功,若是,执行步骤306;若否,执行步骤310;
步骤310,报告异常,返回执行步骤301。
本申请实施例用机器视觉传感器同时替代各种家庭安防传感器,简化安全、安防系统,用一个系统替代众多的系统,方便安装和维护,功能也得到增强。
本申请实施例还提供一种机器视觉的实现设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述机器视觉的实现方法。
本申请实施例还提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行所述机器视觉的实现方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

Claims (15)

1.一种机器视觉系统,其特征在于,包括:一个或多个机器视觉传感器和视觉计算平台,其中
所述机器视觉传感器用于采集一个或多个目标区域的图像信息;
所述视觉计算平台与所述一个或多个机器视觉传感器相连,用于对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。
2.根据权利要求1所述的机器视觉系统,其特征在于,
所述图像信息包括相同或不同波段图像的信息,所述一个或多个机器视觉传感器应用于一种或多种视觉传感场景,以替代除视觉传感器以外的其他类型传感器,所述机器视觉传感器通过视频或图像接口将所述图像信息输出至所述视觉计算平台。
3.根据权利要求1所述的机器视觉系统,其特征在于,
所述视觉计算平台用于采用一种或多种视觉识别算法对所述目标区域的图像信息进行识别。
4.根据权利要求3所述的机器视觉系统,其特征在于,
所述视觉计算平台还用于通过获取典型场景环境的图像数据,建立所述视觉识别算法的特征模型,以适配对应场景中对象的各种形态。
5.根据权利要求3所述的机器视觉系统,其特征在于,还包括:云端服务器,
所述云端服务器与所述视觉计算平台相连,用于在所述视觉计算平台无法根据本地的视觉识别算法对所述目标区域的图像信息进行识别时,提供云端的视觉识别算法供所述视觉计算平台下载使用。
6.根据权利要求1~5中任意一项所述的机器视觉系统,其特征在于,所述机器视觉输出结果包括场景、对象以及所述对象的状态信息;
所述视觉计算平台用于根据视觉识别算法和所述目标区域的图像信息,确定对应的场景,根据所述场景,识别对象以及所述对象的状态信息。
7.根据权利要求6所述的机器视觉系统,其特征在于,所述场景为窗户安防时:
所述对象包括如下至少之一:窗户、玻璃、人脸、身体、室内外光照;
所述对象的状态信息包括如下至少之一:窗户的开关状态信息、玻璃是否完好的信息、人脸的识别信息、身体的姿态信息、室内外光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据窗户的开关状态信息进行开窗通风时的安全风险评估;
根据人脸的识别信息和/或身体的姿态信息进行安全风险评估,提供安全风险预警或安全风险告警;
根据室内外光照强度提供事件驱动以控制窗帘的打开或关闭;
根据玻璃是否完好的信息提供安全风险预警或安全风险告警。
8.根据权利要求6所述的机器视觉系统,其特征在于,所述场景为入户门安防时:
所述对象包括如下至少之一:门、人脸、身体、室内外光照;
所述对象的状态信息包括如下至少之一:门的开关状态信息、人脸的识别信息、身体的姿态信息、人员的位置信息、室内外光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据门的开关状态信息、以及人脸的识别信息和/或身体的姿态信息自动进行撤防、设防和报警中的至少之一;
根据人脸的识别信息、人员的位置信息和/或室内外光照强度提供事件驱动以控制灯的开关。
9.根据权利要求6所述的机器视觉系统,其特征在于,所述场景为楼道安防或街道安防时:
所述对象包括如下至少之一:人脸、身体、室外光照;
所述对象的状态信息包括如下至少之一:人脸的识别信息、身体的姿态信息、室外光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据人脸的识别信息和/或身体的姿态信息进行安全风险评估,提供安全风险预警、安全风险告警、服务质量追踪中的至少之一;
根据室外光照强度提供事件驱动以控制灯的开关。
10.根据权利要求6所述的机器视觉系统,其特征在于,所述场景为家庭人员监护时:
所述对象包括如下至少之一:人脸、身体、心率、室内光照;
所述对象的状态信息包括如下至少之一:人脸的识别信息、身体的姿态信息、心率的变化信息、室内光照强度;
所述视觉计算平台用于提供如下服务中的至少之一:
根据人脸的识别信息和/或身体的姿态信息提供儿童锁、服务交付、起居监护中的至少之一;
根据心率的变化信息提供睡眠质量监护;
根据室内光照强度提供事件驱动以控制灯的开关。
11.一种机器视觉的实现方法,其特征在于,包括:
采集一个或多个目标区域的图像信息;
对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务。
12.根据权利要求11所述的方法,其特征在于,所述对所述目标区域的图像信息进行识别,包括:
采用一种或多种视觉识别算法对所述目标区域的图像信息进行识别。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
通过获取典型场景环境的图像数据,建立所述视觉识别算法的特征模型,以适配对应场景中对象的各种形态。
14.根据权利要求12所述的方法,其特征在于,所述方法还包括:
在无法根据本地的视觉识别算法对所述目标区域的图像信息进行识别时,通过下载云端的视觉识别算法,对所述目标区域的图像信息进行识别。
15.根据权利要求11~14中任意一项所述的方法,其特征在于,所述机器视觉输出结果包括场景、对象以及所述对象的状态信息,所述对所述目标区域的图像信息进行识别,得到机器视觉输出结果,根据所述机器视觉输出结果提供相应的服务,包括:
根据视觉识别算法和所述目标区域的图像信息,确定对应的场景,根据所述场景,识别对象以及所述对象的状态信息,根据所述对象以及所述对象的状态信息提供相应的服务。
CN201910205174.4A 2019-03-18 2019-03-18 机器视觉系统及其实现方法 Pending CN111723598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910205174.4A CN111723598A (zh) 2019-03-18 2019-03-18 机器视觉系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910205174.4A CN111723598A (zh) 2019-03-18 2019-03-18 机器视觉系统及其实现方法

Publications (1)

Publication Number Publication Date
CN111723598A true CN111723598A (zh) 2020-09-29

Family

ID=72563267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910205174.4A Pending CN111723598A (zh) 2019-03-18 2019-03-18 机器视觉系统及其实现方法

Country Status (1)

Country Link
CN (1) CN111723598A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784478A (zh) * 2021-01-07 2021-05-11 李琳琳 一种智能门铃ai场景自学习训练建模方法及系统
CN114782899A (zh) * 2022-06-15 2022-07-22 浙江大华技术股份有限公司 一种图像处理的方法、装置及电子设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303337A1 (en) * 2009-05-29 2010-12-02 Aaron Wallack Methods and Apparatus for Practical 3D Vision System
CN102014278A (zh) * 2010-12-21 2011-04-13 四川大学 一种基于语音识别技术的智能视频监控方法
CN203181055U (zh) * 2013-01-25 2013-09-04 广州粤嵌通信科技股份有限公司 一种家居安防系统
CN103955699A (zh) * 2014-03-31 2014-07-30 北京邮电大学 一种基于监控视频的实时摔倒事件检测方法
US8965104B1 (en) * 2012-02-10 2015-02-24 Google Inc. Machine vision calibration with cloud computing systems
CN104598897A (zh) * 2015-02-12 2015-05-06 杭州摩图科技有限公司 视觉传感器、图像处理方法和装置、视觉交互设备
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN106725410A (zh) * 2016-12-12 2017-05-31 努比亚技术有限公司 一种心率检测方法和终端
CN107358783A (zh) * 2017-07-26 2017-11-17 深圳市盛路物联通讯技术有限公司 一种远程监护方法及装置
CN107430679A (zh) * 2015-01-29 2017-12-01 尤尼伐控股有限公司 计算机视觉系统
CN107666604A (zh) * 2017-11-14 2018-02-06 合肥奇骏自动化控制有限公司 一种智能家庭无线视频监控系统
CN108406848A (zh) * 2018-03-14 2018-08-17 安徽果力智能科技有限公司 一种基于场景分析的智能机器人及其运动控制方法
CN108537172A (zh) * 2018-04-09 2018-09-14 北京邦天信息技术有限公司 一种基于机器视觉识别人的行为的方法和装置
CN108647582A (zh) * 2018-04-19 2018-10-12 河南科技学院 一种复杂动态环境下目标行为识别与预测方法
CN108784669A (zh) * 2018-06-08 2018-11-13 张洪平 一种非接触式心跳及呼吸紊乱监测系统及方法
CN109034124A (zh) * 2018-08-30 2018-12-18 成都考拉悠然科技有限公司 一种智能监控方法及系统
CN109240119A (zh) * 2018-11-15 2019-01-18 海南高信通科技有限公司 一种基于app的智能家居控制系统
CN109272618A (zh) * 2018-09-05 2019-01-25 上海华测导航技术股份有限公司 基于物联网的智慧安防管理方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303337A1 (en) * 2009-05-29 2010-12-02 Aaron Wallack Methods and Apparatus for Practical 3D Vision System
CN102014278A (zh) * 2010-12-21 2011-04-13 四川大学 一种基于语音识别技术的智能视频监控方法
US8965104B1 (en) * 2012-02-10 2015-02-24 Google Inc. Machine vision calibration with cloud computing systems
CN203181055U (zh) * 2013-01-25 2013-09-04 广州粤嵌通信科技股份有限公司 一种家居安防系统
CN103955699A (zh) * 2014-03-31 2014-07-30 北京邮电大学 一种基于监控视频的实时摔倒事件检测方法
CN107430679A (zh) * 2015-01-29 2017-12-01 尤尼伐控股有限公司 计算机视觉系统
CN104598897A (zh) * 2015-02-12 2015-05-06 杭州摩图科技有限公司 视觉传感器、图像处理方法和装置、视觉交互设备
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN106725410A (zh) * 2016-12-12 2017-05-31 努比亚技术有限公司 一种心率检测方法和终端
CN107358783A (zh) * 2017-07-26 2017-11-17 深圳市盛路物联通讯技术有限公司 一种远程监护方法及装置
CN107666604A (zh) * 2017-11-14 2018-02-06 合肥奇骏自动化控制有限公司 一种智能家庭无线视频监控系统
CN108406848A (zh) * 2018-03-14 2018-08-17 安徽果力智能科技有限公司 一种基于场景分析的智能机器人及其运动控制方法
CN108537172A (zh) * 2018-04-09 2018-09-14 北京邦天信息技术有限公司 一种基于机器视觉识别人的行为的方法和装置
CN108647582A (zh) * 2018-04-19 2018-10-12 河南科技学院 一种复杂动态环境下目标行为识别与预测方法
CN108784669A (zh) * 2018-06-08 2018-11-13 张洪平 一种非接触式心跳及呼吸紊乱监测系统及方法
CN109034124A (zh) * 2018-08-30 2018-12-18 成都考拉悠然科技有限公司 一种智能监控方法及系统
CN109272618A (zh) * 2018-09-05 2019-01-25 上海华测导航技术股份有限公司 基于物联网的智慧安防管理方法
CN109240119A (zh) * 2018-11-15 2019-01-18 海南高信通科技有限公司 一种基于app的智能家居控制系统
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YU HE ET AL.: "Advances in sensing and processing methods for three-dimensional robot vision", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》, vol. 15, no. 2, 20 March 2018 (2018-03-20), pages 1 - 19 *
李胜强: "基于机器视觉的智能家居安防系统", 《中国优秀硕士学位论文全文数据库(信息科技辑)》, no. 10, 15 October 2012 (2012-10-15), pages 140 - 1122 *
王兵: "智能视频分析技术在安防领域的应用解析", 《中国安防》, no. 12, 1 December 2013 (2013-12-01), pages 48 - 52 *
郝宗波: "家庭移动服务机器人的若干关键技术研究", 《中国博士学位论文全文数据库(信息科技辑)》, no. 05, 15 May 2007 (2007-05-15), pages 140 - 21 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784478A (zh) * 2021-01-07 2021-05-11 李琳琳 一种智能门铃ai场景自学习训练建模方法及系统
CN114782899A (zh) * 2022-06-15 2022-07-22 浙江大华技术股份有限公司 一种图像处理的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US10936655B2 (en) Security video searching systems and associated methods
US11532219B2 (en) Parcel theft deterrence for A/V recording and communication devices
US5091780A (en) A trainable security system emthod for the same
US20180338120A1 (en) Intelligent event summary, notifications, and video presentation for audio/video recording and communication devices
US9911294B2 (en) Warning system and method using spatio-temporal situation data
US8908034B2 (en) Surveillance systems and methods to monitor, recognize, track objects and unusual activities in real time within user defined boundaries in an area
US20180247504A1 (en) Identification of suspicious persons using audio/video recording and communication devices
US20210209881A1 (en) Garage security and convenience features
US20160019427A1 (en) Video surveillence system for detecting firearms
US20070182540A1 (en) Local verification systems and methods for security monitoring
US11341825B1 (en) Implementing deterrent protocols in response to detected security events
CN107016690A (zh) 基于视觉的无人机入侵检测与识别系统及方法
US10713928B1 (en) Arming security systems based on communications among a network of security systems
US10964187B2 (en) Smart surveillance system for swimming pools
US11062145B2 (en) Camera device for the exterior region of a building
US11495054B2 (en) Motion-based human video detection
US20210241597A1 (en) Smart surveillance system for swimming pools
US10887562B2 (en) Camera device for the exterior region of a building
CN107122743A (zh) 安防监控方法、装置和电子设备
CN111723598A (zh) 机器视觉系统及其实现方法
US10943442B1 (en) Customized notifications based on device characteristics
CN113723369B (zh) 控制方法、装置、电子设备及存储介质
US11072966B1 (en) Video analytic enhanced pet door
US11592404B2 (en) Close object detection for monitoring cameras
CN210129251U (zh) 具有边缘识别的门禁

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination