CN104516337A - 基于姿态的工业监控 - Google Patents

基于姿态的工业监控 Download PDF

Info

Publication number
CN104516337A
CN104516337A CN201410525812.8A CN201410525812A CN104516337A CN 104516337 A CN104516337 A CN 104516337A CN 201410525812 A CN201410525812 A CN 201410525812A CN 104516337 A CN104516337 A CN 104516337A
Authority
CN
China
Prior art keywords
mobile object
attitude
image
imager
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410525812.8A
Other languages
English (en)
Inventor
陈雪敏
永范·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies International Sales Pte Ltd
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Priority to CN201811189241.XA priority Critical patent/CN109358577A/zh
Publication of CN104516337A publication Critical patent/CN104516337A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0229—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions knowledge based, e.g. expert systems; genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于姿态的工业监控。一种系统包括诸如3D结构化光成像系统的成像器以及与成像器进行数据通信的姿态逻辑。成像器被配置为创建移动对象的运动图像。姿态逻辑被配置为：基于图像生成移动对象的当前运动的第一映射；访问存储的模型姿态的第二映射，并且将第一映射与第二映射进行比较以确定移动对象的操作状况。

Description

基于姿态的工业监控
优先权声明
该申请要求于2014年1月13日提交的美国临时申请序列号61/926,742的优先权以及于2013年10月1日提交的美国临时申请序列号61/885,303的优先权，通过引用将其全部内容结合于本文中。
技术领域
本公开涉及自动监控。本公开还涉及通过识别机器姿态(gesture)来进行监控。
背景技术
机器视觉系统允许与各种环境进行计算机控制的视觉交互。例如，可以使用机器视觉系统自动驾驶机动车辆。机器视觉系统可使用成像和其他视觉化技术，例如，声纳、雷达、超声波扫描、红外线成像和/或其他视觉化技术。在工业设置中，视频监控被用于监视操作并且提供安全和保障。操作人员可使用几个查看屏幕以监控在远程位置的操作。操作员能够从查看屏幕检测错误操作、安全漏洞和/或安全问题。通过查看屏幕进行远程监控可减少例如在现场或在工业活动时对亲自监控的需要。
发明内容
根据本发明的一个方面，提供了一种监控系统，包括：成像器，被配置为捕获制造装置的当前运动的视频；以及逻辑(logic)，在与所述成像器进行数据通信时，所述逻辑被配置为：基于所述视频在多维空间中生成所述制造装置的当前运动的第一映射；访问存储的模型姿态(modelgesture)的第二映射；并且将所述第一映射与所述第二映射进行比较以确定所述制造装置的当前运动是否偏离所述模型姿态；以及当所述制造装置的当前运动偏离所述模型姿态时，生成表示所述偏离的消息；以及将所述消息发送给与所述制造装置相关联的监控处理。
其中，所述消息被配置为表示所述制造装置的非相容的操作；以及所述监控处理被配置为响应于所述消息在查看屏幕上生成警报。
根据本发明的另一个方面，提供了一种监控系统，包括：成像器，被配置为创建移动对象的当前运动的图像；逻辑，在与所述成像器进行数据通信时，所述逻辑被配置为：基于所述图像生成所述移动对象的当前运动的第一映射；访问存储的模型姿态的第二映射；以及将所述第一映射与所述第二映射进行比较以确定所述移动对象的操作状况(operationalcondition)。
其中，所述成像器被配置为创建包括所述图像的一系列图像。
其中，所述第一映射包括基于所述一系列图像的第一视频映射。
其中，所述模型姿态包括一组确定的运动；并且所述第二映射包括所述一组确定的运动的第二视频映射。
其中，所述一组确定的运动与所述移动对象的相容的操作状态相关联。
其中，所述逻辑进一步被配置为在所述比较表示当前运动不同于所述一组确定的运动时生成警报。
其中，所述逻辑被配置为基于源的属性来处理所述图像。
其中，所述源包括光源；并且所述属性包括嵌入所述光源的输出中的码。
其中，所述成像器包括：光学传感器，被配置为捕获所述图像；以及聚焦设备，被配置为在所述光学传感器上产生所述图像。
其中，所述第一映射和所述第二映射包括在多维空间中的映射。
其中，所述逻辑被配置为基于确定的操作状况生成警报。
其中，所述移动对象包括设备操作员；以及所述警报被配置为响应于潜在的注意力下降(attention lapse)来唤醒所述设备操作员。
其中，所述警报被配置为表示所述移动对象突破了安全区域。
根据本发明的另一个方面，提供了一种监控方法，包括：捕获移动对象的当前运动的视频；基于所述视频生成所述移动对象的当前运动的第一映射；访问存储的模型姿态的第二映射；以及将所述第一映射与所述第二映射进行比较以确定所述移动对象的操作状态(operational status)。
所述监控方法进一步包括：基于所述移动对象的类型和为由所述移动对象执行而调度的任务来选择存储的所述第二映射。
其中，确定所述操作状态包括确定所述移动对象是否以非相容的方式执行所述任务。
其中，所述移动对象与所述模型姿态的偏离表示非相容性行为(non-compliant performance)。
其中，基于照亮所述移动对象的光源的属性来生成所述第一映射。
附图说明
图1示出了实施自动操作监控的环境的示例；
图2示出了示例姿态逻辑；
图3示出了示例姿态识别情景；
图4示出了一个示例结构化的光成像过程。
具体实施方式
在工业环境中的监控操作会是有挑战性的。在某些情况下，可使用员工来监控视频传送和/或直接查看设备和/或其他员工，以确定工业环境内的系统的操作状态。在某些情况下，监控处理可包括查看反复检测缺陷的更长时间的重复处理。在某些情况下，员工可能中断注意力并且会错过感兴趣的事件。例如，在装配线上负责监控生产装置的员工会睡着。在某些情况下，睡着的人不能报告在窗口内的装置上发生故障以避免更严重的问题(例如，线路中断等)。另外地或可替换地，员工不能识别感兴趣的事件。例如，人员可查看装置的异常操作但是不能将该操作确定为异常。在另一个示例中，监控人员可能无法识别操作装置(例如，车辆和/或重型机械等)的人员不注意其任务的情况。在某些情况下，可有利地实施用于工业操作监控的自动技术，从而由员工增强和/或代替监控。
图1示出了实施自动操作监控的环境100的示例。环境100可为任何工业环境，例如，生产装配线、工业材料加工厂或工厂库存区。特别地，在图1中所示的环境100是包括生产线110的工业环境。然而，环境100不限于工业设置，并且可能具有下面论述的安全功能配置可能有用的任何环境，例如，在车辆、医院、主题公园或监狱内。例如，在医院未进行监控操作会对患者和/或员工造成伤害。
环境100可包括多个装置。在图1中的示例工业环境100包括制造装置111-117、控制装置121和122、无线接入点(AP)131和132以及标记为传感器141-151的多个传感器。另外的或可替换的装置可存在于工业环境100中，包括作为示例的网络装置(例如，集线器、开关、路由器或桥接器)、数据服务器、致动器、发电机、马达、机械装置、监控装置(例如，摄影机或其他成像器)、光源、计算机、管理或控制系统、环境管理装置、分析系统、通信装置以及诸如移动电话、平板电脑等的任何移动装置。
制造装置111-117沿着生产线110被定位。制造装置111-117可被实施为任何机械装置、机器人、致动器、工具或沿着生产线110参与组装(或拆卸)过程的其他电子设备。制造装置111-117通信链接至控制装置，制造装置111-117通过其接收监控、指导或控制制造装置111-117的控制信号。在图1中，控制装置121通信链接至制造装置111-113，并且控制装置122通信链接至制造装置114-117。在某些变化中，控制装置112是可编程逻辑控制器(PLC)。
传感器141-151可在工业环境100中监控各种位置。在图1中，传感器141-151沿着生产线110被定位在预定的监控位置处并且邻近制造装置111-117。传感器141-151可捕获用于监控环境100的环境数据，例如，视觉数据、音频数据、温度数据、位置或运动数据或表示工业环境100的特征的任何其他环境数据。传感器141-151可将捕获的数据传送给在工业环境100中的任何装置、分析系统或监控系统。如下所述，监控系统可整合姿态识别以有助于对操作状态的变化的自动响应和/或其他监控启动响应。
工业环境100在位于工业环境100内和/或外面的任何装置之间支持多个通信链路。多个通信链路可在通信装置之间提供超静定性(redundancy)或失效备援(failover)功能。作为在图1中所示的一个这种示例，控制装置121通过有线通信路径(例如，通过有线电缆)和无线通信路径(例如，通过无线接入点131)连接至制造装置111。在这方面，制造装置111-117可通过多种技术进行通信，包括任意数量的有线技术和/或无线技术。为了支持通信链路，控制装置121和制造装置111-117可包括执行通信协议和安全特性的逻辑。例如，该装置可包括主终端单元(MTU)、可编程逻辑控制器(PLC)和/或可编程阵列控制器(PAC)。例如，在一些实施中，安全特性(例如，端对端加密)可在位于控制器装置上的MTU与位于制造装置上的PLC之间的通信链路上提供保护。通信链路可有助于传送图像，例如，视频、照片、声像图等，用于在控制装置或其他数据处理器上进行处理。
在工业环境100中的装置可包括通信接口，该通信接口支持与在工业环境100内或外面的其他装置具有多个通信链路。通信接口可被配置为根据一个或多个通信模式(例如，根据各种通信技术、标准、协议或者通过各种网络或拓扑)进行通信。通信接口可支持根据特定的服务质量(QoS)技术、编码格式、来通过各种物理(PHY)接口等进行的通信。例如，通信接口可根据以下网络技术、拓扑、介质、协议或标准中的任一个进行通信：包括工业以太网的以太网、任何开放的或专用的工业通信协议、电缆(例如，DOCSIS)、DSL、同轴电缆多媒体联盟(MoCA)、电力线(例如，家庭插电联盟AV)、以太网无源光网络(EPON)、吉比特无源光网络(GPON)、任意数量的蜂窝标准(例如，2G、3G、通用移动电信系统(UMTS)、GSM(R)协会、长期演进技术(LTE)(TM)或更多)、WiFi(包括802.11a/b/g/n/ac)、WiMAX、蓝牙、WiGig(例如，802.11ad)以及任何其他有线或无线技术或协议。作为一个示例，控制装置121包括通信接口160。
控制装置121可包括用于处理图像的姿态逻辑161，以有助于下面论述姿态识别技术。例如，姿态逻辑161可包括处理器164(例如，图形处理单元(GPU)、通用处理器和/或其他处理装置)和存储器166，以分析用于姿态识别所记录的图像。在一些实施中，成像器190(例如，3D照相机等)可包括光学传感器192(例如，3D传感器等)，该成像器可捕获一个或多个移动对象(例如，制造装置111-117)的图像。成像器可(例如，通过网络或在成像与处理相结合的装置内)将图像传输给姿态逻辑161。姿态逻辑161可运行运动处理163(例如，姿态识别中间件等)。运动处理163可在图像内识别运动并且与所确定的姿态进行比较。运动处理软件可确定在图像内识别的运动是否与一个或多个所确定的姿态相对应。
图2示出了示例姿态逻辑161。姿态逻辑161可接收显示移动对象的运动的一个或多个捕获的图像(202)。例如，图像可包括显示对象的当前运动的直播视频。在一些实施中，图像可以是包含关于在3D空间内移动对象的位置的数据的3D图像。移动对象实际上可包括任何运动中的物体或一组物体，例如，人或动物、机器、正在操纵的静物等。
姿态逻辑161可在空间内生成移动对象的运动的映射(204)。例如，姿态逻辑161可基于3D图像中的位置数据将移动对象的运动映射为3D。为了有助于移动对象的运动的映射，姿态逻辑161可将运动处理163应用于捕获的图像。在各种实施中，运动处理163可应用背景建模和消减(background modeling and subtraction)以移除图像中的背景信息。在一些实施中，运动处理163可应用特征提取以确定对在捕获的图像内的一个或多个移动对象的限制(bound)。在某些情况下，运动处理163可将像素处理应用于准备好的所捕获的图像来用于分析。在一些实施中，运动处理163可将跟踪和识别例行程序应用于识别所捕获的图像中的运动，其被应用于正在被分析的一个或多个移动对象的运动。例如，背景建模和消减可包括以下处理，例如，从彩色图像(例如，YUV:422)提取亮度、计算移动平均值和方差(例如，指数加权或均一化加权等)、统计背景消减、混合高斯背景消减、形态运算(例如，腐蚀、膨胀等)、连通元件标记和/或其他背景建模和消减。在一些实施中，特征提取可包括哈里斯(Harris)角落分数计算、霍夫线路变换、直方图计算(例如，用于整数标量、多维向量等)、勒让德力矩计算(Legendre moment calculation)、凯尼边缘检测(Cannyedge detection)(例如，通过平滑、梯度计算、非极大值抑制、磁滞等)和/或其他特征提取处理。在各种实施中，像素处理可包括颜色转换(例如，YUV:422转换成YUV平面、RGB、LAB、HIS等)、积分图像处理、图像金字塔计算(例如，2×2模块平均化、梯度、高斯或其他图像金字塔计算)、非极大值抑制(例如，3×3、5×5、7×7等)、一阶递归无限脉冲响应过滤、立体图像的基于绝对差总和的差异和/或其他像素处理。在一些实施中，跟踪和识别可包括Lucas-Kanade特征跟踪(例如，7×7等)、卡尔曼滤波、Nelder-Mead单纯形优化、Bhattacharya距离计算和/或其他跟踪和识别工序。
姿态逻辑161可访问可以与所确定的姿态相对应的一个或多个存储的映射(206)。例如，该映射可包括移动对象可行进以完成姿态的一系列位置的指示。另外地或可替换地，映射可包含相关的部件。例如，为了完成规定的姿态，可将确定的距离从其开始位置移动到左边。该姿态可包括移动对象的确定部分的运动。例如，该姿态可包括使用其右手抓住杠杆并且将该杠杆拉下的人。姿态映射可反映移动对象的结构。例如，映射可包括与具有能够以确定的方式弯曲的关节的骨骼框架相对应的运动。姿态可包括针对多个对象的运动。例如，姿态可与协作动作(coordinated action)相对应，例如，在多个制造装置之间的产品的传递。姿态可表示针对所确定的运动的时间帧或速度。
姿态逻辑161可将所生成的映射与所确定的姿态的一个或多个映射进行比较(208)。例如，姿态逻辑161可确定移动对象的运动是否与在姿态(该姿态在所确定的阈值内匹配)中限定的运动匹配。在一些实施中，姿态逻辑161可在移动对象的运动的映射上进行转换。例如，在某些情况下，如果针对初始映射没有发现匹配，则姿态逻辑161可翻转和/或平移移动物体映射。在某些情况下，姿态逻辑161可将移动对象的映射应用于结构(例如，骨架结构)，以有助于与应用于这种结构的姿态映射进行比较。另外地或可替换地，该比较可包括确定移动对象的运动是否包括到绝对位置的行进(或其他运动)，同时不应用转换。例如，这可用于确保装置停留在所确定的安全区域内和/或在制造过程期间从正确的位置中拾取材料。在某些情况下，姿态逻辑161可将移动对象的映射运动与多个姿态映射进行比较。
基于该比较，姿态逻辑161可生成表示是否找到与针对移动对象的运动相匹配的姿态的消息(210)。姿态逻辑161可将消息转发给监控处理(212)。在某些实施中，监控处理可在姿态逻辑161上运行。另外地或可替换地，监控处理可位于姿态逻辑161的外部。例如，姿态逻辑161可将消息转发给警报系统。在某些情况下，例如，如果与不可取的姿态不匹配和/或与不可取的姿态匹配，警报系统可生成警报或响应于表示感兴趣事件的消息来激活警报。
图3示出了示例姿态识别情景310、320、330、340。在示例情景310、320、330、340中，成像器190记录制造装置302的图像。成像器经由网络链路304将捕获的图像发送给包括姿态逻辑161的控制装置121。姿态逻辑161处理用于示例情景310、320、330以及340的图像以识别运动。在情景310、320、330中，在捕获的图像中识别的运动与第一运动序列(例如，水平摆动等)相对应。在情景340中，在捕获的图像中识别的运动与不同于第一运动序列的第二运动序列(例如，垂直摆动等)相对应。姿态逻辑161可访问所确定的姿态306，用于在存储器166上进行识别比较。在示例情景310、320、330、340中，所确定的姿态与第一运动序列相对应。姿态逻辑161可通过生成表示与识别的姿态匹配的消息来对在情景310、320、330中的识别的运动做出响应。对于情景340，姿态逻辑161可通过生成表示所识别的运动与确定的姿态不匹配的消息来对所识别的运动(例如，所有或一部分第二运动序列)做出响应。示例情景310、320、330、340基于姿态识别提供用于说明自动监控的上下文(context)。可使用其他对象、运动的类型以及姿态(例如，复杂的运动序列、多对象序列等)。
表示匹配或不匹配的消息可应用在不同的监控处理中。例如，这些消息可用于确定装置的操作状态(例如，正常操作、异常操作等)，监控人员(例如，注意工作职责、情绪、性能等)，响应于感兴趣的事件(例如，未识别的姿态等)来生成警报，优化装配流水线，响应于感兴趣事件来自动改变监控活动和/或其他监控处理活动。
在某些情况下，自动改变监控活动可包括提高所捕获的安全视频的质量和/或数量。例如，视频监控系统可在第一模式(例如，低清晰度视频、低帧速率、无音频和/或灰度等)下记录视频。响应于表示感兴趣事件的消息，视频监控系统可切换成第二模式(例如，高清晰度视频、高帧速率、音频和/或彩色等)。在某些情况下，在感兴趣事件之前捕获的监视视频可取地在第二模式下进行查看。在某些实施中，可在第二模式下捕获视频，然后，在延迟(例如，分钟、小时、天、周等)之后，该视频压缩成第一模式。在某些情况下，表示感兴趣的事件的一个或多个消息可促使系统超过该延迟(例如，永久地、在审查之前、在授权人员删除之前等)而存储包围事件的监控视频的周期。另外地或可替换地，自动改变的监控活动可包括为现场或离线人员自动传输和/或突出监控视频(例如，用于现场查看而非稍后复查等)。
在某些实施中，在由监控处理接收的消息表示完成或即将完成任务时，优化的装配流水线和/或其他工作流程可包括使队列自动前进。例如，所确定的姿态可与用于执行任务所进行的运动或者在任务的确定点中的任务相对应。监控处理可被配置为使将一个新部件移动到用于支持任务的下一个迭代或重复的位置中(例如，向前移动装配线等)。另外地或可替换地，可响应于姿态来中断流动。例如，员工可举起手以使装配线停止。在某些情况下，例如，准备食物，由于戴防护手套的员工可避免为了停止线路而按压按钮或与其他表面进行接触而造成污染，所以这种系统可有利。
在各种实施中，警报可包括诸如用于唤醒已丧失注意力的人的警报、通知技术人员可发生设备故障的警报、已经违反安全区域的警报和/或其他警报的警报。
在某些实施中，在本文中论述的基于姿态的监控处理可应用于非工业监控中。例如，在医学应用中，姿态可用于跟踪物理治疗患者的进程，监控睡眠模式(例如，脸部张力、快速眼动(REM)、睡眠持续时间等)，用于进行研究，监控治疗应用(例如，滴落速率、传感器位移、设备配置等)、患者状态(例如，疼痛、关节炎、中风的表示(例如，通过不对称的脸部运动)等)和/或其他医学监控/诊断。
在某些实施中，可获得3D图像以支持姿态识别处理。3D成像器的示例可包括基于飞行时间的系统(例如，雷达、声纳、回声位置、激光雷达等)、多传感器和/或多照明源系统、扫描系统(例如，磁共振成象(MRI)、计算机体层扫描(CT扫描))、结构化照明系统、编码灯系统和/或其他3D成像系统。
在各种实施中，飞行时间成像系统通过以确定的角度或方向发出信号来进行操作，并且测量用于接收反射回信号源(例如，接近源(或与该源相距确定的距离)的传感器)的时间。可由发送的信号的速度(例如，光速、声速等)分割接收反射的时间。可通过扫描各种角度和/或方向生成包围飞行时间成像器的反射表面的3D图像。在某些情况下，飞行时间成像器与挑战相关联，例如，混淆现象(距离模糊)、运动模糊(例如，对于比扫描更快的运动和/或源信号间距)、分辨率、干扰(例如，来自相似的源头)和/或环境信号。飞行时间系统可提供在度量(例如，操作范围、视场、图像捕获(尺寸、分辨率、颜色)、帧速率、潜伏期、功耗、系统尺寸以及操作环境)方面可与其他3D成像系统竞争的性能。飞行时间系统还在诸如全身跟踪、多体部件跟踪以及多体跟踪的应用中提供有竞争力的性能。然而，会对飞行时间系统的成本提出挑战。
在某些实施中，结构化光系统将2D的光图像投影为成像的3D环境内，以允许将在成像的3D环境内的物体的位置编码至投影仪的协调系统内。结构化光系统可使用三角测量来确定由结构化光源照明的物体的3D位置和特征。图4示出了示例结构化光成像处理400。提供包括条纹406的条纹图案404的结构化光投影仪402照亮成形物体410。通过在成形物体410上投影使条纹406变形。变形的条纹432由照相机上的像素阵列430捕获。位于像素阵列434上的变形的条纹432的位置可被用来利用三角测量法来映射成形物体的特征和位置。基于包括在结构化光源与像素阵列434之间的已知距离的三角测量基线450来进行三角测量。结构化光系统可提供在诸如操作范围、视场、图像捕获(尺寸、分辨率、颜色)、帧速率、潜伏期、功耗、系统尺寸以及操作环境的度量方面可与其他3D成像系统竞争的性能。在诸如全身跟踪的应用中，结构化光系统还提供有竞争性的性能。然而，会在结构化光系统中的对多个主体部分跟踪以及多主体跟踪提出挑战。
在各种实施中，编码的光系统可与结构化光系统相似的原理进行操作。2D光图案可投影至成像的3D环境中，以允许将在成像的3D环境中的物体的位置编码至投影仪的协作系统中。编码的光系统可使用三角测量来确定由编码的光源来照明的物体的3D位置和特征。编码的光系统可进一步时间多路复用多个2D的图案，用于进行投影。额外的2D图案可允许具有更大的空间分辨率。例如，成形物体的位置和特征可针对多个2D的图案，并且可应用统计处理以移除计算误差。在某些情况下，照明对象的运动在时间多路复用的时间标度上会是模糊的。编码的光系统可提供在诸如操作范围、视场、图像捕获(尺寸、分辨率、颜色)、帧速率、潜伏期、功耗、系统尺寸以及操作环境的度量方面可与其他3D成像系统竞争的性能。在诸如全身跟踪、多体部件跟踪以及多体跟踪的应用中，编码的光系统还提供有竞争性的性能。
在各种实施中，基于源的照明器(例如，用在飞行时间、结构化光、编码光系统等中)可包含已知的属性(例如，频率等)。可忽略具有不同属性的光源的光。这可有助于移除背景。例如，可在光源中实施选通(strobing)(或其他光编码)以增加用于与外部光源进行区别的属性。编码的光源可投射出已知的时分多路复用图案。在各种实施中，可移除未发现反映时分多路复用属性的捕获的图像数据以避免噪音对源的干扰。
在一些实施中，可在工业环境中捕获音频。音频姿态(例如，确定的音频模式识别)分析可被应用于捕获的音频。例如，执行确定的任务的制造装置可生成可识别的音频模式。捕获的音频可与已知的模式进行比较以确定操作状态。在各种实施中，音频姿态分析可与图像姿态分析相配对。在各种实施中，麦克风传感器可被分布在示例工业环境100内从而有助于音频姿态分析。
另外地或可替换地，可控制工业环境100以尽可能减少具有与照明源相似的性能的干扰源。例如，使用这种灯来照明，在没有员工时，可在全自动制造中尽可能减少或消除工厂灯和其他辐射源。另外地或可替换地，在工业环境100内，照明源(例如，码光源、结构化光源、飞行时间光源等)可在人们或其他设备未使用的频带内进行操作。例如，照明源可在人们看不见的近红外或远红外频带内进行操作并且不能用于通用照明。
通过硬件、软件或硬件和软件的多种不同的组合，可用多种不同的方法来实施上述方法、装置以及逻辑。例如，所有或部分系统在控制器、微处理器或专用集成电路(ASIC)中可包括电路，或者可通过离散逻辑或元件或其他类型的模拟或数字电路的组合实现、在单个集成电路上组合或分布在多个集成电路之间。所有或部分上述逻辑可用作由处理器、控制器或其他处理装置执行的指令，并且可存储在有形的或永久的机器可读的或计算机可读的媒质内，例如，闪速存储器、随机存取存储器(RAM)或只读存储器(ROM)、电可擦可编程只读存储器(EPROM)，或者可存储在其他机器可读的媒质内，例如，光盘只读存储器(CDROM)或磁盘或光盘。因此，计算机程序产品等产品可包括存储媒质和存储在该媒质上的计算机可读指令，在端点、计算机系统或其他装置内执行时，促使该装置根据以上任何一种描述进行操作。
该系统的处理能力可分布在多个系统元件之间，例如在多个处理器和存储器之间，可选地包括多个分布的处理系统。参数、数据库以及其他数据结构可单独地存储和管理，可包含在单个存储器或数据库内，可用多种不同的方式在逻辑上和物理上进行组织，并且可用多种方式实施，包括数据结构，例如，链接表、哈希表、或隐式存储机构。程序可为单个程序的一部分(例如，子程序)、单独的程序，通过若干个存储器和处理器进行分布，或者可用多种不同的方式实现，例如，在文库内，例如，共享库(例如，动态链接库(DLL))。例如，DLL可存储执行上述任何系统处理的代码。虽然已经描述了各种实施，但是对于本领域的技术人员而言，在本公开的范围内显然能够具有更多的实施方式和实施。

Claims (10)

1.一种监控系统，包括：
成像器，被配置为捕获制造装置的当前运动的视频；以及
逻辑，在与所述成像器进行数据通信时，所述逻辑被配置为：
基于所述视频在多维空间中生成所述制造装置的当前运动的第一映射；
访问存储的模型姿态的第二映射；并且
将所述第一映射与所述第二映射进行比较以确定所述制造装置的当前运动是否偏离所述模型姿态；以及
当所述制造装置的当前运动偏离所述模型姿态时，
生成表示所述偏离的消息；以及
将所述消息发送给与所述制造装置相关联的监控处理。
2.根据权利要求1所述的监控系统，其中，
所述消息被配置为表示所述制造装置的非相容的操作；以及
所述监控处理被配置为响应于所述消息而在查看屏幕上生成警报。
3.一种监控系统，包括：
成像器，被配置为创建移动对象的当前运动的图像；
逻辑，在与所述成像器进行数据通信时，所述逻辑被配置为：
基于所述图像生成所述移动对象的当前运动的第一映射；
访问存储的模型姿态的第二映射；以及
将所述第一映射与所述第二映射进行比较以确定所述移动对象的操作状况。
4.根据权利要求3所述的监控系统，其中，所述成像器被配置为创建包括所述图像的一系列图像。
5.根据权利要求3所述的监控系统，其中，所述逻辑被配置为基于源的属性来处理所述图像。
6.根据权利要求3所述的监控系统，其中，所述成像器包括：
光学传感器，被配置为捕获所述图像；以及
聚焦设备，被配置为在所述光学传感器上产生所述图像。
7.根据权利要求3所述的监控系统，其中，所述第一映射和所述第二映射包括在多维空间中的映射。
8.根据权利要求3所述的监控系统，其中，所述逻辑被配置为基于确定的操作状况生成警报。
9.一种监控方法，包括：
捕获移动对象的当前运动的视频；
基于所述视频生成所述移动对象的当前运动的第一映射；
访问存储的模型姿态的第二映射；以及
将所述第一映射与所述第二映射进行比较以确定所述移动对象的操作状态。
10.根据权利要求9所述的监控方法，进一步包括：
基于所述移动对象的类型和用于由所述移动对象执行而调度的任务来选择存储的所述第二映射。
CN201410525812.8A 2013-10-01 2014-10-08 基于姿态的工业监控 Pending CN104516337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811189241.XA CN109358577A (zh) 2013-10-01 2014-10-08 基于姿态的工业监控

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361885303P 2013-10-01 2013-10-01
US61/885,303 2013-10-01
US201461926742P 2014-01-13 2014-01-13
US61/926,742 2014-01-13
US14/179,872 US20150092040A1 (en) 2013-10-01 2014-02-13 Gesture-Based Industrial Monitoring
US14/179,872 2014-02-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811189241.XA Division CN109358577A (zh) 2013-10-01 2014-10-08 基于姿态的工业监控

Publications (1)

Publication Number Publication Date
CN104516337A true CN104516337A (zh) 2015-04-15

Family

ID=52739766

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811189241.XA Pending CN109358577A (zh) 2013-10-01 2014-10-08 基于姿态的工业监控
CN201410525812.8A Pending CN104516337A (zh) 2013-10-01 2014-10-08 基于姿态的工业监控

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811189241.XA Pending CN109358577A (zh) 2013-10-01 2014-10-08 基于姿态的工业监控

Country Status (3)

Country Link
US (1) US20150092040A1 (zh)
CN (2) CN109358577A (zh)
HK (1) HK1206441A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106781167A (zh) * 2016-12-29 2017-05-31 深圳新基点智能股份有限公司 监测物体运动状态的方法及设备
CN109407526A (zh) * 2018-09-14 2019-03-01 珠海格力电器股份有限公司 设备检测方法和装置、家电设备
CN110822269A (zh) * 2019-10-16 2020-02-21 上海申苏船舶修造有限公司 一种用于烧结机的智能给脂装置及其控制方法
CN110889707A (zh) * 2018-09-10 2020-03-17 西门子股份公司 追踪产品部件的计算机实现方法、系统和计算机程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US10412420B2 (en) * 2014-03-07 2019-09-10 Eagle Eye Networks, Inc. Content-driven surveillance image storage optimization apparatus and method of operation
CN111203884B (zh) * 2020-01-19 2021-10-15 吉利汽车研究院（宁波）有限公司 机器人控制方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1197935A2 (de) * 2000-10-10 2002-04-17 Sick AG Vorrichtung und Verfahren zur Erfassung von Objekten
US20050111696A1 (en) * 2003-11-24 2005-05-26 Baer Richard L. Imaging surveillance system and method for event detection in low illumination
CN101388114A (zh) * 2008-09-03 2009-03-18 北京中星微电子有限公司 一种人体姿态估计的方法和系统
US20090110292A1 (en) * 2007-10-26 2009-04-30 Honda Motor Co., Ltd. Hand Sign Recognition Using Label Assignment
CN101511550A (zh) * 2006-08-02 2009-08-19 皮尔茨公司 用于观测工业环境中的人员的方法
CN101625555A (zh) * 2009-08-13 2010-01-13 上海交通大学 钢卷步进移位防侧翻监控系统及其监控方法
CN101825443A (zh) * 2010-03-09 2010-09-08 深圳大学 一种三维成像方法及系统
CN102514771A (zh) * 2011-10-27 2012-06-27 广东工业大学 工业炸药药卷传输姿态识别与诊断系统及其方法
CN202600421U (zh) * 2012-04-23 2012-12-12 华北电力大学 一种风力发电机组状态监测装置
CN103635240A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 基于姿势的游戏的安全方案

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US8516561B2 (en) * 2008-09-29 2013-08-20 At&T Intellectual Property I, L.P. Methods and apparatus for determining user authorization from motion of a gesture-based control unit
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
US8751215B2 (en) * 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
DE102011075467A1 (de) * 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
ES2898981T3 (es) * 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
CN102929391B (zh) * 2012-10-23 2015-11-04 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
US20140184519A1 (en) * 2012-12-28 2014-07-03 Hayat Benchenaa Adapting user interface based on handedness of use of mobile computing device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1197935A2 (de) * 2000-10-10 2002-04-17 Sick AG Vorrichtung und Verfahren zur Erfassung von Objekten
US20050111696A1 (en) * 2003-11-24 2005-05-26 Baer Richard L. Imaging surveillance system and method for event detection in low illumination
CN101511550A (zh) * 2006-08-02 2009-08-19 皮尔茨公司 用于观测工业环境中的人员的方法
US20090110292A1 (en) * 2007-10-26 2009-04-30 Honda Motor Co., Ltd. Hand Sign Recognition Using Label Assignment
CN101388114A (zh) * 2008-09-03 2009-03-18 北京中星微电子有限公司 一种人体姿态估计的方法和系统
CN101625555A (zh) * 2009-08-13 2010-01-13 上海交通大学 钢卷步进移位防侧翻监控系统及其监控方法
CN101825443A (zh) * 2010-03-09 2010-09-08 深圳大学 一种三维成像方法及系统
CN103635240A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 基于姿势的游戏的安全方案
CN102514771A (zh) * 2011-10-27 2012-06-27 广东工业大学 工业炸药药卷传输姿态识别与诊断系统及其方法
CN202600421U (zh) * 2012-04-23 2012-12-12 华北电力大学 一种风力发电机组状态监测装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106781167A (zh) * 2016-12-29 2017-05-31 深圳新基点智能股份有限公司 监测物体运动状态的方法及设备
CN110889707A (zh) * 2018-09-10 2020-03-17 西门子股份公司 追踪产品部件的计算机实现方法、系统和计算机程序产品
CN110889707B (zh) * 2018-09-10 2023-11-28 西门子股份公司 追踪产品部件的计算机实现方法、系统和计算机程序产品
CN109407526A (zh) * 2018-09-14 2019-03-01 珠海格力电器股份有限公司 设备检测方法和装置、家电设备
CN110822269A (zh) * 2019-10-16 2020-02-21 上海申苏船舶修造有限公司 一种用于烧结机的智能给脂装置及其控制方法

Also Published As

Publication number Publication date
CN109358577A (zh) 2019-02-19
HK1206441A1 (zh) 2016-01-08
US20150092040A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
CN104516337A (zh) 基于姿态的工业监控
CA3088774C (en) Sensor fusion for monitoring an object-of-interest in a region
US9396400B1 (en) Computer-vision based security system using a depth camera
EP3016382B1 (en) Monitoring methods and devices
CN1655197B (zh) 监视装置
CA2429880C (en) Collaborative pointing devices
US20120105630A1 (en) Electronic device and method for recognizing and tracking suspects
CN107209007A (zh) 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
CN105359516A (zh) 视觉命令处理
CN105094005A (zh) 光学区域监测与工业机器控制的集成
JP2005339543A (ja) 赤外線安全システム及び方法
AU2020270461B2 (en) Situational Awareness Monitoring
CN110070622A (zh) 一种基于ar技术的图书馆应用系统及使用方法
US11904869B2 (en) Monitoring system and non-transitory storage medium
CN108876824B (zh) 目标跟踪方法、装置、系统及球机
CN113887310A (zh) 工人规范着装识别方法、系统及介质
EP3839908A1 (en) Close object detection for surveillance cameras
DE102014219754B4 (de) Gestenbasierte industrielle Überwachung
CN103051883A (zh) 科技社区智能监控系统
CN110175483A (zh) 一种基于标签的识别方法
WO2012115558A1 (en) Apparatus and method for tracking a stabled animal
EP2784733A1 (en) A method for tracking a person
CN113557713B (zh) 情景感知监测
WO2019190812A1 (en) Intelligent assistant device communicating non-verbal cues
JP7432357B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1206441

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20170317

Address after: Singapore Singapore

Applicant after: Avago Technologies Fiber IP Singapore Pte. Ltd.

Address before: American California

Applicant before: Zyray Wireless Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181029

Address after: Singapore Singapore

Applicant after: Annwa high tech Limited by Share Ltd

Address before: Singapore Singapore

Applicant before: Avago Technologies Fiber IP Singapore Pte. Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150415

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1206441

Country of ref document: HK