CN109614281A - 监控装置、其方法、及其系统 - Google Patents

监控装置、其方法、及其系统 Download PDF

Info

Publication number
CN109614281A
CN109614281A CN201811028230.3A CN201811028230A CN109614281A CN 109614281 A CN109614281 A CN 109614281A CN 201811028230 A CN201811028230 A CN 201811028230A CN 109614281 A CN109614281 A CN 109614281A
Authority
CN
China
Prior art keywords
mentioned
operator
data
region
operation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811028230.3A
Other languages
English (en)
Other versions
CN109614281B (zh
Inventor
今泽庆
松井贵元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN109614281A publication Critical patent/CN109614281A/zh
Application granted granted Critical
Publication of CN109614281B publication Critical patent/CN109614281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明的监控装置具有处理部和数据记录部，上述数据记录部保持包含作业者和作业对象物的作业状况的图像数据、和包含表示上述作业者的区域和上述作业对象物的区域的位置关系的组合在过去出现过的情况的数据的模型数据，上述处理部具有：输入上述作业状况的图像，从输入的上述图像识别上述作业者和上述作业对象物的区域的识别部；确定识别出的上述作业者和上述作业对象物的区域的位置关系中的组合的组合区域确定部；从上述数据记录部获取上述模型数据的模型获取部；基于上述组合区域确定部确定的上述作业者和上述作业对象物的区域的组合、和上述模型获取部获取的模型数据，计算上述作业者和上述作业对象物的区域的组合的异常度的异常度计算部。

Description

监控装置、其方法、及其系统
技术领域
本发明涉及监控装置，特别是涉及适合监控作业者和作业对象物之间的作业状况的技术。
背景技术
在专利文献1中，公开了分析作业者的动作路线、位置，为了减少不必要的动作来使各个作业效率化而对作业者的动作路线进行监控的系统。
专利文献1：日本特开2010－211626号公报
发明内容
在上述专利文献1中，记载了根据产品的坐标和作业者的相对的位置关系进行异常检测的方法。
然而，若仅以相对的位置关系进行异常检测，则有可能看漏针对绝对的位置的异常，或者，相对的位置关系和绝对的位置关系的组合中产生的异常。
因此，本发明的目的在于提供关于作业对象物的位置和作业者的位置关系，能够检测针对相对的位置关系、绝对的位置关系以及其组合的异常的监控装置。
作为本发明的优选的一个例子，一种监控装置，具有处理部和数据记录部，其特征在于，上述数据记录部保持：包含作业者和作业对象物的作业状况的图像数据、和包含表示上述作业者的区域和上述作业对象物的区域的位置关系的组合在过去出现过的情况的数据的模型数据，上述处理部具有：输入上述作业状况的图像，从输入的上述图像识别上述作业者和上述作业对象物的区域的识别部；确定识别出的上述作业者和上述作业对象物的区域的位置关系中的组合的组合区域确定部；从上述数据记录部获取上述模型数据的模型获取部；基于上述组合区域确定部确定的上述作业者和上述作业对象物的区域的组合、和上述模型获取部获取的模型数据，计算上述作业者和上述作业对象物的区域的位置关系中的组合的异常度的异常度计算部。
根据本发明，能够得到关于作业对象物的位置和作业者的位置关系，能够检测针对相对的位置关系、绝对的位置关系、以及其组合的异常的监控装置。
附图说明
图1是表示实施例的监控系统的构成的图。
图2是表示监控处理的流程图的图。
图3是说明图像数据的图。
图4是说明产品识别结果以及作业者识别结果的图。
图5是说明直积计算的概念的图。
图6是表示直积计算的例子的图。
图7是说明模型的管理编号的图。
图8是表示模型的例子的图。
图9是表示显示终端的显示的例子的图。
图10是表示监控装置的构成的图。
具体实施方式
以下，使用附图，对实施例进行说明。图1是表示监控系统的构成的图。本系统中，用设置在工厂内的照相机(102)来拍摄在工厂内进行作业的作业者(101)的作业状况。照相机(102)经由网络，与作为监控装置的服务器(105)连接。服务器(105)若从照相机(102)接受数据，则开始监控处理。服务器(105)的内部构成的图示省略，然而可以是服务器(105)内的CPU为了执行后述的监控处理的各步骤，而将程序读出到存储器来执行，也可以是利用专用的硬件来执行监控处理。服务器(105)经由网络，与设置在工厂内的显示终端(103)、信号灯(104)连接。
服务器(105)在进行了异常判定处理的结果，判断为异常的情况下，将异常信号发送到显示终端(103)、信号灯(104)。接受异常信号的显示终端(103)、信号灯(104)对在工厂内进行作业的作业者(101)通知异常产生。显示终端(103)的显示例在后面进行叙述。信号灯(104)通过发光，对作业者(101)通知异常产生。
图2是监控处理的流程图。本流程图在图1中的服务器(105)中实施。本流程图每获取一张图像数据时执行。图像数据是从图1中的照相机(102)获取。另外，除此以外，也有使用与图1中的照相机(102)不同的系统，例如，监控照相机系统等来获取图像数据，在数据库、文件夹中保存图像数据后，获取该图像数据的方法。
本流程图中，使用图像(201)表示图像数据的获取源。执行的频率基于预先设定的频率。通常，以1秒间5次到30次之间的频率来执行。首先，若在开始(204)中开始处理，则获取图像(201)，实施产品识别步骤(205)和作业者识别步骤(206)。图3表示图像(201)的数据形式。图像数据按红(R:Red)(301)、绿(G:Green)(302)、蓝(B:Blue)(303)的各个颜色，将与其颜色的强度相关的信息以矩阵型来保持。矩阵的行数和列数与图像(201)的纵方向的像素数、列方向的像素数一致。
各成分的数据如图3所示，有以0～255的范围的整数进行保持的情况和以0～1的范围的小数进行保持的情况。产品识别步骤(205)中，对成为映在图像(201)内的作业者进行作业的对象的产品的位置和大小进行确定。产品识别步骤(205)中确定的产品的位置和大小的数据以图4例示的格式输出。
图4的例中，识别出三个作为作业对象物的一个例子的产品。各行是图像(201)内，映出产品的区域的外接矩形的信息。通常，外接矩形的各边以与x轴或y轴平行的方式确定。第1列(401)表示外接矩形的左上的顶点的x坐标，第2列(402)表示外接矩形的左上的顶点的y坐标。另外，第3列(403)表示外接矩形的宽度，第4列(404)表示外接矩形的高度。另外，通常，坐标的原点设为图像(201)的左上的点，x轴设为朝右，y轴设为朝下。
产品识别步骤(205)中，作为确定出映在图像(201)内的产品的位置和大小的方法，有假设产品具有特定的颜色的情况下，将特定的颜色的像素的区域假定为产品的区域来进行确定的方法。在没有假设产品具有特定的颜色的情况下，也有使用ConvolutionNeural Network(卷积神经网络)等，预先使计算机学习产品的形状的特征量，确定具有类似的特征量的区域的方法等。
作业者识别步骤(206)中，对映在图像(201)内的作业者的位置和大小进行确定。作业者识别步骤(206)中确定出的作业者的位置和大小的数据以与作为产品识别步骤(205)的输出的图4例示的格式相同的格式进行输出。作业者识别步骤(206)中，作为对映在图像(201)内的作业者的位置和大小进行确定的方法，有假设作业者穿特定的颜色的衣服等，假设与颜色相关的前提的情况下，将特定的颜色的像素的区域假定为作业者的区域来进行确定的方法。
在没有假设作业者具有特定的颜色的情况下，也有预先使计算机学习作业者的形状的特征量，对具有类似的特征量的区域进行确定的方法等。在确定作业者的情况下，经常使用称为HOG特征量的特征量。接下来，直积数据计算步骤(207)中，取得产品识别步骤(205)中获取的产品的位置和大小的数据、和作业者识别步骤(206)中获取的作业者的位置和大小的数据的直积。由x坐标和y坐标构成的作业者和产品的位置和大小的数据成为能够确定产品和作业者的绝对的位置关系和相对的位置关系的数据。
计算二个数据的直积的例子如图5所示。该例中，计算直积前的二个数据(501)分别为(x1,x2,x3,x4)，(y1,y2,y3,y4)这样的4维的数据。取该二个数据的直积的结果(502)是将二个数据排列的8维的数据。
例如，x1为产品识别步骤(205)中输出的外接矩形的左上的顶点的x坐标，x2为产品识别步骤(205)中输出的外接矩形的左上的顶点的y坐标，x3为产品识别步骤(205)中输出的外接矩形的宽度，x4为产品识别步骤(205)中输出的外接矩形的高度。另外，y1为作业者识别步骤(206)中输出的外接矩形的左上的顶点的x坐标，y2为作业者识别步骤(206)中输出的外接矩形的左上的顶点的y坐标，y3为作业者识别步骤(206)中输出的外接矩形的宽度，y4为作业者识别步骤(206)中输出的外接矩形的高度。
如图6所示，产品识别步骤(205)、作业者识别步骤(206)中，在分别确定出多个区域的情况下，也计算多个直积数据。计算出的直积数据成为对多个作业者和多个产品的区域的各个组合进行确定的数据。例如，作为产品识别步骤(205)的结果(601)，假设确定出3处区域。产品识别步骤(205)的结果(601)中，第1列(6011)表示外接矩形的左上的顶点的x坐标，第2列(6012)表示外接矩形的左上的顶点的y坐标。另外，第3列(6013)表示外接矩形的宽度，第4列(6014)表示外接矩形的高度。
另外，作为作业者识别步骤(206)的结果(602)，假设确定出2处区域。在作业者识别步骤(206)的结果(602)中，第1列(6021)表示外接矩形的左上的顶点的x坐标，第2列(6022)表示外接矩形的左上的顶点的y坐标。另外，第3列(6023)表示外接矩形的宽度，第4列(6024)表示外接矩形的高度。
此时，计算6个直积数据(603)。直积数据中，第1列(6031)表示产品识别步骤(205)的结果的外接矩形的左上的顶点的x坐标，第2列(6032)表示产品识别步骤(205)的结果的外接矩形的左上的顶点的y坐标。另外，第3列(6033)表示产品识别步骤(205)的结果的外接矩形的宽度，第4列(6034)表示产品识别步骤(205)的结果的外接矩形的高度。
另外，第5列(6035)表示作业者识别步骤(206)的结果的外接矩形的左上的顶点的x坐标，第6列(6036)表示作业者识别步骤(206)的结果的外接矩形的左上的顶点的y坐标。另外，第7列(6037)表示作业者识别步骤(206)的结果的外接矩形的宽度，第8列(6038)表示作业者识别步骤(206)的结果的外接矩形的高度。
接下来，进入模型编号获取步骤(208)。本步骤中，获取用于异常检测的模型的管理编号。模型的管理编号(700)的例子如图7所示。模型的管理编号(700)由模型No(701)和帧No(702)构成。获取的模型No(701)是上一次执行本流程图时，用于异常检测的模型No(701)。另外，获取的帧No(702)是上一次执行本流程图时，在用于异常检测的帧No(702)上加1的No。然而，首次执行本流程图时，不能获取上一次执行时使用的模型No(701)、帧No(702)，所以仅在初次执行时，将模型No(701)和帧No(702)初始化为1。模型的管理编号(700)可以作为模型数据(1012)保存在图10的数据库部(1002)中，也可以与模型数据(1012)独立地保存在数据库部(1002)中。
另外，附加各管理编号的模型数据(1012)保存在模型(202)中。保存的模型数据(1012)的格式如图8所示。模型数据对于各直积数据可取的全部的值的组合，储存正常概率。本模型自身的制作方法另后述。
图8中的第1列(801)表示产品识别步骤(205)的结果的外接矩形的左上的顶点的x坐标，第2列(802)表示产品识别步骤(205)的结果的外接矩形的左上的顶点的y坐标。另外，第3列(803)表示产品识别步骤(205)的结果的外接矩形的宽度，第4列(804)表示产品识别步骤(205)的结果的外接矩形的高度。然而，不管哪一个都储存可取的值的组合的全部。图8中的第5列(805)表示作业者识别步骤(206)的结果的外接矩形的左上的顶点的x坐标，第6列(806)表示作业者识别步骤(206)的结果的外接矩形的左上的顶点的y坐标。
另外，第7列(807)表示作业者识别步骤(206)的结果的外接矩形的宽度，第8列(808)表示作业者识别步骤(206)的结果的外接矩形的高度。然而，不管哪一个，都储存可取的值的组合的全部。图8中的第9列(809)表示储存的正常概率，储存的值取0～1的值，在此储存作业者、产品存在的正常概率。该列是表示作业者和产品的相对的以及绝对的位置关系的特定的组合过去出现过的情况的数据的一个例子。
接下来，旋转移动判定步骤(209)中，基于图像(201)，进行产品的旋转判定。作为判定方法，能够在产品识别步骤(205)中的区域中，利用被称为光流的图像处理方法，计算各像素的速度矢量，评价各速度矢量是否成为圆状，来检测旋转。并且，也能够检测转速。旋转移动判定步骤的结果将是否进行了旋转作为逻辑型的变量保持。
旋转移动判定步骤(209)中，检测出旋转的情况下，进入模型复位步骤(210)，在模型No(701)中加1，而且，将帧No(702)初始化为1，进入模型获取步骤(211)。通过进行模型复位，针对产品旋转的情况的模型数据(1012)，能够通过新的模型No(701)进行管理。由此，能够基于过去产品旋转的情况的模型No(701)，提取旋转的情况的模型数据(1012)来求出旋转时的异常度。也可以将识别是否是旋转的模型的管理No、标志附加到模型数据(1012)中。
另外，旋转移动判定步骤(209)中，未检测出旋转的情况下，不经由模型复位步骤(210)，进入模型获取步骤(211)。模型获取步骤(211)中，从模型(202)获取模型数据。也可以是使用者选择性地指定要获取的模型数据的模型No(701)。
异常度计算步骤(212)中，基于模型获取步骤(211)中获取的模型信息，计算异常度。具体而言，获取模型数据中作为异常检测对象的直积数据相应的列的正常概率，从1减去它来作为异常度(203)并保存。异常度(203)与时间信息一起保存，将异常度的推移输出到显示终端(103)，从而能够在显示终端(103)中显示。接下来，图2中的数据保存步骤(214)中，将产品识别步骤(205)和作业者识别步骤(206)中识别出的数据作为识别数据(213)进行保存。
图1中的显示终端(103)中的输出例子如图9所示。图9表示显示终端(103)的画面。左侧的显示区域(901)中，示出在实时的图像上重叠异常判定结果的图像。本图中，左侧的作业者1表示正常(903)。另外，右侧的作业者2表示异常(904)。另外，本图中，工件1(905)和工件2(906)表示本系统的产品识别步骤(205)的识别结果。该例中，是识别出二个产品的例子。另外，本图中，画面下部的表(907)是异常度的显示。行显示针对各工件的信息。该例中，工件1表示在制造中旋转2次(旋转数)。另外，对用于异常检测的模型赋予的序列号表示为3。另外，表示针对作业者1的异常度为0.01，针对作业者2的异常度为0.02。
另外，工件2表示制造中旋转4次(旋转数)。另外，对用于异常检测的模型赋予的序列号表示为5。另外，表示针对作业者1的异常度为0.01，针对作业者2的异常度为0.82。右侧的显示区域(902)中，示出异常度的推移。本异常度的推移由于保存有通过图2所示的流程图计算出的异常度(203)，所以对于其过去的来历，显示预先设定的一定程度的期间量的数据。
图10是表示监控装置的构成的框图。本系统中，存在处理部(1001)、数据库部(1002)、接口部(1014)。处理部(1001)和数据库部(1002)分别经由网络与接口部(1014)连接。处理部(1001)中具有产品识别处理部(1003)、作业者识别处理部(1004)、直积数据计算处理部(1005)、模型初始化处理部(1006)、旋转移动判定处理部(1007)、模型复位处理部(1008)、模型获取处理部(1009)、异常度计算处理部(1010)、模型保存处理部(1020)。
产品识别处理部(1003)执行图2中的产品识别步骤(205)。作业者识别处理部(1004)执行图2中的作业者识别步骤(206)。直积数据计算处理部(1005)执行图2中的直积数据计算步骤(207)。模型初始化处理部(1006)执行图2中的模型编号获取步骤(208)。旋转移动判定处理部(1007)执行图2中的旋转移动判定步骤(209)。模型复位处理部(1008)执行图2中的模型复位步骤(210)。模型获取处理部(1009)执行图2中的模型获取步骤(211)。异常度计算处理部(1010)执行图2中的异常度计算步骤(212)。模型保存处理部(1020)执行图2中的数据保存步骤(214)。
在数据库部(1002)中保存图像数据(1011)、模型数据(1012)、异常度数据(1013)、识别数据(1021)。图像数据(1011)与图2中的图像(201)对应。模型数据(1012)与图2中的模型(202)对应。异常度数据(1013)与图2中的异常度(203)对应。识别数据(1021)与图2的识别数据(213)对应。接口部(1014)将来自图1中的照相机(102)的图像数据输入到数据库部(1002)、处理部(1001)，或者向显示终端(103)输出异常度、异常度的推移的数据，或向信号灯(104)输出异常。
最后，对图8中的模型的构建方法进行说明。图2中的数据保存步骤(214)中，将在产品识别步骤(205)和作业者识别步骤(206)中识别出的数据作为识别数据(213)进行保存。在图2的处理流程重复几次后，集中进行模型的更新。具体而言，模型保存处理部(1020)针对识别数据(213)，按各直积坐标，计算过去的出现频率，以该出现概率作为正常概率，将更新了正常概率的列的模型数据(1012)保存到数据库部(1002)。
作为求出正常概率的方法，基于与成为异常检测的对象的直积坐标相同的直积坐标在过去出现几次的出现频率来决定。例如，可以是将相同的模型No中的直积的数全部和成为异常检测的对象的直积出现的数的比例作为正常概率来求出，也可以是使用者等指定模型No的范围，根据多个模型数据(1012)中的过去的出现频率来求出正常概率。
根据本实施例，反复进行相同的作业的作业现场中，能够对与各产品和各作业者的位置关系相关的作业的异常、与作业区域相关的作业的异常的双方进行异常检测。并且，即使进行产品的旋转，也能够进行正确的异常检测。实施例中，举出了产品的例子，然而不限于产品，只要是作业状况中，与作业者一起成为图像识别的对象的作业对象物就能够适用本发明。
附图标记的说明
102…照相机，103…显示终端，104…信号灯，105…服务器，1001…处理部，1002…数据库部，1003…产品识别处理部，1004…作业者识别处理部，1005…直积数据计算处理部，1006…模型初始化处理部，1007…旋转移动判定处理部，1008…模型复位处理部，1010…异常度计算处理部，1011…图像数据，1012…模型数据，1013…异常度数据，1014…接口部。

Claims (10)

1.一种监控装置，具有处理部和数据记录部，其特征在于，
上述数据记录部保持图像数据和模型数据，该图像数据包含作业者和作业对象物的作业状况的图像数据，该模型数据包含表示上述作业者的区域和上述作业对象物的区域的位置关系的组合在过去出现过的情况的数据，
上述处理部具有：
识别部，其输入上述作业状况的图像，从输入的上述图像来识别上述作业者和上述作业对象物的区域；
组合区域确定部，其对识别出的上述作业者和上述作业对象物的区域的位置关系中的组合进行确定；
模型获取部，其从上述数据记录部获取上述模型数据；
异常度计算部，其基于上述组合区域确定部确定出的上述作业者和上述作业对象物的区域的组合、和上述模型获取部获取的模型数据，计算上述作业者和上述作业对象物的区域的位置关系中的组合的异常度。
2.根据权利要求1所述的监控装置，其特征在于，
上述识别部根据成为上述作业者的区域以及上述作业对象物的区域的代表的位置和大小来确定上述区域，
上述组合区域确定部是基于上述识别部中确定的上述位置和上述大小来计算直积的直积计算部，
上述异常度计算部基于上述直积和上述模型数据，计算各作业者和各作业对象物之间的异常度。
3.根据权利要求2所述的监控装置，其特征在于，
上述直积计算部计算上述作业者和上述作业对象物的位置关系中的多个组合的直积，上述异常度计算部基于计算出的直积和上述模型数据，计算上述作业者和上述作业对象物之间的异常度，接口部向显示终端输出上述异常度，
上述异常度计算部将计算出的异常度的履历记录到上述数据记录部，上述接口部将上述异常度的履历输出到上述显示终端。
4.根据权利要求2所述的监控装置，其特征在于，
成为上述代表的位置是包围上述作业者或上述作业对象物的外接矩形的任意的顶点的坐标，上述大小是上述外接矩形的宽度以及高度，基于上述顶点的坐标、上述外接矩形的宽度以及高度，上述直积计算部计算上述直积。
5.根据权利要求4所述的监控装置，其特征在于，
所述监控装置具有更新上述模型数据的模型保存处理部，上述模型保存处理部按每个上述直积，求出出现频率，按各直积计算正常概率，将上述正常概率作为上述模型数据记录，上述异常度计算部基于与确定出的上述作业者和作业对象物的区域的位置关系的组合对应的直积，从上述模型数据提取上述正常概率，基于提取的正常概率，计算确定出的作业者和作业对象物的区域的位置关系中的组合的异常度。
6.根据权利要求1所述的监控装置，其特征在于，
所述监控装置具有根据输入的上述作业状况的图像来检测上述作业对象物是否旋转的旋转移动判定部，在旋转了的情况下，模型复位部更新模型编号。
7.根据权利要求2所述的监控装置，其特征在于，
上述直积是将求出异常度的对象的各作业者和各作业对象物的上述位置和上述大小的4维数据进行了组合的8维的数据。
8.一种监控方法，其特征在于，具有：
第1工序，其输入包含作业者和作业对象物的作业状况的图像数据；
第2工序，其从输入的上述图像数据识别上述作业者和上述作业对象物的区域；
第3工序，其对识别出的上述作业者和上述作业对象物的区域的位置关系中的组合进行确定；
第4工序，其从记录部获取模型数据，该模型数据包含表示上述作业者的区域和上述作业对象物的区域的位置关系的组合在过去出现过的情况的数据；
第5工序，其基于在上述作业者和上述作业对象物的区域的位置关系中确定的组合和获取的上述模型数据，计算上述作业者和上述作业对象物的区域的位置关系的组合的异常度；
第6工序，其将上述作业者和上述作业对象物的上述区域的位置关系的组合的异常度输出给装置；
第7工序，其更新上述记录部的上述模型数据。
9.一种监控系统，具备监控装置和外部装置，该监控装置具有处理部和数据记录部，该外部装置从上述监控装置输出有关异常的状况，其特征在于，
上述数据记录部保持图像数据和模型数据，该图像数据是包含作业者和作业对象物的作业状况的图像数据，该模型数据包含表示上述作业者的区域和上述作业对象物的区域的位置关系的组合在过去出现过的情况的数据，
上述处理部具有：
识别部，其输入上述作业状况的图像，从输入的上述图像识别上述作业者和上述作业对象物的区域；
模型获取部，其从上述数据记录部获取上述模型数据；
异常度计算部，其基于识别出的上述作业者和上述作业对象物的区域和上述模型数据，计算上述作业者和上述作业对象物的区域的组合的异常度，
接口部，其具有向上述外部装置输出有关异常的数据。
10.根据权利要求9所述的监控装置，其特征在于，
上述外部装置是显示终端，上述显示终端显示从上述接口部输出的有关异常的数据。
CN201811028230.3A 2017-10-04 2018-09-04 监控装置、其方法、及其系统 Active CN109614281B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-193916 2017-10-04
JP2017193916A JP7080615B2 (ja) 2017-10-04 2017-10-04 監視装置、その方法および、そのシステム

Publications (2)

Publication Number Publication Date
CN109614281A true CN109614281A (zh) 2019-04-12
CN109614281B CN109614281B (zh) 2022-03-08

Family

ID=65897314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028230.3A Active CN109614281B (zh) 2017-10-04 2018-09-04 监控装置、其方法、及其系统

Country Status (3)

Country Link
US (1) US10380865B2 (zh)
JP (1) JP7080615B2 (zh)
CN (1) CN109614281B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003773A (ja) * 2011-06-15 2013-01-07 Nara Institute Of Science & Technology 画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラム
US20130088593A1 (en) * 2010-06-18 2013-04-11 Hitachi Construction Machinery Co., Ltd. Surrounding Area Monitoring Device for Monitoring Area Around Work Machine
JP2014085126A (ja) * 2012-10-19 2014-05-12 Ihi Corp 異物監視方法及び異物監視装置
CN105929799A (zh) * 2015-02-26 2016-09-07 株式会社日立制作所 作业者品质管理方法和作业者品质管理装置
CN106779418A (zh) * 2016-12-20 2017-05-31 河海大学常州校区 基于神经网络和证据理论的水污染事件智能决策方法
CN107093570A (zh) * 2016-02-17 2017-08-25 株式会社斯库林集团 基板保持状态异常的检查区域自动决定方法及处理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058205B2 (en) 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
JP5369778B2 (ja) 2009-03-11 2013-12-18 日本電気株式会社 動線モニタリングシステム、方法、及び、プログラム
JP6396029B2 (ja) 2014-02-21 2018-09-26 関電プラント株式会社 物品認識システムおよび物品管理方法
JP6524619B2 (ja) 2014-08-18 2019-06-05 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130088593A1 (en) * 2010-06-18 2013-04-11 Hitachi Construction Machinery Co., Ltd. Surrounding Area Monitoring Device for Monitoring Area Around Work Machine
JP2013003773A (ja) * 2011-06-15 2013-01-07 Nara Institute Of Science & Technology 画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラム
JP2014085126A (ja) * 2012-10-19 2014-05-12 Ihi Corp 異物監視方法及び異物監視装置
CN105929799A (zh) * 2015-02-26 2016-09-07 株式会社日立制作所 作业者品质管理方法和作业者品质管理装置
CN107093570A (zh) * 2016-02-17 2017-08-25 株式会社斯库林集团 基板保持状态异常的检查区域自动决定方法及处理装置
CN106779418A (zh) * 2016-12-20 2017-05-31 河海大学常州校区 基于神经网络和证据理论的水污染事件智能决策方法

Also Published As

Publication number Publication date
JP7080615B2 (ja) 2022-06-06
JP2019067271A (ja) 2019-04-25
CN109614281B (zh) 2022-03-08
US10380865B2 (en) 2019-08-13
US20190103006A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6794737B2 (ja) 情報処理装置、情報処理方法、プログラムおよび検査システム
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
KR102322546B1 (ko) 봉제 스티칭 불량 검출 방법 및 시스템
KR102470422B1 (ko) 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템
CN109324056B (zh) 一种基于机器视觉的缝纫线迹测量方法
KR20210091189A (ko) 자동 시각적 검사 공정에서 설정 단계의 최적화
US11769248B2 (en) Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image
JP6197340B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020144830A (ja) 作業分析装置及び作業分析プログラム
CN114519696A (zh) 基于光学智能化的pvc热收缩膜检测方法及系统
CN109614281A (zh) 监控装置、其方法、及其系统
JP7116162B2 (ja) 包装機のための仮想オーバーレイを作成する方法
EP3504643B1 (en) Method for placing pixels
Heleno et al. A machine vision quality control system for industrial acrylic fibre production
Shreya et al. Design of machine vision system for high speed manufacturing environments
CN113012137B (zh) 一种面板缺陷检查方法、系统、终端设备及存储介质
JP2023029227A (ja) スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス
CN112884071A (zh) 图像处理方法、装置、电子设备和存储介质
CN115104113A (zh) 作业率测量设备和作业率测量方法
CN118366001B (zh) 基于图像的自动脱挂钩装置异常检测方法
KR102623979B1 (ko) 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법
CN114637261B (zh) 一种基于云平台的工业制造系统及其控制方法
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法
WO2022091924A1 (ja) 支援システム、支援方法及び記憶媒体
WO2024071670A1 (ko) 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant