CN115485715B - 模型生成装置、异常判定装置、异常判定系统、模型生成方法及计算机可读取记录介质 - Google Patents
模型生成装置、异常判定装置、异常判定系统、模型生成方法及计算机可读取记录介质 Download PDFInfo
- Publication number
- CN115485715B CN115485715B CN202080099486.2A CN202080099486A CN115485715B CN 115485715 B CN115485715 B CN 115485715B CN 202080099486 A CN202080099486 A CN 202080099486A CN 115485715 B CN115485715 B CN 115485715B
- Authority
- CN
- China
- Prior art keywords
- moving image
- abnormality determination
- unit
- abnormality
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims description 10
- 238000004519 manufacturing process Methods 0.000 claims abstract description 93
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Factory Administration (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Image Analysis (AREA)
Abstract
模型生成装置(10)具有:确定部(103),其确定对在多个动作模式下动作的生产设备进行拍摄得到的动态图像所包含的每个动作模式的局部动态图像;以及模型生成部(104),其基于由确定部(103)确定出的每个动作模式的局部动态图像彼此具有的时序关系而生成用于根据对生产设备进行拍摄得到的动态图像来判定在生产设备中是否存在异常的异常判定模型。
Description
技术领域
本发明涉及模型生成装置、异常判定装置、异常判定系统、模型生成方法及计算机可读取记录介质。
背景技术
已知基于对空间进行拍摄得到的动态图像而判定在该空间中是否存在异常的技术。例如,在专利文献1中公开了以下技术,即,通过机器学习对在正常时拍摄到的动态图像进行学习而构建学习模型,基于构建出的学习模型而判定在动态图像中成为拍摄对象的空间中是否存在异常。在专利文献1中,学习模型是通过在类似的场景中对从现有的大量设置位置收集到的动态图像进行聚类、学习而构建的。
专利文献1:日本特开2018-173914号公报
发明内容
考虑通过将专利文献1所记载的技术应用于生产现场,从而根据对在生产现场中动作的生产设备进行拍摄得到的动态图像而判定在该生产设备中是否存在异常。
然而,生产设备有时在多个动作模式下进行动作。例如,在生产设备对应于多种产品的生产时,该生产设备针对每个所要生产的产品而在不同的动作模式下进行动作。
在这种情况下,有时要求以预先确定的顺序对动作模式进行切换。即,就在多个动作模式下进行动作的生产设备而言,有时在各个动作模式之间具有时序关系。
另一方面,在专利文献1所记载的技术中,通过在类似的场景中对收集到的动态图像进行聚类、学习而构建学习模型,因而无法使上述时序关系反映至学习模型。因此,存在以下问题,即,在产生了动作模式的切换顺序与预先确定的顺序不同这样的异常时,在专利文献1所记载的技术中,无法判定出这样的异常。
本发明的目的在于,鉴于上述情况,适当地判定出在多个动作模式下进行动作的生产设备的异常。
为了达成上述目的,本发明涉及的模型生成装置具有:
确定单元,其确定对在多个动作模式下动作的生产设备进行拍摄得到的动态图像所包含的每个动作模式的局部动态图像;以及模型生成单元,其基于由所述确定单元确定出的每个所述动作模式的局部动态图像彼此具有的时序关系而生成异常判定模型,该异常判定模型用于根据对所述生产设备进行拍摄得到的动态图像而判定在所述生产设备中是否存在异常。
发明的效果
根据本发明,能够适当地判定出在多个动作模式下进行动作的生产设备的异常。
附图说明
图1是表示本发明的实施方式涉及的异常判定系统的整体结构的图。
图2是表示本发明的实施方式涉及的模型生成装置的功能结构的框图。
图3是表示由本发明的实施方式涉及的模型生成装置的确定部进行的局部动态图像的确定的一个例子的图。
图4是表示本发明的实施方式涉及的异常判定装置的功能结构的框图。
图5是表示本发明的实施方式涉及的模型生成装置及异常判定装置的硬件结构的一个例子的图。
图6是表示由本发明的实施方式涉及的模型生成装置进行的模型生成的动作的一个例子的流程图。
图7是表示由本发明的实施方式涉及的异常判定装置进行的异常判定的动作的一个例子的流程图。
具体实施方式
以下,一边参照附图,一边对本发明的实施方式涉及的异常判定系统进行说明。在各附图中,对相同或等同的部分标注相同的标号。
(实施方式)
一边参照图1,一边对实施方式涉及的异常判定系统1进行说明。根据异常判定系统1,能够基于由拍摄装置40对在生产现场设置的生产设备30进行拍摄所得到的动态图像而判定在生产设备30中是否存在异常。异常判定系统1具有模型生成装置10、异常判定装置20、生产设备30和拍摄装置40。异常判定装置20与拍摄装置40可通信地连接。异常判定装置20与模型生成装置10经由网络NT而彼此可通信地连接。异常判定系统1是本发明涉及的异常判定系统的一个例子。
生产设备30是在工厂内的生产现场设置的用于生产产品的生产设备。生产设备30例如包含传送带、传感器、工业用机器人等产品生产所需的仪器。另外,生产设备30在多个动作模式下进行动作。例如,生产设备30能够生产多种产品,在根据种类而不同的动作模式下进行动作。生产设备30是本发明涉及的生产设备的一个例子。
拍摄装置40是对生产设备30进行拍摄而得到动态图像的拍摄装置。拍摄装置40例如是能够拍摄动态图像的数字摄像机。拍摄装置40将对生产设备30进行拍摄得到的动态图像发送至异常判定装置20。如后面叙述的那样,被发送至异常判定装置20的动态图像被用于由模型生成装置10进行的异常判定模型的生成及由异常判定装置20进行的异常判定。拍摄装置40是本发明涉及的拍摄单元的一个例子。
异常判定装置20从拍摄装置40取得由拍摄装置40对生产设备30进行拍摄得到的动态图像,基于所取得的动态图像和后述的异常判定模型而判定在生产设备30中是否存在异常。异常判定装置20从模型生成装置10取得异常判定模型。异常判定装置20为了由后述的模型生成装置10进行的模型生成而将取得的动态图像发送至模型生成装置10。异常判定装置20例如包含可编程逻辑控制器。关于异常判定装置20的功能结构,会在后面叙述。异常判定装置20是本发明涉及的异常判定装置的一个例子。
模型生成装置10经由异常判定装置20而取得由拍摄装置40对生产设备30进行拍摄得到的动态图像,基于所取得的动态图像而生成异常判定模型。异常判定模型是指异常判定装置20为了根据对生产设备30进行拍摄得到的动态图像而判定在生产设备30中是否存在异常而使用的模型。模型生成装置10例如通过针对对生产设备30进行拍摄得到的多个动态图像进行机器学习而生成异常判定模型。模型生成装置10将所生成的异常判定模型发送至异常判定装置20。模型生成装置10例如是工业用计算机、云服务器等计算机。关于模型生成装置10的功能结构,会在后面叙述。模型生成装置10是本发明涉及的模型生成装置的一个例子。
网络NT是将模型生成装置10与异常判定装置20可通信地连接的网络。网络NT例如是互联网。或者,网络NT也可以是工厂内网络、办公室内网络等本地网络。
接下来,参照图2,对模型生成装置10的功能结构进行说明。模型生成装置10具有控制部100、通信部110、存储部120和用户接口部130。
控制部100对模型生成装置10进行集中控制。特别地,控制部100具有动态图像取得部101、设定部102、确定部103、模型生成部104和模型发送部105。关于上述各功能部的详情,会在后面叙述。
通信部110经由网络NT而与异常判定装置20进行通信。特别地,通信部110从异常判定装置20接收对生产设备30进行拍摄得到的动态图像,向异常判定装置20发送异常判定模型。
存储部120对后述的模型生成所需的各种信息进行保存。特别地,存储部120保存从异常判定装置20取得的对生产设备30进行拍摄得到的动态图像和由用户设定的与后述的设定相关的信息。
用户接口部130接收来自用户的输入,对用户所需的信息进行通知。用户接口部130对与后述的模型生成的设定相关的信息进行显示,从用户接收与设定相关的输入。用户接口部130例如是触摸屏。或者,也可以是用于与外部的输入输出装置连接的接口。
以下,对控制部100所具有的各功能部进行说明。动态图像取得部101经由通信部110而从异常判定装置20取得对生产设备30进行拍摄得到的动态图像,将所取得的动态图像保存于存储部120。所取得、保存的动态图像供后述的确定部103及模型生成部104使用。
设定部102对用户接口部130进行控制,进行用于促使用户进行与模型生成的设定相关的输入的通知。设定部102从用户接口部130取得用户对通知进行响应而输入的与设定相关的信息。设定部102基于由用户输入的与设定相关的信息,进行模型生成所需的设定,将与设定相关的信息保存于存储部120。模型生成所需的设定例如是指在模型生成时所使用的动态图像的选择、后述的类似判定中的阈值的设定等。但是,这些设定并非是必须的。例如,关于动态图像的选择,例如也可以自动地选择最近48小时内的视频。另外,关于阈值,例如也可以采用在经验法则上优选的值。
确定部103确定在存储部120保存的动态图像所包含的每个动作模式的局部动态图像。例如,当生产设备30在“模式1”及“模式2”这2个动作模式下进行动作时,动态图像包含对在“模式1”下动作的生产设备30进行拍摄得到的局部动态图像和对在“模式2”下动作的生产设备30进行拍摄得到的局部动态图像。确定部103针对每个动作模式而确定动态图像所包含的这些局部动态图像。由确定部103确定出的局部动态图像在由后述的模型生成部104进行的异常判定模型的生成时使用。确定部103是本发明涉及的确定单元的一个例子。
确定部103例如通过时序性地对动态图像进行分析,从而确定各动作模式下的各局部动态图像。生产设备30通过周期性地反复进行相同的动作,从而持续地生产产品。因此,通常,在各个动作模式下,生产设备30进行周期性的动作。因此,“周期性的动作”发生变化的时间点是动作模式被切换的时间点。由此,通过时序性地对动态图像进行分析而确定动作模式被切换的时间点,从而能够确定动态图像所包含的各动作模式下的各局部动态图像。
另外,在存在多个成为确定的对象的动态图像时,如以下所说明的那样,能够更高精度地确定各动作模式下的各局部动态图像。以下,一边参照图3,一边进行说明。图3是表示确定部103针对动态图像A、动态图像B及动态图像C各自而确定与“模式1”相关的局部动态图像、与“模式2”相关的局部动态图像及与“模式3”相关的局部动态图像的例子的图。但是,如图3所示,动态图像C不包含与“模式2”相关的局部动态图像。
确定部103以帧为单位对动态图像A、动态图像B及动态图像C进行比较。能够期待在以帧为单位对与相同的动作模式相关的局部动态图像进行比较时,类似度变大,在以帧为单位对与不同的动作模式相关的局部动态图像进行比较时,类似度变小。因此,与时序性地对1个动态图像进行分析的情况相比,能够更高精度地确定动作模式被切换的时间点。
例如,考虑在“模式1”和“模式2”下,生产设备30的动作类似的情况。在这种情况下,在时序性地对1个动态图像进行分析而确定局部动态图像时,有可能将这2个动作模式汇总地确定为1个动作模式。另一方面,在以帧为单位对多个动态图像进行比较的方法中,当在1个动态图像中动作模式被切换时,动态图像间的帧的类似度减小,因而能够高精度地确定各局部动态图像。例如在图3中,最早从“模式1”切换为其它动作模式的是动态图像B。在动态图像B中,在动作模式从“模式1”切换为“模式2”的时间点,动态图像A及动态图像C中的动作模式仍然是“模式1”。因此,该时间点的以帧为单位的类似度小于在全部动态图像中动作模式都相同时的以帧为单位的类似度。
另外,在图3中,动态图像A及动态图像B包含与“模式2”相关的局部动态图像,但动态图像C不包含与“模式2”相关的局部动态图像。因此,通过包含动态图像C作为比较对象,从而与不包含动态图像C作为比较对象的情况相比,能够更高精度地区分、确定与“模式1”相关的局部动态图像及与“模式2”相关的局部动态图像。
再次参照图2。模型生成部104基于由确定部103确定出的每个动作模式的局部动态图像,生成用于根据对生产设备30进行拍摄得到的动态图像而判定在生产设备30中是否存在异常的异常判定模型而保存于存储部120。该异常判定模型在异常判定装置20中使用。特别地,模型生成部104基于每个动作模式的局部动态图像彼此具有的时序关系而生成异常判定模型。关于“时序关系”,会在后面叙述。在确定部103将多个动态图像作为对象而确定出局部动态图像时,模型生成部104基于与该多个动态图像相关的各局部动态图像而生成异常判定模型。模型生成部104例如通过将各局部动态图像设为学习对象的机器学习而生成异常判定模型。模型生成部104是本发明涉及的模型生成单元的一个例子。
以下,对“时序关系”进行说明。例如在图3所示的例子中,在“模式1”之后紧跟着“模式2”或“模式3”,在“模式2”之后紧跟着“模式3”。另外,在“模式2”之后未紧跟着“模式1”。这样,各局部动态图像彼此具有“时序关系”。在基于图3所示的动态图像A、动态图像B及动态图像C而构建了异常判定模型的情况下,在成为由异常判定装置20进行的异常判定的对象的动态图像是对以“模式2”、“模式1”、“模式3”的顺序切换动作模式的生产设备30进行拍摄所得的情况下,异常判定装置20判定为在生产设备30中存在异常。
再次参照图2。模型发送部105将由模型生成部104生成而在存储部120保存的异常判定模型经由通信部110发送至异常判定装置20。
接下来,一边参照图4,一边对异常判定装置20的功能结构进行说明。异常判定装置20具有控制部200、第1通信部210、第2通信部211、存储部220和显示部230。
控制部200对异常判定装置20进行集中控制。特别地,控制部200具有动态图像取得部201、模型取得部202、异常判定部203、异常通知部204和动态图像发送部205。关于上述各功能部的详情,会在后面叙述。
第1通信部210与拍摄装置40进行通信。特别地,第1通信部210从拍摄装置40接收由拍摄装置40拍摄到的生产设备30的动态图像。第1通信部210例如是可编程逻辑控制器的网络单元。
第2通信部211经由网络NT而与模型生成装置10进行通信。特别地,第2通信部211从模型生成装置10接收异常判定模型,将由拍摄装置40拍摄到的生产设备30的动态图像发送至模型生成装置10。第2通信部211例如是可编程逻辑控制器的网络单元。
存储部220对由拍摄装置40拍摄到的生产设备30的动态图像、由模型生成装置10生成的异常判定模型和表示由后述的异常判定部203得到的异常判定的结果的信息进行保存。存储部220是本发明涉及的存储单元的一个例子。
当在生产设备30中存在异常时,显示部230通过基于由后述的异常通知部204进行的控制对表示在生产设备30中存在异常这一情况的信息进行显示,从而将在生产设备30中存在异常这一内容通知给用户。显示部230例如是与可编程逻辑控制器的网络单元连接的液晶显示器。
以下,对控制部200所具有的各功能部进行说明。动态图像取得部201经由第1通信部210从拍摄装置40取得由拍摄装置40拍摄到的生产设备30的动态图像而保存于存储部220。动态图像取得部201是本发明涉及的动态图像取得单元的一个例子。
模型取得部202经由第2通信部211从模型生成装置10取得异常判定模型而保存于存储部220。
异常判定部203基于在存储部220保存的动态图像和在存储部220保存的异常判定模型而判定在生产设备30中是否存在异常。如前所述,特别地,异常判定模型是基于每个动作模式的局部动态图像彼此具有的时序关系而生成的,因而,异常判定部203能够判定有无与多个动作模式相关的时序异常。例如,在生产设备30的动作模式的切换顺序存在异常时,异常判定部203能够判定出存在该异常。异常判定部203是本发明涉及的异常判定单元的一个例子。
具体地说,异常判定部203例如像下面这样对在生产设备30中是否存在异常进行判定。首先,异常判定部203提取多个在存储部220保存的动态图像所包含的特征点的动作,将动态图像中的生产设备30的动作数值化。接下来,异常判定部203将数值化后的生产设备30的动作以何种程度与异常判定模型所示的动作模式的转变相匹配进行分值化。然后,异常判定部203基于分值而判定在生产设备30中是否存在异常。
异常通知部204在由异常判定部203判定为在生产设备30中存在异常时,对显示部230进行控制而通知在生产设备30中存在异常这一内容,将表示由异常判定部203得到的异常判定的结果的信息保存于存储部220。在存储部220保存的表示异常判定的结果的信息例如由生产设备30的管理者进行分析,被用于之后的防止异常产生的对策。
动态图像发送部205将在存储部220保存的动态图像经由第2通信部211而发送至模型生成装置10。通过由动态图像发送部205将动态图像发送至模型生成装置10,从而模型生成装置10能够取得生成异常判定模型所需的动态图像。
接下来,一边参照图5,一边对模型生成装置10及异常判定装置20的硬件结构的一个例子进行说明。图5所示的模型生成装置10如上所述由工业用计算机、云服务器等计算机实现,异常判定装置20例如由可编程逻辑控制器实现。
模型生成装置10及异常判定装置20具有经由总线1000而彼此连接的处理器1001、存储器1002、接口1003和次级存储装置1004。
处理器1001例如是CPU(Central Processing Unit:中央运算装置)。处理器1001通过将在次级存储装置1004存储的动作程序读入至存储器1002而执行,从而实现模型生成装置10及异常判定装置20的各功能。
存储器1002例如是由RAM(Random Access Memory)构成的主存储装置。存储器1002对由处理器1001从次级存储装置1004读入的动作程序进行存储。另外,存储器1002作为由处理器1001执行动作程序时的工作存储器而起作用。
接口1003例如是串行端口、USB(Universal Serial Bus)端口、网络接口等I/O(Input/Output)接口。由接口1003实现通信部110、第1通信部210及第2通信部211的功能。
次级存储装置1004例如是闪存、HDD(Hard Disk Drive)、SSD(Solid StateDrive)。次级存储装置1004对由处理器1001执行的动作程序进行存储。由次级存储装置1004实现存储部120及存储部220的功能。
接下来,一边参照图6,一边对由模型生成装置10进行的模型生成的动作的一个例子进行说明。此外,设为在开始图6所示的动作之前已经从异常判定装置20取得对生产设备30进行拍摄得到的动态图像并保存于存储部120。另外,图6所示的动作例如是在用户对用户接口部130进行操作,对模型生成装置10发出了进行模型生成的指示时开始的。
模型生成装置10的控制部100的设定部102接收来自对用户接口部130进行操作的用户的设定(步骤S11)。设定部102将接收到的与设定相关的信息保存于存储部120。用户例如通过选择在存储部120保存的大于或等于1个动态图像而对在模型生成中使用的动态图像进行设定。用户将生产设备30正常地进行动作时的动态图像设定为在模型生成中使用的动态图像。
控制部100基于在步骤S11中接收到的设定而选择在模型生成中使用的动态图像(步骤S12)。
控制部100的确定部103从在步骤S12中选择出的动态图像中确定与各动作模式相关的局部动态图像(步骤S13)。
控制部100的模型生成部104基于在步骤S13中确定出的各局部动态图像彼此具有的时序关系而生成异常判定模型,保存于存储部120(步骤S14)。
然后,控制部100结束模型生成的动作。
接下来,一边参照图7,一边对由异常判定装置20进行的异常判定的动作的一个例子进行说明。此外,设为在开始图7所示的动作之前已经从模型生成装置10取得异常判定模型并保存于存储部220。另外,图7所示的动作例如在生产设备30的动作开始时被执行,在生产设备30的动作过程中始终执行。
异常判定装置20的控制部200的动态图像取得部201从拍摄装置40取得由拍摄装置40拍摄到的生产设备30的动态图像而保存于存储部220(步骤S21)。
控制部200的异常判定部203基于在存储部220保存的动态图像和在存储部220保存的异常判定模型而判定在生产设备30中是否存在异常(步骤S22)。
在判定为没有异常时(步骤S23:No),控制部200反复进行从步骤S21开始的动作。
在判定为存在异常时(步骤S23:Yes),控制部200的异常通知部204对显示部230进行控制而向用户通知存在异常这一内容,将与异常相关的信息保存于存储部220(步骤S24)。然后,控制部200反复进行从步骤S21开始的动作。
上面,对实施方式涉及的异常判定系统1进行了说明。异常判定系统1的模型生成装置10从对在多个动作模式下进行动作的生产设备30进行拍摄得到的动态图像中确定各动作模式下的各局部动态图像,基于每个动作模式的局部动态图像彼此具有的时序关系而生成异常判定模型。并且,异常判定系统1的异常判定装置20基于对生产设备30进行拍摄得到的动态图像和由模型生成装置10生成的异常判定模型而判定在生产设备30中是否存在异常。因此,根据异常判定系统1,例如在动作模式的切换顺序存在异常时,能够判定出生产设备30的异常。即,根据异常判定系统1,在存在与动作模式相关的时序异常时,能够判定出生产设备30的异常。因此,根据异常判定系统1,能够适当地判定出在多个动作模式下进行动作的生产设备30的异常。
(变形例)
在实施方式中,将模型生成装置10和异常判定装置20设为独立的装置。另一方面,也可以将这些装置集成为1个异常判定装置。在这种情况下,集成后的异常判定装置是本发明涉及的异常判定系统的一个例子。
在实施方式中,设为由异常判定装置20将在模型生成中使用的动态图像发送至模型生成装置10。但是,也可以由与异常判定装置20不同的装置从拍摄装置40取得动态图像而发送至模型生成装置10。
在图5所示的硬件结构中,模型生成装置10及异常判定装置20具有次级存储装置1004。但不限于此,也可以是将次级存储装置1004设置于模型生成装置10及异常判定装置20的外部,经由接口1003而将模型生成装置10及异常判定装置20与次级存储装置1004连接的方式。在该方式中,USB闪存驱动器、存储卡等可移动介质也能够用作次级存储装置1004。
另外,也可以取代图5所示的硬件结构,由使用了ASIC(Application SpecificIntegrated Circuit:专用集成电路)、FPGA(Field Programmable Gate Array)等的专用电路构成模型生成装置10及异常判定装置20。另外,在图5所示的硬件结构中,也可以使模型生成装置10及异常判定装置20的功能的一部分例如由与接口1003连接的专用电路实现。
在模型生成装置10及异常判定装置20中使用的程序能够被储存于CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、USB闪存驱动器、存储卡、HDD等计算机可读取记录介质而进行发布。并且,通过将所述程序安装于特定或通用的计算机,从而能够使该计算机作为模型生成装置10及异常判定装置20起作用。
另外,也可以将上述程序预先储存于互联网上的其它服务器所具有的存储装置,从该服务器下载上述程序。
本发明能够在不脱离本发明的广义的精神和范围的情况下,实现各种实施方式及变形。另外,上述实施方式用于对本发明进行说明,并不是限定本发明的范围。即,本发明的范围不是由实施方式而是由权利要求书示出的。并且,在权利要求书的范围内及与其等同的发明的意义的范围内实施的各种变形被视为处在本发明的范围内。
标号的说明
1异常判定系统,10模型生成装置,20异常判定装置,30生产设备,40拍摄装置,100控制部,101动态图像取得部,102设定部,103确定部,104模型生成部,105模型发送部,110通信部,120存储部,130用户接口部,200控制部,201动态图像取得部,202模型取得部,203异常判定部,204异常通知部,205动态图像发送部,210第1通信部,211第2通信部,220存储部,230显示部,1000总线,1001处理器,1002存储器,1003接口,1004次级存储装置,NT网络。
Claims (5)
1.一种模型生成装置,其具有:
确定单元,其基于周期性的动作发生变化的时间点来确定对在多个动作模式下动作的生产设备进行拍摄得到的动态图像所包含的每个动作模式的局部动态图像,其中,该生产设备在各动作模式下进行所述周期性的动作;以及
模型生成单元,其基于由所述确定单元确定出的每个所述动作模式的局部动态图像彼此具有的时序关系而生成异常判定模型,该异常判定模型用于根据对所述生产设备进行拍摄得到的动态图像而判定在所述生产设备中是否存在异常。
2.一种异常判定装置,其具有:
存储单元,其对由权利要求1所述的模型生成装置生成的所述异常判定模型进行保存;
动态图像取得单元,其取得由拍摄单元对所述生产设备进行拍摄而得到的动态图像;以及
异常判定单元,其基于由所述动态图像取得单元取得的所述动态图像和在所述存储单元中保存的所述异常判定模型而判定在所述生产设备中是否存在异常。
3.一种异常判定系统,其具有:
权利要求1所述的模型生成装置;以及
权利要求2所述的异常判定装置。
4.一种模型生成方法,其中,
基于周期性的动作发生变化的时间点来确定对在多个动作模式下动作且在各动作模式下进行所述周期性的动作的生产设备进行拍摄得到的动态图像所包含的每个动作模式的局部动态图像,
基于确定出的每个所述动作模式的局部动态图像彼此具有的时序关系而生成异常判定模型,该异常判定模型用于根据对所述生产设备进行拍摄得到的动态图像而判定在所述生产设备中是否存在异常。
5.一种计算机可读取记录介质,其储存有程序,该程序使计算机作为以下单元而起作用:
确定单元,其基于周期性的动作发生变化的时间点来确定对在多个动作模式下动作的生产设备进行拍摄得到的动态图像所包含的每个动作模式的局部动态图像,其中,该生产设备在各动作模式下进行所述周期性的动作;以及
模型生成单元,其基于由所述确定单元确定出的每个所述动作模式的局部动态图像彼此具有的时序关系而生成异常判定模型,该异常判定模型用于根据对所述生产设备进行拍摄得到的动态图像而判定在所述生产设备中是否存在异常。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/038562 WO2022079783A1 (ja) | 2020-10-13 | 2020-10-13 | モデル生成装置、異常判定装置、異常判定システム、モデル生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115485715A CN115485715A (zh) | 2022-12-16 |
CN115485715B true CN115485715B (zh) | 2024-06-18 |
Family
ID=80737831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080099486.2A Active CN115485715B (zh) | 2020-10-13 | 2020-10-13 | 模型生成装置、异常判定装置、异常判定系统、模型生成方法及计算机可读取记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11854187B2 (zh) |
JP (1) | JP7013110B1 (zh) |
CN (1) | CN115485715B (zh) |
WO (1) | WO2022079783A1 (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250990A (ja) * | 2004-03-05 | 2005-09-15 | Mitsubishi Electric Corp | 作業支援装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4321455B2 (ja) | 2004-06-29 | 2009-08-26 | ソニー株式会社 | 状況認識装置、システム |
JP2009042915A (ja) * | 2007-08-07 | 2009-02-26 | Sony Corp | 電子機器、動きベクトル検出方法及びプログラム |
JP5526578B2 (ja) | 2009-04-01 | 2014-06-18 | 三菱マテリアル株式会社 | 粒子分散体の製造方法並びにこの粒子分散体を用いた酸化物半導体粒子、金属粒子及び半金属粒子の製造方法 |
JP6290760B2 (ja) * | 2014-09-25 | 2018-03-07 | Kddi株式会社 | 作業類似度算出方法、装置およびプログラム |
JP6113370B1 (ja) * | 2016-01-22 | 2017-04-12 | 三菱電機株式会社 | 記憶装置、制御装置、表示装置及び記憶方法 |
US11467565B2 (en) * | 2017-01-25 | 2022-10-11 | Mitsubishi Electric Corporation | Attack/abnormality detection device, attack/abnormality detection method, and attack/abnormality detection program |
JP6905850B2 (ja) | 2017-03-31 | 2021-07-21 | 綜合警備保障株式会社 | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 |
US10579932B1 (en) * | 2018-07-10 | 2020-03-03 | Uptake Technologies, Inc. | Computer system and method for creating and deploying an anomaly detection model based on streaming data |
US10699419B2 (en) * | 2018-09-10 | 2020-06-30 | Siemens Aktiengesellschaft | Tracking and traceability of parts of a product |
-
2020
- 2020-10-13 CN CN202080099486.2A patent/CN115485715B/zh active Active
- 2020-10-13 WO PCT/JP2020/038562 patent/WO2022079783A1/ja active Application Filing
- 2020-10-13 US US17/916,119 patent/US11854187B2/en active Active
- 2020-10-13 JP JP2021517493A patent/JP7013110B1/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250990A (ja) * | 2004-03-05 | 2005-09-15 | Mitsubishi Electric Corp | 作業支援装置 |
Also Published As
Publication number | Publication date |
---|---|
US11854187B2 (en) | 2023-12-26 |
WO2022079783A1 (ja) | 2022-04-21 |
US20230316498A1 (en) | 2023-10-05 |
JPWO2022079783A1 (zh) | 2022-04-21 |
JP7013110B1 (ja) | 2022-01-31 |
CN115485715A (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
CN108965795B (zh) | 摄像装置、系统以及方法 | |
US11651317B2 (en) | Work operation analysis system and work operation analysis method | |
CN108391147B (zh) | 显示控制装置和显示控制方法 | |
US11974039B2 (en) | Image capturing apparatus, control method, and computer-readable storage medium | |
CN113473086A (zh) | 视频播放的方法、装置、电子设备、智慧高速大屏 | |
CN115485715B (zh) | 模型生成装置、异常判定装置、异常判定系统、模型生成方法及计算机可读取记录介质 | |
US11216667B2 (en) | Information processing apparatus, method for information processing, and storage medium | |
EP3989533A1 (en) | Imaging apparatus, information processing method, and recording medium | |
JP2008100814A (ja) | エスカレータ監視装置、エスカレータ監視方法、エスカレータシステムおよびプログラム | |
US11954865B2 (en) | Image processing apparatus, image processing method, and storage medium for foreground extraction | |
US20240292082A1 (en) | Control apparatus, control method, and non-transitory computer-readable storage medium | |
EP3965412A1 (en) | Image capturing apparatus, method, and non-transitory computer-readable storage medium | |
US8965171B2 (en) | Recording control apparatus, recording control method, storage medium storing recording control program | |
JP7372876B2 (ja) | 異常検出システム、異常検出装置及び異常検出方法 | |
CN116919235A (zh) | 区域清洁的控制方法和装置、存储介质及电子装置 | |
CN109688348B (zh) | 信息处理装置、信息处理方法和存储介质 | |
WO2023139760A1 (ja) | データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体 | |
JP7221463B1 (ja) | 制御システム及びプログラマブルロジックコントローラ | |
US20240025046A1 (en) | Abnormality detection apparatus, abnormality detection method, and program | |
JP2021015476A5 (zh) | ||
JP7130170B1 (ja) | 異常検知プログラム、異常検知装置及び異常検知方法 | |
WO2024190550A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN116685914A (zh) | 可编程逻辑控制器、动态图像管理装置、动态图像管理系统、动态图像管理方法以及程序 | |
CN112738626A (zh) | 视频文件的目标检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |