CN117222590A - 卡纸预兆推测装置、卡纸预兆推测方法及程序 - Google Patents

卡纸预兆推测装置、卡纸预兆推测方法及程序 Download PDF

Info

Publication number
CN117222590A
CN117222590A CN202280029169.2A CN202280029169A CN117222590A CN 117222590 A CN117222590 A CN 117222590A CN 202280029169 A CN202280029169 A CN 202280029169A CN 117222590 A CN117222590 A CN 117222590A
Authority
CN
China
Prior art keywords
paper
jam
unit
sign
fricatives
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280029169.2A
Other languages
English (en)
Inventor
和田茉都加
松村俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN117222590A publication Critical patent/CN117222590A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H7/00Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles
    • B65H7/02Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors
    • B65H7/06Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors responsive to presence of faulty articles or incorrect separation or feed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H7/00Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles
    • B65H7/02Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors
    • B65H7/06Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors responsive to presence of faulty articles or incorrect separation or feed
    • B65H7/12Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors responsive to presence of faulty articles or incorrect separation or feed responsive to double feed or separation
    • B65H7/125Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors responsive to presence of faulty articles or incorrect separation or feed responsive to double feed or separation sensing the double feed or separation without contacting the articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H7/00Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles
    • B65H7/18Modifying or stopping actuation of separators
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G21/00Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2511/00Dimensions; Position; Numbers; Identification; Occurrences
    • B65H2511/50Occurence
    • B65H2511/52Defective operating conditions
    • B65H2511/524Multiple articles, e.g. double feed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2511/00Dimensions; Position; Numbers; Identification; Occurrences
    • B65H2511/50Occurence
    • B65H2511/52Defective operating conditions
    • B65H2511/528Jam
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2515/00Physical entities not provided for in groups B65H2511/00 or B65H2513/00
    • B65H2515/82Sound; Noise
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2553/00Sensing or detecting means
    • B65H2553/30Sensing or detecting means using acoustic or ultrasonic elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2557/00Means for control not provided for in groups B65H2551/00 - B65H2555/00
    • B65H2557/60Details of processes or procedures
    • B65H2557/63Optimisation, self-adjustment, self-learning processes or procedures, e.g. during start-up
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2801/00Application field
    • B65H2801/03Image reproduction devices
    • B65H2801/06Office-type machines, e.g. photocopiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Controlling Sheets Or Webs (AREA)

Abstract

卡纸预兆推测装置(100)是推测供纸装置(200)中的卡纸的预兆的卡纸预兆推测装置,具备:声音收集部(112),收集从保持多张纸(10)的保持部(270)向供纸装置(200)的内部供给纸(10)时产生的纸(10)彼此的摩擦音;推测部(114),基于将与摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无供纸装置(200)中的卡纸的预兆;以及输出部(116),在由推测部(114)推测为有卡纸的预兆的情况下,向供纸装置(200)输出停止向供纸装置(200)的内部供给纸(10)的信号。

Description

卡纸预兆推测装置、卡纸预兆推测方法及程序
技术领域
本公开涉及卡纸预兆推测装置、卡纸预兆推测方法及程序。
背景技术
例如在对打印机等图像读取装置或图像复印装置(所谓的扫描仪)等供给纸的供纸装置中,有时例如因纸的重送、斜送或订书钉订住等而发生卡纸。根据卡纸的程度,有时不仅作业停滞,而且纸损伤而变得无法使用。因此,要求提前检测卡纸的发生的技术。
例如,在专利文献1中,公开了如下技术:将从设置在介质支承部的一部分上的超声波发送部发送的超声波用设置在介质支承部的另一部分上的超声波接收部接收,基于接收到的超声波的声压来判定有无介质相对于载置面的浮起(以下,称作纸浮起)。
现有技术文献
专利文献
专利文献1:日本特开2020-142868号公报
发明内容
发明要解决的课题
但是,在专利文献1所记载的技术中,为了判定有无发生纸浮起而需要具备超声波发送部,难以说能够简便地推测有无卡纸的预兆(即,纸浮起的发生)。
本公开的目的是提供能够简便地预测有无卡纸的预兆的卡纸预兆推测装置、卡纸预兆推测方法及程序。
用来解决课题的手段
有关本公开的一技术方案的卡纸预兆推测装置,是推测供纸装置中的卡纸的预兆的卡纸预兆推测装置,具备:声音收集部,收集从保持多张纸的保持部向上述供纸装置的内部供给纸时产生的摩擦音;推测部,基于将与上述摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无上述供纸装置中的卡纸的预兆;以及输出部,在由上述推测部推测为有上述卡纸的预兆的情况下,向上述供纸装置输出停止向上述供纸装置的内部供给上述纸的信号。
发明效果
根据本公开,能够提供能够简便地推测有无卡纸的预兆的预兆推测装置、卡纸预兆推测方法及程序。
附图说明
图1是表示应用了有关实施方式1的卡纸预兆推测装置的供纸装置的一例的图。
图2是表示实施方式1的供纸装置的输送部的一例的图。
图3是表示有关实施方式1的卡纸预兆推测装置及供纸装置的结构的一例的图。
图4是表示实施方式1的卡纸的预兆的一例的图。
图5是表示有关实施方式1的卡纸预兆推测装置的动作的流程图。
图6是表示有关实施方式1的变形例1的卡纸预兆推测装置的结构的一例的图。
图7是表示有关实施方式2的卡纸预兆推测装置及供纸装置的结构的一例的图。
图8是表示有关实施方式2的卡纸预兆推测装置的动作的流程图。
图9是表示有关实施方式2的变形例1的卡纸预兆推测装置及供纸装置的结构的一例的图。
图10是表示有关实施方式2的变形例1的卡纸预兆推测装置的动作的流程图。
图11是用于说明在实施例1及实施例2中使用的机器学习模型的图。
图12是表示实施例1的结果的图。
图13是表示实施例2的结果的图。
图14是针对实施例2的4种纸将实施例1及实施例2的推测精度进行了比较的图。
具体实施方式
(本公开的概要)
有关本公开的一技术方案的卡纸预兆推测装置,是推测供纸装置中的卡纸的预兆的卡纸预兆推测装置,具备:声音收集部,收集从保持多张纸的保持部向上述供纸装置的内部供给纸时产生的摩擦音;推测部,基于将与上述摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无上述供纸装置中的卡纸的预兆;以及输出部,在由上述推测部推测为有上述卡纸的预兆的情况下,向上述供纸装置输出停止向上述供纸装置的内部供给上述纸的信号。
由此,卡纸预兆推测装置能够收集从保持部向供纸装置的内部供给纸时的摩擦音,基于将与收集到的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无在卡纸前发生的纸的浮起等的卡纸的预兆。因此,不需要如以往技术那样例如为了推测有无发生纸的浮起而具备超声波发送部,只要具备收集摩擦音的声音收集部即可。因而,卡纸预兆推测装置能够以比具备超声波照射部的结构少的结构简便地推测有无卡纸的预兆。
此外,卡纸预兆推测装置由于推测有无发生所供给的纸的浮起等的卡纸的预兆,所以不仅将卡纸的发生防止于未然,还能够抑制纸的破损。
在有关本公开的一技术方案的卡纸预兆推测装置中,输入到上述已学习模型的与上述摩擦音有关的信息也可以是上述摩擦音的频谱图的图像或频率特性的图像。
由此,卡纸预兆推测装置通过使用机器学习模型,能够更容易地提取图像的规则性(所谓的特征量)。因而,卡纸预兆推测装置能够更简便地推测有无卡纸的预兆。
在有关本公开的一技术方案的卡纸预兆推测装置中,上述摩擦音也可以是通过从上述保持部供给的上述纸与保持在上述保持部中的纸的摩擦而产生的非可听音。例如,上述非可听音也可以是超声波域的频率的声音。
由此,卡纸预兆推测装置基于从保持部供给纸时产生的摩擦音中的非可听音(例如,超声波域的频率的声音)推测有无纸的浮起,所以不易受到在卡纸预兆推测装置的周边产生的各种各样的可听音即作为噪声的声音的影响,收集精度变高。因此,卡纸预兆推测装置能够高精度地推测有无卡纸的预兆。
在有关本公开的一技术方案的卡纸预兆推测装置中,在上述机器学习模型的学习中使用的教师数据也可以包括:第1数据,由与上述摩擦音有关的信息和表示发生卡纸的注释构成;以及第2数据,由与上述摩擦音有关的信息和表示没有发生卡纸的注释构成。
由此,卡纸预兆推测装置的学习部的学习精度变高,所以能够高精度地推测有无卡纸的预兆。
在有关本公开的一技术方案的卡纸预兆推测装置中,也可以是,上述已学习模型包括与多个种类的纸分别对应的多个上述已学习模型;上述卡纸预兆推测装置还具备识别部,该识别部识别从上述保持部向上述供纸装置的内部供给的上述纸的种类的识别部;上述推测部基于由上述识别部识别出的上述纸的种类,将与上述摩擦音有关的信息输入到与识别出的上述纸的种类对应的上述已学习模型。
由此,卡纸预兆推测装置能够根据从保持部向供纸装置的内部供给的纸的种类,来切换要使用的已学习模型。因而,卡纸预兆推测装置能够根据纸的种类,高精度地推测有无卡纸的预兆。
在有关本公开的一技术方案的卡纸预兆推测装置中,上述识别部也可以基于由图像传感器、超声波传感器、光学传感器、重量传感器及机器学习中的至少某一个取得的数据来识别上述纸的种类。
由此,卡纸预兆推测装置能够使用将表示纸的特征的数据与纸的种类建立了对应的数据库、以及以表示纸的特征的数据为输入而输出被供给的纸10的种类的已学习模型中的至少某一个来识别纸的种类。因而,卡纸预兆推测装置能够高精度地识别纸的种类。
在有关本公开的一技术方案的卡纸预兆推测装置中,上述机器学习模型也可以是卷积神经网络模型。
由此,卡纸预兆推测装置通过使用卷积神经网络模型,能够更容易地提取出图像的规则性(所谓的特征量)。
此外,关本公开的一技术方案的卡纸预兆推测方法,是推测供纸装置中的卡纸的预兆的卡纸预兆推测方法,包括:声音收集步骤,收集从保持多张纸的保持部向上述供纸装置的内部供给纸时产生的摩擦音;推测步骤,基于将与上述摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无上述供纸装置中的卡纸的预兆;以及输出步骤,在推测为有上述卡纸的预兆的情况下,向上述供纸装置输出停止向上述供纸装置的内部供给上述纸的信号。
由此,卡纸预兆推测方法能够基于将与从保持部供给纸时的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无在卡纸前发生的纸的浮起等的卡纸的预兆。因此,不需要如以往技术那样例如为了推测有无发生纸的浮起而具备超声波发送部,只要收集摩擦音即可。因而,卡纸预兆推测装置能够以比具备超声波照射部的结构少的结构简便地推测有无卡纸的预兆。
此外,卡纸预兆推测方法由于推测有无发生被供给的纸的浮起等的卡纸的预兆,所以不仅将卡纸的发生防止于未然,还能够抑制纸的破损。
此外,有关本公开的一技术方案的程序是用于使计算机执行上述的卡纸预兆推测方法的程序。
由此,能够使用计算机起到与上述的卡纸预兆推测方法同样的效果。
另外,这些包含性或具体的技术方案也可以由系统、方法、装置、集成电路、计算机程序或计算机可读取的CD-ROM(Compact Disc Read Only memory)等的记录介质实现,也可以由系统、方法、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
以下,参照附图具体地说明本公开的实施方式。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例,不是限定权利要求的意思。此外,以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素而进行说明。此外,各图并不一定是严密地图示的。在各图中,对实质上相同的构成赋予相同的标号,有时将重复的说明省略或简略化。
此外,在本公开中,平行及垂直等的表示要素间的关系性的用语、矩形等的表示要素的形状的用语以及数值不是仅表示严格的意义,而是指实质上等同的范围,例如也包含几个百分点左右的差异。
(实施方式1)
以下,参照附图对实施方式1具体地进行说明。
[供纸装置]
首先,参照图1、图2及图3对供纸装置进行说明。图1是表示应用了有关实施方式1的卡纸预兆推测装置100的供纸装置200的一例的图。图2是表示实施方式1的供纸装置200的输送部210的一例的图。图3是表示有关实施方式1的卡纸预兆推测装置100及供纸装置200的结构的一例的图。
供纸装置200例如向对纸进行处理的处理装置(未图示)等供给纸。处理装置既可以是将所供给的纸自身进行加工或对纸施以加工的加工装置,也可以是将印刷在被供给的纸上的字符、标记、图等的信息复印到其他记录介质的复印装置,也可以是将该信息读取并作为模拟的图像信号来输出的输出装置。
如图1所示,供纸装置200例如具备从保持多张纸10(参照图2)的保持部270供给纸10的供给口260、从供给口260供给纸10的供纸辊212、将从供给口260供给的纸10一张张地分离的分离辊214、以及向与分离辊214的旋转方向相反方向旋转的减速辊(retardrollers)216。在图1中,图2所示的多张纸10被图示为纸捆20,从容易观察的观点出发附加了斜线。另外,虚线圆是在从保持部270供给纸10时,被供给的纸10的一部分浮起的部位。以下,将该部位也称作纸浮起发生部位30。关于供给时的纸的浮起,在后面叙述。
接着,参照图2对输送部210进行说明。在图2中,从容易观察的观点出发,省略了供给口260及保持部270的图示,但多张纸10作为纸捆20被保持部270保持,从供给口260供给纸10。
如图2所示,供纸辊212、分离辊214和减速辊216分别是输送部210的一构成。输送部210将从保持部270供给的纸10一张张地分离并输送。以下,有时将供纸辊212a及供纸辊212b统称为供纸辊212,将分离辊214a及分离辊214b统称为分离辊214,将减速辊216a及减速辊216b统称为减速辊216。
供纸辊212a及供纸辊212b以抵接于由保持部270保持的纸捆20的多张纸10中的处于最上位的纸10的方式上下移动自如地设置,并且将多张纸10中的处于最上位的纸10拾取并从供给口260供给。供纸辊212构成为,能够根据伴随于纸10的供给而发生的保持部270内的纸捆20的厚度的变化,使位置容易地变化。另外,供纸辊212也可以被设置为,与纸捆20的多张纸10中的处于最下位的纸10抵接。在此情况下,供给口260位于纸捆20的下方。
分离辊214a及分离辊214b将由供纸辊212供给的纸10一张张地分离。这里,分离辊214a及分离辊214b和与分离辊214a及分离辊214b对置配置的减速辊216a及减速辊216b一起,作为将纸10一张张地分离的分离部发挥功能。减速辊216使重叠于与分离辊214抵接的纸10而供给的纸10回到保持部270侧。
接着,对输送部210的具体的动作进行说明。首先,供纸辊212通过向箭头A方向旋转,将由保持部270保持的多张纸10中的处于最上位的纸10拾取并从供给口260向箭头D方向供给。接着,分离辊214通过向箭头B方向旋转,将与分离辊214抵接的纸10向箭头D方向供给。此时,减速辊216通过向箭头C方向旋转,将与减速辊216抵接的纸10向与箭头D相反的方向送回。由于减速辊216的转矩是受限制的,所以在被供给的纸10是一张的情况下,通过分离辊214的运动,将纸10向箭头D方向供给。此外,例如在2张纸10重叠的状态下由供纸辊212供给的情况下,将与分离辊214抵接的纸10向箭头D方向供给,将与减速辊216抵接的纸10向与箭头D相反的方向送回。
通过以上的动作,输送部210能够将通过供纸辊212从供给口260供给的纸10一张张地分离并供给到处理装置。由此,输送部210能够减少从保持部270供给的纸10的重送,所以能够减少供纸装置200中的卡纸。
接着,参照图3对供纸装置200的功能结构进行说明。这里,关于参照图1及图2说明的结构,将说明省略或简略化。
如图3所示,供纸装置200例如具备输送部210、驱动部220、对驱动部220的动作进行控制的控制部230、存储部240和通信部250。
驱动部220使输送部210的供纸辊212、分离辊214及减速辊216分别驱动。例如,驱动部220包括1个或多个马达,按照来自控制部230的控制信号,使供纸辊212、分离辊214及减速辊216旋转。
如上述那样,控制部230进行用来进行输送部210的动作的控制的信息处理。控制部230例如可以由微型计算机实现,也可以由处理器或专用电路实现。
存储部240是存储控制部230执行的控制程序等的存储装置。存储部240例如由半导体存储器实现。
通信部250是用于供纸装置200经由局部通信网络与卡纸预兆推测装置100及处理装置(未图示)进行通信的通信模块(通信线路)。由通信部250进行的通信例如可以是无线通信也可以是有线通信。关于在通信中使用的通信标准,没有特别限定。
[卡纸预兆推测装置]
[1.概要等]
接着,参照图1及图4对有关实施方式1的卡纸预兆推测装置100的概要等进行说明。图4是表示实施方式1的卡纸的预兆的一例的图。另外,在图4中也与图2同样,从容易观察的观点出发省略保持部270的图示。
卡纸预兆推测装置100是推测有无供纸装置200中的卡纸的预兆的装置。具体而言,卡纸预兆推测装置100收集从保持多张纸10的保持部270向供纸装置200的内部供给纸10时产生的摩擦音,基于将与收集到的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无供纸装置200中的卡纸的预兆。并且,卡纸预兆推测装置100在推测为有卡纸的预兆的情况下,向供纸装置200输出停止从保持部270向供纸装置200的内部供给纸10的信号。
另外,已学习模型是已学习的机器学习模型。已学习模型通过由学习部140进行的学习而得到。已学习模型通过对从保持部270向供纸装置200的内部供给纸10时产生的摩擦音与有无卡纸预兆的关系进行学习来构建。输入到已学习模型中的与摩擦音有关的信息例如是摩擦音的频谱图(spectrogram)的图像或频率特性的图像。
摩擦音例如是在从保持部270供给纸10时通过被供给的纸10与保持在保持部270中的纸10的摩擦而产生的摩擦音。保持在保持部270中的纸10中也包括纸10的一部分保持在保持部270中的纸10。此外,摩擦音例如是从保持部270供给的纸10相对于供给口260不是笔直地供给而是斜着供给时通过被供给的纸10与保持在保持部270中的纸10的摩擦而产生的摩擦音,或者是通过被供给的纸10与保持部270的内壁或供给口260的周围的部件的摩擦而产生的摩擦音。此外,摩擦音例如也可以是在被供给的纸10的一部分弯折、褶皱或贴有便签或密封条等的纸10的状态与通常不同的情况下发生的摩擦音。摩擦音也可以包括能由人耳听到的可听音及不能由人耳听到的非可听音,但也可以是非可听音。非可听音例如是超声波域的频率的声音。在摩擦音是超声波域的频率的声音的情况下,该摩擦音的频带也可以是60kHz以上95kHz以下,其中,也可以是75kHz以上95kHz以下,还可以是80kHz以上95kHz以下,特别也可以是85kHz以上90kHz以下。
从保持部270供给的纸10既可以是1张,也可以是多张。该纸10被后述的分离辊214及减速辊216一张张地分离并被供给到处理装置。此外,被保持部270保持并且与被供给的纸10发生摩擦的纸10既可以是被保持部270保持的多张纸10中的位于最上位的纸10,也可以是包括位于最上位的纸10的多张纸10。卡纸预兆推测装置100收集从保持部270向供纸装置200的内部供给纸10时产生的摩擦音,基于将与收集到的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无供纸装置200中的卡纸的预兆。
供纸装置200的卡纸的预兆是卡纸的前兆,是在因引起卡纸的原因而即将发生卡纸之前产生的现象。例如,如图4所示,对卡纸的原因是被供给的纸10被用订书钉15订上(以下也称作订书钉订住)的情况进行说明。例如,在由供纸辊212向箭头D方向输送被用订书钉15订上的多张纸10的情况下,只有被用订书钉15订上的多张纸10中的与分离辊214抵接的纸10被分离辊214向箭头D方向输送。此时,该纸10以被用订书钉15订上的部位为中心浮起。发生该现象的是图1及图4所示的纸浮起发生部位30。并且,如果该纸10进一步被分离辊214向箭头D方向输送,则该纸10以被用订书钉15订上的部位为中心旋转而歪斜。并且,如果该纸10进一步被分离辊214继续向箭头D方向输送,则发生卡纸。这样,从保持部270供给的纸10的一部分浮起的现象的发生是卡纸的预兆。卡纸预兆推测装置100基于通过将与从保持部270供给的纸10与被保持部270保持的多张纸10的摩擦而产生的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无卡纸的预兆。
这里,作为卡纸的原因而以订书钉订住为例进行了说明,但卡纸的原因并不限于此。卡纸的原因例如也包括被供给的纸10的一部分弯折、被供给的纸10上贴有签条等、被供给的纸10的一部分通过浆糊等与其他纸10粘接、或例如纸10的表面的粗糙等的被供给的纸10的纸质与其他的纸10不同等的情况。
另外,在从保持部270供给纸10时被供给的纸10的一部分浮起的是分离辊214的附近,特别是分离辊214与供纸辊212之间。例如,在由供纸辊212将两张以上的纸10重送的情况下,被供给的纸10的一部分浮起的部位也可以是分离辊214与两张以上的纸10中的处于最上位的纸10抵接的部位的跟前侧。这里,跟前侧是指与纸10的供给方向(图中的箭头D的方向)相反的方向。即,跟前侧是从保持部270观察供给口260时的保持部270侧。
如以上这样,在分离辊214仅将由供纸辊212重送的两张以上的纸10中的与分离辊214抵接的纸10分离并向处理装置侧送出时,卡纸预兆推测装置100能够基于将与纸10彼此的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无发生被供给的纸10的一部分浮起(纸浮起)。因此,卡纸预兆推测装置100例如能够在发生了纸浮起的纸10旋转等而相对于供给方向斜着被供给之前停止纸10的供给。因而,卡纸预兆推测装置100不仅能够减少卡纸的发生,还能够抑制被供给的纸10弯折、褶皱或破裂等的破损的情况。
另外,纸10彼此的摩擦音例如通过被供给的纸10与保持在保持部270中的纸10之间的摩擦而产生。保持在保持部270中的纸10中也包括纸10的一部分保持在保持部270中的纸10。因此,例如在由供纸辊212将两张以上的纸10向分离辊214侧重送而在分离辊214附近发生纸浮起的情况下,纸10彼此的摩擦音是通过与分离辊214抵接的纸10和没有与分离辊214抵接的其他纸10的摩擦而产生的摩擦音。
进而,卡纸预兆推测装置100不需要为了推测有无卡纸的原因(即卡纸的预兆)而向保持在保持部270中的多张纸10照射超声波来推测被照射的超声波的反射波,收集作为超声波域的频率的声音的纸10彼此的摩擦音。即,卡纸预兆推测装置100不用具备主动方式的超声波传感器,而只要具备被动方式的超声波传感器即可,所以能够以更简单的结构推测有无卡纸的预兆。
[2.结构]
接着,参照图3对卡纸预兆推测装置100的结构进行说明。
卡纸预兆推测装置100具备信息处理部110、存储部120、通信部130和学习部140。以下,对各结构进行说明。
[信息处理部]
信息处理部110进行与卡纸的预兆推测有关的信息处理。信息处理部110例如由微型计算机或处理器实现。具体而言,信息处理部110具备声音收集部112、推测部114和输出部116。
[声音收集部]
声音收集部112收集从保持多张纸10的保持部270供给纸10时产生的纸10彼此的摩擦音。更具体地讲,声音收集部112收集通过从保持部270供给的纸10与保持在保持部270中的纸10的摩擦而产生的摩擦音。声音收集部112例如是麦克风。在此情况下,声音收集部112将收集到的摩擦音变换为电信号,将电信号输出给推测部114。
此外,在声音收集部112是麦克风的情况下,声音收集部112被设置到能够收集纸10彼此的摩擦音的位置。例如,声音收集部112也可以设置在比分离辊214的位置靠保持部270侧的位置、即从保持部270观察分离辊214时的跟前侧。更具体地讲,声音收集部112也可以设置在保持部270的上方。其中,声音收集部112也可以设置在供给口260的附近。供给口260的附近例如是指从供给口260与分离辊214之间的中间位置到供纸辊212的上部为止。特别是,声音收集部112也可以在供给口260的上部的位置上、并且在与从保持部270供给纸10的方向交叉的方向上与供纸辊212并排设置。更具体地讲,声音收集部112也可以在供给口260的上部的位置上、并且在与从保持部270供给纸10的方向交叉的方向上在与供纸辊212相同高度的位置上并排设置。声音收集部112只要设置在不与供给的纸10接触的高度即可,例如也可以在与供纸辊212的旋转轴相同的高度的位置上与供纸辊212并排设置。
另外,声音收集部112只要设置在能够收集纸10彼此的摩擦音的位置即可,并不限定于供给口260的上部的位置。例如,声音收集部112也可以设置在供给口260的下部的位置,也可以设置在供给口260的侧面。
另外,在图3中,表示了卡纸预兆推测装置100具备1个声音收集部112的例子,但也可以具备两个以上的声音收集部112。例如,多个(即两个以上的)声音收集部112也可以在与从保持部270供给纸10的方向交叉的方向上将供纸辊212夹在中心而设置。
[推测部]
推测部114使用保存在存储部120中的已学习的机器学习模型(所谓的已学习模型),基于通过将与由声音收集部112收集到的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无卡纸的预兆。关于推测部114的具体的动作在后面叙述。
输入到已学习模型中的与摩擦音有关的信息例如是摩擦音的频谱图的图像或频率特性的图像。该信息例如是JPEG(Joint Photographic Experts Group:联合图像专家小组)或BMP(Basic Multilingual Plane:基本多文种平面)等形式的图像数据,但也可以不是图像数据。在此情况下,该信息例如也可以是WAV(Waveform Audio File Format:波形音频文件格式)等形式的数值数据(更详细地讲,时间序列的数值数据)。该信息例如也可以包含摩擦音的频带、摩擦音的持续时间、声压及波形中的至少1个。
此外,输出结果例如可以是有无卡纸的预兆,也可以是有无摩擦的减少,也可以是摩擦音的绝对值或与规定值的相对值。有无纸10彼此的摩擦的减少也可以是表示摩擦音(更具体地讲,摩擦音的声压)是否比预先设定的规定值减少了(例如,如果是声压的差分的绝对值则为是否比规定值增加了)的信息。
[输出部]
输出部116在由推测部114推测为有卡纸的预兆的情况下,向供纸装置200输出停止从保持部270向供纸装置200的内部供给纸10的信号。
[存储部]
存储部120是存储信息处理部110执行的计算机程序等的存储装置。存储部120也可以暂时地存储教师数据及与由声音收集部112收集到的摩擦音有关的数据。存储部120将所存储的已学习模型更新为由学习部140生成的机器学习模型(所谓的已学习模型)。存储部120由半导体存储器或HDD(Hard Disk Drive)等实现。
[通信部]
通信部130是卡纸预兆推测装置100用来与供纸装置200进行通信的通信路径。通信部130与供纸装置200的通信既可以直接进行,也可以经由未图示的无线路由器等的中继装置进行。通信部130例如可以是进行无线通信的无线通信电路,也可以是进行有线通信的有线通信电路。关于通信部130进行的通信的通信标准,没有特别限定。
[学习部]
学习部140使用教师数据进行机器学习。例如,学习部140通过机器学习,制作以与摩擦音有关的信息为输入,输出有无卡纸的预兆的机器学习模型。输出既可以是有无卡纸的预兆,也可以是有无纸10彼此的摩擦的减少。已学习模型通过对纸10彼此的摩擦音与有无卡纸预兆的关系进行学习来构建。关于卡纸的预兆在前面叙述了,所以省略这里的说明。
在机器学习模型的学习中使用的教师数据,例如包括由与摩擦音有关的信息和表示卡纸的发生(换言之,有卡纸的预兆)的注释构成的第1数据、以及由与摩擦音有关的信息和表示没有发生卡纸(换言之,无卡纸的预兆)的注释构成的第2数据。更具体地讲,教师数据例如包括对摩擦音的频谱图的图像或频率特性的图像赋予了有卡纸的预兆的标签的第1数据、以及对摩擦音的频谱图的图像或频率特性的图像赋予了无卡纸的预兆的标签的第2数据。更具体地讲,教师数据是包含多个组的数据集,上述组是与过去收集到的摩擦音有关的信息和表示有无发生卡纸的卡纸信息的组。
机器学习模型例如是神经网络模型,更具体地讲是卷积神经网络(CNN)模型。机器学习模型也可以不是CNN,没有特别限定,但例如在与摩擦音有关的信息是时间序列的数值数据(例如,摩擦音的频谱图或频率特性的时间序列数值数据)的情况下,也可以是递归型神经网络(RNN:Recurrent Neural Network)模型。即,机器学习模型也可以根据输入数据的形式而适当选择。由学习部140生成的已学习的机器学习模型(所谓的已学习模型)包含通过机器学习进行了调整的已学习参数。学习部140将所生成的已学习模型保存在存储部120中。学习部140例如通过由处理器执行保存在存储部120中的程序来实现。
[3.动作]
接着,对卡纸预兆推测装置100的动作进行说明。图5是表示有关实施方式1的卡纸预兆推测装置100的动作的流程图。
如图5所示,声音收集部112收集从保持部270向供纸装置200的内部供给纸10时产生的纸10彼此的摩擦音(S101)。这里,声音收集部112例如是麦克风,将收集到的摩擦音变换为电信号,将变换后的电信号输出给推测部114。麦克风中包括麦克风装置。例如,声音收集部112既可以是能够收集非可听音的麦克风,也可以是收集可听音及非可听音并能够提取特定频带的声音的麦克风。进而,声音收集部112也可以是具有指向性的麦克风。声音收集部112例如也可以是MEMS麦克风。非可听音例如是超声波域的频率的声音。例如,在推测部114以与收集到的摩擦音中的非可听音有关的信息为输入的情况下,声音收集部112也可以将收集到的摩擦音中的非可听音(例如超声波域的频率的声音)提取并变换为电信号,将变换后的电信号输出给推测部114。
接着,推测部114将与由声音收集部112收集到的摩擦音有关的信息输入到已学习模型中,取得输出结果(S102)。更具体地讲,在步骤S102中,首先,推测部114取得从声音收集部112输出的电信号,通过PCM(Pulse Code Modulation:脉冲编码调制)等将所取得的电信号变换为数字信号。此时,例如推测部114也可以取得由声音收集部112收集到的包含可听音及非可听音的摩擦音的电信号,将该电信号变换为数字信号之后,提取非可听音的数字信号。接着,推测部114基于数字信号生成摩擦音的频谱图的图像或频率特性的图像。另外,摩擦音的频谱图的图像或频率特性的图像是被输入到已学习模型中的与摩擦音有关的信息,但也可以将数字信号(即,摩擦音的频谱图或频率特性的时间序列数值数据)作为与摩擦音有关的信息来使用。接着,推测部114将所生成的与摩擦音有关的信息输入到已学习模型中并取得输出结果。如上述那样,输出结果既可以是有无卡纸的预兆,也可以是有无纸10彼此的摩擦的减少,也可以是摩擦音的绝对值或与规定值的相对值。
接着,推测部114基于在步骤S102中取得的输出结果,推测有无卡纸的预兆(S103)。在步骤S103中,由推测部114推测为有卡纸的预兆的情况下(S104中为“是”),输出部116向供纸装置200输出停止从保持部270向供纸装置200的内部供给纸10的信号(S105)。更具体地讲,在步骤S104中,在从已学习模型取得了“有卡纸的预兆”的输出结果的情况下,推测部114基于该输出结果,推测为有卡纸的预兆。此外,在步骤S104中,在从已学习模型取得了“有纸10彼此的摩擦的减少”的输出结果的情况下,推测部114也可以基于该输出结果而推测为有卡纸的预兆。
另一方面,在步骤S103中,由推测部114推测为无卡纸的预兆的情况下(S104中为“否”),卡纸预兆推测装置100回到步骤S101的处理。更具体地讲,在步骤S104中,在从已学习模型取得了“无卡纸的预兆”的输出结果的情况下,推测部114基于该输出结果,推测为无卡纸的预兆。此外,在步骤S104中,在从已学习模型取得了“没有纸10彼此的摩擦的减少”的输出结果的情况下,推测部114基于该输出结果,推测为无卡纸的预兆。
卡纸预兆推测装置100每当从保持部270供给纸10,就反复执行上述的处理流程。
[4.效果等]
如以上说明,有关实施方式1的卡纸预兆推测装置100是推测供纸装置200中的卡纸的预兆的卡纸预兆推测装置,具备:声音收集部112,收集从保持多张纸10的保持部270向供纸装置200的内部供给纸10时产生的摩擦音;推测部114,基于将与摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无供纸装置200中的卡纸的预兆;以及输出部116,在由推测部114推测为有卡纸的预兆的情况下,向供纸装置200输出停止向供纸装置200的内部供给纸10的信号。
由此,卡纸预兆推测装置100能够收集从保持部270向供纸装置200的内部供给纸10时的摩擦音,基于将与收集到的摩擦音有关的信息输入到已学习模型中而得到的输出结果,推测有无在卡纸前发生的纸10的浮起等的卡纸的预兆。因此,不需要如以往技术那样例如为了推测有无发生纸10的浮起而具备超声波发送部,只要具备收集摩擦音的声音收集部112即可。因而,卡纸预兆推测装置100能够以比具备超声波照射部的结构少的结构简便地推测有无卡纸的预兆。
此外,卡纸预兆推测装置100由于推测有无发生被供给的纸10的浮起等的卡纸的预兆,所以不仅能够将卡纸的发生防止于未然,还能够抑制纸10的破损。
在有关实施方式1的卡纸预兆推测装置100中,输入到已学习模型中的与摩擦音有关的信息也可以是摩擦音的频谱图的图像或频率特性的图像。
由此,卡纸预兆推测装置100通过使用机器学习模型,能够更容易地提取图像的规则性(所谓的特征量)。因而,卡纸预兆推测装置100能够更简便地推测有无卡纸的预兆。
在有关实施方式1的卡纸预兆推测装置100中,摩擦音也可以是通过从保持部270供给的纸10与保持在保持部270中的纸10的摩擦而产生的非可听音。在此情况下,非可听音也可以是超声波域的频率的声音。
由此,卡纸预兆推测装置100基于从保持部270供给纸10时产生的摩擦音中的非可听音(例如,超声波域的频率的声音)推测有无纸10的浮起,所以不易受到在卡纸预兆推测装置的周边产生的各种各样的可听音、即作为噪声的声音的影响,声音收集精度变高。因此,卡纸预兆推测装置100能够高精度地推测有无卡纸的预兆。
在有关实施方式1的卡纸预兆推测装置100中,在机器学习模型的学习中使用的教师数据也可以包含由与摩擦音有关的信息和表示发生卡纸的注释构成的第1数据、以及由与摩擦音有关的信息和表示没有发生卡纸的注释构成的第2数据。
由此,卡纸预兆推测装置100的学习部140的学习精度变高,所以能够高精度地推测有无卡纸的预兆。
在有关实施方式1的卡纸预兆推测装置100中,机器学习模型也可以是卷积神经网络模型。
由此,卡纸预兆推测装置通过使用卷积神经网络模型,能够更容易地提取图像的规则性(所谓的特征量)。
(实施方式1的变形例1)
接着,参照图6对有关实施方式1的变形例1的卡纸预兆推测装置100a进行说明。图6是表示有关实施方式1的变形例1的卡纸预兆推测装置100a的结构的一例的图。在实施方式1中,说明了声音收集部112是麦克风的例子,而在实施方式1的变形例1中,在声音收集部112a取得包含从麦克风300输出的摩擦音的电信号这一点上与实施方式1不同。以下,以与实施方式1不同的点为中心进行说明,将重复的内容的说明简化或省略。
[1.结构]
如图6所示,在实施方式1的变形例1中,卡纸预兆推测装置100a经由通信部130与麦克风300连接。卡纸预兆推测装置100a具备信息处理部110a、存储部120、通信部130和学习部140。信息处理部110a具备声音收集部112a、推测部114和输出部116。以下,对声音收集部112a进行说明。
声音收集部112a例如将由至少1个麦克风300收集到的摩擦音作为电信号来取得,将所取得的电信号向推测部114输出。此时,声音收集部112a例如也可以取得从至少1个麦克风300输出的电信号和表示输出了该电信号的麦克风300的信息,将所取得的信息和电信号向推测部114输出。此外,例如,在摩擦音是非可听音(例如超声波域的频率的声音)的情况下,也可以从所取得的电信号提取表示超声波域的频率的声压的电信号,向推测部114输出。
[2.动作]
在实施方式1的变形例1中,声音收集部112a取得与由麦克风300收集到的摩擦音对应的电信号,所以在实施方式1中参照的图5的步骤S101的处理不同。
例如,在图5的步骤S101中,声音收集部112a取得与由麦克风300收集到的摩擦音对应的电信号。并且,声音收集部112a将所取得的电信号向推测部114输出。在此情况下,声音收集部112a作为所谓的取得部发挥功能。
此外,例如在由多个麦克风300收集摩擦音的情况下,在图5的步骤S101中,声音收集部112a取得与由多个麦克风300收集到的摩擦音对应的电信号。此时,声音收集部112a也可以取得从多个麦克风300输出的电信号和表示输出了该电信号的麦克风300的信息。并且,声音收集部112a将所取得的电信号及信息向推测部114输出。
如以上这样,在实施方式1的变形例1中,卡纸预兆推测装置100a在取得包含由麦克风300收集到的摩擦音的电信号来进行关于预兆推测的信息处理这一点上与实施方式1不同。
[3.效果等]
有关实施方式1的变形例1的卡纸预兆推测装置100a与麦克风300分开构成,所以能够根据设计而适当变更麦克风300的设置位置及设置个数,能够将卡纸预兆推测装置100a安装在1个集成电路中。
(实施方式2)
接着,对有关实施方式2的卡纸预兆推测装置进行说明。图7是表示有关实施方式2的卡纸预兆推测装置100b及供纸装置200的结构的一例的图。有关实施方式2的卡纸预兆推测装置100b除了实施方式1的结构以外,还具备识别从保持部270向供纸装置200的内部供给的纸10的种类的识别部113a,并且已学习模型包括与多个种类的纸分别对应的多个已学习模型,在这些点上与实施方式1及实施方式1的变形例1不同。以下,以与实施方式1及实施方式1的变形例1不同的点为中心进行说明,将重复的说明省略或简化。
[1.结构]
卡纸预兆推测装置100b具备信息处理部110b、存储部120、通信部130和学习部140a。信息处理部110b具备声音收集部112、识别部113a、推测部114a和输出部116。以下,对识别部113a、推测部114a及学习部140a进行说明。
[识别部]
识别部113a识别从保持部270向供纸装置200的内部供给的纸10的种类。更具体地讲,识别部113a基于从保持部270向供纸装置200的内部供给纸10时产生的纸10彼此的摩擦音,识别纸10的种类。例如,识别部113a以由声音收集部112进行的摩擦音的收集为触发,从声音收集部112取得摩擦音。这里,纸10的种类除了纸10的类别(例如,复印用纸、打字机用纸、描图纸、厚纸等)以外,也可以还包括纸10的尺寸(例如,A4尺寸、B5尺寸、A3尺寸等)。
例如,识别部113a基于将所取得的摩擦音(更详细地讲是与摩擦音有关的信息)输入到表示摩擦音与纸10的种类的关系的已学习模型(以下也称作第2已学习模型)中而得到的输出结果,识别纸10的种类。另外,由识别部113a使用的摩擦音也可以是与推测部114a使用的摩擦音不同的时间的摩擦音。更具体地讲,在纸10的识别中使用的摩擦音是由供纸辊212(参照图1)开始从保持部270向供给口260供给纸10时的纸10彼此的摩擦音,是在分离辊214附近发生纸浮起之前的纸10彼此的摩擦音。
[推测部]
推测部114a基于由识别部113a识别出的纸10的种类,将与摩擦音有关的信息输入到与识别出的种类的纸10对应的已学习模型(以下也称作第1已学习模型)中。由学习部140a制作的已学习模型包括与多个种类的纸10分别对应的多个第1已学习模型。推测部114a基于由识别部113a识别出的纸10的种类,选择存储在存储部120中的多个第1已学习模型中的与识别出的种类的纸10对应的第1已学习模型。并且,推测部114a取得由声音收集部112收集到的纸10彼此的摩擦音,将与所取得的摩擦音有关的信息输入到所选择的第1已学习模型中。推测部114a基于第1已学习模型的输出结果,推测有无卡纸的预兆。
[学习部]
学习部140a使用教师数据进行机器学习。例如,学习部140a通过机器学习,针对多个种类的纸10分别制作以与摩擦音有关的信息为输入、以有无纸浮起等的卡纸的预兆为输出的多个第1已学习模型。即,学习部140a制作与多个种类的纸10分别对应的第1已学习模型。教师数据按多个种类的每种纸10(换言之,按纸10的每个种类),包含由与摩擦音有关的信息和表示发生卡纸的注释构成的第1数据、以及由与摩擦音有关的信息和表示没有发生卡纸的注释构成的第2数据。
进而,学习部140a通过机器学习,制作以摩擦音(即,与摩擦音有关的信息)为输入、以纸10的种类为输出的第2已学习模型。教师数据包含由与摩擦音有关的信息和表示纸10的种类的注释构成的数据。教师数据中使用的与摩擦音有关的信息可以使用由供纸辊212开始从保持部270向供给口260供给纸10时的纸10彼此的摩擦音来生成,但也可以使用没有发生卡纸时的摩擦音来生成。与摩擦音有关的信息例如可以是摩擦音的频谱图的图像,也可以是摩擦音的频率特性的图像。在此情况下,机器学习模型也可以是CNN模型。此外,与摩擦音有关的信息也可以是包含与摩擦音对应的电信号(例如,被数字变换后的信号)的时间序列数值数据。在此情况下,机器学习模型也可以是RNN模型。
[2.动作]
接着,对卡纸预兆推测装置100b的动作进行说明。图8是表示有关实施方式2的卡纸预兆推测装置100b的动作的流程图。
如图8所示,声音收集部112收集从保持部270向供纸装置200的内部供给纸10时产生的纸10彼此的摩擦音(S201)。这里,声音收集部112例如是麦克风,但也可以如实施方式1的变形例1那样,作为将由麦克风300收集到的摩擦音作为电信号来取得的取得部发挥功能。
接着,识别部113a基于在步骤S201中由声音收集部112收集到的摩擦音,识别从保持部270向供纸装置200的内部供给的纸10的种类(S202)。例如,识别部113a以由声音收集部112进行的摩擦音的收集为触发,从声音收集部112取得摩擦音。此时,识别部113a基于通过机器学习取得的数据,识别纸10的种类。例如,识别部113a也可以基于对表示纸10彼此的摩擦音与纸10的种类的关系的第2已学习模型输入摩擦音(更详细地讲,与摩擦音有关的信息)而得到的输出结果来识别纸10的种类。
接着,推测部114a将与在步骤S201中由声音收集部112收集到的摩擦音有关的信息输入到与在步骤S202中由识别部113a识别出的纸10的种类对应的第1已学习模型中,取得输出结果(S203)。更具体地讲,推测部114a基于由识别部113a识别出的纸10的种类,选择存储在存储部120中的多个第1已学习模型中的与纸10的种类对应的第1已学习模型,对所选择的第1已学习模型输入与摩擦音有关的信息。即,推测部114a根据从保持部270向供纸装置200的内部供给的纸10的种类来切换第1已学习模型。
接着,推测部114a基于在步骤S203中取得的输出结果,推测有无卡纸的预兆(S204)。在步骤S204中,由推测部114a推测为有卡纸的预兆的情况下(S205中为“是”),输出部116向供纸装置200输出停止从保持部270向供纸装置200的内部供给纸10的信号(S206)。另一方面,在步骤S204中,由推测部114a推测为无卡纸的预兆的情况下(S205中为“否”),卡纸预兆推测装置100b回到步骤S201的处理。
[3.效果等]
如以上说明,在有关实施方式2的卡纸预兆推测装置100b中,已学习模型包括与多个种类的纸10分别对应的多个已学习模型(所谓的第1已学习模型),卡纸预兆推测装置100b还具备识别从保持部270向供纸装置200的内部供给的纸10的种类的识别部113a,推测部114a基于由识别部113a识别出的纸10的种类,将与摩擦音有关的信息输入到与识别出的纸10的种类对应的已学习模型(所谓的第1已学习模型)。
由此,卡纸预兆推测装置100b能够根据纸10从保持部270向供纸装置200的内部供给的纸10的种类,切换要使用的已学习模型。因而,卡纸预兆推测装置100b能够根据纸10的种类而高精度地推测有无卡纸的预兆。
在有关实施方式2的卡纸预兆推测装置100b中,识别部113a也可以至少基于通过机器学习取得的数据来识别纸10的种类。
由此,卡纸预兆推测装置100b能够基于通过机器学习取得的数据,高精度地识别被供给的纸10的种类。
(实施方式2的变形例1)
接着,对有关实施方式2的变形例1的卡纸预兆推测装置进行说明。图9是表示有关实施方式2的变形例1的卡纸预兆推测装置100c及供纸装置200的结构的一例的图。有关实施方式2的卡纸预兆推测装置100b基于由声音收集部112收集到的摩擦音来识别纸10的种类,但有关实施方式2的变形例1的卡纸预兆推测装置100c在基于纸10的表面粗糙度等的表示纸10的特征的感测数据来识别纸10的种类这一点上与实施方式2不同。
[1.结构]
卡纸预兆推测装置100c具备信息处理部110c、存储部120、通信部130、学习部140b和传感器部150。信息处理部110c具备声音收集部112、识别部113b、推测部114a和输出部116。以下,对识别部113b、推测部114a、学习部140b及传感器部150进行说明。
[识别部]
识别部113b识别从保持部270向供纸装置200的内部供给的纸10的种类。更具体地讲,识别部113b基于由传感器部150取得的数据(也称作感测数据),识别纸10的种类。感测数据是表示纸10的特征的数据。纸10的特征例如是纸10的表面的光滑度、表面上的光泽的有无、厚度、重量或大小等。识别部113b既可以使用将感测数据与纸10的种类建立了对应的数据库来识别纸10的种类,也可以使用以感测数据为输入、输出纸10的种类的已学习模型(以下,也称作第3已学习模型)来识别纸10的种类。另外,识别部113b也可以并用数据库和第3已学习模型。
[推测部]
推测部114a基于由识别部113b识别出的纸10的种类,将与摩擦音有关的信息输入到与识别出的纸10对应的第1已学习模型中。更具体地讲,推测部114a基于由识别部113b识别出的纸10的种类,选择存储在存储部120中的多个第1已学习模型中的与识别出的纸10对应的第1已学习模型。并且,推测部114a取得由声音收集部112收集到的纸10彼此的摩擦音,将与所取得的摩擦音有关的信息输入到所选择的第1已学习模型中。推测部114a基于第1已学习模型的输出结果,推测有无卡纸的预兆。
[学习部]
学习部140b使用教师数据进行机器学习。学习部140b与实施方式2同样,制作与多个种类的纸10分别对应的第1已学习模型。
进而,学习部140b也可以通过机器学习,针对多个种类的纸10分别制作以纸10的表面的粗糙度、纸10的表面的反射率及纸10的透光率等的表示纸10的特征的数据的至少某一个为输入、以纸10的种类为输出的多个第3已学习模型。教师数据包含由表示纸10的特征的信息和表示纸10的种类的注释构成的数据。表示纸10的特征的信息例如也可以是表示纸10的表面的粗糙度、纸10的表面的反射率及纸10的透光率的至少某一个的数据。该数据的形态例如可以是图像,也可以是时间序列的数值数据。
[传感器部]
传感器部150取得表示从保持部270向供纸装置200的内部供给的纸10的特征的数据(感测数据)。例如,传感器部150以由声音收集部112进行的摩擦音的收集为触发而动作。传感器部150例如包括图像传感器、超声波传感器、光学传感器及重量传感器的至少某一个。图像传感器通过拍摄纸10,取得表示纸10的表面的特征的图像数据。超声波传感器通过使超声波透过纸10,取得表示纸10的厚度的数据。光传感器通过对纸10的表面照射光,取得纸10的表面的光滑度及表示光泽的有无等的数据。重量传感器取得表示纸10的重量的数据。
[2.动作]
接着,对卡纸预兆推测装置100c的动作进行说明。图10是表示有关实施方式2的变形例1的卡纸预兆推测装置的动作的流程图。
如图10所示,声音收集部112收集从保持部270向供纸装置200的内部供给纸10时产生的纸10彼此的摩擦音(S301)。这里,声音收集部112例如是麦克风,但也可以如实施方式1的变形例1那样,作为将由麦克风300收集到的摩擦音作为电信号来取得的取得部发挥功能。
虽然没有图示,但传感器部150以由声音收集部112进行的摩擦音的收集为触发而动作,取得表示纸10的特征的数据。
接着,识别部113b基于由传感器部150取得的数据,识别从保持部270向供纸装置200的内部供给的纸10的种类(S302)。例如,识别部113b既可以使用将感测数据与纸10的种类建立了对应的数据库来识别纸10的种类,也可以使用以感测数据为输入而输出纸10的种类的已学习模型(以下也称作第3已学习模型)来识别纸10的种类。另外,识别部113b也可以并用数据库和第3已学习模型。
接着,推测部114a将与在步骤S301中由声音收集部112收集到的摩擦音有关的信息输入到与在步骤S302中由识别部113b识别出的纸10的种类对应的已学习模型中,取得输出结果(S303)。更具体地讲,推测部114a基于由识别部113b识别出的纸10的种类,选择存储在存储部120中的多个第1已学习模型中的与纸10的种类对应的第1已学习模型,对所选择的第1已学习模型输入与摩擦音有关的信息。即,推测部114a根据从保持部270向供纸装置200的内部供给的纸10的种类,切换第1已学习模型。
接着,推测部114a基于在步骤S303中取得的输出结果,推测有无卡纸的预兆(S304)。在步骤S304中,由推测部114a推测为有卡纸的预兆的情况下(S305中为“是”),输出部116向供纸装置200输出停止从保持部270向供纸装置200的内部供给纸10的信号(S306)。另一方面,在步骤S304中,由推测部114a推测为无卡纸的预兆的情况下(S305中为“否”),卡纸预兆推测装置100b回到步骤S301的处理。
[3.效果等]
如以上说明,在有关实施方式2的变形例1的卡纸预兆推测装置100c中,已学习模型包括与多个种类的纸10分别对应的多个已学习模型(所谓的第1已学习模型),卡纸预兆推测装置100c还具备识别从保持部270向供纸装置200的内部供给的纸10的种类的识别部113b,推测部114a基于由识别部113b识别出的纸10的种类,将与摩擦音有关的信息输入到与识别出的纸10的种类对应的已学习模型(所谓的第1已学习模型)中。
由此,卡纸预兆推测装置100c能够根据纸10从保持部270向供纸装置200的内部供给的纸10的种类,切换要使用的已学习模型。因而,卡纸预兆推测装置100c能够根据纸10的种类高精度地推测有无卡纸的预兆。
在有关实施方式2的变形例1的卡纸预兆推测装置100c中,识别部113b也可以基于通过图像传感器、超声波传感器、光学传感器、重量传感器及机器学习中的至少某一个取得的数据来识别纸10的种类。
由此,卡纸预兆推测装置100c能够使用将表示纸10的特征的数据与纸10的种类建立了对应的数据库、以及以表示纸10的特征的数据为输入而输出被供给的纸10的种类的已学习模型(也称作第3已学习模型)的至少某一个来识别纸10的种类。因而,卡纸预兆推测装置100c能够高精度地识别纸10的种类。
实施例
以下,用实施例对本公开的卡纸预兆推测装置及卡纸预兆推测方法具体地进行说明,但以下的实施例是一例,本公开并不仅限定于以下的实施例。
以下,对(1)实施例1及实施例2中使用的机器学习模型、(2)使用1个已学习模型(所谓的第1已学习模型)时的纸的每个种类的推测精度、以及(3)使用与8种纸分别对应的已学习模型(所谓的第1已学习模型)时的每种纸的推测精度进行说明。
(1)关于实施例1及实施例2中使用的机器学习模型
图11是用来说明实施例1及实施例2中使用的机器学习模型的图。如图11所示,实施例1及实施例2中使用的机器学习模型是卷积神经网络(CNN)模型。机器学习模型由输入层、卷积层(3×3)、ReLU(标准化线性单元)层、池化(Pooling)层、全耦合层、包括Softmax层的分类层和输出层构成。
(1-1)关于实施例1中使用的机器学习模型
实施例1中使用的机器学习模型是1个,使用以下的教师数据进行了学习。
·数据数量:560
·教师数据:包括第1数据和第2数据的数据集
第1数据:由纸彼此的摩擦音的频谱图的图像和表示发生卡纸的注释构成的数据
第2数据:由纸彼此的摩擦音的频谱图的图像和表示没有发生卡纸的注释构成的数据
纸彼此的摩擦音是将以下的8种纸供给到供纸装置中时产生的摩擦音,是纸彼此的摩擦音,并且是从纸的供给开始到30msec收集到的摩擦音。纸的种类是优质纸1、优质纸2、优质纸3、优质纸(薄纸)、光泽涂层纸、压敏纸原纸、描图纸、打字机用纸。
实施例1中使用的教师数据不包含与纸的种类有关的信息。
输出是正常(表示没有发生卡纸)及异常(表示发生卡纸)。另外,正常及异常也可以由0及1这2值表示。
(1-2)关于实施例2中使用的机器学习模型
实施例2中使用的机器学习模型是8个,针对8种纸分别从上述的教师数据中选择与纸的种类对应的教师数据,单独地进行学习。
(2)关于使用1个已学习模型(所谓的第1已学习模型)时的纸的每个种类的推测精度
[实施例1]
在实施例1中,使用上述的8种纸,收集从保持部供给纸时的纸彼此的摩擦音,将从纸的供给开始到30msec收集到的摩擦音的频谱图的图像输入到在上述(1-1)的条件下进行了学习的已学习的机器学习模型中。将该操作对于8种纸分别进行10次。供给的纸被订书钉订住,计数10次尝试中的被推测为异常的次数(即,被正确地推测的次数)。将其结果表示在图12中。图12是表示实施例1的结果的图。
图12所示的推测精度(%)表示10次尝试中的推测为了异常的次数。关于8种纸,在能够由扫描仪对应的种类的纸中选择纸的材质、厚度、表面粗糙度不同的纸来使用。
如图12所示,在实施例1中,根据纸的种类而在推测精度上发生偏差,认为由于根据纸的种类也有教师数据的数量较少的情况,所以会发生偏差。
(3)关于使用与8种纸10分别对应的已学习模型(所谓的第1已学习模型)时的每种纸的推测精度
[实施例2]
在实施例2中,除了在上述的8种纸中使用优质纸1、优质纸(薄纸)、描图纸、打字机用纸这4种纸、以及使用与这些4种纸对应的已学习模型以外,与实施例1同样地进行。将其结果表示在图13中。图13是表示实施例2的结果的图。图14是对于实施例2的4种纸将实施例1及实施例2的推测精度进行了比较的图。
如图13所示,关于4种纸,推测精度是70%以上。
此外,如图14所示,确认到如果将与4种纸分别对应的4个已学习模型按每种纸切换而使用,则推测精度提高。
(结果)
由于有教师数据的偏倚,所以在实施例1中在推测精度上发生偏差,但确认到通过使用机器学习模型能够推测有无卡纸的预兆。
此外,根据实施例1及实施例2的结果确认到通过按纸的每个种类切换使用机器学习模型,不论纸的种类如何都能够高精度地推测有无卡纸的预兆。
(其他实施方式)
以上,基于上述的实施方式对有关本公开的1个或多个技术方案的卡纸预兆推测装置及卡纸预兆推测方法进行了说明,但本公开并不限定于这些实施方式。只要不脱离本公开的主旨,对实施方式施以本领域技术人员想到的各种变形所得到的形态、或将不同实施方式的构成要素组合而构成的形态也可以包含在本公开的1个或多个技术方案的范围内。
例如,上述有关实施方式的卡纸预兆推测装置具备的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration:大规模集成电路)构成。例如,卡纸预兆推测装置也可以由具有声音收集部、推测部和输出部的系统LSI构成。另外,系统LSI也可以不包括麦克风。
系统LSI是将多个结构部集成到1个芯片上而制造出的超多功能LSI,具体而言,是包括微处理器、ROM(Read Only Memory)、RAM(Random Access Memory)等而构成的计算机系统。在ROM中存储有计算机程序。通过由微处理器按照计算机程序动作,系统LSI实现其功能。
另外,这里设为系统LSI,但根据集成度的差异,也有称作IC、LSI、超级LSI、超大规模LSI的情况。此外,集成电路化的方法并不限于LSI,也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术而出现替代LSI的集成电路化的技术,则当然也可以使用其技术进行功能块的集成化。有可能是生物技术的应用等。
此外,本公开的一技术方案不仅是这样的卡纸预兆推测装置,也可以是以该装置中包含的特征性的结构部为步骤的卡纸预兆推测方法。此外,本公开的一技术方案也可以是使计算机执行卡纸预兆推测方法中包含的特征性的各步骤的计算机程序。此外,本公开的一技术方案也可以是记录有这样的计算机程序的计算机可读取的非暂时性的记录介质。
工业实用性
根据本公开,能够基于将与供给纸时的摩擦音有关的信息输入到已学习模型中而得到的输出结果,简便地推测例如纸的浮起等的卡纸的预兆。本公开的卡纸预兆推测装置及卡纸预兆推测方法由于能够应用于向对纸进行处理的各种各样的处理装置供给纸的装置,所以能够应用于家庭用、工业用、研究用等各种各样的领域。
标号说明
10 纸
15 订书钉
20 纸捆
30 纸浮起发生部位
100、100a、100b、100c卡纸预兆推测装置
110、110a、110b、110c信息处理部
112、112a声音收集部
113a、113b识别部
114、114a推测部
116 输出部
120 存储部
130 通信部
140、140a、140b学习部
150 传感器部
200 供纸装置
210 输送部
212、212a、212b供纸辊
214、214a、214b分离辊
216、216a、216b减速辊
220 驱动部
230 控制部
240 存储部
250 通信部
260 供给口
270 保持部
300 麦克风

Claims (10)

1.一种卡纸预兆推测装置,推测供纸装置中的卡纸的预兆,其中,具备:
声音收集部,收集从保持多张纸的保持部向上述供纸装置的内部供给纸时产生的摩擦音;
推测部,基于将与上述摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无上述供纸装置中的卡纸的预兆;以及
输出部,在由上述推测部推测为有上述卡纸的预兆的情况下,向上述供纸装置输出停止向上述供纸装置的内部供给上述纸的信号。
2.如权利要求1所述的卡纸预兆推测装置,其中,
输入到上述已学习模型中的与上述摩擦音有关的信息是上述摩擦音的频谱图的图像或频率特性的图像。
3.如权利要求1或2所述的卡纸预兆推测装置,其中,
上述摩擦音是通过从上述保持部供给的上述纸与保持在上述保持部中的纸的摩擦而产生的非可听音。
4.如权利要求3所述的卡纸预兆推测装置,其中,
上述非可听音是超声波域的频率的声音。
5.如权利要求1~4中任一项所述的卡纸预兆推测装置,其中,
在上述机器学习模型的学习中使用的教师数据包括:
第1数据,由与上述摩擦音有关的信息和表示发生卡纸的注释构成;以及
第2数据,由与上述摩擦音有关的信息和表示没有发生卡纸的注释构成。
6.如权利要求1~5中任一项所述的卡纸预兆推测装置,其中,
上述已学习模型包括与多个种类的纸分别对应的多个上述已学习模型;
上述卡纸预兆推测装置还具备识别部,该识别部识别从上述保持部向上述供纸装置的内部供给的上述纸的种类;
上述推测部基于由上述识别部识别出的上述纸的种类,将与上述摩擦音有关的信息输入到与识别出的上述纸的种类对应的上述已学习模型。
7.如权利要求6所述的卡纸预兆推测装置,其中,
上述识别部基于由图像传感器、超声波传感器、光学传感器、重量传感器及机器学习中的至少某一个取得的数据,识别上述纸的种类。
8.如权利要求1~7中任一项所述的卡纸预兆推测装置,其中,
上述机器学习模型是卷积神经网络模型。
9.一种卡纸预兆推测方法,推测供纸装置中的卡纸的预兆,其中,包括:
声音收集步骤,收集从保持多张纸的保持部向上述供纸装置的内部供给纸时产生的摩擦音;
推测步骤,基于将与上述摩擦音有关的信息输入到已学习的机器学习模型即已学习模型中而得到的输出结果,推测有无上述供纸装置中的卡纸的预兆;以及
输出步骤,在推测为有上述卡纸的预兆的情况下,向上述供纸装置输出停止向上述供纸装置的内部供给上述纸的信号。
10.一种程序,用于使计算机执行权利要求9所述的卡纸预兆推测方法。
CN202280029169.2A 2021-04-28 2022-01-13 卡纸预兆推测装置、卡纸预兆推测方法及程序 Pending CN117222590A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021075822 2021-04-28
JP2021-075822 2021-04-28
PCT/JP2022/000944 WO2022230249A1 (ja) 2021-04-28 2022-01-13 紙詰まり予兆推定装置、紙詰まり予兆推定方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN117222590A true CN117222590A (zh) 2023-12-12

Family

ID=83846819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280029169.2A Pending CN117222590A (zh) 2021-04-28 2022-01-13 卡纸预兆推测装置、卡纸预兆推测方法及程序

Country Status (4)

Country Link
US (1) US20240059516A1 (zh)
JP (1) JPWO2022230249A1 (zh)
CN (1) CN117222590A (zh)
WO (1) WO2022230249A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081465A (ja) * 2016-11-15 2018-05-24 京セラドキュメントソリューションズ株式会社 遠隔保守装置、遠隔保守方法及び遠隔保守プログラム
JP6932941B2 (ja) * 2017-02-15 2021-09-08 コニカミノルタ株式会社 画像形成装置
JP2019142607A (ja) * 2018-02-16 2019-08-29 セイコーエプソン株式会社 媒体搬送装置、画像読取装置
JP2020040783A (ja) * 2018-09-11 2020-03-19 富士ゼロックス株式会社 印刷装置及び印刷処理プログラム
JP2020164321A (ja) * 2019-03-29 2020-10-08 株式会社Screenホールディングス 基材処理装置および基材処理方法
JP7036082B2 (ja) * 2019-04-04 2022-03-15 セイコーエプソン株式会社 画像処理装置、機械学習装置、画像処理方法

Also Published As

Publication number Publication date
WO2022230249A1 (ja) 2022-11-03
JPWO2022230249A1 (zh) 2022-11-03
US20240059516A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
JP5404876B1 (ja) 用紙搬送装置、ジャム判定方法及びコンピュータプログラム
JP5404872B1 (ja) 用紙搬送装置、重送判定方法及びコンピュータプログラム
CN103662904B (zh) 原稿输送装置和复原方法
US9217980B2 (en) Jam sensing at document feeding station
US8840108B2 (en) Paper reading apparatus, jam detection method, and computer-readable, non-transitory medium
JP5404880B1 (ja) 用紙搬送装置、異常判定方法及びコンピュータプログラム
EP3753880B1 (en) Self-adjusting audio detection of medium jam
CN107207173A (zh) 用于媒体传送系统中金属物体检测的系统及方法
WO2009040922A1 (ja) 紙葉類処理装置
EP3381846B1 (en) Audio detection of medium jam
EP2708952B1 (en) Paper conveying apparatus, jam detection method, and computer program
JP3619217B2 (ja) 検品装置及び画像形成装置
CN105849017B (zh) 原稿输送装置和卡纸判定方法
US20080099560A1 (en) Processing method and apparatus for recording media having printed magnetic ink characters
CN203512845U (zh) 原稿输送装置
CN103662903A (zh) 原稿输送装置以及卡纸判定方法
CN103625960A (zh) 纸张输送装置和卡纸判定方法
CN117222590A (zh) 卡纸预兆推测装置、卡纸预兆推测方法及程序
JP2012226633A (ja) 記録媒体処理装置、記録媒体処理装置の制御方法、及びプログラム
WO2022004224A1 (ja) 紙詰まり予兆検知装置、紙詰まり予兆検知方法、及び、プログラム
JP5881663B2 (ja) 用紙搬送装置、重送判定方法及びコンピュータプログラム
JP7368266B2 (ja) 媒体搬送装置、画像処理システム、制御方法及び制御プログラム
JP2005047048A (ja) シート検品装置
KR20050060487A (ko) 중송감지기능이 개선된 화상형성장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination