CN116710958A - 对检查对象中包含的异物进行检测的方法及装置 - Google Patents

对检查对象中包含的异物进行检测的方法及装置 Download PDF

Info

Publication number
CN116710958A
CN116710958A CN202280009183.6A CN202280009183A CN116710958A CN 116710958 A CN116710958 A CN 116710958A CN 202280009183 A CN202280009183 A CN 202280009183A CN 116710958 A CN116710958 A CN 116710958A
Authority
CN
China
Prior art keywords
foreign matter
image data
region
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280009183.6A
Other languages
English (en)
Inventor
西尾和晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN116710958A publication Critical patent/CN116710958A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

对检查对象中包含的特定的异物进行检测的方法，包括以下处理：取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值(S110、S210)；根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域(S120、S230)；取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值(S152、S260)；根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域(S154、S270)；输出与上述第2异物区域有关的信息(S180、S300)。

Description

对检查对象中包含的异物进行检测的方法及装置
技术领域
本公开涉及对检查对象中包含的异物进行检测的方法及装置。
背景技术
通过利用分别为窄带的许多个波长波段、例如十波段以上的光谱信息，能够掌握通过以往的仅具有3波段的信息的RGB图像所不能掌握的对象物的详细的物性。取得这样的多波长的信息的相机被称为“高光谱相机”。高光谱相机利用于食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域。在本说明书及附图中，有时将波长波段记作波段。
专利文献1公开了基于食品的高光谱图像判断食品的品质或检测混入在食品中的异物的系统及方法。
专利文献2公开了根据利用压缩感测而生成的高光谱图像，利用机器学习来识别物体的方法。
专利文献3公开了使用显微分光装置识别并分析被测量物中的异物的方法，所述显微分光装置对试料等的被测量物照射光，测量透射光、反射光、散射光或荧光的分光光谱。
现有技术文献
专利文献
专利文献1：日本特表2020－524326号公报
专利文献2：国际公开第2020/080045号
专利文献3：日本特许6778451号
发明内容
本公开提供降低对检查对象中包含的异物进行检测的处理的负荷的技术。
有关本公开的一技术方案的方法是对检查对象中包含的特定的异物进行检测的方法。上述方法包括以下处理：取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；输出与上述第2异物区域有关的信息。
本公开的包含性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。计算机可读取的记录介质包括例如CD－ROM(Compact Disc-ReadOnly Memory)等的非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由两个以上的装置构成的情况下，该两个以上的装置既可以配置在1个设备内，也可以分开配置在分离的两个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，还可以指由多个装置构成的系统。
根据本公开的一技术方案，能够降低对检查对象中包含的异物进行检测的处理的负荷。
附图说明
图1A是示意地表示高光谱摄像系统的构成例的图。
图1B是示意地表示高光谱摄像系统的另一构成例的图。
图1C是示意地表示高光谱摄像系统的再另一构成例的图。
图1D是示意地表示高光谱摄像系统的再另一构成例的图。
图2A是示意地表示滤波器阵列的例子的图。
图2B是表示对象波长域中包含的多个波长波段各自的光的透射率的空间分布的一例的图。
图2C是表示滤波器阵列中包含的1个区域的分光透射率的例子的图。
图2D是表示滤波器阵列中包含的另一区域的分光透射率的例子的图。
图3A是用来说明对象波长域W与其中包含的多个波长波段W1、W2、…、WN的关系的图。
图3B是用来说明对象波长域W与其中包含的多个波长波段W1、W2、…、WN的关系的另一图。
图4A是用来说明滤波器阵列的某区域中的分光透射率的特性的图。
图4B是表示将图4A所示的分光透射率按每个波长波段W1、波长波段W2、…、波长波段WN进行平均化的结果的图。
图5是示意地表示实施方式1的检查系统的构成例的图。
图6是表示检查系统的构成例的框图。
图7是表示由处理电路进行的二阶段异物检测动作的例子的流程图。
图8是表示步骤S150中的基于第2条件的异物检测处理的详细情况的流程图。
图9是表示存储装置存储的信息的例子的图。
图10是表示两种金属及背景的反射光谱及第1波段群的例子的图。
图11是表示通过使用与第1波段群对应的复原表的复原运算按每个波段生成的图像的例子的图。
图12是表示在图11所示的例子中切割出的第1异物区域的例子的图。
图13是表示两种金属及背景的反射光谱及第2波段群的例子的图。
图14是表示实施方式2的检查系统的构成例的框图。
图15是表示实施方式2的二阶段异物检测的动作的例子的流程图。
图16是表示坐标轴、坐标的图。
具体实施方式
另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的技术的意思。关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。各图是示意图，并不一定是严密地图示的。进而，在各图中，对于实质上相同或类似的构成要素赋予相同的标号。有将重复的说明省略或简略化的情况。
在本公开中，电路、单元、装置、部件或部的全部或一部分、或框图中的功能块的全部或一部分例如也可以由包括半导体装置、半导体集成电路(IC)或LSI(large scaleintegration)的1个或多个电子电路执行。LSI或IC既可以集成到1个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到1个芯片上。这里称为LSI或IC，但根据集成的程度而叫法变化，也可以称为系统LSI、VLSI(very large scaleintegration)或ULSI(ultra large scale integration)。也可以以相同的目的使用可在LSI的制造后编程的Field Programmable Gate Array(FPGA)、或能够进行LSI内部的接合关系的重构或LSI内部的电路划分的设置的reconfigurable logic device。
进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，将软件记录到1个或多个ROM、光盘、硬盘驱动器等的非暂时性记录介质中，在软件被处理装置(processor)执行时，由该软件确定的功能被处理装置及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置及需要的硬件设备、例如接口。
首先，说明本公开的实施方式的概要。
有关本公开的一实施方式的方法是对检查对象中包含的特定的异物进行检测的方法。上述方法包括以下处理：(a)取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；(b)根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；(c)取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；(d)根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；(e)输出与上述第2异物区域有关的信息。
上述方法由计算机执行。根据上述的方法，根据包含比较少数量的波段的信息的第1图像数据，首先决定满足第1条件的1个以上的第1异物区域。第1异物区域可以是推测为存在特定的异物的可能性高的区域。在决定了第1异物区域的情况下，关于包含第1异物区域的区域，取得包含更多的波段的信息的第2图像数据。根据第2图像数据，决定满足第2条件的1个以上的像素区域作为存在特定的异物的第2异物区域。通过这样的动作，在不存在特定的异物的较多的情形中，通过仅基于比较少数量的波段的图像的判定而检查结束，仅在有可能存在特定的异物的情况下，将区域缩减而进行基于更多的波段的图像的检查。通过这样的二阶段的异物检查，能够减少运算处理的负荷，大幅减少检查工序整体所需要的时间。
上述第1条件也可以为，上述像素区域由关于上述第1波段群的像素值满足特定的条件的连续的多个像素构成，上述像素区域的大小超过规定的大小。例如，也可以是，在第1波段群包括1个波段的情况下，在该波段的像素值处于规定的范围内的连续的多个像素的集合超过规定的大小的情况下，检测由该多个像素构成的像素区域作为第1异物区域。或者，也可以是，在第1波段群包括两个波段的情况下，在这些波段的像素值的比或差处于规定的范围内的连续的多个像素的集合超过规定的大小的情况下，检测由该多个像素构成的像素区域作为第1异物区域。多个像素“连续”，是指这些像素在图像中相邻或接近。“规定的大小”例如可以是与该像素区域的像素数、外接圆的直径或内接圆的直径等有关的阈值。
上述第2条件也可以为，上述像素区域基于关于上述第2波段群的像素值而被分类到预先设定的分类列表中的某一个。例如，在第2波段群中包含的多个波段的像素值的组合(例如比等)满足预先设定的条件的情况下，可以判断为被分类到预先设定的分类列表中的某一个。分类也可以按照预先通过学习用数据进行了学习的已学习模型进行。
取得上述第1图像数据的处理也可以包括以下处理：取得压缩图像数据，根据上述压缩图像数据生成上述第1图像数据，上述压缩图像数据是关于包括上述第2波段群的多个波长波段各自的图像信息被压缩为1个二维图像而得到的。取得上述第2图像数据的处理也可以包括以下处理：从上述压缩图像数据中提取包括上述第1异物区域在内的上述区域，基于提取出的上述区域的数据，生成上述第2图像数据。包括上述第1异物区域的上述区域也可以是与上述第1异物区域相同的区域。
生成上述第1图像数据的处理也可以包括以下处理：使用与上述第1波段群对应的第1复原表，从上述压缩图像数据复原上述第1图像数据。生成上述第2图像数据的处理也可以包括以下处理：使用与上述第2波段群对应的第2复原表，从提取出的上述区域的数据复原上述第2图像数据。根据该构成，能够以更高的精度复原第1图像数据及第2图像数据。
上述压缩图像可以由具备滤波器阵列及图像传感器的摄像装置生成。上述滤波器阵列可以包括具有相互不同的透射光谱的多个种类的滤波器。上述第1复原表及上述第2复原表可以基于上述多个滤波器阵列中的上述透射光谱的分布来生成。
也可以是，上述第1图像数据通过由摄像装置进行的第1摄像动作来取得，上述第2图像数据通过由上述摄像装置进行的第2摄像动作来取得。在此情况下，摄像装置并不限于具备上述的滤波器阵列的摄像装置，也可以是任意的高光谱摄像装置。
上述方法也可以还包括在检测到上述第2异物区域的情况下向输出装置输出警告的处理。上述输出装置例如也可以是从由显示器、扬声器、蜂鸣器及灯构成的组中选择的1个以上的装置。警告例如可以包括从由光、声音、图像、字符及振动构成的组中选择的1个以上的信息。
上述方法也可以还包括使存储装置存储上述第1异物区域的位置及上述第2异物区域的位置的处理。这里，位置是图像中的位置，可以由二维的坐标值确定。
本公开的另一实施方式的装置对检查对象中包含的异物进行检测。上述装置具备：处理器；以及存储介质，保存有计算机程序。上述处理器通过执行上述计算机程序，执行以下处理：(a)取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；(b)根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；(c)取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；(d)根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；(e)输出与上述第2异物区域有关的信息。
本公开再另一实施方式的计算机程序，是用来对检查对象中包含的异物进行检测的计算机程序。上述计算机程序使计算机执行以下处理：(a)取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；(b)根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；(c)取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；(d)根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；(e)输出与上述第2异物区域有关的信息。
以下，更具体地说明本公开的例示性的实施方式。
(实施方式1)
首先，说明在本公开的第1实施方式中使用的高光谱摄像系统的构成例。然后，说明使用高光谱摄像系统的检查系统。
<高光谱摄像系统>
图1A是示意地表示高光谱摄像系统的构成例的图。该系统具备摄像装置10和处理装置200。摄像装置100具备与专利文献2中公开的摄像装置同样的构成。摄像装置100具备光学系统140、滤波器阵列110和图像传感器160。光学系统140及滤波器阵列110配置在从作为被摄体的对象物70入射的光的光路上。滤波器阵列110配置在光学系统140与图像传感器160之间。
在图1A中，作为对象物70的一例而例示了苹果。对象物70并不限于苹果，可以是能够成为检查对象的任意的物体。图像传感器160生成将多个波长波段的信息压缩为二维的单色图像的压缩图像120的数据。处理装置200基于图像传感器160所生成的压缩图像120的数据，生成关于对象波长域中包含的多个波长波段各自的图像数据。在本说明书中将该生成的多个波长波段的图像数据称为“高光谱图像数据”。这里，将对象波长域中包含的波长波段的数量设为N(N是4以上的整数)。在以下的说明中，将生成的多个波长波段的图像数据称为高光谱图像250W1、250W2、…、250WN，将它们统称为高光谱图像250。在本说明书中，有时将表示图像的信号即表示各像素的像素值的信号的集合简单称为“图像”。
滤波器阵列110是被排列为行及列状的具有透光性的多个滤波器的阵列。多个滤波器包括分光透射率即光透射率的波长依赖性相互不同的多个种类的滤波器。滤波器阵列110将入射光的强度按每个波长调制并输出。在本说明书中将由滤波器阵列110进行的该过程称为“编码”。
在图1A所示的例子中，滤波器阵列110配置在图像传感器160的附近或紧上方。这里，“附近”是指以来自光学系统140的光的像在某种程度鲜明的状态下形成于滤波器阵列110的面上的程度接近。“紧上方”是指两者以几乎不发生间隙的程度接近。滤波器阵列110及图像传感器160也可以被一体化。
光学系统140包括至少1个透镜。在图1A中，将光学系统140表示为1个透镜，但光学系统140也可以是多个透镜的组合。光学系统140经由滤波器阵列10在图像传感器160的摄像面上形成像。
滤波器阵列110也可以从图像传感器160分离而配置。图1B至图1D是表示滤波器阵列110从图像传感器160分离而配置的摄像装置100的构成例的图。在图1B的例子中，滤波器阵列110配置在光学系统140与图像传感器160之间且从图像传感器160分离的位置。在图1C的例子中，滤波器阵列110配置在对象物70与光学系统140之间。在图1D的例子中，摄像装置100具备两个光学系统140A及140B，在它们之间配置有滤波器阵列110。如这些例子那样，也可以在滤波器阵列110与图像传感器160之间配置包括1个以上的透镜的光学系统。在图1A～图1D中，与波长波段W1对应的图像即波长波段W1的图像是250W1，…，与波长波段WN对应的图像即波长波段WN的图像是250WN。
图像传感器160是具有二维地排列的多个光检测元件(在本说明书中，也称为“像素”)的单色型的光检测器。图像传感器160例如可以是CCD(Charge－Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器或红外线阵列传感器。光检测元件例如包括光电二极管。图像传感器160并不需要一定是单色型的传感器。例如，也可以使用具有R/G/B、R/G/B/IR或R/G/B/W的滤波器的彩色型的传感器。通过使用彩色型的传感器，能够增加与波长有关的信息量，能够提高高光谱图像250的生成精度。取得对象的波长范围可以任意地决定，并不限于可视的波长范围，也可以是紫外、近红外、中红外或远红外的波长范围。
处理装置200是具备处理器和存储器等存储介质的计算机。处理装置200基于由图像传感器160取得的压缩图像120，生成分别包含多个波长波段的信息的多个图像250W1、250W2、…250WN的数据。
图2A是示意地表示滤波器阵列110的例子的图。滤波器阵列110具有二维地排列的多个区域。在本说明书中，有时将该区域称为“单元”。在各区域中，配置有具有单独设定的分光透射率的光学滤波器。设入射光的波长为λ时，分光透射率由函数T(λ)表示。分光透射率T(λ)可以取0以上且1以下的值。
在图2A所示的例子中，滤波器阵列110具有排列为6行8列的48个矩形区域。这只不过是例示，在实际的用途中可以设置比这多的区域。其数量例如也可以是与图像传感器160的像素数相同的程度。滤波器阵列110中包含的滤波器的数量例如可在几十到几千万的范围中根据用途而决定。
图2B是表示对象波长域中包含的多个波长波段W1、W2、…、WN各自的光的透射率的空间分布的一例的图。在图2B所示的例子中，各区域的深浅的差异表示透射率的差异。越浅的区域则透射率越高，越深的区域则透射率越低。如图2B所示，根据波长波段而光透射率的空间分布不同。
图2C及图2D分别是表示图2A所示的滤波器阵列110中包含的区域A1及区域A2的分光透射率的例子的图。区域A1的分光透射率和区域A2的分光透射率相互不同。这样，滤波器阵列110的分光透射率根据区域而不同。但是，并不一定需要全部的区域的分光透射率不同。在滤波器阵列110中，多个区域的至少一部分的区域的分光透射率相互不同。滤波器阵列110包括分光透射率相互不同的两个以上的滤波器。在一例中，滤波器阵列110中包含的多个区域的分光透射率的样式的数量可以与对象波长域中包含的波长波段的数量N相同或为其以上。滤波器阵列110也可以被设计为，使半数以上的区域的分光透射率不同。
图3A及图3B是用来说明对象波长域W与其中包含的多个波长波段W1、W2、…、WN的关系的图。对象波长域W根据用途可以设定为各种各样的范围。对象波长域W例如可以是约400nm到约700nm的可视光的波长域、约700nm到约2500nm的近红外线的波长域、或约10nm到约400nm的近紫外线的波长域。或者，对象波长域W也可以是中红外或远红外等的电波域。这样，使用的波长域并不限于可视光域。在本说明书中，并不限于可视光，将包括红外线及紫外线的全部放射称为“光”。
在图3A所示的例子中，设N为4以上的任意的整数，设将对象波长域W进行N等分而得到的各个波长域为波长波段W1、波长波段W2、…、波长波段WN。但是，并不限定于这样的例子。对象波长域W中包含的多个波长波段也可以任意地设定。例如，也可以根据波长波段而使带宽不均匀。也可以在相邻的波长波段之间有间隙或重叠。在图3B所示的例子中，根据波长波段而带宽不同，并且在相邻的两个波长波段之间有间隙。这样，多个波长波段只要互不相同即可，其决定方式是任意的。
图4A是用来说明滤波器阵列110的某区域的分光透射率的特性的图。在图4A所示的例子中，分光透射率关于对象波长域W内的波长具有多个极大值P1至P5、以及多个极小值。在图4A所示的例子中，进行了正规化，以使对象波长域W内的光透射率的最大值为1、最小值为0。在图4A所示的例子中，在波长波段W2及波长波段WN－1等波长域中，分光透射率具有极大值。这样，各区域的分光透射率在多个波长波段W1至WN中的至少两个的多个波长域中具有极大值。在图4A的例子中，极大值P1、P3、P4及P5是0.5以上。
如以上这样，各区域的光透射率根据波长而不同。因而，滤波器阵列110使入射的光中的某波长域的成分较多地透射，而不怎么使其他波长域的成分透射。例如可以是，关于N个波长波段中的k个波长波段的光，透射率大于0.5，关于其余的N－k个波长域的光，透射率小于0.5。k是满足2≤k<i的整数。假如入射光是均等地包含全部可视光的波长成分的白色光的情况下，滤波器阵列110将入射光按每个区域调制为关于波长具有离散的多个强度的峰值的光，将这些多波长的光叠加并输出。
图4B是作为一例而表示将图4A所示的分光透射率按每个波长波段W1、波长波段W2、…、波长波段WN平均化的结果的图。平均化的透射率可以通过将分光透射率T(λ)按每个波长波段进行积分并除以该波长波段的带宽而得到。在本说明书中，将这样按每个波长波段平均化的透射率的值设为该波长波段的透射率。在该例中，在取极大值P1、P3及P5的3个波长域中，透射率突出地变高。特别是，在取极大值P3及P5的两个波长域中，透射率超过了0.8。
在图2A至图2D所示的例子中，设想了各区域的透射率能够取0以上且1以下的任意的值的灰度等级的透射率分布。但是，并不需要一定设为灰度等级的透射率分布。例如，也可以采用各区域的透射率能够取大致0或大致1中的某值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波长域中包含的多个波长域中的至少两个波长域的光的大部分透射，不使其余的波长域的光的大部分透射。这里，“大部分”是指大约80％以上。
也可以将全单元中的一部分、例如一半的单元替换为透明区域。这样的透明区域使对象波长域W中包含的全部的波长波段W1至WN的光以相同程度的高透射率、例如80％以上的透射率透射。在这样的构成中，多个透明区域例如可以配置为棋盘格(checkerboard)状。即，在滤波器阵列110中的多个区域的两个排列方向上，可以交替地排列光透射率根据波长而不同的区域和透明区域。
表示这样的滤波器阵列110的分光透射率的空间分布的数据基于设计数据或实测定标而事前取得，被保存在处理装置200具备的存储介质中。该数据利用于后述的运算处理。
滤波器阵列10例如可以使用多层膜、有机材料、衍射光栅结构或包含金属的微细结构而构成。在使用多层膜的情况下，例如可以使用电介质多层膜或包含金属层的多层膜。在此情况下可以形成为，按每个单元，各多层膜的厚度、材料及层叠顺序中的至少1个不同。由此，能够实现根据单元而不同的分光特性。通过使用多层膜，能够实现分光透射率的尖锐的上升及下降。使用有机材料的构成可以通过根据单元而使含有的颜料或染料不同、或使不同种类的材料层叠来实现。使用衍射光栅结构的构成可以通过设置按每个单元而不同的衍射间距或深度的衍射结构来实现。在使用包含金属的微细结构的情况下，可以利用基于等离激元效应的分光来制作。
接着，说明由处理装置200进行的信号处理的例子。处理装置200基于从图像传感器160输出的压缩图像120、以及滤波器阵列110的每个波长的透射率的空间分布特性，生成多波长的高光谱图像250。这里，多波长是指比例如由通常的彩色相机取得的RGB的3色的波长域多的波长域。该波长域的数量例如可以是4到100左右的数量。将该波长域的数量称为波段数。根据用途，波段数也可以超过100。
在说明本公开的“二阶段的异物检查动作”之前，说明根据由图像传感器160取得的压缩图像120生成高光谱图像250的数据的方法。设高光谱图像250的数据为f。如果设波段数为N，则f是将波长波段W1的图像数据f1、波长波段W2的图像数据f2、…、波长波段WN的图像数据fN整合后的数据。这里，如图1A所示，设图像的横方向为x方向，设图像的纵方向为y方向。如果设应求出的图像数据的x方向的像素数为n，设y方向的像素数为m，则图像数据f1、图像数据f2、…、图像数据fN分别是n×m像素的二维数据。因而，数据f是要素数n×m×N的三维数据。将该三维数据称为“高光谱图像数据”或“高光谱数据立方体”。另一方面，由滤波器阵列110编码及复用而取得的压缩图像120的数据g的要素数是n×m。数据g可以由以下的式(1)表示。
[数式1]
这里，f1、f2、…、fN分别是具有n×m个要素的数据。因而，右边的向量是n×m×N行1列的一维向量。将向量g变换为n×m行1列的一维向量而表示并计算。矩阵H表示将向量f的各成分f1、f2、…、fN用按每个波长波段而不同的编码信息(以下，也称为“掩码信息”)编码及强度调制并将它们相加的变换。因而，H是n×m行n×m×N列的矩阵。
如果给出了向量g和矩阵H，则通过求解式(1)的逆问题，应该能够计算出f。但是，由于要求出的数据f的要素数n×m×N比取得数据g的要素数n×m多，所以该问题是不良设定问题，在这个状态下不能求解。所以，处理装置200利用数据f中包含的图像的冗长性，使用压缩感测的方法来求解。具体而言，通过解出以下的式(2)，来估计要求出的数据f。
[数式2]
这里，f′表示估计出的f的数据。上式的括号内的第1项表示估计结果Hf和取得数据g的偏差量，所谓的残差项。这里将平方和作为残差项，但也可以将绝对值或平方和平方根等作为残差项。括号内的第2项是正则化项或稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。信号处理电路200可以通过递归性的反复运算使解收敛，来计算最终的解f’。
式(2)的括号内的第1项是指求出取得数据g与用矩阵H对估计过程的f进行变换而得到的Hf的差的平方和的运算。第2项的Φ(f)是f的正则化的制约条件，是反映了估计数据的稀疏信息的函数。该函数带来使估计数据变得平滑或稳定的效果。正则化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅里叶变换或总变分(TV)等表示。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的推测数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择对象物70的纹理在正则化项的空间中更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗长的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为，f以某种程度收敛并且不会成为过压缩的适当的值。
另外，在图1B及图1C的构成中，由滤波器阵列110编码后的像在图像传感器160的摄像面上以模糊的状态被取得。因而，可以预先持有该模糊信息，通过使该模糊信息反映到上述的矩阵H，来生成高光谱图像250。这里，模糊信息由点扩散函数(Point SpreadFunction：PSF)表示。PSF是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像通过模糊而扩散到该像素的周围的k×k像素的区域中的情况下，PSF可以规定为表示对该区域内的各像素的亮度的影响的系数群、即矩阵。通过使基于PSF的编码样式的模糊的影响反映到矩阵H，能够生成高光谱图像250。配置滤波器阵列110的位置是任意的，但可以选择滤波器阵列110的编码样式不会过度扩散而消失的位置。
通过以上的处理，能够根据由图像传感器160取得的压缩图像120生成高光谱图像250。在上述的例子中，处理装置200对于对象波长域中包含的全部的波长波段，应用利用压缩感测的原理的算法而生成高光谱图像250。在此情况下，如果压缩图像120的分辨率高，则用于生成高光谱图像250的运算负荷变高，检查所需要的时间变长。
所以，在本实施方式中，通过进行以下的二阶段的复原及检查，减少检查整体所需要的运算负荷及时间。在第1阶段，不是对全部的波段、而是仅对包含比较少数的波段的第1波段群进行上述的复原运算，根据压缩图像生成各波段的图像。基于这些比较少数的波段的图像，在图像中确定存在特定的异物的可能性高的第1异物区域。在第2阶段，仅对包含所确定的第1异物区域的比较小的区域，关于包含比第1波段群中包含的波段的数量多的波段的第2波段群进行上述的复原运算。由此，从第1异物区域中，确定存在作为检测对象的特定的异物的第2异物区域。与所确定的第2异物区域有关的信息被输出至显示器等的输出装置。
通过这样的方法，能够以更少的运算量检测检查对象中包含的特定的异物。结果，能够大幅减少检查工序所需要的时间。
以下，更详细地说明基于上述方法的检查系统的构成及动作的例子。
<检查系统>
图5是示意地表示本实施方式的检查系统的构成例的图。该检查系统具备摄像装置100、处理装置200、输出装置300和动作装置400。输出装置300可以包括显示器、扬声器及灯等的装置。动作装置400也可以包括带式输送机及拾取装置等装置。
作为检查对象的对象物70载置在输送机的带之上而被输送。对象物70例如是工业产品或食品等任意的物品。检查系统基于对象物70的压缩图像，检测混入到对象物70中的异物。检测的异物例如可以是特定的金属、塑料、虫子、垃圾或毛发等任意的物体。异物并不限于这些物体，也可以是对象物70中品质劣化的部位。例如在对象物70是食品的情况下，也可以检测食品的腐败的部位作为异物。检查系统在检测到异物的情况下，可以向输出装置300输出表示检测到了异物的信息，或将包含异物的对象物70用拾取装置除去。
摄像装置100是能够进行上述的高光谱摄像的摄像机。摄像装置100通过拍摄在输送机上连续流动来的对象物70，生成上述的压缩图像。处理装置200例如是个人计算机、服务器计算机或膝上计算机等任意的计算机。处理装置200通过基于由摄像装置100生成的压缩图像进行上述的复原运算，生成关于多个波段各自的图像。处理装置200基于这些波段的图像，检测对象物70中包含的异物，将检测结果向输出装置300输出。
图6是表示检查系统的构成例的框图。处理装置200具备处理电路210和存储装置220。输出装置300具备显示器310、扬声器320和灯330。动作装置400具备输送机410和拾取装置420。
摄像装置100如参照图1A至图1D说明那样，具备图像传感器、滤波器阵列和透镜等的光学系统。摄像装置100拍摄对象物70而生成压缩图像的数据，向处理装置200发送。
处理装置200基于摄像装置100所生成的压缩图像生成每个波段的图像。处理装置200的处理电路210例如包括CPU或GPU等的处理器。处理电路210基于摄像装置100所生成的压缩图像，判定在对象物70中是否包含特定的异物，输出表示判定结果的信息。
处理电路210对从摄像装置100取得的压缩图像进行二阶段的复原处理。在第1阶段的复原中，关于压缩图像的整体，仅对对象波长域中包含的多个波段中的比较少数的波段进行复原。将该比较少数的波段称为第1波段群。第1波段群中包含的波段的数量是1个以上的任意的数量，在一例中是2以上且5以下。在该复原处理中，处理电路210使用仅包含上述的式(1)及(2)的矩阵H中的与第1波段群对应的矩阵要素的信息在内的第1复原表。在此情况下，也可以使用将对应于与第1波段群中包含的波段不同的波段的矩阵要素的信息进行了合成的合成复原表，生成对应于与第1波段群中包含的波段不同的波段的合成复原图像。处理电路210基于压缩图像及第1复原表，按照上述的式(2)，复原第1波段群中的各波段的图像。处理电路210根据与复原后的各波段对应的图像中包含的多个像素的像素值，首先按照基于第1条件的判别模型，确定存在异物的可能性高的第1异物区域。第1条件例如可以是，该像素区域由关于第1波段群的像素值满足特定的条件的连续的多个像素构成，并且该像素区域的大小超过规定的大小。处理电路210使存储装置220存储第1异物区域，对于包含第1异物区域的比较小的区域，关于比第1波段群的波段数多的第2波段群的各波段进行复原。在该复原处理中，处理电路210使用仅包含上述的式(1)及(2)的矩阵H中的与第2波段群对应的矩阵要素的信息在内的第2复原表。第2波段群也可以包含对象波长域的全部的波段。处理电路210基于压缩图像及第2复原表，按照上述的式(2)，计算第2波段群的各波段的图像中包含的与第1异物区域对应的区域的多个像素的像素值。处理电路210根据各波段的图像中包含的与第1异物区域对应的区域的多个像素的像素值，按照基于第2条件的判别模型，确定包含特定的异物的第2异物区域，使存储装置220存储表示所确定的第2异物区域的信息作为检测结果。第2条件例如可以是，该区域基于关于第2波段群的像素值而被分类到预先设定的分类列表中的某一个。处理电路210在检测到满足第2条件的异物的情况下，向外部的输出装置300及动作装置400发送控制信号。输出装置300响应于接收到的控制信号，使显示器310、扬声器320、灯330中的至少1个输出基于光、图像、字符、蜂鸣音或声音等的警告。动作装置400也可以响应于接收到的控制信号而进行输送机410的路径的切换、或由拾取装置420从输送机410上除去被检测到异物的对象物70。
存储装置220例如包括半导体存储器、磁存储装置、光存储装置等的任意的存储介质。存储装置220存储处理电路210执行的计算机程序、处理电路210在处理的过程中使用的数据以及处理电路210在处理的过程中生成的数据。存储装置220例如存储摄像装置100生成的压缩图像的数据、与第1波段群及第2波段群等的波段的各组合对应的复原表、与波段的各组合对应的判别模型、表示检测到的第1异物区域及第2异物区域的在图像上的位置的信息以及表示异物的判定结果的信息。
图7是表示由处理电路210进行的二阶段异物检测动作的例子的流程图。在该例中，处理电路210执行步骤S100到S180的动作。首先，处理电路210取得摄像装置100通过压缩感测摄像生成的对象物70的压缩图像(步骤S100)。接着，处理电路210使用与第1波段群对应的第1复原表，进行基于上述的式(2)的复原运算，根据压缩图像生成关于第1波段群的对象物70的1个或多个图像(步骤S110)。处理电路210对所生成的1个或多个图像应用基于第1条件的第1判别模型，检测满足第1条件的第1异物区域(步骤S120)。这里，按照第1判别模型检测的异物的种类是1种以上。处理电路210也可以按照第1判别模型检测不同的两种以上的异物。处理电路210判定是否存在满足第1条件的第1异物区域(步骤S130)。在存在第1异物区域的情况下前进到步骤S140。在不存在第1异物区域的情况下结束处理。处理电路210使存储装置220存储表示检测到的第1异物区域的信息(步骤S140)。接着，处理电路210对于检测到的第1异物区域，进行基于包含比第1波段群多的波段的第2波段群的信息的根据2条件的异物检测处理(步骤S150)。这里检测的满足第2条件的异物的种类是1种以上，也可以是多种。满足第2条件的异物的种类比满足第1条件的异物的种类少。满足第1条件、不满足第2条件的异物的种类既可以是1种，也可以是多种。处理电路210判定是否存在满足第2条件的第2异物区域(步骤S160)。在存在第2异物区域的情况下前进到步骤S109。在不存在第2异物区域的情况下结束处理。在存在第2异物区域的情况下，处理电路210使存储装置220存储与第2异物区域有关的信息(步骤S170)。接着，处理电路210向输出装置300及动作装置400输出控制信号(步骤S180)。输出装置300接受来自处理电路210的控制信号，使显示器310等输出警告显示。动作装置400接受来自处理电路210的控制信号，进行输送机410及拾取装置420等的控制。
图8是表示步骤S150中的基于第2条件的异物检测处理的详细情况的流程图。步骤S150包括图8所示的步骤S151到S155。能够按照基于第1条件的判别模型，从压缩图像中检测1个以上的第1异物区域。在步骤S140中将第1异物区域的在图像上的位置记录到存储装置220之后，处理电路210从压缩图像切割出第1异物区域(步骤S151)。处理电路210关于切割出的第1异物区域，使用与第2波段群对应的第2复原表，进行基于上述的式(2)的复原运算，生成关于第2波段群的第2图像(步骤S152)。接着，处理电路210从第1异物区域中选择未处理的区域的1个(步骤S153)。处理电路210对于所选择的第1异物区域应用基于第2条件的第2判别模型，判定是否满足第2条件(步骤S154)。处理电路210使存储装置220存储判定结果。接着，处理电路210判定是否关于第1异物区域的全部，处理已结束(步骤S155)。在还剩余有未处理的区域的情况下，回到步骤S153。反复进行从步骤S153到S155的处理，直到关于第1异物区域的全部，处理结束。如果关于第1异物区域的全部处理结束，则前进到步骤S160。
图9是表示存储装置220存储的信息的例子的图。在该例中，处理电路210检测两种金属(金属1及金属2)的颗粒作为异物，在检测到金属1的颗粒的情况下使输出装置300发出警告。对于通过压缩感测摄像得到的压缩图像的数据，按每个检查样本赋予编号(检查样本No.)，与取得了压缩图像的日期时间的信息一起记录。在该例中，基于根据第1条件的判别模型，作为异物而检测到金属1及金属2。基于根据第2条件的判别模型，将金属1和金属2区分开来检测出。在该例中，在检测到金属1的情况下发出警告。
图10是表示在基于第1条件的异物检测中使用的第1波段群的例子的图。在图10中，用灰色例示了表示第1波段群的两个波长域。在图10中还表示了两种异物(即金属1及金属2)的反射光谱和背景的反射光谱的例子。在该例中，处理电路210通过将图示的两个波段中的反射率按每个像素进行比较，判别两种异物和背景。另外，在该例中第1波段群包括350nm±10nm和600nm±10nm的两个波段，但这不过是一例。在第1波段群中包括哪个波段，可根据检查对象适当地选择。第1波段群中包括的波段的数量是1个以上的任意的数量，也可以是3个以上。在图10中表示了从350nm到850nm的波长域，但也可以使用其他的波长域。
图11是表示通过使用与第1波段群对应的复原表的复原运算按每个波段生成的图像中的图10所示的曲线图的中央附近的波段(600nm±10nm)的图像的例子的图。该图像反映了被摄体的反射率分布，根据反射率而明亮度不同。反射率越高的区域则越白地显示，反射率越低的区域则越黑地显示。在该例中，图像中的黑色的粒状的区域是异物，明亮的区域是背景。基于第1条件的判别模型，是基于第1波段群的像素值满足特定的条件的连续的像素区域的大小来检测异物的模型。在第1波段群如图10所示包括两个波段的情况下，特定的条件可以是例如两个波段的像素值的比包含在规定的范围中。在图10所示的例子中，两种异物的反射率在哪个波段中都相似，但背景的反射率在两个波段间大不相同。因而，根据两个波段的像素值的比是否是例如0.8以上且1.2以下那样的范围内，能够判别出是异物还是背景。在第1波段群包括1个波段的情况下，特定的条件可以是1个波段的像素值是否高于或低于某阈值。在第1波段群包括3个以上的波段的情况下，特定的条件可以是，在从3个以上的波段中决定了作为基准的基准波段的情况下，关于基准波段以外的多个波段分别计算与基准波段的比，计算出的多个比的值分别包含在所设定的范围中。这样，能够检测基于第1波段群中包括的各波段的对应的像素的像素值计算的值(例如比)包含在规定的范围内的连续的像素的区域，作为有可能存在异物的区域。第1条件例如可以是这样检测到的连续的像素区域的外接圆的直径为阈值以上这样的条件。在图9所示的例子中，检测外接圆的直径为1mm以上的像素区域作为存在异物(即金属1或金属2)的区域。用于判别的条件并不限于基于波长波段间的反射率的比的条件，也可以是基于差的条件，也可以是通过机器学习导出的条件。
处理电路210对按照第1条件检测到的每个异物区域赋予ID，将图像上的位置记录到存储装置220中。记录的异物区域的位置可以是该异物区域的中心或重心等的代表位置。将这样检测到的异物区域称为“第1异物区域”。第1异物区域可以根据异物的个数而在多处被检测出。
处理电路210将检测到的1个以上的第1异物区域从压缩图像切割出。并且，按切割出的每个异物区域，按照第2条件下的判别模型，进行金属1和金属2的异物判定处理，使存储装置220存储判定结果(例如异物的种类)。
图12是表示在图11所示的例子中切割出的第1异物区域的例子的图。在图12中，仅将切割出的第1异物区域中的与金属1对应的两个区域用圆表现。与金属2对应的异物区域也可同样地切割出。在该例中切割出圆形的区域，但也可以切割出矩形的区域。处理电路210关于切割出的第1异物区域分别使用与第2波段群对应的复原表生成每个波段的图像。
图13是表示基于第2条件的异物检测中的第2波段群的例子的图。在图13中，由灰色显示的波长域是第2波段群。该例中的第2波段群包括9个波段。通过比较9个波段的反射率，能够判别金属1和金属2。用于判别的条件例如可以是波段间的像素值的比或差是否在规定的范围内，或者是通过机器学习导出的条件。
具体而言，在第2波段群包括9个波段的情况下，在将最短波长侧设为波段1、将最长波长侧的波段设为波段9的情况下，可以将波段9的像素值作为基准求出波段1至波段8的各波段的相对于基准的比，基于该比来判别。在该例中，成为判别的条件可以是在波段2中金属1与金属2的比等同、并且在波段4至波段7中金属2的比相比于金属1较低。
更具体地讲，在第2波段群包括9个波段的情况下，在将最短波长侧设为波段1、将最长波长侧的波段设为波段9的情况下，也可以基于波段1的像素值与波段9的像素值的比(＝{(波段1的像素值)/(波段9的像素值)})、～、波段8的像素值与波段9的像素值的比(＝{(波段8的像素值)/(波段9的像素值)})来判别金属1和金属2。
在该例中，也可以将{(针对金属1的波段2的像素值)/(针对金属1的波段9的像素值)}＝{(针对金属2的波段2的像素值)/(针对金属2的波段9的像素值)}，{(针对金属1的波段4的像素值)/(针对金属1的波段9的像素值)}>{(针对金属2的波段4的像素值)/(针对金属2的波段9的像素值)}，{(针对金属1的波段5的像素值)/(针对金属1的波段9的像素值)}>{(针对金属2的波段5的像素值)/(针对金属2的波段9的像素值)}，{(针对金属1的波段6的像素值)/(针对金属1的波段9的像素值)}>{(针对金属2的波段6的像素值)/(针对金属2的波段9的像素值)}，{(针对金属1的波段7的像素值)/(针对金属1的波段9的像素值)}>{(针对金属2的波段7的像素值)/(针对金属2的波段9的像素值)}作为判别的条件。
在通过机器学习导出的情况下，基于每个波段的像素值的信息和表示异物的种类的信息，制作用来根据每个波段的像素值的信息推测异物的种类的模型，基于该模型来导出。
如果判定的结果是检测到金属1，则处理电路210使输出装置300输出警告。如图9所示，处理电路210也可以使存储装置220存储输出了警告的情况。
另外，在上述的例子中，作为检测对象的异物而设想了两种金属，但也可以将其以外的物体作为检测对象。例如，在检查食品的系统中，也可以以将虫子和焦煳的区分开来判别的目的应用与本实施方式同样的技术。输出警告的对象的异物并不限于1种，也可以是两种以上。例如，也可以将基于第1波段群的各波段的像素值检测到的第1异物区域中的、基于关于第2波段群的像素值的组合被分类到预先设定的多个分类列表中的某一个的区域作为存在特定的异物的第2异物区域。
如以上这样，根据本实施方式，通过缩减了波段数后的第1阶段的检测动作，首先检测有可能存在1个以上的异物的1个以上的区域作为第1异物区域。然后，通过基于更多的波段的第2阶段的检测动作，从第1异物区域中检测包含特定的异物的第2异物区域。通过这样的动作，与从图像整体中基于全部波段的信息检测异物的情况相比，能够大幅减少运算负荷及检查时间。
决定第1异物区域的方法也可以是考虑以下所示的内容的方法。在第1阶段的异物检查动作中，假设第1波段群(即1个或多个波长波段)是波长波段W1、波长波段WN而进行说明。
在S110中，处理电路210根据压缩图像120计算波长波段W1的图像数据f1，生成包含图像数据f1的图像250W1，并且根据压缩图像120计算波长波段WN的图像数据fN，生成包含图像数据fN的图像250WN。第1图像包括图像250W1和图像250WN。
在S110中，处理电路210不根据压缩图像120计算波长波段W2的图像数据f2、…、图像数据fN－1。即，在S110中，处理电路210不根据压缩图像120生成图像250W2、…、图像250WN－1。
在S110中，不是求解上述的式(1)，而是求解下述的式(3)的逆问题，求出图像数据f1、图像数据fN。
[数式3]
[数式4]
[数式5]
压缩图像120中包含的多个像素的多个像素值也可以表现为[数式6]
P(gij)是压缩图像120中包含的像素gij的像素值。i＝1～m，j＝1～n。像素gij在压缩图像120中位于坐标(i，j)。坐标轴、坐标也可以如图16所示。
压缩图像120的数据g也可以表现为
g＝(P(g11)…P(g1n)…P(gm1)…P(gmn))T。
也可以认为与波长波段Wk对应的图像250Wk(k＝1～N)具有图像数据fk。图像250Wk中包含的多个像素的多个像素值也可以表现为
[数式7]
P(fkij)是图像250Wk中包含的像素fkij的像素值(i＝1～m，j＝1～n)。像素fkij在图像250Wk中位于坐标(i，j)。
图像250Wk的图像数据fk也可以表现为
fk＝(P(fk11)…P(fk1n)…P(fkm1)…P(fkmn))T。
图像数据fp中包含的像素值P(fpij)和图像数据fq中包含的像素值P(fqij)是被摄体的相同部位的像素值。这只要决定下面所示的H以使像素fpij和像素值fqij对应于被摄体的相同位置即可。
S120中的第1异物区域的检测中，计算r11＝P(f111)/P(fN11)、…、rmn＝P(f1mn)/(fNmn)，根据它们计算满足0.8≤rij≤1.2的全部坐标(i，j)。
并且，在0.8≤rrs≤1.2且0.8≤r(r+1)s≤1.2，或者0.8≤rrs≤1.2且0.8≤r(r－1)s≤1.2，或者0.8≤rrs≤1.2且0.8≤rr(s+1)≤1.2，或者0.8≤rrs≤1.2且0.8≤rr(s－1)≤1.2的情况下，判断为位于坐标(r，s)的像素包含在连续的像素的区域中(1≤r－1，r+1≤m，1≤s－1，s+1≤n)。
在尽管0.8≤rrs≤1.2但不为0.8≤r(r+1)s≤1.2，并且不为0.8≤r(r－1)s≤1.2，并且不为0.8≤rr(s+1)≤1.2，并且不为0.8≤rr(s－1)≤1.2的情况下，也可以判断为位于坐标(r，s)的像素不包含在连续的像素的区域中。
假设由上述的处理方式决定的第1异物区域为具有坐标(r，s)、坐标(r+1，s)、坐标(r，s+1)、坐标(r+1，s+1)的区域，进行以下的说明。
在S140中，将作为第1异物区域的坐标的坐标(r，s)、坐标(r+1，s)、坐标(r，s+1)、坐标(r+1，s+1)记录到存储装置220中。
决定第2异物区域的方法也可以是考虑以下所示的内容的方法。在第2阶段的异物检查动作中，假设第2波段群(即，多个第2波长波段)是波长波段Wt、波长波段Wu、波长波段Wv、波长波段Ww而进行说明。多个第2波长波段的数量(在该例中是4个)比1个或多个波长波段的数量(在上述的例子是两个)大。根据压缩图像120和矩阵H，计算图像250Wt的一部分的多个像素的多个像素值，不计算图像250Wt的其他的多个像素的多个像素值。
根据压缩图像120和矩阵H，计算图像250Wu的一部分的多个像素的多个像素值，不计算图像250Wu的其他的多个像素的多个像素值。
根据压缩图像120和矩阵H，计算图像250Wv的一部分的多个像素的多个像素值，不计算图像250Wv的其他的多个像素的多个像素值。
根据压缩图像120和矩阵H，计算图像250Ww的一部分的多个像素的多个像素值，不计算图像250Ww的其他的多个像素的多个像素值。
即，
(1)计算图像250Wt的图像数据ft＝(P(ft11)…P(ft1n)…P(ftm1)…P(ftmn))T中包含的P(ftrs)、P(ft(r+1)s)、P(ftr(s+1))、P(ft(r+1)(s+1))，不计算P(ft11)，…、P(ftmn)中的P(ftrs)、P(ft(r+1)s)、P(ftr(s+1))、P(ft(r+1)(s+1))以外。
(2)计算图像250Wu的图像数据fu＝(P(fu11)…P(fu1n)…P(fum1)…P(fumn))T中包含的P(furs)、P(fu(r+1)s)、P(fur(s+1))、P(fu(r+1)(s+1))，不计算P(fu11)、…、P(fumn)中的P(furs)、P(fu(r+1)s)、P(fur(s+1))、P(fu(r+1)(s+1))以外。
(3)计算图像250Wv的图像数据fv＝(P(fv11)…P(fv1n)…P(fvm1)…P(fvmn))T中包含的P(fvrs)、P(fv(r+1)s)、P(fvr(s+1))、P(fv(r+1)(s+1))，不计算P(fv11)、…、P(fvmn)中的P(fvrs)、P(fv(r+1)s)、P(fvr(s+1))、P(fv(r+1)(s+1))以外。
(4)计算图像250Ww的图像数据fw＝(P(fw11)…P(fw1n)…P(fwm1)…P(fwmn))T中包含的P(fwrs)、P(fw(r+1)s)、P(fwr(s+1))、P(fw(r+1)(s+1))，不计算P(fw11)、…、P(fwmn)中的P(fwrs)、P(fw(r+1)s)、P(fwr(s+1))、P(fw(r+1)(s+1))以外。
根据(1)～(4)，计算mn×4个像素值中的4×4＝16个图像值，不计算(mn－4)×4个像素值。
在S150中，使用图像250Wt中包含的位于坐标(r，s)的像素的像素值P(ftrs)、图像250Wt中包含的位于坐标(r+1，s)的像素的像素值P(ft(r+1)s)、图像250Wt中包含的位于坐标(r，s+1)的像素的像素值P(ftr(s+1))、图像250Wt中包含的位于坐标(r+1，s+1)的像素的像素值P(ft(r+1)(s+1))，进行基于第2条件的异物检测。在基于第2条件的异物检测中，使用图像250Wt中包含的上述的4个像素值，不使用图像250Wt中包含的其他的(m×n－4)个像素值。
在S150中，使用图像250Wu中包含的位于坐标(r，s)的像素的像素值P(furs)、图像250Wu中包含的位于坐标(r+1，s)的像素的像素值P(fu(r+1)s)、图像250Wu中包含的位于坐标(r，s+1)的像素的像素值P(fur(s+1))、图像250Wu中包含的位于坐标(r+1，s+1)的像素的像素值P(fu(r+1)(s+1))，进行基于第2条件的异物检测。在基于第2条件的异物检测中，使用图像250Wu中包含的上述的4个像素值，不使用图像250Wu中包含的其他的(m×n－4)个像素值。
在S150中，使用图像250Wv中包含的位于坐标(r，s)的像素的像素值P(fvrs)、图像250Wv中包含的位于坐标(r+1，s)的像素的像素值P(fv(r+1)s)、图像250Wv中包含的位于坐标(r，s+1)的像素的像素值P(fvr(s+1))、图像250Wv中包含的位于坐标(r+1，s+1)的像素的像素值P(fv(r+1)(s+1))进行基于第2条件的异物检测。在基于第2条件的异物检测中，使用图像250Wt中包含的上述的4个像素值，不使用图像250Wv中包含的其他的(m×n－4)个像素值。
在S150中，使用图像250Ww中包含的位于坐标(r，s)的像素的像素值P(fwrs)、图像250Ww中包含的位于坐标(r+1，s)的像素的像素值P(fw(r+1)s)、图像250Ww中包含的位于坐标(r，s+1)的像素的像素值P(fwr(s+1))、图像250Ww中包含的位于坐标(r+1，s+1)的像素的像素值P(fw(r+1)(s+1))进行基于第2条件的异物检测。在基于第2条件的异物检测中，使用图像250Ww中包含的上述的4个像素值，不使用图像250Ww中包含的其他的(m×n－4)个像素值。
(实施方式2)
接着，说明实施方式2的检查系统。图14是表示本实施方式的检查系统的构成例的框图。
在实施方式1中，摄像装置100及处理电路210利用压缩感测从压缩图像复原每个波段的图像。相对于此，在本实施方式中，摄像装置100按每个波段进行摄像，通过将由这些摄像取得的多个图像汇集，生成包含希望的波段群的信息的图像数据。本实施方式的摄像装置100代替具备如图1A至图1D所示的滤波器阵列110而具备用来按每个波段进行摄像而生成各波段的图像的机构。在本实施方式中，摄像装置100直接生成各波段的图像。因此，存储装置220不存储为了生成各波段的图像而使用的复原表。
在本实施方式中，首先，摄像装置100对第1波段群中包含的波段分别进行摄像，生成与这些波段对应的多个图像。处理电路210根据摄像装置100所生成的关于第1波段群的图像，按照基于第1条件的判别模型，检测第1异物区域。在检测到第1异物区域的情况下，摄像装置100关于包含比第1波段群的波段数多的波段的第2波段群分别进行摄像，生成与这些波段对应的多个图像。处理电路210根据这些图像，按照第2条件下的判别模型进行异物检测处理，使存储装置220存储其结果。在检测到满足第2条件的异物区域的情况下，处理电路210向输出装置300及动作装置400发送控制信号。输出装置300如果接收到控制信号，则使显示器310等输出警告。动作装置400如果接收到控制信号，则进行输送机410等的控制。
图15是表示本实施方式的通过多个图像拍摄进行的二阶段异物检测的动作的例子的流程图。该例中的处理电路210指示摄像装置100使其按属于第1波段群的每个波段进行摄像(步骤S200)。由此，摄像装置100生成第1波段群中的各波段的图像数据。例如在第1波段群由350nm左右的波段和600nm左右的波段构成的情况下，将照明光的波长设为350nm而进行摄像，接着将照明光的波长设为600nm而进行摄像。照明光的波长既可以在每次进行摄像时由用户调整，也可以摄像装置100具备照明装置而自动地调整波长。处理电路210取得关于所生成的第1波段群的图像数据(步骤S210)。处理电路210根据所取得的图像数据，进行按照基于第1条件的判别模型检测第1异物区域的处理(步骤S230)。处理电路210判定是否存在满足第1条件的第1异物区域(步骤S240)。在没有检测到第1异物区域的情况下，结束处理。在检测到第1异物区域的情况下，处理电路210使摄像装置100按属于第2波段群的每个波段，执行关于包含第1异物区域的比较小的区域的摄像，生成各波段的图像数据(步骤S250)。处理电路210取得对于包含第1异物区域的比较小的区域生成的关于第2波段群的图像数据(步骤S260)。处理电路210根据所取得的图像数据，进行按照基于第2条件的判别模型检测第2异物区域的处理(步骤S270)。处理电路210判定是否存在满足第2条件的第2异物区域(步骤S280)。在没有检测到第2异物区域的情况下，结束处理。在检测到第2异物区域的情况下，处理电路210使存储装置220存储与第2异物区域有关的信息(步骤S290)。接着，处理电路210向输出装置300及动作装置400输出控制信号(步骤S300)。输出装置300接受来自处理电路210的控制信号，使显示器310等输出警告显示。动作装置400接受来自处理电路210的控制信号，进行输送机410及拾取装置420等的控制。
另外，在本实施方式中，通过将照明光的波长切换而进行多次的摄像来进行每个波段的摄像，但也可以通过其他的方法进行每个波段的摄像。例如，摄像装置100也可以一边将透射波长域不同的多个滤波器替换一边进行多次摄像。摄像装置100也可以是具备棱镜或衍射光栅的线扫描方式的高光谱相机。
如以上这样，在本实施方式中，按每个波段进行多次摄像。如果摄像对象的波段的数量较多，则在检查中需要较多的时间。在本实施方式中，进行关于比较少数的第1波段群的摄像，仅在检测到异物的情况下进行关于更多的第2波段群的摄像。因此，在没有检测到异物的大部分的情形中，在摄像中不需要较多的时间而检查结束。由于仅在检测到异物的情况下进行关于第2波段群的详细的检查，所以能够大幅减少检查工序整体所需要的时间。
工业实用性
本公开的技术例如对于取得多波长的图像的相机及测量设备是有用的。本公开的技术例如能够利用于检测混入到工业产品或食品等的物品中的异物的用途。
标号说明
70对象物
100 摄像装置
110 滤波器阵列
120 图像
140 光学系统
160 图像传感器
200 处理装置
210 处理电路
220 存储装置
300 输出装置
310 显示器
320 扬声器
330 灯
400 动作装置
410 输送机
420 拾取装置

Claims (13)

1.一种对检查对象中包含的特定的异物进行检测的方法，其中，包括以下处理：
取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；
根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；
取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；
根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；
输出与上述第2异物区域有关的信息。
2.如权利要求1所述的方法，其中，
上述第1条件为，上述像素区域由关于上述第1波段群的像素值满足特定的条件的连续的多个像素构成，上述像素区域的大小超过规定的大小。
3.如权利要求1或2所述的方法，其中，
上述第2条件为，上述像素区域基于关于上述第2波段群的像素值而被分类到预先设定的分类列表中的某一个。
4.如权利要求1至3中任一项所述的方法，其中，
取得上述第1图像数据的处理包括以下处理：取得压缩图像数据，根据上述压缩图像数据生成上述第1图像数据，上述压缩图像数据是关于包括上述第2波段群的多个波长波段各自的图像信息被压缩为1个二维图像而得到的；
取得上述第2图像数据的处理包括以下处理：从上述压缩图像数据中提取包括上述第1异物区域在内的上述区域，基于提取出的上述区域的数据，生成上述第2图像数据。
5.如权利要求4所述的方法，其中，
生成上述第1图像数据的处理包括以下处理：使用与上述第1波段群对应的第1复原表，从上述压缩图像数据复原上述第1图像数据；
生成上述第2图像数据的处理包括以下处理：使用与上述第2波段群对应的第2复原表，从提取出的上述区域的数据复原上述第2图像数据。
6.如权利要求5所述的方法，其中，
上述压缩图像由具备滤波器阵列及图像传感器的摄像装置生成；
上述滤波器阵列包括具有相互不同的透射光谱的多个种类的滤波器；
上述第1复原表及上述第2复原表基于上述多个滤波器阵列的上述透射光谱的分布来生成。
7.如权利要求1至3中任一项所述的方法，其中，
上述第1图像数据通过由摄像装置进行的第1摄像动作来取得；
上述第2图像数据通过由上述摄像装置进行的第2摄像动作来取得。
8.如权利要求1至7中任一项所述的方法，其中，
还包括在检测到上述第2异物区域的情况下向输出装置输出警告的处理。
9.如权利要求1至8中任一项所述的方法，其中，
还包括使存储装置存储上述第1异物区域的位置及上述第2异物区域的位置的处理。
10.一种对检查对象中包含的异物进行检测的装置，其中，具备：
处理器；以及
存储介质，保存有计算机程序；
上述处理器通过执行上述计算机程序，执行以下处理：
取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；
根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；
取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；
根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；
输出与上述第2异物区域有关的信息。
11.一种计算机程序，用于对检查对象中包含的异物进行检测，其中，
上述计算机程序使计算机执行以下处理：
取得关于上述检查对象的第1图像数据，上述第1图像数据的各像素具有关于包括1个以上的波长波段的第1波段群的像素值；
根据上述第1图像数据，将满足第1条件的1个以上的像素区域决定为第1异物区域；
取得关于包括上述第1异物区域在内的区域的第2图像数据，上述第2图像数据的各像素具有关于包括比上述第1波段群多的波长波段的第2波段群的像素值；
根据上述第2图像数据，将满足与上述第1条件不同的第2条件的1个以上的像素区域决定为存在上述特定的异物的第2异物区域；
输出与上述第2异物区域有关的信息。
12.一种对检查对象中包含的异物进行检测的方法，其中，
取得1个或多个第1图像，上述1个或多个第1图像与1个或多个第1波长波段对应；
基于上述1个或多个第1图像，将满足第1条件的区域决定为第1异物区域；
取得多个第2图像，上述多个第2图像分别包括与上述第1异物区域对应的区域，上述多个第2图像与多个第2波长波段对应，上述多个第2波长波段的数量大于上述1个或多个第1波长波段的数量；
基于上述多个第2图像，将满足与上述第1条件不同的第2条件的1个以上的区域决定为存在上述异物的第2异物区域；
输出与上述第2异物区域有关的信息。
13.如权利要求12所述的方法，其中，
包含于上述1个或多个第1图像各自中的多个第1像素的多个第1像素值基于由相机拍摄上述检查对象而得到的第3图像来计算，上述多个第1像素包含于与上述第1异物区域及上述第1异物区域以外的区域对应的区域中；
包含于上述多个第2图像各自中且包含于与上述第1异物区域对应的区域中的多个像素的多个像素值基于上述上述第3图像来计算；
不计算包含于上述多个第2图像各自中且包含于与上述第1异物区域对应的区域以外的区域中的多个像素的多个像素值。
CN202280009183.6A 2021-01-26 2022-01-18 对检查对象中包含的异物进行检测的方法及装置 Pending CN116710958A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-010386 2021-01-26
JP2021010386 2021-01-26
PCT/JP2022/001492 WO2022163421A1 (ja) 2021-01-26 2022-01-18 検査対象に含まれる異物を検出する方法および装置

Publications (1)

Publication Number Publication Date
CN116710958A true CN116710958A (zh) 2023-09-05

Family

ID=82653324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280009183.6A Pending CN116710958A (zh) 2021-01-26 2022-01-18 对检查对象中包含的异物进行检测的方法及装置

Country Status (4)

Country Link
US (1) US20230419478A1 (zh)
JP (1) JPWO2022163421A1 (zh)
CN (1) CN116710958A (zh)
WO (1) WO2022163421A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023018822A (ja) * 2021-07-28 2023-02-09 パナソニックＩｐマネジメント株式会社 検査方法および検査装置
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム
JP7375963B1 (ja) 2023-01-06 2023-11-08 株式会社サタケ トレーサビリティシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164338A (ja) * 2012-02-10 2013-08-22 Sumitomo Electric Ind Ltd 植物または植物加工品の異物検出方法
CN109163805B (zh) * 2014-11-19 2022-03-22 松下知识产权经营株式会社 分光系统
JP6454923B2 (ja) * 2014-11-21 2019-01-23 和歌山県 食品検査装置
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
WO2020023213A1 (en) * 2018-07-27 2020-01-30 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
EP4130693A4 (en) * 2020-03-26 2023-09-06 Panasonic Intellectual Property Management Co., Ltd. SIGNAL PROCESSING METHOD, SIGNAL PROCESSING DEVICE AND IMAGE CAPTURE SYSTEM
JPWO2021246192A1 (zh) * 2020-06-05 2021-12-09

Also Published As

Publication number Publication date
US20230419478A1 (en) 2023-12-28
WO2022163421A1 (ja) 2022-08-04
JPWO2022163421A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
CN116710958A (zh) 对检查对象中包含的异物进行检测的方法及装置
JP2012168181A (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
Okarma Current trends and advances in image quality assessment
Rajevenceltha et al. An efficient approach for no-reference image quality assessment based on statistical texture and structural features
CN113340817A (zh) 光源光谱和多光谱反射率图像获取方法、装置及电子设备
WO2023282069A1 (ja) 信号処理装置および信号処理方法
Gao et al. Color image attribute and quality measurements
WO2024053302A1 (ja) 情報処理方法および撮像システム
Rosli et al. Some technique for an Image of defect in inspection process based on image processing
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2024043009A1 (ja) 信号処理方法および信号処理装置
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2022270355A1 (ja) 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
CN113614489A (zh) 使用多个波长的光的单色成像
WO2023176492A1 (ja) 撮像システム
JP6961319B2 (ja) 評価方法及び評価装置
US20230217121A1 (en) Processing apparatus, method, and non-transitory computer-readable recording medium
WO2022202236A1 (ja) 肌の状態を評価する方法、および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination