CN118076884A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN118076884A
CN118076884A CN202280063705.0A CN202280063705A CN118076884A CN 118076884 A CN118076884 A CN 118076884A CN 202280063705 A CN202280063705 A CN 202280063705A CN 118076884 A CN118076884 A CN 118076884A
Authority
CN
China
Prior art keywords
region
display
information
display mode
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280063705.0A
Other languages
English (en)
Inventor
与那霸诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN118076884A publication Critical patent/CN118076884A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种能够改善图像内的检测对象的视觉辨认度，并能够实现能够抑制看漏的显示的信息处理装置、信息处理方法及程序。一种信息处理装置，其具备处理器，上述信息处理装置中，处理器进行如下处理：获取图像；执行从图像中提取检测对象的区域的区域提取处理；根据提取的所述区域的区域信息生成区域的位置信息；根据提取的区域的尺寸及显示于显示画面上的区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示区域提取的处理结果，上述第1显示方式根据位置信息在显示画面上通过视觉吸引的方式显示告知区域的位置的信息，上述第2显示方式通过与第1显示方式不同的方式显示区域信息。

Description

信息处理装置、信息处理方法及程序
技术领域
本发明涉及一种信息处理装置、信息处理方法及程序，尤其涉及一种应用于显示图像处理的处理结果的处理的信息处理技术。
背景技术
在利用了X射线透射图像等的工业产品的无损检查中，通过目视对检查对象的产品进行透射拍摄而得的图像，检测在产品中产生的气泡或异物、裂纹等缺陷，并判断合格品/不合格品。
专利文献1中所记载的图像处理装置具备：放射线图像获取部，获取对被照射放射线的被检查体进行拍摄而获得的放射线图像；基准图像存储部，存储通过与放射线图像获取部所获取的放射线图像相同的摄影条件拍摄的正常被检查体的放射线图像即基准图像；差值检测部，对放射线图像获取部所获取的放射线图像与存储于基准图像存储部的基准图像的对应像素间的像素值的差值进行检测；及显示控制部，根据差值检测部的检测结果，将放射线图像与基准图像的差分区域显示于显示部，以能够判别差分区域中的差值的正负。
专利文献2中所记载的缺陷检查装置具备：图像获取机构，获取根据通过对被检查体照射光线或放射线而获得的来自被检查体的反射光或透射光制作的受光图像；图像处理机构，根据受光图像计算被检查体的缺陷候选的位置及特征；保存机构，保存利用图像处理机构的缺陷候选的位置及特征的计算结果和与计算结果对应的表示缺陷候选是否为缺陷的诊断结果；以及模拟机构，根据保存于保存机构的利用图像处理机构的计算结果及诊断结果对缺陷的产生和成长的经过进行分析，进行缺陷候选的成长预测的模拟。
以往技术文献
专利文献
专利文献1：国际公开第2016/174926号
专利文献2：国际公开第2017/130550号
发明内容
发明要解决的技术课题
在X射线透射图像中映出的缺陷通常因信号强度微弱、边界模糊、大小微小等而难以通过目视来区分缺陷和背景。近年来，开发了使用人工智能(Artificial Intelligence：AI)的技术从图像中提取特定的被摄体的区域的方法，期待通过利用这种区域提取型AI，根据尺寸及形状的特征提取微小微弱的缺陷。
但是，即使将通过区域提取型AI处理获得的信息直接进行监视器显示，在缺陷尺寸小的情况下或在监视器显示上的缺陷的显示尺寸小的情况下，检查者也有可能看漏。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够改善从图像中提取的检测对象的视觉辨认度，并能够实现能够抑制看漏的显示的信息处理装置、信息处理方法及程序。
用于解决技术课题的手段
本发明的一方式所涉及的信息处理装置具备处理器，上述信息处理装置中，处理器进行如下处理：获取图像；执行从图像中提取检测对象的区域的区域提取处理；根据提取的区域的区域信息生成区域的位置信息；根据提取的区域的尺寸及显示于显示画面上的区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示区域提取的处理结果，上述第1显示方式根据位置信息在显示画面上通过视觉吸引的方式显示告知区域的位置的信息，上述第2显示方式通过与第1显示方式不同的方式显示区域信息。
根据本方式，根据提取的区域的尺寸及显示于显示画面上的区域的显示尺寸中的至少一个尺寸，切换显示处理结果的方式，能够将表示图像内的检测对象的位置或区域的信息通过容易视觉辨认的方式显示。由此，能够抑制检测对象的看漏。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，处理器进行如下处理：使用进行图像分割的分割模型，执行区域提取处理。
在本发明的另一方式所涉及的信息处理装置中，分割模型可以为使用机器学习进行训练以从所输入的图像中提取检测对象的区域的学习模型。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，位置信息包括表示提取的区域的重心或外切矩形的中心的位置的信息。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，第1显示方式包括显示作为告知提取的区域的位置的信息的矩形框或圆形框。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，第2显示方式包括填充提取的区域而显示的分割掩模显示。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，处理器进行如下处理：在提取的区域的尺寸小于第1基准尺寸的情况下，以第1显示方式显示；在提取的区域的尺寸大于第1基准尺寸的情况下，以第2显示方式显示。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，处理器进行如下处理：在显示于显示画面上的区域的显示尺寸小于第2基准尺寸的情况下，以第1显示方式显示；在显示尺寸大于第2基准尺寸的情况下，以第2显示方式显示。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，处理器进行如下处理：接收放大显示及缩小显示的指示；根据接收到的指示来变更显示画面的显示倍率；根据显示倍率来切换第1显示方式和第2显示方式。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，还具备：输入装置，接收放大显示及缩小显示的指示的输入。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，还具备：显示装置，显示处理结果。
在本发明的另一方式所涉及的信息处理装置中，图像可以为X射线透射图像。
在本发明的另一方式所涉及的信息处理装置中，图像可以为对经铸造的金属组件、经锻造的金属组件或经焊接的金属组件的X射线透射图像。
在本发明的另一方式所涉及的信息处理装置中，检测对象可以为缺陷。
在本发明的另一方式所涉及的信息处理装置中可以是如下结构，即，缺陷包括气泡、孔隙、FMLD(Foreign material less dense：低密度异物)及FMM D(Foreign materialless dense：低密度异物)中的至少1个。
本发明的另一方式所涉及的信息处理方法由信息处理装置执行，上述信息处理方法包括如下步骤：获取图像；执行从图像中提取检测对象的区域的区域提取处理；根据提取的区域的区域信息生成区域的位置信息；及根据提取的区域的尺寸及显示于显示画面上的区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示区域提取的处理结果，上述第1显示方式根据位置信息在显示画面上通过视觉吸引的方式显示告知区域的位置的信息，上述第2显示方式通过与第1显示方式不同的方式显示区域信息。
本发明的另一方式所涉及的信息处理方法由信息处理装置执行，上述信息处理方法包括如下步骤：获取图像中的检测对象的区域的区域信息和区域的位置信息；及根据区域的尺寸及显示于显示画面上的区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，上述第1显示方式根据位置信息在显示画面上通过视觉吸引的方式显示告知区域的位置的信息，上述第2显示方式通过与第1显示方式不同的方式显示区域信息。
本发明的另一方式所涉及的程序使计算机实现如下功能：获取图像的功能；执行从图像中提取检测对象的区域的区域提取处理的功能；根据提取的区域的区域信息生成区域的位置信息的功能；及根据提取的区域的尺寸及显示于显示画面上的区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示区域提取的处理结果的功能，上述第1显示方式根据位置信息在显示画面上通过视觉吸引的方式显示告知区域的位置的信息，上述第2显示方式通过与第1显示方式不同的方式显示区域信息。
发明效果
根据本发明，能够将图像内的检测对象的区域和/或位置通过容易视觉辨认的方式显示，能够抑制检测对象的看漏。
附图说明
图1是表示实施方式所涉及的摄影图像处理系统的结构例的示意图。
图2是示意地表示经由利用信息处理装置进行的处理而获得的检查图像的显示例的图。
图3是检测出微小缺陷的检查图像的显示例。
图4是检测出多个缺陷的检查图像的显示例。
图5是放大显示图3的检查图像的一部分时的显示例。
图6是表示实施方式所涉及的信息处理装置的硬件的结构例的框图。
图7是表示实施方式所涉及的信息处理装置中的动作的例1的流程图。
图8是表示实施方式所涉及的信息处理装置中的动作的例2的流程图。
图9是表示实施方式所涉及的信息处理装置中的动作的例3的流程图。
图10是表示实施方式所涉及的信息处理装置中的动作的例4的流程图。
图11是表示实施方式所涉及的信息处理装置中的动作的例5的流程图。
图12是表示摄影系统的结构例的框图。
具体实施方式
以下，根据附图，对本发明的优选实施方式进行详细说明。在本说明书中，对相同的构成要件标注相同的参考符号，并适当地省略重复说明。
图1是概略地表示本发明的实施方式所涉及的信息处理装置10的功能结构的功能框图。在此，示出应用于以无损方式检查对象物的工业用X射线检查系统的信息处理装置10的例子。信息处理装置10为执行从对检查对象的工业产品进行拍摄而得的图像IM中提取缺陷区域的区域提取处理并使显示装置34显示其处理结果的装置。
信息处理装置10能够由计算机的硬件和软件的组合来实现。软件与程序含义相同。作为信息处理装置10发挥作用的计算机可以是工作站，也可以是个人电脑，还可以是平板终端，或者还可以是服务器。
信息处理装置10包括图像获取部12、区域提取部14、位置信息生成部16、矩形框生成部17、尺寸判定部18、显示方式选择部20及显示控制部22。并且，信息处理装置10可以与输入装置32及显示装置34连接。“连接”不限于有线连接，也可以是无线连接。
图像获取部12接收处理对象的图像IM的输入，获取图像IM。图像IM例如为通过对作为检查对象物的金属组件照射X射线而获得的X射线透射图像。图像获取部12可以构成为包括用于从摄影装置或图像管理服务器等外部装置接收图像IM的通信接口，也可以构成为包括用于从存储卡等可移动媒体读取图像IM的媒体接口。并且，图像获取部12可以构成为包括用于从外部装置自动获取图像IM的图像获取程序。经由图像获取部12获取的图像IM被发送到区域提取部14。
区域提取部14为使用分割模型SM对图像IM执行区域提取处理并从图像IM中提取作为检测对象的缺陷区域的AI处理部。分割模型SM为使用机器学习进行训练以执行图像分割任务的学习模型，对于所输入的图像IM，以一个像素为单位对图像IM内的图像整体(所有像素)分类是否为缺陷区域并进行图像IM的区域分割。
经铸造或经锻造的金属组件或经焊接的金属组件中的缺陷例如包括气泡、孔隙(Porosity)、FMLD(Foreign material less dense)及FMLD(Foreign material moredense：高密度异物)中的至少1个。FMLD为在X射线透射图像中映出黑色的异物(低密度)的缺陷的混入。FMMD为在X射线透射图像中映出白色的异物(高密度)的缺陷的混入。
分割模型SM可以是按每一个像素(pixel)进行是缺陷区域还是除此以外的两类的分类检测的模型，也可以是按每一个像素进行是哪种缺陷等多类的分类检测的模型。分割模型SM例如使用具有卷积层的卷积神经网络(Convolutional Neural Network：CNN)构成。作为CNN的一种的全层卷积网络(Fully Convolution Network：FCN)是适合于图像分割任务的模型之一。作为本例的分割模型SM，例如能够应用作为FCN的一种的具有被称为“U-net”的网络结构的神经网络。
分割模型SM通过使用了包括将学习用图像与对图像的正解数据建立有对应关联的大量学习用数据(训练数据)的学习用数据集的机器学习，使学习模型的参数最佳化。此处的正解数据是指表示存在于图像内的缺陷区域的数据，例如可以是填充了缺陷区域的掩模图像。
分割模型SM针对接收到的图像IM生成分数，该分数表示对图像IM内的各像素的分类的准确度、即缺陷可能性。区域提取部14包括分割掩模生成部15，该分割掩模生成部15基于由分割模型SM生成的分数，生成分割掩模。
分割掩模是填充了图像IM内的缺陷区域的掩模图像，以像素为单位表示提取的缺陷的形状。分割掩模生成部15通过如下方式生成分割掩模：对通过分割模型SM获得的表示各像素的缺陷可能性的分数使用阈值，将像素值进行2值化，对疑似缺陷的像素被连结的像素块(连结区域)标注为相同的缺陷区域。也可以从1个图像IM内提取多个缺陷区域。此时，针对提取的多个缺陷区域中的每一个生成分割掩模。
另外，在图1中，将分割模型SM和分割掩模生成部15区分地进行图示，但是分割掩模生成部15也可以组装在分割模型SM中。通过区域提取部14中的图像分割获得的分割掩模或者标注了缺陷标签的数据可以是从图像IM中提取的缺陷的区域信息。
位置信息生成部16基于通过区域提取部14的处理获得的缺陷的区域信息，生成表示缺陷区域的位置(检测位置)的位置信息。在从图像IM内提取多个缺陷区域的情况下，针对多个缺陷区域中的每一个生成位置信息。位置信息例如可以是表示缺陷区域的重心的位置的图像坐标，也可以是表示缺陷区域的外切矩形的中心的位置的图像坐标。根据区域信息生成位置信息可以理解为将区域信息转换为位置信息。
矩形框生成部17基于由位置信息生成部16生成的位置信息，生成包围该位置信息所表示的缺陷的检测位置的矩形框。例如，矩形框生成部17生成以提取的缺陷区域的重心坐标为中心的矩形框。另外，“矩形”包括正方形。该矩形框在显示装置34的显示画面上显示为将缺陷的检测位置通过视觉吸引的方式告知的信息。从抑制检测出的缺陷的看漏的观点出发，矩形框优选设为在显示画面上通过目视容易视觉辨认的大小的矩形尺寸。矩形框的尺寸可以是预先确定的固定尺寸。
在信息处理装置10中，在尺寸判定部18中判定缺陷的尺寸，并根据其判定结果来切换显示矩形框的方式和不显示矩形框而显示分割掩模的方式的显示方式。
位置信息生成部16可以针对通过区域提取部14提取的所有缺陷区域生成位置信息，也可以基于尺寸判定部18的判定结果，在需要显示矩形框的情况下生成位置信息。同样地，矩形框生成部17可以针对通过区域提取部14提取的所有缺陷区域生成矩形框，也可以基于尺寸判定部18的判定结果，在需要显示矩形框的情况下生成矩形框。
尺寸判定部18所判定的缺陷的尺寸可以有表示通过区域提取部14提取的缺陷区域的尺寸的检测尺寸和表示显示于显示装置34的显示画面上的缺陷区域的尺寸的显示尺寸。尺寸判定部18包括检测尺寸判定部24和显示尺寸判定部25。
检测尺寸判定部24判定通过区域提取部14提取的缺陷区域的尺寸(检测尺寸)。检测尺寸判定部24例如能够通过按提取的每一个缺陷区域对缺陷区域的像素的数量进行计数来求出缺陷区域的面积。检测尺寸可以由缺陷区域的像素的计数值表示，也可以由将1个像素的面积乘以计数值而得到的面积的单位表示。
检测尺寸判定部24将检测尺寸与第1基准尺寸Th1进行比较，将比较结果提供给显示方式选择部20。在检测尺寸小于第1基准尺寸Th1的情况下，判定为看漏的可能性变高。
显示尺寸判定部25判定显示于显示装置34的显示画面上的缺陷区域的尺寸(显示尺寸)。根据包括显示装置34的画面尺寸及分辨率的显示装置34的规格以及从输入装置32指定的显示倍率等显示条件而实际显示画面上的缺陷区域的视觉辨认度有可能不同。显示尺寸判定部25可以从显示装置34获取与包括规格的显示条件有关的信息(显示条件信息)，也可以接收从输入装置32输入的信息。
显示尺寸判定部25根据缺陷的区域信息和显示条件来对显示画面上的缺陷区域的显示尺寸进行评价，将显示尺寸与第2基准尺寸Th2的比较结果提供给显示方式选择部20。在显示尺寸小于第2基准尺寸Th2的情况下，判定为看漏的可能性变高。
显示方式选择部20基于尺寸判定部18的判定结果，进行选择利用区域提取部14的区域提取的处理结果的显示方式的处理。即，显示方式选择部20根据利用尺寸判定部18的判定结果，进行切换显示矩形框的第1显示方式和显示分割掩模的第2显示方式的处理。选择显示方式可以理解为确定显示方式。通过选择不同的显示方式来变更显示方式。
有时将第1显示方式称为矩形框方式、将第2显示方式称为涂画方式。换句话说，涂画方式也可以称为填充方式或者分割掩模方式。另外，矩形框方式不限于不显示分割掩模而显示矩形框的方式，也可以是包括显示分割掩模并且显示矩形框的方式的显示方式。另一方面，涂画方式为不显示矩形框而显示分割掩模的显示方式。矩形框方式与涂画方式的切换包括切换有无矩形框的显示的概念。
显示控制部22根据利用显示方式选择部20的选择结果，进行生成显示处理结果所需的显示用数据的处理，并进行显示装置34中的显示控制。在图像IM的分辨率(记录分辨率)大于显示装置34的画面分辨率(监视器分辨率)的情况下，即，在图像IM的分辨率高于显示装置34的分辨率的情况下，在显示装置34显示图像IM时，图像IM的数据被间隔剔除并显示。然后，根据需要，接收放大显示或缩小显示的指示，根据指示来变更显示倍率而进行放大显示或缩小显示。
显示控制部22包括显示倍率控制部28。显示倍率控制部28根据经由输入装置32接收到的指示，进行显示的放大处理或缩小处理。例如，若将显示装置34中的基准的显示倍率设为100％，则显示倍率控制部28能够根据来自输入装置32的指定，在10％至500％的范围内变更显示倍率。另外，不限于能够变更显示倍率的结构，也可以是显示倍率固定的方式。此时，可以省略显示倍率控制部28及显示尺寸判定部25等处理部。并且，作为其他方式，也可以是如下方式：无论有无显示倍率的变更功能，都省略检测尺寸判定部24，而由显示尺寸判定部25判定显示画面上的缺陷尺寸。
输入装置32例如由键盘、鼠标、多点触摸面板或其他定点设备或语音输入装置或者它们的适当的组合构成。显示装置34例如由液晶显示器、有机EL(organic electro-luminescence(有机电致发光)：OEL)显示器或投影仪或它们的适当的组合构成。输入装置32和显示装置34可以如触摸面板那样一体地构成。输入装置32及显示装置34可以是经由通信线路与信息处理装置10连接的终端装置的输入装置及显示装置。
<<检查图像的显示例>>
在图2至图5中示意地示出经由利用信息处理装置10进行的处理而获得的检查图像的显示例。在图2所示的检查图像IMG1中映出作为检查对象物的金属组件50。金属组件50例如通过铸造或锻造来成型，具有壁厚相对薄的第1组件部分51和壁厚比第1组件部分厚的第2组件部分52。在检查图像IMG1中金属组件50的外侧区域为背景54的区域。
在检查图像IMG1中，在金属组件50的第2组件部分52中检测出缺陷，显示有表示检测出的缺陷区域DA1的区域信息的分割掩模。在提取的缺陷区域DA1大于第1基准尺寸，分割掩模以能够在显示装置34的显示画面上充分视觉辨认的大小显示的情况下，如图2那样，显示填充了缺陷区域DA1的分割掩模。
另外，为了提高显示画面上的分割掩模的视觉辨认度，用于填充的颜色优选为有助于与周围的非缺陷区域(除了缺陷以外的区域)的视觉上的差别化的彩色。并且，在第1组件部分51中检测出缺陷的情况下和在第2组件部分52中检测出缺陷的情况下，可以使分割掩模的色相、明度及彩度中的至少一个不同。分割掩模的显示可以是闪烁显示(间歇显示)。
图3是检测出微小缺陷的检查图像IMG2的显示例。在检测出的缺陷区域DA2小于第1基准尺寸Th1，且小到即使显示其分割掩模也难以在显示装置34的显示画面上视觉辨认的水平的情况下，如图3那样，显示通过视觉吸引的方式告知缺陷区域DA2的检测位置的矩形框RF2。例如，在显示画面中成为数像素以下的显示尺寸的情况下，显示矩形框RF2。矩形框RF2的显示可以是闪烁显示。
图4是检测出多个缺陷的检查图像IMG3的显示例。在图4所示的检查图像IMG3中，对应于检测出的缺陷的尺寸，混合有分割掩模显示和矩形框显示。对于在检查图像IMG3中提取的缺陷区域DA1，与图2同样地显示分割掩模，对于有可能看漏的微小缺陷区域DA2、DA3，与图3同样地显示矩形框RF2、RF3。另外，也可以将矩形框RF2、RF3的显示设为闪烁显示，将分割掩模的显示设为始终显示(非闪烁显示)。
图5是放大显示图3的检查图像IMG2的一部分的检查图像IMG4的显示例。在通过放大显示，缺陷区域DA2的显示尺寸大于第2基准尺寸Th2的情况下，从图3的矩形框RF2的显示，如图5所示，切换为涂画方式，显示表示缺陷区域DA2的区域信息的分割掩模。
另外，虽然省略图示，但是在接收从图2或图5的显示状态降低显示倍率的缩小显示的指示，而使缺陷区域DA1、DA2的显示尺寸小于第2基准尺寸的情况下，从涂画方式切换为矩形框方式的显示。在变更显示倍率而进行放大显示或缩小显示的情况下，显示于显示画面上的矩形框的尺寸可以是固定的。
在图2～图5中，例示了通过铸造或锻造来成型的金属组件50的检查图像，但是在从经焊接的金属组件的X射线透射图像检测焊接缺陷的情况下也相同。
<<信息处理装置10的结构例>>
图6是表示实施方式所涉及的信息处理装置10的硬件的结构例的框图。信息处理装置10包括处理器102、非临时有形计算机可读介质104、通信接口106及输入输出接口108。
处理器102包括CPU(Central Processing Unit：中央处理器)。处理器102可以包括GPU(Graphics Processing Unit：图形处理器)。处理器102经由总线110与计算机可读介质104、通信接口106及输入输出接口108连接。
输入装置32及显示装置34经由输入输出接口108与总线110连接。
计算机可读介质104包括作为主存储器的存储器及作为辅助存储器的存储设备。计算机可读介质104例如可以是半导体存储器、硬盘(Hard Disk Drive：HDD)装置、或固态硬盘(Solid State Drive：SSD)装置、或者它们的多个组合。
在计算机可读介质104中存储包括区域提取程序114、位置信息生成程序116、矩形框生成程序117、尺寸判定程序118、显示方式选择程序120及显示控制程序122的各种程序及数据等。另外，程序这一术语包括程序模块的概念。区域提取程序114包括分割模型SM及分割掩模生成程序115。
区域提取程序114为使处理器102实现作为区域提取部14的功能的程序。同样地，位置信息生成程序116、矩形框生成程序117、尺寸判定程序118、显示方式选择程序120及显示控制程序122为使处理器102作为位置信息生成部16、矩形框生成部17、尺寸判定部18、显示方式选择部20及显示控制部22的各处理部实现功能的程序。
<<由信息处理装置10执行的信息处理方法的例1>>
图7是表示实施方式所涉及的信息处理装置10中的动作的例1的流程图。图7的流程图例如能够应用于显示倍率固定的装置结构的情况或显示倍率被设定为100％的情况等。
在步骤S11中，处理器102获取处理对象的图像。在步骤S12中，处理器102对所获取的图像执行使用分割模型SM提取缺陷区域的区域提取处理。
接着，在步骤S13中，处理器102根据通过区域提取处理获得的缺陷的区域信息生成位置信息。
在步骤S14中，处理器102判定根据区域信息掌握的缺陷的尺寸(检测尺寸)是否小于第1基准尺寸Th1。在步骤S14的判定结果判定为“是”的情况下，即，在检测尺寸小于第1基准尺寸Th1的情况下，处理器102进入到步骤S16。
在步骤S16中，处理器102采用矩形框方式，根据位置信息来显示告知缺陷的位置(检测位置)的矩形框。
另一方面，在步骤S14的判定结果判定为“否”的情况下，即，在检测尺寸大于第1基准尺寸Th1的情况下或在检测尺寸等于第1基准尺寸Th1的情况下，处理器102进入到步骤S18。另外，也可以是如下方式：关于在步骤S14中检测尺寸等于第1基准尺寸Th1时的处理，进入到步骤S16而不是步骤S18。
在步骤S18中，处理器102采用涂画方式，不显示矩形框而显示分割掩模。
在从图像内检测出多个缺陷区域的情况下，对各缺陷区域进行步骤S14～步骤S18的处理。
在步骤S16或步骤S18之后，处理器102结束图7的流程图。
<<由信息处理装置10执行的信息处理方法的例2>>
图8是表示实施方式所涉及的信息处理装置10中的动作的例2的流程图。在图8的流程图中，对与图7共同的步骤标注相同的步骤编号，并省略重复说明。可以应用图8的流程图来代替图7的流程图。关于图8，对与图7不同的点进行说明。
在图8的流程图中，实施图7的步骤S13的处理作为步骤S14判定为“是”之后的步骤S15。即，在图8的步骤S12之后，处理器102进入到步骤S14，判定检测尺寸。在步骤S14的判定结果判定为“是”的情况下，处理器102进入到步骤S15。
在步骤S15中，处理器102根据通过区域提取处理获得的缺陷的区域信息生成位置信息。在步骤S15之后，处理器102进入到步骤S16，显示矩形框。
另一方面，在步骤S14的判定结果判定为“否”的情况下，处理器102进入到步骤S18，显示分割掩模。
在步骤S16或步骤S18之后，处理器102结束图8的流程图。
<<由信息处理装置10执行的信息处理方法的例3>>
图9是表示实施方式所涉及的信息处理装置10中的动作的例3的流程图。9的流程图例如能够应用于不具备检测尺寸判定部24的方式。在图9的流程图中，对与图7共同的步骤标注相同的步骤编号，并省略重复说明。关于图9，对与图7不同的点进行说明。
在图9的流程图中，包括步骤S22～步骤S28来代替图7的步骤S14～步骤S18。
处理器102在步骤S13之后，进入到步骤S22。在步骤S22中，处理器102获取显示条件。关于显示条件中的显示装置34的规格，可以预先存储于计算机可读介质104。
在步骤S22之后，在步骤S24中，处理器102根据提取的缺陷的区域信息和显示条件来计算缺陷的显示尺寸，并判定显示尺寸是否小于第2基准尺寸Th2。
在步骤S24的判定结果判定为“是”的情况下，即，在显示尺寸小于第2基准尺寸Th2的情况下，处理器102进入到步骤S26。步骤S26为与图7的步骤S16相同的处理。
另一方面，在步骤S24的判定结果判定为“否”的情况下，即，在显示尺寸大于第2基准尺寸Th2的情况下或在显示尺寸等于第2基准尺寸Th2的情况下，处理器102进入到步骤S28。步骤S28为与图7的步骤S18相同的处理。另外，也可以是如下方式：关于在步骤S24中显示尺寸等于第2基准尺寸Th2时的处理，进入到步骤S26而不是步骤S28。
在从图像内检测出多个缺陷区域的情况下，对各缺陷区域进行步骤S24～步骤S28的处理。
在步骤S26或步骤S28之后，处理器102结束图9的流程图。另外，关于图9的流程图，也与图8同样地，可以在步骤S24判定为“是”之后(在步骤S24与步骤S26之间)实施步骤S13的处理。
<<由信息处理装置10执行的信息处理方法的例4>>
图10是表示实施方式所涉及的信息处理装置10中的动作的例4的流程图。图10的流程图为利用检测尺寸判定部24和显示尺寸判定部25这两个判定部来控制显示方式的例子。在图10的流程图中，对与图7及图9共同的步骤标注相同的步骤编号，并省略重复说明。关于图10，对与图7不同的点进行说明。
在图10的流程图中，包括步骤S22、S24及步骤S28来代替图7的步骤S18，并包括步骤S26来代替图7的步骤S16。即，在步骤S14的判定结果判定为“否”的情况下，处理器102进入到步骤S22，获取显示条件。
接着，在步骤S24的判定结果判定为“是”的情况下，处理器102进入到步骤S26，显示矩形框。另一方面，在步骤S24的判定结果判定为“否”的情况下，处理器102进入到步骤S28，显示分割掩模。
在从图像内检测出多个缺陷区域的情况下，对各缺陷区域进行步骤S14～步骤S28的处理。
在步骤S26或步骤S28之后，处理器102结束图10的流程图。另外，关于图10的流程图，也与图8同样地，可以在步骤S14判定为“是”之后及步骤S24判定为“是”之后实施步骤S13的处理。
<<由信息处理装置10执行的信息处理方法的例5>>
图11是表示实施方式所涉及的信息处理装置10中的动作的例5的流程图。图11的流程图是与放大或缩小的操作联动地切换矩形框方式和涂画方式的控制的例子。图11的流程图在执行图7至图10中的任一个流程图之后执行。
在步骤S31中，处理器102接收与显示有关的指示。用户能够从输入装置32输入变更显示倍率的指示或结束显示的指示等。
在步骤S32中，处理器102判定是否接收到变更显示倍率的指示。若由用户进行放大或缩小的操作，步骤S32的判定结果判定为“是”，则处理器102进入到步骤S34。步骤S34、步骤S36及步骤S38为与在图9中说明的步骤S24、步骤S26及步骤S28相同的处理。
在步骤S34中，处理器102使用所指定的显示倍率来判定显示画面上的缺陷的显示尺寸。在显示尺寸小于第2基准尺寸Th2，步骤S34的判定结果判定为“是”的情况下，处理器102进入到步骤S36，显示矩形框。另一方面，在步骤S34的判定结果判定为“否”的情况下，即，在显示尺寸大于第2基准尺寸Th2的情况下或在显示尺寸等于第2基准尺寸Th2的情况下，处理器102进入到步骤S38，显示分割掩模。
在步骤S36或步骤S38之后，处理器102进入到步骤S39。在从图像内检测出多个缺陷区域的情况下，对各缺陷区域进行步骤S34～步骤S38的处理。并且，在步骤S32的判定结果判定为“否”的情况下，处理器102进入到步骤S39。
在步骤S39中，处理器102判定是否结束显示。在步骤S39的判定结果判定为“否”的情况下，处理器102返回到步骤S31。另一方面，在步骤S39的判定结果判定为“是”的情况下，处理器102结束图11的流程图。
另外，虽然在图11中未示出，但是处理器102在接收到除了变更显示倍率和结束显示以外的指示的情况下，可以执行与接收到的指示对应的处理。
<<除了矩形框以外的显示方式的例子>>
在本实施方式中，对作为告知缺陷的检测位置的信息而显示矩形框的例子进行了说明，但是通过视觉吸引的方式显示告知检测位置的信息的方式不限于矩形框。例如，代替矩形框，可以是圆形框，也可以是其他多边形框或闭曲线。并且，告知检测位置的信息不限于显示为包围框的方式，也可以由虚线表示框线，例如，也可以显示表示矩形的四个角的方括号标记，或者也可以显示箭头标记。
<<除了分割掩模以外的显示方式的例子>>
在本实施方式中，作为显示包括缺陷的形状特征的区域信息的方式，对分割掩模显示的例子进行了说明，但是显示区域信息的方式不限于分割掩模。例如，可以基于区域信息来生成缺陷区域的轮廓线(镶边)，代替分割掩模或除此以外显示缺陷区域的轮廓线。
<<图像的种类>>
处理对象的图像不限于X射线透射图像，也可以是通过由图像传感器接受可见光和/或红外光等光线的反射光而生成的图像，也可以是使用扫描电子显微镜(ScanningFlectron Microscope：SEM)拍摄的图像等。并且，图像不限于二维图像，例如，也可以是如三维CT(Computed Tomography：计算机断层扫描)图像那样，将连续获得的大量二维切片图像三维重构而成的三维图像等。在处理三维图像的情况下，二维图像中的像素(pixel)的概念能够替换为体素来理解，二维图像中的区域的面积的概念能够替换为三维图像中的空间区域的体积来理解。
<<摄影系统的结构例>>
接着，对用于对被检查体OBJ的图像进行拍摄的摄影系统500的例子进行说明。图12是概略地表示摄影系统500的结构例的框图。摄影系统500用于对放置在摄影室514内的被检查体OBJ进行拍摄，且具备摄影控制部502、摄影操作部504、图像记录部506、相机508及放射线源510、512。
摄影控制部502包括控制摄影系统500的各部的动作的CPU。摄影控制部502经由摄影操作部504接收来自操作者(摄影者)的操作输入，并将与该操作输入相对应的控制信号发送到摄影系统500的各部来控制各部的动作。
摄影操作部504包括接收来自操作者的操作输入的输入装置。操作者能够经由摄影操作部504进行与被检查体OBJ有关的信息的输入、对相机508的摄影条件的指示及执行拍摄的指示的输入、对放射线源510及512的放射线的照射条件的指示的输入、将通过拍摄获得的图像记录于图像记录部506的指示的输入等。在摄影条件中例如包括曝光时间、焦距、光圈等摄影条件、摄影角度及摄影部位等。在放射线的照射条件中包括照射开始时间、照射持续时间、照射角度及照射强度等。
图像记录部506记录由相机508拍摄的被检查体OBJ的图像数据(受光图像)。用于确定被检查体OBJ的信息与图像数据建立关联地记录于图像记录部506中。
相机508、放射线源510及512配置于摄影室514的内部。放射线源510及512例如为X射线源，通过X射线防护材料(例如，铅或混凝土等)对摄影室514与外部之间的隔壁及出入口实施了X射线防护。另外，在对被检查体OBJ照射可见光来进行拍摄的情况下，无需使用实施了防护的摄影室514。
放射线源510及512根据来自摄影控制部502的指示，对放置在摄影室514内的被检查体OBJ照射放射线。
相机508根据来自摄影控制部502的执行拍摄的指示，接受从放射线源510照射到被检查体OBJ并由被检查体OBJ反射的放射线、或从放射线源512照射到被检查体OBJ并透射了被检查体OBJ的放射线，对被检查体OBJ进行拍摄。被检查体OBJ通过未图示的保持部件(例如，机械手、载置台或可动式载置台等)被保持在摄影室514内，被检查体OBJ相对于相机508、放射线源510及512的距离及角度是可调整的。操作者能够经由摄影控制部502控制被检查体OBJ、相机508、放射线源510及512的相对位置，并能够对被检查体OBJ的所期望的部位进行拍摄。
放射线源510及512与结束利用相机508执行拍摄同步地，结束对被检查体OBJ照射放射线。
另外，在图12所示的例子中，相机508配置于摄影室514的内部，但是相机508只要能够对摄影室514内的被检查体OBJ进行拍摄，则可以配置于外部。并且，在图12所示的例子中，设置有1台相机508、2台放射线源510及512，但是相机及放射线源的台数并不限定于此。例如，相机及放射线源可以各有多台，也可以各有1个。摄影控制部502、摄影操作部504及图像记录部506能够使用计算机的硬件和软件的组合来实现。
信息处理装置10可以与摄影系统500能够通信地连接，信息处理装置10也可以构成为作为摄影系统500的摄影控制部502、摄影操作部504及图像记录部506发挥功能。
<<关于运行计算机的程序>>
能够将使计算机实现信息处理装置10中的处理功能的一部分或全部的程序记录于光盘、磁盘或半导体存储器、其他有形非临时性信息存储介质即计算机可读介质，并通过该信息存储介质提供程序。
并且，还能够利用互联网等电信线路提供程序信号作为下载服务来代替将程序存储于这种非临时性计算机可读介质而提供的方式。
信息处理装置10中的处理功能的一部分或全部可以由云计算来实现，并且，还能够作为SasS(Software as a Service：软件即服务)服务来提供。
<<关于各处理部的硬件结构>>
信息处理装置10中的图像获取部12、区域提取部14、分割掩模生成部15、位置信息生成部16、矩形框生成部17、尺寸判定部18、检测尺寸判定部24、显示尺寸判定部25、显示方式选择部20、显示控制部22及显示倍率控制部28等执行各种处理的处理部(processingunit)的硬件结构例如为如下所示的各种处理器(processor)。
在各种处理器中包括执行程序而作为各种处理部发挥功能的通用的处理器即CPU、专用于图像处理的处理器即GPU、FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造之后能够变更电路结构的处理器即可编程逻辑设备(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit：特定应用积体回路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器构成。例如，1个处理部可以由多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，首先，有如以客户端、服务器等计算机为代表那样，由1个以上的CPU和软件的组合构成一个处理器，该处理器作为多个处理部发挥功能的方式。其次，有如以片上系统(System On Chip：SoC)等为代表那样，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，作为硬件结构，各种处理部使用1个以上的上述各种处理器构成。
而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
<<基于本实施方式的优点>>
根据本实施方式所涉及的信息处理装置10，具有如下优点。
[1]以分割模型SM为代表的区域提取型AI能够从图像内高精度地提取检测对象的区域，能够检测微小微弱的缺陷及掌握缺陷形状。
[2]信息处理装置10依据根据通过区域提取处理来提取的缺陷的区域信息掌握的检测尺寸及基于检测尺寸和显示条件来掌握的缺陷在显示画面上的显示尺寸中的至少一个尺寸，控制对所产生的缺陷的显示的方式(显示方式)。对于容易看漏的微小微弱的缺陷，进行容易视觉辨认的矩形框的显示，因此具有抑制看漏，无遗漏地目视评价缺陷的效果。
[3]信息处理装置10能够通过使用了AI的图像处理从X射线透射图像中自动检测(提取)缺陷信号，并将缺陷信息通过容易视觉辨认的方式提示给检查者，该X射线透射图像是通过X射线将在通过铸造或锻造的金属组件的成型以及焊接时产生的微小微弱的各种缺陷进行图像化而获得的。
[4]由信息处理装置10实现的控制缺陷的检测结果的显示的技术不限于检测缺陷，能够应用于各种领域。
<<其他应用例>>
在上述实施方式中，对应用于工业产品的缺陷检查装置的信息处理装置10的例子进行了说明，但是本发明的应用范围不限于该例。本发明的技术例如能够广泛应用于从印刷物中检测印刷缺陷并显示检测结果的装置、或者从医用图像中检测病变并显示检测结果的装置等从图像内检测特定的对象并显示表示其区域和/或位置的信息的装置。
<<变形例1>>
信息处理装置10的处理功能可以使用多台信息处理装置来实现。例如，可以采用第1信息处理装置与第2信息处理装置经由通信线路连接的计算机系统，在第1信息处理装置安装图像获取部12、区域提取部14及位置信息生成部16的处理功能，在第2信息处理装置安装矩形框生成部17、尺寸判定部18、显示方式选择部20及显示控制部22的处理功能。通行线路可以是局域网，也可以是广域网。
此时，第1信息处理装置根据处理对象的图像生成作为检测对象的缺陷的区域信息和位置信息。第2信息处理装置获取由第1信息处理装置生成的缺陷的区域信息和位置信息，根据尺寸判定部18的判定结果来切换显示方式。经由利用第2信息处理装置进行的处理获得的显示用数据能够经由通信线路发送到其他终端装置，能够使终端装置的显示装置显示处理结果。
<<变形例2>>
在上述实施方式中，对使用分割模型SM执行区域提取处理的例子进行了说明，但是关于从图像内自动提取检测对象的区域的图像处理的方法，不限于该例，能够应用各种区域提取法。
<<变形例3>>
在上述实施方式中，对处理作为图像的静止图像的例子进行了说明，但是摄影装置可以拍摄动画，信息处理装置10可以从所拍摄的动画中取出一部分帧，执行相同的处理。
<<其他>>
本发明并不限定于上述实施方式，在不脱离本发明的技术思想的主旨的范围内，可以进行各种变形。
符号说明
10-信息处理装置，12-图像获取部，14-区域提取部，15-分割掩模生成部，16-位置信息生成部，17-矩形框生成部，18-尺寸判定部，20-显示方式选择部，22-显示控制部，24-检测尺寸判定部，25-显示尺寸判定部，28-显示倍率控制部，32-输入装置，34-显示装置，50-金属组件，51-第1组件部分，52-第2组件部分，54-背景，102-处理器，104-计算机可读介质，106-通信接口，108-输入输出接口，110-总线，114-区域提取程序，115-分割掩模生成程序，116-位置信息生成程序，117-矩形框生成程序，118-尺寸判定程序，120-显示方式选择程序，122-显示控制程序，500-摄影系统，502-摄影控制部，504-摄影操作部，506-图像记录部，508-相机，510-放射线源，512-放射线源，514-摄影室，SM-分割模型，DA1、DA2、DA3-缺陷区域，RF2，RF3-矩形框，IM-图像，IMG1、IMG2、IMG3、IMG4-检查图像，OBJ-被检查体，S11～S39-信息处理方法的步骤。
权利要求书(按照条约第19条的修改)
1.一种信息处理装置，其具备处理器，所述信息处理装置中，
所述处理器进行如下处理：
获取图像；
执行从所述图像中提取检测对象的区域的区域提取处理；
根据所述提取的所述区域的区域信息生成所述区域的位置信息；
根据所述提取的所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示所述区域提取的处理结果，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
2.根据权利要求1所述的信息处理装置，其中，
所述处理器进行如下处理：
使用进行图像分割的分割模型，执行所述区域提取处理。
3.根据权利要求2所述的信息处理装置，其中，
所述分割模型为使用机器学习进行训练以从所输入的图像中提取所述检测对象的区域的学习模型。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述位置信息包括表示所述提取的区域的重心或外切矩形的中心的位置的信息。
5.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述第1显示方式包括显示作为告知所述提取的所述区域的位置的信息的矩形框或圆形框。
6.根据权利要求1至5中任一项所述的信息处理装置，其中，
所述第2显示方式包括填充所述提取的所述区域而显示的分割掩模显示。
7.根据权利要求1至6中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
在所述提取的所述区域的尺寸小于第1基准尺寸的情况下，以所述第1显示方式显示；
在所述提取的所述区域的尺寸大于所述第1基准尺寸的情况下，以所述第2显示方式显示。
8.根据权利要求1至7中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
在显示于所述显示画面上的所述区域的所述显示尺寸小于第2基准尺寸的情况下，以所述第1显示方式显示；
在所述显示尺寸大于所述第2基准尺寸的情况下，以所述第2显示方式显不。
9.根据权利要求8所述的信息处理装置，其中，
所述处理器进行如下处理：
接收放大显示及缩小显示的指示；
根据所述接收到的所述指示来变更所述显示画面的显示倍率；
根据所述显示倍率来切换所述第1显示方式和所述第2显示方式。
10.根据权利要求9所述的信息处理装置，其还具备：
输入装置，接收所述放大显示及所述缩小显示的指示的输入。
11.根据权利要求1至10中任一项所述的信息处理装置，其还具备：
显示装置，显示所述处理结果。
12.根据权利要求1至11中任一项所述的信息处理装置，其中，
所述图像为X射线透射图像。
13.根据权利要求1至11中任一项所述的信息处理装置，其中，
所述图像为对经铸造的金属组件、经锻造的金属组件或经焊接的金属组件的X射线透射图像。
14.根据权利要求1至13中任一项所述的信息处理装置，其中，
所述检测对象为缺陷。
15.根据权利要求14所述的信息处理装置，其中，
所述缺陷包括气泡、孔隙、FMLD即低密度异物及FMMD即低密度异物中的至少1个。
16.一种信息处理方法，其由信息处理装置执行，所述信息处理方法包括如下步骤：
获取图像；
执行从所述图像中提取检测对象的区域的区域提取处理；
根据所述提取的所述区域的区域信息生成所述区域的位置信息；及
根据所述提取的所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示所述区域提取的处理结果，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
17.一种信息处理方法，其由信息处理装置执行，所述信息处理方法包括如下步骤：
获取图像中的检测对象的区域的区域信息和所述区域的位置信息；及
根据所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
18.一种程序，其使计算机实现如下功能：
获取图像的功能；
执行从所述图像中提取检测对象的区域的区域提取处理的功能；
根据所述提取的所述区域的区域信息生成所述区域的位置信息的功能；及
根据所述提取的所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示所述区域提取的处理结果的功能，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
19.一种记录介质，其是非临时性且计算机可读取的记录介质，其记录有权利要求18所述的程序。
20.(追加)根据权利要求7所述的信息处理装置，其中，
所述第1显示方式是以预先确定的尺寸使告知所述区域的位置的信息显示的方式。
21.(追加)根据权利要求7所述的信息处理装置，其中，
所述第1显示方式是以预先确定的固定尺寸使告知所述区域的位置的信息显示的方式。
22.(追加)根据权利要求1至15、20及21中任一项所述的信息处理装置，其中，
所述第2显示方式包括使所述提取的所述区域的轮廓线显示。
23.(追加)根据权利要求1至15、20、21及22中任一项所述的信息处理装置，其中，
所述第1显示方式包括使告知所述区域的位置的信息闪烁显示。
24.(追加)根据权利要求1至15、20、21、22及23中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
在所述提取的所述区域的尺寸小于第1基准尺寸的情况下，使所述区域信息显示，并且，以所述第1显示方式显示告知所述区域的位置的信息。
说明或声明(按照条约第19条的修改)
根据PCT 19条修改的声明
权利要求第20项新记载基于申请时的说明书的第0043段的发明。
权利要求第21项新记载基于申请时的说明书的第0043段的发明。
权利要求第22项新记载基于申请时的说明书的第0105段的发明。
权利要求第23项新记载基于申请时的说明书的第0059段的发明。
权利要求第24项新记载基于申请时的说明书的第0052段的发明。

Claims (19)

1.一种信息处理装置，其具备处理器，所述信息处理装置中，
所述处理器进行如下处理：
获取图像；
执行从所述图像中提取检测对象的区域的区域提取处理；
根据所述提取的所述区域的区域信息生成所述区域的位置信息；
根据所述提取的所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示所述区域提取的处理结果，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
2.根据权利要求1所述的信息处理装置，其中，
所述处理器进行如下处理：
使用进行图像分割的分割模型，执行所述区域提取处理。
3.根据权利要求2所述的信息处理装置，其中，
所述分割模型为使用机器学习进行训练以从所输入的图像中提取所述检测对象的区域的学习模型。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述位置信息包括表示所述提取的区域的重心或外切矩形的中心的位置的信息。
5.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述第1显示方式包括显示作为告知所述提取的所述区域的位置的信息的矩形框或圆形框。
6.根据权利要求1至5中任一项所述的信息处理装置，其中，
所述第2显示方式包括填充所述提取的所述区域而显示的分割掩模显示。
7.根据权利要求1至6中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
在所述提取的所述区域的尺寸小于第1基准尺寸的情况下，以所述第1显示方式显示；
在所述提取的所述区域的尺寸大于所述第1基准尺寸的情况下，以所述第2显示方式显示。
8.根据权利要求1至7中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
在显示于所述显示画面上的所述区域的所述显示尺寸小于第2基准尺寸的情况下，以所述第1显示方式显示；
在所述显示尺寸大于所述第2基准尺寸的情况下，以所述第2显示方式显不。
9.根据权利要求8所述的信息处理装置，其中，
所述处理器进行如下处理：
接收放大显示及缩小显示的指示；
根据所述接收到的所述指示来变更所述显示画面的显示倍率；
根据所述显示倍率来切换所述第1显示方式和所述第2显示方式。
10.根据权利要求9所述的信息处理装置，其还具备：
输入装置，接收所述放大显示及所述缩小显示的指示的输入。
11.根据权利要求1至10中任一项所述的信息处理装置，其还具备：
显示装置，显示所述处理结果。
12.根据权利要求1至11中任一项所述的信息处理装置，其中，
所述图像为X射线透射图像。
13.根据权利要求1至11中任一项所述的信息处理装置，其中，
所述图像为对经铸造的金属组件、经锻造的金属组件或经焊接的金属组件的X射线透射图像。
14.根据权利要求1至13中任一项所述的信息处理装置，其中，
所述检测对象为缺陷。
15.根据权利要求14所述的信息处理装置，其中，
所述缺陷包括气泡、孔隙、FMLD即低密度异物及FMMD即低密度异物中的至少1个。
16.一种信息处理方法，其由信息处理装置执行，所述信息处理方法包括如下步骤：
获取图像；
执行从所述图像中提取检测对象的区域的区域提取处理；
根据所述提取的所述区域的区域信息生成所述区域的位置信息；及
根据所述提取的所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示所述区域提取的处理结果，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
17.一种信息处理方法，其由信息处理装置执行，所述信息处理方法包括如下步骤：
获取图像中的检测对象的区域的区域信息和所述区域的位置信息；及
根据所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
18.一种程序，其使计算机实现如下功能：
获取图像的功能；
执行从所述图像中提取检测对象的区域的区域提取处理的功能；
根据所述提取的所述区域的区域信息生成所述区域的位置信息的功能；及
根据所述提取的所述区域的尺寸及显示于显示画面上的所述区域的显示尺寸中的至少一个尺寸，切换第1显示方式和第2显示方式，显示所述区域提取的处理结果的功能，所述第1显示方式根据所述位置信息在所述显示画面上通过视觉吸引的方式显示告知所述区域的位置的信息，所述第2显示方式通过与所述第1显示方式不同的方式显示所述区域信息。
19.一种记录介质，其是非临时性且计算机可读取的记录介质，其记录有权利要求18所述的程序。
CN202280063705.0A 2021-09-28 2022-08-19 信息处理装置、信息处理方法及程序 Pending CN118076884A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021158214 2021-09-28
JP2021-158214 2021-09-28
PCT/JP2022/031319 WO2023053768A1 (ja) 2021-09-28 2022-08-19 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN118076884A true CN118076884A (zh) 2024-05-24

Family

ID=85782297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280063705.0A Pending CN118076884A (zh) 2021-09-28 2022-08-19 信息处理装置、信息处理方法及程序

Country Status (5)

Country Link
US (1) US20240242374A1 (zh)
EP (1) EP4411353A1 (zh)
JP (1) JPWO2023053768A1 (zh)
CN (1) CN118076884A (zh)
WO (1) WO2023053768A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792094A (ja) * 1993-09-21 1995-04-07 Toshiba Corp パターン欠陥検査装置
JP4144483B2 (ja) * 2003-09-02 2008-09-03 トヨタ自動車株式会社 鋳造内部欠陥検査支援装置および方法
JP5532539B2 (ja) * 2008-02-05 2014-06-25 株式会社島津製作所 Ｘ線検査装置
JP2015203628A (ja) * 2014-04-15 2015-11-16 株式会社日立ハイテクノロジーズ 荷電粒子線装置及び座標補正方法
WO2016174926A1 (ja) 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置及び画像処理方法及びプログラム
JP6556266B2 (ja) 2016-01-29 2019-08-07 富士フイルム株式会社 欠陥検査装置、方法およびプログラム
CN112204385A (zh) * 2018-06-29 2021-01-08 富士胶片株式会社 缺陷显示装置及方法
JP2020144688A (ja) * 2019-03-07 2020-09-10 株式会社Ihi 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置

Also Published As

Publication number Publication date
US20240242374A1 (en) 2024-07-18
WO2023053768A1 (ja) 2023-04-06
JPWO2023053768A1 (zh) 2023-04-06
EP4411353A1 (en) 2024-08-07

Similar Documents

Publication Publication Date Title
CN109997351B (zh) 用于生成高动态范围图像的方法和装置
US20100220910A1 (en) Method and system for automated x-ray inspection of objects
JP2021022369A (ja) 自動表面評価のためのシステム及び方法
CN113439227A (zh) 放大图像的捕获和存储
US20240311994A1 (en) Training data generation device, training data generation method, program, and defect test device
Chu et al. Detection of laser-induced optical defects based on image segmentation
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。
US20220318984A1 (en) Use of an hdr image in a visual inspection process
JP5336325B2 (ja) 画像処理方法
CN118076884A (zh) 信息处理装置、信息处理方法及程序
WO2020053866A1 (en) Streamlining an automatic visual inspection process
JP2005241304A (ja) 外観検査方法
KR20220111214A (ko) 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램
CN115170596A (zh) 一种基于图像边缘检测的血液凝集检测装置、系统及方法
JP2021173716A (ja) 検査装置及び検査方法
WO2023053727A1 (ja) 画像処理装置、処理システム、画像表示方法及びプログラム
Kehoe Detection and evaluation of defects in industrial images
WO2023238565A1 (ja) データ処理装置、データ処理方法、及びプログラム
US20230046611A1 (en) X-ray inspection apparatus, x-ray inspection system, image management method and program
EP4411356A1 (en) Display processing device, display processing method, and display processing program
Bjerregaard et al. Attenuation-adjusted deep learning of pore defects in 2D radiographs of additive manufacturing powders
Milde et al. In-process powder bed monitoring with angular illumination
Brockner et al. Software Tools for Effective Use of SLM In-Situ Diagnostic Data During Process Development and Prototype Fabrication
CN116897282A (zh) 图像显示装置、图像显示方法及程序
KR20230081913A (ko) 3차원 처리 기반 대상체 비파괴 검사 방법, 장치 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination