CN111507935A - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN111507935A
CN111507935A CN202010076174.1A CN202010076174A CN111507935A CN 111507935 A CN111507935 A CN 111507935A CN 202010076174 A CN202010076174 A CN 202010076174A CN 111507935 A CN111507935 A CN 111507935A
Authority
CN
China
Prior art keywords
target object
information
condition
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010076174.1A
Other languages
English (en)
Inventor
山田大辅
肥后智昭
小林一彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111507935A publication Critical patent/CN111507935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/26—Discovering frequent patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供信息处理装置、信息处理方法和存储介质。所述信息处理装置使用通过测量目标物体而获得的距离信息来检查目标物体的状态，所述信息处理装置包括：获取单元，其被构造为，基于距离信息来获取指示目标物体的一部分的位置的位置信息；以及输出单元，其被构造为，在目标物体的一部分的位置不满足预定条件的情况下，基于位置信息和条件，输出关于目标物体要从目标物体的当前状态移动到满足条件的状态的方向的信息。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本公开涉及一种用于从拍摄图像中检查目标物体的技术。
背景技术
在诸如工厂的生产现场，最近引入了使用图像的检查设备，以使手动进行的检查工作机械自动化。例如，在生产线中进行的产品状态检查中，基于通过使用各种测量设备对产品进行测量而获得的结果来确定产品的状态。在日本特开平11-49287号公报中，当检查塑料瓶的盖的倾斜时，基于从产品的侧面拍摄的图像来检测盖的状态。
在日本特开平11-49287号公报中，在检测到目标物体的倾斜的情况下，虽然向用户通知了异常，但是用户无法立即得知用于将歪斜的盖校正为适当朝向的方法。另一方面，在构建具有比日本特开平11-49287号公报中更高的生产率的系统时，通过将用于将在检查中被确定为不合格产品的产品的方向或位置校正为正确状态的方法通知给人或机器人，可以预期不合格产品的发生率会下降。
发明内容
鉴于上述问题设计出各种实施例，并且各种实施例旨在输出如下方法：当在检查中确定目标物体未处于适当的状态的情况下，将目标物体的状态校正为适当的状态。
根据一些实施例的方面，提供了一种信息处理装置，其使用通过测量目标物体而获得的距离信息来检查所述目标物体的状态，所述信息处理装置包括：获取单元，其被构造为，基于所述距离信息来获取指示所述目标物体的一部分的位置的位置信息；以及输出单元，其被构造为，在所述目标物体的一部分的位置不满足预定条件的情况下，基于所述位置信息和所述条件，输出关于所述目标物体要从所述目标物体的当前状态移动到满足所述条件的状态的方向的信息。
通过以下参照附图对示例性实施例的描述，各种实施例的其他特征将变得清楚。
附图说明
图1是示出信息处理系统的构造示例的图。
图2是示出信息处理系统的功能构造示例的框图。
图3是示出信息处理系统执行的处理的流程图。
图4A和图4B是示出由目标物体形成的平面的倾斜度的图。
图5A、图5B和图5C是示出设置待检查区域的示例的图。
图6A、图6B和图6C是示出使用模板匹配来设置区域的示例的图。
图7A、图7B和图7C是示出在检查目标物体中观察到的状态的图。
图8A和图8B是示出目标物体的期望状态的图。
图9是示出目标物体的期望状态与检查中观察到的状态之间的差异的图。
图10A和图10B是示出对用户的呈现方法的示例的图。
图11是示出信息处理系统的构造示例的图。
图12是示出信息处理系统的功能构造示例的框图。
图13是示出信息处理系统执行的处理的流程图。
图14是示出用于设置待检查区域的方法的示例的图。
图15是示出摄像装置与目标物体之间的距离的示例的图。
图16A和图16B是示出对用户的呈现方法的示例的图。
图17是示出信息处理系统的构造示例的图。
图18是示出信息处理系统的功能构造示例的框图。
图19是示出信息处理系统执行的处理的流程图。
图20是示出用于设置待检查区域的方法的示例的图。
图21是示出用于设置检查条件的方法的示例的图。
图22是示出NG检测点的示例的图。
图23是示出信息处理装置的硬件构造示例的图。
图24A和图24B是各自示出信息处理系统的构造示例的图。
具体实施方式
下文中将参照附图描述示例性实施例。
第一示例性实施例中的检查主要是指核查目标物体的一部分是否为平面的检查。具体地，假定在工厂或出厂仓库中的包装过程或分发过程中要进行的检查。在该检查中，核查目标物体(在本示例中为产品的包装箱)的外部包装(盖或帽的倾斜度或有无)或内部包装(内盖的倾斜度或有无)是否满足预定条件。
在第一示例性实施例中，在产品的装饰箱出厂时，使用从图像获得的信息来进行关于目标物体的一部分是否形成平面的检查。将描述在关于作为目标物体的外壳的盖是否倾斜的检查中使用的信息处理装置。在该检查中，在目标物体不满足条件(盖未关闭或盖倾斜)的情况下，信息处理装置向人或机器人呈现用于校正盖的朝向的指令。为了简单起见，假定这里描述的盖具有光滑且平坦的顶面(在将产品沿正确的上下方向放置的情况下的顶面、以及正对摄像装置的表面)。
图1示出了根据本示例性实施例的包括信息处理装置10的信息处理系统100的构造示例。摄像装置1是诸如数字相机的包括镜头和电子图像传感器的测量设备，并且获取目标物体4的状态作为图像信息。作为图像信息，摄像装置1可以获取二维彩色图像信息，并且在摄像装置1是立体相机的情况下，还可以获取指示从摄像装置1到目标物体4的距离的距离图像信息。从摄像装置1输出的图像信息被输入到信息处理装置10。光源2是例如照明设备，并且发射照明光以清楚地观看目标物体的图案或边缘。另选地，在光源2是投影设备(例如，投影仪)的情况下，摄像装置1通过光源2发射图案光来获取距离图像。摄像装置1和光源2可以相对于摄像目标固定地布置，或者可以安装在诸如机器人的可移动机构部分上。可以提供多个摄像装置1。
输出设备3包括显示器，该显示器输出例如用于校正目标物体4的一部分的信息，并且使用图形用户界面(GUI)向用户输出指令信息。指令信息是指示目标物体的当前状态与目标物体的期望状态之间的差异的信息。指令信息的具体示例包括：位置信息，其指示当前状态离期望状态多远；以及校正方法，其指示目标物体要移动多少来接近期望状态。输出设备3不限于显示设备，并且可以是诸如扬声器的再现声音或语音的再现设备。在使用语音设备的输出中，合成音被用作指令信息。另选地，诸如投影仪的将指令信息投影到目标物体的表面上的投影设备可以用作输出设备3。另选地，可以采用使用虚拟现实(VR)的输出方法。这种输出设备的具体示例包括可穿戴设备，诸如头戴式显示器(HMD)或增强现实(AR)眼镜。使用这些输出设备，以混合现实(MR)、AR或VR呈现用于目标物体4的指令信息。通过使用任何一个输出设备或多个这些输出设备的组合，在目标物体是不合格产品的情况下，可以迅速地向用户呈现校正方法，并且可以缩短用于校正不合格产品所花费的时间。
目标物体4是指在工厂的生产线中处理的诸如包装、产品或部件的物体。通过带式传送机从制造设备中依次排出目标物体4，并且一个或多个目标物体4同时进入摄像装置1的摄像范围。在本示例性实施例中，目标物体4移动到摄像装置1的摄像范围。在诸如布局产品的工作的工作中，在校正布置在机架上的固定位置处的目标物体的情况下，可以通过使系统移动来进行对多个目标物体当中的布置在错误的方向或位置的目标物体的校正。在该示例中，通过从上方拍摄目标物体4的图像，检查作为目标物体4的一部分的盖的状态是否是期望状态。具体地，假定期望状态是盖在关闭状态下形成平面(平行于水平面)的状态。
图2是信息处理系统100和信息处理装置10的功能框图。信息处理装置10包括设置单元101、图像信息获取单元102、区域确定单元103，位置信息获取单元104、确定单元105、校正方法获取单元106、输出方法确定单元107和输出控制单元108。
设置单元101设置在由信息处理系统100进行的检查中要使用的确定条件。确定条件是目标物体的一部分的位置是否落在预定范围内。另选地，确定条件可以是目标物体的一部分的朝向(包括在X、Y和Z方向上的三维位置以及分别与之相对应的旋转方向的六维信息)是否落在预定范围内。确定条件根据检查的类型或目标物体而变化。下面将描述确定条件的设置方法。设置单元101将设置的确定条件发送到确定单元105。
图像信息获取单元102获取从摄像装置1输出的图像信息(距离图像)。图像信息是指示从摄像装置1到目标物体4的距离的距离信息。该距离信息对应于距离图像中的各个像素。图像信息获取单元102将获取的图像信息输出到区域确定单元103。图像信息获取单元102例如包括采集卡或存储器(随机存取存储器(RAM))。
区域确定单元103基于由图像信息获取单元102输入的图像信息(距离图像)来确定待检查区域。下面将描述区域的确定方法。区域确定单元103将确定的区域信息发送到位置信息获取单元104。
位置信息获取单元104基于图像信息(距离图像)，获取从区域确定单元103输入的区域中的目标物体的位置信息。位置信息至少是指目标物体的一部分的三维位置。例如，位置信息包括在目标物体的顶面上的三维位置的集合。具体地，位置信息包括由指示目标物体的顶面的平面与水平面形成的角度(倾斜度)。位置信息还包括关于三维坐标的各个坐标轴中的朝向的信息。位置信息获取单元104将位置信息发送到确定单元105。
确定单元105基于从设置单元101输入的确定条件和从位置信息获取单元104输入的位置信息，确定目标物体的一部分是否满足确定条件。在目标物体的一部分满足确定条件的情况下，确定单元105将目标物体确定为“OK”，并且在目标物体的该部分不满足确定条件的情况下，确定单元105将目标物体确定为“NG”(以下，确定结果将被称为检查OK/NG(inspection OK/NG)的结果)。确定单元105将检查OK/NG的结果发送到校正方法获取单元106。另外，在目标物体被确定为OK的情况下，将指示目标物体处于期望状态的信息输出到输出设备3。
校正方法获取单元106基于从确定单元105输入的确定结果，在目标物体被确定为NG的情况下，获取指示为了满足OK条件而要移动目标物体的移动量或方向的校正方法。下面将描述校正方法的获取方法。校正方法获取单元106将获取的校正方法发送到输出方法确定单元107。
输出方法确定单元107基于从校正方法获取单元106输入的校正方法来确定用于向用户输出校正方法的方法。输出方法确定单元107将所确定的校正方法输出方法发送至输出控制单元108。
输出控制单元108向用户呈现关于目标物体的当前状态与目标物体的期望状态之间的差异的信息。关于目标物体的当前状态与目标物体的期望状态之间的差异的信息还包括例如与目标物体的有无相关的信息。另选地，关于差异的信息可以是指示在目标物体的当前状态与目标物体的期望状态(位置或朝向)之间存在多少差异的向量信息。具体地，在目标物体的位置不满足预定条件的情况下，基于位置信息和预定条件，向用户呈现目标物体的状态要被改变的方向。输出控制单元108基于从输出方法确定单元107获取的输出方法，向用户输出指令信息。在输出控制单元108从输出方法确定单元107获取了输出方法的情况下，输出控制单元108将指令触发发送到输出设备3。
图3是示出由信息处理系统执行的处理的流程图。通过图23所示的信息处理装置10的中央处理单元(CPU)11读出并执行存储在只读存储器(ROM)12或外部存储器14中的程序来实现图3所示的处理。另选地，可以通过专用硬件来实现图3所示的处理的一部分或全部。例如，当操作者启动信息处理系统100时，开始图3所示的处理。然而，处理的开始定时不限于启动信息处理系统100的定时。另外，信息处理系统100不必总是进行该流程图所示的所有操作。
首先，在S1中，CPU 11进行信息处理系统100的初始化处理。更具体地，CPU 11将存储在ROM 12或外部存储器14中的程序加载到随机存取存储器(RAM)13上，并且使程序进入可执行状态。另外，CPU11读取连接到信息处理装置10的设备的参数，将设备返回到其默认位置，并使设备进入可使用状态。
在S2中，设置单元101基于表示目标物体的状态的模型来设置用于检查OK/NG的确定条件。例如，在盖的倾斜检查的情况下，确定条件是关于目标物体4的顶面的倾斜度(倾斜度允许范围)的条件。另外，模型表示目标物体的期望状态。具体而言，该模型是使用平面的方程式表示盖的表面状态的模型。该模型被保持在信息处理装置的存储单元(未示出)中。另选地，信息处理装置经由通信单元(未示出)从外部设备获取模型。在期望核查目标物体4的盖的倾斜的情况下，如果目标物体4的盖处于绕预定轴旋转的状态，则可以通过检查盖的部分区域的倾斜度来核查倾斜。在摄像装置1被安装成正对放置有目标物体4的表面的情况下，如果目标物体4的盖的表面没有倾斜，则摄像装置1也正对目标物体4的盖的表面。因此，在目标物体4的盖没有正对摄像装置1的情况下，认为盖是歪斜的，也就是说，盖是倾斜的。将在检查中确定为正确的盖的表面状态替换为由平面的方程式表示的模型，并且将表面倾斜度定义如下。通过式(1)中的平面的方程式，如式(2)中那样获得目标平面的法向单位向量。
Ax+By+Cz+D＝0…(1)
[数学式1]
Figure BDA0002378541860000071
在方程式中，nx、ny和nz分别表示在X、Y和Z方向上的基本向量，如图4A和图4B所示。基于式(2)，如下式(3)至(5)中那样，将法向单位向量与各个基本向量nx、ny和nz形成的角度θ定义为倾斜度。
θx＝180cos-1nx/π…(3)
θy＝180cos-1ny/π…(4)
θz＝180cos-1nz/π…(5)
因此，在目标物体4的盖正对相机的光轴(关闭或不倾斜)的情况下，观察到的平面相对于相机的光轴在X、Y和Z方向上具有以下倾斜度。
θx＝90°…(6)
θy＝90°…(7)
θz＝0°…(8)
如果在检查中在各个方向上角度落在±3°以内时将目标物体4确定为检查OK，则被确定为OK的范围设置如下。
87.00°≤θx≤93.00°…(9)
87.00°≤θy≤93.00°…(10)
-3.00°≤θz≤3.00°…(11)
在S3中，摄像装置1拍摄目标物体4的图像。摄像装置1以将目标物体4包括在图像中的方式拍摄图像。摄像装置1可以以固定的时间间隔释放快门。摄像装置1可以拍摄目标物体4的视频。
在S4中，图像信息获取单元102获取目标物体4的由摄像装置1输出的图像信息，并将所获取的图像信息发送至区域确定单元103。
在S5中，区域确定单元103基于由图像信息获取单元102输入的图像信息(距离图像)来确定检查区域。作为用于确定区域的方法，例如，用户可以预设区域或者可以基于所获取的图像信息来设置区域。
作为用户预设区域的方法，以与在线状态下的位置关系类似的位置关系，离线拍摄目标物体4的图像，并且使用拍摄图像。例如，如图5A、图5B和图5C所示，通过用户在目标物体4的二维图像中拖动鼠标光标来确定区域。另选地，可以通过输入如图5A、图5B和图5C所示设置的区域的左上角点和右下角点的坐标值来确定区域。
作为用于基于获取的图像信息来设置区域的方法，例如，使用二维图像信息来进行模板匹配。如图6A、图6B和图6C所示，准备指示相机的标记作为模板，并且如果在运行时间期间进行相机的标记的模板匹配，则将基于位置的预定区域设置为检查区域。通过预设预定区域，即使目标物体4的位置改变，也可以将目标物体4的相同区域设置为检查区域。
可以在彩色图像或距离图像中设置区域。因为彩色图像和距离图像中的位置被对准，所以如果在一个图像中设置区域，则在另一图像中的相同位置处也设置区域。
在S6中，位置信息获取单元104获取至少指示目标物体的目标面的位置的位置信息。在摄像装置可以测量距离的情况下，位置信息是指示目标物体的表面在图像坐标系中的三维位置的信息。在正确的上下方向放置目标物体的情况下，测量从摄像装置(其中包括传感器)到目标物体的顶面的距离。例如，针对在S5中设置的区域，获得平面，并且获取所获得的平面的倾斜度。具体地，首先，使用相机参数将在S4中获取的距离图像信息转换为在相机坐标系中的三维点组。因为要观察的三维点组通常包括观察噪声，所以通过诸如随机采样一致性(RANSAC，Random Sample Consensus)的鲁棒估计(robust estimation)，使用区域中的不是噪声的一部分点来进行平面拟合。为了去除噪声，除了鲁棒估计之外，还可以进行膨胀/收缩处理，或者可以使用诸如双向滤波器的滤波器。通过使诸如在鲁棒估计中要使用的RANSAC的重复次数和被视为离群值的范围的阈值的参数可被用户任意设定，可以缩短当分辨率高且包括许多点组时所花费的处理时间。
在S7中，确定单元105基于从设置单元101输入的确定条件和从位置信息获取单元104输入的位置信息，确定目标物体是否满足确定条件。确定单元105确定在S6中获取的位置和朝向的结果是否落在S2中设置的确定条件的OK范围内。具体地，确定单元105基于在S6中获取的θx、θy和θz的各个值是否落在S2中设置的范围内来进行确定。在值未落在该范围内(S7中为“否”)的情况下，确定单元105将目标物体确定为NG，并且处理进入S8。在值落在该范围内(S7中为“是”)的情况下，确定单元105将目标物体确定为OK，并且处理进入S11。在目标物体满足确定条件的情况下，输出控制单元108控制输出设备3输出指示目标物体的当前状态满足期望状态的信息。
在S8中，在基于从确定单元105输入的确定结果，目标物体的状态(位置或朝向)不满足预定条件的情况下，校正方法获取单元106获取指示为了满足预定条件而要移动目标物体的移动量或方向的校正方法。进行该获取，以将已经由确定单元105确定为不满足条件的目标物体的当前状态(位置或朝向)校正为满足在S2中设置的条件的预定状态(位置或朝向)。例如，将如图7A所示的盖倾斜的情况视为目标物体的当前状态。此时，作为用于核查目标物体的倾斜的方法，在画面上呈现距离图像是有用的，因为可以在视觉上识别倾斜度的程度。距离图像在图7B和图7C中示出。作为距离图像的呈现方法，根据各像素的距离值，将设置在前侧(靠近相机)的像素以黑色显示(以深色图案显示)，将设置在后侧(远离相机)的像素以白色显示(以浅色图案显示)。另选地，可以以白色显示前侧像素，并且可以以黑色显示后侧像素，或者可以将距离值转换为颜色图，并且可以显示颜色图。根据在S2中设置的确定条件，被确定为检查OK的期望状态是如图8A和图8B所示的状态。此时，期望状态对应于设置为确定条件的值的中间值。例如，在S2中设置的范围是由不等式(9)至(11)表示的范围的情况下，由式(6)至(8)表示的作为该范围的中值的值，被视为期望状态下的指示正确的位置和朝向的值。
如果设置了期望状态，则获得期望状态与当前位置和朝向之间的差异，并且获得要如何改变位置和朝向以将当前状态改变为期望状态。例如，在当前状态是图9中所示的状态的情况下，为了将设置范围内的表面改变为期望状态，目标物体需要相对于X轴方向(图9所示的旋转中心)旋转+15°。
在S9中，输出方法确定单元107基于从校正方法获取单元106输入的校正方法来确定用于向用户输出校正方法的方法。例如，输出方法确定单元107确定在显示器(显示设备)上显示校正方法。另选地，输出方法确定单元107可以确定使用扬声器(语音设备)、投影仪(投影设备)、HMD或AR眼镜输出校正方法。
可以预设校正方法的输出方法。例如，可以预设用户的位置与输出方法之间的对应关系。当执行流程图中的处理时，信息处理装置可以基于用户的位置来确定输出方法。例如，根据诸如用户的位置或工厂的噪声水平等状态来设置输出方法。具体地，在用户与显示器之间的距离落在预定范围内(例如，在3m之内)的情况下，校正方法被输出到显示器，并且在用户与显示器之间的距离落在预定范围外(超过3m)的情况下，通过语音输出校正方法。例如，在使用附装到显示器的相机可以看出用户不在显示器的前面的情况下，不在显示器上显示指令信息，而由诸如扬声器的其他单元输出指令信息(校正方法)。另选地，在可以看出用户正在看着目标物体的情况下，通过使用投影仪将指令信息投影到目标物体上来输出指令信息。另选地，在环境声音嘈杂(音量的测量结果超过预定阈值)的情况下，可以通过在显示器上显示指令信息来代替执行语音指令，来呈现指令信息。另外，在连接了多个输出设备的情况下，可以以组合的方式呈现指令信息。例如，在将显示设备和语音设备用作输出设备的情况下，由两个设备输出指令信息。
在S10中，输出控制单元108向用户呈现关于目标物体的当前状态与目标物体的期望状态之间的差异的信息。例如，该信息是指示从向量信息获得的用于将目标物体的当前状态改变为目标物体的期望状态的方向或量的信息。例如，在基于在S8中获取的结果在S9中确定要使用显示器执行指令的情况下，在显示设备上显示要移动目标物体的方向或量。例如，如图10A和图10B所示，通过指示在X方向上延伸的旋转轴，并且使用箭头指示方向并使用数值指示角度，以使目标物体绕旋转轴旋转+15°的方式执行指令。例如，在与期望状态的差异落在允许范围内并且大约是几毫米的情况下，使用数值或角度显示目标物体要被移动的量有助于用户通过核查输出结果来确定是否需要后续校正操作。当执行指令时，例如，如图10A所示，指令可以通过被叠加在二维图像上来进行显示，或者如图10B所示，指令可以通过被叠加在距离图像上来进行显示。另选地，除了从上方观看的图之外，可以对准三维点组中的位置和二维彩色图像信息，可以使用着色三维点组信息来生成从任意视点观看的图像，并且可以以叠加的方式显示校正方法。另选地，在S9中确定要通过其他方法输出校正方法的情况下，根据所确定的方法向用户输出校正指令。在要使用扬声器通过语音来指示用户的情况下，通过语音向用户传送在图10A和图10B中示出的指令。例如，指示用户将箱的顶面相对于X轴方向旋转+15°。另选地，在通过将图10A和图10B所示的指令投影到目标物体上来通过使用投影仪的投影指示用户的情况下，传送与在使用显示器的情况下传送的指令相似的指令。另选地，在使用HMD或AR眼镜指示用户的情况下，通过显示图10A和图10B所示的指令(在使用HMD或AR眼镜的虚拟空间或真实空间中，该指令叠加在目标物体上)来传送与在使用显示器的情况下传送的指令相似的指令。指令信息可以是指示目标物体的当前状态与目标物体的期望状态之间的差异的绝对值或向量信息。在这种情况下，仅需要呈现目标物体的位置信息作为指令信息。
在S11中，CPU 11确定是否存在下一个目标物体4。然后，在不存在下一个目标物体4(S11中为“否”)的情况下，CPU 11确定结束处理并结束图3所示的处理。在存在下一个目标物体4(S11中为“是”)的情况下，CPU 11确定继续处理，并且处理返回到S3。作为确定方法，例如，可以基于在S4中获取的、目标物体4的图像信息来确定目标物体4的有无，或者可以基于处理次数是否达到预设的处理次数，来确定目标物体4的有无。另选地，可以在目标物体4的供应位置处设置传感器，并且可以基于传感器信息来确定目标物体4的有无。作为传感器信息，例如，可以在供应位置处设置重量传感器，并且可以基于在供应位置处测量的重量来确定目标物体4的有无。另选地，可以通过这些以外的方法来确定目标物体4的有无。
除了使用表示目标物体的形状的模型来设置绝对条件之外，设置单元101还可以使用多个目标物体的图像来设置相对条件。绝对条件是诸如倾斜度或旋转量的特定数值的范围(阈值)。与此相对，相对条件例如使用被检查的目标物体的位置信息的平均值。如果某个目标物体的位置信息与平均值之间的差大于预定值，则检测到该目标物体处于异常状态。
在上述处理单元中，可以使用通过机器学习获得的学习模型代替校正方法获取单元106来获取校正方法。在这种情况下，例如，可以准备给予处理单元的输入数据和输出数据的多个组合，作为学习数据，通过机器学习从这些组合中获取知识，并且生成基于获取的知识来输出与输入数据相对应的输出数据作为结果的学习模型。例如，神经网络模型可以用作学习模型。然后，学习模型通过与CPU或图形处理单元(GPU)协作操作，进行处理单元的处理，该处理单元作为用于进行与处理单元等效的处理的程序。在预定处理之后，可以根据需要更新上述学习模型。
如上所述，在本示例性实施例中，在设置了用于确定检查OK/NG的确定条件之后，通过摄像装置获取目标物体的图像信息。随后，基于图像信息确定检查区域，获取目标面的位置和朝向，并且基于确定条件进行OK/NG确定。然后，在确定目标面为NG的情况下，获取用于校正目标面以被确定为OK的方法，确定校正方法的输出方法，并且将校正方法的指令输出至用户。
利用该构造，即使不熟悉相应处理的检查的用户也可以识别当检查结果指示为NG时要进行的校正方法。因此，可以容易地将不合格产品校正为适当的状态。
接下来，将描述第二示例性实施例。在第二示例性实施例中，将给出用于获得安装摄像装置的位置和朝向的方法的描述，作为在检查之前要进行的预设。为了获得位置和朝向，获取距离的统计信息。通过获取距离统计信息和平面的倾斜度作为目标面的位置和朝向，并基于确定条件进行OK/NG确定，确定目标面是否已安装成正对摄像装置1。在确定目标面为NG的情况下，获取用于校正摄像装置的朝向的方法，确定校正方法的输出方法，并输出校正方法。通过这种构造，可以容易地将摄像装置1安装成正对目标面。因此，可以缩短信息处理系统的预设所花费的时间。
图11是示出根据本示例性实施例的包括信息处理装置10'的信息处理系统100'的构造示例的图。图11示出了设备构造的示例，并且不旨在限制每个实施例的范围。
目标物体4'是要被信息处理系统100'检查的物体，例如在带式传送机上流动的托盘。检查是指例如通过测量托盘顶面的位置和朝向来确定托盘是否被安装成正对摄像装置1。在本示例性实施例中，目标物体4'还包括传送托盘的带式传送机。在这种情况下，将带式传送机顶面作为目标面进行检查。另选地，目标物体4'可以是放置在托盘上的部件。在这种情况下，将部件顶面作为目标面进行检查。
图12是根据本示例性实施例的信息处理系统100'和信息处理装置10'的功能框图。图12所示的信息处理系统100'和信息处理装置10'与图2所示的信息处理系统100和信息处理装置10的不同之处在于：由设置单元101、位置信息获取单元104、确定单元105和校正方法获取单元106进行的处理。
基于距离统计信息，设置单元101'设置用于由信息处理系统100'确定的检查OK/NG的确定条件。设置单元101'将设置的确定条件发送到确定单元105'。尽管在第一示例性实施例中将倾斜度设置为确定条件，但是在本示例性实施例中，距离的最大值、距离的最小值、距离的最大值与最小值之间的差、距离的平均值，距离的偏差或距离的中值中的至少一个作为距离统计信息被设置为确定条件。
位置信息获取单元104'获取从区域确定单元103输入的区域中的位置和朝向。位置信息获取单元104'将位置信息发送到确定单元105'。尽管在第一示例性实施例中获取表面倾斜度，但是在本示例性实施例中，还获取表面的距离统计信息。在本示例性实施例中，通过使用距离的中值和偏差作为距离统计信息，基于目标面是否处于期望距离以及表面高度是否变化很小，来确定目标面是否不是歪斜的，也就是说，目标面是否正对相机。
基于从设置单元101'输入的确定条件和从位置信息获取单元104'输入的位置信息，确定单元105'确定检查OK/NG。确定单元105'将检查OK/NG的结果发送到校正方法获取单元106'。尽管在第一示例性实施例中基于表面倾斜度来进行确定，但是在本示例性实施例中，基于表面倾斜度和距离统计信息来进行确定。
基于从确定单元105'输入的确定结果，在目标面被确定为NG的情况下，校正方法获取单元106'获取用于将目标面校正为OK状态的方法。校正方法获取单元106'将获取的校正方法发送到输出方法确定单元107。尽管在第一示例性实施例中确定了用于校正表面倾斜度的校正方法，但是在本示例性实施例中，确定用于校正目标物体的表面倾斜度和到摄像装置的距离的校正方法。
图13是示出由根据本示例性实施例的信息处理系统100'和信息处理装置10'执行的检查设备控制过程的流程图。因为处理在一些操作上与第一示例性实施例中的图3所示的处理不同，所以将描述不同之处。
在S2'中，设置单元101'基于距离统计信息设置用于检查OK/NG的确定条件。确定条件例如对应于距离的统计信息和表面倾斜度。在要核查摄像装置1是否被安装成正对目标物体4'的情况下，检查摄像装置1相对于目标物体4'的目标面是否具有落在预定范围内的距离和倾斜度。例如，使用检查区域的距离的最大值、距离的最小值、距离的最大值与最小值之间的差、距离的平均值、距离的偏差、或距离的中值，作为距离的统计信息。例如，在要检查距离中值dmed是否落在2mm之内以及距离偏差ddev是否落在3mm之内的情况下，作为从摄像装置1到目标面的距离统计信息，如下设置确定为OK的范围。
398mm≤dmed≤402mm…(12)
0mm≤ddev≤3mm…(13)
另外，如果当在各个方向上的角度落在±3°之内时确定表面倾斜度为检查OK，则与第一示例性实施例中的S2类似地设置由不等式(9)至(11)表示的范围。
在S12中，输出控制单元108向用户呈现用于调整摄像装置1的位置和朝向并固定摄像装置1的方法。在最初固定时，用户在以视觉方式核查目标面和摄像装置1的同时将摄像装置1固定在预定位置和朝向。此后，获取目标面的位置和朝向，并基于距离统计信息和表面倾斜度进行检查。在需要校正的情况下，输出指令信息，以便根据用于校正的指令适当地校正摄像装置1的位置和朝向。
在S13中，位置信息获取单元104'获取距离统计信息作为目标物体的目标面的位置信息。例如，在如图14中所示的虚线部分所指示的将检查区域设置在托盘顶面上的四个角处的情况下，获得这些区域中的距离统计信息。
在S14中，确定单元105'基于关于摄像装置与目标面之间的位置关系(距离)是否落在预定范围内的预定条件(第二条件)，来进行OK/NG确定。确定单元105'基于在S13'中获取的结果是否落在S2'中设置的确定条件的OK范围内，来进行确定。具体地，确定单元105'基于在S13中获取的距离中值dmed和距离偏差ddev是否落在S2'中设置的不等式(12)和(13)的范围内，来进行确定。在该值未落在该范围内(S14中为“否”)的情况下，将目标面确定为NG，并且处理进入S15。在该值落在该范围内(S14中为“是”)的情况下，将目标面确定为OK，并且处理进行到S6'。
在S15中，校正方法获取单元106'获取用于以使得目标物体与摄像装置之间的位置关系(距离)满足预定条件(第二条件)的方式校正摄像装置的状态的方法。具体地，校正方法获取单元106'获取如下方法：改变摄像装置的位置或朝向，以使得获取的距离统计信息落在已在S2'中设置的确定为检查OK的范围内。例如，如图15所示，在从摄像装置1到目标面的距离是405mm的情况下，摄像装置1比被设置为确定条件的期望值400mm更远5mm。因此，作为校正方法，需要使摄像装置1向目标面更靠近地移动5mm。
在S16中，输出方法确定单元107确定用于向用户输出校正方法的方法。例如，输出方法确定单元107确定在显示器上显示校正方法。另选地，输出方法确定单元107可以确定使用扬声器、投影仪、HMD或AR眼镜输出校正方法。例如，在摄像装置1被安装成正对目标面的情况下，期望用户看着摄像装置1和目标物体4'而不是看着显示器。因此，通过使用扬声器输出表述使摄像装置1向目标面更靠近地移动5mm的语音指令、或者将该指令投影到目标面上，来向用户呈现校正方法，作为在S15中获取的结果。
在S17中，基于第二条件和位置信息，在位置信息不满足第二条件的情况下，输出控制单元108向用户呈现用以校正摄像装置的位置或朝向的指令信息。例如，如图16A所示，输出控制单元108可以控制扬声器说出“将摄像装置移近5mm”。另选地，如图16B所示，可以将表述“将摄像装置移近5mm”的指令投影到目标面上。
在S6'至S10'中，类似于第一示例性实施例中的S6至S10，获取表面倾斜度并确定倾斜度，并且在该倾斜度被确定为NG的情况下，获取用于校正倾斜度的方法，确定用于指示校正的方法，并输出校正信息。然而，如图13所示，可以按顺序输出用于距离统计信息的校正指令信息和用于表面倾斜度的校正指令信息。可以首先输出用于表面倾斜度的校正指令信息。另选地，可以同时输出两个校正指令信息。在同时输出两个校正指令信息的情况下，不仅如S15至S17所示输出距离信息的指令信息，而且还一起输出倾斜度信息的指令信息。
如上所述，在本示例性实施例中，在设置用于将摄像装置1安装成正对目标面的确定条件之后，通过摄像装置获取目标面的图像信息。随后，基于由摄像装置获取的图像信息确定检查区域，获取距离统计信息和表面倾斜度作为目标面的位置和朝向，并基于确定条件进行OK/NG确定。然后，在确定结果指示为NG的情况下，获取用于校正状态以便确定为OK的方法，确定该校正的输出方法，并将校正方法输出给用户。
利用该构造，可以容易地将摄像装置1安装成正对目标面。因此，可以缩短用于启动装置所花费的准备时间。
接下来，将描述第三示例性实施例。在第三示例性实施例中，位置信息获取单元104被构造为除了上述第一示例性实施例中的功能之外，还获取区域信息。区域信息是指：在设置的检查区域中的设置的距离范围内的面积或中心位置中的至少一个。可以获得检查区域的一部分的面积或中心位置。当获得检查区域的一部分的面积或中心位置时，可以获得由用户设置的任意区域的面积或中心位置，或者可以获得满足特定条件的区域的面积或中心位置。作为条件的示例，可以将图像二值化并且为二值化图像设置区域，并且可以获得各个二值化区域的面积或中心位置，或者可以获得整个二值化区域的面积或中心位置。
具体地，类似于上述第一示例性实施例，首先，在设置了用于确定检查OK/NG的确定条件之后，通过摄像装置获取目标物体的图像信息。随后，基于由摄像装置获取的图像信息来确定检查区域，获取区域信息作为目标面的位置和朝向，并且基于确定条件来进行OK/NG确定。由此检查目标物体的有无。在确定结果指示为NG的情况下，获取用于校正状态以便确定为OK的方法，确定该校正的输出方法，并且将校正的指令信息输出给用户。
利用该构造，可以通过仅进行一次摄像来检查检查区域中物体的有无并且识别校正方法。因此，例如可以在分发现场中的塑料瓶出厂之前，有效地进行检查帽的有无的处理。
图17是示出根据本示例性实施例的包括信息处理装置10”的信息处理系统100”的构造示例的图。图17示出了设备构造的示例，并且不旨在限制每个实施例的范围。
目标物体4”是假定要被信息处理系统100”检查的物体，诸如在出厂前过程中装在纸皮箱中的一箱塑料瓶。例如，本示例性实施例中的检查是对塑料瓶的帽的有无的检查。另选地，可以检查塑料瓶主体的有无或塑料瓶的位置，或者除了帽的有无之外，还可以检查帽的类型。
图18是根据本示例性实施例的信息处理系统100”和信息处理装置10”的功能框图。图18所示的信息处理系统100”和信息处理装置10”与图2所示的信息处理系统100和信息处理装置10的不同之处在于由设置单元101、区域确定单元103、位置信息获取单元104、确定单元105和校正方法获取单元106进行的处理。
设置单元101”基于区域信息，设置用于由信息处理系统100”确定的检查OK/NG的确定条件。设置单元101”将设置的确定条件发送到确定单元105”。尽管在第一示例性实施例中将倾斜度设置为确定条件，但是在本示例性实施例中，将设置区域中的面积或中心坐标(X，Y)设置为区域信息。
区域确定单元103”基于由图像信息获取单元102输入的图像信息来确定待检查区域。如第一和第二示例性实施例中那样，除了在图像的XY平面上的设置之外，还可以设置区域的距离范围。区域确定单元103”将确定的区域信息发送到位置信息获取单元104”。
位置信息获取单元104”获取从区域确定单元103”输入的区域中的位置和朝向。位置信息获取单元104”将位置信息发送到确定单元105”。尽管在第一示例性实施例中获取表面倾斜度，但是在本示例性实施例中，获取区域的面积或中心坐标(X，Y)作为区域信息。可以获得整个区域的面积和中心坐标，可以获得该区域的一部分的面积和中心坐标，或者可以获得多个区域中的各个的面积和中心坐标。可以在进行作为预处理的降噪处理(诸如膨胀/收缩处理)之后获取面积和中心坐标。
基于从设置单元101”输入的确定条件和从位置信息获取单元104”输入的位置信息，确定单元105”确定检查OK/NG。确定单元105”将检查OK/NG的结果发送到校正方法获取单元106”。尽管在第一示例性实施例中基于表面倾斜度进行确定，但是在本示例性实施例中，基于区域信息进行确定。
基于从确定单元105”输入的确定结果，在确定结果指示为NG的情况下，校正方法获取单元106”获取用于将状态校正为OK状态的方法。校正方法获取单元106”将获取的校正方法发送到输出方法确定单元107。尽管在第一示例性实施例中校正方法被确定为校正表面倾斜度，但是在本示例性实施例中，校正方法被确定为校正区域信息。例如，在检查塑料瓶的帽的有无的情况下，如果箱中的一部分塑料瓶的帽缺失，则呈现用以在相应位置更换塑料瓶的指令。
图19是示出根据本示例性实施例的由信息处理系统100”和信息处理装置10”执行的检查过程的流程图。由于处理在某些操作上与第一示例性实施例中的在图3所示的处理不同，因此将描述不同之处。
在S2”中，设置检查OK/NG的确定条件。确定条件例如对应于区域的面积或中心坐标(X，Y)。在要核查作为目标物体4”的塑料瓶的帽的有无的情况下，使用检查区域中的面积。具体地，在如图20所示的虚线四边形框所指示的那样在图像中设置检查区域的情况下，框中的阴影部分对应于帽的区域。因此，将阴影部分的面积设置为确定条件。例如，当图像中一个帽的面积由“s”表示时，如果有九个帽，则帽的面积变为“9s”。当在检查中将面积的±5％的变化确定为OK时，如下设置被确定为OK的范围，作为面积S的范围。
0.95×9s≤S≤1.05×9s…(14)
另选地，可以针对各个部分区域设置面积，而不是在整个图像中设置面积。当在这种情况下的面积由Sb表示时，如下设置被确定为OK的范围。
0.95×s≤Sb≤1.05×s…(15)
此外，当如图22所示以均匀的间隔布置区域时，使用各个区域的中心坐标(Xn，Yn)，确定帽是否存在于预定位置(xn，yn)。当确定±2mm的变化内的位置为OK时，针对九个目标物体n＝1、2，...，9设置以下条件。
(xn-2)mm≤Xn≤(xn+2)mm…(16)
(yn-2)mm≤Yn≤(yn+2)mm…(17)
可以使用图像坐标系中的像素数量来设置面积和中心位置，可以在转换为世界坐标系后使用物理量来设置面积和中心位置，或者可以在转换为其他坐标系或单位系统后设置面积和中心位置。
在S5”中，确定检查区域。作为用于确定区域的方法，例如，如在第一示例性实施例中那样，区域可以由用户预设或者可以基于获取的图像信息来设置。在本示例性实施例中，除了平面以外，还将距离设置为区域。例如，在检查塑料瓶的帽的情况下，将距塑料瓶的帽顶面的距离设置为区域。如图21所示，当从摄像装置1到目标物体4”的塑料瓶的帽顶面的距离设置为400mm时，将400mm的±10mm以内的区域设置为检查区域。图21是沿图22所示的距离图像中的线X-X'截取的截面图。
在S18中，获取区域信息作为目标面的位置和朝向检查。例如，获得图20所示的阴影部分的面积。作为用于获得面积的方法，基于在S4中获取的距离图像信息，使用在S5”中设置的区域信息来确定目标区域，然后，获得图像的XY区域中包括的像素数量和设置的距离信息的范围。可以获得总面积或可以获得各个区域的面积。
在S19中，进行关于期望区域是否存在的OK/NG确定。基于在S18中获取的位置和朝向的结果是否落在S2”中设置的确定条件的OK范围内来进行确定。具体而言，基于在S18中获取的区域的面积和中心位置是否落在S2”中设置的范围内来进行确定。在面积和中心位置未落在该范围内(S19中为“否”)的情况下，确定结果指示为NG，并且处理进入S20。在面积和中心位置落在该范围内(S19中为“是”)的情况下，确定结果指示为OK，并且处理进入S11”。
在S20中，获取将检查结果校正为OK的方法。具体地，获取如下方法：校正位置和朝向，以使所获取的区域信息落在已经在S2”中设置的确定为检查OK的范围内。例如，在存在被确定为NG的区域的情况下，如图22所示，以用户可以识别要校正的塑料瓶的方式将对应点呈现给用户。
在S21中，确定用于向用户输出校正方法的方法。例如，使用投影仪将校正方法投影到区域中的NG点上。另选地，使用扬声器输出语音指令，该语音指令表述第三列、第二行上的点被确定为NG，如图22所示。另选地，可以通过如图22所示在显示器上显示NG点来呈现指令。
在S22中，基于在S21中确定的输出方法，使用输出设备向用户输出校正指令。
在S11”中，CPU 11确定是否存在下一个目标物体4”。然后，在不存在下一个目标物体4”(S11”中为“否”)的情况下，CPU 11确定结束处理并结束图19所示的处理。在存在下一个目标物体4”(S11”中为“是”)的情况下，CPU 11确定继续处理，并且处理返回到S3。
如上所述，在本示例性实施例中，在设置用于检查目标物体的有无的确定条件之后，通过摄像装置获取目标物体的图像信息。随后，确定检查区域，获取诸如面积和中心坐标(X，Y)的区域信息作为目标面的位置和朝向，并且基于确定条件进行OK/NG确定。然后，在确定结果指示为NG的情况下，将对应点呈现给用户。
利用该构造，可以通过仅进行一次摄像来检查检查区域中物体的有无并且识别校正方法。因此，例如可以在分发现场中的塑料瓶出厂之前，有效地进行检查帽的有无的处理。
(硬件构造)
信息处理装置10例如是个人计算机(PC)。图23示出了信息处理装置10的硬件构造的示例。信息处理装置10包括CPU 11、ROM 12、RAM 13、外部存储器14、输入单元15、显示单元16、通信接口(I/F)17和系统总线18。CPU 11全面地控制信息处理装置10中的操作，并且经由系统总线18来控制部件(11至17)。ROM 12是存储CPU 11执行处理所需的程序的非易失性存储器。程序可以存储在外部存储器14或可移除存储介质(未示出)中。RAM 13用作CPU11的主存储器和工作区域。更具体地说，在执行处理中，CPU 11将必要的程序从ROM 12加载到RAM 13上，并通过执行程序来实现各种功能操作。
外部存储器14存储例如CPU 11使用程序进行处理所需的各种类型的数据和各种类型的信息。外部存储器14还存储例如通过CPU 11使用程序进行处理而获得的各种类型的数据和各种类型的信息。输入单元15包括例如键盘和诸如鼠标的指示设备，并且操作员可以经由输入单元15向信息处理装置10发出指令。显示单元16包括诸如液晶显示器(LCD)的监视器。通信I/F 17是用于与外部设备进行通信的接口。系统总线18使CPU 11、ROM 12、RAM13、外部存储器14、输入单元15、显示单元16和通信I/F 17以在它们之间能够进行通信的方式进行连接。以这种方式，信息处理装置10经由通信I/F 17与作为外部设备的摄像装置1、光源2和输出设备3连接，使得可以在它们之间进行通信，并且信息处理装置10控制这些外部设备的操作。
根据第一示例性实施例，通过在目标面为歪斜的情况下检查目标面的歪斜并向用户呈现校正方法，用户可以容易地识别该校正方法。因此，可以在短时间内校正目标面并提高工作效率。
根据第二示例性实施例，通过基于倾斜度和从摄像装置1到目标面的距离向用户呈现用于将摄像装置1安装成正对目标面的方法，用户可以容易地将摄像装置1安装成正对目标面。因此，可以提高工作效率。
根据第三示例性实施例，通过检查目标物体的有无并且向用户呈现不存在目标物体的点，用户可以容易地识别要校正的点。因此，可以提高工作效率。
<其他示例性实施例>
在第一至第三示例性实施例中，如图24A所示，输出方法确定单元107可以基于由状态识别单元109获取的用户的环境和状态来确定输出方法。状态识别单元109例如是麦克风，并且将环境声音识别为环境信息。在环境声音嘈杂的情况下，输出方法确定单元107例如确定在嘈杂的环境中不适合通过声音输出校正方法，并且确定用于在显示器上显示校正方法的方法或用于通过将校正方法投影到目标物体上来输出校正方法的方法。另外，状态识别单元109例如是摄像装置，并且将用户的位置识别为用户的状态。在用户远离显示器的情况下，由于即使在显示器上显示指令信息用户也难以观看到该指令信息，因此通过语音输出指令信息。另选地，在用户正在看着目标物体的情况下，确定用于通过将指令信息投影到目标物体上来呈现指令信息的方法。
在第一至第三示例性实施例中，输出方法确定单元可以确定机械设备的控制信息，来代替确定输出方法。控制信息被发送到机械设备，并且确定用于将目标物体的状态校正为期望状态的控制信息。例如，可以采用如图24B所示的构造。在图24B中，机械设备20例如是多关节机器人，并且包括诸如机器人臂的操纵器112、诸如机器人手的抓握设备111以及控制操纵器112和抓握设备111的控制器110。机械设备20还包括位置和朝向改变机构，该位置和朝向改变机构可以通过改变操纵器112的各关节的角度来改变抓握设备111的位置和朝向。可以通过电动机来驱动位置和朝向改变机构，或者可以通过由诸如液压或气压的流体压力操作的致动器来驱动位置和朝向改变机构。根据从信息处理装置10输出的操作指令信息来驱动位置和朝向改变机构。另外，机械设备20不限于多关节机器人，并且可以是可通过数控(NC)能够操作的可移动机器。控制器110可以是与操纵器112相关联的机器人控制器，或者可以是可编程逻辑控制器(PLC)。控制器110可以是这些设备以外的设备，只要该设备能够控制操纵器112和抓握设备111即可。控制器110可以安装在机械设备20附近，可以与操纵器112集成，或者可以安装在其他位置。控制器110控制操纵器112和抓握设备111。机械设备20基于由输出方法确定单元107确定的输出方法执行校正。例如，在第一示例性实施例的情况下，操纵器112和抓握设备111进行操作以校正目标物体4的表面倾斜度。采用这种构造，可以使用机器人而无需人工来校正不合格产品。
在第一至第三示例性实施例中，彩色图像还可以用于检查而不仅用于对检查区域的设置。例如，在第三示例性实施例中，在检查塑料瓶的帽的有无之后，在确定帽存在的情况下，可以使用彩色图像进一步进行类型的检查。具体地，对于在检查帽的有无时被确定为包括帽的各个区域，使用对应点的彩色图像来获取帽部的纹理信息。基于纹理信息，确定帽是否是目标帽。
一些实施例也通过执行以下处理来实现。更具体地，用于实现上述示例性实施例的功能的软件(程序)经由数据通信网络或各种存储介质被供应给系统或装置。然后，系统或装置的计算机(或CPU、微处理器单元(MPU)等)读出程序并执行该程序。另外，可以通过将程序记录在计算机可读记录介质上来提供程序。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现一些实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现一些实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本公开进行了描述，但是应当理解，一些实施例并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种信息处理装置，其使用通过测量目标物体而获得的距离信息来检查所述目标物体的状态，所述信息处理装置包括：
获取单元，其被构造为，基于所述距离信息来获取指示所述目标物体的一部分的位置的位置信息；以及
输出单元，其被构造为，在所述目标物体的一部分的位置不满足预定条件的情况下，基于所述位置信息和所述条件，输出关于所述目标物体要从所述目标物体的当前状态移动到满足所述条件的状态的方向的信息。
2.根据权利要求1所述的信息处理装置，其中，在所述目标物体的一部分的位置不满足所述条件的情况下，所述输出单元基于所述位置信息和所述条件，输出通过向量指示所述目标物体要从所述目标物体的当前状态移动到满足所述条件的状态的方向的信息。
3.根据权利要求2所述的信息处理装置，其中，通过向量指示方向的信息是指示差异的大小的信息。
4.根据权利要求1所述的信息处理装置，其中，在所述目标物体的一部分的位置不满足所述条件的情况下，所述输出单元基于所述位置信息和所述条件，输出所述目标物体要被旋转的方向。
5.根据权利要求4所述的信息处理装置，其中，在所述目标物体的一部分的位置不满足所述条件的情况下，所述输出单元基于所述位置信息和所述条件，输出所述目标物体要被旋转的量。
6.根据权利要求1所述的信息处理装置，其中，所述输出单元基于所述位置信息与所述目标物体满足所述条件的状态之间的差异，输出所述目标物体的一部分要被移动的方向。
7.根据权利要求1所述的信息处理装置，
其中，所述获取单元基于通过从上方测量所述目标物体而获得的所述距离信息，来获取所述目标物体的顶面的位置信息，并且
其中，所述输出单元基于所获取的位置信息，来输出所述目标物体的顶面要被移动的方向。
8.根据权利要求1至7中的任一项所述的信息处理装置，其中，所述输出单元输出所述目标物体要从所述目标物体的当前状态移动到满足所述条件的状态的量。
9.根据权利要求1至7中的任一项所述的信息处理装置，其中，所述输出单元使显示设备显示关于所述目标物体要被移动的方向的信息。
10.根据权利要求1至7中的任一项所述的信息处理装置，其中，所述输出单元使投影设备投影关于所述目标物体要被移动的方向的信息。
11.根据权利要求1至7中的任一项所述的信息处理装置，其中，所述输出单元使语音设备再现关于所述目标物体要被移动的方向的信息。
12.根据权利要求1至7中的任一项所述的信息处理装置，
其中，基于所述目标物体的拍摄图像来获取所述距离信息，并且
其中，所述获取单元基于所述距离信息来获取表示所述目标物体的表面的三维位置的集合。
13.根据权利要求1至7中的任一项所述的信息处理装置，其中，所述目标物体的状态指示由所述目标物体的盖和预定平面形成的倾斜度。
14.根据权利要求1至7中的任一项所述的信息处理装置，其中，所述目标物体的状态包括指示所述目标物体中包括的部件的有无的信息。
15.根据权利要求1至7中的任一项所述的信息处理装置，所述信息处理装置还包括：
设置单元，其被构造为，基于表示所述目标物体的状态的模型，将所述目标物体的一部分的位置在预定范围中的存在，设置为所述条件；以及
确定单元，其被构造为，基于所述位置信息和由所述设置单元设置的所述条件，来确定所述目标物体是否满足所述条件，
其中，在所述确定单元确定不满足所述条件的情况下，所述输出单元输出关于所述目标物体要被移动的方向的信息。
16.根据权利要求15所述的信息处理装置，所述信息处理装置还包括：
图像获取单元，其被构造为，获取所述目标物体的拍摄图像；以及
区域确定单元，其被构造为，基于所述图像中包括的所述目标物体的图像信息，确定所述图像要被检查的区域，
其中，所述设置单元针对由所述区域确定单元确定的区域，将所述目标物体要满足的位置和朝向中的至少一个设置为所述条件。
17.一种信息处理装置，其输出对目标物体进行测量的测量设备的位置，所述信息处理装置包括：
获取单元，其被构造为，获取通过所述测量设备测量所述目标物体而获得的所述目标物体的位置信息；
设置单元，其被构造为，将所述测量设备与所述目标物体之间的距离落在预定范围内，设置为第一条件；以及
输出单元，其被构造为，在所述目标物体与所述测量设备之间的距离不满足所述第一条件的情况下，基于所述第一条件和所述位置信息，输出用于校正所述测量设备的位置以满足所述条件的指令。
18.一种信息处理装置，其检查预定区域中包括的多个目标物体的有无，所述信息处理装置包括：
获取单元，其被构造为，在所述区域中获取包括摄像装置与所述目标物体的距离信息的距离图像；以及
输出单元，其被构造为，在所述区域中检测到包括不满足预定条件的所述距离信息的部分区域的情况下，基于所述距离图像，来输出所述部分区域具有异常。
19.一种存储介质，其存储用于使计算机执行信息处理方法的程序，所述信息处理方法用于使用通过测量目标物体而获得的距离信息来检查所述目标物体的状态，所述信息处理方法包括：
基于所述距离信息来获取指示所述目标物体的一部分的位置的位置信息；以及
在所述目标物体的一部分的位置不满足预定条件的情况下，基于所述位置信息和所述条件，输出关于所述目标物体要从所述目标物体的当前状态移动到满足所述条件的状态的方向的信息。
20.一种信息处理方法，其用于使用通过测量目标物体而获得的距离信息来检查所述目标物体的状态，所述信息处理方法包括：
基于所述距离信息来获取指示所述目标物体的一部分的位置的位置信息；以及
在所述目标物体的一部分的位置不满足预定条件的情况下，基于所述位置信息和所述条件，输出关于所述目标物体要从所述目标物体的当前状态移动到满足所述条件的状态的方向的信息。
CN202010076174.1A 2019-01-29 2020-01-23 信息处理装置、信息处理方法和存储介质 Pending CN111507935A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019013224A JP7378934B2 (ja) 2019-01-29 2019-01-29 情報処理装置、情報処理方法及びシステム
JP2019-013224 2019-01-29

Publications (1)

Publication Number Publication Date
CN111507935A true CN111507935A (zh) 2020-08-07

Family

ID=71732711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010076174.1A Pending CN111507935A (zh) 2019-01-29 2020-01-23 信息处理装置、信息处理方法和存储介质

Country Status (3)

Country Link
US (1) US11842508B2 (zh)
JP (1) JP7378934B2 (zh)
CN (1) CN111507935A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022063395A (ja) * 2020-10-12 2022-04-22 トヨタ自動車株式会社 位置補正システム、位置補正方法及び位置補正プログラム
US11501502B2 (en) * 2021-03-19 2022-11-15 International Business Machines Corporation Augmented reality guided inspection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125035A1 (en) * 2013-11-05 2015-05-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object
US20160283792A1 (en) * 2015-03-24 2016-09-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
WO2018014517A1 (zh) * 2016-07-21 2018-01-25 中兴通讯股份有限公司 一种信息处理方法、装置及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1149287A (ja) 1997-08-07 1999-02-23 C G A Kk キャップ浮き検査装置
WO2004084140A1 (ja) 2003-03-18 2004-09-30 Fujitsu Limited 撮影装置
JP4492654B2 (ja) * 2007-08-29 2010-06-30 オムロン株式会社 ３次元計測方法および３次元計測装置
KR100840023B1 (ko) * 2007-11-13 2008-06-20 (주)올라웍스 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
US7992365B2 (en) * 2008-01-11 2011-08-09 Parata Systems, Llc Devices and methods for verifying capping of vials in system for dispensing prescriptions
JP5370398B2 (ja) 2011-03-15 2013-12-18 オムロン株式会社 画像処理装置および画像処理プログラム
JP6167622B2 (ja) * 2013-04-08 2017-07-26 オムロン株式会社 制御システムおよび制御方法
JP6506914B2 (ja) 2013-07-16 2019-04-24 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6242098B2 (ja) * 2013-07-16 2017-12-06 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6278752B2 (ja) * 2014-03-05 2018-02-14 株式会社キーエンス 形状検査装置及び形状検査方法
JP6572600B2 (ja) * 2015-04-09 2019-09-11 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム
JP6635690B2 (ja) 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9852500B2 (en) * 2015-07-15 2017-12-26 GM Global Technology Operations LLC Guided inspection of an installed component using a handheld inspection device
JP6643020B2 (ja) 2015-09-25 2020-02-12 キヤノン株式会社 ロボット制御装置、ロボット制御方法及びコンピュータプログラム
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
US10171730B2 (en) * 2016-02-15 2019-01-01 Canon Kabushiki Kaisha Information processing apparatus, method of controlling information processing apparatus, and storage medium
US10194990B2 (en) * 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
JP6881188B2 (ja) * 2017-09-27 2021-06-02 オムロン株式会社 位置検出装置およびプログラム
JP2019067323A (ja) * 2017-10-05 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
FR3074907B1 (fr) * 2017-12-08 2019-12-27 Tiama Methode et machine pour controler un procede de formage
US10413172B2 (en) * 2017-12-11 2019-09-17 1-800 Contacts, Inc. Digital visual acuity eye examination for remote physician assessment
US11397077B2 (en) * 2018-01-05 2022-07-26 Stmicroelectronics, Inc. Power and security adjustment for face identification with reflectivity detection by a ranging sensor
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125035A1 (en) * 2013-11-05 2015-05-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object
US20160283792A1 (en) * 2015-03-24 2016-09-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
WO2018014517A1 (zh) * 2016-07-21 2018-01-25 中兴通讯股份有限公司 一种信息处理方法、装置及存储介质

Also Published As

Publication number Publication date
JP2020123042A (ja) 2020-08-13
JP7378934B2 (ja) 2023-11-14
US11842508B2 (en) 2023-12-12
US20200242796A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US20150261899A1 (en) Robot simulation system which simulates takeout process of workpieces
US9111177B2 (en) Position/orientation measurement apparatus, processing method therefor, and non-transitory computer-readable storage medium
US9672630B2 (en) Contour line measurement apparatus and robot system
KR100648592B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP4930927B2 (ja) ブレ測定システムおよびブレ測定方法
US9571795B2 (en) Image processing device and image processing program
KR20200100102A (ko) 증강 현실 디바이스를 교정하기 위한 방법
US20140009582A1 (en) Three-dimensional measurement apparatus and robot system
US20180150969A1 (en) Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
JP2009053147A (ja) ３次元計測方法および３次元計測装置
CN111507935A (zh) 信息处理装置、信息处理方法和存储介质
JP5828024B2 (ja) ３次元測定装置
US10726569B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP6441581B2 (ja) フレキシブルディスプレイの曲げモーションに対する光検出
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
US20230129785A1 (en) Three-dimensional measurement device which generates position information for surface of object from image captured by multiple cameras
US10339661B2 (en) Movement direction determination method and movement direction determination device
JP6806633B2 (ja) 計測装置および計測装置の作動方法
US20160379360A1 (en) Inspecting method, inspecting apparatus, image processing apparatus, program and recording medium
JP2019207152A (ja) 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
CN115205129A (zh) 基于结构光的深度相机及使用方法
JP2012185030A (ja) 色ムラ判別装置、色ムラ判別方法及び表示装置
JP6932039B2 (ja) 振れ補正機能付き光学機器の振れ補正特性評価装置
JP2008014857A (ja) プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム
JP4351090B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination