CN114091168A - 色调校正系统和色调校正方法 - Google Patents
色调校正系统和色调校正方法 Download PDFInfo
- Publication number
- CN114091168A CN114091168A CN202110895324.6A CN202110895324A CN114091168A CN 114091168 A CN114091168 A CN 114091168A CN 202110895324 A CN202110895324 A CN 202110895324A CN 114091168 A CN114091168 A CN 114091168A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- image
- target workpiece
- unit
- tone correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013461 design Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000013500 data storage Methods 0.000 claims abstract description 24
- 238000003702 image correction Methods 0.000 claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000007689 inspection Methods 0.000 description 62
- 238000004519 manufacturing process Methods 0.000 description 47
- 238000001514 detection method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 230000010365 information processing Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G06T5/94—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Abstract
本发明涉及色调校正系统和色调校正方法。一种色调校正系统，包括：接收单元，该接收单元接收目标工件图像和目标工件的设计信息；参考图像数据存储单元，该参考图像数据存储单元存储参考工件图像；图像确定单元，该图像确定单元确定目标工件是否从参考工件倾斜；计算处理单元，该计算处理单元基于所存储的参考工件图像和目标工件图像来估计目标工件的倾斜角度；色调数据存储单元，该色调数据存储单元存储倾斜角度与色调校正值之间的关系；图像校正单元，该图像校正单元基于所估计的倾斜角度和与所存储的关系对应的色调校正公式来校正目标工件图像的色调；以及输出单元，该输出单元输出所校正的目标工件图像。
Description
技术领域
本公开涉及一种色调校正系统和一种色调校正方法。
背景技术
在制造车辆等的过程中，当将部件组装到工件时，执行检查工作以拍摄工件中的组装部件并使用拍摄的图像来确定部件组装位置。在此工作中，通常必须使用令人满意的图像，以便检查员通过查看图像来确定部件组装位置。与图像处理相关的技术——例如，日本未审查专利申请公开No.2017-072945和No.2005-159650——是已知的。
发明内容
然而，在用于检查工作的系统中，当基于图像确定工件中的部件组装位置时，存在因为图像中的部件的色调(包括视觉上可识别的颜色的任何特征)根据工件的倾斜而变化，无法在制造现场检测错误/缺失部件的问题。
这是由于工件的倾斜引起的工件上的任何部件中的距光源的距离和相对于光源的角度的变化而导致的。由于入射光的照度和反射率随着工件的倾斜而变化，所以部件的色调根据工件的倾斜而变化。因此，仅通过查看图像中的工件，工件的色调变得与参考颜色不同，并且难以进行部件的辨别以及检测错误/缺失部件。
另一方面，日本未审查专利申请公开No.2017-072945公开了下述技术：其中，获取对象的拍摄图像，基于在拍摄图像时显示在显示单元上的图像的颜色特征来生成用于执行颜色校正以消除颜色特征的颜色校正信息，并且基于颜色校正信息来校正所拍摄的图像。日本未审查专利申请公开No.2005-159650公开了下述技术：其中，对通过利用拍摄设备拍摄对象获得的图像进行处理以生成表示值(亮度)与密度之间关系的灰度转换表，并基于灰度转换表来校正图像。然而，在这些现有技术中，不能通过同一光源执行颜色校正，也不能根据对象的倾斜执行颜色校正。
本公开是鉴于这样的情况而提出的，并且提供了一种能够防止或最小化由于工件的倾斜引起的图像的色调变化的颜色校正系统和颜色校正方法。
本公开的示例方面是一种当根据图像确定工件的部件组装位置时用于图像确定的色调校正系统。该色调校正系统包括：接收单元，该接收单元被配置成接收通过拍摄目标工件获得的目标工件图像和目标工件的设计信息；参考工件图像存储单元，该参考工件图像存储单元被配置成存储通过拍摄参考工件获得的参考工件图像；图像确定单元，该图像确定单元被配置成基于所接收的目标工件图像和所接收的设计信息来确定目标工件是否从参考工件倾斜；计算处理单元，该计算处理单元被配置成：当确定出目标工件倾斜时，基于所存储的参考工件图像和目标工件图像来估计目标工件的倾斜角度；色调数据存储单元，该色调数据存储单元被配置成存储倾斜角度与色调校正值之间的关系；图像校正单元，该图像校正单元被配置成基于所估计的倾斜角度和与所存储的关系对应的色调校正公式来校正目标工件图像的色调；以及输出单元，该输出单元被配置成传输和/或显示所校正的目标工件图像。
在该示例方面中，计算处理单元可以被配置成将参考工件图像与目标工件图像进行比较，并基于参考工件的轮廓与目标工件的轮廓之间的差异和每个顶点的光谱衍射量来估计目标工件的倾斜角度。
此外，计算处理单元可以被配置成基于参考工件的点的照度和目标工件的点的照度来计算目标工件的点在第一轴的方向上的坐标，并根据所计算的坐标来估计目标工件绕第一轴的倾斜角度。
此外，计算处理单元还可以被配置成基于绕第一轴的倾斜角度、参考工件的点的三维坐标以及目标工件的点的三维坐标来估计目标工件的绕第二轴和第三轴的倾斜角度。
本公开的示例方面是一种当根据图像确定工件的部件组装位置时用于图像确定的色调校正方法。色调校正方法包括：接收通过拍摄目标工件获得的目标工件图像和目标工件的设计信息；存储通过拍摄参考工件获得的参考工件图像；基于所接收的目标工件图像和所接收的设计信息来确定目标工件是否从参考工件倾斜；当确定出目标工件倾斜时，基于所存储的参考工件图像和目标工件图像来估计目标工件的倾斜角度；存储倾斜角度与色调校正值之间的关系；基于所估计的倾斜角度和与所存储的关系对应的色调校正公式来校正目标工件图像的色调；以及传输和/或显示所校正的目标工件图像。
根据本公开，可以提供一种能够防止或最小化由于工件的倾斜引起的图像色调的变化的颜色校正系统和颜色校正方法。
本公开的上述和其他目的、特征和优点将从下文给出的详细描述和仅通过说明的方式给出的附图中得到更充分的理解，并且因此不应被认为是对本公开的限制。
附图说明
图1是示出了根据本公开的实施例的工件检查系统的示意性配置的框图；
图2是示出了根据本公开的实施例的色调校正系统的示意性配置的框图；
图3是示出了根据本公开的实施例的工件检查系统的处理流程的流程图；
图4是示出了根据本公开的实施例的图像获取处理的处理流程的流程图；
图5是示出了根据本公开的实施例的图像校正处理的处理流程的流程图；
图6示出了工件的宽度的检测的示例；
图7示出了当工件倾斜时的图像确定的示例；
图8示出了当工件未倾斜时的图像确定的示例；
图9是示出了根据本公开的实施例的用于计算工件倾斜角度和色调校正公式的处理的处理流程的流程图；
图10示出了图像的照度的计算的示例；
图11示出了照度与距离之间的关系；
图12示出了具有倾斜的工件和不具有倾斜的工件的坐标的示例；
图13示出了与倾斜角度对应的色调数据的示例；以及
图14是示出了根据本公开的实施例的图像显示处理的处理流程的流程图。
具体实施方式
下面将参考附图描述本公开的实施例。然而，本公开不限于以下实施例。为了描述的清楚起见，已经适当地省略和简化了以下描述和附图。在每个附图中，相同的元件由相同的附图标记表示，并且必要时省略其重复描述。
图1是示出了根据本公开的实施例的工件检查系统的示意性配置的框图。图2是示出了包括在工件检查系统中的色调校正系统(值/色调校正系统)的示意性配置的框图。根据本实施例的工件检查系统1基于通过拍摄部件(零件)所组装到的工件而获得的工件图像来检查工件的部件组装状态。色调校正系统2(确定PC 400)根据工件检查系统1中的工件的倾斜来校正工件图像的色调。根据本实施例的工件例如是用于制造车辆的工件，但不限于车辆，并且可以是任何产品的工件。
如图1所示，工件检查系统1包括拍摄设备100、生产计划PC 200、设计单元服务器300、确定PC 400和检查员PC 500。拍摄设备100、生产计划PC 200、设计单元服务器300、确定PC 400和检查员PC 500经由诸如LAN(局域网)的通信网络连接，使得它们之间可以进行通信。
拍摄设备100是用于响应于生产指令而拍摄部件所组装到的工件的设备(系统)。拍摄设备100包括生产指令接收单元110、工件拍摄单元120和拍摄数据传送单元130。生产指令接收单元110、工件拍摄单元120和拍摄数据传送单元130可以由单独的设备构成，或者拍摄设备100所需的功能可以由一个或多个设备来实现。
生产指令接收单元110从生产计划PC 200接收工件的生产指令。生产指令是用于生产工件的指令，也是用于拍摄待生产的工件的拍摄指令。生产指令接收单元110可以是诸如PC(个人计算机)或平板终端的信息处理设备，或者可以是诸如与工件拍摄单元120相同的相机的拍摄装置。
工件拍摄单元120是用于对工件进行拍摄(成像)的拍摄装置(拍摄单元)，诸如相机。工件拍摄单元120固定至工件组装设备附近的预定位置，响应于生产指令的接收而拍摄部件所组装到的工件，并生成包括工件的二维工件图像。
拍摄数据传送单元130是用于将拍摄数据传输(即，传送)到确定PC 400的传输单元。在该示例中，作为拍摄数据，传输由工件拍摄单元120拍摄的工件图像、工件的车辆类型信息和工件的测量零件信息。车辆类型信息是指示待由工件制造的车辆类型(例如，车辆类型或车辆型号)的信息，并且测量零件信息是指示工件的零件(例如，车辆的零件或车辆中的零件的位置)的信息。车辆类型信息和测量零件信息也是用于识别工件的工件信息。车辆类型信息和测量零件信息可以预先设定，或者可以在拍摄工件时从工件组装设备等获取。当工件拍摄单元120拍摄工件时，拍摄数据传送单元130将拍摄的工件图像、车辆类型信息和测量零件信息传输到确定PC 400。拍摄数据传送单元130可以是诸如PC或服务器的信息处理设备，或者可以是其他传输设备。
生产计划PC 200管理车辆等的生产计划并指导工件的生产。生产计划PC 200包括生产指令接收单元210和生产指令传输单元220。生产计划PC 200例如由诸如PC或服务器的信息处理设备构成，并且代替地，生产计划PC 200所需的功能可以由多个设备来实现。
生产指令接收单元210接收工件的生产指令。例如，生产指令接收单元210通过被输入或接收其来接收(接收或接受)生产指令。即，生产指令接收单元210可以是用于管理者输入生产指令的输入操作的输入设备，或者是用于从另一设备接收生产指令的接收设备(receiving apparatus)。
生产指令传输单元220将生产指令传输到拍摄设备100。当生产指令接收单元210接收生产指令时，生产指令传输单元220将接收的生产指令传输到拍摄设备100和其他设备。
设计单元服务器300管理例如车辆的工件和部件的设计信息，并且响应于来自其他设备等的请求而传输设计信息。设计单元服务器300包括设计信息累积单元310和设计信息传输单元320。设计单元服务器300例如由诸如服务器或PC的信息处理设备构成，并且代替地，设计单元服务器300所需的功能可以由多个设备来实现。
设计信息累积单元310累积工件和部件的设计信息。设计信息累积单元310可以是设计单元服务器300内部或外部的存储设备或数据库，或者可以是存储设备中的存储区域。设计信息传输单元320将设计信息传输到确定PC 400。响应于来自确定PC 400的请求，设计信息传输单元320将存储在设计信息累积单元310中的相关工件或部件的设计信息传输到确定PC 400。
确定PC 400是用于确定工件图像的倾斜并校正色调的设备。根据本实施例的色调校正系统2例如由确定PC 400构成，但是根据需要可以设置其他设备和功能。如图2所示，确定PC 400包括接收单元410、累积单元420、图像处理单元430和输出单元440。确定PC 400例如由诸如PC或服务器的信息处理设备构成，并且代替地，确定PC 400所需的功能可以由多个设备来实现。
接收单元410从拍摄设备100和设计单元服务器300接收信息。接收单元410包括拍摄数据接收单元411和设计信息接收单元412。拍摄数据接收单元411接收从拍摄设备100传输的工件图像、车辆类型信息和测量零件信息。设计信息接收单元412接收从设计单元服务器300传输的工件的设计信息。
累积单元420是累积处理工件图像所需的数据的累积单元(存储单元)。累积单元420可以是确定PC 400内部或外部的存储设备或数据库，或者可以是存储设备中的存储区域。累积单元420包括未处理数据存储单元421、参考图像数据存储单元422和色调数据存储单元423。
未处理数据存储单元421存储由拍摄数据接收单元411从拍摄设备100接收的工件图像、车辆类型信息和测量零件信息。存储在未处理数据存储单元421中的未处理数据是在由图像处理单元430进行处理之前或期间的数据。未处理数据的工件图像包括参考工件图像和检查目标工件图像。参考工件图像是在检查之前以参考状态(未倾斜的工件)拍摄工件(参考工件)而获得的图像，并且是用作倾斜和校正的参考的图像。检查目标工件图像是通过在检查时拍摄检查目标工件(inspection target workpiece)而获得的图像。检查目标工件图像和参考工件图像中的一者或两者可以被称为工件图像。参考图像数据存储单元422存储参考工件图像。参考图像数据存储单元422存储例如由图像处理单元430决定为参考工件图像的图像。可替选地，参考图像数据存储单元422可以直接存储从拍摄设备100接收的图像。色调数据存储单元423存储预先学习的工件倾斜角度与色调数据(色调校正值)之间的关系。
图像处理单元430确定并校正工件图像。图像处理单元430包括图像确定单元431、计算处理单元432和图像校正单元433。图像确定单元431基于从设计单元服务器300接收的设计信息来确定存储在未处理数据存储单元421中的工件图像的工件是否倾斜。例如，图像确定单元431确定检查目标工件是否从参考工件倾斜。图像确定单元431可以基于参考工件图像的参考工件来确定检查目标工件图像的检查目标工件的倾斜的存在与否。
计算处理单元432基于存储在参考图像数据存储单元422中的参考工件图像和存储在未处理数据存储单元421中的检查目标工件图像来估计检查目标工件的工件倾斜角度。当图像处理单元430确定出检查目标工件倾斜时，计算处理单元432估计检查目标工件的工件倾斜角度。工件倾斜角度是检查目标工件相对于参考工件的三维倾斜(倾斜角度)。计算处理单元432基于存储在色调数据存储单元423中的工件倾斜角度与色调数据之间的关系来获得色调校正公式。图像校正单元433使用估计的工件倾斜角度和色调校正公式来校正检查目标工件图像的色调。
输出单元440传输或输出其色调已经被校正的色调校正图像作为显示。输出单元440包括校正图像传送单元441和显示单元442。输出单元440可以包括校正图像传送单元441和显示单元442两者，或者可以包括其中一者。校正图像传送单元441是将色调校正图像传输到检查员PC 500的传输单元。显示单元442是显示色调校正之后的图像的显示设备，诸如液晶显示设备。注意，可以输出校正之前的图像和校正之后的图像。参考工件图像可以与检查目标工件图像一起被输出。例如，可以以显示工件的倾斜的存在与否和倾斜角度的方式输出图像。
检查员PC 500是检查员基于显示的工件图像来执行检查的设备。如图1所示，检查员PC 500包括接收单元510和显示单元520。检查员PC 500例如由诸如PC或服务器的信息处理设备构成，并且代替地，检查员PC所需的功能可以由多个设备来实现。接收单元510从确定PC 400接收色调校正图像。显示单元520是显示接收的色调校正图像的显示设备，诸如液晶显示设备。
图3是示出了根据本实施例的工件检查系统1的处理流程的流程图。如图3所示，工件检查系统1按照用于获取工件图像的图像获取处理(S101)、用于校正获取的工件图像的图像校正处理(S102)和用于显示校正的工件图像的图像显示处理(S103)的顺序执行处理。
首先，将描述S101中的图像获取处理。图4是示出了图像获取处理的处理流程的流程图。图像获取处理由拍摄设备100执行。通过该处理，当拍摄设备100预先拍摄参考工件时，确定PC 400获取参考工件图像。在此之后，当拍摄设备100拍摄检查目标工件时，确定PC400获取检查目标工件图像。
如图4所示，生产指令接收单元110从生产计划PC 200接收生产指令(S201)。当生产计划PC 200传输工件的生产指令时，生产指令接收单元110接收从生产计划PC 200传输的工件的生产指令(拍摄指令)。
接下来，工件拍摄单元120拍摄工件(S202)。当生产指令接收单元110接收到工件的生产指令时，工件拍摄单元120拍摄部件所组装到的工件。例如，工件组装设备响应于生产指令而将部件组装到工件，并且工件拍摄单元120对部件组装完成的工件进行拍摄以生成工件图像。
接下来，拍摄数据传送单元130将工件图像、车辆类型信息和测量零件信息传输到确定PC 400(S203)。当工件拍摄单元120拍摄工件图像时，拍摄数据传送单元130获取拍摄的工件的车辆类型信息和测量零件信息(工件信息)，并将工件图像、车辆类型信息和测量零件信息传输到确定PC 400的未处理数据存储单元421。然后，确定PC400的未处理数据存储单元421经由拍摄数据接收单元411接收并存储工件图像、车辆类型信息和测量零件信息。
接下来，将描述图3所示的S102中的图像校正处理。图5是示出了图像校正处理的处理流程的流程图。该图像校正处理由确定PC 400执行。通过该处理，将参考工件图像与检查目标工件进行比较，基于检查目标工件的轮廓与参考工件的轮廓之间的差异和每个顶点的光谱衍射量来估计工件倾斜角度，并且然后校正由于工件的倾斜引起的部件的色调。
如图5所示，图像确定单元431取得工件图像、车辆类型信息和测量零件信息(S301)。图像确定单元431取得从拍摄设备100获取并存储在未处理数据存储单元421中的工件图像、车辆类型信息和测量零件信息。
接下来，图像确定单元431从设计单元服务器300获取相关工件的设计信息(S302)。图像确定单元431经由设计信息接收单元412从设计单元服务器300中的设计信息累积单元310获取拍摄的工件图像的工件的尺寸信息。具体地，图像确定单元431向设计单元服务器300请求与和工件图像一起取得的车辆类型信息和测量零件信息对应的工件的设计信息，并获取相关工件的尺寸信息。
接下来，图像确定单元431检测工件图像的工件的轮廓(S303)。例如，图像确定单元431对取得的工件图像执行边缘检测处理，以提取图像中的工件(工件区域)的轮廓。图像中的工件区域可以被称为工件图像。
接下来，图像确定单元431检测工件图像的工件在X轴方向和Y轴方向上的宽度(检测大小)(S304)。例如，如图6所示，图像确定单元431获得沿检测工件(工件区域)的轮廓的每个点的X坐标的最大值(maxx)和最小值(minx)，并且通过将X坐标的最大值和最小值相加来计算X轴方向上的检测宽度(xm)，如下面的公式(1)所示。同样地，图像确定单元431获得沿检测工件的轮廓的每个点的Y坐标的最大值(maxy)和最小值(miny)，并且通过将Y坐标的最大值和最小值相加来计算Y轴方向的检测宽度(ym)，如下面公式(1)所示。
[公式1]
接下来，图像确定单元431基于设计信息来计算图像中的工件在X轴方向和Y轴方向上的设计宽度(设计大小)(S305)。图像确定单元431基于作为设计信息的相关工件的尺寸信息来获得图像中的工件(工件区域)在X轴方向上的设计宽度(xd)和在Y轴方向上的设计宽度(yd)。例如，使用工件拍摄单元120的相机参数用于拍摄工件，设计图中的工件在X轴方向上的尺寸和设计图中的工件在Y轴方向上的尺寸被转换为图像中的工件在X轴方向上的宽度和工件在Y轴方向上的宽度。注意，可以使用参考工件图像的工件的宽度来代替设计宽度。
接下来，图像确定单元431确定工件的检测宽度与工件的设计宽度之间的差异是否在设计尺寸公差内(S306)。以这种方式，确定拍摄工件是否倾斜。图像确定单元431确定工件图像中的工件在X轴方向上的检测宽度(xm)与设计宽度(xd)之间的差异是否在设计尺寸公差(hx)内，以及工件图像中的工件在Y轴方向上的检测宽度(ym)与设计宽度(yd)之间的差异是否在设计尺寸公差(hy)内。具体地，确定是否满足以下公式(2)。在公式(2)中，
和
(带条形符号的hx和hy)为在X轴方向和Y轴方向上的设计尺寸公差的平均值。
[公式2]
例如，当公式(2)中的一个不满足时，确定出工件倾斜(相对于参考倾斜)，而当公式(2)中的两者都满足时，确定出工件未倾斜(相对于参考未倾斜)。在S306中，当工件的检测宽度与设计宽度之间的差异在设计尺寸公差内时(未倾斜)，将确定的工件图像作为参考工件图像存储在参考图像数据存储单元422中(S307)。例如，在将工件图像存储为参考工件图像之后，输出图像，而从S311开始不执行校正。如果需要，可以执行S308至S310的校正处理。
上述S301至S306是用于基于工件图像来确定由图像确定单元431拍摄的工件的倾斜存在与否的图像确定处理。图7示出了当工件在X轴方向、Y轴方向和Z轴方向上倾斜时的图像确定处理的示例。在该示例中，工件的形状在图像的X-Y平面(从相机的平面视图)中为正方形，但不限于正方形，而是代替地可以使用任何形状。Z轴方向上的形状也没有限制。
如图7所示，拍摄的工件图像中的工件在X轴方向上的检测值的线段与设计值的线段之间的差异以及工件在Y轴方向上的检测值的线段与设计值的线段之间的差异基于拍摄的工件图像的检测值和设计值来计算。即，在图像确定处理中，如上所述，获得设计宽度(xd)与检测宽度(xm)之间的差异。设计宽度(xd)是从设计信息获得的图像中的工件在X轴方向上的线段的长度，并且检测宽度(xm)是从工件图像中检测到的工件在X轴方向上的线段的长度。同样地，获得设计宽度(yd)与检测宽度(ym)之间的差异。设计宽度(xd)是从设计信息获得的图像中的工件在Y轴方向上的线段的长度，并且检测宽度(ym)是从工件图像中检测到的工件在Y轴方向上的线段的长度。
在图7的示例中，考虑到图像缩放比例的差异(xd-xm)在X轴方向上大于设计尺寸公差(hx)，并且考虑到图像缩放比例的差异(yd-ym)在Y轴方向上大于设计尺寸公差(hy)。因此，确定出拍摄的工件倾斜。在这种情况下，在后续处理中，获取由于倾斜而偏移的点(例如，G0和G1)的坐标，并使用该坐标获得三维倾斜以执行色调校正。
图8示出了当工件未倾斜时的图像确定处理的示例。如图7所示，获得工件在X轴方向上的设计宽度(xd)与工件的检测宽度(xm)之间的差异，并且获得工件在Y轴方向上的设计宽度(yd)与工件的检测宽度(ym)之间的差异。在图8的示例中，考虑图像缩放比例的差异(xd-xm)落在X轴方向上的设计尺寸公差(hx)内，并且考虑图像缩放比例的差异(yd-ym)落在Y轴方向上的设计尺寸公差(hy)内。因此，确定出拍摄工件未倾斜。在这种情况下，在后续处理中不执行色调校正。
如图5所示，当在S306中确定出工件的检测宽度与设计宽度之间的差异大于设计尺寸公差(工件倾斜)时，计算处理单元432执行以下S308至S310中的色调校正。首先，计算处理单元432取得参考工件图像和未处理数据(S308)。在这种情况下，未处理数据是检查目标工件图像。即，计算处理单元432取得存储在参考图像数据存储单元422中的参考工件图像和存储在未处理数据存储单元421中的检查目标工件图像。
接下来，计算处理单元432执行用于计算工件倾斜角度和色调校正公式的处理(S309)。图9是示出了用于计算工件倾斜角度和色调校正公式的处理的处理流程的流程图(S309)。
如图9所示，计算处理单元432计算检查目标工件的点(任意点)处的照度(S401)。计算处理单元432提取检查目标工件图像的工件(工件区域)，并指定沿提取的工件的轮廓的点。例如，如图10所示，计算处理单元432指定检查目标工件的顶点R1至R4的位置为该点。计算处理单元432例如从检查目标工件图像的HSV值(H：色相(Hue)，S：饱和度(Saturation)，V：值(亮度))获取顶点R1至R4的色相A1至A4、饱和度B1至B4以及值C1至C4，并基于获取的值来计算顶点R1至R4的照度。注意，不仅可以使用HSV值，还可以使用RGB值和其他颜色空间中的值。可替选地，每个顶点的光谱衍射量(光谱衍射照度)可以通过其他方法获得。
接下来，根据参考工件的轮廓与目标工件的轮廓之间的差异以及每个顶点的光谱衍射量来估计目标工件的倾斜角度。在该示例中，在以下S402至S404中，根据工件的点的照度(光谱衍射量)和由于基于二维图像的工件的倾斜引起的点的坐标的转变(轮廓之间的差异)来估计工件的三维倾斜角度。具体地，计算处理单元432计算检查目标工件的点(任意点)的Z轴坐标(S402)。计算处理单元432将参考工件图像与检查目标工件图像进行比较，并根据光源的距离与照度之间的关系、基于参考工件图像和检查目标工件图像的点处的照度来计算该点处的Z轴坐标(例如，在第一轴方向上的坐标)。例如，计算其照度如上所述获得的工件的顶点的Z轴坐标。在此，假设垂直于参考工件的X轴方向(例如，第二轴方向)和Y轴方向(例如，第三轴方向)的平面的方向是Z轴方向，并且光从在Z轴方向上的位置处的光源发射到工件。
如图11所示，点处的照度取决于距光源的距离。当位于距光源的距离d1处的点P1处的照度被定义为E1并且位于距光源的距离d2处的点P2处的照度被定义为E2时，满足以下公式(3)。例如，该点(任意点)的Z轴坐标从距光源的距离和照度的关系表达式中获得。公式(3)是关系表达式的示例，并且可以使用其他公式。
[公式3]
参考工件图像中的参考工件的每个顶点的距离(Z轴坐标)是预定距离。因此，可以使用公式(3)根据参考工件图像中的参考工件的顶点的照度和检查目标工件图像中的检查目标工件的顶点的照度来获得检查目标工件的顶点中的一个的Z轴坐标。
接下来，计算处理单元432估计检查目标工件绕Z轴的旋转角度(S403)。计算处理单元432根据如上所述计算出的点的Z轴坐标来计算绕Z轴的旋转角度θz。例如，指定中心点O的位置，并且计算从中心点O延伸到参考工件图像中的参考工件的顶点中的一个的线与从中心点O延伸到检查目标工件图像中的检查目标工件的对应顶点的线之间的绕Z轴的角度。
接下来，计算处理单元432估计检查目标工件的绕X轴的旋转角度和绕Y轴的旋转角度(S404)。例如，如图12所示，获取不具有倾斜的工件(参考工件)的点G0(任意点)的三维坐标和具有倾斜的工件(检查目标工件)的点G1(任意点)的三维坐标。X轴坐标和Y轴坐标可以从图像平面获取，并且Z轴坐标可以通过上述方法计算。绕X轴的旋转角度和绕Y轴的旋转角度从由于工件的倾斜引起的点G0到点G1的转变以及如上所述计算出的旋转角度θz而获得。例如使用以下公式(4)，计算处理单元432根据具有倾斜的工件的点和不具有倾斜的工件的对应点的三维坐标以及绕Z轴的旋转角度来计算绕X轴的旋转角度θx和绕Y轴的旋转角度θy。公式(4)是示例，并且可以使用其他公式。以这种方式，估计检查目标工件的三维倾斜角度(θx、θy、θz)。
[公式4]
接下来，计算处理单元432根据校正值和工件倾斜角度来计算色调校正公式(S405)。如图13所示，预先学习与工件的点处的倾斜角度对应的色调数据，并将在该点处彼此关联的倾斜角度和色调数据存储在色调数据存储单元423中。存储的色调数据是与参考值的差异，并且是用于根据倾斜角度进行校正的色调校正值。例如，色调数据是与倾斜角度(θx、θy、θz)对应的RGB值和HSV值。RGB值和HSV值两者都可以用作色调数据，或者仅其中一者可以用作色调数据。可替选地，其他颜色空间的值可以用作色调数据。例如，色调是在预定颜色空间中指定的颜色，并且色调校正装置校正在预定颜色空间中的位置。即，本实施例中的色调包括RGB、HSV或任何其他颜色空间中的元素(任意元素)。
计算处理单元432根据倾斜角度与色调差异(色调数据)之间的关系来计算色调校正公式。具体地，使用以下公式(5)从校正值W和倾斜角度θ获得色调校正公式U。校正值W基于色调之间的差异与倾斜角度之间的关系，并且例如是RGB值的校正值。例如，可以获得每个点的色调校正公式。
[公式5]
接下来，如图5所示，图像校正单元433基于工件倾斜角度和色调校正公式来校正图像(S310)。图像校正单元433使用由计算处理单元432估计出的工件倾斜角度和公式(5)的色调校正公式来校正检查目标工件图像的色调。例如，每个点的色调校正公式用于校正整个工件的色调。
接下来，校正图像传送单元441将色调校正图像传输到检查员PC500(S311)。校正图像传送单元441将由图像校正单元433校正的检查目标工件图像传输到检查员PC 500的接收单元510。校正的检查目标工件图像被显示在确定PC 400的显示单元442上。
接下来，将描述图3所示的S103中的图像显示处理。图14是示出了图像显示处理的处理流程的流程图。该图像显示处理由检查员PC500执行。
如图14所示，接收单元510从确定PC 400接收校正的图像(S501)。当确定PC 400校正检查目标工件图像的色调，然后传输校正的检查目标工件图像时，接收单元510接收校正的检查目标工件图像。接下来，显示单元520显示接收的校正图像(S502)。当接收单元510接收校正的检查目标工件图像时，显示单元520显示所接收的校正的检查目标工件图像。检查员根据显示的图像确定工件的部件组装位置。
如上所述，在该实施例中，在用于根据图像确定工件中的部件组装位置的检查系统中，准备了参考图像数据库(包括倾斜图像)，并且基于参考图像和通过拍摄检查目标工件获得的图像、基于由于工件的倾斜和每个顶点的照度引起的参考工件的轮廓与检查目标工件的轮廓之间的差异来估计工件的倾斜角度。然后，对由于检查目标工件图像中的工件的倾斜引起的部件的色调进行校正。因此，当根据图像确定工件中的部件组装位置时，即使部件的色调由于工件的倾斜而变化，也会根据工件的倾斜校正图像的色调，使得图像变得清晰。因此，可以适当地确定工件中的部件组装位置，并且可以在制造现场检测错误/缺失部件。
注意，本公开不限于上述实施例，并且可以在不脱离其范围的情况下进行适当修改。例如，在上述实施例中，已经描述了用于检测工件的倾斜的存在与否以及估计倾斜角度并校正工件图像的色调校正系统。然而，其可以是检测工件的倾斜的存在与否并将其输出的设备，或者其可以是估计并输出工件的倾斜角度的设备。
上述实施例中的每种配置可以包括硬件和/或软件，可以包括硬件或软件中的一件，或者可以包括硬件或软件中的多件。每个设备的功能(处理)可以由包括CPU(中央处理单元)、存储器等的计算机来实现。例如，用于执行根据实施例的方法(例如，色调校正方法)的程序可以被存储在存储设备中，并且每个功能可以通过CPU执行存储在存储设备中的程序来实现。
可以使用任何类型的非暂时性计算机可读介质来存储程序并将其提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、CD-ROM(光盘只读存储器)、CD-R(只读存储器)、CD-R/W(可重写光盘)和半导体存储器(诸如掩膜ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂时性计算机可读介质将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路将程序提供给计算机。
根据如此描述的公开，显而易见的是，可以以多种方式改变本公开的实施例。这种变形例不应被视为背离本公开的精神和范围，并且对于本领域技术人员而言显而易见的是所有这种修改旨在包括在所附权利要求的范围内。
Claims (5)
1.一种当根据图像确定工件的部件组装位置时用于图像确定的色调校正系统，所述色调校正系统包括：
接收单元，所述接收单元被配置成接收通过拍摄目标工件获得的目标工件图像和所述目标工件的设计信息；
参考工件图像存储单元，所述参考工件图像存储单元被配置成存储通过拍摄参考工件获得的参考工件图像；
图像确定单元，所述图像确定单元被配置成基于所接收的目标工件图像和所接收的设计信息来确定所述目标工件是否从所述参考工件倾斜；
计算处理单元，所述计算处理单元被配置成：当确定出所述目标工件倾斜时，基于所存储的参考工件图像和所述目标工件图像来估计所述目标工件的倾斜角度；
色调数据存储单元，所述色调数据存储单元被配置成存储所述倾斜角度与色调校正值之间的关系；
图像校正单元，所述图像校正单元被配置成基于所估计的倾斜角度和与所存储的关系对应的色调校正公式来校正所述目标工件图像的色调；以及
输出单元，所述输出单元被配置成传输和/或显示所校正的目标工件图像。
2.根据权利要求1所述的色调校正系统，其中
所述计算处理单元被配置成将所述参考工件图像与所述目标工件图像进行比较，并基于所述参考工件的轮廓与所述目标工件的轮廓之间的差异和每个顶点的光谱衍射量来估计所述目标工件的倾斜角度。
3.根据权利要求2所述的色调校正系统，其中
所述计算处理单元被配置成基于所述参考工件的点的照度和所述目标工件的点的照度来计算所述目标工件的点在第一轴方向上的坐标，并根据所计算的坐标来估计所述目标工件绕所述第一轴的倾斜角度。
4.根据权利要求3所述的色调校正系统，其中
所述计算处理单元被配置成基于绕所述第一轴的倾斜角度、所述参考工件的点的三维坐标以及所述目标工件的点的三维坐标来估计所述目标工件的绕第二轴和第三轴的倾斜角度。
5.一种当根据图像确定工件的部件组装位置时用于图像确定的色调校正方法，所述色调校正方法包括：
接收通过拍摄目标工件获得的目标工件图像和所述目标工件的设计信息；
存储通过拍摄参考工件获得的参考工件图像；
基于所接收的目标工件图像和所接收的设计信息来确定所述目标工件是否从所述参考工件倾斜；
当确定出所述目标工件倾斜时，基于所存储的参考工件图像和所述目标工件图像来估计所述目标工件的倾斜角度；
存储所述倾斜角度与色调校正值之间的关系；
基于所估计的倾斜角度和与所存储的关系对应的色调校正公式来校正所述目标工件图像的色调；以及
传输和/或显示所校正的目标工件图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-134738 | 2020-08-07 | ||
| JP2020134738A JP7310750B2 (ja) | 2020-08-07 | 2020-08-07 | 色味補正システム及び色味補正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114091168A true CN114091168A (zh) | 2022-02-25 |
Family
ID=80113936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110895324.6A Pending CN114091168A (zh) | 2020-08-07 | 2021-08-05 | 色调校正系统和色调校正方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11783472B2 (zh) |
| JP (1) | JP7310750B2 (zh) |
| CN (1) | CN114091168A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023210313A1 (ja) * | 2022-04-28 | 2023-11-02 | パナソニックＩｐマネジメント株式会社 | 測定方法、測定システム、および情報処理方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000205957A (ja) | 1999-01-13 | 2000-07-28 | Toyota Motor Corp | 色調測定方法および色調測定装置 |
| JP2005159650A (ja) | 2003-11-25 | 2005-06-16 | Canon Inc | 画像処理装置、画像処理方法ならびに記憶媒体、プログラム |
| JP5528139B2 (ja) * | 2010-02-02 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
| JP5832278B2 (ja) * | 2011-12-26 | 2015-12-16 | 三菱重工業株式会社 | カメラ計測システムのキャリブレーション方法 |
| MY179728A (en) * | 2012-03-02 | 2020-11-12 | Nissan Motor | Three-dimensional object detection device |
| JP2013217671A (ja) | 2012-04-04 | 2013-10-24 | Fuji Electric Co Ltd | ３次元物体位置・姿勢検出方法及び装置 |
| US10007995B2 (en) * | 2013-05-23 | 2018-06-26 | Biomerieux | Method, system and computer program product for producing a raised relief map from images of an object |
| JP6444027B2 (ja) | 2013-12-09 | 2018-12-26 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム |
| CN105934310B (zh) * | 2014-01-24 | 2017-10-27 | 三菱电机株式会社 | 刀具形状测定装置以及刀具形状测定方法 |
| KR102081139B1 (ko) * | 2014-03-12 | 2020-02-25 | 한국전자통신연구원 | 물체 피킹 시스템, 물체 검출 장치 및 그 방법 |
| JP2017072945A (ja) | 2015-10-06 | 2017-04-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6595880B2 (ja) | 2015-10-22 | 2019-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN108965690B (zh) * | 2017-05-17 | 2021-02-26 | 欧姆龙株式会社 | 图像处理系统、图像处理装置及计算机可读存储介质 |
| JP2019191117A (ja) | 2018-04-27 | 2019-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| DE102018116790A1 (de) * | 2018-07-11 | 2020-01-16 | Intom GmbH | Vorrichtung und Verfahren zur additiven Fertigung eines Werkstücks |
| US10755401B2 (en) | 2018-12-04 | 2020-08-25 | General Electric Company | System and method for work piece inspection |
| CN112888531B (zh) * | 2018-12-11 | 2023-04-14 | 本田技研工业株式会社 | 工件检查装置和工件检查方法 |
| US20230044001A1 (en) * | 2021-08-09 | 2023-02-09 | Mujin, Inc. | Systems and methods for object detection |
-
2020
- 2020-08-07 JP JP2020134738A patent/JP7310750B2/ja active Active
-
2021
- 2021-07-15 US US17/376,714 patent/US11783472B2/en active Active
- 2021-08-05 CN CN202110895324.6A patent/CN114091168A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022030615A (ja) | 2022-02-18 |
| US11783472B2 (en) | 2023-10-10 |
| US20220044380A1 (en) | 2022-02-10 |
| JP7310750B2 (ja) | 2023-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7313266B2 (en) | Pose estimation method and apparatus | |
| JP6701118B2 (ja) | 画像処理装置および画像処理方法 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| US9866818B2 (en) | Image processing apparatus and method, image processing system and program | |
| JP5109294B2 (ja) | ３次元位置補正装置 | |
| JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2023075366A (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
| WO2014045508A1 (ja) | 検査装置、検査方法、および検査プログラム | |
| CN107066638B (zh) | 位置检测装置、位置检测方法、信息处理程序及记录介质 | |
| US6519358B1 (en) | Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media | |
| JP2006250722A (ja) | キャリブレーション装置及びその方法、キャリブレーション用プログラム | |
| CN110569845A (zh) | 一种试卷图像的校正方法及相关装置 | |
| JP2013084221A (ja) | 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム | |
| US20170069099A1 (en) | Method and electronic device of identifying redundant data | |
| CN114091168A (zh) | 色调校正系统和色调校正方法 | |
| CN110926342A (zh) | 裂缝宽度测量方法及装置 | |
| JP5560722B2 (ja) | 画像処理装置、画像表示システム、および画像処理方法 | |
| US20060204091A1 (en) | System and method for analyzing and processing two-dimensional images | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP4590592B2 (ja) | 三次元計測装置および三次元計測方法 | |
| JP7399632B2 (ja) | 撮影処理装置、及び撮影処理方法 | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JP2004192506A (ja) | パターンマッチング装置、パターンマッチング方法およびプログラム | |
| JP2019197002A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |