CN109313708B - 图像匹配方法和视觉系统 - Google Patents
图像匹配方法和视觉系统 Download PDFInfo
- Publication number
- CN109313708B CN109313708B CN201780035380.4A CN201780035380A CN109313708B CN 109313708 B CN109313708 B CN 109313708B CN 201780035380 A CN201780035380 A CN 201780035380A CN 109313708 B CN109313708 B CN 109313708B
- Authority
- CN
- China
- Prior art keywords
- image
- real
- time
- matching
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像匹配方法和视觉系统，包括：采集预定场景的实时图像；对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置；判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。本发明能够快速获得实时图像和模板图像的匹配结果，提高工业识别速度，进而提高了加工效率。
Description
技术领域
本发明涉及工业视觉领域，特别是涉及图像匹配方法和视觉系统。
背景技术
图像匹配是基于物体图像图形的分析，在两幅或多幅图像之间识别同名点的方法。图像匹配在目前的计算机领域中运用很广，从网络安全到工业生产都有涉及。目前在工业流水线生产过程中，对生产的物体进行加工时，工业机器人需要识别待加工的目标和获取待加工目标的位置从而对其进行加工处理。通常采取的方法是获取待加工目标的模板图像和采集预定场景的实时图像，并对该实时图像和模板图像进行匹配，根据匹配结果识别待加工目标和获取加工位置从而对待加工目标进行处理，为了更准确识别待加工目标和获得待加工目标更精确的加工位置，需要得到更准确的匹配结果。因此，需要获得待加工目标更清晰的图像。但是，工业机器人采集的预定场景的实时图像中待加工目标不一定存在或位于预设区域，直接使用高分辨率的图像进行匹配时，会大大降低图像匹配的速度，进而工业机器人不能快速识别待加工目标和获取加工位置，降低了加工效率。
发明内容
本发明主要解决的技术问题是提供一种图像匹配方法和视觉系统，能够提高图像匹配速度，进而提高了加工效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种图像匹配方法，包括：采集预定场景的实时图像；对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；根据所述初步匹配信息判断所述实时图像中是否出现预置目标，如果是，将所述实时图像与模板图像进行匹配，以得到图像匹配的结果。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种图像匹配方法，包括：采集预定场景的实时图像；对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置；判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种视觉系统包括：图像采集器，存储器，处理器，所述处理器分别与所述图像采集器和所述存储器耦合连接；所述图像采集器用于采集实时图像，并将采集到的实时图像发送至所述处理器；所述存储器用于存储所述模板图像、所述实时图像、程序数据以及所述处理器处理的数据；所述处理器在执行所述程序时执行以下步骤：控制所述图像采集器采集预定场景的实时图像；对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；根据所述初步匹配信息判断所述实时图像中是否出现预置目标，如果是，将所述实时图像与模板图像进行匹配，以得到图像匹配的结果。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种视觉系统，包括：图像采集器，存储器，处理器，所述处理器分别与所述图像采集器和所述存储器耦合连接；所述图像采集器用于采集实时图像，并将采集到的实时图像发送至所述处理器；所述存储器用于存储所述模板图像、所述实时图像、程序数据以及所述处理器处理的数据；
所述处理器在执行所述程序时执行以下步骤：控制所述图像采集器采集预定场景的实时图像；对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置；判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。
本发明的有益效果是：区别于现有技术的情况，本发明对模板图像及实时图像都做降采样处理，先通过降采样图像的匹配获得初步匹配信息，再根据初步匹配信息判断实时图像中是否出现预置目标，若是，则通过对实时图像和模板图像的匹配获得精确匹配结果，从而提高了图像匹配的计算速度。本发明能够快速获得实时图像和模板图像的匹配结果，提高工业识别速度，进而提高了加工效率。
附图说明
图1是本发明图像匹配方法一实施例的流程示意图；
图2是本发明图像匹配方法一实施例示意图；
图3是本发明视觉系统一实施例的结构示意图；
图4是本发明图像匹配方法另一实施例的流程示意图；
图5是本发明视觉系统另一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。
请参阅图1和图2，图1是本发明图像匹配方法一实施例的流程示意图，图2是本发明图像匹配方法一实施例示意图。本实施例的图像匹配方法包括如下步骤：
S101：采集预定场景的实时图像。
在一个具体的实施场景中，将待加工的目标设为预置目标，工业机器人对处于预定场景的预置目标进行加工前，需要先通过图像采集器获取预定场景的实时图像。在本实施例中，可以将预置目标的参考图像作为模板图像，将在预设场景采集的图像作为实时图像。在其他实施例中，也可以将目标位于初始位置时通过图像采集器获取的预置目标的图像设定为模板图像，后续在加工过程中，以通过图像采集器在预定场景采集的图像为实时图像，此处不予限定。
在一个具体的实施例中，将预置目标的参考图像预设为模板图像 21，之后工业机器人通过图像采集器采集预定场景的实时图像20，将位于模板图像21中预置目标的某条外边设为可供加工的外边A。
在本实施例中，图像采集器为工业相机、智能交通相机、智能相机、 3D智能传感器或其他可以采集预定场景实时图像的设备。其中，实时图像20的分辨率和预设的模板图像21的分辨率可以相同也可以不同。
S102：对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像。
降采样又名下采样或减少图像采样点数。对于一幅分辨率为N*M的图像来说，如果降采样系数为k，则即是在原图中每行每列每隔k个点取一个点组成一幅图像。
因获取的实时图像20和模板图像21的分辨率太大，采集的预定场景的实时图像20中目标不一定在预设区域内，而且当预置目标位于加工区域内时，工业机器人才能对预置目标进行加工，如果直接使用原始的实时图像20和模板图像21进行匹配，会增加计算时间，且可能浪费计算资源，不能快速得出匹配结果。本实施例中，可对实时图像20和模板图像21作降采样处理，并对降采样图像进行匹配，得到初步匹配信息。
在一个具体的实施场景中，图像采集器为工业相机，通过工业相机获取实时图像20后，对实时图像20和模板图像21作不同层次的降采样处理，获取实时图像20和模板图像21的多个分辨率不同的降采样图像。其中，实时图像20的降采样图像数量与模板图像21的降采样图像数量相同，在本实施例中，实时图像20的降采样图像数量与模板图像21的降采样图像数量分别为4。
在上述实施场景中，实时图像20和模板图像21的降采样图像数量还可根据用户自身需要进行设定，此处不予限定。
S103：对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息。
在一个具体的实施场景中，获取实时图像20和模板图像21的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度级的目标位置信息。例如，将实时图像20的降采样图像201与模板图像21的降采样图像 211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与模板图像21的降采样图像序列中分辨率最低的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果能够获取设定精度级的目标位置信息，则将该设定精度级的目标位置信息作为初步匹配信息。
在另一个具体的实施场景中，获取实时图像20和模板图像21的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度级的目标位置信息。例如，将实时图像20的降采样图像201与模板图像21的降采样图像 211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将实时图像20的降采样图像203与模板图像21 的降采样图像213建立映射关系。将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与该降采样图像201映射的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果确定匹配解析得到的信息不是设定精度级的目标位置信息，则以升序的方式选取更高层级分辨率的实时图像20 的降采样图像及其映射的模板图像21的降采样图像进行匹配解析，直至得到设定精度级的目标位置信息，并将该设定精度级的目标位置信息作为初步匹配信息。如将比降采样图像201高一层级的实时图像20的降采样图像202和其映射的模板图像21的降采样图像212进行匹配解析，判断解析得到的信息是否为设定精度级的目标位置信息，若不是，则选取比降采样图像202分辨率高一层级的降采样图像203与其映射的降采样图像213进行匹配解析，直至能够解析得到设定精度级的目标位置信息，并将该设定精度级的目标位置信息作为初步匹配信息。
S104：根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置。
在上述实施场景中，获取的初步匹配信息包括实时图像中与模板图像中的预置目标匹配最高的目标的位置信息，该位置信息包括目标的角度、坐标等位置信息，通过该初步匹配信息可以获取目标的粗略位置信息。
S105：判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。
在一个具体的场景中，将预定场景中的加工区域设为预设区域，并将实时图像20中与模板图像21中的预置目标匹配度最高的目标确定为预置目标，工业机器人通过初步匹配信息判断该预置目标是否位于预设区域内，如果在预设区域内，则根据初步匹配信息将实时图像20与模板图像21进行匹配，以得到图像匹配的结果，即得到预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息，通过该结果可以确定实时图像20中与外边A相匹配的外边即为可供加工的外边，工业机器人据此即可对该外边进行加工处理。
在一个具体的场景中，将预定场景中的加工区域设为预设区域，并将实时图像20中与模板图像21中的预置目标匹配度最高的目标确定为预置目标，工业机器人通过初步匹配信息判断该预置目标是否位于预设区域内，如果不在预设区域内，则重复前述步骤后再次进行判断，直至该预置目标落入预设区域内，然后根据初步匹配信息将实时图像20与模板图像21进行匹配，以得到图像匹配的结果，即得到预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息，通过该结果可以确定实时图像20中与外边A相匹配的外边即为可供加工的外边，工业机器人据此即可对该外边进行加工处理。
上述任一实施例中，将实时图像和模板图像的降采样图像进行匹配以及将实时图像和模板图像进行匹配的方法为边缘匹配或者灰度匹配。
本发明的有益效果是：区别于现有技术的情况，本发明对模板图像及实时图像都做降采样处理，先通过降采样图像的匹配获得初步匹配信息，再根据初步匹配信息判断目标是否出现在预设区域，若是，则通过对实时图像和模板图像的匹配获得精确匹配结果，从而提高了图像匹配的计算速度。本发明能够快速获得实时图像和模板图像的匹配结果，提高工业识别速度，进而提高了加工效率。
基于同一发明构思，本发明还提供了一种视觉系统，请参阅图3，图3是本发明视觉系统一实施例的结构示意图。本实施例的视觉系统包括以下器件：
图像采集器31，处理器32和存储器33。其中，图像采集器31用于采集实时图像，并将采集到的实时图像发送至处理器32。存储器33用于存储模板图像、实时图像、程序数据以及处理器32处理的数据。处理器32 分别与图像采集器31和存储器33耦合连接。且处理器32在执行程序时执行以下步骤：
1：控制所述图像采集器采集预定场景的实时图像。
在一个具体的实施场景中，处理器32将待加工的目标设为预置目标，处理器32对处于预定场景的预置目标进行加工前，需要先通过图像采集器31获取预定场景的实时图像。在本实施例中，可以将预置目标的参考图像作为模板图像，将在预设场景采集的图像作为实时图像。在其他实施例中，也可以将目标位于初始位置时通过图像采集器获取的预置目标的图像设定为模板图像，后续在加工过程中，以通过图像采集器31 在预定场景采集的图像为实时图像，此处不予限定。
在一个具体的实施例中，处理器32将预置目标的参考图像预设为模板图像21，之后处理器32通过图像采集器31采集预定场景的实时图像 20，将位于模板图像21中预置目标的某条外边设为可供加工的外边A。
在本实施例中，图像采集器31为工业相机、智能交通相机、智能相机、3D智能传感器或其他可以采集预定场景实时图像的设备。其中，实时图像20的分辨率和预设的模板图像21的分辨率可以相同也可以不同。
2：对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像。
降采样又名下采样或减小图像即是采样点数减少。对于一幅分辨率为N*M的图像来说，如果降采样系数为k，则即是在原图中每行每列每隔k个点取一个点组成一幅图像。
因获取的实时图像20和模板图像21的分辨率太大，采集的预定场景的实时图像20中目标不一定在预设区域内，而且当预置目标位于加工区域内时，处理器32才能控制工业机器人对预置目标进行加工，如果处理器32直接使用原始的实时图像20和模板图像21进行匹配，会增加计算时间，且可能浪费计算资源，不能快速得出匹配结果。本实施例中，处理器32可对实时图像20和模板图像21作降采样处理，并对降采样图像进行匹配，得到初步匹配信息。
在一个具体的实施场景中，图像采集器31为工业相机，通过工业相机获取实时图像20后，对实时图像20和模板图像21作不同层次的降采样处理，获取实时图像20和模板图像21的多个分辨率不同的降采样图像。其中，实时图像20的降采样图像数量与模板图像21的降采样图像数量相同，在本实施例中，实时图像20的降采样图像数量与模板图像21的降采样图像数量分别为4。
在上述实施场景中，实时图像20和模板图像21的降采样图像数量还可根据用户自身需要进行设定，此处不予限定。
3：对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息。
在一个具体的实施场景中，处理器32获取实时图像20和模板图像21 的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像 21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度级的目标位置信息。例如，处理器32将实时图像20的降采样图像201与模板图像 21的降采样图像211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与模板图像21的降采样图像序列中分辨率最低的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果能够获取设定精度级的目标位置信息，则处理器32将该设定精度级的目标位置信息作为初步匹配信息。
在另一个具体的实施场景中，处理器32获取实时图像20和模板图像 21的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度级的目标位置信息。例如，处理器32将实时图像20的降采样图像201与模板图像21的降采样图像211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将实时图像20的降采样图像203与模板图像21的降采样图像213建立映射关系。将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与该降采样图像201映射的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果确定匹配解析得到的信息不是设定精度级的目标位置信息，则处理器32以升序的方式选取更高层级分辨率的实时图像20的降采样图像及其映射的模板图像21的降采样图像进行匹配解析，直至得到设定精度级的目标位置信息，并将该设定精度级的目标位置信息作为初步匹配信息。如处理器32将比降采样图像201高一层级的实时图像20的降采样图像202和其映射的模板图像21 的降采样图像212进行匹配解析，判断解析得到的信息是否为设定精度级的目标位置信息，若不是，则选取比降采样图像202分辨率高一层级的降采样图像203与其映射的降采样图像213进行匹配解析，直至能够解析得到设定精度级的目标位置信息，并将该设定精度级的目标位置信息作为初步匹配信息。
4：根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置。
在上述实施场景中，处理器32获取的初步匹配信息包括实时图像中与模板图像中的预置目标匹配最高的目标的位置信息，该位置信息包括目标的角度、坐标等位置信息，通过该初步匹配信息可以获取目标的粗略位置信息。
5：判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。
在一个具体的场景中，处理器32将预定场景中的加工区域设为预设区域，并将实时图像20中与模板图像21中的预置目标匹配度最高的目标确定为预置目标，处理器32通过初步匹配信息判断该预置目标是否位于预设区域内，如果在预设区域内，则将实时图像20与模板图像21进行匹配，以得到图像匹配的结果，即得到预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息，通过该结果可以确定实时图像20中与外边A相匹配的外边即为可供加工的外边，处理器32据此即可控制工业机器人对该外边进行加工处理。
在一个具体的场景中，处理器32将预定场景中的加工区域设为预设区域，并将实时图像20中与模板图像21中的预置目标匹配度最高的目标确定为预置目标，处理器32通过初步匹配信息判断该预置目标是否位于预设区域内，如果不在预设区域内，则重复前述步骤后再次进行判断，直至该预置目标落入预设区域内，然后将实时图像20与模板图像21进行匹配，以得到图像匹配的结果，即得到预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息，通过该结果可以确定实时图像20中与外边A相匹配的外边即为可供加工的外边，处理器32据此即可控制工业机器人对该外边进行加工处理。
上述任一实施例中，将实时图像和模板图像的降采样图像进行匹配以及将实时图像和模板图像进行匹配的方法为边缘匹配或者灰度匹配。本发明的有益效果是：区别于现有技术的情况，本发明对模板图像及实时图像都做降采样处理，先通过降采样图像的匹配获得初步匹配信息，再根据初步匹配信息判断目标是否出现在预设区域，若是，则通过对实时图像和模板图像的匹配获得精确匹配结果，从而提高了图像匹配的计算速度。本发明能够快速获得实时图像和模板图像的匹配结果，提高工业识别速度，进而提高了加工效率。
参阅图4，图4是本发明图像匹配方法另一实施例的流程示意图。结合图2，本实施例的图像匹配方法包括如下步骤：
S401：采集预定场景的实时图像。
在一个具体的实施场景中，工业机器人对处于预定场景的预置目标进行加工前，需要先通过图像采集器获取预定场景的实时图像。在本实施例中，可以将预置目标的参考图像作为模板图像，将在预设场景采集的图像作为实时图像。在其他实施例中，也可以将目标位于初始位置时通过图像采集器获取的预置目标的图像设定为模板图像，后续在加工过程中，以通过图像采集器在预定场景采集的图像为实时图像，此处不予限定。
在一个具体的实施例中，将预置目标的参考图像预设为模板图像 21，之后工业机器人通过图像采集器采集预定场景的实时图像20，将模板图像21中位于预置目标的某条外边设为可供加工的外边A。
在本实施例中，图像采集器为工业相机、智能交通相机、智能相机、 3D智能传感器或其他可以采集预定场景实时图像的设备。其中，实时图像20的分辨率和预设的模板图像21的分辨率可以相同也可以不同。
S402：对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像。
降采样又名下采样或减少图像采样点数。对于一幅分辨率为N*M的图像来说，如果降采样系数为k，则即是在原图中每行每列每隔k个点取一个点组成一幅图像。
因获取的实时图像20和模板图像21的分辨率太大，且采集的预定场景的实时图像20中目标不一定在预定场景内，如果直接使用原始的实时图像20和模板图像21进行匹配，会增加计算时间，浪费计算资源，不能快速得出匹配结果。本实施例中，需要对实时图像20和模板图像21作降采样处理，并对降采样图像进行匹配获得初步匹配信息。
在一个具体的实施场景中，图像采集器为工业相机，通过工业相机获取实时图像20后，对实时图像20和模板图像21作不同层次的降采样处理，获取实时图像20和模板图像21的多个分辨率不同的降采样图像。其中，实时图像20的降采样图像数量与模板图像21的降采样图像数量相同。
在上述实施场景中，实时图像20和模板图像21的降采样图像数量还可根据用户自身需要进行设定，此处不予限定。
S403：对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息。
在一个具体的实施场景中，获取实时图像20和模板图像21的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度级的目标位置信息。例如，将实时图像20的降采样图像201与模板图像21的降采样图像 211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与模板图像21的降采样图像序列中分辨率最低的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果能够获取设定精度级的目标位置信息，则将该设定精度级的目标位置信息作为初步匹配信息。
在另一个具体的实施场景中，获取实时图像20和模板图像21的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度级的目标位置信息。例如，将实时图像20的降采样图像201与模板图像21的降采样图像 211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将实时图像20的降采样图像203与模板图像21 的降采样图像213建立映射关系。将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与该降采样图像201映射的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果确定匹配解析得到的信息不是设定精度级的目标位置信息，则以升序的方式选取更高层级分辨率的实时图像20 的降采样图像及其映射的模板图像21的降采样图像进行匹配解析，直至得到设定精度级的目标位置信息，并将该设定精度级的目标位置信息作为初步匹配信息。如将比降采样图像201分辨率高一层级的实时图像20 的降采样图像202和其映射的模板图像21的降采样图像212进行匹配解析，判断解析得到的信息是否为设定精度级的目标位置信息，若不是，则选取比降采样图像202分辨率高一层级的降采样图像203与其映射的降采样图像213进行匹配解析，直至能够解析得到设定精度级的目标位置信息，并将该设定精度级的目标位置信息作为初步匹配信息。
在再一个具体的实施场景中，获取实时图像20和模板图像21的降采样图像后，将分辨率接近的实时图像20的降采样图像与模板图像21的降采样图像建立映射关系，并将实时图像20的降采样图像按照分辨率由低到高的顺序进行层级排列。对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，判断是否得到设定精度的目标位置信息。例如，将实时图像20的降采样图像201与模板图像21的降采样图像 211建立映射关系，将实时图像20的降采样图像202与模板图像21的降采样图像212建立映射关系，将实时图像20的降采样图像203与模板图像21 的降采样图像213建立映射关系。将层级排列的实时图像20的降采样图像序列中分辨率最低的实时图像20的降采样图像201与该降采样图像 201映射的模板图像21的降采样图像211进行匹配解析，判断是否获取设定精度级的目标位置信息。如果确定匹配解析得到的信息不是设定精度级的目标位置信息，则以升序的方式选取比当前匹配的实时图像20的降采样图像分辨率更高层级的实时图像20的降采样图像及其映射的模板图像21的降采样图像进行匹配解析，根据匹配解析得到的信息判断是否得到设定精度级的目标位置信息，若以升序的方式遍历完实时图像20所有的降采样图像，仍无法得到设定精度级的目标位置信息，则将最后一次匹配解析得到的目标位置信息作为初步匹配信息。
在上述实施场景中，将实时图像20的降采样图像与对应的模板图像 21的降采样图像进行匹配时，获取的初步匹配信息为与模板图像21中的预置目标匹配度最高的目标的位置信息，该信息包括该目标的角度、坐标等位置信息。
S404：根据初步匹配信息判断所述实时图像中是否出现预置目标，如果是，将所述实时图像与模板图像进行匹配，以得到图像匹配的结果。
在一个具体的场景中，从初步匹配信息中获取目标位置信息，并判断该目标位置信息是否为设定精度级的目标位置信息，如果是，则确定实时图像20中出现预置目标，将实时图像20中与模板图像21中的预置目标匹配度最高的目标确定为预置目标，并根据初步匹配信息将实时图像 20和模板图像21进行匹配，得到匹配结果。其中，匹配结果为预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息，并且根据该结果工业机器人还可确定预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息。
在另一个具体的场景中，从初步匹配信息中获取目标位置信息，并判断该目标位置信息是否为设定精度级的目标位置信息，若果不是，则确定实时图像中没有出现预置目标，则重复前述步骤后再次进行判断，直至确定实时图像中出现预置目标，将实时图像20中与模板图像21中的预置目标匹配度最高的目标确定为预置目标，然后根据初步匹配信息将实时图像20与模板图像21进行匹配，以得到图像匹配的结果，即得到预置目标在实时图像中的精确位置信息以及实时图像20中的预置目标的每个部分与模板图像21中的预置目标的对应匹配关系，其中，精确位置信息包括角度、坐标等位置信息，通过该结果可以确定实时图像20中与外边A相匹配的外边即为可供加工的外边，工业机器人据此即可对该外边进行加工处理。
上述任一实施例中，将实时图像和模板图像的降采样图像进行匹配以及将实时图像和模板图像进行匹配的方法为边缘匹配或者灰度匹配。
本发明的有益效果是：区别于现有技术的情况，本发明对模板图像及实时图像都做降采样处理，先通过降采样图像的匹配获得初步匹配信息，再根据初步匹配信息判断目标是否出现在预设区域，若是，则通过对实时图像和模板图像的匹配获得精确匹配结果，从而提高了图像匹配的计算速度。本发明能够快速获得实时图像和模板图像的匹配结果，提高工业识别速度，进而提高了加工效率。
基于同一发明构思，本发明还提供了另一种视觉系统，请参阅图5，图5是本发明视觉系统一实施例的结构示意图。本实施例的视觉系统包括以下器件：
图像采集器51，处理器52和存储器53。其中，图像采集器51用于采集预定场景的实时图像，并将采集到的图像发送至处理器52。存储器53 用于存储模板图像、实时图像、程序数据以及处理器52处理的数据。处理器52分别与图像采集器51和存储器53耦合连接。且处理器52在执行程序时执行以下步骤：控制所述图像采集器采集预定场景的实时图像；对实时图像和预设的模板图像作降采样处理，获取实时图像和模板图像的降采样图像；对实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；根据所述初步匹配信息判断所述实时图像中是否出现预置目标，如果是，将所述实时图像与模板图像进行匹配，以得到图像匹配的结果。关于该视觉系统在工作中执行的图像匹配方法，前述已详细描述，此处不再赘述。
本发明的有益效果是：区别于现有技术的情况，本发明对模板图像及实时图像都做降采样处理，先通过降采样图像的匹配获得初步匹配信息，再根据初步匹配信息判断目标是否出现在预设区域，若是，则通过对实时图像和模板图像的匹配获得精确匹配结果，从而提高了图像匹配的计算速度。本发明能够快速获得实时图像和模板图像的匹配结果，提高工业识别速度，进而提高了加工效率。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种图像匹配方法，其特征在于，包括：
采集预定场景的实时图像；
对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；
对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率最低的实时图像的降采样图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率接近的实时降采样图像与模板降采样图像建立映射关系；
对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，得到设定精度级的目标位置信息；具体包括：
以最低分辨率为初始条件，将实时降采样图像与对应的模板降采样图像进行匹配解析，
若解析无法得到设定精度级的目标位置信息，则选取更高层级分辨率的实时图像及其映射的模板图像进行匹配解析，直至得到设定精度级的目标位置信息；其中，若以升序的方式遍历完所述实时图像所有的降采样图像，仍无法得到所述设定精度级的目标位置信息，则将最后一次匹配解析得到的目标位置信息作为所述初步匹配信息；
根据所述初步匹配信息判断所述实时图像中是否出现预置目标，如果是，将所述实时图像与模板图像进行匹配，以得到图像匹配的结果。
2.一种图像匹配方法，其特征在于，包括：
采集预定场景的实时图像；
对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；
对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率最低的实时图像的降采样图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率接近的实时降采样图像与模板降采样图像建立映射关系；
对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，得到设定精度级的目标位置信息；具体包括：
以最低分辨率为初始条件，将实时降采样图像与对应的模板降采样图像进行匹配解析，
若解析无法得到设定精度级的目标位置信息，则选取更高层级分辨率的实时图像及其映射的模板图像进行匹配解析，直至得到设定精度级的目标位置信息；其中，若以升序的方式遍历完所述实时图像所有的降采样图像，仍无法得到所述设定精度级的目标位置信息，则将最后一次匹配解析得到的目标位置信息作为所述初步匹配信息；
根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置；
判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。
3.根据权利要求1或2所述的图像匹配方法，其特征在于，所述对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像的步骤具体包括：
对所述实时图像和模板图像作不同层次的降采样处理，获取所述实时图像和模板图像的多个分辨率不同的降采样图像。
4.根据权利要求3所述的图像匹配方法，其特征在于，所述模板图像的降采样图像数量与所述实时图像的降采样图像的数量相同。
5.根据权利要求1或2所述的图像匹配方法，其特征在于，所述将实时图像和模板图像的降采样图像进行匹配以及将实时图像和模板图像进行匹配的方法为边缘匹配。
6.根据权利要求1或2所述的图像匹配方法，其特征在于，所述将实时图像和模板图像的降采样图像进行匹配以及将实时图像和模板图像进行匹配的方法为灰度匹配。
7.一种视觉系统，其特征在于，包括：图像采集器，存储器，处理器，所述处理器分别与所述图像采集器和所述存储器耦合连接；
所述图像采集器用于采集实时图像，并将采集到的实时图像发送至所述处理器；
所述存储器用于存储模板图像、所述实时图像、程序数据以及所述处理器处理的数据；
所述处理器在执行所述程序时执行以下步骤：
控制所述图像采集器采集预定场景的实时图像；
对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；
对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率最低的实时图像的降采样图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率接近的实时降采样图像与模板降采样图像建立映射关系；
对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，得到设定精度级的目标位置信息；具体包括：
以最低分辨率为初始条件，将实时降采样图像与对应的模板降采样图像进行匹配解析，
若解析无法得到设定精度级的目标位置信息，则选取更高层级分辨率的实时图像及其映射的模板图像进行匹配解析，直至得到设定精度级的目标位置信息；其中，若以升序的方式遍历完所述实时图像所有的降采样图像，仍无法得到所述设定精度级的目标位置信息，则将最后一次匹配解析得到的目标位置信息作为所述初步匹配信息；
根据所述初步匹配信息判断所述实时图像中是否出现预置目标，如果是，将所述实时图像与模板图像进行匹配，以得到图像匹配的结果。
8.一种视觉系统，其特征在于，包括：图像采集器，存储器，处理器，所述处理器分别与所述图像采集器和所述存储器耦合连接；
所述图像采集器用于采集实时图像，并将采集到的实时图像发送至所述处理器；
所述存储器用于存储模板图像、所述实时图像、程序数据以及所述处理器处理的数据；
所述处理器在执行所述程序时执行以下步骤：
控制所述图像采集器采集预定场景的实时图像；
对所述实时图像和预设的模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像；
对所述实时图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率最低的实时图像的降采样图像和模板图像的降采样图像进行匹配，得到初步匹配信息；具体包括：
将分辨率接近的实时降采样图像与模板降采样图像建立映射关系；
对分辨率接近的实时降采样图像与其映射的模板降采样图像进行匹配解析，得到设定精度级的目标位置信息；具体包括：
以最低分辨率为初始条件，将实时降采样图像与对应的模板降采样图像进行匹配解析，
若解析无法得到设定精度级的目标位置信息，则选取更高层级分辨率的实时图像及其映射的模板图像进行匹配解析，直至得到设定精度级的目标位置信息；其中，若以升序的方式遍历完所述实时图像所有的降采样图像，仍无法得到所述设定精度级的目标位置信息，则将最后一次匹配解析得到的目标位置信息作为所述初步匹配信息；
根据所述初步匹配信息获取实时图像中与所述模板图像匹配的目标的位置；
判断所述目标的位置是否在预设区域内，如果是，则将所述位置对应的实时图像与模板图像进行匹配，以得到图像匹配的结果。
9.根据权利要求7或8所述的视觉系统，其特征在于，所述处理器对所述实时图像和模板图像作降采样处理，获取所述实时图像和模板图像的降采样图像的步骤具体包括：
对所述实时图像和模板图像作不同层次的降采样处理，获取所述实时图像和模板图像的多个分辨率不同的降采样图像。
10.根据权利要求9所述的视觉系统，其特征在于，所述处理器获取的模板图像的降采样图像数量与所述实时图像的降采样图像的数量相同。
11.根据权利要求7或8所述的视觉系统，其特征在于，所述处理器采用边缘匹配的方法将实时图像和模板图像的降采样图像以及实时图像和模板图像进行匹配。
12.根据权利要求7或8所述的视觉系统，其特征在于，所述处理器采用灰度匹配的方法将实时图像和模板图像的降采样图像以及实时图像和模板图像进行匹配。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/118121 WO2019119453A1 (zh) | 2017-12-22 | 2017-12-22 | 图像匹配方法和视觉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109313708A CN109313708A (zh) | 2019-02-05 |
| CN109313708B true CN109313708B (zh) | 2023-03-21 |
Family
ID=65225724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780035380.4A Active CN109313708B (zh) | 2017-12-22 | 2017-12-22 | 图像匹配方法和视觉系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109313708B (zh) |
| WO (1) | WO2019119453A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113466233A (zh) * | 2020-03-31 | 2021-10-01 | 北京配天技术有限公司 | 视觉检测方法、视觉检测装置及计算机存储介质 |
| CN111639708B (zh) * | 2020-05-29 | 2023-05-09 | 深圳市燕麦科技股份有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN111787381A (zh) * | 2020-06-24 | 2020-10-16 | 北京声迅电子股份有限公司 | 一种安检机采集图像的上传方法及上传装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489178A (zh) * | 2013-08-12 | 2014-01-01 | 中国科学院电子学研究所 | 一种图像配准方法和系统 |
| WO2016062159A1 (zh) * | 2014-10-20 | 2016-04-28 | 网易（杭州）网络有限公司 | 图像匹配方法及手机应用测试平台 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477632B (zh) * | 2008-12-19 | 2011-08-31 | 深圳市大族激光科技股份有限公司 | 一种灰度图像匹配方法及系统 |
| CN101556695A (zh) * | 2009-05-15 | 2009-10-14 | 广东工业大学 | 一种图像匹配方法 |
| CN103617625B (zh) * | 2013-12-13 | 2017-05-24 | 中国气象局北京城市气象研究所 | 一种图像匹配方法及图像匹配装置 |
| CN104966283A (zh) * | 2015-05-22 | 2015-10-07 | 北京邮电大学 | 图像分层配准方法 |
| KR20170047780A (ko) * | 2015-10-23 | 2017-05-08 | 한국전자통신연구원 | 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법 |
| CN105989608B (zh) * | 2016-04-25 | 2019-03-26 | 北京光年无限科技有限公司 | 一种面向智能机器人的视觉捕捉方法及装置 |
| CN106096659A (zh) * | 2016-06-16 | 2016-11-09 | 网易（杭州）网络有限公司 | 图像匹配方法和装置 |
| CN106127261B (zh) * | 2016-07-01 | 2019-08-30 | 深圳元启智能技术有限公司 | 一种快速多分辨率灰度图像模板匹配方法 |
| CN106845555A (zh) * | 2017-02-09 | 2017-06-13 | 聚龙智瞳科技有限公司 | 基于Bayer格式的图像匹配方法及图像匹配装置 |
-
2017
- 2017-12-22 WO PCT/CN2017/118121 patent/WO2019119453A1/zh active Application Filing
- 2017-12-22 CN CN201780035380.4A patent/CN109313708B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489178A (zh) * | 2013-08-12 | 2014-01-01 | 中国科学院电子学研究所 | 一种图像配准方法和系统 |
| WO2016062159A1 (zh) * | 2014-10-20 | 2016-04-28 | 网易（杭州）网络有限公司 | 图像匹配方法及手机应用测试平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019119453A1 (zh) | 2019-06-27 |
| CN109313708A (zh) | 2019-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363158B (zh) | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 | |
| CN104331876B (zh) | 直线检测、图像处理的方法及相关装置 | |
| US9811921B2 (en) | Apparatus and method for processing a depth image | |
| CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN111523414A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| CN109313708B (zh) | 图像匹配方法和视觉系统 | |
| WO2013133129A1 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| CN111178138B (zh) | 基于激光点云和双目视觉的配网导线作业点检测方法及装置 | |
| JP5468332B2 (ja) | 画像特徴点抽出方法 | |
| CN114693661A (zh) | 一种基于深度学习的快速分拣方法 | |
| KR20080032856A (ko) | 조선소 소조립 용접부재 위치 인식 방법 | |
| CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
| CN112861870A (zh) | 指针式仪表图像矫正方法、系统及存储介质 | |
| CN110211200B (zh) | 一种基于神经网络技术的牙弓线生成方法及其系统 | |
| CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
| CN109993046B (zh) | 基于视觉摄像机的自阴影物体边缘识别方法、装置及车辆 | |
| CN104966283A (zh) | 图像分层配准方法 | |
| CN111767912B (zh) | 标记点识别方法、装置、设备和存储介质 | |
| CN111684462A (zh) | 一种图像匹配方法及视觉系统 | |
| CN114092771A (zh) | 多传感数据融合方法、目标检测方法、装置和计算机设备 | |
| CN110880003A (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN110992426A (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
| CN110689556A (zh) | 跟踪方法、装置及智能设备 | |
| CN113643544B (zh) | 一种基于物联网的停车场内违规泊车智能检测方法及系统 | |
| CN115249254B (zh) | 一种基于ar技术的目标跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518063 23 Floor (Room 2303-2306) of Desai Science and Technology Building, Yuehai Street High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province Applicant after: SHENZHEN A&E INTELLIGENT TECHNOLOGY INSTITUTE Co.,Ltd. Address before: 518104 Shajing Industrial Co., Ltd. No. 3 Industrial Zone, Hexiang Road, Shajing Street, Baoan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN A&E INTELLIGENT TECHNOLOGY INSTITUTE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |