CN109556510B - 位置检测装置以及计算机可读存储介质 - Google Patents

位置检测装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN109556510B
CN109556510B CN201810599576.2A CN201810599576A CN109556510B CN 109556510 B CN109556510 B CN 109556510B CN 201810599576 A CN201810599576 A CN 201810599576A CN 109556510 B CN109556510 B CN 109556510B
Authority
CN
China
Prior art keywords
data
target
positions
detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810599576.2A
Other languages
English (en)
Other versions
CN109556510A (zh
Inventor
荒野智大
山本佳英
枦山博幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109556510A publication Critical patent/CN109556510A/zh
Application granted granted Critical
Publication of CN109556510B publication Critical patent/CN109556510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

本发明提供一种位置检测装置以及计算机可读存储介质。本发明提供一种环境,所述环境对支持用于定位的各部调整的信息进行提示。本发明的位置检测装置具备:图像处理部,从图像数据中,通过图像处理来检测特征部分的位置,所述图像数据是通过移动机构来将对象物的特征部分分别定位于各目标位置时进行拍摄而获取;位置保存部,将各目标位置、与在所述目标位置处检测出的检测位置相关联地予以保存;以及显示数据生成部,生成将与检测位置相关的信息显示于显示部的数据。显示数据生成部生成一数据,所述数据是将各目标位置、和与所述目标位置相关联地保存的各检测位置显示于相同的坐标空间内。

Description

位置检测装置以及计算机可读存储介质
技术领域
本发明涉及一种位置检测装置以及计算机可读存储介质(program),其使用图像处理来对通过移动机构而移动的对象物的位置进行测量,并输出与测量位置相关的信息。
背景技术
在工厂自动化(Factory Automation,FA)领域中,广泛利用有使用视觉传感器(sensor)的自动控制技术。例如,拍摄工件(work)等对象物,并对所述拍摄的图像执行图形匹配(pattern matching)等图像测量处理,由此来实现对各种控制机器进行操作的自动化处理。
当使用此种视觉传感器时,为了将视觉传感器的测量结果输出至控制装置,需要进行校准(calibration)。例如,日本专利特开平6-137840号公报(专利文献1)公开了一种消除了摄像机(camera)配置的限制且简便、高精度的校准方法。而且,日本专利特开2003-50106号公报(专利文献2)公开了一种基于不需要由操作员(operator)来输入或调整参数的校准的定位装置。
现有技术文献
专利文献
专利文献1:日本专利特开平6-137840号公报
专利文献2:日本专利特开2003-50106号公报
发明内容
[发明所要解决的问题]
在定位装置的运转过程中或启动过程中,若不满足定位的要求精度,则要追究因素,但在追究因素时,需要有定位知识者的诀窍(know-how),耗费时间。而且,存在下述问题:对于缺乏定位知识的用户而言,不知晓应追究的观点。此类达不到定位精度的情况,多是因为未达到校准精度,但因素的追究困难。因此,期望所述因素追究耗费的时间的缩短、及应追究的观点的确定的容易化。
本发明面向此类需求(needs),其一个目的在于提供一种环境,所述环境对支持用于定位的各部调整的信息进行提示。
[解决问题的技术手段]
本发明的一例的位置检测装置包括:图像保存部件,保存图像数据,所述图像数据是在通过对设有定位用特征部分的对象物的位置进行变更的移动机构而将特征部分分别定位于多个目标位置时,拍摄对象物而获取;图像处理部件,从图像数据中,通过图像处理来检测所述图像数据中所含的特征部分的位置;位置保存部件,将由图像处理部件从被定位于各目标位置的对象物的图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;以及显示数据生成部件,生成将与检测位置相关的信息显示于显示部的数据。显示数据生成部件生成一数据,所述数据是将各目标位置、和与所述目标位置相关联地保存的各检测位置显示在相同的坐标空间内。
根据所述发明,能够将从图像数据中检测出的特征部的检测位置与所述目标位置相关联地显示在相同的坐标空间内,所述图像数据是一边通过移动机构将所述对象物所具有的定位用特征部分分别定位于多个目标位置,一边对移动到各目标位置的对象物进行拍摄而获取。此种显示信息在使用位置检测装置来实施校准时,能够提供作为用于提高校准精度的支持信息。
在所述发明中,对象物通过移动机构而多次移动到各目标位置,与各目标位置相关联地保存在位置保存部件中的检测位置,包含从通过多次移动到所述目标位置而拍摄获取的图像数据中检测出的多个检测位置。
根据所述发明,能够使通过多次移动到各目标位置而检测出的多个检测位置,与所述目标位置相关联地显示在相同的坐标空间内。
在所述发明中,坐标空间具有多维坐标轴,显示数据生成部件生成一数据,所述数据是在多维坐标轴中的至少一个坐标轴上显示目标位置、和与所述目标位置相关联的检测位置。
根据所述发明,能够使各目标位置、和与所述目标位置相关联的检测位置相关联地显示在由至少一个以上的坐标轴所规定的坐标空间内。
在所述发明中,所显示的数据包含一数据,数据是针对每个目标位置而将相关联的多个检测位置以散布图的形态显示于坐标空间内。
根据所述发明,能够使与各目标位置相关联的检测位置以表示不均的散布图的形态予以显示。
在所述发明中,所显示的数据包含一数据,所述数据是针对每个目标位置而将相关联的多个检测位置以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
根据所述发明,能够使与各目标位置相关联的多个检测位置以时间序列的形态予以显示,所述时间序列遵照从多个检测位置的检测开始算起的相对时间经过。
在所述发明中,所显示的数据包含显示线段的数据,所述线段用于表示各目标位置、和与所述目标位置相关联的检测位置的相对位置关系。
根据所述发明,能够使各目标位置和与所述目标位置相关联的检测位置通过表示相对位置关系的线段来显示。
在所述发明中,表示相对位置关系的线段包含:对将与各目标位置相关联的检测位置按照借助移动机构朝向所述目标位置的移动顺序来予以连结的线段进行显示的数据;或者对将各目标位置按照借助移动机构的移动顺序来予以连结的线段进行显示的数据。
根据所述发明,能够使各目标位置和与所述目标位置相关联的检测位置的相对位置关系,通过按照借助移动机构朝向所述目标位置的移动顺序来连结的线段、或者将各目标位置按照借助移动机构的移动顺序来连结的线段而显示。
在所述发明中,移动包含以预定的目标中心位置为圆心而旋转的旋转移动,目标位置包含目标中心位置,检测位置包含根据与各目标位置相关联的各检测位置而推测出的旋转的推测中心位置。
根据所述发明,在进行借助移动机构的旋转移动时,能够使旋转移动的圆心即目标中心位置、和根据与目标位置相关联的检测位置而推测出的旋转的推测中心位置相关联地显示在相同的坐标空间内。
在所述发明中,所显示的数据进而包含:在以目标中心位置为圆心的圆周线上显示各目标位置的数据;或者在以推测中心位置为圆心的圆周线上显示与各目标位置相关联的检测位置的数据。
根据所述发明,在进行借助移动机构的旋转移动时,能够使各目标位置显示在以目标中心位置为圆心的圆周线上,而且,使与各目标位置相关联的检测位置显示在以推测中心位置为圆心的圆周线上。
在所述发明中,所显示的数据包含一数据,所述数据是将与所关联的目标位置的差超过阈值的检测位置以预定的形态予以显示。
根据所述发明,能够使与目标位置相关联的检测位置中的、与目标位置的差超过阈值的检测位置,以预定的形态予以显示。
在所述发明中,处理部件根据特征部分的图像,对所述特征部分从预定姿势计起的倾斜角度进行检测,所显示的数据包含一数据,所述数据是将与目标位置相关联的检测位置以表示倾斜角度的标记(mark)予以显示。
根据所述发明,能够使检测位置处的特征部分的图像,以表示从预定姿势计起的倾斜角度的标记予以显示。
在所述发明中,对象物通过移动机构而多次移动到各目标位置,与各目标位置相关联地保存在位置保存部件中的检测位置,包含从通过多次移动到所述目标位置而拍摄获取的图像数据中检测出的多个检测位置,显示数据生成部件还生成一数据,所述数据是与各目标位置相关联地显示所述目标位置的多个检测位置的统计值。
根据所述发明,能够显示从与各目标位置相关联的多个检测位置所获取的统计值。
在所述发明中,统计值至少包含多个检测位置与所关联的目标位置的差的最大值、最小值及平均值中的一个。
根据所述发明,作为从与各目标位置相关联的多个检测位置所获取的统计值,能够显示检测位置与所关联的目标位置的差的最大值、最小值及平均值中的一个。
在所述发明中,显示数据生成部件还生成一数据,所述数据是将与目标位置相关联的各多个检测位置从所述目标位置计起的差以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
根据所述发明,能够使与目标位置相关联的各多个检测位置从所述目标位置计起的差,以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
在所述发明中,显示数据生成部件生成一数据,所述数据是将跟目标位置相关联的各多个检测位置从所述目标位置计起的差,与预定的差的阈值相关联地,以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
根据所述发明,能够使跟目标位置相关联的各多个检测位置从所述目标位置计起的差,一边与预定的差的阈值相关联,一边以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
在所述发明中,显示数据生成部件还包含一部件,所述部件生成对检测出检测位置的特征部分的图像数据进行显示的数据。
根据所述发明,能够显示在检测位置所检测的特征部分的图像。
在所述发明中,显示数据生成部件还包含一部件,所述部件对目标位置和与所述目标位置相关联的检测位置进行放大显示。
根据所述发明,能够对目标位置和与所述目标位置相关联的检测位置进行放大显示。
在所述发明中,图像处理包含修正参数(parameter),所述修正参数是为了从图像数据中检测特征部分的位置而根据移动机构的移动量来修正所述图像数据,与目标位置相关联的检测位置包含应用修正参数前后的图像处理得到的各检测位置。
根据所述发明,作为与目标位置相关联的检测位置,能够显示应用修正参数之前的检测位置、和应用所述修正参数而检测出的检测位置,所述修正参数是根据移动机构的移动量来修正图像数据。
根据本发明的一例,位置检测装置包括:图像保存部件,保存图像数据,所述图像数据是在通过对设有定位用特征部分的对象物的位置进行变更的移动机构而将特征部分分别定位于多个目标位置时,拍摄对象物而获取;图像处理部件,从图像数据中,通过图像处理来检测所述图像数据中所含的特征部分的位置;位置保存部件,将由图像处理部件从被定位于各目标位置的对象物的图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;因素保存部件,保存预定的多个因素数据,所述预定的多个因素数据包含评价内容和推测因素,所述评价内容表示坐标系中的从目标位置算起的位置差的评价,所述推测因素是与所述评价内容对应,关于所述位置差进行推测所得;评价部件,对于位置保存部件中的目标位置、与相关联的检测位置之间在坐标系中的差即检测差,以预定的基准进行评价;以及显示数据生成部件,生成将与评价相关的信息显示于显示部的数据。显示数据生成部件生成一数据,所述数据是显示与表示评价部件的评价的评价内容对应的、因素保存部件的推测因素。
根据所述发明,能够对从图像数据中检测出特征部的检测位置的、与所述目标位置的位置差进行评价,并且,能够显示与此评价内容预先关联的、推测为会造成位置差的因素,所述图像数据是在通过移动机构来一边将所述对象物所具有的定位用特征部分分别定位于多个目标位置一边进行移动时,对移动到各目标位置的对象物进行拍摄而获取。
在所述发明中,因素保存部件与推测因素对应地,保存用于应对所述推测因素的应对方法,显示数据生成部件还生成一数据,所述数据是显示与推测因素对应的应对方法。
根据所述发明,能够显示所述推测因素、和用于应对此因素的应对方法。
在所述发明中,对象物通过移动机构而多次移动到各目标位置,与各目标位置相关联地保存在位置保存部件中的检测位置,包含从通过多次移动到所述目标位置而拍摄获取的图像数据中检测出的多个检测位置。
根据所述发明,作为与各目标位置相关联的检测位置,能够采用通过多次移动到所述目标位置而检测的多个检测位置。
在所述发明中,检测差包含位置保存部件中的目标位置、和与其相关联的多个检测位置各自之间的差的统计值。
根据所述发明,作为检测差,能够使用所述统计值。
在所述发明中,统计值包含多个检测位置各自之间的差的平均值、最大值、最小值及表示不均的值中的至少一个。
根据所述发明,作为检测差的统计值,能够使用多个检测位置各自之间的差的平均值、最大值、最小值及表示不均的值中的至少一个。
根据所述发明,推测因素可包含移动机构的驱动条件、图像处理的参数或拍摄条件中的至少一个。
根据所述发明,作为推测因素,能够显示移动机构的驱动条件、图像处理的参数、或拍摄条件中的至少一个。
在所述发明中,显示数据生成部件生成一数据,所述数据是将各目标位置、和与所述目标位置相关联地保存的各检测位置显示于相同的坐标空间内。
根据所述发明,能够使从图像数据中检测出的特征部的检测位置,与所述目标位置相关联地显示在相同的坐标空间内,所述图像数据是通过移动机构来一边将定位用特征部分分别定位于多个目标位置一边移动所述对象物时,对移动到各目标位置的对象物进行拍摄而获取。
根据本发明的一例,提供一种用于使计算机(computer)执行位置检测方法的程序。位置检测方法包括下述步骤:从图像数据中,通过图像处理来检测所述图像数据中所含的特征部分的位置,所述图像数据是在通过对设有定位用的特征部分的对象物的位置进行变更的移动机构而将特征部分分别定位于多个目标位置时,拍摄对象物而获取;将通过图像处理而从被定位于各目标位置的对象物的图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;以及生成将与检测位置相关的信息显示于显示部的数据,在生成显示数据的步骤中,生成一数据,所述数据是将各目标位置、和与所述目标位置相关联地保存的各检测位置显示在相同的坐标空间内。
根据所述发明,当执行所述程序时,能够将从图像数据中检测出的特征部的检测位置与所述目标位置相关联地显示在相同的坐标空间内,所述图像数据是在通过移动机构来一边将定位用特征部分分别定位于多个目标位置,一边移动所述对象物时,对移动到各目标位置的对象物进行拍摄而获取。
根据本发明的一例,提供一种用于使计算机执行位置检测方法的程序。计算机具有因素保存部件,所述因素保存部件保存预定的多个因素数据,所述预定的多个因素数据包含评价内容和推测因素,所述评价内容表示坐标系中的从目标位置算起的位置差的评价,所述推测因素是与所述评价内容对应,关于所述位置差进行推测所得。位置检测方法包括下述步骤:从图像数据中,通过图像处理来检测所述图像数据中所含的特征部分的位置,所述图像数据是在通过对设有定位用特征部分的对象物的位置进行变更的移动机构而将特征部分分别定位于多个目标位置时,拍摄对象物而获取;将通过图像处理而从被定位于各目标位置的对象物的图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;对于所保存的目标位置、与相关联的检测位置之间在坐标系中的差即检测差,以预定的基准进行评价;以及生成将与评价相关的信息显示于显示部的数据。生成所显示的数据的步骤包含生成显示推测因素的数据的步骤。生成显示推测因素的数据的步骤中,显示因素保存部中的、与表示评价部件的评价的评价内容对应的推测因素。
[发明的效果]
根据本发明的一例,能够提供一种环境,所述环境对支持用于定位的各部调整的信息进行提示。
附图说明
图1是表示本实施方式的位置检测装置100的适用场景的一例的示意图。
图2是表示本实施方式的位置控制系统1的整体结构的图。
图3是表示本实施方式的位置检测装置100的硬件结构的图。
图4是表示本实施方式的运动控制器(motion controller)400的硬件(hardware)结构的图。
图5是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图6是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图7是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图8是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图9是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图10是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图11是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图12是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。
图13是用于将本实施方式的校准处理,关联于运用时的定位处理而进行说明的流程图。
图14是将图13的校准处理关联于其他处理进行说明的流程图。
图15A、图15B、图15C及图15D是表示本实施方式的位置关联画面的一例的图。
图16是表示本实施方式的位置关联画面的一例的图。
图17是表示本实施方式的位置关联画面的一例的图。
图18是表示显示本实施方式的采样位置的不均的、位置关联画面的一例的图。
图19是表示显示本实施方式的采样位置的不均的、位置关联画面的一例的图。
图20是表示显示本实施方式的畸变修正效果的、位置关联画面的一例的图。
图21是表示本实施方式中基于直线移动的采样的位置关联画面的一例的图。
图22是表示本实施方式中基于旋转移动的采样的位置关联画面的一例的图。
图23是表示本实施方式中基于旋转移动的采样的位置关联画面的另一例的图。
图24是表示本实施方式中基于旋转移动的采样的位置关联画面的另一例的图。
图25是表示本实施方式中基于旋转移动的采样的位置关联画面的另一例的图。
图26是表示本实施方式的因素数据Ri的示例的图。
图27是表示本实施方式的因素数据Ri的示例的图。
图28是表示本实施方式的因素数据Ri的示例的图。
图29是表示本实施方式的因素数据Ri的示例的图。
图30是表示本实施方式的因素数据Ri的示例的图。
图31是表示本实施方式的因素数据Ri的示例的图。
图32是例示本发明的实施方式的校准时所显示的接口(User Interface,UI)画面的图。
图33是例示本发明的实施方式的校准时所显示的UI画面的图。
图34是例示本发明的实施方式的校准时所显示的UI画面的图。
图35是例示本发明的实施方式的校准时所显示的UI画面的图。
[符号的说明]
1:位置控制系统
2:载台
4:工件
10:图像数据
14:标记
20:采样位置
21:目标位置
22:特征图像
30:位置数据
35:基准数据
40:图像获取部
50:图像处理部
60:图像保存部
70:评价部
80:位置保存部
85:显示数据生成部
90:因素保存部
95:指令部
96:控制指令
100:位置检测装置
104:摄像机
110、214:处理器
112:RAM
114:显示控制器
116:系统控制器
118:I/O控制器
120:硬盘
121:参数表
122:摄像机接口
122a:图像缓冲器
124:输入接口
126:运动控制器接口
128、228:通信接口
130、222:存储卡接口
132:显示部
134:键盘
136、224:存储卡
138:鼠标
150:控制程序
180、200、270、320、360:选项卡
181、182、201、202、203、241:采样数据表
183、191、192、204、205、243、273、294、323:显示区域
183A、284、304、333:放大显示区域
206:当前的设定模式
207、208:线段
210:主控制单元
212:芯片组
216:非易失性存储器
218:主存储器
220:系统时钟
226:内部总线
230:内部总线控制器
232:DMA控制电路
236:缓冲存储器
240、244:伺服单元
242:采样数据表、伺服单元
250、252:伺服驱动器
253:图像显示区域
254:放大显示区域、伺服驱动器
255、256、TM:标记
295、296:圆周线
300、310、312、314:伺服马达
334:特征的显示区域
361:显示窗口
362:按钮
363、391:散布图
371:时间序列图表
400:运动控制器
411:测量值图表
C:推测旋转中心
CT:目标旋转中心
R1~R13、Ri:因素数据
RA:评价内容
RB:推测因素
RC:应对方法
RC1:具体的信息
T1、T2、T3、T5、S1~S17:步骤
θ1、θ2:角度
具体实施方式
参照附图来详细说明本发明的实施方式。另外,对于附图中的相同或相当的部分,标注相同的符号并不再重复其说明。
<A.适用例>
首先,参照图1来说明适用本发明的场景的一例。图1是表示本实施方式的位置检测装置100的适用场景的一例的示意图。本实施方式的位置检测装置100例如要实施校准。校准例如是在为了对准(alignment)而实际运用位置检测装置100时实施。
在校准时,对通过移动机构(例如后述的伺服马达(servo motor)300等)而移动的任意对象物的位置进行检测。位置检测装置100例如可装入视觉传感器中。移动机构例如可包含后述的伺服马达300等各种致动器(actuator)。对象物例如可包含在实际运用时可成为使用借助视觉传感器的图像处理的检查对象的工件等。
如图1所示,位置检测装置100具备图像保存部60、图像处理部50、位置保存部80及显示数据生成部85,所述图像保存部60保存图像数据10,所述图像数据10是在通过对设有定位用特征部分(例如后述的标记14等)的对象物的位置进行变更的移动机构而将特征部分分别定位于多个目标位置21时,拍摄对象物而获取。所述定位用特征部分更典型的是校准的靶标记(target mark),也可使用校准专用的靶标记等。或者,也可使用定位运用时的特征部分。
图像处理部50从所拍摄的图像数据10中,通过图像处理来检测所述图像数据10中所含的特征部分的位置。位置保存部80将通过所述图像处理而从定位于各目标位置21的对象物的图像数据10中检测出的检测位置(即采样(sampling)位置20),与所述目标位置21相关联地予以保存。显示数据生成部85生成一数据,所述数据是将各目标位置21、和与所述目标位置21相关联地保存的各检测位置(采样位置20)在显示部上显示于相同的坐标空间内。显示部上的所述坐标空间例如可包含:含有XY轴的多维轴的二维坐标空间、或者含有X轴(Y轴)的一维轴的坐标空间。
而且,指令部95针对移动机构(例如伺服马达300等),使用多个目标位置21来给予控制指令96,由此来控制移动机构,以将对象物的特征部分分别定位于目标位置21。控制指令96例如可对应于对伺服马达300的控制命令(例如驱动脉冲(pulse)等)。与控制指令96的输出同步地,图像获取部40经由后述的图像缓冲器(buffer)122a来获取从摄像机104拍摄的图像数据10。由此,位置检测装置100每当移动到各目标位置21时,能够获取由摄像机104所拍摄的图像数据10。
在本实施方式的位置检测装置100中,可获取目标位置21与特征部的检测位置,并将它们相关联地显示在相同的坐标空间内,所述特征部的检测位置是在通过移动机构来移动对象物以使特征部定位于所述目标位置时所检测出。由此,能够对用户提示各目标位置21、与被移动而定位于此的特征部的通过图像处理获得的检测位置(采样位置20)的相对位置关系。位置关系可能包含检测位置从目标位置21计起的误差。因此,位置检测装置100例如可在用户对移动机构或图像处理的设定或拍摄条件(照明、拍摄的姿势(角度(angle))等)等进行调整时,将所提示的位置关系提供作为支持所述调整的信息。
而且,在本实施方式的位置检测装置100中,具备:因素保存部90,保存预定的多个因素数据Ri(i=1、2、3、…),所述预定的多个因素数据Ri包含评价内容RA与推测因素RB,所述评价内容RA表示坐标系中的从目标位置21计起的差即位置差的评价,所述推测因素RB是与所述评价内容对应,关于所述位置差进行推测所得;以及评价部70,对于位置保存部80中的目标位置21与相关联的检测位置之间在所述坐标系中的差,以预定的基准(与基准数据35对应)来进行评价。本实施方式中,所述坐标系例如是使用函数(仿射变换(affinetransform)、畸变修正等)来对拍摄的摄像机坐标系(单位:pix(像素(pixel)))进行转换所得的实际坐标系(单位:mm)。而且,本实施方式中,例如移动机构的移动量(单位:mm)可用实际坐标系中的移动量来表达。显示数据生成部85生成一数据,所述数据是将与表示评价部70的评价的评价内容RA对应的、因素保存部90的推测因素RB显示于显示部。
本实施方式中,图像保存部60、位置保存部80及因素保存部90例如相当于后述的图3的随机存取存储器(Random Access Memory,RAM)112等存储区域,但并不限定于RAM112。
本实施方式的位置检测装置100中,可将从目标位置21计起的检测位置(采样位置20)的差作为检测误差而以预定的基准来进行评价。评价结果可作为推测为引起所述误差的因素而显示于显示部。本实施方式中,所推测的因素可包含移动机构的驱动条件、图像处理的参数或拍摄条件等。由此,位置检测装置100可将所显示的推测因素,提供作为例如支持用户对移动机构、图像处理的修正参数的设定或拍摄条件等进行调整的信息。
以下,作为本发明更具体的应用例,对本实施方式的位置检测装置100的更详细的结构及处理进行说明。
<B.位置控制系统的整体结构例>
图2是表示本实施方式的位置控制系统1的整体结构的图。参照图2,位置控制系统1在工业产品的生产线(line)等中实际运用时,使用图像处理来进行对准。所谓对准,典型的是指将工件配置于生产线的本来位置的处理等。工件4具有用于定位的特征部分。作为此种对准的一例,位置控制系统1从对配置于载台(stage)2上表面的对象物(工件4)进行拍摄所得的图像数据中,确定相当于特征部分的部分图像即特征图像,检测所确定的特征图像的位置,并基于所检测出的位置数据(本实施方式中为位置坐标)来控制载台2,由此,将工件4配置(定位)于正确的位置。
如图2所示,位置控制系统1具备位置检测装置100、运动控制器400及载台2。位置检测装置100获取摄像机104所拍摄的图像数据,对所述所获取的图像数据中所含的用于定位的标记14的位置进行检测,由此来确定工件4的特征部分的位置。摄像机104例如可包含电荷耦合器件(Charge Coupled Device,CCD)摄像机。位置检测装置100基于特定位置,向运动控制器400输出用于将工件4配置于正确位置的指令。
运动控制器400根据来自位置检测装置100的控制指令96,对载台2给予指令,从而实现对工件4的对准。
载台2只要是能够将工件4配置于正确位置的机构,则为任何自由度的机构皆可。本实施方式中,载台2能够对工件4给予例如水平方向的位移与旋转位移。
<C.位置检测装置的整体结构>
图3是表示本实施方式的位置检测装置100的硬件结构的图。如图3所示,位置检测装置100典型的是具有遵从通用计算机架构(architecture)的结构,通过处理器(processor)执行预先安装的程序,实现如后所述的各种处理。
更具体而言,位置检测装置100包含中央处理器(Central Processing Unit,CPU)或微处理器(Micro-Processing Unit,MPU)等处理器110、随机存取存储器(Random AccessMemory,RAM)112、显示控制器114、系统控制器116、输入输出(Input Output,I/O)控制器118、硬盘(hard disk)120、摄像机接口(camera interface)122、输入接口124、运动控制器接口126、通信接口128以及存储卡(memory card)接口130。所述各部是以系统控制器116为中心,彼此可数据通信地连接。
处理器110通过与系统控制器116之间交换程序(代码(code))等,并以规定顺序执行这些程序,从而实现目标运算处理。
系统控制器116经由总线(bus)而分别与处理器110、RAM 112、显示控制器114及I/O控制器118连接,与各部之间进行数据交换等,并且负责位置检测装置100整体的处理。
RAM 112典型的是动态随机存取存储器(Dynamic Random Access Memory,DRAM)等易失性存储装置,保持从硬盘120读出的程序、或由摄像机104所获取的摄像机图像(图像数据)、与图像数据关联的数据(手动输入坐标等)、及工作数据等。
显示控制器114是与显示部132连接,根据来自系统控制器116的显示数据等的内部命令,将用于显示各种信息的信号输出至显示部132。
I/O控制器118对与连接于位置检测装置100的记录介质或外部机器之间的数据交换进行控制。更具体而言,I/O控制器118是与硬盘120、摄像机接口122、输入接口124、运动控制器接口126、通信接口128及存储卡接口130连接。
硬盘120典型的是非易失性的磁存储装置,除了由处理器110所执行的算法(algorithm)等控制程序150以外,还保存各种设定值等。安装于所述硬盘120的控制程序150是在保存于存储卡136等中的状态下流通。另外,除了硬盘120以外,还可采用快闪存储器(flash memory)等半导体存储装置或者随机存取数字通用光盘(Digital VersatileDisk Random Access Memory,DVD-RAM)等光学存储装置。
摄像机接口122获取通过拍摄工件而获得的图像数据,对处理器110与摄像机104之间的数据传输进行中介。摄像机接口122包含图像缓冲器122a,所述图像缓冲器122a用于分别暂时储存来自摄像机104的图像数据。
输入接口124对处理器110与键盘(keyboard)134、鼠标(mouse)138、触控面板(touch panel)、专用控制台(console)等输入装置之间的数据传输进行中介。
运动控制器接口126对处理器110与运动控制器400之间的数据传输进行中介。
通信接口128对处理器110与未图示的其他个人计算机(personal computer)或服务器(server)装置等之间的数据传输进行中介。通信接口128典型的是包含以太网(Ethernet)(注册商标)或通用串行总线(Universal Serial Bus,USB)等。
存储卡接口130对处理器110与作为记录介质的存储卡136之间的数据传输进行中介。由位置检测装置100所执行的控制程序150等是在保存于存储卡136中的状态下流通,存储卡接口130从所述存储卡136读出控制程序。存储卡136包含安全数字(Secure Digital,SD)卡等通用的半导体存储器件、软盘(Flexible Disk)等磁记录介质、或只读光盘(Compact Disk Read Only Memory,CD-ROM)等光学记录介质等。或者,也可将经由通信接口128而从分发服务器等下载(download)的程序安装于位置检测装置100。
在利用如上所述的、具有遵从计算机架构的结构的计算机时,除了用于提供本实施方式的功能的应用(application)以外,还可安装有用于提供计算机的基本功能的操作系统(Operating System,OS)。此时,本实施方式的控制程序也可将作为OS的一部分而提供的程序模块(program module)中的所需模块,以规定的顺序和/或时机(timing)来调用,以执行处理。
进而,本实施方式的控制程序150也可编入至其他程序的一部分而提供。此时,程序自身中也不含如上所述的所组合的其他程序中所含的模块,而是与所述其他程序协同地执行处理。即,作为本实施方式的控制程序150,也可为此种编入至其他程序中的形态。
另外,也可替代性地,将通过控制程序150的执行而提供的功能的一部分或全部作为专用集成电路(Application Specific Integrated Circuit,ASIC)或现场可编程门阵列(Field-Programmable Gate Array,FPGA)等的专用的硬件电路而安装。
<D.运动控制器的整体结构>
图4是表示本实施方式的运动控制器400的硬件结构的图。如图4所示,运动控制器400包含主控制单元210以及多个伺服单元240、242、244。本实施方式的位置控制系统1中,表示了载台2具有三轴的伺服马达310、312、314的示例,运动控制器400中包含与此轴数相应的数量的伺服单元240、242、244。本实施方式中,在不特别区分伺服马达310、312、314时,总称作伺服马达300。
主控制单元210负责运动控制器400的整体控制。主控制单元210经由内部总线226而与伺服单元240、242、244连接,彼此交换数据。伺服单元240、242、244根据来自主控制单元210的内部指令等,对伺服驱动器250、252、254分别输出控制命令(典型的是驱动脉冲等)。伺服驱动器250、252、254分别驱动所连接的伺服马达310、312、314。
主控制单元210包含芯片组(chip set)212、处理器214、非易失性存储器216、主存储器218、系统时钟(system clock)220、存储卡接口222、通信接口228及内部总线控制器230。芯片组212与其他组件(component)之间经由各种总线分别结合。
处理器214及芯片组212典型的是具有遵从通用计算机架构的结构。即,处理器214对从芯片组212依照内部时钟依序供给的命令码进行解释并执行。芯片组212与所连接的各种组件之间交换内部数据,并且生成处理器214所需的命令码。系统时钟220产生预定周期的系统时钟并提供给处理器214。芯片组212具有对处理器214中的运算处理的执行结果得到的数据等进行高速缓存(cache)的功能。
主控制单元210具有非易失性存储器216及主存储器218。非易失性存储器216非易失性地保持OS、系统程序(system program)、用户程序(user program)、数据定义信息、日志(log)信息等。主存储器218为易失性的存储显示区域,保持应由处理器214来执行的各种程序,并且也被用作各种程序执行时的作业用存储器。
主控制单元210具有通信接口228及内部总线控制器230以作为通信部件。这些通信电路进行数据的发送及接收。
通信接口228与位置检测装置100之间交换数据。内部总线控制器230对经由内部总线226的数据交换进行控制。更具体而言,内部总线控制器230包含缓冲存储器236及动态存储器存取(Dynamic Memory Access,DMA)控制电路232。
存储卡接口222将相对于主控制单元210可装卸的存储卡224与芯片组212予以连接。
<E.摄像机坐标系与实际坐标系的关系>
图5~图12是说明本实施方式的摄像机坐标系与实际坐标系的关系的图。本实施方式中,进行将以图5的摄像机视野而由摄像机104所拍摄的图像数据所规定的二维坐标系即摄像机坐标系(单位:pix(像素))转换为实际坐标系的处理。
本实施方式中,实际坐标系是移动量(移动方向,距离等)根据移动机构即伺服马达300的旋转量(旋转方向、旋转角度等)发生变化的、载台2(或工件4)移动的XY二维坐标系(单位:mm)。另外,本实施方式中,实际坐标系与摄像机坐标系是由二维的坐标轴(XY轴)所规定的虚拟坐标空间,但也可为由三维以上的多维坐标轴(XYZ轴等)规定的坐标空间。本实施方式的校准中,将图像处理部50从拍摄获取的图像数据中检测对象物位置的操作称作“采样”,而且,所检测出的位置(单位:pix)也称作“采样点”。
首先,关于基于平行移动的摄像机坐标系进行说明。当在如图6那样于载台2上的基准位置配置有标记TM的状态下,通过来自主控制单元210的内部指令来驱动伺服马达310、312、314,而使载台2朝X方向平行移动预定的载台移动量(单位:mm)时,摄像机坐标系中的标记TM的位置以基准位置(X1、Y1)→位置(X2、Y2)的方式移动(参照图7)。
同样,当使载台2朝Y方向平行移动预定的载台移动量(单位:mm)时,摄像机坐标系中的标记TM以基准位置(X1、Y1)→位置(X3、Y3)的方式移动(参照图8)。由此,生成平行移动的摄像机坐标系(参照图9)。
接下来,关于图10~图11所示的基于旋转移动的摄像机坐标系进行说明。首先,当在如图10那样于载台2上的基准位置配置有标记TM的状态下,通过来自主控制单元210的内部指令来驱动伺服马达310、312、314,而使载台2在水平面内旋转移动预定的移动量(角度θ1、θ2)时,摄像机坐标系中的标记TM以基准位置(X1、Y1)→位置(XR1、YR1)→位置(XR2、YR2)的方式移动(参照图10)。
图像处理部50根据角度θ1、θ2及位置(X1、Y1)、(XR1、YR1)及(XR2、YR2)来算出摄像机坐标系中的旋转中心C的坐标。图像处理部50使摄像机坐标系的原点移动到所述旋转中心C。由此,生成将旋转中心考虑在内的图11的旋转移动的摄像机坐标系。
图12示意性地表示本实施方式的摄像机坐标系与实际坐标系的关系。当载台2(或工件4)通过移动机构来平行移动时,图像处理部50在图9的摄像机坐标系中检测标记14的位置(单位:pix),并将检测位置转换为图12的实际坐标系的位置(单位:mm)。由此,可检测出实际坐标系中的标记14的采样位置(单位:mm),并在实际坐标系中将标记14的采样位置(单位:mm)与目标位置(单位:mm)进行比较。
而且,当载台2(或工件4)通过移动机构来旋转移动时,图像处理部50在图11的摄像机坐标系中检测标记14的位置(单位:pix),并将检测位置转换为图12的实际坐标系的位置(单位:mm)。由此,可检测出实际坐标系中的标记14的采样位置(单位:mm),并在实际坐标系中将标记14的采样位置(单位:mm)与目标位置(单位:mm)进行比较。
本实施方式中,图像处理部50为了将图5~图12中说明的摄像机坐标系转换为实际坐标系,而使用将摄像机坐标系映射(即修正)为实际坐标系的预定函数,例如使用仿射变换、梯形畸变修正,镜头畸变修正等对各种畸变进行修正的函数。另外,适用于转换的修正函数并不限定于这些。
图12中例示本实施方式的参数表(parameter table)121。参数表121包含以上所述的修正函数中所用的参数。参数表121可显示于显示部132,用户可通过操作键盘134等来变更参数表121的参数值,从而切换参数的设定模式。图像处理部50按照参数的设定模式与所述函数来算出采样位置。由此,可通过变更设定模式来提高采样位置的检测精度。
<F.校准处理与运用时的处理>
图13是用于说明本实施方式的校准处理、与包含校准的运用时的定位处理的概略流程图。图14是将图13的校准处理关联于其他处理进行说明的流程图。参照图13,当实施本实施方式的校准处理(步骤T1、步骤T2)且校准完成时,进行位置控制系统1的实际运用。
而且,校准也可在实际运用的处理(步骤T3、步骤T5)中实施。沿着图13或图14的流程图的程序可包含在控制程序150中。
(F-1.校准处理)
图14中,将校准处理与关联于校准的其他处理(评价处理(步骤S9)、因素分析/输出处理(步骤S15)及调整处理(步骤S17))一同表示。图14的校准处理中,如图5所示,一边利用摄像机104来拍摄具有特征量即标记14的工件4,一边通过移动机构来使工件4的标记14分别移动到实际坐标系的预定的多个目标位置21,从而在各目标位置21处实施采样。
具体而言,当通过移动机构而移动到目标位置21时,利用摄像机104来拍摄工件4(步骤S1),图像获取部40获取拍摄得到的图像数据10,图像处理部50通过图形匹配等图像处理而从所获取的图像数据10中确定特征部分(标记14),对所确定的特征部分在摄像机坐标系中的位置进行检测,并按照所述映射函数与参数的设定模式,来将检测位置转换为实际坐标系中的采样位置20(步骤S3)。而且,位置检测装置100将采样位置20与对应的目标位置21及所确定的特征部分(标记14)的特征图像22相关联地保存到位置保存部80中,并且,将图像数据10与采样位置20相关联地保存到图像保存部60中。由此,每当工件4移动到目标位置21时,所拍摄的图像数据10、从所述图像数据10确定的特征图像22、采样位置20与对应的目标位置21彼此关联地得到保存。
位置检测装置100判定是否已进行了用于校准的预定的多个采样(步骤S5)。若判定为预定的多个采样尚未结束(步骤S5中‘收集未完成’),则位置检测装置100算出使载台2移动到下个目标位置21的移动量等控制量(步骤S13),并对运动控制器400输出包含所算出的移动量的移动指令(步骤S14)。在运动控制器400中,通过依照所述移动指令的控制命令来驱动移动机构,从而使工件4移动到下个目标位置21。随后,处理返回步骤S1,实施步骤S3以后的处理。
另一方面,位置检测装置100在判断为预定的多个采样已结束时(步骤S5中‘收集完成’),评价部70实施评价处理,即,对于与目标位置21相关联地保存在位置保存部80中的采样位置20,使用基准数据35来进行评价(步骤S9)。所述评价处理是评价校准是否妥当(适当)的处理,详细将后述。
位置检测装置100判定评价处理的评价结果是否为“妥当(可(OK))”(步骤S11)。位置检测装置100在判定为表示“妥当”时(步骤S11中为可),结束一连串的校准处理,实施以上所述的运用处理。
另一方面,位置检测装置100在判定为评价处理的评价结果并非表示妥当(可)时(步骤S11中为NG),进行因素分析与输出(步骤S15)。
具体而言,在步骤S15中,显示数据生成部85生成将保存在位置保存部80中的各采样位置20、和与所述采样位置20相关联的目标位置21显示在相同的坐标空间内的数据,并将所生成的显示数据输出至显示控制器114(步骤S7)。由此,在显示部132上输出使各采样位置20与目标位置21相关联地显示在相同的坐标空间内的画面。
而且,在步骤S15中,评价部70检索因素保存部90,确定包含与所述评价结果对应的评价内容RA的因素数据Ri。然后,将所确定的因素数据Ri输出至显示数据生成部85。显示数据生成部85从因素数据Ri生成显示数据,并将所生成的显示数据输出至显示控制器114。由此,能够将引起了不妥当校准的因素数据Ri(推测因素RB或应对)显示于显示部132。
用户对各部进行调整(步骤S17)。具体而言,在步骤S17中,能够从显示部132的显示内容,即,从各采样位置20与目标位置21在相同的坐标空间内相关联的画面(以下,也称作位置关联画面)或因素数据Ri(推测因素RB或应对方法RC),对用户提供用于支持校准调整的信息。在用户实施了调整后,可再次通过位置检测装置100来实施校准。
(F-2.运用处理)
本实施方式中,在以上所述的校准的调整完成后,进行用于位置检测装置100的对准的实际运用。具体而言,参照图13,位置检测装置100从对配置于载台2上表面的对象物(工件4)进行拍摄而获得的图像数据中,确定相当于特征部分的部分图像即特征图像,对所确定的特征图像的位置进行检测(步骤T3),并基于所检测出的位置来输出移动机构的控制指令。由此,载台2可移动而将工件4配置于(对准)正确的位置。
而且,本实施方式中,如图13所示,可使用实际的运用环境中配备的位置检测装置100来实施校准。即,位置检测装置100预先在图像保存部60中保存在各目标位置21处拍摄的一个或多个图像数据10,并在位置保存部80中保存基于从各图像数据10检测的位置数据30。实际运用时,使用图像保存部60与位置保存部80的内容,通过评价部70来实施校准的评价(妥当性的判断)。由此,即使在实际运用中实施校准,也能够节省在图像保存部60中保存图像数据10的处理及在位置保存部80中保存位置数据30的处理,即,图14的步骤S1、步骤S3、步骤S13及步骤S14的处理所耗费的工时。
<G.位置关联画面的显示例>
图15A至图15D、图16及图17是表示本实施方式的位置关联画面的一例的图。在图15A、图16及图17的相关联画面中,分别在作为XY二维空间的实际坐标系中,以不同的图标(例如+标记的图标)来表示各目标位置21、和与位置保存部80的所述目标位置21相关联的采样位置20。
而且,图15B中,在同样的实际坐标系中,在各目标位置21处,显示与位置保存部80的所述目标位置21相关联的特征图像22。
图15C的位置关联画面中,与图15A不同,在实际坐标系中的一轴(例如X轴)方向的坐标系中,以不同的图标(例如+标记的图标)来表示各目标位置21、和与位置保存部80的所述目标位置21相关联的采样位置20。而且,图15D的位置关联画面中,以数据表来相关联地表示实际坐标系中的一轴(例如X轴)方向的坐标系中的各目标位置21、和与位置保存部80的所述目标位置21相关联的多个采样位置20各自的差(误差)中的最小差与最大差。
在图15A至图15D~图17的校准的情况(case)下,评价部70在评价处理中,例如算出位置保存部80的多个采样位置20与相关联的目标位置21的差,并使用基准数据35来评价所算出的差。基准数据35例如包含差的阈值。评价部70例如在判断为满足对于所有目标位置21(算出差≦差的阈值)的条件时,输出“妥当(可)”作为评价结果,但在判断为不满足对于所有目标位置21(算出差≦差的阈值)的条件时,输出“不妥当(可)”作为评价结果。
(G-1.显示重复采样的不均精度的画面例)
图18与图19是表示显示本实施方式的采样位置的不均的、位置关联画面的一例的图。用户可通过操作画面的选项卡(tab)180,来显示表示在各目标位置21处实施的多次采样结果的、图18的位置关联画面。
图18的位置关联画面表示通过重复校准,来对各目标位置21检测多个采样位置20时的画面的一例。图18的画面包含采样数据表181、182及采样位置20的显示区域183。
采样数据表181、182例如包含采样结果的确认信息、采样结果的比较信息及信息的辨认度提高的显示形态。具体而言,采样结果的确认信息例如包含与采样位置20相关的所有数据(位置、差值等)及采样位置20的统计值(最大值、最小值、平均值、表示不均程度的标准偏差的值等)。测量结果的比较信息例如包含:用于以表形式来对目标位置21与采样位置20进行比较的信息;以及用于以表形式来对包含过去校准的采样位置20的获取数据、与包含本次校准的采样位置20的获取数据进行比较的信息。
作为信息的辨认度提高,例如在采样数据表181、182中,对于固定值以上的测量结果(采样位置20的不均值、采样位置20等),以与所述表的其他值不同的形态(例如强调显示等)来显示,而且,例如对于采样位置20的统计值,以与其他不同的形态(例如强调显示等)来显示。
而且,采样位置20的显示区域183包含用于与目标位置21相关联地确认采样位置20的信息、比较信息及辨认度提高的显示形态。例如,在二维坐标空间中,针对每个目标位置21,将相关联的多个采样位置20以散布图的形态予以显示。
借助此种比较信息,在目标位置21处,通过将目标位置21与采样位置20的标记予以重叠显示或排列显示来进行提示。而且,利用过去的校准数据与本次的校准数据的比较显示(重叠显示或排列显示)来进行提示。
而且,辨认度提高的显示形态是与采样数据表181、182同样地,对于固定阈值以上的采样位置20或其不均值,以与其他不同的形态来显示(强调显示),而且,对于采样位置20的统计值,以与其他不同的形态来显示(强调显示)。在显示区域183中,表示有以目标位置21为中心的圆状标记。所述标记的直径对应于所述的固定阈值。因此,具有与目标位置21之差小于固定阈值的不均的采样位置20标记在圆内,为固定阈值以上而零散的采样位置20标记在圆外。因此,能够通过视觉方式对用户提供采样位置20关于各目标位置21的不均程度。
图19表示图18的位置关联画面的变形例。图19的画面包含对特征图像22的显示区域192、采样结果的显示区域191及采样位置20进行放大显示的放大显示区域183A。
图像的显示区域192例如显示实际拍摄的图像数据10或特征图像22。由此,提供确认采样结果的信息。
图像的显示区域192例如显示用于比较采样结果的信息。例如,在显示区域192中,进行理想的图像数据(基准的图像数据)、过去的校准中获取的图像数据、与新图像数据的比较显示(重叠显示或排列显示),从而提供用于比较多个图像数据的信息。例如,对所检测出的图像(图像数据10或特征图像22)与理想图像进行比较显示(重叠显示或排列显示)。
显示区域192将跟与目标位置21之差为最大的采样位置20相关联的图像(图像数据10或特征图像22)、和跟所述差为最小的采样位置20相关联的图像(图像数据10或特征图像22)以可比较的形态(重叠显示或排列显示)予以显示。
而且,显示区域192将特征图像22与目标位置21的基准图像相关联地,以能够以图形(graphic)方式进行比较的形态(重叠显示或排列显示)予以显示。目标位置21的基准图像包含在基准数据35中。
采样位置20的放大显示区域183A显示与图18的显示区域183A同样的信息。
显示区域191是在坐标空间中以图表来显示采样位置20的变化。例如,将与目标位置21相关联的各采样位置20从所述目标位置21计起的差,以时间序列的形态来显示,所述时间序列遵照从所述多个采样的开始算起的相对时间经过。例如,将采样位置20或与目标位置21之差等,依照采样顺序而以时间序列来显示。或者,如图19所示,在显示区域191中,对坐标的横轴分配采样时间,而且是从第一次测量开始算起的相对时间,通过视觉方式来提示与某目标位置21相关联的采样位置20从目标位置21计起的差(参照图中的虚线)收敛到小于基准数据35所示的固定阈值(参照图中的实线)内的状况(收敛所需的时间等)。
(G-2.显示畸变修正效果的画面例)
图20是表示显示本实施方式的畸变修正效果的位置关联画面的一例的图。用户可通过操作画面的选项卡200来显示图20的画面。
图20的画面包含采样数据表201、202及203与采样位置20的显示区域204、205和通过参数表121等来设定的当前的设定模式206。本实施方式中,例如可进行采样数据表201的图形No.1~No.4的设定,图20中显示有其中的例如No.3的设定模式的数据。另外,设定模式数并不限定于所述四种模式。而且,图20的画面中显示的数据的设定模式可切换。
采样数据表201是与基于参数表121等的修正处理的设定模式分别对应地,包含X轴方向的差的最大值及最小值。采样数据表202是与采样数据表202的各设定模式对应地,包含基于所述设定模式的校准中的、与各目标位置21相关联的X轴方向的差。采样数据表203是与采样数据表202的各设定模式对应地,包含基于所述设定模式的校准中的、与各目标位置21相关联的Y轴方向的差。另外,采样数据表201~203可与各设定模式相关联地,包含例如采样位置20的所有数据(例如,与目标位置21之差、目标位置21、采样位置20等)、所述所有数据的统计值。
采样数据表201、202及203中,可显示跟修正的设定模式与修正处理后的数据(例如目标位置21与采样位置20)的比较、过去的采样位置20与最新的采样位置20的比较相关的信息。对于基于阈值设定的固定值以上的差、差的最大值或差的最小值等,以与其他数据不同的形态予以显示(例如强调显示)。
在显示区域204中,显示位置关联画面。例如,将各目标位置21和与所述目标位置21相关联的采样位置20显示于二维坐标空间内。进而,显示区域204可显示基于设定参数的修正前后的采样位置20,以作为所述采样位置20。而且,在显示区域204中,例如显示用于使各采样位置20便于确认的辅助线。
本实施方式中,辅助线例如可包含表示目标位置21与采样位置20的相对位置关系的线段207、208。例如,可包含线段207,所述线段207是将与各目标位置21相关联的采样位置20,按照借助移动机构朝向所述目标位置21的移动顺序来连结而成。或者,辅助线例如可包含线段208,所述线段208是将各目标位置21按照借助移动机构的移动顺序来连结而成。
而且,在显示区域204中,对于差为固定阈值以上的采样位置20,可用与其他不同的形态来显示(强调显示)。
而且,在显示区域204中,例如针对每个设定模式而显示位置关联画面。具体而言,本实施方式中,图像处理部50的图像处理包含修正函数(仿射变换、畸变修正等)的参数(修正参数),所述修正函数是为了从图像数据10中检测特征部分(标记14)的位置而根据移动机构的移动量来修正所述图像数据10。图像处理部50可检测应用修正函数(和/或修正参数)前后的借助图像处理的各采样位置20,以作为与目标位置21相关联的采样位置20。在显示区域204中,与目标位置21相关联的采样位置20可包含应用修正函数(和/或修正参数)前后的借助图像处理的各采样位置20。
而且,本实施方式中,图像处理部50可应用修正参数不同的设定模式来检测采样位置20。图像处理部50也可确定各设定模式中的、算出可使与目标位置21之差(或统计值)最小化的采样位置20的设定模式,对于根据所确定的设定模式而检测的采样位置20与目标位置21的位置关联画面,以与基于其他设定模式的位置关联画面不同的显示形态来显示(例如强调显示)。
显示区域205对用户从显示区域204的位置关联画面中的相关联的目标位置21与采样位置20的组中选择的组进行放大显示。通过此种放大显示,用户能够详细确认目标位置21、与所述目标位置21处的采样位置20的检测中的差的程度(例如,因设定模式不同引起的差的程度)。
(G-3.显示采样的直线性精度的画面例)
图21是表示本实施方式中基于直线移动的采样的位置关联画面的一例的图。用户可通过操作画面的选项卡240来显示图21的画面。图21的画面包含采样数据表241、242、采样位置20的显示区域243、图像显示区域253及放大显示区域254。
采样数据表241、242包含采样位置20的所有数据(例如,载台2的移动量、差(与目标位置21之差)、目标位置21、采样位置20、目标角度、检测角度等)。检测角度表示图像处理部50所获取的特征图像22的倾斜角度、且是标记14(特征部分)从预定姿势算起的倾斜角度。
而且,采样数据表241、242也可包含采样位置20的所有数据的统计值等。
采样数据表241、242中,例如可包含:基于目标位置21与采样位置20的数据比较形式的数据显示;或者基于过去校准的采样位置20的所有数据与本次校准的采样位置20的所有数据的比较形式的数据显示。
而且,采样数据表241、242对于呈固定阈值以上的差或具有所述差的采样位置20,以与其他数据不同的形态来显示(强调显示),或者对于差的最大值或最小值,以与其他数据不同的形态来显示(强调显示),或者对于具有固定阈值以上的差的、目标位置21与采样位置20的两点间距离,以与其他数据不同的形态来显示(强调显示)。
显示区域243是在二维的坐标空间内,在各目标位置21处,将所述目标位置21的标记256以预定的姿势予以显示,且使与所述目标位置21相关联的采样位置20的标记255带有以上所述的从所述预定姿势算起的倾斜角度而显示。倾斜角度对应于自图像数据10中确定的特征图像22从预定姿势算起的倾斜角度。
而且,在显示区域243中,对于目标位置21与采样位置20,使用标记来进行例如重叠显示或排列显示,从而以可比较的形态来显示。而且,在显示区域243中,对于过去校准的采样位置20的数据与本次校准的采样位置20的数据,使用标记来进行例如重叠显示或排列显示,从而以可比较的形态来显示。
而且,在显示区域243中,对于未以目标位置21中的位置、角度等来采样的采样位置20的标记14,以与其他标记不同的显示形态来显示(例如强调显示)。而且,对于差为固定阈值以上的目标位置21与采样位置20的两点间距离,以与其他距离不同的显示形态来显示(例如强调显示)。而且,在显示区域243中,可显示用于使各采样位置20便于确认的辅助线(例如显示区域243的虚线)。
图像显示区域253显示采样图像(实际拍摄的特征图像22或图像数据10)或者目标图像(成为基准的特征图像或图像数据)。此时,对于采样图像与目标图像,可用可比较的形态来显示(重叠显示或排列显示)。而且,在图像显示区域253中,对于过去校准的采样图像与本次校准的采样图像,可用可比较的形态来显示(重叠显示或排列显示)。而且,图像与图形(采样位置20的显示、放大显示)可用可比较的形态来显示(重叠显示或排列显示)。
放大显示区域254利用标记来对目标位置21和与所述目标位置21相关联的采样位置20进行放大显示。此时,两者的标记可用可比较的形态来显示(重叠显示或排列显示)。放大显示的对象可包含过去校准的采样位置20与本次校准的采样位置20。而且,在放大显示中,未以目标位置21或目标角度等来采样的标记是以与其他距离不同的显示形态来显示(例如强调显示)。
(G-4.显示旋转移动时的采样精度的画面例)
图22是表示本实施方式中基于旋转移动的采样的位置关联画面的一例的图。用户可通过操作画面的选项卡270来显示图22的画面。图22的画面包含与图18同样的采样数据表181、182以及采样位置20的显示区域273。在显示区域273中,采样位置20的显示(与目标位置21相关联的采样位置20的显示)可切换为移动机构受到旋转驱动时的旋转采样的图形显示。
图23是表示本实施方式中基于旋转移动的采样的位置关联画面的另一例的图。图23的显示画面为图22的画面的变形例。
图23的画面包含采样数据表181、182以及与图19同样的特征图像22的显示区域192、采样结果的显示区域191及采样位置20的放大显示区域284。放大显示区域284显示与图22的显示区域273同样的信息。
(G-5.显示旋转移动时的修正效果的画面例)
图24是表示本实施方式中基于旋转移动的采样的位置关联画面的另一例的图。用户可通过操作画面的选项卡200来显示图24的画面。图24的画面包含与图20同样的采样数据表201、202及203与通过参数表121等而设定的当前的设定模式206。进而,图24的画面包含采样位置20的显示区域294及采样位置20的放大显示区域304。图24表示即便通过当前的设定模式206也未正确推测载台2的旋转中心C的情况。
在显示区域294中,以可区分的形态来显示(例如显示色或线型变更显示)载台2旋转时的根据采样位置20推测出的旋转中心C与通过参数表121而设定的目标旋转中心CT,并且显示差。在显示区域294中,包含:将各目标位置21显示于以目标中心位置(目标旋转中心CT)为圆心的圆周线296上的数据;或者将与各目标位置21相关联的采样位置20显示于以推测中心位置(即推测出的旋转中心C)为圆心的圆周线295上的数据。在显示区域294中,以可区分的形态(例如变更显示色或线型)来显示推测旋转中心C及目标旋转中心CT。而且,在显示区域294中,通过可区分的形态(例如变更显示色或线型)来显示圆周线295与圆周线296,所述圆周线295是将伴随以推测旋转中心C为圆心的旋转移动而采样的采样位置20连结而成,所述圆周线296是将以目标旋转中心C为圆心的目标位置21连结而成。
而且,在放大显示区域304中,对旋转移动的采样位置20进行放大显示。例如,以可区分的形态来显示(例如显示色或线型变更显示)表示目标位置21的标记、和表示与所述目标位置21相关联的采样位置20的标记。
(G-6.显示旋转移动时的修正效果的画面的另一例)
图25是表示本实施方式中基于旋转移动的采样的位置关联画面的另一例的图。用户可通过操作画面的选项卡320来显示图25的画面。图25的画面包含与图21同样的采样数据表241、242及采样位置20的显示区域323、采样位置20的放大显示区域333及特征的显示区域334。
图25中,采样数据表241、242可进而包含采样位置20的所有数据(例如包含采样位置20、目标位置21、所推测出的旋转中心C的位置)。
在显示区域323中,例如利用标记来显示所推测出的旋转中心C与目标中心CT的位置,并且显示作为目标的采样圆周线。在放大显示区域333及特征的显示区域334中,可分别显示与图21的放大显示区域254及图像显示区域253同样的信息。
用户可从图23的画面提供支持信息,所述支持信息用于判断图像数据10中已完成校准的部分为一部分、载台2的旋转中心C的推测不适当、采样结果所表示的特征部分的检测姿势(倾斜角度)不适当(载台2的旋转中心C的推测不适当)、采样间隔并非等间隔、及未以目标位置21进行采样。
<H.校准的评价>
对图14的步骤S9的评价部70的评价处理进行说明。本实施方式中,评价部70主要是对于目标位置21与跟所述目标位置21相关联的采样位置20之差,使用基准数据35所示的阈值和预定的评价条件来进行比较,由此来评价采样位置20。而且,评价部70基于通过评价处理获得的评价来检索因素保存部90,通过检索,从因素保存部90读出与表示所述评价的评价内容RA相关联的因素数据Ri。
图26~图31是表示本实施方式的因素数据Ri的示例的图。一边参照图26~图31,一边说明评价处理与因素数据Ri。
(H-1.使用特征图像22的采样位置20的评价)
评价部70算出各目标位置21、与跟所述目标位置21相关联的采样位置20之差(也称作检测差),而且,对与所述采样位置20相关联的特征图像22和标记14的基准图像进行比对。另外,基准数据35具有标记14的基准图像。评价部70在检测到与各目标位置21相关联的采样位置20中的、满足预定条件((检测差≧基准数据35的固定阈值)及(特征图像22的比对不一致)的采样位置20时,评价为“存在目标位置与采样位置不一致的点”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R1(图26)。
通过显示因素数据R1,用户能够确认校准“不妥当”,并且能够获取推测因素RB(例如不一致的点,误检测到靶标记外的背景部分)、及用于应对所述因素的应对方法RC(对搜索(search)的设定(模型(model)图像或设定参数等)进行调整)的信息。
此时,例如也可显示图15A与图15B的画面。用户能够从图15A的位置关联画面确认:在摄像机视野右上端的目标位置21处采样失败。而且,能够从图15B的画面判断出这是因为,在所述目标位置21处,通过图像处理确定的是背景图像而非特征图像22。
而且,作为位置关联画面,也可显示图18或图19所示的位置关联画面。
(H-2.对采样位置20的差的倾向进行评价)
评价部70算出各目标位置21、和与所述目标位置21相关联的采样位置20的检测差,对于满足预定条件(检测差≧基准数据35的固定阈值)的采样位置20,当检测出所述检测差处于在X方向或Y方向上出现的倾向时,例如评价为“采样位置的偏移量在X方向上逐次增加固定量”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R2(图26)。
通过显示因素数据R2,用户能够确认校准“不妥当”,并且能够获取推测因素RB(例如,移动机构的驱动条件(例如,载台的移动量不适当))、及用于应对所述因素的应对方法RC(例如,确认载台的控制)的信息。
此时,例如可显示图16的位置关联画面。用户能够从图16的画面确认下述倾向:在摄像机视野中,从目标位置21朝X方向产生差。而且,作为位置关联画面,也可显示图18或图19所示的位置关联画面。
(H-3.对与图像端部的目标位置21的差进行评价)
评价部70算出各目标位置21、和与所述目标位置21相关联的采样位置20的检测差,当判断为在图像的端部检测出满足预定条件(检测差≧基准数据35的固定阈值)的采样位置20时,评价为“在图像端部存在目标位置与采样位置不一致的点”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R3(图26)。
通过显示因素数据R3,用户能够确认校准“不妥当”,并且能够获取推测因素RB(例如,拍摄的条件(例如,摄像机镜头畸变的影响))、及用于应对所述因素的应对方法RC(例如,变更为视野不会发生畸变的镜头)的信息。
此时,例如也可显示图17的画面。用户能够从图17的位置关联画面确认:在摄像机视野(图像)端部的目标位置21处采样失败。而且,作为位置关联画面,亦可显示图29所示的位置关联画面。
(H-4.对与目标位置21的差的不均进行评价)
评价部70算出各目标位置21、和与所述目标位置21相关联的采样位置20的检测差,当判断为满足预定条件(检测差的不均值≧基准数据35的固定阈值)时,评价为“采样的不均大”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R4(图27)。另外,不均值是表示不均大小的值,例如评价部70可根据检测差的标准偏差来算出不均值。
通过显示因素数据R4,用户能够确认校准“不妥当”,并且能够获取因素数据R4所表示的推测因素RB、及用于应对所述因素的应对方法RC的信息。
此时,例如也可显示图18与图19的画面。用户能够从图18与图19的位置关联画面中确认不均值。
(H-5.对修正处理前后的与目标位置21的差进行评价)
本实施方式中,可一边对将摄像机坐标系映射为实际坐标系的函数的参数设定模式进行变更,一边实施校准。因此,评价部70能够对变更为新的设定模式而实施校准时的目标位置21和采样位置20的检测差、与以变更前的设定模式实施校准时的目标位置21的检测差进行比较。
具体而言,评价部70在判断为满足预定条件(设定模式变更后的检测差≧变更前的检测差)时,评价为“即便进行修正处理的设定,采样误差仍大”。评价部70从因素保存部90中读出与所述评价(评价内容RA)相关联的因素数据R5(图27)。
通过显示因素数据R5,用户能够确认校准“不妥当”,并且能够获取因素数据R5所表示的推测因素RB(例如,图像处理的设定不适当)、及用于应对所述因素的应对方法RC(确认并调整图像修正处理的设定)的信息。
此时,例如也可显示图20的位置关联画面。用户能够从图20的位置关联画面中确认变更设定模式前后的期间的目标位置21与采样位置20之差的变化。
(H-6.以角度来评价与目标位置21的差)
评价部70通过对特征图像22与基准数据35所具有的基准图像进行比对,从而检测与采样位置20相关联的特征图像22的倾斜,当判断为所检测出的倾斜满足预定条件(倾斜的大小≧基准数据35的固定阈值)时,评价为“采样的姿势(角度)未固定”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R6(图28)。
通过显示因素数据R6,用户能够确认校准“不妥当”,并且能够获取因素数据R6所表示的推测因素RB(例如图像处理的参数(例如对旋转的对象物进行检测的设定不适当(对象未旋转,但却设为对旋转对象进行检测的设定等))、及应对方法RC(对与旋转对象的检测相关的搜索的设定进行调整)的信息。此时,作为位置关联画面,可显示图21的画面。用户能够从图21的位置关联画面具体确认倾斜的大小程度。
(H-7.根据与目标位置21的差来评价校准范围)
评价部70基于在位置保存部80中是否与各目标位置21相关联地保存有采样位置20,来评价是否在各目标位置21处实施了采样。当判断为未保存时,评价为“仅图像的一部分尚未校准”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R7(图28)。
通过显示因素数据R7,用户能够确认校准“不妥当”,并且能够将因素数据R7所表示的推测因素RB(例如,图像处理的参数(例如校准(采样)范围的设定不适当、过窄))、及用于应对所述因素的应对方法RC(例如,重新进行校准范围的设定,调整设定)的信息,与应对方法的具体信息RC1一同获取。
(H-8.对旋转移动时的与目标位置21的差的不均进行评价)
评价部70在旋转移动时算出各目标位置21、和与所述目标位置21相关联的采样位置20的检测差,当判断为满足预定条件(检测差的不均值≧基准数据35的固定阈值)时,评价为“采样的不均大(未能正确进行载台旋转中止的推测)”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R8(图29)。
通过显示因素数据R8,用户能够确认校准“不妥当”,并且能够获取因素数据R8所表示的推测因素RB、及用于应对所述因素的应对方法RC的信息。
此时,例如也可显示图22与图23的位置关联画面。用户能够从图22与图23的位置关联画面确认不均的程度。
(H-9.对旋转移动时的修正处理前后的与目标位置21的差进行评价)
评价部70在旋转移动时判断为满足预定条件(设定模式变更后的差≧变更前的差)时,评价为“即便进行修正处理的设定,采样的误差仍大”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R9(图29)。
通过显示因素数据R9,用户能够确认校准“不妥当”,并且能够获取因素数据R9所表示的推测因素RB(例如,图像修正处理的设定不适当)、及用于应对所述因素的应对方法RC(确认并调整图像修正处理的设定)的信息。
此时,例如也可显示图24的位置关联画面。用户能够从图24的位置关联画面中确认变更设定模式前后的期间的目标位置21与采样位置20的差的变化。
(H-10.在旋转移动时根据与目标位置21的差来评价校准范围)
评价部70在旋转移动时基于在位置保存部80中是否与各目标位置21相关联地保存有采样位置20,来评价是否在各目标位置21处实施了采样。当判断为未保存时,评价为“仅图像的一部分尚未校准(未正确进行载台旋转中心的推测)”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R10(图30)。
通过显示因素数据R10,用户能够确认校准“不妥当”,并且能够将因素数据R10所表示的推测因素RB(移动机构的驱动条件或图像处理的参数设定(例如,采样角度范围的设定值不适当))、及用于应对所述因素的应对方法RC(例如,确认角度范围的设定值是否妥当(尤其是角度范围有否过小),并调整设定))的信息,与应对方法的具体信息RC1一同获取。此时,作为位置关联画面,可显示图25的画面。
(H-11.以角度来评价旋转移动时的与目标位置21的差)
评价部70在旋转移动时通过对特征图像22与基准数据35所具有的基准图像进行比对,从而检测与采样位置20相关联的特征图像22的倾斜,当判断为所检测出的倾斜满足预定条件(倾斜的大小≧基准数据35的固定阈值)时,评价为“采样结果的姿势(角度)不适当(载台旋转中心的推测不适当)”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R11(图30)。
通过显示因素数据R11,用户能够确认校准“不妥当”,并且能够将因素数据R11所表示的推测因素RB(例如,对旋转的对象物进行检测的设定不适当)、及应对方法RC(例如,对与旋转对象的检测相关的搜索的设定进行调整)的信息,与应对方法的具体信息RC1一同获取。
当输出因素数据R10或R11时,作为位置关联画面,可显示图25的画面。用户能够从图25的位置关联画面中,在视觉上确认所推测的载台旋转中心及其误差。
(H-12.对采样的间隔进行评价)
本实施方式中,当等间隔地设定有目标位置21时,推测采样也是等间隔地实施。
关于此点,评价部70算出采样位置20彼此的间隔和间隔的不均,当满足预定条件(不均的大小≧基准数据35的固定阈值)时,评价为“采样的间隔并非等间隔(直线性)”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R12(图31)。
通过显示因素数据R12,用户能够确认校准“不妥当”,并且能够将因素数据R12所表示的推测因素RB(例如,拍摄的条件(例如,摄像机相对于校准对象未垂直设置))、及应对方法RC(例如,确认并调整摄像机的设置角度)的信息,与应对方法的具体信息RC1一同获取。用户能够从所显示的因素数据R12中,获取用于对摄像机104的安装姿势进行调整的支持信息。
当输出因素数据R12时,作为位置关联画面,在直线移动的情况下可显示图21的位置关联画面,在旋转移动的情况下可显示图25的位置关联画面。用户能够从图21或图25的位置关联画面中,在视觉上确认采样位置20的间隔不均。
(H-13.根据与目标位置21的差来评价采样位置)
评价部70对于各目标位置21,算出与相关联的采样位置20的差,当判断为所算出的差的统计值满足预定条件(统计值≧基准数据35的固定阈值)时,评价为“未在理想的采样位置进行测量(直线性)”。评价部70从因素保存部90读出与所述评价(评价内容RA)相关联的因素数据R13(图31)。
通过显示因素数据R13,用户能够确认校准“不妥当”,并且能够获取因素数据R13所表示的推测因素RB、及应对方法RC的信息。因素数据R13表示推测因素RB例如在于载台的移动机构这一推测,作为应对方法RC,例如表示实施与载台精度相关的调查的信息。
当输出因素数据R13时,作为位置关联画面,在直线移动的情况下可显示图21的位置关联画面,在旋转移动的情况下可显示图25的位置关联画面。用户能够从图21或图25的位置关联画面中,在视觉上确认各采样位置20距离目标位置21的差。
<I.用户接口(User Interface,UI)画面的例示>
图32~图35是例示本发明的实施方式的校准时所显示的用户接口(UserInterface,UI)画面的图。首先,图32与图33是表示在各目标位置21处实施的多次采样的结果的画面,通过点击(click)选项卡360,显示图32与图33的画面。
图32中,例如显示有在位置No.为“3”处确定的目标位置21的信息。具体而言,通过在位置No.“3”的目标位置21处实施的多次采样而获得的多个采样位置20的值以散布图363所示,并且表示有与位置No.“3”的目标位置21相关联的特征图像22的图像。用户能够从散布图363中判断目标位置21与采样位置20的差的程度。而且,当用户操作按钮(button)362时,显示窗口(window)361,输出基于评价部70的评价的因素数据Ri。在窗口361中,例如显示下述信息:根据散布图363,由于差的不均大,因此作为推测因素RB,推测为装置的振动,作为应对方法RC,延长载台2的移动完成后直至采样开始为止的等待时间。
图33中,取代图32的散布图363而显示时间序列图表371。时间序列图表371是将与目标位置21相关联的各采样位置20的与所述目标位置21的差,以时间序列的形态予以显示,所述时间序列依照从所述多个采样位置20的检测开始算起的相对时间经过。根据时间序列图表371,例如表示了与在位置No.“3”处指定的目标位置21相关联的多个采样位置20的值的随着时间经过的变化。根据图33的时间序列图表371,例如表示了:以基准数据35所示的差的固定阈值(实线)为基准,位置No.“3”的目标位置21处的采样位置20(虚线)从校准开始(多个采样位置20的检测开始),在相对较早的时期内收敛在妥当的值内。由此,用户能够确认在采样时装置的振动未造成影响。
接下来,图34与图35表示用于确认摄像机104已以适当的拍摄条件而设置、或者移动机构的驱动条件为适当的UI画面。
参照图34,根据散布图391,与各目标位置21相关联地表示了与所述目标位置21相关联的采样位置20的不均。而且,图35中表示了测量值图表411。测量值图表411中,表示了各目标位置21与所关联的采样位置20的差的、随着从多个采样位置20的检测开始算起的相对时间经过的变化。用户能够从散布图391或测量值图表411中确认各目标位置21处的所述目标位置21与采样位置20的差的程度、或差的时间序列变化。由此,能够判断拍摄条件或移动机构的动作是否适当。
<K.变形例>
所述实施方式例如也可如以下那样变形。例如,关于文件输出功能,能够将在校准中收集的数据(例如图像数据10、位置数据30、评价部70的各种统计信息、显示数据等)作为文件输出到外部机器。
而且,关于文件读取功能,能够通过在外部的控制器中读取所述输出的文件,从而在控制器中再现数据显示。
而且,可从进行数据显示的画面,启动进行数据生成的单元(例如,进行采样执行的搜索单元或生成校准数据的图像主校准)的设定画面,并从启动的画面来进行设定模式等的变更。而且,能够以经变更的设定模式来实施校准,并确认新的结果。而且,可从启动的画面更新除了所述设定模式以外的其他校准参数。若新的设定模式或校准参数的校准结果未呈现出理想的数据,则也能够恢复为以前的数据。
而且,本实施方式中,即使在图像数据10表示三维图像数据的情况下,也能够实施与所述同等的校准。而且,对于所述三维图像数据,由单个摄像机(例如三维(Three-Dimensional,3D)摄像机)所拍摄的图像数据、或由多个摄像机拍摄的图像数据而来的合成图像数据皆可适用。
而且,在借助位置检测装置100的校准中,既可一边使位置检测装置100运转,一边收集校准结果(例如,位置关联画面或评价部70的评价结果等),并显示于显示部132,也可不使位置检测装置100运转而显示校准结果。例如,也可将一边移动到各目标位置21一边拍摄的图像数据10储存到图像保存部60中,随后,对于与图像保存部60的各目标位置21相关联的图像数据10,实施检测采样位置20的图像处理、评价处理及显示数据的输出。
<L.附注>
如上所述的本实施方式包含以下的技术思想。
[结构1]
一种位置检测装置,其包括:图像保存部60,保存图像数据10,所述图像数据10是在通过对设有定位用特征部分14的对象物4的位置进行变更的移动机构300而将所述特征部分分别定位于多个目标位置21时,拍摄对象物而获取;图像处理部50,从图像数据中,通过图像处理来检测所述图像数据中所含的所述特征部分的位置;位置保存部80,将由图像处理部从被定位于各目标位置的对象物的图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;以及显示数据生成部85,生成将与检测位置相关的信息显示于显示部132的数据,显示数据生成部生成一数据,所述数据是将各目标位置、和与所述目标位置相关联地保存的各所述检测位置显示在相同的坐标空间内(图15A至图15D、图16、图17)。
[结构2]
根据结构1所述的位置检测装置,其中,
所述对象物通过所述移动机构而多次移动到各所述目标位置,
与各所述目标位置相关联地保存在所述位置保存部件中的所述检测位置,包含从通过多次移动到所述目标位置而拍摄获取的所述图像数据中检测出的多个检测位置。
[结构3]
根据结构2所述的位置检测装置,其中,
所述坐标空间具有多维坐标轴,
所述显示数据生成部件生成一数据,所述数据是在所述多维坐标轴中的至少一个坐标轴(X轴或Y轴)上显示所述目标位置、和与所述目标位置相关联的所述检测位置。
[结构4]
根据结构2或3所述的位置检测装置,其中,
所述所显示的数据包含一数据,所述数据是针对每个所述目标位置而将相关联的所述多个检测位置以散布图183的形态显示于所述坐标空间内。
[结构5]
根据结构3或4所述的位置检测装置,其中,
所述所显示的数据包含数据191,所述数据191是针对每个所述目标位置而将相关联的所述多个检测位置以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
[结构6]
根据结构1至5中任一结构所述的位置检测装置,其中,
所述所显示的数据包含显示线段207、208的数据,所述线段207、208用于表示各所述目标位置、和与所述目标位置相关联的所述检测位置的相对位置关系。
[结构7]
根据结构1至6中任一结构所述的位置检测装置,其中,
所述表示相对位置关系的线段包含:对将与各所述目标位置相关联的所述检测位置按照借助所述移动机构朝向所述目标位置的移动顺序来予以连结的线段207进行显示的数据;或者对将各所述目标位置按照借助所述移动机构的移动顺序来予以连结的线段208进行显示的数据。
[结构8]
根据结构1至7中任一结构所述的位置检测装置,其中,
所述移动包含以预定的目标中心位置CT为圆心而旋转的旋转移动,
所述目标位置包含所述目标中心位置,
所述检测位置包含根据与各所述目标位置相关联的各所述检测位置而推测出的所述旋转的推测中心位置C。
[结构9]
根据结构8所述的位置检测装置,其中,
所述所显示的数据进而包含:在以所述目标中心位置为圆心的圆周线296上显示各所述目标位置的数据;或者在以所述推测中心位置为圆心的圆周线295上显示与各所述目标位置相关联的所述检测位置的数据。
[结构10]
根据结构1至9中任一结构所述的位置检测装置,其中,
所述所显示的数据包含一数据,所述数据是将与所关联的所述目标位置的差超过阈值的所述检测位置以预定的形态予以显示。
[结构11]
根据结构1至9中任一结构所述的位置检测装置,其中,
所述图像处理部件根据所述特征部分的图像,对所述特征部分从预定姿势计起的倾斜角度进行检测,
所述所显示的数据包含一数据,所述数据是将与所述目标位置相关联的所述检测位置以表示所述倾斜角度的标记255予以显示。
[结构12]
根据结构1至11中任一结构所述的位置检测装置,其中,
所述对象物通过所述移动机构而多次移动到各所述目标位置,
与各所述目标位置相关联地保存在所述位置保存部件中的所述检测位置,包含从通过多次移动到所述目标位置而拍摄获取的所述图像数据中检测出的多个检测位置,
所述显示数据生成部件还生成一数据,所述数据是与各所述目标位置相关联地显示所述目标位置的所述多个检测位置的统计值。
[结构13]
根据结构12所述的位置检测装置,其中,
所述统计值至少包含所述多个检测位置与所关联的所述目标位置的差的最大值、最小值及平均值中的一个。
[结构14]
根据结构12或13所述的位置检测装置,其中,
所述显示数据生成部件还生成数据191,所述数据191是将与所述目标位置相关联的各所述多个检测位置从所述目标位置计起的差以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
[结构15]
根据结构12至14中任一结构所述的位置检测装置,其中,
所述显示数据生成部件生成数据191,所述数据191是将跟所述目标位置相关联的各所述多个检测位置从所述目标位置计起的差,与预定的差的阈值相关联地,以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
[结构16]
根据结构1至15中任一结构所述的位置检测装置,其中,
所述显示数据生成部件还包含一部件,所述部件生成对检测出所述检测位置的所述特征部分的图像数据进行显示的数据192。
[结构17]
根据结构1至16中任一结构所述的位置检测装置,其中,
所述显示数据生成部件还包含部件205,所述部件205对所述目标位置和与所述目标位置相关联的所述检测位置进行放大显示。
[结构18]
根据结构1至17中任一结构所述的位置检测装置,其中,
所述图像处理包含修正参数,所述修正参数是为了从所述图像数据中检测所述特征部分的位置而根据所述移动机构的移动量来修正所述图像数据,
与所述目标位置相关联的所述检测位置包含应用所述修正参数前后的图像处理得到的各检测位置。
[结构19]
一种位置检测装置,其包括:
图像保存部件60,保存图像数据10,所述图像数据10是在通过对设有定位用特征部分的对象物4的位置进行变更的移动机构300而将所述特征部分14分别定位于多个目标位置时,拍摄所述对象物而获取;
图像处理部件50,从所述图像数据中,通过图像处理来检测所述图像数据中所含的所述特征部分的位置;
位置保存部件80,将由所述图像处理部件从被定位于各所述目标位置的所述对象物的所述图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;
因素保存部件90,保存预定的多个因素数据Ri,所述预定的多个因素数据Ri包含评价内容RA和推测因素RB,所述评价内容RA表示坐标系中的从所述目标位置算起的位置差的评价,所述推测因素RB是与所述评价内容对应,关于所述位置差进行推测所得;
评价部件90,对于所述位置保存部件中的所述目标位置、与相关联的所述检测位置之间在所述坐标系中的差即检测差,以预定的基准35进行评价;以及
显示数据生成部件85,生成将与所述评价相关的信息显示于显示部的数据,
所述显示数据生成部件生成一数据,所述数据是显示与表示所述评价部件的评价的所述评价内容对应的、所述因素保存部件的所述推测因素。
[结构20]
根据结构19所述的位置检测装置,其中,
所述因素保存部件与所述推测因素对应地,保存用于应对所述推测因素的应对方法(RC),
所述显示数据生成部件还生成一数据,所述数据是显示与所述推测因素对应的所述应对方法。
[结构21]
根据结构19所述的位置检测装置,其中,
所述对象物通过所述移动机构而多次移动到各所述目标位置,
与各所述目标位置相关联地保存在所述位置保存部件中的所述检测位置,包含从通过多次移动到所述目标位置而拍摄获取的所述图像数据中检测出的多个检测位置。
[结构22]
根据结构21所述的位置检测装置,其中,
所述检测差包含所述位置保存部件中的所述目标位置、与相关联的所述多个检测位置各自之间的所述差的统计值。
[结构23]
根据结构22所述的位置检测装置,其中,
所述统计值包含所述多个检测位置各自之间的所述差的平均值、最大值、最小值及表示不均的值中的至少一个。
[结构24]
根据结构19至23中任一结构所述的位置检测装置,其中,
所述推测因素包含所述移动机构的驱动条件、所述图像处理的参数或拍摄条件中的至少一个。
[结构25]
根据结构19至24中任一结构所述的位置检测装置,其中,
所述显示数据生成部件生成一数据,所述数据是将各所述目标位置、和与所述目标位置相关联地保存的各所述检测位置显示于相同的坐标空间内(图15A至图15D、图16、图17)。
[结构26]
一种程序,用于使计算机110执行位置检测方法,其中,
所述位置检测方法包括下述步骤:
步骤S3,从图像数据10中,通过图像处理来检测所述图像数据中所含的特征部分的位置,所述图像数据10是在通过对设有定位用的所述特征部分14的对象物4的位置进行变更的移动机构300而将所述特征部分分别定位于多个目标位置21时,拍摄所述对象物而获取;
将通过所述图像处理而从被定位于各所述目标位置的所述对象物的所述图像数据中检测出的检测位置20,与所述目标位置相关联地予以保存;以及
步骤S15,生成将与所述检测位置相关的信息显示于显示部132的数据,
在所述生成所显示的数据的步骤中,
生成一数据(图15A至图15D、图16、图17),所述数据是将各所述目标位置、和与所述目标位置相关联地保存的各所述检测位置显示在相同的坐标空间内。
[结构27]
一种程序,用于使计算机110执行位置检测方法,其中,
所述计算机具有因素保存部90,所述因素保存部90保存预定的多个因素数据Ri,所述预定的多个因素数据Ri包含评价内容RA和推测因素RB,所述评价内容RA表示坐标系中的从目标位置算起的位置差的评价,所述推测因素RB是与所述评价内容对应,关于所述位置差进行推测所得,
所述位置检测方法包括下述步骤:
步骤S3,从图像数据10中,通过图像处理来检测所述图像数据中所含的特征部分的位置,所述图像数据10是在通过对设有定位用的所述特征部分的对象物的位置进行变更的移动机构300而将所述特征部分分别定位于多个目标位置时,拍摄所述对象物而获取;
将由所述图像处理部件从被定位于各所述目标位置的所述对象物的所述图像数据中检测出的检测位置20,与所述目标位置相关联地予以保存;
步骤S9,对于所保存的所述目标位置、与相关联的所述检测位置之间在所述坐标系中的差即检测差,以预定的基准进行评价;以及
步骤S15,生成将与所述评价相关的信息显示于显示部132的数据,
在所述生成所显示的数据的步骤中,
生成一数据,所述数据是显示所述因素保存部中的、与表示所述评价步骤中的评价的所述评价内容对应的所述推测因素。
<M.优点>
以往技术中,在定位装置的运转过程中或启动过程中,若不满足定位的要求精度,则当用户追究因素时,需要有定位知识者的诀窍,而且耗费时间。
与此相对,本实施方式中,在校准时,将从对移动到各目标位置21的工件4等进行拍摄所得的图像数据10中检测出的采样位置20,与所述目标位置21相关联地予以保存,并生成一数据,所述数据是将所述保存的各采样位置20、和与所述采样位置20相关联的目标位置21显示在相同的坐标空间内,因此,此种显示信息可成为用于确定所述因素的支持信息。由此,可缩短所述因素追究耗费的时间。
而且,评价部70以预定的基准数据35,来对相关联地保存在位置保存部80中的采样位置20与目标位置21之差进行评价,通过所述评价来推测引起所述差的因素,并生成推测因素的显示数据。由此,可提示推测因素来作为追究所述因素时的支持信息,从而最终的因素确定可变得容易。
应认为,本次揭示的实施方式在所有方面仅为例示而非限制者。本发明的范围是由权利要求而非所述说明所示,且意图包含与权利要求均等的含义及范围内的所有变更。

Claims (19)

1.一种位置检测装置,其特征在于,包括:
图像保存部件,保存图像数据,所述图像数据是在通过对设有定位用特征部分的对象物的位置进行变更的移动机构而将所述特征部分分别定位于多个目标位置时,拍摄所述对象物而获取;
图像处理部件,从所述图像数据中,通过图像处理来检测所述图像数据中所含的所述特征部分的位置;
位置保存部件,将由所述图像处理部件从被定位于各所述目标位置的所述对象物的所述图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;以及
显示数据生成部件,生成将与所述检测位置相关的信息显示于显示部的数据,
所述显示数据生成部件生成一数据,所述数据是将各所述目标位置、和与所述目标位置相关联地保存的各所述检测位置显示在相同的坐标空间内。
2.根据权利要求1所述的位置检测装置,其特征在于,
所述对象物通过所述移动机构而多次移动到各所述目标位置,
与各所述目标位置相关联地保存在所述位置保存部件中的所述检测位置,包含从通过多次移动到所述目标位置而拍摄获取的所述图像数据中检测出的多个检测位置。
3.根据权利要求2所述的位置检测装置,其特征在于,
所述坐标空间具有多维坐标轴,
所述显示数据生成部件生成一数据,所述数据是在所述多维坐标轴中的至少一个坐标轴上显示所述目标位置、和与所述目标位置相关联的所述检测位置。
4.根据权利要求2或3所述的位置检测装置,其特征在于,
所述显示的数据包含一数据,所述数据是针对每个所述目标位置而将相关联的所述多个检测位置以散布图的形态显示于所述坐标空间内。
5.根据权利要求3所述的位置检测装置,其特征在于,
所述显示的数据包含一数据,所述数据是针对每个所述目标位置而将相关联的所述多个检测位置以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
6.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述显示的数据包含显示线段的数据,所述线段用于表示各所述目标位置、和与所述目标位置相关联的所述检测位置的相对位置关系。
7.根据权利要求6所述的位置检测装置,其特征在于,
表示相对位置关系的线段包含:对将与各所述目标位置相关联的所述检测位置按照借助所述移动机构朝向所述目标位置的移动顺序来予以连结的线段进行显示的数据;或者对将各所述目标位置按照借助所述移动机构的移动顺序来予以连结的线段进行显示的数据。
8.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述移动包含以预定的目标中心位置为圆心而旋转的旋转移动,
所述目标位置包含所述目标中心位置,
所述检测位置包含根据与各所述目标位置相关联的各所述检测位置而推测出的所述旋转的推测中心位置。
9.根据权利要求8所述的位置检测装置,其特征在于,
所述显示的数据进而包含:在以所述目标中心位置为圆心的圆周线上显示各所述目标位置的数据;或者在以所述推测中心位置为圆心的圆周线上显示与各所述目标位置相关联的所述检测位置的数据。
10.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述显示的数据包含一数据,所述数据是将与所关联的所述目标位置的差超过阈值的所述检测位置以预定的形态予以显示。
11.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述图像处理部件根据所述特征部分的图像,对所述特征部分从预定姿势计起的倾斜角度进行检测,
所述显示的数据包含一数据,所述数据是将与所述目标位置相关联的所述检测位置以表示所述倾斜角度的标记予以显示。
12.根据权利要求2至3中任一项所述的位置检测装置,其特征在于,
所述显示数据生成部件还生成一数据,所述数据是与各所述目标位置相关联地显示所述目标位置的所述多个检测位置的统计值。
13.根据权利要求12所述的位置检测装置,其特征在于,
所述统计值至少包含所述多个检测位置与所关联的所述目标位置的差的最大值、最小值及平均值中的一个。
14.根据权利要求12所述的位置检测装置,其特征在于,
所述显示数据生成部件还生成一数据,所述数据是将与所述目标位置相关联的各所述多个检测位置从所述目标位置计起的差以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
15.根据权利要求12所述的位置检测装置,其特征在于,
所述显示数据生成部件生成一数据,所述数据是将跟所述目标位置相关联的各所述多个检测位置从所述目标位置计起的差,与预定的差的阈值相关联地,以时间序列的形态予以显示,所述时间序列遵照从所述多个检测位置的检测开始算起的相对时间经过。
16.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述显示数据生成部件还包含一部件,所述部件生成对检测出所述检测位置的所述特征部分的图像数据进行显示的数据。
17.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述显示数据生成部件还包含一部件,所述部件对所述目标位置和与所述目标位置相关联的所述检测位置进行放大显示。
18.根据权利要求1至3中任一项所述的位置检测装置,其特征在于,
所述图像处理包含修正参数,所述修正参数是为了从所述图像数据中检测所述特征部分的位置而根据所述移动机构的移动量来修正所述图像数据,
与所述目标位置相关联的所述检测位置包含应用所述修正参数前后的图像处理得到的各检测位置。
19.一种计算机可读存储介质,包括程序,用于使计算机执行位置检测方法,所述程序的特征在于,
所述位置检测方法包括下述步骤:
从图像数据中,通过图像处理来检测所述图像数据中所含的特征部分的位置,所述图像数据是在通过对设有定位用的所述特征部分的对象物的位置进行变更的移动机构而将所述特征部分分别定位于多个目标位置时,拍摄所述对象物而获取;
将通过所述图像处理而从被定位于各所述目标位置的所述对象物的所述图像数据中检测出的检测位置,与所述目标位置相关联地予以保存;以及
生成将与所述检测位置相关的信息显示于显示部的数据,
在所述生成所显示的数据的步骤中,
生成一数据,所述数据是将各所述目标位置、和与所述目标位置相关联地保存的各所述检测位置显示在相同的坐标空间内。
CN201810599576.2A 2017-09-27 2018-06-12 位置检测装置以及计算机可读存储介质 Active CN109556510B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017186021A JP6881188B2 (ja) 2017-09-27 2017-09-27 位置検出装置およびプログラム
JP2017-186021 2017-09-27

Publications (2)

Publication Number Publication Date
CN109556510A CN109556510A (zh) 2019-04-02
CN109556510B true CN109556510B (zh) 2020-11-10

Family

ID=65638299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810599576.2A Active CN109556510B (zh) 2017-09-27 2018-06-12 位置检测装置以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10825193B2 (zh)
JP (1) JP6881188B2 (zh)
CN (1) CN109556510B (zh)
DE (1) DE102018113589A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP7378934B2 (ja) * 2019-01-29 2023-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
EP3916394A1 (en) * 2020-05-29 2021-12-01 Roche Diagnostics GmbH Module for an automated laboratory system
CN111736523B (zh) * 2020-06-23 2022-11-29 吉林省科英激光股份有限公司 一种可实现扫描电机零点位置补偿的控制系统及方法
CN113409259B (zh) * 2021-06-09 2022-04-19 电子科技大学 基于图像特征信息的精密工件台倾角检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718057B1 (en) * 1998-12-22 2004-04-06 Mitsubishi Denki Kabushiki Kaisha Position error measurement method and device using positioning mark, and machining device for correcting position based on result of measuring position error using positioning mark

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0151235B1 (ko) * 1963-07-14 1998-10-15 모리시타 요이찌 형상검출방법
US4209853A (en) * 1974-07-22 1980-06-24 Hyatt Gilbert P Holographic system for object location and identification
JPS6137840A (ja) 1984-07-31 1986-02-22 Ube Ind Ltd ポリアミド組成物
US4641071A (en) * 1985-09-25 1987-02-03 Canon Kabushiki Kaisha System for controlling drive of a wafer stage
JP3181083B2 (ja) * 1991-12-28 2001-07-03 任天堂株式会社 射撃ゲームシステムおよびそれに用いられる射撃ゲームシステムの制御方法
JP3138080B2 (ja) 1992-10-22 2001-02-26 株式会社豊田中央研究所 視覚センサの自動キャリブレーション装置
JPH06160022A (ja) * 1992-11-17 1994-06-07 Shinko Electric Ind Co Ltd 画像位置補正装置
JP2001142513A (ja) 1999-11-15 2001-05-25 Toshiba Corp 位置決め用補正データ導出方法、位置決め装置、実装装置及び記憶媒体
JP2001344592A (ja) * 2000-05-31 2001-12-14 Toyo Jidoki Co Ltd キャップ取付け状態検査方法
GB2377409A (en) * 2001-07-13 2003-01-15 Dek Int Gmbh Screen printing alignment and inspection apparatus having at least two workpiece imaging units
JP3531674B2 (ja) * 2001-08-07 2004-05-31 株式会社ファースト キャリブレーション方法、位置決め方法、位置決め装置、キャリブレーションプログラム、及び位置決めプログラム
DE10155430B4 (de) * 2001-11-12 2006-12-14 Siemens Ag Adaption von Kompensationsdaten zur Verringerung von Stellungsfehlern bei Werkzeugmaschinen und Robotern
JP4224260B2 (ja) 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
KR100618579B1 (ko) 2002-12-23 2006-08-31 엘지.필립스 엘시디 주식회사 디스펜서 정렬장치 및 그 방법
JP2005049222A (ja) 2003-07-29 2005-02-24 Toto Ltd 高精度位置決め装置
DE10361018C9 (de) * 2003-12-23 2021-03-04 QUISS Qualitäts-Inspektionssysteme und Service GmbH Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struktur mit mehreren Kameras sowie eine Vorrichtung hierfür
US7636449B2 (en) * 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
KR20080024476A (ko) * 2005-06-14 2008-03-18 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 위치 검출 장치, 위치 검출 방법, 위치 검출 프로그램 및복합 현실 제공 시스템
JP2007011611A (ja) * 2005-06-29 2007-01-18 Ricoh Co Ltd 位置決め制御装置、位置決め制御方法、その方法をコンピュータに実行させるプログラム、画像形成装置、および記録媒体
JP5132904B2 (ja) 2006-09-05 2013-01-30 東京エレクトロン株式会社 基板位置決め方法,基板位置検出方法,基板回収方法及び基板位置ずれ補正装置
KR20100107019A (ko) 2008-03-31 2010-10-04 후지쯔 가부시끼가이샤 면형체의 얼라이먼트 장치, 제조 장치, 면형체의 얼라이먼트 방법 및 제조 방법
JP5556661B2 (ja) 2008-09-18 2014-07-23 コニカミノルタ株式会社 インクジェット描画装置
JP5493702B2 (ja) * 2009-10-26 2014-05-14 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
US8600552B2 (en) * 2009-10-30 2013-12-03 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
JP6167622B2 (ja) * 2013-04-08 2017-07-26 オムロン株式会社 制御システムおよび制御方法
US10112303B2 (en) * 2013-10-25 2018-10-30 Aleksandar Vakanski Image-based trajectory robot programming planning approach
JP6511715B2 (ja) * 2013-10-31 2019-05-15 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、及びロボット
WO2015173865A1 (ja) * 2014-05-12 2015-11-19 三菱電機株式会社 位置決め装置
JP6422246B2 (ja) 2014-06-25 2018-11-14 キヤノン株式会社 計測装置、リソグラフィ装置、および物品の製造方法
JP5893695B1 (ja) * 2014-09-10 2016-03-23 ファナック株式会社 物品搬送システム
JP6435750B2 (ja) * 2014-09-26 2018-12-12 富士通株式会社 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム
JP6528386B2 (ja) * 2014-11-04 2019-06-12 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9592608B1 (en) * 2014-12-15 2017-03-14 X Development Llc Methods and systems for providing feedback during teach mode
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP6576042B2 (ja) * 2015-01-14 2019-09-18 キヤノン株式会社 表示制御装置及びその方法、プログラム
JP6582483B2 (ja) * 2015-03-26 2019-10-02 セイコーエプソン株式会社 ロボット制御装置およびロボットシステム
JP6421722B2 (ja) 2015-08-07 2018-11-14 オムロン株式会社 画像処理装置、校正方法および校正プログラム
DE202015008713U1 (de) * 2015-12-18 2017-03-21 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Roboter mit Werkzeug zur Spurstangenverstellung
US9919422B1 (en) * 2016-01-06 2018-03-20 X Development Llc Methods and systems to provide mechanical feedback during movement of a robotic system
JP6403836B1 (ja) * 2017-06-08 2018-10-10 株式会社ナックイメージテクノロジー 視機能検査装置、視機能訓練装置及び方法
JP6626065B2 (ja) * 2017-10-31 2019-12-25 ファナック株式会社 教示点又は教示線の位置ずれを警告又は修正するロボット教示装置
JP6815309B2 (ja) * 2017-11-16 2021-01-20 株式会社東芝 作動システムおよびプログラム
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718057B1 (en) * 1998-12-22 2004-04-06 Mitsubishi Denki Kabushiki Kaisha Position error measurement method and device using positioning mark, and machining device for correcting position based on result of measuring position error using positioning mark

Also Published As

Publication number Publication date
DE102018113589A1 (de) 2019-03-28
US10825193B2 (en) 2020-11-03
JP2019060742A (ja) 2019-04-18
CN109556510A (zh) 2019-04-02
US20190096083A1 (en) 2019-03-28
JP6881188B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
CN109556510B (zh) 位置检测装置以及计算机可读存储介质
CN110154017B (zh) 输送机跟踪系统以及校准方法
CN108297096B (zh) 校准装置、校准方法以及计算机能够读取的介质
JP4681856B2 (ja) カメラの校正方法及びカメラの校正装置
JP4191080B2 (ja) 計測装置
CN109807885B (zh) 一种机械手的视觉标定方法、装置及智能终端
CN111482959A (zh) 机器人运动视觉系统的自动手眼标定系统与方法
EP0782100B1 (en) Three-dimensional shape extraction apparatus and method
JP4021413B2 (ja) 計測装置
JPH08210816A (ja) ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
EP1766580A2 (en) Method and apparatus for machine-vision
JP2017077614A (ja) 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
JP6565175B2 (ja) ロボットおよびロボットシステム
CN109213090B (zh) 位置控制系统、位置检测装置及记录介质
CN106341956B (zh) 一种固定相机校正方法
CN112677148A (zh) 机器人系统
CN110640303B (zh) 高精度视觉定位系统及其定位校准方法
KR101245529B1 (ko) 카메라 캘리브레이션 방법
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
CN113400298B (zh) 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法
US20230083150A1 (en) Scanning system and calibration thereof
WO2016194078A1 (ja) 情報処理装置及びキャリブレーション方法及びキャリブレーション処理プログラム
JP7188481B2 (ja) 位置検出装置およびプログラム
CN115397634A (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序
JPH05204423A (ja) 視覚装置付きロボット装置における座標較正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant