CN110691186A - 图像处理装置、控制方法和记录介质 - Google Patents

图像处理装置、控制方法和记录介质 Download PDF

Info

Publication number
CN110691186A
CN110691186A CN201910603870.0A CN201910603870A CN110691186A CN 110691186 A CN110691186 A CN 110691186A CN 201910603870 A CN201910603870 A CN 201910603870A CN 110691186 A CN110691186 A CN 110691186A
Authority
CN
China
Prior art keywords
image
image processing
imaging
processing apparatus
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910603870.0A
Other languages
English (en)
Other versions
CN110691186B (zh
Inventor
浅沼知也
长元气
冈宽人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018129070A external-priority patent/JP7210171B2/ja
Priority claimed from JP2018129182A external-priority patent/JP7094806B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110691186A publication Critical patent/CN110691186A/zh
Application granted granted Critical
Publication of CN110691186B publication Critical patent/CN110691186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理装置、控制方法和记录介质。图像处理装置通过针对各图像处理过程进行摄像装置的驱动控制来调整摄像方向和摄像倍率，并且设置测量对象的摄像位置。图像处理装置基于拍摄图像数据来在测量时输入的拍摄图像中计算所设置的特征部的评价值，并且将该评价值与判断条件进行比较。如果满足判断条件，则图像处理装置进行预定图像处理并将该图像处理的结果输出至控制装置。

Description

图像处理装置、控制方法和记录介质
技术领域
本发明涉及用于通过控制摄像装置的摄像方向和摄像视角来处理拍摄图像的图像处理的技术。
背景技术
用于通过进行图像处理来控制诸如机器人和输送装置等的装置的技术用于工厂中的产品制造、质量检查、操作和管理等。在使用摄像装置对作业对象(以下称为工件)摄像时，在使用包括改变摄像方向和摄像倍率的驱动单元的摄像装置的情况下，可以利用多个摄像视角在多个摄像位置处获取图像。一个摄像装置所获取到的图像可以用在多个图像处理中。
然而，取决于摄像装置中所包括的驱动单元的性能和摄像装置的安装环境，图像处理的测量精度有可能将不足。例如，即使在摄像装置的摄像位置到达期望位置时，如果摄像装置的振动未充分收敛、并且使用在未充分静定的状态下拍摄到的图像，则图像处理的测量精度有可能将低。在日本特开2015-97301中，公开了用于判断照相机对于该照相机所拍摄到的图像而言是否处于稳定摄像状态的技术。使用该判断的结果获取到稳定图像，然后利用高测量精度进行图像处理。
另外，在由于摄像装置的驱动单元的性能和劣化等而导致预先设置为基准的摄像位置的再现性降低的情况下，图像处理的测量精度或识别率有可能将下降。因而，在日本特开2015-186021所公开的技术中，将通过预先对工件摄像所获取到的第一图像与通过在摄像位置改变时对工件摄像所获取到的第二图像进行比较，并且可以获取并显示第二图像中的存在第一图像的区域。
然而，每当在工厂等中摄像位置改变时用户都检查再现性的方法会耗费时间，并且其作业效率低。由于该原因，要求摄像装置自动判断再现性、并且在再现性低的情况下进行自动校正摄像位置的处理。另外，工厂等中的各图像处理中所需的测量精度和识别率可能不同。作为根据不足以达到在特定图像处理中所需的测量精度的测量精度或者针对过度再现性的要求而进行大于所需程度的校正处理的结果，可能需要长的测量时间。
另外，在工厂等中，所需的测量精度可能根据所使用的图像处理或工件的类型而不同。由于该原因，即使在确认了摄像装置的静定状态之后进行的图像处理中，也可能无法满足所需的测量精度。另外，在直到可以使摄像装置进入满足所需的测量精度的静定状态为止所需的时间变长的情况下，这成为整个处理时间增加的原因。
作为一个示例，将假定如下的作业处理：使用摄像装置所拍摄到的图像来对通过输送装置单独输送的多个类型的工件进行分类，并且机器人针对工件的类型来将这些工件装载到不同的输送车辆上。为了使得机器人能够正确地识别工件坐标并把持工件，需要提高图像处理的测量精度，使得该测量精度变得等于或高于预定精度。另一方面，在摄像装置对输送车辆摄像并且判断输送车辆是否在停止范围内的处理中，图像处理的测量精度无需那么高，并且要求能够在更短的时间内结束该处理。
发明内容
本发明提供在确保摄像位置的再现性的同时、在更短时间内进行图像处理的图像处理装置。
根据本发明的一个实施方式的图像处理装置是一种图像处理装置，用于对拍摄图像的数据进行处理，所述拍摄图像是通过使用能够改变摄像方向或摄像视角的摄像部件对测量对象进行摄像而获取到的，所述图像处理装置包括：计算部件，其被配置为基于所述摄像部件在测量时的摄像位置处获取到的拍摄图像和该图像的基准特征，来计算评价值；图像处理部件，其被配置为获取使用所述摄像部件的所述拍摄图像的数据并且进行图像处理；第一设置部件，其被配置为设置用于判断所述摄像部件的摄像位置的再现性的判断条件；以及控制部件，其被配置为进行如下控制：在所述计算部件所计算出的评价值满足所述第一设置部件所设置的判断条件的情况下，使用所述图像处理部件进行所述拍摄图像的图像处理，并且输出所述图像处理的结果。
根据本发明的实施方式的一种图像处理装置控制方法，其由图像处理装置执行，所述图像处理装置用于对拍摄图像的数据进行处理，所述拍摄图像是通过使用能够改变摄像方向或摄像视角的摄像部件对测量对象进行摄像而获取到的，所述控制方法包括：基于所述摄像部件在测量时的摄像位置处获取到的拍摄图像和该图像的基准特征，来计算评价值；获取使用所述摄像部件的所述拍摄图像的数据并且进行图像处理；设置用于判断所述摄像部件的摄像位置的再现性的判断条件；以及进行如下控制：在所计算出的评价值满足根据所述设置的所述判断条件的情况下，进行所述拍摄图像的图像处理，并且输出所述图像处理的结果。
根据本发明的实施方式的一种非暂时性记录介质，其存储用于使图像处理装置的计算机进行该计算机的控制方法的各步骤的计算机程序，所述图像处理装置用于对拍摄图像的数据进行处理，所述拍摄图像是通过使用能够改变摄像方向或摄像视角的摄像部件对测量对象进行摄像而获取到的，所述控制方法包括：基于所述摄像部件在测量时的摄像位置处获取到的拍摄图像和该图像的基准特征，来计算评价值；获取使用所述摄像部件的所述拍摄图像的数据并且进行图像处理；设置用于判断所述摄像部件的摄像位置的再现性的判断条件；以及进行如下控制：在所计算出的评价值满足根据所述设置的所述判断条件的情况下，进行所述拍摄图像的图像处理，并且输出所述图像处理的结果。
通过以下(参考附图)对典型实施方式的说明，本发明的更多特征将变得明显。
附图说明
图1是包括根据第一实施例的图像处理装置的系统的整体结构图；
图2是根据第一实施例的摄像装置的示意图；
图3A和3B是根据第一实施例的测量情形的说明图；
图4是根据第一实施例的图像处理装置的框图；
图5是示出根据第一实施例的流程图生成画面的图；
图6是示出根据第一实施例的基准特征登记处理画面的图；
图7是根据第一实施例的基准特征登记处理的序列图；
图8A和8B是示出根据第一实施例的判断静定状态的判断处理的图；
图9A和9B是示出根据第一实施例的基准特征信息的数据格式的图；
图10是示出根据第一实施例的测量处理的设置画面的图；
图11是根据第一实施例的测量处理的序列图；
图12是示出根据第二实施例的基准特征登记处理画面的图；
图13是根据第二实施例的基准特征登记处理的序列图；
图14是示出根据第三实施例的使用过去测量值的估计处理的图；
图15是示出根据第四实施例的基准特征登记处理画面的图；
图16A和16B是示出根据第四实施例的基准特征信息的数据格式的图；
图17是根据第四实施例的测量处理的序列图；
图18A～18E是根据第四实施例的比较处理和校正处理的说明图；以及
图19是示出根据第五实施例的基准特征登记处理画面的图。
具体实施方式
这里，将根据附图所示的各个实施例来详细说明本发明的优选实施方式。尽管将说明包括图像处理装置、机器人和输送装置等的系统的示例，但以下实施方式所示的各构成元件是一个示例，并且本发明可以应用于使用图像处理装置的各种测量系统。
在摄像装置包括振动传感器的情况下，可以使用振动传感器所获取到的检测值来判断摄像装置的静定状态。然而，在摄像装置不包括振动传感器的情况下，需要不同的单元。在实施例1～3中，将说明由图像处理单元进行用于判断摄像装置的静定状态的判断处理的结构。
[第一实施例]
图1是包括根据本实施方式的图像处理装置的系统的整体结构图。该系统的控制装置101在预先设置的定时向各装置发送控制指令。该系统是使用控制装置101、图像处理装置102、摄像装置103、用于工件的机器人104、输送装置105、以及输送车辆106和107构成的。
图像处理装置102根据从控制装置101接收到的控制指令来进行摄像装置103的驱动控制。摄像装置103具有可以改变的摄像方向和摄像视角，并且在测量对象的摄像位置根据从图像处理装置102发送来的控制信号而改变的状态下进行摄像操作。图像处理装置102处理从摄像装置103获取到的拍摄图像数据，并将该图像处理的结果发送至控制装置101。控制装置101通过基于该图像处理的结果来控制机器人104、输送装置105以及输送车辆106和107来执行预定作业。
作为一个示例，将说明以下的作业处理。
·用于使用摄像装置103所拍摄到的图像数据来判断输送装置105所输送的工件108～110的类型的处理
·机器人104针对工件的各类型将工件布置在不同的输送车辆中的处理
输送工件的输送车辆106和107的停止位置由多个停止框111确定。
图2是示出用于改变摄像装置103的摄像方向和摄像视角的驱动机构的示意图。摄像装置103包括照相机平台201和摄像系统(摄像光学系统)202。照相机平台201包括用于沿水平方向(以下将平摇方向称为方向P)或垂直方向(以下将俯仰方向称为方向T)改变摄像系统202的方向的两个驱动系统的机构部。平摇机构(panning mechanism或者也称为panmechanism)是沿方向P驱动摄像系统202的机构，并且俯仰机构(tilting mechanism或者也称为tilt mechanism)是沿T方向驱动摄像系统202的机构。通过使用这样的机构，摄像系统202的摄像方向可以沿方向P在360°的范围内改变、换句话说可以无限地转动。另外，摄像方向可以在水平方向被设置为0度的状态下沿方向T在-30.0度～+210.0度的范围内改变。此外，摄像装置103可以使用变焦机构使摄像系统202的变焦倍率在1.0倍～20.0倍的范围内改变。
以这种方式，摄像装置103可以根据摄像方向和变焦倍率的控制来改变摄像位置和摄像视角，并且例如可以对以下的测量情形摄像。
·用于检测工件108～110的类型的测量情形A112
·分别用于判断输送车辆106和107是否在停止框111内的测量情形B113和测量情形C114
在本实施方式中，为了便于说明，尽管将说明一个摄像装置的使用示例，但在规模更大的系统中使用多个摄像装置。各摄像装置负责对多个测量情形摄像。另外，摄像装置可被配置为包括诸如陀螺仪传感器等的振动检测传感器。
图3A和3B是示出测量情形A112和B113的图。图3A示出测量情形A112的图像的示例，并且图3B示出测量情形B113的图像的示例。图3A所示的图像301是摄像装置103通过对输送装置105上的工件108摄像所获取到的图像。图像处理装置102处理图像301的数据并计算工件108的实际空间坐标。控制装置101基于该图像处理的结果来控制机器人104。此时，在摄像装置103的位置再现性下降时，在图像处理装置102所计算出的工件108的位置/姿势的坐标和工件108的位置/姿势的实际坐标之间发生误差。如果该误差超过容许范围，则有可能将在机器人104的控制中发生错误、并且将在工件108的把持或拾取操作中引起问题。
因而，图像处理装置102在摄像装置103的摄像位置改变之后进行摄像，并且判断摄像装置103的静定状态。尽管后面将说明基准图像区域，但例如，如示出用于固定输送装置105的螺栓或柱的区域302那样，根据时间经过的变化小且特征量大的区域适合作为基准图像区域。与此相反，如仅示出工件108及其周围部分的区域那样，在运动图像中位置或倾斜根据时间经过而改变的区域不适合作为基准图像区域。
摄像装置103将包括基准图像区域302的图像301的数据发送至图像处理装置102。可选地，摄像装置103可以将通过裁切基准图像区域302所获取到的图像数据发送至图像处理装置102。可选地，摄像装置103可以通过对图像301进行图像处理来提取后面要说明的图像内的特征部，并且仅将表示该提取的结果的数据发送至图像处理装置102。
图3B所示的图像303是通过使用摄像装置103对输送车辆106摄像所获取到的图像。图像处理装置102对图像303进行图像处理，并判断输送车辆106是否存在于停止框111内。此时，假定摄像装置所需的静定性的判断精度低于测量情形A112的判断精度。相比之下，在需要过度静定性的情况下，由于达到静定状态需要时间，因此可能发生整个处理所需的测量时间过长的情形。
图4是示出图像处理装置102的结构的示例的框图。图像处理装置102经由接口单元403连接至控制装置101和摄像装置103。输入/输出显示装置401和操作输入装置402是经由接口单元403连接至图像处理装置102的用户接口装置。各装置经由布置在图像处理装置102的内部总线上的各接口单元403连接。各接口单元403是基于适合于通信的规范而使用与连接对象相对应的网络接口单元和串行通信接口单元等来构成的。
输入/输出显示装置401包括用于显示图像的诸如阴极射线管或液晶面板等的显示装置。操作输入装置402是使用键盘或指点装置、触摸面板、输入操作控制器和手势输入装置等构成的。
在连接至图像处理装置102的摄像装置103中，可以根据需要附加地布置照明装置以供摄像用。照明装置包括诸如卤素灯或发光二极管等的光源。另外，可以通过将外部存储装置连接至图像处理装置102来扩展存储容量。
图像处理装置102包括算术运算单元404，该算术运算单元404是使用被配置为作为图像处理的控制主体的通用微计算机的中央处理单元(CPU)以及图像处理器等构成的。算术运算单元404经由内部总线(数据总线、地址总线和其它控制线等)连接至存储单元405。
在存储单元405中，使用诸如ROM、RAM、EPROM或EEPROM等的非易失性存储装置、或者外部存储装置。ROM是“只读存储器”的缩写，并且RAM是“随机存取存储器”的缩写。EPROM是“可擦除可编程只读存储器”的缩写。EEPROM是“电可擦除可编程只读存储器”的缩写。外部存储装置例如是使用硬盘驱动装置(HDD)或半导体存储器装置构成的存储装置、或者可连接至接口单元403的存储装置等。
存储单元405具有处理数据存储区域406和程序存储区域。处理数据存储区域406是使用存储单元405的RAM区域、以及外部存储装置的文件区域和虚拟存储区域等构成的。处理数据存储区域406暂时存储处理数据，并用作图像处理的设置参数等所用的存储区域。
在存储单元405的程序存储区域中存储有用于执行本实施例的图像处理的图像处理程序407。图像处理程序407根据操作输入装置402所进行的各种操作来执行图像处理的设置改变和预定图像处理。另外，可以将改变详情的数据存储在处理数据存储区域406中，并且可以删除该数据。
图像处理程序407是使用实现各种功能的软件模块构成的。例如，图像处理模块408是实现图像处理的主体部分。在由该模块进行的图像处理中，使用图像处理库409。图像处理库409例如作为静态或动态链接的库安装在存储单元405中。图像处理设置模块410确定图像处理程序407的动作。根据操作输入装置402所进行的各种操作来进行图像处理设置。
另外，在图像处理程序407中，包括实现以下功能的输入/输出(I/O)子例程。例如，存在外部装置控制子程序411、存储数据生成子程序412、和用于接受来自控制装置101的控制指令的指令接受子程序413。另外，存在使用RAM区域以及算术运算单元404的高速缓冲存储区域等的暂时存储子程序414、以及显示画面生成子程序415。存储数据输出子程序416是用于读取和输出处理数据存储区域406中所存储的数据的程序，并且操作接受子程序417是用于接受来自操作输入装置402的操作指令的程序。各功能以应用(实用)程序的形式或者以被配置为静态或动态链接的库的子例程的形式安装在存储单元405中。
图像处理装置102的CPU执行图像处理程序407，由此进行摄像装置103的控制和使用算术运算单元404的图像处理。另外，执行用于使用操作输入装置402接受用户的操作指令的处理和用于从作为图像处理装置102的外部装置的控制装置101接受控制指令的处理。算术运算单元404通过根据操作指令和控制指令调用图像处理程序407的各功能模块和库来进行算术运算处理，并将图像处理的结果的数据发送至控制装置101。另外，可以将图像处理的结果的数据发送至外部存储装置并存储(记录)在该外部存储装置中。另外，可以执行以下处理：使用程序将预先存储的画面结构和图像处理的结果在画面上合成，并将合成后的数据显示在输入/输出显示装置401中。
图5是示出用于生成图像处理程序407的流程图生成画面的示例的图。该画面显示在输入/输出显示装置401中。根据用户使用图像处理装置102所生成的流程图来执行根据该示例的图像处理程序407。作为其它实施方式，存在用户使用图1中未示出的图像处理程序生成装置来生成图像处理程序407的形式。在这种情况下，将所生成的图像处理程序407发送至图像处理装置102的存储单元405并存储在该存储单元405中。另外，可以采用使用包括针对各功能或各目的而预先以固定形式准备的组合图像处理流程图的封装功能的形式。在这种情况下，用户可以通过在图形用户界面(GUI)上选择期望功能来进行参数等的调整。
部分的列表501是构成流程图的各处理部分的列表。用户可以指定在矩形框内指示的各种处理和在菱形框内指示的条件分支处理。例如，用户使用操作输入装置402从部分的列表501指定期望的处理部分。通过使用指点装置等进行拖放操作来使用线对布置在流程图区域502中的多个处理部分进行组合，可以生成流程图。
由多个处理部分构成的流程图503是描述如下处理的示例：使用机器人104从输送装置105取出工件108～110，并且根据工件的类型来将这些工件布置在输送车辆106或107中。在该示例中，该处理开始之后的摄像处理504是对工件108～110摄像的处理。下一处理即工件位置计算505是计算工件108～110的位置和相位的计算处理，并且下一处理即机器人移动506是使机器人104的手移动并转动到所计算出的工件位置的上方的处理。拾取处理507是使用机器人104拾取工件108的处理，并且接下来的摄像处理508是对输送车辆106摄像的处理。接着，说明用于检测输送车辆106的图像区域是否存在于拍摄图像内的存在检测509的处理。另外，在条件分支处理510中，说明了：在输送车辆106的图像区域存在于拍摄图像内的情况下，处理进入机器人移动处理511，并且在输送车辆106的图像区域不存在于拍摄图像内的情况下，处理进入通知处理513。机器人移动处理511是将机器人104所取出的工件108移动到输送车辆106的位置的处理。接下来的放置处理512是机器人104将工件108放置在输送车辆106上的处理。通知处理513是等待预定时间并通知所检测到的异常的发生的处理。然后，一系列处理结束。
用户生成通过组合期望的处理部分来生成作为目标的流程图503。在所生成的流程图503中，如果在一个处理部分中进行双击操作，则处理进入用于设置该处理部分的详细处理的设置画面显示处理。后面将说明该设置画面。如果进行对OK按钮514的点击操作，则图像处理装置102生成用于执行该流程图所述的处理的图像处理程序407。
图6是示出摄像处理中的基准特征登记处理画面的图。例如，在图5所示的流程图503中，如果用户对摄像处理504或508的处理部分进行双击操作，则通过输入/输出显示装置401显示登记处理画面601。用户可以在观看登记处理画面601的同时进行用作测量时的基准的基准特征的设置登记。
图7是基准特征登记处理的序列图。以下将参考图6和图7来具体说明由以下的处理(A)～(C)构成的登记处理。
(A)要使用的摄像装置的设置处理
(B)与摄像位置有关的平摇、俯仰和变焦倍率的设置处理
(C)为了对基于摄像装置中所包括的驱动机构单元的性能和劣化以及摄像装置的安装环境的驱动机构单元的驱动之后的静定状态进行评价、而设置基准特征部和静定状态的判断条件的处理。在驱动机构单元中，包括平摇机构、俯仰机构和变焦机构。
首先，将说明处理(A)。图6所示的摄像部分ID 602是显示用于识别摄像部分的信息的框。照相机ID 603是数值调节框(spin box)、换句话说具有用于设置作为摄像装置的识别信息的照相机ID的数值调节控件(spin control)的文本框。如果在系统中使用多个摄像装置，则用户可以通过选择照相机ID来设置要用于摄像的照相机。这里，分配至摄像装置103的照相机ID将被描述为指定。
接着，将说明处理(B)。图6所示的条604～606是为了改变摄像装置103的平摇、俯仰和变焦倍率而分别操作的滑动条。将摄像装置103所拍摄到的图像显示在图像显示区域607中，并且在图像显示区域607的下侧布置平摇所用的条604。可以根据条604的操作来改变方向P上的摄像位置。在图像显示区域607的右侧布置俯仰所用的条605和用于改变变焦倍率的条606。可以根据条605的操作来改变方向T上的摄像位置。可以根据条606的操作来改变摄像视角。
图7示出在图像处理装置102和摄像装置103之间进行的处理的一个示例。将时间轴的方向定义为图7中从上侧向下侧的方向。如果用户操作条604～606中的期望条，则图像处理装置102将摄像指令发送至摄像装置103(S701)。摄像装置103通过控制驱动单元来进行平摇或俯仰的改变(摄像方向的改变)或者变焦倍率的改变(S702)。之后，进行使用摄像装置103的摄像操作(S703)，并且将拍摄图像的数据发送至图像处理装置102(S704)。图像处理装置102进行显示拍摄图像的显示处理，并且将该拍摄图像显示在输入/输出显示装置401的画面上的图像显示区域607中。在图6所示的图像的示例中，示出图1所示的输送装置105、在输送途中的工件108、以及用于固定输送装置105的螺栓部分608(其对应于图3A所示的区域302)。每当用户操作滑动条(滑动条604～606其中之一)时，重复执行S701～S704的处理作为循环处理。
接着，将说明处理(C)。处理(C)的目的是使用图像处理来判断摄像装置103的静定状态。在图6中所示的图像显示区域607内使用虚线表示的框609是用户登记基准图像区域所使用的框。用户可以使用操作输入装置402来改变框609的形状、位置和大小等。在图6中，用于固定输送装置105的各螺栓部分608的图像区域由框609包围，并且将四个框609内的区域指定为基准图像区域。在图7所示的S705中，示出用于确定基准图像区域的确定处理。可以添加或删除框609。例如，在用户进行鼠标的右侧点击操作时，可以显示上下文菜单(图中未示出)，并且在用户选择“框的添加/删除”时，可以进行添加或删除框的操作。
在图6所示的登记处理画面601的中间部分，示出两个数值调节框610和611。在设置从基准图像区域提取基准特征的特征提取方法时，使用数值调节框610。作为特征提取方法，可以选择：模式匹配(pattern matching)；边缘检测；浓淡的检测；二值化重心；以及外接矩形、周长或颜色等的使用。基准特征是：模式的位置和相位；边缘；浓淡值；二值化区域的面积和位置；矩形的大小、位置和倾斜；长度；以及颜色浓度值等。用户可以在数值调节框610中指定期望的选项。
在选择振动量计算方法时，使用数值调节框611。振动量计算方法是基于基准特征以及在后面要说明的测量时提取的特征(与基准特征相同：模式的位置和相位；边缘；浓淡值；二值化区域的面积和位置；矩形的大小、位置和倾斜；长度；以及颜色浓度值等)的方法。这里，振动量是评价值的一个示例。
在用于判断静定状态的方法中，对于具有基准特征的基准特征部和具有所提取的特征的特征部，可以选择这些特征部之间的位置关系等。例如，可以选择模式之间的一致度、边缘或区域的重心位置之间的差、矩形的大小之间的差、位置坐标之间的距离之间的差、斜率之间的差、长度之间的差、或者浓淡之间的差等。可以存在在多个静定状态判断方法中使用两个以上的计算方法的组合的结构。
在进行用于判断摄像装置的静定状态的设置时，使用图6所示的控件612。在指定静定判断条件时，用户可以选择单选按钮613或614。如果希望简单地设置静定状态的判断条件，则选择单选按钮613。如果希望详细地设置静定状态的判断条件，则选择单选按钮614。
如果选择单选按钮613，则可以在数值调节框615设置判断级别。定义可以在数值调节框615中设置的判断级别的最小值和最大值。这基于后面要说明的测量间隔、测量时间和阈值的组。例如，如果判断级别是“1”，则假定在不需要高测量精度的环境中使用摄像装置。在这种情况下，设置测量间隔为1次/秒、测量时间为10秒和阈值为3厘米。另外，如果判断级别是“10”，则假定在需要测量精度的环境中使用摄像装置。在这种情况下，设置测量间隔为30次/秒、测量时间为5秒和阈值为1毫米。这样，可以选择与判断级别相对应的一组已知设置值。
另一方面，如果选择单选按钮614，则可以进行与可被设置为判断级别的值相比更详细的设置。在这种情况下，可以在数值调节框616、617和618中单独设置测量间隔、测量时间和阈值。这里，将参考图8A和8B来说明用于判断静定状态的测量间隔、测量时间和阈值。
在上述的示例中，尽管基于用户操作来设置静定状态的判断条件，但该判断条件可以由图像处理装置102自动设置。例如，可以基于工件的大小、对工件的处理的类型(把持或放置在预定位置处等)、以及摄像装置的类型等来将上述判断级别的默认值自动确定为推荐值。根据这样的信息，可以在一定程度上预测各处理所需的测量误差，因此使用这样的信息来设置判断条件。
图8A是示出表示基准特征部的框(以下称为特征框)609振动时的检测模式的重心的位置620、621和622的示意图。该振动是根据摄像装置的振动而产生的拍摄图像的特征框609的相对振动、而不是与基准特征部相对应的被摄体的固有振动。方向Y将被定义为图8A的垂直方向，并且方向X将被定义为水平方向。位置620示出特征框609的静定状态下的重心位置，并且位置621示出在特征框609以在Y方向上具有正值的振动量振动时的重心位置。位置622示出在特征框609以在Y方向上具有负值的振动量振动时的重心位置。
图8B是示出振动量相对于时间的变化作为示例的图形。横轴是时间轴，并且纵轴表示振动量的测量值。图形曲线623表示特征框609的根据时间经过的振动量。时间间隔624是在图6所示的数值调节框616中设置的测量间隔。时刻t0～时刻t18的时间625是在图6所示的数值调节框617中设置的测量时间。表示预定振动量的值626是用于判断在图6所示的数值调节框618中设置的静定状态的阈值。该阈值是用于判断为作为对象的摄像装置处于静定状态的预定振动量，并且以像素数或实际距离(例如，厘米)表示。
在图8B所示的示例中，图像处理装置102从时刻t0起开始振动量的测量，按表示为时间间隔624的测量间隔来测量振动量，并且计算最大振动量和最小振动量的时间经过。图形线628是表示图形曲线623的振幅相对于时间的变化的包络线。图像处理装置102按测量时间中的时刻t0～时刻t18的测量间隔624测量振动量。如果在该时间段内计算出的由图形线628表示的振幅(测量值)不小于阈值，则判断为摄像装置不是处于静定状态。在图8B所示的示例中，振动量的振幅在时刻t10低于阈值626，因此图像处理装置102在时刻t10输出表示摄像装置处于静定状态的判断结果。
在(A)～(C)的设置处理结束、并且用户对OK按钮619(图6)进行点击操作时，图像处理装置102使用上述的特征提取方法来提取基准特征(图7：S706)。图像处理装置102进行如下的登记处理(图7：S707)：以后面要说明的数据格式生成所设置的项的数据，并且将生成之后的数据作为基准特征信息存储在处理数据存储区406中。
图9A和9B是示出基准特征信息的数据格式的图。图9A示出针对各摄像部分所生成的数据的示例。例如，在摄像部分ID 801是“01”的第一行中，照相机ID 802是“01”，平摇方向803的角度值是“10.0”(单位：°)，并且俯仰方向804的角度值是“-5.0”(单位：°)。变焦倍率805是“1.0”倍，特征提取方法806是“模式匹配”，并且振动量计算方法807是“模式位置(pattern position)”。静定判断设置808是“详细”，判断级别809是“空”，并且测量间隔810是“20”(次/秒)。测量时间(数值)811是“3”，测量时间(单位)821是“秒”，阈值(数值)822是“1”，并且阈值(单位)823是“毫米”。在摄像部分ID 801是“02”的第二行中，表明相对于摄像部分ID 801是“01”的第一行，静定判断条件放宽。已参考图6说明了利用附图标记801～811和附图标记821～823表示的项，因此将省略对这些项的说明。
在图9A所示的各行中指示的项的数据与基准特征信息ID 812相关联。基准特征信息ID 812是用于唯一地识别基准特征信息的ID(识别信息)。图9B示出针对各基准特征信息所生成的数据的示例。例如，第一行的基准特征信息ID 812是“A”。该ID“A”与在图9A所示的第一行中指示的摄像部分ID“01”相关联。第一行中的X坐标813表示基准特征部的X坐标“860”，并且Y坐标814表示基准特征部的Y坐标“520”。第一行中的宽度815表示基准特征部的宽度“80”，并且高度816表示基准特征部的高度“60”。例如，如果选择模式匹配方法作为特征提取方法，则将模式的图像数据记录在特征量817的项中。可选地，如果选择重心位置的提取作为特征提取方法，则将重心的位置坐标记录在特征量817的项中。文件名818是基准特征部的图像文件的名称。例如，将假定在用户生成图像处理程序407之后、在测试系统时测量结果未达到满意级别的情况。通过再次显示图6所示的登记处理画面601，用户可以进行用于使用数值调节框610来改变基准特征提取方法的操作和用于使用控件612来改变静定判断条件的设置的详情的操作612。此时，通过记录基准特征部的图像文件，无需进行基准特征部的再摄像，因此可以实现作业的效率。
图10是示出测量处理的设置画面的示例的图。如果用户对图5所示的处理部分(工件位置计算505或存在检测509等)进行双击操作，则将测量处理的设置画面901显示在输入/输出显示装置401中。在图像显示区域902内指示的图像示出摄像装置103所拍摄到的图像。框903是在用户登记测量对象的情况下使用的框，并且框904是用户登记测量中的搜索范围所使用的框。框904被设置为包括框903的更宽范围。用户可以通过使用诸如鼠标等的指点装置操作框903或904来改变框的形状、位置和大小。
在图10所示的测量处理方法的显示区域905中，示出使用模式匹配方法来计算工件的位置。在该示例中，尽管描述了模式匹配方法作为示例，但可以使用基于不同图像处理的测量处理方法。在用户设置模式匹配方法中的模式的转动范围、放大率和得分阈值时，分别使用数值调节框906、907和908。
在用户对OK按钮909进行轻击操作时，图像处理装置102将在框903中指示的测量对象的数据、在框904中指示的搜索范围、以及模式匹配方法中的转动范围、放大率和得分阈值存储在处理数据存储区域406中。另外，如果用户使用图6所示的数值调节框610所设置的特征提取方法是除模式匹配方法以外的方法，则显示根据所选择的特征提取方法的设置项。换句话说，图像处理装置102执行显示适合于用户所选择的特征提取方法的参数设置用户界面(UI)画面、而不是由附图标记906～908表示的项的处理。
如参考图3A所述，关于基准图像区域，优选随时间的经过的变化小且特征量大的区域。判断为如示出工件的区域那样、位置或倾斜随时间的经过而改变的区域不适当。因此，在设置图6所示的框609中表示的基准图像区域时以及在使用图10所示的框903登记测量对象时、基准图像区域和作为测量对象的图像区域彼此重叠的情况下，图像处理装置102进行警告用户的处理。
图11是在图像处理装置102接受来自控制装置101的触发信号并且执行图像测量处理时的序列图。在图11中，添加了控制装置101所执行的处理，并且示出了在控制装置101、图像处理装置102和摄像装置103之间进行的处理的一个示例。将时间轴的方向定义为图11中从上侧向下侧的方向。
首先，控制装置101将控制指令发送至图像处理装置102(S1001)。图像处理装置102从处理数据存储区域406读取基准特征信息(图9A：802～816和821～823)(S1002)。接着，图像处理装置102将与摄像位置有关的平摇方向、俯仰方向和变焦倍率(图9A：803～805)的摄像指令发送至摄像装置103(S1003)。摄像装置103通过控制驱动单元来改变平摇角度、俯仰角度和变焦倍率(S1004)。进行摄像操作(S1005)，之后摄像装置103将拍摄图像的数据发送至图像处理装置102(S1006)。
图像处理装置102执行以下处理：根据在图6所示的数值调节框610和611中指定的特征提取方法和振动量计算方法，从所接收到的图像数据中提取特征部(S1007)。图像处理装置102根据在图6所示的数值调节框617中指定的测量时间拍摄到的按时间序列彼此相邻的图像来计算特征部的振动量。根据诸如所提取的特征部的中心坐标等的至少一个计算参数来计算振动量。图像处理装置102将所计算出的振动量与在图6所示的数值调节框618中指定的阈值进行比较(S1008)。如果比较处理的结果是振动量的振幅小于阈值，则图像处理装置102判断为摄像装置103处于静定状态。另一方面，如果振动量等于或大于阈值，则判断为摄像装置103不处于静定状态(S1014)。按预先在图6所示的数值调节框616中指定的测量间隔重复执行S1005～S1008和S1014的处理。
如果在S1014中获取到表示摄像装置103处于静定状态的判断结果，则执行S1015和S1016的处理。图像处理装置102进行基于图像处理的预定测量(S1015)，并将测量结果的数据发送至控制装置101(S1016)。
另一方面，如果在S1014中获取到表明摄像装置103不是处于静定状态的判断结果，则图像处理装置102判断是否经过了在图6所示的数值调节框617中指定的测量时间。如果没有经过所指定的测量时间，则重复执行S1005～S1008和S1014的处理。另一方面，如果经过了所指定的测量时间，则图像处理装置102判断为在测量时间内摄像装置103没有达到静定状态并且结束处理。可选地，图像处理装置102可以进行通知在测量时间内摄像装置103没有达到静定状态的处理，然后结束处理。
本实施例例如也适合如下的情况：由于使摄像装置固定的方法或者静定能力不足而导致摄像装置的静定能力的精度相对于图像处理的期望测量精度不足。由于可以根据图像处理和工件的类型来改变静定状态的判断的设置，因此可以判断为摄像装置处于必要且充分的静定状态，并且可以在所需最低限度的时间内进行摄像和图像测量。
另外，通过将图像处理用于静定状态的判断，还可以使用廉价照相机来在确保测量精度的同时进行图像处理。例如，在基于工件的拍摄图像根据工件的不同类型来对工件进行分类、并使用机器人将工件装载到不同的输送车辆中的处理中，可以通过提高静定状态的判断级别来设置更严格的判断条件。根据该设置，可以通过提高图像处理的测量精度来精确地控制机器人。另一方面，在使用摄像装置对输送车辆摄像并且判断输送车辆是否存在于停止框内的处理中，可以通过将静定的判断级别设置成低来放宽判断条件。根据该设置，可以在满足处理所需的测量精度的同时在短时间内完成所需测量。根据本实施例，通过根据所指定的静定判断条件以对于图像处理而言必要且充分的测量精度进行摄像装置的静定判断，可以在更短时间内进行测量处理。
[第二实施例]
接着，将说明本发明的第二实施例。尽管在第一实施例中需要通过用户操作指定基准图像区域，但在本实施例中将说明可以自动或半自动地确定基准图像区域的图像处理装置。即使不太了解图像特征的用户也可以设置优选的基准图像区域，因此可以降低设置时对个体的依赖性。根据本实施例的系统结构与根据第一实施例的系统结构相同，因而在使用已使用的附图标记时将省略对其的详细说明。这种说明的省略在后面要说明的实施例中是相同的。
图12示出本实施例的图像处理装置102中的基准特征登记处理画面的示例。图13是基准特征登记处理的序列图。以下将主要说明与第一实施例的点不同的点。在图12所示的登记画面1101上，添加了运行测量的按钮1102。用户可以通过操作该按钮1102来指示多次进行的测量的运行。
用户在观看基准特征登记画面1101的同时操作条604～606。图像处理装置102通过进行摄像装置103的照相机平台201的驱动控制来控制摄像方向。将摄像装置103所拍摄到的拍摄图像显示在图像显示区域607中。这里，在用户对按钮1102进行点击操作时，图像处理装置102将摄像指令发送至摄像装置103(图13：S1201)。摄像装置103进行预定次数的摄像(S1202)，并将所有图像的数据发送至图像处理装置102(S1203)。
图像处理装置102根据从摄像装置103接收到的图像数据来计算变化小的区域(S1204)，并用黑色显示变化大的区域1103。接着，图像处理装置102计算变化小的区域中的特征量大的区域。这里，特征量大的区域例如是对比度清晰的区域。图像处理装置102将特征量小的区域1104用灰色显示在图像显示区域607中(S1205)。然后，图像处理装置102将特征量大的区域1105确定为基准图像区域(S1206)。
在本实施方式中，例如，将通过进行了多次的测量所获取到的图像区域中的变化最小的图像区域自动设置为基准图像区域。可选地，图像处理装置102可以将变化小的区域中的特征量最大的区域自动设置为优先级高的基准图像区域。代替这样的自动处理，可以进行如下的半自动处理：向用户呈现变化小且特征量大的一个或多个区域作为基准图像区域的候选，并且用户进行选择操作。在这种情况下，进行提示用户选择基准图像区域的处理。可以在图像显示区域607中以白色显示向用户呈现例如变化小且特征量大的区域1105的候选，并且用户可以将期望区域指定为基准图像区域。
在本实施例中，即使不太了解图像特征的用户也可以设置优选的基准图像区域。另外，降低了设置时对个体的依赖性，并且可以进行不易受个人熟练程度影响的处理。
[第三实施例]
接着，将说明本发明的第三实施例。在第一实施例中，按图8B所示的测量间隔624测量摄像装置103的振动量，并且计算使用表示振动量的经过时间的图形线628所表示的振幅。图像处理装置102按测量间隔624进行测量，直到测量时间625中的特定时间点为止，并且在振动量的振幅变得小于阈值的时间点，判断为摄像装置103处于静定状态。
在本实施例中，将使用过去判断为静定状态的摄像装置和安装状态下的振动量的测量值来说明用于估计摄像装置进入静定状态的时间的处理。图14是示出振动量相对于时间的变化的图形，并且纵轴和横轴的设置与图8B的设置相同。图14示出在过去判断为静定状态的摄像装置中、基准特征部的根据时间经过的振动量的估计值1303。图像处理装置102按所设置的测量间隔624进行测量。图像处理装置102基于测量开始时刻t4的振动量、静定估计曲线1302和所设置的阈值1301来计算对象摄像装置被判断为处于静定状态的时刻t10。静定估计曲线1302是振动量的估计值1303的包络线，并且进行用于计算静定估计曲线1302与阈值1301的线相交的位置1304的估计处理。
图像处理装置102在紧挨摄像装置被估计为进入静定状态的时刻t10之前的时刻t9、或者更前的时刻t8，重新开始将阈值与振动量的振幅进行比较的处理。换句话说，图像处理装置102在从测量开始时刻t4起直到测量重新开始时刻t8为止的时间1305中不进行将振动量的振幅与阈值进行比较的处理。这样，可以确保图像处理装置102所使用的算术运算资源，或者可以进行根据另一任务的处理。
图像处理装置102基于过去测量到的测量值，来计算表示与作为对象的摄像装置有关的振动量的振幅相对于时间的变化的静定估计曲线的近似曲线。可选地，如果用户可以选择计算静定估计曲线的方法，则图像处理装置102进行呈现计算方法并选择计算方法的处理，并且计算手段是任意的。在本实施例中，通过基于过去测量到的值估计摄像装置进入静定状态的时间，可以减轻施加至将实际振动量的振幅与阈值进行比较的处理的负荷。
[第四实施例]
根据第四实施例的系统的整体结构图、以及图像处理装置102和摄像装置103的结构与第一实施例所述的图1、图2和图4中示出的结构相同。另外，在第四实施例中，用于生成图像处理程序407的流程图生成画面与第一实施例所述的图5中示出的流程图生成画面相同。由于该原因，将省略其重复说明。
这里，将参考图3A和3B来说明根据第四实施例的图像处理装置102的处理将。
图3A所示的图像301是摄像装置103通过对输送装置105上的工件108进行摄像所获取到的图像。图像处理装置102处理图像301的数据并计算工件108的实际空间坐标。控制装置101基于图像处理的结果来控制机器人104。此时，在摄像装置103的位置再现性下降时，在图像处理装置102所计算出的工件108的位置/姿势的坐标和工件108的位置/姿势的实际坐标之间发生误差。如果误差超过容许范围，则有可能在机器人104的控制中发生错误、并且在工件108的把持或拾取操作中引起问题。
因而，图像处理装置102在改变摄像装置103的摄像位置之后进行基准图像区域的摄像，并判断是否确保了位置再现性。尽管后面将说明基准图像区域，但例如，如示出用于固定输送装置105的螺栓或柱的区域302那样，根据时间经过的变化小且特征量大的区域合适作为基准图像区域。与此相反，如示出工件108及其周围部分的区域那样，在运动图像中位置或倾斜根据时间经过而改变的区域不适合作为基准图像区域。
摄像装置103将包括基准图像区域302的图像301的数据发送至图像处理装置102。可选地，摄像装置103可以将通过裁切基准图像区域302所获取到的图像数据发送至图像处理装置102。可选地，摄像装置103可以通过对图像301进行图像处理来提取后面要说明的特征，并且仅将表示该提取的结果的数据发送至图像处理装置102。
图3B所示的图像303是通过使用摄像装置103对输送车辆106摄像所获取到的图像。图像处理装置102对图像303进行图像处理，并判断输送车辆106是否存在于停止框111内。此时，假定摄像装置所需的位置再现性的判断精度低于测量情形A112的判断精度。相反，在需要过度的位置再现性的情况下，发生在进行多于所需的校正处理的情况下测量时间变长的事件。
图15是示出第四实施例的摄像处理中的基准特征登记处理画面的图。例如，在图5所示的流程图503中，如果用户对摄像处理504或508的处理部分进行双击操作，则通过输入/输出显示装置401显示登记处理画面1601。用户可以在观看登记处理画面1601的同时进行用作测量时的基准的基准特征部的设置登记。
根据第四实施例的基准特征登记处理的序列图与图7所示的序列图相同。以下将参考图15和图7来具体说明根据以下的处理(A)～(D)构成的登记处理。
(A)要使用的摄像装置的设置处理
(B)与摄像位置有关的平摇、俯仰和变焦倍率的设置处理
(C)为了对源自摄像装置中所包括的驱动机构单元的性能和劣化的位置再现性进行评价、而设置基准图像区域、要提取的特征和误差计算方法的处理。在驱动机构单元中，包括平摇机构、俯仰机构和变焦机构。
(D)设置针对各测量情形的容许误差和逃逸条件(escape condition)的处理
上述登记处理中所包括的(A)和(B)与根据第一实施例的处理相同，将省略重复说明，并且这里将说明处理(C)和(D)。
处理(C)的目的是使用预定图像处理来检测与摄像装置103有关的摄像位置的再现性。在图15所示的图像显示区域607内由虚线表示的各框609是用户登记基准图像区域所使用的框。用户可以使用操作输入装置402来改变框609的形状、位置和大小等。在图15中，用于固定输送装置105的各螺栓部分608的图像区域由框609包围，并且将四个框609内的区域指定为基准图像区域。在图7所示的S705中，示出用于确定基准图像区域的确定处理。可以添加或删除框609。例如，在用户进行鼠标的右侧点击操作时，显示上下文菜单(图中未示出)，并且在用户选择“框的添加/删除”时，可以进行添加或删除框的操作。
在图15所示的登记处理画面601的中间部分，示出两个数值调节框610和1611。数值调节框610与根据图6所示的第一实施例的数值调节框610相同。
在选择用于计算误差的方法时使用数值调节框1611。可以选择用于基于基准特征和在后面要说明的测量时提取的特征(与基准特征相同：模式的位置和相位；边缘；浓淡值；二值化区域的面积和位置；矩形的大小、位置和倾斜；长度；以及颜色浓度值等)来计算误差的方法。在用于计算误差的方法中，对于基准特征和所提取的各个特征，可以选择模式之间的一致度、边缘或区域的重心位置之间的差、矩形的大小之间的差、位置坐标的距离和倾斜之间的差、长度之间的差、浓淡之间的差、或者多个特征之间的位置关系等。在这种情况下，可以配置成能够设置两个以上的计算方法的组合。
接着，将说明处理(D)。如参考图3A所述，所需的测量精度和识别率根据测量情形而不同。在这种情况下，用户在指定摄像位置的再现性的判断条件时，可以使用数值调节框1612输入各图像处理过程中的容许误差。容许误差表示根据图像测量时的再现性的影响的误差的容许程度。容许误差例如使用像素数(以像素为单位)或实际距离(以厘米为单位)来表示。在本实施例中，将说明用户基于作为对象的图像测量处理所需的测量误差的量来使用数值调节框1612直接指定容许误差的形式。作为其它实施方式，如上所述，存在如下的形式：根据图像测量处理所需的测量误差范围和系统中所使用的摄像装置的装置信息等来估计图像测量的误差量，并且通过差分计算来计算和呈现推荐值。
在用户指定逃逸条件时使用数值调节框1613。逃逸条件是用于停止对相对于摄像装置103的摄像位置的校正的条件，并且例如，可以使用校正次数或校正限制时间(以秒为单位)来指定。如果测量时的测量误差超过容许误差，则图像处理装置102将校正指令发送至摄像装置103。此时，执行用于按使用数值调节框1613指定的校正次数或限制时间发送校正指令的处理。在选择是否执行校正处理时使用复选框1615。如果将选中标记应用于复选框1615，则执行对测量情形的校正处理。另外，通过省去复选框1615中的选中标记，可以设置成不对测量情形执行校正处理。
在上述的处理(A)～(D)结束、并且用户对OK按钮1614进行点击操作时，图像处理装置102使用所指定的特征提取方法来提取基准特征(图7：S706)。然后，进行用于以图16A和16B所示的数据格式生成所设置的项的数据的处理，并且将该数据作为基准特征信息存储在处理数据存储区406中(图7：S707)。
图16A和16B是示出根据第四实施例的基准特征信息的数据格式的图。图16A示出针对各摄像部分生成的数据的示例。例如，在摄像部分ID 1801是“01”的第一行中，照相机ID 1802是“01”，平摇方向1803的角度值是“10.0”(单位：°)，并且俯仰方向1804的角度值是“-5.0”(单位：°)。变焦倍率1805是“1.0”倍，特征提取方法1806是“模式匹配”，并且误差计算方法1807是“模式位置”。逃逸条件(数值)1808是“5”，并且逃逸条件(单位)1809是“次”。容许误差(数值)1810是“5”，并且容许误差(单位)1811是“像素”。在摄像部分ID 1801是“02”的第二行中，表示相对于摄像部分ID 1801是“01”的第一行、再现性的判断条件放宽。参考图15已说明了由附图标记1801～1811表示的项，因而将省略对这些项的说明。
在图16A所示的各行中指示的项的数据与基准特征信息ID 1812相关联。基准特征信息ID 1812是用于唯一地识别基准特征信息的ID(识别信息)。图16B示出针对各基准特征信息生成的数据的示例。例如，第一行的基准特征信息ID 1812是“A”。该ID“A”与在图16A所示的第一行中指示的摄像部分ID“01”相关联。第一行中的X坐标1813表示基准特征部的X坐标“860”，并且Y坐标1814表示基准特征部的Y坐标“520”。第一行中的宽度1815表示基准特征部的宽度“80”，并且高度1816表示基准特征部的高度“60”。例如，如果选择模式匹配方法作为特征提取方法，则将模式的图像数据记录在特征量1817的项中。可选地，如果选择重心位置的提取作为特征提取方法，则将重心的位置坐标记录在特征量1817的项中。文件名1818是基准特征部的图像文件的名称。例如，将假定在用户生成图像处理程序407之后、在测试系统时测量结果未达到满意级别的情况。通过再次显示图15所示的登记处理画面1601，用户可以进行使用数值调节框610来改变基准特征提取方法的操作和使用数值调节框1611来改变误差计算方法的操作。此时，通过记录基准特征部的图像文件，无需进行基准特征部的再摄像，因此可以实现作业的效率。
根据第四实施例的测量方法的设置画面与图10所示的画面相同，并且将省略重复说明。
图17是在接受到来自控制装置101的触发信号、并且图像处理装置102执行图像测量处理时的序列图。在图17中，添加了控制装置101所执行的处理，并且示出了在控制装置101、图像处理装置102和摄像装置103之间进行的处理的一个示例。将时间轴的方向定义为图17中从上侧向下侧的方向。
首先，控制装置101将控制指令发送至图像处理装置102(S2001)。图像处理装置102从处理数据存储区域406读取基准特征信息(图16A：1802～1818)(S2002)。接着，图像处理装置102将与摄像位置有关的平摇方向、俯仰方向和变焦倍率(图16A：1803～1805)的摄像指令发送至摄像装置103(S2003)。摄像装置103通过控制驱动单元来改变平摇角度、俯仰角度和变焦倍率(S2004)。进行摄像操作(S2005)，之后摄像装置103将拍摄图像的数据发送至图像处理装置102(S2006)。
图像处理装置102根据在图15所示的数值调节框610和1611中指定的特征提取方法和误差计算方法来从所接收到的图像数据提取特征部(S2007)。然后，图像处理装置102计算所提取的特征部的坐标、大小和倾斜至少之一中的误差。通过与基准特征信息的X坐标1813、Y坐标1814、宽度1815和高度1816进行比较来进行误差的计算(S2008)。这里，所提取的特征部和基准特征部之间的误差是评价值的一个示例。
如果在S2008中所计算出的误差大于所指定的容许误差，则图像处理装置102基于所提取的特征部和基准特征部之间的偏差来计算平摇角度、俯仰角度和变焦倍率的校正值(S2009)。后面将参考图18A～18E来说明校正处理。接着，图像处理装置102将针对平摇角度、俯仰角度和变焦倍率的校正指令发送至摄像装置103(S2010)。摄像装置103通过控制驱动单元来进行平摇角度和俯仰角度的改变以及变焦倍率的改变(S2011)。进行摄像操作(S2012)，并且摄像装置103将拍摄图像数据发送至图像处理装置102(S2013)。图像处理装置102进行与S2008的比较处理相同的比较处理，并判断所计算出的误差是否在所指定的容许误差内(等于或小于阈值)(S2014)。结果，如果误差等于或小于阈值，则进行预定的测量处理(S2015)，并且图像处理装置102将该测量结果的数据发送至控制装置101(S2016)。
另外，如果作为S2008中的比较处理的结果而判断为误差在所指定的容许误差内(等于或小于阈值)，则使用用户在设置画面901上指定的参数来进行预定的测量处理(S2015)。图像处理装置102将测量结果的数据发送至控制装置101(S2016)。
执行图17所示的S2009～S2014中示出的处理，直到满足用户在图15所示的数值调节框1613中指定的逃逸条件为止。在进行了预定次数或预定时间的校正处理之后，如果所计算出的误差大于容许误差，则图像处理装置102认为不能确保目标测量精度，并且将表示不能确保再现性的信号发送至控制装置101。另外，图像处理装置102将图像信号输出至输入/输出显示装置401，并执行显示表示不能确保摄像位置的再现性的显示画面并通知用户的处理。
通过使用S2009中所计算出的校正信息，作为参考图16A所述的基准特征信息的平摇方向1803、俯仰方向1804和变焦倍率1805的各信息被覆盖并被存储在处理数据存储区域406中。各信息可用于下次或任何后续时间的测量。可选地，图像处理装置102将S2009中所计算出的校正信息的历史数据存储在处理数据存储区域406中。图像处理装置102进行以下控制：使用所存储的校正值的历史数据基于多次的校正信息来在下次或后续时间的S2009中计算校正值，并且更新摄像位置的设置值。
将参考图18A～18E来更具体地说明图17所示的S2008～S2010的处理。图18A所示的图像示例2101示意性示出在参考图15所述的基准特征登记时图像处理装置102所登记的图像的基准特征部。多个基准特征部2102由具有矩形形状的框表示，并且这些基准特征部2102对应于图15所示的框609内的图像部分。虚线2103表示多个基准特征部2102之间的位置关系。基准特征部2102位于由四个虚线2103表示的矩形的顶点处。
图18B所示的图像示例2104示意性示出在图17所示的S2006中图像处理装置102在测量时接收到的图像的特征。多个特征部2105由在图17所示的S2007中提取的具有矩形形状的框表示。虚线2114表示多个特征部2105之间的位置关系。特征部2105位于由四个虚线2114表示的矩形的顶点处。在图17所示的S2008中，进行比较基准特征部2102和特征部2105在图像中的位置并判断是否发生误差的处理。如果发生了误差并且该误差超过容许误差，则在S2009中计算校正值。例如，基准特征部2102和特征部2105之间在图像中的X轴和Y轴上的误差将分别由Δx和Δy表示。方向P上的校正值将由ΔP表示，并且方向T上的校正值将由ΔT表示。图像处理装置102使用以下的等式(1)来计算各校正值。
ΔP＝Fp(Δx)
ΔT＝Ft(Δy) (1)
等式(1)中表示的Fp()是基于Δx的方向P的校正函数，并且Ft()是基于Δy的方向T的校正函数。可以通过使用比例函数作为校正函数来进行比例控制。可选地，可以使用将ΔP和Δx以及ΔT和Δy相关联的参考表来进行计算Fp()和Ft()的处理。
图像处理装置102校正图16A所示的在平摇方向1803上记录的平摇角度P和在俯仰方向1804上记录的俯仰角度T。校正之后的平摇角度和俯仰角度分别是P+ΔP和T+ΔT。在图17所示的S2010中，图像处理装置102将基于P+ΔP和T+ΔT的校正指令发送至摄像装置103。
图18C示出在变焦倍率的再现性下降的情况下的图像示例2106。作为多个特征部2107，在图17所示的S2006中图像处理装置102所接收到的图像的特征部由具有矩形形状的框表示。虚线2108表示多个特征部2107之间的位置关系。特征部2107位于由四个虚线2108表示的矩形的顶点处。存在如下的情况：在图18A所示的基准特征部2102和在S2006中图像处理装置102所接收到的图像的特征部2107之间在在特征部的大小和距离方面发生误差。在这种情况下，图像处理装置102进行变焦倍率的校正。这里，各基准特征部2102的大小将由S1表示，并且各特征部2107的大小将由S2表示。图像处理装置102基于S2和S1来计算比S2/S1，并且进行变焦倍率的校正。
可选地，图像处理装置102将图18A所示的彼此相邻的基准特征部2102之间的距离与图18C所示的彼此相邻的特征部2107之间的距离进行比较，并且进行变焦倍率的校正。这里，在彼此相邻的基准特征部2102之间的距离由d1表示时，可以基于图18A中由虚线2103表示的基准特征部2102之间的位置关系来计算距离d1。另外，在彼此相邻的特征部2107之间的距离由d2表示时，可以基于图18C中由虚线2108表示的特征部2107之间的位置关系来计算距离d2。图像处理装置102计算距离之间的比d2/d1，并使用该比d2/d1来进行变焦倍率的校正。
在变焦倍率的校正值由ΔZ表示时，图像处理装置102使用以下的等式(2)来计算校正值ΔZ。
ΔZ＝Fzs(S2/S1)
或者
ΔZ＝Fzd(d2/d1) (2)
等式(2)中表示的FzS()是用于基于比S2/S1来校正变焦倍率的校正函数。Fzd()是用于基于比d2/d1来校正变焦倍率的校正功能。可选地，可以使用将ΔZ与比S2/S1相关联的参考表或者将ΔZ与比d2/d1相关联的参考表来计算变焦倍率的校正值。
在图16A中示出的变焦倍率1805由Z表示时，图像处理装置102通过校正变焦倍率Z来计算Z+ΔZ。图像处理装置102在图17所示的S2010中将基于Z+ΔZ的校正指令发送至摄像装置103。
图18D是示出照相机平台201在P方向上的转动轴接近摄像装置103的摄像系统202的光轴的方向的情况的示意图。图18E是示出由于摄像装置103的侧倾而可能发生的图像2109中的特征部的倾斜的示意图。多个特征部2110由具有矩形形状的框表示，并且多个特征部之间的位置关系由虚线2111表示。特征部2110位于由四个虚线2111表示的矩形的顶点处。
例如，在图17所示的S2006中图像处理装置102所接收到的图像数据的特征部的倾斜中可能发生误差。图18E示出由虚线2111表示的特征部2110之间的位置关系相对于图18A所示的由虚线1103表示的基准特征部2102之间的位置关系倾斜的示例。在这种情况下，图像处理装置102将多个基准特征部2102的位置关系(参见由虚线2103表示的矩形)与多个特征部2110的位置关系(参见由虚线2111表示的矩形)进行比较并计算它们之间的倾斜角度。在该倾斜角度Δθ1表示时，图像处理装置102使用Δθ1来进行平摇角度的校正。
可选地，图像处理装置102将图18B所示的多个特征部2105的位置关系(参见由虚线2114表示的矩形)与图18E所示的多个特征部2110的位置关系(参见由虚线2111表示的矩形)进行比较。图像处理装置102计算多个特征部2105和多个特征部2110之间的倾斜角度。在该倾斜角度由Δθ2表示时，图像处理装置102使用Δθ2来进行平摇角度的校正。例如，使用以下的等式(3)计算平摇角度的校正值ΔP。
ΔP＝Fp1*(Δθ1)
或者
ΔP＝Fp2*(Δθ2) (3)
等式(3)中表示的Fp1*()是基于Δθ1的平摇角度的校正函数，并且Fp2*()是基于Δθ2的平摇角度的校正函数。另外，可以使用将ΔP与Δθ1相关联的参考表或者将ΔP与Δθ2相关联的参考表来计算校正值ΔP。
上述的各校正功能是在设计系统时使用系统的设计信息所确定的。可选地，在设置系统时操作摄像装置103的驱动系统的处理中，通过测量伴随有平摇方向、俯仰方向和变焦倍率的实际变化的特征量的变化量，来执行用于确定校正函数的处理。
在本实施例中，已分别说明了摄像装置103的平摇和俯仰在其驱动时的再现性下降的情况、变焦倍率的再现性下降的情况、以及侧倾的再现性下降的情况。在这些情况中，如果同时发生两个以上的情况，则系统被配置成同时执行两个以上的校正处理。
在本实施例中，即使测量情形的摄像位置的再现性对于各图像处理过程中的期望测量精度或期望识别率而言不足，也可以在执行必要且充分的校正处理的同时确保图像处理的识别率或测量精度。例如，在基于通过使用摄像装置对工件摄像所获取到的图像、根据工件的类型使用机器人将工件加载到不同的输送车辆中的处理中，通过输入相对较小的容许误差，提高了图像处理的测量精度，并且可以精确地控制机器人。另一方面，在使用摄像装置对输送车辆摄像并且判断输送车辆是否存在于停止框内的处理中，通过输入相对较大的容许误差，图像测量可以在短时间内结束。根据本实施例，可以在根据所指定的判断条件确保摄像位置的再现性的同时，在更短的时间内进行图像处理。
[第五实施例]
接着，将说明本发明的第五实施例。在第四实施例中，尽管需要通过用户操作指定基准图像区域，但在本实施例中将说明能够自动或半自动地确定基准图像区域的图像处理装置。即使不太了解图像特征的用户也可以设置优选的基准图像区域，因此可以降低设置时对个体的依赖性。根据本实施例的系统结构与根据第四实施例的系统结构相同，因而将通过使用已使用的附图标记来省略对该系统结构的详细说明。
图19示出本实施例的图像处理装置102中的基准特征登记处理画面的示例。根据第五实施例的基准特征登记处理的序列图与图13所示的序列图相同。以下将主要说明与第四实施例的点不同的点。在图19所示的登记画面2201上，添加了运行测量的按钮2202。用户可以通过操作该按钮2202来指示多次进行的测量的运行。
用户在观看基准特征登记画面2201的同时操作条604～606。图像处理装置102通过进行摄像装置103的照相机平台201的驱动控制来控制摄像方向。将摄像装置103所拍摄到的拍摄图像显示在图像显示区域607中。这里，在用户对按钮1202进行点击操作时，图像处理装置102将摄像指令发送至摄像装置103(图13：S1201)。摄像装置103进行预定次数的摄像(S1202)，并将所有图像的数据发送至图像处理装置102(S1203)。
图像处理装置102根据从摄像装置103接收到的图像数据来计算变化小的区域(S1204)，并用黑色显示变化大的区域2203。接着，图像处理装置102计算变化小的区域中的特征量大的区域。这里，特征量大的区域例如是对比度清晰的区域。图像处理装置102将特征量小的区域2204用灰色显示在图像显示区域607中(S1205)。然后，图像处理装置102将特征量大的区域2205确定为基准图像区域(S1206)。
在本实施例中，例如，将通过进行了多次的测量所获取到的图像区域中的变化最小的图像区域自动设置为基准图像区域。可选地，图像处理装置102可以将变化小的区域中的特征量最大的区域自动设置为优先级高的基准图像区域。代替这样的自动处理，可以进行如下的半自动处理：向用户呈现变化小且特征量大的一个或多个区域作为基准图像区域的候选，并且用户进行选择操作。在这种情况下，进行提示用户选择基准图像区域的处理。可以在图像显示区域607中以白色显示向用户呈现例如变化小且特征量大的区域2205的候选，并且用户可以将期望区域指定为基准图像区域。
在本实施例中，即使不太了解图像特征的用户也可以设置优选的基准图像区域。另外，降低了设置时对个体的依赖性，并且可以进行不易受个人熟练程度影响的处理。
[其它实施例]
在实施例中，尽管已经说明了具有控制装置101、图像处理装置102和摄像装置103是单独组件的结构的实施方式，但本发明不限于这样的实施例。例如，存在如下的摄像装置，该摄像装置在一个装置内包括与图像处理装置102相对应的图像处理单元、以及与摄像装置103相对应的能够改变摄像方向和摄像视角的摄像单元。可选地，存在在一个装置内包括分别与控制装置101、图像处理装置102和摄像装置103相对应的组件的摄像装置。这样的摄像装置属于本发明的技术范围。
另外，在上述实施例中，尽管已经说明了基于从用户接收到的输入来设置判断条件的示例，但本发明的结构不限于上述实施例。
例如，图像处理装置102可以从预先在数据表中准备的多个判断条件中自动选择要应用的判断条件。另外，图像处理装置102可以测量机器人104所要把持的工件108的大小，并根据所测量到的工件108的大小来自动改变判断条件。
另外，在上述实施例中，尽管已经说明了在拍摄图像中设置基准图像区域并且图像处理装置102从该基准图像区域中提取基准特征的示例，本发明的结构不限于上述实施例。
例如，将假定在设置摄像装置103的摄像位置之后通过驱动输送装置105来输送工件108的情况。在上述情况中，在获取拍摄图像时在输送装置105上不存在工件108，并且在拍摄图像中不包括位置或倾斜根据时间经过而改变的区域。因此，在上述情况中，图像处理装置102可以在不设置拍摄图像的基准图像区域的情况下，使用整个拍摄图像来判断摄像装置103的静定状态和位置再现性的确保。
另外，图像处理装置102可以在使拍摄图像和基准图像的位置彼此偏移的同时，搜索图像之间的差分变为最小的位置。在上述情况中，即使在未从拍摄图像中提取到预定基准图像区域中所包括的图像的特征部时，也可以使用整个拍摄图像来判断摄像装置103的静定状态和位置再现性的确保。
另外，在上述第四实施例中，图像处理装置102可以根据机器人104所进行的处理的详情来改变针对摄像装置103的摄像位置的再现性的容许误差。例如，同样在摄像位置相同的情况下，图像处理装置102可以根据输送装置105所输送的工件108的类型来改变针对摄像位置的再现性的容许误差。更具体地，如果输送装置105所输送的工件108大，则图像处理装置102可以将容许误差设置成大于工件108小的情况的容许误差。可选地，在输送装置105所输送的工件108的形状是简单形状的情况下，图像处理装置102可以将容许误差设置成大于工件108的形状复杂的情况的容许误差。
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施方式中的一个或多个的功能以及/或者包括用于进行上述实施方式中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的各实施方式，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施方式中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施方式中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施方式说明了本发明，但是应该理解，本发明不限于所公开的典型实施方式。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2018年7月6日提交的日本专利申请2018-129070和2018年7月6日提交的日本专利申请2018-129182的优先权，在此通过引用包含这些申请的全部内容。

Claims (23)

1.一种图像处理装置，用于对拍摄图像的数据进行处理，所述拍摄图像是通过使用能够改变摄像方向或摄像视角的摄像部件对测量对象进行摄像而获取到的，所述图像处理装置包括：
计算部件，其被配置为基于所述摄像部件在测量时的摄像位置处获取到的拍摄图像和该图像的基准特征，来计算评价值；
图像处理部件，其被配置为获取使用所述摄像部件的所述拍摄图像的数据并且进行图像处理；
第一设置部件，其被配置为设置用于判断所述摄像部件的摄像位置的再现性的判断条件；以及
控制部件，其被配置为进行如下控制：在所述计算部件所计算出的评价值满足所述第一设置部件所设置的判断条件的情况下，使用所述图像处理部件进行所述拍摄图像的图像处理，并且输出所述图像处理的结果。
2.根据权利要求1所述的图像处理装置，其中，
所述判断条件包括阈值，以及
所述控制部件通过将所述评价值与所述阈值进行比较，来判断是否使用所述图像处理部件进行所述拍摄图像的图像处理。
3.根据权利要求2所述的图像处理装置，其中，所述计算部件基于所述拍摄图像来识别表示所述摄像部件的振动量的信息，并且将表示所述振动量的信息设置为所述评价值。
4.根据权利要求2所述的图像处理装置，其中，
所述判断条件是从多个判断级别中选择的，以及
所述控制部件通过将所述计算部件所计算出的评价值和与从所述多个判断级别中选择的判断级别相对应的所述阈值进行比较，来判断是否使用所述图像处理部件进行所述拍摄图像的图像处理。
5.根据权利要求3所述的图像处理装置，其中，
所述判断条件还包括测量间隔和测量时间，以及
所述控制部件通过基于使用所述测量间隔和所述测量时间的测量结果而将所述计算部件所计算出的评价值与所述阈值进行比较，来判断是否使用所述图像处理部件进行所述拍摄图像的图像处理。
6.根据权利要求4所述的图像处理装置，其中，所述判断条件是通过预先组合与所述判断级别相对应的测量间隔、测量时间和所述阈值而获取到的。
7.根据权利要求3所述的图像处理装置，其中，所述控制部件在所述评价值变得小于所述阈值的情况下，判断为使用所述图像处理部件进行所述拍摄图像的图像处理。
8.根据权利要求5所述的图像处理装置，其中，所述控制部件在判断为所述计算部件在所述测量时间内计算出的所述振动量的振幅不小于所述阈值的情况下，发出预定通知。
9.根据权利要求1所述的图像处理装置，其中，所述计算部件将表示在所述拍摄图像的包括所述基准特征的图像区域中提取的特征部的位置和所述基准特征的位置之间的差的信息设置为所述评价值。
10.根据权利要求9所述的图像处理装置，还包括校正部件，所述校正部件被配置为在所述计算部件所计算出的评价值不满足所述判断条件的情况下，使所述摄像部件校正所述摄像位置。
11.根据权利要求10所述的图像处理装置，其中，所述判断条件包括所述计算部件所计算出的所述差的阈值、以及用于限制使用所述校正部件的所述摄像位置的校正的条件。
12.根据权利要求11所述的图像处理装置，其中，
所述校正部件按表示用于限制所述摄像位置的校正的条件的次数或时间进行校正，以及
在由所述校正部件校正后的摄像位置处获取到的拍摄图像中所述计算部件所计算出的差等于或小于所述阈值的情况下，所述控制部件使用所述图像处理部件进行所述拍摄图像的图像处理，以及在即使所述校正部件按所述次数或所述时间进行所述摄像位置的校正、所述计算部件所计算出的差也大于所述阈值的情况下，所述控制部件进行用于通知不能确保所述摄像位置的再现性的处理。
13.根据权利要求12所述的图像处理装置，其中，所述控制部件进行如下控制：使用根据所述校正部件的所述摄像位置的校正值、或者所述校正值的历史数据来更新所述摄像位置的设置值。
14.根据权利要求1所述的图像处理装置，还包括第二设置部件，所述第二设置部件被配置为进行如下处理：基于用户操作来在所述拍摄图像中设置作为基准的基准图像区域，并且将所述基准图像区域中的图像的特征部设置为所述基准特征。
15.根据权利要求14所述的图像处理装置，其中，所述第二设置部件将通过多次进行的测量所获取到的图像区域中的变化小的图像区域设置为所述基准图像区域的候选。
16.根据权利要求14所述的图像处理装置，其中，所述第二设置部件进行用于将除了与所述测量对象相对应的图像区域以外的图像区域设置为所述基准图像区域的处理。
17.根据权利要求1至16中任一项所述的图像处理装置，其中，所述第一设置部件基于用户操作来设置所述判断条件。
18.根据权利要求1至16中任一项所述的图像处理装置，还包括驱动控制部件，所述驱动控制部件被配置为进行用于通过控制所述摄像部件的驱动部件来改变所述摄像部件的摄像方向或摄像视角的控制，并且设置所述测量对象的摄像位置。
19.根据权利要求1至16中任一项所述的图像处理装置，其中，将所述图像处理的结果输出至用于控制输送工件的机器人的控制装置。
20.根据权利要求1至16中任一项所述的图像处理装置，还包括所述摄像部件。
21.根据权利要求1至16中任一项所述的图像处理装置，还包括机器人控制部件，所述机器人控制部件用于基于所述图像处理的输出结果来控制机器人。
22.一种图像处理装置控制方法，其由图像处理装置执行，所述图像处理装置用于对拍摄图像的数据进行处理，所述拍摄图像是通过使用能够改变摄像方向或摄像视角的摄像部件对测量对象进行摄像而获取到的，所述控制方法包括：
基于所述摄像部件在测量时的摄像位置处获取到的拍摄图像和该图像的基准特征，来计算评价值；
获取使用所述摄像部件的所述拍摄图像的数据并且进行图像处理；
设置用于判断所述摄像部件的摄像位置的再现性的判断条件；以及
进行如下控制：在所计算出的评价值满足根据所述设置的所述判断条件的情况下，进行所述拍摄图像的图像处理，并且输出所述图像处理的结果。
23.一种非暂时性记录介质，其存储用于使图像处理装置的计算机进行该计算机的控制方法的各步骤的计算机程序，所述图像处理装置用于对拍摄图像的数据进行处理，所述拍摄图像是通过使用能够改变摄像方向或摄像视角的摄像部件对测量对象进行摄像而获取到的，所述控制方法包括：
基于所述摄像部件在测量时的摄像位置处获取到的拍摄图像和该图像的基准特征，来计算评价值；
获取使用所述摄像部件的所述拍摄图像的数据并且进行图像处理；
设置用于判断所述摄像部件的摄像位置的再现性的判断条件；以及
进行如下控制：在所计算出的评价值满足根据所述设置的所述判断条件的情况下，进行所述拍摄图像的图像处理，并且输出所述图像处理的结果。
CN201910603870.0A 2018-07-06 2019-07-05 图像处理装置、控制方法和记录介质 Active CN110691186B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-129070 2018-07-06
JP2018129070A JP7210171B2 (ja) 2018-07-06 2018-07-06 画像処理装置およびその制御方法、撮像装置、プログラム
JP2018-129182 2018-07-06
JP2018129182A JP7094806B2 (ja) 2018-07-06 2018-07-06 画像処理装置およびその制御方法、撮像装置、プログラム

Publications (2)

Publication Number Publication Date
CN110691186A true CN110691186A (zh) 2020-01-14
CN110691186B CN110691186B (zh) 2022-04-29

Family

ID=69102694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603870.0A Active CN110691186B (zh) 2018-07-06 2019-07-05 图像处理装置、控制方法和记录介质

Country Status (2)

Country Link
US (1) US11336831B2 (zh)
CN (1) CN110691186B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524170A (zh) * 2020-04-21 2021-10-22 佳能株式会社 监视对象的图像处理装置及其控制方法以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252018B2 (ja) * 2019-03-18 2023-04-04 株式会社キーエンス 画像測定装置
US10791271B1 (en) * 2019-07-17 2020-09-29 Alibaba Group Holding Limited Obtaining stable frames
JP7328849B2 (ja) * 2019-09-25 2023-08-17 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP2021052325A (ja) 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7307643B2 (ja) 2019-09-25 2023-07-12 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7248149B2 (ja) * 2019-12-04 2023-03-29 日本電気株式会社 異常判定装置、異常判定方法およびコンピュータプログラム
WO2022157886A1 (ja) 2021-01-21 2022-07-28 日本電気株式会社 パラメータ最適化システム、パラメータ最適化方法、及びコンピュータプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892677A (zh) * 2005-07-04 2007-01-10 发那科株式会社 检查螺钉部的装置及方法
CN1981302A (zh) * 2004-07-09 2007-06-13 奥林巴斯株式会社 图像处理装置和方法
US20100289940A1 (en) * 2009-05-15 2010-11-18 Masaaki Toguchi Imaging device and focusing method
CN101996408A (zh) * 2009-08-06 2011-03-30 佳能株式会社 图像处理设备和图像处理方法
CN102144156A (zh) * 2008-09-10 2011-08-03 夏普株式会社 评价装置、校正方法、校正程序、及记录介质
JP2015125196A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 焦点調節装置及び方法及び撮像装置
CN104915633A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置、图像处理方法及图像处理程序

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838368A (en) * 1992-06-22 1998-11-17 Canon Kabushiki Kaisha Remote camera control system with compensation for signal transmission delay
JP3722653B2 (ja) * 1999-08-31 2005-11-30 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
JP3809309B2 (ja) * 1999-09-27 2006-08-16 キヤノン株式会社 カメラ制御システム及びカメラ制御方法及び記憶媒体
JP3880495B2 (ja) * 2002-09-25 2007-02-14 キヤノン株式会社 撮像装置の制御方法及び画像配信装置
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP4498104B2 (ja) * 2004-11-16 2010-07-07 キヤノン株式会社 監視装置、その制御方法、およびプログラム
JP5509773B2 (ja) * 2009-01-21 2014-06-04 オムロン株式会社 パラメータ決定支援装置およびパラメータ決定支援プログラム
JP5728878B2 (ja) * 2010-10-13 2015-06-03 オムロン株式会社 画像処理装置および画像処理方法
JP5316563B2 (ja) * 2011-02-15 2013-10-16 オムロン株式会社 画像処理装置および画像処理システム
JP5865707B2 (ja) * 2012-01-06 2016-02-17 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP2015097301A (ja) 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5955171B2 (ja) * 2012-09-11 2016-07-20 キヤノン株式会社 送信装置、受信装置、送信方法、受信方法、及びプログラム
KR20140091343A (ko) * 2013-01-11 2014-07-21 삼성테크윈 주식회사 영상 감시 시스템 및 그의 동작 방법
JP2015186021A (ja) 2014-03-24 2015-10-22 オリンパス株式会社 撮影機器、撮像観察機器、画像比較表示方法、画像比較表示プログラム及び画像比較表示システム
JP6390720B2 (ja) * 2015-02-05 2018-09-19 株式会社リコー 画像処理装置、画像処理システムおよび画像処理方法
JP6633862B2 (ja) * 2015-08-04 2020-01-22 キヤノン株式会社 情報処理装置およびその制御方法
KR101674586B1 (ko) * 2016-05-10 2016-11-10 주식회사 와이앤엠시스템즈 Ptz 카메라의 촬영영상 설정방법 및 그를 위한 장치
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
JP6663807B2 (ja) * 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
US20180316877A1 (en) * 2017-05-01 2018-11-01 Sensormatic Electronics, LLC Video Display System for Video Surveillance
JP7013210B2 (ja) * 2017-11-10 2022-01-31 キヤノン株式会社 撮像装置、撮像方法、表示装置および表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1981302A (zh) * 2004-07-09 2007-06-13 奥林巴斯株式会社 图像处理装置和方法
CN1892677A (zh) * 2005-07-04 2007-01-10 发那科株式会社 检查螺钉部的装置及方法
CN102144156A (zh) * 2008-09-10 2011-08-03 夏普株式会社 评价装置、校正方法、校正程序、及记录介质
US20100289940A1 (en) * 2009-05-15 2010-11-18 Masaaki Toguchi Imaging device and focusing method
CN101996408A (zh) * 2009-08-06 2011-03-30 佳能株式会社 图像处理设备和图像处理方法
JP2015125196A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 焦点調節装置及び方法及び撮像装置
CN104915633A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置、图像处理方法及图像处理程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524170A (zh) * 2020-04-21 2021-10-22 佳能株式会社 监视对象的图像处理装置及其控制方法以及存储介质
CN113524170B (zh) * 2020-04-21 2024-02-27 佳能株式会社 监视对象的图像处理装置及其控制方法以及存储介质

Also Published As

Publication number Publication date
US11336831B2 (en) 2022-05-17
CN110691186B (zh) 2022-04-29
US20200014856A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
CN110691186B (zh) 图像处理装置、控制方法和记录介质
KR100499764B1 (ko) 디지털 이미지에서 객체를 측정하는 방법 및 시스템
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
EP2299404A1 (en) Image processing apparatus
US20150054955A1 (en) Image processing method of vehicle camera and image processing apparatus using the same
US11087456B2 (en) Image inspection apparatus and setting method for image inspection apparatus
JP6494418B2 (ja) 画像解析装置、画像解析方法、およびプログラム
JP4931476B2 (ja) 真円度を計測する手法に特長をもつ画像処理方法および画像処理装置
JP6116710B2 (ja) 外観検査装置および外観検査方法
CN113888510A (zh) 检测方法、检测装置、检测设备及计算机可读存储介质
US6885777B2 (en) Apparatus and method of determining image processing parameter, and recording medium recording a program for the same
JP7094806B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US11519780B2 (en) Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium
JP2008160635A (ja) カメラ状態検出方法
JP2021076711A (ja) スクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラム
EP3647236B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP6323160B2 (ja) 検査装置、検査方法及び検査プログラム
CN113706508B (zh) 光束质量分析方法、设备、光束分析系统及存储介质
JP7210171B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN111145674B (zh) 显示面板的检测方法、电子设备和存储介质
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
JP6662126B2 (ja) 検出装置、方法及びプログラム
JP4530723B2 (ja) パターンマッチング方法、パターンマッチング装置、および電子部品実装方法
JP6073655B2 (ja) 中心位置検出方法および中心位置検出装置
US11913889B2 (en) Prediction device for predicting a growth direction of a crack in a subject and prediction method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant