CN103348376B - 图像处理装置 - Google Patents
图像处理装置 Download PDFInfo
- Publication number
- CN103348376B CN103348376B CN201180066697.7A CN201180066697A CN103348376B CN 103348376 B CN103348376 B CN 103348376B CN 201180066697 A CN201180066697 A CN 201180066697A CN 103348376 B CN103348376 B CN 103348376B
- Authority
- CN
- China
- Prior art keywords
- image
- shooting
- shoot part
- gradient
- accepts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 230000000007 visual effect Effects 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims description 6
- 238000004321 preservation Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 60
- 238000005259 measurement Methods 0.000 description 51
- 238000002372 labelling Methods 0.000 description 35
- 230000005484 gravity Effects 0.000 description 16
- 230000009471 action Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N ferric oxide Chemical compound O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 235000021185 dessert Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
- G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
图像处理装置，其从以在拍摄视场内包括工件的搬运路的至少一部分的方式配置的拍摄部（110），受理通过进行拍摄而获得的拍摄图像，其具有：图像受理单元，其受理拍摄图像，拍摄图像是通过拍摄部（110）拍摄放置在搬运路上的目标物而获取的图像，位置获取单元，其获取受理的拍摄图像中的目标物的位置，倾斜获取单元，其利用目标物位置，获取包括拍摄部（110）的拍摄视场的面相对于放置有目标物的面的倾斜度，目标物位置是指，通过位置获取单元而获取的目标物在拍摄图像中的位置，输出单元，其利用获取的倾斜度，输出用于支援拍摄部（110）的姿势调整的支援信息。
Description
技术领域
本发明涉及一种图像处理装置及图像处理程序，特别是涉及一种用于支援(辅助)拍摄部的设置方式的调整作业的图像处理装置及图像处理程序。
背景技术
在FA(Factory Automation：工厂自动化)领域等中，实际应用所谓的视觉传感器来作为如下的装置：光学性地检测制造过程中的半成品或发货前的产品等出现的缺陷，或者光学性地检测缺陷的大小的装置。
在利用这种视觉传感器进行检测或计测的情况下，需要恰当地拍摄工件(对象物)。对通过进行拍摄而获得的输入图像进行各种图像处理，由此，来检查及计测工件。
在将视觉传感器设置于实际的制造车间等的情况下，需要对视觉传感器具备的摄像头等的拍摄部进行恰当的设定。作为这种设定的典型例，例如，设定拍摄部的视场角(Angle of view)(或视角)。
根据拍摄部的角度等设置姿势，决定拍摄部的视场。在制造车间中，在拍摄部的设置姿势发生偏移，使得视场与规定视场之间发生偏移时，没有工件进入视场内，导致难以进行基于图像的检查及计测。因此，为了将拍摄部返回原来的姿势，通常，操作员一边利用监视器确认图像，一边通过反复试验手动地调整设置姿势，以使工件移至视场的规定位置。
为了支持对拍摄部的设置姿势进行的调整，提出了例如专利文献1公开的摄像头的姿势调整方法。根据专利文献1，为了易于进行调整作业，而显示表示摄像头的拍摄面的倾斜的倾斜信息，该调整作业用于，在翻拍台(copy stand)上以与原稿台呈水平状态的方式设置摄像头。
现有技术文献
专利文献
专利文献1：日本特开2008-3394号公报
发明内容
发明要解决的问题
由于专利文献1的摄像头在翻拍台上的设置位置固定，所以只要所提示的用于调整作业的信息表现出能够表示原稿台与摄像头的平行度的倾斜信息即可，但在组装装置的情况下，仅凭借该倾斜信息，难以决定摄像头的唯一的设置姿势。
因此，本发明的目的在于，提供一种能够易于调整拍摄部的姿势的图像处理装置及图像处理程序。
用于解决上述问题的手段
根据本发明的一个技术方案的图像处理装置，其从拍摄部受理通过拍摄而获得的拍摄图像，该拍摄部配置为其拍摄视场内包括工件的搬运路的至少一部分，该图像处理装置具有：图像受理单元，其受理拍摄图像，拍摄图像是通过拍摄部拍摄放置在搬运路上的目标物而获取的图像；位置获取单元，其获取所受理的拍摄图像中的目标物的位置；倾斜获取单元，其利用通过位置获取单元获取的目标物在拍摄图像中的位置，来获取包括拍摄部的拍摄视场的面相对于放置有目标物的面的倾斜度；输出单元，其利用所获取的倾斜度，输出用于支援拍摄部的姿势调整的支援信息。
优选地，支援信息包括表示应该改变拍摄部的姿势的方向的信息。
优选地，倾斜获取单元获取第一偏移量来作为倾斜度，第一偏移量是指，获取的目标物在拍摄图像中的位置与拍摄图像中的事先规定的位置之间的偏移量。
优选地，倾斜获取单元获取第一距离来作为倾斜度，第一距离是指，获取的目标物在拍摄图像中的位置与拍摄图像中的事先规定的位置之间的距离。
优选地，目标物具有事先规定的形状，倾斜获取单元获取第一变形程度来作为倾斜度，第一变形的程度是指，与事先规定的形状相比，目标物在拍摄图像中的形状变形的程度。
优选地，支援信息包括受理的拍摄图像，输出单元包括保存单元，保存单元在存储器内保存支援信息。
优选地，倾斜获取单元获取第二偏移量来作为倾斜度，第二偏移量是指， 保存目标物位置与获取目标物位置之间的偏移量，保存目标物位置是指，保存在保存单元内的支援信息所包含的拍摄图像中的目标物的位置，获取目标物位置是指，在图像受理单元从拍摄部受理的拍摄图像中，由位置获取单元获取的目标物在拍摄图像中的位置。
优选地，倾斜获取单元获取第二距离来作为倾斜度，第二距离是指，保存目标物位置与获取目标物位置之间的距离，保存目标物位置是指，保存在保存单元内的支援信息所包含的拍摄图像中的目标物的位置，获取目标物位置是指，在图像受理单元从拍摄部受理的拍摄图像中，由位置获取单元获取的目标物的位置。
优选地，目标物具有事先规定的形状，倾斜获取单元获取第二目标物变形的程度来作为倾斜度，第二目标物变形的程度是指，与保存目标物形状相比，受理目标物形状的变形的程度，保存目标物形状是指，保存在保存单元内的支援信息所包含的拍摄图像中的目标物的形状，受理目标物形状是指，图像受理单元从拍摄部受理的拍摄图像中的目标物的形状。
根据本发明的另一个技术方案，提供一种图像处理程序，其通过计算机执行，计算机从以在拍摄视场内包括工件的搬运路的至少一部分的方式配置的拍摄部，受理通过进行拍摄而获得的拍摄图像。
图像处理程序使计算机起到如下的作用：图像受理单元，其受理拍摄图像，拍摄图像是通过拍摄部拍摄放置在搬运路上的目标物而获取的图像，位置获取单元，其获取受理的拍摄图像中的目标物的位置，倾斜获取单元，其利用目标物位置，获取包括拍摄部的拍摄视场的面相对于放置有目标物的面的倾斜度，目标物位置是指，通过位置获取单元而获取的目标物在拍摄图像中的位置，输出单元，其利用获取的倾斜度，输出用于支援拍摄部的姿势调整的支援信息。
发明的效果
根据本发明，操作员能够利用所输出的支援信息，调整拍摄部的姿势。
附图说明
图1是表示利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的结构的示意图。
图2是表示本发明的第一实施方式的图像处理装置的硬件结构的示意图。
图3是表示本发明的第一实施方式的图像处理装置的功能结构的示意图。
图4是本发明的第一实施方式的全部处理流程图。
图5是示意性地表示本发明的第一实施方式的靶纸（target sheet）的图。
图6是表示包括本发明的第一实施方式的靶纸的拍摄图像的显示例的图。
图7是示出表示本发明的第一实施方式的拍摄图像的画面的一个例子的图。
图8是放大表示图7的拍摄图像的图。
图9是表示显示图7的视觉传感器的图像的图。
图10是表示包括本发明的第一实施方式的靶纸的拍摄图像的显示例的图。
图11是表示包括本发明的第一实施方式的靶纸的拍摄图像的显示例的图。
图12是表示用于说明本发明的第一实施方式的计测处理的画面例的图。
图13是表示用于说明本发明的第一实施方式的计测处理的画面例的图。
图14是用于说明决定用于进行本发明的第一实施方式的姿势调整的方向的顺序的图。
图15是例示出显示用于进行本发明的第一实施方式的姿势调整的方向的画面的图。
图16是例示在进行本发明的第一实施方式的姿势调整时的显示画面的图。
图17是例示在进行本发明的第一实施方式的姿势调整时的显示画面的图。
图18是本发明的第二实施方式的全部处理流程图。
图19是表示包括本发明的第二实施方式的靶纸的拍摄图像的显示例的图。
图20是表示包括本发明的第二实施方式的靶纸的拍摄图像的显示例的 图。
图21是表示用于说明本发明的第二实施方式的计测处理的画面例的图。
图22是用于说明决定用于进行本发明的第二实施方式的姿势调整的方向的顺序的图。
图23是例示出显示用于进行本发明的第二实施方式的姿势调整的方向的画面的图。
图24是例示在进行本发明的第二实施方式的姿势调整时的显示画面的图。
具体实施方式
在本发明的实施方式中，参照附图进行详细说明。此外，针对图中的相同或相当的部分，标注相同的附图标记，并不重复进行说明。
［第一实施方式］
图1是表示利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的结构的示意图。图1示出的输送机跟踪系统，包括两个搬运装置（输送机）10及20。输送机10及20分别由驱动辊12及22旋转驱动。以下，输送机10及20还分别称为输送线1及输送线2。在图1示出的例子中，输送线1向纸面右侧移动，输送线2向纸面左侧移动。搬出装置30等从纸面左侧向输送线1随机地提供工件W。该输送线1上的工件W从纸面左侧向纸面右侧移动。作为工件W，典型地，假设有点心等的食品、各种药片等。
本实施方式的视觉传感器100设置在输送线1上的事先规定的位置。视觉传感器100是由拍摄部和图像处理部一体构成的，拍摄部用于对工件等的拍摄对象进行拍摄，图像处理部用于对通过该拍摄部拍摄而成的图像进行处理。此外，还可以分别构成拍摄部和图像处理部。
视觉传感器100设定为其拍摄视场包括输送线1在宽度方向（与搬运方向正交的方向）上的整体。能够通过设定拍摄部（摄像头）的视场角（Angleof view）（或者视角）来决定拍摄视场。在本说明书中，拍摄视场相当于能够利用拍摄部拍摄的范围，也被叫做“拍摄范围”。
如图1所示，在利用通过拍摄搬运工件W的搬运路而获取的图像，监视搬运路或计测搬运路上的工件时，要求拍摄图像不变形。即，最好包括拍 摄视场的面与作为拍摄对象的搬运路面平行。在本实施方式中，利用倾斜度，来作为与上述两个面的平行度相关的指标。在后面，具体说明倾斜度的详细内容。
设置了上述的拍摄范围的视觉传感器100采用事先规定的周期连续进行拍摄，由此，能够对在输送线1上随机搬运来的工件W依次进行拍摄。视觉传感器100通过对依次拍摄的图像进行图案匹配等的计测处理，从而对各工件进行定位及跟踪处理。这样，视觉传感器100的拍摄部（后述的图2示出的拍摄部110）配置为对在作为搬运装置的输送机10上被搬运的工件W进行拍摄。然后，该拍摄部110与用于处理拍摄图像的拍摄图像处理部120（参照后述的图2）连接。
在输送线1的搬运方向上，在视觉传感器100的下游一侧配置有机械手300，该机械手300把持工件W并使工件W向输送线2移动。该机械手300具有用于把持工件W的机械臂，通过使该机械臂向目的位置移动，来把持输送线1上的工件。即，机械手300沿着作为搬运装置的输送机10（输送线1）的搬运路径，配置在视觉传感器100的拍摄部的拍摄范围的下游一侧，相当于处理（取、放）工件W的移动设备。更具体来说，机械手300将该机械臂定位于目的的工件W上，拾起（picking）工件W并将其排列在输送线2上。
机械手300还配置在移动机构（图示省略）上，移动机构400用于使机械手300沿着输送线1移动，使其能够在整个规定的范围内移动。将该机械手300的移动范围也称为跟踪范围。
利用设置于输送线1上的编码器14得出的检测结果，来对机械手300的跟踪处理及定位处理进行控制。典型地，该编码器14采用旋转编码器（rotary encoder），伴随着旋转而产生脉冲信号。对所产生的脉冲信号的脉冲数进行计数，由此，与输送机10（输送线1）连接的辊的转速，即编码器14所产生的脉冲信号，相当于表示作为搬运装置的输送机10在搬运路径上的移动量的信号，基于该脉冲信号，计算输送机10的移动量。
机械手300根据来自机械手控制装置200的指示进行动作。即，机械手控制装置200为用于控制作为移动设备的机械手300的控制装置。机械手控制装置200经由网络NW而与视觉传感器100连接，基于由视觉传感器100 检测出的各工件W的位置，向机械手300发出工件W的把持动作所需的指示。
在网络NW上除了连接有视觉传感器100及机械手控制装置200以外，还将操作显示装置500及具有相当于个人计算机功能的支持装置600与网络NW连接。操作显示装置500显示来自视觉传感器100的处理结果或来自机械手控制装置200的机械手300的动作状态等，并且响应于来自用户的操作，向视觉传感器100及/或机械手控制装置200发出各种指示。
在图1示出的输送机跟踪系统中，为了提高生产率，存在进一步提高输送线速度（搬运速度）的潜在需要。为了满足这种需要，在本实施方式的输送机跟踪系统中，采用如下的结构：不仅向机械手控制装置200输入由编码器14产生的脉冲信号，还向视觉传感器100输入该脉冲信号。像这样，通过使视觉传感器100及机械手控制装置200同步获取作为对象的搬运装置（输送机）的位置信息，能够利用经由机械手控制装置200与视觉传感器100之间的网络NW的通信实现同步的动作。在此，省略与对机械手控制装置200与视觉传感器100的同步的动作进行的控制相关的详细内容。
＜硬件结构＞
图2是表示本发明的第一实施方式的图像处理装置的硬件结构的示意图。图像处理装置包括视觉传感器100和支持装置600，支持装置600具有生产并提示支持视觉传感器100的设置方式的信息。支持装置600的结构能够由与网络NW连接的操作显示装置500代替。
典型地，支持装置600由通用的计算机构成。此外，从维护性的观点来看，优选便携性良好的笔记本型的个人计算机。
参照图2，支持装置600包括：通信接口（I/F）60，其用于与视觉传感器100通信；CPU61，其执行包括OS（操作系统）的各种程序；ROM（ReadOnly Memory：只读存储器）62，其包括BIOS（Basic Input Output System：基本输入输出系统）或各种数据；存储器RAM（随机存储器）63，其提供用于保存在CPU61执行程序所需的数据的作业区域；硬盘（HDD：硬盘驱动器）64，非易失地保存在CPU61执行的程序等。
支持装置600还包括：操作部70（包括键盘65及鼠标66），其接受来自用户的操作；监视器67，其由用于向用户提示信息的液晶显示器等构成。
如后述的那样，支持装置600执行的各种程序保存在CD-ROM690内，以便于流通。通过CD-ROM（Compact Disk-Read Only Memory：只读光盘）驱动器68读取保存在该CD-ROM690内的程序，并保存至硬盘（HDD）64等。另外，可以构成为从上位的主计算机等经由网络下载程序。
如上所述，由于利用通用的计算机来实现支持装置600，所以不进行更详细的说明。在此，分别提供了接受操作员操作的操作部70和用于显示信息的监视器67，还可以提供将两者一体构成的所谓的触摸屏。
由于这种支持装置600与视觉传感器100及机械手控制装置200两者都能够进行数据通信，所以能够收集各种数据。
参照图2，视觉传感器100包括拍摄部110和拍摄图像处理部120。拍摄图像处理部120与支持装置600通信。在此，省略机械手控制装置200及操作显示装置500的图示。
在图2中，从拍摄部110受理并处理通过拍摄而获得的拍摄图像的图像处理装置构成为包括拍摄图像处理部120和支持装置600。
拍摄部110为对存在于拍摄视场的拍摄对象进行拍摄的装置，作为主体的结构要素，包括透镜或光圈等的光学系统、CCD（Charge Coupled Device：电荷耦合元件）图像传感器或CMOS（Complementary Metal Oxide Semiconductor：互补金属氧化物半导体）图像传感器等的受光元件。拍摄部110按照来自拍摄图像处理部120的指令，进行拍摄，并且向拍摄图像处理部120输出通过上述拍摄而获得的图像数据。
图像处理部120包括CPU（Central Processing Unit：中央处理器）122、存储器124、拍摄控制部126、通信接口（I/F）128、输入/输出接口（I/F）130、编码计数器132、存储器接口（I/F）135，存储器接口（I/F）135安装有作为自由装拆的记录介质的一个例子的CD-ROM（Compact Disk-ReadOnly Memory：只读光盘）136。经由总线134以能够彼此之间进行数据通信的方式连接这些组件。
CPU122为在图像处理部120中进行主要计算的处理器。存储器124保存由CPU122执行的各种程序、由拍摄部110拍摄的图像数据、各种参数等。典型地，存储器124由DRAM（Dynamic Random Access Memory：动态随机存储器）等的易失性存储装置和FLASH（快闪）存储器等的非易失性存储装 置构成。
拍摄控制部126按照来自CPU122等的内部指令，对所连接的拍摄部110的拍摄动作进行控制。拍摄控制部126具有向拍摄部110发送各种指令的接口、接收来自拍摄部110的图像数据的接口。
通信接口128与操作显示装置500之间交换各种数据。典型地，经由以太网（注册商标）连接视觉传感器100及操作显示装置500，通信接口128为遵照这种以太网（注册商标）协议的硬件。
输入/输出接口130从拍摄图像处理部120向外部输出各种信号，或输入来自外部的各种信号。特别是，输入/输出接口130接收在编码器14中生成的脉冲信号，将该信号转换成数字信号，并将其输出至编码计数器132。
编码计数器132对来自编码器14的脉冲信号所含的脉冲数进行计数，并输出计数值。由于该编码计数器132基本上与CPU122的计算周期相独立地动作，所以不会漏掉来自编码器14的脉冲信号所含的脉冲数。
＜功能结构＞
参照图3，针对图像处理的功能结构进行说明。CPU61经由网络NW，接收从视觉传感器100（拍摄部110）输出的通过拍摄而获得的图像数据。CPU61包括计测处理部611、图像处理部612、倾斜计算部613、中心计算部614及保存部615的功能。这些各部分处理从拍摄部110受理的图像数据，生成并输出用于提示给操作员的信息。
计测处理部611处理接收的图像数据，针对图像数据，进行计测处理。更具体来说，对拍摄图像数据进行计测处理，获取后述的靶纸700的四点标记的图像的坐标位置。倾斜计算部613根据四点标记的坐标位置，获取拍摄部110相对于靶纸700的倾斜度。中心计算部614获取靶纸700的重心及拍摄图像的中心等。保存部615相当于一种输出单元。保存部615将拍摄部110拍摄并获取的图像数据和对该图像数据的通过计测处理部611而得到的计测结果等保存至RAM63的调整文件631中。
＜流程图＞
图4是本发明的第一实施方式的全部处理流程图。
参照图4，说明图像处理顺序。操作员与搬运装置相关联地安装视觉传感器100。然后，操作员将靶纸700载置于搬运路面上的规定位置。假设视 觉传感器100的拍摄视场为包括该规定位置的范围。在该状态下，操作员操作操作部70，输入拍摄指示。CPU61受理拍摄指示，并将受理的拍摄指示发送至视觉传感器100。由此，拍摄控制部126将所接收的拍摄指示输出至拍摄部110，使拍摄部110进行拍摄动作。拍摄部110拍摄出拍摄视场内的拍摄对象，并输出通过拍摄动作而获取的图像数据（步骤S1）。
此外，假设操作员在使靶纸700移动时或者在改变拍摄部110的姿势时等的适当的时间点，操作操作部70，输入拍摄指示。
从视觉传感器100向支持装置600发送所拍摄的图像数据。CPU61在监视器67显示所接收的图像数据。操作员确认所显示的图像，使靶纸700移动。然后，确认显示图像，判断使靶纸700移动的方向与监视器67的显示图像的移动方向是否一致（步骤S2a）。即，在使靶纸700向输送机10搬运工件的方向移动，与此相对地，图像在监视器67的画面上沿着上下（垂直）方向移动的情况下，判断为移动方向不一致（在步骤S2a判断为否），操作员操作操作部70，对所显示的图像进行旋转操作（步骤S2b）。此后，处理返回步骤S2a。
若判断为方向一致，则操作员操作操作部70，指示计测开始（在步骤S2a中判断为是）。响应计测开始的指示，利用计测处理部611，对图像数据进行计测处理，计测靶纸700上的四点标记，显示如下信息：用于使基于计测结果的靶纸700的重心和监视器画面的图像的中心一致的信息（步骤S3）。在此，监视器画面的图像与拍摄部110的拍摄视场的图像即拍摄图像对应。由于能够将靶纸700配置在拍摄视场内，所以拍摄图像包括靶纸700的图像。
典型地，计测处理具有查找处理，查找处理利用了基于事先登记的标记的模型图像的图案匹配。在查找处理中，事先登记工件W的特征部分，来作为图像图案（模型），从输入图像中找出输入图像中的与该事先登记的模型最相似的部分。此时，计算表示与模型最相似的部分的位置/倾斜/旋转角度或与模型的相似程度的相关值等。
此外，计测处理还可以通过对图像数据进行边缘（edge）提取处理，来检测标记。
基于计测结果，中心计算部614获取拍摄视场（拍摄图像）的中心和靶 纸700的图像的重心的位置。在监视器67上显示在所获取的位置显示中心和重心的图像。由此，来显示中心与重心的位置偏移量。
操作员根据监视器67的显示图像，确认是否有中心与重心的位置偏移，即两个位置是否一致。根据确认结果，操作操作部70。例如，在不一致的情况下，为了使中心与重心一致，操作员在移动靶纸700之后，操作操作部70，以指示计测开始。
若从操作部70接受操作（在步骤S4中判断为否），则CPU61输入计测开始指示，相应地，将处理跳至步骤S3。由此，对移动之后的靶纸700的图像进行拍摄，通过计测处理部611对通过拍摄而获取的图像数据进行计测处理。
另一方面，若判断为不操作操作部70（在步骤S4中判断为是），则输出用于支援调整拍摄部110的姿势的信息（步骤S5）。
具体来说，倾斜计算部613根据通过计测处理而获取的四点标记的坐标位置，计算倾斜度。在此，倾斜度是指，拍摄部110的拍摄视场的面（下面，称为拍摄视场面）相对于输送线1的搬运路上的面（下面，称为搬运面）的倾斜的程度。获取通过将两个面平行的情况作为值1来进行换算的值，来作为倾斜度。此外，在此，假设搬运面为平面。图像处理部612基于倾斜度，输出用于调整拍摄部110的姿势的支援信息。
操作员确认输出的信息，若确认为倾斜，则操作操作部70，并且调整视觉传感器100的姿势。
此后，CPU61判断为接受了经由操作部70的操作员的操作（在步骤S6a中判断为否），则使处理跳至步骤S3。由此，利用调整了姿势以后的视觉传感器100进行拍摄动作，同样地，对通过拍摄而获取的图像数据再次进行与步骤S3以后的处理。
另一方面，在操作员判断为不倾斜的情况下，不操作操作部70。因此，CPU61判断为没有从操作部70接受操作（在步骤S6a中判断为是），使处理跳至步骤S6b。
在步骤S6b中，CPU61判断是否有经由操作部70输入指示保存的操作。若CPU61基于所接受的操作，输入指示保存（在步骤S6b中判断为是），则保存部615基于指示，将图像数据与计测结果的信息相关联地保存至 RAM63的调整文件631（步骤S6c）中。另一方面，若CPU61判断为没有接受与保存指示相关的操作（在步骤S6b中判断为否），则保存部615不进行向调整文件631保存的保存处理，结束一系列的处理。在后面，具体说明各处理的详细内容。
＜针对靶纸＞
图5是示意性地表示本发明的第一实施方式的靶纸700的图。参照图5，在大致正方形的靶纸700上描画有目标图案，该目标图案用于调整视觉传感器100的姿势。在目标图案的内部，包括每隔大约90°分开涂敷的五个圆（下面，称为标记）。
此外，基本上，利用三点标记即能够调整姿势，但标记的数量越多，越能够获得用于高精度地调整姿势的信息，因此，在此，利用配置在靶纸700的正方形的四个顶点的四点标记。追加配置的第五点标记用于使靶纸700的配置朝向与规定方向统一。此外，在此，标记的形状为圆形，但不限于此。
在图4的步骤S1中，操作员将描画有目标图案的靶纸700配置在输送线1上的视觉传感器100（拍摄部110）的拍摄视场内。然后，操作员向视觉传感器100发出拍摄指示。于是，视觉传感器100将通过拍摄而获得的图像（包括成为拍摄对象的目标图案的图像）发送至支持装置600。
在支持装置600中，利用计测处理部611对所接收的图像数据进行计测处理。利用计测处理，针对配置在目标图案所包含的四个角的四点标记，决定各中心点的坐标值。由此，针对目标图案所包含的四点标记，分别获取图像坐标系的坐标值［像素（pixel）］。所获取的四点坐标值相当于（X1，Y1）、（X2，Y2）、（X3，Y3）、（X4，Y4）。
图6是表示包括本发明的第一实施方式的靶纸700的拍摄图像的显示例的图。在操作员将视觉传感器100设置在输送线1上时，在多数情况下，拍摄视场面与配置有靶纸700的搬运面不平行。因此，如图6所示，靶纸700的图像不是正方形，而是显示为变形的形状（梯形形状）。
图7～图9是表示显示本发明的第一实施方式的拍摄图像的画面的一个例子的图。参照图7，监视器67的画面包括：区域701，显示拍摄视场的拍摄对象图像（包括靶纸700的图像的图像）；区域702，其显示示意性地表示视觉传感器100的图像800。与表示视觉传感器100的图像800相关联地， 显示在图像800的中心彼此正交的三个轴（X轴、Y轴及Ｚ轴）。由此，操作员根据图像800，易于将视觉传感器100的设置方式作为设置在空间内的方式来掌握。此外，视觉传感器100的X轴及Y轴与从拍摄部110输出的拍摄图像的坐标系的X轴及Y轴对应。
在监视器67的画面中，还显示有按钮900，该按钮900用于使区域701的图像沿着顺时针/逆时针旋转90度。若操作员操作按钮900，则CPU61接受该操作，将旋转指示输出至图像处理部612。
图像处理部612按照旋转指示，使区域701的图像（靶纸700的图像）沿着顺时针/逆时针的方向旋转90度（参照图8）。另外，图像处理部612也使区域702的图像800沿着相同的方向旋转（参照图9）。由此，通过操作员操作按钮900，在同一画面中，使区域701的图像旋转，并且与该旋转联动地，使区域702的图像800沿着同一个方向旋转。
在此，作为旋转的方向，设定为使图像沿着顺时针/逆时针的方向旋转90度，还可以设定为操作员能够可变地改变旋转角度。
图10和图11是表示包括本第一实施方式的靶纸的拍摄图像的显示例的图。在上述的步骤S3的处理中，图像处理部612显示图10的图像。参照图10，在画面的区域702显示如下的坐标值：通过区域701的图像的计测处理而获取的四点标记的坐标值801（坐标值（X1，Y1）、（X2，Y2）、（X3，Y3）、（X4，Y4））。另外，在区域701的各标记中，在计测出的中心位置重叠显示“＋”符号。在此，利用坐标值801及“＋”符号两方来指示各标记的位置，还可以仅利用其中一方来指示各标记的位置。另外，显示通过用线连结四个“＋”符号而形成的方形。
操作员根据坐标值801，确认出四个标记的中心表示正方形的顶点，由此，能够掌握拍摄视场面与搬运面这两个面平行的情况。
为了使操作员能够易于掌握拍摄视场面与搬运面这两个面平行的情况，如图11所示，图像处理部612可以显示表示倾斜度的信息。即，针对区域701的四点标记，显示连结计测出的各中心位置的线（在图中，为虚线）。如图所示，在两个面不平行的情况下，提示由连结四个点的线形成的形状不是正方形，而是变形的图形（梯形），因此，操作员能够易于掌握到两个面不平行。因此，可以说，倾斜度表示与原来的正方形相比，拍摄图像中的靶 纸700的形状的变形的程度。
另外，操作员通过视觉确认梯形的上底与下底的边的长度之间的差值，能够掌握变形的程度（倾斜度）。
能够以图12和图13所示的方式，显示表示倾斜度的信息。参照图12，计算出如下图形的中心的坐标，该图形是指，通过利用直线连结四点标记的中心而形成的图形。然后，在区域701的该坐标位置显示图像703。另外，利用正交的两个虚线轴704的交点，提示区域701的中心，即提示拍摄图像的中心。
由此，能够表示拍摄图像的中心位置与图像703的位置是否偏移。另外，能够提示倾斜度，来作为上述偏移量。因此，操作员只要将视觉传感器100的姿势调整为区域701的中心与图像703的位置一致即可。此时，图像处理部612计算出拍摄图像的中心与图像703之间的距离，来作为调整作业的支援信息，可以显示计算出的值，来作为数据705。另外，为了明示图像703为重心，还可以利用通过虚线描画的直线连结四点标记（参照图13）。
＜用于调整姿势的方向＞
图14是用于说明决定用于进行本发明的第一实施方式的姿势调整的方向的顺序的图。图15是例示显示用于进行本发明的第一实施方式的姿势调整的方向的画面的图。
参照图14，说明倾斜计算部613计算倾斜度的计算顺序。倾斜计算部613基于四点标记的坐标值（X1，Y1）、（X2，Y2）、（X3，Y3）及（X4，Y4），计算X方向及Y方向的倾斜。此外，X、Y方向与图像坐标系的X轴延伸的方向、Y轴延伸的方向一致。
就X方向的倾斜而言，若判断为（A1/A2）＞1的条件成立，则图像处理部612显示在面向画面时指向左方的箭头706（参照图15），若判断为（A1/A2）＜1的条件成立，则图像处理部612显示在面向画面时指向右方的箭头。此外，计算出A1＝|Y1-Y2|、A2＝|Y4-Y3|。
就Y方向的倾斜而言，若判断为（B1/B2）＞1的条件成立，则图像处理部612显示在面向画面时指向上方的箭头，若判断为（B1/B2）＜1的条件成立，则图像处理部612显示在面向画面时指向下方的箭头707（参照图15）。此外，计算出B1＝|X1-X4|、B2＝|X2-X3|。与区域701的图像相关联地显示 这些箭头。
另外，参照图15，与箭头706、707的显示联动地，图像处理部612还针对表示视觉传感器100的图像800，显示相应的箭头806、807。由此，提示与应该改变视觉传感器100的姿势的方向相关的信息。
另外，为了定量地表示倾斜度，可以一并计算并显示数据705和视觉传感器100的倾斜度的数据816、817，或者，分别计算并显示数据705和上述数据816、817。通过（A1/A2）计算出数据816，通过（B1/B2）计算出数据817。
在此，利用箭头706、707的图像，作为应该改变视觉传感器100的姿势的方向，还可以利用“左、右、上、下”等文字来进行提示。
操作员参照包括上述的倾斜度的信息，调整视觉传感器100的姿势。此时，图像处理部612可以显示如下的图形，来作为用于调整姿势的目标：通过连结在拍摄视场面与搬运路面平行时的靶纸700的四点标记的中心而形成的正方形。
调整姿势的结果为，判断视觉传感器100的姿势是否在能够保证规定的精度（例如，对所搬运的工件进行的计测处理的精度）的范围内，并输出表示该判断的信息。例如，图像处理部612计算在调整姿势之后的（A1/A2）及（B1/B2）的值，并判断计算出的值是否在规定的范围内。例如，显示图像716，来作为表示判断结果的信息（参照图16）。若判断为在范围内，则如图16的（A）所示，例如，用绿色显示包围区域701的框体的图像716，去掉箭头706、707。若判断为在范围外，则例如，用红色显示图像716（参照图16的（B））。由此，对操作员提示姿势调整结束的基准。
此外，作为姿势调整结束的基准而提示的信息不限于框体的图像716，另外，区别显示的方式也不限于用颜色的方法。
图17示出了在利用本发明的第一实施方式调整姿势时所显示的图像的一个例子。参照图17，在调整姿势时所显示的倾斜度等各种信息保存在RAM63的规定区域内。具体来说，若操作员操作画面的按钮818，则向保存部615发出保存指示，保存部615将如下的数据和信息保存至RAM63的调整文件631：在区域701中显示的拍摄图像的数据；在区域702中显示的各种信息。像这样，通过将在调整结束时的数据保存至调整文件631，能够利 用调整文件631的数据，来作为用于调整此后的视觉传感器100的姿势的支援信息。
[第二实施方式]
在本第二实施方式中，说明利用了调整文件631的数据对视觉传感器100进行的姿势调整。在此，假设在调整文件631内保存有如下的数据：在姿势调整结束时间点，在区域701中显示的拍摄图像数据；与计测结果及倾斜度相关的数据。
图18是本发明的第二实施方式的全部处理流程图。参照图18，在与搬运装置相关联地安装视觉传感器100时，首先，为了调整姿势，将靶纸700载置在搬运路面上的规定位置，进行步骤S1～S2b的处理。这些处理与上述的第一实施方式相同，省略详细内容。
接着，若操作后述的按钮819，则图像处理部612从RAM63的调整文件631中读取数据，并在监视器67上显示基于所读取的数据的图像（步骤S2c）。另外，利用计测处理部611，对在步骤S1中获取的拍摄图像数据进行计测处理，并显示计测结果（步骤S3）。
图19是表示包括本发明的第二实施方式的靶纸的拍摄图像的显示例的图。参照图19，在区域701中，显示在姿势调整结束时的拍摄对象的拍摄图像（包括靶纸700的图像），并显示图像703。图像703表示根据如下坐标而计算出的重心，该坐标是指，对该拍摄图像数据进行计测处理而获取的四点标记的中心的坐标。另外，在区域702中，显示如下内容：倾斜度816、817；图像800，其表示视觉传感器100；数据705，其表示拍摄图像的重心与画面的中心的偏移量。为了指示基于调整文件631的数据的信息的显示，在区域702中，还显示有操作员操作的按钮819。
在图20中输出了步骤S4中的画面的显示例。参照图20，在画面中同时显示如下的信息：基于调整文件631的数据的信息，本次利用步骤S3的计测处理计测的信息。
参照图20，在区域701中，同时显示如下内容：图像703，其表示基于调整文件631的重心；图像703N，其表示中心计算部614基于通过本次的计测处理而获取的四点标记的中心坐标而计算出的重心的位置坐标。另外，在区域701中，同时显示：正方形，其为基于调整文件631的四点标记的中 心位置坐标的图形；虚线的梯形，其为基于通过本次的计测处理而获取的四点标记的中心坐标的图形。另外，在区域702中显示有坐标值801N，坐标值801N表示通过本次的计测处理而获取的四点标记的中心位置。另外，在区域702中显示有与基于坐标值801N而获取的倾斜度相关的数据705N、816N及817N。
根据图20的图像，能够基于区域701的显示，提示用于调整姿势的支援信息，该支援信息基于如下信息来调整姿势，其中，该信息是指，对本次的计测处理的结果和调整文件631所保存的在姿势调整结束时的计测处理结果进行比较而获得的信息。另外，根据在区域702中显示的信息，能够提示基于本次计测处理的结果的用于调整姿势的支援信息。
操作员确认图20的图像，若判断为重心的图像703与703N的显示位置一致，则通过操作部70进行用于指示重心一致的操作，但若判断为不一致，则进行用于指示重心不一致的操作（步骤S4）。在判断为不一致的情况下，操作员移动靶纸700，以使重心一致。在图21中示出了在步骤S4中的画面的显示例。在图21中，图像处理部612根据图像703、703N的坐标计算出两者之间的距离，并显示为数据705N。
若CPU61接受不一致的操作（在步骤S4中判断为否），则将处理跳至步骤S3。由此，对移动之后的靶纸700的图像进行拍摄，对通过拍摄而获取的图像数据进行计测处理部611的计测处理（步骤S3）。
另一方面，若CPU61接受一致的操作（在步骤S4中判断为是），则倾斜计算部613，利用步骤S3的计测结果和调整文件631的数据，获取倾斜度。图像处理部612基于所获取的倾斜度，显示用于调整姿势的支援信息（步骤S5）。倾斜度的获取方式和与此相关的信息的显示方式与在第一实施方式中说明的内容相同，在此省略说明。
操作员确认所输出的信息。若判断为倾斜，则操作操作部70，并且手动地调整视觉传感器100的姿势。
此后，CPU61判断为接受了经由操作部70的操作员的操作（在步骤S6a中判断为否），则使处理跳至步骤S3。由此，利用操作员调整了姿势以后的视觉传感器100进行拍摄动作，同样地，对通过拍摄而获取的图像数据进行步骤S3以后的处理。
另一方面，在操作员判断为不倾斜的情况下，不操作操作部70。因此，CPU61判断为操作员没有对操作部70进行操作（在步骤S6a中判断为是），使处理移动至步骤S6b。
在步骤S6b中，判断是否有经由操作部70输入指示保存的操作。若CPU61判断了进行了指示保存的操作（步骤S6b中判断为是），则保存部615将显示中的图像数据与计测结果的信息相关联地保存至RAM63的调整文件631（步骤S6c）。若判断为没有进行指示保存的操作（步骤S6b中判断为否），则保存部615不进行保存处理，CPU61结束一系列的处理。
＜用于调整姿势的方向＞
针对在图18的步骤S5中的倾斜度的获取方式以及用于调整姿势的支援信息的提示，进行说明。图22是用于说明决定进行本发明的第二实施方式的姿势调整的方向的顺序的图。图23是例示显示用于进行本发明的第二实施方式的姿势调整的方向的画面的图。
参照图22，说明倾斜计算部613计算倾斜度的计算顺序。倾斜计算部613基于如下的坐标值，计算X方向及Y方向相对于拍摄视场面的搬运路面的倾斜度，这些坐标是指：通过对所拍摄的图像数据进行的计测处理而得到的四点标记的坐标值（（XN1，YN1）、（XN2，YN2）、（XN3，YN3）及（XN4，YN4）），在步骤S2c中，从调整文件631读取的四点标记的坐标值（（XP1，YP1）、（XP2，YP2）、（XP3，YP3）及（XP4，YP4））。
就X方向的倾斜度而言，若判断为（AP1/AP2）＞（AN1/AN2）的条件成立，则图像处理部612显示在面向画面时指向右方的箭头，若判断为（AP1/AP2）＜（AN1/AN2）的条件成立，则图像处理部612显示在面向画面时指向左方的箭头706（参照图23）。此外，计算出AP1＝|YP1-YP2|、AP2＝|YP4-YP3|、AN1＝|YN1-YN2|、AN2＝|YN4-YN3|。
就Y方向的倾斜而言，若判断为（BP1/BP2）＞（BN1/BN2）的条件成立，则图像处理部612显示在面向画面时指向下方的箭头707（参照图23），若判断为（BP1/BP2）＜（BN1/BN2）的条件成立，则图像处理部612显示在面向画面时指向上方的箭头。此外，计算出BP1＝|XP1-XP4|、BP2＝|XP2-XP3|、BN1＝|XN1-XN4|、BN2＝|XN2-XN3|。与区域701的图像相关联地显示这些箭头。
另外，参照图23，与箭头706、707的显示联动地，图像处理部612还针对表示视觉传感器100的图像800，显示相应的箭头806、807，从而提示调整视觉传感器100的姿势的方向。
另外，图像处理部612可以一并计算并显示用于定量地表示倾斜度的数据705和视觉传感器100的倾斜度的数据816、817，或者，分别计算并显示数据705和上述数据816、817。通过（AN1/AN2）计算出数据816，通过（BN1/BN2）计算出数据817。
操作员参照包括上述的倾斜度的支援信息，调整视觉传感器100的姿势。此时，图像处理部612可以显示如下的图形，来作为用于调整姿势的目标：通过连结在拍摄视场面与搬运路面平行时的靶纸700的四点标记的中心而形成的正方形。
调整姿势的结果为，判断视觉传感器100的姿势是否在能够保证规定的精度（例如，对所搬运的工件进行的计测处理的精度）的范围内，并输出表示该判断的信息。例如，图像处理部612计算在调整姿势之后的（AN1/AN2）及（BN1/BN2）的值，并判断计算出的值是否在规定的范围内。然后，例如，显示图像716，来作为表示判断结果的信息（参照图24）。若判断为在范围内，则如图24的（A）所示，用绿色显示包围区域701的框体的图像716。若判断为在范围外，则用红色显示图像716（参照图24的（B））。由此，能够提示姿势调整结束的基准。
此外，在判断为在范围内时，可以从图24的（A）的图像中去掉指示调整方向的箭头。另外，作为基准而提示的信息不限于框体的图像716，区别图像716的显示方式也不限于用颜色的方法。
在上述的实施方式中，利用中心计算部614计算出的各标记的中心位置的坐标，来获取倾斜度（或形状的变形度），但获取方法不限于此。例如，在将四点标记设为正圆的情况下，获取与正圆相比，拍摄图像中的标记的形状（例如，楕圆）的变形的程度。由此，可以获取变形度，来作为倾斜度。
此外，设定为支持装置600（或操作显示装置500）具有图3示出的各种功能，还可以设定为拍摄图像处理部120具有这些功能。在该情况下，在存储器124内保存调整文件631，主要利用支持装置600的监视器67或操作显示装置500的显示器（图示省略）来作为用于调整视觉传感器100的姿势 的支援信息的输出对象。
应该注意的是，本次公开的实施方式在所有方面只是例示，而非限定。本发明的范围不限于上述的说明，而是由权利要求书来示出，包括与权利要求书的范围等同的含义以及在该范围内的所有变更的内容。
附图标记说明
70 操作部，
100 视觉传感器，
110 拍摄部，
120 拍摄图像处理部，
124 存储器，
126 拍摄控制部，
500 操作显示装置，
600 支持装置，
611 计测处理部，
612 图像处理部，
613 倾斜计算部，
614 中心计算部，
615 保存部，
631 调整文件，
700 靶纸，
701、702 区域。
Claims (8)
1.一种图像处理装置，其从拍摄部受理通过拍摄而获得的拍摄图像，该拍摄部配置为其拍摄视场内包括工件的搬运路的至少一部分，该图像处理装置的特征在于，
具有：
图像受理单元，其受理拍摄图像，所述拍摄图像是通过所述拍摄部拍摄位于所述搬运路上的目标物而获取的图像，
位置获取单元，其获取所受理的拍摄图像中的所述目标物的位置，
倾斜获取单元，其利用通过所述位置获取单元获取的所述目标物在所述拍摄图像中的位置，来获取所述目标物在所述拍摄图像中的变形程度，根据所述变形程度，获取包括所述拍摄部的拍摄视场的面相对于放置有所述目标物的面的倾斜度，
输出单元，其利用所获取的倾斜度，在显示器上显示用于支援所述拍摄部的姿势调整的支援信息，
在显示器上显示的所述支援信息，包括拍摄部图像和箭头图像，所述拍摄部图像表示所述拍摄部，所述箭头图像是与该拍摄部图像相关联地显示的图像，并且表示基于所获取的所述倾斜度而所述拍摄部应该改变的姿势的方向。
2.如权利要求1所述的图像处理装置，其特征在于，
所述倾斜获取单元获取第一偏移量来作为所述倾斜度，所述第一偏移量是指，所获取的所述目标物在所述拍摄图像中的位置与所述拍摄图像中的事先规定的位置之间的偏移量。
3.如权利要求1所述的图像处理装置，其特征在于，
所述倾斜获取单元获取第一距离来作为所述倾斜度，所述第一距离是指，所获取的所述目标物在所述拍摄图像中的位置与所述拍摄图像中的事先规定的位置之间的距离。
4.如权利要求1所述的图像处理装置，其特征在于，
所述目标物具有事先规定的形状，
所述倾斜获取单元获取第一变形程度来作为所述倾斜度，所述第一变形的程度是指，与所述事先规定的形状相比，所述目标物在所述拍摄图像中的形状变形的程度。
5.如权利要求1所述的图像处理装置，其特征在于，
所述支援信息包括所受理的所述拍摄图像，
所述输出单元包括保存单元，所述保存单元将所述支援信息保存在存储器内。
6.如权利要求5所述的图像处理装置，其特征在于，
所述倾斜获取单元获取第二偏移量来作为所述倾斜度，所述第二偏移量是指，保存目标物位置与获取目标物位置之间的偏移量，
所述保存目标物位置是指，保存在所述保存单元内的所述支援信息所包含的拍摄图像中的所述目标物的位置，
所述获取目标物位置是指，在所述图像受理单元从所述拍摄部受理的拍摄图像中，由所述位置获取单元获取的所述目标物在所述拍摄图像中的位置。
7.如权利要求5所述的图像处理装置，其特征在于，
所述倾斜获取单元获取第二距离来作为所述倾斜度，所述第二距离是指，保存目标物位置与获取目标物位置之间的距离，
所述保存目标物位置是指，保存在所述保存单元内的所述支援信息所包含的拍摄图像中的所述目标物的位置，
所述获取目标物位置是指，在所述图像受理单元从所述拍摄部受理的拍摄图像中，由所述位置获取单元获取的所述目标物的位置。
8.如权利要求5所述的图像处理装置，其特征在于，
所述目标物具有事先规定的形状，
所述倾斜获取单元获取第二变形程度来作为所述倾斜度，
所述第二变形程度是指，与保存目标物形状相比，受理目标物形状的变形的程度，
所述保存目标物形状是指，保存在所述保存单元内的所述支援信息所包含的拍摄图像中的所述目标物的形状，
所述受理目标物形状是指，所述图像受理单元从所述拍摄部受理的拍摄图像中的所述目标物的形状。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011056448A JP5370398B2 (ja) | 2011-03-15 | 2011-03-15 | 画像処理装置および画像処理プログラム |
| JP2011-056448 | 2011-03-15 | ||
| PCT/JP2011/056776 WO2012124140A1 (ja) | 2011-03-15 | 2011-03-22 | 画像処理装置および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103348376A CN103348376A (zh) | 2013-10-09 |
| CN103348376B true CN103348376B (zh) | 2016-11-09 |
Family
ID=46830256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180066697.7A Active CN103348376B (zh) | 2011-03-15 | 2011-03-22 | 图像处理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9571795B2 (zh) |
| EP (1) | EP2667350B1 (zh) |
| JP (1) | JP5370398B2 (zh) |
| CN (1) | CN103348376B (zh) |
| WO (1) | WO2012124140A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9675226B2 (en) | 2012-10-26 | 2017-06-13 | Lg Electronics Inc. | Robot cleaner system and control method of the same |
| JP6334278B2 (ja) * | 2014-06-06 | 2018-05-30 | 株式会社ブリヂストン | 計測装置 |
| JP6433258B2 (ja) * | 2014-11-18 | 2018-12-05 | 中村 正一 | 双眼ルーペの製作方法 |
| CN105208271A (zh) * | 2015-09-21 | 2015-12-30 | 努比亚技术有限公司 | 拍摄角度提示方法和装置 |
| WO2018025625A1 (ja) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 光学装置および情報処理方法 |
| JP6834232B2 (ja) * | 2016-08-09 | 2021-02-24 | オムロン株式会社 | 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム |
| JP2018024044A (ja) * | 2016-08-09 | 2018-02-15 | オムロン株式会社 | 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム |
| JP6472472B2 (ja) * | 2017-03-08 | 2019-02-20 | 本田技研工業株式会社 | 位置姿勢調整方法 |
| KR20190134801A (ko) * | 2017-05-31 | 2019-12-04 | 가부시키가이샤 후지킨 | 반도체 제조 장치의 관리 시스템, 방법 및 컴퓨터 프로그램 |
| JP7143099B2 (ja) * | 2018-03-23 | 2022-09-28 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察システム |
| EP3868699B1 (en) * | 2018-10-16 | 2023-12-20 | Tadano Ltd. | Crane device |
| JP7250489B2 (ja) * | 2018-11-26 | 2023-04-03 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
| JP7378934B2 (ja) * | 2019-01-29 | 2023-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びシステム |
| JP7241611B2 (ja) * | 2019-06-06 | 2023-03-17 | 東京エレクトロン株式会社 | パターン測定装置、パターン測定装置における傾き算出方法およびパターン測定方法 |
| DE102020126407A1 (de) | 2020-10-08 | 2022-04-14 | Leica Camera Aktiengesellschaft | Bildaufnahmegerät |
| JPWO2023021668A1 (zh) * | 2021-08-19 | 2023-02-23 | ||
| CN115620337A (zh) * | 2022-10-11 | 2023-01-17 | 深圳市谷奇创新科技有限公司 | 一种用于生命体征的光纤传感器监测方法和系统 |
| CN115877808B (zh) * | 2023-01-30 | 2023-05-16 | 成都秦川物联网科技股份有限公司 | 用于薄片工件加工的工业物联网及控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1638050A2 (en) * | 2004-09-06 | 2006-03-22 | Omron Corporation | Substrate inspection method and apparatus |
| CN2777880Y (zh) * | 2004-01-15 | 2006-05-03 | 英保达股份有限公司 | 影像角度自动调整系统 |
| EP1713275A1 (en) * | 2004-02-03 | 2006-10-18 | Matsushita Electric Industrial Co., Ltd. | Monitoring system and camera terminal |
| CN1903522A (zh) * | 2005-07-26 | 2007-01-31 | 发那科株式会社 | 跟踪以及搬运装置 |
| CN101166239A (zh) * | 2006-10-19 | 2008-04-23 | 罗伯特·博世有限公司 | 提高可重复性的图像处理系统与方法 |
| CN101846494A (zh) * | 2009-03-25 | 2010-09-29 | 富士施乐株式会社 | 位置/姿态识别以及零件保持、布置、装配的方法和设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6670991B1 (en) * | 1997-09-26 | 2003-12-30 | Canon Kabushiki Kaisha | Image sensing system, control method, and recording medium for controlling a camera apparatus utilizing a client device connected thereto |
| US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| JP2004320123A (ja) * | 2003-04-11 | 2004-11-11 | Nec Viewtechnology Ltd | 資料提示装置 |
| JP2005049590A (ja) * | 2003-07-28 | 2005-02-24 | Toshiba Corp | 撮像装置の調整方法およびこの調整方法に用いる検出治具 |
| ATE532330T1 (de) * | 2004-09-21 | 2011-11-15 | Nikon Corp | Projektoreinrichtung, mobiltelefon und kamera |
| JP2006244363A (ja) * | 2005-03-07 | 2006-09-14 | Seiko Epson Corp | 画像処理装置、画像処理装置を有する搬送装置、画像処理装置の制御方法 |
| JP2007334423A (ja) * | 2006-06-12 | 2007-12-27 | Shimatec:Kk | 自動撮影装置 |
| JP2008003394A (ja) | 2006-06-23 | 2008-01-10 | Nikon Corp | カメラ、カメラシステム、及び姿勢調整方法 |
| JP2008072674A (ja) * | 2006-09-15 | 2008-03-27 | Ricoh Co Ltd | 撮影補助装置及び撮影装置 |
| JP4960754B2 (ja) * | 2007-04-25 | 2012-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP2009036589A (ja) * | 2007-07-31 | 2009-02-19 | Omron Corp | 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム |
| GB2492257B (en) * | 2008-06-05 | 2013-02-13 | Toshiba Machine Co Ltd | Handling system, control device, control method, and program |
| US8659655B2 (en) * | 2009-04-29 | 2014-02-25 | Koninklijke Philips N.V. | Method of selecting an optimal viewing angle position for a camera |
| JP5290864B2 (ja) * | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定装置及び方法 |
-
2011
- 2011-03-15 JP JP2011056448A patent/JP5370398B2/ja active Active
- 2011-03-22 WO PCT/JP2011/056776 patent/WO2012124140A1/ja active Application Filing
- 2011-03-22 EP EP11861318.1A patent/EP2667350B1/en active Active
- 2011-03-22 CN CN201180066697.7A patent/CN103348376B/zh active Active
-
2013
- 2013-08-26 US US13/975,435 patent/US9571795B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2777880Y (zh) * | 2004-01-15 | 2006-05-03 | 英保达股份有限公司 | 影像角度自动调整系统 |
| EP1713275A1 (en) * | 2004-02-03 | 2006-10-18 | Matsushita Electric Industrial Co., Ltd. | Monitoring system and camera terminal |
| EP1638050A2 (en) * | 2004-09-06 | 2006-03-22 | Omron Corporation | Substrate inspection method and apparatus |
| CN1903522A (zh) * | 2005-07-26 | 2007-01-31 | 发那科株式会社 | 跟踪以及搬运装置 |
| CN101166239A (zh) * | 2006-10-19 | 2008-04-23 | 罗伯特·博世有限公司 | 提高可重复性的图像处理系统与方法 |
| CN101846494A (zh) * | 2009-03-25 | 2010-09-29 | 富士施乐株式会社 | 位置/姿态识别以及零件保持、布置、装配的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5370398B2 (ja) | 2013-12-18 |
| EP2667350B1 (en) | 2018-11-07 |
| JP2012193980A (ja) | 2012-10-11 |
| US20140015957A1 (en) | 2014-01-16 |
| EP2667350A4 (en) | 2014-12-24 |
| CN103348376A (zh) | 2013-10-09 |
| EP2667350A1 (en) | 2013-11-27 |
| WO2012124140A1 (ja) | 2012-09-20 |
| US9571795B2 (en) | 2017-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103348376B (zh) | 图像处理装置 | |
| CN111735390B (zh) | 一种用于线激光传感器的标定块及手眼标定方法 | |
| CN103339466B (zh) | 图像处理装置 | |
| CN105792996B (zh) | 机器人系统以及机器人系统的控制方法 | |
| CN104169964B (zh) | 图像处理装置及图像处理程序记录介质 | |
| WO2020147397A1 (zh) | 用于弧面外观检测的机器视觉系统及检测方法 | |
| EP2132523B1 (en) | Method and device for exact measurement of objects | |
| CN106920261B (zh) | 一种机器人手眼静态标定方法 | |
| CN103733138B (zh) | 被曝光基板的定位校正方法及曝光装置 | |
| US9239219B2 (en) | Form measuring apparatus, method for measuring form, method for manufacturing structure and non-transitory computer readable medium storing a program for setting measurement area | |
| WO2019136882A1 (zh) | 一种手机触控屏Mark定位非接触式视觉检测方法 | |
| CN103615983B (zh) | 基于机器视觉的气浮式乒乓球直径和偏心检测方法 | |
| EP2700903A1 (en) | Tire surface shape measuring device and tire surface shape measuring method | |
| CN113251926B (zh) | 一种不规则物体的尺寸测量方法及测量装置 | |
| CN101796399A (zh) | 观察装置和观察方法以及检查装置和检查方法 | |
| TWM443850U (en) | Automated optical inspection mechanism | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN105004283A (zh) | 一种适用于牙颌模型三维测量的定位系统及其标定方法 | |
| CN105526868B (zh) | 位移测定方法和位移测定装置 | |
| JP2002288633A (ja) | 画像処理装置およびその位置補正方法 | |
| JPH1011146A (ja) | 移動体の停止姿勢補正装置 | |
| CN115507778A (zh) | 一种带转轴摄像头模组的旋转角计算和测试方法 | |
| CN110567641B (zh) | 一种异构体径向静平衡调整方法和装置 | |
| JP2001116525A (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| JP6236819B2 (ja) | 検査装置、検査方法、および、検査装置用のプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |