CN110524538B - 图像处理装置、机器人以及机器人系统 - Google Patents

图像处理装置、机器人以及机器人系统 Download PDF

Info

Publication number
CN110524538B
CN110524538B CN201910433654.6A CN201910433654A CN110524538B CN 110524538 B CN110524538 B CN 110524538B CN 201910433654 A CN201910433654 A CN 201910433654A CN 110524538 B CN110524538 B CN 110524538B
Authority
CN
China
Prior art keywords
image
identification information
captured image
robot
statistical information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910433654.6A
Other languages
English (en)
Other versions
CN110524538A (zh
Inventor
日向崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN110524538A publication Critical patent/CN110524538A/zh
Application granted granted Critical
Publication of CN110524538B publication Critical patent/CN110524538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Character Discrimination (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理装置、机器人以及机器人系统，所述图像处理装置包含处理器，处理器构成为，受理拍摄所述对象物而得到的拍摄图像，通过处理所述拍摄图像来检测所述对象物的识别信息，生成合成所述拍摄图像和所述识别信息的合成图像并显示于所述显示装置，所述合成图像构成为在所述拍摄图像内的所述对象物上重叠有所述识别信息。

Description

图像处理装置、机器人以及机器人系统
技术领域
本发明涉及一种进行对象物的拍摄以及图像处理的技术。
背景技术
在机器人等的各种装置中使用一种技术，其通过照相机拍摄被摄体，通过处理其图像来识别被摄体，使机器人对被摄体进行工作。在专利文献1中公开了一种通过使用照相机检测识别工件上的产品编号或序列号来在产品管理、流通管理等中利用的技术。在该技术中，检测区域的坐标等显示在与工件图像相邻的详细结果区域。
专利文献1：日本特开2010-081228号公报
然而，在上述现有技术中，对象物的产品编号、序列号等识别信息作为由照相机拍摄的图像仅被显示在不同的地方，因此操作者难以同时查看这些识别结果，并且存在难以判断识别信息的识别是好还是坏的问题。
发明内容
根据本发明的一方式，提供一种检测拍摄的对象物的识别信息并显示在显示装置上的图像处理装置。该图像处理装置具备：图像受理部，受理拍摄所述对象物而得到的拍摄图像；检测部，通过处理所述拍摄图像检测所述对象物的识别信息；以及合成图像生成部，生成合成所述拍摄图像和所述识别信息的合成图像，并将其显示在所述显示装置。所述合成图像为在所述拍摄图像内的所述对象物上重叠有所述识别信息。
附图说明
图1是机器人系统的示意图。
图2是示出具有多个处理器的控制装置的一例的示意图。
图3是示出具有多个处理器的控制装置的另一示例的示意图。
图4是示出控制装置的功能框图。
图5是示出对象物的一例的俯视图。
图6是示出第一实施方式中的图像处理步骤的流程图。
图7是示出在对象物上显示作为识别信息的字符串的合成图像的一例的说明图。
图8是示出字符识别处理的详细步骤的流程图。
图9是示出字符串显示处理的详细步骤的流程图。
图10是示出在第二实施方式中在对象物上显示作为识别信息的字符串的图像的示例的说明图。
图11是示出第二实施方式中的图像处理步骤的流程图。
图12是示出在对象物上显示作为识别信息的字符串的合成图像的另一示例的说明图。
附图标记说明：
100...机器人；120...底座；130...手臂；132...手臂法兰；160...末端执行器；164...夹持机构；200...控制装置；210...处理器；211...机器人控制部；212...拍摄控制部；220...主存储器；222...程序命令；230...非易失性存储器；240...显示控制部；250...显示部；260...I/O接口；270...图像处理部；271...图像受理部；272...检测部；273...合成图像生成部；300...示教器；400...搬送装置；600...托盘；700...支架；710...顶板；720...工作台部；810...闪光灯；820...照相机；1400...个人电脑；1500...云服务。
具体实施方式
A.第一实施方式：
图1是机器人系统的示意图。该机器人系统设置于支架700，并具备机器人100、与机器人100连接的控制装置200、示教器300、搬送装置400、托盘600、闪光灯810以及照相机820。机器人100固定于支架700的顶板710的下方。托盘600置于支架700的工作台部720。搬送装置400将作为对象物的多个工件WK依次搬送到机器人100的工作位置。工件WK的搬送方向是垂直于纸面的方向。搬送装置400的上表面是搬送工件WK的搬送路线。
机器人100是示教再现型机器人。根据事先创建的示教数据执行使用机器人100的工作。在该机器人系统中，设定有由三个正交坐标轴X、Y、Z定义的系统坐标系Σs。在图1的示例中，X轴和Y轴为水平方向，Z轴为垂直向上的方向。包含于示教数据的示教点和末端执行器的姿态是由该系统坐标系Σs的坐标值和各轴转动的角度表示的。
机器人100具备底座120以及手臂130。手臂130由四个关节J1～J4依次连接。在这些关节J1～J4中，三个关节J1、J2、J4是扭转关节，一个关节J3是平移关节。在本实施方式中示例了四轴机器人，但是可以使用具有一个以上关节的任意手臂机构的机器人。
在设置于手臂130的前端部的手臂法兰132安装有末端执行器160。在图1的示例中，末端执行器160是使用夹持机构164夹持工件WK并拾取的夹具。但是，作为末端执行器160还可以为安装了吸附拾取机构等的其他机构的形式。在本实施方式中，机器人100拾取由搬送装置400搬送的工件WK，并执行将工件WK收纳于托盘600内的适当位置的工作。但是，机器人系统还可以适用于除此之外的其他工作的情况。
控制装置200具有处理器210、主存储器220、非易失性存储器230、显示控制部240、显示部250以及I/O接口260。这些各个部通过总线连接。处理器210例如是微处理器或者处理器电路。控制装置200通过I/O接口260与机器人100、示教器300、搬送装置400连接。控制装置200还通过I/O接口260与闪光灯810以及照相机820连接。
控制装置200的构成可以采用图1所示的构成以外的各种构成。例如，将处理器210以及主存储器220从图1的控制装置200中删除，可以在连接于该控制装置200且可通信的其他装置中设置处理器210以及主存储器220。在这种情况下，由上述其他装置和控制装置200合成的整体装置可以作为机器人100的控制装置发挥作用。在其他的实施方式中，控制装置200可具有两个以上的处理器210。在进一步其他的实施方式中，控制装置200可由可相互通信且连接的多个装置实现。在这些各种实施方式中，控制装置200由具备一个以上的处理器210的装置或者装置组构成。
图2是示出由多个处理器构成机器人的控制装置的一例的示意图。在该示例中，除了机器人100以及其控制装置200之外，还描述了个人电脑1400、1410以及由LAN等网络环境提供的云服务1500。个人电脑1400、1410分别包含处理器和存储器。此外，在云服务1500中也可以使用处理器和存储器。通过使用这些多个处理器的一部分或者全部，可以实现机器人100的控制装置。
图3是示出由多个处理器构成机器人的控制装置的其他示例的示意图。在该示例中，与图2的不同之处在于机器人100的控制装置200保存在机器人100中。在该示例中，通过使用这些多个处理器的一部分或者全部，可以实现机器人100的控制装置。
图4是示出控制装置200的功能框图。控制装置200的处理器210通过执行事先存储于存储器220的各种程序命令222，分别实现机器人控制部211、拍摄控制部2112、图像处理部270的功能。图像处理部270相当于“图像处理装置”
图像处理部270包含图像受理部271、检测部272以及合成图像生成部273。图像受理部271受理使用照相机820拍摄作为对象物的工件WK而得到的拍摄图像。检测部272通过处理拍摄图像来检测对象物的识别信息。合成图像生成部273生成通过合成拍摄图像和识别信息而获得的合成图像，并显示于显示部250。对于这些各部271～273的功能进一步后述。
图5是示出作为对象物的工件WK的一例的俯视图。在该工件WK的表面，描述有两个识别信息CR1、CR2。第一识别信息CR1是包含数字或者字符的字符串，第二识别信息CR2是二维码。这些识别信息CR1、CR2的共同点在于都是使用计算机可机械识别的信息。在以下的说明中，对从图像中检测第一识别信息CR1的示例进行说明。但是，在检测第二识别信息CR2的情况下，也可以同样适用以下的说明。此外，作为工件WK的识别信息，也可以使用除字符串和二维码之外的信息。例如可以将特定的图案或者标记作为工件WK的识别信息进行检测。
在本说明书中，狭义上的“字符”不包括数字，广义上的“字符”包括数字。“数字或者字符”短语中的“字符”用于狭义。此外，“字符串”短语中的“字符”用于广义。并且，“字符串”只要包含一个以上的数字或者字符即可。但是，优选的是，作为识别信息的“字符串”包含多个数字或者字符。此外，“字符串”不必是一串，可以包含多串。
图6是示出第一实施方式中的图像处理步骤的流程图。在步骤S100中，图像受理部271使照相机820拍摄工件WK。在拍摄时，可以根据需要使闪光灯810发光。工件WK的拍摄图像由图像受理部271受理并临时保存于存储器220中。
由检测部272执行步骤S110～S140。在步骤S110中，执行预处理。作为预处理，例如是调整整个拍摄图像的明亮度或者调整对比度。但是，也可以省略预处理。
在步骤S120中，为了读取工件WK表面的识别信息CR1，在检测拍摄图像中的工件WK的位置的同时，检测识别信息CR1的位置。例如，通过搜索具有与工件WK的几何形状类似形状的像素组，检测拍摄图像中的工件WK的位置。例如，从工件WK中的CR1的已知位置检测工件WK的识别信息CR1的位置。
在步骤S130中，从拍摄图像中提取包含识别信息CR1的图像区域。在步骤S140中，从在步骤S130得到的图像区域中识别识别信息CR1的字符串。后述关于步骤S140的字符识别处理的细节。
由合成图像生成部273执行步骤S150、S160。在步骤S150中，读取字符串显示设定，该字符串显示设定表示将识别的识别信息CR1叠加在拍摄图像的描绘的状态。该字符串显示设定被预设定并保存于存储器220中。
作为字符串显示设定例如可以设定以下参数中的一个以上的参数。(1)结果标志：该标志表示字符识别处理是否成功。在初始设定中，结果标志可以设定为“成功”和“失败”中的任一个。可以对结果标志的“成功”和“失败”设定不同的颜色。例如结果标志是“成功”的情况下使用绿色描绘字符串，是“失败”的情况下使用红色描绘字符串，可以采用如上所述的选择性颜色的字符的方法。(2)前景色：前景色是字符色，可以根据用户的指定设定为固定色，背景补色等。(3)背景色：背景色是字符的背景色，可以根据用户的指定设定为固定色、透明、字符色的补色、α混合等。(4)字符串的插入位置坐标：字符串的宽、高以及旋转角度，作为字符串的字符的旋转角度，例如可以指定表示字符成立的0度，或者与构成识别信息CR1的字符串的矩形框的检测角度相等的角度。根据后者的设定，由于与合成图像MG中的识别信息CR1的字符方向为相等的方向，可显示识别结果的字符。(5)框外处理：框外处理为在合成图像MG上描绘识别的字符串时，字符串超出合成图像MG的框的情况下，以设定的状态处理描绘字符串。例如，可以为指定将字符串折叠描绘在合成图像MG内的状态，或者不折叠字符串描绘在超出合成图像MG外的位置的状态。(6)字符的属性：字符的属性可以设定字体类型(Mincho、Gothic等)、样式(标准、斜体、粗体、粗体斜体等)、大小(点数)、字符装饰(阴影、空心、浮出、浮雕等)。(7)追加描绘项目：可指定在合成图像MG上描绘的除了识别的字符串以外的项目。例如可以指定描绘处理日期，处理时间以及后述的处理结果的统计信息等。
在步骤S160中，根据在步骤S150中读取的字符串显示设定，将作为从识别信息CR1识别的识别信息的字符串叠加在拍摄图像内的工件WK上显示。后述关于步骤S160的字符串显示处理的细节。
图7是示出在作为对象物的工件WK上叠加作为识别信息的字符串CF而描绘的合成图像的一例的说明图。在该示例中，由于在与识别信息CR1相邻的位置处显示字符串CF，操作者观察该字符串CF，能够容易判断是否正常执行识别信息CR1的识别。
在合成图像MG中，还描绘了表示字符识别处理是否成功的结果标志FR和字符串CF的识别位置坐标CD。在该示例中，表示为作为结果标志RF的“OK”的字符。字符串CF的识别位置坐标CD表示例如在以工件WK的基准位置为原点的工件坐标系中的字符串CF初始字符位置。
图8是示出图6的步骤S140中的字符识别处理的详细步骤的流程图。在步骤S141中执行预处理。作为预处理，例如通过梯形校正，进行消除合成图像MG中的工件WK的梯形失真处理。在步骤S142中执行合成图像MG的二值化。作为二值化的方法，可以是使用事先规定的阈值的方法，或者是使用创建合成图像MG内的亮度直方图，从而决定分离前景和背景的阈值的方法。在步骤S143中，从二值化后的合成图像MG中提取识别信息CR1。在步骤S144中，通过将提取的识别信息CR1和事先准备的字典进行对照，能够分别识别构成识别信息CR1的字符。在步骤S145中，输出作为字符识别结果的识别的字符串CF，并保存于存储器220。此外，字符识别成功时，字符串显示设定的结果标志被设定为“成功”，字符识别失败时，字符串显示设定的结果标志被设定为“失败”。
图9是示出图6的步骤S160中的字符串显示处理的详细步骤的流程图。根据工件WK，在合成图像MG上描绘识别的字符串CF时，存在字符串CF的可见性显著下降的可能性。因此，在本实施方式中，使用背景的补色进行字符串CF的描绘。并且，优选的是，图7示出的结果标志RF和字符串CF的识别位置坐标CD也可以用与各自背景颜色相应的互补色的颜色描绘。
在步骤S161中，获取由字符串显示设定指定的前景和背景的颜色信息。“前景”表示识别的字符串CF。“背景”表示在字符串CF描绘的矩形区域中除去字符之外的部分。作为颜色信息，例如使用RGB的3个值。
在步骤S162中，分别计算前景和背景的明亮度。关于明亮度的计算公式，例如可以使用以下公式。
La＝((R×299)+(G×587)+(B×114))/1000…(1)
其中，La是明亮度，R、G、B是R值、G值、B值。
在步骤S163中，分别计算前景和背景的亮度。关于亮度的计算公式，例如可以使用以下公式。
Lb＝R'×0.2126+G'×0.7152+B'×0.0722…(2)
其中，Lb是亮度，R’、G’、B’是用以下转换公式转换的R值、G值、B值。
＜R’的转换公式＞
sR＝(R/255)-1.5 (3a)
(i)sR≤0.03928的情况下
R'＝sR/12.92 (3b)
(ii)0.03928<sR的情况下
R'＝{(sR+0.055)1.055}2.4 (3c)
G'以及B'使用同样的转换公式进行转换。
在步骤S164中，计算前景和背景的色差。关于色差ΔC的计算公式，例如可以使用以下公式。
ΔC＝(max(Rb,Rf)-min(Rb,Rf))+(max(Gb，Gf)-min(Gb，Gf))+(max(Bb，Bf)-min(Bb，Bf)) (4)
其中，添加字符b和f分别表示背景色和前景色。
在步骤S165中，使用步骤S162～S164计算的明亮度，亮度以及色差，决定字符色。为了确保字符串CF的可视性，优选的是，满足以下三个条件的所有条件。
(1)明亮度差:125以上
(2)亮度比:4.5以上
(3)色差：500以上，但是，字符的大小为18点以上，或者为粗体字符且14点以上的情况下，亮度比可以为3以上。
从调色板中选择满足这些条件的字符色。当存在多个满足条件的颜色的情况时，可以选择明亮度差，亮度比以及色差中的任何一个是最大值的字符颜色。或者在显示部250上推荐显示这些多个颜色，也可以由操作者选择字符色。
在步骤S166中，描绘使用由此决定字符色的字符串CF等。在步骤S161～S165中决定的字符色成为背景的补色。并且，在步骤S161～S166的处理中，决定字符串CF的颜色使得字符串CF成为背景的补色，但是，也可以使字符串CF的颜色作为特定色，而使用特定色的补色描绘其背景。
上述的图7的合成图像MG是通过图6、图8、图9的处理而创建的图像。根据需要在该合成图像MG上执行明亮度调整、对比度调整、梯形校正等，此外，由于用互补色描绘字符串CF和其背景，因此以操作者容易看到的状态显示在显示部250上。
如上所述，在第一实施方式中，合成图像生成部273在作为合成图像MG内的对象物的工件WK上，叠加作为工件WK识别信息的字符串CF，因此具有操作者能够容易判断对象物的识别信息的识别结果是好还是坏的优点。
此外，因为作为识别信息的字符串CF的颜色和其背景颜色彼此为互补色，所以操作者能够容易判断对象物的识别信息的识别结果是好还是坏。进一步，不仅描绘了作为识别信息的字符串CF，还描绘了表示图像处理的处理结果是好还是坏的结果标志RF，因此操作者能够更容易判断对象物的识别信息的识别结果是好还是坏。
B.第二实施方式：
图10是示出在第二实施方式中在对象物上显示作为识别信息的字符串的图像的一例的说明图。与图7所示的第一实施方式的合成图像MG的不同之处有两处，一是字符串CF被描绘在与识别信息CR1相邻位置不同的图像中的预定位置处，二是描绘统计信息ST，其他与第一实施方式相同。统计信息ST是关于对图1所示的由搬送装置400搬送的相同种类的多个工件WK的图像处理的处理结果的统计信息。在该示例中表示，例如在2018年5月7日由图1所示的装置处理的多个工件WK中，243个工件WK的图像处理结果为成功，5个工件WK的图像处理结果为失败的情况。以这种方式，生成包含对于多个工件WK的图像处理结果的统计信息的合成图像，则具有操作者能够容易判断拍摄条件或图像处理条件是好还是坏的优点。
图11是示出第二实施方式中的图像处理步骤的流程图。与图6所示的第一实施方式的流程图的不同之处仅有两处，一是在步骤S150和步骤S160之间追加步骤S210，二是在步骤S160之后追加步骤S220，其他与图6相同。
在步骤S210中，合成图像生成部273对到目前为止处理的多个工件WK执行统计处理。作为统计处理，可以是求得例如图像处理的成功个数以及失败个数、图像处理的成功率、字符串的识别位置坐标的平均值以及标准偏差等中的一个以上的处理。在步骤S220中，判断对多个工件WK的工作是否完成，如果没有完成，则返回步骤S100并且重复其之后的处理。
在图10的示例中，通过统计处理求得图像处理的成功个数以及失败个数，并描绘在合成图像MG上。并且，失败个数是无法检测识别信息CR1的次数。并且，短语“无法检测识别信息CR1”包含无法检测识别信息CR1的位置和无法识别作为识别信息CR1内容的字符串两方面。如果生产合成图像MG使其包含图像处理结果的统计信息ST，则具有操作者容易判断拍摄条件或图像处理条件是好还是坏的优点。
图12是示出在对象物上显示作为识别信息的字符串的合成图像的另一示例的说明图。在此，显示部250的屏幕被划分为多个区域R1、R2、R3。在各区域R1、R2、R3中，分别显示对于由搬送装置400依次搬送来的工件WK1、WK2、WK3的合成图像MG1、MG2、MG3。此外，各个工件WK1、WK2、WK3被搬送装置400搬送并且从照相机820的拍摄地点前进时，各区域R1、R2、R3内显示的合成图像MG1、MG2、MG3也相应地在屏幕内移动。在该示例中，区域R1、R2、R3分别被分成延伸在水平方向的上，中，下三个阶段，随着工件WK1、WK2、WK3的移动，各个合成图像MG1、MG2、MG3在显示部250的屏幕中向左移动。作为识别信息CR1的识别结果的字符串CF也配合于合成图像MG1、MG2、MG3的显示位置的移动而移动。
以这种方式，根据搬送路线上的工件WK的搬送，使显示部250中的合成图像的显示位置移动的同时，使识别信息的显示位置联动于合成图像的显示位置的移动。有一个优点是操作者容易判断该工件WK的识别信息CR1的识别结果是好还是坏。
C.其他实施方式：本发明不限于上述的实施方式，在不脱离其主旨的范围内可通过各种方式实现。例如本发明还可以通过以下的方面(aspect)实现。为了解决本发明的一部分或全部问题，或者达成本发明的一部分或全部效果，对应于以下记载的各方式中的技术特征的上述实施方式中的技术特征可被适当地进行替换或组合，
(1)根据本发明的第一方式，提供一种检测和显示拍摄的对象物的识别信息的图像处理装置。该图像处理装置具备：图像受理部，受理通过拍摄所述对象物而获得的拍摄图像；检测部，通过处理所述拍摄图像来检测所述对象物的识别信息；以及合成图像生成部，生成通过合成所述拍摄图像和所述识别信息而获得的合成图像，并显示在所述显示装置上。所述合成图像为在所述拍摄图像内的所述对象物上重叠有所述识别信息。根据该图像处理装置，因为在拍摄图像内的对象物上叠加识别信息，因此操作者容易判断对象物的识别信息的识别结果是好还是坏。
(2)在上述图像处理装置中，所述识别信息可以是数字或者字符。根据该图像处理装置，在图像中显示包含于对象物的数字或字符、检测到的数字或者字符，因此操作者容易判断对象物的数字或者字符的识别结果是好还是坏。
(3)在上述图像处理装置中，所述识别信息的颜色可以是与所述识别信息的背景色互补的颜色。根据该图像处理装置，识别信息的颜色与背景色为互补色，所以操作者容易判断对象物的识别信息的识别结果是好还是坏。
(4)在上述图像处理装置中，所述图像受理部依次受理拍摄所述对象物的多张拍摄图像，所述检测部和所述合成图像生成部对所述拍摄图像依次执行所述拍摄图像的处理和所述合成图像的生成，所述合成图像生成部生成对于包含第一对象物的第一拍摄图像的处理结果的第一统计信息，也可以生成包含所述第一统计信息的所述第一合成图像。根据该图像处理装置，由于以包含对于含有第一对象物的第一拍摄图像的处理结果的第一统计信息的方式生成第一合成图像，因此操作者容易判断拍摄条件或图像处理条件是好还是坏。
(5)在上述图像处理装置中，所述合成图像生成部生成所述第一统计信息和第二统计信息，其中所述第二统计信息包含对于含有第二对象物的第二拍摄图像的处理结果，也可以生成包含所述第二统计信息的所述第二合成图像。根据该图像处理装置，生成对于第一对象物和第二对象物的拍摄图像的处理结果的第二统计信息，并生成包含第二统计信息的第二合成图像，因此操作者容易判断拍摄条件或图像处理条件是好还是坏。
(6)在上述图像处理装置中，所述第一统计信息或者所述第二统计信息可以包含无法检测所述识别信息的次数。根据该图像处理装置，由于在合成图像上显示包含无法检测识别信息的次数的统计信息，因此操作者容易判断拍摄条件或图像处理条件是好还是坏。
(7)根据本发明的第二方式，提供一种在显示装置上显示拍摄的对象物的识别信息的图像处理装置。该图像处理装置具备处理器，所述处理器构成如下：(a)受理拍摄所述对象物而得到的拍摄图像，(b)通过处理所述拍摄图像检测所述对象物的识别信息，生成表示所述识别信息的识别信息，(c)生成合成所述拍摄图像和所述识别信息的合成图像，并显示在显示装置上。所述合成图像为在所述拍摄图像内的所述对象物上重叠有所述识别信息。根据该图像处理装置，由于在拍摄图像内的对象物上叠加识别信息，因此操作者容易判断对象物的识别信息的识别结果是好还是坏。
(8)根据本发明的第三方式，提供一种连接于包含上述图像处理装置的控制装置的机器人。根据该机器人，获取以工件为对象物的拍摄图像，执行图像处理并生成对象物的识别信息，在拍摄图像内的对象物上叠加识别信息，因此操作者容易判断对象物的识别信息的识别结果是好还是坏。
(9)根据本发明的第四方式，提供一种机器人系统，所述机器人系统具备机器人和连接于所述机器人且包含所述图像处理装置的控制装置。根据该机器人系统，获取以工件为对象物的拍摄图像，执行图像处理并检测对象物的识别信息，在拍摄图像内的对象物上叠加识别信息，因此操作者容易判断对象物的识别信息的识别结果是好还是坏。
本发明可以以除上述之外的各种方式实现。例如以用于实现图像处理方法、图像处理装置功能的计算机程序，记录了其计算机程序的非暂时性存储介质(non-transitorystorage medium)等的方式实现。

Claims (15)

1.一种图像处理装置，其特征在于，在显示装置显示拍摄的对象物的识别信息，
所述图像处理装置具备处理器，
所述处理器构成为，
受理拍摄所述对象物而得到的拍摄图像，
通过处理所述拍摄图像来检测所述对象物的识别信息，
生成合成所述拍摄图像和所述识别信息的合成图像并显示于所述显示装置，
所述合成图像构成为在所述拍摄图像内的所述对象物上重叠有所述识别信息，
所述处理器受理拍摄所述对象物而获得的多个拍摄图像，
对所述拍摄图像执行所述拍摄图像的处理以及所述合成图像的生成，
生成针对包含第一对象物的第一拍摄图像的处理结果的第一统计信息，生成包含所述第一统计信息的第一合成图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述识别信息是数字或者字符。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述识别信息的颜色是对于所述识别信息的背景颜色的补色。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述处理器生成所述第一统计信息和包含针对含有第二对象物的第二拍摄图像的处理结果的第二统计信息，生成包含所述第二统计信息的第二合成图像。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述第一统计信息或者所述第二统计信息包含无法检测所述识别信息的次数。
6.一种机器人，其特征在于，基于将拍摄的对象物的识别信息显示在显示装置的图像处理装置所检测到的所述识别信息进行控制，
所述图像处理装置具备处理器，
所述处理器构成为，
受理拍摄所述对象物而得到的拍摄图像，
通过处理所述拍摄图像来检测所述对象物的识别信息，
生成合成所述拍摄图像和所述识别信息的合成图像并显示于所述显示装置，
所述合成图像构成为在所述拍摄图像内的所述对象物上重叠有所述识别信息，
所述处理器受理拍摄所述对象物而获得的多个拍摄图像，
对所述拍摄图像执行所述拍摄图像的处理以及所述合成图像的生成，
生成针对包含第一对象物的第一拍摄图像的处理结果的第一统计信息，生成包含所述第一统计信息的第一合成图像。
7.根据权利要求6所述的机器人，其特征在于，
所述识别信息是数字或者字符。
8.根据权利要求6所述的机器人，其特征在于，
所述识别信息的颜色是对于所述识别信息的背景颜色的补色。
9.根据权利要求6所述的机器人，其特征在于，
所述处理器生成所述第一统计信息和包含针对含有第二对象物的第二拍摄图像的处理结果的第二统计信息，生成包含所述第二统计信息的第二合成图像。
10.根据权利要求9所述的机器人，其特征在于，
所述第一统计信息或者所述第二统计信息包含无法检测所述识别信息的次数。
11.一种机器人系统，其特征在于，具备：
机器人；
图像处理装置，在显示装置显示拍摄的对象物的识别信息；以及
控制装置，基于所述图像处理装置检测的所述识别信息，控制所述机器人，
所述图像处理装置具备处理器，
所述处理器构成为，
受理拍摄所述对象物而得到的拍摄图像，
通过处理所述拍摄图像来检测所述对象物的识别信息，
生成合成所述拍摄图像和所述识别信息的合成图像并显示于所述显示装置，
所述合成图像构成为在所述拍摄图像内的所述对象物上重叠有所述识别信息，
所述处理器受理拍摄所述对象物而获得的多个拍摄图像，
对所述拍摄图像执行所述拍摄图像的处理以及所述合成图像的生成，
生成针对包含第一对象物的第一拍摄图像的处理结果的第一统计信息，生成包含所述第一统计信息的第一合成图像。
12.根据权利要求11所述的机器人系统，其特征在于，
所述识别信息是数字或者字符。
13.根据权利要求11所述的机器人系统，其特征在于，
所述识别信息的颜色是对于所述识别信息的背景颜色的补色。
14.根据权利要求11所述的机器人系统，其特征在于，
所述处理器生成所述第一统计信息和包含针对含有第二对象物的第二拍摄图像的处理结果的第二统计信息，生成包含所述第二统计信息的第二合成图像。
15.根据权利要求14所述的机器人系统，其特征在于，
所述第一统计信息或者所述第二统计信息包含无法检测所述识别信息的次数。
CN201910433654.6A 2018-05-25 2019-05-23 图像处理装置、机器人以及机器人系统 Active CN110524538B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018100347A JP2019205111A (ja) 2018-05-25 2018-05-25 画像処理装置、ロボット、及び、ロボットシステム
JP2018-100347 2018-05-25

Publications (2)

Publication Number Publication Date
CN110524538A CN110524538A (zh) 2019-12-03
CN110524538B true CN110524538B (zh) 2022-12-23

Family

ID=68614953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910433654.6A Active CN110524538B (zh) 2018-05-25 2019-05-23 图像处理装置、机器人以及机器人系统

Country Status (3)

Country Link
US (1) US11712807B2 (zh)
JP (1) JP2019205111A (zh)
CN (1) CN110524538B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7424800B2 (ja) * 2019-11-06 2024-01-30 ファナック株式会社 制御装置、その制御方法、及び制御システム
CN111355890A (zh) * 2020-03-16 2020-06-30 广州立景创新科技有限公司 图像拍摄及合成方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH067394B2 (ja) 1984-07-13 1994-01-26 オムロン株式会社 パターン認識装置
JPH04319786A (ja) * 1991-04-18 1992-11-10 Nec Eng Ltd バーコードスキャナ
JPH085316A (ja) 1994-06-23 1996-01-12 Hitachi Ltd 移動体の認識方法および装置
JP2001256552A (ja) * 2000-03-10 2001-09-21 Hitachi Ltd 商品管理装置およびデータ転送装置
JP4135556B2 (ja) * 2003-05-16 2008-08-20 株式会社日立製作所 映像認識装置
JP2005190102A (ja) 2003-12-25 2005-07-14 Fanuc Ltd 数値制御装置
JP2005223758A (ja) * 2004-02-06 2005-08-18 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム、記録媒体
JP4889554B2 (ja) * 2007-04-20 2012-03-07 オリンパスイメージング株式会社 カメラ、コンテンツ作成方法、及びプログラム
JP5082776B2 (ja) * 2007-10-31 2012-11-28 オムロン株式会社 画像処理装置
JP5353154B2 (ja) 2008-09-25 2013-11-27 オムロン株式会社 画像処理装置およびそれにおける画像処理方法
JP5083395B2 (ja) * 2010-09-17 2012-11-28 カシオ計算機株式会社 情報読取装置及びプログラム
JP5613592B2 (ja) * 2011-03-01 2014-10-29 シャープ株式会社 バーコード読み取り装置
JP5561214B2 (ja) * 2011-03-15 2014-07-30 オムロン株式会社 画像処理装置および画像処理プログラム
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
JP6165579B2 (ja) * 2013-10-02 2017-07-19 共同印刷株式会社 識別コード読取システム及び方法
EP3104118B1 (en) 2015-06-12 2019-02-27 Hexagon Technology Center GmbH Method to control a drive mechanism of an automated machine having a camera
CN105007415B (zh) * 2015-06-30 2018-07-06 广东欧珀移动通信有限公司 一种图像预览方法和装置
WO2017033353A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操作ロボットシステム

Also Published As

Publication number Publication date
CN110524538A (zh) 2019-12-03
JP2019205111A (ja) 2019-11-28
US11712807B2 (en) 2023-08-01
US20190358819A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110958425B (zh) 信息处理装置、信息处理方法和系统
JP4309439B2 (ja) 対象物取出装置
JP7197971B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US10430650B2 (en) Image processing system
US7406191B2 (en) Inspection data producing method and board inspection apparatus using the method
CN107048599B (zh) 自动化的斯创贝尔印刷
JP2004050390A (ja) ワーク取出し装置
EP0218259A2 (en) Method and apparatus for calculating position and orientation by combination of features of partial shapes
JP2019063984A (ja) 情報処理装置、方法及びロボットシステム
CN110524538B (zh) 图像处理装置、机器人以及机器人系统
JP2019145177A (ja) 画像処理方法および撮影装置
JPWO2016016933A1 (ja) 部品データ取扱装置および部品データ取扱方法並びに部品実装システム
CN111225143A (zh) 图像处理装置及其控制方法以及程序存储介质
CN115803155A (zh) 编程装置
US8712164B2 (en) Image processing apparatus, image registering method, program causing computer to execute image registering method, and recording medium in which program is recorded
US20190278991A1 (en) Control apparatus, robot system, and method of detecting object
US11989928B2 (en) Image processing system
JP2009292088A (ja) 乱丁検知装置
CN111199533B (zh) 图像处理装置
JP7215218B2 (ja) 分光検査方法、画像処理装置、及びロボットシステム
US20150241997A1 (en) Coordinate detection system, information processing apparatus, method of detecting coordinate, and program
JP6041710B2 (ja) 画像認識方法
JP2019204185A (ja) 画像処理装置、ロボット、及び、ロボットシステム
WO2022009399A1 (ja) 画像処理装置および画像処理方法
US20230150141A1 (en) Training data generation device, training data generation method using the same and robot arm system using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant