CN1940993A

CN1940993A - 图像处理装置

Info

Publication number: CN1940993A
Application number: CNA2006101595541A
Authority: CN
Inventors: 宫胁舞; 饭田雄介
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2005-09-30
Filing date: 2006-09-27
Publication date: 2007-04-04
Anticipated expiration: 2026-09-27
Also published as: DE102006045416A1; US20070076277A1; CN100543773C; JP2007102269A; US7706024B2; JP4735170B2

Abstract

本发明提供一种根据所取得的图像而能够决定最佳登记色的图像处理装置。图像处理部(6)从摄像部(2)接收样本图像，并分别对构成样本图像的二维配置的多个像素取得色调，而计算出色调直方图。控制部(4)基于从图像处理部(6)所接收到的色调直方图上取极大值点的色调来抽取候补色。同时，控制部(4)为了决定被视为各候补色的颜色的范围，而决定色调阈值。进而，控制部(4)抽取满足各候补色的色调阈值的所有像素，并取得关于该所抽取的像素的明度以及色度，而分别将该所取得的明度以及色度中的最大值以及最小值作为明度的阈值以及色度的阈值。控制部(4)将所决定的色调阈值、明度阈值以及色度阈值存储在存储部(6a)中。

Description

图像处理装置

技术领域

本发明涉及一种从所取得的图像中确定带有预先被登记的颜色的区域的图像处理装置，特别是涉及一种能够容易的从模型图像中抽取作为登记色的候补的颜色的图像处理装置。

背景技术

在生产现场中，从节省人力以及高效率的观点出发，而正在促进自动化。为了实现自动化，而使用着利用光、电、电波、声波等的多种传感器。在这样的传感器种类中，常常使用一种图像传感器，该图像传感器对产品等进行拍摄，然后通过对其所拍摄的图像进行处理，从而能够进行对该产品的合格与否判别和对该产品的ID确定。由于通过图像传感器就能够实现与人类的视觉检测同样的检测功能，所以其应用范围非常广。

大部分的图像传感器由对检测对象进行拍摄的摄像部、对由摄像部所取得的图像进行处理的图像处理部(或者，也称作放大部)构成，而且判断由摄像部所拍摄的图像中是否包括具有规定的形状的区域。

特别是在通用的图像传感器中，常有这样的结构：基于未含有彩色信息的灰度图像，来判定检测对象的形状。然而，伴随着近年来的信息技术的进步，在通用的图像传感器中，在以往的对形状的判断的基础上，利用彩色图像而还能够同时进行对颜色的判断的图像传感器也已被实用化。这种对颜色的判断包括从所取得的图像中确定带有预先登记的颜色的区域的处理。

在以往的利用灰度图像的形状检测中，分别由具有一维的灰度值(例如，256级灰度)的多个像素构成，并基于所谓灰度图像而进行了对形状的判断。另一方面，以由基于光的三原色的红、绿、蓝的各自的比率构成的RGB值、和由作为颜色的三属性的色调(Hue)、明度(Value)、色度(Chroma)的值构成的三维坐标来表现构成彩色图像的各像素。因此，要设定对区域进行确定的登记色，则需要三个参数。此外，将这种参数称作为颜色参数。

因此，发明了这样一种图像处理装置，该图像处理装置获取用于抽取登记色的模型图像，并显示该模型图像所包含的颜色。

例如，在专利文献1中，公开有能够自动抽取所指定的点(像素)的颜色参数的图像处理装置。

专利文献1：JP特开平2-194479号公报

然而，即使是用人眼观察为同一颜色的图像，但各自的像素所具有的颜色参数也常常会有些差异。这意味着，若由图像处理装置来观察，则将其判断为由各不相同的多个颜色构成的区域。

因此，在处理一般的彩色图像的图像处理装置中，使登记色的颜色参数具有阈值宽度，而针对具有在该阈值宽度范围内的颜色的像素，进行将其视为登记色的处理。反言之，如果不根据图像整体的颜色参数的分散度来设定最佳的颜色参数范围，则无法进行具有实用性的区域确定。

然而，在以往的图像处理装置中，即使能够取得对特定点(像素)的颜色参数，也无法从所取得的整体图像中取得最佳的颜色参数范围。因此，必须根据照明和反射率等各种拍摄条件，以尝试法来决定登记颜色，因此，如果不依赖于熟练工的感觉和经验，则常常无法使图像处理装置发挥满意的功能。

发明内容

因此，本发明是为了解决这些问题提出的，其目的在于提供一种根据所取得的图像而能够决定最佳登记色的图像处理装置。

本发明的图像处理装置从取得所登记的规定颜色或者在颜色范围内的颜色而作为登记色的图像中确定具有登记色的区域，其具备：色调取得装置，其接收用于抽取登记色的模型图像，而取得关于构成该模型图像的各像素的色调；色调直方图计算装置，其基于在色调取得装置中所取得的色调，计算出关于构成模型图像的像素的色调直方图；候补色抽取装置，其基于在色调直方图计算装置中所计算出的色调直方图，从模型图像所包含的颜色中抽取作为登记色的候补的规定颜色范围内的候补色。

优选地，上述候补色抽取装置将在上述色调直方图上成为极大值点的色调或包含该色调的规定范围内的颜色作为候补色而进行抽取。

优选地，候补色抽取装置包括色调阈值决定装置，该色调阈值决定装置基于色调直方图，决定用于决定关于各候补色的规定范围的色调阈值，以使各候补色包含上述规定范围内的颜色。

优选地，色调阈值决定装置以使处于特定范围内的色调包含在候补色中的方式决定色调阈值，该特定范围是以色调直方图上成为极大值点的色调为基准的规定范围。

优选地，色调阈值决定装置在以色调直方图上成为极大值点的色调为基准的规定范围内包含有色调直方图上的极小值点时，将该成为极小值点的色调作为阈值而决定色调阈值。

优选地，还具备显示装置，色调阈值决定装置从外部接收对色调阈值的变更指令，而更新色调阈值，显示装置对在色调直方图计算装置中所计算出的色调直方图和色调阈值进行显示。

优选地，候补色抽取装置还包括明度及色度阈值决定装置，该明度及色度阈值决定装置基于在构成模型图像的像素中满足色调阈值决定装置中所决定的色调阈值的像素所具有的明度以及色度，来决定用于决定被视为候补色的颜色的范围的明度阈值以及色度阈值。

优选地，明度及色度阈值决定装置从外部接收对于明度阈值以及/或者色度阈值的变更指令，而更新明度阈值以及/或者色度阈值。

优选地，色调取得装置从外部接收对在模型图像中用于抽取候补色的区域进行设定的区域设定指令，而取得关于根据区域设定指令而设定的区域所包含的像素的色调。

优选地，还具备区域确定装置，该区域确定装置从外部接收用于选择成为登记色的候补色的选择指令，而确定具有从所取得的图像中根据选择指令来选择的候补色的区域，并进行显示。

优选地，若根据选择指令而选择多个候补色，则区域确定装置分别对所选择的多个候补色确定区域，并相互重叠所确定的各区域而同时进行显示。

若根据本发明，则对于构成模型图像的像素，取得与由视觉的辨色基准相近的色调，并计算出对于整个模型图像的色调直方图(Hue Histogram)。然后，基于计算出的色调直方图，而从模型图像所包含的颜色中抽取作为登记色的候补的候补色。从而，由于能够抽取适合于模型图像整体的候补色，所以能够实现根据所取得的图像来能够决定最佳登记色的图像处理装置。

附图说明

图1是具备本发明的实施方式的图像处理装置的图像传感器装置的外观图。

图2是图像传感器装置的概略结构图。

图3A、图3B是用于说明控制部基于色调直方图而对候补色进行抽取的图。

图4是候补色抽取的流程图。

图5是本发明的实施方式的图像处理装置中的输入部的外观图。

图6是表示本发明的实施方式的图像处理装置在示教模式下的显示状态的一个例子的图。

图7是用于实现示教处理中的人机接口的流程图。

图8A、图8B是表示本发明的实施方式的图像处理装置在示教模式以及检测模式下的显示状态的一个例子的图。

具体实施方式

针对本发明的实施方式，参照附图进行详细说明。此外，对于图中的相同或相当的部分附以相同符号，而不再进行重复说明。

图1是具备本发明的实施方式的图像处理装置1的图像传感器装置100的外观图。

如图1所示，图像传感器装置100例如配置在生产线等上，而对连续被搬送的产品进行拍摄，并从该所拍摄的图像中确定具有登记色或者被视为登记色的颜色的区域，从而判断产品的合格与否等。另外，图像传感器装置100以向未图示的其他装置输出该判断结果的方式构成也可。而且，图像传感器装置100由摄像部2与图像处理装置1构成，并且，由摄像部2对检测对象的图像进行拍摄，并由图像处理装置1对该所拍摄的图像进行处理。

摄像部2通过电缆与图像处理装置1相连接，并被配置在适合于对检测对象进行拍摄的位置。

图像处理装置1的一侧表面上配置有显示部8以及以滑动式的盖部所覆盖的输入部12。并且，图像处理装置1通过显示部8，而对用户显示由摄像部2所拍摄的图像或自己进行过处理之后的图像，并通过输入部12来接收由用户下达的指令。

图2是图像传感器装置100的概略结构图。

如图2所示，与摄像部2连接的图像处理装置1由显示部8、输入部12、输出部14、控制部4、图像处理部6、存储部10构成。

摄像部2例如具备CCD(Coupled Charged Device：电荷耦合器件)和CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等摄像元件以及透镜，而拍摄检测对象，并将该所拍摄的图像向图像处理装置1输出。此外，摄像部2所拍摄的图像是静止图像还是动态图像均可。

显示部8从图像处理部6接收由摄像部2拍摄的图像或在图像处理部6进行过图像处理后的图像，并对用户进行显示。例如，显示部8由液晶显示器(LCD：Liquid Crystal Display)、EL显示器(Electro Luminescence display：电致发光显示器)构成。

输入部12接收来自用户的设定指定、变更指令以及决定指令等，并向控制部4输出。如后所述，用户例如通过对配置在图像处理装置1的表面上的键进行操作，来下达各指令。

此外，由于显示部8以及输入部12是图像传感器装置100与用户的接点，所以也统称为人机接口(HMI：Human Machine Interface)。

输出部14向外部输出由控制部4进行处理所得到的结果。例如，输出部14由如发光二极管、晶体管或继电器构成的接点输出(DO)、USB(Universal Serial Bus：通用串行总线)、RS-232C(Recommended Standard 232version C：推荐标准232版本C)、IEEE(Institute of Electrical and ElectronicEngineers：电气与电子工程师学会)1394、SCSI(Small Computer SystemInterface：小型计算机系统接口)以及以太网(Ethernet(注册商标))等的通信装置构成。

图像处理部6、控制部4以及存储部10通过总线16而相互连接，而进行数据交换。

控制部4根据来自输入部12的指令，而“示教模式”或“检测模式”中的任意一个模式下进行动作。在“示教模式”中，控制部4将图像处理部6从摄像部2取得的图像识别为模型图像，与图像处理部6协作而抽取作为登记色的候补的候补色。另外，在“检测模式”中，控制部4将摄像部2从图像处理部6取得的图像识别为拍摄到检测对象的输入图像，与图像处理部6协作而确定具有登记色的区域。

存储部10是不易失性存储介质，存储控制部4的执行程序和由用户提供的设定值等。例如，存储部10由半导体存储器、硬盘驱动器(HDD)等构成，另外，也可以由接口部以及可插拔的记录介质构成。此外，作为记录介质可采用如闪存等不易失性存储器、磁带、磁盘以及光磁盘等。

另外，图像处理部6从控制部4接收用于人机接口的显示文字和显示图案等显示数据，然后在显示部8上进行显示。

首先，针对“示教模式”的功能进行说明。

图像处理部6从摄像部2接收模型图像，并分别对构成模型图像的、二维配置的多个像素取得色调。此外，由于从由CCD或CMOS传感器构成的摄像部2向图像处理部6所输出的映像信号、以及从图像处理部6提供给由液晶显示器等构成的显示部8的映像信号是以RGB值规定的信号，所以，图像处理部6根据处理内容，对RGB的颜色参数与色调、明度、色度的颜色参数进行相互转换。在下面，将色调、明度、色度也称作为颜色的三属性，并将色调、明度、色度的颜色参数也称作为三属性的颜色参数。

例如，图像处理部6由FPGA(Field Programmable Gate Array：现场可编程门阵列)等的LSI(大规模集成电路)构成。并且，图像处理部6包括至少存储有一帧(1Frame)像素的颜色参数、图像处理所需的设定值以及工作数据(Work Data)的存储部6a。此外，由于存储部6a被要求着高速的数据存取，所以由SRAM(Static Random Access Memory：静态随机处理内存)等构成。

并且，图像处理部6从对构成模型图像的各个像素的色调计算出每种色调的像素数目的分布、即色调直方图，并向控制部4输出。此外，控制部4若通过输入部12而接收区域设定指令，则将该区域设定指令提供给图像处理部6。于是，图像处理部6在从摄像部2所接收的模型图像中，只对与区域设定指令对应的区域所包含的像素计算出色调。因此，图像处理部6计算出对于与区域设定指令对应的区域所包含的像素的色调直方图。

控制部4基于从图像处理部6接收的色调直方图，而在构成模型图像的像素的颜色(颜色参数)中抽取作为登记色的候补的多个(例如，最大8个)候补色。具体地说，基于在色调直方图上成为极大值点的色调来抽取候补色。同时，控制部4为了对各个被视为候补色的颜色的范围进行决定，而决定色调阈值。

此外，色调是决定由视觉的识别力高的“配色”的概念，而从由视觉的识别力的观点来看，则由色调的变化而产生的差异比由明度以及色度的变化而产生的差异大。即，只要色调相同，则即使在明度以及色度不同的情况下，也常常会在视觉上判断为相同或近似的颜色。因此，控制部4不管明度以及色度而将色调值处于色调阈值范围内的所有的颜色视为候补色也可。进而，以提高确定区域的精度为目标，控制部4基于在构成模型图像的像素中具有满足各候补色的色调阈值的色调的像素所具有的明度以及色度，来决定被视为各候补色的明度阈值以及色度阈值。具体地说，控制部4抽取满足各候补色的色调阈值的所有的像素，并取得对该所抽取的各个像素的明度以及色度，而导出该所取得的明度以及色度中的最大值以及最小值。然后，控制部4将该所导出的明度的最大值以及最小值作为明度的阈值，并将该所导出的色度的最大值以及最小值作为色度的阈值。

进而，控制部4将所决定的色调阈值、明度阈值以及色度阈值输出到图像处理部6。于是，图像处理部6将从控制部4所接收到的色调阈值、明度阈值以及色度阈值存储在存储部6a中。

另外，控制部4将所抽取的登记色输出到显示部8。然后，控制部4通过输入部12而接收对候补色的选择指令之后，若接收到对直方图的显示指令，则在显示部8上显示与所选择的候补色对应的色调直方图以及所对应的色调阈值。

另外，控制部4若通过输入部12而接收到对任意一种候补色的色调阈值的变更指令，则将变更后的色调阈值输出到图像处理部6。于是，图像处理部6将存储在存储部6a中的该候补色的色调阈值更新为从控制部4所接收到的变更后的色调阈值。同样，控制部4若通过输入部12而分别接收到对任意一种候补色的明度阈值的变更指令、或色度阈值的变更指令，则将变更后的明度阈值或变更后的色度阈值输出到图像处理部6。于是，图像处理部6将存储在存储部6a中的对该候补色的明度阈值或色度阈值更新为从控制部4所接收到的变更后的明度阈值或色度阈值。

接着，针对“检测模式”的功能进行说明。

控制部4若通过输入部12而接收到用于选择任意一种候补色来作为登记色的选择指令，则将该选择指令输出到图像处理部6。于是，图像处理部6使在存储于存储部6a中的各个候补色的色调阈值、明度阈值以及色度阈值中与所选择的候补色对应的色调阈值、明度阈值以及色度阈值变为有效。然后，图像处理部6从摄像部2接收映像信号，并计算出对构成所取得的图像的各个像素的三属性的颜色参数，而确定满足所有使该三属性的颜色参数为有效的色调阈值、明度阈值以及色度阈值的像素。进而，图像处理部6将所确定的像素位置存储在存储部6a中，并在构成从摄像部2所取得的图像的像素中，只将与存储于存储部6a中的像素位置一致的像素输出到显示部8。此外，像素位置作为分别表示所确定的区域或其以外的区域的“1”或“0”的值，而存储在构成图像的二维的像素的配置坐标所对应的存储器空间。即，像素位置使所确定的区域以及其以外的区域等价于进行过二值化的二值化图像。另外，图像处理部6接收从控制部4通过输入部12而下达的显示切换指令，并将存储于存储部6a中的像素位置原封不动地输出到显示部8。

在本发明的实施方式中，由控制部4实现“候补色抽取装置”、“色调阈值决定装置”以及“明度及色度阈值决定装置”，而且由图像处理部6实现“色调取得装置”、“色调直方图计算装置”以及“区域确定装置”，并由控制部4以及显示部8实现“显示装置”。

(候补色抽取处理)

如上所述，从摄像部2输出的信号以及向显示部8输出的信号多为以RGB值规定的映像信号。这是因为，基于光的三原色，而将分别被R(红)、G(绿)、B(蓝)感应的受光元件或分别发光R(红)、G(绿)、B(蓝)的发光元件均等地配置，从而能够容易的实现拍摄或显示。

另一方面，本发明的实施方式的图像处理装置1主要基于色调进行图像处理。因此，图像处理部6对RGB的颜色参数与三属性的颜色参数进行相互转换。此外，RGB的颜色参数以及三属性的颜色参数均都采用对颜色进行数字化的方式，从而基于规定的转换式可相互转换。

另外，描述三属性的颜色参数的坐标系存在多个，都提出有JIS(Z8729)所规定的L*a*b色彩系统、L*c*h色彩系统、汉特(Hunter)Lab色彩系统、XYZ色彩系统等，采用任何一个都可以。此外，其与RGB的颜色参数之间的转换式是对每色彩系统都不同。

如上所述，图像处理部6取得对构成从摄像部2所接收到的模型图像的各个像素的色调，并计算出色调直方图。然后，图像处理部6将该计算出的色调直方图向控制部4输出，然后控制部4基于从图像处理部6所输出的色调直方图来抽取候补色。

此外，图像处理部6根据从控制部4通过输入部12而被输入的区域设定指令，并只从构成模型图像的像素中与区域设定指令对应的区域所包含的像素计算出色调直方图。

图3A、图3B是用于说明控制部4基于色调直方图而抽取候补色的图。

图3A是极大值点与极小值点的间隔小的情况的例子。

图3B是极大值点与极小值点的间隔大的情况的例子。

如图3A所示，首先，控制部4检测出色调直方图上的极大值点以及极小值点。而且，控制部4取得取所检测出的极大值点的色调h_m，并将从该色调h_m到相邻的极小值点的色调宽度、或从该色调h_m到像素数目阈值P_th与色调直方图的交点的色调宽度中的小的那一个值，决定为色度阈值。此外，像素数目阈值P_th是一种为了抑制图像所包含的噪声等影响而决定所分布的像素数目中可判断为有效的最低限度的像素数目的概念。

在图3A所示的色调直方图中，由于在色调高的一侧(纸面上的右侧)接近而存在极小值点，所以将到该极小值点为止的色调宽度Δh₁决定为色调阈值。另外，由于在色调低的一侧(纸面上的左侧)不存在相邻的极小值点，所以将到像素数目阈值P_th与色调直方图的交点为止的色调宽度Δh₂决定为色调阈值。因此，用色调h_m来所决定的候补色包括处于色调(h_m-Δh₂)～色调(h_m-Δh₁)的范围的色调。

进而，当色调阈值过大时，确定区域的精度下降，因此也可以设定色调阈值的最大值(最大阈值宽度Δh_max)。

在图3B所示的色调直方图中，由于在色调高的一侧(纸面上的右侧)不存在相邻的极小值点，所以将到像素数目阈值P_th与色调直方图的交点为止的色调宽度Δh₁决定为色调阈值。另外，在色调低的一侧(纸面上的左侧)也同样不存在相邻的极小值点，所以，虽然能够检测出到像素数目阈值P_th与色调直方图的交点为止的色调宽度Δh₂，但由于最大阈值宽度Δh_max＜色调宽度Δh₂，因此将最大阈值宽度Δh_max决定为色调阈值。因此，用色调h_m来所决定的候补色包括处于色调(h_m-Δh_max)～色调(h_m+Δh₁)的范围的色调。

而且，在色调直方图上存在多个极大值点、而能够抽取多个候补色的情况下，控制部4优先抽取作为登记色的可能性高的、即图像中所包含的比率高的候补色。因此，控制部4针对通过与上述同样的步骤来决定的多个候补色，分别计算出处于色调阈值范围内的分布频率面积(像素数目的合计值)，并从其分布频率面积大的开始依次作为候补色而进行抽取。

此外，并不仅限定于通过分布频率面积的排序，也可以从规定各候补色的色调的像素数目(峰值)高的开始依次作为候补色而进行抽取。

如上所述，基于分布频率面积而进行对候补色的排序，从而在因存储容量等的制约而无法存储多的候补色等的情况下，能够有效地抽取作为登记色的可能性高的候补色。

进而，控制部4为了决定候补色所包含的颜色而决定明度阈值以及色度阈值。因此，控制部4针对各候补色，从构成模型图像的像素中抽取具有色调阈值的范围的色调的像素。而且，控制部4从所抽取的各候补色所包含的像素所具有的明度以及色度取得最大值以及最小值。即，控制部4基于在构成模型图像的像素中包含于候补色的像素的明度以及色度的分布，来限定所允许的明度以及色度的范围。

如上所述，控制部4若决定了规定各候补色的色调阈值、明度阈值以及色度阈值，则向图像处理部6输出这些值，以使这些值存储在存储部6a中。

图4是抽取候补色的流程图。

如图4所示，图像处理部6从摄像部2取得模型图像(步骤S100)。然后，图像处理部6判断从控制部4是否接收到通过输入部12所输入的区域设定指令(步骤S102)。在接收到区域设定命令时(在步骤S102中为“是”时)，图像处理部6取得对构成模型图像的像素中与区域设定指令对应的区域所包含的像素的色调(步骤S104)。在没有接收到区域指令时(在步骤S102中为“否”时)，图像处理部6取得对构成模型图像的所有的像素的色调(步骤S106)。

然后，图像处理部6从所取得的各个像素的色调计算出色调直方图，并向控制部4输出(步骤S108)。

控制部4抽取从图像处理部6所接收的色调直方图上的极大值点以及极小值点(步骤S110)。然后，控制部4在所抽取的色调直方图上的极大值点中选择第一极大值点(步骤S112)。进而，控制部4按照上述的步骤，来决定对所选择的极大值点的色调阈值(步骤S114)。此外，所谓第一极大值点意味着在按照色调顺序或极大值等的任意一个规则而排列的极大值点中配置为第一位的极大值点。

然后，控制部4判断所选择的极大值点是否在所抽取的极大值点中最后的极大值点(步骤S116)。当不是最后的极大值点时(在步骤S116中为“否”时)，控制部4选择下一个极大值点(步骤S118)，并重复执行步骤S114以及S116。

当是最后的极大值点时(在步骤S116中为“是”时)，控制部4计算出在色调直方图上处于各个色调阈值范围内的分布频率面积，并从分布频率面积大的开始依次作为候补色而进行抽取(步骤S119)。

然后，控制部4在所抽取的候补色中选择第一候补色(步骤S120)，并抽取具有与所选择的候补色对应的色调阈值的范围的色调的像素(步骤S122)。进而，控制部4从所抽取的像素所具有的明度以及色度分别取得最大值以及最小值，并决定明度阈值以及色度阈值(步骤S124)。

然后，控制部4判断所选择的候补色是否在所抽取的候补色中最后的候补色(步骤S126)。当不是最后的候补色时(在步骤S126中为“否”时)，控制部4选择下一个候补色(步骤S128)，并重复执行步骤S122、S124、以及S126。

当是最后的候补色时(在步骤S126中为“是”时)，控制部4将所决定的各个候补色中的色调阈值、明度阈值以及色度阈值存储在存储部6a中(步骤S130)。然后，控制部4结束处理。

(人机接口)

图5是本发明的实施方式的图像处理装置1中的输入部12的外观图。

如图5所示，输入部12包括接收“A”“B”“C”“D”四种输入的选择键20、接收“上”“下”“左”“右”四个方向的指示的十字键22、TEACH/VIEW键24、ESC键26、SET键28。而且，用户可以根据显示部8上的显示内容来操作输入部12，而向控制部4下达各种指令。

图6是表示本发明的实施方式的图像处理装置1中在示教模式下的显示状态的一个例子的图。

如图6所示，显示部8包括显示图像处理装置1的动作状态等的状态显示栏30、显示由摄像部2所拍摄的图像或由图像处理部6处理后的图像等的图像显示栏32、显示用户的操作内容等的操作内容显示栏34。

当选择示教模式时，图像处理部6从摄像部2接收映像信号，而在图像显示栏32上显示由摄像部2所拍摄的模型图像40(显示状态ST10)。例如，模型图像40是一种在长方形的基体材料42上配置有与基体材料42不同的颜色的星星状的标记44的物体的图像。另外，图像处理部6从控制部4接收显示数据，而在状态显示栏30上显示正处于检测模式下的监测区域设定的接收状态，并且，在操作内容显示栏34上显示可输入的指令和选择键20的对应关系。

此时，当用户按下图5所示的选择键20中的“B”键时，图像处理部6将检索区域46重叠显示在图像显示栏32上的模型图像上，并接收对检索区域46的尺寸变更(显示状态ST12)。检索区域46是用于在检索模式下所取得的图像中设定检索范围的区域。另外，图像处理部6在状态显示栏30上显示正处于对检索区域46的尺寸变更的接收状态，并且，在操作内容显示栏34上显示可输入的指令和十字键22的对应关系。此时，用户操作图5所示的十字键，而设定所期望的检索区域46的尺寸。

在显示状态ST12中，当用户按下ESC键26时，图像处理部6转移到前一个显示状态ST10。以下同样，图像处理部6根据用户对ESC键26的输入，而转移到当前显示的显示状态的前一个显示状态。

另一方面，在显示状态ST10中，当用户按下选择键20中的“C”键时，图像处理部6将检索区域46重叠显示在图像显示栏32上的模型图像上，并接收检索区域46的移动(显示状态ST14)。另外，图像处理部6在状态显示栏30上显示正处于对检索区域46的移动的接收状态，并且，在操作内容显示栏34上显示可输入的指令和十字键22的对应关系。此时，用户操作图5所示的十字键22，而设定所期望的检索区域46的位置。

此外，在显示状态ST10中，当用户按下选择键20中的“A”键时，图像处理部6显示进行各种设定等的综合菜单画面(未图示)。

而且，在显示状态ST10中按下选择键20的“D”键时，图像处理部6显示接收对候补色的抽取的操作的菜单画面(显示状态ST16)。

此时，当用户按下选择键20中的“A”键时，图像处理部6将模型区域48重叠显示在图像显示栏32上的模型图像上，并接收对模型区域48的尺寸变更(显示状态ST18)。模型区域48是一种用于设定从模型图像抽取候补色的区域的区域。另外，图像处理部6在状态显示栏30上显示正处于对模型区域48的尺寸变更的接收状态，并且，在操作内容显示栏34上显示可输入的指令和十字键22的对应关系。

并且，用户操作十字键22来设定所期望的模型区域48的尺寸。当对模型区域48的尺寸的设定结束时，用户按下SET键28。

于是，图像处理部6维持对模型区域48的显示的情况下，接收对模型区域48的移动(显示状态ST20)。另外，图像处理部6在状态显示栏30上显示正处于对模型区域48的移动的接收状态，并且，在操作内容显示栏34上显示可输入的指令和十字键22的对应关系。

并且，用户操作十字键22来设定所期望的模型区域48的位置。当对模型区域48的位置设定结束时，用户按下SET键28。

此外，在显示状态ST18以及显示状态ST20中，图像处理部6将比图像显示栏32小的尺寸作为对模型区域48的初始尺寸设定(缺省尺寸设定)、而将图像显示栏32的中心作为对模型区域48的初始位置设定(缺省位置设定)来进行显示。这是由于一般的检测对象以收容于摄像部2的拍摄范围内的方式被拍摄，所以模型区域48成为比图像显示栏32的小的尺寸。因此，通过使模型区域48比图像显示栏32小，而能够减轻用户的设定操作。

在显示状态ST20中，当用户按下SET键28时，控制部4以及图像处理部6进行上述的处理而抽取候补色。然后，图像处理部6在操作内容显示栏34上显示所抽取的候补色56(显示状态ST22)。另外，图像处理部6在操作内容显示栏34上显示所显示的候补色的选择指令、直方图的显示指令与选择键20以及十字键22的对应关系。

此时，用户操作十字键22的“右”键以及“左”键，而将在操作内容显示栏34上显示的选择框50移动到所期望的候补色56的位置，并按下十字键22的“下”键而选择候补色来作为登记色。于是，图像处理部6将登记框52重叠显示在作为登记色而被选择的候补色56上(显示状态ST24)。

进而，当用户按下选择键20的“D”键时，图像处理部6将作为登记色而选中的候补色的色调直方图重叠显示在图像显示栏32上，并接收对色调阈值的变更(显示状态ST26)。此外，图像处理部6除了色调直方图的波形之外，还显示色调阈值的边界线。另外，图像处理部6在操作内容显示栏34上显示表示色调的图表以及色调阈值的数值。

此时，在对所选择的候补色的色调阈值进行变更时，用户通过操作十字键22来变更色调阈值。根据该色调阈值的变更，图像处理部6使在图像显示栏32上显示的色调直方图的边界线以及在操作内容显示栏34上显示的色调阈值的数值发生变化。然后，当对色调阈值的变更结束时，用户按下SET键28。于是，图像处理部6将存储于存储部6a中的色调阈值更新为被用户变更的色调阈值。

此外，在显示状态ST26中，图像处理部6根据用户对TEACH/VIEW键24的按压，而以色调阈值、明度阈值、色度阈值的顺序对在操作内容显示栏34上显示的阈值的数值进行循环切换也可。而且，当用户将在操作内容显示栏34上显示的色调阈值、明度阈值、色度阈值中的任意一个变更为所期望的数值时，图像处理部6将存储于存储部6a中的色调阈值、明度阈值、色度阈值分别更新为被用户变更的值也可。

然后，图像处理部6显示通过由示教所得到的登记色的区域指定结果(显示状态ST28、ST30、ST32)。

在显示状态ST28中，图像处理部6原封不动地显示从摄像部2取得的模型图像。然后，当用户按下TEACH/VIEW键24时，图像处理部6从模型图像中抽取具有登记色的区域并进行显示(显示状态ST30)。此外，在显示状态ST30中，表示将从标记44所抽取的候补色作为登记色而进行选择的情况的例子。

进而，当用户按下TEACH/VIEW键24时，图像处理部6从模型图像中只抽取具有登记色的区域，并将该所抽取的区域作为二值化图像而进行显示(显示状态ST32)。

在显示状态ST28～ST32中，若用户按下SET键28，则结束示教处理。

本发明的实施方式的图像处理装置1通过上述的人机接口来执行示教处理。

图7是用于实现示教处理中的人机接口的流程图。

如图7所示，控制部4使图像处理部6执行显示状态ST10的显示(步骤S200)。然后，控制部4当接收到用户对选择键20的输入时，判断输入的种类(步骤S202)。

当接收到选择键20中的“B”键的输入时(在步骤S202中为“B”时)，控制部4使图像处理部6执行显示状态ST12的显示(步骤S204)。然后，控制部4接收到通过用户对十字键22的输入而进行的对检索区域46的尺寸设定，而将对检索区域46的尺寸设定存储在图像处理部6的存储部6a中(步骤206)。然后，控制部4再次等待，直到接收用户对选择键20的输入为止(步骤S202)。

当接收到对选择键20中的“C”键的输入时(在步骤S202中为“C”时)，控制部4使图像处理部6执行显示状态ST14的显示(步骤S208)。然后，控制部4接收到通过用户对十字键22的输入而进行的对检索区域46的位置设定，而将对检索区域46的位置设定存储在图像处理部6内的存储部6a中(步骤210)。然后，控制部4再次等待，直到接收用户对选择键20的输入为止(步骤S202)。

当接收到对选择键20中的“D”键的输入时(在步骤S202中为“D”时)，控制部4使图像处理部6执行显示状态ST16的显示(步骤S212)。然后，控制部4当接收到用户对选择键20的输入时，判断输入的种类(步骤S214)。在接收到除了对选择键20中的“A”键或“B”键以外的输入时控制部4等待，直到接收到对选择键20中的“A”键或“B”键的输入为止。

当接收到对选择键20中的“A”键输入时(在步骤S214中为“A”时)，控制部4使图像处理部6执行显示状态ST18的显示(步骤S216)。然后，控制部4接收到通过用户对十字键22的输入而进行的对模型区域48的尺寸设定，而将对模型区域48的尺寸设定存储在图像处理部6内的存储部6a中(步骤218)。接着，控制部4使图像处理部6执行显示状态ST20的显示(步骤S220)。然后，控制部4接收到通过用户对十字键22的输入而进行的对模型区域48的位置设定，而将对模型区域48的位置设定存储在图像处理部6内的存储部6a中(步骤S222)。

当接收到对选择键20中的“B”键输入时(在步骤S214中为“B”时)，或者在执行了步骤S222之后，控制部4以及图像处理部6执行与上述的步骤S100～S128同样的处理(步骤S224)。进而，控制部4基于在步骤S224中所抽取的候补色，使图像处理部6执行显示状态ST22的显示(步骤S226)。

然后，控制部4判断是否接收到用户对登记色的选择(步骤S228)。在没有接收到对登记色的选择时(在步骤S228中为“否”时)控制部4等待，直到接收到对登记色的选择为止(步骤S228)。

在接收到对登记色的选择时(在步骤S228中为“是”时)，控制部4使图像处理部6执行显示状态ST24的显示(步骤S232)。然后，当控制部4通过输入部12而接收到由用户的输入时，判断输入的种类(步骤S234)。在接收到除了对选择键20中的“D”键或SET键28以外的输入时，控制部4等待，直到接收到对选择键20中的“D”键或SET键28的输入为止。

当接收到对选择键20中的“D”键的输入时(在步骤S234中为“D”时)，控制部4使图像处理部6执行显示状态ST26的显示(步骤S236)。然后，控制部4接收到通过用户对十字键22的输入而得到的对色调阈值的变更值，而将色调阈值的变更值存储在图像处理部6内的存储部6a中(步骤238)。

当接收到对SET键28的输入时(在步骤S234中为“SET”时)，或者在执行过步骤S238之后，控制部4使图像处理部6执行显示状态ST28的显示(步骤S240)。进而，控制部4接收到用户对TEACH/VIEW键24的输入，而使图像处理部6以显示状态ST28、ST30、ST32的顺序执行显示切换(步骤S242)。然后，控制部4判断是否接收到对SET键28的输入(步骤S244)。在没接收到对SET键28的输入时(在步骤S244中为“否”时)，控制部4反复进行步骤S242。

在接收到对SET键28的输入时(在步骤S244中为“是”时)，控制部4结束处理。

(区域确定功能)

图8A、图8B是表示本发明的实施方式的图像处理装置1在示教模式以及检测模式下的显示状态的一个例子的图。

图8A是选择一个候补色作为登记色的情况。

图8B是选择多个候补色作为登记色的情况。

如图8A所示，例如，模型图像60是一种在长方形的基体材料62上配置有星星状的标记64以及圆状的标记66的物体的图像。另外，基体材料62、标记64以及66的颜色各不相同。

如上所述，当执行示教处理时，图像处理部6分别将基体材料62、标记64以及66所具有的颜色作为候补色而进行抽取，并进行如显示状态ST24所示的显示。此时，若用户利用登记框52，只将从标记64中所抽取的候补色作为登记色而进行选择，则在检测模式中，图像处理部6确定标记64的区域，并进行显示(显示状态ST40)。

然而，同一个输入图像中包含多个检测对象的区域的情况也较多，从而优选能够将多个候补色作为登记色而进行选择。

因此，如图8B所示，图像处理部6允许作为登记色而选择多个候补色。例如，用户可分别利用多个登记框52a、52b来选择标记64以及66所具有的颜色作为登记色(显示状态ST25)。于是，在检测模式中，图像处理部6确定标记64的区域以及标记66的区域，并在同一显示部8上相互重叠进行显示(显示状态ST42)。

因此，对于包含具有相互不同颜色的多个确定对象区域的输入图像，能够进行综合的区域确定。

为了实现这样的区域确定功能，图像处理部6针对选择为登记色的各候补色，计算出对构成输入图像的各像素的三属性的颜色参数，并确定满足所有的使该三属性的颜色参数有效的色调阈值、明度阈值以及色度阈值的像素。然后，图像处理部6将针对各候补色进行确定的像素位置存储在存储部6a中。当针对全部候补色的像素确定结束时，图像处理部6从存储部6a中读出对各候补色的像素位置而进行逻辑和(OR)运算，从而计算出逻辑和像素位置。进而，图像处理部6在构成从摄像部2所取得的图像的像素中，只将与逻辑和像素位置一致的像素输出到显示部8。

如上所述，通过对于图像处理部6作为登记色而选择的各候补色进行像素位置的逻辑和运算，能够确定具有多个登记色的区域。

根据本发明的实施方式，则对于构成模型图像的像素，取得决定由视觉的识别力高的“配色”的色调，并根据所取得的色调计算出色调直方图。然后，基于在计算出的色调直方图上取极大值点的色调来抽取候补色。因此，能够从模型图像所包含的颜色中将含有比率高的颜色作为候补色而进行抽取。因此，能够抽取适合于模型图像整体的候补色，从而能够实现根据所取得的图像来能够决定最佳登记色的图像处理装置。

另外，根据本发明的实施方式，则由于在模型图像中对由用户设定的颜色抽取区域所包含的像素全体取得色调，所以用户无需设定应作为候补色的模型图像上的位置。从而，能够减轻用户用在对候补色的抽取的劳力，因此能够实现用户满意的图像处理装置。

另外，根据本发明的实施方式，则用户能够将决定候补色所包含的颜色的色调阈值、明度阈值以及色度阈值变更为所期望的值。从而，用户能够容易的变更检测范围，所以能够设定检测对象所对应的最佳检测条件。

这次公开的实施方式在所有方面只是示例，而不可视为限定。本发明的范围并不由上述说明来示出，而是由后述的技术方案的范围来示出，其包括与后述的技术方案的范围均等的含义以及该范围内的所有变更。

Claims

1.一种图像处理装置，是从取得所登记的规定颜色范围内的颜色而作为登记色的图像中确定具有登记色的区域的图像处理装置，其特征在于，具备：

色调取得装置，其接收用于设定上述登记色的模型图像，而取得关于构成该模型图像的各像素的色调；

色调直方图计算装置，其基于在上述色调取得装置中所取得的色调，计算出关于构成上述模型图像的像素的色调直方图；

候补色抽取装置，其基于在上述色调直方图计算装置中所计算出的上述色调直方图，从上述模型图像所包含的颜色中抽取作为上述登记色的候补的规定颜色范围内的候补色。

2.如权利要求1所述的图像处理装置，其特征在于，上述候补色抽取装置将在上述色调直方图上成为极大值点的色调或包含该色调的规定范围内的颜色作为候补色而进行抽取。

3.如权利要求1所述的图像处理装置，其特征在于，上述候补色抽取装置包括色调阈值决定装置，该色调阈值决定装置基于上述色调直方图，决定用于决定关于各候补色的上述规定范围的色调阈值，以使上述各候补色包含上述规定范围内的颜色。

4.如权利要求3所述的图像处理装置，其特征在于，上述色调阈值决定装置以使处于特定范围内的色调包含在候补色中的方式决定色调阈值，该特定范围是以上述色调直方图上成为极大值点的色调为基准的规定范围。

5.如权利要求4所述的图像处理装置，其特征在于，上述色调阈值决定装置在以上述色调直方图上成为极大值点的色调为基准的规定范围内包含有色调直方图上的极小值点时，将该成为极小值点的色调作为阈值而决定色调阈值。

6.如权利要求3所述的图像处理装置，其特征在于，

还具备显示装置，

上述色调阈值决定装置从外部接收对上述色调阈值的变更指令，而更新上述色调阈值，

上述显示装置对在上述色调直方图计算装置中所计算出的上述色调直方图和上述色调阈值进行显示。

7.如权利要求3所述的图像处理装置，其特征在于，上述候补色抽取装置还包括明度及色度阈值决定装置，该明度及色度阈值决定装置基于在构成上述模型图像的像素中满足上述色调阈值决定装置中所决定的上述色调阈值的像素所具有的明度以及色度，来决定用于决定被视为候补色的颜色的范围的明度阈值以及色度阈值。

8.如权利要求7所述的图像处理装置，其特征在于，上述明度及色度阈值决定装置从外部接收对于上述明度阈值以及/或者上述色度阈值的变更指令，而更新上述明度阈值以及/或者上述色度阈值。

9.如权利要求1所述的图像处理装置，其特征在于，上述色调取得装置从外部接收对在上述模型图像中用于抽取上述候补色的区域进行设定的区域设定指令，而取得关于根据上述区域设定指令而设定的区域所包含的像素的色调。

10.如权利要求1所述的图像处理装置，其特征在于，还具备区域确定装置，该区域确定装置从外部接收用于选择成为上述登记色的上述候补色的选择指令，而确定具有从所取得的图像中根据上述选择指令来选择的上述候补色的区域，并进行显示。

11.如权利要求10所述的图像处理装置，其特征在于，当根据上述选择指令而选择多个上述候补色时，上述区域确定装置分别对所选择的多个上述候补色确定区域，并相互重叠所确定的各区域而同时进行显示。