CN102739911B - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN102739911B CN102739911B CN201110409590.XA CN201110409590A CN102739911B CN 102739911 B CN102739911 B CN 102739911B CN 201110409590 A CN201110409590 A CN 201110409590A CN 102739911 B CN102739911 B CN 102739911B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- line
- candidate
- subject region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 61
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 47
- 238000003786 synthesis reaction Methods 0.000 claims description 47
- 230000009466 transformation Effects 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 27
- 238000013316 zoning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
图像处理装置及图形处理方法。图像处理装置包括计算部、边缘位置检测部、识别部和被摄体区域检测部。计算部针对将彩色摄像图像分解成多个颜色成分而得的多个颜色分解图像，分别基于彩色摄像图像计算各位置处的边缘梯度的梯度方向和边缘强度。彩色摄像图像包括使用摄像装置拍摄的被摄体图像。边缘位置检测部基于边缘梯度的梯度方向和边缘强度检测多个颜色分解图像各自的边缘位置。识别部针对每个位置，识别多个颜色分解图像中在该位置具有最大边缘强度的颜色分解图像的该位置处的边缘梯度的梯度方向和边缘强度。被摄体区域检测部基于所检测的边缘位置及所识别的边缘梯度的梯度方向和边缘强度，检测彩色摄像图像的对应于被摄体图像的一部分即被摄体区域。
Description
技术领域
本发明涉及图像处理装置及图像处理方法。
背景技术
日本未审专利申请公开No.2005-269449公开了针对彩色图像的各个颜色分解图像生成边缘图像，使用逻辑加来合成边缘图像而生成合成边缘图像，并且对合成边缘图像执行霍夫变换(Houghtransform)，由此检测构成与文档图像相应的区域轮廓的线。
发明内容
本发明的一个目的是，与相关技术提供的精度相比，提高与彩色摄像图像中使用摄像装置拍摄的被摄体图像相应的被摄体区域的检测精度。
根据本发明的第一方面，提供了一种图像处理装置，其包括计算部、边缘位置检测部、识别部和被摄体区域检测部。计算部针对多个颜色分解图像中的每一个，基于彩色摄像图像计算每个位置处的边缘梯度的梯度方向和边缘强度。该多个颜色分解图像是通过将所述彩色摄像图像分解成多个颜色成分而得到的。所述彩色摄像图像包括使用摄像装置拍摄的被摄体图像。边缘位置检测部基于所述计算部计算出的边缘梯度的梯度方向和边缘强度，检测所述多个颜色分解图像中的每一个中的边缘位置。识别部针对每个位置，识别所述多个颜色分解图像中在该位置处具有最大边缘强度的颜色分解图像的该位置处的边缘梯度的梯度方向和边缘强度。被摄体区域检测部基于所述边缘位置检测部检测到的边缘位置和所述识别部识别的边缘梯度的梯度方向和边缘强度检测被摄体区域。该被摄体区域是所述彩色摄像图像的对应于被摄体图像的一部分。
根据本发明的第二方面，在根据本发明第一方面的图像处理装置中，在所述被摄体区域的检测中，所述被摄体区域检测部不使用所述识别部识别的边缘强度中的小于或等于阈值强度的边缘强度；所述边缘位置检测部检测到的边缘位置中的，由所述识别部识别的边缘强度小于或等于阈值强度的边缘位置；以及所述识别部识别的梯度方向中的，针对由所述识别部识别的边缘强度小于或等于所述阈值强度的位置识别的梯度方向。
根据本发明的第三方面，在根据本发明第一或第二方面的图像处理装置中，所述被摄体区域检测部包括：线候选识别部，其对所述边缘位置检测部检测到的边缘位置执行霍夫变换，由此识别构成所述被摄体区域的轮廓的线的多个候选；以及线概率计算部，其针对所述多个候选中的每一个，基于所述识别部针对与该候选相距基准距离或基准距离以内的位置识别的边缘强度，计算线概率信息，该线概率信息表示所述线候选识别部识别的候选是构成所述被摄体区域的轮廓的线的概率。并且所述被摄体区域检测部基于所述线概率计算部计算的线概率信息检测所述被摄体区域。
根据本发明的第四方面，在根据本发明第三方面的图像处理装置中，所述线概率计算部针对所述多个候选中的每一个，生成与所述识别部针对与该候选相距基准距离或基准距离以内的位置识别的边缘强度的均匀性相关的评价信息，且基于所生成的评价信息计算候选的线概率信息。
根据本发明的第五方面，在根据本发明第一或第二方面的图像处理装置中，所述被摄体区域检测部包括：线候选识别部，其对所述边缘位置检测部检测到的边缘位置执行霍夫变换，由此识别构成所述被摄体区域的轮廓的线的多个候选；以及线概率计算部，其针对所述多个候选中的每一个，基于所述识别部针对与该候选相距基准距离或基准距离以内的位置识别的边缘梯度的梯度方向，计算线概率信息，该线概率信息表示所述线候选识别部识别的候选是构成所述被摄体区域的轮廓的线的概率。所述被摄体区域检测部基于所述线概率计算部计算的线概率信息检测所述被摄体区域。
根据本发明的第六方面，在根据本发明第五方面的图像处理装置中，所述线概率计算部针对所述多个候选中的每一个，生成与所述识别部针对与该候选相距基准距离或基准距离以内的位置识别的边缘梯度的梯度方向的均匀性相关的评价信息，且基于生成的评价信息计算该候选的线概率信息。
根据本发明的第七方面，在根据本发明第三至第六方面中任意一个的图像处理装置中，所述线候选识别部对所述边缘位置检测部检测到的边缘位置执行霍夫变换，且基于与所述识别部识别的边缘梯度的梯度方向相应的角度范围中的霍夫变换的结果，识别构成所述被摄体区域的轮廓的线的多个候选。
根据本发明的第八方面，提供了一种图像处理方法，该方法包括以下步骤：针对多个颜色分解图像中的每一个，基于彩色摄像图像计算每个位置处的边缘梯度的梯度方向和边缘强度，该多个颜色分解图像是通过将所述彩色摄像图像分解成多个颜色成分而得到的，所述彩色摄像图像包括使用摄像装置拍摄的被摄体图像；基于所计算出的边缘梯度的梯度方向和所计算出的边缘强度，检测所述多个颜色分解图像中的每一个中的边缘位置；针对每个位置，识别所述多个颜色分解图像中在该位置处具有最大边缘强度的颜色分解图像的该位置处的边缘梯度的梯度方向和边缘强度；以及基于所检测到的边缘位置以及所识别的边缘梯度的梯度方向和所识别的边缘强度检测被摄体区域，该被摄体区域是所述彩色摄像图像的对应于被摄体图像的一部分。
根据本发明的第一和第八方面，与相关技术提供的精度相比，可以提高彩色摄像图像中与使用摄像装置拍摄的被摄体图像相应的被摄体区域的检测精度。
根据本发明的第二方面，与未使用根据第二方面的结构的情况相比，可以进一步提高被摄体区域的检测精度。
根据本发明的第三方面，与未使用根据第三方面的结构的情况相比，可以进一步提高被摄体区域的检测精度。
根据本发明的第四方面，与未使用根据第四方面的结构的情况相比，可以进一步提高被摄体区域的检测精度。
根据本发明的第五方面，与未使用根据第五方面的结构的情况相比，可以进一步提高被摄体区域的检测精度。
根据本发明的第六方面，与未使用根据第六方面的结构的情况相比，可以进一步提高被摄体区域的检测精度。
根据本发明的第七方面，与未使用根据第七方面的结构的情况相比，可以更快地识别线候选。
附图说明
将基于下面的附图详细说明本发明的示例性实施方式，其中：
图1是示出图像处理装置的结构的图；
图2是示出白板的图；
图3是示出摄像图像的图；
图4是示出被摄体区域的图；
图5是示出图像处理装置中实现的功能的功能框图；
图6A是示出第一边缘图像的图；
图6B是示出第二边缘图像的图；
图6C是示出第三边缘图像的图；
图7是示出合成边缘图像的图；以及
图8是概念性地示出所识别的线候选的图。
具体实施方式
下面将参考附图详细说明本发明的示例性实施方式。
图1是示出根据本发明的示例性实施方式的图像处理装置2的结构的图。例如个人电脑的图像处理装置2包括控制部4、主存储器6、操作部8、显示部10以及硬盘12。除了这些部件，图像处理装置2还包括用于与网络交换数据的网络接口以及用于与外部设备(例如数码相机)交换数据的输入/输出(I/O)接口。
例如微处理器的控制部4根据存储在主存储器6中的程序执行信息处理。主存储器6包括随机存取存储器(RAM)和只读存储器(ROM)。主存储器6存储程序。该程序可以从诸如数字多功能光盘(DVD)(注册商标)-ROM的计算机可读信息存储介质读出，且存储在主存储器6中，或者可以从诸如网络的通信网络提供且存储在主存储器6中。主存储器6还存储在信息处理中需要的各类数据。
例如鼠标和键盘的操作部8是使用户能够操作图像处理装置2的接口。操作部8向控制部4输出指示用户所执行的操作的内容的信息。例如液晶显示器的显示部10显示控制部4输入的信息。
硬盘12是用于存储各种信息的存储介质。硬盘12存储表示使用数码相机(摄像装置)拍摄的彩色图像的基础图像。该基础图像经由I/O接口从拍摄了被摄体图像的数码相机提供。此处，基础图像包括各个像素(位置)的像素值。每个像素值包括多个颜色成分值，即，亮度成分Y的值(此后，称为Y值)、第一色差成分Cb的值(此后称为Cb值)、第二色差成分Cr的值(此后，称为Cr值)。
在本示例性实施方式中，使用数码相机拍摄布置在墙上的白板14的图像。图2示出了白板14。如图所示，白板14具有横长的矩形形状。还如图所示，在白板14上写有字母“X”、“Y”和“Z”。
当用户执行预定的被摄体提取操作时，图像处理装置2读出基础图像且生成摄像图像。摄像图像是指基础图像的缩小图像，且包括各个像素(位置)的像素值。如同基础图像中一样，每个像素值包括Y值、Cb值和Cr值。
图3示出了摄像图像。此处假设从白板14的右边、正面拍摄白板14的图像。如图所示，摄像图像包括白板14的图像。阴影部分表示墙。针对摄像图像设置x坐标轴和y坐标轴，通过坐标值识别各个像素。同时，上述基础图像类似于在图3中示出的摄像图像，但是具有不同的图像尺寸。
当用户执行被摄体提取操作时，图像处理装置2不仅生成摄像图像，而且还从摄像图像中检测与白板14的图像相应的被摄体区域16，基于被摄体区域16生成从正面观察的白板14的图像，并在显示部10上显示所生成的图像。图4示出了被摄体区域16。
在该图像处理装置2中，提高了在被摄体提取操作中检测被摄体区域16的精度。将在下面说明这种提高。
图5是示出图像处理装置2中实现的功能的功能框图。如图所示，图像处理装置2包括边缘检测部18、合成部20、被摄体区域检测部22、几何变换参数计算部34以及几何变换处理部36。被摄体区域检测部22包括线候选识别部24、线概率计算部26、区域候选选择部28、区域概率计算部30以及区域选择部32。控制部4响应于被摄体提取操作而根据上述程序进行工作，由此实现这些功能。
边缘检测部18(计算部)首先对摄像图像执行颜色分解处理，由此将摄像图像分解成三个颜色成分且生成三个颜色分解图像，即，第一颜色分解图像、第二颜色分解图像和第三颜色分解图像。每个颜色分解图像包括各个像素的像素值。第一颜色分解图像中包含的给定像素的像素值表示摄像图像中包含的相应像素的像素值的Y值。第二颜色分解图像中包含的给定像素的像素值表示摄像图像中包含的相应像素的像素值的Cb值。第三颜色分解图像中包含的给定像素的像素值表示摄像图像中包含的相应像素的像素值的Cr值。
在以这种方式生成三个颜色分解图像之后，边缘检测部18对各个颜色分解图像执行边缘检测处理。
首先，边缘检测部18(计算部)针对每个颜色分解图像计算每个像素处的边缘梯度的梯度方向θ和边缘强度I。
更具体而言，对于每个颜色分解图像，边缘检测部18使用Sobel滤波器计算每个像素处的x方向边缘梯度Gx和y方向边缘梯度Gy。然后边缘检测部18基于给定像素处的x方向边缘梯度Gx和y方向边缘梯度Gy计算该像素处的梯度方向θ和边缘强度I。梯度方向θ和边缘强度I由下式表示。
θ＝tan-1(Gy/Gx)
I＝(Gx2+Gy2)1/2
因此，生成了表示第一颜色分解图像的各个像素处的梯度方向θ的第一边缘梯度图像、表示第二颜色分解图像的各个像素处的梯度方向θ的第二边缘梯度图像和表示第三颜色分解图像的各个像素处的梯度方向θ的第三边缘梯度图像。第一边缘梯度图像中包含的给定像素的像素值表示第一颜色分解图像的相应像素处的梯度方向θ。第二边缘梯度图像中包含的给定像素的像素值表示第二颜色分解图像的相应像素处的梯度方向θ。第三边缘梯度图像中的给定像素的像素值表示第三颜色分解图像的相应像素处的梯度方向θ。
另外，生成表示第一颜色分解图像的各个像素处的边缘强度I的第一边缘强度图像、表示第二颜色分解图像的各个像素处的边缘强度I的第二边缘强度图像和表示第三颜色分解图像的各个像素处的边缘强度I的第三边缘强度图像。第一边缘强度图像中包含的给定像素的像素值表示第一颜色分解图像的相应像素处的边缘强度I。第二边缘强度图像中包含的给定像素的像素值表示第二颜色分解图像的相应像素处的边缘强度I。第三边缘强度图像中包含的给定像素的像素值表示第三颜色分解图像的相应像素处的边缘强度I。
边缘检测部18(边缘位置检测部)基于三个边缘强度图像和三个边缘梯度图像检测各个颜色分解图像中的边缘像素(边缘位置)。
更具体而言，边缘检测部18基于第一边缘强度图像和第一边缘梯度图像检测第一颜色分解图像中的边缘像素。更具体而言，边缘检测部18使用Canny法从第一颜色分解图像检测边缘像素。此处，边缘像素是指在梯度方向上具有局部最大的边缘强度的像素。然后边缘检测部18生成第一边缘图像。第一边缘图像是二值图像，第一边缘图像的每个像素值指示“0”或“1”。边缘像素的像素值是“1”，而非边缘像素的像素值是“0”。图6A示出了第一边缘图像。
类似地，边缘检测部18基于第二边缘强度图像和第二边缘梯度图像检测第二颜色分解图像中的边缘像素，且生成作为二值图像的第二边缘图像。第二边缘图像的每个像素值指示“0”或“1”。边缘像素的像素值是“1”，而非边缘像素的像素值是“0”。图6B示出了第二边缘图像。
同样，边缘检测部18基于第三边缘强度图像和第三边缘梯度图像检测第三颜色分解图像中的边缘像素，且生成作为二值图像的第三边缘图像。第三边缘图像的每个像素值指示“0”或“1”。边缘像素的像素值是“1”，而非边缘像素的像素值是“0”。图6C示出了第三边缘图像。
合成部20通过执行逻辑加，来生成第一边缘图像、第二边缘图像和第三边缘图像的合成边缘图像。具有像素值“1”的像素用作边缘像素。图7示出了合成边缘图像。
另外，合成部20(识别部)生成第一边缘强度图像、第二边缘强度图像和第三边缘强度图像的合成边缘强度图像。合成边缘强度图像中的给定像素的像素值表示第一、第二和第三边缘强度图像中具有相应像素的像素值所表示的最大边缘强度I的边缘强度图像中的相应像素处的边缘强度I。当生成合成边缘强度图像时，合成部20(识别部)针对每个像素识别由第一边缘强度图像的像素值表示的边缘强度I、由第二边缘强度图像的像素值表示的边缘强度I和由第三边缘强度图像的像素值表示的边缘强度I中的最大边缘强度。
另外，合成部20(识别部)生成第一边缘梯度图像、第二边缘梯度图像和第三边缘梯度图像的合成边缘梯度图像。如果第一边缘强度图像中的相应像素的像素值表示最大边缘强度I，则合成边缘梯度图像中的给定像素的像素值表示第一边缘梯度图像中的相应像素的像素值所表示的梯度方向θ。如果第二边缘强度图像中的相应像素的像素值表示最大边缘强度I，则合成边缘梯度图像中的给定像素的像素值表示第二边缘梯度图像中的相应像素的像素值所表示的梯度方向θ。如果第三边缘强度图像中的相应像素的像素值表示最大边缘强度I，则合成边缘梯度图像中的给定像素的像素值表示第三边缘梯度图像中的相应像素的像素值所表示的梯度方向θ。当生成合成边缘梯度图像时，合成部20(识别部)针对每个像素识别第一边缘强度图像、第二边缘强度图像和第三边缘强度图像中的具有由该像素的像素值表示的最大边缘强度I的最大边缘强度图像MAX。如果最大边缘强度图像MAX是第N(N＝1至3)边缘强度图像，则合成部20(识别部)识别第N边缘梯度图像中的相应像素的像素值所表示的梯度方向θ。
当合成边缘强度图像包括边缘强度I小于或等于阈值强度(此后，称为去除对象像素)的像素时，从合成边缘图像、合成边缘强度图像和合成边缘梯度图像中去除该去除对象像素的像素值，以避免噪声的影响。
被摄体区域检测部22(被摄体区域检测部)基于合成边缘强度图像、合成边缘梯度图像和合成边缘图像指示的边缘像素检测摄像图像中的被摄体区域16。
首先，线候选识别部24(线候选识别部)对合成边缘图像指示的每个边缘像素执行霍夫变换，由此识别将用作构成被摄体区域16的轮廓的线的候选的多个线候选l。
例如，线候选识别部24对合成边缘图像指示的各个边缘像素执行霍夫变换以求出与边缘像素的数量一样多的曲线r(θ)。此处，曲线r(θ)由下式表示。
r(θ)＝x0×cosθ+y0×sinθ
此处“x0”表示边缘像素的x坐标值，而“y0”表示边缘像素的y坐标值。
对于通过将-π到+π的角度范围进行M等分而得到的“M(M是正整数)”个目标角度范围中的每一个，线候选识别部24识别霍夫空间中至少预定数量的曲线的交叉点的坐标值(霍夫变换的结果)，且由所识别的坐标值识别线候选l。
线候选识别部24并不必须针对所有的目标角度范围识别交叉点的坐标值。例如，线候选识别部24可以仅针对“M”个目标角度中与合成边缘梯度图像所指示的梯度方向θ相应的目标角度范围识别交叉点的坐标值。例如，对于每个目标角度范围，线候选识别部24可以计算在合成边缘梯度图像中出现表示目标角度范围内的角度的梯度方向θ的次数，且可以针对具有“第一”至“第L”(“L”例如是“4”)高的出现频率的目标角度范围识别交叉点的坐标值。另外，例如，线候选识别部24可以识别合成边缘梯度图像中“L”个预定对象像素中各自的梯度方向θ，且可以针对包括所识别的边缘梯度方向θ的目标角度范围识别交叉点的坐标值。这使得能够在减小噪声的同时快速地识别线候选1。
图8概念性地示出了所识别的线候选。一个实线代表一个线候选l。
对于每个线候选1，线概率计算部26(线概率计算部)计算表示线候选1是构成被摄体区域16的轮廓的线的概率的线概率P1。
更具体而言，当计算给定线候选l(此后，称为线候选lx)的线概率P1时，线概率计算部26基于合成边缘强度图像中位于线候选lx附近的像素的边缘强度I、合成边缘梯度图像中位于线候选lx附近的像素的梯度方向θ以及摄像图像中位于线候选1x附近的像素的像素值计算线概率P1。
更具体而言，线概率计算部26从合成边缘强度图像中读出与线候选lx相距基准距离S或以内的像素(此后称为第一基准像素)的边缘强度I，且生成与读出的边缘强度I的均匀性相关的评价信息。即，线概率计算部26计算所读出的边缘强度I的方差的倒数D作为评价信息。线概率计算部26还从合成边缘梯度图像中读出第一基准像素的梯度方向θ，且生成与所读出的梯度方向的均匀性相关的评价信息。即，线概率计算部26计算所读出的梯度方向θ的方差或所读出的梯度方向θ与线候选1x的法线或延伸方向之差的方差的倒数D2，作为评价信息。
另外，线概率计算部26从摄像图像中读出第一基准像素的像素值，且生成与读出像素值中包含的Y值、Cb值和Cr值表示的颜色空间距离的均匀性相关的评价信息。更具体而言，线概率计算部26计算所读出的像素值分别表示的颜色空间距离，且计算该计算出的颜色空间距离的方差的倒数D3作为评价信息。
倒数D1至D3表示第一基准像素的特征值的均匀性。更具体而言，倒数D1表示第一基准像素的边缘强度I的均匀性，倒数D2表示第一基准像素的梯度方向θ的均匀性，且倒数D3表示第一基准像素的颜色空间距离的均匀性。
线概率计算部26还从合成边缘图像中读出第一基准像素的像素值，识别具有所读出的像素值“1”的第一基准像素的数量，即作为边缘像素的第一基准像素的数量，且计算所识别的值与第一基准像素的总数之比值R。另外，基于从合成边缘图像读出的第一基准像素的像素值，线概率计算部26识别在扫描线候选lx时连续出现的“具有像素值“1”的第一基准像素(作为边缘像素的第一基准像素)”的数量C。值C表示与作为边缘像素的第一基准像素的分布相关的信息。
线概率计算部26基于倒数D1、D2和D3、比值R和值C计算线候选lx的线概率P1。在本示例性实施方式中，线概率计算部26将倒数D1、D2和D3、比值R和值C与预定加权系数相乘且对所得的乘积进行相加，由此计算线概率P1。
位于构成被摄体区域16的轮廓的线附近的像素的特征值(梯度方向θ、边缘强度I或颜色空间距离)基本均匀。因此，认为位于线候选lx附近的像素的特征值的均匀性越高，则线候选1x是构成被摄体区域16的轮廓的线的概率越高。就这方面而言，图像处理装置2考虑第一基准像素的特征值的均匀性计算线概率P1。因为考虑第一基准像素的特征值的均匀性来评价线候选1x是构成被摄体区域16的轮廓的线的概率，接下来更有可能高精度地进行被摄体区域16的检测。
另外，位于构成被摄体区域16的轮廓的线附近的大多数像素是边缘像素。因此，认为边缘像素越靠近线候选lx，则线候选1x是构成被摄体区域16的轮廓的线的概率越高。就这方面而言，图像处理装置2考虑位于线候选1x附近的边缘像素的数量和位于线候选lx附近的边缘像素的连续长度来计算线概率P1。因为考虑这些信息来评价线候选1x是构成被摄体区域16的轮廓的线的概率，接下来更有可能高精度地进行被摄体区域16的检测。
接着被摄体区域检测部22基于线概率计算部26计算的线概率P1检测被摄体区域16。
更具体而言，区域候选选择部28从线候选识别部24识别的多个线候选l中选择具有“第一”至“第Q”(“Q”例如是“10”)大的线概率P1的线候选l。区域候选选择部28选择各由从所选择的Q个线候选l中选择的4个线候选l围起的矩形区域，作为用作被摄体区域16的候选的区域候选K。此处，选择与4个线候选l的组合的数量一样多的区域候选K。
对于区域候选选择部28选择的各个区域候选K，区域概率计算部30基于构成该区域候选K的线候选l的线概率P1计算表示区域候选K是被摄体区域16的概率的区域概率P2。
在本示例性实施方式中，当计算给定区域候选K(此后，称为区域候选Kx)的区域概率P2时，区域概率计算部30首先计算构成该区域候选Kx的4个线候选l的线概率P1的平均值，作为指数E1。
区域概率计算部30还计算区域候选Kx的外接矩形的短边与长边的比率作为指数E2。区域概率计算部分30可以使用区域候选Kx是否具有小于或等于基准角(例如5度)的顶点作为指数E2。
另外，区域概率计算部30针对构成区域候选Kx的两个相邻边分别计算特征平均值，且计算这两个计算的特征平均值之间的相似度作为指数E2。
例如，当计算两个相邻边中的一个边(此后，称为边e)的特征平均值时，区域概率计算部30从合成边缘强度图像中读出与两个相邻边的交点之间的距离和与边e之间的距离都为基准距离S或基准距离S以内的像素(此后，称为第二基准像素)的像素值(即边缘强度I)。区域概率计算部30计算所读出的边缘强度I的均值作为特征均值。或者，区域概率计算部30从摄像图像中读出第二基准像素的像素值，且计算所读出的像素值中包括的Y值、Cb值或Cr值的均值作为特征均值。或者，区域概率计算部30生成摄像图像的灰度图像，从该灰度图像中读出第二基准像素的像素值且计算所读出的像素值的均值作为特征均值。
而且，区域概率计算部30从摄像图像中读出区域候选Kx中包含的像素的像素值，且生成与所读出的像素值的均匀性相关的评价信息。例如，区域概率计算部30计算所读出的像素值中包含的Y值的方差的倒数，作为用作评价信息的指数E3。区域概率计算部30可以计算所读出的像素值的空间频率作为指数E3。
此外，区域概率计算部30执行光学字符识别(OCR)处理，由此检测区域候选Kx中的包含在摄像图像中且表示字符的字符图像。区域概率计算部30把检测到的字符图像的数量设为指数E4。
此后，区域概率计算部30将指数E1至E4与预定的加权系数相乘，且对相乘后的指数E1至E4进行相加，由此计算区域候选Kx的区域概率P2。
以这种方式，考虑构成区域候选Kx的线候选l的线概率P1来计算区域概率P2。因为考虑构成区域候选Kx的线候选l的线概率P1来评价区域候选Kx是被摄体区域16的概率，接下来更有可能高精度地检测被摄体区域16。
位于构成被摄体区域16的轮廓的两个相邻边附近的像素的特征基本类似。因此，如果位于构成区域候选Kx的两个相邻边附近的像素的特征相似，则认为区域候选Kx很有可能是被摄体区域16。就这方面而言，图像处理装置2考虑位于构成区域候选Kx的两个相邻边附近的像素的特征之间的相似度来计算区域概率P2。因为考虑位于构成区域候选Kx的两个相邻边附近的像素的特征之间的相似度来评价区域候选Kx是被摄体区域16的概率，接下来更有可能高精度地检测被摄体区域16。
另外，当被摄体是白板14时，被摄体区域16中的像素具有基本均匀的特征。因此，如果区域候选Kx中的像素具有基本均匀的特征，则认为区域候选Kx很有可能是被摄体区域16。就这方面而言，图像处理装置2考虑位于区域候选Kx中的像素的特征的均匀性来计算区域概率P2。因为考虑位于区域候选Kx中的像素的特征的均匀性来评价区域候选Kx是被摄体区域16的概率，接下来更有可能高精度地检测被摄体区域16。
再者，当被摄体是白板14时，被摄体区域16通常包括很多字符图像。因此，如果区域候选Kx包括很多字符图像，则认为区域候选Kx很有可能是被摄体区域16。就这方面而言，图像处理装置2考虑区域候选Kx中包含的字符图像的数量来计算区域概率P2。因为考虑区域候选Kx中包含的字符图像的数量来评价区域候选Kx是被摄体区域16的概率，接下来更有可能高精度地检测被摄体区域16。
在以上述方式完成各个区域候选K的区域概率P2的计算之后，区域选择部32检测具有最大区域概率P2的区域候选K，且选择所检测到的区域候选K作为被摄体区域16。
如上所述，在被摄体区域16的检测中，图像处理装置2不仅使用合成边缘图像表示的边缘像素，还使用合成边缘强度图像和合成边缘梯度图像。因此，在被摄体区域16的检测中，有选择地使用第一至第三颜色分解图像表示的边缘强度I中的最大边缘强度I以及具有该最大边缘强度I的颜色分解图像表示的梯度方向θ。因此，提高了被摄体区域16的检测精度。
在检测被摄体区域16之后，几何变换参数计算部34放大被摄体区域16，且计算放大后的被摄体区域(此后，称为放大被摄体区域)的4个顶点的坐标值。
上述基础图像的被白板14的图像占据的区域对应于放大被摄体区域。
几何变换参数计算部34将各个顶点的计算坐标值与基础图像中预先设置的矩形区域的相应顶点的坐标值进行比较，由此计算用于将放大被摄体区域几何变换为矩形区域的几何变换参数。几何变换参数包括所谓的投影变换的参数。
然后几何变换处理部36从基础图像中提取放大被摄体区域的图像，即基础图像中包含的白板14的图像。几何变换处理部36根据几何变换参数计算部34计算的几何变换参数对提取的图像进行几何变换，且在显示部10上显示几何变换后的图像。因此，在显示部10上显示从正面观察的白板14的图像。
本发明的示例性实施方式不限于上述实施方式。
例如，作为指数E2，区域概率计算部30可以计算区域候选Kx的最短边与区域候选Kx的最长边之间的比率，而不是区域候选Kx的外接矩形的短边与长边的比率。
另外，被摄体并不必须是白板14，例如可以是纸介质。
以上对本发明的示例性实施方式进行的说明是出于图示和说明的目的。上述说明并不是穷尽性的，也不将本发明限制于所公开的精确形式。很显然，对于本领域技术人员将有很多修改和变型。此处选择和说明的实施方式是为了最好地解释本发明的原理及其实际应用，由此使得本领域技术人员能够理解到本发明的适合于预期的特定用途的各种实施方式。本发明的范围由所附的权利要求及其等同来限定。
Claims (7)
1.一种图像处理装置，其包括：
计算部，其针对多个颜色分解图像中的每一个，生成表示颜色分解图像的每个位置处的梯度方向的边缘梯度图像和表示颜色分解图像的每个位置处的边缘强度的边缘强度图像，该多个颜色分解图像是通过将彩色摄像图像分解成多个颜色成分而得到的，所述彩色摄像图像包括使用摄像装置拍摄的被摄体图像；
边缘位置检测部，其基于所述颜色分解图像的所述边缘梯度图像和所述边缘强度图像，检测所述多个颜色分解图像中的每一个中的边缘位置，并且针对每一个颜色分解图像，生成指示所检测的边缘位置的二值边缘图像；
合成部，其生成合成了所述二值边缘图像的合成边缘图像、合成了所述边缘强度图像的合成边缘强度图像和合成了所述边缘梯度图像的合成边缘梯度图像；以及
被摄体区域检测部，其基于所述合成边缘强度图像、所述合成边缘梯度图像和由所述合成边缘图像指示的边缘位置检测被摄体区域，该被摄体区域是所述彩色摄像图像的对应于被摄体图像的一部分。
2.根据权利要求1所述的图像处理装置，其中，
所述被摄体区域检测部包括：
线候选识别部，其对所述边缘位置检测部检测到的边缘位置执行霍夫变换，由此识别构成所述被摄体区域的轮廓的线的多个候选；以及
线概率计算部，其针对所述多个候选中的每一个，基于与该候选相距基准距离或基准距离以内的位置的所述合成边缘强度图像的边缘强度，计算线概率信息，该线概率信息表示所述线候选识别部识别的候选是构成所述被摄体区域的轮廓的线的概率，并且
所述被摄体区域检测部基于所述线概率计算部计算的线概率信息检测所述被摄体区域。
3.根据权利要求2所述的图像处理装置，其中，
所述线概率计算部针对所述多个候选中的每一个，生成与该候选相距基准距离或基准距离以内的位置的所述边缘强度的均匀性相关的评价信息，且基于所生成的评价信息计算候选的线概率信息。
4.根据权利要求1所述的图像处理装置，其中，
所述被摄体区域检测部包括：
线候选识别部，其对所述边缘位置检测部检测到的边缘位置执行霍夫变换，由此识别构成所述被摄体区域的轮廓的线的多个候选；以及
线概率计算部，其针对所述多个候选中的每一个，基于与该候选相距基准距离或基准距离以内的位置的所述合成边缘梯度图像的梯度方向，计算线概率信息，该线概率信息表示所述线候选识别部识别的候选是构成所述被摄体区域的轮廓的线的概率，并且
所述被摄体区域检测部基于所述线概率计算部计算的线概率信息检测所述被摄体区域。
5.根据权利要求4所述的图像处理装置，其中，
所述线概率计算部针对所述多个候选中的每一个，生成与该候选相距基准距离或基准距离以内的位置的所述梯度方向的均匀性相关的评价信息，且基于生成的评价信息计算该候选的线概率信息。
6.根据权利要求2至5中任意一项所述的图像处理装置，其中，
所述线候选识别部对所述边缘位置检测部检测到的边缘位置执行霍夫变换，且基于与所述合成边缘梯度图像的梯度方向相应的角度范围中的霍夫变换的结果，识别构成所述被摄体区域的轮廓的线的多个候选。
7.一种图像处理方法，该方法包括以下步骤：
针对多个颜色分解图像中的每一个，生成表示颜色分解图像的每个位置处的梯度方向的边缘梯度图像和表示颜色分解图像的每个位置处的边缘强度的边缘强度图像，该多个颜色分解图像是通过将彩色摄像图像分解成多个颜色成分而得到的，所述彩色摄像图像包括使用摄像装置拍摄的被摄体图像；
基于所述颜色分解图像的所述边缘梯度图像和所述边缘强度图像，检测所述多个颜色分解图像中的每一个中的边缘位置，并且针对每一个颜色分解图像，生成指示所检测的边缘位置的二值边缘图像；
生成合成了所述二值边缘图像的合成边缘图像、合成了所述边缘强度图像的合成边缘强度图像和合成了所述边缘梯度图像的合成边缘梯度图像；以及
基于所述合成边缘强度图像、所述合成边缘梯度图像和由所述合成边缘图像指示的边缘位置检测被摄体区域，该被摄体区域是所述彩色摄像图像的对应于被摄体图像的一部分。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011084802A JP5765026B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置及びプログラム |
| JP2011-084802 | 2011-04-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102739911A CN102739911A (zh) | 2012-10-17 |
| CN102739911B true CN102739911B (zh) | 2016-04-06 |
Family
ID=46966185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110409590.XA Active CN102739911B (zh) | 2011-04-06 | 2011-12-09 | 图像处理装置及图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8923610B2 (zh) |
| JP (1) | JP5765026B2 (zh) |
| KR (1) | KR101579873B1 (zh) |
| CN (1) | CN102739911B (zh) |
| AU (1) | AU2011250827B2 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9485501B2 (en) * | 2011-12-30 | 2016-11-01 | Barco N.V. | Method and system for determining image retention |
| CN103971361B (zh) * | 2013-02-06 | 2017-05-10 | 富士通株式会社 | 图像处理装置和方法 |
| CN103310194B (zh) * | 2013-06-07 | 2016-05-25 | 太原理工大学 | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 |
| JP6557943B2 (ja) | 2014-01-15 | 2019-08-14 | オムロン株式会社 | 画像照合装置、画像センサ、処理システム、画像照合方法 |
| CN105976344A (zh) * | 2016-04-26 | 2016-09-28 | 北京小米移动软件有限公司 | 白板图像处理方法及装置 |
| US9934431B2 (en) * | 2016-07-27 | 2018-04-03 | Konica Minolta Laboratory U.S.A., Inc. | Producing a flowchart object from an image |
| KR20180033367A (ko) | 2016-09-23 | 2018-04-03 | 삼성전자주식회사 | 패턴 측정 방법 및 그를 포함하는 반도체 소자의 제조 방법 |
| US11729493B2 (en) * | 2019-03-28 | 2023-08-15 | Sony Group Corporation | Image capture apparatus and image capture method |
| CN115311297A (zh) * | 2022-10-12 | 2022-11-08 | 南通甜享纺织品有限公司 | 一种有色丝毛丝智能识别方法 |
| CN116542976B (zh) * | 2023-07-06 | 2023-09-08 | 深圳市佳合丰科技有限公司 | 一种模切件缺陷的视觉检测系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000011187A (ja) * | 1998-06-17 | 2000-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 図形認識方法及び装置及び図形認識プログラムを格納した記憶媒体 |
| CN101359403A (zh) * | 2008-07-28 | 2009-02-04 | 上海同盛工程建设配套管理有限公司 | 一种从卫星图片中提取建筑物轮廓的方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60143341A (ja) * | 1983-12-30 | 1985-07-29 | Dainippon Screen Mfg Co Ltd | 抜きマスク版の作製方法 |
| US6453069B1 (en) * | 1996-11-20 | 2002-09-17 | Canon Kabushiki Kaisha | Method of extracting image from input image using reference image |
| US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
| FR2773247A1 (fr) * | 1997-12-31 | 1999-07-02 | Philips Electronics Nv | Procede de traitement d'une image multidimensionnelle bruitee et appareil d'imagerie medicale mettant en oeuvre ce procede |
| US6415053B1 (en) * | 1998-04-20 | 2002-07-02 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
| JP3405266B2 (ja) | 1998-04-20 | 2003-05-12 | 富士写真フイルム株式会社 | 画像処理方法および装置 |
| AUPP779898A0 (en) * | 1998-12-18 | 1999-01-21 | Canon Kabushiki Kaisha | A method of kernel selection for image interpolation |
| JP4010754B2 (ja) | 2000-08-10 | 2007-11-21 | 株式会社リコー | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 |
| US7043080B1 (en) * | 2000-11-21 | 2006-05-09 | Sharp Laboratories Of America, Inc. | Methods and systems for text detection in mixed-context documents using local geometric signatures |
| US6901167B2 (en) * | 2001-04-04 | 2005-05-31 | Microsoft Corporation | Detecting multiple objects in digital image data |
| US7031525B2 (en) * | 2002-07-30 | 2006-04-18 | Mitsubishi Electric Research Laboratories, Inc. | Edge detection based on background change |
| DE10239801A1 (de) * | 2002-08-29 | 2004-03-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Extrahieren von Texturmerkmalen aus einem mehrkanaligen Bild |
| JP4206723B2 (ja) * | 2002-10-11 | 2009-01-14 | オムロン株式会社 | 画像処理方法および画像処理装置 |
| US7171056B2 (en) * | 2003-02-22 | 2007-01-30 | Microsoft Corp. | System and method for converting whiteboard content into an electronic document |
| JP4363154B2 (ja) | 2003-10-14 | 2009-11-11 | カシオ計算機株式会社 | 撮影装置、その画像処理方法及びプログラム |
| US7672507B2 (en) * | 2004-01-30 | 2010-03-02 | Hewlett-Packard Development Company, L.P. | Image processing methods and systems |
| JP2005269449A (ja) * | 2004-03-19 | 2005-09-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| JP4167680B2 (ja) * | 2005-09-14 | 2008-10-15 | Ｎｅｃアクセステクニカ株式会社 | 原稿読取装置および原稿読取方法 |
| JP2007140684A (ja) * | 2005-11-15 | 2007-06-07 | Toshiba Corp | 画像処理装置、方法、プログラム |
| JP4788525B2 (ja) * | 2006-08-30 | 2011-10-05 | 日本電気株式会社 | 物体識別パラメータ学習システム、物体識別パラメータ学習方法および物体識別パラメータ学習用プログラム |
| JP5326943B2 (ja) * | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US9508011B2 (en) * | 2010-05-10 | 2016-11-29 | Videosurf, Inc. | Video visual and audio query |
-
2011
- 2011-04-06 JP JP2011084802A patent/JP5765026B2/ja not_active Expired - Fee Related
- 2011-10-31 US US13/285,543 patent/US8923610B2/en not_active Expired - Fee Related
- 2011-11-16 AU AU2011250827A patent/AU2011250827B2/en not_active Ceased
- 2011-12-09 CN CN201110409590.XA patent/CN102739911B/zh active Active
-
2012
- 2012-02-24 KR KR1020120018768A patent/KR101579873B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000011187A (ja) * | 1998-06-17 | 2000-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 図形認識方法及び装置及び図形認識プログラムを格納した記憶媒体 |
| CN101359403A (zh) * | 2008-07-28 | 2009-02-04 | 上海同盛工程建设配套管理有限公司 | 一种从卫星图片中提取建筑物轮廓的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2011250827A1 (en) | 2012-10-25 |
| CN102739911A (zh) | 2012-10-17 |
| US8923610B2 (en) | 2014-12-30 |
| US20120257822A1 (en) | 2012-10-11 |
| KR101579873B1 (ko) | 2015-12-23 |
| JP5765026B2 (ja) | 2015-08-19 |
| JP2012221117A (ja) | 2012-11-12 |
| KR20120114152A (ko) | 2012-10-16 |
| AU2011250827B2 (en) | 2014-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102739911B (zh) | 图像处理装置及图像处理方法 | |
| CN102739951B (zh) | 图像处理装置及图像处理方法 | |
| CN104978709B (zh) | 描述符生成方法及装置 | |
| CN108629775B (zh) | 一种热态高速线材表面图像处理方法 | |
| US10410084B2 (en) | Devices, systems, and methods for anomaly detection | |
| CN113379680B (zh) | 缺陷检测方法、装置、电子设备和计算机可读存储介质 | |
| CN109145931A (zh) | 物体检测方法、装置及存储介质 | |
| JP5773436B2 (ja) | 情報端末装置 | |
| CN101976436B (zh) | 一种基于差分图修正的像素级多聚焦图像融合方法 | |
| JP5779089B2 (ja) | エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 | |
| JP4946878B2 (ja) | 画像識別装置及びプログラム | |
| CN110490924B (zh) | 一种基于多尺度Harris的光场图像特征点检测方法 | |
| US11544875B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN110516528A (zh) | 一种基于运动背景下的动目标检测和跟踪方法 | |
| JP5201184B2 (ja) | 画像処理装置及びプログラム | |
| JP5027201B2 (ja) | テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
| JP6221283B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| Piškorec et al. | Computer vision system for the chess game reconstruction | |
| JP4986934B2 (ja) | 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体 | |
| US11557056B2 (en) | Image-capturing control apparatus, image-capturing control method, and storage medium for evaluating appearance of object | |
| CN113112546B (zh) | 基于三x组合标记的空间目标检测识别与位姿跟踪方法 | |
| JP2006252491A (ja) | 画像識別用タグ及び画像識別システム | |
| CN115798012A (zh) | 基于热点区域特征融合的正侧脸特征的判断方法 | |
| CN111788537A (zh) | 映射真实环境的映射方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Tokyo, Japan Patentee after: Fuji film business innovation Co.,Ltd. Address before: Tokyo, Japan Patentee before: Fuji Xerox Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |