CN109636862A - 图像处理方法、系统、终端、存储介质及书写板装置 - Google Patents
图像处理方法、系统、终端、存储介质及书写板装置 Download PDFInfo
- Publication number
- CN109636862A CN109636862A CN201811368212.XA CN201811368212A CN109636862A CN 109636862 A CN109636862 A CN 109636862A CN 201811368212 A CN201811368212 A CN 201811368212A CN 109636862 A CN109636862 A CN 109636862A
- Authority
- CN
- China
- Prior art keywords
- image
- clipboard
- color
- blocks
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000005070 sampling Methods 0.000 claims description 59
- 238000000605 extraction Methods 0.000 claims description 51
- 239000000284 extract Substances 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000008901 benefit Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 32
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 102100027368 Histone H1.3 Human genes 0.000 description 1
- 101001009450 Homo sapiens Histone H1.3 Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理方法、系统、终端、存储介质及书写板装置,该方法包括:从所述第一书写板图像中提取得到至少两个不同的图像块;对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;其中,所述图像块数量为具有相同颜色的图像块数量;确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。该装置包括书写板、用于对书写板进行拍摄的摄像头以及用于加载程序以执行所述图像处理方法的处理器。通过使用本发明的图像处理方案,能够在提高处理效率的同时还能令准确率提高。本发明作为一种图像处理方法、系统、终端、存储介质及书写板装置可广泛应用于图像处理领域中。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种图像处理方法、系统、终端、存储介质及书写板装置。
背景技术
目前,颜色识别技术已被广泛应用诸多场景中,例如道路场景下的车辆颜色识别、商场场景下的衣着颜色识别、自然场景下的果实/叶子的颜色识别等。而当前所采用的主流颜色识别方案主要分为阈值法和机器学习分类方法,其中:对于所述的阈值法,其主要是根据目标颜色区间来设定颜色阈值后直接对待识别目标进行颜色阈值的判别,以实现颜色识别;而对于机器学习分类的方法,其则是对目标图像进行颜色特征提取后,通过SVM(支持向量机)或CNN(卷积神经网络)等分类器,基于待识别目标图像的颜色特征来将该图像分成对应的类别,以实现颜色识别。然而,当前的颜色识别方案仍存有一些问题,例如:1、所述阈值法过于简单,其抗干扰能力低下,容易导致颜色识别结果出错,准确率低下;2、所述机器学习分类的方法则步骤较为繁琐,需要非常多的样本对分类器进行训练后,分类器输出的颜色识别结果的准确率才能得到保证,可见,此方法的效率较低。
发明内容
有鉴于此,本发明实施例提供一种图像处理方法、系统、终端、存储介质及书写板装置,可快速且准确地实现书写板图像的颜色识别。
一方面,本发明实施例提供了一种图像处理方法,包括以下步骤:
获取第一书写板图像;
从所述第一书写板图像中提取得到至少两个不同的图像块;
对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;其中,所述图像块数量为具有相同颜色的图像块数量;
确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
进一步,所述图像块的个数为奇数。
进一步,所述至少两个不同的图像块的提取位置在所述第一书写板图像的中部和/或呈矩形阵列分布。
进一步,所述获取第一书写板图像这一步骤,其包括:
采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理后得到所述第一书写板图像;
或,采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像;
或,采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理,对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像。
进一步,所述对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像这一步骤,其包括:
对所述原始书写板图像进行二值化处理后得到第一二值化图像,利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像,其中,所述第一背景图像为所述第一书写板图像;
或,所述对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像这一步骤,其包括:
对下采样处理后得到的图像进行二值化处理后得到第二二值化图像,利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像,其中,所述第二背景图像为所述第一书写板图像。
进一步,所述利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像这一步骤,其包括:
利用所述第一二值化图像,从所述原始书写板图像中提取得到第一初始背景图像后,对所述第一初始背景图像的空白处进行插值处理后得到所述第一背景图像;
或,所述利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像这一步骤,其包括:
利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二初始背景图像后,对所述第二初始背景图像的空白处进行插值处理后得到所述第二背景图像。
进一步,所述对所述至少两个不同的图像块进行颜色识别这一步骤,其包括:
计算每一个所述图像块的色相均值;
对每一个所述图像块的色相均值进行阈值判断后,根据阈值判断结果来确定出每一个所述图像块的颜色。
进一步,所述对所述至少两个不同的图像块进行颜色识别后,统计图像块数量这一步骤之前还包括有图像块增益补偿步骤,所述图像块增益补偿步骤包括:
将RGB通道增益与所述至少两个不同的图像块的RGB通道像素值进行相乘;
其中,所述RGB通道增益是通过对第一前景图像进行RGB通道增益计算而得出的,所述第一前景图像是利用所述第一二值化图像从所述原始书写板图像中提取得到的前景图像;或,所述RGB通道增益是通过对第二前景图像进行RGB通道增益计算而得出的,所述第二前景图像是利用所述第二二值化图像从所述下采样处理后得到的图像中提取得到的前景图像。
进一步,所述RGB通道增益包括R通道增益、G通道增益和/或B通道增益;
所述R通道增益为Ravg与Gavg的比值;
所述B通道增益为Bavg与Gavg的比值;
所述G通道增益为设定基准值;
其中,所述Ravg为所述第一前景图像的R通道像素平均值,所述Gavg为所述第一前景图像的G通道像素平均值,所述Bavg为所述第一前景图像的B通道像素平均值;或者,所述Ravg为所述第二前景图像的R通道像素平均值,所述Gavg为所述第二前景图像的G通道像素平均值,所述Bavg为所述第二前景图像的B通道像素平均值。
进一步,还包括以下步骤:
根据确认出的所述第一书写板图像的颜色,采用对应的图像增强算法来对摄像头拍摄得到的原始书写板图像进行图像增强处理后,对图像增强处理后得到的书写板图像进行书写笔迹识别。
另一方面,本发明实施例提供了一种图像处理系统,包括:
获取模块,用于获取第一书写板图像;
提取模块,用于从所述第一书写板图像中提取得到至少两个不同的图像块;
统计模块,用于对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;其中,所述图像块数量为具有相同颜色的图像块数量;
确定模块,用于确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
另一方面,本发明实施例提供了一种终端,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现所述一种图像处理方法。
另一方面,本发明实施例提供了一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行所述一种图像处理方法。
另一方面,本发明实施例提供了一种书写板装置,包括书写板、摄像头及与摄像头连接的终端设备;
所述摄像头用于对书写板进行拍摄;
所述终端设备包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现所述一种图像处理方法。
本发明实施例通过从获得的第一书写板图像中提取得到至少两个不同的图像块后,对所述至少两个不同的图像块进行颜色识别后,统计图像块数量,从而确定出最大图像块数量,并将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色,这样相较于传统颜色识别方案,本发明实施例针对书写板的颜色识别方案能够在提高处理效率的同时还能令准确率提高。
附图说明
图1是本发明实施例一种图像处理方法的一具体实施例步骤流程图;
图2是本发明实施例中所述第一书写板图像的示意图;
图3是本发明实施例中图像块的提取位置在第一书写板图像的第一分布示意图;
图4是本发明实施例中图像块的提取位置在第一书写板图像的第二分布示意图;
图5是本发明实施例中图像块的提取位置在第一书写板图像的第三分布示意图;
图6是本发明实施例中对输入图像进行下采样处理的原理示意图;
图7是本发明实施例中对图像进行增益补偿处理的原理示意图;
图8是本发明实施例一种图像处理方法的另一具体实施例步骤流程图;
图9是本发明实施例中图像块的提取位置呈九宫格形式的分布示意图;
图10是本发明实施例一种图像处理系统的结构框图;
图11是本发明实施例一种终端的结构框图;
图12是本发明实施例一种书写板装置的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。此外,以下实施例中所提及到的“上”、“下”、“左”、“右”、“前”、“后”仅为了清楚描述位置关系,为相对位置关系,而并不是绝对位置关系,可根据本领域技术人员的理解来进行适应性调整。
本发明实施例所提供的图像处理方案优选适用于智能书写板场景中,以实现书写板的颜色识别。对于所述智能书写板场景,其主要包括一书写板装置,所述书写板装置包括有书写板、摄像头及与摄像头连接的终端设备,其中,所述摄像头可设置在书写板上且用于对书写板进行拍摄,所述终端设备则主要用于对摄像头拍摄得到的书写板图像进行图像处理,以实现图像的显示、记录等操作。通常,在对书写板图像进行显示、记录等处理的过程中,会需要对书写板图像上的笔迹进行识别,而为了能够很好地对书写板图像上的笔迹进行识别,则应先对书写板图像进行图像增强处理后再对图像增强处理后得到的图像进行笔迹识别;由于目前主流的书写板本体表面颜色层主要绿色和黑色两种,而不同颜色的书写板图像采用不同的增强处理方法来进行图像增强处理,能够更有利于后续笔迹识别的准确率和处理效率的提高,因此由此可见,一种书写板图像的颜色识别方案在智能书写板场景中是非常重要环节之一。
基于此,本发明实施例提供了一种图像处理方法,以用于实现书写板的颜色识别,如图1所示,包括以下步骤。
步骤S101、获取第一书写板图像。
具体地,对于所述第一书写板图像,其可直接为摄像头拍摄得到的原始书写板图像,也可以为对摄像头拍摄得到的原始书写板图像进行图像预处理后得到的书写板图像(所述的图像预处理可包括但不限于有图像滤波、去躁、形态学图像处理等),前者具有步骤简易、处理效率高的优点,而后者则具有令识别准确度提高的优点,因此对于获取何种书写板图像来作为所述第一书写板图像,这可根据实际情况/需求来选取。
步骤S102、从所述第一书写板图像中提取得到至少两个不同的图像块。
具体地,对于至少两个不同的图像块,其指的是在至少两个图像块中,任意两个图像块之间不存在交集(完全不重叠),即任意两个图像块中所包含的像素点坐标均不重叠,或者只是部分重叠且部分重叠的部分最好不超过图像块尺寸的三分之一,其中,提取得到的至少两个不同的图像块,它们的尺寸/形状可相同或不相同,而当尺寸不相同且任意两个图像块之间为部分重叠时,所述不超过图像块尺寸的三分之一中所述的图像块尺寸,其可为两个图像块尺寸中较小的尺寸;而在本实施例中,所述提取得到的至少两个不同的图像块,它们的尺寸/形状优选为相同,并且所述提取得到的至少两个不同的图像块中任意两个图像块之间完全不重叠。
还有,对于图像块的形状,其可为矩形、圆形、三角形等,可按照实际情况/需要来进行选取设置,而由于在程序设计当中,将图像块的形状选取为矩形能利于设计、实现和识别,因此在本实施例中,所述图像块的形状优选选取为矩形;另,对于步骤S102,其可通过图像裁剪、剪切、复制等方式,从而从所述第一书写板图像中提取得到至少两个不同的图像块;
步骤S103、对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;其中,所述图像块数量为具有相同颜色的图像块数量。
具体地,对提取出的每一个图像块进行颜色识别后,会识别出每一个图像块所属的颜色,然后对属于同一种颜色的图像块进行数量统计,例如,从第一书写板图像中提取出了7个图像块,然后对7个图像块逐一进行图像块颜色识别后得出每一个图像块所属的颜色类别,最后通过图像块数量的统计,从而得出的统计结果为:属于颜色A的图像块有4个,属于颜色B的图像块有2个,属于颜色C的图像块有1个。
步骤S104、确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
具体地,当图像块数量的统计结果为属于颜色A的图像块有4个,属于颜色B的图像块有2个,属于颜色C的图像块有1个,此时属于颜色A的图像块的数量为最大图像块数量,那么则将颜色A确定为第一书写板图像的颜色,即识别出的书写板颜色为颜色A。可见,当统计结果中最大图像块数量仅对应一种颜色时,那么就可以直接将最大图像块数量所对应的颜色确定为第一书写板图像的颜色;而若统计结果中最大图像块数量对应有至少两种颜色时,例如,在8个图像块中属于颜色A的图像块有4个,属于颜色B的图像块有4个,此时,最大图像块数量4所对应的颜色则同时对应有颜色A和颜色B,那么则可通过调整图像块提取的个数、位置、图像块的形状和/或尺寸等图像块参数后,返回重新执行步骤S102,直到步骤S104中所确定出的最大图像块数量仅对应一种颜色位置为止;又或者,可以通过增设判断条件,从而对第一书写板图像进行特征判断,根据特征判断结果,从颜色A和颜色B中选取出一种颜色,并将其作为所述第一书写板图像的颜色。对于所述增设的判断条件(如第一书写板图像的RGB三通道的像素值比例特征、亮度特征等特征判断条件),其可根据实际情况/需求来选取设置,此处并不做过多限定。
由上述可得,本发明实施例通过从第一书写板图像中提取得到至少两个不同的图像块后,对所述至少两个不同的图像块进行颜色识别后,统计图像块数量,从而确定出最大图像块数量,并将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色,这样相较于传统阈值法的颜色识别方案,本发明实施例能够有效地抗反光、遮挡等干扰,适应不同光照环境而导致书写板出现偏色的情况,具有高的鲁棒性,颜色识别准确率更高,而相较于传统机器学习分类法的颜色识别方法,本发明实施例的颜色识别步骤无需进行样本训练,步骤更简化,识别处理效率更高,也就是说,相较于传统颜色识别方案,本发明实施例能够在提高颜色识别准确率的同时也提高了整体的处理效率,尤为适用于智能书写板场景中。
在一优选实施例中,所述图像块的个数为奇数。通过将图像块的提取个数设为奇数,能够大大减少出现最大图像块数量对应至少两种颜色的情况,进一步在提高处理效率的同时保证了识别准确度。尤其对于智能书写板场景,由于书写板本体表面颜色层大部分为黑色或者绿色,少数为白色和米黄色,而黑色与绿色之间/白色与米黄色之间,容易因外界环境因素,如光线,从而导致黑色的书写板被识别为绿色的书写板、绿色的书写板被识别为黑色的书写板、白色的书写板被识别为米黄色的书写板或者米黄色的书写板被识别为白色的书写板,因此,将本发明实施例应用于智能书写板场景中,且用于对黑色书写板和绿色书写板(白色书写板和米黄色书写板)这两种相近颜色书写板进行颜色识别,通过将图像块的提取个数设为奇数,能提升颜色识别的鲁棒性,进一步在提高处理效率的同时保证了识别准确度。
在一优选实施例中,所述至少两个不同的图像块的提取位置在所述第一书写板图像的中部和/或呈矩形阵列分布。
其中,对于所述图像块的提取位置在所述第一书写板图像的中部,其具体为:所述图像块的提取位置不靠近第一书写板图像的边界,也就是说,任一图像块的提取位置与第一书写板图像的边界之间的距离大于等于一阈值(阈值的取值可根据实际情况来选取),令图像块的提取位置与第一书写板图像的边界之间具有一定的距离。如图2所示,所述第一书写板图像的边界分别包括有左边界101、上边界102、右边界103和下边界104,任一图像块的提取位置与左边界101的距离大于等于第一阈值,任一图像块的提取位置与上边界102的距离大于等于第二阈值,任一图像块的提取位置与右边界103的距离大于等于第三阈值,任一图像块的提取位置与下边界104的距离大于等于第四阈值,这样便能令任一图像块的提取位置与第一书写板图像的各边界具有一定的距离,令图像块的提取位置不处于边缘位置。由于在利用摄像头来对书写板进行拍摄时,会尽量通过调整摄像头位置和/或焦距等参数,从而令书写板完整且基本上占满摄像头所拍摄出来的图像,因此,在对书写板进行拍摄时,书写板图像的边缘位置容易因拍摄角度/摄像头自身参数的问题而导致变形(尤其当摄像头设置在书写板上时),而且书写板的边缘位置特别容易受光线影响从而导致较大的色差,而图像中,书写板的中间部分形变少且相较于边缘位置,其受到的外界光线环境因素干扰较少,所以将图像块的提取位置设置在第一书写板图像的中间部分,能够有效地抗光线干扰,进一步提高颜色识别准确度。
还有,对于所述至少两个不同的图像块的提取位置呈矩形阵列分布,其具体指的是:任一行中所包含的若干个提取位置均处于同一水平线上,在同一水平线上的任意相邻两个提取位置之间的间隔距离相等,和/或任一列中所包含的若干个提取位置均处于同一垂直线上,在同一垂直线上的任意相邻两个提取位置之间的间隔距离相等;其中,在本实施例中所述的矩形还包括正方形。由此可见,若提取的图像块个数为2个时,所述2个图像块的提取位置则可如图3和图4所示,其中图中的虚线框表示所设置的图像块提取位置,而当提取的图像块个数为m*n个时(m表示为位于同一垂直线上的图像块提取位置的个数,即矩形阵列中的行数,n表示为位于同一水平线上的图像块提取位置的个数,即矩形阵列中的列数),所述m*n个图像块的提取位置则可如图5所示。由于第一书写板图像通常为矩形图像,而且因外界环境因素而造成的色差通常会集中在第一书写板图像的局部位置,因此通过令至少两个不同的图像块的提取位置在第一书写板图像呈矩形阵列分布,能够令提取位置在第一书写板图像中分布均匀平均遍布在第一书写板图像中,这样则避免提取位置过于集中于局部图像区域,从而因局部图像区域偏色而导致最终颜色识别结果出错的情况,也就是说,通过令图像块的提取位置在所述第一书写板图像呈矩形阵列分布,能够达到令图像块的提取位置在所述第一书写板图像中呈现较为分散平均的分布效果,可进一步地提高颜色识别的准确率。当然,对于所述的矩形阵列分布,设计者也可根据实际情况/需求来选取其它形状阵列(即令提取位置呈其它形状的阵列进行分布),如菱形阵列、箭头形阵列、三角形阵列等。
在一优选实施例中,所述获取第一书写板图像这一步骤S101,其包括:
S1011、采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理后得到所述第一书写板图像。也就是说,在本实施例中,所述第一书写板图像是通过对摄像头拍摄得到的原始书写板图像进行下采样处理后得到的图像。其中,对于对所述原始书写板图像进行下采样处理,其具体为:对尺寸为M*N的原始书写板图像进行s倍下采样后,得到(M/s)*(N/s)尺寸的第一书写板图像;也就是说,以s*s尺寸的区域作为采样窗口,此时,尺寸为M*N的原始书写板图像上则布满有(M/s)*(N/s)个采样窗口,然后从每一个采样窗口中对应提取一像素值,以生成原始书写板图像对应的小尺寸图像,例如如图6所示,其展示了对图像进行下采样处理的原理示意图,其中图中所示的原始书写板图像的尺寸为1080*1920,而对其进行横向和纵向的4倍下采样,即相当于从每一个4*4的采样窗口中取1像素值作为小尺寸图像的像素,而在本实施例中,将4*4采样窗口中的第一个像素(图中空心圆圈所表示的像素)进行采样,并将其放在小尺寸图像的对应位置中,如,从第一个4*4采样窗口提取得到的一像素,其则置于小尺寸图像中的第一个位置上,从第二个4*4采样窗口提取得到的一像素,其则置于小尺寸图像中的第二个位置上,如此类推。当然,对于采样窗口中的像素采样,其不一定对采样窗口中的第一个位置上的像素点进行采集,其也可以对采样窗口中的其它位置上的像素点进行采集,如第6个位置上的像素点等,这可根据实际情况/需求来进行设置选取,此处并不做过多的限定。可见,通过采用此步骤来实现第一书写板图像的获取,能够极大地减少后续处理的数据量,进一步地提高数据处理效率,令书写板颜色识别的实时性高,而且对于书写板图像而言,其前景对象主要为在书写板上所书写的笔迹,而笔迹之间通常都存有空隙,因此,通过对原始书写板图像进行下采样,能够非常有效地过滤掉原始书写板图像中大部分的笔迹(即前景对象),这样能大大减少笔迹对书写板颜色识别的干扰,进一步地提高书写板颜色识别的准确度。
或者,所述获取第一书写板图像这一步骤S101,其包括:
S1012、采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像。也就是说,在本实施例中,所述第一书写板图像是通过对摄像头拍摄得到的原始书写板图像进行背景图像提取处理后得到的图像。其中,对于所述背景图像提取处理,其具体为,将原始书写板图像中的前景对象除去,从而得到原始书写板图像的背景图。可见,将原始书写板图像的背景图作为第一书写板图像,能够减少前景对象(即书写板上的笔迹)对书写板颜色识别的干扰,进一步地提高书写板颜色识别的准确度。
又或者,所述获取第一书写板图像这一步骤S101,其包括:
S1013、采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理,对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像。也就是说,在本实施例中,所述第一书写板图像是通过对摄像头拍摄得到的原始书写板图像依次进行下采样处理、背景图像提取处理后得到的图像。通过采用此步骤来获取得到所述第一书写板图像,能够进一步提高数据处理效率的同时提高书写板颜色识别的准确度。而相较于上述两个步骤S101的具体优选实施例,本实施例中的步骤S101所包括的具体步骤更优,应优先采用。
在一优选实施例中,所述对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像这一步骤S1012,其包括:
S10121、对所述原始书写板图像进行二值化处理后得到第一二值化图像,利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像,其中,所述第一背景图像为所述第一书写板图像;
或,所述对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像这一步骤S1013,其包括:
S10131、对下采样处理后得到的图像进行二值化处理后得到第二二值化图像,利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像,其中,所述第二背景图像为所述第一书写板图像。
具体地,在本实施例中所述对图像进行背景图像提取处理,其具体实现的步骤为:先对输入的原始图像(原始书写板图像/下采样处理后得到的图像)进行二值化处理后得到二值化图像,所述的二值化处理为,对原始图像中每一个像素点的像素值进行阈值判断,当像素点的像素值处于前景对象的数值范围内时,将该像素点的像素值置为255,反之,则将该像素点的像素值置为0,其中,对于所述前景对象的数值范围,若笔迹为红色时,所述数值范围则为红色对应的像素值范围,若笔迹为黄色时,所述数值范围则为黄色对应的像素值范围,可见,所述前景对象的数值范围可根据实际情况进行选取;然后,按照二值化图像中像素值为0的像素点i,从输入的原始图像中提取出与像素点i位置对应的像素点,从而得到原始图像的背景图。同时,按照二值化图像中像素值为255的像素点j,从输入的原始图像中提取出与像素点j位置对应的像素点,从而得到原始图像的前景图。可见,利用二值化手段来实现背景图像的提取,不仅步骤简单,而且能很好地对笔迹与书写板进行清楚分割,这样利用获取得到的背景图来实现后续的书写板颜色识别流程,能避免笔迹对书写板颜色识别的干扰,进一步地提高识别准确度。
在一优选实施例中,步骤S10121中所述利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像这一步骤,其包括:
利用所述第一二值化图像,从所述原始书写板图像中提取得到第一初始背景图像后,对所述第一初始背景图像的空白处进行插值处理后得到所述第一背景图像;
或,步骤S10131中所述利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像这一步骤,其包括:
利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二初始背景图像后,对所述第二初始背景图像的空白处进行插值处理后得到所述第二背景图像。
具体地,由于利用二值化手段从原始书写板图像/下采样处理后得到的图像提取出的背景图像中会缺失部分颜色值,即存有空白处,所述空白处的像素点通常为白色像素点,因此为了避免空白处(即白色像素点)对书写板颜色识别的不良干扰,会对从原始书写板图像/下采样处理后得到的图像提取出的初始背景图像中的空白处进行插值处理,以获得所需的第一背景图像/第二背景图像。其中,对于所述对空白处进行插值处理,其具体实现步骤包括有:对输入的图像(第一初始背景图像/第二初始背景图像)的每一行像素点进行扫描,当任一行像素点中存有白色像素点时,则求出该行像素点的像素平均值,然后将求出的像素平均值赋值给该白色像素点,以实现背景图像的空洞补全目的,例如,在第i行的N个像素点中,判断出第j个像素点为空白处像素点,此时则求取出N个像素点的像素平均值(即将N个像素点的像素值求和后再除以N),然后将求出的像素平均值赋值给第j个像素点。当然,若属于空白处的像素点不为白色像素点,而为其它颜色的像素点时,则通过阈值的调整便能判断出图像中的像素点是否为空白处的像素点。由此可见,通过采用此步骤来对背景图像进行空洞补全,能够减少空洞对书写板的干扰,进一步提高识别精确度高。
在一优选实施例中,步骤S103中所述对所述至少两个不同的图像块进行颜色识别这一步骤,其包括:
S1031、计算每一个所述图像块的色相均值。
具体地,为了计算出每一个所述图像块的色相均值,先将图像块从RGB颜色空间转换到HSL颜色空间,或者将图像块从RGB颜色空间转换到HSV颜色空间,然后计算出转换空间后得到的图像块H通道的均值,即转换颜色空间后,图像块中的每一个像素点会对应一色相值,因此将图像块中所有像素点所对应的色相值求和后,将得到的总和除以图像块中的像素点总个数后得到的数值便为所需计算出的图像块的色相均值;其中,HSL颜色空间和HSV颜色空间中的H均表示为色相,因此通过上述颜色空间的转换方式,便能得出每一个图像块中像素点所对应的色相值。
S1032、对每一个所述图像块的色相均值进行阈值判断后,根据阈值判断结果来确定出每一个所述图像块的颜色。
具体地,由于不同颜色所对应的色相值或色相值范围不同,因此通过对每一个图像块的色相均值进行阈值判断,便能按照图像块的色相均值所处的数值范围,从而确定出图像块的颜色,例如,在实现黑色书写板和绿色书写板之间的颜色识别过程中,颜色判别阈值H_threshold为120°,那么当图像块的色相均值大于所述颜色判别阈值时,所述图像块的颜色为绿色,反之,当图像块的色相均值小于等于所述颜色判别阈值时,那么所述图像块的颜色则为黑色;若颜色判别阈值H_threshold为120°~180°这一数值范围,那么当图像块的色相均值落入此阈值数值范围内时,所述图像块的颜色为绿色,反之,当图像块的色相均值不落入此阈值数值范围内时,那么所述图像块的颜色则为黑色。当然,若所需识别的颜色类型数量超过2个时,则可将颜色判别阈值设为若干个不同数值范围,当图像块的色相均值落入某一数值范围内时,则判断出所述图像块为对应的颜色。相较于RGB颜色空间的像素值,利用图像块的色相均值来实现图像块的颜色判断,其准确度高,而且可识别出的颜色类型更多。
在一优选实施例中,所述对所述至少两个不同的图像块进行颜色识别后,统计图像块数量这一步骤S103之前还包括有图像块增益补偿步骤,所述图像块增益补偿步骤包括:
将RGB通道增益与所述至少两个不同的图像块的RGB通道像素值进行相乘;
其中,所述RGB通道增益是通过对第一前景图像进行RGB通道增益计算而得出的,所述第一前景图像是利用所述第一二值化图像从所述原始书写板图像中提取得到的前景图像;或,所述RGB通道增益是通过对第二前景图像进行RGB通道增益计算而得出的,所述第二前景图像是利用所述第二二值化图像从所述下采样处理后得到的图像中提取得到的前景图像。为了进一步有效地抗光源光线干扰的问题,本实施例中会对每一个图像块进行增益补偿处理。
具体地,对于上述图像块增益补偿步骤,其具体的实现过程为:利用二值化图像从原始书写板图像/下采样处理后得到的图像中提取出前景图像,所述前景图像的提取实现方式则如上述步骤S10121/S10131的背景图像提取步骤类似,其可具体为,按照二值化图像中像素值为255的像素点j,从输入的原始图像中提取出与像素点j位置对应的像素点,从而得到原始图像的前景图像;然后则计算出前景图像的RGB通道增益,所述前景图像的RGB通道增益分别包括有R通道增益Rgain、G通道增益Ggain、B通道增益Bgain;接着,利用R通道增益Rgain、G通道增益Ggain、B通道增益Bgain分别与图像块的RGB通道像素值进行相乘,具体地,Rgain与R通道像素值相乘,Ggain与G通道像素值相乘,Bgain与B通道像素值相乘,如图7所示,这样相乘处理后得到的图像块则为增益补偿处理后得到的图像块。
在一优选实施例中,所述RGB通道增益包括R通道增益Rgain、G通道增益Ggain和/或B通道增益Bgain;
所述R通道增益Rgain为Ravg与Gavg的比值,即Rgain=Ravg/Gavg;
所述B通道增益Bgain为Bavg与Gavg的比值,即Bgain=Bavg/Gavg;
所述G通道增益Ggain为设定基准值;
其中,所述Ravg为所述第一前景图像的R通道像素平均值,所述Gavg为所述第一前景图像的G通道像素平均值,所述Bavg为所述第一前景图像的B通道像素平均值;或者,所述Ravg为所述第二前景图像的R通道像素平均值,所述Gavg为所述第二前景图像的G通道像素平均值,所述Bavg为所述第二前景图像的B通道像素平均值。
具体地,对于前景图像的通道像素平均值,以R通道像素平均值为例,其具体计算方式为:对前景图像R通道中的所有像素点的像素值进行求和,然后将得到的像素值总和除以R通道中所包含的像素点总个数后所得到的数值,即为R通道像素平均值。对于B和G通道像素平均值,它们的计算方式与R通道像素平均值的计算方式相同。还有在本实施例中,所述设定基准值为1。由此可见,通过采用上述RGB通道增益的计算方式,能够达到实现白平衡的效果,从而可深度适应书写板颜色识别的场景,进一步有效地避免光源光线对书写板造成的偏色问题。
在一优选实施例中,本发明实施例的方法还包括以下步骤:
步骤S105、根据确认出的所述第一书写板图像的颜色,采用对应的图像增强算法来对摄像头拍摄得到的原始书写板图像进行图像增强处理后,对图像增强处理后得到的书写板图像进行书写笔迹识别。由于上述书写板颜色识别流程可快速实时且精准地识别出书写板的颜色,因此利用步骤S104所确认出的书写板颜色来选取出对应的图像增强算法,从而对书写板图像进行图像增强处理,然后利用图像增强处理后的书写板图像来进行笔迹识别,这样能够保证后续的笔迹识别处理方案能有效地进行笔迹识别。
需要强调说明的是,本发明实施例提供的图像处理方法可以由图像处理系统/装置执行,该图像处理系统/装置可以通过软件和/或硬件的方式实现,该图像处理系统/装置可以是两个或多个物理实体构成,也可以是一个物理实体构成。具体地,该图像处理系统/装置可以是电脑、手机、交互智能平板、具有智能处理功能的显示设备(如智能电视、智能显示屏)等。此外,所述图像处理系统/装置可与摄像头集成在同一设备中,也可分别为两个独立的设备,其中,所述图像处理系统/装置与摄像头之间的通讯方式可为有线连接(如串口有线连接、USB接口有线连接等),也可为无线连接(如红外、蓝牙、Zigbee、Wifi等),这些通信连接方式在本实施例中不做过多限定,可根据实际情况/需求来选取。
以下结合具体优选实施例来对本发明实施例的方法做更进一步的详细阐述。
本发明实施例应用于智能书写板场景中,并且对黑色书写板和绿色书写板进行颜色识别,因此如图8所示,本发明实施例所提供的一种图像处理方法,其具体优选步骤如下所示。
S201、采集摄像头拍摄得到的原始书写板图像O,对所述原始书写板图像O进行下采样处理,对下采样处理后得到的图像进行二值化处理后得到二值化图像,利用所述二值化图像,从所述下采样处理后得到的图像中提取得到前景图像F和背景图像B’。
在本实施例中,输入的原始书写板图像O的尺寸为1080*1920,然后对输入的图像O横向和纵向各下采样四倍后,以得到目标270*480大小的小尺寸图像I;对小尺寸图像I执行经验阈值(本实施例中的执行经验阈值来自书写板图像,取值为100)二值分割,即利用分割阈值来对图像O进行阈值判断,将大于100的像素点的像素值置为255(即在本实施例中,前景对象的数值范围为100至255),将小于等于100的像素点的像素值置为0,从而得到二值化图像mask,其中,二值化图像中值为255的区域为书写板上写字或者绘图区域(即笔迹区域),而值为0的区域则为背景书写板区域;接着,通过二值分割得到的mask,新建前景图像F和背景图像B,然后将小尺寸图像I中的颜色(即像素点的像素值)填充至前景图像F和背景图像B对应的位置上,以获取得到小尺寸图像I的前景图像F和背景图像B’。其中,所述下采样处理的具体实现步骤与上述实施例相同。
S202、计算前景图像F的R通道增益、G通道增益和B通道增益,其中,前景图像F的R通道增益的计算公式为Rgain=Ravg/Gavg,前景图像F的G通道增益Ggain设为1,即Ggain=1,前景图像F的B通道增益的计算公式为Bgain=Bavg/Gavg;Ravg表示为前景图像F的R通道像素平均值,Gavg表示为前景图像F的G通道像素平均值,Bavg表示为前景图像F的B通道像素平均值。
S203、对背景图像B’的空白处(即缺失颜色值的区域)进行插值处理后得到背景图像B,以实现背景图像的空洞补全。其中,所述对空白处进行插值处理的具体实现步骤与上述实施例相同。
S204、从背景图像B中提取得到至少两个不同的图像块,以及将RGB通道增益与所述至少两个不同的图像块的RGB通道像素值进行相乘,即将前景图像F的R通道增益、G通道增益和B通道增益分别与图像块的R、G、B通道进行相乘,以实现图像块的颜色增益补偿。
具体地,本实施例中图像块的提取位置为九宫格,即以九宫格的阵列形式来提取9个尺寸均为64*64的矩形图像块,如图9所示,并且为了令九宫格的提取位置均匀平均地处于背景图像B的中部,所述提取位置的计算方式为:处于同一行的3个图像块之间的间隔d1=(W1-3*W2)/4,处于同一列的3个图像块之间的间隔d2=(H1-3*H2)/4;其中,W1为背景图像B的宽度(列数),W2为图像块的宽度(列数),H1为背景图像B的高度(行数),H2为图像块的高度(行数),并且,d1还为第一列图像块与背景图像B的左边界之间的间隔距离,以及第三列图像块与背景图像B的右边界之间的间隔距离,同理,d2(在图中并未示出)还为第一行图像块与背景图像B的上边界之间的间隔距离,以及第三行图像块与背景图像B的下边界之间的间隔距离。因此,当图像块的尺寸为64*64,且背景图像B的尺寸为270*480(480为宽度,270为高度)时,计算出的d1为72,d2为19.5(此时需对19.5进行取整,并在保持九宫格的阵列形状基础上,对同一列中的图像块之间的间隔做些微调)。此外,若矩阵阵列中,图像块的行数/列数发生改变后(如行数由3改为4,列数由3改为5),d1和d2的计算方式可不变,将上述d1公式中的个数3改为5,d2公式中的个数3改为4便可。
然后,采用步骤S202中计算得到的RGB通道增益来分别对9个图像块进行颜色增益补偿处理,以适应不同的光照环境下书写板的偏色情况。
S205、计算每一个所述图像块的色相均值。
具体地,将提取出的9个图像块从RGB颜色空间转换到HSL颜色空间,然后计算出图像块的H(色相)通道的均值Havg[i];其中,Havg[i]表示为第i个图像块的色相均值,i=0、1、…、8。
S206、对每一个所述图像块的色相均值进行阈值判断后,根据阈值判断结果来确定出每一个所述图像块的颜色。
具体地,令颜色判别阈值为H_threshold,若Havg[i]>H_threshold时,则表示第i个图像块的颜色为绿色,令result_green_score加一分,若Havg[i]<=H_threshold,则表示第i个图像块的颜色为黑色,令result_black_score加一分。
S207、确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
具体地,若最终相同颜色的图像块数量的结果为:result_green_score>result_black_score,此时,则确定书写板的最终识别结果为绿色;若最终相同颜色的图像块数量的结果为:result_green_score<result_black_score,此时,则确定书写板的最终识别结果为黑色。
如图10所示,本发明实施例还提供了一种图像处理系统,包括:
获取模块301,用于获取第一书写板图像;
提取模块302,用于从所述第一书写板图像中提取得到至少两个不同的图像块;
统计模块303,用于对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;其中,所述图像块数量为具有相同颜色的图像块数量;
确定模块304,用于确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
在一优选实施例中,所述图像块的个数为奇数。
在一优选实施例中,所述至少两个不同的图像块的提取位置在所述第一书写板图像的中部和/或呈矩形阵列分布。
在一优选实施例中,所述获取模块301具体包括:
第一获取子模块,用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理后得到所述第一书写板图像;
或,第二获取子模块,用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像;
或,第三获取子模块,用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理,对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像。
在一优选实施例中,所述第二获取子模块具体用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行二值化处理后得到第一二值化图像,利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像,其中,所述第一背景图像为所述第一书写板图像;
或,所述第三获取子模块具体用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理,对下采样处理后得到的图像进行二值化处理后得到第二二值化图像,利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像,其中,所述第二背景图像为所述第一书写板图像。
在一优选实施例中,所述第二获取子模块进一步具体用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行二值化处理后得到第一二值化图像,利用所述第一二值化图像,从所述原始书写板图像中提取得到第一初始背景图像后,对所述第一初始背景图像的空白处进行插值处理后得到所述第一背景图像;
或,所述第三获取子模块进一步具体用于采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理,对下采样处理后得到的图像进行二值化处理后得到第二二值化图像,利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二初始背景图像后,对所述第二初始背景图像的空白处进行插值处理后得到所述第二背景图像。
在一优选实施例中,所述统计模块303具体包括:
计算子模块,用于计算每一个所述图像块的色相均值;
判断子模块,用于对每一个所述图像块的色相均值进行阈值判断后,根据阈值判断结果来确定出每一个所述图像块的颜色。
在一优选实施例中,所述统计模块303之前还包括有:
增益模块,用于将RGB通道增益与所述至少两个不同的图像块的RGB通道像素值进行相乘;
其中,所述RGB通道增益是通过对第一前景图像进行RGB通道增益计算而得出的,所述第一前景图像是利用所述第一二值化图像从所述原始书写板图像中提取得到的前景图像;或,所述RGB通道增益是通过对第二前景图像进行RGB通道增益计算而得出的,所述第二前景图像是利用所述第二二值化图像从所述下采样处理后得到的图像中提取得到的前景图像。
在一优选实施例中,所述RGB通道增益包括R通道增益、G通道增益和/或B通道增益;
所述R通道增益为Ravg与Gavg的比值;
所述B通道增益为Bavg与Gavg的比值;
所述G通道增益为设定基准值;
其中,所述Ravg为所述第一前景图像的R通道像素平均值,所述Gavg为所述第一前景图像的G通道像素平均值,所述Bavg为所述第一前景图像的B通道像素平均值;或者,所述Ravg为所述第二前景图像的R通道像素平均值,所述Gavg为所述第二前景图像的G通道像素平均值,所述Bavg为所述第二前景图像的B通道像素平均值。
在一优选实施例中,本发明实施例还包括:
笔迹识别模块,用于根据确认出的所述第一书写板图像的颜色,采用对应的图像增强算法来对摄像头拍摄得到的原始书写板图像进行图像增强处理后,对图像增强处理后得到的书写板图像进行书写笔迹识别。
对于上述的各个模块,其可通过软件和/或硬件方式来实现,这根据实际情况/需求进行设置便可。并且上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
如图11所示,本发明实施例还提供了一种终端,包括:
至少一个处理器401;
至少一个存储器402,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器401执行,使得所述至少一个处理器401实现所述的图像处理方法。
对于上述终端,其可以是电脑、手机、交互智能平板、具有智能处理功能的显示设备(如智能电视、智能显示屏)等设备。而对于所述存储器402,其可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。此外,所述处理器401和存储器402之间可通过总线连接,并且所述处理器401和存储器402可集成在同一电路板中或者独立设置在不同电路板中,所述处理器401和存储器402之间的连接可为固定不可拆卸连接,也可为可拆线连接,这些方式在本实施例中不做过多限定,可根据实际情况/需求来选取。
上述方法实施例中的内容均适用于本终端实施例中,本终端实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外,本发明实施例还提供了一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行所述一种图像处理方法。对于所述存储介质,其可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
上述方法实施例中的内容均适用于本存储介质实施例中,本存储介质实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
如图12所示,本发明实施例还提供一种书写板装置,包括书写板、摄像头501及与摄像头501连接的终端设备502;
所述摄像头501用于对书写板进行拍摄;
所述终端设备502包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现所述一种图像处理方法。
对于上述终端设备502,其通过软硬件结合的方式实现,其可以是电脑、手机、交互智能平板、具有智能处理功能的显示设备(如智能电视、智能显示屏)等。而对于所述存储器,其可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。另,所述处理器和存储器之间可通过总线连接,并且所述处理器和存储器可集成在同一电路板中或者独立设置在不同电路板中,所述处理器和存储器之间的连接可为固定不可拆卸连接,也可为可拆线连接,这些方式在本实施例中不做过多限定,可根据实际情况/需求来选取。还有,所述终端设备502与摄像头501之间的通讯方式可为有线连接(如串口有线连接、USB接口有线连接等),也可为无线连接(如红外、蓝牙、Zigbee、Wifi等),这些通信连接方式在本实施例中不做过多限定,可根据实际情况/需求来选取。
在一优选实施例中,所述摄像头501直接设置在书写板上,这样在使用时直接安装书写板便可,操作使用方便。
上述方法实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (14)
1.一种图像处理方法,其特征在于,包括以下步骤:
获取第一书写板图像;
从所述第一书写板图像中提取得到至少两个不同的图像块;
对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;其中,所述图像块数量为具有相同颜色的图像块数量;
确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
2.根据权利要求1所述一种图像处理方法,其特征在于,所述图像块的个数为奇数。
3.根据权利要求1所述一种图像处理方法,其特征在于,所述至少两个不同的图像块的提取位置在所述第一书写板图像的中部和/或呈矩形阵列分布。
4.根据权利要求1-3任一项所述一种图像处理方法,其特征在于,所述获取第一书写板图像这一步骤,其包括:
采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理后得到所述第一书写板图像;
或,采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像;
或,采集摄像头拍摄得到的原始书写板图像,对所述原始书写板图像进行下采样处理,对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像。
5.根据权利要求4所述一种图像处理方法,其特征在于,所述对所述原始书写板图像进行背景图像提取处理后得到所述第一书写板图像这一步骤,其包括:
对所述原始书写板图像进行二值化处理后得到第一二值化图像,利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像,其中,所述第一背景图像为所述第一书写板图像;
或,所述对下采样处理后得到的图像进行背景图像提取处理后得到所述第一书写板图像这一步骤,其包括:
对下采样处理后得到的图像进行二值化处理后得到第二二值化图像,利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像,其中,所述第二背景图像为所述第一书写板图像。
6.根据权利要求5所述一种图像处理方法,其特征在于,所述利用所述第一二值化图像,从所述原始书写板图像中提取得到第一背景图像这一步骤,其包括:
利用所述第一二值化图像,从所述原始书写板图像中提取得到第一初始背景图像后,对所述第一初始背景图像的空白处进行插值处理后得到所述第一背景图像;
或,所述利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二背景图像这一步骤,其包括:
利用所述第二二值化图像,从所述下采样处理后得到的图像中提取得到第二初始背景图像后,对所述第二初始背景图像的空白处进行插值处理后得到所述第二背景图像。
7.根据权利要求1-3任一项所述一种图像处理方法,其特征在于,所述对所述至少两个不同的图像块进行颜色识别这一步骤,其包括:
计算每一个所述图像块的色相均值;
对每一个所述图像块的色相均值进行阈值判断后,根据阈值判断结果来确定出每一个所述图像块的颜色。
8.根据权利要求5所述一种图像处理方法,其特征在于,所述对所述至少两个不同的图像块进行颜色识别后,统计图像块数量这一步骤之前还包括有图像块增益补偿步骤,所述图像块增益补偿步骤包括:
将RGB通道增益与所述至少两个不同的图像块的RGB通道像素值进行相乘;
其中,所述RGB通道增益是通过对第一前景图像进行RGB通道增益计算而得出的,所述第一前景图像是利用所述第一二值化图像从所述原始书写板图像中提取得到的前景图像;或,所述RGB通道增益是通过对第二前景图像进行RGB通道增益计算而得出的,所述第二前景图像是利用所述第二二值化图像从所述下采样处理后得到的图像中提取得到的前景图像。
9.根据权利要求8所述一种图像处理方法,其特征在于,所述RGB通道增益包括R通道增益、G通道增益和/或B通道增益;
所述R通道增益为Ravg与Gavg的比值;
所述B通道增益为Bavg与Gavg的比值;
所述G通道增益为设定基准值;
其中,所述Ravg为所述第一前景图像的R通道像素平均值,所述Gavg为所述第一前景图像的G通道像素平均值,所述Bavg为所述第一前景图像的B通道像素平均值;
或者,所述Ravg为所述第二前景图像的R通道像素平均值,所述Gavg为所述第二前景图像的G通道像素平均值,所述Bavg为所述第二前景图像的B通道像素平均值。
10.根据权利要求1-3任一项所述一种图像处理方法,其特征在于,还包括以下步骤:
根据确认出的所述第一书写板图像的颜色,采用对应的图像增强算法来对摄像头拍摄得到的原始书写板图像进行图像增强处理后,对图像增强处理后得到的书写板图像进行书写笔迹识别。
11.一种图像处理系统,其特征在于,包括:
获取模块,用于获取第一书写板图像;
提取模块,用于从所述第一书写板图像中提取得到至少两个不同的图像块;
统计模块,用于对所述至少两个不同的图像块进行颜色识别后,统计图像块数量;
其中,所述图像块数量为具有相同颜色的图像块数量;
确定模块,用于确定出最大图像块数量后,将所述最大图像块数量对应的颜色确定为所述第一书写板图像的颜色。
12.一种终端,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-10任一项所述一种图像处理方法。
13.一种存储介质,其中存储有处理器可执行的指令,其特征在于,所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-10任一项所述一种图像处理方法。
14.一种书写板装置,其特征在于,包括书写板、摄像头及与摄像头连接的终端设备;
所述摄像头用于对书写板进行拍摄;
所述终端设备包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-10任一项所述一种图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811368212.XA CN109636862B (zh) | 2018-11-16 | 2018-11-16 | 图像处理方法、系统、终端、存储介质及书写板装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811368212.XA CN109636862B (zh) | 2018-11-16 | 2018-11-16 | 图像处理方法、系统、终端、存储介质及书写板装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109636862A true CN109636862A (zh) | 2019-04-16 |
CN109636862B CN109636862B (zh) | 2021-06-25 |
Family
ID=66068328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811368212.XA Active CN109636862B (zh) | 2018-11-16 | 2018-11-16 | 图像处理方法、系统、终端、存储介质及书写板装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109636862B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569774A (zh) * | 2019-08-30 | 2019-12-13 | 武汉大学 | 基于图像处理与模式识别的折线图图像自动数字化方法 |
CN111199230A (zh) * | 2020-01-03 | 2020-05-26 | 腾讯科技(深圳)有限公司 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
CN112233127A (zh) * | 2020-10-15 | 2021-01-15 | 上海圭目机器人有限公司 | 一种用于弯道拼接图像的下采样方法 |
CN114274657A (zh) * | 2021-12-22 | 2022-04-05 | 深圳市先地图像科技有限公司 | 一种激光直接制版控制方法、系统及相关设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050226496A1 (en) * | 2002-05-03 | 2005-10-13 | University Of East Anglia | Image representation method and apparatus |
CN101018290A (zh) * | 2007-02-16 | 2007-08-15 | 北京中星微电子有限公司 | 一种图像处理方法和装置 |
CN101631189A (zh) * | 2008-07-15 | 2010-01-20 | 鸿富锦精密工业(深圳)有限公司 | 图像合成系统及方法 |
CN101998063A (zh) * | 2009-08-20 | 2011-03-30 | 财团法人工业技术研究院 | 前景图像分离方法 |
CN102024264A (zh) * | 2010-10-13 | 2011-04-20 | 广东威创视讯科技股份有限公司 | 一种基于直方图统计的触摸笔颜色识别方法 |
CN102096822A (zh) * | 2010-12-24 | 2011-06-15 | 华为终端有限公司 | 颜色识别方法和装置 |
CN106548181A (zh) * | 2016-10-31 | 2017-03-29 | 黄建文 | 一种图像识别方法及系统 |
CN107481227A (zh) * | 2017-07-27 | 2017-12-15 | 广州视源电子科技股份有限公司 | 教学板书图像处理方法、装置、智能教学设备及存储介质 |
US9858694B1 (en) * | 2017-01-16 | 2018-01-02 | Xerox Corporation | Methods and systems for adaptive stroke thickening of graphics objects |
CN107728417A (zh) * | 2017-11-10 | 2018-02-23 | 范永浩 | 液晶投影屏幕 |
-
2018
- 2018-11-16 CN CN201811368212.XA patent/CN109636862B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050226496A1 (en) * | 2002-05-03 | 2005-10-13 | University Of East Anglia | Image representation method and apparatus |
CN101018290A (zh) * | 2007-02-16 | 2007-08-15 | 北京中星微电子有限公司 | 一种图像处理方法和装置 |
CN101631189A (zh) * | 2008-07-15 | 2010-01-20 | 鸿富锦精密工业(深圳)有限公司 | 图像合成系统及方法 |
CN101998063A (zh) * | 2009-08-20 | 2011-03-30 | 财团法人工业技术研究院 | 前景图像分离方法 |
CN102024264A (zh) * | 2010-10-13 | 2011-04-20 | 广东威创视讯科技股份有限公司 | 一种基于直方图统计的触摸笔颜色识别方法 |
CN102096822A (zh) * | 2010-12-24 | 2011-06-15 | 华为终端有限公司 | 颜色识别方法和装置 |
CN106548181A (zh) * | 2016-10-31 | 2017-03-29 | 黄建文 | 一种图像识别方法及系统 |
US9858694B1 (en) * | 2017-01-16 | 2018-01-02 | Xerox Corporation | Methods and systems for adaptive stroke thickening of graphics objects |
CN107481227A (zh) * | 2017-07-27 | 2017-12-15 | 广州视源电子科技股份有限公司 | 教学板书图像处理方法、装置、智能教学设备及存储介质 |
CN107728417A (zh) * | 2017-11-10 | 2018-02-23 | 范永浩 | 液晶投影屏幕 |
Non-Patent Citations (3)
Title |
---|
KYI PYAR ZAW等: "Character Extraction and Recognition For Myanmar Script Signboard Images using Block based Pixel Count and Chain Codes", 《2018 IEEE/ACIS 17TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE (ICIS)》 * |
朱超: "基于图像统计特征的视频源分类及检测", 《中国优秀硕士学位论文全文数据库_信息科技辑》 * |
肖进胜等: "基于不同色彩空间融合的快速图像增强算法", 《自动化学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569774A (zh) * | 2019-08-30 | 2019-12-13 | 武汉大学 | 基于图像处理与模式识别的折线图图像自动数字化方法 |
CN110569774B (zh) * | 2019-08-30 | 2022-07-05 | 武汉大学 | 基于图像处理与模式识别的折线图图像自动数字化方法 |
CN111199230A (zh) * | 2020-01-03 | 2020-05-26 | 腾讯科技(深圳)有限公司 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
CN111199230B (zh) * | 2020-01-03 | 2023-07-07 | 腾讯科技(深圳)有限公司 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
CN112233127A (zh) * | 2020-10-15 | 2021-01-15 | 上海圭目机器人有限公司 | 一种用于弯道拼接图像的下采样方法 |
CN114274657A (zh) * | 2021-12-22 | 2022-04-05 | 深圳市先地图像科技有限公司 | 一种激光直接制版控制方法、系统及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109636862B (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109636862A (zh) | 图像处理方法、系统、终端、存储介质及书写板装置 | |
CN106156761B (zh) | 面向移动终端拍摄的图像表格检测与识别方法 | |
KR20200078314A (ko) | 시맨틱 분할에 의해 지배적 장면 분류를 제공하는 시스템 및 방법 | |
CN109977723B (zh) | 大票据图片文字识别方法 | |
CN109766898A (zh) | 图像文字识别方法、装置、计算机设备及存储介质 | |
CN108681994A (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
CN109741318A (zh) | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 | |
US20130114894A1 (en) | Blending of Exposure-Bracketed Images Using Weight Distribution Functions | |
KR20200014842A (ko) | 이미지 조명 방법, 장치, 전자 기기 및 저장 매체 | |
CN102693532A (zh) | 图像阴影和高光的自动局部调整 | |
CN106384117B (zh) | 一种车辆颜色识别方法及装置 | |
US20150310305A1 (en) | Learning painting styles for painterly rendering | |
CN103177445B (zh) | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 | |
CN103985098A (zh) | 一种证件图像的高光去除方法及系统 | |
CN108961302A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN110969129A (zh) | 一种端到端税务票据文本检测与识别方法 | |
CN101615244A (zh) | 手写板坯号自动识别方法及识别装置 | |
WO2021114184A1 (zh) | 神经网络模型的训练方法、图像处理方法及其装置 | |
CN110400278A (zh) | 一种图像颜色和几何畸变的全自动校正方法、装置及设备 | |
CN112163508A (zh) | 一种基于真实场景的文字识别方法、系统及ocr终端 | |
WO2021057395A1 (zh) | 一种鞋跟型号识别方法、装置及存储介质 | |
CN107122775A (zh) | 一种基于特征匹配的安卓手机身份证字符识别方法 | |
CN105701809A (zh) | 一种基于线阵相机扫描的平场校正方法 | |
CN110084327A (zh) | 基于视角自适应深度网络的票据手写数字识别方法及系统 | |
CN111161281A (zh) | 一种人脸区域识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |