CN105844260A - 一种多功能智能清洁机器人装置 - Google Patents
一种多功能智能清洁机器人装置 Download PDFInfo
- Publication number
- CN105844260A CN105844260A CN201610231102.3A CN201610231102A CN105844260A CN 105844260 A CN105844260 A CN 105844260A CN 201610231102 A CN201610231102 A CN 201610231102A CN 105844260 A CN105844260 A CN 105844260A
- Authority
- CN
- China
- Prior art keywords
- image
- points
- module
- sub
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000009795 derivation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000002203 pretreatment Methods 0.000 abstract 1
- 238000010191 image analysis Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多功能智能清洁机器人装置,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括图像预处理模块、图像极值点检测模块、图像特征点定位模块、主方向确定模块、和特征提取模块和场景判定模块,其中所述图像特征点定位模块通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,所述主方向确定模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,并将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段后将多条线段中的最优线段的方向作为特征点的主方向。本发明具有场景识别精度高、速度快的优点。
Description
技术领域
本发明涉及机器人领域,具体涉及一种多功能智能清洁机器人装置。
背景技术
场景的判定对于任何机器发挥其最大功效起着重要作用,如果清洁机器人装置能够判定自身所处场景而选取对应的模式进行卫生清洁,效率将会大大提高。但是,目前的清洁机器人装置并不具备场景判定功能。此外,为了对大规模的图像数据进行处理,需要提高分析处理效率和精度。
发明内容
针对上述问题,本发明提供一种多功能智能清洁机器人装置。
本发明的目的采用以下技术方案来实现:
提供了一种多功能智能清洁机器人装置,能够对场景进行识别,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I′(x,y)+(G(y,kσ)-G(y,σ))*I′(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I′(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I″(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定;
优选地,所述多功能智能清洁机器人装置,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lυ为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
进一步地,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
本发明的有益效果为:
1、设置的图像预处理模块考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系,能够更为准确的描述图像;
2、提出了高斯差分尺度空间的简化计算公式,减少了运算量,提高了运算速度,进而提高了图像分析的速度;
3、设置的图像特征点定位模块对极值点进行低对比度点和不稳定边缘点的去除,保证特征点的有效性,其中对图像的灰度值进行增强,能够大大增加图像的稳定性,更为精确的对低对比度点进行去除,进而提高图像分析的准确度;
4、设置主方向确定模块,提出了最优线段的判定公式,以特征点梯度方向直方图中的任意相邻两个峰值连线形成的线段中的最优线段的方向作为特征点的主方向,线段相对于点更加稳定,使得图像对应的特征点的描述符具有可重复性,提高了特征描述符的准确性,进而能够更加快速、准确的对图像进行识别检测,具有很高的鲁棒性。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明各模块的连接示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1
参见图1,本实施例多功能智能清洁机器人装置,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I′(x,y)+(G(y,kσ)-G(y,σ))*I′(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I′(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I″(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定;
优选地,所述多功能智能清洁机器人装置,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lυ为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
进一步地,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
本实施例设置的图像预处理模块考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系,能够更为准确的描述图像;提出了高斯差分尺度空间的简化计算公式,减少了运算量,提高了运算速度,进而提高了图像分析的速度;设置的图像特征点定位模块对极值点进行低对比度点和不稳定边缘点的去除,保证特征点的有效性,其中对图像的灰度值进行增强,能够大大增加图像的稳定性,更为精确的对低对比度点进行去除,进而提高图像分析的准确度;设置主方向确定模块,提出了最优线段的判定公式,以特征点梯度方向直方图中的任意相邻两个峰值连线形成的线段中的最优线段的方向作为特征点的主方向,线段相对于点更加稳定,使得图像对应的特征点的描述符具有可重复性,提高了特征描述符的准确性,进而能够更加快速、准确的对图像进行识别检测,具有很高的鲁棒性;本实施例取阈值T1=0.01,T2=10,T3=0.1,场景识别的精度提高了2%,速度提高了1%。
实施例2
参见图1,本实施例多功能智能清洁机器人装置,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I′(x,y)+(G(y,kσ)-G(y,σ))*I′(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I′(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I″(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定;
优选地,所述多功能智能清洁机器人装置,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lυ为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
进一步地,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
本实施例设置的图像预处理模块考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系,能够更为准确的描述图像;提出了高斯差分尺度空间的简化计算公式,减少了运算量,提高了运算速度,进而提高了图像分析的速度;设置的图像特征点定位模块对极值点进行低对比度点和不稳定边缘点的去除,保证特征点的有效性,其中对图像的灰度值进行增强,能够大大增加图像的稳定性,更为精确的对低对比度点进行去除,进而提高图像分析的准确度;设置主方向确定模块,提出了最优线段的判定公式,以特征点梯度方向直方图中的任意相邻两个峰值连线形成的线段中的最优线段的方向作为特征点的主方向,线段相对于点更加稳定,使得图像对应的特征点的描述符具有可重复性,提高了特征描述符的准确性,进而能够更加快速、准确的对图像进行识别检测,具有很高的鲁棒性;本实施例取阈值T1=0.02,T2=11,T3=0.08,场景识别的精度提高了1%,速度提高了1.5%。
实施例3
参见图1,本实施例多功能智能清洁机器人装置,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I′(x,y)+(G(y,kσ)-G(y,σ))*I′(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I′(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I″(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定;
优选地,所述多功能智能清洁机器人装置,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lυ为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
进一步地,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
本实施例设置的图像预处理模块考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系,能够更为准确的描述图像;提出了高斯差分尺度空间的简化计算公式,减少了运算量,提高了运算速度,进而提高了图像分析的速度;设置的图像特征点定位模块对极值点进行低对比度点和不稳定边缘点的去除,保证特征点的有效性,其中对图像的灰度值进行增强,能够大大增加图像的稳定性,更为精确的对低对比度点进行去除,进而提高图像分析的准确度;设置主方向确定模块,提出了最优线段的判定公式,以特征点梯度方向直方图中的任意相邻两个峰值连线形成的线段中的最优线段的方向作为特征点的主方向,线段相对于点更加稳定,使得图像对应的特征点的描述符具有可重复性,提高了特征描述符的准确性,进而能够更加快速、准确的对图像进行识别检测,具有很高的鲁棒性;本实施例取阈值T1=0.03,T2=12,T3=0.06,场景识别的精度提高了2.5%,速度提高了3%。
实施例4
参见图1,本实施例多功能智能清洁机器人装置,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I′(x,y)+(G(y,kσ)-G(y,σ))*I′(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I′(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I″(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定;
优选地,所述多功能智能清洁机器人装置,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lυ为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
进一步地,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
本实施例设置的图像预处理模块考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系,能够更为准确的描述图像;提出了高斯差分尺度空间的简化计算公式,减少了运算量,提高了运算速度,进而提高了图像分析的速度;设置的图像特征点定位模块对极值点进行低对比度点和不稳定边缘点的去除,保证特征点的有效性,其中对图像的灰度值进行增强,能够大大增加图像的稳定性,更为精确的对低对比度点进行去除,进而提高图像分析的准确度;设置主方向确定模块,提出了最优线段的判定公式,以特征点梯度方向直方图中的任意相邻两个峰值连线形成的线段中的最优线段的方向作为特征点的主方向,线段相对于点更加稳定,使得图像对应的特征点的描述符具有可重复性,提高了特征描述符的准确性,进而能够更加快速、准确的对图像进行识别检测,具有很高的鲁棒性;本实施例取阈值T1=0.04,T2=13,T3=0.04,场景识别的精度提高了1.5%,速度提高了2%。
实施例5
参见图1,本实施例多功能智能清洁机器人装置,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I′(x,y)+(G(y,kσ)-G(y,σ))*I′(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I′(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I″(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定;
优选地,所述多功能智能清洁机器人装置,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lυ为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
进一步地,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
本实施例设置的图像预处理模块考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系,能够更为准确的描述图像;提出了高斯差分尺度空间的简化计算公式,减少了运算量,提高了运算速度,进而提高了图像分析的速度;设置的图像特征点定位模块对极值点进行低对比度点和不稳定边缘点的去除,保证特征点的有效性,其中对图像的灰度值进行增强,能够大大增加图像的稳定性,更为精确的对低对比度点进行去除,进而提高图像分析的准确度;设置主方向确定模块,提出了最优线段的判定公式,以特征点梯度方向直方图中的任意相邻两个峰值连线形成的线段中的最优线段的方向作为特征点的主方向,线段相对于点更加稳定,使得图像对应的特征点的描述符具有可重复性,提高了特征描述符的准确性,进而能够更加快速、准确的对图像进行识别检测,具有很高的鲁棒性;本实施例取阈值T1=0.05,T2=14,T3=0.02,场景识别的精度提高了1.8%,速度提高了1.5%。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (3)
1.一种多功能智能清洁机器人装置,能够对周围场景进行识别,其特征是,包括清洁机器人装置和安装在清洁机器人装置上的场景识别装置,场景识别装置包括:
(1)图像预处理模块,其包括用于将彩色图像转化为灰度图像的图像转换子模块和用于对所述灰度图像进行滤波的图像滤波子模块,所述图像转换子模块的图像灰度转换公式为:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素点(x,y)处的红绿蓝强度值,I(x,y)代表像素点(x,y)处的灰度值;
(2)图像极值点检测模块,其通过由高斯差分算子与图像进行卷积建立成的图像的高斯差分尺度空间来检测各极值点的位置,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆大时,所述采样点为极大值点,当采样点相对于与它同尺度的8个相邻点和上下相邻尺度对应的18个点的值皆小时,所述采样点为极小值点,所述高斯差分尺度空间的简化计算公式为:
D(x,y,σ)=(G(x,kσ)-G(x,σ))*I'(x,y)+(G(y,kσ)-G(y,σ))*I'(x,y)
此处
其中,D(x,y,σ)表示高斯差分尺度空间函数,I'(x,y)为由图像转化子模块输出的图像函数,*表示卷积运算,σ表示尺度空间因子,G(x,σ)、G(y,σ)为定义的尺度可变的高斯函数,k为不变倍增因子;
(3)图像特征点定位模块,其通过剔除所述各极值点中对噪声敏感的低对比度点以及不稳定的边缘点来确定作为特征点的极值点,包括依次连接的用于极值点精确定位的第一定位子模块、用于去除低对比度点的第二定位子模块和用于去除不稳定边缘点的第三定位子模块,其中:
a、所述第一定位子模块通过对所述高斯差分尺度空间函数进行二次泰勒展开并求导得到极值点的精确位置,极值点的尺度空间函数为:
其中,表示极值点的尺度空间函数,D(x,y,σ)T为相对于极值点的偏移量,表示极值点的精确位置;
b、所述第二定位子模块对由图像转换子模快输出的图像依次进行灰度增强、归一化处理后剔除所述低对比度点,增强后的灰度值为:
此处
所述低对比度点的判定公式为:
其中,I”(x,y)表示灰度值增强后的图像函数,为包含局部信息的校正系数,M为像素的最大灰度值,所述最大灰度值M=255,mH为图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,ψ(x,y)为由图像滤波子模块处理后的图像,T1为设定的阈值;
c、所述第三定位子模块通过计算极值点的位置尺度为2×2的Hessian矩阵H得到该极值点的主曲率,并通过剔除主曲率比值大于设定的阈值T2的极值点来剔除所述不稳定边缘点,其中阈值T2的取值范围为[10,15],所述主曲率比值通过比较矩阵H的特征值之间的比值来确定。
2.根据权利要求1所述的一种多功能智能清洁机器人装置,其特征是,场景识别装置还包括:
(1)主方向确定模块,包括依次连接的连线子模块、合并子模块和处理子模块,所述连线在模块用于将关于所述特征点的梯度方向直方图中的任意相邻两个峰值连线以形成多个子线段,所述合并子模块用于将具有相近斜率且相邻的子线段在长度方向上进行合并形成一条线段,所述处理子模块用于将多条线段中的最优线段的方向作为特征点的主方向,所述最优线段的判定公式为:
其中,LY表示最优线段,为平均梯度值为的线段,为所述多条线段中第n条线段的平均梯度值,gk为所述第n条线段中的第k条子线段,Lv为所述多条线段中线段长度大于平均线段长度的线段集合;
(2)特征提取模块,其根据所述主方向来旋转特征点的邻域,并根据旋转后的邻域对所述特征点进行描述,从而生成所述特征点的描述符;
(3)场景判定模块,采用提取的特征与数据库中的场景特征进行对比,完成场景判定。
3.根据权利要求1所述的一种多功能智能清洁机器人装置,其特征是,所述具有相近斜率的子线段为斜率差小于预设阈值T3的子线段,所述阈值T3的取值范围为(0,0.1]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610231102.3A CN105844260A (zh) | 2016-04-14 | 2016-04-14 | 一种多功能智能清洁机器人装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610231102.3A CN105844260A (zh) | 2016-04-14 | 2016-04-14 | 一种多功能智能清洁机器人装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105844260A true CN105844260A (zh) | 2016-08-10 |
Family
ID=56597565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610231102.3A Pending CN105844260A (zh) | 2016-04-14 | 2016-04-14 | 一种多功能智能清洁机器人装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105844260A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021884A (zh) * | 2017-12-04 | 2018-05-11 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
CN109549569A (zh) * | 2018-12-28 | 2019-04-02 | 珠海凯浩电子有限公司 | 一种根据地磁强弱方向清扫的扫地机器人 |
WO2019109228A1 (zh) * | 2017-12-04 | 2019-06-13 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101383899A (zh) * | 2008-09-28 | 2009-03-11 | 北京航空航天大学 | 一种空基平台悬停视频稳像方法 |
CN101470896A (zh) * | 2007-12-24 | 2009-07-01 | 南京理工大学 | 基于视频分析的机动目标飞行模式预测方法 |
CN103065135A (zh) * | 2013-01-25 | 2013-04-24 | 上海理工大学 | 基于数字图像处理的车牌号码匹配算法 |
CN103077512A (zh) * | 2012-10-18 | 2013-05-01 | 北京工业大学 | 基于主成分析的数字图像的特征提取与匹配方法及装置 |
CN104978709A (zh) * | 2015-06-24 | 2015-10-14 | 北京邮电大学 | 描述符生成方法及装置 |
-
2016
- 2016-04-14 CN CN201610231102.3A patent/CN105844260A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101470896A (zh) * | 2007-12-24 | 2009-07-01 | 南京理工大学 | 基于视频分析的机动目标飞行模式预测方法 |
CN101383899A (zh) * | 2008-09-28 | 2009-03-11 | 北京航空航天大学 | 一种空基平台悬停视频稳像方法 |
CN103077512A (zh) * | 2012-10-18 | 2013-05-01 | 北京工业大学 | 基于主成分析的数字图像的特征提取与匹配方法及装置 |
CN103065135A (zh) * | 2013-01-25 | 2013-04-24 | 上海理工大学 | 基于数字图像处理的车牌号码匹配算法 |
CN104978709A (zh) * | 2015-06-24 | 2015-10-14 | 北京邮电大学 | 描述符生成方法及装置 |
Non-Patent Citations (2)
Title |
---|
吴京辉: "视频监控目标的跟踪与识别研究", 《中国博士学位论文全文数据库 信息科技辑(月刊)》 * |
张建兴: "基于注意力的目标识别算法及在移动机器人的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021884A (zh) * | 2017-12-04 | 2018-05-11 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
WO2019109228A1 (zh) * | 2017-12-04 | 2019-06-13 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
CN108021884B (zh) * | 2017-12-04 | 2020-04-21 | 深圳市无限动力发展有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
CN109549569A (zh) * | 2018-12-28 | 2019-04-02 | 珠海凯浩电子有限公司 | 一种根据地磁强弱方向清扫的扫地机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220292645A1 (en) | Method for restoring video data of drainage pipe based on computer vision | |
US10592754B2 (en) | Shadow removing method for color image and application | |
CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
CN103020965B (zh) | 一种基于显著性检测的前景分割方法 | |
US20160154469A1 (en) | Mid-air gesture input method and apparatus | |
CN105844337A (zh) | 一种智能垃圾分类装置 | |
CN106682665B (zh) | 一种基于计算机视觉的七段式数显仪表数字识别方法 | |
CN106651872A (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
CN103824091B (zh) | 一种用于智能交通系统的车牌识别方法 | |
CN105405138B (zh) | 基于显著性检测的水面目标跟踪方法 | |
KR100887183B1 (ko) | 얼굴인식 전처리장치 및 방법과 이를 이용한얼굴인식시스템 | |
CN105928099A (zh) | 一种智能空气净化机 | |
CN112991374A (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
CN111652033A (zh) | 基于OpenCV的车道线检测方法 | |
CN114529715B (zh) | 一种基于边缘提取的图像识别方法及系统 | |
CN105844260A (zh) | 一种多功能智能清洁机器人装置 | |
CN108647605B (zh) | 一种结合全局颜色与局部结构特征的人眼凝视点提取方法 | |
CN105844651A (zh) | 一种图像分析装置 | |
Wang et al. | Straight lane line detection based on the Otsu-Canny algorithm | |
CN105335704B (zh) | 一种基于双线性插值的车道线识别方法与装置 | |
CN112115778A (zh) | 一种在环仿真条件下车道线智能识别方法 | |
CN116486092A (zh) | 一种基于改进Hu不变矩的电磁探头校准件的识别方法 | |
CN114842335B (zh) | 用于建筑机器人的开槽目标识别方法及系统 | |
CN105933698A (zh) | 一种智能卫星数字电视节目播放质量检测系统 | |
CN105868730A (zh) | 一种具有场景识别功能的超声波探测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160810 |
|
RJ01 | Rejection of invention patent application after publication |