CN109350468B - 一种基于图像处理的盲人导航装置及方法 - Google Patents
一种基于图像处理的盲人导航装置及方法 Download PDFInfo
- Publication number
- CN109350468B CN109350468B CN201811313681.1A CN201811313681A CN109350468B CN 109350468 B CN109350468 B CN 109350468B CN 201811313681 A CN201811313681 A CN 201811313681A CN 109350468 B CN109350468 B CN 109350468B
- Authority
- CN
- China
- Prior art keywords
- image
- electrically connected
- controller
- unit
- receiving unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/068—Sticks for blind persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0173—Means for preventing injuries
- A61H2201/0184—Means for preventing injuries by raising an alarm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5048—Audio interfaces, e.g. voice or music controlled
Abstract
本发明公开了一种基于图像处理的盲人导航装置及方法,所述导航装置包括手杖、移动装置、图像采集装置和第一控制器,所述手杖包括手持部和支撑杆,所述手持部安装在支撑杆上,所述支撑杆安装在移动装置上;所述图像采集装置包括图像采集模块和图像处理器,所述图像处理器和第一控制器分别安装在支撑杆内;所述图像采集模块、图像处理器与第一控制器依次电连接。本发明通过手杖、移动装置等组件的配合来进行导航,结构简单,设计合理,有效提高了盲人外出的安全性,为盲人外出带来了极大的便捷,可以对盲人行进前方障碍物及路面情况等进行全面的检测,并及时将检测信息反馈给盲人,帮助盲人导航,具有较高的实用性。
Description
技术领域
本发明涉及图像处理领域,具体是一种基于图像处理的盲人导航装置及方法。
背景技术
图像处理(image processing),一种通过计算机对图像进行分析,以达到所需结果的技术,又称影像处理。图像处理一般指数字图像处理,数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值,图像处理技术的一般包括图像压缩,增强和复原,匹配、描述和识别3个部分,目前来说这是一项正在逐渐兴起的技术。
现如今,全世界约有盲人4000-4500万,中国约有盲人600-700万,盲人的日常生活中存在诸多不便,尤其在外出行动时,复杂的交通环境为盲人的安全出行带来了巨大隐患,而市场上也出现了许多种可以供盲人使用的导航装置,但是这些导航装置大多利用语音对盲人进行指导,引导盲人前进,如果发生意外情况,这些导航设备往往无法正确做出判断,这给盲人的出行带来了极大的安全隐患。
本发明提供了一种基于图像处理的盲人导航装置,不仅需要提高盲人出行的安全性,同时还需要改进导航装置的智能性,这是我们亟待解决的一个问题。
发明内容
本发明的目的在于提供一种基于图像处理的盲人导航装置及方法,以解决现有技术中的问题。
为实现上述目的,本发明提供如下技术方案:一种基于图像处理的盲人导航装置,所述导航装置包括手杖、移动装置、图像采集装置和第一控制器,所述手杖包括手持部和支撑杆,所述手持部安装在支撑杆上,所述支撑杆安装在移动装置上;所述图像采集装置包括图像采集模块和图像处理器,所述图像处理器和第一控制器分别安装在支撑杆内;所述图像采集模块、图像处理器与第一控制器依次电连接;所述移动装置包括支撑架和车轮,所述支撑架与支撑杆底端固定,所述支撑架安装在车轮上,所述支撑架内还设置有第二控制器和电机,所述电机与第二控制器电连接,所述电机控制车轮的运动。
本发明中设计了一种基于图像处理的盲人导航装置,盲人行走时,通过对路面的图像采集、图像处理和分析来辅助盲人进行行走导航,其中包括手杖、移动装置和第一控制器等组件,手杖可以辅助盲人进行行走,为盲人的行走提供支撑力,移动装置可以接收第一控制器发送的命令,并根据命令自主进行移动和转向,盲人只需要握着手杖,通过移动装置来带动手杖的移动,从而通过一个合适的速度前进,这样设计给盲人的生活带来了便捷,盲人只需要通过语音模块输入语音口令,移动装置便会带着盲人自动到达目的地,便捷有效。
较优化地,所述图像采集模块包括第一图像采集模块、第二图像采集模块和第三图像采集模块,所述第一图像采集模块包括若干个激光发射器和若干个红外摄像头,所述支撑杆外壁上设置有支撑板,所述激光发射器安装在支撑板中部,所述红外摄像头分别安装在支撑板两端,所述红外摄像头、激光发射器分别与图像处理器电连接;所述第二图像采集模块包括若干个超声波检测探头,所述第三图像采集模块包括若干个CCD摄像机,所述超声波检测探头和CCD摄像机分别与支撑杆外壁固定安装,所述超声波检测探头和CCD摄像机分别与图像处理器电连接;所述红外摄像头、激光发射器、超声波检测探头和CCD摄像机分别与第一控制器电连接。
本发明中设计了图像采集模块,其中包括第一图像采集模块、第二图像采集模块和第三图像采集模块,第一图像采集模块包括激光发射器和红外摄像头,它们可以配合采集到前方道路上的路面凹凸情况,同时还可以检测路面的障碍物情况;第二采集模块包括超声波检测探头,可以精准的检测一定范围内的障碍物情况;第三检测模块可以全面检测前方路面的图像,图像采集模块会将采集到的信息传输至图像处理器,处理后由第一控制器进行分析处理,并规划出一个较为合适的路线发送至移动装,图像采集模块的设计为盲人的行走带来了便捷,可以帮组盲人及时避开障碍物和路面的坑、陷等情况。
较优化地,所述支撑杆内设置有第一电池组,所述激光发射器、红外摄像头、超声波检测探头和CCD摄像机分别与第一电池组电连接,所述图像处理器和第一控制器分别与第一电池组电连接;所述支撑架内设置有第二电池组,所述电机、第二控制器分别与第二电池组电连接;所述车轮包括驱动轮和转向轮,所述驱动轮和转向轮分别安装在支撑架下方,所述电机控制驱动轮的运动,所述驱动轮和转向轮之间传动连接。
本发明中设计了移动装置,其中移动装置包括驱动轮和转向轮,电机带动驱动轮运动,驱动轮带动转向轮运动;驱动轮可以为移动装置的运动提供动力,转向轮可以及时控制移动装置的方向;本发明中设计了第一电池组合第二电池组,他们可以为各组件的使用提供电力,保证了装置的有效运行。
较优化地,所述第一控制器包括接收单元、处理单元、第一发送单元、第一控制单元和人脸识别单元,所述接收单元包括第一接收单元和图像接收单元,所述图像处理器、图像接收单元、处理单元依次电连接,所述处理单元分别与人脸识别单元、第一控制单元电连接,所述人脸识别单元与第一控制单元电连接;所述第一接收单元与第一控制单元电连接,所述第一控制单元与第一发送单元电连接,所述第一发送单元分别与红外摄像头、激光发射器、超声波检测探头和CCD摄像机电连接;所述第二控制器包括第二接收单元、第二发送单元和第二控制单元,所述第二接收单元与第一发送单元电连接,所述第二发送单元与第一接收单元电连接,所述第二接收单元、第二控制单元和第二发送单元依次电连接,所述电机与第二发送单元电连接。
本发明中设计了第一控制器,其中包括第一接收单元和图像接收单元,第一接收单元可以接收第二控制器和语音模块等组件传输的信号,图像接收单元可以接收图像处理器传输的图像信息,图像信息会通过处理器进行图像恢复处理,第一控制单元可以根据恢复的图像实时规划一条较为合适的路线,并通过第一发送单元发送至第二接收单元,以此来控制电机的运动,并控制移动装置的运动情况;本发明中还设计了人脸识别单元,当超声波检测探头检测到前方存在障碍物时,人脸识别单元会对CCD摄像头检测到的图像进行人脸识别,辨别是否和预存储的图像相符,通过这样的设计,盲人可以轻松识别自己的亲友,并可以快速定位他们的位置,再通过移动装置导航过去。
较优化地,所述导航装置还包括缓冲装置,所述缓冲装置安装在支撑架和支撑杆之间,所缓冲装置包括第一缓冲组、第二缓冲组和缓冲层,所述第一缓冲组安装在缓冲层上,所述缓冲层安装在第二缓冲组上;所述第一缓冲组和第二缓冲组的结构相同,所述第一缓冲组包括缓冲架、连接轴和弹簧,所述弹簧一端与缓冲架固定,另一端与连接轴中部固定;所述连接轴一端固定在缓冲层上,另一端固定在缓冲架上。
较优化地,所述缓冲层包括橡胶壳体、第一支撑轴和第二支撑轴,所述第一支撑轴水平放置在橡胶壳体内,所述第二支撑轴竖直放置在橡胶壳体内,所述第一支撑轴和第二支撑轴将橡胶壳体内的空间划分为若干个腔室,所述腔室包括第一腔室和第二腔室,所述第一腔室内设置有弹性海绵块,所述第二腔室为空腔;所述橡胶壳体为矩形壳体,所述第一腔室分别位于橡胶壳体的两条对角线上。
本发明中还设计了缓冲装置,通过第一缓冲组和第二缓冲组的设计来缓冲行走时竖直方向受到的振动力,同时缓冲层也可以对水平方向的振动力进行缓冲,消除大部份的交变应力,矩形橡胶壳体、弹性海绵块以及空腔的设计不仅能够吸收剩余的交变应力,而且能够改善移动装置的平衡度,确保移动装置移动时的平稳性和舒适性,保证了缓冲装置的稳定运行。
本发明中第一腔室的位置设计可以更好的吸收来自各个方向的交变应力,结构设计合理,有效实用。本发明中还设计了盲文阅读器,第一控制器可以将采集到的图像信息以盲文的形式显示在盲文阅读器上,便于盲人进行阅读并了解所处的环境情况。
较优化地,所述导航装置还包括语音模块、警报模块和定位模块,所述语音模块与第一接收单元电连接,所述警报模块、定位模块分别与第一发送单元电连接;所述导航装置还包括盲文阅读器,所述盲文阅读器安装在手持部侧面,所述盲文阅读器与第一发送单元电连接。
该导航装置的导航方法,包括以下步骤:
1)图像采集装置进行图像采集:盲人行走时,激光发射器发出覆盖相应空间区域范围的网格激光线,红外摄像头分别采集对应空间区域网格激光线的图像信息;同时CCD摄像头开启,采集图像信息;
2)图像处理器通过以下步骤进行图像处理:
a)图像灰度处理;
b)二值化;
c)量化并进行编码;
3)遥控移动装置:
a)第一控制器的图像接收单元接收处理后的图像信息,并通过处理单元进行熵解码、反量化和反余弦变换,恢复图像数据;
b)第一控制单元根据得到的图像数据进行分析,通过网格激光线的变化来检测障碍物和路面凹凸情况,并通过CCD摄像机检测到的图像规划出一条最为合适的路线图;
c)第一发送单元接收路线图,并将其传输至第二接收单元,第二接收单元接收路线图,并通过第二控制单元进行电机的控制,调整移动装置的方向及速度;
d)移动装置带动手杖向前移动,盲人随着手杖向前移动,路线结束后,第二发送单元发送结束信号,第一控制器的第一接收单元接收信号;
4)导航结束。
较优化地,所述步骤2)具体包括:
a)图像灰度处理:
S1:取得待处理图像中每一个像素的red值a(i,j)、green值b(i,j)
和blue值c(i,j);
S2:第一算法开始运行,计算每一个像素的第一灰度值M(i,j);
其中M(i,j)=[a(i,j)×0.3+b(i,j)×0.59+c(i,j)×0.11];
S3:用每一个像素的第一灰度值M(i,j)来代替原始的red值a(i,j)、green值b(i,j)和blue值c(i,j),得到灰度图像;
b)二值化:
S4:对得到的灰度图像进行中低通滤波,进行图像预处理;
S5:确定最佳阈值T;
S6:计算灰度图像中的每一个像素的第二灰度值N(i,j),并用每一个像素的第二灰度值来代替第一灰度值,得到预处理图像,
c)量化并进行编码;
S7:对S6得到的预处理图像进行离散余弦变换,将图像分为若干个图像子块,其中图像子块的长、宽均为8的倍数,若长、宽不是8的倍数,则需用0补齐,使之成为8的倍数;
S8:将经过离散余弦变换的图像的每一个系数根据量化表除以各自对应的量化步长,得到量化系数;
S9:按照一定的扫描顺序提取每个量化系数的位平面;再按照从左到右的顺序扫描每个图像子块的量化系数,每4个量化系数作为一列,直到扫完所有图像子块,根据得到的数据进行算数编码和图像子块的比特平面编码;
S10:将所得数据传输至第一控制器。
较优化地,所述S5步骤中,最佳阈值T的确定,具体包括:
假设灰度图像中存在D个第一灰度值,在0-(D-1)中选择第一阈值t,将D个灰度值分成A、B两组,其中A组中第一灰度值M(ai,aj)处于0-t之间,B组中第一灰度值M(bi,bj)处于(t+1)-(D-1)(t+1)-(m-1)之间;设图像内存在的像素总数为G,Gx表示第一灰度值为x的像素的个数;则每一个第一灰度值x出现的概率为px,
假设A、B组像素的个数在整体图像中所占的百分比为W0、W1,A、B两组的平均灰度值为U0、U1;
总平均灰度值U:U=U0*W0+U1*W1;
间类方差g(t):g(t)=W0(U0-U)2+W1(U1-U)2=W0W1(U0-U1)2;
即最佳阈值T为间类方差g(t)最大时所对应的t值:T=arg max(g(t))。
本发明中会对图像采集模块采集到的图像进行处理,其中首先对采集到的彩色图像进行灰度化处理,这是因为黑白照片数据量小,相比彩照更易实现实时算法,可以有效提高运行速度;同时黑白照片是由未处理的光线所形成的照片,因此从图像处理学角度来看,这种未经特殊滤光处理的图片所涵盖的信息更有价值,通过灰度化处理可以排除光线等因素造成的误差,有效实用。
本发明中图像处理时还进行了二值化处理,这样设计为后续的算法提供了数据基础,同时也可以使图像的黑白效果更加明显;本发明中进行了余弦变换的EBCOT编码方式采用并行结构,处理速度快,易于传输,易于实现系统的实时性。
本发明者中通过大津法来确定最大阈值T,图像处理的效果更好。
与现有技术相比,本发明的有益效果是:本发明使用时,首先通过语音模块输入语音口令,第一控制器的第一接收单元会接收口令,并通过第一控制单元来进行分析,第一发送单元会发送指令至图像采集模块,图像采集模块进行图像采集,并通过图像处理器进行处理,处理后通过第一控制器进行分析,并通过采集的图像信息规划出一条较为适宜的路线图,通过路线图通过第一发送单元发送至第二接收单元,由第二接收单元传输至第二控制单元,第二控制单元通过指令来控制电机的运动,以此来控制移动装置的运动;当盲人到达目的地时,语音模块会进行语音提示,同时第二发送单元会发送结束指令至第一接收单元,导航结束。
本发明中设计了定位模块和警报模块,当导航途中出现突发情况时,警报模块会发出警报来提醒盲人,并通过语音模块叙述具体情形;定位模块可实时将盲人的位置信息传输至手机端,我们可随时从手机端查看盲人的位置。
本发明提供了一种基于图像处理的盲人导航装置及方法,通过手杖、移动装置等组件的配合来进行导航,结构简单,设计合理,有效提高了盲人外出的安全性,为盲人外出带来了极大的便捷,可以对盲人行进前方障碍物及路面情况等进行全面的检测,并及时将检测信息反馈给盲人,帮助盲人导航,使用方便,具有较高的实用性。
附图说明
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明。
图1为本发明一种基于图像处理的盲人导航装置及方法的剖面图;
图2为本发明一种基于图像处理的盲人导航装置及方法的整体结构示意图;
图3为本发明一种基于图像处理的盲人导航装置及方法的侧视图;
图4为本发明一种基于图像处理的盲人导航装置及方法的缓冲装置结构示意图;
图5为本发明一种基于图像处理的盲人导航装置及方法的整体模块示意图;
图6为本发明一种基于图像处理的盲人导航装置及方法的第一控制器、第二控制器模块示意图。
图中:1-手杖、11-手持部、12-盲文阅读器、13-支撑杆、14-第一图像采集模块、141-支撑板、142-激光发射器、143-红外摄像头、15-第二图像采集模块、151-超声波检测探头、16-第三图像采集模块、161-CCD摄像机、17-图像处理器、18-第一控制器、19-第一电池组、2-缓冲装置、21-第一缓冲组、211-缓冲架、212-弹簧、213-连接轴、22-缓冲层、221-橡胶壳体、222-弹性海绵块、223-第二支撑轴、224-第一支撑轴、225-第二腔室、226-第一腔室、23-第二缓冲组、3-移动装置、31-支撑架、32-车轮、321-驱动轮、322-转向轮、33-第二电池组、34-第二控制器、35-电机。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于图像处理的盲人导航装置,所述导航装置包括手杖1、移动装置3、图像采集装置和第一控制器18,所述手杖1包括手持部11和支撑杆13,所述手持部11安装在支撑杆13上,所述支撑杆13安装在移动装置3上;所述图像采集装置包括图像采集模块和图像处理器17,所述图像处理器17和第一控制器18分别安装在支撑杆13内;所述图像采集模块、图像处理器17与第一控制器18依次电连接;所述移动装置3包括支撑架31和车轮32,所述支撑架31与支撑杆13底端固定,所述支撑架31安装在车轮32上,所述支撑架31内还设置有第二控制器34和电机35,所述电机35与第二控制器34电连接,所述电机35控制车轮32的运动。
本发明中设计了一种基于图像处理的盲人导航装置,盲人行走时,通过对路面的图像采集、图像处理和分析来辅助盲人进行行走导航,其中包括手杖1、移动装置3和第一控制器18等组件,手杖1可以辅助盲人进行行走,为盲人的行走提供支撑力,移动装置3可以接收第一控制器18发送的命令,并根据命令自主进行移动和转向,盲人只需要握着手杖1,通过移动装置3来带动手杖1的移动,从而通过一个合适的速度前进,这样设计给盲人的生活带来了便捷,盲人只需要通过语音模块输入语音口令,移动装置3便会带着盲人自动到达目的地,便捷有效。
所述图像采集模块包括第一图像采集模块14、第二图像采集模块15和第三图像采集模块16,所述第一图像采集模块14包括若干个激光发射器142和若干个红外摄像头143,所述支撑杆13外壁上设置有支撑板141,所述激光发射器142安装在支撑板141中部,所述红外摄像头143分别安装在支撑板141两端,所述红外摄像头143、激光发射器142分别与图像处理器17电连接;所述第二图像采集模块15包括若干个超声波检测探头151,所述第三图像采集模块16包括若干个CCD摄像机161,所述超声波检测探头151和CCD摄像机161分别与支撑杆13外壁固定安装,所述超声波检测探头151和CCD摄像机161分别与图像处理器17电连接;所述红外摄像头143、激光发射器142、超声波检测探头151和CCD摄像机161分别与第一控制器18电连接。
本发明中设计了图像采集模块,其中包括第一图像采集模块14、第二图像采集模块15和第三图像采集模块16,第一图像采集模块14包括激光发射器142和红外摄像头143,它们可以配合采集到前方道路上的路面凹凸情况,同时还可以检测路面的障碍物情况;第二采集模块包括超声波检测探头151,可以精准的检测一定范围内的障碍物情况;第三检测模块可以全面检测前方路面的图像,图像采集模块会将采集到的信息传输至图像处理器17,处理后由第一控制器18进行分析处理,并规划出一个较为合适的路线发送至移动装,图像采集模块的设计为盲人的行走带来了便捷,可以帮组盲人及时避开障碍物和路面的坑、陷等情况。
所述支撑杆13内设置有第一电池组19,所述激光发射器142、红外摄像头143、超声波检测探头151和CCD摄像机161分别与第一电池组19电连接,所述图像处理器17和第一控制器18分别与第一电池组19电连接;所述支撑架31内设置有第二电池组33,所述电机35、第二控制器34分别与第二电池组33电连接;所述车轮32包括驱动轮321和转向轮322,所述驱动轮321和转向轮322分别安装在支撑架31下方,所述电机35控制驱动轮321的运动,所述驱动轮321和转向轮322之间传动连接。
本发明中设计了移动装置3,其中移动装置3包括驱动轮321和转向轮322,电机35带动驱动轮321进行运动,驱动轮321带动转向轮322运动;驱动轮321可以为移动装置3的运动提供动力,转向轮322可以及时控制移动装置3的方向;本发明中设计了第一电池组19和第二电池组33,他们可以为各组件的使用提供电力,保证了装置的有效运行。
所述第一控制器18包括接收单元、处理单元、第一发送单元、第一控制单元和人脸识别单元,所述接收单元包括第一接收单元和图像接收单元,所述图像处理器17、图像接收单元、处理单元依次电连接,所述处理单元分别与人脸识别单元、第一控制单元电连接,所述人脸识别单元与第一控制单元电连接;所述第一接收单元与第一控制单元电连接,所述第一控制单元与第一发送单元电连接,所述第一发送单元分别与红外摄像头143、激光发射器142、超声波检测探头151和CCD摄像机161电连接;所述第二控制器34包括第二接收单元、第二发送单元和第二控制单元,所述第二接收单元与第一发送单元电连接,所述第二发送单元与第一接收单元电连接,所述第二接收单元、第二控制单元和第二发送单元依次电连接,所述电机与第二发送单元电连接。
本发明中设计了第一控制器18,其中包括第一接收单元和图像接收单元,第一接收单元可以接收第二控制器34和语音模块等组件传输的信号,图像接收单元可以接收图像处理器17传输的图像信息,图像信息会通过处理器进行图像恢复处理,第一控制单元可以根据恢复的图像实时规划一条较为合适的路线,并通过第一发送单元发送至第二接收单元,以此来控制电机35的运动,并控制移动装置3的运动情况;本发明中还设计了人脸识别单元,当超声波检测探头151检测到前方存在障碍物时,人脸识别单元会对CCD摄像头检测到的图像进行人脸识别,辨别是否和预存储的图像相符,通过这样的设计,盲人可以轻松识别自己的亲友,并可以快速定位他们的位置,再通过移动装置3导航过去。
所述导航装置还包括缓冲装置2,所述缓冲装置2安装在支撑架31和支撑杆13之间,所缓冲装置2包括第一缓冲组21、第二缓冲组23和缓冲层22,所述第一缓冲组21安装在缓冲层22上,所述缓冲层22安装在第二缓冲组23上;所述第一缓冲组21和第二缓冲组23的结构相同,所述第一缓冲组21包括缓冲架211、连接轴213和弹簧212,所述弹簧212一端与缓冲架211固定,另一端与连接轴213中部固定;所述连接轴213一端固定在缓冲层22上,另一端固定在缓冲架211上。
所述缓冲层22包括橡胶壳体221、第一支撑轴224和第二支撑轴223,所述第一支撑轴224水平放置在橡胶壳体221内,所述第二支撑轴223竖直放置在橡胶壳体221内,所述第一支撑轴224和第二支撑轴223将橡胶壳体221内的空间划分为若干个腔室,所述腔室包括第一腔室226和第二腔室225,所述第一腔室226内设置有弹性海绵块222,所述第二腔室225为空腔;所述橡胶壳体221为矩形壳体,所述第一腔室226分别位于橡胶壳体221的两条对角线上。
本发明中还设计了缓冲装置2,通过第一缓冲组21和第二缓冲组23的设计来缓冲行走时竖直方向受到的振动力,同时缓冲层22也可以对水平方向的振动力进行缓冲,消除大部份的交变应力,矩形橡胶壳体221、弹性海绵块222以及空腔的设计不仅能够吸收剩余的交变应力,而且能够改善移动装置3的平衡度,确保移动装置3移动时的平稳性和舒适性,保证了缓冲装置2的稳定运行。
本发明中第一腔室226的位置设计可以更好的吸收来自各个方向的交变应力,结构设计合理,有效实用。本发明中还设计了盲文阅读器12,第一控制器18可以将采集到的图像信息以盲文的形式显示在盲文阅读器12上,便于盲人进行阅读并了解所处的环境情况。
所述导航装置还包括语音模块、警报模块和定位模块,所述语音模块与第一接收单元电连接,所述警报模块、定位模块分别与第一发送单元电连接;所述导航装置还包括盲文阅读器12,所述盲文阅读器12安装在手持部11侧面,所述盲文阅读器12与第一发送单元电连接。
一种基于图像处理的盲人导航方法,包括以下步骤:
1)图像采集装置进行图像采集:盲人行走时,激光发射器142发出覆盖相应空间区域范围的网格激光线,红外摄像头143分别采集对应空间区域网格激光线的图像信息;同时CCD摄像头开启,采集图像信息;
2)图像处理17通过以下步骤进行图像处理:
a)图像灰度处理;
b)二值化;
c)量化并进行编码;
3)遥控移动装置3:
a)第一控制器18的图像接收单元接收处理后的图像信息,并通过处理单元进行熵解码、反量化和反余弦变换,恢复图像数据;
b)第一控制单元根据得到的图像数据进行分析,通过网格激光线的变化来检测障碍物和路面凹凸情况,并通过CCD摄像机161检测到的图像规划出一条最为合适的路线图;
c)第一发送单元接收路线图,并将其传输至第二接收单元,第二接收单元接收路线图,并通过第二控制单元进行电机35的控制,调整移动装置3的方向及速度;
d)移动装置3带动手杖1向前移动,盲人随着手杖1向前移动,路线结束后,第二发送单元发送结束信号,第一控制器18的第一接收单元接收信号;
4)导航结束。
所述步骤2)具体包括:
a)图像灰度处理;
S1:取得待处理图像中每一个像素的red值a(i,j)、green值b(i,j)和blue值c(i,j);
S2:第一算法开始运行,计算每一个像素的第一灰度值M(i,j);
其中M(i,j)=[a(i,j)×0.3+b(i,j)×0.59+c(i,j)×0.11];
S3:用每一个像素的第一灰度值M(i,j)来代替原始的red值a(i,j)、green值b(i,j)和blue值c(i,j),得到灰度图像;
b)二值化;
S4:对得到的灰度图像进行中低通滤波,进行图像预处理;
S5:确定最佳阈值T;
S6:计算灰度图像中的每一个像素的第二灰度值N(i,j),并用每一个像素的第二灰度值来代替第一灰度值,得到预处理图像,
c)量化并进行编码;
S7:对S6得到的预处理图像进行离散余弦变换,将图像分为若干个图像子块,其中图像子块的长、宽均为8的倍数,若长、宽不是8的倍数,则需用0补齐,使之成为8的倍数;
S8:将经过离散余弦变换的图像的每一个系数根据量化表除以各自对应的量化步长,得到量化系数;
S9:按照一定的扫描顺序提取每个量化系数的位平面;再按照从左到右的顺序扫描每个图像子块的量化系数,每4个量化系数作为一列,直到扫完所有图像子块,根据得到的数据进行算数编码和图像子块的比特平面编码;
S10:将所得数据传输至第一控制器18。
所述S5步骤中,最佳阈值T的确定,具体包括:
假设灰度图像中存在D个第一灰度值,在0-(D-1)中选择第一阈值t,将D个灰度值分成A、B两组,其中A组中第一灰度值M(ai,aj)处于0-t之间,B组中第一灰度值M(bi,bj)处于(t+1)-(D-1)(t+1)-(m-1)之间;设图像内存在的像素总数为G,Gx表示第一灰度值为x的像素的个数;则每一个第一灰度值x出现的概率为px,
假设A、B组像素的个数在整体图像中所占的百分比为W0、W1,A、B两组的平均灰度值为U0、U1;
总平均灰度值U:U=U0*W0+U1*W1;
间类方差g(t):g(t)=W0(U0-U)2+W1(U1-U)2=W0W1(U0-U1)2;
即最佳阈值T为间类方差g(t)最大时所对应的t值:T=arg max(g(t))。
本发明中会对图像采集模块采集到的图像进行处理,其中首先对采集到的彩色图像进行灰度化处理,这是因为黑白照片数据量小,相比彩照更易实现实时算法,可以有效提高运行速度;同时黑白照片是由未处理的光线所形成的照片,因此从图像处理学角度来看,这种未经特殊滤光处理的图片所涵盖的信息更有价值,通过灰度化处理可以排除光线等因素造成的误差,有效实用。
本发明中图像处理时还进行了二值化处理,这样设计为后续的算法提供了数据基础,同时也可以使图像的黑白效果更加明显;本发明中进行了余弦变换的EBCOT编码方式采用并行结构,处理速度快,易于传输,易于实现系统的实时性。
本发明者中通过大津法来确定最大阈值T,图像处理的效果更好。
本发明使用时,首先通过语音模块输入语音口令,第一控制器18的第一接收单元会接收口令,并通过第一控制单元来进行分析,第一发送单元会发送指令至图像采集模块,图像采集模块进行图像采集,并通过图像处理器17进行处理,处理后通过第一控制器18进行分析,并通过采集的图像信息规划出一条较为适宜的路线图,通过路线图通过第一发送单元发送至第二接收单元,由第二接收单元传输至第二控制单元,第二控制单元通过指令来控制电机35的运动,以此来控制移动装置3的运动;当盲人到达目的地时,语音模块会进行语音提示,同时第二发送单元会发送结束指令至第一接收单元,导航结束。
本发明中设计了定位模块和警报模块,当导航途中出现突发情况时,警报模块会发出警报来提醒盲人,并通过语音模块叙述具体情形;定位模块可实时将盲人的位置信息传输至手机端,我们可随时从手机端查看盲人的位置。
本发明提供了一种基于图像处理的盲人导航装置及方法,通过手杖1、移动装置3等组件的配合来进行导航,结构简单,设计合理,有效提高了盲人外出的安全性,为盲人外出带来了极大的便捷,可以对盲人行进前方障碍物及路面情况等进行全面的检测,并及时将检测信息反馈给盲人,帮助盲人导航,使用方便,具有较高的实用性。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (1)
1.一种基于图像处理的盲人导航装置,其特征在于:所述导航装置包括手杖(1)、移动装置(3)、图像采集装置和第一控制器(18),所述手杖(1)包括手持部(11)和支撑杆(13),所述手持部(11)安装在支撑杆(13)上,所述支撑杆(13)安装在移动装置(3)上;所述图像采集装置包括图像采集模块和图像处理器(17),所述图像处理器(17)和第一控制器(18)分别安装在支撑杆(13)内;所述图像采集模块、图像处理器(17)与第一控制器(18)依次电连接;所述移动装置(3)包括支撑架(31)和车轮(32),所述支撑架(31)与支撑杆(13)底端固定,所述支撑架(31)安装在车轮(32)上,所述支撑架(31)内还设置有第二控制器(34)和电机(35),所述电机(35)与第二控制器(34)电连接,所述电机(35)控制车轮(32)的运动;
所述图像采集模块包括第一图像采集模块(14)、第二图像采集模块(15)和第三图像采集模块(16),所述第一图像采集模块(14)包括若干个激光发射器(142)和若干个红外摄像头(143),所述支撑杆(13)外壁上设置有支撑板(141),所述激光发射器(142)安装在支撑板(141)中部,所述红外摄像头(143)分别安装在支撑板(141)两端,所述红外摄像头(143)、激光发射器(142)分别与图像处理器(17)电连接;所述第二图像采集模块(15)包括若干个超声波检测探头(151),所述第三图像采集模块(16)包括若干个CCD摄像机(161),所述超声波检测探头(151)和CCD摄像机(161)分别与支撑杆(13)外壁固定安装,所述超声波检测探头(151)和CCD摄像机(161)分别与图像处理器(17)电连接;所述红外摄像头(143)、激光发射器(142)、超声波检测探头(151)和CCD摄像机(161)分别与第一控制器(18)电连接;
所述支撑杆(13)内设置有第一电池组(19),所述激光发射器(142)、红外摄像头(143)、超声波检测探头(151)和CCD摄像机(161)分别与第一电池组(19)电连接,所述图像处理器(17)和第一控制器(18)分别与第一电池组(19)电连接;所述支撑架(31)内设置有第二电池组(33),所述电机(35)、第二控制器(34)分别与第二电池组(33)电连接;所述车轮(32)包括驱动轮(321)和转向轮(322),所述驱动轮(321)和转向轮(322)分别安装在支撑架(31)下方,所述电机(35)控制驱动轮(321)的运动,所述驱动轮(321)和转向轮(322)之间传动连接;
所述第一控制器(18)包括接收单元、处理单元、第一发送单元、第一控制单元和人脸识别单元,所述接收单元包括第一接收单元和图像接收单元,所述图像处理器(17)、图像接收单元、处理单元依次电连接,所述处理单元分别与人脸识别单元、第一控制单元电连接,所述人脸识别单元与第一控制单元电连接;所述第一接收单元与第一控制单元电连接,所述第一控制单元与第一发送单元电连接,所述第一发送单元分别与红外摄像头(143)、激光发射器(142)、超声波检测探头(151)和CCD摄像机(161)电连接;所述第二控制器(34)包括第二接收单元、第二发送单元和第二控制单元,所述第二接收单元与第一发送单元电连接,所述第二发送单元与第一接收单元电连接,所述第二接收单元、第二控制单元和第二发送单元依次电连接,所述电机(35)与第二发送单元电连接;
所述导航装置还包括缓冲装置(2),所述缓冲装置(2)安装在支撑架(31)和支撑杆(13)之间,所缓冲装置(2)包括第一缓冲组(21)、第二缓冲组(23)和缓冲层(22),所述第一缓冲组(21)安装在缓冲层(22)上,所述缓冲层(22)安装在第二缓冲组(23)上;所述第一缓冲组(21)和第二缓冲组(23)的结构相同,所述第一缓冲组(21)包括缓冲架(211)、连接轴(213)和弹簧(212),所述弹簧(212)一端与缓冲架(211)固定,另一端与连接轴(213)中部固定;所述连接轴(213)一端固定在缓冲层(22)上,另一端固定在缓冲架(211)上;
所述缓冲层(22)包括橡胶壳体(221)、第一支撑轴(224)和第二支撑轴(223),所述第一支撑轴(224)水平放置在橡胶壳体(221)内,所述第二支撑轴(223)竖直放置在橡胶壳体(221)内,所述第一支撑轴(224)和第二支撑轴(223)将橡胶壳体(221)内的空间划分为若干个腔室,所述腔室包括第一腔室(226)和第二腔室(225),所述第一腔室(226)内设置有弹性海绵块(222),所述第二腔室(225)为空腔;所述橡胶壳体(221)为矩形壳体,所述第一腔室(226)分别位于橡胶壳体(221)的两条对角线上;所述导航装置还包括语音模块、警报模块和定位模块,所述语音模块与第一接收单元电连接,所述警报模块、定位模块分别与第一发送单元电连接;所述导航装置还包括盲文阅读器(12),所述盲文阅读器(12)安装在手持部(11)侧面,所述盲文阅读器(12)与第一发送单元电连接;
该导航装置的导航方法具体包括以下步骤:
1)图像采集装置进行图像采集:盲人行走时,激光发射器(142)发出覆盖相应空间区域范围的网格激光线,红外摄像头(143)分别采集对应空间区域网格激光线的图像信息;同时CCD摄像头开启,采集图像信息;
2)图像处理器(17)通过以下步骤进行图像处理:
a)图像灰度处理:
S1:取得待处理图像中每一个像素的red值a(i,j)、green值b(i,j)和blue值c(i,j);
S2:第一算法开始运行,计算每一个像素的第一灰度值M(i,j);其中M(i,j)=[a(i,j)×0.3+b(i,j)×0.59+c(i,j)×0.11];
S3:用每一个像素的第一灰度值M(i,j)来代替原始的red值a(i,j)、green值b(i,j)和blue值c(i,j),得到灰度图像;
b)二值化:
S4:对得到的灰度图像进行中低通滤波,进行图像预处理;
S5:确定最佳阈值T;
c)量化并进行编码:
S7:对S6得到的预处理图像进行离散余弦变换,将图像分为若干个图像子块,其中图像子块的长、宽均为8的倍数,若长、宽不是8的倍数,则需用0补齐,使之成为8的倍数;
S8:将经过离散余弦变换的图像的每一个系数根据量化表除以各自对应的量化步长,得到量化系数;
S9:按照一定的扫描顺序提取每个量化系数的位平面;再按照从左到右的顺序扫描每个图像子块的量化系数,每4个量化系数作为一列,直到扫完所有图像子块,根据得到的数据进行算数编码和图像子块的比特平面编码;
S10:将所得数据传输至第一控制器(18);
3)遥控移动装置(3):
a)第一控制器(18)的图像接收单元接收处理后的图像信息,并通过处理单元进行熵解码、反量化和反余弦变换,恢复图像数据;
b)第一控制单元根据得到的图像数据进行分析,通过网格激光线的变化来检测障碍物和路面凹凸情况,并通过CCD摄像机(161)检测到的图像规划出一条最为合适的路线图;
c)第一发送单元接收路线图,并将其传输至第二接收单元,第二接收单元接收路线图,并通过第二控制单元进行电机(35)的控制,调整移动装置(3)的方向及速度;
d)移动装置(3)带动手杖(1)向前移动,盲人随着手杖(1)向前移动,路线结束后,第二发送单元发送结束信号,第一控制器(18)的第一接收单元接收信号;
4)导航结束;
所述S5步骤中,最佳阈值T的确定,具体包括:
假设灰度图像中存在D个第一灰度值,在0-(D-1)中选择第一阈值t,将D个灰度值分成A、B两组,其中A组中第一灰度值M(ai,aj)处于0-t之间,B组中第一灰度值M(bi,bj)处于(t+1)-(D-1)之间;设图像内存在的像素总数为G,Gx表示第一灰度值为x的像素的个数;则每一个第一灰度值x出现的概率为px,
假设A、B组像素的个数在整体图像中所占的百分比为W0、W1,A、B两组的平均灰度值为U0、U1;
总平均灰度值U:U=U0*W0+U1*W1;
间类方差g(t):g(t)=W0(U0-U)2+W1(U1-U)2=W0W1(U0-U1)2;
即最佳阈值T为间类方差g(t)最大时所对应的t值:T=argmax(g(t))。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811313681.1A CN109350468B (zh) | 2018-11-06 | 2018-11-06 | 一种基于图像处理的盲人导航装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811313681.1A CN109350468B (zh) | 2018-11-06 | 2018-11-06 | 一种基于图像处理的盲人导航装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109350468A CN109350468A (zh) | 2019-02-19 |
CN109350468B true CN109350468B (zh) | 2021-07-06 |
Family
ID=65344274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811313681.1A Active CN109350468B (zh) | 2018-11-06 | 2018-11-06 | 一种基于图像处理的盲人导航装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109350468B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114217620B (zh) * | 2021-12-15 | 2023-07-14 | 常州信息职业技术学院 | 一种轮式机器人智能避障控制系统及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9201143B2 (en) * | 2009-08-29 | 2015-12-01 | Echo-Sense Inc. | Assisted guidance navigation |
CN203841993U (zh) * | 2014-05-14 | 2014-09-24 | 金陵科技学院 | 一种自主导盲机器人 |
CN204542562U (zh) * | 2015-04-02 | 2015-08-12 | 重庆大学 | 一种智能盲人眼镜 |
CN105232295B (zh) * | 2015-10-16 | 2017-03-22 | 北京机械设备研究所 | 一种用于避障的智能导引系统 |
CN105662798A (zh) * | 2016-03-22 | 2016-06-15 | 昆山市工研院智能制造技术有限公司 | 基于激光与图像处理的盲人导航装置及行走避障方法 |
CN206167323U (zh) * | 2016-07-25 | 2017-05-17 | 罗勇 | 盲人智能手杖 |
CN206749425U (zh) * | 2017-05-31 | 2017-12-15 | 李红江 | 一种汽车后悬架缓冲结构 |
CN107080675A (zh) * | 2017-06-23 | 2017-08-22 | 张俊逸 | 一种具有显示盲文的导盲杖 |
CN107951683A (zh) * | 2017-12-31 | 2018-04-24 | 成都骏卡科技有限公司 | 一种多功能智能盲人手杖 |
-
2018
- 2018-11-06 CN CN201811313681.1A patent/CN109350468B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109350468A (zh) | 2019-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110228484B (zh) | 一种具有辅助驾驶功能的低时延智能远程驾驶系统 | |
CN107909061B (zh) | 一种基于不完备特征的头部姿态跟踪装置及方法 | |
US20210058614A1 (en) | Method of sensor-assisted rate control | |
WO2020083024A1 (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
CN101336856B (zh) | 辅助视觉系统的信息获取与传递方法 | |
JP2023085384A (ja) | 航空機のための対象物検出及び回避 | |
US20200329254A1 (en) | Methods of modifying search areas | |
CN108416320B (zh) | 巡检设备、巡检设备的控制方法及控制装置 | |
CN102389361A (zh) | 一种基于计算机视觉的盲人户外支援系统 | |
US20080215184A1 (en) | Method for searching target object and following motion thereof through stereo vision processing and home intelligent service robot using the same | |
CN111360780A (zh) | 一种基于视觉语义slam的垃圾捡拾机器人 | |
WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
CN105182320A (zh) | 一种基于深度测量的车距检测方法 | |
Bharathi et al. | Effective navigation for visually impaired by wearable obstacle avoidance system | |
CN109350468B (zh) | 一种基于图像处理的盲人导航装置及方法 | |
CN110046584A (zh) | 一种基于无人机巡检的道路裂纹检测装置及检测方法 | |
Ali et al. | Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera | |
CN114995450A (zh) | 一种利用多目立体视觉的盲人智慧导航方法及系统 | |
US11508142B2 (en) | Landscape video stream compression using computer vision techniques | |
CN116399884A (zh) | 一种箱梁内部病害的自主扫描检测方法 | |
CN107432793A (zh) | 安全型双轮驱动轮椅 | |
CN116735599A (zh) | 一种建筑底板裂缝的自主扫描检测方法 | |
CN111942285B (zh) | 基于车载玻璃振动反馈的智能视障人员服务方法及其系统 | |
CN113081525B (zh) | 一种智能助行设备及智能助行设备的控制方法 | |
Lee et al. | Vision-based automatic real time inspection of power transmission line |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |