CN106406445A - 基于智能眼镜的视障辅助中文文本阅读系统 - Google Patents
基于智能眼镜的视障辅助中文文本阅读系统 Download PDFInfo
- Publication number
- CN106406445A CN106406445A CN201610812794.0A CN201610812794A CN106406445A CN 106406445 A CN106406445 A CN 106406445A CN 201610812794 A CN201610812794 A CN 201610812794A CN 106406445 A CN106406445 A CN 106406445A
- Authority
- CN
- China
- Prior art keywords
- intelligent glasses
- text
- user
- mobile phone
- bluetooth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 68
- 206010047571 Visual impairment Diseases 0.000 title abstract 2
- 208000029257 vision disease Diseases 0.000 title abstract 2
- 230000004393 visual impairment Effects 0.000 title abstract 2
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 12
- 230000001771 impaired effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012369 In process control Methods 0.000 claims description 2
- 238000010965 in-process control Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims description 2
- 210000004247 hand Anatomy 0.000 claims 1
- 230000004438 eyesight Effects 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 208000018685 gastrointestinal system disease Diseases 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/30—Means for acting in the event of power-supply failure or interruption, e.g. power-supply fluctuations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
本发明提供基于智能眼镜的视障辅助中文文本阅读系统，系统包括高清摄像头、扬声器、蓝牙、安卓手机、头戴式微型显示屏、条状电脑处理器、高性能大容量电池、太阳能电池等。安卓手机包括App控制模块、图像文字识别模块、语言传输模块、蓝牙传输模块等。本发明不仅可以实现对文档中字符的识别，还能对自然场景文本进行定位、识别。该系统具有定位与识别精度高、成本低廉、鲁棒性好、自动化程度高等特点，可广泛服务于视力欠佳者，为其提供在阅读及生活上的帮助。
Description
技术领域
本发明属于模式识别与人工智能技术领域，特别是涉及基于智能眼镜的视障辅助中文文本阅读系统。
背景技术
以智能眼镜为代表的可穿戴设备极大拓宽了消费电子产品市场的规模。谷歌公司于2012年发布的谷歌眼镜受到了业界的广泛关注，极大激发了业界对可穿戴设备的兴趣，掀起了可穿戴技术革新的浪潮。众多科技龙头企业和初创团队纷纷紧跟潮流，Facebook以20亿美元的天价并购了Oculus，三星内部将Gear glass视为重点项目，微软在2015年1月发布的Hololens更将智能眼镜的发展推向了又一个高潮，该款全息眼镜将虚拟与现实有机结合，实现了更丰富的交互性。预计在未来的几年内，智能眼镜将成为可穿戴设备市场中应用最为广泛的产品之一。对智能眼镜来说，目前最大的挑战是如何实现更好的交互性能，能否有效提升交互效率，直接关系着智能眼镜能否大规模进入消费市场。以语音控制为例，开发者必须考虑可能出现的各种情况，例如不同语种和方言的差异。随着种类丰富的可穿戴产品的不断推出，可穿戴设备市场的规模不断扩大，产业的活跃度得到了极大提升。在可预见的未来，可穿戴产品极有可能成为继平板电脑和智能手机后，全球科技产业新的爆发增长点。
发明内容
本发明旨在提升视力不佳者的生活质量，借助智能眼镜实现包括文本识别、语音传输在内的多种功能，提供基于智能眼镜的视障辅助中文文本阅读系统。该系统采用高清摄像头进行文本图像采集，能够快速、精确地提取和识别文字信息，并且将识别出来的文本信息用语音方式反馈给使用者。
本发明采用的技术方案如下。
基于智能眼镜的视障辅助中文文本阅读系统，其包括高清摄像头、扬声器、蓝牙、安卓手机、头戴式微型显示屏、条状电脑处理器、高性能大容量电池和太阳能电池；所述包括高性能大容量电池、太阳能电池、高清摄像头、扬声器、蓝牙、头戴式微型显示屏均位智能眼睛中并分别与条状电脑处理器连接，安卓手机通过自身的蓝牙功能与所述蓝牙连接，高性能大容量电池和太阳能电池为系统的各构成部分供电；所述高清摄像头用于实现自然场景图像的采集，并将图像传输到智能眼镜中保存；使用者只需带上眼镜，打开眼镜开关，由智能眼镜的图像采集模块触发摄像头，进行自然场景图像采集；
所述蓝牙实现与手机的短距离通信，使用者打开手机蓝牙模块，与智能眼镜的蓝牙配对，通过手机端App发送操作命令给智能眼镜；所述扬声器实现将场景文本识别结果传输给使用者；所述安卓手机实现对智能眼镜的控制，通过发送指令操作智能眼镜；所述头戴式微型显示屏，实现对处理后信息的投放，便于使用者观看；所述条状电脑处理器，对图像信息进行处理并控制系统中各构成部分的工作。
进一步地，所述安卓手机包括App控制模块、图像文字识别模块、语言传输模块和蓝牙传输模块；通过手机上的蓝牙模块与智能眼镜进行通信，其中App控制模块上的功能包括开启、关闭智能眼镜和选择省电模式、工作模式；安卓手机的图像文字识别模块对自然场景图像中的文本进行处理；图像文字识别模块采用了端对端的文本识别方法进行自然场景文本的识别，其中端对端是针对场景文字识别中文本检测与字符识别的关系而言；图像文字识别模块首先基于滑动窗口对图像进行分割，利用卷积神经网络CNN模型进一步识别分割区域中是否包含文本信息，图像文字识别模块还对输入的原图像进行归一化和随机变形处理，用以增强定位效果，将处理后的图像输入卷积神经网络CNN模型，该卷积神经网络CNN模型结构为：第一层卷积层，采用5*5大小的卷积核；第一max_pooling层,采用2*2的核，第二层卷积层，采用3*3的卷积核；第二max_pooling层,采用2*2的核，随后的三、四、五卷积层，都采用3*3的卷积核；第五max_pooling层,采用2*2的核；第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入；第二层全连接：4096维；最后Softmax层：输出为1000；若分割区域中包含文本信息，则判断其周围是否也含有文本信息，将文本信息合并起来，然后使用另一个训练好的CNN卷积模型识别定位的文本区域，该CNN模型与文本定位过程使用的CNN模型相似，最后将识别结果信息返回保存；
所述语言传输模块将识别出来的文本用语音的方式传递给使用者，或当使用者开启导航模式时，实时推送给使用者；语言传输模块接入百度语音API，使用中文描素使用者看到的文本；若使用者觉得语音模块意义不大，那也能在App上关闭语音功能或者在智能眼睛上关闭语音功能按钮；
手机的蓝牙传输模块通过对系统的蓝牙进行数据传输，完成与手机的通信功能。
进一步地，使用者将通过安卓手机App控制模块或者操作智能眼镜来选择模式，模式有两种状态，一种是待机模式，就是会关闭所有的智能功能，在这种状态下，智能眼镜和普通镜一样；当选择在工作模式的状态下，使用者能自主选择关闭或者打开智能眼镜的任何一个功能；然后系统根据使用者的选择，调整智能眼镜的功能，智能眼镜对外部输入的信息进行处理，处理的信息包括图像信息、位置信息；信息处理完成后，把输出的结果呈现给使用者。
进一步地，图像处理模块接收到自然场景图像后，将利用滑动窗口分割图像、滑动窗口的大小为16*16，对整张图片从起点开始进行分割，利用训练好的文本定位模型对图像进行识别，判断是否含有文本信息，如果有，再对相邻区域进行判断，如果有，就对这两个图像信息进行合并，直至合并区域超过阈值。然后借助之前训练的识别模型对合并后的区域进行，最后将结果输出给使用者。
本发明与现有智能眼镜的设计相比，具有如下优点：
（1）利用高清摄像头进行自然场景图像的采集，蓝牙传输，系统结构简单，使用方便，硬件成本低。不同的智能眼镜有其相应的配套功能，同时，为了保证系统运行速度，同种智能眼镜在不同工作模式下可移除不必要的功能触发和后台运行，有效减少系统功耗，增强系统使用效率。
（2）由于加入了图像文本识别模块，本发明在特定的场合应用具有极大的优势，视力不佳者使用这样的发明，可直接以语音方式获取识别结果，或者借助本发明来实现环境感知及定位，为出行带来极大的便利。
（3）本发明具备价格低廉、性价比高、实用性强、适应性广等特点，在可穿戴产品市场上具备一定的竞争力，能够推动可穿戴设备进一步发展。
附图说明
图1是实例中基于智能眼镜的视障辅助中文文本阅读系统的工作流程图。
图2是实例中的文本识别流程图。
具体实施方式
下面结合附图对本发明作进一步具体地描述，但本发明的实施方式不限于此。
基于智能眼镜的视障辅助中文文本阅读系统，包括高清摄像头、扬声器、蓝牙、安卓手机、头戴式微型显示屏、条状电脑处理器、高性能大容量电池和太阳能电池；所述包括高性能大容量电池、太阳能电池、高清摄像头、扬声器、蓝牙、头戴式微型显示屏均位智能眼睛中并分别与条状电脑处理器连接，安卓手机通过自身的蓝牙功能与所述蓝牙连接，高性能大容量电池和太阳能电池为系统的各构成部分供电。
所述高清摄像头实现自然场景图像的采集，并将图像传输到高性能智能眼镜中保存。使用者只需带上眼镜，打开眼镜开关，由图像采集模块触发摄像头，进行自然场景图像采集，并保存到系统中。
所述蓝牙实现与手机的短距离通信，使用者打开手机蓝牙模块，与智能眼镜的蓝牙配对，通过手机端App发送相关的操作给智能眼镜。所述扬声器实现将场景文本识别结果传输给使用者。所述安卓手机实现对智能眼镜的控制，通过发送指令操作智能眼镜。所述头戴式微型显示屏，实现对处理后信息的投放，便于使用者观看。
所述为高性能大容量电池+太阳能电池，为整个硬件设备提供电源供电。在阳光充足的情况下，备用太阳能电池的配合充电，可有效地增加智能眼镜的供电时间，从而降低主电池的容量和体积，在阴雨天气的时候，可以借助于高性能大容量电池来供电。
通过手机上的蓝牙模块与智能眼镜进行通信，其中App控制模块上的功能包括开启、关闭智能眼镜和选择工作模式（省电模式、工作模式）。
手机的图像文字识别模块对自然场景图像中的文本进行处理。传统的自然场景文本识别系统采取矫正、定位、分割、识别四步实现功能，在文本的定位上存在一定的缺陷，为了改善这一缺陷，图像文字识别模块采用了端对端的文本识别系统进行自然场景文本的识别。其中端对端是针对场景文字识别中文本检测与字符识别的关系而言，强调字符识别系统功能的完整性。系统首先基于滑动窗口对图像进行分割，利用CNN进一步识别分割区域中是否包含文本信息，此处系统对输入的原图像进行归一化和随机变形处理，用以增强定位效果，将处理后的图像输入CNN模型，该模型结构为：第一层卷积层，采用5*5大小的卷积核，第一层max_pooling层,采用2*2的核，第二层卷积层，采用3*3的卷积核，第二层max_pooling层,采用2*2的核，随后的三、四、五卷积层，都采用3*3的卷积核，第五层max_pooling层,采用2*2的核，第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。第二层全连接：4096维，最后Softmax层：输出为1000。若分割区域中包含文本信息，则判断其周围是否也含有文本信息，将文本信息合并起来，然后使用另一个训练好的CNN卷积模型识别定位的文本区域，该CNN模型与文本定位过程使用的CNN模型相似，最后将识别结果信息返回保存。
所述语言传输模块需要将识别出来的文本用语音的方式传递给使用者，或当使用者开启导航模式时，实时推送给使用者。该发明接入百度语音API，使用中文描素使用者看到的文本。若使用者觉得语音模块意义不大，那也可在App上关闭语音功能或者在智能眼睛上关闭语音功能按钮。
手机的蓝牙传输模块通过对系统的蓝牙进行数据传输，完成与手机的通信功能。首先开启蓝牙的可检测功能，用手机搜索蓝牙设备，并创建蓝牙socket，由socket获取device，然后进行数据通信，不使用蓝牙时关闭蓝牙模块，以免耗电过大。
图1是本文本阅读辅助系统的工作流程示意图。由图1可知，工作流程为：使用者启动硬件和软件系统后，系统处于选择模式状态，使用者通过操作手机App或智能眼镜来选择模式，待机模式会关闭所有的智能功能，在这种状态下，智能眼镜和普通眼睛一样；工作模式下，使用者可以自主选择关闭或者打开智能眼镜的任何一个功能。系统根据使用者的选择，调整智能眼镜的功能，智能眼镜在对外部输入信息进行处理后，将输出结果呈现给使用者。
图2为本实例的自然场景文本识别模块的流程图。由图2可知，图像自然场景文本识别模块的工作流程为：在图像处理模块接收到自然场景图像后，将利用滑动窗口分割图像、滑动窗口的大小为16*16，对整张图片从起点开始进行分割，利用训练好的文本定位模型对图像进行识别，判断是否含有文本信息，如果有，再对相邻区域进行判断，如果有，就对这两个图像信息进行合并，直至合并区域超过阈值。然后借助之前训练的识别模型对合并后的区域进行，最后将结果输出给使用者。
上述实例为本发明较佳的实施例子，但本发明的实施方式并不受上述实例的限制，其他的任何未背离本发明的精神与技术下所作的改变、修饰或替代，均应为等效的置换，都包含在本发明的保护范围之内。
Claims (4)
1.基于智能眼镜的视障辅助中文文本阅读系统，其特征在于包括高清摄像头、扬声器、蓝牙、安卓手机、头戴式微型显示屏、条状电脑处理器、高性能大容量电池和太阳能电池；所述包括高性能大容量电池、太阳能电池、高清摄像头、扬声器、蓝牙、头戴式微型显示屏均位智能眼睛中并分别与条状电脑处理器连接，安卓手机通过自身的蓝牙功能与所述蓝牙连接，高性能大容量电池和太阳能电池为系统的各构成部分供电；所述高清摄像头用于实现自然场景图像的采集，并将图像传输到智能眼镜中保存；使用者只需带上眼镜，打开眼镜开关，触发高清摄像头，进行自然场景图像采集；
所述蓝牙实现与手机的短距离通信，使用者打开手机蓝牙模块，与智能眼镜的蓝牙配对，通过手机端App发送操作命令给智能眼镜；所述扬声器实现将场景文本识别结果传输给使用者；所述安卓手机实现对智能眼镜的控制，通过发送指令操作智能眼镜；所述头戴式微型显示屏，实现对处理后信息的投放，便于使用者观看；所述条状电脑处理器，对图像信息进行处理并控制系统中各构成部分的工作。
2.根据权利要求1所述的基于智能眼镜的视障辅助中文文本阅读系统，其特征在于：所述安卓手机包括App控制模块、图像文字识别模块、语言传输模块和蓝牙传输模块；通过手机上的蓝牙模块与智能眼镜进行通信，其中App控制模块上的功能包括开启、关闭智能眼镜和选择省电模式、工作模式；安卓手机的图像文字识别模块对自然场景图像中的文本进行处理；图像文字识别模块采用了端对端的文本识别方法进行自然场景文本的识别，其中端对端是针对场景文字识别中文本检测与字符识别的关系而言；图像文字识别模块首先基于滑动窗口对图像进行分割，利用卷积神经网络CNN模型进一步识别分割区域中是否包含文本信息，图像文字识别模块还对输入的原图像进行归一化和随机变形处理，用以增强定位效果，将处理后的图像输入卷积神经网络CNN模型，该卷积神经网络CNN模型结构为：第一层卷积层，采用5*5大小的卷积核；第一max_pooling层,采用2*2的核，第二层卷积层，采用3*3的卷积核；第二max_pooling层,采用2*2的核，随后的三、四、五卷积层，都采用3*3的卷积核；第五max_pooling层,采用2*2的核；第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入；第二层全连接：4096维；最后Softmax层：输出为1000；若分割区域中包含文本信息，则判断其周围是否也含有文本信息，将文本信息合并起来，然后使用另一个训练好的CNN卷积模型识别定位的文本区域，该CNN模型与文本定位过程使用的CNN模型相似，最后将识别结果信息返回保存；
所述语言传输模块将识别出来的文本用语音的方式传递给使用者，或当使用者开启导航模式时，实时推送给使用者；语言传输模块接入百度语音API，使用中文描素使用者看到的文本；若使用者觉得语音模块意义不大，那也能在App上关闭语音功能或者在智能眼睛上关闭语音功能按钮；
手机的蓝牙传输模块通过对系统的蓝牙进行数据传输，完成与手机的通信功能。
3.根据权利要求1所述的基于智能眼镜的视障辅助中文文本阅读系统，其特征在于：使用者将通过安卓手机App控制模块或者操作智能眼镜来选择模式，模式有两种状态，一种是待机模式，就是会关闭所有的智能功能，在这种状态下，智能眼镜和普通镜一样；当选择在工作模式的状态下，使用者能自主选择关闭或者打开智能眼镜的任何一个功能；然后系统根据使用者的选择，调整智能眼镜的功能，智能眼镜对外部输入的信息进行处理，处理的信息包括图像信息、位置信息；信息处理完成后，把输出的结果呈现给使用者。
4.根据权利要求1所述的基于智能眼镜的视障辅助中文文本阅读系统，其特征在于：图像处理模块接收到自然场景图像后，将利用滑动窗口分割图像、滑动窗口的大小为16*16，对整张图片从起点开始进行分割，利用训练好的文本定位模型对图像进行识别，判断是否含有文本信息，如果有，再对相邻区域进行判断，如果有，就对这两个图像信息进行合并，直至合并区域超过阈值；然后借助之前训练的识别模型对合并后的区域进行，最后将结果输出给使用者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610812794.0A CN106406445B (zh) | 2016-09-09 | 2016-09-09 | 基于智能眼镜的视障辅助中文文本阅读系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610812794.0A CN106406445B (zh) | 2016-09-09 | 2016-09-09 | 基于智能眼镜的视障辅助中文文本阅读系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106406445A true CN106406445A (zh) | 2017-02-15 |
| CN106406445B CN106406445B (zh) | 2020-01-14 |
Family
ID=57999202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610812794.0A Expired - Fee Related CN106406445B (zh) | 2016-09-09 | 2016-09-09 | 基于智能眼镜的视障辅助中文文本阅读系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106406445B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106937909A (zh) * | 2017-03-16 | 2017-07-11 | 江西师范大学 | 一种智能辅助盲人眼镜系统 |
| CN107273895A (zh) * | 2017-06-15 | 2017-10-20 | 幻视互动（北京）科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
| CN107346629A (zh) * | 2017-08-22 | 2017-11-14 | 贵州大学 | 一种智能盲人阅读方法及智能盲人阅读器系统 |
| CN109377834A (zh) * | 2018-09-27 | 2019-02-22 | 成都快眼科技有限公司 | 一种辅助盲人阅读的文本转换方法及系统 |
| CN112370240A (zh) * | 2020-12-01 | 2021-02-19 | 創啟社會科技有限公司 | 视障辅助智能眼镜、系统及其控制方法 |
| CN111666751B (zh) * | 2020-06-04 | 2023-09-29 | 北京百度网讯科技有限公司 | 训练文本扩充方法、装置、设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1445715A (zh) * | 2002-03-15 | 2003-10-01 | 微软公司 | 便于模式识别的系统和方法 |
| CN103888163A (zh) * | 2012-12-22 | 2014-06-25 | 华为技术有限公司 | 一种眼镜式通信装置、系统及方法 |
| CN104750678A (zh) * | 2015-04-19 | 2015-07-01 | 王学庆 | 一种图像文本识别翻译眼镜及方法 |
| CN105335754A (zh) * | 2015-10-29 | 2016-02-17 | 小米科技有限责任公司 | 文字识别方法及装置 |
| WO2016073185A1 (en) * | 2014-11-07 | 2016-05-12 | Pcms Holdings, Inc. | System and method for augmented reality annotations |
-
2016
- 2016-09-09 CN CN201610812794.0A patent/CN106406445B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1445715A (zh) * | 2002-03-15 | 2003-10-01 | 微软公司 | 便于模式识别的系统和方法 |
| CN103888163A (zh) * | 2012-12-22 | 2014-06-25 | 华为技术有限公司 | 一种眼镜式通信装置、系统及方法 |
| WO2016073185A1 (en) * | 2014-11-07 | 2016-05-12 | Pcms Holdings, Inc. | System and method for augmented reality annotations |
| CN104750678A (zh) * | 2015-04-19 | 2015-07-01 | 王学庆 | 一种图像文本识别翻译眼镜及方法 |
| CN105335754A (zh) * | 2015-10-29 | 2016-02-17 | 小米科技有限责任公司 | 文字识别方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106937909A (zh) * | 2017-03-16 | 2017-07-11 | 江西师范大学 | 一种智能辅助盲人眼镜系统 |
| CN107273895A (zh) * | 2017-06-15 | 2017-10-20 | 幻视互动（北京）科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
| CN107273895B (zh) * | 2017-06-15 | 2020-07-14 | 幻视互动（北京）科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
| CN107346629A (zh) * | 2017-08-22 | 2017-11-14 | 贵州大学 | 一种智能盲人阅读方法及智能盲人阅读器系统 |
| CN109377834A (zh) * | 2018-09-27 | 2019-02-22 | 成都快眼科技有限公司 | 一种辅助盲人阅读的文本转换方法及系统 |
| CN109377834B (zh) * | 2018-09-27 | 2021-02-09 | 成都快眼科技有限公司 | 一种辅助盲人阅读的文本转换方法及系统 |
| CN111666751B (zh) * | 2020-06-04 | 2023-09-29 | 北京百度网讯科技有限公司 | 训练文本扩充方法、装置、设备以及存储介质 |
| CN112370240A (zh) * | 2020-12-01 | 2021-02-19 | 創啟社會科技有限公司 | 视障辅助智能眼镜、系统及其控制方法 |
| WO2022116812A1 (zh) * | 2020-12-01 | 2022-06-09 | 创启社会科技有限公司 | 视障辅助智能眼镜、系统及其控制方法 |
| GB2611481A (en) * | 2020-12-01 | 2023-04-05 | Innospire Tech Limited | Visual impaired assisting smart glasses, and system and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106406445B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106406445A (zh) | 基于智能眼镜的视障辅助中文文本阅读系统 | |
| US11776097B2 (en) | Image fusion method, model training method, and related apparatuses | |
| JP2023517211A (ja) | 表情トランスファーモデルの訓練方法、表情トランスファー方法及び装置並びにコンピュータ装置及びプログラム | |
| WO2020078027A1 (zh) | 一种图像处理方法、装置与设备 | |
| WO2020078026A1 (zh) | 一种图像处理方法、装置与设备 | |
| WO2021104485A1 (zh) | 一种拍摄方法及电子设备 | |
| US20200326537A1 (en) | Gesture control of heads-up display | |
| CN112671976B (zh) | 电子设备的控制方法、装置及电子设备、存储介质 | |
| US11703941B2 (en) | Information processing system, information processing method, and program | |
| WO2022179376A1 (zh) | 手势控制方法与装置、电子设备及存储介质 | |
| US11854310B2 (en) | Face liveness detection method and related apparatus | |
| EP3933664A1 (en) | Integrated chip and sensor data processing method | |
| CN107705251A (zh) | 图片拼接方法、移动终端及计算机可读存储介质 | |
| CN113378556A (zh) | 提取文本关键字的方法及装置 | |
| WO2021057752A1 (zh) | 图像选优方法及电子设备 | |
| US20240005830A1 (en) | Always-on-display method and electronic device | |
| CN110456960A (zh) | 图像处理方法、装置及设备 | |
| CN108415905A (zh) | 实时翻译方法、智能眼镜及计算机可读存储介质 | |
| CN112840635A (zh) | 智能拍照方法、系统及相关装置 | |
| WO2021169351A1 (zh) | 指代消解的方法、装置及电子设备 | |
| CN107888823A (zh) | 一种拍摄处理方法、装置及系统 | |
| CN107967339A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN111009031A (zh) | 一种人脸模型生成的方法、模型生成的方法及装置 | |
| CN111242273A (zh) | 一种神经网络模型训练方法及电子设备 | |
| Qureshi et al. | AI based app for blind people |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200114 |