CN109670445B - 低视力助视智能眼镜系统 - Google Patents

Abstract

本发明公开了一种低视力助视智能眼镜系统，本发明通过智能眼镜与助视终端通过type‑c接口连接；智能眼镜采集初始图像，将初始图像进行预处理，获得预处理图像，将预处理图像发送至助视终端，并接收和显示助视终端返回的待显示图像；助视终端接收用户的控制指令，根据控制指令对所述预处理图像进行放大处理、亮度调节、对比度调节、反色调节及色彩模式变换，获得待显示图像，实现了通过头戴式设备降低成本，为用户助视带来了方便及舒适，通过多种处理方式保障了图像画质，改善了用户的视物能力。

Description

低视力助视智能眼镜系统

技术领域

本发明涉及视觉辅助技术领域，尤其涉及一种低视力助视智能眼镜系统。

背景技术

低视力患者由于有视觉功能障碍，其视力往往比较差，而因为各种条件限制，很多低视力患者仅存的视力不能得到有效的利用，使得现实生活中有相当一部分患者被当成“盲人”，为帮助患者看清世界，已有部分助视器开始为患者带来一定的方便，通过电子或光学放大，患者可以进行一定的阅读活动。

当前助视器通常使用一体式装置，使用方式有一定的限制，只能在固定的场景下进行使用，在日常生活的其他方面就显得力不从心；对图像的处理方式单一，难以满足低视力患者对画质更高的要求；价格昂贵，操作繁琐，难以帮助到每一个低视力患者；需要特定显示设备，存在图像畸变。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种低视力助视智能眼镜系统，旨在解决现有技术中助视器使用不方便且图像处理方式单一的技术问题。

为实现上述目的，本发明提供一种低视力助视智能眼镜系统，所述系统包括智能眼镜及助视终端；所述智能眼镜与所述助视终端通过type-c接口连接；其中，所述智能眼镜，用于采集初始图像，将所述初始图像进行预处理，获得预处理图像，将所述预处理图像发送至所述助视终端，并接收和显示所述助视终端返回的待显示图像；所述助视终端，用于接收用户的控制指令，根据所述控制指令对所述预处理图像进行图像处理，获得待显示图像。

优选地，所述智能眼镜，还用于通过UVC协议将所述预处理图像发送至所述助视终端，并通过DP协议接收所述助视终端返回的待显示图像。

优选地，所述智能眼镜包括图像采集模块、语音采集模块、信号处理模块及图像显示模块。

优选地，所述图像采集模块用于采集初始图像，并将所述初始图像进行去噪、视频防抖、连续自动对焦及宽动态中的至少一种处理，获得预处理图像。

优选地，所述助视终端包括控制模块及图像增强模块，所述图像增强模块用于对所述预处理图像进行放大、缩小、亮度调节、对比度调节、反色及色彩模式选择中的至少一种处理，获得待显示图像。

优选地，所述助视终端还包括云端服务模块，所述云端服务模块用于根据所述控制指令调用云端图像算法对所述预处理图像进行图像处理，获得待显示图像。

优选地，所述助视终端还包括OCR文字识别模块，所述OCR文字识别模块用于将所述预处理图像进行文字识别，获得文字信息，通过TTS语音合成技术把所述文字信息转化为语音信息，并对所述语音信息进行播放。

优选地，所述助视终端还包括人脸识别模块，所述人脸识别模块用于从所述预处理图像中进行人脸提取，获得人脸信息，将所述人脸信息与人脸库进行比对，获得人脸识别结果，并输出所述人脸识别结果。

优选地，所述助视终端还包括图像理解模块，所述图像理解模块用于提取所述预处理图像中的物品，获得物品信息，将所述物品信息进行识别，并输出物品信息识别结果。

优选地，所述低视力助视智能眼镜系统还包括蓝牙手柄，用于通过所述助视终端进行实时画面调节。

附图说明

图1是本发明低视力助视智能眼镜系统第一实施例的功能模块图；

图2是本发明低视力助视智能眼镜系统第二实施例的功能模块图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明低视力助视智能眼镜系统第一实施例的功能模块图。

本实施例中，低视力助视智能眼镜系统包括智能眼镜100及助视终端200；所述智能眼镜100与所述助视终端200通过type-c接口连接；其中，所述智能眼镜100，用于采集初始图像，将所述初始图像进行预处理，获得预处理图像，将所述预处理图像发送至所述助视终端200，并接收和显示所述助视终端200返回的待显示图像；所述助视终端200，用于接收用户的控制指令，根据所述控制指令对所述预处理图像进行图像处理，获得待显示图像。

应理解的是，智能眼镜100包括图像采集模块10、语音采集模块20、信号处理模块30及图像显示模块40，图像采集模块10用于采集初始图像，并将所述初始图像进行去噪、视频防抖、连续自动对焦及宽动态中的至少一种处理，获得预处理图像，以获得更高的画面质量，降低后期图像增强处理的误差。图像采集模块10可以为USB摄像头或设置于眼镜上的其他图像采集设备，本实施例对此不加以限制。语音采集模块20用于采集用户的语音信息，将语音信息发送至助视终端200，助视终端200根据用户的语音信息实现相应的画面控制，通过语音采集模块20，低视力用户可以通过语音进行画面控制，提升了用户体验，比如用户希望放大图像，可以直接发出语音，语音采集模块20在接收到用户的放大指令后，将放大指令发送至助视终端200进行放大处理。信号处理模块30用于对图像采集单元10中采集到的图像信号以及语音采集模块20中采集到的语音信号进行处理。图像显示模块40为半透视显示屏，用于从助视终端200接收高清数字显示(Display Port，DP)信号，并将其转换为色彩(Red、Green、Blue，RGB)信号进行显示。智能眼镜100还可以包括补光灯，用于改善环境光照亮度，可通过助视终端200控制其亮度和开关。智能眼镜100还可以包括手势识别模块，用于从预处理图像中提取手势指令，通过手势识别，对应相应的命令，然后发送至助视终端200进行调节。

所述智能眼镜100，还用于通过UVC协议将所述预处理图像发送至所述助视终端200，并通过DP协议接收所述助视终端200返回的待显示图像。

UVC(USB video class，USB捕获设备)协议是USB行业规范中的USB设备类规范，用于USB接口的视频设备的一个统一的数据交换规范；DP(Display Port，高清数字显示接口)协议具有高传输率及支持高显示器分辨率的特征，可以用于对高清视频及音频进行无损传输。

需要说明的是，考虑到目前很多终端如电脑、手机等都带有标准的type-c接口，助视终端200与智能眼镜100通过助视终端200自带的标准type-c接口连接，大大降低了低视力助视智能眼镜系统的成本，同时为用户提供了方便，使本实施例所述低视力助视智能眼镜系统具有更多的应用场景。通过UVC协议实现数据通信，可以实现助视终端200对图像采集模块10采集数据(包括图像的分辨率、帧率、数据格式、自动对焦方式、白平衡等参数)的控制和读取，而通过DP协议，智能眼镜100可以实现对待显示图像信号的读取。

在具体实现中，图像采集模块10将预处理图像信号通过UVC协议发送至助视终端200，助视终端200进行低视力增强处理，最后将处理后获得的待显示图像信号通过DP协议传输至智能眼镜100进行显示。

所述助视终端200，可以为电脑、平板、手机等终端，可以也是运行于PC、平板、手机等终端上的可执行程序或APP，本实施例对此不加以限制。

助视终端200包括控制模块50及图像增强模块60，所述图像增强模块60用于对所述预处理图像进行放大、缩小、亮度调节、对比度调节、反色及色彩模式选择中的至少一种处理，获得待显示图像。

控制模块50，用于通过用户输入实现对图像的处理或其他控制，可作为辅助控制器，根据用户需要对智能眼镜100显示的画面质量进行调节。

在具体实现中，为了使用户更方便地对显示画面进行调节，低视力助视智能眼镜系统还包括蓝牙手柄300，蓝牙手柄300可以作为主控制器，对智能眼镜100显示的画面质量进行调节。

需要说明的是，蓝牙手柄300的实际配对对象为智能手机，控制的是助视终端200中的画面的质量，通过对助视终端200中画面的调节，来控制传入到智能眼镜100显示的画面的质量。蓝牙手柄300有相应的调节按钮，可以实时进行调节，如画面的对比度、亮度、放大、缩小、反色等图像处理调节和色彩模式选择，当然蓝牙手柄300还可以用于对其他功能进行调节和控制。

因此，本实施例中，用户可以通过手势控制、语音控制、助视终端或者蓝牙手柄四种方式实现对眼镜显示画面的控制，本实施例对此不加以限制。

进一步地，图像增强模块60在获取预处理图像后，根据用户需要可以对预处理图像进行光学放大和数字放大，还可以进行对比度调节、亮度调节、反色处理、全彩/半彩/灰度三种显示模式调节以及语音转换。

具体地，对预处理图像进行光学放大和数字放大的步骤为：对所述待处理图像进行光学放大处理，获得第一图像，并将所述第一图像进行基于插值算法的数字放大处理，获得待显示图像。

需要说明的是，光学放大是无损的，而数字放大画质会降低，本实施例中，用户可以根据自己的需要设置放大倍数，为了满足用户的放大倍数需要，对所述预处理图像进行光学放大之后，如有需要，可以采用插值法(如最近邻元法，双线性内插法、三次内插法等等)对光学放大后的图像再次进行放大，本实施例对此不加以限制。

进一步地，图像增强模块60，还用于从所述待显示图像中提取各像素点的坐标，根据用户输入的放大倍数及目标像素点的目标坐标确定所述目标像素点在所述第一图像中对应的当前坐标，根据当前像素点的当前坐标及所述当前像素点N*N邻域内的N²个像素点的邻近坐标计算行插值系数及列插值系数，根据所述当前像素点N*N邻域内的N²个像素点的邻近像素值、所述行插值系数及所述列插值系数获得所述目标像素点的目标像素值，根据所述目标像素值及所述目标坐标构建待显示图像。

可以理解的是，为了获得待显示图像的坐标及像素值，必须先获得所述第一图像(即数字放大前的图像)的坐标及像素值。

需要说明的是，N可以取值为4，将距离当前像素点最近的16个像素点作为计算待显示图像的像素值的参数，具体地，可以使用加权算法获得更准确的基函数，并通过以下基函数获得行插值系数及列插值系数：

其中，x为邻近像素点到当前像素点的距离。由于基函数是一维的，而像素点是二维的，因此需要分别计算行插值系数及列插值系数，即16个邻近像素点的权重。

所述当前像素点在所述待显示图像中对应的目标像素值为16个像素点的加权叠加。

具体地，可以通过以下公式获得目标像素值：

其中，a_ij为邻近点的邻近像素值，W(i)为行插值系数，W(j)为列插值系数。

可以理解的是，若目标像素点在待显示图像中的坐标为P(X,Y)，用户输入的放大倍数为M，则目标像素点在第一图像中对应的当前像素点的坐标为P(x1,y1),其中，x1＝[X/M],y1＝[Y/M]。

在目标像素点的坐标及像素值确定以后，可以通过同样的方法获得待显示图像上其他像素点的坐标及像素值，从而可以获得完整的待显示图像。

本实施例根据用户需要不仅可以对图像实现光学放大，还可以结合插值算法实现进一步的数字放大处理，这样在不影响原信息表达的情况下，尽可能为低视力用户提供更好的放大效果，在放大时可以保留更多图像细节，显示效果更真实。

进一步地，图像增强模块60，还用于计算所述预处理图像的亮度信息并获取用户输入的亮度调节参数，根据预设伽马值、所述亮度信息及所述亮度调节参数对所述预处理图像进行调节，获得待显示图像。

应理解的是，亮度是指图像的明亮程度，本实施例通过对预处理图像实施利用预设的伽马值来变换图像的各像素的亮度值的伽马变换处理，从而生成待显示图像。通过伽马校正的方法实现图像亮度调节，可以使用户根据环境条件，快速、方便地选择合适的亮度显示状态，使用场景更广泛。

在具体实现中，用户可以通过手势控制、语音控制、助视终端或者蓝牙手柄四种方式实现亮度调节参数的输入。

进一步地，图像增强模块60，还用于获取所述预处理图像的灰度直方图及用户输入的对比度调节参数，将所述灰度直方图进行归一化，计算灰度的累积概率，根据所述累积概率创建灰度变化的查找表，根据所述查找表及所述对比度调节参数对所述预处理图像进行调节，获得待显示图像。

应理解的是，对比度是画面黑与白的比值，也就是从黑到白的渐变层次。比值越大，从黑到白的渐变层次就越多，从而色彩表现越丰富。对比度对视觉效果的影响非常关键，一般来说对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个画面都灰蒙蒙的。

需要说明的是，假如图像的灰度分布不均匀，其灰度分布集中在较窄的范围内，使图像的细节不够清晰，对比度较小。通过对图像进行非线性拉伸，重新分配图像的灰度值，使图像的灰度范围拉开或使灰度均匀分布，从而增大反差，使图像细节清晰，以达到增强的目的。

在具体实现中，通过调整图像的灰度分布，使得图像的灰度分布主要分布在直方图的两端或者均匀分布，来实现图像的对比度增大(即亮的更亮，暗的更暗)或对比度的减小。这里有设置多组调节，用户可通过手势控制、语音控制、助视终端或者蓝牙手柄根据需要进行选择，以得到更好的视觉效果。

进一步地，图像增强模块60，还用于计算所述预处理图像的亮度信息并获取用户输入的反色调节处理指令，将所述亮度信息进行反转变换，获得待显示图像。

本实施例通过读取原始信息的亮度信息，对亮度信息做反转，使得初始图像中原来较暗的部分得到加强，更突出的显示出来，尤其在读书看报时，黑色字体通过反色，显示会更突出，有利于增强助视效果。在具体实现中，用户同样可以通过手势控制、语音控制、助视终端或者蓝牙手柄输入反色调节处理指令。

进一步地，图像增强模块60，还用于计算所属预处理图像的灰度信息，获得第一颜色空间；获取用户输入的第一色彩及第二色彩，将所属预处理图像中灰度值为255的颜色作为第一色彩，将灰度值为0的颜色作为第二色彩，获得第二颜色空间，将所述预处理图像映射到所述第二颜色空间，获得待显示图像。

在具体实现中，本实施例可以实现三种色彩模式选择：全彩模式显示、半彩模式显示、灰度模式显示，根据不同低视力患者会对部分色彩比较敏感，用户可根据自身需要，选择两到三种颜色对原图进行显示。具体地，全彩模式指全彩RGB模式显示。灰度模式指去除原图像信息中的彩色信息，将原图转化为灰度图进行显示。半彩模式指将灰度为255的颜色定义为一种色彩，灰度为0的颜色定义为另一种色彩，通过对原图进行重新映射，实现半彩显示。

需要说明的是，在三种色彩模式下用户都可进行放大缩小、对比度、亮度的调节，以及图像的反色处理，且各种处理可同时进行，以最大限度的帮助用户提高视物的能力。

本实施例中，所述助视终端200还包括云端服务模块70，所述云端服务模块70用于根据所述控制指令调用云端图像算法对所述预处理图像进行图像处理，获得待显示图像。

本实施例中，除了利用图像增强模块60对预处理图像进行处理，助视终端200还可以调用云端服务，根据所述控制指令调用云端图像算法对所述预处理图像进行图像处理，获得待显示图像。

需要说明的是，当用户输入的控制指令并不在图像增强模块60的处理范围内时，可以通过调用云端图像算法来实现对图像的其他处理，加大了低视力助视眼镜系统的延展性，使其可以根据不同用户的助视需求进行画面控制。

当然，所述云端服务模块70还可以用于存储、其他功能的大规模计算及第三方服务，有着强大的运算存储能力，以使低视力助视智能眼镜系统实现更多的功能，有更多的应用场景。

此外，助视终端200还用于实现拍照、录像、分辨率选择、存储及语音助手等助视功能，其中，通过分辨率选择可以使助视终端200接收到的图像分辨率与图像采集模块10的分辨率相同，从而提高画质，通过语音助手可以在助视终端200接收用户语音控制指令，达到在助视终端200控制画面的目的。

此外，助视终端200还用于实现智能家居控制及娱乐功能，所述智能家居控制是指通过助视终端200实现对家居生活有关系统的控制，如灯光控制、窗帘控制、家电控制等，所述娱乐功能包括但不限于商城购物、听书、新闻、视频、音乐等。

本实施例通过头戴式设备设计，使得低视力助视眼镜系统的使用场景更多，方便用户工作和娱乐；通过在助视终端中增加了多种图像处理方法，使用户有更多选择来帮助提高视物的能力和使用的舒适性。而考虑到目前支持标准type-c接口的智能手机已趋于普遍，将智能手机结合智能眼镜就能实现助视的目的，能够真正帮助到每一个低视力患者，解决成本问题；采用蓝牙手柄或语音进行操控，简单方便，以解决操作繁琐的问题，同时手机可作为备用操控设备，为客户提供更多方便；不需要借助于其他显示设备就可以使用，解决了图像畸变的问题。

参照图2，图2为本发明低视力助视智能眼镜系统第二实施例的功能模块图。

本实施例中，所述助视终端200还包括OCR文字识别模块80，所述OCR文字识别模块用于将所述预处理图像进行文字识别，获得文字信息，通过TTS语音合成技术把所述文字信息转化为语音信息，并对所述语音信息进行播放。

需要说明的是，智能眼镜100将预处理图像传输到助视终端200后，会调用助视终端200的文字识别算法，获取预处理图像中的文字信息，然后把文字转化成语音，通过扬声器播放。

在具体实现中，通过智能眼镜100的图像采集模块10，可以获得用户需要阅读或观看的初始图像，初始图像经处理后发送到助视终端200的OCR文字识别模块80上进行文字识别，最后转化成语音播放给用户。通过OCR文字识别模块80，用户可以使用听觉辅助眼睛，更轻松地观看或阅读。

本实施例中，所述助视终端200还包括人脸识别模块90，所述人脸识别模块90用于从所述预处理图像中进行人脸提取，获得人脸信息，将所述人脸信息与人脸库进行比对，获得人脸识别结果，并输出所述人脸识别结果。

在具体实现中，人脸库中的人脸数据可以由用户自定义设置，用户可以将经常接触的人脸图像放入人脸库中，通过人脸识别模块90，可以快速对人脸进行识别，告知用户对应的人脸识别结果。

本实施例中，所述助视终端200还包括图像理解模块110，所述图像理解模块用于提取所述预处理图像中的物品，获得物品信息，将所述物品信息进行识别，输出物品信息识别结果。

在具体实现中，可以通过助视终端200将预处理图像中的物品或者其他标识特征提取出来并进行识别，方便用户快速了解图像中的场景。

本实施例通过OCR文字识别模块、人脸识别模块及图像理解模块，实现了对图像的进一步的识别及分析，能更好地辅助低视力用户，并为用户带来更好的体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种低视力助视智能眼镜系统，其特征在于，所述低视力助视智能眼镜系统包括智能眼镜及助视终端；所述智能眼镜与所述助视终端通过type-c接口连接；其中，

所述智能眼镜，用于采集初始图像，将所述初始图像进行预处理，获得预处理图像，将所述预处理图像发送至所述助视终端，并接收和显示所述助视终端返回的待显示图像；

所述助视终端，用于接收用户的控制指令，根据所述控制指令对所述预处理图像进行图像处理，获得待显示图像；

其中，所述助视终端包括控制模块及图像增强模块，所述图像增强模块用于对所述预处理图像进行放大、缩小、亮度调节、对比度调节、反色及色彩模式选择中的至少一种处理，获得待显示图像；

其中，对所述预处理图像进行放大的步骤包括：对所述预处理图像进行光学放大处理，获得第一图像，并将所述第一图像进行基于插值算法的数字放大处理，获得待显示图像；

所述图像增强模块，还用于从所述待显示图像中提取各像素点的坐标，根据用户输入的放大倍数及目标像素点的目标坐标确定所述目标像素点在所述第一图像中对应的当前坐标，根据当前像素点的当前坐标及所述当前像素点N*N邻域内的N2个像素点的邻近坐标计算行插值系数及列插值系数，根据所述当前像素点N*N邻域内的N2个像素点的邻近像素值、所述行插值系数及所述列插值系数获得所述目标像素点的目标像素值，根据所述目标像素值及所述目标坐标构建待显示图像；其中，N取值为4，将距离当前像素点最近的16个像素点作为计算待显示图像的像素值的参数，通过以下基函数获得行插值系数及列插值系数：

其中，x为邻近像素点到当前像素点的距离；所述当前像素点在所述待显示图像中对应的目标像素值为16个像素点的加权叠加；

通过以下公式获得目标像素值：

其中，aij为邻近点的邻近像素值，W(i)为行插值系数，W(j)为列插值系数。

2.如权利要求1所述的低视力助视智能眼镜系统，其特征在于，所述智能眼镜，还用于通过UVC协议将所述预处理图像发送至所述助视终端，并通过DP协议接收所述助视终端返回的待显示图像。

3.如权利要求2所述的低视力助视智能眼镜系统，其特征在于，所述智能眼镜包括图像采集模块、语音采集模块、信号处理模块及图像显示模块。

4.如权利要求3所述的低视力助视智能眼镜系统，其特征在于，所述图像采集模块用于采集初始图像，并将所述初始图像进行去噪、视频防抖、连续自动对焦及宽动态中的至少一种处理，获得预处理图像。

5.如权利要求1所述的低视力助视智能眼镜系统，其特征在于，所述助视终端还包括云端服务模块，所述云端服务模块用于根据所述控制指令调用云端图像算法对所述预处理图像进行图像处理，获得待显示图像。

6.如权利要求5所述的低视力助视智能眼镜系统，其特征在于，所述助视终端还包括OCR文字识别模块，所述OCR文字识别模块用于将所述预处理图像进行文字识别，获得文字信息，通过TTS语音合成技术把所述文字信息转化为语音信息，并对所述语音信息进行播放。

7.如权利要求5所述的低视力助视智能眼镜系统，其特征在于，所述助视终端还包括人脸识别模块，所述人脸识别模块用于从所述预处理图像中进行人脸提取，获得人脸信息，将所述人脸信息与人脸库进行比对，获得人脸识别结果，并输出所述人脸识别结果。

8.如权利要求5所述的低视力助视智能眼镜系统，其特征在于，所述助视终端还包括图像理解模块，所述图像理解模块用于提取所述预处理图像中的物品，获得物品信息，将所述物品信息进行识别，并输出物品信息识别结果。

9.如权利要求5至8中任一项所述的低视力助视智能眼镜系统，其特征在于，所述低视力助视智能眼镜系统还包括蓝牙手柄，用于通过所述助视终端进行实时画面调节。

Images