CN108875714A - 帮助盲人寻找物品的系统及方法 - Google Patents

Abstract

本发明涉及盲人用人工智能设备技术领域，尤其涉及一种帮助盲人寻找物品的系统及方法；所述系统包括360度图像采集装置，用于对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；中央控制器，用于对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；触觉装置，用于将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。本发明所公开的帮助盲人寻找物品的系统及方法，通过设置360度图像采集装置，能够一次遍历360度的环境，从而减少盲人的行动量，更加便利，更容易为盲人所接受；通过设置触觉装置，能够避免环境的噪声对盲人造成不必要的干扰。

Description

帮助盲人寻找物品的系统及方法

技术领域

本发明涉及盲人用人工智能设备技术领域，尤其涉及一种帮助盲人寻找物品的系统及方法。

背景技术

对象识别包括分类和检测两项任务，分类用于判断一幅图像是否包含某类对象，检测则要求标出这些对象的位置和大小。对象识别是理解图像和场景的关键，具有广泛的应用前景，可用于Web图像自动标注、海量图像搜索、图像内容过滤、机器人、安全监视、医学远程会诊等多种领域。通用对象识别面临很多困难，迄今没有完善的解决方案，这些困难包括：(1)光照变化、视点变化、尺度变化、物体变形、遮挡、背景嘈杂等多种因素使同一物体在不同图像中存在很大的差异；(2)同类物体之间存在较大差异，这要求识别模型即能体现同类物体之间的共性，又不能混淆相似的物体类别；(3)大量的类别增加了系统实现的难度。近几年来，通用对象识别的研究非常活跃，新的方法不断涌现。

狭义的触觉是指微弱的机械刺激兴奋了皮肤浅层的触觉感受器引起的肤觉,广义的触觉还包括由较强的机械刺激导致深部组织变形时引起的压觉。触压觉的绝对感受性在身体表面的不同位置有很大的差别。一般说来,越活动的部分触压觉的感受性越高。触觉交互技术的起源可以追溯到远程控制装置的出现。计算机性能的提升和更全面的与虚拟世界交互的向往,驱动了触觉交互装置的产生和发展。

远程控制装置的研究由来已久。早期的远程控制使用由连杆和缆索控制的钳子,后来发展成为有肘、腕和手的机械臂。在操纵者和机械手臂之间,机械联接装置和缆索传递运动和力。当更远距离的操控需求产生后,研究人员用电机和电子传感器取代了在操控者和远程装置之间的机械连接。通过电子信号将操控者手部的动作和远程装置联系起来。在这些装置中,电机提供执行任务和给人反馈感觉的力。人们意识到如果计算机产生适当的电信号,主控装置可以使用户产生与执行真实任务相同的感觉。一些早期的研究通过实验证明了计算机编程控制机电主控装置可以使用户产生触碰一些简单形状的感觉,从而在理论上证明了触觉虚拟现实的可行性。但受计算机处理能力的限制,这些早期的研究无法建立复杂的虚拟对象。

随着计算机性能的进一步提升,实时的三维图形成为可能,虚拟现实技术在工业领域广为应用。与此同时,不能触碰虚拟物体的弊端也初见端倪。有些任务不仅需要看到和听到虚拟世界的物体,还需要触碰它们,甚至有时触觉占主导地位。例如机械工程师只有用手真实地感受到引擎内部的空间布局，才能判断该设计是否便于装配和维修；如果不能触碰到肌体组织，那么虚拟的外科手术便失去了训练的意义。于是，各类型的触觉交互装置应运而生。在计算机游戏和日常的应用领域,特殊的游戏操纵杆、操纵轮、鼠标被用来提供一维和二维的触觉反馈。手指套环和笔状的探针被设计用来提供三维位置的感知和反馈。直到上个世纪90年代初,这些触觉装置还是由于费用昂贵、用途单一等原因,主要限于军事仿真研究用途。1993年,麻省理工学院人工智能实验室的Salisbury等开发了一种装置,解决了触觉研究人员面临的许多问题。它实现了点接触力的传递,可以用来产生指尖与各种物体交互的感觉，给人们提供前所未有的精确和方便的触觉激励。这种名为“Phantom触觉界面”的装置改变了人们和计算机交互的方式,引发了全球的触觉交互的研究热潮。例如，加拿大eSight3眼镜通过增强现实技术，增强画面的质量和对比度，将生活全面清晰地呈现在眼疾患者眼前。佩戴者还可以调节摄像头的焦距，从而能够看到不同距离的物体。另外，你还可以控制颜色、对比度、对焦、亮度调节及放大图像。

但是，上述技术存在下述缺点：不能够一次遍历360度的环境；现有技术没有使用偏振器的方式；现有技术并没有针对不同的情况下拍出的图片：如家中与外界的不同，以及对象的不同：如床和水杯在同一个房间存在数量上的区别。

因此，为了解决上述问题，急需发明一种新的帮助盲人寻找物品的系统及方法。

发明内容

本发明的目的在于：提供一种帮助盲人寻找物品的系统及方法，解决现有市场上帮助盲人寻找物品的系统存在的缺陷，使用不便，价格昂贵等问题，解决盲人生活不便的问题，便利盲人生活，促进盲人生活自理化。

本发明提供了下述方案：

一种帮助盲人寻找物品的系统，包括：

360度图像采集装置，用于对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；

中央控制器，用于对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；

触觉装置，用于将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。

优选地，所述中央控制器包括从机处理单元和主机处理单元，

所述从机处理单元用于接收360度图像采集装置发送来的图像信息，并接收到的图像信息发送给主机处理单元；同时，用于接收所述主机处理单元发送来的所要查找的物品的相对位置信息，并将接收到的所要查找的物品的相对位置信息发送给所述触觉装置。

优选地，所述的帮助盲人寻找物品的系统还包括转动驱动装置，用来驱动所述360度图像采集装置进行转动实现对盲人所处环境进行360度全方位图像信息的采集。

优选地，所述360度图像采集装置包括两个摄像头，所述转动驱动装置的输出轴上共轴线设置有联动杆，各所述摄像头位置对应设置于所述联动杆的两端。

优选地，所述360度图像采集装置包括摄像头，所述摄像头共轴线设置于所述转动驱动装置的输出轴上。

优选地，所述的帮助盲人寻找物品的系统还包括第一无线通讯模块，用于实现所述从机处理单元与所述360度图像采集装置、所述转动驱动装置和所述触觉装置之间的无线通讯。

优选地，所述的帮助盲人寻找物品的系统还包括第二无线通讯模块，用于实现所述从机处理单元与所述主机处理单元之间的无线通讯。

优选地，所述360度图像采集装置、所述转动驱动装置和所述触觉装置分别与所述第一无线通讯模块电连接，所述第一无线通讯模块、所述从机处理单元、所述第二无线通讯模块和所述主机处理单元依次电连接。

优选地，所述360度图像采集装置、所述转动驱动装置和所述从机处理单元呈一体化设置。

进一步地，本发明还提供了一种基于所述的帮助盲人寻找物品的系统的物品寻找方法，包括以下步骤：

利用360度图像采集装置对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；

利用中央控制器对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；

利用触觉装置将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。

本发明产生的有益效果：

1、本发明所公开的帮助盲人寻找物品的系统及方法，包括：360度图像采集装置，用于对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；中央控制器，用于对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；触觉装置，用于将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人；通过设置360度图像采集装置，能够一次遍历360度的环境，从而减少盲人的行动量，更加便利，更容易为盲人所接受；通过设置触觉装置，通过偏振器的有序组合震动达到人机交互的目的，从而避免环境的噪声对盲人造成不必要的干扰；

2、所述中央控制器包括从机处理单元和主机处理单元，所述从机处理单元用于接收360度图像采集装置发送来的图像信息，并接收到的图像信息发送给主机处理单元；同时，用于接收所述主机处理单元发送来的所要查找的物品的相对位置信息，并将接收到的所要查找的物品的相对位置信息发送给所述触觉装置；通过设置从机处理单元和主机处理单元，将图像识别的工作进行分工处理，并针对不同的情况下拍出的图片：如家中与外界的不同，以及对象的不同：如床和水杯在同一个房间存在数量上的区别，而改变预选框数量从而减少服务器的运算量，以达到提高识别效率，减少识别时间的目的；

3、所述的帮助盲人寻找物品的系统还包括转动驱动装置，用来驱动所述360度图像采集装置进行转动实现对盲人所处环境进行360度全方位图像信息的采集；通过设置转动驱动装置，能够减少盲人的配合动作，快速采集图像的同时，提高盲人的使用体验；

4、所述的帮助盲人寻找物品的系统还包括第一无线通讯模块，用于实现所述从机处理单元与所述360度图像采集装置、所述转动驱动装置和所述触觉装置之间的无线通讯；所述的帮助盲人寻找物品的系统还包括第二无线通讯模块，用于实现所述从机处理单元与所述主机处理单元之间的无线通讯；通过设置无线通讯模块，更加方便盲人的使用，进一步提高了用户体验。

附图说明

图1为本发明的帮助盲人寻找物品的系统的结构框图；

图2为本发明的帮助盲人寻找物品的方法的流程框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参见图1所示，一种帮助盲人寻找物品的系统，包括：360度图像采集装置，用于对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；中央控制器，用于对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；触觉装置，用于将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。所述中央控制器包括从机处理单元和主机处理单元，所述从机处理单元用于接收360度图像采集装置发送来的图像信息，并接收到的图像信息发送给主机处理单元；同时，用于接收所述主机处理单元发送来的所要查找的物品的相对位置信息，并将接收到的所要查找的物品的相对位置信息发送给所述触觉装置。所述的帮助盲人寻找物品的系统还包括转动驱动装置，用来驱动所述360度图像采集装置进行转动实现对盲人所处环境进行360度全方位图像信息的采集。所述360度图像采集装置包括两个摄像头，所述转动驱动装置的输出轴上共轴线设置有联动杆，各所述摄像头位置对应设置于所述联动杆的两端。具体实施时，还可以为：所述360度图像采集装置包括摄像头，所述摄像头共轴线设置于所述转动驱动装置的输出轴上。对于转动驱动装置的具体结构，为公知技术，图中未表示，在此不再累述。所述的帮助盲人寻找物品的系统还包括第一无线通讯模块，用于实现所述从机处理单元与所述360度图像采集装置、所述转动驱动装置和所述触觉装置之间的无线通讯。所述的帮助盲人寻找物品的系统还包括第二无线通讯模块，用于实现所述从机处理单元与所述主机处理单元之间的无线通讯。所述360度图像采集装置、所述转动驱动装置和所述触觉装置分别与所述第一无线通讯模块电连接，所述第一无线通讯模块、所述从机处理单元、所述第二无线通讯模块和所述主机处理单元依次电连接。所述360度图像采集装置、所述转动驱动装置和所述从机处理单元呈一体化设置。

参见图2所示，本实施例中还提供了一种基于所述的帮助盲人寻找物品的系统的物品寻找方法，包括以下步骤：利用360度图像采集装置对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；利用中央控制器对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；利用触觉装置将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。

本实施例中所述帮助盲人寻找物品的系统及方法，包括：360度图像采集装置，用于对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；中央控制器，用于对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；触觉装置，用于将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人；通过设置360度图像采集装置，能够一次遍历360度的环境，从而减少盲人的行动量，更加便利，更容易为盲人所接受；通过设置触觉装置，通过偏振器的有序组合震动达到人机交互的目的，从而避免环境的噪声对盲人造成不必要的干扰。

本实施例中所述帮助盲人寻找物品的系统及方法，所述中央控制器包括从机处理单元和主机处理单元，所述从机处理单元用于接收360度图像采集装置发送来的图像信息，并接收到的图像信息发送给主机处理单元；同时，用于接收所述主机处理单元发送来的所要查找的物品的相对位置信息，并将接收到的所要查找的物品的相对位置信息发送给所述触觉装置；通过设置从机处理单元和主机处理单元，将图像识别的工作进行分工处理，并针对不同的情况下拍出的图片：如家中与外界的不同，以及对象的不同：如床和水杯在同一个房间存在数量上的区别，而改变预选框数量从而减少服务器的运算量，以达到提高识别效率，减少识别时间的目的。

本实施例中所述帮助盲人寻找物品的系统及方法，所述的帮助盲人寻找物品的系统还包括转动驱动装置，用来驱动所述360度图像采集装置进行转动实现对盲人所处环境进行360度全方位图像信息的采集；通过设置转动驱动装置，能够减少盲人的配合动作，快速采集图像的同时，提高盲人的使用体验。

本实施例中所述帮助盲人寻找物品的系统及方法，所述的帮助盲人寻找物品的系统还包括第一无线通讯模块，用于实现所述从机处理单元与所述360度图像采集装置、所述转动驱动装置和所述触觉装置之间的无线通讯；所述的帮助盲人寻找物品的系统还包括第二无线通讯模块，用于实现所述从机处理单元与所述主机处理单元之间的无线通讯；通过设置无线通讯模块，更加方便盲人的使用，进一步提高了用户体验。

本实施例中所述帮助盲人寻找物品的系统的使用过程为：首先盲人通过给予的一个类似遥控器的装置启动服务，并通过提供的按钮告知机器其想找的物品；从机处理单元开始控制摄像装置工作：转动驱动装置带动其上的两个摄像头，有规则的旋转180度，摄像头将会完整的拍摄下360度环境内所有的情况，并将这些照片储存在从机的内部；从机将通过网络将此次采集的图片发给主机，主机依据其内部的程序对图片进行识别，得出每个图片内部：1.是否包含对象，2.对象在什么位置出现，3.判断出相对距离大小，然后将这些信息汇总，处理后传回从机两种情况：1对象是否存在，2若存在，对象的相对位置在哪；从机得到传回的信息后，根据实际情况控制人机交互装置将信息告知于盲人：例:如未发现对象：五个偏振器按照一定规则工作，如1，3，5号依次振动，盲人根据事先告知的功能情况，即可了解实际环境的情况，以此类推，告知盲人对象是否存在，存在于何处的功能均可实现。

本实施例中所述帮助盲人寻找物品的系统，包括360度图像采集装置，内置从机处理单元，外部主机处理单元，触觉装置；所述主机处理单元设有通过优化算法提高对象检测识别效率的方法的处理模块，此算法能够根据输入图片的信息自动选择合适的预选框的数量，从而优化了主机的运算量，提高了识别的效率；摄像头安装于联动杆上，由舵机带动使其能够遍历整个360度的环境；所述触觉装置含有五个偏振器，盲人用户能够根据通过不同的偏振器的震动情况和预先告知其信息来判断出目标的相对位置。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种帮助盲人寻找物品的系统，其特征在于：包括：

360度图像采集装置，用于对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；

中央控制器，用于对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；

触觉装置，用于将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。

2.根据权利要求1所述的帮助盲人寻找物品的系统，其特征在于：所述中央控制器包括从机处理单元和主机处理单元，

所述从机处理单元用于接收360度图像采集装置发送来的图像信息，并接收到的图像信息发送给主机处理单元；同时，用于接收所述主机处理单元发送来的所要查找的物品的相对位置信息，并将接收到的所要查找的物品的相对位置信息发送给所述触觉装置。

3.根据权利要求2所述的帮助盲人寻找物品的系统，其特征在于：还包括转动驱动装置，用来驱动所述360度图像采集装置进行转动实现对盲人所处环境进行360度全方位图像信息的采集。

4.根据权利要求3所述的帮助盲人寻找物品的系统，其特征在于：所述360度图像采集装置包括两个摄像头，所述转动驱动装置的输出轴上共轴线设置有联动杆，各所述摄像头位置对应设置于所述联动杆的两端。

5.根据权利要求3所述的帮助盲人寻找物品的系统，其特征在于：所述360度图像采集装置包括摄像头，所述摄像头共轴线设置于所述转动驱动装置的输出轴上。

6.根据权利要求4或5所述的帮助盲人寻找物品的系统，其特征在于：还包括第一无线通讯模块，用于实现所述从机处理单元与所述360度图像采集装置、所述转动驱动装置和所述触觉装置之间的无线通讯。

7.根据权利要求6所述的帮助盲人寻找物品的系统，其特征在于：还包括第二无线通讯模块，用于实现所述从机处理单元与所述主机处理单元之间的无线通讯。

8.根据权利要求7所述的帮助盲人寻找物品的系统，其特征在于：所述360度图像采集装置、所述转动驱动装置和所述触觉装置分别与所述第一无线通讯模块电连接，所述第一无线通讯模块、所述从机处理单元、所述第二无线通讯模块和所述主机处理单元依次电连接。

9.根据权利要求8所述的帮助盲人寻找物品的系统，其特征在于：所述360度图像采集装置、所述转动驱动装置和所述从机处理单元呈一体化设置。

10.一种基于权利要求1-9中任一所述的帮助盲人寻找物品的系统的物品寻找方法，其特征在于：包括以下步骤：

利用360度图像采集装置对盲人所处环境进行360度全方位图像信息的采集，并将采集到图像信息发送给中央控制器；

利用中央控制器对接收到的图像信息进行识别计算处理，并将计算得到的所要查找的物品的相对位置信息发送给触觉装置；

利用触觉装置将接收到的所要查找的物品的相对位置信息以触觉的方式告知给盲人。