CN110489005B - 具有触摸定位功能的二维点显器及其二维触点驱动方法 - Google Patents

具有触摸定位功能的二维点显器及其二维触点驱动方法 Download PDF

Info

Publication number
CN110489005B
CN110489005B CN201910579960.0A CN201910579960A CN110489005B CN 110489005 B CN110489005 B CN 110489005B CN 201910579960 A CN201910579960 A CN 201910579960A CN 110489005 B CN110489005 B CN 110489005B
Authority
CN
China
Prior art keywords
contact
user
main control
control module
distance sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910579960.0A
Other languages
English (en)
Other versions
CN110489005A (zh
Inventor
郑雅羽
谢燕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910579960.0A priority Critical patent/CN110489005B/zh
Publication of CN110489005A publication Critical patent/CN110489005A/zh
Application granted granted Critical
Publication of CN110489005B publication Critical patent/CN110489005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及具有触摸定位功能的二维点显器及其二维触点驱动方法，在触点模组外的边界设置距离传感器获取距离变化数据，计算用户阅读位置的坐标，辅以摄像头采集图像，计算获得用户双手指尖的具体位置，以主控制模块中预设的声音信息对用户做出提示，辅助用户进行触摸阅读，有效改善目前普遍存在的各种问题，用户体验大幅提高。本发明可精确定位用户双手触摸阅读位置、方向、速率，采取不同的触点刷新策略，节约硬件资源，有效避免因用户双手阻挡造成的触点升降异常，准确性高，可在相对廉价、性能较差的设备上快速实现阅读定位，语音提示引导用户，提高识别率，使得用户体验得到巨大提升，可拓宽使用场景。

Description

具有触摸定位功能的二维点显器及其二维触点驱动方法
技术领域
本发明涉及教授盲人、聋人或哑人或与盲人、聋人或哑人通信的技术领域，特别涉及一种针对视障人群的具有触摸定位功能的二维点显器及其二维触点驱动方法。
背景技术
目前，全世界有超过两亿人视力受损，其中全盲人数超过三千万，数量庞大的视障人群需要社会各界的关爱，而现在针对视障人群的阅读设备少之又少，智能化程度极其有限，急需升级优化。
作为盲人最重要的获取信息的设备，二维点显器作为盲文阅读器的一种，在盲人的生活中扮演着越来越重要的作用。
现阶段的盲文阅读器主要有压电陶瓷驱动、电磁式驱动、电机驱动、记忆合金等等解决方案，然而，这些解决方案存在着以下弊端：
（1）往往存在触点行程不够而导致的阅读体验不好的问题；
（2）当用户双手没有及时离开触点表面，即对触点保持压力时，容易造成触点升降异常，严重时可能造成升降机构损坏；
（3）设备无法向用户提供准确合适的交互信息，无法帮助用户对触点信息进行识别；
国内在这方面比较有代表性的产品包括由清华大学开发的盲文点显器v80，其需要配合电脑和读屏软件使用，和用户交互较少，停留在最基本的提供触点信息的阶段；而北京交通大学开发的基于记忆合金的盲文点显器，其机械结构复杂，可靠性低，可交互性同样较差；现有的国际上比较著名的盲文点显器厂商有Humanware、DOT等，同样存在类似问题。
进一步来说，现有的二维点显器还缺少对用户阅读位置的精确定位，因而无法提供更进一步的交互和扩展功能。随着技术的发展，市场开始出现一些带有触点信息阅读引导功能的二维点显器，例如公开号为CN101576788A的专利中提出，通过用户手指插入引导环，来引导用户进行触点信息的阅读，但是这种方法大大束缚了用户的双手，对用户体验有较大影响，不能精确定位用户双手阅读位置，效果一般；而且设备结构复杂，量产难度大，后期维护复杂。
发明内容
本发明解决了现有技术中，无法在用户触摸阅读的同时提供有效交互、无法消除因障碍阻拦而造成的触点升降异常或触点升降机构损坏、无法定位用户阅读进度的问题，提供了一种优化的具有触摸定位功能的二维点显器及其二维触点驱动方法。
本发明所采用的技术方案是，一种具有触摸定位功能的二维触点驱动方法，所述二维触点包括以A行B列排列的N个触点模组，N个触点模组外设有边界；
所述方法包括以下步骤：
步骤1：对应N个触点模组在边界上设置距离传感器；
步骤2：主控制模块控制触点升降，预设待触摸阅读内容区域；
步骤3：初始化距离传感器，获得初始值M 0 ，设定距离传感器读数触发范围为（M 0 -C，M 0 -D），C＞D＞0；
步骤4：读取距离传感器的数据，当读数处于（M 0 -C，M 0 -D）内时，由单片机获得距离传感器的位置信息并转化为I/O口高低电平信息、输入I/O扩展芯片，进行下一步，否则，重复步骤4；
步骤5：I/O扩展芯片将I/O口高低电平信息传输至主控制模块，判断用户触摸位置，将触摸位置标记为L；
步骤6：启动摄像头，采集二维触点显示区域的用户的双手图像；
步骤7：主控制模块对双手图像进行处理，识别用户的指尖位置，对步骤5得到的触摸位置L进行修正，得出用户当前双手阅读区域范围；
步骤8：主控制模块将步骤7得到的用户当前双手阅读区域范围和步骤2的待触摸阅读内容区域进行比对，若匹配程度大于X%，则调取语音提示信息并播放，否则，返回步骤4；
步骤9：判断主控制模块是否接收到结束信号，若是，进行下一步；否则返回步骤4；
步骤10：显示结束。
优选地，所述步骤1中，任一触点模组包括m行n列排列的m*n个触点，相邻2个触点的中心对应的边界上设有距离传感器。
优选地，所述步骤2包括以下步骤：
步骤2.1：基于待触摸阅读内容，主控制模块获取已存储的触点升降信息；
步骤2.2：主控制模块通过I/O口控制译码器的输入端，译码器根据输入的信息改变任一输出引脚电平，使能待触摸阅读内容区域的触点模组的电源芯片；
步骤2.3：主控制模块通过I/O口控制电机驱动芯片，驱动触点模组的触点进行升降；
步骤2.4：主控制模块通过I/O口控制译码器关闭当前区域的触点电源，控制锁存器固定当前区域的I/O口电平信息；
步骤2.5：主控制模块通过I/O口控制译码器的输入端，译码器根据输入的信息输出停止使能当前区域的触点模组；
步骤2.6：完成待触摸阅读内容区域的预设。
优选地，所述步骤3中，获得初始值M 0 包括以下步骤：
步骤3.1：主控制模块通过I/O口使能单片机供电芯片使能脚，单片机上电；
步骤3.2：单片机初始化，配置距离传感器；
步骤3.3：获得距离传感器初始值M 0 。
优选地，所述步骤4包括以下步骤：
步骤4.1：单片机设定一用于通知主控制模块做好数据接收准备的读数触发I/O口，设定n个用于确定数据发生变化的距离传感器位置的片选I/O口；
步骤4.2：单片机根据触点模组排列方式确定c个位置信息输出I/O口，用以输出2 c 个位置信息；
步骤4.3：将二维触点显示区域分割成（m*A*n*B）个区域；
步骤4.4：设定任一距离传感器的读数与步骤4.3中任一分割区域的对应关系；
步骤4.5：任一距离传感器的输出端发送数据，记录时间戳T a1 ；当前距离传感器的输入端接收数据，记录时间戳T b1 ；
步骤4.6：计时间延迟T d ，当前距离传感器的输出端发送数据，记录时间戳T a2 ；当前距离传感器的输入端接收数据，记录时间戳T b2 ；
步骤4.7：基于时间戳T a1 、T b1 、T a2 、T b2 计算得到距离传感器实际读数；
步骤4.8：单片机获取距离传感器读数，当读数处于（M 0 -C，M 0 -D）内时，通过步骤4.4设定的对应关系确定用户手指所在区域；
步骤4.9：单片机将用户手指所在区域的位置信息转为I/O口高低电平信息、输入I/O扩展芯片，进行下一步，否则，重复步骤4.5。
优选地，所述步骤7包括以下步骤：
步骤7.1：主控制模块对摄像头采集的双手图像进行预处理；
步骤7.2：基于预处理后的图像获取用户的双手指尖位置信息；
步骤7.3：根据所述用户双手轮廓信息对距离传感器所得到的位置L进行修正，得出用户当前双手阅读区域范围。
优选地，所述步骤7.1中，预处理包括几何矫正、降噪、对比度增强、滤波。
优选地，所述步骤8包括以下步骤：
步骤8.1：主控制模块对待触摸阅读内容区域和用户当前双手阅读区域范围进行比对；
步骤8.2：若重叠百分比大于X%，则判断匹配成功，进行下一步；反之判断匹配失败，跳转至步骤4；
步骤8.3：主控制模块使能功放芯片，播放已存储的语音提示信息。
一种采用二维触点驱动方法的具有触摸定位功能的智能二维点显器，所述二维点显器包括连接至主控制模块的二维触点显示区域、声音和震动提示模块；
所述二维触点显示区域的四周分布设有距离传感器，所述距离传感器通过单片机连接至主控制模块，所述二维触点显示区域中心上部设有连接至主控制模块的采集模块；
所述主控制模块包括：
一存储单元，用于存储距离传感器获得的每一处阅读位置的坐标；以及每一触点显示区域对应的声音提示信息；
一I/O扩展单元，用于通过I2C总线扩展I/O口，扩展主控制器I/O资源，方便更多距离传感器的扩展；
一通信单元，用于和触点显示模块、采集模块、提示模块进行通信，从存储单元中提取正确的提示信息，发送给提示模块进行播放；
一中央处理器，用于处理摄像头采集图像并将需要显示的触点信息通过算法转化为I/O口高低电平信息驱动触点升降；
一机器学习单元，用于综合计算分析距离传感器获取数据和摄像头采集图像、训练模型、计算出一套用户个体定制化的触点刷新策略。
优选地，所述采集模块配合连接有环境光检测补偿模块。
本发明提供了一种优化的具有触摸定位功能的二维点显器及其二维触点驱动方法，通过在触点模组外的边界处对应设置距离传感器，利用距离传感器获取的距离变化数据计算用户阅读位置的坐标，辅以摄像头采集图像，计算获得用户双手指尖的具体位置，并以主控制模块中预设的声音信息对用户做出提示，辅助用户进行触摸阅读，有效改善目前普遍存在的各种问题，用户体验大幅提高。
本发明通过距离传感器和摄像头综合定位用户双手阅读位置，单片机对距离传感器读数进行预处理后传给主控制器，主控制器计算出用户双手准确位置和指尖形状，和存储单元中预设提示信息进行匹配，智能化发出提示信息；可以精确定位用户双手触摸阅读位置、方向、速率，采取不同的触点刷新策略，节约硬件资源，有效避免因用户双手阻挡造成的触点升降异常，准确性高，可在相对廉价、性能较差的设备上快速实现阅读位置定位；通过总结计算用户阅读方向和速度，计算用户画像，采取定制化的刷新策略；也可根据获得的触摸位置，根据不同的触点显示信息，通过语音提示引导用户从合适的位置开始对触点信息进行触摸，提高识别率，使得用户体验得到巨大提升；本发明在一些使用场景下，触点设备还可以逆向作为输入设备操作，用户直接触摸触点，主控制器控制对应触点降落，起到触点信息传播的作用，拓宽了二维点显器的使用场景。
本发明的有益效果在于：
1.针对触点显示场景和其他信息显示场景的不同，提出基于距离传感器的触摸位置定位方法，通过不同位置距离传感器读数变化确定用户双手阅读位置，用以匹配声音提示信息，提升用户体验；
2.针对触点升降可能遇到阻碍的场景，对用户双手触摸位置对触点停止升降，并且通过语音和振动提醒用户，防止触点模组的损坏，防止信息刷新不完整；
3.主控制模块综合距离传感器返回数据和摄像头采集的图像判断用户的阅读习惯，阅读方向和速度。将每个时间点采集到的数据按时间先后顺序抽象为已知序列，搭建深度学习训练权重参数，根据训练完成的模型由已知序列来预测序列在下一个时间点具有最大置信度的输出。同时计算采集到的真实数据和预测输出之间的差异，不断优化模型来提高准确度，制定针对性的触点模组刷新策略，并且随着使用时间的推移，准确度不断提高；
4.通过在触点显示区域四个侧面设置距离传感器，可以获得用户双手手指外侧位置和内侧位置，配合摄像头采集图像，相比传统红外定位方法，定位更加精准，可以最大限度减少因用户手指相互遮挡造成的触摸位置判断不准；
5.根据触点模组显示的不同信息，计算出不同的触摸引导方法，结合距离传感器数据和摄像头采集图像，通过语音提示引导用户，对不同的触点信息，从不同的位置、不同的角度开始进行触摸，使得用户对触点信息的识别率大大提升，不再需要旁人进行辅助，真正实现智能化的二维点显器；
6.根据距离传感器和摄像头综合获得的用户双手位置信息，可将二维点显器作为逆向输入设备，主控制器控制用户手指划过的区域的触点降低，为触点信息的传播提供了新思路。
附图说明
图1为本发明中二维点显器的结构示意图；
图2为本发明中二维触点驱动方法的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种具有触摸定位功能的二维触点驱动方法，所述二维触点包括以A行B列排列的N个触点模组1，N个触点模组外设有边界2。
所述方法包括以下步骤。
步骤1：对应N个触点模组1在边界2上设置距离传感器3。
所述步骤1中，任一触点模组1包括m行n列排列的m*n个触点，相邻2个触点的中心对应的边界上设有距离传感器3。
本发明中，距离传感器3设置于相邻2个触点的中心对应的边界2上，即每个距离传感器3的传感位置落于任意2个相邻的触点间，包括任一触点模组1内相邻的2个触点间和相邻的2个触点模组1构成的相邻2个触点间。
本发明中，显而易见地，m和n分别对应行和列，即对应A行B列的阵列，距离传感器3的个数为2mA+2nB-4个；当然，距离传感器3的设置方式及设置数量可以依据本领域技术人员的需求、根据距离传感器3的测距原理、及触点模组1的排列方式自行设置。
本发明中，显而易见地，m和n、A和B均大于等于1。
本发明中，通过在设备边界2都设置距离传感器3，可以获得用户双手指尖外侧和内侧的坐标进行计算，使得结果更准确。
步骤2：主控制模块控制触点升降，预设待触摸阅读内容区域。
所述步骤2包括以下步骤：
步骤2.1：基于待触摸阅读内容，主控制模块获取已存储的触点升降信息；
步骤2.2：主控制模块通过I/O口控制译码器的输入端，译码器根据输入的信息改变任一输出引脚电平，使能待触摸阅读内容区域的触点模组1的电源芯片；
步骤2.3：主控制模块通过I/O口控制电机驱动芯片，驱动触点模组1的触点进行升降；
步骤2.4：主控制模块通过I/O口控制译码器关闭当前区域的触点电源，控制锁存器固定当前区域的I/O口电平信息；
步骤2.5：主控制模块通过I/O口控制译码器的输入端，译码器根据输入的信息输出停止使能当前区域的触点模组1；
步骤2.6：完成待触摸阅读内容区域的预设。
本发明中，步骤2主要完成了待触摸阅读内容的呈现，主控制模块将已经存储于存储单元中的触点升降信息转为一系列I/O口高低电平变化信息，并驱动触点进行升降、锁定。
本发明中，在主控制模块的I/O口资源有限的情况下，以有限的I/O口、通过译码器整合，可以控制更多的电源芯片；根据译码器的输入确认不同的输出。
步骤3：初始化距离传感器3，获得初始值M 0 ，设定距离传感器3读数触发范围为（M 0 - C，M 0 -D），C＞D＞0。
所述步骤3中，获得初始值M 0 包括以下步骤：
步骤3.1：主控制模块通过I/O口使能单片机供电芯片使能脚，单片机上电；
步骤3.2：单片机初始化，配置距离传感器3；
步骤3.3：获得距离传感器3初始值M 0 。
本发明中，由一个单片机控制多个距离传感器3工作，单片机将距离传感器3的读数转化为I/O信息并与主控制模块交互，进行后续的操作。
本发明中，M 0 是距离传感器3读取的初始值，当用户手指进行触摸阅读的时候，这个值发生改变，而不进行阅读时则一直保持这个初始值。
本发明中，相对设置的距离传感器3，其M 0 值相同。
本发明中，距离传感器3读数触发范围为（M 0 -C，M 0 -D），故基于边界2单边的所有距离传感器3对触点显示区域进行分割，每一单位对应的距离传感器3读数范围分别为(C-D)/ (A+1)、(C-D)/(B+1)。
步骤4：读取距离传感器3的数据，当读数处于（M 0 -C，M 0 -D）内时，由单片机获得距离传感器3的位置信息并转化为I/O口高低电平信息、输入I/O扩展芯片，进行下一步，否则，重复步骤4。
所述步骤4包括以下步骤：
步骤4.1：单片机设定一用于通知主控制模块做好数据接收准备的读数触发I/O口，设定n个用于确定数据发生变化的距离传感器3位置的片选I/O口；
步骤4.2：单片机根据触点模组1排列方式确定c个位置信息输出I/O口，用以输出2 c 个位置信息；
步骤4.3：将二维触点显示区域分割成（m*A*n*B）个区域；
步骤4.4：设定任一距离传感器3的读数与步骤4.3中任一分割区域的对应关系；
步骤4.5：任一距离传感器3的输出端发送数据，记录时间戳T a1 ；当前距离传感器3的输入端接收数据，记录时间戳T b1 ；
步骤4.6：计时间延迟T d ，当前距离传感器3的输出端发送数据，记录时间戳T a2 ；当前距离传感器3的输入端接收数据，记录时间戳T b2 ；
步骤4.7：基于时间戳T a1 、T b1 、T a2 、T b2 计算得到距离传感器3实际读数；
步骤4.8：单片机获取距离传感器3读数，当读数处于（M 0 -C，M 0 -D）内时，通过步骤4.4设定的对应关系确定用户手指所在区域；
步骤4.9：单片机将用户手指所在区域的位置信息转为I/O口高低电平信息、输入I/O扩展芯片，进行下一步，否则，重复步骤4.5。
本发明中，以片选I/O口反馈主控制模块具体数据变化发生于哪个距离传感器，一般来说，以一个I/O口高电平代表一个距离传感器3、低电平代表另一个距离传感器3。
本发明中，显而易见地，n和c均为大于0的正整数。
本发明中，距离传感器3的位置信息是指当读数落入（M 0 -C，M 0 -D）的范围内时，认为用户手指触摸在触点区域，单片机统计连在单片机上的距离传感器3的读数，判断具体用户在哪一格触摸，然后将这些位置信息转化为I/O口信息进行输出。
本发明中，步骤4.4的对应关系是指每一个区域对应一个距离传感器3的读数，当单片机读到一个距离传感器3的读数落入（M 0 -C，M 0 -D）的范围时，根据对应关系可以判断用户的双手触摸位置具体在哪个区域里。
本发明中，对于距离传感器3，可以采用包括但不限于TOF测距传感器、超声波传感器等体积合适的传感器，以TOF测距传感器为例，其可以根据时间戳和一小段延时而进行计算得出距离传感器3读数，算法自带，精确性高。
步骤5：I/O扩展芯片将I/O口高低电平信息传输至主控制模块，判断用户触摸位置，将触摸位置标记为L。
本发明中，距离传感器3读数传给单片机，单片机处理后，转为I/O口高低电平信息，I/O口高低电平信息传输至I/O口扩展芯片，再通过I2C总线传输至主控制模块，具体来说，为主控制模块中的中央处理器，中央处理器判断用户具体的触摸位置后进行标记；引入的单片机大大减小了主控制模块的数据处理量，也减小了对主控制模块的处理能力的要求，降低成本，提高了设备的反应速度。
步骤6：启动摄像头4，采集二维触点显示区域的用户的双手图像。
步骤7：主控制模块对双手图像进行处理，识别用户的指尖位置，对步骤5得到的触摸位置L进行修正，得出用户当前双手阅读区域范围。
所述步骤7包括以下步骤：
步骤7.1：主控制模块对摄像头4采集的双手图像进行预处理；
所述步骤7.1中，预处理包括几何矫正、降噪、对比度增强、滤波。
步骤7.2：基于预处理后的图像获取用户的双手指尖位置信息；
步骤7.3：根据所述用户双手轮廓信息对距离传感器3所得到的位置L进行修正，得出用户当前双手阅读区域范围。
本发明中，图像的预处理包括但不限于几何矫正、降噪、对比度增强、滤波，此为本领域技术人员容易理解的内容，本领域技术人员可以依据需求自行设置。
本发明中，位置修正一般包括以下步骤：（1）根据垂直上方的摄像头4采集的图像得出平面坐标系；（2）中央处理器对图像进行预处理后，依靠特征点提取出手指指尖的坐标；（3）将图像还原出的平面坐标系与距离传感器3阵列的平面坐标系拟合；（4）通过设置一定的权重加权计算得出最终的手指指尖坐标。
本发明中，在二维点显器不断反复进行步骤4至7的过程中，可以通过计算提高对用户双手位置的识别精度。
本发明中，用户可以预先设定特定手势，对应特定触点显示操作，如放大、遮屏等，通过用户手势进行触发，避免用户去寻找实体按键的位置，交互更友好。
本发明中，主控制模块综合距离传感器3返回数据和摄像头4采集的图像判断用户的阅读习惯，阅读方向和速度；将每个时间点采集到的数据按时间先后顺序抽象为已知序列，搭建深度学习训练权重参数，根据训练完成的模型由已知序列来预测序列在下一个时间点具有最大置信度的输出，同时计算采集到的真实数据和预测输出之间的差异，不断优化模型来提高准确度，制定针对性的触点模组1刷新策略，并且随着使用时间的推移，准确度不断提高。
步骤8：主控制模块将步骤7得到的用户当前双手阅读区域范围和步骤2的待触摸阅读内容区域进行比对，若匹配程度大于X%，则调取语音提示信息并播放，否则，返回步骤4。
所述步骤8包括以下步骤：
步骤8.1：主控制模块对待触摸阅读内容区域和用户当前双手阅读区域范围进行比对；
步骤8.2：若重叠百分比大于X%，则判断匹配成功，进行下一步；反之判断匹配失败，跳转至步骤4；
步骤8.3：主控制模块使能功放芯片，播放已存储的语音提示信息。
本发明中，可根据不同触点显示信息，语音提示用户从不同的位置、不同的方向开始触摸，引导用户更好地对触点信息进行识别，提升用户识别的准确性；也可根据用户的使用习惯，由用户设置在设备等某一区域开始显示，更加人性化。
本发明中，步骤8.1是指，主控制模块的中央处理器提取存储在存储单元中的语音提示文件所附带的位置信息，将该位置信息和距离传感器3和摄像头4综合获得的用户双手指尖的位置信息进行比对；当检测到用户在触摸某个区域时，语音播放这个区域盲文信息或者触点显示的图形、内容等，对用户进行辅助提示。
本发明中，提示音包括但不限于二维触点信息对应语音、对用户操作的提示，如在需要进行刷新操作而用户双手仍阻碍着触点升降时可以对用户进行声音提示和震动提示。
本发明中，用户可以自定义百分比X以提升用户体验，一般情况下，X可以取90以上的值。
步骤9：判断主控制模块是否接收到结束信号，若是，进行下一步；否则返回步骤4。
步骤10：显示结束。
本发明还涉及一种采用二维触点驱动方法的具有触摸定位功能的智能二维点显器，所述二维点显器包括连接至主控制模块的二维触点显示区域、声音和震动提示模块；
所述二维触点显示区域的四周分布设有距离传感器3，所述距离传感器3通过单片机连接至主控制模块，所述二维触点显示区域中心上部设有连接至主控制模块的采集模块；
所述主控制模块包括：
一存储单元，用于存储距离传感器3获得的每一处阅读位置的坐标；以及每一触点显示区域对应的声音提示信息；
一I/O扩展单元，用于通过I2C总线扩展I/O口，扩展主控制器I/O资源，方便更多距离传感器3的扩展；
一通信单元，用于和触点显示模块、采集模块、提示模块进行通信，从存储单元中提取正确的提示信息，发送给提示模块进行播放；
一中央处理器，用于处理摄像头4采集图像并将需要显示的触点信息通过算法转化为I/O口高低电平信息驱动触点升降；
一机器学习单元，用于综合计算分析距离传感器3获取数据和摄像头4采集图像、训练模型、计算出一套用户个体定制化的触点刷新策略。
所述采集模块配合连接有环境光检测补偿模块5。
本发明中，二维触点显示区域包括N个触点模组1，其外侧设有边界2。
本发明中，二维触点显示区域本身为一个模块，其内设有译码单元、H桥电机驱动单元、锁存器单元、触点模组单元和通信单元，二维触点显示区域整体构成触点显示模块，其工作原理如步骤2.1至步骤2.6所述，事实上，所有的显示均遵循此原理。
本发明中，在二维触点显示区域的四周设置距离传感器3、微处理器等采集模块，距离传感器3的具体位置为相邻触点中间对应的边界上。
本发明中，二维点显器设置包括扬声器6、震动马达在内的提示模块，设置包括中央处理器、I/O扩展单元在内的主控制模块，设置包括锁存器、译码器、H桥电机驱动芯片在内的二维触点升降驱动模块，以及包括摄像头4、距离传感器3在内的采集模块，采集模块对应设置环境光检测补偿模块5。
本发明中，一般情况下，摄像头4采集图像时，采用二维触点显示区域左上角的触点位置为相机坐标系的原点。
本发明中，为了保证拍摄效果，环境光检测补偿模块5检测得到当前的光强度，在环境光较弱的情况下可以通过传感器反馈的信号实现补光功能，避免因照明不足造成图像获取不良，一般来说，其由固定架固定于摄像头4下方；环境光检测补偿模块5有助于提高距离传感器3读数的准确性；补光可以采用LED灯。
本发明中，显而易见地，主控制模块通过电源模块供电，电源模块一般包括电压转换单元和通信单元。
本发明中，进一步来说，中央处理器可以通过距离传感器3读数和摄像头4采集画面分析，训练内建模型，计算出一套针对个体用户定制化的刷新策略，如根据用户阅读方向和速率采取不同的触点刷新策略，有效规避刷新不良，阅读信息缺失等问题。
本发明中，还可以根据摄像头4采集用户特定的手势，触发特定功能。
本发明中，在用户需要进行触点信息双手绘制的场景下，用户可以用手指触摸触点，主控制模块获得用户手指位置信息之后，控制用户运行轨迹上的触点降落，实现二维点显器的逆向操作，为触点信息的传播提供了新思路；具体来说，主控制模块可以将所有触点模组1全部升起（或降落），当用户手指划过触点时，主控制模块根据计算出的位置信息，将轨迹上的触点模组1降落（或升起），实现触点信息的记录。
本发明中，以上的硬件对接为本领域技术人员容易理解的内容，本领域技术人员可以任选合适的芯片进行连接、完成二维点显机整机的配置，特别是根据实际单片机资源和性能，自由调节单片机数量以及单片机和主控制器接口的数据传输接口的数量，将距离信息转为I/O口高低电平信息，保证良好的通讯和迅速的反应。
本发明通过在触点模组1外的边界2处对应设置距离传感器3，利用距离传感器3获取的距离变化数据计算用户阅读位置的坐标，辅以摄像头4采集图像，计算获得用户双手指尖的具体位置，并以主控制模块中预设的声音信息对用户做出提示，辅助用户进行触摸阅读，有效改善目前普遍存在的各种问题，用户体验大幅提高。
本发明通过距离传感器3和摄像头4综合定位用户双手阅读位置，单片机对距离传感器3读数进行预处理后传给主控制器，主控制器计算出用户双手准确位置和指尖形状，与存储单元中预设提示信息进行匹配，智能化发出提示信息；可以精确定位用户双手触摸阅读位置、方向、速率，采取不同的触点刷新策略，节约硬件资源，有效避免因用户双手阻挡造成的触点升降异常，准确性高，可在相对廉价、性能较差的设备上快速实现阅读位置定位；通过总结计算用户阅读方向和速度，计算用户画像，采取定制化的刷新策略；也可根据获得的触摸位置，根据不同的触点显示信息，通过语音提示引导用户从合适的位置开始对触点信息进行触摸，提高识别率，使得用户体验得到巨大提升；本发明在一些使用场景下，触点设备还可以逆向作为输入设备操作，用户直接触摸触点，主控制器控制对应触点降落，起到触点信息传播的作用，拓宽了二维点显器的使用场景。

Claims (8)

1.一种具有触摸定位功能的二维触点驱动方法，其特征在于：所述二维触点包括以A行B列排列的N个触点模组，N个触点模组外设有边界；
所述方法包括以下步骤：
步骤1：对应N个触点模组在边界上设置距离传感器；任一触点模组包括m行n列排列的m*n个触点，相邻2个触点的中心对应的边界上设有距离传感器；
步骤2：主控制模块控制触点升降，预设待触摸阅读内容区域；
步骤3：初始化距离传感器，获得初始值M 0 ，设定距离传感器读数触发范围为（M 0 -C，M 0 - D），C＞D＞0；
步骤4：包括以下步骤：
步骤4.1：单片机设定一用于通知主控制模块做好数据接收准备的读数触发I/O口，设定n个用于确定数据发生变化的距离传感器位置的片选I/O口；
步骤4.2：单片机根据触点模组排列方式确定c个位置信息输出I/O口，用以输出2 c 个位置信息；
步骤4.3：将二维触点显示区域分割成（m*A*n*B）个区域；
步骤4.4：设定任一距离传感器的读数与步骤4.3中任一分割区域的对应关系；
步骤4.5：任一距离传感器的输出端发送数据，记录时间戳T a1 ；当前距离传感器的输入端接收数据，记录时间戳T b1 ；
步骤4.6：计时间延迟T d ，当前距离传感器的输出端发送数据，记录时间戳T a2 ；当前距离传感器的输入端接收数据，记录时间戳T b2 ；
步骤4.7：基于时间戳T a1 、T b1 、T a2 、T b2 计算得到距离传感器实际读数；
步骤4.8：单片机获取距离传感器读数，当读数处于（M 0 -C，M 0 -D）内时，通过步骤4.4设定的对应关系确定用户手指所在区域；
步骤4.9：单片机将用户手指所在区域的位置信息转为I/O口高低电平信息、输入I/O扩展芯片，进行下一步，否则，重复步骤4.5；
步骤5：I/O扩展芯片将I/O口高低电平信息传输至主控制模块，判断用户触摸位置，将触摸位置标记为L；
步骤6：启动摄像头，采集二维触点显示区域的用户的双手图像；
步骤7：主控制模块对双手图像进行处理，识别用户的指尖位置，对步骤5得到的触摸位置L进行修正，得出用户当前双手阅读区域范围；
步骤8：主控制模块将步骤7得到的用户当前双手阅读区域范围和步骤2的待触摸阅读内容区域进行比对，若匹配程度大于X%，则调取语音提示信息并播放，否则，返回步骤4；
步骤9：判断主控制模块是否接收到结束信号，若是，进行下一步；否则返回步骤4；
步骤10：显示结束。
2.根据权利要求1所述的一种具有触摸定位功能的二维触点驱动方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：基于待触摸阅读内容，主控制模块获取已存储的触点升降信息；
步骤2.2：主控制模块通过I/O口控制译码器的输入端，译码器根据输入的信息改变任一输出引脚电平，使能待触摸阅读内容区域的触点模组的电源芯片；
步骤2.3：主控制模块通过I/O口控制电机驱动芯片，驱动触点模组的触点进行升降；
步骤2.4：主控制模块通过I/O口控制译码器关闭当前区域的触点电源，控制锁存器固定当前区域的I/O口电平信息；
步骤2.5：主控制模块通过I/O口控制译码器的输入端，译码器根据输入的信息输出停止使能当前区域的触点模组；
步骤2.6：完成待触摸阅读内容区域的预设。
3.根据权利要求1所述的一种具有触摸定位功能的二维触点驱动方法，其特征在于：所述步骤3中，获得初始值M 0 包括以下步骤：
步骤3.1：主控制模块通过I/O口使能单片机供电芯片使能脚，单片机上电；
步骤3.2：单片机初始化，配置距离传感器；
步骤3.3：获得距离传感器初始值M 0 。
4.根据权利要求1所述的一种具有触摸定位功能的二维触点驱动方法，其特征在于：所述步骤7包括以下步骤：
步骤7.1：主控制模块对摄像头采集的双手图像进行预处理；
步骤7.2：基于预处理后的图像获取用户的双手指尖位置信息；
步骤7.3：根据所述用户的双手轮廓信息对距离传感器所得到的位置L进行修正，得出用户当前双手阅读区域范围。
5.根据权利要求4所述的一种具有触摸定位功能的二维触点驱动方法，其特征在于：所述步骤7.1中，预处理包括几何矫正、降噪、对比度增强、滤波。
6.根据权利要求1所述的一种具有触摸定位功能的二维触点驱动方法，其特征在于：所述步骤8包括以下步骤：
步骤8.1：主控制模块对待触摸阅读内容区域和用户当前双手阅读区域范围进行比对；
步骤8.2：若重叠百分比大于X%，则判断匹配成功，进行下一步；反之判断匹配失败，跳转至步骤4；
步骤8.3：主控制模块使能功放芯片，播放已存储的语音提示信息。
7.一种采用权利要求1~6之一的二维触点驱动方法的具有触摸定位功能的智能二维点显器，其特征在于：所述二维点显器包括连接至主控制模块的二维触点显示区域、声音和震动提示模块；
所述二维触点显示区域的四周分布设有距离传感器，所述距离传感器通过单片机连接至主控制模块，所述二维触点显示区域中心上部设有连接至主控制模块的采集模块；
所述主控制模块包括：
一存储单元，用于存储距离传感器获得的每一处阅读位置的坐标；以及每一触点显示区域对应的声音提示信息；
一I/O扩展单元，用于通过I2C总线扩展I/O口，扩展主控制器I/O资源，方便更多距离传感器的扩展；
一通信单元，用于和触点显示模块、采集模块、提示模块进行通信，从存储单元中提取正确的提示信息，发送给提示模块进行播放；
一中央处理器，用于处理摄像头采集图像并将需要显示的触点信息通过算法转化为I/ O口高低电平信息驱动触点升降；
一机器学习单元，用于综合计算分析距离传感器获取数据和摄像头采集图像、训练模型、计算出一套用户个体定制化的触点刷新策略。
8.根据权利要求7所述的一种采用二维触点驱动方法的具有触摸定位功能的智能二维点显器，其特征在于：所述采集模块配合连接有环境光检测补偿模块。
CN201910579960.0A 2019-06-28 2019-06-28 具有触摸定位功能的二维点显器及其二维触点驱动方法 Active CN110489005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910579960.0A CN110489005B (zh) 2019-06-28 2019-06-28 具有触摸定位功能的二维点显器及其二维触点驱动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910579960.0A CN110489005B (zh) 2019-06-28 2019-06-28 具有触摸定位功能的二维点显器及其二维触点驱动方法

Publications (2)

Publication Number Publication Date
CN110489005A CN110489005A (zh) 2019-11-22
CN110489005B true CN110489005B (zh) 2022-12-27

Family

ID=68546575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910579960.0A Active CN110489005B (zh) 2019-06-28 2019-06-28 具有触摸定位功能的二维点显器及其二维触点驱动方法

Country Status (1)

Country Link
CN (1) CN110489005B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785339B (zh) * 2021-01-26 2024-08-23 上海明略人工智能(集团)有限公司 用于用户识别的方法、装置及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具
JP3840943B2 (ja) * 2001-10-05 2006-11-01 中央電子株式会社 点字読取装置
DE10155860A1 (de) * 2001-11-14 2003-05-22 Papenmeier Friedrich Horst Vorrichtung zum Eingeben und Auslesen von Daten
JP2004013885A (ja) * 2002-06-05 2004-01-15 Chikamune Wada 手のひら書き入出力システム
CN100542507C (zh) * 2007-04-19 2009-09-23 上海交通大学 基于物体辨识的盲人生活辅助装置
EP2713251A4 (en) * 2011-07-04 2014-08-06 Huawei Device Co Ltd METHOD AND ELECTRONIC DEVICE FOR VIRTUAL HANDWRITTEN ENTRY
JP5388238B2 (ja) * 2011-07-06 2014-01-15 Ｎｅｃシステムテクノロジー株式会社 触覚表示装置、触覚表示方法およびプログラム
US10209881B2 (en) * 2012-03-15 2019-02-19 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
CN106791262A (zh) * 2013-01-25 2017-05-31 陈旭 图文采集识别装置
CN107742446A (zh) * 2013-01-25 2018-02-27 陈旭 图书阅读器
CN104238821B (zh) * 2014-09-21 2017-09-12 长春吉大博硕科技有限责任公司 一种应用于盲文阅读的触觉再现装置和方法
CN104473717A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对全盲人群的可穿戴式引导设备
CN105100346B (zh) * 2015-08-10 2018-02-02 京东方科技集团股份有限公司 盲文显示终端、系统及方法
US11145223B2 (en) * 2016-10-23 2021-10-12 Eurica Califorrniaa Self-scrolling braille
US10299982B2 (en) * 2017-07-21 2019-05-28 David M Frankel Systems and methods for blind and visually impaired person environment navigation assistance
CN107536699A (zh) * 2017-08-16 2018-01-05 广东小天才科技有限公司 一种用于盲人的信息提示的方法、装置及电子设备
CN108279780B (zh) * 2018-03-01 2020-07-24 京东方科技集团股份有限公司 可穿戴装置及控制方法
CN108471486B (zh) * 2018-03-09 2019-10-18 浙江工业大学 一种适用于电子助视器的智能阅读操作方法及装置
CN109903300B (zh) * 2019-01-15 2021-05-18 浙江工业大学 一种适用于先天性盲人学习识图的智能触点显示方法及装置

Also Published As

Publication number Publication date
CN110489005A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
TWI646444B (zh) 一種喚醒智慧機器人的方法及智慧機器人
US6804396B2 (en) Gesture recognition system
US9489574B2 (en) Apparatus and method for enhancing user recognition
CN103838378B (zh) 一种基于瞳孔识别定位的头戴式眼睛操控系统
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
KR101795574B1 (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
CN106157956A (zh) 语音识别的方法及装置
CN105912142B (zh) 一种基于加速传感器的记步与行为识别方法
US20140062861A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
US20120264095A1 (en) Emotion abreaction device and using method of emotion abreaction device
JP2002182680A (ja) 操作指示装置
US20150379333A1 (en) Three-Dimensional Motion Analysis System
CN111985393A (zh) 一种纠正运动姿态的智能镜子及其运动姿态纠正方法
CN112568900A (zh) 姿态检测系统、姿态检测装置、桌子套件和姿态检测方法
CN106814853A (zh) 一种基于机器学习的眼控跟踪方法
CN110489005B (zh) 具有触摸定位功能的二维点显器及其二维触点驱动方法
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN112587901A (zh) 游泳姿势识别方法、装置、系统和存储介质
CN114299576B (zh) 口腔清洁区域识别方法、刷牙信息录入系统及相关装置
WO2018099017A1 (zh) 显示方法、装置及终端
JP5964603B2 (ja) データ入力装置、及び表示装置
JP6147198B2 (ja) ロボット
CN110941381A (zh) 会议一体机的显示屏亮度调节方法、系统及会议一体机
CN114613069A (zh) 一种智能自助终端及其智能辅助方法
KR101191640B1 (ko) 사용자에게 정보를 전달하는 정보전달장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant