CN108471486A - 一种适用于电子助视器的智能阅读操作方法及装置 - Google Patents

一种适用于电子助视器的智能阅读操作方法及装置 Download PDF

Info

Publication number
CN108471486A
CN108471486A CN201810194846.1A CN201810194846A CN108471486A CN 108471486 A CN108471486 A CN 108471486A CN 201810194846 A CN201810194846 A CN 201810194846A CN 108471486 A CN108471486 A CN 108471486A
Authority
CN
China
Prior art keywords
text
line
image
reader
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810194846.1A
Other languages
English (en)
Other versions
CN108471486B (zh
Inventor
郑雅羽
潘邦增
贾婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810194846.1A priority Critical patent/CN108471486B/zh
Publication of CN108471486A publication Critical patent/CN108471486A/zh
Application granted granted Critical
Publication of CN108471486B publication Critical patent/CN108471486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种适用于电子助视器的智能阅读操作方法及装置，通过电子助视器的后置摄像头采集图像，然后对采集的文本图像进行图像文本行识别与定位，获得到每一行的行坐标、行宽度和行长度，进而结合眼动技术对文本行实现更具体的操作。本发明使得阅读者不用再来回移动整幅文本图像寻找阅读内容的上下文，自动文本跟进使阅读内容能随着阅读者的进度自动跟进和更新，通过眼部动作信号自动调整内容为屏幕居中，方便阅读，眼动控制操作更简便、节省操作时间，通过阅读者视线偏移角度大小自动判断和调整阅读速度，实时反映阅读者的阅读需求，快速准确定位到阅读内容，节省时间，整个阅读过程更智能、高效，阅读体验更优，提升电子助视器的交互体验。

Description

一种适用于电子助视器的智能阅读操作方法及装置
技术领域
本发明涉及文件或类似物的扫描、传输或重现，例如传真传输；其零部件的技术领域，特别涉及一种通过视线追踪技术结合单行文本识别定位技术来进行文本图像的操作的适用于电子助视器的智能阅读操作方法及装置。
背景技术
助视器是能够改善或提高低视力患者视觉能力的装置或设备。目前，提供给低视力患者使用的助视器主要包括光学助视器(如手持放大镜、立式放大镜等)、电子助视器和非光学辅助设备(如放大的印刷品、防眩光眼镜、有声读物、导盲犬等)三类，而电子助视器是其中最有效的一种。
现有的电子助视器一般通过后置摄像头采集图像，对图像进行放大、变色处理，将处理好的图像输出到显示屏，提供给使用者进行阅读，而提供的阅读操作方式为通过助视器的按钮或操纵杆进行对图像的缩放和图像的上下左右移动。公开号为CN101478630的发明专利公开了一种多功能便携式电子助视器，通过按键对图像进行上下左右移动，但是这样的阅读操作方式提供的阅读效率一般较低，需要通过人眼自己寻找当前阅读内容接下的部分，在此过程中需要耗费不必要的寻找时间及操纵按键的时间，并且经过放大后的图像内容往往会造成阅读者无法快速判断上下文内容的衔接部分，容易造成内容跳段式阅读，无法达到快速且方便的理想阅读效果，造成不好的阅读体验，这对于使用电子助视器来进行辅助阅读的阅读者来说是普遍而又非常困扰的问题，造成极大的阅读阻碍。
发明内容
为了解决现有技术中存在的问题，本发明提供一种优化的适用于电子助视器的智能阅读操作方法及装置，通过视线追踪技术结合单行文本识别定位技术来进行文本图像的操作，使低视力患者在阅读时能通过眼部动作实现自动执行图像的阅读操作，提高阅读效率，改善阅读体验。
本发明所采用的技术方案是，一种适用于电子助视器的智能阅读操作方法，所述方法包括以下步骤：
步骤1：电子助视器的后置摄像头采集文本图像，对文本图像进行预处理，得到定位后的文本图像中的文本行；
步骤2：根据定位后的文本图像中的文本行判断文本图像的阅读逻辑，将定位后的文本图像通过控制模块显示在电子助视器的显示屏上；
步骤3：电子助视器的前置摄像头采集阅读者的人脸图像，获得眼部图像；
步骤4：判断电子助视器是否正在进行文本图像的缩放，如是，重复进行步骤4，否则，进行下一步；
步骤5：对连续帧的眼部图像进行跟踪处理，确定阅读者的视线方向，将阅读者的阅读行为与定位后的文本图像中的文本行进行匹配，调整文本行基于当前分类的阅读方向的移动速度v，v≥0；持续对连续帧的眼部图像进行跟踪，当连续s秒无法跟踪到眼部图像时，进行下一步，否则继续进行步骤5；2≤s≤10；
步骤6：电子助视器的显示屏关闭。
优选地，所述步骤1中，所述预处理包括以下步骤：
步骤1.1：对文本图像进行去畸处理；所述去畸处理包括对图像的预处理包括对图像进行图像倾斜校正和图像书脊处校正；
步骤1.2：对去畸处理后的文本图像进行两级投影定位，得到文本图像的水平方向投影和垂直方向投影；
步骤1.3：利用文本图像的水平方向投影和垂直方向投影，分别获得文本行的坐标、宽度和长度，所述坐标原点为文本行第一个字的左下坐标，对文本行进行识别和定位。
优选地，所述步骤1.2中，两级投影定位包括将文本图像灰度化，得到文本图像的灰度图，将文本图像的灰度图二值化处理，将二值化后的文本图像进行水平方向投影定位和垂直方向投影定位。
优选地，所述步骤3中，通过对人脸图像进行边缘提取，获得阅读者的眼睛上下眼睑的边缘位置，最终得到眼部图像。
优选地，所述步骤5包括以下步骤：
步骤5.1：对连续帧的眼部图像进行边缘提取，获得每一帧中阅读者的眼睛上下眼睑的边缘位置；
步骤5.2：利用普尔钦斑点法对阅读者处于睁眼状态下时的眼部图像进行分析处理，对眼部图像采用椭圆拟合方法，首先查找瞳孔边界点作为椭圆拟合的样本点，对样本点进行拟合，确定最佳拟合结合，最后把结果椭圆的中心作为瞳孔中心，确定阅读者的视线方向；
步骤5.3：当阅读逻辑为横向阅读时，通过阅读者的视线方向对阅读者的眼部动作进行自左向右阅读、自右向左阅读、自下向上阅读和自上向下阅读的分类，并通过空间视线方向坐标系变换、计算出视线偏移视角ω；
步骤5.4：将阅读者的阅读行为与定位后的文本图像中的文本行进行匹配，调整文本行基于当前分类的阅读方向的移动速度v。
优选地，所述步骤5.3中，当阅读者的眼部动作为自左向右阅读时，进行以下步骤：
步骤5.3.1.1：对当前阅读的所在文本行执行眼睛向右转动时所要执行的阅读操作；
步骤5.3.1.2：判断当前阅读的文本是否为所在文本行的末尾部分；若是，进行步骤5.3.1.3，否则，进行步骤5.3.1.4；
步骤5.3.1.3：自动切换到下一文本行开头；
步骤5.3.1.4：阅读者继续阅读，根据视线偏移视角ω判断文本移动速度；当ω>deg1，进行步骤5.3.1.5，否则，进行步骤5.3.1.6；20≤deg1≤35；
步骤5.3.1.5：加快文本行向左跟进的速度，加速更新后文内容或阅读者人工干预文本行向左跟进的速度；当当前阅读的文本为所在文本行的末尾部分时，返回步骤5.3.1.3；
步骤5.3.1.6：保持文本行向左跟进的速度或阅读者人工干预文本行向左跟进的速度；当当前阅读的文本为所在文本行的末尾部分时，返回步骤5.3.1.3。
优选地，所述步骤5.3中，当阅读者的眼部动作为自右向左阅读时，进行以下步骤：
步骤5.3.2.1：对当前阅读的所在文本行执行眼睛向左转动时所要执行的阅读操作；
步骤5.3.2.2：判断当前阅读的文本是否为所在文本行的开头部分；若是，进行步骤5.3.2.3，否则，进行步骤5.3.2.4；
步骤5.3.2.3：自动切换到上一文本行末尾，显示；
步骤5.3.2.4：阅读者继续阅读，根据视线偏移视角ω判断文本移动速度；当ω>deg2，进行步骤5.3.2.5，否则，进行步骤5.3.2.6；20≤deg2≤35；
步骤5.3.2.5：加快文本行向右跟进的速度，加速更新后文内容或阅读者人工干预文本行向右跟进的速度；当当前阅读的文本为所在文本行的开头部分时，返回步骤5.3.2.3；
步骤5.3.2.6：保持文本行向右跟进的速度或阅读者人工干预文本行向右跟进的速度；当当前阅读的文本为所在文本行的开头部分时，返回步骤5.3.2.3。
优选地，所述步骤5.3中，当阅读者的眼部动作为自下向上阅读时，进行以下步骤：
步骤5.3.3.1：对当前阅读的所在文本行执行眼睛向上转动时所要执行的阅读操作；
步骤5.3.3.2：判断当前阅读的文本行是否处于显示屏的顶部或底部；若是，进行步骤5.3.3.3，否则，进行步骤5.3.3.4；
步骤5.3.3.3：将所在文本行向下或向上移动，使得文本行处于显示屏中心位置；
步骤5.3.3.4：上一文本行的内容被切换至显示屏，重复步骤5.3。
优选地，所述步骤5.3中，当阅读者的眼部动作为自上向下阅读时，进行以下步骤：
步骤5.3.4.1：对当前阅读的所在文本行执行眼睛向下转动时所要执行的阅读操作；
步骤5.3.4.2：判断当前阅读的文本行是否处于显示屏的顶部或底部；若是，进行步骤5.3.4.3，否则，进行步骤5.3.4.4；
步骤5.3.4.3：将所在文本行向下或向上移动，使得文本行处于显示屏中心位置；
步骤5.3.4.4：下一文本行的内容被切换至显示屏，重复步骤5.3。
一种采用所述的适用于电子助视器的智能阅读操作方法的电子助视装置，包括助视器本体，所述助视器内设有控制器，所述助视器包括显示屏，所述显示屏一侧的助视器上设有前置摄像头，背向所述显示屏一侧的助视器上设有后置摄像头和LED，所述显示屏、前置摄像头、后置摄像头和LED与控制器连接；所述前置摄像头包括红外摄像单元、红外LED光源单元和滤光镜片。
本发明提供了一种优化的适用于电子助视器的智能阅读操作方法及装置，通过电子助视器的后置摄像头采集图像，然后对采集的文本图像进行图像文本行识别与定位，获得到每一行的行坐标、行宽度和行长度，进而结合眼动技术对文本行实现更具体的操作。本发明使得阅读者不用再来回移动整幅文本图像寻找阅读内容的上下文，自动文本跟进使阅读内容能随着阅读者的进度自动跟进和更新，通过眼部动作信号自动调整内容为屏幕居中，方便阅读，眼动控制操作更简便、节省操作时间，通过阅读者视线偏移角度大小自动判断和调整阅读速度，实时反映阅读者的阅读需求，快速准确定位到阅读内容，节省时间，整个阅读过程更智能、高效，阅读体验更优，提升电子助视器的交互体验。
附图说明
图1为本发明中智能阅读操作方法和装置与阅读者之间的原理结构图，其中，箭头表示视线方向，1为电子助视器，2为后置摄像头，3为前置摄像头，X表示字符；
图2为本发明中智能阅读操作方法的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种适用于电子助视器的智能阅读操作方法，所述方法包括以下步骤。
步骤1：电子助视器的后置摄像头采集文本图像，对文本图像进行预处理，得到定位后的文本图像中的文本行。
所述步骤1中，所述预处理包括以下步骤。
步骤1.1：对文本图像进行去畸处理；所述去畸处理包括对图像的预处理包括对图像进行图像倾斜校正和图像书脊处校正。
步骤1.2：对去畸处理后的文本图像进行两级投影定位，得到文本图像的水平方向投影和垂直方向投影。
所述步骤1.2中，两级投影定位包括将文本图像灰度化，得到文本图像的灰度图，将文本图像的灰度图二值化处理，将二值化后的文本图像进行水平方向投影定位和垂直方向投影定位。
步骤1.3：利用文本图像的水平方向投影和垂直方向投影，分别获得文本行的坐标、宽度和长度，所述坐标原点为文本行第一个字的左下坐标，对文本行进行识别和定位。
本发明中，图像倾斜校正和图像书脊处校正为本领域常用技术，可以由多种处理手段实现，其中，图像倾斜校正主要是针对低视力患者在阅读时并不能很好将目标书籍摆放在与摄像头同一角度、导致文本图像在输出显示时产生一定角度的倾斜而进行的校正，图像书脊处校正主要是针对低视力患者在书籍阅读时书籍的中间书脊处折出一定弧度而在书脊处出现不同程度的阴影、离书脊较近的文本变窄等不同失真类型而进行的校正，去畸处理使得文本图像端正、易于识别。
本发明中，图像的两级投影定位是指通过对校正后的文本图像进行图像灰度化和图像二值化的处理，并通过水平方向投影以及垂直方向投影，基于对投影直方图的分析，得到每一行文本的位置以及行的长度和宽度，最后利用单行文本的定位信息，实现对单行文本执行左移右移、上下移动的相关阅读操作。
步骤2：根据定位后的文本图像中的文本行判断文本图像的阅读逻辑，将定位后的文本图像通过控制模块显示在电子助视器的显示屏上。
本发明中，基于对投影结果的分析，可以判断出文本行是竖向行排列或横向行排列的，例如日本的书籍排版是竖向行排列、中国等国家是以横向行排列，判断出文本图像的排版方式对于后续进行的阅读操作是首要工作，也是阅读操作有效性的基础。本发明的方法及具体实施方案中，主要分析横向行排列的情况，在实际的应用过程中，竖向行排列的阅读操作与横向行排列的阅读操作仅存在排列方向的区别，操作方式旋转90°即可。
步骤3：电子助视器的前置摄像头采集阅读者的人脸图像，获得眼部图像。
所述步骤3中，通过对人脸图像进行边缘提取，获得阅读者的眼睛上下眼睑的边缘位置，最终得到眼部图像。
本发明中，电子助视器的前置摄像头采集到阅读者的人脸图像，由于电子助视器的使用特殊性，使用者使用时一般是眼部靠近显示屏进行阅读的，因此人脸图像的主要部分即为眼部图像，可以快速实现眼部图像的识别定位。
本发明中，一般情况下，在前置摄像头旁边还设有红外LED光源，用于采集红外人脸图像。
本发明中，由于人眼对光线有特殊的反射和投射作用，光源在眼睛中反射的亮点比周围的颜色亮，故可以利用边缘提取的方法得到眼睛的上下眼睑的边缘，而眼睛在睁眼时为半弧形、闭眼时为“一”型，根据眼睛的独一无二的特征，可以在人脸图像中准确提取出眼部图像。
步骤4：判断电子助视器是否正在进行文本图像的缩放，如是，重复进行步骤4，否则，进行下一步。
本发明中，当电子助视器正在对图像进行缩放时，会导致阅读者原本定位的内容随着整幅图像的放大和缩小而发生内容位置的变化，导致人眼本能追随当前注视内容的位置，这个过程中的眼部图像的相关信号并不是有效信号，因此首先需要判断电子助视器是否正在进行文本图像的缩放，如是，应当重复进行当前步骤，直至判断到电子助视器处于稳定状态后，进行下一步。
步骤5：对连续帧的眼部图像进行跟踪处理，确定阅读者的视线方向，将阅读者的阅读行为与定位后的文本图像中的文本行进行匹配，调整文本行基于当前分类的阅读方向的移动速度v，v≥0；持续对连续帧的眼部图像进行跟踪，当连续s秒无法跟踪到眼部图像时，进行下一步，否则继续进行步骤5；2≤s≤10。
所述步骤5包括以下步骤：
步骤5.1：对连续帧的眼部图像进行边缘提取，获得每一帧中阅读者的眼睛上下眼睑的边缘位置；
步骤5.2：利用普尔钦斑点法对阅读者处于睁眼状态下时的眼部图像进行分析处理，对眼部图像采用椭圆拟合方法，首先查找瞳孔边界点作为椭圆拟合的样本点，对样本点进行拟合，确定最佳拟合结合，最后把结果椭圆的中心作为瞳孔中心，确定阅读者的视线方向。
本发明中，当人眼在红外光源照射下，会呈现为只有瞳孔位置颜色为黑色、虹膜部分为灰白色的特征，根据这个特征可以确定眼睛中的瞳孔的大致位置，采用精度较高的椭圆拟合方法，查找瞳孔边界点，并把这些点作为椭圆拟合的样点，接着对这些点进行拟合，确定最佳拟合结合，将椭圆的中心作为瞳孔中心。
本发明中，普尔钦斑点是由进入瞳孔的光线在角膜外表面上反射而产生的亮光点。由于前置摄像机的位置固定、红外光源的位置固定、眼球中心位置不变(假设眼球为球状且头部不动)，普尔钦斑点的绝对位置并不随眼球的转动而变化，当人盯着摄像头时，普尔钦斑点在瞳孔之间，当人抬起头时，普尔钦斑点在瞳孔下方，基于此，只要实时定位眼部图像上的瞳孔和普尔钦斑点的位置，计算出角膜反射向量，便能利用几何模型，估算到用户的视线方向。
步骤5.3：通过阅读者的视线方向对阅读者的眼部动作进行自左向右阅读、自右向左阅读、自下向上阅读和自上向下阅读的分类，并通过空间视线方向坐标系变换、计算出视线偏移视角ω。
本发明中，利用边缘提取的方法可以得到眼睛的上下眼睑边缘，根据眼睛在睁眼时为半弧形、闭眼时为“一”型，可以得到眼睛的睁眼或闭眼状态，对于睁眼状态下阅读者的视线方向的检测，可以对阅读者的眼部动作进行分类。
本发明中，主要讨论当阅读逻辑为横向阅读时的分类情况，包括自左向右阅读、自右向左阅读、自下向上阅读和自上向下阅读，事实上，在纵向阅读时，横向阅读的自左向右阅读、自右向左阅读为纵向阅读的自上向下阅读和自下向上阅读，横向阅读的自下向上阅读和自上向下阅读为纵向阅读的自右向左阅读和自左向右阅读。
本发明中，根据获得的阅读者的视线方向，通过视线方向的空间坐标系变换，计算出视线偏移视角ω，根据视线偏移角度大小ω，调整文本行的移动的速度v；视线偏移视角ω和视线移动速度能表明读者对下文或者上文内容阅读的急迫性或需求性，视线偏移角度越大，阅读速度适当加快，视线偏移角度较小，应当保持正常的阅读移动速度。本发明通过调整阅读速度，使整个阅读过程更加贴近阅读者需求。
所述步骤5.3中，当阅读者的眼部动作为自左向右阅读时，进行以下步骤：
步骤5.3.1.1：对当前阅读的所在文本行执行眼睛向右转动时所要执行的阅读操作；
步骤5.3.1.2：判断当前阅读的文本是否为所在文本行的末尾部分；若是，进行步骤5.3.1.3，否则，进行步骤5.3.1.4；
步骤5.3.1.3：自动切换到下一文本行开头；
步骤5.3.1.4：阅读者继续阅读，根据视线偏移视角ω判断文本移动速度；当ω>deg1，进行步骤5.3.1.5，否则，进行步骤5.3.1.6；20≤deg1≤35；
步骤5.3.1.5：加快文本行向左跟进的速度，加速更新后文内容或阅读者人工干预文本行向左跟进的速度；当当前阅读的文本为所在文本行的末尾部分时，返回步骤5.3.1.3；
步骤5.3.1.6：保持文本行向左跟进的速度或阅读者人工干预文本行向左跟进的速度；当当前阅读的文本为所在文本行的末尾部分时，返回步骤5.3.1.3。
所述步骤5.3中，当阅读者的眼部动作为自右向左阅读时，进行以下步骤：
步骤5.3.2.1：对当前阅读的所在文本行执行眼睛向左转动时所要执行的阅读操作；
步骤5.3.2.2：判断当前阅读的文本是否为所在文本行的开头部分；若是，进行步骤5.3.2.3，否则，进行步骤5.3.2.4；
步骤5.3.2.3：自动切换到上一文本行末尾，显示；
步骤5.3.2.4：阅读者继续阅读，根据视线偏移视角ω判断文本移动速度；当ω>deg2，进行步骤5.3.2.5，否则，进行步骤5.3.2.6；20≤deg2≤35；
步骤5.3.2.5：加快文本行向右跟进的速度，加速更新后文内容或阅读者人工干预文本行向右跟进的速度；当当前阅读的文本为所在文本行的开头部分时，返回步骤5.3.2.3；
步骤5.3.2.6：保持文本行向右跟进的速度或阅读者人工干预文本行向右跟进的速度；当当前阅读的文本为所在文本行的开头部分时，返回步骤5.3.2.3。
所述步骤5.3中，当阅读者的眼部动作为自下向上阅读时，进行以下步骤：
步骤5.3.3.1：对当前阅读的所在文本行执行眼睛向上转动时所要执行的阅读操作；
步骤5.3.3.2：判断当前阅读的文本行是否处于显示屏的顶部或底部；若是，进行步骤5.3.3.3，否则，进行步骤5.3.3.4；
步骤5.3.3.3：将所在文本行向下或向上移动，使得文本行处于显示屏中心位置；
步骤5.3.3.4：上一文本行的内容被切换至显示屏，重复步骤5.3。
所述步骤5.3中，当阅读者的眼部动作为自上向下阅读时，进行以下步骤：
步骤5.3.4.1：对当前阅读的所在文本行执行眼睛向下转动时所要执行的阅读操作；
步骤5.3.4.2：判断当前阅读的文本行是否处于显示屏的顶部或底部；若是，进行步骤5.3.4.3，否则，进行步骤5.3.4.4；
步骤5.3.4.3：将所在文本行向下或向上移动，使得文本行处于显示屏中心位置；
步骤5.3.4.4：下一文本行的内容被切换至显示屏，重复步骤5.3。
步骤5.4：将阅读者的阅读行为与定位后的文本图像中的文本行进行匹配，调整文本行基于当前分类的阅读方向的移动速度v。
本发明中，由于电子助视器的使用情况一般为对文字进行放大后阅读，放大后的文字一般都是占据了显示屏的中心位置且占据显示屏的大部分空间，所以使用时往往是整个屏幕只显示一行文字，因此在眼部动作为自左向右或自右向左阅读时，会自动切换到下一行文字或上一行文字。
本发明中，一般情况下，当ω小于等于30°时，文本行的移动速度v为屏幕长度/t1秒，当ω大于30°时，文本行的移动速度v'为屏幕长度/t2秒，t1＞t2＞0，在实际操作中，t1取5、t2取3，t1和t2的值可以根据实际情况进行调整；当然，deg的具体数值亦可以依据需求自行设置。
本发明中，基于上述实施方式，加速意为移动速度从v提升到v'。
步骤6：电子助视器的显示屏关闭。
本发明中，持续对连续帧的眼部图像进行跟踪，当连续s秒无法跟踪到眼部图像时，可以判定阅读者进入闭眼状态，表明阅读者需要休息，不再继续进行阅读，故电子助视器的显示屏关闭。
本发明中，s的取值一般在2秒至10秒间，阅读者可以依据需求自行设置。
本发明还涉及一种采用所述的适用于电子助视器的智能阅读操作方法的电子助视装置，包括助视器本体，所述助视器内设有控制器，所述助视器包括显示屏，所述显示屏一侧的助视器上设有前置摄像头，背向所述显示屏一侧的助视器上设有后置摄像头和LED，所述显示屏、前置摄像头、后置摄像头和LED与控制器连接；所述前置摄像头包括红外摄像单元、红外LED光源单元和滤光镜片。
本发明中，电子助视器包括前置摄像头和后置摄像头，分别用于采集人脸图像和文本图像。
本发明中，为了使后置摄像头达到最佳的摄像效果以及在低光度环境中正常使用，故加装LED来使采集到的图像质量良好。
本发明中，前置摄像头包括红外摄像机、红外LED光源单元和滤光镜片，由于电子助视器的使用特殊性，使用者使用时是眼部靠近助视器屏幕进行阅读的，对于前置摄像头采集到的人脸图像中，主要部分就是眼部图像，因此对于人脸图像中提取眼部区域的图像处理工作将相较于传统整个脸部中进行提取，图像处理工作量将减少，能更快的实现眼部图像的识别定位。
本发明中，红外LED光源单元是由光源发出的光线经过红外滤光镜过滤的单元，故只有红外线可以通过，其基于人眼对光线有特殊的反射和透射作用的特点，光源在眼睛中反射的亮点比周围的颜色亮，同时利用边缘提取的方法，可以得到眼睛的上下眼睑的边缘，睁眼时为半弧形、闭眼时为“一”型，这些都是眼睛中独一无二的特征，结合这些特征就可以在人脸图像中准确地找到和跟踪眼睛的位置，并且人眼在红外光源照射下的特征为只有瞳孔的位置为黑色，虹膜部分是灰白，通过这个特征，可以确定眼睛中的瞳孔中心位置。
本发明中，控制器中设有与后置摄像头配合的图像采集模块、图像文本行识别与定位模块，控制器中设有与前置摄像头配合的人脸图像采集模块、眼图处理模块、控制器中设有与显示屏配合的智能阅读控制显示模块。
本发明中，图像文本行识别与定位模块包括图像预处理单元和图像两级投影定位单元，图像预处理单元包括图像倾斜校正单元和图像书脊处校正单元；图像倾斜校正单元针对低视力患者在阅读的时候并不能很好将目标书籍摆放的和摄像头在同一角度，导致文本图像在输出显示的时候就会产生一定角度的倾斜进行校正；图像书脊处校正单元针对低视力患者在书籍阅读的时候，在较厚的书籍中尤其明显，书籍的中间书脊处会折出一定的弧度，同时在书脊处也会出现不同程度的阴影，离书脊较近的文本变窄等不同失真类型进行校正；图像两级投影定位单元通过对校正后的图像进行图像灰度化、图像二值化，并通过水平方向投影以及垂直方向投影，分析投影直方图，得到每一行文本的位置以及行的长度和宽度。
本发明中，眼图处理模块包括瞳孔中心检测单元、视线方向检测单元、眼部动作分类单元和视线偏移角度ω检测单元。其中，瞳孔中心检测单元基于人眼在红外光源照射下的特征为只有瞳孔的位置为黑色，通过这个眼部特征可以确定眼睛的瞳孔位置；视线方向检测单元通过对眼部图像的分析处理，利用普尔钦斑点法确定阅读者的视线方向；眼部动作分类单元利用边缘提取的方法得到眼睛的上下眼睑边缘，通过对睁眼状态的用户视线方向的检测，对用户的眼部动作进行分类，用于后续的不同阅读模式的处理；视线偏移角度ω检测单元通过眼部视线转动的角度ω大小，调整文本行移动的速度v，以视线移动的速度表明读者对下文或者上文内容阅读的急迫性或需求性，视线偏移角度越大，阅读速度适当加快，视线偏移角度较小，保持正常的阅读移动速度，通过调整阅读速度，使整个阅读过程更加贴近阅读者需求。
本发明通过电子助视器的后置摄像头采集图像，然后对采集的文本图像进行图像文本行识别与定位，获得到每一行的行坐标、行宽度和行长度，进而结合眼动技术对文本行实现更具体的操作。本发明使得阅读者不用再来回移动整幅文本图像寻找阅读内容的上下文，自动文本跟进使阅读内容能随着阅读者的进度自动跟进和更新，通过眼部动作信号自动调整内容为屏幕居中，方便阅读，眼动控制操作更简便、节省操作时间，通过阅读者视线偏移角度大小自动判断和调整阅读速度，实时反映阅读者的阅读需求，快速准确定位到阅读内容，节省时间，整个阅读过程更智能、高效，阅读体验更优，提升电子助视器的交互体验。

Claims (10)

1.一种适用于电子助视器的智能阅读操作方法，其特征在于：所述方法包括以下步骤：
步骤1：电子助视器的后置摄像头采集文本图像，对文本图像进行预处理，得到定位后的文本图像中的文本行；
步骤2：根据定位后的文本图像中的文本行判断文本图像的阅读逻辑，将定位后的文本图像通过控制模块显示在电子助视器的显示屏上；
步骤3：电子助视器的前置摄像头采集阅读者的人脸图像，获得眼部图像；
步骤4：判断电子助视器是否正在进行文本图像的缩放，如是，重复进行步骤4，否则，进行下一步；
步骤5：对连续帧的眼部图像进行跟踪处理，确定阅读者的视线方向，将阅读者的阅读行为与定位后的文本图像中的文本行进行匹配，调整文本行基于当前分类的阅读方向的移动速度v，v≥0；持续对连续帧的眼部图像进行跟踪，当连续s秒无法跟踪到眼部图像时，进行下一步，否则继续进行步骤5；2≤s≤10；
步骤6：电子助视器的显示屏关闭。
2.根据权利要求1所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤1中，所述预处理包括以下步骤：
步骤1.1：对文本图像进行去畸处理；所述去畸处理包括对图像的预处理包括对图像进行图像倾斜校正和图像书脊处校正；
步骤1.2：对去畸处理后的文本图像进行两级投影定位，得到文本图像的水平方向投影和垂直方向投影；
步骤1.3：利用文本图像的水平方向投影和垂直方向投影，分别获得文本行的坐标、宽度和长度，所述坐标原点为文本行第一个字的左下坐标，对文本行进行识别和定位。
3.根据权利要求2所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤1.2中，两级投影定位包括将文本图像灰度化，得到文本图像的灰度图，将文本图像的灰度图二值化处理，将二值化后的文本图像进行水平方向投影定位和垂直方向投影定位。
4.根据权利要求1所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤3中，通过对人脸图像进行边缘提取，获得阅读者的眼睛上下眼睑的边缘位置，最终得到眼部图像。
5.根据权利要求1所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤5包括以下步骤：
步骤5.1：对连续帧的眼部图像进行边缘提取，获得每一帧中阅读者的眼睛上下眼睑的边缘位置；
步骤5.2：利用普尔钦斑点法对阅读者处于睁眼状态下时的眼部图像进行分析处理，对眼部图像采用椭圆拟合方法，首先查找瞳孔边界点作为椭圆拟合的样本点，对样本点进行拟合，确定最佳拟合结合，最后把结果椭圆的中心作为瞳孔中心，确定阅读者的视线方向；
步骤5.3：通过阅读者的视线方向对阅读者的眼部动作进行自左向右阅读、自右向左阅读、自下向上阅读和自上向下阅读的分类，并通过空间视线方向坐标系变换、计算出视线偏移视角ω；
步骤5.4：将阅读者的阅读行为与定位后的文本图像中的文本行进行匹配，调整文本行基于当前分类的阅读方向的移动速度v。
6.根据权利要求5所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤5.3中，当阅读者的眼部动作为自左向右阅读时，进行以下步骤：
步骤5.3.1.1：对当前阅读的所在文本行执行眼睛向右转动时所要执行的阅读操作；
步骤5.3.1.2：判断当前阅读的文本是否为所在文本行的末尾部分；若是，进行步骤5.3.1.3，否则，进行步骤5.3.1.4；
步骤5.3.1.3：自动切换到下一文本行开头；
步骤5.3.1.4：阅读者继续阅读，根据视线偏移视角ω判断文本移动速度；当ω>deg1，进行步骤5.3.1.5，否则，进行步骤5.3.1.6；20≤deg1≤35；
步骤5.3.1.5：加快文本行向左跟进的速度，加速更新后文内容或阅读者人工干预文本行向左跟进的速度；当当前阅读的文本为所在文本行的末尾部分时，返回步骤5.3.1.3；
步骤5.3.1.6：保持文本行向左跟进的速度或阅读者人工干预文本行向左跟进的速度；当当前阅读的文本为所在文本行的末尾部分时，返回步骤5.3.1.3。
7.根据权利要求5所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤5.3中，当阅读者的眼部动作为自右向左阅读时，进行以下步骤：
步骤5.3.2.1：对当前阅读的所在文本行执行眼睛向左转动时所要执行的阅读操作；
步骤5.3.2.2：判断当前阅读的文本是否为所在文本行的开头部分；若是，进行步骤5.3.2.3，否则，进行步骤5.3.2.4；
步骤5.3.2.3：自动切换到上一文本行末尾，显示；
步骤5.3.2.4：阅读者继续阅读，根据视线偏移视角ω判断文本移动速度；当ω>deg2，进行步骤5.3.2.5，否则，进行步骤5.3.2.6；20≤deg2≤35；
步骤5.3.2.5：加快文本行向右跟进的速度，加速更新后文内容或阅读者人工干预文本行向右跟进的速度；当当前阅读的文本为所在文本行的开头部分时，返回步骤5.3.2.3；
步骤5.3.2.6：保持文本行向右跟进的速度或阅读者人工干预文本行向右跟进的速度；当当前阅读的文本为所在文本行的开头部分时，返回步骤5.3.2.3。
8.根据权利要求5所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤5.3中，当阅读者的眼部动作为自下向上阅读时，进行以下步骤：
步骤5.3.3.1：对当前阅读的所在文本行执行眼睛向上转动时所要执行的阅读操作；
步骤5.3.3.2：判断当前阅读的文本行是否处于显示屏的顶部或底部；若是，进行步骤5.3.3.3，否则，进行步骤5.3.3.4；
步骤5.3.3.3：将所在文本行向下或向上移动，使得文本行处于显示屏中心位置；
步骤5.3.3.4：上一文本行的内容被切换至显示屏，重复步骤5.3。
9.根据权利要求5所述的一种适用于电子助视器的智能阅读操作方法，其特征在于：所述步骤5.3中，当阅读者的眼部动作为自上向下阅读时，进行以下步骤：
步骤5.3.4.1：对当前阅读的所在文本行执行眼睛向下转动时所要执行的阅读操作；
步骤5.3.4.2：判断当前阅读的文本行是否处于显示屏的顶部或底部；若是，进行步骤5.3.4.3，否则，进行步骤5.3.4.4；
步骤5.3.4.3：将所在文本行向下或向上移动，使得文本行处于显示屏中心位置；
步骤5.3.4.4：下一文本行的内容被切换至显示屏，重复步骤5.3。
10.一种采用权利要求1～9之一所述的适用于电子助视器的智能阅读操作方法的电子助视装置，包括助视器本体，所述助视器内设有控制器，其特征在于：所述助视器包括显示屏，所述显示屏一侧的助视器上设有前置摄像头，背向所述显示屏一侧的助视器上设有后置摄像头和LED，所述显示屏、前置摄像头、后置摄像头和LED与控制器连接；所述前置摄像头包括红外摄像单元、红外LED光源单元和滤光镜片。
CN201810194846.1A 2018-03-09 2018-03-09 一种适用于电子助视器的智能阅读操作方法及装置 Active CN108471486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810194846.1A CN108471486B (zh) 2018-03-09 2018-03-09 一种适用于电子助视器的智能阅读操作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194846.1A CN108471486B (zh) 2018-03-09 2018-03-09 一种适用于电子助视器的智能阅读操作方法及装置

Publications (2)

Publication Number Publication Date
CN108471486A true CN108471486A (zh) 2018-08-31
CN108471486B CN108471486B (zh) 2019-10-18

Family

ID=63265277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194846.1A Active CN108471486B (zh) 2018-03-09 2018-03-09 一种适用于电子助视器的智能阅读操作方法及装置

Country Status (1)

Country Link
CN (1) CN108471486B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489005A (zh) * 2019-06-28 2019-11-22 浙江工业大学 具有触摸定位功能的二维点显器及其二维触点驱动方法
CN111240628A (zh) * 2020-01-15 2020-06-05 Oppo广东移动通信有限公司 内容显示方法、装置、移动终端及存储介质
CN111832567A (zh) * 2020-05-22 2020-10-27 浙江大学 一种盲人友好的书本文字阅读检测交互方法
CN112137576A (zh) * 2020-09-24 2020-12-29 上海松鼠课堂人工智能科技有限公司 基于眼动数据的观察阅读能力检测方法和系统
CN113342997A (zh) * 2021-05-18 2021-09-03 成都快眼科技有限公司 一种基于文本行匹配的跨图文本阅读方法
CN114579074A (zh) * 2022-03-17 2022-06-03 北京翠鸟视觉科技有限公司 用于助视器的交互式投屏方法、计算机存储介质及助视器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012145708A1 (en) * 2011-04-20 2012-10-26 Jasper Ridge Inc. Hands-free vision aid
US20150077334A1 (en) * 2013-09-13 2015-03-19 Fujitsu Limited Information processing apparatus and information processing method
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
CN206431520U (zh) * 2016-08-31 2017-08-22 深圳市掌网科技股份有限公司 一种虚拟现实头显设备
CN107479691A (zh) * 2017-07-06 2017-12-15 捷开通讯(深圳)有限公司 一种交互方法及其智能眼镜和存储装置
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012145708A1 (en) * 2011-04-20 2012-10-26 Jasper Ridge Inc. Hands-free vision aid
US20150077334A1 (en) * 2013-09-13 2015-03-19 Fujitsu Limited Information processing apparatus and information processing method
CN206431520U (zh) * 2016-08-31 2017-08-22 深圳市掌网科技股份有限公司 一种虚拟现实头显设备
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
CN107479691A (zh) * 2017-07-06 2017-12-15 捷开通讯(深圳)有限公司 一种交互方法及其智能眼镜和存储装置
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489005A (zh) * 2019-06-28 2019-11-22 浙江工业大学 具有触摸定位功能的二维点显器及其二维触点驱动方法
CN111240628A (zh) * 2020-01-15 2020-06-05 Oppo广东移动通信有限公司 内容显示方法、装置、移动终端及存储介质
WO2021143673A1 (zh) * 2020-01-15 2021-07-22 Oppo广东移动通信有限公司 内容显示方法、装置、移动终端及存储介质
CN111832567A (zh) * 2020-05-22 2020-10-27 浙江大学 一种盲人友好的书本文字阅读检测交互方法
CN111832567B (zh) * 2020-05-22 2022-06-10 浙江大学 一种盲人友好的书本文字阅读检测交互方法
CN112137576A (zh) * 2020-09-24 2020-12-29 上海松鼠课堂人工智能科技有限公司 基于眼动数据的观察阅读能力检测方法和系统
CN112137576B (zh) * 2020-09-24 2021-07-09 上海松鼠课堂人工智能科技有限公司 基于眼动数据的观察阅读能力检测方法和系统
CN113342997A (zh) * 2021-05-18 2021-09-03 成都快眼科技有限公司 一种基于文本行匹配的跨图文本阅读方法
CN113342997B (zh) * 2021-05-18 2022-11-11 成都快眼科技有限公司 一种基于文本行匹配的跨图文本阅读方法
CN114579074A (zh) * 2022-03-17 2022-06-03 北京翠鸟视觉科技有限公司 用于助视器的交互式投屏方法、计算机存储介质及助视器

Also Published As

Publication number Publication date
CN108471486B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN108471486B (zh) 一种适用于电子助视器的智能阅读操作方法及装置
EP2975997B1 (en) System and method for on-axis eye gaze tracking
US11715231B2 (en) Head pose estimation from local eye region
TWI545947B (zh) 具有影像擷取及分析模組之顯示裝置
JP5578603B2 (ja) 視線制御装置、視線制御方法、及びそのプログラム
CN107506036A (zh) Vr瞳距调节方法和装置
JP3642336B2 (ja) 目画像撮像装置
JP2003150942A (ja) 目位置追跡方法
JP3272906B2 (ja) 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
CN107392844A (zh) 一种修正人像视线的方法和设备
CN109189885A (zh) 一种基于智能设备摄像头的实时控制方法和智能设备
CN105068646A (zh) 终端的控制方法和系统
EP4109329A1 (en) Method and apparatus for acquiring facial image and iris image, readable storage medium, and device
WO2017203769A1 (ja) 視線検出方法
JPH10137223A (ja) アイリスを用いた個人認識装置およびこの個人認識装置を用いた自動取引システム
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和系统
CN107147786B (zh) 智能终端的图像采集控制方法及装置
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
CN113974546A (zh) 一种翼状胬肉检测方法和移动终端
US20230136191A1 (en) Image capturing system and method for adjusting focus
KR102085285B1 (ko) 딥러닝 영상분석 기반의 얼굴 인식 및 홍채 위치 인식 시스템
US10796147B1 (en) Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
CN109522868A (zh) 一种检测眨眼的方法和装置
Iskandar et al. Developing Shooter Game Interaction using Eye Movement Glasses
CN118262409A (zh) 坐姿识别方法、智能坐姿识别台灯及智能坐姿识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant