CN114690909B - 一种ai视觉自适应的方法、装置、系统、计算机可读介质 - Google Patents

Abstract

本发明公开了一种AI视觉自适应的方法、装置、系统、计算机可读介质，属于屏幕控制技术领域，包括以下步骤：步骤1、检测当前运行应用是否设置为自适应调节；步骤2、检测使用场景，并获取屏幕参数；步骤3、获取光线强度、眼睛运动轨迹以及眼睛参数调节屏幕参数；步骤4、保存屏幕参数以及用户操作轨迹，作为自适应调节参数；步骤5、同一用户使用时，若运行为标记过的应用或界面，则进入自适应调节。该AI视觉自适应的方法、装置、系统、计算机可读介质，无需退出当前已打开应用，在任意界面任意位置AI视觉自动达到用户所想要的效果，极大提升了操作效率并提升了用户体验。

Description

一种AI视觉自适应的方法、装置、系统、计算机可读介质

技术领域

本发明属于屏幕控制技术领域，具体涉及AI视觉自适应的方法、装置、系统、计算机可读介质。

背景技术

2012-2022年， 数字阅读行业市场规模及用户规模均高速增长；2021年及以后，用户红利增速显著，2019 年数字阅读用户增速仅为 1.4%；但市场规模仍保持较高增速，2019年数字阅读市场规模增速达 21.0%；

网络文学作品占数字阅读作品比重约 80%，出版物数字化作品仅占 20%左右，2019 年 我国网络文字作品累计规模稳定增长至 2590.1 万部，较 2018 年新增 148 万部，其中 3452 部网络文学翻译成外文出版，IP 新改编数量则共计 9656 部，作为数字阅读的重要组成部分；

目前，我们在使用手机、平板或电子书等，阅读时打开、翻页或调整背光方式主要是通过点击设置或通过手动时长来实现。比如阅读时通过设置阅读的时长来进行翻下一页，屏幕太亮或太暗时，只能通过手动设置亮度或自动背光来实现理像效果，需经过退出或打车当前界面、划动桌面、点击图标等多个步骤，效率很低，用户体验较差，因此，需研发一种新的AI视觉自适应的方法、装置、系统、计算机可读介质来解决现有的问题。

发明内容

本发明的目的在于提供一种AI视觉自适应的方法、装置、系统、计算机可读介质，以解决现有阅读时无法自适应调整屏幕导致用户体验差的问题。

为实现上述目的，本发明提供如下技术方案：一种AI视觉自适应的方法，包括以下步骤：

步骤1、检测当前运行应用是否设置为自适应调节；

步骤2、检测使用场景，并获取屏幕参数；

步骤3、获取光线强度、眼睛运动轨迹以及眼睛参数调节屏幕参数；

步骤4、保存屏幕参数以及用户操作轨迹，作为自适应调节参数；

步骤5、同一用户使用时，若运行为标记过的应用或界面，则进入自适应调节。

优选的，步骤3中，所述眼睛运动轨迹包括眼睛水平移动轨迹、垂直移动轨迹移动速度。

优选的，所述水平移动轨迹步骤包括：

步骤311、调用摄像头，检测人脸面部器官，并划分检测区域，使检测区域与面部器官建立对应关系；

步骤312、检测头发和额头的分界线，将此分界线设置为检测水平对比线；

步骤313、在设定的时间内，若检测到眼睛发生移动后，在移动停止3秒后记录轨迹点，将记录轨迹点连接成线,选择起始轨迹点与终止轨迹点，在起始轨迹点与终止轨迹点范围内标记最高点与最低点，若最高点与最低点的差在设定的范围内，则此段轨迹为水平移动轨迹。

优选的，所述垂直移动轨迹步骤包括：

步骤321、调用摄像头，检测人脸面部器官，并划分检测区域，使检测区域与面部器官建立对应关系；

步骤322、检测双眼之间距离取中点位置，检测鼻梁中轴线，使中轴线位于双眼中点位置，将中轴线设置为检测垂直线；

步骤323、若检测到眼睛发生移动后，在移动停止3秒后记录轨迹点，将记录轨迹点连接成线,选择起始轨迹点与终止轨迹点，在起始轨迹点与终止轨迹点范围内标记最左点与最右点，若最左点与最右点的差在设定的范围内，则此段轨迹为垂直移动轨迹。

优选的，步骤3中，所述眼睛参数获取方法包括：

建立左眼轮廓和右眼轮廓，解析左眼轮廓和右眼轮廓中的眉毛、上睫毛以及下睫毛，若轮廓中出现三条条状形黑带，则设置上部黑带为眉毛，中间黑带为上睫毛，下部黑带为下睫毛；每0.5秒记录一次上睫毛和下睫毛的坐标，当上睫毛和下睫毛的坐标在连接3个记录周期内数值在设定范围内，则计算上睫毛和下睫毛距离，并标记为阅读；

若轮廓中出现两条条状形黑带，每0.5秒记录一次条状黑带的坐标，在记录周期内连续10秒保持两条条状形黑带，标记为闭眼；

若轮廓中出现两条条状形黑带，每0.5秒记录一次条状黑带的坐标，在记录周期内连续3秒内出现一次三条条状形黑带，标记为间隙闭眼；

所述闭眼保持时间为10秒后，且相同时间段内轨迹点为水平移动轨迹或者垂直移动轨迹，则输出疲劳信号；

所述上睫毛和下睫毛距离差的范围为3cm -5cm，且相同时间段内轨迹点为水平移动轨迹或者垂直移动轨迹，移动速度绝对值小于5时，则输出阅读信号；

所述上睫毛和下睫毛距离差的范围为3cm -5cm，且相同时间段内轨迹点为非水平轨迹或者非垂直轨迹，移动速度绝对值大于20时，则输出分神信号。

优选的，所述调节屏幕参数步骤包括：

获取当前屏幕的亮度值； 通过调用操作系统的API方法得到当前使用中的光照传感器，并调用光照传感器API方法获取当前采集到的光线强度数值；

接收疲劳信号时，若获取光线强度值大于10000，检测当前屏幕的亮度值是否在20-60范围内，未在范围内，则将当前屏幕的亮度值设置为30,手机屏幕的刷新率设置为60Hz；

接收阅读信号时，若获取光线强度值范围为5000-10000，检测当前屏幕的亮度值是否为100-150范围内，未在范围内，则将当前屏幕的亮度值设置为120,手机屏幕的刷新率设置为120Hz；

接收阅读信号时，若获取光线强度值范围为400-4999，检测当前屏幕的亮度值是否为100-150范围内，未在范围内，则将当前屏幕的亮度值设置为120,手机屏幕的刷新率设置为120Hz；

接收分神信号时，若获取光线强度值小于400，检测当前屏幕的亮度值是否为60-80范围内，未在范围内，则将当前屏幕的亮度值设置为70,手机屏幕的刷新率设置为90Hz。

优选的，步骤3中，所述光线强度获取方法包括：通过调用操作系统的API方法获取系统服务得到传感器管理类，获取系统内所有传感器信息，若未安装光传感器，则停止执行；若安装光传感器，注册和监视光照传感器，若光传感器数值变化，获取传感器的精度以及传感器光线强度的数值，同时记录传感器事件发生的时间。

本发明另提供一种AI视觉自适应系统，所述系统包括：

运行列表模块，用于检测当前运行应用是否设置为自适应调节；

使用场景获取模块，用于获取屏幕参数；

光线强度模块，用于通过光线传感器获取光线强度；

眼睛运动轨迹模块，用于获取并计算眼睛运行的转迹，并输出状态信号；

屏幕参数调节模块，用于调节屏幕参数；

参数保存模块，用于保存屏幕参数以及用户操作轨迹，作为自适应调节参数；

自适应调节模块，用于运行为标记过的应用或界面，则进入自适应调节。

本发明另提供一种AI视觉自适应装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现上述的AI视觉自适应的方法。

本发明另提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述的AI视觉自适应的方法。

本发明的技术效果和优点：该AI视觉自适应的方法、装置、系统、计算机可读介质，无需退出当前已打开应用，在任意界面任意位置AI视觉自动达到用户所想要的效果，极大提升了操作效率并提升了用户体验；通过光线强度、眼睛运动轨迹提高了调节的精确度，并通过眼睛水平移动轨迹、垂直移动轨迹移动速度来实现自动屏幕调整，节省了电能，解决了用户的双手，将检测头发和额头的分界线，将此分界线设置为检测水平对比线；提高了水平移动轨迹的判断准确性，通过检测双眼之间距离取中点位置，检测鼻梁中轴线，使中轴线位于双眼中点位置，将中轴线设置为检测垂直线，通过眼睛运动轨迹的判断实现输出状态信号，提高了调节的精度，实现了用户最佳视觉感受。

附图说明

图1为本发明的流程图；

图2为本发明水平移动轨迹步骤流程图；

图3为本发明垂直移动轨迹步骤流程图；

图4为本发明实施例步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1、图4中所示的一种AI视觉自适应的方法，包括以下步骤：

步骤1、检测当前运行应用是否设置为自适应调节；本实施例中，系统检测到此类应用时，在场景变化时，比如光线变化、手机位置变化等，在任意界面快速启动应用自适应功能可手动选择开或关，开启自动调节功能；

步骤2、检测使用场景，并获取屏幕参数；检测到有应用被选中开始自适应，如看小说、新闻、电子书、阅读、文件等。系统根据相关光线强度、用户眼睛的行动轨迹和眼晴的大小采集等情况进行综合运算并启动自适应；

步骤3、获取光线强度、眼睛运动轨迹以及眼睛参数调节屏幕参数；所述眼睛运动轨迹包括眼睛水平移动轨迹、垂直移动轨迹移动速度；在阅读时，可以根据眼睛的上、下或左、右的移动轨迹或速度，进行AI视觉运算，从而可根据用户的阅读速度自动翻下一面；

所述光线强度获取方法包括：通过 mContext.getSystemService() 得到传感器管理类，获取系统内所有传感器信息，若未安装光传感器，则停止执行；若安装光传感器，注册和监视光照传感器，若光传感器数值变化，获取传感器的精度以及传感器光线强度的数值，同时记录传感器事件发生的时间。

如图2所示，所述水平移动轨迹步骤包括：

步骤311、调用摄像头，检测人脸面部器官，并划分检测区域，使检测区域与面部器官建立对应关系；

步骤312、检测头发和额头的分界线，将此分界线设置为检测水平对比线；

步骤313、在设定的时间内，若检测到眼睛发生移动后，在移动停止3秒后记录轨迹点，将记录轨迹点连接成线,选择起始轨迹点与终止轨迹点，在起始轨迹点与终止轨迹点范围内标记最高点与最低点，若最高点与最低点的差在设定的范围内，则此段轨迹为水平移动轨迹。

如图3所示，所述垂直移动轨迹步骤包括：

步骤321、调用摄像头，检测人脸面部器官，并划分检测区域，使检测区域与面部器官建立对应关系；

步骤322、检测双眼之间距离取中点位置，检测鼻梁中轴线，使中轴线位于双眼中点位置，将中轴线设置为检测垂直线；

步骤323、若检测到眼睛发生移动后，在移动停止3秒后记录轨迹点，将记录轨迹点连接成线,选择起始轨迹点与终止轨迹点，在起始轨迹点与终止轨迹点范围内标记最左点与最右点，若最左点与最右点的差在设定的范围内，则此段轨迹为垂直移动轨迹。

所述眼睛参数获取方法包括：

建立左眼轮廓和右眼轮廓，解析左眼轮廓和右眼轮廓中的眉毛、上睫毛以及下睫毛，若轮廓中出现三条条状形黑带，则设置上部黑带为眉毛，中间黑带为上睫毛，下部黑带为下睫毛；每0.5秒记录一次上睫毛和下睫毛的坐标，当上睫毛和下睫毛的坐标在连接3个记录周期内数值在设定范围内，则计算上睫毛和下睫毛距离，并标记为阅读；

若轮廓中出现两条条状形黑带，每0.5秒记录一次条状黑带的坐标，在记录周期内连续10秒保持两条条状形黑带，标记为闭眼；

若轮廓中出现两条条状形黑带，每0.5秒记录一次条状黑带的坐标，在记录周期内连续3秒内出现一次三条条状形黑带，标记为间隙闭眼；

所述闭眼保持时间为10秒后，且相同时间段内轨迹点为水平移动轨迹或者垂直移动轨迹，则输出疲劳信号；

所述上睫毛和下睫毛距离差的范围为3cm -5cm，且相同时间段内轨迹点为水平移动轨迹或者垂直移动轨迹，移动速度绝对值小于5时，则输出阅读信号；

所述上睫毛和下睫毛距离差的范围为3cm -5cm，且相同时间段内轨迹点为非水平轨迹或者非垂直轨迹，移动速度绝对值大于20时，则输出分神信号；

步骤4、保存屏幕参数以及用户操作轨迹，作为自适应调节参数；所述调节屏幕参数步骤包括：本实施例中，系统检测激活后方式到存储，在相关应用或界面时开启自动翻页，调节光线，打开应用或设置成用户喜欢的最佳；

获取当前屏幕的亮度值； 通过调用操作系统的API方法得到当前使用中的光照传感器，并调用光照传感器API方法获取当前采集到的光线强度数值；

接收疲劳信号时，若获取光线强度值大于10000，检测当前屏幕的亮度值是否在20-60范围内，未在范围内，则将当前屏幕的亮度值设置为30,手机屏幕的刷新率设置为60Hz；

接收阅读信号时，若获取光线强度值范围为5000-10000，检测当前屏幕的亮度值是否为100-150范围内，未在范围内，则将当前屏幕的亮度值设置为120,手机屏幕的刷新率设置为120Hz；

接收阅读信号时，若获取光线强度值范围为400-4999，检测当前屏幕的亮度值是否为100-150范围内，未在范围内，则将当前屏幕的亮度值设置为120,手机屏幕的刷新率设置为120Hz；

接收分神信号时，若获取光线强度值小于400，检测当前屏幕的亮度值是否为60-80范围内，未在范围内，则将当前屏幕的亮度值设置为70,手机屏幕的刷新率设置为90Hz。

步骤5、同一用户使用时，若运行为标记过的应用或界面，则进入自适应调节，本实施例中， 系统检测并记录用户的轨迹或使用习惯来自运行；

本发明另提供一种AI视觉自适应系统，所述系统包括：

运行列表模块，用于检测当前运行应用是否设置为自适应调节；

使用场景获取模块，用于获取屏幕参数；

光线强度模块，用于通过光线传感器获取光线强度；

眼睛运动轨迹模块，用于获取并计算眼睛运行的转迹，并输出状态信号；

屏幕参数调节模块，用于调节屏幕参数；

参数保存模块，用于保存屏幕参数以及用户操作轨迹，作为自适应调节参数；

自适应调节模块，用于运行为标记过的应用或界面，则进入自适应调节。

本发明另提供AI视觉自适应装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行上述的AI视觉自适应的方法。

本发明另提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述的AI视觉自适应的方法。

该AI视觉自适应的方法、装置、系统、计算机可读介质，无需退出当前已打开应用，在任意界面任意位置AI视觉自动达到用户所想要的效果，极大提升了操作效率并提升了用户体验；通过光线强度、眼睛运动轨迹提高了调节的精确度，并通过眼睛水平移动轨迹、垂直移动轨迹移动速度来实现自动屏幕调整，节省了电能，解决了用户的双手，将检测头发和额头的分界线，将此分界线设置为检测水平对比线；提高了水平移动轨迹的判断准确性，通过检测双眼之间距离取中点位置，检测鼻梁中轴线，使中轴线位于双眼中点位置，将中轴线设置为检测垂直线，通过眼睛运动轨迹的判断实现输出状态信号，提高了调节的精度，实现了用户最佳视觉感受。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种AI视觉自适应的方法，其特征在于：包括以下步骤：

步骤1、检测当前运行应用是否设置为自适应调节；

步骤2、检测使用场景，并获取屏幕参数；

步骤3、获取光线强度、眼睛运动轨迹以及眼睛参数调节屏幕参数；

步骤4、保存屏幕参数以及用户操作轨迹，作为自适应调节参数；

步骤5、同一用户使用时，若运行为标记过的应用或界面，则进入自适应调节；步骤3中，所述眼睛运动轨迹包括眼睛水平移动轨迹、垂直移动轨迹移动速度；获取所述水平移动轨迹步骤包括：

步骤311、调用摄像头，检测人脸面部器官，并划分检测区域，使检测区域与面部器官建立对应关系；

步骤312、检测头发和额头的分界线，将此分界线设置为检测水平对比线；

步骤313、在设定的时间内，若检测到眼睛发生移动后，在移动停止3秒后记录轨迹点，将记录轨迹点连接成线,选择起始轨迹点与终止轨迹点，在起始轨迹点与终止轨迹点范围内标记最高点与最低点，若最高点与最低点的差在设定的范围内，则此段轨迹为水平移动轨迹；获取所述垂直移动轨迹步骤包括：

步骤321、调用摄像头，检测人脸面部器官，并划分检测区域，使检测区域与面部器官建立对应关系；

步骤322、检测双眼之间距离取中点位置，检测鼻梁中轴线，使中轴线位于双眼中点位置，将中轴线设置为检测垂直线；

步骤323、若检测到眼睛发生移动后，在移动停止3秒后记录轨迹点，将记录轨迹点连接成线,选择起始轨迹点与终止轨迹点，在起始轨迹点与终止轨迹点范围内标记最左点与最右点，若最左点与最右点的差在设定的范围内，则此段轨迹为垂直移动轨迹；步骤3中，所述眼睛参数获取方法包括：

建立左眼轮廓和右眼轮廓，解析左眼轮廓和右眼轮廓中的眉毛、上睫毛以及下睫毛，若轮廓中出现三条条状形黑带，则设置上部黑带为眉毛，中间黑带为上睫毛，下部黑带为下睫毛；每0.5秒记录一次上睫毛和下睫毛的坐标，当上睫毛和下睫毛的坐标在连接3个记录周期内数值在设定范围内，则计算上睫毛和下睫毛距离，并标记为阅读；

若轮廓中出现两条条状形黑带，每0.5秒记录一次条状黑带的坐标，在记录周期内连续10秒保持两条条状形黑带，标记为闭眼；

若轮廓中出现两条条状形黑带，每0.5秒记录一次条状黑带的坐标，在记录周期内连续3秒内出现一次三条条状形黑带，标记为间隙闭眼；

所述闭眼保持时间为10秒后，且相同时间段内轨迹点为水平移动轨迹或者垂直移动轨迹，则输出疲劳信号；

所述上睫毛和下睫毛距离差的范围为3cm -5cm，且相同时间段内轨迹点为水平移动轨迹或者垂直移动轨迹，移动速度绝对值小于5时，则输出阅读信号；

所述上睫毛和下睫毛距离差的范围为3cm -5cm，且相同时间段内轨迹点为非水平轨迹或者非垂直轨迹，移动速度绝对值大于20时，则输出分神信号；所述调节屏幕参数步骤包括：

获取当前屏幕的亮度值； 通过调用操作系统的API方法得到当前使用中的光照传感器，并调用光照传感器API方法获取当前采集到的光线强度数值；

接收疲劳信号时，若获取光线强度值大于10000，检测当前屏幕的亮度值是否在20-60范围内，未在范围内，则将当前屏幕的亮度值设置为30,手机屏幕的刷新率设置为60Hz；

接收阅读信号时，若获取光线强度值范围为5000-10000，检测当前屏幕的亮度值是否为100-150范围内，未在范围内，则将当前屏幕的亮度值设置为120,手机屏幕的刷新率设置为120Hz；

接收阅读信号时，若获取光线强度值范围为400-4999，检测当前屏幕的亮度值是否为100-150范围内，未在范围内，则将当前屏幕的亮度值设置为120,手机屏幕的刷新率设置为120Hz；

接收分神信号时，若获取光线强度值小于400，检测当前屏幕的亮度值是否为60-80范围内，未在范围内，则将当前屏幕的亮度值设置为70,手机屏幕的刷新率设置为90Hz。

2.根据权利要求1所述的一种AI视觉自适应的方法，其特征在于：步骤3中，所述光线强度获取方法包括：通过调用操作系统的API方法获取系统服务得到传感器管理类，获取系统内所有传感器信息，若未安装光传感器，则停止执行；若安装光传感器，注册和监视光照传感器，若光传感器数值变化，获取传感器的精度以及传感器光线强度的数值，同时记录传感器事件发生的时间。

3.一种AI视觉自适应系统，所述系统包括：

运行列表模块，用于检测当前运行应用是否设置为自适应调节；

使用场景获取模块，用于获取屏幕参数；

光线强度模块，用于通过光线传感器获取光线强度；

眼睛运动轨迹模块，用于获取并计算眼睛运行的转迹，并输出状态信号；

屏幕参数调节模块，用于调节屏幕参数；

参数保存模块，用于保存屏幕参数以及用户操作轨迹，作为自适应调节参数；

自适应调节模块，用于运行为标记过的应用或界面，则进入自适应调节；

所述系统实现权利要求1到2中任意一项所述的AI视觉自适应的方法。

4.一种AI视觉自适应装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现根据权利要求1到2中任意一项所述的AI视觉自适应的方法。

5.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1到2中任意一项所述的AI视觉自适应的方法。

Images