CN114185509B - 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法 - Google Patents

基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法 Download PDF

Info

Publication number
CN114185509B
CN114185509B CN202111521090.5A CN202111521090A CN114185509B CN 114185509 B CN114185509 B CN 114185509B CN 202111521090 A CN202111521090 A CN 202111521090A CN 114185509 B CN114185509 B CN 114185509B
Authority
CN
China
Prior art keywords
eye
information
screen
model module
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111521090.5A
Other languages
English (en)
Other versions
CN114185509A (zh
Inventor
王冬晨
陈吉胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Shanghai Intelligent Technology Co Ltd
Original Assignee
Unisound Shanghai Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Shanghai Intelligent Technology Co Ltd filed Critical Unisound Shanghai Intelligent Technology Co Ltd
Priority to CN202111521090.5A priority Critical patent/CN114185509B/zh
Publication of CN114185509A publication Critical patent/CN114185509A/zh
Application granted granted Critical
Publication of CN114185509B publication Critical patent/CN114185509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法。其中，本发明利用神经网络预测模型模块训练出眼神追踪判断模型模块，用以对屏幕装置的观看者的眼神方向位置进行预测判断，从而分析出观看者的目光落点位在显示屏的那个区域(即获得目光区域信息)，并将所述目光区域信息反馈至中央处理器，以供中央处理器根据所述目光区域信息驱动控制放大显示屏的相应区域内容，从而起到方便观看者阅读显示屏显示内容的作用。本发明屏幕装置及其方法适用于个人或非个人屏幕设备，通过本发明屏幕区域信息放大方法，无需进行个性化调节字体，即可正常阅读使用。

Description

基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大 方法
技术领域
本发明涉及智能监控技术领域，具体来说涉及基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法。
背景技术
随着通讯技术的进步，在目前生活形态中，越来越多的信息，不再通过纸张进行传递，而是通过各种各样的屏幕，如电脑、手机、车站的电子广告屏、小区的信息宣传大屏实现各种信息的传达。
值得注意的是，在一些特殊的岗位上，如地铁驾驶员、飞机驾驶员，需要时刻通过屏幕上的信息进行相应的操作或判读，长时间工作后容易有眼睛疲劳而发生看走眼的状况。此外，手机、平板、电脑等几乎是日常生活中必需的3C用品；其中，手机的使用年龄层最广，然而，手机屏幕面积固定也常见3C屏幕中最小的，对于一些视力不佳的人，尤其是老年人，往往不易阅读屏幕预设大小的字体，需要随着阅读段落随时调整字体，不仅阅读麻烦，且固定面积的屏幕上所能显示的信息量也少，需要不断滚动页面才能完成阅读；更甚者，有些屏幕设备或者应用程序(APP)页面，无法手动调大字体，或者调大之后，导致页面上的信息区块重叠。明显造成阅读困难，有待进一步改进。
发明内容
鉴于上述情况，本发明提供一种基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法，本发明利用神经网络预测模型模块训练出眼神追踪判断模型模块，用以对屏幕装置的观看者的眼神方向位置进行预测判断，从而分析出观看者的目光落点位在显示屏的那个区域(即获得目光区域信息)，并将所述目光区域信息反馈至中央处理器，以供中央处理器根据所述目光区域信息驱动控制放大显示屏的相应区域内容，从而起到方便观看者阅读显示屏显示内容的作用。
为实现上述目的，本发明采取的技术方案是提供一种基于眼神追踪技术的多模态信息屏幕装置，其包括：中央处理器；显示屏，内存有屏幕区域识别数据；所述显示屏与所述中央处理器连接并供所述中央处理器读取所述屏幕区域识别数据；AI智能分析摄像设备，包括分别与所述中央处理器连接的摄像头、眼神追踪判断模型模块及神经网络预测模型模块；所述眼神追踪判断模型模块另与所述摄像头及所述神经网络预测模型模块连接；所述中央处理器根据所述屏幕区域识别数据控制所述摄像头拍摄并反馈以获得观看者的面部图像信息；眼神追踪训练样本数据库，与所述神经网络预测模型模块连接，供所述神经网络预测模型模块提取训练样本数据；其中，所述中央处理器接收所述面部图像信息和所述屏幕区域识别数据后形成图像对比信息并输出至所述神经网络预测模型模块；所述神经网络预测模型模块根据所述图像对比信息中的面部图像信息提取与其具有映射关系的训练样本数据，所述训练样本数据于所述神经网络预测模型模块训练更新形成带有屏幕区域识别数据的图像识别模型更新信息，所述图像识别模型更新信息被输出至所述眼神追踪判断模型模块以训练更新所述图像识别模型；借此，所述屏幕装置使用时，所述眼神追踪判断模型模块通过所述摄像头拍摄获得观看者的面部图像信息，所述眼神追踪判断模型模块基于已训练更新的所述图像识别模型与所述面部图像信息比对判断以形成目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
本发明屏幕装置的进一步改进在于，所述训练样本数据包括眼神状态特征、面部头部特征和表情特征；所述面部图像信息包括观看者的眼神状态特征、面部头部特征和表情特征；所述神经网络预测模型模块通过对比所述训练样本数据及所述面部图像信息中的特征以获得具有映射关系的训练样本数据和面部图像信息。
本发明屏幕装置的进一步改进在于，所述屏幕区域识别数据包含对应所述显示屏不同区域的识别数据；所述神经网络预测模型模块具有映射关系的训练样本数据和面部图像信息获得与所述训练样本数据相应的屏幕区域识别数据，使输出的图像识别模型更新信息包括训练样本数据以及与其相应的屏幕区域识别数据。
本发明屏幕装置的进一步改进在于，所述屏幕装置还包括时序程序控制模块，所述时序程序控制模块与所述眼神追踪判断模型模块连接；所述时序程序控制模块与所述眼神追踪判断模型模块协同作用，根据间隔摄像时长进行图像拍摄以及感测观看者的目光停留时长及目光离开时长；所述时序程序控制模块另与所述中央处理器连接，以供调整目光停留灵敏度。
本发明另提供一种基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，所述方法的步骤包括：
屏幕装置提供步骤：提供具有中央处理器、显示屏及AI智能分析摄像设备的屏幕装置；其中，所述AI智能分析摄像设备设有分别与所述中央处理器连接的摄像头、眼神追踪判断模型模块及神经网络预测模型模块；所述眼神追踪判断模型模块另与所述摄像头及所述神经网络预测模型模块连接；
训练样本数据获取步骤：使所述神经网络预测模型模块与一眼神追踪训练样本数据库连接；
观看者图像对比信息获取步骤：使所述中央处理器自所述显示屏读取内存的屏幕区域识别数据；所述中央处理器根据所述屏幕区域识别数据控制所述摄像头对观看者进行拍摄以获得观看者的面部图像信息；所述面部图像信息和所述屏幕区域识别数据经所述中央处理器处理形成图像对比信息并输出至所述神经网络预测模型模块；
神经网络预测模型训练步骤：所述神经网络预测模型模块根据所述图像对比信息中的面部图像信息提取与其具有映射关系的训练样本数据，所述训练样本数据于所述神经网络预测模型模块训练更新形成带有屏幕区域识别数据的图像识别模型更新信息；
神经网络预测模型训练结束步骤：重覆所述训练样本数据获取步骤、所述观看者图像对比信息获取步骤和所述神经网络预测模型训练步骤，直到所述中央处理器读取到的所有屏幕区域识别数据皆与所述训练样本数据形成映射关系时停止神经网络预测模型的训练；
图像识别模型训练更新步骤：将所述图像识别模型更新信息输出至所述眼神追踪判断模型模块以训练更新所述图像识别模型；
屏幕区域信息放大步骤：当观看者位于所述屏幕装置前，所述眼神追踪判断模型模块通过所述摄像头拍摄获得观看者的面部图像信息，所述眼神追踪判断模型模块基于已训练更新的所述图像识别模型与当前拍摄获得的所述面部图像信息比对判断以形成目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
本发明屏幕装置的区域信息放大方法的进一步改进在于，所述屏幕装置提供步骤中，所述AI智能分析摄像设备另设有时序程序控制模块与所述眼神追踪判断模型模块连接；所述眼神追踪判断模型模块根据所述时序程序控制模块的间隔摄像时长通过所述摄像头获得最新的所述摄像信息；所述屏幕区域信息放大步骤中，当观看者位于所述屏幕装置前，所述眼神追踪判断模型模块通过所述摄像头拍摄获得的当前摄像信息为所述观看者的面部图像信息。
本发明屏幕装置的区域信息放大方法的进一步改进在于，所述屏幕区域信息放大步骤中，所述眼神追踪判断模型模块在接收到所述观看者的面部图像信息时启动所述眼神追踪判断模型模块和所述时序程序控制模块协同感测所述观看者的目光停留时长；当所述目光停留时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模块输出所述目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
本发明屏幕装置的区域信息放大方法的进一步改进在于，所述方法的步骤还包括屏幕区域信息恢复步骤，其中，所述屏幕区域信息恢复步骤，所述眼神追踪判断模型模块输出所述目光区域信息后，再次根据所述时序程序控制模块的间隔摄像时长通过所述摄像头获得最新的所述面部图像信息；当所述眼神追踪判断模型模块不再读取到所述面部图像信息时，启动所述眼神追踪判断模型模块和所述时序程序控制模块协同感测所述观看者的目光离开时长；当所述目光离开时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模块输出目光离开信息，所述中央处理器接收所述目光离开信息并据以形成放大区域恢复信息输出至所述显示屏，所述显示屏根据所述放大区域恢复信息缩小对应的屏幕区域内容。
本发明屏幕装置及其区域信息放大方法的进一步改进在于，所述屏幕装置为手机屏幕、电脑屏幕、平板屏幕、室外广告大屏、电视屏幕或笔记型电脑屏幕。
本发明由于采用了以上技术方案，使其具有以下有益效果：
(1)本发明利用神经网络预测模型模块训练出眼神追踪判断模型模块，用以对屏幕装置的观看者的眼神方向位置进行预测判断的屏幕装置及屏幕区域信息放大方法，解决了视力不佳尤其是老年人在阅读电子屏幕时看不清文字的情况。
(2)本发明利用神经网络预测模型模块训练出眼神追踪判断模型模块，用以对屏幕装置的观看者的眼神方向位置进行预测判断的屏幕装置及屏幕区域信息放大方法，对于非个人设备，如室外电子屏，无需进行个性化调节字体，只要设备有该功能，正常阅读即可使用。
(3)本发明利用神经网络预测模型模块训练出眼神追踪判断模型模块，用以对屏幕装置的观看者的眼神方向位置进行预测判断的屏幕装置及屏幕区域信息放大方法，适用于个人化的屏幕设备，如手机、平板、电脑、电视、笔电等设备，无需调整原始字体，页面仍然可以搭载丰富信息。
本发明的这些和其它目的、特点和优势，通过下述的详细说明和权利要求得以充分体现，并可通过所附权利要求中特地指出的手段、装置和它们的组合得以实现。
附图说明
图1是本发明基于眼神追踪技术的多模态信息屏幕装置的架构示意图。
图2是本发明的AI智能分析摄像设备进行眼神追踪的状态示意图。
图3是本发明的显示屏裁分成相同大小区域以进行眼神追踪的状态示意图。
图4是本发明的显示屏裁分成不同大小区域以进行眼神追踪的状态示意图。
图5是本发明的显示屏收到目光区域放大信息后，将对应区域悬浮放大的示意图。
附图标记与部件的对应关系如下：
屏幕装置100；中央处理器10；显示屏20；AI智能分析摄像设备30；摄像头31；眼神追踪判断模型模块32；图像识别模型321；神经网络预测模型模块33；眼神追踪训练样本数据库40；训练样本数据41；观看者50；眼睛51；面部图像信息s1；目光区域信息s2；图像对比信息s3；图像识别模型更新信息s4；目光区域放大信息s5；放大区域恢复信息s6；目光离开信息s7。
具体实施方式
在这里将公开本发明的详细的具体实施方案。然而应当理解，所公开的实施方案仅仅是本发明的典型例子，并且本发明可以通过多种备选形式来实施。因此，这里所公开的具体结构和功能细节不是限制性的，仅是以权利要求为原则，作为向本领域技术人员说明不同实施方式的代表性原则。
为利于对本发明的了解，以下结合附图1至图5及实施例进行说明。
需先说明的是，于本发明的图1中，设备、数据库、模块或构件之间的连接线，其中一端箭号所指方向是指特别标注的信息(s1、s2、s3、s4、s5、s6、s7)的传输方向；应被理解的是，连接线的箭号方向不用于限制连接线两端连接构件、数据库、模块或设备之间的其他信息传输方向。
请参阅图1，本发明提供了基于眼神追踪技术的多模态信息屏幕装置，其中，所述屏幕装置100包括中央处理器10、显示屏20、AI智能分析摄像设备30和眼神追踪训练样本数据库40；其中，所述AI智能分析摄像设备30还包括摄像头31、眼神追踪判断模型模块32和神经网络预测模型模块33。
如图1，所述中央处理器10与所述显示屏20、所述摄像头31、所述眼神追踪判断模型模块32和所述神经网络预测模型模块33连接。
如图1，所述显示屏20内存有屏幕区域识别数据21；所述中央处理器10通过与所述显示屏20连接以读取所述屏幕区域识别数据21。于本发明实施例中，所述屏幕区域识别数据21可根据不同形态的屏幕装置100进行区域划分，如图3，显示将显示屏20的面积按相同尺寸的规则区域划分，并可进一步标识为A1区域、A2区域…至H8区域；如图4，显示将显示屏20的面积按不同尺寸大小的区域划分，可标识为A区域、B区域…至G区域。
如图1、图2所示，所述AI智能分析摄像设备30用于拍摄获得所述显示屏20前方的图像信息，并在观看者50位于显示屏20前方时形成观看者50的面部图像信息s1，供作分析判断使用。其中，所述眼神追踪判断模型模块32另与所述摄像头31及所述神经网络预测模型模块33连接；所述中央处理器10根据所述屏幕区域识别数据21控制所述摄像头31拍摄并反馈以获得观看者50的面部图像信息s1。于本发明实施例中，如图2所示，观看者50通过目光落点于如图3、图4中显示屏20的不同屏幕区域，而形成不同的眼神状态特征、面部头部特征、表情特征等特征，从而在AI智能分析摄像设备30拍摄获得的面部图像信息s1中形成可供比对判断的有效信息。
如图1所示，所述眼神追踪训练样本数据库40与所述神经网络预测模型模块33连接，供所述神经网络预测模型模块33提取训练样本数据41。
于本发明实施例中，如图1，所述中央处理器10接收所述面部图像信息s1和所述屏幕区域识别数据21后形成图像对比信息s3并输出至所述神经网络预测模型模块33；所述神经网络预测模型模块33根据所述图像对比信息s3中的面部图像信息s1提取与其具有映射关系的训练样本数据41，所述训练样本数据41于所述神经网络预测模型模块33训练更新形成带有屏幕区域识别数据21的图像识别模型更新信息s4，所述图像识别模型更新信息s4被输出至所述眼神追踪判断模型模块32以训练更新所述图像识别模型321。借此，所述屏幕装置100使用时，所述眼神追踪判断模型模块32通过所述摄像头31拍摄获得观看者50的面部图像信息s1，所述眼神追踪判断模型模块32基于已训练更新的所述图像识别模型321与所述面部图像信息s1比对判断以形成目光区域信息s2，所述中央处理器10接收所述目光区域信息s2并据以形成目光区域放大信息s5输出至所述显示屏20，如图5的E区域所示，所述显示屏20根据所述目光区域放大信息s5放大对应的屏幕区域内容。
具体地，于本发明实施例中，所述训练样本数据41包括眼神状态特征、面部头部特征和表情特征；所述面部图像信息s1包括观看者50的眼神状态特征、面部头部特征和表情特征；所述神经网络预测模型模块33通过对比所述训练样本数据41及所述面部图像信息s1中的特征以获得具有映射关系的训练样本数据41和面部图像信息s1。
具体地，于本发明实施例中，所述屏幕区域识别数据21包含对应所述显示屏20不同区域的识别数据；所述神经网络预测模型模块33具有映射关系的训练样本数据41和面部图像信息s1获得与所述训练样本数据41相应的屏幕区域识别数据21，使输出的图像识别模型更新信息s4包括训练样本数据41以及与其相应的屏幕区域识别数据21。
具体地，于本发明实施例中，所述屏幕装置100还包括时序程序控制模块，所述时序程序控制模块与所述眼神追踪判断模型模块32连接；所述时序程序控制模块与所述眼神追踪判断模型模块32协同作用，根据间隔摄像时长进行图像拍摄以及感测观看者50的目光停留时长及目光离开时长；所述时序程序控制模块另与所述中央处理器10连接，以供调整目光停留灵敏度。
于本发明实施例中，所述屏幕装置100为手机屏幕、电脑屏幕、平板屏幕、室外广告大屏、电视屏幕或笔记型电脑屏幕。
以上说明了本发明基于眼神追踪技术的多模态信息屏幕装置的具体实施方式，以下请配合参阅图1至图5，说明本发明屏幕装置100的区域信息放大方法。
本发明基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法的步骤包括：
屏幕装置提供步骤：提供具有中央处理器10、显示屏20及AI智能分析摄像设备30的屏幕装置100；其中，所述AI智能分析摄像设备30设有分别与所述中央处理器10连接的摄像头31、眼神追踪判断模型模块32及神经网络预测模型模块33；所述眼神追踪判断模型模块32另与所述摄像头31及所述神经网络预测模型模块33连接；
训练样本数据获取步骤：使所述神经网络预测模型模块33与一眼神追踪训练样本数据库40连接；
观看者图像对比信息获取步骤：使所述中央处理器10自所述显示屏20读取内存的屏幕区域识别数据21；所述中央处理器10根据所述屏幕区域识别数据21控制所述摄像头31对观看者50进行拍摄以获得观看者50的面部图像信息s1；所述面部图像信息s1和所述屏幕区域识别数据21经所述中央处理器10处理形成图像对比信息s3并输出至所述神经网络预测模型模块33；
神经网络预测模型训练步骤：所述神经网络预测模型模块33根据所述图像对比信息s3中的面部图像信息s1提取与其具有映射关系的训练样本数据41，所述训练样本数据41于所述神经网络预测模型模块33训练更新形成带有屏幕区域识别数据21的图像识别模型更新信息s4；
神经网络预测模型训练结束步骤：重覆所述训练样本数据获取步骤、所述观看者图像对比信息获取步骤和所述神经网络预测模型训练步骤，直到所述中央处理器10读取到的所有屏幕区域识别数据21皆与所述训练样本数据41形成映射关系时停止神经网络预测模型的训练；
图像识别模型训练更新步骤：将所述图像识别模型更新信息s4输出至所述眼神追踪判断模型模块32以训练更新所述图像识别模型321；
屏幕区域信息放大步骤：当观看者50位于所述屏幕装置100前，所述眼神追踪判断模型模块32通过所述摄像头31拍摄获得观看者50的面部图像信息s1，所述眼神追踪判断模型模块32基于已训练更新的所述图像识别模型321与当前拍摄获得的所述面部图像信息s1比对判断以形成目光区域信息s2，所述中央处理器10接收所述目光区域信息s2并据以形成目光区域放大信息s5输出至所述显示屏20，所述显示屏20根据所述目光区域放大信息s5放大对应的屏幕区域内容。
进一步地，于本发明实施例中，所述屏幕装置提供步骤中，所述AI智能分析摄像设备30另设有时序程序控制模块(图未示)与所述眼神追踪判断模型模块32连接；所述眼神追踪判断模型模块32根据所述时序程序控制模块的间隔摄像时长通过所述摄像头31获得最新的所述摄像信息；
所述屏幕区域信息放大步骤中，当观看者50位于所述屏幕装置100前，所述眼神追踪判断模型模块32通过所述摄像头31拍摄获得的当前摄像信息为所述观看者50的面部图像信息s1。
进一步地，于本发明实施例中，所述屏幕区域信息放大步骤中，所述眼神追踪判断模型模块32在接收到所述观看者50的面部图像信息s1时启动所述眼神追踪判断模型模块32和所述时序程序控制模块协同感测所述观看者50的目光停留时长；当所述目光停留时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模块32输出所述目光区域信息s2，所述中央处理器10接收所述目光区域信息s2并据以形成目光区域放大信息s5输出至所述显示屏20，所述显示屏20根据所述目光区域放大信息s5放大对应的屏幕区域内容。
进一步地，于本发明实施例中，所述方法的步骤还包括屏幕区域信息恢复步骤，其中，所述屏幕区域信息恢复步骤，所述眼神追踪判断模型模块32输出所述目光区域信息s2后，再次根据所述时序程序控制模块的间隔摄像时长通过所述摄像头31获得最新的所述面部图像信息s1；当所述眼神追踪判断模型模块32不再读取到所述面部图像信息s1时，启动所述眼神追踪判断模型模块32和所述时序程序控制模块协同感测所述观看者50的目光离开时长；当所述目光离开时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模块32输出目光离开信息s7，所述中央处理器10接收所述目光离开信息s7并据以形成放大区域恢复信息s6输出至所述显示屏20，所述显示屏20根据所述放大区域恢复信息s6缩小对应的屏幕区域内容。
以下提供本发明基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法的实施例。其方法步骤包括：
第一步：获取眼神追踪训练样本集(眼神追踪训练样本数据库40)，包括眼神状态特征，面部头部特征，表情特征等；
第二步：获取所述训练样本集中训练样本(训练样本数据41)与目光实际观测屏幕区域的行为特征(面部图像信息s1)；于本步骤中，可将屏幕分成很多大小相同或不同的区域，以获取目光区域信息s2；
第三步：分别对所述人眼神表情特征和目光区域特征进行提取，输入神经网络预测模型，训练可进行眼神追踪的图像识别模型；
第四步：将第一步至第三步方法应用在有AI分析能力的摄像头(AI智能分析摄像设备30)中，并搭载至各类屏幕(屏幕装置100)；
第五步：大尺寸屏幕为例，当观看者50停留在屏幕前3秒时，屏幕可对观看者50行人物自动判断，此时AI智能分析摄像设备30可以对观看者50的眼睛51进行眼神追踪；
第六步：当追踪到观看者50的眼睛51在浏览A区域，且目光已经停留超过3秒，此时AI智能分析摄像设备30可通过其眼神追踪判断模型模块32进行软件逻辑判断观看者50正在阅读A区域信息，将此状况信息反馈至中央处理器10；
第七步：所述中央处理器10采用悬浮的方式控制A区域信息(如图5)，进行适当的放大，方便观看者50进行A区域信息阅读。
第八步：当观看者50的眼睛51离开A区域超过2秒，放大效果根据内设时序程序控制而自动消失；当屏幕装置100接着眼神追踪判断观看者50在阅读B区域，可根据以上步骤放大B区域内容；
第九步：当AI智能分析摄像设备30判断观看者50离开屏幕前方后，将状况信息反馈至中央处理器10以使被放大的区域内容恢复原来字体大小。
是以，本发明通过前述基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法，能够搭载进入手机、平板、电脑、电视或大型室外广告大屏等设备中，并配合设置开关功能，从而在有需要使用该眼神追踪以放大阅读区域功能时，将AI智能分析摄像设备30的摄像头正对观看者50面部即可实现上述操作。
以上结合附图及实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (8)

1.一种基于眼神追踪技术的多模态信息屏幕装置，其特征在于，包括：
中央处理器；
显示屏，内存有屏幕区域识别数据；所述显示屏与所述中央处理器连接并供所述中央处理器读取所述屏幕区域识别数据，所述屏幕区域识别数据包含对应所述显示屏不同区域的识别数据；
AI智能分析摄像设备，包括分别与所述中央处理器连接的摄像头、眼神追踪判断模型模块及神经网络预测模型模块；所述眼神追踪判断模型模块另与所述摄像头及所述神经网络预测模型模块连接；所述中央处理器根据所述屏幕区域识别数据控制所述摄像头拍摄并反馈以获得观看者的面部图像信息，所述面部图像信息包括观看者的眼神状态特征、面部头部特征和表情特征；
眼神追踪训练样本数据库，与所述神经网络预测模型模块连接，供所述神经网络预测模型模块提取训练样本数据，所述训练样本数据包括眼神状态特征、面部头部特征和表情特征；
其中，所述中央处理器接收所述面部图像信息和所述屏幕区域识别数据后形成图像对比信息并输出至所述神经网络预测模型模块；所述神经网络预测模型模块根据所述图像对比信息中的面部图像信息提取与其具有映射关系的训练样本数据，所述训练样本数据于所述神经网络预测模型模块训练更新形成带有屏幕区域识别数据的图像识别模型更新信息，所述图像识别模型更新信息被输出至所述眼神追踪判断模型模块以训练更新所述图像识别模型；所述神经网络预测模型模块通过对比所述训练样本数据及所述面部图像信息中的特征以获得具有映射关系的训练样本数据和面部图像信息；所述神经网络预测模型模块根据具有映射关系的训练样本数据和面部图像信息获得与所述训练样本数据相应的屏幕区域识别数据，使输出的图像识别模型更新信息包括训练样本数据以及与其相应的屏幕区域识别数据；
借此，所述屏幕装置使用时，所述眼神追踪判断模型模块通过所述摄像头拍摄获得观看者的面部图像信息，所述眼神追踪判断模型模块基于已训练更新的所述图像识别模型与所述面部图像信息比对判断以形成目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
2.根据权利要求1所述的基于眼神追踪技术的多模态信息屏幕装置，其特征在于：
所述屏幕装置还包括时序程序控制模块，所述时序程序控制模块与所述眼神追踪判断模型模块连接；所述时序程序控制模块与所述眼神追踪判断模型模块协同作用，根据间隔摄像时长进行图像拍摄以及感测观看者的目光停留时长及目光离开时长；所述时序程序控制模块另与所述中央处理器连接，以供调整目光停留灵敏度。
3.根据权利要求1所述的基于眼神追踪技术的多模态信息屏幕装置，其特征在于：
所述屏幕装置为手机屏幕、电脑屏幕、平板屏幕、室外广告大屏或笔记型电脑屏幕。
4.一种基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，其特征在于，所述方法的步骤包括：
屏幕装置提供步骤：提供具有中央处理器、显示屏及AI智能分析摄像设备的屏幕装置；其中，所述AI智能分析摄像设备设有分别与所述中央处理器连接的摄像头、眼神追踪判断模型模块及神经网络预测模型模块；所述眼神追踪判断模型模块另与所述摄像头及所述神经网络预测模型模块连接；
训练样本数据获取步骤：使所述神经网络预测模型模块与一眼神追踪训练样本数据库连接；
观看者图像对比信息获取步骤：使所述中央处理器自所述显示屏读取内存的屏幕区域识别数据，所述屏幕区域识别数据包含对应所述显示屏不同区域的识别数据；所述中央处理器根据所述屏幕区域识别数据控制所述摄像头对观看者进行拍摄以获得观看者的面部图像信息，所述面部图像信息包括观看者的眼神状态特征、面部头部特征和表情特征；所述面部图像信息和所述屏幕区域识别数据经所述中央处理器处理形成图像对比信息并输出至所述神经网络预测模型模块；
神经网络预测模型训练步骤：所述神经网络预测模型模块根据所述图像对比信息中的面部图像信息提取与其具有映射关系的训练样本数据，所述训练样本数据包括眼神状态特征、面部头部特征和表情特征，所述训练样本数据于所述神经网络预测模型模块训练更新形成带有屏幕区域识别数据的图像识别模型更新信息；所述神经网络预测模型模块通过对比所述训练样本数据及所述面部图像信息中的特征以获得具有映射关系的训练样本数据和面部图像信息；所述神经网络预测模型模块根据具有映射关系的训练样本数据和面部图像信息获得与所述训练样本数据相应的屏幕区域识别数据，使输出的图像识别模型更新信息包括训练样本数据以及与其相应的屏幕区域识别数据；
神经网络预测模型训练结束步骤：重覆所述训练样本数据获取步骤、所述观看者图像对比信息获取步骤和所述神经网络预测模型训练步骤，直到所述中央处理器读取到的所有屏幕区域识别数据皆与所述训练样本数据形成映射关系时停止神经网络预测模型的训练；
图像识别模型训练更新步骤：将所述图像识别模型更新信息输出至所述眼神追踪判断模型模块以训练更新所述图像识别模型；
屏幕区域信息放大步骤：当观看者位于所述屏幕装置前，所述眼神追踪判断模型模块通过所述摄像头拍摄获得观看者的面部图像信息，所述眼神追踪判断模型模块基于已训练更新的所述图像识别模型与当前拍摄获得的所述面部图像信息比对判断以形成目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
5.根据权利要求4所述的基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，其特征在于：
所述屏幕装置提供步骤中，所述AI智能分析摄像设备另设有时序程序控制模块与所述眼神追踪判断模型模块连接；所述眼神追踪判断模型模块根据所述时序程序控制模块的间隔摄像时长通过所述摄像头获得最新的摄像信息；
所述屏幕区域信息放大步骤中，当观看者位于所述屏幕装置前，所述眼神追踪判断模型模块通过所述摄像头拍摄获得的当前摄像信息为所述观看者的面部图像信息。
6.根据权利要求5所述的基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，其特征在于：
所述屏幕区域信息放大步骤中，所述眼神追踪判断模型模块在接收到所述观看者的面部图像信息时启动所述眼神追踪判断模型模块和所述时序程序控制模块协同感测所述观看者的目光停留时长；当所述目光停留时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模块输出所述目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
7.根据权利要求6所述的基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，其特征在于，所述方法的步骤还包括屏幕区域信息恢复步骤，其中：
所述屏幕区域信息恢复步骤，所述眼神追踪判断模型模块输出所述目光区域信息后，再次根据所述时序程序控制模块的间隔摄像时长通过所述摄像头获得最新的所述面部图像信息；当所述眼神追踪判断模型模块不再读取到所述面部图像信息时，启动所述眼神追踪判断模型模块和所述时序程序控制模块协同感测所述观看者的目光离开时长；当所述目光离开时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模块输出目光离开信息，所述中央处理器接收所述目光离开信息并据以形成放大区域恢复信息输出至所述显示屏，所述显示屏根据所述放大区域恢复信息缩小对应的屏幕区域内容。
8.根据权利要求4至7中任一权利要求所述的基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，其特征在于：
所述屏幕装置为手机屏幕、电脑屏幕、平板屏幕、室外广告大屏或笔记型电脑屏幕。
CN202111521090.5A 2021-12-13 2021-12-13 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法 Active CN114185509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111521090.5A CN114185509B (zh) 2021-12-13 2021-12-13 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111521090.5A CN114185509B (zh) 2021-12-13 2021-12-13 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法

Publications (2)

Publication Number Publication Date
CN114185509A CN114185509A (zh) 2022-03-15
CN114185509B true CN114185509B (zh) 2023-12-01

Family

ID=80543556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111521090.5A Active CN114185509B (zh) 2021-12-13 2021-12-13 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法

Country Status (1)

Country Link
CN (1) CN114185509B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711343A (zh) * 2018-12-27 2019-05-03 北京思图场景数据科技服务有限公司 基于表情、姿态识别和眼神追踪的行为结构化方法
CN109933205A (zh) * 2019-03-25 2019-06-25 一汽轿车股份有限公司 一种车载眼神交互装置
CN112799516A (zh) * 2021-02-05 2021-05-14 深圳技术大学 一种屏幕内容调整方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711343A (zh) * 2018-12-27 2019-05-03 北京思图场景数据科技服务有限公司 基于表情、姿态识别和眼神追踪的行为结构化方法
CN109933205A (zh) * 2019-03-25 2019-06-25 一汽轿车股份有限公司 一种车载眼神交互装置
CN112799516A (zh) * 2021-02-05 2021-05-14 深圳技术大学 一种屏幕内容调整方法及系统

Also Published As

Publication number Publication date
CN114185509A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US10674083B2 (en) Automatic mobile photo capture using video analysis
US8866931B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US8909530B2 (en) Apparatus, method, and computer readable medium for expedited text reading using staged OCR technique
CN103336576B (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
US20140253702A1 (en) Apparatus and method for executing system commands based on captured image data
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
CN103440038A (zh) 一种基于眼部识别的信息采集系统及其应用
CN106341549A (zh) 一种移动终端有声阅读装置及方法
KR20190063277A (ko) 이미지에서 텍스트를 인식할 수 있는 전자 장치
TWI608428B (zh) 利用影像辨識產生相對應資訊之影像處理系統及其相關方法
US20140195513A1 (en) System and method for using on-image gestures and multimedia content elements as search queries
CN104835361B (zh) 一种电子词典
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
WO2002061672A3 (en) System and method for extracting a point of interest of an object in front of a computer controllable display captured by an imaging device
CN114185509B (zh) 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法
US20110252332A1 (en) Electronic device and method for browsing internet content utilized thereby
US20110294522A1 (en) Character recognizing system and method for the same
CN115620378A (zh) 多视角牛脸智能采集方法、装置、系统及相关设备
KR101363155B1 (ko) 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법
CN115146085A (zh) 在线影像分发辅助方法、装置及系统
CN104635932A (zh) 一种调节显示内容的方法和设备
Hirayama A book reading magnifier for low vision persons on smartphones and tablets
CN105808180B (zh) 画面调整方法及系统
JP2004326473A (ja) カメラ及びコンピュータ装置を用いた携帯端末へのデータ登録方式
Dumachi et al. STUDENT EMOTION RECOGNITION SYSTEM BASED ON REAL-TIME FACE DETECTION AND EXTRACTION OF EFFECTIVE DESCRIPTORS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant