CN114210045A - 智能护眼方法、装置和计算机可读存储介质 - Google Patents

智能护眼方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN114210045A
CN114210045A CN202111527492.6A CN202111527492A CN114210045A CN 114210045 A CN114210045 A CN 114210045A CN 202111527492 A CN202111527492 A CN 202111527492A CN 114210045 A CN114210045 A CN 114210045A
Authority
CN
China
Prior art keywords
game
eye protection
eye
game object
protection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111527492.6A
Other languages
English (en)
Inventor
付华东
王鵾
许福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN202111527492.6A priority Critical patent/CN114210045A/zh
Publication of CN114210045A publication Critical patent/CN114210045A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能护眼方法、装置和计算机可读存储介质，所述智能护眼方法包括以下步骤：调用预设摄像头采集用户图像，识别所述用户图像以得到识别结果；通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象；引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏。通过实施本发明，实现了对用户的护眼引导，增加了护眼过程的趣味性，显著有效地提升了游戏对象的护眼效果，让游戏对象的眼睛得到了充分的休息。

Description

智能护眼方法、装置和计算机可读存储介质
技术领域
本发明涉及电视机领域，尤其涉及智能护眼方法、装置和计算机可读存储介质。
背景技术
儿童和青少年是家庭的核心人群，同时也是电视的核心用户之一，使用电子产品会引起眼部疲劳和视力下降已经成为公认的事实，如何让孩子更安全健康地观看电视，从而让家长放心，是我们亟需解决的问题。
目前的做法是当用户连续观看电视一定时间后进行休息提醒。
然而，对于孩子群体来说，单纯的放松休息对缓解眼部疲劳并不能达到很好的效果。
发明内容
本发明的主要目的在于提供一种智能护眼方法、装置和计算机可读存储介质，旨在解决如何显著有效地让用户的眼睛在观看电视之后得到充分休息的技术问题。
为实现上述目的，本发明提供一种智能护眼方法，所述智能护眼方法包括以下步骤：
调用预设摄像头采集用户图像，识别所述用户图像以得到识别结果；
通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象；
引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏。
可选地，所述通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象的步骤包括：
若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中只包含一个人脸图像，则选取所述人脸图像对应的用户作为游戏对象；
若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中包含多个人脸图像，则根据所述人脸图像的完整度、面积以及所述人脸图像与所述摄像头之间的距离，从多个人脸图像对应的用户中选取游戏对象。
可选地，所述引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏的步骤包括：
当护眼游戏开始后，实时检测所述游戏对象的人脸状态；
调用预先训练完毕的人脸关键点检测模型对所述人脸状态进行检测识别，以实时得到所述游戏对象的人脸关键点坐标；
当根据所述人脸关键点坐标检测到眼睛时，引导所述游戏对象进入护眼步骤；
若在第一预设时长内，所述游戏对象的眼睛睁闭状态始终符合预设要求，则判定本次护眼成功，提示所述游戏对象本次护眼游戏已完成。
可选地，所述引导所述游戏对象进入护眼步骤的步骤包括：
展示处于初始状态的游戏画面，播放背景音乐并语音提示所述游戏对象闭上双眼；
若在第二预设时长内，所述游戏对象未睁眼，则语音提示所述游戏对象睁眼，同时将所述处于初始状态的游戏画面动态转换至处于成长状态的游戏画面；
重复多次语音提示所述游戏对象闭眼和睁眼的步骤，直至所述游戏画面动态转换至完成状态；
所述提示所述游戏对象本次护眼游戏已完成的步骤包括：
语音播报处于完成状态的游戏画面中出现的赞扬类文本信息以提示所述游戏对象本次护眼游戏已完成。
可选地，所述识别所述用户图像以得到识别结果的步骤包括：
获取当前显示画面，调用预先训练完毕的人脸识别模型对所述用户图像进行检测识别，以得到人脸图像识别结果；
所述得到识别结果的步骤之后包括：
将所述人脸图像识别结果发送至显示设备，以使所述显示设备根据所述人脸图像识别结果调节图像参数及声音参数。
可选地，所述通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象的步骤之后包括：
根据所述人脸图像识别结果确认所述游戏对象的身份，根据所述游戏对象的身份判断所述游戏对象当日是否是首次进入护眼游戏；
若所述游戏对象当日不是首次进入护眼游戏，则执行所述引导所述游戏对象在所述护眼游戏界面中进行护眼游戏的步骤；
若所述游戏对象当日是首次进入护眼游戏，则在展示护眼游戏说明后，引导所述游戏对象在所述护眼游戏界面中进行护眼游戏。
可选地，所述引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏的步骤之前包括：
展示所述游戏对象的当日已护眼次数和剩余需护眼次数；
若剩余需护眼次数大于零，则引导所述游戏对象进入护眼步骤；
若剩余需护眼次数为零，但接收到继续游戏的指令，则引导所述游戏对象进入护眼步骤。
可选地，所述调用预设摄像头采集用户图像的步骤之前包括：
当观影界面的运行时间达到第三预设时长时，隐藏所述观影界面并展示护眼提醒界面；
当所述护眼提醒界面展示一定时间后，检测预设摄像头的占用状态；
若所述预设摄像头未处于被占用状态，则隐藏所述护眼提醒界面并展示预设的护眼游戏界面；
若所述预设摄像头处于被占用状态，则提示退出占用所述预设摄像头的其它应用；
当接收到确认退出的指令时，退出占用所述预设摄像头的其它应用，接入所述预设摄像头，隐藏所述护眼提醒界面并展示所述预设的护眼游戏界面。
此外，为实现上述目的，本发明还提供一种智能护眼装置，所述智能护眼装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能护眼程序，所述智能护眼程序被所述处理器执行时实现如权上所述的智能护眼方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有智能护眼程序，所述智能护眼程序被处理器执行时实现如上所述的智能护眼方法的步骤。
本发明提出一种智能护眼方法、装置和计算机可读存储介质，在所述智能护眼方法中，通过调用预设摄像头采集用户图像，以识别所述用户图像并得到识别结果；通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象；引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏。通过引导游戏对象进行护眼游戏，增加了护眼过程的趣味性，显著有效地缓解了游戏对象的眼部疲劳，让游戏对象的眼睛得到了充分的休息，降低了孩子群体对于护眼的抗拒性，保证了护眼效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明智能护眼方法第一实施例的流程示意图；
图3为本发明智能护眼方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：一种智能护眼方法，所述智能护眼方法包括以下步骤：
当观影界面的运行时间达到第一预设时长时，隐藏所述观影界面，展示护眼提醒界面；
检测摄像头是否处于被占用状态，若所述摄像头未处于被占用状态，则接入所述摄像头，隐藏所述护眼提醒界面并展示护眼游戏界面；
通过所述摄像头选取游戏对象，引导所述游戏对象在所述护眼游戏界面中进行护眼游戏。
儿童和青少年是家庭的核心人群，同时也是电视的核心用户之一，使用电子产品会引起眼部疲劳和视力下降已经成为公认的事实，如何让孩子更安全健康地观看电视，从而让家长放心，是我们亟需解决的问题。目前的做法是当用户连续观看电视一定时间后进行休息提醒。
然而，对于孩子群体来说，单纯的放松休息对缓解眼部疲劳并不能达到很好的效果。
为此，本发明提供一种智能护眼方法，在所述智能护眼方法中，当观影界面的运行时间达到第一预设时长时，隐藏所述观影界面，展示护眼提醒界面；检测摄像头是否处于被占用状态，若所述摄像头未处于被占用状态，则接入所述摄像头，隐藏所述护眼提醒界面并展示护眼游戏界面；通过所述摄像头选取游戏对象，引导所述游戏对象在所述护眼游戏界面中进行护眼游戏。通过引导游戏对象进行护眼游戏，增加了护眼过程的趣味性，显著有效地缓解了游戏对象的眼部疲劳，让游戏对象的眼睛得到了充分的休息，降低了孩子群体对于护眼的抗拒性，保证了护眼效果。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是电视机，也可以是PC、智能手机、平板电脑、便携计算机等具有显示功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及智能护眼程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的智能护眼程序，并执行以下操作：
调用预设摄像头采集用户图像，识别所述用户图像以得到识别结果；
通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象；
引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
所述通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象的步骤包括：
若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中只包含一个人脸图像，则选取所述人脸图像对应的用户作为游戏对象；
若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中包含多个人脸图像，则根据所述人脸图像的完整度、面积以及所述人脸图像与所述摄像头之间的距离，从多个人脸图像对应的用户中选取游戏对象。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
所述引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏的步骤包括：
当护眼游戏开始后，实时检测所述游戏对象的人脸状态；
调用预先训练完毕的人脸关键点检测模型对所述人脸状态进行检测识别，以实时得到所述游戏对象的人脸关键点坐标；
当根据所述人脸关键点坐标检测到眼睛时，引导所述游戏对象进入护眼步骤；
若在第一预设时长内，所述游戏对象的眼睛睁闭状态始终符合预设要求，则判定本次护眼成功，提示所述游戏对象本次护眼游戏已完成。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
所述引导所述游戏对象进入护眼步骤的步骤包括：
展示处于初始状态的游戏画面，播放背景音乐并语音提示所述游戏对象闭上双眼；
若在第二预设时长内，所述游戏对象未睁眼，则语音提示所述游戏对象睁眼，同时将所述处于初始状态的游戏画面动态转换至处于成长状态的游戏画面；
重复多次语音提示所述游戏对象闭眼和睁眼的步骤，直至所述游戏画面动态转换至完成状态；
所述提示所述游戏对象本次护眼游戏已完成的步骤包括：
语音播报处于完成状态的游戏画面中出现的赞扬类文本信息以提示所述游戏对象本次护眼游戏已完成。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
所述识别所述用户图像以得到识别结果的步骤包括：
获取当前显示画面，调用预先训练完毕的人脸识别模型对所述用户图像进行检测识别，以得到人脸图像识别结果；
所述得到识别结果的步骤之后包括：
将所述人脸图像识别结果发送至显示设备，以使所述显示设备根据所述人脸图像识别结果调节图像参数及声音参数。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
根据所述人脸图像识别结果确认所述游戏对象的身份，根据所述游戏对象的身份判断所述游戏对象当日是否是首次进入护眼游戏；
若所述游戏对象当日不是首次进入护眼游戏，则执行所述引导所述游戏对象在所述护眼游戏界面中进行护眼游戏的步骤；
若所述游戏对象当日是首次进入护眼游戏，则在展示护眼游戏说明后，引导所述游戏对象在所述护眼游戏界面中进行护眼游戏。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
展示所述游戏对象的当日已护眼次数和剩余需护眼次数；
若剩余需护眼次数大于零，则引导所述游戏对象进入护眼步骤；
若剩余需护眼次数为零，但接收到继续游戏的指令，则引导所述游戏对象进入护眼步骤。
进一步地，处理器1001可以调用存储器1005中存储的智能护眼程序，还执行以下操作：
当观影界面的运行时间达到第三预设时长时，隐藏所述观影界面并展示护眼提醒界面；
当所述护眼提醒界面展示一定时间后，检测预设摄像头的占用状态；
若所述预设摄像头未处于被占用状态，则隐藏所述护眼提醒界面并展示预设的护眼游戏界面；
若所述预设摄像头处于被占用状态，则提示退出占用所述预设摄像头的其它应用；
当接收到确认退出的指令时，退出占用所述预设摄像头的其它应用，接入所述预设摄像头，隐藏所述护眼提醒界面并展示所述预设的护眼游戏界面。
参照图2，本发明第一实施例提供一种智能护眼方法，所述智能护眼方法包括：
步骤S10，调用预设摄像头采集用户图像，识别所述用户图像以得到识别结果；
需要说明的是，本实施例中，执行主体为电视机，所述预设摄像头为ToF(Time ofFlight，飞行时间)摄像头模组，据此进行精准的人脸数据获取及建模，结合模型识别能力，可以精准判断人脸的状态，例如睁开或者闭上眼睛。
其中，步骤S10中识别所述用户图像，以得到识别结果的步骤包括：
获取当前显示画面，调用预先训练完毕的人脸关键点检测模型对所述用户图像进行检测识别，以得到人脸图像识别结果；
所述得到识别结果的步骤之后包括：
将所述人脸图像识别结果发送至所述显示设备，以使所述显示设备根据所述人脸图像识别结果调节图像参数及声音参数。
需要说明的是，所述当前显示画面即电视机显示屏中显示的画面，本实施例中的人脸关键点检测模型的训练前提是：在场景识别中，采集不同场景的图片作为网络模型的输入数据，对网络模型进行训练。首先创建train_picture目录，在这个目录下创建open_your_eyes，close_your_eyes,open_left_close_right_eye，open_right_close_left_eye，unknown等场景子目录，这些子目录的名字很重要，它们作为新的label名称，定义了每张图片的归类标签。在电视上播放这些场景图片，使用命令：“screencap-p图片名”以截取图片，将截取到的图片存放到对应的场景目录，每个场景目录下只能存放对应的场景图片。也可以通过在服务器上获取各种场景的图片作为场景数据。其中unknown目录必须存在，此目录存放unknown数据集，以便模型训练时更容易提取需要的特征。unknown必须存储unknown数据集，以便模型训练时更容易提取需要的特征。正向特征值，负向特征值，识别场景准确度要高，除了给AI芯片训练正确的模型和数据外，获取正向特征值。此外也要给它训练错误的模型和数据，获取负向特征值。让AI芯片知道差异性，提高识别准确度。例如我们不能只给AI芯片训练睁开双眼、闭上双眼、睁开左眼闭上右眼、睁开右眼闭上左眼正确模型，也要在unknown目录下存储unknown数据集，这样才能提高识别准确度。每个目录至少需要1000张图片，否则训练脚本会报错；图片数量越多，训练后的模型准确率越高。
本实施例中，AI功能实现分为主机端和平台端，其中主机端主要是编译运行时的库文件和训练模型，平台端主要是对当前播放内容进行截屏，然后调用训练模型对截屏图片进行识别睁开或者闭上眼睛的场景，通过摄像头结合护眼游戏进行AI护眼。在接收到电视发送的当前显示画面对应的人像识别结果之后，根据所述人像识别结果对当前显示画面的图像参数及背景音乐的声音参数进行调节，可以理解的是，调节之后的图像参数及声音参数会直接应用于电视机，使得电视机的播放画面及声音符合所述调节之后的图像参数及声音参数。
本实施例中，步骤S10之前包括：
当观影界面的运行时间达到第三预设时长时，隐藏所述观影界面并展示护眼提醒界面；
当所述护眼提醒界面展示一定时间后，检测预设摄像头的占用状态；
若所述预设摄像头未处于被占用状态，则隐藏所述护眼提醒界面并展示预设的护眼游戏界面；
若所述预设摄像头处于被占用状态，则提示退出占用所述预设摄像头的其它应用；
当接收到确认退出的指令时，退出占用所述预设摄像头的其它应用，接入所述预设摄像头，隐藏所述护眼提醒界面并展示所述预设的护眼游戏界面。
需要说明的是，所述第三预设时长设定为2小时。
可以理解的是，当所述电视机检测到观影界面的运行时间达到2小时后，会隐藏所述观影界面并展示护眼提醒界面，以提示电视机前观影的用户：“您观看电视的时间较长了，该让眼睛休息一段时间了哦。”本实施例中的护眼游戏，需要摄像头协同才能正常执行。当所述摄像头未被其他应用占用时，则启动AI(Artificial Intelligence，人工智能)护眼程序，AI护眼游戏需要依赖摄像头进行，当前接入摄像头时，则隐藏所述护眼体现界面，并显示AI护眼游戏入口，即所述护眼游戏界面。
本实施例中，所述检测摄像头是否处于被占用状态之后还包括：
若所述摄像头处于被占用状态，则提示退出占用所述摄像头的其它应用；
当接收到确认退出的指令时，退出占用所述摄像头的其它应用，接入所述摄像头，隐藏所述护眼提醒界面并展示护眼游戏界面。
可以理解的是，在电视使用过程中可能出现摄像头被占用情况，如果摄像头被其它应用正在使用时，需要弹出提示框提示，用户选择确定后就可以退出其它的应用，让当前的应用即所述AI护眼程序使用摄像头。
步骤S20，通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象；
本实施例中，步骤S20中通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象的步骤包括：
步骤S21，若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中只包含一个人脸图像，则选取所述人脸图像对应的用户作为游戏对象；
步骤S22，若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中包含多个人脸图像，则根据所述人脸图像的完整度、面积以及所述人脸图像与所述摄像头之间的距离，从多个人脸图像对应的用户中选取游戏对象。
可以理解的是，在护眼游戏开始前，需要先选取进行护眼游戏的目标用户，本实施例中，会优先识别出现在摄像头采集的画面中的用户，当多个用户同时出现时，则会优先判断人像完整度和人像框的面积，若差距不大，则优先选择距离近的用户作为游戏对象。
步骤S30，引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏。
可以理解的是，当完成游戏对象的选取之后，通过引导所述游戏对象完成护眼游戏以实现护眼，减少用户的眼部疲劳，让眼睛得到充分休息。
在本实施例中，当观影界面的运行时间达到第一预设时长时，隐藏所述观影界面，展示护眼提醒界面；同时检测摄像头是否处于被占用状态，若所述摄像头未处于被占用状态，则接入所述摄像头，隐藏所述护眼提醒界面并展示护眼游戏界面；通过所述摄像头选取游戏对象，引导所述游戏对象在所述护眼游戏界面中进行护眼游戏。通过引导游戏对象进行护眼游戏，增加了护眼过程的趣味性，显著有效地缓解了游戏对象的眼部疲劳，让游戏对象的眼睛得到了充分的休息，降低了孩子群体对于护眼的抗拒性，保证了护眼效果。通过AI芯片和预先训练完毕的人脸关键点检测模型对用户进行识别，并根据识别结果展示对应的画面和音乐，保证了护眼过程的准确性。
进一步的，参照图3，提出本发明智能护眼方法的第二实施例，基于上述图2所示的实施例，所述步骤S30中引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏的步骤包括：
步骤S31，当护眼游戏开始后，实时检测所述游戏对象的人脸状态；
步骤S32，调用所述人脸关键点检测模型对所述人脸状态进行检测识别，以实时得到所述游戏对象的人脸关键点坐标；
步骤S33，当根据所述人脸关键点坐标检测到眼睛时，引导所述游戏对象进入护眼步骤；
步骤S34，若在第一预设时长内，所述游戏对象的眼睛睁闭状态始终符合预设要求，则判定本次护眼成功，提示所述游戏对象本次护眼游戏已完成。
需要说明的是，本实施例中，所述人脸状态的检测重点落在眼睛的睁闭状态的检测，所述第一预设时长设置为30秒，所述预设要求为闭眼5秒后睁眼观看护眼游戏动画，然后再次闭眼5秒后再次睁眼观看护眼游戏动画，重复此步骤直至30秒护眼游戏结束。
本实施例中，通过摄像头连续获取用户图像，调用预先训练完毕的人脸关键点检测模型对图像进行检测识别(分别训练睁开双眼、闭上双眼、睁开左眼闭上右眼、睁开右眼闭上左眼的人脸模型)，实时得到各个用户图像的用户人脸的关键点坐标集；系统持续通过电视机上的摄像头获取1080P(1920*1080)分辨率的用户图像，调用预先训练完毕的人脸关键点检测模型对图像进行检测识别，实时得到用户人脸的106个关键点坐标。
预先训练完毕的人脸关键点检测模型为卷积神经网络，基础网络采用基于tensorflow(一个基于数据流编程(dataflow programming)的符号数学系统)的MobileNet神经网络。该神经网络的训练过程如下：
针对神经网络输入特点，收集整理约10万张人脸图像样本，统一设置成224*224*3的图像大小，即长宽均为224像素的RGB彩色图片；
对每一张人脸图像样本，通过软件和人工处理提取出人脸106个关键点信息；
针对上述两步获取的图像样本及其样本信息，将其生成tensorflow支持的tflite格式的训练文件和验证文件，训练文件和验证文件的图像不同，但其存储的图像格式和图像信息格式相同；
利用训练文件对模型进行训练，以生成预先确定的人脸关键点检测模型，并利用验证文件对生成的人脸关键点检测模型进行验证；
若模型loss下降到0.1，或者训练步数达到一定的步数(例如2万步)，则训练完成；
若模型loss未下降到0.1，则增加有人脸图像样本，或者调试模型参数，重复执行上述步骤A、B、C、D、E，直到训练完成。
通过这106个关键点中第104、105点来判断用户当前人脸的状态是否为睁开双眼、闭上双眼、睁开左眼闭上右眼、睁开右眼闭上左眼。其中第104、105分别为左、右眼的关键点坐标，根据识别到的人脸状态进行护眼游戏交互。
本实施例中，步骤S33中引导所述游戏对象进入护眼步骤的步骤之前包括：
展示所述游戏对象的当日已护眼次数和剩余需护眼次数；
若剩余需护眼次数大于零，则引导所述游戏对象进入护眼步骤；
若剩余需护眼次数为零，但接收到继续游戏的指令，则引导所述游戏对象进入护眼步骤。
本实施例中，步骤S33中引导所述游戏对象进入护眼步骤包括：
步骤S331，展示处于初始状态的游戏画面，播放背景音乐并语音提示所述游戏对象闭上双眼；
步骤S332，若在第二预设时长内，所述游戏对象未睁眼，则语音提示所述游戏对象睁眼，同时将所述处于初始状态的游戏画面动态转换至处于成长状态的游戏画面；
步骤S333，重复多次语音提示所述游戏对象闭眼和睁眼的步骤，直至所述游戏画面动态转换至完成状态；
本实施例中，步骤S34中提示所述游戏对象本次护眼游戏已完成的步骤包括：
语音播报处于完成状态的游戏画面中出现的赞扬类文本信息以提示所述游戏对象本次护眼游戏已完成。
当电视机进入AI护眼游戏页面后，开始播放背景音乐，所述AI护眼游戏页面即游戏主页，所述游戏主页中包括“开始游戏”“继续游戏”“游戏说明”等选项，若用户当日首次进入护眼游戏，会出现一提示页面，所述提示页面显示今日未护眼，提示用户开始护眼；若用户当日非首次进入护眼游戏并成功完成一次护眼后，出现记录用户今日已护眼的次数和还需要护眼的次数的页面；若用户当日已完成10次护眼游戏，出现“继续护眼”选项，在用户点击“继续护眼”后，将再一次进行护眼游戏。当用户点击“开始游戏”或“继续游戏”后，出现检测双眼的说明和游戏须知页面，说明页面中包含说明语音讲解，说明语音的时间长度为10秒，在说明语音播读页面上内容时用户可以随时点击“跳过”按键，跳转到下一个页面，也可以等待10秒后自动跳转到下一个页面。进入下一页面后，电视机升起摄像头搜索用户的双眼，搜索时间最长为10s，最短为2s，如果搜索到用户双眼，直接进入游戏，如果未搜索到双眼，会出现提示反馈框。
在护眼游戏过程中，需要用户闭上双眼，所述初始页面中包含一棵小树苗，所述小树苗的大小会随着游戏时间的变化而逐渐长大，游戏过程中一共为30秒，期间会动态展示6个树木页面，即包括了初始状态、成长状态和完成状态，用户每持续闭眼5秒(即所述第二预设时长)，则树苗生长一个阶段，如果用户持续闭上双眼，则播放下一个树木页面。当30秒护眼游戏结束时，游戏画面中的树木已经由小树苗长成大树，此时会出现成功提示界面，所述成功提示界面中包含文字信息“护眼成功，已为您在首页种下一棵树”，即所述赞扬类文本信息。当用户点击“完成护眼”时，则护眼次数+1，返回到游戏主页，同时游戏主页增加一棵树木，用户点击“继续护眼”，则开始下一轮的护眼游戏，跳转到游戏说明页面。
关于游戏中的异常处理如下：若10秒未搜索到用户双眼，出现“重试”“返回”选项，当用户点击“重试”选项后，摄像头会再次寻找双眼；当用户点击“返回”选项后，会返回到游戏主页。当未检测到用户双眼/面部持续2秒时，则计时停止且游戏页面暂停，显示画面中会弹出提示窗口以提示用户“找不到你的眼睛哦～”，并重新搜索用户双眼，搜索到后返回游戏页面，继续倒计时。若持续5秒检测不到用户的闭眼状态，则后退一个游戏页面，返回树苗生长的前一个阶段；如果累计10秒未识别到用户双眼/面部，则结束当前环节，判定护眼失败，返回到游戏主页。若用户在游戏过程中睁开眼睛(睁开任意一只或两只眼睛均张开)，则处理如下：当用户睁眼持续2秒时，则计时停止且游戏页面暂停，出现提示窗口，提示用户“不要偷看哦～”，并重新搜索用户双眼，搜索到后返回游戏页面，继续倒计时，若持续5秒检测不到用户的闭眼状态，则后退一个游戏页面，返回树苗生长的前一个阶段；如果用户睁眼累计超过10秒，则结束当前环节，判定护眼失败，返回到游戏主页。
在本实施例中，基于深度学习的方法来人脸关键点检测，通过摄像头结合护眼游戏，以及对护眼游戏预先设定好的诸多规则，确保了用户能够在完善的护眼游戏引导机制下完成护眼任务，从而让用户在轻松愉悦的氛围中进行眼部运动，让双眼充分活动休息，达到缓解疲劳的目的。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有智能护眼程序，所述智能护眼程序被处理器执行时实现如上所述任一实施例中的智能护眼方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种智能护眼方法，其特征在于，所述智能护眼方法包括以下步骤：
调用预设摄像头采集用户图像，识别所述用户图像以得到识别结果；
通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象；
引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏。
2.如权利要求1所述的智能护眼方法，其特征在于，所述通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象的步骤包括：
若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中只包含一个人脸图像，则选取所述人脸图像对应的用户作为游戏对象；
若通过预先训练完毕的人脸识别模型解析所述识别结果的结果为所述用户图像中包含多个人脸图像，则根据所述人脸图像的完整度、面积以及所述人脸图像与所述摄像头之间的距离，从多个人脸图像对应的用户中选取游戏对象。
3.如权利要求2所述的智能护眼方法，其特征在于，所述引导所述游戏对象在预设的护眼游戏界面中进行护眼游戏的步骤包括：
当护眼游戏开始后，实时检测所述游戏对象的人脸状态；
调用预先训练完毕的人脸关键点检测模型对所述人脸状态进行检测识别，以实时得到所述游戏对象的人脸关键点坐标；
当根据所述人脸关键点坐标检测到眼睛时，引导所述游戏对象进入护眼步骤；
若在第一预设时长内，所述游戏对象的眼睛睁闭状态始终符合预设要求，则判定本次护眼成功，提示所述游戏对象本次护眼游戏已完成。
4.如权利要求3所述的智能护眼方法，其特征在于，所述引导所述游戏对象进入护眼步骤的步骤包括：
展示处于初始状态的游戏画面，播放背景音乐并语音提示所述游戏对象闭上双眼；
若在第二预设时长内，所述游戏对象未睁眼，则语音提示所述游戏对象睁眼，同时将所述处于初始状态的游戏画面动态转换至处于成长状态的游戏画面；
重复多次语音提示所述游戏对象闭眼和睁眼的步骤，直至所述游戏画面动态转换至完成状态；
所述提示所述游戏对象本次护眼游戏已完成的步骤包括：
语音播报处于完成状态的游戏画面中出现的赞扬类文本信息以提示所述游戏对象本次护眼游戏已完成。
5.如权利要求1-4中任一项所述的智能护眼方法，其特征在于，所述识别所述用户图像以得到识别结果的步骤包括：
获取当前显示画面，调用预先训练完毕的人脸识别模型对所述用户图像进行检测识别，以得到人脸图像识别结果；
所述得到识别结果的步骤之后包括：
将所述人脸图像识别结果发送至显示设备，以使所述显示设备根据所述人脸图像识别结果调节图像参数及声音参数。
6.如权利要求5所述的智能护眼方法，其特征在于，所述通过预先训练完毕的人脸识别模型解析所述识别结果以选取游戏对象的步骤之后包括：
根据所述人脸图像识别结果确认所述游戏对象的身份，根据所述游戏对象的身份判断所述游戏对象当日是否是首次进入护眼游戏；
若所述游戏对象当日不是首次进入护眼游戏，则执行所述引导所述游戏对象在所述护眼游戏界面中进行护眼游戏的步骤；
若所述游戏对象当日是首次进入护眼游戏，则在展示护眼游戏说明后，引导所述游戏对象在所述护眼游戏界面中进行护眼游戏。
7.如权利要求6所述的智能护眼方法，其特征在于，所述引导所述游戏对象进入护眼步骤的步骤之前包括：
展示所述游戏对象的当日已护眼次数和剩余需护眼次数；
若剩余需护眼次数大于零，则引导所述游戏对象进入护眼步骤；
若剩余需护眼次数为零，但接收到继续游戏的指令，则引导所述游戏对象进入护眼步骤。
8.如权利要求7所述的智能护眼方法，其特征在于，所述调用预设摄像头采集用户图像的步骤之前包括：
当观影界面的运行时间达到第三预设时长时，隐藏所述观影界面并展示护眼提醒界面；
当所述护眼提醒界面展示一定时间后，检测预设摄像头的占用状态；
若所述预设摄像头未处于被占用状态，则隐藏所述护眼提醒界面并展示预设的护眼游戏界面；
若所述预设摄像头处于被占用状态，则提示退出占用所述预设摄像头的其它应用；
当接收到确认退出的指令时，退出占用所述预设摄像头的其它应用，接入所述预设摄像头，隐藏所述护眼提醒界面并展示所述预设的护眼游戏界面。
9.一种智能护眼装置，其特征在于，所述智能护眼装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能护眼程序，所述智能护眼程序被所述处理器执行时实现如权利要求1至8中任一项所述的智能护眼方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有智能护眼程序，所述智能护眼程序被处理器执行时实现如权利要求1至8中任一项所述的智能护眼方法的步骤。
CN202111527492.6A 2021-12-14 2021-12-14 智能护眼方法、装置和计算机可读存储介质 Pending CN114210045A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527492.6A CN114210045A (zh) 2021-12-14 2021-12-14 智能护眼方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527492.6A CN114210045A (zh) 2021-12-14 2021-12-14 智能护眼方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114210045A true CN114210045A (zh) 2022-03-22

Family

ID=80701838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527492.6A Pending CN114210045A (zh) 2021-12-14 2021-12-14 智能护眼方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114210045A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114939272A (zh) * 2022-06-15 2022-08-26 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114939272A (zh) * 2022-06-15 2022-08-26 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统
CN114939272B (zh) * 2022-06-15 2023-08-04 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统

Similar Documents

Publication Publication Date Title
CN109040824B (zh) 视频处理方法、装置、电子设备和可读存储介质
CN108924608B (zh) 一种视频教学的辅助方法及智能设备
US9538116B2 (en) Relational display of images
US9953221B2 (en) Multimedia presentation method and apparatus
CN107731020B (zh) 多媒体播放方法、装置、存储介质及电子设备
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
WO2020192222A1 (zh) 用户场景智能分析方法、装置和存储介质
CN108241997A (zh) 广告播放方法、装置及计算机可读存储介质
CN112188267B (zh) 视频播放方法、装置和设备及计算机存储介质
CN111950425B (zh) 对象获取方法、装置、客户端、服务器、系统和存储介质
CN110033502B (zh) 视频制作方法、装置、存储介质及电子设备
CN114210045A (zh) 智能护眼方法、装置和计算机可读存储介质
CN109947988B (zh) 一种信息处理方法、装置、终端设备及服务器
CN113709566B (zh) 多媒体内容的播放方法、装置、设备以及计算机存储介质
CN111343402A (zh) 一种显示方法和电子设备
CN113794934A (zh) 防沉迷引导方法、电视和计算机可读存储介质
CN107592571A (zh) 智能系统调整方法、装置及计算机可读存储介质
CN109949887B (zh) 会诊记录方法、装置及计算机可读存储介质
CN105657510A (zh) 图像显示装置及其信息提供方法
CN116363725A (zh) 显示设备的人像追踪方法、系统、显示设备及存储介质
CN111383346B (zh) 基于智能语音的交互方法、系统、智能终端和存储介质
CN108600797B (zh) 一种信息处理法方法和电子设备
CN111225250B (zh) 视频的扩展信息处理方法及装置
US11461576B2 (en) Information processing method and related electronic device
CN112462939A (zh) 一种互动投影方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination