CN116708655B - 一种基于事件相机的屏幕控制方法及电子设备 - Google Patents

一种基于事件相机的屏幕控制方法及电子设备 Download PDF

Info

Publication number
CN116708655B
CN116708655B CN202211289642.9A CN202211289642A CN116708655B CN 116708655 B CN116708655 B CN 116708655B CN 202211289642 A CN202211289642 A CN 202211289642A CN 116708655 B CN116708655 B CN 116708655B
Authority
CN
China
Prior art keywords
event
screen
image
target
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211289642.9A
Other languages
English (en)
Other versions
CN116708655A (zh
Inventor
文琢
唐彬
叶凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211289642.9A priority Critical patent/CN116708655B/zh
Publication of CN116708655A publication Critical patent/CN116708655A/zh
Application granted granted Critical
Publication of CN116708655B publication Critical patent/CN116708655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad

Abstract

本申请公开了一种基于事件相机的屏幕控制方法及电子设备，获取事件相机对用户采集的事件流，基于事件流中的各个事件信息得到不同极性对应的事件帧图像；在各个极性对应的事件帧图像中提取用户头部姿态信息，并利用图像分类预测网络进行头部姿态分类的预测，得到目标头部姿态类别，控制屏幕响应与目标头部姿态类别对应的动作。该方法及电子设备可以根据屏幕的当前状态和对用户头部姿态的预测结果，自动控制屏幕动作，即在检测到用户转头时自动控制屏幕息屏，并在检测到用户正视屏幕时自动控制屏幕亮屏。这样，既可以避免用户转头时隐私内容在用户未知晓的情况下暴露给旁人，又便于用户继续查看内容，并且控制屏幕的方式简便，用户体验好。

Description

一种基于事件相机的屏幕控制方法及电子设备
技术领域
本申请涉及终端技术领域，尤其涉及一种基于事件相机的屏幕控制方法及电子设备。
背景技术
随着技术的不断发展，以手机为代表的移动终端已经被用户广泛的使用，手机已经成为用户身边不可或缺的使用工具。
用户在使用手机进行聊天、阅览网页等情况时，屏幕显示内容的隐私性较强。但是当用户进行转头对话、抬头看地铁报站时，通常手机不会主动息屏，这容易导致隐私内容在用户未知晓的情况下暴露给旁人，用户体验不好。
发明内容
本申请提供了一种基于事件相机的屏幕控制方法及电子设备，以解决手机屏幕不会随用户转头主动息屏而导致隐私性较低的问题。
第一方面，本申请提供了一种基于事件相机的屏幕控制方法，包括：获取事件相机对用户采集的事件流，所述事件流包括按照时间排序的多个事件信息，所述事件信息包括事件的极性；将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像；对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，所述目标图像包括用户头部姿态信息；利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别；基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作。这样，可以根据屏幕的当前状态和对用户头部姿态的预测结果，自动控制屏幕动作，可以在检测到用户转头时自动控制屏幕息屏，并在检测到用户正视屏幕时自动控制屏幕亮屏。既可以避免用户转头时隐私内容在用户未知晓的情况下暴露给旁人，又便于用户继续查看内容，并且控制屏幕的方式简便，用户体验好。
在一种实现方式中，所述事件信息还包括事件发生的图像坐标和/或事件发生的时间戳。这样，可以通过事件发生的图像坐标、事件发生的时间戳和事件的极性中的至少一种生成事件流，以便基于事件流对用户的头部姿态进行预测。
在一种实现方式中，所述极性包括第一极性和第二极性；所述将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像，包括：从所述事件流中确定预设周期内的多个所述事件信息；将所述预设周期内的所有所述第一极性的所述事件信息进行叠加，得到第一事件帧图像，以及，将所述预设周期内的所有所述第二极性的所述事件信息进行叠加，得到第二事件帧图像。这样，可以根据事件的不同极性获得不同的事件帧图像，以便基于不同极性的事件帧图像进行预测，得到准确的用户头部姿态预测结果。
在一种实现方式中，所述事件帧图像中无事件发生的像素点的灰度值为0，所述事件帧图像中有事件发生的像素点的灰度值为该像素点发生事件的总次数。这样，可以便于后续对事件帧图像进行处理，以提取准确的用户头部轮廓。
在一种实现方式中，所述对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，包括：将所述第一事件帧图像和所述第二事件帧图像进行叠加，得到第三事件帧图像；按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，所述用户头部轮廓由所述第三事件帧图像中的满足预设规则的像素点组成；将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，得到两张所述目标图像。这样，按照不同的规则处理事件帧图像，可以提取准确的用户头部轮廓。
在一种实现方式中，所述按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，包括：遍历所述第三事件帧图像中的每个像素点，对于每个灰度值不为0的像素点，将其相邻的所有灰度值为0的像素点的灰度值赋值为1；遍历所述第三事件帧图像中的每个像素点，对于每个灰度值为0的像素点，将其相邻的所有灰度值不为0的像素点的灰度值赋值为0；遍历所述第三事件帧图像中的每个像素点，将所有灰度值不为0的像素点连接起来，得到至少一个轮廓；在所述至少一个轮廓中，选取像素面积最大的轮廓，确定为所述用户头部轮廓。这样，对第三事件帧图像的各个像素点进行修正，以便得到准确的用户头部轮廓。
在一种实现方式中，所述将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，获得两张目标图像，包括：确定所述用户头部轮廓的最小外接矩形框；将所述最小外接矩形框映射到所述第一事件帧图像中，并将所述第一事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第一目标图像；将所述最小外接矩形框映射到所述第二事件帧图像中，并将所述第二事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第二目标图像。这样，将确定的用户头部轮廓对应的最小外接矩形框再次映射到原事件帧图像中，可以既得到用户头部轮廓，又可以保留图像中的用户头部姿态信息，以保证后续预测姿态类别结果的准确。
在一种实现方式中，所述图像分类预测网络包括卷积层、特征校正层、合并层、全连接层和激活层中的至少一种。所述利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别，包括：基于所述目标图像构建初始特征图，所述初始特征图的尺寸为所述目标图像的尺寸，所述初始特征图的通道数为所述目标图像对应的极性数量；利用卷积层对所述初始特征图进行多次卷积处理，获得目标尺寸和目标通道数的第一特征图；利用特征校正层，按照不同的校正规则，对所述第一特征图进行特征校正，获得不同的第二特征图，所述不同的第二特征图具有相同的尺寸和相同的通道数；利用所述合并层将所述不同的第二特征图进行合并，得到第三特征图；利用所述全连接层将所述第三特征图转换成一维序列图；利用所述激活层从所述一维序列图中输出不同头部姿态类别对应的得分，将产生最大得分的头部姿态类别确定为目标头部姿态类别。这样，通过预先构建的图像分类预测网络，对目标图像进行类别预测，可以得到准确的预测结果。
在一种实现方式中，所述方法还包括：在图像分类预测网络的训练阶段，构建图像分类预测网络预测的头部姿态类别与真实头部姿态类别的损失函数，基于所述损失函数，监督所述图像分类预测网络的训练过程；所述损失函数为：其中，3为图像分类预测网络的分类类别数量，yi为真实头部姿态类别，pi为经过激活层输出的不同头部姿态类别对应的得分。
在一种实现方式中，所述方法还包括：基于多个预设周期内多组事件帧图像对应的目标头部姿态类别的得分，计算当前阶段的姿态得分，一组事件帧图像包括同一预设周期内的多张事件帧图像；如果所述当前阶段的姿态得分大于判定阈值，则确定输出的目标头部姿态类别为正确的结果；如果所述当前阶段的姿态得分小于或等于判定阈值，则确定输出的目标头部姿态类别为错误的结果。这样，通过对多个预设周期的预测结果进行校正，可以进一步保证预测结果的准确，以提高系统的鲁棒性。
在一种实现方式中，所述基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作，包括：在所述目标头部姿态类别为转头姿态时，如果所述屏幕的当前状态为亮屏状态，则控制所述屏幕息屏，如果所述屏幕的当前状态为息屏状态，则控制所述屏幕保持息屏状态；在所述目标头部姿态类别为正视姿态时，如果所述屏幕的当前状态为亮屏状态，则控制所述屏幕保持亮屏状态，如果所述屏幕的当前状态为息屏状态，则控制所述屏幕亮屏；在所述目标头部姿态类别为其他姿态时，如果所述屏幕的当前状态为亮屏状态，则控制所述屏幕保持亮屏状态，如果所述屏幕的当前状态为息屏状态，则控制所述屏幕保持息屏状态。这样，基于屏幕的当前状态和目标头部姿态类别自动控制屏幕改变状态，用户体验好。
在一种实现方式中，所述方法还包括：如果在预设时间段内检测到所述目标头部姿态类别未发生变化，则控制所述屏幕响应与所述目标头部姿态类别对应的动作；如果在预设时间段内检测到所述目标头部姿态类别发生变化，则控制所述屏幕保持当前状态。这样，在屏幕响应对应动作时，进行时间间隔判断，可以避免屏幕频繁切换状态，而造成资源浪费。
第二方面，本申请实施例还提供了一种电子设备，包括：显示屏；事件相机；一个或多个处理器；存储器；其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如第一方面中任一项所述的一种基于事件相机的屏幕控制方法。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在电子设备上运行时，使得所述电子设备执行如第一方面中任一项所述的一种基于事件相机的屏幕控制方法。
第四方面，本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行所述第一方面中任一项所述的一种基于事件相机的屏幕控制方法。
可以理解地，上述提供的第二方面所述的电子设备、第三方面所述的计算机存储介质，以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中用户转头时屏幕所处状态的场景示意图。
图2是本申请实施例适用的一种场景示意图。
图3是本申请实施例提供的电子设备的结构示意图。
图4是本申请实施例提供的基于事件相机的屏幕控制方法的流程示意图。
图5是本申请实施例提供的基于事件相机的屏幕控制方法的数据流程图。
图6是本申请实施例提供的获得事件帧图像的方法流程示意图。
图7是本申请实施例提供的获得目标图像的方法流程示意图。
图8是本申请实施例提供的确定用户头部轮廓的方法流程示意图。
图9是本申请实施例提供的处理像素点的一种示意图。
图10是本申请实施例提供的处理像素点的另一种示意图。
图11是本申请实施例提供的连接像素点得到轮廓的示意图。
图12是本申请实施例提供的最小外接矩形框的示意图。
图13是本申请实施例提供的图像分类预测网络的结构示意图。
图14是本申请实施例提供的利用图像分类预测网络预测目标头部姿态类别的方法流程示意图。
图15是本申请实施例提供的利用图像分类预测网络预测目标头部姿态类别的结构示意图。
图16是本申请实施例提供的对姿态类别准确性进行判定的方法流程示意图。
图17是本申请实施例提供的基于预测结果控制屏幕状态的对照图表。
图18是本申请实施例提供的基于事件相机的屏幕控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部实施例。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的其他实施例，都属于本申请的保护范围。
以下，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例所述的电子设备包括但不限定于手机、笔记本电脑、平板电脑、膝上型电脑、个人数字助理或可穿戴式设备等。以下以电子设备为手机进行说明。
图1是现有技术中用户转头时屏幕所处状态的场景示意图。
如图1中(a)所示，用户在公共场合使用手机进行聊天或阅览网页等情况时，手机的屏幕呈现亮屏状态，用户通常以正视姿态查看手机中的内容。如图1中(b)所示，在用户进行转头对话或抬头看地铁报站时，通常手机不会主动息屏，这时屏幕依然呈现亮屏状态，使得该用户旁边的人很容易查看到该用户的手机内容，导致个人隐私泄露。
为避免个人隐私泄露，如果用户在转头或抬头时主动通过按压手机开关键将屏幕息屏，那么在用户需要继续查看手机内容时，需要用户再次按压开关键以唤醒屏幕并呈现亮屏状态。这样需要用户进行额外的操作，控制屏幕的方式比较繁琐。
图2是本申请实施例适用的一种场景示意图。
对此，在本申请实施例中，电子设备被配置为执行基于事件相机的屏幕控制方法，如图2中(a)所示，电子设备在检测到用户转头时自动控制屏幕息屏，如图2中(b)所示，在检测到用户正视屏幕时自动控制屏幕亮屏。这样，既可以避免用户转头时隐私内容在用户未知晓的情况下暴露给旁人，又便于用户继续查看内容，并且控制屏幕的方式简便，用户体验好。
图3是本申请实施例提供的电子设备的结构示意图。
如图3所示，该电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如Wi-Fi网络)，蓝牙等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如文件传输功能，相册功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如文件、照片、视频等)等。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。
气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是折叠屏手机时，电子设备100可以根据磁传感器180D检测折叠屏手机的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。
对于本领域的技术人员而言将显而易见的是，上文关于电子设备100所呈现的具体细节中的一些细节可为实践特定的所述实施方案或其等同物所不需要的。类似地，其他电子设备可以包括更多数量模块、部件等。在适当的情况下，一些模块可以被实现为软件或硬件。因此，应当理解，上述描述并非旨在穷举或将本申请限制于本文所述的精确形式。相反，对于本领域的普通技术人员而言将显而易见的是，根据上述教导内容，许多修改和变型是可能的。
以下仍以手机为例，结合附图详细阐述本申请实施例提供的一种基于事件相机的屏幕控制方法。
图4是本申请实施例提供的基于事件相机的屏幕控制方法的流程示意图。图5是本申请实施例提供的基于事件相机的屏幕控制方法的数据流程图。
如图4和图5所示，该方法可以包括以下步骤S101-步骤S105：
步骤S101、获取事件相机对用户采集的事件流。
其中，事件流包括按照时间排序的多个事件信息。
电子设备100中配置有事件相机，示例性的，事件相机配置在手机的正面，作为前置相机实时采集用户使用手机时的姿态。
事件相机是一种事件视觉传感器(Event Vision Sensor，EVS)，事件相机是通过测量每个像素的亮度变化来输出异步信号(包括事件，位置和亮度变化的符号)的相机，简单来说，事件相机就是只有当镜头中像素亮度变化才会触发电信号的相机。事件相机具有高的动态测量范围(140dB vs.60dB)，高时间分辨率(时效性高)，低功耗，不受运动模糊的影响等优点。事件相机可以应用在高速、高动态范围的场景下，例如，用于物体跟踪、识别以及手势控制等应用场景。
事件相机的输出是事件流(x，y，t，p)，事件流是一系列按时间排序的事件，不同的事件具有不同的事件信息。事件相机的最小时间分辨率为10微秒左右，示例性的，事件相机每隔10微秒输出一个事件。在一些实施例中，事件相机持续对使用该手机的用户进行拍摄，电子设备获取事件相机持续采集用户产生的每个事件及其信息，将每个事件的事件信息按照每个事件发生的时间戳排序，生成该事件流。随着镜头中像素光线变化(变亮或者变暗)触发电信号输出即为事件，例如，像素光线变亮触发电信号输出为一个事件，光线变暗触发电信号输出为一个事件。如果镜头中像素光线无变化，则无事件发生。
事件信息包括事件发生的图像坐标(x，y)、事件发生的时间戳t和事件的极性p等中的至少一种信息。事件发生的时间戳t用于表征事件。事件发生的图像坐标(x，y)用于表征位置。将事件相机看作是矩形传感器，那么图像坐标(x，y)是指发生光线变化的像素点在矩形传感器的坐标位置。事件的极性p用于表征亮度变化的符号，即事件属性，示例性的，p为0表征相较于上一时间点的光线变暗，p为1表征相较于上一时间点的光线变亮。
在一些实施例中，电子设备100中配置的EVS只占用一个开孔，且可以与前置RGB相机二合一，相比于传统相机(通常占用照射单元和图像传感器两个开孔)，可以减小占用空间。EVS可以无延迟采集输出数据(1000k fps)，并在终端使用场景下，EVS数据量较小(只有接收到事件信息的pixel(像素)才输出，且单个pixel输出的polarity(极性)信息仅为1bit(0/1))。EVS在没有检测到物体运动时，不输出事件信号，大大降低功耗，具有长时间以低功耗状态保持检测功能的能力，EVS的功耗约为115mW。
步骤S102、将事件流中的极性相同的事件信息进行叠加，得到各个极性对应的事件帧图像。
其中，不同的事件可能具有不同的极性，也可能具有相同的极性，本文以具有不同极性为例进行说明。极性可以包括第一极性和第二极性。在其他场景中，极性也可以包括三个极性(表征肯定、否定和可能的事件)或其他数量个极性等，本申请不进行具体限定，本文以极性包括两个极性为例进行说明。
示例性的，第一极性p1为0，第二极性p2为1；事件E1的极性为第一极性，即p1-E1＝0，事件E2的极性为第二极性，即p2-E2＝1。
将事件流中具有相同极性的事件信息叠加在一起，以获得事件帧图像。在极性包括两种极性时，经过事件叠加后，可以获得两张事件帧图像。
图6是本申请实施例提供的获得事件帧图像的方法流程示意图。
如图6所示，在步骤S102中，该方法可以包括以下步骤S201-步骤S202：
步骤S201、从事件流中确定预设周期内的多个事件信息。
步骤S202、将预设周期内的所有第一极性的事件信息进行叠加，得到第一事件帧图像，以及，将预设周期内的所有第二极性的事件信息进行叠加，得到第二事件帧图像。
在一些实施例中，随着采集时间的持续，事件相机输出的事件流中的事件信息越来越多。此处，可以将事件流中所有事件信息按照相同极性进行叠加；也可以将一个周期内的事件信息按照相同极性进行叠加，以提高处理效率。
以将一个周期内的事件信息按照相同极性进行叠加为例，对于采集到的事件流，按照时间为tf的周期，将一个周期内发生的事件信息，按照极性的不同分别进行叠加，得到一个周期内不同极性的两张事件帧图像。
示例性的，预设周期tf可以为50微秒、100微秒或500微秒等，优选100微秒。在100微秒中，事件流中可以包括10个事件E1-E10的事件信息，事件E1-E10的极性分别为0,1,1,1,0,0,0,1,1,0。第一极性(p1＝0)对应的事件包括E1、E5、E6、E7、E10，第二极性(p2＝1)对应的事件包括E2、E3、E4、E8、E9。将事件E1、E5、E6、E7、E10的事件信息进行叠加，得到第一极性对应的第一事件帧图像；将事件E2、E3、E4、E8、E9的事件信息进行叠加，得到第二极性对应的第二事件帧图像。
第一事件帧图像和第二事件帧图像的尺寸(分辨率)相同，事件帧图像尺寸(Xi，Yi)等于矩形传感器(事件相机)上像素点的数量(Xp，Yp)，其中，Xp为宽度方向的像素点数量，Yp为高度方向的像素点数量。示例性，如果矩形传感器上像素点的数量为(2000,1000)，则事件帧图像的分辨率为2000×1000。
事件相机在持续拍摄用户时可能发生事件，也可能无事件发生，那么基于事件流叠加后得到的事件帧图像中可以包括有事件发生的像素点和无事件发生的像素点。在一些实施例中，在事件帧图像中，无事件发生处像素点灰度值vij＝0，有事件发生处像素点灰度值vij＝cnt，cnt为该点处产生极性事件的总次数。
无事件发生是指镜头中像素无光线变化，即无电信号输出。有事件发生是指镜头中像素有光线变化，即有电信号输出。对于无光线变化的像素点，轮廓呈黑色(vij＝0)。对于有光线变化的像素点，该点可以输出一次事件，也可以输出多次事件，轮廓呈彩色(vij＝cnt)，极性事件产生越多的像素点越亮。
步骤S103、对各个极性对应的事件帧图像进行图像叠加和信息过滤，得到目标图像，目标图像包括用户头部姿态信息。
在实际使用环境(如挤地铁)下，事件相机可能会采集到除用户头部之外的其他事物，如环境变化、光源闪烁、周围人脸运动等。那么，事件相机输出的事件流中会包括除了用户头部姿态信息之外的事件。本申请实施例中，对事件帧图像中的无关信息进行过滤，使事件帧图像仅包含用户头部姿态信息。
用户头部姿态信息是指用户的头部姿势所处状态的信息，头部姿态包括正视姿态、转头姿态和其他姿态等。正视姿态是指用户的视线与手机屏幕正对的姿态，转头姿态是指用户的视线与屏幕的垂线呈角度的状态，其他姿态是指除正视姿态和转头姿态以外的姿态。其中，姿态不仅包括头部主动进行旋转等动作，同时包括屏幕主动运动等情况下与头部之间的相对运动。
将多张事件帧图像进行叠加，并提取包括用户头部姿态信息，以准确获得仅包括用户头部姿态信息的事件帧图像。
图7是本申请实施例提供的获得目标图像的方法流程示意图。
如图7所示，在步骤S103中，该方法可以包括以下步骤S301-步骤S303：
步骤S301、将第一事件帧图像和第二事件帧图像进行叠加，得到第三事件帧图像。
步骤S302、按照预设规则，遍历第三事件帧图像中的每个像素点，确定用户头部轮廓，用户头部轮廓由第三事件帧图像中的满足预设规则的像素点组成。
步骤S303、将用户头部轮廓分别映射到第一事件帧图像和第二事件帧图像中，得到两张目标图像。
为准确提取用户头部姿态信息，将不同极性的两张事件帧图像进行叠加，得到第三事件帧图像。按照预设规则对第三事件帧图像进行处理，预设规则包括三次遍历过程，前两次遍历过程用于对第三事件帧图像中各个像素点进行处理，第三次遍历过程用于将处理后的第三事件帧图像中符合条件的像素点连接在一起，以获得轮廓信息。
图8是本申请实施例提供的确定用户头部轮廓的方法流程示意图。
如图8所示，在步骤S302中，该方法可以包括以下步骤S401-步骤S404：
步骤S401、遍历第三事件帧图像中的每个像素点，对于每个灰度值不为0的像素点，将其相邻的所有灰度值为0的像素点的灰度值赋值为1。
步骤S402、遍历第三事件帧图像中的每个像素点，对于每个灰度值为0的像素点，将其相邻的所有灰度值不为0的像素点的灰度值赋值为0。
步骤S403、遍历第三事件帧图像中的每个像素点，将所有灰度值不为0的像素点连接起来，得到至少一个轮廓。
步骤S404、在至少一个轮廓中，选取像素面积最大的轮廓，确定为所述用户头部轮廓。
第一次遍历第三事件帧图像，对于图像上所有灰度值vij≠0的像素点，对其相邻8个像素点中vij＝0的像素灰度值赋值vij＝1。
图9是本申请实施例提供的处理像素点的一种示意图。如图9中(a)所示，对于像素点A(vij≠0)，与其相邻的8个像素点(B1-B8)中存在vij＝0的像素点为B1、B2、B5和B6。如图9中(b)所示，将像素点为B1、B2、B5和B6的像素灰度值均赋值vij＝1。
第二次遍历第三事件帧图像，对于图像上所有灰度值vij＝0的像素点，对其相邻8个像素点中vij≠0的像素灰度值赋值vij＝0。
图10是本申请实施例提供的处理像素点的另一种示意图。如图10中(a)所示，对于像素点C(vij＝0)，与其相邻的8个像素点(D1-D8)中存在vij≠0的像素点为D1、D3、D4、D5和D8。如图10中(b)所示，将像素点为D1、D3、D4、D5和D8的像素灰度值均赋值vij＝0。
对经过像素点处理的第三事件帧图像进行第三次遍历，查找每个vij≠0的像素点。对于每个vij≠0的像素点，进行以下判定：该点相邻8个像素点中是否存在vij≠0的像素点，若存在，则从那一点重复该判定过程并记录该点。直至回到判定的起始点坐标，此时将记录的点连接在一起即获得一个轮廓信息(对于超出Xi，Yi的情况，视为已回到起始点坐标)。
图11是本申请实施例提供的连接像素点得到轮廓的示意图。
如图11所示，以第三事件帧图像中尺寸为(X6，Y6)的局部图像为例，像素点a(1,1)为起始判定点，判定出像素点a的相邻8个像素点中存在vij≠0的像素点b(2,1)，则记录点b。以像素点b为新判定点，判定出像素点b的相邻8个像素点中存在vij≠0的像素点c(2,2)，则记录点c，并以像素点c为新判定点。依此判定过程循环遍历各像素点，可以遍历出像素点d(3,2)、e(3,3)、f(4,3)、g(5,3)、h(6,3)。结束遍历过程，并将像素点a、b、c、d、e、f、g和h依次连接在一起，得到一个轮廓信息。
在完整的第三事件帧图像中，按照上述判定方法将所有灰度值不为0的像素点连接起来，即可得到至少一个轮廓。通常用户头部在图像中的占比较大，因此，计算每个轮廓的像素面积。选取像素面积最大的轮廓，确定为用户头部轮廓。
在步骤S303中，在确定目标图像时，该方法可以包括以下步骤S501-步骤S503：
步骤S501、确定用户头部轮廓的最小外接矩形框。
步骤S502、将最小外接矩形框映射到第一事件帧图像中，并将第一事件帧图像中位于最小外接矩形框之外的像素点的灰度值赋值为0，得到第一目标图像。
步骤S503、将最小外接矩形框映射到第二事件帧图像中，并将第二事件帧图像中位于最小外接矩形框之外的像素点的灰度值赋值为0，得到第二目标图像。
图12是本申请实施例提供的最小外接矩形框的示意图。
如图12所示，在第三事件帧图像12A中，基于提取的用户头部轮廓，生成最小外接矩形框12B。
目标图像是指仅包括用户头部姿态信息的事件帧图像。在事件帧图像为两张时，则生成的目标图像也为两张。
将最小外接矩形框映射到第一事件帧图像，则第一事件帧图像中与最小外接矩形框对应的区域为用户头部区域。为清晰体现用户头部区域，将第一事件帧图像中最小外接矩形框之外的像素点的灰度值赋值为0，同时保留最小外接矩形框之内的像素点的灰度值，得到仅包括用户头部姿态信息的第一目标图像。
将最小外接矩形框映射到第二事件帧图像，则第二事件帧图像中与最小外接矩形框对应的区域为用户头部区域。为清晰体现用户头部区域，将第二事件帧图像中最小外接矩形框之外的像素点的灰度值赋值为0，同时保留最小外接矩形框之内的像素点的灰度值，得到仅包括用户头部姿态信息的第二目标图像。
步骤S104、利用图像分类预测网络对目标图像进行头部姿态分类的预测，得到目标图像对应的目标头部姿态类别。
其中，图像分类预测网络是预先训练或实时训练的预测网络，图像分类预测网络基于CNN(Convolutional Neural Networks，卷积神经网络)构建，用于对步骤S103得到的目标图像进行头部姿态分类预测任务。示例性的，分类可以包括：转头姿态、正视姿态和其他姿态等类别。
在训练图像分类预测网络时，预先获取事件相机采集的各类年龄段、人种和体重等特征差异人群的上述3类头部姿态的数据集，并进行数据集的标注(对数据集中的不同数据进行类别标注)，从而得到对应的头部姿态数据训练集。然后，将训练集输入构建的图像分类预测网络进行训练，得到完成训练后对应的模型权重，用于后续进行实际使用过程中对于头部姿态的预测并输出预测结果。
图13是本申请实施例提供的图像分类预测网络的结构示意图。
如图13所示，图像分类预测网络1300可以包括卷积层1301、特征校正层1302、合并层1303、全连接层1304和激活层1305中的至少一种。卷积层1301可以由CNN网络构成，卷积层可以包括卷积单元、批标准化单元和激活单元等。卷积单元的输入为图像特征图，用于通过卷积处理增加图像特征图的通道数，卷积单元的卷积核尺寸为图像尺寸。批标准化单元(Batch Normalization)，也可以理解为批归一化单元，用于对卷积处理后的特征图进行批归一化处理，使特征图满足均值为0，方差为1的分布规律。批标准化单元可以使用更大的学习率，使得预测网络的训练过程更加稳定，极大提高训练速度。激活单元采用带泄露修正线性(Leaky ReLU)激活函数进行处理，用于增加神经网络各层之间的非线性关系。
示例性的，在卷积层中，输入图像尺寸为(3，3)、通道数为2的卷积核，通过卷积单元处理后通道数拓展为16，尺寸保持不变。然后通过批量归一化(增加网络的泛化性)和Leaky ReLU激活函数(避免梯度消失和梯度爆炸问题)，得到该卷积层的输出结果，传入下一层。
特征校正层1302用于对经过卷积层的输出结果进行特征校正。为使预测网络更好的适应对头部姿态的检测场景，根据用户头部姿态的特点，按照用户头部和电子设备之间的直线距离，将采集到的事件帧图像分为1.较近，2.正常，3.较远三种场景。那么，为适应不同场景的校正，特征校正层可以包括第一校正单元、第二校正单元和第三校正单元。对于较远距离场景，由第一校正单元(Max Pooling，最大值池化)进行校正，由于较远场景中头部姿态特征信息量较少，可以使用2×2的Max Pooling突出特征信息，过滤冗余信息。对于正常距离场景，由第二校正单元进行校正，即由卷积层再进行一次卷积过程。对于较近距离场景，由第三校正单元(Zero Padding，零填充)进行校正，由于较近场景中头部姿态特征离边框较近，需要做Zero Padding(Padding＝1)，拓展特征图范围。
合并层(Concatenate)1303用于将特征校正层输出的各个结果进行拼接合并。全连接层(Full Connect)1304用于将合并层拼接后的结果进行一维展开，得到一维序列图。激活层1305采用softmax函数对一维序列图进行激活，得到不同头部姿态类别的得分。
本申请实施例按照上述内容搭建图像分类预测网络1300，能够使预测网络对不同距离下的头部姿态具有良好的适应能力，进一步提高识别准确率。
在一些实施例中，图像分类预测网络1300中的卷积层1301可以设置多个，例如设置4个卷积层1301，即进行4次卷积操作。图像分类预测网络1300中还可以无需进行特征校正，那么特征校正层1302和合并层1303可以移除，使得经过至少一个卷积层1301的输出结果直接进入全连接层1304并进行后续处理。本申请实施例不对图像分类预测网络的具体结构进行限定，可以依据实际应用而自行设定。
在一些实施例中，在图像分类预测网络的训练阶段，构建图像分类预测网络预测的头部姿态类别与真实头部姿态类别的损失函数，基于损失函数，监督图像分类预测网络的训练过程；
损失函数为：
其中，3为图像分类预测网络的分类类别数量，yi为真实头部姿态类别(头部姿态数据训练集)，pi为经过激活层输出的不同头部姿态类别对应的得分。
图14是本申请实施例提供的利用图像分类预测网络预测目标头部姿态类别的方法流程示意图。
如图14所示，在步骤S104中，该方法可以包括以下步骤S501-步骤S506：
步骤S501、基于目标图像构建初始特征图，初始特征图的尺寸为目标图像的尺寸，初始特征图的通道数为目标图像对应的极性数量。
步骤S502、利用卷积层对初始特征图进行多次卷积处理，获得目标尺寸和目标通道数的第一特征图。
步骤S503、利用特征校正层，按照不同的校正规则，对第一特征图进行特征校正，获得不同的第二特征图，不同的第二特征图具有相同的尺寸和相同的通道数。
步骤S504、利用合并层将不同的第二特征图进行合并，得到第三特征图。
步骤S505、利用全连接层将第三特征图转换成一维序列图。
步骤S506、利用激活层从一维序列图中输出不同头部姿态类别对应的得分，将产生最大得分的头部姿态类别确定为目标头部姿态类别。
示例性的，目标图像的尺寸为(416,416)，目标图像对应2类极性(第一极性和第二极性)，则通道数为2。基于此，构建初始特征图(416,416,2)。
目标尺寸和目标通道数是指希望卷积层输出特征图的尺寸和通道数。初始特征图的尺寸和通道数，以及，目标尺寸和目标通道数用于确定卷积层的设置数量。在目标尺寸为(52,52)，目标通道数为128时，基于初始特征图的尺寸可以确定需要对初始特征图进行四次卷积操作，则确定图像分类预测网络中需设置四个卷积层。
图15是本申请实施例提供的利用图像分类预测网络预测目标头部姿态类别的结构示意图。
如图15所示，在图像分类预测网络中包括四个卷积层1301时，将初始特征图(416,416,2)输入图像分类预测网络的第一个卷积层进行第一次卷积处理，得到一次卷积特征图(416,416,16)，尺寸不变，通道数拓展为16。将一次卷积特征图(416,416,16)输入第二个卷积层进行第二次卷积处理并得到二次卷积特征图(208,208,32)，尺寸缩小一半，通道数拓展为32。将二次卷积特征图(208,208,32)输入第三个卷积层进行第三次卷积处理并得到三次卷积特征图(104,104,64)，尺寸缩小一半，通道数拓展为64。将三次卷积特征图(104,104,64)输入第四个卷积层进行第四次卷积处理并得到四次卷积特征图(52,52,128)，尺寸缩小一半，通道数拓展为128。四次卷积特征图(52,52,128)即为卷积层输出的第一特征图。
将第一特征图分别输入特征校正层1302的三个校正单元(第一校正单元、第二校正单元和第三校正单元)。对于较远距离场景，由第一校正单元(Max Pooling，最大值池化)将第一特征图按照2×2的尺寸划分为数个小块，每个小块中保留像素值最大的像素点，其余的像素点舍弃，将每个小块中保留的最大值像素点整合成新特征图。依此循环处理，直到得到预期要求的特征图。通过最大值池化处理，可以突出特征图的特征信息，过滤冗余信息。最后，输出第二特征图(26,26,40)。
对于正常距离场景，由第二校正单元进行校正，即由卷积层1301再进行一次卷积过程，输出第二特征图(26,26,40)。
在对图像执行卷积操作时，如果不对图像边缘进行填充，卷积核将无法到达图像边缘的像素，而且卷积前后图像的尺寸也会发生变化，这会造成许多麻烦。那么，对于较近距离场景，由第三校正单元(Zero Padding，零填充)将靠近特征图的边缘部分用“0”像素做填充，设定padding＝1，即填充1层边缘像素，拓展特征图范围，以保证特征图尺寸不变。最后，输出第二特征图(26,26,40)。
由特征校正层1302输出的三个校正结果(第二特征图)中具有相同的尺寸和相同的通道数。不同的校正单元的权重不同，示例性的，通过预先训练得到特征图属于较远距离场景，则第一校正单元的权重最大。
将特征校正层1302输出的三个结果输入合并层1303，以将不同的第二特征图进行合并，得到第三特征图(26,26,120)。将第三特征图(26,26,120)输入全连接层1304进行一维展开，转换成一维序列图。在一维展开时，将特征图中的每个像素点乘以权重作为对应序列中的值。
示例性的，对于序列中第一位的值，由相邻两个像素点确定的值进行填充。即按照式：a*x1+b*x2＝第一位的值。其中，x1为第一个像素点的像素值，x2为第二个像素点的像素值，a和b为权重。对于序列中第二位的值，由相邻的第二个和第三个像素点确定的值进行填充，依此类推并完成展开过程。
接下来，将一维序列图输入激活层1305，利用激活层从一维序列图中输出不同的预测结果，即头部姿态类别对应的得分，包括转头姿态的得分、正视姿态的得分和其他姿态的得分。最后，不同的姿态具有不同的权重，将产生最大得分的头部姿态类别确定为目标头部姿态类别，目标头部姿态类别的权重最大。
在一些实施例中，为提高系统的鲁棒性，在确定出目标头部姿态类型之后，并基于目标头部姿态类别控制屏幕响应对应动作之前，还可以进行姿态类别准确性的判定过程。
图16是本申请实施例提供的对姿态类别准确性进行判定的方法流程示意图。
如图16所示，该方法可以包括以下步骤S601-步骤S603：
步骤S601、基于多个预设周期内多组事件帧图像对应的目标头部姿态类别的得分，计算当前阶段的姿态得分，一组事件帧图像包括同一预设周期内的多张事件帧图像。
步骤S602、如果当前阶段的姿态得分大于判定阈值，则确定输出的目标头部姿态类别为正确的结果。
步骤S603、如果当前阶段的姿态得分小于或等于判定阈值，则确定输出的目标头部姿态类别为错误的结果。
在事件流中，基于一个预设周期内的事件可以叠加得到两张事件帧图像(即一组事件帧图像)，并基于该两张事件帧图像通过图像分类预测网络可以得到一个目标头部姿态类别的得分。示例性的，如果依次获取5个预设周期，则为5组事件帧图像，得到5个目标头部姿态类别的得分。按照下式，计算5个目标头部姿态类别的得分，作为当前阶段的姿态得分。
其中，Thre为当前阶段的姿态得分，Posmain和Possub分别为图像分类预测网络对前(1，N)组事件帧图像中主要姿态和次要姿态的输出得分，α为姿态类别得分的权重，xmain和xsub为前(0，N-1)组事件帧图像中图像分类预测网络识别到的主要姿态和次要姿态的数量，β为α的权重。
主要姿态是指基于多组事件帧图像中预测得到的目标头部姿态类别占据主导的姿态类别，次要姿态是指多组事件帧图像中预测得到的目标头部姿态类别占据少数的姿态类别。示例性的，对于5组事件帧图像，N为5，如果基于第一、二、四和五组事件帧图像预测得到的目标头部姿态类别为转头姿态，基于第三组事件帧图像预测得到的目标头部姿态类别为其他姿态，可见，有4组事件帧图像可以预测得到转头姿态，有1组事件帧图像可以预测得到其他姿态，则确定转头姿态为主要姿态，其他姿态为次要姿态，以及，xmain为4，xsub为1。
接下来，按照下式，进行姿态类别准确性的判定过程：
其中，con为输出的当前姿态结果，t为判定阈值。
如果当前阶段的姿态得分Thre大于判定阈值t，则确定输出的目标头部姿态类别为True的结果。如果当前阶段的姿态得分Thre小于或等于判定阈值t，则确定输出的目标头部姿态类别为False的结果。
步骤S105、基于目标头部姿态类别，控制屏幕响应与目标头部姿态类别对应的动作。
基于步骤S104中任一实施例确定的目标头部姿态类别，基于屏幕的当前状态，控制屏幕响应与目标头部姿态类别对应的动作。
图17是本申请实施例提供的基于预测结果控制屏幕状态的对照图表。
如图17所示，并结合图2所示场景，在目标头部姿态类别为转头姿态时，如果屏幕的当前状态为亮屏状态，则控制屏幕息屏；如果屏幕的当前状态为息屏状态，则控制屏幕保持息屏状态。
在目标头部姿态类别为正视姿态时，如果屏幕的当前状态为亮屏状态，则控制屏幕保持亮屏状态；如果屏幕的当前状态为息屏状态，则控制屏幕亮屏。
在目标头部姿态类别为其他姿态时，如果屏幕的当前状态为亮屏状态，则控制屏幕保持亮屏状态；如果屏幕的当前状态为息屏状态，则控制屏幕保持息屏状态。
这样，电子设备可以自动控制屏幕动作，在检测到用户转头时自动控制屏幕息屏，并在检测到用户正视屏幕时自动控制屏幕亮屏，用户体验好。
在一些实施例中，屏幕进行响应动作时，需要对时间间隔判断，避免对屏幕进行频繁控制，屏幕频繁改变亮屏或息屏状态，会浪费资源。
该方法可以包括以下步骤S701-步骤S702：
步骤S701、如果在预设时间段内检测到目标头部姿态类别未发生变化，则控制屏幕响应与目标头部姿态类别对应的动作。
步骤S702、如果在预设时间段内检测到目标头部姿态类别发生变化，则控制屏幕保持当前状态。
其中，预设时间段可以设定为预测到目标头部姿态类别后的500ms。
对于转头姿态(或正视姿态)，当检测到其中一类发生时，如果在后续的500ms时间段内，预测网络未再次检测到正视姿态(或转头姿态)发生，则控制屏幕响应与转头姿态(或正视姿态)对应的动作，否则保持当前状态。
本申请实施例中，电子设备执行的基于事件相机的屏幕控制方法，通过事件相机对用户的头部姿态事件信息进行采集，预处理并提取头部轮廓，构建基于卷积神经网络模型对姿态特征进行训练得到图像分类预测网络，由图像分类预测网络完成对于用户头部姿态的识别任务，通过结果判定当前用户的姿态并对屏幕进行相应的动作。电子设备可以根据屏幕的当前状态和对用户头部姿态的预测结果，自动控制屏幕动作，可以在检测到用户转头时自动控制屏幕息屏，并在检测到用户正视屏幕时自动控制屏幕亮屏。这样，既可以避免用户转头时隐私内容在用户未知晓的情况下暴露给旁人，又便于用户继续查看内容，并且控制屏幕的方式简便，用户体验好。
上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请所公开的实施例描述的各示例的一种基于事件相机的屏幕控制方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是电子设备软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图18是本申请实施例提供的基于事件相机的屏幕控制装置的结构示意图。如图18所示，该基于事件相机的屏幕控制装置可以包括：显示屏1001、存储器1002、处理器1003和事件相机1004。上述各器件可以通过一个或多个通信总线1005连接。显示屏1001可以包括显示面板10011和触摸传感器10012，其中，显示面板10011用于显示图像，触摸传感器10012可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型，通过显示面板10011提供与触摸操作相关的视觉输出。处理器1003可以包括一个或多个处理单元，例如：处理器1003可以包括应用处理器，调制解调处理器，图形处理器，图像信号处理器，控制器，视频编解码器，数字信号处理器，基带处理器，和/或神经网络处理器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。存储器1002与处理器1003耦合，用于存储各种软件程序和/或计算机指令，存储器1002可包括易失性存储器和/或非易失性存储器。事件相机1004用于采集用户的事件流，并将该事件流发送给处理器1003处理。当处理器1003执行计算机指令时，基于事件相机的屏幕控制装置可执行上述方法实施例中电子设备100执行的各个功能或者步骤。
本申请实施例还提供一种芯片系统，该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如，接口电路可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路可用于向其它装置发送信号。示例性的，接口电路可读取存储器中存储的指令，并将该指令发送给处理器。当所述指令被处理器执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在上述电子设备(如图3所示的电子设备100)上运行时，使得该电子设备执行上述方法实施例中电子设备100执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中电子设备100执行的各个功能或者步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种基于事件相机的屏幕控制方法，其特征在于，包括：
获取事件相机对用户采集的事件流，所述事件流包括按照时间排序的多个事件信息，所述事件信息包括事件的极性；
将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像；
对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，所述目标图像包括用户头部姿态信息；
利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别；
基于多个预设周期内多组事件帧图像对应的目标头部姿态类别的得分，计算当前阶段的姿态得分，一组事件帧图像包括同一预设周期内的多张事件帧图像；
基于所述当前阶段的姿态得分，判断所述目标头部姿态类别的预测结果是否准确；
如果所述目标头部姿态类别的预测结果准确，则基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作。
2.根据权利要求1所述的方法，其特征在于，所述事件信息还包括事件发生的图像坐标和/或事件发生的时间戳。
3.根据权利要求1所述的方法，其特征在于，所述极性包括第一极性和第二极性；所述将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像，包括：
从所述事件流中确定预设周期内的多个所述事件信息；
将所述预设周期内的所有所述第一极性的所述事件信息进行叠加，得到第一事件帧图像，以及，将所述预设周期内的所有所述第二极性的所述事件信息进行叠加，得到第二事件帧图像。
4.根据权利要求3所述的方法，其特征在于，所述事件帧图像中无事件发生的像素点的灰度值为0，所述事件帧图像中有事件发生的像素点的灰度值为该像素点发生事件的总次数。
5.根据权利要求4所述的方法，其特征在于，所述对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，包括：
将所述第一事件帧图像和所述第二事件帧图像进行叠加，得到第三事件帧图像；
按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，所述用户头部轮廓由所述第三事件帧图像中的满足预设规则的像素点组成；
将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，得到两张所述目标图像。
6.根据权利要求5所述的方法，其特征在于，所述按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，包括：
遍历所述第三事件帧图像中的每个像素点，对于每个灰度值不为0的像素点，将其相邻的所有灰度值为0的像素点的灰度值赋值为1；
遍历所述第三事件帧图像中的每个像素点，对于每个灰度值为0的像素点，将其相邻的所有灰度值不为0的像素点的灰度值赋值为0；
遍历所述第三事件帧图像中的每个像素点，将所有灰度值不为0的像素点连接起来，得到至少一个轮廓；
在所述至少一个轮廓中，选取像素面积最大的轮廓，确定为所述用户头部轮廓。
7.根据权利要求6所述的方法，其特征在于，所述将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，获得两张所述目标图像，包括：
确定所述用户头部轮廓的最小外接矩形框；
将所述最小外接矩形框映射到所述第一事件帧图像中，并将所述第一事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第一目标图像；
将所述最小外接矩形框映射到所述第二事件帧图像中，并将所述第二事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第二目标图像。
8.根据权利要求1所述的方法，其特征在于，所述图像分类预测网络包括卷积层、特征校正层、合并层、全连接层和激活层中的至少一种；
所述利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别，包括：
基于所述目标图像构建初始特征图，所述初始特征图的尺寸为所述目标图像的尺寸，所述初始特征图的通道数为所述目标图像对应的极性数量；
利用卷积层对所述初始特征图进行多次卷积处理，获得目标尺寸和目标通道数的第一特征图；
利用特征校正层，按照不同的校正规则，对所述第一特征图进行特征校正，获得不同的第二特征图，所述不同的第二特征图具有相同的尺寸和相同的通道数；
利用所述合并层将所述不同的第二特征图进行合并，得到第三特征图；
利用所述全连接层将所述第三特征图转换成一维序列图；
利用所述激活层从所述一维序列图中输出不同头部姿态类别对应的得分，将产生最大得分的头部姿态类别确定为目标头部姿态类别。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在图像分类预测网络的训练阶段，构建图像分类预测网络预测的头部姿态类别与真实头部姿态类别的损失函数，基于所述损失函数，监督所述图像分类预测网络的训练过程；
所述损失函数为：
其中，3为图像分类预测网络的分类类别数量，yi为真实头部姿态类别，pi为经过激活层输出的不同头部姿态类别对应的得分。
10.根据权利要求8所述的方法，其特征在于，所述基于所述当前阶段的姿态得分，判断所述目标头部姿态类别的预测结果是否准确，包括：
如果所述当前阶段的姿态得分大于判定阈值，则确定输出的目标头部姿态类别为正确的结果；
如果所述当前阶段的姿态得分小于或等于判定阈值，则确定输出的目标头部姿态类别为错误的结果。
11.根据权利要求1或10所述的方法，其特征在于，所述基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作，包括：
在所述目标头部姿态类别为转头姿态时，如果所述屏幕的当前状态为亮屏状态，则控制所述屏幕息屏，如果所述屏幕的当前状态为息屏状态，则控制所述屏幕保持息屏状态；
在所述目标头部姿态类别为正视姿态时，如果所述屏幕的当前状态为亮屏状态，则控制所述屏幕保持亮屏状态，如果所述屏幕的当前状态为息屏状态，则控制所述屏幕亮屏；
在所述目标头部姿态类别为其他姿态时，如果所述屏幕的当前状态为亮屏状态，则控制所述屏幕保持亮屏状态，如果所述屏幕的当前状态为息屏状态，则控制所述屏幕保持息屏状态。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
如果在预设时间段内检测到所述目标头部姿态类别未发生变化，则控制所述屏幕响应与所述目标头部姿态类别对应的动作；
如果在预设时间段内检测到所述目标头部姿态类别发生变化，则控制所述屏幕保持当前状态。
13.一种电子设备，其特征在于，包括：
显示屏；
事件相机；
一个或多个处理器；
存储器；
其中，所述事件相机用于采集事件流，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行如权利要求1-12中任一项所述的一种基于事件相机的屏幕控制方法。
14.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-12中任一项所述的一种基于事件相机的屏幕控制方法。
15.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行所述权利要求1-12中任一项所述的一种基于事件相机的屏幕控制方法。
CN202211289642.9A 2022-10-20 2022-10-20 一种基于事件相机的屏幕控制方法及电子设备 Active CN116708655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211289642.9A CN116708655B (zh) 2022-10-20 2022-10-20 一种基于事件相机的屏幕控制方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211289642.9A CN116708655B (zh) 2022-10-20 2022-10-20 一种基于事件相机的屏幕控制方法及电子设备

Publications (2)

Publication Number Publication Date
CN116708655A CN116708655A (zh) 2023-09-05
CN116708655B true CN116708655B (zh) 2024-05-03

Family

ID=87822730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211289642.9A Active CN116708655B (zh) 2022-10-20 2022-10-20 一种基于事件相机的屏幕控制方法及电子设备

Country Status (1)

Country Link
CN (1) CN116708655B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808997A (zh) * 2014-12-31 2016-07-27 联想(北京)有限公司 一种控制方法及电子设备
CN111984347A (zh) * 2019-05-21 2020-11-24 北京小米移动软件有限公司 交互处理方法、装置、设备及存储介质
CN113705445A (zh) * 2021-08-27 2021-11-26 深圳龙岗智能视听研究院 一种基于事件相机的人体姿态识别的方法及设备
CN114257744A (zh) * 2021-12-20 2022-03-29 深圳锐视智芯科技有限公司 一种图像处理方法、装置、设备及可读存储介质
CN114758140A (zh) * 2022-03-30 2022-07-15 中国工商银行股份有限公司 目标检测方法、装置、设备及介质
CN114972412A (zh) * 2022-05-12 2022-08-30 深圳锐视智芯科技有限公司 一种姿态估计方法、装置、系统及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808997A (zh) * 2014-12-31 2016-07-27 联想(北京)有限公司 一种控制方法及电子设备
CN111984347A (zh) * 2019-05-21 2020-11-24 北京小米移动软件有限公司 交互处理方法、装置、设备及存储介质
CN113705445A (zh) * 2021-08-27 2021-11-26 深圳龙岗智能视听研究院 一种基于事件相机的人体姿态识别的方法及设备
CN114257744A (zh) * 2021-12-20 2022-03-29 深圳锐视智芯科技有限公司 一种图像处理方法、装置、设备及可读存储介质
CN114758140A (zh) * 2022-03-30 2022-07-15 中国工商银行股份有限公司 目标检测方法、装置、设备及介质
CN114972412A (zh) * 2022-05-12 2022-08-30 深圳锐视智芯科技有限公司 一种姿态估计方法、装置、系统及可读存储介质

Also Published As

Publication number Publication date
CN116708655A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
EP3961358B1 (en) False touch prevention method for curved screen, and eletronic device
EP3816932B1 (en) Skin detection method and electronic device
US11759143B2 (en) Skin detection method and electronic device
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN108712603B (zh) 一种图像处理方法及移动终端
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111027490B (zh) 人脸属性识别方法及装置、存储介质
US20220262035A1 (en) Method, apparatus, and system for determining pose
CN108259746B (zh) 一种图像色彩检测方法及移动终端
CN107644396B (zh) 一种唇色调整方法和装置
CN112947755A (zh) 手势控制方法与装置、电子设备及存储介质
CN112085647B (zh) 一种人脸校正方法及电子设备
CN110930329A (zh) 星空图像处理方法及装置
CN109544445B (zh) 一种图像处理方法、装置及移动终端
EP3809361B1 (en) Wrinkle detection method and electronic device
CN110956571B (zh) 基于slam进行虚实融合的方法及电子设备
EP4131063A1 (en) Eye bag detection method and device
CN117274109A (zh) 图像处理方法、降噪模型训练方法及电子设备
CN113033341A (zh) 图像处理方法、装置、电子设备及存储介质
CN116708655B (zh) 一种基于事件相机的屏幕控制方法及电子设备
CN110163192B (zh) 字符识别方法、装置及可读介质
CN115150542B (zh) 一种视频防抖方法及相关设备
CN113591514B (zh) 指纹活体检测方法、设备及存储介质
CN111557007B (zh) 一种检测眼睛睁闭状态的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant