CN113486838A - 事件提醒方法、头戴式显示设备及存储介质 - Google Patents

Abstract

本发明公开了一种事件提醒方法、头戴式显示设备及存储介质，属于增强现实技术领域。事件提醒方法用于头戴式显示设备，头戴式显示设备包括摄像头，方法包括：获取头戴式显示设备采集的实时场景图像；对实时场景图像进行识别，获得场景特征信息；若场景特征信息满足目标事件的触发条件，获取用户的动作信息；根据动作信息，判断用户是否完成目标事件；若用户没有完成目标事件，输出目标事件的提醒信息。本发明可较好地满足用户在日常生活中对关门等日常动作的提醒服务需求。

Description

事件提醒方法、头戴式显示设备及存储介质

技术领域

本发明涉及增强现实技术领域，尤其涉及一种事件提醒方法、头戴式显示设备及存储介质。

背景技术

相关技术中，用户在日常生活以及工作过程中，可使用手机或者电脑等终端设备的定时事件提醒服务，以避免由于忙碌或者记忆消退等因素导致的遗忘或者遗漏处理某项事件的情况发生。

但是，上述事件提醒方法无法实现复杂场景下的事件提醒。

发明内容

本发明的主要目的在于提供一种事件提醒方法、头戴式显示设备及存储介质，旨在解决现有事件提醒服务不适用于日常生活的常见动作的技术问题。

为实现上述目的，第一方面，本发明提供一种事件提醒方法，用于头戴式显示设备，所述方法包括：

获取所述头戴式显示设备采集的实时场景图像；

对所述实时场景图像进行识别，获得场景特征信息；

若所述场景特征信息满足目标事件的触发条件，获取用户的动作信息；

根据所述动作信息，判断所述用户是否完成所述目标事件；

若所述用户没有完成所述目标事件，输出所述目标事件的提醒信息。

在一实施例中，所述触发条件包括下述情况中的任一种：

所述场景特征信息包括目标对象；

所述场景特征信息包括目标对象，且所述用户与所述目标对象之间的实时状态特征满足交互开始条件；或者

当前时刻为所述目标事件的预设记录开始时刻；

其中，所述目标对象为所述目标事件对应的对象。

在一实施例中，所述若所述场景特征信息满足目标事件的触发条件，获取用户的动作信息，包括：

若所述场景特征信息满足目标事件的触发条件，获取当前场景图像，所述当前场景图像中包括所述目标对象；

获取所述当前场景图像中所述用户与所述目标对象之间的实时状态特征；

若所述实时状态特征不满足交互完成条件，返回执行获取当前场景图像，直到所述实时状态特征满足所述交互完成条件，根据获取到的多个所述当前场景图像，获得所述动作信息。

在一实施例中，所述若所述实时状态特征不满足交互完成条件，返回执行获取当前场景图像，直到所述实时状态特征满足所述交互完成条件，根据获取到的多个所述当前场景图像，获得所述动作信息，包括：

若所述实时状态特征不满足交互完成条件，返回执行获取当前场景图像，直到所述实时状态特征满足所述交互完成条件，且当前时刻前预设数量帧所述当前场景图像中均未能识别出所述目标对象，根据获取到的多个所述当前场景图像，获得所述动作信息。

在一实施例中，所述若所述场景特征信息满足目标事件的触发条件，获取用户的动作信息，包括：

若当前时刻为所述目标事件的预设记录开始时刻，将所述当前时刻作为记录起始时刻，并持续获取当前场景图像；

若当前时刻为所述目标事件的预设记录结束时刻，根据获取到的多个所述当前场景图像，获得所述动作信息。

在一实施例中，所述根据所述动作信息，判断所述用户是否完成目标事件，包括：

根据所述动作信息，提取目标对象对应的图像特征；

根据所述图像特征，获得至少一个所述目标对象的状态变化特征、多个所述目标对象之间的第一交互状态特征和/或用户与所述目标对象之间的第二交互状态特征；

将所述状态变化特征、第一交互状态特征和/或所述第二交互状态特征分别与预设状态变化特征、第一预设交互状态特征和/或第二预设交互状态特征进行对比；

根据所述对比结果，判断所述用户是否完成所述目标事件。

在一实施例中，所述若所述用户没有完成所述目标事件，输出所述目标事件的提醒信息之后，所述方法还包括：

在显示界面上展示所述动作信息，以及所述动作信息中用户动作的时间数据。

在一实施例中，所述若所述场景特征信息满足目标事件的触发条件，记录用户的动作信息之后，所述方法还包括：

在接收到用户针对所述目标事件的查询指令时，显示所述动作信息，以使所述用户根据所述动作信息，判断是否完成所述目标事件。

第二方面，本发明还提供了一种头戴式显示设备，头戴式显示设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的事件提醒程序，事件提醒程序配置为实现如上述的事件提醒方法的步骤。

第三方面，本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有事件提醒程序，事件提醒程序被处理器执行时实现如上述的事件提醒方法的步骤。

本发明实施例提供了一种事件提醒方法，该事件提醒方法通过用户穿戴好头戴式显示设备之后，在头戴式显示设备伴随用户动作生活的过程中，通过摄像头采集用户的实时场景图像，并在实时场景图像中的显示图像信息满足目标事件的触发条件时，触发摄像头记录用户的后续动作信息，从而根据记录的动作信息判断用户记忆是否完成了目标事件，并在用户未能完成目标事件时，输出相应的提醒信息，以提醒用户完成目标事件。该事件提醒方法通过场景触发记录用户动作信息，并通过动作信息判断用户是否完成目标事件，可较好地满足用户在日常生活中对关门等日常动作的提醒服务需求。

附图说明

图1为本发明头戴式显示设备的结构示意图；

图2为本发明事件提醒方法第一实施例的流程示意图；

图3为本发明事件提醒方法第二实施例的步骤S103的细化流程示意图；

图4为本发明事件提醒方法第三实施例的步骤S104的细化流程示意图；

图5为本发明事件提醒方法第四实施例的流程示意图；

图6为本发明事件提醒方法第五实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相关技术中，用户在日常生活以及工作过程中，可使用手机或者电脑等终端设备的定时事件提醒服务，以避免由于忙碌或者记忆消退等因素导致的遗忘或者遗漏处理某项事件的情况发生。一般，事件提醒服务通常是用户设定了某一事件，然后需要在未来的某一时间点进行提醒，提醒的方式可能是通过短信、语音、电话等方式进行提醒，提醒的内容也是基于用户的事件，如：“提醒您明天7点出门买菜”这类文案提醒。

但是随着人口老龄化不断加剧，以及老年人在各项大脑功能上的退化，记忆障碍，尤其是老年失忆人群的数量也越来越多，针对这种记忆障碍人群的事件提醒服务的解决方案就显得越来越重要。如老年人记忆衰退后，不免出现忘记关门、忘记吃药或者忘记关火等遗忘日常动作的情况，而此类日常动作在日常生活中频繁出现且难以按照计划定时实施，即现有定时等事件提醒服务难以满足该类日常动作的需求。

为此，本发明实施例提供了一种事件提醒方法，该事件提醒方法通过用户穿戴好头戴式显示设备之后，在头戴式显示设备伴随用户动作生活的过程中，通过摄像头采集用户的实时场景图像，并在实时场景图像中的显示图像信息满足目标事件的触发条件时，触发摄像头记录用户的后续动作信息，从而根据记录的动作信息判断用户记忆是否完成了目标事件，并在用户未能完成目标事件时，输出相应的提醒信息，以提醒用户完成目标事件。该事件提醒方法通过场景触发记录用户动作信息，并通过动作信息判断用户是否完成目标事件，可较好地满足用户在日常生活中对关门等日常动作的提醒服务需求。

以下将对本发明技术实现中涉及的技术进行分别说明。

增强现实(Augmented Reality，AR)：是指透过摄像机影像的位置与角度精算，并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。

计算机视觉技术(Computer Vision,CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本发明实施例以下，将对本发明技术实现中应用到的头戴式显示设备进行说明：

本发明实施例中涉及的头戴式显示设备是应用穿戴式技术对日常穿戴进行智能化设计、并开发出的可以穿戴的设备的总称，如AR头盔、AR眼镜、 AR服饰等。所述头戴式显示设备可以是AR眼镜，将高清投影仪、计算机视觉系统以及移动计算机这三个组件集成到眼镜中，通过佩戴眼镜的方式穿戴在用户的身上，AR眼镜能将增强现实类的信息传输至镜片上进行显示，用以增强用户的视觉沉浸感。

图1所示为本发明实施例涉及的头戴式显示设备的结构示意图。

通常，头戴式显示设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的事件提醒程序，所述事件提醒程序配置为实现如下方方法实施例所述的事件提醒方法的步骤。

处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、 FPGA(Field－Programmable Gate Array，现场可编程门阵列)、 PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责投影仪所需要投影的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关事件提醒操作，使得事件提醒模型可以自主训练学习，提高效率和准确度。

存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的事件提醒方法。

头戴式显示设备还包括有：通信接口303和至少一个外围设备。处理器 301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：摄像头304、投影仪305和电源306中的至少一种。

通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

摄像头304可包括多个，且摄像头304可固定或者可转动地连接在头戴式显示设备的眼镜主体上。摄像头304用于采集用户周围场景以及用户自身动作的图像视频数据，如用户的开门动作等图像视频数据。用于投影仪305 用于将生成的虚拟场景投影在AR眼镜的镜片上使得虚拟世界能够与现实世界场景进行结合与交互。

电源306用于为头戴式显示设备的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图1中示出的结构并不构成对头戴式显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下文以头戴式显示设备为AR眼镜为例，提出本发明实施例的方法实施例。

本发明提供一种事件提醒方法第一实施例，参阅图2，图2为本发明事件提醒方法第一实施例的流程示意图。

步骤S101、获取摄像头采集的实时场景图像。

具体而言，在用户佩戴好AR眼镜后，AR眼镜上的摄像头开启并开始采集用户所在场景的实时场景图像信息。摄像头可包括一个，如摄像头布置在眼镜主体上，并朝向用户的正前方布置，以模拟用户的第一视角采集得到图像视频数据，该图像视频数据即为实时场景图像。摄像头还可包括多个，多个摄像头可朝向不同的方向，多个摄像头在同一时刻采集得到的多帧图像数据经过处理后可合成为实时场景图像。摄像头采集好图像视频数据后，将其存储至AR眼镜的处理器中，以使得AR眼镜的处理器获取到实时场景图像。

步骤S102、对实时场景图像进行识别，获得场景特征信息。

AR眼镜的处理器可基于计算机视觉技术对获取的实时场景图像进行处理，如从每一帧实时场景图像中识别出实时场景图像内显示的当前用户所在环境中的各个环境对象特征或者用户自身的身体特征。实时场景图像中可识别出的所有特征信息共同构成了场景特征信息。

可以理解的，如室内环境包括有桌、椅、茶几、门、花瓶以及墙壁等物体，此类物体可视为环境对象特征。用户佩戴AR眼镜在室内环境中活动时，摄像头采集的实施场景图像中必然包括桌、椅、茶几、门、花瓶以及墙壁中至少部分物体的显示图像，AR眼镜可基于计算机视觉技术识别出实时场景图像中包括的环境对象特征。如用户在阳台浇花时，AR眼镜可基于计算机视觉技术识别出花盆、阳台以及窗户等环境对象特征。

且摄像头安装于AR眼镜上，在用户佩戴AR眼镜活动时，摄像头可根据用户头部的偏转以及低头抬头等动作采集到用户的手臂、躯干以及腿部等身体部位的实时图像数据，从而实时场景图像中可从中识别出用户的手臂、躯干以及腿部等身体部位的实时图像，并将其视为用户自身的身体特征。

此外，在从实时场景图像中识别出环境对象特征和身体特征后，可进一步基于计算机视觉技术得到环境对象特征和身体特征之间的状态特征，或者不同环境对象特征之间的状态特征，如在一帧实时场景图像中，在识别出环境对象特征“门”、“门框”以及“门把锁”，以及身体特征“躯干”和“右手”后，可根据该帧实时场景图像或者连续的多帧实时场景图像识别出“右手”与“门把锁”之间的距离特征，或者“门”和“门框”之间的位置状态特征：关门状态或者开门状态。

具体而言，本步骤中，包括但不限于前述的环境对象特征、身体特征以及状态特征共同构成了场景特征信息。

步骤S103、若场景特征信息满足目标事件的触发条件，记录用户的动作信息。

用户可通过AR眼镜的人机交互界面，或者与AR眼镜建立通信连接的手机、平板或者计算机等终端设备为AR眼镜设置目标事件以及该目标事件对应的触发条件。

具体而言，目标事件可以是用户在AR眼镜中预设的不可遗忘的如开门后关门、关火或者吃药等日常事件，还可以是需要完成的发邮件、开会等工作事件。触发条件为当前时刻或者当前时刻附近的某一时刻，摄像头采集的实时场景图像中的信息反映出用户在当前的环境中，应当完成对应的目标事件。如，目标事件为关门上锁时，触发条件可以是实时场景图像中识别出的环境对象特征中包括“门框”。如，目标事件为关窗时，触发条件可以是实时场景图像中识别出的环境对象特征中包括“阳台”以及“窗户”。

若场景特征信息满足目标事件的触发条件，则控制AR眼镜开始记录用户的动作信息。记录可以是控制AR眼镜的摄像头记录用户的动作图像信息。在一些实施例中，AR眼镜连接有安装于用户身体上的多个姿态传感器时，还可基于姿态传感器采集的数据构建得到用户的空间动作信息。

且可以理解的，记录用户的动作信息可以是响应于场景特征信息满足目标事件的触发条件，AR眼镜立刻记录用户的动作信息。如开门和关门动作衔接较为紧凑，此时可以在满足触发条件后，立刻记录用户的动作信息。或者，在一些具体实施方式中，记录用户的动作信息可以是在场景特征信息满足目标事件的触发条件，并经过预设时长后，记录用户的动作信息。如饭后吃药这一目标事件，此时，吃饭完毕为触发条件，可在满足触发条件后延时一段时间以供用户饭后休息一段时间后方才记录用户的动作信息，如是否去拿药、吃药等。

在一具体实施方式中，触发条件包括下述情况中的任一种：

(1)场景特征信息中包括目标对象。其中，目标对象为目标事件对应的对象。

具体而言，日常生活中，目标事件为用户需要对目标对象进行的相应工作，目标对象可以为一个或者多个。如目标事件为关门时，目标对象为门以及门把锁。因此，可将目标对象包括于场景特征信息中作为触发条件，从而及时触发AR眼镜记录用户的动作信息。如从实时场景图像中识别出目标对象门以及门把锁时，可触发AR眼镜通过摄像头或者姿态传感器记录用户的在后续时刻的动作信息。

(2)场景特征信息中包括目标对象，且用户与目标对象之间的实时状态特征满足交互开始条件。

具体而言，在用户所在的日常生活场景中，目标对象出现于实时场景图像中可为大概率事件。但是并非目标对象每次出现于实时场景图像中均表征用户需要执行目标事件，因此，还可进一步限定触发条件，以使记录动作更加准确地被触发。进一步限定可以是用户与目标对象之间的实时状态特征满足交互开始条件。用户与目标对象之间的实时状态特征可以是空间位置状态信息，如用户与目标对象之间的空间位置状态满足交互开始条件。

如，目标事件为开门后关门时，但是用户在室内环境生活时，目标对象：门以及门把锁不可避免地会经常出现与摄像头采集的实时场景图像中，此时，可进一步限定：用户和门之间的空间位置状态满足用户在门内侧，且用户与门把锁之间的空间位置状态满足用户与门把锁之间的距离小于预设阈值。

即用户和门之间的空间位置状态满足用户在门内侧，且用户与门把锁之间的空间位置状态满足用户与门把锁之间的距离小于预设阈值共同构成了交互开始条件。此时，针对开门后关门这一目标事件，可更加准确地判断出用户开始与门进行交互，从而及时开始记录用户的动作信息，以更加准确地进行开门后关门这一事件提醒服务。

或者，用户与目标对象之间的实时状态特征可以是时间状态信息，如目标对象在当前时刻前预设数量帧实时场景图像中均识别出目标对象。

如，目标事件为开门后关门时，但是用户在室内环境生活时，目标对象：门以及门把锁不可避免地会经常出现与摄像头采集的实时场景图像中，此时，可进一步限定：在当前时刻前预设数量帧实时场景图像中均识别出门以及门把锁。即在当前时刻前预设数量帧实时场景图像中均识别出门以及门把锁构成了交互开始条件，此时，针对开门后关门这一目标事件，可更加准确地判断出用户开始与门进行交互，从而及时开始记录用户的动作信息，以更加准确地进行开门后关门这一事件提醒服务。

(3)当前时刻为所述目标事件的预设记录开始时刻。

此时，触发条件为定时服务，从而在当前时刻到达用户设定的时刻时，定时获取用户的动作信息。

如，目标事件为饭后吃药时，将12点45分作为触发条件，当时间到达 12点45分时，AR眼镜可控制摄像头开始记录用户的动作信息。

触发条件为当前时刻为所述目标事件的预设记录开始时刻时，获取用户的动作信息可以更加准确地响应。

步骤S104、根据动作信息，判断用户是否完成目标事件。

AR眼镜记录下用户的动作信息后，可根据动作信息中识别或者提取的特征，判断用户是否完成目标事件。如AR眼镜通过摄像头记录用户的动作图像信息后，可根据计算机视觉技术识别用户进行的动作，或者目标对象的状态变化，或者用户和目标对象之间的空间位置等状态信息，进而判断用户是否完成目标事件。

或者，根据动作信息中识别或者提取的特征，与预设的特征相对比判断用户是否完成目标事件。如AR眼镜通过姿态传感器记录用户的动作图像信息后，可根据相应时刻的相应位置或者相应编号的姿态传感器记录的姿态数据是否与预设姿态数据一致，而判断用户是否完成目标事件。

步骤S105、若用户没有完成目标事件，输出目标事件的提醒信息。

输出提醒信息可以是输出音频格式的提醒信息，如：目标事件开门后关门未完成，或者通过增强现实技术在AR眼镜的镜片上展示提醒信息，此时提醒信息可以是预设的提醒标记，如红色三角形，或者预设的文字内容，如：目标事件开门后关门未完成。

本步骤中，AR眼镜判断出用户没有完成目标事件，可及时提醒用户没有完成目标事件，从而帮助用户完成日常生活中的各种较为琐碎，但关系到用户生活质量的目标事件，以提高用户的生活质量。

可以理解的，若AR眼镜判断出用户已经完成目标事件，可不执行动作或者输出预设信息。预设信息可以是输出音频格式的预设音频，如：目标事件开门后关门已完成，或者通过增强现实技术在AR眼镜的镜片上展示提醒信息，此时提醒信息可以是预设的提醒标记，如绿色标记，或者预设的文字内容，如：目标事件开门后关门已完成。

值得一提的是，输出提醒信息可以是在记录动作信息完成后，还可是在记录动作信息过程中，如记录动作信息和判断用户是否完成目标事件同步进行，从而及时发出提醒信息。

此外，为了进一步确保用户生命健康及财产安全的，使得事件提醒服务更加有效，可增加定时提醒功能。如在一具体实施方式中，步骤S105包括：若用户在从实时场景图像满足目标事件的触发条件开始的预设时间段内未完成目标事件，输出目标事件的提醒信息。

此时，通过从实时场景图像满足目标事件的触发条件开始的预设时间段内进一步限定，以增加定时提醒功能，使得输出提醒信息更加及时。如目标事件为饭后吃药时，将吃饭完毕作为触发条件，并将预设时间设为15分钟，从而在15分钟内用户未完成吃药这一目标事件时，及时提醒用户吃药。

此外，在一些实施例中，方法还包括：

步骤S106、在显示界面上展示动作信息，以及动作信息中用户动作的时间数据。

本步骤中，通过增强现实技术在显示界面上展示动作信息，以及动作信息中用户动作的时间数据，以强化用户对目标事件的记忆，帮助用户在后续生活或者工作中完成目标事件。

本实施例中，通过摄像头采集用户的实时场景图像，并在实时场景图像中的显示图像信息满足目标事件的触发条件时，触发摄像头记录用户的后续动作信息，从而根据记录的动作信息判断用户记忆是否完成了目标事件，并在用户未能完成目标事件时，输出相应的提醒信息，以提醒用户完成目标事件，来实现帮忙记忆障碍人群对生活中关键事项的记忆，有效解决由于忘记有没有进行目标事件而带来的生活困扰。相较于定时提醒服务，本实施例提供的事件提醒方法对于一些关系到用户生命健康及财产安全的日常事项，比如吃药，喂宠物等，更加贴近于生活实际，能更加智能化地辅助用户记忆或者完成目标事件，提高用户生活质量。

作为一个实施例，在本发明实施例事件提醒方法第一实施例的基础上，提出本发明实施例事件提醒方法第二实施例。参阅图3，图3为本发明事件提醒方法第二实施例的流程示意图。

本实施例中，步骤S103包括：

步骤A10、若场景特征信息满足目标事件的触发条件，获得当前场景图像，所述当前场景图像中包括所述目标对象

步骤A20、获取所述当前场景图像中所述用户与所述目标对象之间的实时状态特征。

步骤A30、若所述实时状态特征不满足交互完成条件，返回执行A10，直到实时状态特征满足交互完成条件，根据获取到的多个当前场景图像，获得动作信息。

本实施例中，AR眼镜通过摄像头记录用户的动作信息。摄像头进入记录模式后，摄像头会记录并存储记录模式下记录的所有当前场景图像，从而获得多帧当前场景图像。且可以理解的，摄像头可包括一个，如摄像头布置在眼镜主体上，并朝向用户的正前方布置，以模拟采集用户的第一视角得到图像视频数据，该图像视频数据即为当前场景图像。摄像头还可包括多个，多个摄像头在同一时刻采集得到多帧图像数据经过处理后可合成当前场景图像。

AR眼镜可通过计算机视觉技术识别当前场景图像中的目标对象，从而根据当前场景图像，获得用户与目标对象之间的实时状态特征。如AR眼镜可从当前场景图像识别出环境对象特征：目标对象后，在识别出用户的身体特征，如手、脚等。AR眼镜可进一步通过当前场景图像的环境对象特征和身体特征，处理得到环境对象特征和身体特征之间的实时状态特征。实时状态特征可以是包括空间状态特征或者时间状态特征或者其他状态特征。

用户可在设置目标事件时预置交互完成条件，该实时状态特征满足交互完成条件时，表示用户与目标对象在空间和/或时间上已经完成交互，两者在空间和/或时间上继续进行目标事件的可能性较低。此时摄像头退出记录模式，将记录模式下得到的多帧当前场景图像处理得到动作信息。

若实时状态特征不满足交互完成条件，则控制摄像头继续维持记录模式，即继续获取当前场景图像。

且可以理解的，用户与目标对象完成交互，并不表示用户完成了目标事件。如目标事件为开门后关门时，用户开门口从门外侧远离门即表示用户与门完成了交互，但是并不表示用户完成了开门后关门这一目标事件。

本实施例中，通过摄像头记录用户与目标对象的当前场景图像，可以使得获得的当前场景图像构成的动作信息更加准确地展示用户和目标对象之间的实时交互，从而使得AR眼镜可以更加准确地判断用户与目标对象之间的实时状态特征是否满足交互完成条件，进而更加准确地提醒用户完成目标事件，来实现帮忙记忆障碍人群对关键事项的记忆，有效解决由于忘记有没有进行目标事件而带来的生活困扰，特别是对于一些关系到用户生命健康及财产安全的事项，比如吃药，喂宠物等，能起到良好的辅助记忆作用，提高用户生活质量。

本实施例中，实时状态特征满足交互完成条件后，并非均表征用户不能及时记忆目标事件而返回执行目标事件，因此，还可进一步限定摄像头退出记录模式的条件。

具体而言，步骤A30包括，若实时状态特征不满足交互完成条件，返回执行A10，直到所述实时状态特征满足所述交互完成条件，且当前时刻前预设数量帧所述当前场景图像中均未能识别出所述目标对象，根据获取到的多个所述当前场景图像，获得所述动作信息。

通过当前时刻前预设数量帧当前场景图像中均未能识别出目标对象进一步限定摄像头退出记录模式的时间，以在用户及时记忆起目标事件并返回至目标对象处执行目标事件时，防止AR眼镜过早输出提醒信息而影响用户的使用体验。即可进一步提高本实施例的事件提醒服务的准确性以及人机交互体验。

作为一个实施例，在本发明实施例事件提醒方法第一实施例和第二实施例的基础上，提出本发明实施例事件提醒方法第三实施例。参阅图4，图4为本发明事件提醒方法第三实施例的流程示意图。

本实施例中，步骤S103包括：

步骤B10、若当前时刻为所述目标事件的预设记录开始时刻，将所述当前时刻作为记录起始时刻，并持续获取当前场景图像。

步骤B20、若当前时刻为所述目标事件的预设记录结束时刻，根据获取到的多个所述当前场景图像，获得所述动作信息。

因此，本实施例中，事件提醒服务还具有定时开启功能，用户可通过AR 眼镜的人机交互界面，或者语音交互功能或者与AR眼镜连接的计算机终端输入预设记录开始时刻、预设时长或者预设记录结束时刻中的至少两者。

在当前时刻为所述目标事件的预设记录开始时刻，AR眼镜控制摄像头开始并持续记录当前场景图像。在持续记录预设时长后，到达目标事件的预设记录结束时刻时，AR眼镜控制摄像头结束记录模式，将记录模式下得到的多帧当前场景图像处理得到动作信息。

本实施例中，通过定时开启功能使得事件提醒功能更加准确，以避免AR 眼镜仅仅依赖计算机视觉技术识别场景特征信息导致误判的情况发生，进而提高事件提醒功能的准确性，以及服务体验。

作为一个实施例，在本发明实施例事件提醒方法第一实施例至第三实施例的基础上，提出本发明实施例事件提醒方法第四实施例。参阅图5，图5为本发明事件提醒方法第四实施例的流程示意图。

本实施例中，步骤S104包括：

步骤C10、根据动作信息，提取目标对象对应的图像特征。

步骤C20、根据图像特征，获得至少一个目标对象的状态变化特征、多个目标对象之间的第一交互状态特征和/或用户与目标对象之间的第二交互状态特征。

本实施例中，对于任一帧当前场景图像，AR眼镜可识别出或者提取出目标对象对应的图像特征。对于动作信息包括的多帧当前场景图像，可从中提取出每个目标对象出现的所有图像特征。在不同帧的当前场景图像中，同一目标对象的图像特征可存在区别。AR眼镜可通过计算机视觉技术，基于同一目标对象的多个图像特征之间的区别，获得至少一个目标对象的状态变化特征、多个目标对象之间的第一交互状态特征和/或用户与目标对象之间的第二交互状态特征。

目标对象的状态变化特征反应了目标对象在空间或者时间上的状态变化，目标对象门把锁的转动两圈的状态变化。

目标对象之间的第一交互状态特征反映了多个目标对象之间在空间或者时间上的状态变化，如目标对象的门和门框之间从关门状态-开门状态-关门状态之间的变化。

用户与目标对象之间的第二交互状态特征反映了用户和目标对象之间的在空间或者时间上的状态变化，如目标对象的门和用户的身体特征躯干之间从躯干位于门内侧-躯干穿过门-身体位于门外侧之间的变化。

步骤C30、将状态变化特征、第一交互状态特征和/或第二交互状态特征分别与预设状态变化特征、第一预设交互状态特征和/或第二预设交互状态特征进行对比。

步骤C40、根据对比结果，判断用户是否完成目标事件。

AR眼镜将状态变化特征、第一交互状态特征和/或第二交互状态特征与预设状态变化特征、第一预设交互状态特征和/或第二预设交互状态特征进行对比。根据对比结果，判断用户是否完成目标事件。

其中，预设状态变化特征、第一预设交互状态特征和/或第二预设交互状态特征为用户预置或者AR眼镜学习到的相应特征。如对于目标事件为开门后关门时，预设状态变化特征为门把锁逆时针转动两圈，第一预设交互状态特征为门和门框之间从关门状态-开门状态-关门状态之间的变化，第二预设交互状态特征为目标对象的门和用户的身体特征躯干之间从躯干位于门内侧-躯干穿过门-身体位于门外侧之间的变化，以及用户的手接触门把锁、离开门把锁的变化，AR眼镜可将其从动作信息中提取得到的将状态变化特征、第一交互状态特征和/或第二交互状态特征与预设状态变化特征、第一预设交互状态特征和/或第二预设交互状态特征进行对比，从而作为依据判断用户是否完成目标事件。

本实施例中，通过上述步骤，可提高判断用户是否完成目标事件的准确性。

作为一个实施例，本发明实施例还提供了一种事件提醒方法第五实施例。参阅图6，图6为本发明事件提醒方法第五实施例的流程示意图。

本实施例中，方法包括：

步骤S201、获取头戴式显示设备采集的实时场景图像；

步骤S202、对实时场景图像进行识别，获得场景特征信息；

步骤S203、若场景特征信息满足目标事件的触发条件，获取用户的动作信息。

步骤S201至203参照前述实施例的步骤S101至S103，此处不再赘述。

步骤S204、在接收到用户针对目标事件的查询指令时，显示动作信息，以使用户根据动作信息，判断是否完成目标事件。

查询指令可以是用户语音输入的查询指令，如AR眼镜通过语音识别技术识别用户输入的语音，以从输入的语音中识别出预置的查询指令。或者查询指令还可以是用于在AR眼镜的人机交互界面上输入的查询指令，还可以是通过与AR眼镜连接的计算终端输入的查询指令。

在接收到用户针对目标事件的查询指令时，AR眼镜通过增强现实技术在镜面上显示记录的动作信息，如动作图像信息。用户通过观看动作信息，判断自己是否完成目标事件，从而帮助用户实现对关键事项的记忆。

本实施例中，通过记录用户的动作信息，并在用户查询时，将动作信息展示给用户观看，以在不影响或者不干扰用户的正常工作和生活的情况下，帮忙记忆障碍人群对关键事项的记忆，可以起到良好的辅助记忆作用，提高用户生活质量。

此外，本发明实施例还提出一种计算机存储介质，所述存储介质上存储有信息点有效性识别程序，所述信息点有效性识别程序被处理器执行时实现如上文所述的事件提醒方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM， Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种事件提醒方法，其特征在于，用于头戴式显示设备，所述方法包括：

获取所述头戴式显示设备采集的实时场景图像；

对所述实时场景图像进行识别，获得场景特征信息；

若所述场景特征信息满足目标事件的触发条件，获取用户的动作信息；

根据所述动作信息，判断所述用户是否完成所述目标事件；

若所述用户没有完成所述目标事件，输出所述目标事件的提醒信息。

2.根据权利要求1所述的事件提醒方法，其特征在于，所述触发条件包括下述情况中的任一种：

所述场景特征信息包括目标对象；

所述场景特征信息包括目标对象，且所述用户与所述目标对象之间的实时状态特征满足交互开始条件；或者

当前时刻为所述目标事件的预设记录开始时刻；

其中，所述目标对象为所述目标事件对应的对象。

3.根据权利要求2所述的事件提醒方法，其特征在于，所述若所述场景特征信息满足目标事件的触发条件，获取用户的动作信息，包括：

若所述场景特征信息满足目标事件的触发条件，获取当前场景图像，所述当前场景图像中包括所述目标对象；

获取所述当前场景图像中所述用户与所述目标对象之间的实时状态特征；

若所述实时状态特征不满足交互完成条件，返回执行获取当前场景图像，直到所述实时状态特征满足所述交互完成条件，根据获取到的多个所述当前场景图像，获得所述动作信息。

4.根据权利要求3所述的事件提醒方法，其特征在于，所述若所述实时状态特征不满足交互完成条件，返回执行获取当前场景图像，直到所述实时状态特征满足所述交互完成条件，根据获取到的多个所述当前场景图像，获得所述动作信息，包括：

若所述实时状态特征不满足交互完成条件，返回执行获取当前场景图像，直到所述实时状态特征满足所述交互完成条件，且当前时刻前预设数量帧所述当前场景图像中均未能识别出所述目标对象，根据获取到的多个所述当前场景图像，获得所述动作信息。

5.根据权利要求2所述的事件提醒方法，其特征在于，所述若所述场景特征信息满足目标事件的触发条件，获取用户的动作信息，包括：

若当前时刻为所述目标事件的预设记录开始时刻，将所述当前时刻作为记录起始时刻，并持续获取当前场景图像；

若当前时刻为所述目标事件的预设记录结束时刻，根据获取到的多个所述当前场景图像，获得所述动作信息。

6.根据权利要求2所述的事件提醒方法，其特征在于，所述根据所述动作信息，判断所述用户是否完成目标事件，包括：

根据所述动作信息，提取目标对象对应的图像特征；

根据所述图像特征，获得至少一个所述目标对象的状态变化特征、多个所述目标对象之间的第一交互状态特征和/或用户与所述目标对象之间的第二交互状态特征；

将所述状态变化特征、第一交互状态特征和/或所述第二交互状态特征分别与预设状态变化特征、第一预设交互状态特征和/或第二预设交互状态特征进行对比；

根据所述对比结果，判断所述用户是否完成所述目标事件。

7.根据权利要求1或2所述的事件提醒方法，其特征在于，所述若所述用户没有完成所述目标事件，输出所述目标事件的提醒信息之后，所述方法还包括：

在显示界面上展示所述动作信息，以及所述动作信息中用户动作的时间数据。

8.根据权利要求1所述的事件提醒方法，其特征在于，所述若所述场景特征信息满足目标事件的触发条件，记录用户的动作信息之后，所述方法还包括：

在接收到用户针对所述目标事件的查询指令时，显示所述动作信息，以使所述用户根据所述动作信息，判断是否完成所述目标事件。

9.一种头戴式显示设备，其特征在于，所述头戴式显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的事件提醒程序，所述事件提醒程序配置为实现如权利要求1至8中任一项所述的事件提醒方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有事件提醒程序，所述事件提醒程序被处理器执行时实现如权利要求1至8任一项所述的事件提醒方法的步骤。

Images