CN111917918B - 基于增强现实的事件提醒管理方法、装置以及存储介质 - Google Patents
基于增强现实的事件提醒管理方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN111917918B CN111917918B CN202010725468.2A CN202010725468A CN111917918B CN 111917918 B CN111917918 B CN 111917918B CN 202010725468 A CN202010725468 A CN 202010725468A CN 111917918 B CN111917918 B CN 111917918B
- Authority
- CN
- China
- Prior art keywords
- target
- scene
- reminding
- event
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了基于增强现实的事件提醒管理方法、装置以及存储介质,涉及人工智能的计算机视觉技术。通过响应于目标操作获取目标界面中的目标事件;然后对目标界面中的目标场景进行处理,以生成增强现实场景;并确定目标对象在增强现实场景中的位置信息,以标记为提醒对象;若目标条件被触发,则基于提醒对象展示提醒信息。从而实现了基于计算机视觉技术的智能事件提醒过程,由于将目标事件的提示信息通过增强现实的场景进行展示,保证了提醒信息的全面性,且由于位置信息的对应性,提高了事件提醒中提醒信息的准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及基于增强现实的事件提醒管理方法、装置以及存储介质。
背景技术
随着互联网技术的发展,很多互联网应用都提供了提醒服务,用户可以设置提醒事件和触发时间,当到达触发时间则将提醒事件推送给用户。
一般,事件提醒通常是用户设定了某一事件,然后需要在未来的某一时间点进行提醒,提醒的方式可能是通过远程通知、电话、短信等方式进行提醒,提醒的内容也是基于用户的事件,如:“提醒您明天7点开会”这类文案提醒,如果需要完善具体的提醒信息,则可以进一步的输入文案类的提示,以便于进行提醒。
然而,在提醒事件比较复杂时,需要大量的输入交互过程以设定提醒,费时费力;且在提醒事件包含的元素较多或不易形容时,上述文案提示的方式可能无法准确的表示,造成事件提醒的错误,从而影响事件提醒的准确性。
发明内容
有鉴于此,本申请提供基于增强现实的事件提醒管理方法,可以在增强现实场景中进行事件提醒,提高事件提醒的准确性。
本申请第一方面提供一种事件提醒管理方法,可以应用于终端设备中包含事件提醒功能的系统或程序中,具体包括:响应于目标操作获取目标界面中的目标事件,所述目标事件与目标场景中的目标对象相对应,所述目标事件响应于目标条件的触发而生成提醒信息,所述提醒信息用于指示所述目标对象的描述特征;
对所述目标界面中的所述目标场景进行处理,以生成增强现实场景;
确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,所述提醒对象与所述目标事件相对应;
若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,所述目标条件基于所述位置信息或时间信息中的至少一个维度设定。
可选的,在本申请一些可能的实现方式中,所述对所述目标界面中的所述目标场景进行处理,以生成增强现实场景,包括:
采集所述目标场景对应的图像信息;
根据所述目标场景对应的图像信息生成所述增强现实场景。
可选的,在本申请一些可能的实现方式中,所述采集所述目标场景对应的图像信息,包括:
获取所述目标事件对应的权限信息;
若所述权限信息满足采集条件,则采集所述目标场景对应的图像信息。
可选的,在本申请一些可能的实现方式中,所述根据所述目标场景对应的图像信息生成所述增强现实场景,包括:
标记所述目标场景对应的图像信息中指示的参考对象;
基于所述参考对象建立目标坐标系;
根据所述目标坐标系生成所述增强现实场景。
可选的,在本申请一些可能的实现方式中,所述基于所述参考对象建立目标坐标系,包括:
基于所述参考对象采集平面坐标数据和垂直坐标数据;
根据所述平面坐标数据和所述垂直坐标数据建立所述目标坐标系。
可选的,在本申请一些可能的实现方式中,所述确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,包括:
响应于针对所述目标对象的选择操作确定点击坐标;
将所述点击坐标投影到所述增强现实场景中,以确定所述位置信息;
基于所述位置信息标记为所述提醒对象。
可选的,在本申请一些可能的实现方式中,所述基于所述位置信息标记为所述提醒对象,包括:
基于所述位置信息生成预设对象范围,所述预设对象范围中的每个坐标点与所述目标对象相关联;
将所述预设对象范围标记为所述提醒对象。
可选的,在本申请一些可能的实现方式中,所述若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,包括:
确定所述目标条件被触发时的触发场景;
若所述触发场景与所述目标场景相同,则基于所述提醒对象展示所述提醒信息。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
若所述触发场景与所述目标场景不同,则基于所述触发场景进行模型建立,以生成与所述触发场景对应的增强现实场景;
确定所述目标对象在所述触发场景对应的增强现实场景中的位置信息,以标记为所述提醒对象;
基于所述提醒对象展示所述提醒信息。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
将所述触发场景和所述目标场景中的坐标系映射到整体坐标系中;
基于所述整体坐标系将所述触发场景和所述目标场景进行拼接,以对所述增强现实场景进行更新。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
确定所述提醒对象、所述目标事件和所述增强现实场景的关联关系;
将所述关联关系保存至数据库,所述数据库用于指示所述增强现实场景的调用。
可选的,在本申请一些可能的实现方式中,所述基于增强现实的事件提醒管理方法应用于iOS系统,所述对所述目标界面中的所述目标场景进行处理,以生成增强现实场景,包括:
调用所述iOS系统中的增强现实组件;
获取所述增强现实组件的功能周期信息,所述功能周期信息基于所述增强现实组件的可用状态设定;
根据所述目标场景对应的所述功能周期信息生成所述增强现实场景。
本申请第二方面提供一种事件提醒的装置,包括:获取单元,用于响应于目标操作获取目标界面中的目标事件,所述目标事件与目标场景中的目标对象相对应,所述目标事件响应于目标条件的触发而生成提醒信息,所述提醒信息用于指示所述目标对象的描述特征;
生成单元,用于对所述目标界面中的所述目标场景进行处理,以生成增强现实场景;
确定单元,用于确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,所述提醒对象与所述目标事件相对应;
管理单元,用于若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,所述目标条件基于所述位置信息或时间信息中的至少一个维度设定。
可选的,在本申请一些可能的实现方式中,所述生成单元,具体用于采集所述目标场景对应的图像信息;
所述生成单元,具体用于根据所述目标场景对应的图像信息生成所述增强现实场景。
可选的,在本申请一些可能的实现方式中,所述生成单元,具体用于获取所述目标事件对应的权限信息;
所述生成单元,具体用于若所述权限信息满足采集条件,则采集所述目标场景对应的图像信息。
可选的,在本申请一些可能的实现方式中,所述生成单元,具体用于标记所述目标场景对应的图像信息中指示的参考对象;
所述生成单元,具体用于基于所述参考对象建立目标坐标系;
所述生成单元,具体用于根据所述目标坐标系生成所述增强现实场景。
可选的,在本申请一些可能的实现方式中,所述生成单元,具体用于基于所述参考对象采集平面坐标数据和垂直坐标数据;
所述生成单元,具体用于根据所述平面坐标数据和所述垂直坐标数据建立所述目标坐标系。
可选的,在本申请一些可能的实现方式中,所述确定单元,具体用于响应于针对所述目标对象的选择操作确定点击坐标;
所述确定单元,具体用于将所述点击坐标投影到所述增强现实场景中,以确定所述位置信息;
所述确定单元,具体用于基于所述位置信息标记为所述提醒对象。
可选的,在本申请一些可能的实现方式中,所述确定单元,具体用于基于所述位置信息生成预设对象范围,所述预设对象范围中的每个坐标点与所述目标对象相关联;
所述确定单元,具体用于将所述预设对象范围标记为所述提醒对象。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于确定所述目标条件被触发时的触发场景;
所述管理单元,具体用于若所述触发场景与所述目标场景相同,则基于所述提醒对象展示所述提醒信息。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于若所述触发场景与所述目标场景不同,则基于所述触发场景进行模型建立,以生成与所述触发场景对应的增强现实场景;
所述管理单元,具体用于确定所述目标对象在所述触发场景对应的增强现实场景中的位置信息,以标记为所述提醒对象;
所述管理单元,具体用于基于所述提醒对象展示所述提醒信息。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于将所述触发场景和所述目标场景中的坐标系映射到整体坐标系中;
所述管理单元,具体用于基于所述整体坐标系将所述触发场景和所述目标场景进行拼接,以对所述增强现实场景进行更新。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于确定所述提醒对象、所述目标事件和所述增强现实场景的关联关系;
所述管理单元,具体用于将所述关联关系保存至数据库,所述数据库用于指示所述增强现实场景的调用。
可选的,在本申请一些可能的实现方式中,所述基于增强现实的事件提醒管理方法应用于iOS系统,所述生成单元,具体用于调用所述iOS系统中的增强现实组件;
所述生成单元,具体用于获取所述增强现实组件的功能周期信息,所述功能周期信息基于所述增强现实组件的可用状态设定;
所述生成单元,具体用于根据所述目标场景对应的所述功能周期信息生成所述增强现实场景。
本申请第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的事件提醒管理方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的事件提醒管理方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的事件提醒管理方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过响应于目标操作获取目标界面中的目标事件,目标事件与目标场景中的目标对象相对应,目标事件响应于目标条件的触发而生成提醒信息,提醒信息用于指示目标对象的描述特征;然后对目标界面中的目标场景进行处理,以生成增强现实场景;并确定目标对象在增强现实场景中的位置信息,以标记为提醒对象,提醒对象与目标事件相对应;若目标条件被触发,则基于提醒对象展示提醒信息,目标条件基于位置信息或时间信息中的至少一个维度设定。从而实现了基于计算机视觉技术的智能事件提醒过程,由于将目标事件的提示信息通过增强现实的场景进行展示,保证了提醒信息的全面性,且由于位置信息的对应性,提高了事件提醒中提醒信息的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为事件提醒管理系统运行的网络架构图;
图2为本申请实施例提供的一种事件提醒的流程架构图;
图3为本申请实施例提供的一种事件提醒管理方法的流程图;
图4为本申请实施例提供的一种事件提醒管理方法的场景示意图;
图5为本申请实施例提供的另一种事件提醒管理方法的场景示意图;
图6为本申请实施例提供的另一种事件提醒管理方法的流程图;
图7为本申请实施例提供的另一种事件提醒管理方法的场景示意图;
图8为本申请实施例提供的另一种事件提醒管理方法的场景示意图;
图9为本申请实施例提供的另一种事件提醒管理方法的场景示意图;
图10为本申请实施例提供的另一种事件提醒管理方法的场景示意图;
图11为本申请实施例提供的另一种事件提醒管理方法的流程图;
图12为本申请实施例提供的另一种事件提醒管理方法的场景示意图;
图13为本申请实施例提供的另一种事件提醒管理装置的结构示意图;
图14为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
本申请实施例提供了一种事件提醒管理方法以及相关装置,可以应用于终端设备中包含事件提醒功能的系统或程序中,通过响应于目标操作获取目标界面中的目标事件,目标事件与目标场景中的目标对象相对应,目标事件响应于目标条件的触发而生成提醒信息,提醒信息用于指示目标对象的描述特征;然后对目标界面中的目标场景进行处理,以生成增强现实场景;并确定目标对象在增强现实场景中的位置信息,以标记为提醒对象,提醒对象与目标事件相对应;若目标条件被触发,则基于提醒对象展示提醒信息,目标条件基于位置信息或时间信息中的至少一个维度设定。从而实现了基于计算机视觉技术的智能事件提醒过程,由于将目标事件的提示信息通过增强现实的场景进行展示,保证了提醒信息的全面性,且由于位置信息的对应性,提高了事件提醒中提醒信息的准确性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,对本申请实施例中可能出现的一些名词进行解释。
增强现实(Augmented Reality,AR):是指透过摄像机影像的位置与角度精算,并加上图像分析技术,让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。
应理解,本申请提供的事件提醒管理方法可以应用于终端设备中包含事件提醒功能的系统或程序中,例如闹钟应用,具体的,事件提醒管理系统可以运行于如图1所示的网络架构中,如图1所示,是事件提醒管理系统运行的网络架构图,如图可知,事件提醒管理系统可以提供与多个信息源的事件提醒功能,即根据用户在终端设备上的设定创建基于AR场景的提醒任务,当终端设备检测到所处的场景满足目标条件时,则在AR场景中显示对应于目标事件的提醒信息;可以理解的是,图1中示出了多种终端设备,在实际场景中可以有更多或更少种类的终端设备参与到事件提醒的过程中,具体数量和种类因实际场景而定,此处不做限定,另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,特别是在多事件提醒的场景中,具体服务器数量因实际场景而定。
本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
可以理解的是,上述事件提醒管理系统可以运行于个人移动终端,例如:作为“闹钟”这样的应用,也可以运行于服务器,还可以作为运行于第三方设备以提供事件提醒,以得到信息源的事件提醒处理结果;具体的事件提醒管理系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,具体运作模式因实际场景而定,此处不做限定。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着互联网技术的发展,很多互联网应用都提供了提醒服务,用户可以设置提醒事件和触发时间,当到达触发时间则将提醒事件推送给用户。
一般,事件提醒通常是用户设定了某一事件,然后需要在未来的某一时间点进行提醒,提醒的方式可能是通过远程通知、电话、短信等方式进行提醒,提醒的内容也是基于用户的事件,如:“提醒您明天7点开会”这类文案提醒,如果需要完善具体的提醒信息,则可以进一步的输入文案类的提示,以便于进行提醒。
然而,在提醒事件比较复杂时,需要大量的输入交互过程以设定提醒,费时费力;且在提醒事件包含的元素较多或不易形容时,上述文案提示的方式可能无法准确的表示,造成事件提醒的错误,从而影响事件提醒的准确性。
为了解决上述问题,本申请提出了一种事件提醒管理方法,该方法应用于图2所示的事件提醒的流程框架中,如图2所示,为本申请实施例提供的一种事件提醒的流程架构图,首先根据目标事件所处的目标场景投影到AR场景中,从而根据目标对象的位置在AR场景中标记处对应的提醒对象,从而在终端设备中根据提醒对象的出现进行事件提醒的功能。
可以理解的是,本申请所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种事件提醒管理装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该事件提醒管理装置通过响应于目标操作获取目标界面中的目标事件,目标事件与目标场景中的目标对象相对应,目标事件响应于目标条件的触发而生成提醒信息,提醒信息用于指示目标对象的描述特征;然后对目标界面中的目标场景进行处理,以生成增强现实场景;并确定目标对象在增强现实场景中的位置信息,以标记为提醒对象,提醒对象与目标事件相对应;若目标条件被触发,则基于提醒对象展示提醒信息,目标条件基于位置信息或时间信息中的至少一个维度设定。从而实现了基于计算机视觉技术的智能事件提醒过程,由于将目标事件的提示信息通过增强现实的场景进行展示,保证了提醒信息的全面性,且由于位置信息的对应性,提高了事件提醒中提醒信息的准确性。
本申请实施例提供的方案涉及人工智能的计算机视觉技术,具体通过如下实施例进行说明:
结合上述流程架构,下面将对本申请中事件提醒管理方法进行介绍,请参阅图3,图3为本申请实施例提供的一种事件提醒管理方法的流程图,该事件提醒管理方法可以是由终端设备执行的,也可以是由服务器执行的,还可以是由终端设备和服务器结合执行的,本申请实施例至少包括以下步骤:
301、响应于目标操作获取目标界面中的目标事件。
本实施例中,目标操作可以是用户点击添加事件提醒的操作,或启动包含事件提醒功能的程序的操作;而目标界面即为目标事件所呈现的界面,例如手机的显示屏幕界面;另外,目标事件与目标场景中的目标对象相对应,目标事件响应于目标条件的触发而生成提醒信息,提醒信息用于指示目标对象的描述特征;例如目标事件为“提醒7号早上8点喝冰箱里的牛奶”,对应的目标场景即为“包含冰箱的现实场景”,而目标条件可以是“时间到达7号早上8点”或“终端设备的显示界面显示包含冰箱的现实场景”,进而发出提醒信息“7号早上8点喝冰箱里的牛奶”,其中,提醒信息指示目标对象的描述特征即为时间(7号早上8点)和位置(冰箱里)。
可以理解的是,具体的提醒信息的方式并不限于上述描述,即对应的目标对象的描述特征不限于时间与位置。在一种可能的场景中,关于目标事件的设定可以参见图4,图4为本申请实施例提供的一种事件提醒管理方法的场景示意图。图中示出了添加提醒事项A1,即目标事件;目标对象A2的选择按钮,描述特征A3的选择按钮,即用户可以通过在终端界面中(即目标界面)添加提醒事项A1中直接输入文本信息进行目标事件的设定(即目标操作),并自动解析出其中的目标对象以及描述特征,例如用户在添加提醒事项A1中输入“8号穿衣柜第二层的运动服”,然后自动识别出目标对象为“运动服”,描述特征为“8号”(时间)和“衣柜第二层”(位置)。
在另一种可能的场景中,用户还可以通过点击目标对象A2的选择按钮和描述特征A3的选择按钮进行目标事件的设定,例如选择目标对象A2为“食品”,描述特征A3为“日期”,并在添加提醒事项A1中输入具体的时间以及食品,例如“冰箱里的牛奶(食品)保质期到2月1号(日期)”,通过上述不同方式的目标事件的设定,保证了目标事件相关描述的全面性,以便于在AR场景中进行对应精确度的提醒。
302、对目标界面中的目标场景进行处理,以生成增强现实场景。
本实施例中,由于终端设备采集到的目标场景一般是通过摄像头采集的二维图像,而在AR场景中为三维场景,若需要在同一目标界面中进行对应的显示,需要基于目标场景进行空间变化,以将目标场景中的坐标投影到AR场景中,从而保证目标对象位置的准确性,例如对终端界面中显示的场景图片进行处理,生成对应的AR三维场景。
具体的,对于目标场景的采集,可以是通过摄像头进行的,即采集目标场景对应的图像信息;然后根据目标场景对应的图像信息生成增强现实场景。由于终端设备调用摄像头进行图像信息的采集需要开启摄像机的权限,故在上述采集目标场景对应的图像信息时,还需要响应于目标操作获取目标界面中的目标事件对应的权限信息;若权限信息满足采集条件,则采集目标场景对应的图像信息。从而保证了终端设备内信息的安全性,避免了摄像头的随意调用而造成的隐私安全问题。
在一种可能的场景中,目标事件对应的权限信息包括无权限、待认证以及有权限。对于权限信息为无权限的情况,即说明终端设备拒绝了事件提醒客户端对于摄像头的调用,需要进行安全监测后才能再次申请;对于权限信息为待认证的情况,则说明事件提醒客户端还没有在终端设备中进行认证,需要用户进行权限的授予;对于权限信息为有权限的情况。则说明事件提醒客户端可以调用终端设备中的摄像头进行图像采集,从而生成目标场景。
另外,为了提高根据目标场景对应的图像信息生成增强现实场景的准确度,还可以进行锚点(参考对象)的标注,即保证目标场景与AR场景标尺的对应性。具体的,首先标记目标场景对应的图像信息中指示的参考对象;然后基于参考对象建立目标坐标系;进而根据目标坐标系生成增强现实场景。例如锚点设置在目标场景中“冰箱的中心位置”,则基于“冰箱的中心位置”建立坐标系,并基于该坐标系的标尺添加AR场景中的垂直数据,从而得到增强现实场景的坐标系表达。
具体的,由于AR场景相较于目标场景多一维的数据表达,故可以基于参考对象采集平面坐标数据和垂直坐标数据;然后根据平面坐标数据和垂直坐标数据建立目标坐标系。从而保证AR场景中坐标与目标场景中坐标的对应关系。
303、确定目标对象在增强现实场景中的位置信息,以标记为提醒对象。
本实施例中,提醒对象与目标事件相对应;即提醒对象为目标对象在AR场景中的位置表示。
具体的,提醒对象位置的设定可以是响应于用户的点击,即用户选择AR场景中的虚拟元素作为提醒对象。故首先响应于针对目标对象的选择操作确定点击坐标;然后将点击坐标投影到增强现实场景中,以确定位置信息;进而基于位置信息标记为提醒对象。例如针对目标对象的选择操作的点击坐标为(10,10),投影到增强现实场景中后得到位置信息对应的坐标(10,10,2),故处于增强现实场景中坐标(10,10,2)的虚拟对象即为提醒对象。
可选的,由于一般提醒对象为一个物体,故提醒对象的标记位置可以存在一定的范围。即首先基于位置信息生成预设对象范围,预设对象范围中的每个坐标点与目标对象相关联;然后将预设对象范围标记为提醒对象。例如位置信息指示的坐标为“篮球的中心点”,故预设对象范围即为以“篮球的中心点”为中心,固定长度为半径的区域,即用户点击该区域内的坐标均可以视为选中了“篮球”作为提醒对象。
在一种可能的场景中,上述提醒对象的显示见图5,图5为本申请实施例提供的另一种事件提醒管理方法的场景示意图。图5中的(1)中示出了提醒对象基于坐标点设定的场景,即以“奶茶”对应虚拟元素的顶点B1作为提醒对象的表示;而在图5中的(2)中示出了提醒对象基于预设范围设定的场景,即以“奶茶”对应虚拟元素的范围B2作为提醒对象的表示,用户点击范围B2中的任一坐标点均可以视为选中了“奶茶”作为提醒对象,并在提醒对象上显示对应的提示信息,例如“奶茶2020年9月过期”。
可以理解的是,上述提醒对象的设定是基于位置信息设定的,故在一些实施例中,AR场景中的提醒对象被覆盖,例如“奶茶对应的柜子关闭”,此时通过AR场景无法直接观察到“奶茶”,但是在进行提醒信息的显示时,依据会显示对应的提醒信息,不会由于“奶茶”的遮挡而不进行提醒信息的显示,避免了由于AR场景的变化而造成的提醒信息失效的情况发生,提高了事件提醒的准确度。
应当注意的是,经过步骤301-步骤303的处理即可以实现对于事件提醒管理过程中的目标事件的设定过程,即设定(标记)后的提醒对象会在相应的目标条件出发时进行显示。其中,对于目标事件的设定的设定可以是一个也可以是多个,具体的用于触发的目标条件也可以对应的设定一个或多个,例如对于食品过期的场景,目标条件可以是保质期临近时进行触发,也可以是终端的摄像头采集到包含该食品的图像时触发。
304、若目标条件被触发,则基于提醒对象展示提醒信息。
本实施例中,目标条件被触发的过程相对于事件提醒管理过程中进行事件提醒的过程,即在上述步骤进行目标事件的设定完成后的触发过程。而用于触发的目标条件可以基于位置信息或时间信息中的至少一个维度设定,当目标条件为时间信息时,即当前时间到达目标条件对应的时间就会基于提醒对象展示提醒信息,例如时间信息为“牛奶在9月10号到期”,则目标条件即为当前时间为“9月10号”;当目标条件为位置信息时,即当前AR场景中包含提醒对象对应的坐标时就会基于提醒对象展示提醒信息;另外,当目标条件为位置信息和时间信息时,即同时满足上述两个条件才会基于提醒对象展示提醒信息。
在一种可能的场景中,由于每次基于目标场景生成的AR场景可能不同,即基于不同的坐标系进行表示,此时若直接基于上一次事件提醒过程中生成的AR场景可能造成提醒信息展示的不准确。故在进行多次事件提醒的过程中,还需要确定目标条件被触发时的触发场景;若触发场景与目标场景相同,则基于提醒对象展示提醒信息。从而保证提醒信息展示的准确性。
而对于触发场景与目标场景不同的情况,则基于触发场景进行模型建立,以生成与触发场景对应的增强现实场景;然后确定目标对象在触发场景对应的增强现实场景中的位置信息,以标记为提醒对象;并基于提醒对象展示提醒信息。即基于触发场景进行AR场景的重新构建,从而保证对应的提醒信息展示的准确性。
可以理解的是,通过上述多次事件提醒过程的进行,会产生目标场景、提醒对象、目标事件和增强现实场景的关联关系,以及其中涉及的坐标系的变换等具体的参数数据,为提高事件提醒的效率,可以对提醒对象、目标事件和增强现实场景的关联关系进行存储;即将关联关系保存至数据库,数据库用于指示增强现实场景的调用。
进一步的,当再次进行事件提醒进程时,可以确定当前目标场景的截图,然后比较当前目标场景的截图与数据库中目标场景截图的相似性,若相似度达到阈值,例如0.9,即可直接调用对应的AR场景的坐标系参数,从而进行提醒对象的标记,以及提醒信息的显示,从而提高了事件提醒的效率。
结合上述实施例可知,通过响应于目标操作获取目标界面中的目标事件,目标事件与目标场景中的目标对象相对应,目标事件响应于目标条件的触发而生成提醒信息,提醒信息用于指示目标对象的描述特征;然后对目标界面中的目标场景进行处理,以生成增强现实场景;并确定目标对象在增强现实场景中的位置信息,以标记为提醒对象,提醒对象与目标事件相对应;若目标条件被触发,则基于提醒对象展示提醒信息,目标条件基于位置信息或时间信息中的至少一个维度设定。从而实现了基于计算机视觉技术的智能事件提醒过程,由于将目标事件的提示信息通过增强现实的场景进行展示,保证了提醒信息的全面性,且由于位置信息的对应性,提高了事件提醒中提醒信息的准确性。
下面,结合终端设备在进行上述事件提醒过程中的执行流程进行说明。请参阅图6,图6为本申请实施例提供的另一种事件提醒管理方法的流程图,本申请实施例至少包括以下步骤:
601、终端设备响应于事件提醒客户端的启动操作,请求摄像头权限。
本实施例中,终端设备请求摄像头权限可以是在用户选择对应的AR提醒模式后发起的,如图7所示,图7为本申请实施例提供的另一种事件提醒管理方法的场景示意图。图中示出了事件提醒过程中创建提醒事项的界面,当用户选择AR提醒C1时,即会启动AR功能进程的判断,即终端设备请求摄像头权限。
具体的,摄像头权限状态包括:未决定(无权限)、已开启(有权限)、未开启(待认证);当权限状态为“未决定”时,可以直接使用系统的权限请求接口,向用户直接请求摄像头权限,用户可以选择允许或拒绝;当允许后,状态将变为“已开启”,当拒绝后,状态将变为“未开启”,随后可以根据权限状态选择是否进入AR功能。
602、终端设备响应于设置指令,判断是否在目标界面中建立锚点。
本实施例中,考虑到目标界面中的目标场景与AR场景变化过程中的对应性,可以选择是否建立锚点(参考对象),例如基于目标场景中垂直的墙壁建立坐标系,然后映射到AR场景中,从而提高AR场景的准确性。
具体的,设置指令可以是用户即时选择的,也可以根据事件提醒客户端中的历史信息进行的选择。
603、终端设备开启AR功能。
本实施例中,若设置指令指示不需要建立锚点,则直接开启AR功能,该场景应用于目标场景与AR场景相似的情况下,例如AR场景为规则的货柜,虚拟对象在目标场景中的坐标与AR场景中的坐标相似,故可以直接开启AR功能,从而提升事假提醒的效率。
604、终端设备采集目标场景中的平面数据。
本实施例中,若设置指令指示需要建立锚点,则首先采集目标场景的平面数据,例如平面的地板。
605、终端设备采集目标场景中的垂直数据。
本实施例中,在采集平面数据后即可采集垂直数据,例如垂直的墙壁,从而对目标场景进行多方位的表达。
606、终端设备建立基于目标场景的目标坐标系。
本实施例中,基于上述平面数据和垂直数据的结合,从而得到AR场景对应的目标坐标系,由于AR场景是基于目标场景处理所得,故也可以称为基于目标场景的目标坐标系。
607、终端设备响应于触发操作,获取用户点击的位置信息。
本实施例中,触发操作可以是用户点击终端设备显示界面上的坐标,从而将该坐标对应的位置作为位置信息,然后变换得到AR场景中的位置信息。
608、终端设备根据用户点击的位置信息创建AR提醒对象。
本实施例中,创建AR提醒对象的过程可以参见图7,图中示出了在进行AR提醒C1的选择后,会进入响应的AR场景,用户可以点击其中的虚拟元素确定为提醒对象,例如图中点击“奶茶”C2,即创建得到提醒对象,并进一步的会根据目标条件的判定进行提醒信息C3的显示。具体的,对于图7所示的场景,用户在开启摄像头后,首次使用时,AR组件需要先对当前现实世界获取锚点;在建立锚点成功后,用户可以点击屏幕上的位置,比如是某个物品的位置,同时弹出创建提醒的弹窗,即可以创建AR提醒;创建AR提醒后,应用程序将会自动截图当前摄像头的影像,以便日后可以快速通过影像找到对应位置;当AR提醒创建完成后用户即可以退出AR页面,或者继续创建其他AR提醒。
可以理解的是,在图7所示的场景中,还可以选择多个提醒对象,如图8所示,图8为本申请实施例提供的另一种事件提醒管理方法的场景示意图。图中示出了多个提醒对象创建后的提醒信息的展示场景,即基于多个提醒对象进行对应的提醒信息的展示,从而提高事件提醒的效率。
609、终端设备响应于目标操作判断当前场景是否满足目标条件。
本实施例中,目标条件可以包括时间或位置中的至少一个;当目标条件为时间时,对应的目标操作即为当前时间达到目标条件指示的时间;当目标条件为位置时,对应的目标操作即为用户移动终端设备的摄像头对准提醒对象创建过程中对应的位置,或当前终端设备的摄像头采集的图像包括提醒对象创建过程中对应的位置的部分。
610、终端设备响应于目标条件的触发,展示提醒信息。
本实施例中,展示提醒信息的过程即目标条件满足后进行的,具体的,在满足目标条件后还可以响应于用户的查看操作进行提醒信息的展示,如图9所示,图9为本申请实施例提供的另一种事件提醒管理方法的场景示意图。图中示出了在目标条件为时间时,当前时间接近于目标条件指示的时间,用户即可点击查看D1按钮,即可以展示对应的提醒对象在创建过程中的对应的提示信息,例如“奶茶2020年9月过期”。
具体的,在创建提醒对象之后,在未来的某个时间点,之前定下的AR提醒将会到期,此时用户可以查看该提醒;如果该提醒为AR提醒,则用户点击该提醒后将会向用户请求摄像头权限,并在允许后开启摄像头;当用户使用摄像头面对之前设置过AR提醒的位置时,屏幕将会出现对应的AR提醒。
611、终端设备保存提醒信息与AR场景之间的对应关系。
本实施例中,通过上述多次事件提醒过程的进行,会产生目标场景、提醒对象、目标事件和增强现实场景的关联关系,以及其中涉及的坐标系的变换等具体的参数数据,为提高事件提醒的效率,可以对提醒对象、目标事件和增强现实场景的关联关系进行存储;即将关联关系保存至数据库,数据库用于指示增强现实场景的调用。
结合上述实施例可知,通过在AR场景中进行事件提醒,可以减少忘记提醒事项内容的情况出现,减少物品类提醒忘记所在位置的情况;并在保持用户少量操作的同时,可以记录更多的信息,例如目标场景的三维坐标;对于用户而言,在AR场景中进行事件提醒更具有沉浸式的体验,提醒事项更直观,提升了用户体验。
在一种可能的场景中,本申请提供的事件提醒的方法可以应用于搭载iOS系统的终端设备中,在该场景中,对目标界面中的目标场景进行处理,以生成增强现实场景的过程需要调用iOS系统中的增强现实组件;然后获取增强现实组件的功能周期信息,功能周期信息基于增强现实组件的可用状态设定;根据目标场景对应的功能周期信息生成增强现实场景。
具体的,iOS系统中AR组件的功能周期信息(AR组件周期信息)如图10所示,图10为本申请实施例提供的另一种事件提醒管理方法的场景示意图。即AR组件周期信息包括摄像头由无权限到初始化,并变化到有权限的过程,具体的,在iOS系统中执行基于AR的事件提醒过程,首先需要请求摄像头权限,即在开启AR功能前,需要让用户先开启摄像头权限,开始时终端设备为尚未获取权限的无权限状态(not available),在初始化成功后将进入初始化状态(limited),这时AR的组件已经可以开始运行,但精度是不准确的,在这种状态下,AR组件需要对当前现实世界建立模型,组件会自动采集信息,并建立相关的锚点,如垂直墙壁、平面地板等。当相关模型建立完毕后,组件将进入有权限状态(normal),这时AR组件的相关功能都能使用,且具有较高的精度。
进一步的,即可处理用户移动事件即AR组件的“normal”状态并不是一成不变的,当用户移动了进入了新的场景,AR组件需要重新在该新场景中建立模型,所以此时会重新为新场景建立锚点。如果是已经建立过锚点的场景,则无需重新建立,AR组件将会把现存的所有锚点,根据位置,建立起一张类似“锚点地图”的数据模型,这个“锚点地图”相当于现实世界的三维地图,代表了现实世界中的三维组成,组件可以直接取出这些锚点进行使用,从而不再需要重新定位。
然后,即可处理用户点击事件,即在“normal”状态下,用户点击屏幕的某处,AR组件就能够通过之前建立了模型信息,结合x,y,z轴信息,计算该二维点击坐标点在现实世界三维坐标系中的对应位置,在得到正确的位置后,显示创建提醒事件的页面。
另外,在用户将AR事件创建完成后,将对应的事件信息、三维世界的坐标轴、AR组件的锚点等信息在后台线程中保存到数据库,以便在下次启动AR功能时,能够直接显示。
最后,在固化用户数据时,将生成AR提醒,并在AR场景中展示在用户点击的位置。另外用户可能在设置提醒之后,未来的某个时间点收到提醒通知,这个时候进入就需要立刻创建AR提醒,初始化AR组件,并展示在AR场景中,从而实现了在搭载iOS系统的终端设备中进行基于AR的事件提醒的功能。
在另一种可能的场景中,在图3、图6或图10所示实施例的基础上,对于多次在AR中进行事件提醒的结果可以进行结合,下面对该场景进行说明,如图11所示,为本申请实施例提供的另一种事件提醒管理方法的流程图,包括如下步骤:
1101、响应于目标操作获取目标界面中的目标事件。
本实施例中,目标界面中指示的现实场景可以是房间、冰箱等包含多种元素的场景,且通过单一图片对应的信息无法将该场景中所有的元素进行展示,需要多张图片进行多维度的展示过程;对应的目标事件则可以是基于上述元素进行设定的。
1102、对目标界面中的目标场景进行处理,以生成增强现实场景。
本实施例中,生成AR场景的过程相当于对于上述步骤1101中现实场景(目标场景)对应的图片的处理过程,且该图片可以是整个场景的一部分,即可以不用建立整个现实场景的AR场景。
1103、确定目标对象在增强现实场景中的位置信息,以标记为提醒对象。
本实施例中,对于当前设定的AR场景中的元素进行标记,并修改对应的后台设定,例如位置(1,1,2)标记为牛奶保质期到2020年10月。
另外,在单个提醒对象设定完毕后,将对应的位置信息进行存储;进而可以进行更多的提醒对象或目标事件的设定过程,即重复步骤1101-1103的过程,此处不做赘述,
1104、获取多个提醒对象与增强现实场景的关联关系。
本实施例中,多次目标事件与增强现实场景的关联关系即为对于同一现实场景的多次事件提醒创建,具体的对于关联关系的结合,即将触发场景和目标场景中的坐标系映射到整体坐标系中;然后基于整体坐标系将触发场景和目标场景进行拼接,以对增强现实场景进行更新。
可选的,由于提醒对象与目标事件是对应的,还可以建立多个目标事件与增强现实场景的关联关系,即记录多个目标事件中包含的提醒对象,并记录相应的增强现实场景中的位置信息。
1105、将多次目标事件对应的增强现实场景进行拼接,以得到全局增强现实场景。
本实施例中,将多次目标事件对应的增强现实场景进行拼接后,即得到具有更大的现实场景的AR数据,以作为全局增强现实场景。
具体的,将多次目标事件对应的增强现实场景进行拼接的过程可以是基于不同增强现实场景的参考边界进行的,例如衣柜的边界,即将多次目标事件对应的增强现实场景基于衣柜边界对应的形状进行图像的拼接,从而得到整个衣柜的图像。
1106、基于全局增强现实场景进行提醒信息的展示。
本实施例中,由于全局增强现实场景为一个较大的AR场景,在可视的分辨率下无法完整的在终端设备的显示界面中进行显示,故可以响应于用户的选择操作进行全局增强现实场景在显示界面中的部分显示。
在一种可能的场景中,基于全局增强现实场景的查看过程如图12所示,图12为本申请实施例提供的另一种事件提醒管理方法的场景示意图。图12中的(1)中示出了用户可以通过向上滑动显示界面E1,从而得到全局AR场景中处于显示界面E1下方的显示界面E2;而在图12中的(2)中示出了用户可以通过向右滑动显示界面E1,从而得到全局AR场景中处于显示界面E1右方的显示界面E3;从而实现了基于用户的选择操作进行的全局AR场景中提醒信息的展示,一方面保证了提醒信息显示的分辨率,另一方面保证了各个提醒信息之间的全局关系,避免了提醒信息的丢失。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图13,图13为本申请实施例提供的一种事件提醒管理装置的结构示意图,事件提醒管理装置1300包括:
获取单元1301,用于响应于目标操作获取目标界面中的目标事件,所述目标事件与目标场景中的目标对象相对应,所述目标事件响应于目标条件的触发而生成提醒信息,所述提醒信息用于指示所述目标对象的描述特征;
生成单元1302,用于对所述目标界面中的所述目标场景进行处理,以生成增强现实场景;
确定单元1303,用于确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,所述提醒对象与所述目标事件相对应;
管理单元1304,用于若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,所述目标条件基于所述位置信息或时间信息中的至少一个维度设定。
可选的,在本申请一些可能的实现方式中,所述生成单元1302,具体用于采集所述目标场景对应的图像信息;
所述生成单元1302,具体用于根据所述目标场景对应的图像信息生成所述增强现实场景。
可选的,在本申请一些可能的实现方式中,所述生成单元1302,具体用于获取所述目标事件对应的权限信息;
所述生成单元1302,具体用于若所述权限信息满足采集条件,则采集所述目标场景对应的图像信息。
可选的,在本申请一些可能的实现方式中,所述生成单元1302,具体用于标记所述目标场景对应的图像信息中指示的参考对象;
所述生成单元1302,具体用于基于所述参考对象建立目标坐标系;
所述生成单元1302,具体用于根据所述目标坐标系生成所述增强现实场景。
可选的,在本申请一些可能的实现方式中,所述生成单元1302,具体用于基于所述参考对象采集平面坐标数据和垂直坐标数据;
所述生成单元1302,具体用于根据所述平面坐标数据和所述垂直坐标数据建立所述目标坐标系。
可选的,在本申请一些可能的实现方式中,所述确定单元1303,具体用于响应于针对所述目标对象的选择操作确定点击坐标;
所述确定单元1303,具体用于将所述点击坐标投影到所述增强现实场景中,以确定所述位置信息;
所述确定单元1303,具体用于基于所述位置信息标记为所述提醒对象。
可选的,在本申请一些可能的实现方式中,所述确定单元1303,具体用于基于所述位置信息生成预设对象范围,所述预设对象范围中的每个坐标点与所述目标对象相关联;
所述确定单元1303,具体用于将所述预设对象范围标记为所述提醒对象。
可选的,在本申请一些可能的实现方式中,所述管理单元1304,具体用于确定所述目标条件被触发时的触发场景;
所述管理单元1304,具体用于若所述触发场景与所述目标场景相同,则基于所述提醒对象展示所述提醒信息。
可选的,在本申请一些可能的实现方式中,所述管理单元1304,具体用于若所述触发场景与所述目标场景不同,则基于所述触发场景进行模型建立,以生成与所述触发场景对应的增强现实场景;
所述管理单元1304,具体用于确定所述目标对象在所述触发场景对应的增强现实场景中的位置信息,以标记为所述提醒对象;
所述管理单元1304,具体用于基于所述提醒对象展示所述提醒信息。
可选的,在本申请一些可能的实现方式中,所述管理单元1304,具体用于将所述触发场景和所述目标场景中的坐标系映射到整体坐标系中;
所述管理单元1304,具体用于基于所述整体坐标系将所述触发场景和所述目标场景进行拼接,以对所述增强现实场景进行更新。
可选的,在本申请一些可能的实现方式中,所述管理单元1304,具体用于确定所述提醒对象、所述目标事件和所述增强现实场景的关联关系;
所述管理单元1304,具体用于将所述关联关系保存至数据库,所述数据库用于指示所述增强现实场景的调用。
可选的,在本申请一些可能的实现方式中,所述基于增强现实的事件提醒管理方法应用于iOS系统,所述生成单元1302,具体用于调用所述iOS系统中的增强现实组件;
所述生成单元1302,具体用于获取所述增强现实组件的功能周期信息,所述功能周期信息基于所述增强现实组件的可用状态设定;
所述生成单元1302,具体用于根据所述目标场景对应的所述功能周期信息生成所述增强现实场景。
通过响应于目标操作获取目标界面中的目标事件,目标事件与目标场景中的目标对象相对应,目标事件响应于目标条件的触发而生成提醒信息,提醒信息用于指示目标对象的描述特征;然后对目标界面中的目标场景进行处理,以生成增强现实场景;并确定目标对象在增强现实场景中的位置信息,以标记为提醒对象,提醒对象与目标事件相对应;若目标条件被触发,则基于提醒对象展示提醒信息,目标条件基于位置信息或时间信息中的至少一个维度设定。从而实现了基于计算机视觉技术的智能事件提醒过程,由于将目标事件的提示信息通过增强现实的场景进行展示,保证了提醒信息的全面性,且由于位置信息的对应性,提高了事件提醒中提醒信息的准确性。
本申请实施例还提供了一种终端设备,如图14所示,是本申请实施例提供的另一种终端设备的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图14示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图14,手机包括:射频(radio frequency,RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(wireless fidelity,WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图14中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍:
RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。通常,RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作,以及在触控面板1431上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1480,并能接收处理器1480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431,输入单元1430还可以包括其他输入设备1432。具体地,其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板1441。进一步的,触控面板1431可覆盖显示面板1441,当触控面板1431检测到在其上或附近的触摸操作后,传送给处理器1480以确定触摸事件的类型,随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中,触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号,传输到扬声器1461,由扬声器1461转换为声音信号输出;另一方面,传声器1462将收集的声音信号转换为电信号,由音频电路1460接收后转换为音频数据,再将音频数据输出处理器1480处理后,经RF电路1410以发送给比如另一手机,或者将音频数据输出至存储器1420以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1480可包括一个或多个处理单元;可选的,处理器1480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1480中。
手机还包括给各个部件供电的电源1490(比如电池),可选的,电源可以通过电源管理系统与处理器1480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器1480还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有事件提醒指令,当其在计算机上运行时,使得计算机执行如前述图3至图12所示实施例描述的方法中事件提醒管理装置所执行的步骤。
本申请实施例中还提供一种包括事件提醒指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图3至图12所示实施例描述的方法中事件提醒管理装置所执行的步骤。
本申请实施例还提供了一种事件提醒管理系统,所述事件提醒管理系统可以包含图13所描述实施例中的事件提醒管理装置,或者图14所描述的终端设备。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,事件提醒管理装置,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.基于增强现实的事件提醒管理方法,其特征在于,包括:
响应于目标操作获取目标界面中的目标事件,所述目标事件与目标场景中的目标对象相对应,所述目标事件响应于目标条件的触发而生成提醒信息,所述提醒信息用于指示所述目标对象的描述特征;
对所述目标界面中的所述目标场景对应的图像信息进行处理,以生成增强现实场景;
确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,所述提醒对象与所述目标事件相对应,所述提醒对象的设定是基于位置信息设定的;
若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,所述目标条件基于所述位置信息或时间信息中的至少一个维度设定。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标界面中的所述目标场景对应的图像信息进行处理,以生成增强现实场景,包括:
采集所述目标界面中的所述目标场景对应的图像信息;
根据所述目标场景对应的图像信息生成所述增强现实场景。
3.根据权利要求2所述的方法,其特征在于,所述采集所述目标场景对应的图像信息,包括:
获取所述目标事件对应的权限信息;
若所述权限信息满足采集条件,则采集所述目标场景对应的图像信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述目标场景对应的图像信息生成所述增强现实场景,包括:
标记所述目标场景对应的图像信息中指示的参考对象;
基于所述参考对象建立目标坐标系;
根据所述目标坐标系生成所述增强现实场景。
5.根据权利要求4所述的方法,其特征在于,所述基于所述参考对象建立目标坐标系,包括:
基于所述参考对象采集平面坐标数据和垂直坐标数据;
根据所述平面坐标数据和所述垂直坐标数据建立所述目标坐标系。
6.根据权利要求1所述的方法,其特征在于,所述确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,包括:
响应于针对所述目标对象的选择操作确定点击坐标;
将所述点击坐标投影到所述增强现实场景中,以确定所述位置信息;
基于所述位置信息标记为所述提醒对象。
7.根据权利要求6所述的方法,其特征在于,所述基于所述位置信息标记为所述提醒对象,包括:
基于所述位置信息生成预设对象范围,所述预设对象范围中的每个坐标点与所述目标对象相关联;
将所述预设对象范围标记为所述提醒对象。
8.根据权利要求1所述的方法,其特征在于,所述若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,包括:
确定所述目标条件被触发时的触发场景;
若所述触发场景与所述目标场景相同,则基于所述提醒对象展示所述提醒信息。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
若所述触发场景与所述目标场景不同,则基于所述触发场景进行模型建立,以生成与所述触发场景对应的增强现实场景;
确定所述目标对象在所述触发场景对应的增强现实场景中的位置信息,以标记为所述提醒对象;
基于所述提醒对象展示所述提醒信息。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
将所述触发场景和所述目标场景中的坐标系映射到整体坐标系中;
基于所述整体坐标系将所述触发场景和所述目标场景进行拼接,以对所述增强现实场景进行更新。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:
确定所述提醒对象、所述目标事件和所述增强现实场景的关联关系;
将所述关联关系保存至数据库,所述数据库用于指示所述增强现实场景的调用。
12.根据权利要求1所述的方法,其特征在于,所述基于增强现实的事件提醒管理方法应用于iOS系统,所述对所述目标界面中的所述目标场景进行处理,以生成增强现实场景,包括:
调用所述iOS系统中的增强现实组件;
获取所述增强现实组件的功能周期信息,所述功能周期信息基于所述增强现实组件的可用状态设定;
根据所述目标场景对应的所述功能周期信息生成所述增强现实场景。
13.一种事件提醒的装置,其特征在于,包括:
获取单元,用于响应于目标操作获取目标界面中的目标事件,所述目标事件与目标场景中的目标对象相对应,所述目标事件响应于目标条件的触发而生成提醒信息,所述提醒信息用于指示所述目标对象的描述特征;
生成单元,用于对所述目标界面中的所述目标场景对应的图像信息进行处理,以生成增强现实场景;
确定单元,用于确定所述目标对象在所述增强现实场景中的位置信息,以标记为提醒对象,所述提醒对象与所述目标事件相对应,所述提醒对象的设定是基于位置信息设定的;
管理单元,用于若所述目标条件被触发,则基于所述提醒对象展示所述提醒信息,所述目标条件基于所述位置信息或时间信息中的至少一个维度设定。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行权利要求1至9任一项所述的事件提醒管理方法,或权利要求10至12任一项所述的事件提醒管理方法。
15.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述权利要求1至9任一项所述的事件提醒管理方法,或权利要求10至12任一项所述的事件提醒管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010725468.2A CN111917918B (zh) | 2020-07-24 | 2020-07-24 | 基于增强现实的事件提醒管理方法、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010725468.2A CN111917918B (zh) | 2020-07-24 | 2020-07-24 | 基于增强现实的事件提醒管理方法、装置以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111917918A CN111917918A (zh) | 2020-11-10 |
CN111917918B true CN111917918B (zh) | 2021-09-21 |
Family
ID=73280845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010725468.2A Active CN111917918B (zh) | 2020-07-24 | 2020-07-24 | 基于增强现实的事件提醒管理方法、装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111917918B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509670B (zh) * | 2020-11-27 | 2023-04-07 | 重庆电子工程职业学院 | 用于糖尿病的智能健康管理系统 |
TWI775232B (zh) * | 2020-12-07 | 2022-08-21 | 中華電信股份有限公司 | 用於製作基於擴增實境的影音教材的系統和方法 |
CN113065456A (zh) * | 2021-03-30 | 2021-07-02 | 上海商汤智能科技有限公司 | 信息提示方法、装置、电子设备和计算机存储介质 |
CN113486838A (zh) * | 2021-07-19 | 2021-10-08 | 歌尔光学科技有限公司 | 事件提醒方法、头戴式显示设备及存储介质 |
CN116974497A (zh) * | 2022-04-22 | 2023-10-31 | 华为技术有限公司 | 增强现实显示方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604129A (zh) * | 2016-02-04 | 2018-09-28 | 苹果公司 | 基于无线测距来控制电子设备和显示信息 |
CN109309757A (zh) * | 2018-08-24 | 2019-02-05 | 百度在线网络技术(北京)有限公司 | 备忘录提醒方法及终端 |
CN109451148A (zh) * | 2018-10-16 | 2019-03-08 | 北京小米移动软件有限公司 | 事件处理方法、装置及存储介质 |
CN109976523A (zh) * | 2019-03-22 | 2019-07-05 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
US9190074B1 (en) * | 2013-01-30 | 2015-11-17 | Google Inc. | Multi-level voice menu |
CN107466008B (zh) * | 2013-10-22 | 2020-12-25 | 华为终端有限公司 | 一种移动终端的消息呈现方法及移动终端 |
JP6455038B2 (ja) * | 2014-09-16 | 2019-01-23 | コニカミノルタ株式会社 | Ar装置、画像共有システム、画像共有方法、コンピュータプログラム、およびサーバ |
US20170140215A1 (en) * | 2015-11-18 | 2017-05-18 | Le Holdings (Beijing) Co., Ltd. | Gesture recognition method and virtual reality display output device |
JP7289540B2 (ja) * | 2017-07-13 | 2023-06-12 | スマイリースコープ・ピーティーワイ.・リミテッド | 仮想現実装置 |
CN107896282B (zh) * | 2017-11-28 | 2019-12-27 | 维沃移动通信有限公司 | 一种日程查看方法、装置及终端 |
EP3495921A1 (en) * | 2017-12-11 | 2019-06-12 | Nokia Technologies Oy | An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content |
US10908419B2 (en) * | 2018-06-28 | 2021-02-02 | Lucyd Ltd. | Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information |
-
2020
- 2020-07-24 CN CN202010725468.2A patent/CN111917918B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604129A (zh) * | 2016-02-04 | 2018-09-28 | 苹果公司 | 基于无线测距来控制电子设备和显示信息 |
CN109309757A (zh) * | 2018-08-24 | 2019-02-05 | 百度在线网络技术(北京)有限公司 | 备忘录提醒方法及终端 |
CN109451148A (zh) * | 2018-10-16 | 2019-03-08 | 北京小米移动软件有限公司 | 事件处理方法、装置及存储介质 |
CN109976523A (zh) * | 2019-03-22 | 2019-07-05 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111917918A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111917918B (zh) | 基于增强现实的事件提醒管理方法、装置以及存储介质 | |
US10803664B2 (en) | Redundant tracking system | |
CN111417028B (zh) | 信息处理方法、装置、存储介质及电子设备 | |
CN105867751B (zh) | 操作信息处理方法和装置 | |
CN111555938B (zh) | 一种信息处理的方法以及相关装置 | |
CN108985220B (zh) | 一种人脸图像处理方法、装置及存储介质 | |
CN108833262B (zh) | 会话处理方法、装置、终端及存储介质 | |
US20210375321A1 (en) | Video editing method and intelligent mobile terminal | |
CN111464825B (zh) | 一种基于地理信息的直播方法以及相关装置 | |
CN109032468A (zh) | 一种调节设备参数的方法及终端 | |
CN110099296A (zh) | 一种信息显示方法及终端设备 | |
CN111046211A (zh) | 物品查找方法及电子设备 | |
CN111176764A (zh) | 显示控制方法和终端设备 | |
CN110147174A (zh) | 一种控制方法及终端设备 | |
CN109816679A (zh) | 一种图片处理方法及终端设备 | |
CN115017340B (zh) | 多媒体资源生成方法、装置、电子设备及存储介质 | |
CN110768843B (zh) | 网络问题分析方法、装置、终端及存储介质 | |
CN115278139A (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
CN109669710A (zh) | 便签处理方法及终端 | |
CN110719361B (zh) | 信息发送方法、移动终端和存储介质 | |
CN112966798A (zh) | 信息显示方法、装置、电子设备及存储介质 | |
CN110543276B (zh) | 图片的筛选方法及其终端设备 | |
CN109451295A (zh) | 一种获取虚拟信息的方法和系统 | |
CN109561424A (zh) | 一种数据标识生成方法及移动终端 | |
CN112669057B (zh) | 一种数据预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |