CN109495641B - 一种提醒方法及移动终端 - Google Patents

一种提醒方法及移动终端 Download PDF

Info

Publication number
CN109495641B
CN109495641B CN201811246825.6A CN201811246825A CN109495641B CN 109495641 B CN109495641 B CN 109495641B CN 201811246825 A CN201811246825 A CN 201811246825A CN 109495641 B CN109495641 B CN 109495641B
Authority
CN
China
Prior art keywords
mobile terminal
dynamic
user
reminding
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811246825.6A
Other languages
English (en)
Other versions
CN109495641A (zh
Inventor
李佳泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201811246825.6A priority Critical patent/CN109495641B/zh
Publication of CN109495641A publication Critical patent/CN109495641A/zh
Application granted granted Critical
Publication of CN109495641B publication Critical patent/CN109495641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

本发明实施例提供了一种提醒方法及移动终端，涉及通信技术领域，以解决现有技术中采用的提醒方法无法提高用户的安全系数，且用户的使用体验较差的问题。其中，所述提醒方法，包括：接收用户的第一输入；响应于所述第一输入，控制TOF摄像头采集预设范围内的环境数据；根据采集到的所述环境数据，生成动态3D模型图；若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号。本发明实施例中的提醒方法应用于移动终端中。

Description

一种提醒方法及移动终端
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种提醒方法及移动终端。
背景技术
随着移动终端的普及，人们无时无刻都离不开移动终端。放眼望去，城市中到处都是一边埋头按终端一边急着赶路的行人，这些人经常被路边石绊倒，或是走路不看车，有时还会撞到别的行人身上。
在现有技术中，为了起到提醒用户的作用，可利用移动终端的后置摄像头采集当前环境图像，并将采集到的实时环境图像显示在移动终端的显示界面上，而用户正在使用的应用程序界面显示在实时环境图像中。
上述方法可在用户使用终端的同时，从终端中看到当前环境。但在上述方法中，一方面，环境图像会干扰用户使用应用程序，另一方面，应用程序也会干扰到用户看清楚实际的环境情况。可见，现有技术中采用的提醒方法无法提高用户的安全系数较低，且用户的使用体验较差。
发明内容
本发明实施例提供一种提醒方法，以解决现有技术中采用的提醒方法无法提高用户的安全系数，且用户的使用体验较差的问题。
为了解决上述技术问题，本发明是这样实现的：一种提醒方法，应用于移动终端，所述移动终端包括TOF摄像头，所述方法包括：接收用户的第一输入；响应于所述第一输入，控制所述TOF摄像头采集预设范围内的环境数据；根据采集到的所述环境数据，生成动态3D模型图；若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号。
第一方面，本发明实施例还提供了一种移动终端，所述移动终端包括TOF摄像头，所述移动终端还包括：第一输入接收模块，用于接收用户的第一输入；第一输入响应模块，用于响应于所述第一输入，控制所述TOF摄像头采集预设范围内的环境数据；3D模型图生成模块，用于根据采集到的所述环境数据，生成动态3D模型图；危险提醒模块，用于若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号。
第二方面，本发明实施例还提供了一种移动终端，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述提醒方法的步骤。
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述提醒方法的步骤。
在本发明实施例中，在用户处于黑暗环境、或者边走边玩移动终端等情况下，因用户无法看清楚路况及周围的环境，从而导致用户的安全隐患较大，这时用户可通过第一输入开启移动终端的智能提醒功能。智能提醒功能开启后，移动终端的TOF摄像头开启，基于TOF摄像头的工作原理，无论当前环境光线是否偏暗，TOF摄像头均可采集到移动终端前方预设范围内的环境数据，并基于采集到的环境数据，生成与移动终端前方环境相对应的动态3D模型图。在动态3D模型图中，随着与用户之间的距离不同，预设范围内的物体也会呈现处不同的颜色，从而移动终端可对动态3D模型图中出现的不同颜色物体进行智能分析检测，以检测预设范围内的物体对用户而言是否存在安全风险。若检测到动态3D模型图中的物体对用户而言是有安全风险的，则将该物体确定为预设危险物，并基于检测到的预设危险物发出提醒信号，以起到提醒用户的作用，从而用户可及时避让预设危险物，进而提高用户的安全系数。同时，TOF摄像头的采集过程和移动终端智能分析动态3D模型图的过程均在后台完成，不会影响用户的正常使用，用户体验较好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的提醒方法的流程图之一；
图2是本发明实施例的提醒方法的应用示意图之一；
图3是本发明实施例的提醒方法的流程图之二；
图4是本发明实施例的提醒方法的应用示意图之二；
图5是本发明实施例的提醒方法的流程图之三；
图6是本发明实施例的提醒方法的流程图之四；
图7是本发明实施例的提醒方法的流程图之五；
图8是本发明实施例的提醒方法的流程图之六；
图9是本发明实施例的提醒方法的流程图之七；
图10是本发明实施例的移动终端的框图之一；
图11是本发明实施例的移动终端的框图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，示出了本发明一个实施例的提醒方法的流程图，应用于移动终端，移动终端包括TOF摄像头。
飞行时间(Time of Flight，简称TOF)摄像头可以用于物体检测，TOF摄像头的原理为：利用传感器发出经调制的近红外光，近红外光遇物体后反射，传感器可通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
在本实施例中，优选将移动终端的后置摄像头采用TOF技术，即移动终端的后置摄像头为TOF摄像头。
提醒方法包括：
步骤S1：接收用户的第一输入。
第一输入为用户执行的操作动作，包括长按输入、点击输入等等。
在一种场景中，用户可点击智能提醒功能的开启按键，以完成第一输入。
示例性地，用户在无法看清周围地形的情况下，例如用户在较暗环境行走时、用户边走边操作移动终端时，用户可选择开启智能提醒功能。
步骤S2：响应于第一输入，控制TOF摄像头采集预设范围内的环境数据。
响应于第一输入，控制TOF摄像头打开，TOF摄像头采集预设范围内的环境数据。
优选地，TOF摄像头启动后，对前方预设范围内的地形进行扫描，以检测用户前方的环境情况。
参见图2，其中，预设范围的选取可以是以移动终端的位置为起点，距离起点一定距离d的空间范围。在图2中，水平直线表示TOF摄像头可在前后方位采集到的距离范围，两个箭头之间的区域表示TOF摄像头可在上下方位采集到的高度范围。
优选地，距离d为3米。
对应地，可由TOF摄像头实现测距功能，以获取3米的预设范围。
步骤S3：根据采集到的环境数据，生成动态3Dimensions(简称3D)模型图。
由前述内容可知，TOF摄像头能够将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。因此在该步骤中，基于TOF摄像头采集到的环境数据，生成动态3D模型图，在动态3D模型图中，显示有不同颜色的物体，分别表示用户前方环境中的物体。其中，越靠近用户，物体对应的光线发射和反射时间差越短，在动态3D模型图中，该物体显示出来的颜色可表现为越深。
步骤S4：若检测到动态3D模型图中包括预设危险物，则发出提醒信号。
优选地，可由移动终端中的人工智能(Artificial Intelligence，简称AI)助手对上述步骤生成的动态3D模型图进行分析检测。具体地，AI助手可对动态3D模型图中的物体进行分析和评估，以评估动态3D模型图中存在的物体是否为预设危险物。
若AI助手在动态3D模型图中检测用户前方的物体，则默认该物体为障碍物或者深坑等，从而进一步对障碍物或者深坑进行分析和评估，如果评估结果为有风险，例如，该物体距离用户太近等，使得用户存在安全风险，则确定该物体为预设危险物。
优选地，预设危险物的设置包括多种情况下的物体。例如，距离用户太近的物体、阻挡在用户正前方的物体等。
在本发明实施例中，在用户处于黑暗环境、或者边走边玩移动终端等情况下，因用户无法看清楚路况及周围的环境，从而导致用户的安全隐患较大，这时用户可通过第一输入开启移动终端的智能提醒功能。智能提醒功能开启后，移动终端的TOF摄像头开启，基于TOF摄像头的工作原理，无论当前环境光线是否偏暗，TOF摄像头均可采集到移动终端前方预设范围内的环境数据，并基于采集到的环境数据，生成与移动终端前方环境相对应的动态3D模型图。在动态3D模型图中，随着与用户之间的距离不同，预设范围内的物体也会呈现处不同的颜色，从而移动终端可对动态3D模型图中出现的不同颜色物体进行智能分析检测，以检测预设范围内的物体对用户而言是否存在安全风险。若检测到动态3D模型图中的物体对用户而言是有安全风险的，则将该物体确定为预设危险物，并基于检测到的预设危险物发出提醒信号，以起到提醒用户的作用，从而用户可及时避让预设危险物，进而提高用户的安全系数。同时，TOF摄像头的采集过程和移动终端智能分析动态3D模型图的过程均在后台完成，不会影响用户的正常使用，用户体验较好。
其中，AI助手示实例性地以移动终端的软件形式存在，AI助手可以进行语音识别，用户可以通过语音输入对其进行控制。例如，用户利用AI助手来查询天气、读取短信等。AI助手也可以调用移动终端系统自带的应用，提醒用户当前天气，日程安排搜索资料等。
在图1所示实施例的基础上，图3示出了本发明另一个实施例的提醒方法的流程图，在步骤S3之后，还包括：
步骤S5：将移动终端的显示界面划分为多个分屏区域。
步骤S6：在任一分屏区域内显示悬浮窗口。
步骤S7：将动态3D模型图显示于悬浮窗口。
本实施例提供了一种显示动态3D模型图的方法，使得用户可在动态3D模型图中直观地看到前方的路况环境，进一步提高用户的安全系数。
优选地，本实施例采用分屏方案，将移动终端的显示界面划分为多个分屏区域，可优选为两个分屏区域。其中一个分屏区域用于显示动态3D模型图，其它的分屏区域用于显示用户当前使用的应用等，这样可避免动态3D模型图与当前应用之间相互干扰。
进一步地，可将动态3D模型图以悬浮窗口的显示在分屏区域内，这样还可区分动态3D模型图与当前应用，其中，动态3D模型图分仅作为辅助显示，而非用户正在使用的主要功能显示。
进一步地，还可通过用户手动或者终端自动调整多个分屏区域的分布，以实现悬浮窗口的位置调整。
例如，参见图4，若通过重力感应判断用户此时拿移动终端的状态为横屏状态时，可将悬浮窗口所在的分屏区域显示在左侧；若通过重力感应判断用户拿移动终端的状态变化为竖屏状态时，自动将悬浮窗口所在的分屏区域调整至顶部。
优选地，当智能提醒功能开启后，默认悬浮窗口始终显示，该悬浮窗口有关闭按钮，用户可以通过点击关闭按钮手动关闭该悬浮窗口。另外，当智能提醒功能退出后，悬浮窗口也会自动关闭。
在图3所示实施例的基础上，图5示出了本发明另一个实施例的提醒方法的流程图，在步骤S7之后，还包括：
步骤S8：获取移动终端的移动方向。
步骤S9：根据移动方向，在动态3D模型图中显示目标规划路线。
移动终端的移动方向默认为用户行走的方向。根据用户行走的方向，以及动态3D模型图的环境数据，AI助手可为用户智能规划路线，这里默认为用户规划直线行走，从而可将规划的直线路线作为目标规划路线显示在动态3D模型图中。
进一步地，根据用户的需求，AI助手还可为用户智能规划更多的非直线路线。
对应地，在步骤S4之后，还包括：
步骤S10：更改目标规划路线避让预设危险物。
当检测到动态3D模型图中包括预设危险物，在发出提醒信号的同时，更改目标规划路线，以使目标规划路线避让预设危险物。
在本实施例中，为用户提供了一种智能规划线路的方案，因目标规划路线是基于用户需求和实际环境情况而来的，从而既可为用户优化线路，还可提高用户的安全系数。而当目标规划路线中出现预设危险物时，又可及时更改目标规划路线，以使得目标规划路线避开预设危险物，进一步提高用户的安全系数。
在图3所示实施例的基础上，图6示出了本发明另一个实施例的提醒方法的流程图，步骤S4至少包括以下任一项：
步骤S41：若检测到动态3D模型图中包括预设危险物，则发出语音提醒信号。
优选地，可由AI助手发出语音提醒信号，以进行语音提示。如语音播报“前方有危险”；又如AI助手发出“滴滴”的提示音。
步骤S42：若检测到动态3D模型图中包括预设危险物，则显示提醒通知消息。
在显示界面的顶部显示提醒通知消息，提醒通知消息如：前方路况有障碍物(凹陷)处，请注意安全！
优选地，可由AI助手向显示界面发送提醒通知消息，从而显示界面接收并显示提醒通知消息。
步骤S43：若检测到动态3D模型图中包括预设危险物，则在动态3D模型图对应预设危险物的位置处标注提醒信息。
在显示动态3D模型图的悬浮窗口中，对应的预设危险物的位置处进行标注，标注的提醒信息如：前方路况有障碍物(凹陷)处，请注意安全！
优选地，可由AI助手在动态3D模型图中标注提醒信息。
优选地，AI助手可识别出预设危险物具体为障碍物、凹陷、深坑等，从而可基于识别出的障碍物、凹陷或者深坑等，生成相关的语音提醒信号、提醒通知消息、提醒信息中的至少一种。
本实施例中提供了三种发出提醒信号的方式，基于语音、通知和标注三种不同的提醒方式，从各个方面提醒用户避让前方的危险物，提高用户的安全系数。
在图1所示实施例的基础上，图7示出了本发明另一个实施例的提醒方法的流程图，步骤S4包括：
步骤S44：若检测到动态3D模型图中的目标物体与移动终端之间的距离小于预设距离，则确定目标物体为预设危险物。
步骤S45：基于目标物体，发出提醒信号。
在本实施例中，提供了一种判定预设危险物的方案。当用户在夜间行走，或者低头操作移动终端时，很容易忽视距离用户较近的障碍物、深坑等，而这些障碍物、深坑等极易对用户造成伤害，因此可将动态3D模型图中与移动终端之间的距离小于预设距离的物体默认为预设危险物。从而当距离用户较近的位置出现目标物体时，可发出提醒信号，以提醒用户注意目标物体，进而提高用户的安全系数。
在图1所示实施例的基础上，图8示出了本发明另一个实施例的智能提醒方法的流程图，步骤S2包括：
步骤S21：响应于第一输入，检测移动终端是否处于移动操作状态。
在其中一种使用场景中，用户开启智能提醒功能后，移动终端自动检测用户是否处于移动操作状态，移动操作状态即用户在操作移动终端的同时，还在保持行走运动。
具体的判断移动操作状态的条件可依据：
条件一：移动终端具有一定的移动速度，即移动终端处于运动状态；
条件二、移动终端处于非锁屏状态；
条件三、移动终端中的目标应用程序处于运行状态。
当移动终端满足上述三个条件时，可判定移动终端处于移动操作状态。
步骤S22：若移动终端处于移动操作状态，则控制后置TOF摄像头采集预设范围内的环境数据。
优选地，AI助手可检测移动终端是否处于移动操作状态，当移动终端处于移动操作状态时，AI助手控制TOF摄像头采集预设范围内的环境数据。
本实施例中，提供了一种用于运动保护的方案，以在用户运动时，若发现前方有障碍物等预设危险物，及时提醒到用户可能碰撞到，从而避免因用户太过专注操作应用程序，而忽略周围环境造成的危险。
在本实施例或者更多的实施例中，智能提醒功能开启后，当检测到当前的环境光线大于预设值时，因光线足够，TOF摄像头采集预设范围内的环境数据是清晰的，因此可将采集到的环境数据直接显示在悬浮窗口中。从而用户可在悬浮窗口中直观地看到前方路况景象，便于用户查看，进一步提高用户的安全系数。
特别是在用户处于人流或者拥挤的环境中，悬浮窗口会保持持续开启状态，用户可根据需要自行关闭。
在图1所示实施例的基础上，图9示出了本发明另一个实施例的智能提醒方法的流程图，步骤S1包括：
在移动终端处于黑暗环境下，接收用户的第一输入。
TOF技术可实现3D的视角，其最大特性就是不必再依靠光源反射的光量，所以TOF技术即便在黑暗情况下，也可以达成测距的功能，TOF技术与AI助手相结合，可智能地为用户导航路况和道路预警。
本实施例提供了一种夜行模式，当手电不能完全照亮地形的时候，通过TOF技术的测距功能，以及3D建模功能，由AI助手辅助用户行走，可以提高用户在昏暗环境下的出行安全。而现有的一些提醒功能虽然可以让用户看到前方的路况，若用户处在光线暗的地方，用户看到的路况画面也会更加模糊，保护用户安全的作用大打折扣。可见，本实施例中的提醒方法更适用于用户夜间行走，以提高用户夜间行走的安全性。
综上所述，通过TOF摄像头的测距功能以及AI助手可为用户提供一实现种导航和告警的保护模式，使得用户无论是在低头发短信还是走夜路的情况下，都可以得到移动终端提供的预警和保护。一方面，该保护模式在黑暗环境下为用户智能提供路线规划和障碍预警功能，保障用户的夜行安全。另一方面，用户在玩手机的时候行走，会有一些安全风险，很可能会碰撞到其他物体，通过该保护模式的预警和提示，让用户实时地知道自己身边的路况，保证了用户的出行安全，同时也增加了AI助手的智能性。
优选地，以上实施例中的提醒方法优选适用于盲人用户，在上述实施例的基础上，可设计一种智能提醒功能的导盲模式，在导盲模式下，TOF摄像头和AI助手相结合，可为盲人前方的景象进行3D建模，并且提供语音提示功能，从而更好地为盲人用户解决出行问题。
TOF技术除应用在后置摄像头以外，还可应用于前置摄像头，主要用于人脸识别的3D建模。例如，在移动终端中利用TOF 3D超感应技术取代结构光方案(传统的面部识别方案)实现人脸识别，其原理是通过元件发射近红外光，通过传感器计算出红外光与目标触达、返回的时间差，从而得到3D立体视觉识别。相比于结构光方案，TOF 3D超感应技术的有效深度信息点达到了30万个，为结构光方案的10倍数。
进一步地，前置TOF摄像头还可用来判断用户的眼睛与屏幕之间的距离。通过人脸识别，程序处理从所拍图像中包括的所有目标对象物里锁定用户对象，单独获得用户与阅读对象的距离视角信息，如果用户的眼睛与屏幕比较近，则智能地放大字体，同时减弱灯光，达到保护用户视力的目的。
图10示出了本发明另一个实施例的移动终端的框图，移动终端包括TOF摄像头，还包括：
第一输入接收模块10，用于接收用户的第一输入；
第一输入响应模块20，用于响应于第一输入，控制TOF摄像头采集预设范围内的环境数据；
3D模型图生成模块30，用于根据采集到的环境数据，生成动态3D模型图；
危险提醒模块40，用于若检测到动态3D模型图中包括预设危险物，则发出提醒信号。
在本发明实施例中，在用户处于黑暗环境、或者边走边玩移动终端等情况下，因用户无法看清楚路况及周围的环境，从而导致用户的安全隐患较大，这时用户可通过第一输入开启移动终端的智能提醒功能。智能提醒功能开启后，移动终端的TOF摄像头开启，基于TOF摄像头的工作原理，无论当前环境光线是否偏暗，TOF摄像头均可采集到移动终端前方预设范围内的环境数据，并基于采集到的环境数据，生成与移动终端前方环境相对应的动态3D模型图。在动态3D模型图中，随着与用户之间的距离不同，预设范围内的物体也会呈现处不同的颜色，从而移动终端可对动态3D模型图中出现的不同颜色物体进行智能分析检测，以检测预设范围内的物体对用户而言是否存在安全风险。若检测到动态3D模型图中的物体对用户而言是有安全风险的，则将该物体确定为预设危险物，并基于检测到的预设危险物发出提醒信号，以起到提醒用户的作用，从而用户可及时避让预设危险物，进而提高用户的安全系数。同时，TOF摄像头的采集过程和移动终端智能分析动态3D模型图的过程均在后台完成，不会影响用户的正常使用，用户体验较好。
进一步地，移动终端还包括：
分屏模块，用于将移动终端的显示界面划分为多个分屏区域；
窗口显示模块，用于在任一分屏区域内显示悬浮窗口；
3D模型图显示模块，用于将动态3D模型图显示于悬浮窗口。
进一步地，移动终端还包括：
移动方向获取模块，用于获取移动终端的移动方向；
路线显示模块，用于根据移动方向，在动态3D模型图中显示目标规划路线；
路线更改模块，用于更改目标规划路线避让预设危险物。
优选地，危险提醒模块40至少包括以下任一项：
语音单元，用于发出语音提醒信号；
通知单元，用于显示提醒通知消息；
标注单元，用于在动态3D模型图对应预设危险物的位置处标注提醒信息。
优选地，危险提醒模块40包括：
距离检测单元，用于若检测到动态3D模型图中的目标物体与移动终端之间的距离小于预设距离，则确定目标物体为预设危险物；
目标提醒单元，用于基于目标物体，发出提醒信号。
本发明实施例提供的移动终端能够实现图1至图9的方法实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
图11为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图11中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，用户输入单元107，用于接收用户的第一输入；
处理器110，用于响应于所述第一输入，控制所述TOF摄像头采集预设范围内的环境数据；根据采集到的所述环境数据，生成动态3D模型图；若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号。
在本发明实施例中，在用户处于黑暗环境、或者边走边玩移动终端等情况下，因用户无法看清楚路况及周围的环境，从而导致用户的安全隐患较大，这时用户可通过第一输入开启移动终端的智能提醒功能。智能提醒功能开启后，移动终端的TOF摄像头开启，基于TOF摄像头的工作原理，无论当前环境光线是否偏暗，TOF摄像头均可采集到移动终端前方预设范围内的环境数据，并基于采集到的环境数据，生成与移动终端前方环境相对应的动态3D模型图。在动态3D模型图中，随着与用户之间的距离不同，预设范围内的物体也会呈现处不同的颜色，从而移动终端可对动态3D模型图中出现的不同颜色物体进行智能分析检测，以检测预设范围内的物体对用户而言是否存在安全风险。若检测到动态3D模型图中的物体对用户而言是有安全风险的，则将该物体确定为预设危险物，并基于检测到的预设危险物发出提醒信号，以起到提醒用户的作用，从而用户可及时避让预设危险物，进而提高用户的安全系数。同时，TOF摄像头的采集过程和移动终端智能分析动态3D模型图的过程均在后台完成，不会影响用户的正常使用，用户体验较好。
应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。
移动终端通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。
输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。
移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图11中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。
接口单元108为外部装置与移动终端100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，移动终端100包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种移动终端，包括处理器110，存储器109，存储在存储器109上并可在所述处理器110上运行的计算机程序，该计算机程序被处理器110执行时实现上述提醒方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述提醒方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种提醒方法，应用于移动终端，其特征在于，所述移动终端包括TOF摄像头，所述方法包括：
接收用户的第一输入；
响应于所述第一输入，控制所述TOF摄像头采集预设范围内的环境数据；
根据采集到的所述环境数据，生成动态3D模型图；
若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号；
其中，所述根据采集到的所述环境数据，生成动态3D模型图之后，还包括：
将所述移动终端的显示界面划分为多个分屏区域；
在任一所述分屏区域内显示悬浮窗口；
将所述动态3D模型图显示于所述悬浮窗口；
其中，所述动态3D模型图将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现，且随着与用户之间的距离不同，预设范围内的物体呈现不同颜色，所述物体越靠近用户，呈现的颜色越深。
2.根据权利要求1所述的方法，其特征在于，所述将所述动态3D模型图显示于所述悬浮窗口之后，还包括：
获取所述移动终端的移动方向；
根据所述移动方向，在所述动态3D模型图中显示目标规划路线；
所述若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号之后，还包括：
更改所述目标规划路线避让所述预设危险物。
3.根据权利要求1所述的方法，其特征在于，所述发出提醒信号，至少包括以下任一项：
发出语音提醒信号；
显示提醒通知消息；
在所述动态3D模型图对应所述预设危险物的位置处标注提醒信息。
4.根据权利要求1所述的方法，其特征在于，所述若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号，包括：
若检测到所述动态3D模型图中的目标物体与所述移动终端之间的距离小于预设距离，则确定所述目标物体为所述预设危险物；
基于所述目标物体，发出提醒信号。
5.一种移动终端，其特征在于，所述移动终端包括TOF摄像头，还包括：
第一输入接收模块，用于接收用户的第一输入；
第一输入响应模块，用于响应于所述第一输入，控制所述TOF摄像头采集预设范围内的环境数据；
3D模型图生成模块，用于根据采集到的所述环境数据，生成动态3D模型图；
危险提醒模块，用于若检测到所述动态3D模型图中包括预设危险物，则发出提醒信号；
其中，所述移动终端还包括：
分屏模块，用于将所述移动终端的显示界面划分为多个分屏区域；
窗口显示模块，用于在任一所述分屏区域内显示悬浮窗口；
3D模型图显示模块，用于将所述动态3D模型图显示于所述悬浮窗口；
其中，所述动态3D模型图将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现，且随着与用户之间的距离不同，预设范围内的物体呈现不同颜色，所述物体越靠近用户，呈现的颜色越深。
6.根据权利要求5所述的移动终端，其特征在于，所述移动终端还包括：
移动方向获取模块，用于获取所述移动终端的移动方向；
路线显示模块，用于根据所述移动方向，在所述动态3D模型图中显示目标规划路线；
路线更改模块，用于更改所述目标规划路线避让所述预设危险物。
7.根据权利要求5所述的移动终端，其特征在于，所述危险提醒模块至少包括以下任一项：
语音单元，用于发出语音提醒信号；
通知单元，用于显示提醒通知消息；
标注单元，用于在所述动态3D模型图对应所述预设危险物的位置处标注提醒信息。
8.根据权利要求5所述的移动终端，其特征在于，所述危险提醒模块包括：
距离检测单元，用于若检测到所述动态3D模型图中的目标物体与所述移动终端之间的距离小于预设距离，则确定所述目标物体为所述预设危险物；
目标提醒单元，用于基于所述目标物体，发出提醒信号。
9.一种移动终端，其特征在于，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的提醒方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的提醒方法的步骤。
CN201811246825.6A 2018-10-24 2018-10-24 一种提醒方法及移动终端 Active CN109495641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811246825.6A CN109495641B (zh) 2018-10-24 2018-10-24 一种提醒方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811246825.6A CN109495641B (zh) 2018-10-24 2018-10-24 一种提醒方法及移动终端

Publications (2)

Publication Number Publication Date
CN109495641A CN109495641A (zh) 2019-03-19
CN109495641B true CN109495641B (zh) 2021-01-08

Family

ID=65691571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811246825.6A Active CN109495641B (zh) 2018-10-24 2018-10-24 一种提醒方法及移动终端

Country Status (1)

Country Link
CN (1) CN109495641B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097736B (zh) * 2019-04-23 2021-11-30 维沃移动通信有限公司 报警方法及报警装置
CN110266891A (zh) * 2019-06-28 2019-09-20 无锡睿勤科技有限公司 信息提示方法、装置、终端及存储介质
CN111818222A (zh) * 2020-06-16 2020-10-23 上海龙旗科技股份有限公司 一种步行安全防护方法及移动终端
CN114079764A (zh) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 3d显示方法、3d显示装置及3d显示器件
CN112671977A (zh) * 2020-12-25 2021-04-16 深圳市九洲电器有限公司 一种安全预警方法、装置、存储介质及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746557B2 (en) * 2014-07-25 2017-08-29 Heptagon Micro Optics Pte. Ltd. Proximity sensor module including time-of-flight sensor wherein a second group of light sensitive elements is in a second one of the chambers of the module
CN106033614B (zh) * 2015-03-20 2019-01-04 南京理工大学 一种强视差下的移动相机运动目标检测方法
US9769557B2 (en) * 2015-12-24 2017-09-19 Intel Corporation Proximity sensing headphones
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
AU2017285130B2 (en) * 2016-06-13 2022-04-21 Xevo Inc. Method and system for providing auto space management using virtuous cycle
CN106412394B (zh) * 2016-09-26 2019-04-30 上海应用技术大学 一种适合马路低头族的安全出行装置
CN106781262A (zh) * 2017-01-16 2017-05-31 上海应用技术大学 一种适合马路低头族的安全出行装置及其避障方法
CN106898022A (zh) * 2017-01-17 2017-06-27 徐渊 一种手持式快速三维扫描系统及方法
CN108156321B (zh) * 2017-12-26 2021-12-03 上海展扬通信技术有限公司 一种分屏显示方法及终端
CN108280401B (zh) * 2017-12-27 2020-04-07 达闼科技（北京）有限公司 一种路面检测方法、装置、云端服务器及计算机程序产品
CN108645414A (zh) * 2018-06-11 2018-10-12 Oppo广东移动通信有限公司 辅助导航方法及电子装置

Also Published As

Publication number Publication date
CN109495641A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109495641B (zh) 一种提醒方法及移动终端
CN107749194B (zh) 一种变道辅助方法及移动终端
CN109977845B (zh) 一种可行驶区域检测方法及车载终端
US11140251B2 (en) Divided display of multiple cameras
WO2016041340A1 (zh) 一种提示方法及移动终端
CN110979318B (zh) 车道信息获取方法、装置、自动驾驶车辆及存储介质
CN108132752B (zh) 一种文本编辑方法及移动终端
CN109739418B (zh) 多媒体播放应用程序的交互方法及终端
CN111263071B (zh) 一种拍摄方法及电子设备
CN109104689B (zh) 一种安全警示方法及终端
CN108683850B (zh) 一种拍摄提示方法及移动终端
CN107846518B (zh) 一种导航状态切换方法、移动终端及计算机可读存储介质
CN109495616B (zh) 一种拍照方法及终端设备
CN108051010B (zh) 确定到达目的地的时间的方法及移动终端
CN108762877B (zh) 一种移动终端界面的控制方法及移动终端
CN110496018A (zh) 可穿戴设备指引盲人的方法、可穿戴设备及存储介质
CN110807405A (zh) 一种偷拍装置检测方法及电子设备
CN107730830B (zh) 一种路障告警方法、移动终端以及计算机可读存储介质
CN110602314B (zh) 一种操作控制方法、电子设备及计算机可读存储介质
CN112733673A (zh) 一种内容显示方法、装置、电子设备及可读存储介质
CN111158556B (zh) 一种显示控制方法及电子设备
CN107730030B (zh) 一种路径规划方法及移动终端
CN108520727B (zh) 屏幕亮度调节方法及移动终端
CN110046569B (zh) 一种无人驾驶数据处理方法、装置及电子设备
CN110381281B (zh) 一种提示方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant