CN117631803A - 屏幕显示控制方法、介质和电子设备 - Google Patents

屏幕显示控制方法、介质和电子设备 Download PDF

Info

Publication number
CN117631803A
CN117631803A CN202210983298.7A CN202210983298A CN117631803A CN 117631803 A CN117631803 A CN 117631803A CN 202210983298 A CN202210983298 A CN 202210983298A CN 117631803 A CN117631803 A CN 117631803A
Authority
CN
China
Prior art keywords
user
range
ultrasonic signal
screen
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210983298.7A
Other languages
English (en)
Inventor
罗友
高月莉
赵志伟
黎椿键
金伟
张恒
胡成博
陶婧雅
李珠莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210983298.7A priority Critical patent/CN117631803A/zh
Priority to PCT/CN2023/112671 priority patent/WO2024037460A1/zh
Publication of CN117631803A publication Critical patent/CN117631803A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • G06F1/3218Monitoring of peripheral devices of display devices
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes

Abstract

本申请涉及电子技术领域,公开了一种屏幕显示控制方法、介质和电子设备,该方法包括:发射超声波信号;获取在第一时间段内接收到的经由物体反射超声波信号后产生的多个回波信号;当反射超声波信号的物体中存在相对于电子设备运动的用户时,在多个回波信号满足指示是否存在用户的第一条件的情况下,执行第一屏幕显示方式;当反射超声波信号的物体中不存在相对于电子设备运动的用户时,在多个回波信号不满足指示是否存在用户的第一条件的情况下,执行第二屏幕显示方式。基于此,使得电子设备能够根据用户在电子设备前的存在情况,对应不同的屏幕显示方式,提高用户体验,从而避免电子设备在不存在用户的情况下,由于屏幕常开所导致功耗浪费。

Description

屏幕显示控制方法、介质和电子设备
技术领域
本申请涉及电子技术领域,特别涉及一种屏幕显示控制方法、介质和电子设备。
背景技术
随着电子技术的发展,具备显示功能的电子设备,例如电视、智慧屏等,在日常生活中的运用越来越广泛。例如,电视是家庭日常生活中常见的电子设备之一,除了用于收看电视节目之外,也可以用来做装饰和信息提示用。如在待机时显示美丽的壁纸或动画,使得电视和室内装饰融为一体,提升家居视觉效果;或用来显示时钟、天气或文字留言等提示消息。但电视屏幕常开有功耗浪费、减少屏幕寿命的缺点。现在常用的解决办法是由用户手动设置显示的时间段,或手动点击物理按钮、语音唤醒后说指令的方式来开启/关闭待机显示画面,用户体验并不十分友好。
发明内容
本申请实施例的目的在于提供屏幕显示控制方法、介质和电子设备,使得电子设备更加精确的判断用户是否存在,并且能够根据用户在电子设备前的存在情况,对应不同的屏幕显示方式,提高用户体验,也可以更好的避免电子设备在不存在用户的情况下,由于屏幕常开所导致功耗浪费,从而延长电子设备的使用寿命。
第一方面,本申请实施例提供了一种屏幕显示控制方法,应用于电子设备,包括:
发射超声波信号;
获取在第一时间段内接收到的经由物体反射超声波信号后产生的多个回波信号;
当反射超声波信号的物体中存在相对于电子设备运动的用户时,在多个回波信号满足指示是否存在用户的第一条件的情况下,执行第一屏幕显示方式;
当反射超声波信号的物体中不存在相对于电子设备运动的用户时,在多个回波信号不满足指示是否存在用户的第一条件的情况下,执行第二屏幕显示方式;
其中,第一条件包括:多个回波信号中,存在相对于发射的超声波信号的相位偏移量随时间变化的多个运动回波信号。
可以理解的,本申请实施例提供的屏幕显示控制方法,确定电子设备前是否存在用户是基于回波信号的相位偏移量来确定的,即在回波信号中,如果存在相对于发射的超声波信号的相位偏移量随时间变化的多个运动回波信号,则确定存在相对于电子设备运动的用户,从而在存在运动的用户和不存在运动的用户的两种情况下来控制电子设备的屏幕显示方式,使得电子设备的屏幕可以根据相对于电子设备运动的用户存在情况作出不同的响应。由于超声频段的波长较短(例如20kHz的超声,在空气中速度为340米/秒,波长为1.7厘米),人体运动导致的位移往往大于波长(如1.7厘米),故人体微小动作所引起的回波信号的回波路径的变化,能够导致回波信号的相位偏移量发生变化,从而可以通过提取回波信号的相位偏移量来精细地刻画人体的运动,进而使得检测用户存在的精度更高。
在上述第一方面的一种可能实现中,上述运动包括用户的位移不发生变化的肢体运动。
即可以在用户不发生位移的情况下,基于回波信号的相位偏移量变化情况,可以检测到用户肢体的微小动作,相较于现有的通过测距和回波信号幅度积分的方案,检测精度更高。
在上述第一方面的一种可能实现中,超声波信号包括连续超声波信号。
可以理解的,连续超声波信号的频域数据更容易提取出相位数据,从而有利于对相对于电子设备运动的用户存在进行判断。
在上述第一方面的一种可能实现中,发射超声波信号包括:
同时发射多个连续超声波信号,其中各连续超声波信号的发射频率不同。
可以理解的,同时发射多个发射频率不同超声波信号,可以避免超声波信号产生频率选择性衰落,即避免某些发射频率的超声波信号在某些空间位置处的多径信号叠加存在衰减,致使接收到的回波信号衰减后的能量过低,无法用于相位偏移量的估计的情况。
在上述第一方面的一种可能实现中,多个连续超声波信号包括第一连续超声波信号和第二连续超声波信号,并且
第一连续超声波信号和第二连续超声波信号的初始发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽;或者
第一连续超声波信号和第二连续超声波信号的最大发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽。
可以理解的,多个连续超声波信号之间频域不存在重叠,能够确保各个载频之间不发生干扰,且不会在同一个检测位置同时发生频率选择性衰落,从而能够用于用户存在的检测。
在上述第一方面的一种可能实现中,发射超声波信号包括:
采用同一超声波发声器同时以多个不同的发射频率发射多个连续超声波信号。
可以理解,超声波信号的频率选择性衰落与超声波信号的发射源和发射物位置相关,因此,采用同一超声波发声器同时以多个不同的发射频率发射多个连续超声波信号,更容易确保多个连续超声波信号必然存在不发生频率选择性衰落的超声波信号,进而有利于相对于电子设备运动的用户存在测量。可以理解,在本申请其他实施例中,也可以采用不同的超声波发生器发射多个连续超声波信号。
在上述第一方面的一种可能实现中,第一条件还包括:
用户相对于电子设备运动的等效速度属于第一速度范围,并且第一速度范围不包括0。
即在采用多载频连续超声波信号进行用户检测时,如果未发生频率选择性衰落的连续超声波信号有多个,则计算每个发射频率的超声波信号所对应的运动速度,然后求这些速度的等效速度来表示用户最终的运动速度,并且用户最终的运动速度处于人类正常速度范围(即第一速度范围)时,才认为相对于电子设备运动的是用户。
在上述第一方面的一种可能实现中,等效速度通过以下方式得到:
从多个连续超声波信号分别对应的回波信号中,选择出相位偏移量随时间变化的多个运动回波信号;
基于各连续超声波信号分别对应的多个运动回波信号的相位偏移量,计算出对应各连续超声波信号的多个运动速度,其中,相位偏移量与运动回波信号的回波路径相关;
采用预设算法对多个运动速度进行处理,得到用户的等效速度。
在上述第一方面的一种可能实现中,预设算法包括下列中的至少一项:
计算多个运动速度的平均值;
计算多个运动速度的最小二乘法拟合值。
在上述第一方面的一种可能实现中,第一速度范围为0m/s-5m/s。
可以理解的,人体正常移动的速度一般在0m/s-5m/s之间,故为了确认相对于电子设备运动的是人类,将第一速度范围设置为0m/s-5m/s。
在上述第一方面的一种可能实现中,连续超声波信号包括下列中的任一项:
正弦超声波信号、调频连续超声波信号。
在上述第一方面的一种可能实现中,第一条件还包括:
电子设备采集的反射超声波信号的物体的图像中存在人类。
可以理解的,当回波信号中存在运动回波信号时,可以确定存在相对于电子设备运动的反射物体,但是该反射物体是人类还是宠物或者类似扫地机器人的物体,还可以通过采集图像来确认,故将电子设备采集的反射超声波信号的物体的图像中存在人类作为第一条件的一部分,有利于根据第一条件可以进一步精准的确定运动的物体是否是用户,从而根据用户的情况下更加精确的控制屏幕显示,提升用户体验。
在上述第一方面的一种可能实现中,第一屏幕显示方式包括下列中的至少一种:
将电子设备的屏幕从黑屏状态转换为显示待机画面;
将电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态并显示上次进入待机画面或者黑屏状态前所显示的画面;
将电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态,并播放用户已经暂停的节目。
在上述第一方面的一种可能实现中,上次进入待机画面或者黑屏状态前所显示的画面包括下列中的至少一种:
开机画面;
用户所观看的节目的暂停画面;
用户所浏览的应用界面。
在上述第一方面的一种可能实现中,第二屏幕显示方式包括:
保持黑屏状态或者保持显示待机画面。
可以理解的,保持黑屏状态或者保持显示待机画面的屏幕显示方式能够使得屏幕的功耗处于较低的状态。
在上述第一方面的一种可能实现中,在多个回波信号不满足指示是否存在用户的第一条件的情况下,执行第二屏幕显示方式,包括:
对应于多个回波信号不满足指示是否存在用户的第一条件,并且在第一预设历史时长内接收到的历史回波信号均不满足第一条件,执行下列中的至少一种屏幕显示方式:
将电子设备的屏幕从亮屏状态转换为待机画面或者黑屏状态,
将电子设备的屏幕从待机画面转换为黑屏状态,
将电子设备屏幕上正在播放的节目暂停。
可以理解的,电子设备屏幕上正在播放的节目可以为音频节目、视频节目以及游戏等。
在上述第一方面的一种可能实现中,第一屏幕显示方式还包括:
对应于用户逐渐靠近电子设备并且电子设备处于黑屏状态,逐渐亮起电子设备的屏幕并显示待机画面或者上次进入待机画面或者黑屏状态前所显示的画面;并且
第二屏幕显示方式还包括:
对应于用户逐渐远离电子设备,并且电子设备处于亮屏状态或者显示待机画面,将电子设备的屏幕逐渐变暗。
在上述第一方面的一种可能实现中,还包括,用户靠近电子设备的速度越快,屏幕逐渐亮起的速度越快;
用户远离电子设备的速度越快,屏幕逐渐变暗的速度越快。
可以理解的,根据用户靠近或者远离电子设备的速度,控制电子设备的屏幕亮起的速度或者变暗的速度的方式,可以提高用户体验。
在上述第一方面的一种可能实现中,通过以下方式判断用户是否逐渐靠近或者远离电子设备:
计算先后获取的多个回波信号的等效频率,其中等效频率与回波信号的回波路径相关,并且回波路径越小,所述等效频率越大;
对应于先后获取的多个回波信号的等效频率依次增大,判断出用户逐渐靠近电子设备;
对应于先后获取的多个回波信号的等效频率依次减小,判断出用户逐渐远离电子设备。
可以理解的,根据先后获取的多个回波信号的等效频率依次增大或者减小,可以更加合理地判断出用户逐渐靠近还是远离电子设备的情况。
在上述第一方面的一种可能实现中,第一屏幕显示方式包括下列中的至少一种:
对应于用户相对于电子设备的方向处于第一方向范围,将电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态并显示上次进入待机画面或者黑屏状态前所显示的画面,或者将电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态,并播放用户已经暂停的节目;
对应于用户相对于电子设备的方向处于第二方向范围,将电子设备的屏幕从黑屏状态转换为显示待机画面。
通过确定用户相对于电子设备的相对方向,可以确定用户观看电子设备的意图,进而在用户想要观看电子设备时显示用户想要观看的画面,而在用户只是路过电子设备附近区域时显示待机画面。
在上述第一方面的一种可能实现中,通过以下方式计算回波信号的相位偏移量:
对接收到的回波信号的时域数据进行傅立叶变换,得到对应的频域数据;
基于发射的超声波信号的频域数据和回波信号的频域数据,分别得到发射的超声波信号的第一相位和回波信号的第二相位;
将第二相位和第一相位的差值作为回波信号的相位偏移量。
在上述第一方面的一种可能实现中,还包括:
对应于不存在相对于电子设备运动的用户,先后以多个设定音量发射超声波信号,从中选择出回波信号的回波能量与基准回波能量的差值在第一能量差值范围内的设定音量作为电子设备的发射超声波信号的预定发射音量。
在上述第一方面的一种可能实现中,超声波信号通过电子设备的扬声器发射,并且回波信号通过电子设备的麦克风接收。
可以理解的,发射超声波信号的扬声器,并且接收回波信号的麦克风都是电子设备自带的,避免了增加额外的成本。
在上述第一方面的一种可能实现中,电子设备包括智能电视。
在上述第一方面的一种可能实现中,还包括:
在多个回波信号满足指示是否存在用户的第一条件的情况下,以第一发射音量发射第一超声波信号;
在用户与电子设备之间的第一相对位置处于第一位置范围的情况下,下一次以第一位置范围对应的第二发射音量发射第二超声波信号,
在用户与电子设备之间的第一相对位置处于第二位置范围的情况下,下一次以第二位置范围对应的第三发射音量发射第二超声波信号。
例如,第一位置范围为下文中的“(d1,d2)”,第二发射音量为下文中的音量范围“(Vd1,Vd2)”中的任一发射音量值”或者下文中的Vd2',第二位置范围为下文中的“(0,d1)”,第三发射音量为下文中的音量范围“(0,Vd1)”中的任一发射音量值或者下文中的Vd1'。
可以理解的,如果以固定的发射音量发射超声波信号,在用户与电子设备之间的相对位置发生变化时,存在用户接收到的超声波信号能量过高的情况,会对用户身体造成危害,或者用户接收到的超声波信号的能量较弱,用户反射回的回波信号的能量大小无法满足后续的用户存在检测需求。所以,以根据用户与电子设备之间的相对位置的变化调整下一次的发射音量,可以确保用户反射回的回波信号的能量大小足以用于检测用户的运动的同时,避免用户的身体遭受强能量超声波信号的危害。
在上述第一方面的一种可能实现中,第一位置范围包括第一距离范围,第二位置范围包括第二距离范围;并且
第一相对位置处于第一位置范围包括:第一相对位置对应的用户与电子设备之间的第一距离位于第一位置范围,
第二相对位置处于第二位置范围包括:第二相对位置对应的用户与电子设备之间的第二距离位于第二位置范围;并且
第一距离范围的最小值大于第二距离范围的最大值,第二发射音量大于第三发射音量。
即为用户与电子设备之间的距离设置多个距离范围,使得用户与电子设备距离较大时,调高超声波发射音量,距离较近时,降低发射音量。从而在确保用户与电子设备间的距离发生变化时,接收到的回波信号能够满足检测需求,并对处于超声波环境中的用户不造成身体伤害。
例如,第一距离范围为下文中的“(d1,d2)”,第二距离范围为下文中的“(0,d1)”,此时d1、d2依次增大。
在上述第一方面的一种可能实现中,还包括,
通过多个回波信号的运动成分能量表示物体相对于电子设备的第一距离,并且设置与第一距离范围和第二距离范围分别对应的第一运动成分能量范围和第二运动成分能量范围,
其中,运动成分能量越大,物体相对于电子设备的第一距离越小,第一运动成分能量范围的最大值对应第一距离范围的最小值,第一运动成分能量范围的最小值对应第一距离范围的最大值,第二运动成分能量范围的最大值对应第二距离范围的最小值,第二运动成分能量范围的最小值对应第二距离范围的最大值。
可以理解的,运动成分能量与用户与电子设备的距离的关系,运动成分能量越大,用户与电子设备的距离越小,所以可以利用运动成分能量范围来表示各距离范围,更加方便的根据实际情况调整发射音量,无需预先测量好对应各距离范围的发射音量范围,在自适应调整发射音量的过程中,只要确定发射音量调整后接收到的运动回波信号的运动成分能量,是否位于对应的音量能量范围,即可确定调整后的发射音量是否位于距离范围对应的发射音量范围内。
例如,第一距离范围为下文中的“(d1,d2)”,对应的第一运动成分能量范围为下文中的距离能量范围“(Esd3,Esd2)”,第二距离范围为下文中的“(0,d1)”,对应的第二运动成分能量范围为下文中的距离能量范围“(Esd2,Esd1)”,其中,d1、d2依次增大,Esd2、Esd3依次减小,第一距离范围对应的“(d1,d2)”中的最小值d1对应第一运动成分能量“(Esd3,Esd2)”中的最大值Esd2,第一距离范围“(d1,d2)”中的最大值d2对应第一运动成分能量的最小值Esd3;第二距离范围对应的“(0,d1)”中的最小值0对应第二运动成分能量“(Esd2,Esd1)”中的最大值Esd1,第二距离范围“(0,d1)”中的最大值d1对应第二运动成分能量的最小值Esd2。
在上述第一方面的一种可能实现中,通过以下方式确定第一距离所处的距离范围:
在运动成分能量处于第一运动成分能量范围的情况下,确定第一距离处于第一距离范围;
在运动成分能量处于第二运动成分能量范围的情况下,确定第一距离处于第二距离范围。
在上述第一方面的一种可能实现中,通过以下方式计算多个回波信号的运动成分能量:
对多个回波信号中的运动回波信号的振幅进行积分,得到多个运动回波信号的运动成分能量。
可以理解的,对多个回波信号中的运动回波信号的振幅进行积分,可以方便、合理地得到多个运动回波信号的运动成分能量。
在上述第一方面的一种可能实现中,第一位置范围包括第三方向范围,第二位置范围包括第四方向范围;并且
第一相对位置处于第一位置范围包括:第一相对位置对应的用户相对于电子设备的第一方向位于第三方向范围,
第二相对位置处于第二位置范围包括:第二相对位置对应的用户相对于电子设备的第二方向位于第四方向范围;并且
第三方向范围的最小值大于第四方向范围的最大值,第二发射音量大于第三发射音量。
可以理解的,超声波信号的传播具有辐射指向性,播放超声波信号时,电子设备正前方传播的超声波信号的能量较强,足以用于用户存在的检测,而电子设备侧方传播的超声波信号的能量较弱,使得反射物体反射回的回波信号的能量较弱,无法用于用户存在的检测,所以在电子设备利用超声波信号进行用户存在检测的过程中,可以测量用户相对于电子设备的方向,根据用户相对于电子设备的方向来调整发射音量,从而使得用户在电子设备前的不同方向根据实际情况对应不同发射音量,从而有利于用户存在的检测。
例如,第三方向范围为下文的方向范围“(0,r1)”,第二发射音量为下文中的发射音量Vr1,第四方向范围为下文的方向范围“(r1,r2)”,第三发射音量为下文中的发射音量Vr2,Vr2大于Vr1。
在上述第一方面的一种可能实现中,还包括:
在第二发射音量或者第三发射音量大于音量阈值,并且第一历史时间段内发射超声波信号的历史音量持续大于音量阈值的情况下,在下一次以第二发射音量或者第三发射音量发射超声波信号时,减少发出的超声波信号的占空比,并降低检测帧率。
可以理解的,可以通过减少发射的超声波信号占空比,降低检测帧率,来避免用户长时间处于在高能量的超声环境中,即将原来发射超声波信号的一个信号周期中的通电时间减少。例如,可以将一个信号周期中的通电时间减少到50%,从而确保用户不会长时间暴露在高能量超声环境下,提高安全性。
在上述第一方面的一种可能实现中,还包括:
在多个回波信号满足指示是否存在用户的第一条件的情况下,获取拍摄的用户的用户图像;
在用户图像中存在目标对象的情况下,采用第四发射音量发射超声波信号;
在用户图像中不存在目标对象的情况下,采用第五发射音量发射超声波信号,其中,第五发射音量大于第四发射音量。
可以理解的,在获取的拍摄的用户图像中根据目标图像存在与否进一步设定不同的发射音量,可以由于用户情况不同而实时调整发射超声波信号的发射音量,进一步避免用户遭受强能量超声波信号的危害。例如,可以由用户的年龄、用户身边是否存在宠物等情况实时调整发射超声波信号的发射音量,以在确保用户反射回的回波信号的能量大小足以用于检测用户的运动的同时,避免用户、宠物的身体遭受强能量超声波信号的危害。
在上述第一方面的一种可能实现中,目标对象包括儿童、宠物。
可以理解的,儿童和宠物对超声波信号能量的耐受度小于成人,如果在进行用户检测的过程中,以固定的音量发射超声波信号,该音量可能适用于成人,但是可能会对小孩和宠物造成危害,所以将儿童、宠物以及宠物考虑进去,设置区别于成人的发射音量,可以避免儿童、宠物的身体遭受强能量超声波信号的危害。
第二方面,本申请实施例提供了一种物体运动检测方法,应用于电子设备,包括:
发射超声波信号;
获取在不同时刻接收到的经由物体反射超声波信号后产生的多个回波信号;
对应于多个回波信号满足第一条件,反射超声波信号的物体中存在相对于电子设备运动的物体;
对应于多个回波信号不满足第一条件,反射超声波信号的物体中不存在相对于电子设备运动的物体;
其中,第一条件包括:多个回波信号中,存在相对于发射的超声波信号的相位偏移量随时间变化的多个运动回波信号。
可以理解的,本申请实施例提供的物体运动检测方法,确定电子设备前是否存在运动的物体是基于回波信号的相位偏移量来确定的,即在回波信号中,如果存在相对于发射的超声波信号的相位偏移量随时间变化的多个运动回波信号,则确定存在相对于电子设备运动的用户,反之,则确定不存在相对于电子设备运动的用户。由于超声频段的波长较短(例如20kHz的超声,在空气中速度为340米/秒,波长为1.7厘米),物体运动导致的位移往往大于波长(如1.7厘米),故当运动的物体微小动作所引起的回波信号的回波路径的变化,能够导致回波信号的相位偏移量发生变化,从而可以通过提取回波信号的相位偏移量来精细地刻画物体的运动,进而使得检测运动的物体存在的精度更高。
在上述第二方面的一种可能实现中,运动包括物体的位移不发生变化的肢体运动。
即可以在物体不发生位移的情况下,基于回波信号的相位偏移量变化情况,可以检测到物体肢体的微小动作,相较于现有的通过测距和回波信号幅度积分的方案,检测精度更高。
在上述第二方面的一种可能实现中,超声波信号包括连续超声波信号。
可以理解的,连续超声波信号的频域数据更容易提取出相位数据,从而有利于对相对于电子设备运动的物体存在进行判断。
在上述第二方面的一种可能实现中,发射超声波信号包括:
同时发射多个连续超声波信号,其中各连续超声波信号的发射频率不同。
可以理解的,同时发射多个发射频率不同的超声波信号,可以避免超声波信号产生频率选择性衰落,即避免某些发射频率的超声波信号在某些空间位置处的多径信号叠加存在衰减,致使接收到的回波信号衰减后的能量过低,无法用于相位偏移量的估计的情况。
在上述第二方面的一种可能实现中,多个连续超声波信号包括第一连续超声波信号和第二连续超声波信号,并且
第一连续超声波信号和第二连续超声波信号的初始发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽;或者
第一连续超声波信号和第二连续超声波信号的最大发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽。
可以理解的,多个连续超声波信号之间频域不存在重叠,能够确保各个载频之间不发生干扰,且不会在同一个检测位置同时发生频率选择性衰落,从而能够用于运动物体存在的检测。
在上述第二方面的一种可能实现中,发射超声波信号包括:
采用同一超声波发声器同时以多个不同的发射频率发射多个连续超声波信号。
可以理解,超声波信号的频率选择性衰落与超声波信号的发射源和发射物位置相关,因此,采用同一超声波发声器同时以多个不同的发射频率发射多个连续超声波信号,更容易确保多个连续超声波信号必然存在不发生频率选择性衰落的超声波信号,进而有利于相对于电子设备运动的物体存在测量。可以理解,在本申请其他实施例中,也可以采用不同的超声波发生器发射多个连续超声波信号。
在上述第二方面的一种可能实现中,第一条件还包括:
相对于电子设备运动的物体的等效速度属于第一速度范围,并且第一速度范围不包括0。
即在采用多载频连续超声波信号进行用户检测时,如果未发生频率选择性衰落的连续超声波信号有多个,则计算每个发射频率的超声波信号所对应的运动速度,然后求这些速度的等效速度来表示物体最终的运动速度,并且物体最终的运动速度处于物体相对于电子设备正常移动的速度范围内(即第一速度范围),认为相对于电子设备运动的物体存在。
在上述第二方面的一种可能实现中,等效速度通过以下方式得到:
从多个连续超声波信号分别对应的回波信号中,选择出相位偏移量随时间变化的多个运动回波信号;
基于各连续超声波信号分别对应的多个运动回波信号的相位偏移量,计算出对应各连续超声波信号的多个运动速度,其中,相位偏移量与运动回波信号的回波路径相关;
采用预设算法对多个运动速度进行处理,得到相对于电子设备运动的物体的等效速度。
在上述第二方面的一种可能实现中,预设算法包括下列中的至少一项:
计算多个运动速度的平均值;
计算多个运动速度的最小二乘法拟合值。
在上述第二方面的一种可能实现中,第一速度范围为0m/s-5m/s。
可以理解的,人体正常移动的速度一般在0m/s-5m/s之间,故为了考虑相对于电子设备运动的物体是人类的情况,将第一速度范围设置为0m/s-5m/s。
在上述第二方面的一种可能实现中,连续超声波信号包括下列中的任一项:
正弦超声波信号、调频连续超声波信号。
在上述第二方面的一种可能实现中,通过以下方式计算回波信号的相位偏移量:
对接收到的回波信号的时域数据进行傅立叶变换,得到对应的频域数据;
基于发射的超声波信号的频域数据和回波信号的频域数据,分别得到发射的超声波信号的第一相位和回波信号的第二相位;
将第二相位和第一相位的差值作为回波信号的相位偏移量。
在上述第二方面的一种可能实现中,还包括:
对应于不存在相对于电子设备运动的物体,先后以多个设定音量发射超声波信号,从中选择出回波信号的回波能量与基准回波能量的差值在第一能量差值范围内的设定音量作为电子设备的发射超声波信号的预定发射音量。
在上述第二方面的一种可能实现中,还包括:
以第一发射音量发射第一超声波信号,并获取在第二时间段内接收到的经由物体反射第一超声波信号后产生的多个第一回波信号;
在多个第一回波信号满足第二条件的情况下,存在相对于电子设备运动的物体;
在运动物体与电子设备之间的第一距离处于第一距离范围内的情况下,下一次以第一距离范围对应的第二发射音量发射第二超声波信号,
在运动物体与电子设备之间的第一距离处于第二距离范围内的情况下,下一次以第二距离范围对应的第三发射音量发射第二超声波信号;
其中,第一距离范围的最小值大于第二距离范围的最大值,第二发射音量大于第三发射音量。
可以理解的,如果以固定的发射音量发射超声波信号,在运动物体与电子设备之间的相对位置发生变化时,存在运动物体接收到的超声波信号能量过高的情况,会对运动物体造成危害,或者运动物体接收到的超声波信号的能量较弱,运动物体反射回的回波信号的能量大小无法满足后续的运动物体存在检测需求。所以,以根据运动物体与电子设备之间的相对位置的变化调整下一次的发射音量,可以确保运动物体反射回的回波信号的能量大小足以用于检测物体的运动的同时,避免运动物体遭受强能量超声波信号的危害。
在上述第二方面的一种可能实现中,第二条件包括:
多个第一回波信号中,存在相对于第一超声波信号的相位偏移量随时间变化的多个第一运动回波信号。
在上述第二方面的一种可能实现中,还包括:
通过多个第一运动回波信号的第一运动成分能量表示物体相对于所述电子设备的第一距离,并且设置与第一距离范围和第二距离范围分别对应的第一运动成分能量范围和第二运动成分能量范围,
其中,第一运动成分能量越大,物体相对于电子设备的第一距离越小,第一运动成分能量范围的最大值对应第一距离范围的最小值,第一运动成分能量范围的最小值对应第一距离范围的最大值,第二运动成分能量范围的最大值对应第二距离范围的最小值,第二运动成分能量范围的最小值对应第二距离范围的最大值。
可以理解的,运动成分能量与用户与电子设备的距离的关系,运动成分能量越大,用户与电子设备的距离越小,所以可以利用运动成分能量范围来表示各距离范围,更加方便的根据实际情况调整发射音量,无需预先测量好对应各距离范围的发射音量范围,在自适应调整发射音量的过程中,只要确定发射音量调整后接收到的运动回波信号的运动成分能量,是否位于对应的音量能量范围,即可确定调整后的发射音量是否位于距离范围对应的发射音量范围内。
在上述第二方面的一种可能实现中,通过以下方式确定第一距离所处的距离范围:
在第一成分能量处于第一运动成分能量范围的情况下,确定第一距离处于第一距离范围;
在第一成分能量处于第二运动成分能量范围的情况下,确定第一距离处于第二距离范围。
在上述第二方面的一种可能实现中,通过以下方式计算多个第一运动回波信号的运动成分能量:
对多个第一运动回波信号的振幅进行积分,得到多个第一运动回波信号的运动成分能量。
可以理解的,对多个回波信号中的运动回波信号的振幅进行积分,可以方便、合理地得到多个运动回波信号的运动成分能量。
在上述第二方面的一种可能实现中,还包括:
在第二发射音量大于音量阈值,并且第一历史时间段内发射超声波信号的历史音量持续大于音量阈值的情况下,在下一次以第二发射音量发射超声波信号时,减少发出的超声波信号的占空比,并降低检测帧率。
可以理解的,可以通过减少发射的超声波信号占空比,降低检测帧率,来避免用户长时间处于在高能量的超声环境中,即将原来发射超声波信号的一个信号周期中的通电时间减少。例如,可以将一个信号周期中的通电时间减少到50%,从而确保用户不会长时间暴露在高能量超声环境下,提高安全性。
在上述第二方面的一种可能实现中,超声波信号通过电子设备的扬声器发射,并且回波信号通过所述电子设备的麦克风接收。
可以理解的,发射超声波信号的扬声器,并且接收回波信号的麦克风都是电子设备自带的,避免了增加额外的成本。
在上述第二方面的一种可能实现中,电子设备上安装有运动类应用程序,并且上述方法还包括:
基于多个运动回波信号的相位偏移量,计算相对于电子设备运动的物体的运动速度;
根据计算出的物体的运动速度,执行运动类应用程序的预设操作。
第三方面,本申请实施例提供了一种物体运动检测方法,还包括:
以第六发射音量发射超声波信号,并获取在第二时间段内接收到的经由物体反射超声波信号后产生的多个回波信号;
在多个回波信号满足第一条件的情况下,反射超声波信号的物体中存在相对于电子设备运动的物体,其中,第一条件包括:多个回波信号中,存在相对于发射的超声波信号的相位偏移量随时间变化的多个运动回波信号;
在用户与电子设备之间的第二相对位置处于第三位置范围的情况下,下一次以第三位置范围对应的第六发射音量发射超声波信号,
在用户与电子设备之间的第二相对位置处于第四位置范围内的情况下,下一次以第四位置范围对应的第七发射音量发射超声波信号。
可以理解的,申请实施例提供的一种物体运动检测方法不仅仅是基于回波信号相对于发射信号的相位偏移量检测电子设备前用户存在的方案,还包括其他基于超声波检测电子设备前用户存在的方案,比如说,现有技术提到的通过超声波检测反射物体与电子设备之间的距离,并根据反射物体与电子设备之间的距离确定电子设备前是否存在用户的方案;或者,通过超声波的多普勒频移成分的幅度积分确定电子设备前是否存在用户的方案。
在这些检测方法中,如果以固定的发射音量发射超声波信号,在用户与电子设备之间的相对位置发生变化时,存在用户接收到的超声波信号能量过高的情况,会对用户身体造成危害,或者用户接收到的超声波信号的能量较弱,用户反射回的回波信号的能量大小无法满足后续的用户存在检测需求。所以,以根据用户与电子设备之间的相对位置的变化调整下一次的发射音量,可以确保用户反射回的回波信号的能量大小足以用于检测用户的运动的同时,避免用户的身体遭受强能量超声波信号的危害。
在上述第三方面的一种可能实现中,第三位置范围包括第三距离范围,第四位置范围包括第四距离范围;并且
第二相对位置处于第三位置范围包括:第二相对位置对应的用户与电子设备之间的第二距离位于第三位置范围,
第二相对位置处于第四位置范围包括:第二相对位置对应的用户与电子设备之间的第二距离位于第四位置范围;并且
第三距离范围的最小值大于第四距离范围的最大值,第六发射音量大于第七发射音量。
即为用户与电子设备之间的距离设置多个距离范围,使得用户与电子设备距离较大时,调高超声波发射音量,距离较近时,降低发射音量。从而在确保用户与电子设备间的距离发生变化时,接收到的回波信号能够满足检测需求,并对处于超声波环境中的用户不造成身体伤害。
在上述第三方面的一种可能实现中,还包括,
通过多个运动回波信号的运动成分能量表示物体相对于电子设备的第二距离,并且设置与第三距离范围和第四距离范围分别对应的第三运动成分能量范围和第四运动成分能量范围,
其中,运动成分能量越大,物体相对于电子设备的第二距离越小,第三运动成分能量范围的最大值对应第三距离范围的最小值,第三运动成分能量范围的最小值对应第三距离范围的最大值,第四运动成分能量范围的最大值对应第四距离范围的最小值,第四运动成分能量范围的最小值对应第四距离范围的最大值。
可以理解的,运动成分能量与用户与电子设备的距离的关系,运动成分能量越大,用户与电子设备的距离越小,所以可以利用运动成分能量范围来表示各距离范围,更加方便的根据实际情况调整发射音量,无需预先测量好对应各距离范围的发射音量范围,在自适应调整发射音量的过程中,只要确定发射音量调整后接收到的运动回波信号的运动成分能量,是否位于对应的音量能量范围,即可确定调整后的发射音量是否位于距离范围对应的发射音量范围内。
在上述第三方面的一种可能实现中,通过以下方式确定第二距离所处的距离范围:
在运动成分能量处于第三运动成分能量范围的情况下,确定第二距离处于第三距离范围;
在运动成分能量处于第四运动成分能量范围的情况下,确定第二距离处于第四距离范围。
在上述第三方面的一种可能实现中,通过以下方式计算多个回波信号的运动成分能量:
对多个回波信号中的运动回波信号的振幅进行积分,得到多个运动回波信号的运动成分能量。
可以理解的,对多个回波信号中的运动回波信号的振幅进行积分,可以方便、合理地得到多个运动回波信号的运动成分能量。
在上述第三方面的一种可能实现中,第三位置范围包括第五方向范围,第四位置范围包括第六方向范围;并且
第二相对位置处于第三位置范围包括:第二相对位置对应的用户相对于电子设备的第三方向位于第五方向范围,
第二相对位置处于第四位置范围包括:第二相对位置对应的用户相对于电子设备的第四方向位于第六方向范围;并且
第五方向范围的最小值大于第六方向范围的最大值,第六发射音量大于第七发射音量。
可以理解的,超声波信号的传播具有辐射指向性,播放超声波信号时,电子设备正前方传播的超声波信号的能量较强,足以用于用户存在的检测,而电子设备侧方传播的超声波信号的能量较弱,使得反射物体反射回的回波信号的能量较弱,无法用于用户存在的检测,所以在电子设备利用超声波信号进行用户存在检测的过程中,可以测量用户相对于电子设备的方向,根据用户相对于电子设备的方向来调整发射音量,从而使得用户在电子设备前的不同方向根据实际情况对应不同发射音量,从而有利于用户存在的检测。
在上述第三方面的一种可能实现中,还包括:
在第六发射音量或者七发射音量大于音量阈值,并且第一历史时间段内发射超声波信号的历史音量持续大于所述音量阈值的情况下,在下一次以第六发射音量或者第七发射音量发射超声波信号时,减少发出的超声波信号的占空比,并降低检测帧率。
可以理解的,可以通过减少发射的超声波信号占空比,降低检测帧率,来避免用户长时间处于在高能量的超声环境中,即将原来发射超声波信号的一个信号周期中的通电时间减少。例如,可以将一个信号周期中的通电时间减少到50%,从而确保用户不会长时间暴露在高能量超声环境下,提高安全性。
第四方面,本申请实施例提供了一种电子设备,包括:
一个或多个处理器;
一个或多个存储器;一个或多个存储器存储有一个或多个程序,当一个或者多个程序被一个或多个处理器执行时,使得电子设备执行上述第一方面以及第一方面的各种实现中的任意一种屏幕显示控制方法、执行上述第二方面以及第二方面的各种实现中的任意一种物体运动检测方法或者执行上述第三方面以及第三方面的各种实现中的任意一种物体运动检测方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,存储介质上存储有指令,指令在计算机上执行时使计算机执行上述第一方面以及第一方面的各种实现中的任意一种屏幕显示控制方法、执行上述第二方面以及第二方面的各种实现中的任意一种物体运动检测方法或者执行上述第三方面以及第三方面的各种实现中的任意一种物体运动检测方法。
第六方面,本申请实施例提供了一种计算机程序产品,计算机程序产品包括指令,该指令在执行时使计算机执行上述第一方面以及第一方面的各种实现中的任意一种屏幕显示控制方法、执行上述第二方面以及第二方面的各种实现中的任意一种物体运动检测方法或者执行上述第三方面以及第三方面的各种实现中的任意一种物体运动检测方法。
附图说明
图1A根据本申请的一些实施例,示出了一种开启待机显示画面的场景图;
图1B根据本申请的一些实施例,示出了一种关闭待机显示画面的场景图;
图2A根据本申请的一些实施例,示出了一种正弦超声波信号的时域波形图;
图2B根据本申请的一些实施例,示出了一种正弦超声波信号的发射频率f随着时间的变化示意图;
图2C根据本申请的一些实施例,示出了一种调频连续超声波信号的发射频率f随着时间的变化示意图;
图2D根据本申请的一些实施例,示出了一种矩形脉冲超声波信号示意图;
图3根据本申请的一些实施例,示出了一种智能电视10的结构示意图;
图4根据本申请的一些实施例,示出了一种屏幕显示控制方法的流程示意图;
图5A根据本申请的一些实施例,示出了一种界面501示意图;
图5B根据本申请的一些实施例,示出了一种设置界面502示意图;
图5C根据本申请的一些实施例,示出了一种待机显示界面503示意图;
图5D根据本申请的一些实施例,示出了一种待机显示类型界面504示意图;
图6A根据本申请的一些实施例,示出了一种多载频正弦超声波信号的发射频率f随着时间的变化图;
图6B根据本申请的一些实施例,示出了一种多载频调频连续超声波信号的发射频率f随着时间的变化示意图;
图6C根据本申请的一些实施例,示出了一种智能电视10的示意图;
图7根据本申请的一些实施例,示出了一种对智能电视10预定发射音量的校准方法流程示意图;
图8根据本申请的一些实施例,示出了一种对智能电视10预设设定与各距离范围对应的音量范围来调整发射音量的流程示意图;
图9根据本申请的一些实施例,示出了一种智能电视根据发射音量对应的回波信号中的距离能量自适应调整发射音量的流程示意图;
图10根据本申请一些实施例,示出了一种根据用户相对于智能电视的方向,自适应调整发射音量的流程示意图;
图11根据本申请一些实施例,示出了一种通过方向能量范围表示角度范围对应的发射音量,在用户相对于智能电视移动的过程中,自适应调整发射音量的流程示意图;
图12根据本申请一些实施例,示出了一种根据识别用户为不同目标对象来调整发射音量的流程示意图;
图13根据本申请的一些实施例,示出了一种智能电视10的软件结构示意图。
具体实施方式
本申请的说明性实施例包括但不限于一种屏幕显示控制方法、介质和电子设备。
需要说明的是,本申请的技术方案适用于具有屏幕的各种电子设备,如智能电视、智慧屏、广告机以及便携式计算机等。为了方便描述,下文以智能电视为例进行说明。
虽然本申请的描述将结合一些实施例一起介绍,但这并不代表此申请的特征仅限于该实施方式。恰恰相反,结合实施方式作为申请介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解,以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外,为了避免混乱或模糊本申请的重点,有些具体细节将在描述中被省略。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本申请实施例中,“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
下面结合附图详细说明本申请实施例的技术方案。
如前所述,智能电视屏幕常开有功耗浪费、减少屏幕寿命的缺点,而现在常用的解决办法是由用户手动设置显示的时间段,或手动点击物理按钮、语音唤醒后说指令的方式来开启/关闭待机显示画面,用户体验并不十分友好。故需要一种技术方案,能够在检测到智能电视前存在用户的情况下,开启待机显示画面,而在检测到不存在用户的情况下,关闭待机显示画面。例如,在图1A所示场景中,智能电视10开始并未显示待机画面,当用户20进入智能电视10所在房间后,如从A点走到B点,智能电视10能够检测到智能电视10前存在用户20,并开启智能电视10的待机显示画面。而在图1B所示的场景中,当用户位于B点时,智能电视10显示有待机画面,当用户20离开房间时,如从B点走到A点后,智能电视10能够检测到用户20正远离智能电视10或者智能电视10前不存在用户20,则关闭待机显示画面。
在一些实施例中,智能电视10可以通过自身具有的摄像头180、或者专用传感器的检测结果,判断用户20是否存在,进而控制智能电视10是否显示待机画面。例如,专用传感器可以是超声换能器、红外传感器、毫米波传感器等。然而,通过摄像头180检测用户存在的方式不仅对检测条件要求较高,而且误检率高;而若使用专用传感器检测用户是否存在,不仅增加额外成本,而且还影响美观。
在另外一些实施例中,可以基于超声波测距技术确定智能电视10前是否存在用户。例如,智能电视10发射和接收超声波信号,并根据发射的超声波信号(下文称为发射信号)和接收到对应的超声波信号(下文称为回波信号)的时间间隔与超声波波速的乘积,计算反射超声波的反射物体与智能电视之间的距离。如果基于前后时刻接收到的回波信号计算得到的反射物体与智能电视之间的距离之差大于阈值则认为存在物体,并且如果连续两次检测到存在物体,则基于两次检测结果来判定智能电视10前是否有用户存在。然而,该技术方案在用户距离智能电视10较远时,测距误差较大,例如,对于距离智能电视10较远存在的静止物体,如沙发,基于该静止物体前后时刻反射的回波信号(下文称为静止回波信号)测得的距离有可能会因为测距误差而导致大于阈值的距离差,误判为存在物体,故该技术方案判断用户是否存在的精度较差。
此外,在另外一些实施例中,还可以利用多普勒频移成分的幅度积分来检测智能电视前是否存在用户。可以理解,当超声波的反射物体相对于发射超声波的智能电视运动时,根据多普勒效应,反射物体接收到的超声波信号的频率会随反射物体的运动速度、以及反射物体运动方向与反射物体接收到的超声波信号传播方向之间的夹角的变化而发生变化。而利用多普勒频移成分的幅度积分来检测智能电视前是否存在用户方案可以是:
将反射物体接收到的超声波信号的时域数据通过傅立叶变换转换为频域数据,例如,图2A示出了正弦超声波信号的时域波形图,而图2B示出了进行傅立叶变换后的频域波形图;然后对反射物体接收到的多个超声波信号的频域数据的瞬时幅度值进行积分,找到多普勒频移后的频率所处的峰值,从而确定发生频移后的频率大小,然后利用计算出的频移之后的频率大小,可以基于多普勒频移公式计算出反射物体的运动速度。例如,多普勒频移公式为:
其中,f为超声波信号的发射频率,fd为发生频移后的频率大小,θ为用户运动方向与用户接收到的超声波信号传播方向的夹角,v0为超声波信号在空间内的传播速度,v为发射物体运动的速度。
在公式(1)中,f、v0已知,fd可以通过上述幅度积分的方式计算出来,θ可以测量或者估算出来,故可以计算出反射物体运动的速度。然后,如果计算出的反射物体的运动速度在人体正常的运动速度范围(如0m/s-5m/s)之内,则认为智能电视10前存在用户。
然而,当用户20距离智能电视10较远时,回波信号中的频域数据的瞬时幅度值较弱,需要进行较长时间(至少500毫秒)的积分才能找到频移后的频率的峰值,获得较为准确的测量结果。所以该方法无法捕捉用户20较短暂的动作(比如抬头动作),容易发生漏检。
为了解决上述问题,本申请实施例提出了一种基于超声波信号的相位偏移量来确定电子设备前是否存在用户的技术方案。具体地,如智能电视的电子设备在发射超声波信号(即发射信号)后,接收反射物体反射发射信号后返回的回波信号,通过判断不同时刻接收到的回波信号相对于发射信号的相位偏移量是否发生变化,可以判断是反射超声波信号的反射物体中是否有反射物体发生运动,然后根据是否存在运动的反射物体来确定电子设备的显示方式。例如,如有反射物体发生运动,则可以进一步确定运动的反射物体是否为用户,例如,结合摄像头拍摄的图像确定是否为用户,或者通过判断运动的反射物体的速度是否在人体运动的正常范围内判断运动的反射物体是否为用户。进一步可以根据运动的反射物体是否为用户的确定结果,来确定电子设备的显示方式,如控制智能电视显示或者关闭待机画面,控制智能电视从黑屏转换为亮屏等。由于超声频段的波长较短(例如20kHz的超声,在空气中速度为340米/秒,波长为1.7厘米),人体运动导致的位移往往大于波长(如1.7厘米),故人体微小动作所引起的回波信号的回波路径的变化,能够导致回波信号的相位偏移量发生变化,从而可以通过提取回波信号的相位偏移量来精细地刻画人体的运动。
例如,以下列公式(2)所表示的正弦超声波W(t)为发射信号为例,其经反射物体反射后的回波信号为公式(3)所表示的W′(t):
W(t)=Apsin(2πft-φ0) (2)
其中,f为正弦波W(t)的发射频率,Ap为正弦波W(t)的振幅,t为时间变量,φ0为初始相位,AP′为回波信号W′(t)的振幅,c为声速,s(t)为回波路径,即回波信号的传播路径。
其中,回波信号W′(t)相对于发射信号W(t)的相位偏移量可以表示为公式(4):
由公式(4)可以看出来,相位偏移量Δφ(t)由回波路径s(t)决定,当反射物体运动时,s(t)发生变化,使得Δφ(t)发生变化。换句话说,如果回波信号的相位偏移量Δφ(t)发生变化,则表明存在运动的反射物体。
由于回波信号相位偏移量的变化一定程度上反应了运动物体的速度,例如,基于上述公式(4)可以确定运动物体的速度v(t):
而考虑到静止的人体与静止的其他物体(如沙发、茶几等)很难仅使用距离信息进行区分,尤其是在远距离时测距误差较大导致无法判断反射物体是否是静止的物体,但是人体的微小动作的幅度一般大于超声波信号的波长(如前所述的1.7厘米),人体微小动作所引起的回波信号的回波路径的变化,能够导致回波信号的相位偏移量发生变化,进而使得基于超声波信号的相位偏移量确定出的运动速度可以区分出静止的人体的某些微小动作,如坐在沙发上的人的转头、动胳膊等动作,故采用本申请的技术方案检测是否存在用户更为精确。进而,在本申请的一些实施例中,限定用户存在的定义为:在一定时间段内至少存在一次用户的运动则认为用户存在。由于在正常情况下,人在一定时间段内必然会发生运动,前述运动可以是人位置变化的相对移动,也可以是在人位置不变的情况下,肢体等发生的轻微运动,比如说动胳膊等。例如在10分钟之内,用户不会保持纹丝不动,其至少会发生一次四肢、头部或躯干的轻微运动,所以若10分钟内电子设备接收到的不同时刻的回波信号的相位偏移量发生变化,则可以认为电子设备前存在用户。
可以理解,超声波信号经反射物体反射后产生的回波信号的时域数据可以由收音设备(如智能电视的麦克风)接收,接收到的回波信号的时域数据经傅立叶变换后可以得到频域数据,相较于脉冲超声波信号,连续超声波信号的频域数据中更容易提取出相位成分。故在本申请一些实施例中,采用连续超声波信号来检测电子设备前是否存在用户。
可以理解,本申请所描述的连续超声波是相对于脉冲超声波信号(如图2D所示)而言的,是指在发射时间段内波形连续的超声波信号,或者说在一个发射周期内,发射的超声波信号为连续的,例如正弦波、调频连续波(Frequency Modulated Continuous Wave,FMCW)等。图2B示出了一种正弦超声波信号的发射频率f随着时间的变化图,如图所示,正弦超声波信号在发射时间内的发射频率f随着时间保持不变,而且带宽为0。图2C示出了一种调频连续超声波信号的发射频率f随着时间的变化图,如图所示,调频连续(FMCW)超声波信号的发射频率f在一个发射周期T内的频率随着时间成比例变化,范围在fmin到fmax之间,其中,fmin为起始发射频率,fmax为最大发射频率,带宽B为fmax-fmin,在一个发射周期T内的发射频率始终不为零,即在发射周期内,发射的超声波信号为连续的;图2D示出了一种矩形脉冲超声波信号,其中,脉冲宽度为脉冲幅度为A,发射周期为T,可以看出,在一个发射周期T内,如在0至T时间内,0至/>和/>至T内发射超声波信号,而其他时间段不发射超声波信号,即在一个发射周期T内发射的超声波信号是不连续的。
可以理解,本申请所提及的连续超声波信号的波形不限于图2A、图2B-2C所示的波形,只要是连续超声波信号即可。例如,FMCW超声波信号的发射频率也可以是一个扫频周期T内的频率随着时间成比例降低的信号。此外,不同扫频周期T内的发射频率的变化情况也可以不同,例如第一个扫频周期T的发射频率变化为随着时间成比例降低的信号,第二个扫频周期T的发射频率变化为随着时间成比例升高的信号。
如前所述,相较于脉冲超声波信号,连续超声波信号的频域数据更容易提取出相位数据,故下文将以连续超声波信号为例来说明本申请各实施例的技术方案。
具体地,在一些实施例中,电子设备通过发射连续超声波信号,并提取接收到的回波信号中的相位成分,来计算不同时刻接收到的回波信号相对于发射信号的相位偏移量,基于计算出的相位偏移量,确定是否存在由运动的反射物体反射的回波信号(下文称为运动回波信号),在存在由运动的反射物体反射的运动回波信号的情况下,确定存在相对于电子设备运动的反射物体,进而在确定运动的反射物体为用户的情况下,控制电子设备的屏幕显示方式,如控制智能电视启动或者关闭待机显示画面。其中,如前所述,运动的反射物体反射的运动回波信号的相位偏移量是随时间变化的。而在另外一些实施例中,可以基于计算出的相位偏移量,确定是否存在由运动的反射物体反射的运动回波信号,在存在由运动的反射物体反射的运动回波信号的情况下,剔除计算出的相位偏移量中由静止反射物体反射的静止回波信号,跟运动回波信号的相位偏移量计算出回波信号的反射物体的速度,并根据速度值确定电子设备前运动的反射物体是否为用户,如确定反射物体的运动速度在人类的正常运动速度范围内,则确定运动的反射物体为人类,从而控制电子设备执行一定的屏幕显示方式,如控制智能电视启动或者关闭待机显示画面、开启或者暂停用户观看的节目等等。
具体地,例如,智能电视10在进行用户存在检测的时候持续发射超声波信号,同时在持续接收回波信号,并对每100ms接收到的回波信号的时域数据进行傅立叶变换后得到对应的频域数据,从频域数据中提取出相位成分,进而计算出100ms内各回波信号相对于发射信号的相位偏移量。假设t至t+100ms时间段内接收到500个回波信号,其中有100个回波信号的相位偏移量相同均为Δφ(t1),150个回波信号的相位偏移量均为Δφ(t2),则这两个相位偏移量对应的回波信号即为静止物体反射的回波信号,而剩下的150个回波信号的相位偏移量随时间发生变化,则可以认为这些回波信号是运动的反射物体反射的回波信号。可以基于剩下的150个回波信号的相位偏移量来计算运动的反射物体的运动速度。
可以理解,在本申请各实施例中,智能电视的亮屏状态与显示待机画面不同,是指智能电视显示开机画面、用户观看的节目、用户打开的应用界面等等。
可以理解,如前所述,回波信号相对于发射信号的相位偏移量由回波信号的回波路径决定的,而反射超声波信号的静止反射物体的回波路径不发生变化,故静止回波信号的相位偏移量不随时间发生变化,可以从计算出的回波信号中剔除出相位偏移量不随时间发生变化的静止回波信号的相位偏移量。此外,由于回波信号相对于发射信号的相位偏移量由回波信号的回波路径决定的,而反射超声波信号的静止反射物体的位置固定,故由同一静止反射物体反射的静止回波信号的相位偏移量为一不随时间变化的值,而不同静止反射物体反射的静止回波信号的相位偏移量不同。从而,可以根据相位偏移量确定出不同的静止反射物体。如前述例子中,相位偏移量为Δφ(t1)的100个回波信号的反射物体可以认为是同一个静止的反射物体反射的,相位偏移量为Δφ(t2)的150个回波信号的反射物体可以认为是另一个静止的反射物体反射的。同理,也可以根据相位偏移量确定出运动反射物体。
具体地,例如,智能电视10的扬声器171可以播放载频在16kHz以上的连续超声波信号(如:正弦超声波信号和FMCW超声波信号等)。连续超声波信号在房间中遇到各种反射物体形成回波信号,使得智能电视10的麦克风172接收到的回波信号相对于发射信号,包括了各种反射物体引入的相位偏移量。获取不同时刻接收到的回波信号的时域数据,并将接收到的时域数据进行傅立叶变换后得到频域数据,从频域数据中提取出不同时刻接收到的回波信号的相位成分,然后确定出不同时刻接收到的回波信号相对于反射信号的相位偏移量,并剔除这些相位偏移量中由静止反射物带来的不随时间变化的成分(即由静止反射物体反射的静止回波信号的相位偏移量),进而计算出反射回波信号的用户20的速度,并在速度不为零或者为人类的正常运动速度时,确定出智能电视10前存在用户20;或者提取出不同时刻接收到的回波信号的频域数据中的相位成分,在计算出不同时刻接收到的回波信号相对于发射信号的相位偏移量,在这些相位偏移量中存在随时间发生变化的相位偏移量的情况下,直接确定出智能电视10前存在用户20,而在各反射物体返回的回波信号的相位偏移量均未随时间发生变化的情况下,确定出智能电视10前不存在用户20。具体的应用过程将在下文进行详细描述。
可以理解,连续超声波信号可以由电子设备自身的发声设备发射(如智能电视的扬声器),也可以由电子设备外接的扬声器发出,同样地,也可以通过电子设备自带的收声设备(如智能电视自带的麦克风)或者外接的收声设备(如外接麦克风)接收回波信号。在一些实施例中,发出超声波信号的扬声器和发出可听声的扬声器可以为同一扬声器,即电子设备向用户发出可听声音频的扬声器还可以发出用于探测的超声波。在一些实施例中,接收超声波信号的麦克风和接收可听声的麦克风可以为同一麦克风,即电子设备接收用户发出可听声音频的麦克风还可以接收用于反射的超声波。在一些实施例中,发出超声波信号的扬声器和发出可听声的扬声器可以为不同的扬声器。在一些实施例中,接收超声波信号的麦克风和接收可听声的麦克风可以为不同的麦克风。
此外,可以理解,在本申请实施例中,基于连续超声波信号的相位偏移量的变化确定出智能电视前是否存在运动的反射物体的技术方案,除了控制待机画面的显示,还可以应用于其他应用场景中。例如,智能电视在确定出用户靠近智能电视时,控制屏幕逐渐亮起并且显示设定的内容,在确定出用户远离智能电视时,控制智能电视的屏幕逐渐暗去;再例如,将根据相位偏移量的变化确定出的智能电视前存在的用户的移动速度,用于智能电视的运动类应用程序软件(Application,APP)等。下文将进行详细描述。
此外,还可以理解,如果采用电子设备自身具有的发声设备和收声设备发射和接收连续超声波进行用户存在的检测,不存在前文实施例中使用摄像头所涉及的隐私风险,对检测条件要求不高,检测范围广,成本低。另外,通过回波信号中的相位偏移量的变化计算速度,不像前文实施例基于对回波信号中的频移信号的幅度值的积分值确定用户是否存在的情况,无需在时间上进行长时间的积分,能检测短时的人体动作,从而更加精确的判断用户是否存在,提高用户的体验,更好的避免电子设备在不存在用户的情况下,由于屏幕常开所导致功耗浪费,延长电子设备的使用寿命。
图3根据本申请的一些实施例,示出了一种智能电视10的结构示意图。如图3所示,智能电视10包括处理器110、通信模块120、屏幕130、接口模块140、存储器150、电源模块160、以及音频模块170、摄像头180、传感器模块190,其中音频模块170包括扬声器171、麦克风172。
其中:处理器110可以包括一个或多个处理单元,例如,可以包括中央处理器CPU(Central Processing Unit)、图像处理器GPU(Graphics Processing Unit)、数字信号处理器DSP(Digital Signal Processor)、微处理器MCU(Micro-programmed Control Unit)、AI(Artificial Intelligence,人工智能)处理器或可编程逻辑器件FPGA(FieldProgrammable Gate Array)等的处理模块或处理电路。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,处理器110可以通过执行与本申请屏幕显示控制方法相关的程序,检测智能电视10前是否存在用户以及根据检测结果控制智能电视10的待机显示画面的开启或关闭。
通信模块120可以包括各种有线或无线的通信模块,例如蓝牙模块(BlueTooth,BT)、无线局域网(Wireless Local Area Networks,WLAN)模块等,用于提供无线保真(Wireless Fidelity,Wi-Fi),蓝牙(Bluetooth,BT),全球导航卫星系统(GlobalNavigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)、广域网(Wide AreaNetwork,WAN)等有线或无线通信的解决方案。
屏幕130包括显示面板。显示面板可以采用液晶显示屏(Liquid CrystalDisplay,LCD),有机发光二极管(Organic Light-emitting Diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-matrix Organic Light-emitting Diode的,AMOLED),柔性发光二极管(Flex Light-emitting Diode,FLED),Mini LED,Micro LED,Micro OLED,量子点发光二极管(Quantum Dot Light-emitting Diodes,QLED)等。在本申请的一些实施例中,屏幕130可以用于显示智能电视10的用户界面,便于用户与智能电视10交互,例如设置应用中的待机显示画面。
接口模块140可以包括各种形式的输入或输出接口,智能电视10可以通过输出接口将视频和/或音频数据传输到其他电子设备,通过输入接口接收来自于其他电子设备的视频和/或音频数据。在一些实施例中,输入输出接口可以包括:S/PDIF接口、HDMI接口、LAN(Local Area Networks,局域网)接口、通用串行总线(Universal Serial Bus,USB)接口、AV接口等。
存储器150可用于存储数据、软件程序以及模块,可以是易失性存储器(VolatileMemory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(Non-Volatile Memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(FlashMemory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,或者也可以是可移动存储介质,例如安全数字(Secure Digital,SD)存储卡。具体的,在本申请的一些实施例中,存储器可以用于存储执行本申请屏幕显示控制方法的相关指令。
电源模块160可以包括电源按键、IR接收器等,用于根据用户的操作接通或断开智能电视10的电源。
音频模块170可以将数字音频信号转换成模拟音频信号输出,或者将模拟音频输入转换为数字音频信号,也可以将数字音频信号和/或模拟音频信号通过接口模块140传输给其他电子设备。在一些实施例中,音频模块170可以包括扬声器171和麦克风172。
其中,扬声器171可以用于发出连续超声波信号,比如说正弦波和/或调频连续波等。智能电视10自带的扬声器171可以为一个或者多个扬声器,可以是动圈式、压电式等各种扬声器类型中的一种或多种。在一些实施例中,扬声器171还可以支持16kHz以上的超声频段的播放,可满足超声检测需要的频响特性。当扬声器171为高音或全频扬声器时,也可以实现较高频段可听声的播放。需要注意的,当扬声器171为多个扬声器时,由于超声波频率越高,指向性越强,故可以选择在智能电视10上出音方向朝向正前方的扬声器171发射超声波信号。为了确保其他方向上的用户运动位置也能被超声波信号覆盖,也可使用其他出音方向的扬声器171,例如,位于智能电视10左右两侧的扬声器171。可以理解的,多个扬声器可以同时发射超声波信号,例如,在智能电视10开机状态下持续发射超声波信号进行用户存在的检测,如开机时间为晚上7点至10点,多个扬声器中的每一个扬声器在7点至10点持续发射超声波信号。此外,多个扬声器也可以分开不同时间段发射超声波信号。例如,在智能电视10开机状态下持续发射超声波信号进行用户存在的检测,如开机时间仍为晚上7点至10点,多个扬声器可以轮流在不同时段发射超声波信号,例如扬声器171-1在7点至8点、扬声器171-2在8点至9点、扬声器171-3在9点至10点分时段发射超声波信号。可以理解,多个扬声器轮流在不同时段发射超声波信号的轮流时间可以是实际需要的任意时间间隔,在此不做限制,如每个扬声器可以发射几秒钟、几分钟等。
由于超声波信号可以被室内墙壁、天花板、地板等多次反射,在本申请的一些实施例中,智能电视10能利用所有传播路径的回波信号进行检测,所以也进一步确保了房间内不同方向的反射物体都能被检测到。
麦克风172可以用于采集和接收连续超声波信号(即回波信号),如前述的正弦波和/或调频连续波等。智能电视10自带的麦克风172为一个或者多个麦克风,可以是驻极体、或者矢量麦克风等各种类型中的一种或多种,支持16kHz以上的超声波信号频段接收,具备利用超声波信号检测用户是否存在需要的频响特性,也能够接收可听声频段的声音。在有多个麦克风的情况下,可以根据多个麦克风采集的回波信号确定用户20相对于智能电视10所处的位置,例如,可以确定各麦克风之间的相位延迟信息,根据相位延迟信息对各麦克风采集到的回波信号进行波束成形,从而得到预设的各固定波束指向上的能量值,根据各固定波束指向上对应的能量值确定目标波束指向,以目标波束指向作为用户的方向。当判断到用户的方向后,可以根据用户与智能电视的相对位置,进一步控制智能电视的显示方法,具体根据用户位置确定显示方式的实施例将在下文进行描述。此外,可以理解,确定用户相对于智能电视10所处位置的方式可以是任意的现有技术,不做限制。为了更好接收回波信号,可以避免在接收回波信号时选择位于智能电视10背面的麦克风172,而选择位于智能电视10正面的麦克风172。
摄像头180用于获取静态图像或视频。景物通过镜头生成的光学图像投射到图像传感器表面上,然后转为电信号,经过模数转换(analogue-to-digitalconversion,A/D)转换后变为数字图像信号,再送到数字信号处理芯片中加工处理。在本申请的一些实施例中,摄像头180可用于运动物体的检测。
传感器模块190可以包括磁传感器,加速度传感器,温度传感器,语音传感器等。
可以理解,图3所示的智能电视10的结构只是一种示例,在另一些实施例中,智能电视10也可以包括更多或更少的模块,还可以组合或拆分部分模块,本申请实施例不做限定。
下面结合上述图3中所述的智能电视10的硬件结构阐述本申请的一些实施例。
图4根据本申请的一些实施例,示出了一种屏幕显示控制方法的流程示意图。该方法可以基于前文提到的技术方案,通过确定智能电视10在不同时刻接收的回波信号与发射信号之间的相位偏移量的变化,确定智能电视10前是否存在用户20,进而控制智能电视10是否显示待机画面。在一些实施例中,该方法的执行主体可以为智能电视10的处理器110。具体地,如图4所示,该方法包括:
S401,控制扬声器171发射超声波信号,并获取由麦克风172接收到的回波信号。
可以理解,在一些实施例中,可以控制智能电视10在待机状态下持续发射连续超声波信号,也可以以一定的时间间隔持续一段时间发射连续超声波信号,例如,每隔1min开始持续发射30min的连续超声波信号,即发射30min的连续超声波信号,停止1min,然后接着发射30min的连续超声波信号。其中,时间间隔可以根据具体情况而定,在此不做限制。发射频率可以在16KHZ-45kHZ范围之内,连续超声波信号的类型可以是前文提到的正弦波和/或调频连续波等。
此外,在一些实施例中,需要用户预先开启智能电视10中的智能显示功能,才能实施本申请实施例公开的屏幕显示控制方法。例如,在上述图1A和图1B所示的场景中,用户20可以事先通过语音、智能电视10的遥控等开启智能显示功能。例如,图5A-5C示出了用户20开启智能显示功能的过程示意图。如图所示,用户20可以先选中图5A所示的界面501中的设置应用51,进入图5B所示的设置界面502,并且在设置界面502中选中“待机显示”控件52,进入如图5C所示的待机显示界面503,打开“待机显示”开关控件53,并将显示方式选为智能显示。如此,智能电视10的智能显示控制功能已打开,智能电视10可自动检测用户20是否存在,并根据检测结果确认是否显示待机画面。
此外,如图5C所示,用户20还可以点击“待机显示类型”控件55,选择相应的待机显示类型。例如,图5D示出了待机显示类型界面504,用户20可选类型包括表盘时钟、数字时钟、艺术风格等。
S402,基于接收到的回波信号判断智能电视10前是否存在用户。
可以理解,如前所述,在一些实施例中,可以通过提取一定时间段内接收到的回波信号的频域数据中的相位成分,计算回波信号与对应的发射信号之间的相位偏移量,然后基于不同时刻的回波信号的相位偏移量来确定智能电视10前是否存在运动物体。
例如,还是以发射的连续超声波信号为前文提到的正弦超声波信号为例,t0时刻发射的正弦超声波信号W(t0)以下述公式(6)表示:
W(t0)=Apsin(2πft00) (6)
而根据公式(3),在t1和t2时刻接收到的对应发射的连续超声波W(t0)的回波信号W′(t1)和W′(t2)分别由下述公式(7)和公式(8)表示:
/>
从接收到的回波信号W′(t1)和W′(t2)的频域数据中可以提取出来相位成分φ′(t1)、φ′(t2),然后分别计算提取出来的相位成分φ′(t1)、φ′(t2)和连续超声波W(t0)的相位成分φ(t0)的差值,得到回波信号W′(t1)和W′(t2)的相位偏移量Δφ(t1)=φ′(t1)-φ(t0)和Δφ(t2)=φ′(t2)-φ(t0)。
类似的,可以得到在t3、t4、t5、.......时刻(假如是100ms内)接收到的回波信号的相位偏移量Δφ(t3)、Δφ(t4)、Δφ(t5)、.......。
在一些实施例中,在确定Δφ(t1)、Δφ(t2)、Δφ(t3)、Δφ(t4)、Δφ(t5)、......不同或者部分不同的情况下,可以认定智能电视10前存在用户20。
在另外一些实施例中,还可以基于相位偏移量计算出智能电视10前移动的反射物体的速度,根据反射物体的速度确定反射物体是否为用户。
例如,根据下述公式(9)可以得到反射回波信号W′(t1)和W′(t2)的反射物体的速度:
在一些实施例中,确定反射物体的速度不为0即可确定智能电视10前存在用户20。此外,在另外一些实施例中,由于运动物体可能是宠物或者扫地机器人等家具设备,故在计算出速度不为0,判断存在运动的反射物体的同时,还需要确认运动的反射物体是否为人类,只有在确定运动物体为人类的情况下,才确认智能电视前存在用户。例如,可以结合摄像头判断运动物体是否为用户。例如,在如本申请图1A和图1B所示的场景中,当智能电视10根据t1和t2时刻的回波信号的相位偏移量计算出运动物体的速度不为零时,此时开启摄像头180,若摄像头180在空间内拍摄到人类,则认为用户存在。可以理解的,智能电视10在检测到有运动物体的情况下,再开启摄像头180对空间进行拍摄,不仅减少了摄像头180的使用频率,避免了涉及到用户隐私安全的问题,而且使判断用户是否存在的结果更加准确。
此外,另外在一些实施例中,当智能电视10根据回波信号中的相位偏移量计算出速度,可以确定存在运动物体时,还需要判断计算得到的速度是否在用户正常的运动速度范围内,当速度在用户正常的运动范围内,则存在运动物体即可认为是存在用户;当速度超过用户正常的运动范围,则认为是干扰。例如,一般用户正常运动速度范围为0m/s-5m/s,当得根据相位偏移量计算得到的运动速度超出正常运动速度范围,则认为是干扰,比如说可能是宠物快速路过导致的干扰等。例如,在如本申请图1A和图1B所示的场景中,用户20在靠近智能电视10的过程中,智能电视10根据公式(6)所示的速度计算公式得到运动物体的速度为3m/s,该速度在用户正常运动速度范围0m/s-5m/s内,则存在运动物体即可认为是存在用户。
可以理解,在一些实施例中,可以持续对某一时间段内的回波信号进行分析,确定是否存在运动的反射物体。例如,智能电视10在进行用户存在检测的时候持续发射超声波信号,同时在持续接收回波信号,并对每100ms接收到的回波信号的时域数据进行傅立叶变换后得到对应的频域数据,从频域数据中提取出相位成分,进而计算出100ms内各回波信号相对于发射信号的相位偏移量。假设t至t+100ms时间段内接收到500个回波信号,其中有100个回波信号的相位偏移量相同均为Δφ(t1),150个回波信号的相位偏移量均为Δφ(t2),150个回波信号的相位偏移量随时间发生变化,则可以认为电视机10前存在运动的反射物体,进而可以确定该反射物体是否为用户。其中,分析回波信号的固定时间段可以根据实际情况确定,例如,可以是10ms至100ms之间的任意时间,也可以是10ms至1s之间的任意时间,不做限定。
可以理解,上述示例虽然是以正弦超声波信号为例,本申请的其他实施例中也可以通过分析其他类型的连续超声波信号的相位偏移量进行运动物体的存在检测。例如,对于前文提到的调频连续波,假设t0时刻发射的连续超声波信号W(t0)为:
W(t0)=cos(2πfmint0+πBt0 2/T) (10)
在经过了t1和t2时长后接收到的对应发射的连续超声波W(t0)的回波信号W′(t1)和W′(t2)分别为:
W′(t1)=AP′cos(2πfmin(t0-t1)+πB(t0-t1)2/T) (11)
W′(t2)=BP′cos(2πfmin(t0-t2)+πB(t0-t2)2/T) (12)
其中,AP′和BP′分别为两个时刻的回波幅度,fmin表示起始频率,B表示带宽,T表示扫频周期。
然后回波信号与发射信号进行下混频和带通滤波,可以得到两个时刻的相位表示如下:
根据下述公式可以得到反射回波信号W′(t1)和W′(t2)的物体的速度:
S403,根据判断结果执行预设的屏幕显示方式。
可以理解,如果判断出智能电视10前存在用户20,可以设置多种显示方式。
例如,在一些实施例中,如果判断出智能电视10前存在用户20,且智能电视10之前处于黑屏状态,则可以控制智能电视10的屏幕130根据设置的待机显示类型和显示方式显示待机显示画面,例如待机显示类型为如图5C中“待机显示类型”控件55对应的表盘时钟,待机显示方式为图5C中“显示方式”控件54对应的智能显示。
在另外一些实施例中,如果判断出智能电视10前存在用户20,且智能电视10之前显示待机画面或者处于黑屏状态,则:可以控制智能电视10直接亮屏,或者在亮屏的同时显示开机画面,或者在亮屏的同时显示用户20离开(即上次进入待机画面或者黑屏)之前观看的画面,如用户20上次离开时暂停的节目,或者在亮屏的同时播放用户20上次离开时暂停的节目。可以理解,在本申请各实施例中,节目可以是智能电视播放的各种多媒体数据,如各类音频、各类视频、游戏等等。
此外,在另外一些实施例中,在判断出智能电视10前存在用户20的情况下,还可以判断用户20相对于智能电视10的相对方向,例如,可以通过前文提到的基于多个麦克风的波束形成的方式确定用户20的方向。然后,根据用户20相对于智能电视10的相对方向确定屏幕显示方式。例如,当智能电视10之前显示待机画面或者处于黑屏状态,检测到用户20位于电视10的正前方时,直接控制智能电视10亮屏,并显示开机画面或者播放用户20上次离开时暂停的节目;当智能电视10之前处于黑屏状态,检测到用户20位于电视10的侧方时,控制智能电视10显示待机画面;当智能电视10之前显示待机画面,检测到用户20位于电视10的侧方时,控制智能电视10亮屏并显示开机画面。其中,用户20位于电视10的正前方可以是确定出的用户20相对于智能电视10的第一方向,与智能电视10屏幕的垂直方向的夹角在第一夹角范围之内,例如,第一夹角范围为0°至75°。而用户20位于电视10的侧方可以是确定出的用户20相对于智能电视10的第一方向,与智能电视10屏幕的垂直方向的夹角在第二夹角范围之内,如第二夹角范围为75°至90°。
此外,在另外一些实施例中,在判断出智能电视10前存在用户20的情况下,还可以判断用户20相对于智能电视10的移动方向,即用户20是靠近还是远离智能电视10。当智能电视10的屏幕130处于黑屏状态且用户20靠近智能电视10的情况下,控制屏幕130逐渐亮起并且显示设定的内容,例如,显示待机画面、显示开机画面、显示用户20上次离开前观看的画面(如用户20观看节目的暂停画面)。当智能电视10屏幕处于亮屏状态或者显示待机画面,并且判断出用户20是远离智能电视10时,控制屏幕130逐渐暗去,最后进入黑屏状态。
此外,在一些实施例中,还可以根据用户靠近或者远离智能电视10的速度,控制屏幕130逐渐亮起或者逐渐暗去的速度,例如,当用户靠近智能电视10的速度较大时,控制屏幕130亮起的速度较大,而当用户靠近智能电视10的速度较小时,控制屏幕130亮起的速度较小。例如,如前文所述,可以基于回波信号的相位偏移量计算用户20的移动速度,进而控制屏幕130亮起或者暗去的速度。
此外,在一些实施例中,还可以在判断出用户20相对于智能电视10的移动方向后,控制智能电视10播放的节目的音量,例如,在判断出用户20靠近智能电视10时调低智能电视10的播放音量,而在判断出用户20远离智能电视10时调高智能电视10的播放音量。
可以理解,由于多普勒频移效应,不同时刻接收到的回波信号的频率会发生变化。例如,回波信号的频率是持续升高,表明用户20是靠近智能电视10,回波信号的频率持续降低,表明用户20是远离智能电视10,故在一些实施例中,可以通过判断回波信号的等效频率是持续升高或者持续降低来判断用户20是靠近智能电视10,还是远离智能电视10。
例如,以前文提到的正弦超声波W(t)为例,回波信号W′(t)的频率f’(t)可以等效为:
其中,f为W(t)的发射频率,s(t)为回波路径,c为声速。
由上述公式看出,回波信号的频率f’(t)由回波路径s(t)决定。当用户靠近智能电视时,智能电视接收到的回波信号中的回波路径s(t)减少,所以回波信号的等效频率增大,当用户远离智能电视时,智能电视接收到的回波信号中的回波路径s(t)增大,所以回波信号的等效频率减小。
因此,在一些实施例中,在确定智能电视10前存在用户20的情况下,可以提取不同时刻回波信号的等效频率的变化,确定用户20是靠近还是远离智能电视10。
可以理解,在本申请其他实施例中,也可以采用其他现有技术判断用户20是靠近还是远离智能电视10,在此不做限制。例如,可以根据发射与接收的超声波信号的时间与声波速度,测得用户20与智能电视10之间的距离。
相应的,如果判断出智能电视10前不存在用户20,也可以设置多种显示方式。
例如,在一些实施例中,如果判断出智能电视10前不存在用户20,则保持黑屏状态或者保持待机画面。
在另外一些实施例中,如果判断出智能电视10前不存在用户20且智能电视10当前处于待机画面,则基于历史回波信号或者基于历史回波信号判断出的用户存在与否的结果,确定是否在一定时长(如30min以上)内持续不存在用户20,如果确定在一定时长内持续不存在用户20,则控制智能电视10的屏幕130进入黑屏状态。
此外,在另外一些实施例中,如果判断出智能电视10前不存在用户20且智能电视10当前处于亮屏状态,如在播放节目,则在确定一定时长(如30min以上)内持续不存在用户20的情况下,控制智能电视10的屏幕130暂停播放节目,或者显示待机画面或者进入黑屏状态。此外,如果判断出智能电视10前不存在用户20且智能电视10当前处于亮屏状态,如在播放节目,还可以先控制智能电视10暂停节目,然后在后续一定时长(如10min)内判断出仍然不存在用户20的情况下,控制屏幕130进入待机画面,然后接着在后续一定时长(如10min)内判断出仍然不存在用户20的情况下控制屏幕130进入黑屏状态。
此外,在一些情境下,如果用户在智能电视10前时而出现时而不在,此时不能因为用户短时间不在而关闭待机显示画面,故在判断前智能电视10在一定时长内持续显示待机画面且持续不存在用户20,则对应于判断结果为当前智能电视10前不存在用户20,控制智能电视10的屏幕130关闭待机显示画面进入黑屏状态。
可以理解的,上述S401至S403的执行顺序只是一种示例,在另一些实施例中,也可以采用其他执行顺序,还可以拆分或合并部分步骤,在此不做限定。
此外,可以理解,超声波信号在发射和接收路径上会存在多径效应,即超声波信号在房间内传播的过程会被多次反射,在发射的过程中,超声波信号产生频率选择性衰落,即某些发射频率的超声波信号在某些空间位置处的多径信号叠加会存在衰减,致使接收到的回波信号衰减后的能量过低,无法用于相位偏移量的估计。由于在固定空间中,同一位置发射源发射的超声波信号发生衰落的频率范围一般处于某个或者某些频率范围内,故为了解决这一问题,在本申请一些实施例中,可以采用多载频超声波信号进行用户存在的测量,即在同一时刻发送多个频率的超声波信号,确保存在某些频率的超声波信号不会与其他频率同时发生频率选择性衰落,能够用于用户存在的检测。下面还是以连续超声波信号为例进行说明。
此外,可以理解,为了确保多个载频超声波信号之间互不干扰,可以设置多载频连续超声波信号中,两个频域上相邻的连续超声波之间的频率差大于这两个连续超声波的带宽。即多载频连续超声波中的各超声波之间频域不存在重叠。
例如,如图6A所示,智能电视10可以发射频率分别为20kHz、21kHz、22kHz、……的正弦超声波信号用于用户存在的检测,由于正弦超声波信号的带宽接近零,所以发射相差1kHz的正弦超声波信号,能够确保各个载频之间不发生干扰,且不会在同一个检测位置同时发生频率选择性衰落,能够用于用户存在的检测。
再例如,如图6B所示,智能电视10可以发射频率分别为20kHz-21kHz、22kHz-23kHz、24kHz-25kHz、……的调频连续超声波信号用于用户存在的检测,图中调频连续超声波信号的带宽为1kHZ,调频连续超声波信号之间的发射频率之差为2kHz,如发射频率为20kHz-21kHz的连续超声波信号与发射频率为22kHz-23kHz的连续超声波信号的初始发射频率20kHz和22kHz之差为2kHz,最大发射频率21kHz和23kHz之差为2kHz,均大于调频连续超声波信号的带宽1kHZ,使得多载频调频连续超声波信号中的各调频连续超声波信号之间频域不存在重叠,能够确保各个载频之间不发生干扰,且不会在同一个检测位置同时发生频率选择性衰落,能够用于用户存在的检测。
可以理解,超声波信号的频率选择性衰落与超声波信号的发射源和发射物位置相关,例如,同一发射频率的连续超声波信号,由位于不同位置的发射源发射,有可能存在某一位置的发射源发射的连续超声波信号在反射物处存在频率选择性衰落,而另一位置的发射源发射的连续超声波信号在反射物处不存在频率选择性衰落的情况。
例如,以下均讨论在反射物处的信号叠加情况,图6C中位于智能电视10左侧P1处的扬声器171A发射20kHz的正弦超声波信号不会发生频率选择性衰落,发射21kHz的正弦超声波信号会发生频率选择性衰落,而位于智能电视10右侧P2处的扬声器171B发射20kHz的正弦超声波信号会发生频率选择性衰落。此时,如果设置多载频正弦超声波发射的正弦超声波频率分别为20kHz和21kHz,并且两种频率的正弦超声波都由扬声器171A发射,则可以利用不发生频率选择性衰落的20kHz的正弦超声波的回波信号进行用户存在检测。而如果设置由扬声器171A发射21kHz的正弦超声波信号,而由扬声器171B发射21kHz的正弦超声波信号,则由于两个扬声器发射的正弦超声波信号均发生频率选择性衰落,故无法采用接收到的回波信号进行用户存在的检测。因此,在一些实施例中,在采用多载频连续超声波信号进行用户存在测量时,可以选择采用同一位置的发射源发射多载频连续超声波信号。
然而,为了避免上述提到的采用不同位置的发射源发射的多载频连续超声波信号,导致连续超声波信号均发生的频率选择性衰落的问题,可以设置多载频连续超声波信号包括多个频段的连续超声波信号,并且每个不同位置处的发射源可以发射多个频段的连续超声波信号,从而确保不同位置处的发射源均存在不发生频率选择性衰落的频段的连续超声波信号用于用户存在的检测。例如,在上述例子中,可以设置智能电视10发射频率分别为20kHz、21kHz、22kHz、23kHz的正弦超声波信号,其中,扬声器171A发射20kHz和21kHz的正弦超声波信号,扬声器171B发射22kHz和23kHz的正弦超声波信号,其中,扬声器171A发射的20kHz和扬声器171B发射的22kHz的正弦超声波信号均未发生频率选择性衰落,故可确保两个扬声器发射的正弦超声波信号均存在可用于用户存在检测的回波信号。
如果多载频连续超声波信号中存在多个频段的连续超声波信号未发生频率选择性衰落,则可以基于同一时刻接收到的多个频段的回波信号的相位偏移量计算出反射物体的等效速度,然后基于等效速度来确定智能电视前是否存在运动物体。例如,可以对同一时刻接收到的对应多个频段的连续超声波的回波信号进行相位成分的提取,根据提取到的相位成分得到各个频段的回波信号对应的多个相位偏移量,通过对随时间发生变化的多个相位偏移量对应的速度求取平均值、或者使用最小二乘法等算法得到对应的等效速度。
例如,在上述例子中,图6C中位于智能电视10左侧P1处的扬声器171A发射的20kHz、21kHz的正弦超声波信号、以及位于智能电视10右侧P2处的扬声器171B发射的22kHz、23kHz的正弦超声波信号都未发生频率选择性衰落,则智能电视10控制麦克风172接收到对应的回波信号后,可以利用带通滤波器,或将回波信号混频处理后再进行低通滤波,得到与扬声器171A、扬声器171B发射的20kHz、21kHz、22kHz、23kHz的正弦超声波信号W1(t)、W2(t)、W3(t)、W4(t)分别对应的回波信号W1′(t)、W2′(t)、W3′(t)、W4′(t)。提取回波信号W1′(t)、W2′(t)、W3′(t)、W4′(t)的频域数据中的相位成分,根据相位成分得到这四个频段对应的速度,根据估算公式,例如取平均值公式或者最小二乘拟合公式更加准确的速度。
例如,以得到上述发射的4个频段的20kHz、21kHz、22kHz、23kHz的正弦超声波信号的分别对应的回波信号为例,通过使用取平均值的方式估算得到更加准确的速度。
假设t0时刻发射的正弦超声波信号W1(t0)、W2(t0)、W3(t0)、W4(t0)的相位成分分别为φ1(t0)、φ2(t0)、φ3(t0)、φ4(t0),对应的在t1时刻4个频段分别对应的回波信号W1′(t1)、W2′(t1)、W3′(t1)、W4′(t1)中的相位成分为:φ1′(t1)、φ2′(t1)、φ3′(t1)、φ4′(t1),然后根据相位成分分别计算出各频段对应的速度v1′(t1)、v2′(t1)、v3′(t1)、v4′(t1)。
然后根据下述均值计算公式(17)可以得到等效速度AveΔv(t1),
类似的,可以得到t2时刻4个频段的回波信号的等效速度AveΔv(t2),然后通过判断AveΔv(t1)和AveΔv(t2)是否。
可以理解,通过取均值估算得到的等效速度位于这四个频段对应的速度值之间,使得估算得到的速度更准确,从而避免了由于某个频段受到多径效应的影响,使得到的相位偏移量误差较大,而导致通过相位偏移量误判用户是否存在的情况。
如前文所描述的,在开启智能显示功能之后,智能电视能够发射预设类型(如正弦超声波信号)以及预定发射频率的连续超声波信号进行用户存在的检测,为了使得接收到的回波信号的能量(下文称为回波能量)大小适用于用户存在的检测,还需要预先设置好发射的连续超声波的音量(下文称为预定发射音量)。由于不同的电子设备硬件(如扬声器、麦克风等)的工作性能不同,故适用于不同电子设备的预定发射音量也不同。
例如,智能电视的生产厂商可以为生产出的每台智能电视设置适合各智能电视的预定发射音量,从而保证出厂的智能电视具有适合自身的预定发射音量。然而,出厂后如果使用时间较长,智能电视的硬件性能将发生变化,出厂前设置的预定发射音量将不再适用于该智能电视。而对于已经出厂但未设置预定发射音量的智能电视,在有些实施例中,可以将工作性能较优的智能电视作为基准设备,设定出适合基准设备的预定发射音量,然后将基准设备的预定发射音量作为这些已出厂智能电视的预定发射音量。然而,由于有些已出厂智能电视的硬件性能与基准设备的硬件性能相差较大,故适用于基准设备的预定发射音量并不适用于这些已出厂的智能电视。
因此,本申请的一些实施例提供了一种预定发射音量的校准方法,通过将智能电视接收到的回波信号的能量与基准设备的基准回波能量进行比对,确定出适用于智能电视的预定发射音量。具体地,图7示出了一种对上述图3所示的智能电视10预定发射音量的校准方法。如图7所示,该方法包括:
S701,检测智能显示功能的开关是否打开。
如果检测到智能电视10的智能显示功能已经打开,则可以进入S702,在用户不存在的情况下进行预定发射音量的校准;否则,可以等待用户打开智能显示功能开关后再进行校准。在另一些实施例中,也可以在使用一段时间后自动打开智能显示功能的开关,进行预定发射音量的校准。
S702,判断用户是否存在。
在一些实施例中,对智能电视10的预定发射音量的校准可以在用户不存在的情况下进行,以免影响用户对智能电视10的正常使用。例如,可以通过上文提到的技术方案,利用回波信号的相位偏移量判断用户是否存在,也可以采用其他已有技术方案判断用户是否存在,具体方式不做限定。
当智能电视10判断到用户不存在后,正式开始预定发射音量的校准,进入S703。否则,重复执行S702。
可以理解,在另外一些实施例中,也可以不判断用户是否存在,直接在一段时间内(如智能电视10使用一定时间后)进行预定发射音量的校准。
S703,控制扬声器171以智能电视10当前所设置的发射音量V1发射连续超声波信号,并且控制麦克风172接收回波信号,得到对应音量V1的回波能量E1。
可以理解,回波能量E1可以通过对某一时间段内智能电视接收到的多个回波信号的频域数据中的振幅进行积分获得,例如,对30ms内的回波信号的频域数据中的振幅进行积分。例如,以发射信号为前文的正弦超声波W(t)=Apcos(2πft-φ0)为例,回波能量E1可以取t3至t4时刻接收到的对应的多个回波信号的振幅AP′的积分,假设该时间段内不同时刻接收到的回波信号的AP′不同,则E1为:
可以理解,类似的,本申请实施例提到的基准回波能量E0也可以采用相同的方式计算而得。此外,积分的时间段长短可以根据实际需要设定,例如还可以是10ms、100ms等,在此不做限制。
S704,判断回波能量E1与基准回波能量E0之间的差值是否在第一能量差值范围内。
若E1与E0之间的差值在第一能量差值范围内,则表示发射信号的音量为V1能够满足用户存在的检测,进入S706,校准完成,否则,进入S705,对V1的大小进行调整。
S705,调整发射音量V1的大小。
例如,在一些实施例中,当E1大于E0时,调小发射音量V1,当E1小于E0时,调大发射音量V1。
S706,校准完成。
可以理解的,一般对智能电视10进行预定发射音量校准的次数较少,一般为出厂后调整一次即可,或设置为固定一定时间段后调整一次,并且调整过程不需要用户介入,用户体验较好。
如前文所述,可以采用超声波信号,检测智能电视前是否存在用户。例如,通过超声波检测反射物体与智能电视之间的距离,并根据反射物体与智能电视之间的距离确定智能电视前是否存在用户;或者,通过超声波的多普勒频移成分的幅度积分、或者回波信号相对于发射信号的相位偏移量的变化确定智能电视前是否存在用户。在这些检测方案中,如果以固定的发射音量发射超声波信号,在用户与智能电视之间的相对位置发生变化时,存在用户接收到的超声波信号能量过高的情况,会对用户身体造成危害,或者用户接收到的超声波信号的能量较弱,用户反射回的回波信号的能量大小无法满足后续的用户存在检测需求。
例如,在检测到智能电视前存在用户,且用户与智能电视之间的距离发生变化时,如果智能电视以固定的发射音量发射超声波信号,用户接收到的超声波信号的能量大小会随距离的增大而减小。具体地,当用户距离智能电视较近时,用户接收到的超声波信号的能量较大,有可能会对用户的身体造成伤害,例如,超过安全门限(如频率为20kHz的超声波的强度上限建议值为75dB)的超声波会对人类产生身体危害。而当用户距离智能电视较远时,智能电视接收到的用户反射回的回波信号的能量较小,接收到的回波信号的能量的大小无法满足后续用户存在的检测需求。
再例如,超声波信号的传播具有辐射指向性,即发射的超声波信号在某些传播方向的能量较强,而在某些传播方向的能量较弱。例如,智能电视通过扬声器播放超声波信号时,智能电视正前方传播的超声波信号的能量较强,足以用于用户存在的检测,而智能电视侧方传播的超声波信号的能量较弱,使得反射物体反射回的回波信号的能量较弱,无法用于用户存在的检测。
此外,儿童和宠物对超声波信号能量的耐受度小于成人,如果在进行用户检测的过程中,以固定的音量发射超声波信号,该音量可能适用于成人,但是可能会对小孩和宠物造成危害。
为了解决上述问题,本申请的一些实施例提供了一种超声波检测音量的自适应调整方法,可以根据用户与智能电视之间的相对位置的变化、用户的年龄、用户身边是否存在宠物等情况实时调整发射超声波信号的发射音量,以在确保用户反射回的回波信号的能量大小足以用于检测用户的运动的同时,避免用户、宠物的身体遭受强能量超声波信号的危害。
可以理解,本申请的自适应调整方法适用于各种类型的超声波信号,比如连续超声波信号、脉冲超声波信号。本申请的自适应调整方法也适用于各种用户存在检测的技术方案,如前文提到的通过超声波检测反射物体与智能电视之间的距离,并根据反射物体与智能电视之间的距离确定智能电视前是否存在用户的技术方案;或者,通过超声波的多普勒频移成分的幅度积分检测智能电视前是否存在用户的技术方案;或者基于回波信号相对于发射信号的相位偏移量的变化确定智能电视前是否存在用户的技术方案。
例如,在一些实施例中,智能电视在利用超声波信号进行用户存在检测时,在检测到智能电视前存在用户的情况下,如果测量到用户与智能电视之间的距离d较小,则降低超声波信号的发射音量,以确保处于超声波环境中的用户接收到的超声波信号的能量处于安全门限之下,并在设置降低后的音量时考虑接收到的回波信号能满足用户存在的检测需求;如果测量到用户与智能电视之间的距离d较大,则提高发射的超声波信号的音量,以确保接收到的回波信号的能量足以用于用户存在的检测,而在设置提高后的发射音量值时,需要确保提高后的音量不会太高,对处于超声波环境中的用户造成身体伤害。具体方案将在下文中结合图8和图9进行详细介绍。
此外,在另外一些实施例中,在智能电视利用超声波信号进行用户存在检测的过程中,可以测量用户相对于智能电视的方向,例如,可以通过前文提到的基于多个麦克风的波束形成的方式确定用户相对于智能电视的方向。然后根据用户相对于智能电视的方向来调整发射音量。例如,当测量出用户位于智能电视的正前方时,采用较小的发射音量发射超声波信号,当测量出用户位于智能电视的侧方时,采用较大的发射音量发射超声波信号,以确保能够准确的检测到位于智能电视侧方的用户的运动情况。例如,正前方可以是确定出的用户相对于智能电视的第一方向,与智能电视屏幕的垂直方向的夹角在第一夹角范围之内,例如,第一夹角范围为0°至75°。而用户位于智能电视的侧方可以是确定出的反射物体相对于智能电视的第二方向,与智能电视屏幕的垂直方向的夹角在第二夹角范围之内,如第二夹角范围为75°至90°。具体方案将在下文中结合图10进行详细介绍。
此外,在另外一些实施例中,在智能电视利用超声波信号进行用户存在检测的过程中,当检测到存在相对于智能电视运动的用户时,可以通过智能电视的相机拍摄用户的照片,并通过图像识别技术识别照片中的用户是是成人还是儿童,用户身边是否存在宠物。如果确定用户是儿童或者用户身边存在宠物,则可以采用比用户是成人的发射音量更小的发射音量来发射超声波信号。具体方案将在下文中结合图12进行详细介绍。
下面根据本申请实施例,描述随着反射物体与智能电视之间的距离d的变化自适应调整发射超声波的发射音量的技术方案。
具体地,在一些实施例中,可以为用户与智能电视之间的距离d设置多个距离范围,并预先为每个距离范围设置对应的发射音量范围,在用户与智能电视之间的距离d位于某一距离范围中时,将智能电视发射超声波信号的发射音量调整在与该距离范围对应的发射音量的范围内时,可以确保接收到的回波信号能够满足检测需求,并对处于超声波环境中的用户不造成身体伤害,即用户接收到的超声波处于安全门限之下。
可以理解,在本申请一些实施例中,可以预先通过测试,确定对应各距离范围的发射音量范围或者发射音量,即预先确定当用户处于某一距离范围时,采用哪些发射音量或者哪个发射音量,既能确保接收到的回波信号能够满足检测,又不会对处于超声波环境中的用户造成身体伤害。在一些实施例中,在设置与距离范围对应的发射音量范围或者发射音量时,距离d越大,距离d所处的距离范围所对应的发射音量越大,即随着用户与智能电视之间距离的增大,提高超声波的发射音量。
例如,下表1示出了用户与智能电视之间的不同距离范围所对应的发射音量范围的一种示例。
表1
距离范围 发射音量范围
(0,d1) (0,Vd1)
(d1,d2) (Vd1,Vd2)
(d2,d3) (Vd2,Vd3)
(d3,d4) (Vd3,Vd4)
其中,d1、d2、d3、d4依次增大,Vd1、Vd2、Vd3、Vd4依次增大。可以理解,将智能电视发射超声波信号的发射音量调整至距离d所处的距离范围所对应的发射音量范围时,能确保反射物体不受超声波信号的危害,并且由反射物体反射回的超声波信号能够满足用户存在检测的需求。例如,当反射物体与智能电视之间的距离d位于距离范围(d1,d2)时,如果调整智能电视发射超声波信号的发射音量处于发射音量范围(Vd1,Vd2),则能确保反射物体不受超声波信号的危害,并且由反射物体反射回的超声波信号能够满足用户存在检测的需求。
此外,如前所述,也可以为不同的距离范围设置一个对应的发射音量,例如,下表2示出了用户与智能电视之间的不同距离范围所对应的发射音量的一种示例。
表2
距离范围 发射音量
(0,d1) Vd1'
(d1,d2) Vd2'
(d2,d3) Vd3'
(d3,d4) Vd4'
其中,d1、d2、d3、d4依次增大,Vd1'、Vd2'、Vd3'、Vd4'依次增大。可以理解,将智能电视发射超声波信号的发射音量调整至距离d所处的距离范围所对应的发射音量时,能确保反射物体不受超声波信号的危害,并且由反射物体反射回的超声波信号能够满足用户存在检测的需求。例如,当反射物体与智能电视之间的距离d位于距离范围(d1,d2)时,如果调整智能电视发射超声波信号的发射音量为Vd2',则能确保反射物体不受超声波信号的危害,并且由反射物体反射回的超声波信号能够满足用户存在检测的需求。
具体地,图8根据本申请的一些实施例,示出了一种智能电视根据反射物体与智能电视之间的距离自适应调整智能电视发射超声波信号的发射音量的流程示意图,其中执行主体可以为智能电视10中的处理器110。
可以理解,在图8所示的实施例中,在自适应调整音量的过程中,通过预设设定与各距离范围对应的音量范围来调整发射音量。
此外,可以理解,如下图8所示的调整过程,可以在用户运动的过程中随着距离d的变化多次进行,如持续进行或者每个预定时间间隔(如100ms)进行一次。
具体地,如图8所示,该方法包括:
S801,检测智能电视的智能显示功能的开关是否打开。
如果检测到智能电视的智能显示功能已经打开,则可以进入S802,检测是否存在用户;否则,可以等待用户打开智能显示功能开关打开后再进行发射音量V2的自适应调整。
S802,判断用户是否存在。
可以理解的,在该实施例中,可以通过现有的各种超声波检测用户存在的技术手段检测用户是否存在,例如,前文提到的通过超声波检测用户与智能电视之间的距离d,并根据距离d确定智能电视前是否存在用户;或者,通过超声波的多普勒频移(DopplerShift)成分的幅度积分确定智能电视前是否存在用户;或者,根据回波信号相对于发射信号的相位偏移量的变化确定智能电视前是否存在用户,如图4所示的实施例。
若智能电视前存在用户,则进入S803进行音量的自适应调整;否则重复执行S802。
S803,控制智能电视以当前设定的发射音量Vd发射超声波信号,并获取经用户反射后接收到的回波信号。
例如,在图1A-1B所示的场景中,可以控制智能电视10的扬声器171以当前设定的发射音量Vd发射超声波信号,并控制智能电视10的麦克风172接收回波信号。其中,在初次发射超声波信号时,当前设定的发射音量Vd可以是前文提到的预定发射音量V1。而在后续流程中,当前设定的发射音量Vd即为前一次执行S806后调整的音量。
S804,基于接收到的回波信号,确定用户与智能电视之间的距离d。
可以理解,在本申请各实施例中,可以采用各种技术手段来确定用户与智能电视之间的距离d,在此不做限制。例如,可以根据发射与接收的超声波信号的时间与声波速度,直接测得用户与智能电视的距离d。
S805,获取距离d所处的距离范围所对应的发射音量范围。
例如,如上表1所示,假设计算出的用户与智能电视之间的距离d属于距离范围(d1,d2),则对应的发射音量范围为(Vd1,Vd2)。
可以理解,在其他实施例中,在对应距离范围设置了对应的单个或者多个音量的方案中,此处也可以是获取与距离d所处的距离范围所对应单个发射音量或者多个发射音量大小。例如,如表2所示的,当测量到用户与智能电视之间的距离d的范围为(d1,d2)时,对应的发射音量的大小为Vd2'。
S806,确定下一次发射音量Vd的大小为距离d所处的距离范围所对应的音量范围之内的一音量值。
例如,距离d属于距离范围(d1,d2),对应的发射音量范围为(Vd1,Vd2),如果音量Vd的大小大于Vd2,则在下一次发射超声波信号时降低Vd的大小为发射音量范围(Vd1,Vd2)中的任一值,如果Vd小于Vd1,则在下一次发射超声波信号时提高音量Vd的大小为发射音量范围(Vd1,Vd2)中的任一值。
此外,可以理解,在采用距离能量Esd表示用户与智能电视之间的距离d时,
可以理解,由于上述流程S801至S806在用户运动的过程中随着距离d的变化多次进行,所以可以根据用户与智能电视之间的距离变化,实时地调整发射音量的大小,以在用户距离智能电视较远时,调高超声波的发射音量,在用户距离智能电视较近时,降低超声波的发射音量,实现发射音量的自适应调整。从而在确保用户反射回的回波信号的能量大小足以用于检测用户的运动的同时,避免用户、宠物的身体遭受强能量超声波信号的危害。
可以理解的,上述S801至S806的执行顺序只是一种示例,在另一些实施例中,也可以采用其他执行顺序,还可以拆分或合并部分步骤,在此不做限定。
可以理解,在存在运动的用户的情况下,智能电视发射连续超声波信号之后,一定时间内智能电视接收到的回波信号中,有些回波信号来自运动的用户,有些回波信号来自静止物体,例如家具、家电等等。故而这些回波信号的总回波能量E中包括了用户运动引入的运动成分能量和静止物体引入的静止成分能量。其中,运动成分能量的大小与用户和智能电视之间的距离d负相关,即运动成分能量越小,则表示用户与智能电视之间的距离d越远,运动成分能量越大,则表示用户与智能电视之间的距离d越近。故在本申请一些实施例中,可以通过提取回波信号的回波能量E中的运动成分能量(下文称为距离能量Esd),表示用户与智能电视之间的距离d,相应地,也可以为各距离范围设置对应的运动成分能量范围(下文称为距离能量范围)。如此,在此处,无需直接计算用户与智能电视之间的距离d,只需根据回波信号计算出表示距离d的距离能量Esd即可。此外,可以理解,动成分能量大小除了与距离成负相关,还与反射物体的反射系数、反射截面积大小有关。为了剔除这些因素对距离远近判断造成的影响,可以在设置距离能量范围时适当的增加余量,使其囊括合理的用户反射系数和截面积区间,或者,可以在启动基于运动成分能量测量用户距离的功能时,引导用户进行个性化的校准测量,对反射物体的反射系数、反射截面积等因素引入的距离误差进行校准。
如前所述,回波信号的回波能量E可以通过对预设时间段内智能电视接收到的多个回波信号的频域数据中的振幅进行积分获得,因此,回波能量E中的运动成分能量Es,即此处的距离能量Esd可以通过以下方式得到:从预设时间段内智能电视接收到的多个回波信号中,筛选出由于用户运动所引入的运动回波信号,然后对运动回波信号的频域数据中的振幅进行积分得到运动成分能量Es。即运动成分能量Es是运动回波信号的回波能量。
如前文所述,不同时刻接收到的运动回波信号相对于发射信号的相位偏移量不同,故通过对回波信号的相位偏移量进行分析,可以筛选出相位偏移量随时间变化的运动回波信号,即将在不同时刻接收到的、由同一运动物体反射的相位偏移量不同的回波信号确定为运动回波信号。
对应地,在采用距离能量Esd表示用户与智能电视之间的距离d时,可以为各距离范围设置对应的运动成分能量范围,即距离能量范围,然后将距离能量范围与前述的发射音量范围建立对应关系,从而将回波信号计算得到的距离能量Esd所处的距离能量范围所对应的发射音量范围,作为距离d所处的距离范围所对应的发射音量范围。
例如,下表3示出了基于表1的关系,设置的距离范围、距离能量范围以及发射音量范围之间的对应关系。
表3
距离范围 距离能量范围 发射音量范围
(0,d1) (Esd2,Esd1) (0,Vd1)
(d1,d2) (Esd3,Esd2) (Vd1,Vd2)
(d2,d3) (Esd4,Esd3) (Vd2,Vd3)
(d3,d4) (Esd5,Esd4) (Vd3,Vd4)
其中,d1、d2、d3、d4依次增大,Esd1、Esd2、Esd3、Esd4、Esd5依次减小。距离范围(如(d1,d2))的最小值(如d1)对应距离能量范围(如(Esd3,Esd2))的最大值(如Esd2),距离范围(如(d1,d2))的最大值(如d2)对应距离能量范围的最小值(如Esd3)。
此外,由于回波信号的运动成分能量与发射音量的大小正相关,即发射音量越大,运动成分能量越大,发射音量越小,运动成分能量越小,故在一些实施例中,可以采用运动成分能量范围(下文称为音量能量范围)表示与各距离范围或者距离能量范围对应的发射音量范围。如此,无需预先测量好对应各距离范围的发射音量范围,在自适应调整发射音量的过程中,只要确定发射音量调整后接收到的运动回波信号的运动成分能量,是否位于对应的音量能量范围,即可确定调整后的发射音量是否位于距离范围对应的发射音量范围内。可以理解,在一些实施例中,如果为各距离范围设置的是对应的单个发射音量,则此处也可以对应单个的发射音量设置音量能量范围。
可以理解,虽然此处的音量能量范围和前文提到的距离能量范围所表示的数值均为回波信号的运动成分能量的大小,但是,音量能量范围与发射音量相关,用于采用运动成分能量替代发射音量范围,距离能量范围与距离d相关,用于采用运动成分能量替代距离能量范围,两者并不相同,没有必然关系。
此外,可以理解,由于距离能量和音量能量本质上都是回波信号的运动成分能量,所以,距离能量和音量能量的计算方式可以参考前文提到的运动成分能量的计算方式。
例如,下表4示出了基于表1或者3,设置的音量能量范围与发射音量范围之间的对应关系。
表4
音量能量范围 发射音量范围
(0,Esv1) (0,Vd1)
(Esv1,Esv2) (Vd1,Vd2)
(Esv2,Esv3) (Vd2,Vd3)
(Esv3,Esv4) (Vd3,Vd4)
其中,Esv1、Esv2、Esv3、Esv4依次增大。
如上文描述的,在一些实施例中,可以通过距离能量Esd表示用户与智能电视之间的距离d,各距离范围可以用对应的距离能量范围表示,而如上所述,发射音量范围可以用音量能量范围表示,故在一些实施例中,只需测量用户相对于智能电视运动过程中的距离能量Esd,便可基于距离能量范围确定对应的音量能量范围,然后基于音量能量范围调整智能电视的发射音量Vd。例如,下表5示出了基于表1、表3、表4确定的距离范围、距离能量范围、音量能量范围以及发射音量范围之间的对应关系。
表5
距离范围 距离能量范围 音量能量范围 发射音量范围
(0,d1) (Esd2,Esd1) (0,Esv1) (0,Vd1)
(d1,d2) (Esd3,Esd2) (Esv1,Esv2) (Vd1,Vd2)
(d2,d3) (Esd4,Esd3) (Esv2,Esv3) (Vd2,Vd3)
(d3,d4) (Esd5,Esd4) (Esv3,Esv4) (Vd3,Vd4)
下面结合图9详细介绍通过距离能量Esd表示用户与智能电视之间的距离d,用距离能量范围表示各距离范围,用音量能量范围表示发射音量范围,在用户相对于智能电视移动的过程中,自适应调整发射音量的一种技术方案。
具体地,图9根据本申请的一些实施例,示出了一种智能电视根据发射音量对应的回波信号中的距离能量Esd自适应调整发射音量Vd的流程示意图,其中执行主体可以为智能电视10中的处理器110。
此外,可以理解,如下图9所示的调整过程,可以在用户运动的过程中随着距离d的变化多次进行,如持续进行或者每个预定时间间隔(如100ms)进行一次。
具体地,如图9所示,该方法包括:
S901至S903,其中S901至S903与S801至S803相同,在此不再赘述。
S904,基于接收到的回波信号,计算表示用户与智能电视之间的距离d的距离能量Esd。
距离能量Esd的计算方式可以采用S804中方式,在此不再赘述。
S905,获取距离能量Esd所处的距离能量范围所对应的音量能量范围。
例如,如上表5所示,假设基于回波信号计算出的距离能量Esd属于音量能量范围(Esd3,Esd2),则对应的音量能量范围为(Esv1,Esv2)。
S906,判断当前距离能量是否在获取的音量能量范围之内。
具体地,如前所述,回波信号的运动成分能量,即距离能量Esd与发射音量Vd的大小正相关,所以可以判断当前计算出的距离能量Esd与获取的音量能量范围的关系,例如,在Esd属于距离能量范围(Esd3,Esd2),对应的音量能量范围为(Esv1,Esv2)的情况下,进入步骤S910,完成音量自适应调整;在Esd不属于距离能量范围(Esd3,Esd2),对应的音量能量范围为(Esv1,Esv2)的情况下,进入步骤S907,根据Esd是小于Esv1还是大于Esv2的情况,对发射音量Vd进行调整。
S907,对发射音量Vd进行调整。
如果Esd是小于Esv1,而Vd与Esd正相关,则说明当前的发射音量Vd过低,需要提高发射音量Vd的大小;如果Esd是大于Esv2,则说明当前的发射音量Vd过高,需要降低发射音量Vd的大小。
S908,判断调整后的发射音量Vd的大小是否大于音量阈值Vt,并且以大于音量阈值Vt的发射音量Vd发射超声波的持续时间T是否大于时间阈值Tv。
可以理解,当用户与智能电视之间的距离检测出现错误时,可能出现检测出的用户与智能电视之间的距离持续较大的情况,在这种情况下为了使得运动成分能量Es保持在对应距离范围的运动成分能量范围内,发射音量Vd可能被长时间调高或者保持在高音量,进而使得用户长时间保持在高能量的超声环境中,对用户身体造成伤害。故为了解决这一问题,在提高发射音量Vd的情况下,需要判断提高的音量Vd是否大于音量阈值Vt,并且以大于音量阈值Vt的音量Vd发射超声波的持续时间T是否大于时间阈值Tv。
例如,音量阈值Vt与用户与智能电视之间的距离d相关,用户与智能电视之间的距离d越大,音量阈值Vt越大。
可以理解,在另外一些实施例中,也可以在调整发射音量Vd前执行S908,顺序不做限制。
如果判断出调整后的发射音量Vd大于音量阈值Vt,并且以大于音量阈值Vt的发射音量Vd发射超声波的持续时间T大于时间阈值Tv,则表明用户长时间处于在高能量的超声环境中,进入S909,否则,返回S903,控制智能电视以当前设定的发射音量Vd发射超声波信号,并获取经用户反射后接收到的回波信号。
S909,减少发出的超声波信号占空比,降低检测帧率。
可以理解的,可以通过减少发射的超声波信号占空比,降低检测帧率,来避免用户长时间处于在高能量的超声环境中,即将原来发射超声波信号的一个信号周期中的通电时间减少。例如,可以将一个信号周期中的通电时间减少到50%,从而确保用户不会长时间暴露在高能量超声环境下,提高安全性。
在S909之后,返回S903,判断调整后的发射音量Vd是否能够在调整发射音量Vd后,由回波信号计算出的距离能量Esd调整至对应音量能量范围内。
S910,完成音量自适应调整。
可以理解的,上述S901至S910的执行顺序只是一种示例,在另一些实施例中,也可以采用其他执行顺序,还可以拆分或合并部分步骤,在此不做限定。
此外,可以理解,由于上述流程S901至S910在用户运动的过程中随着距离d的变化多次进行,所以可以根据用户与智能电视之间的距离变化,实时地调整发射音量的大小,以在用户距离智能电视较远时,调高超声波的发射音量,在用户距离智能电视较近时,降低超声波的发射音量,实现发射音量的自适应调整。从而在确保用户反射回的回波信号的能量大小足以用于检测用户的运动的同时,避免用户、宠物的身体遭受强能量超声波信号的危害。
如前所述,超声波信号的传播具有辐射指向性,故智能电视通过扬声器播放超声波信号时,智能电视正前方传播的超声波信号的能量较强,足以用于用户存在的检测,而智能电视侧方传播的超声波信号的能量较弱,使得反射物体反射回的回波信号的能量较弱,无法用于用户存在的检测。因此,在一些实施例中,在智能电视利用超声波信号进行用户存在检测的过程中,可以测量用户相对于智能电视的方向,例如,可以通过前文提到的基于多个麦克风的波束形成的方式确定用户相对于智能电视的方向。然后根据用户相对于智能电视的方向来调整发射音量。具体地,图10根据本申请一些实施例,示出了根据用户相对于智能电视的方向,自适应调整发射音量的一种方法的流程示意图。
此外,可以理解,如下图10所示的调整过程,可以在用户运动的过程中随着距离d的变化多次进行,如持续进行或者每个预定时间间隔(如100ms)进行一次。
具体地,如图10所示,包括:
S1001和S1002,其中S1001和S1002与S801和S802相同,在此不再赘述。
S1003,确定用户相对于智能电视的方向。
可以理解,可以采用现有的各种技术确定用户相对于智能电视的方向,例如,可以通过前文提到的基于多个麦克风的波束形成的方式确定用户相对于智能电视的方向。
S1004,获取与用户与智能电视之间的相对方向R所属的方向范围相对应的音量范围。
具体地,可以预先设置为用户与智能电视之间的不同方向设置多个方向范围,并为各方向范围设置不同的适用的发射音量或者发射音量范围。可以理解,在用户相对于智能电视的方向r位于某一方向范围中时,将智能电视发射超声波信号的发射音量调整在与该方向范围对应的发射音量或者发射音量范围内时,可以确保接收到的回波信号能够满足检测需求,并对处于超声波环境中的用户不造成身体伤害。
例如,可以设置两个方向范围,一个表示智能电视的正前方,即用户相对于智能电视的第一方向r1,与智能电视屏幕的垂直方向的夹角在(0,r1)范围内,一个表示智能电视的侧方,即用户相对于智能电视的第二方向r2,与智能电视屏幕的垂直方向的夹角在(r1,r2)的范围内。例如,r1可以是75°,r2可以是90°。下表6示出了方向范围与发射音量之间的对应关系:
表6
方向范围 发射音量
(0,r1) Vr1
(r1,r2) Vr2
其中,Vr2大于Vr1,即用户位于智能电视的侧方时的发射音量大于用户位于智能电视正前方时的发射音量,以确保智能电视接收到的回波信号能够满足检测侧方用户的需求,同时,确保设置的音量不会对用户造成身体伤害。
S1005,将下一次发射超声波信号的发射音量Vd的大小调整为获取的与方向范围对应的发射音量。
例如,检测到用户相对于智能电视的方向r位于方向范围(r1,r2),即位于智能电视侧方,则将将下一次发射超声波信号的发射音量Vd调整为Vr2。
可以理解,由于上述流程S1001至S1005在用户运动的过程中随着方向r的变化多次进行,所以可以根据用户与智能电视之间的方向变化,实时地调整发射音量的大小,以在测量出用户位于智能电视的正前方时,采用较小的发射音量发射超声波信号,在测量出用户位于智能电视的侧方时,采用较大的发射音量发射超声波信号,以确保能够准确的检测到位于智能电视侧方的用户的运动情况。
此外,可以理解,在前文中提到,由于回波信号的运动成分能量与发射音量的大小正相关,即发射音量越大,运动成分能量越大,发射音量越小,运动成分能量越小,故在一些实施例中,可以采用运动成分能量范围(下文称为方向能量范围)表示与各角度范围对应的发射音量或者发射音量范围。如此,无需预先测量好对应各角度范围的发射音量或者发射音量范围,在自适应调整发射音量的过程中,只要确定发射音量调整后接收到的运动回波信号的运动成分能量,是否位于对应的方向能量范围内,即可确定调整后的反射音量是否位于角度范围对应的发射音量范围内。
此外,可以理解,由于角度能量本质上是回波信号的运动成分能量,所以,角度能量的计算方式可以参考前文提到的运动成分能量的计算方式。
例如,下表7示出了基于表6,设置的方向范围与、方向能量范围、发射音量之间的对应关系。
表7
方向范围 发射音量 方向能量范围
(0,r1) Vr1 (Esr1,Esr2)
(r1,r2) Vr2 (Esr3,Esr4)
其中,Esr1、Esr2、Esr3、Esr4依次增大。由于方向能量范围与发射音量呈正相关,所以设置Esr1、Esr2、Esr3、Esr4依次增大,可以确保当用户的角度能量处于范围(Esr1,Esr2)时的发射音量小于处于范围(Esr3,Esr4)时的发射音量,即对应Vr1小于Vr2,用户在智能电视侧方的发射音量大于用户在智能电视正前方的发射音量。
下面结合图11详细介绍通过方向能量范围表示角度范围对应的发射音量,在用户相对于智能电视移动的过程中,自适应调整发射音量的一种技术方案。
在一些实施例中,图11的执行主体可以为智能电视10中的处理器110。
此外,可以理解,如下图11所示的调整过程,可以在用户运动的过程中随着距离d的变化多次进行,如持续进行或者每个预定时间间隔(如100ms)进行一次。
具体地,如图11所示,该方法包括:
S1101和S1102,其中S1101和S1102与S801和S802相同,在此不再赘述。
S1103,确定用户相对于智能电视的方向r,并获取与方向r所处的方向范围对应的方向能量范围。
可以理解,可以采用现有的各种技术确定用户相对于智能电视的方向,例如,可以通过前文提到的基于多个麦克风的波束形成的方式确定用户相对于智能电视的方向。并且,角度能量Esr的计算方式可以参考S804中运动成分能量的计算方式。
S1104,确定方向r所处的方向范围与上一次测量的方向r'所处的方向范围是否相同。
由于用户可能运动过程中有一段时间(如30min)是处于智能电视正前方或者侧方的,故需要先判断方向r所处的方向范围是否与前一次判断的相同。如果相同,则进入S1105,保持当前的发射音量Vr;如果不同,则进入S1106,调整发射音量。
S1105,保持当前的发射音量Vr。
在S1105后,进入S1109,确定音量自适应调整完成。
S1106,调整发射音量Vr的大小,并以调整后的发射音量发射超声波信号。
具体地,如果方向r所处的方向范围与上一次测量的方向r'所处的方向范围相比,方向增大,则说明用户从智能电视的正前方向侧方移动,需要调高发射音量Vr,如果方向减小,则说明用户从智能电视的侧方向正前方向移动,需要降低发射音量Vr。
S1107,获取回波信号,并基于回波信号计算方向能量Esr。
S1108,判断方向能量Esr是否属于获取的方向能量范围之内。
如果判断方向能量Esr属于获取的方向能量范围之内,则进入S1109,确定音量自适应调整完成,如果判断方向能量Esr不属于获取的方向能量范围之内,则返回S1106继续调整发射音量Vr的大小。
S1109,确定音量自适应调整完成。
可以理解,当用户与智能电视之间的方向检测出现错误时,发射音量Vd可能被长时间调高或者保持在高音量,进而使得用户长时间保持在高能量的超声环境中,对用户身体造成伤害。故为了解决这一问题,在一些实施例中,在上述步骤S1106中,在提高发射音量Vr的情况下,需要判断提高的音量Vr是否大于音量阈值Vt,并且以大于音量阈值Vt的音量Vr发射超声波的持续时间T是否大于时间阈值Tv。如果以大于音量阈值Vt的发射音量Vr发射超声波的持续时间T大于时间阈值Tv,表明用户长时间处于在高能量的超声环境中,在以调整后的发射音量Vr发射超声波信号时,在减少发出的超声波信号占空比,降低检测帧率。
可以理解的,可以通过减少发射的超声波信号占空比,降低检测帧率,来避免用户长时间处于在高能量的超声环境中,即将原来发射超声波信号的一个信号周期中的通电时间减少。例如,可以将一个信号周期中的通电时间减少到50%,从而确保用户不会长时间暴露在高能量超声环境下,提高安全性。
可以理解的,上述S1101至S1109的执行顺序只是一种示例,在另一些实施例中,也可以采用其他执行顺序,还可以拆分或合并部分步骤,在此不做限定。
可以理解,由于上述流程S1101至S1109在用户运动的过程中随着方向r的变化多次进行,所以可以根据用户与智能电视之间的方向变化,实时地调整发射音量的大小,以在测量出用户位于智能电视的正前方时,采用较小的发射音量发射超声波信号,在测量出用户位于智能电视的侧方时,采用较大的发射音量发射超声波信号,以确保能够准确的检测到位于智能电视侧方的用户的运动情况。
如前所述,儿童和宠物对超声波信号能量的耐受度小于成人,如果在进行用户检测的过程中,以固定的音量发射超声波信号,该音量可能适用于成人,但是可能会对小孩和宠物造成危害。故本申请一些实施例公开了一种音量自适应调整方法,在智能电视利用超声波信号进行用户存在检测的过程中,当检测到存在相对于智能电视运动的用户时,可以通过智能电视的相机拍摄用户的照片,并通过图像识别技术识别照片中的用户是是成人还是儿童,用户身边是否存在宠物。如果确定用户是儿童或者用户身边存在宠物,则可以采用比用户是成人的发射音量更小的发射音量来发射超声波信号。具体地,如图12所示,包括:
S1201和S1102,其中S1201和S1202与S801和S802相同,在此不再赘述。
S1203,确定反射超声波信号的物体中是否存在目标反射物体。
例如,目标反射物体可以为儿童或者宠物。智能电视默认的超声波发射音量一般设置为适用于成人,故如果识别出照片中存在儿童或者宠物,则说明需要调低超声波的发射音量,进入S1204,否则,进入S1205,保持当前的发射音量。
S1204,调低超声波的发射音量至对应目标反射物体的发射音量大小。
可以理解,适用于儿童和宠物的发射音量的大小不仅要小于成人的发射音量的大小,还要保证接收到的回波信号能够满足检测需求。当调低超声波的发射音量至对应儿童或者宠物的发射音量大小,进入S1202。
S1205,保持当前的发射音量。
可以理解,由于上述流程S1201至S1202在用户运动的过程中可以每个一定时间(如每隔1min)多次进行,所以可以根据用户类型的变化,实时地调整发射音量的大小,以在智能电视前出现儿童和宠物时,避免儿童、宠物的身体遭受强能量超声波信号的危害。
S1206,完成音量自适应调整。
此外,在另一些实施例中,智能电视10可以通过提取接收到的环境中的超声波信号的运动成分能量Es,判断环境中是否存在大于安全门限的超声波信号,并在检测到超过安全门限的超声波信号后,通过显示提示信息或者语音提醒等方式,向用户提醒当前环境中存在对身体有危害的超声波污染。例如,可以在智能电视的屏幕上显示提示信息“当前环境中存在对身体有危害的超声波信号,请检测超声波污染源”。
此外,如前文提到的,基于连续超声波信号的相位偏移量的变化确定出智能电视前是否存在运动的反射物体的技术方案,除了控制待机画面的显示,还可以应用于其他应用场景中。例如,用于智能电视的运动类APP。例如,在一些实施例中,当智能电视的用户在智能电视前跟随运动类APP(如健身APP、虚拟现实互动类游戏APP)运动的时候,可以根据发射的连续超声波被用户返回后接收到的回波信号的相位偏移量,计算出用户的运动速度,然后根据用户的运动速度反馈对应的画面或者给用户给出运动的建议。
进一步,为便于更深入理解本申请实施例提供的技术方案,图13根据本申请的一些实施例,示出了一种智能电视10的软件结构示意图。如图13所示,智能电视10的软件结构是一个多层结构,从上到下依次为应用程序层91、应用程序框架层92、系统库93和内核层94。
其中,应用程序层91可以包括一系列应用程序包。如图13中所示,应用程序层91包括蓝牙910、音乐911、图库912、待机显示913和日历914等应用程序。其中,在本申请的一些实施例中,待机显示913可以为用户20提供设置屏幕显示控制功能的开关,待机显示913接收用户20触发的打开智能显示程序指令,开启屏幕显示控制功能,并向应用程序框架层92发送调用检测用户是否存在的服务指令。
应用程序框架层92为应用程序层91的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架,应用程序框架层包括一些预先定义的函数。应用程序框架层92包括通知管理器920、视图系统921、内容提供器922、存在感知模块923、资源管理器924等。其中,在本申请的一些实施例中,存在感知模块923对待机显示913发送的调用检测用户是否存在的服务指令进行指令响应,向系统库93发送启用超声信号处理库933和监听用户存在检测结果的指令。其中,超声信号处理库933能够获取麦克风录入的回波信号,并根据回波信号,执行上文提到的确定用户是否存在的技术方案。
系统库93是智能电视10软件系统的核心,可以通过应用程序框架层92对应用程序层91的应用程序提供服务。系统服务层93媒体库930、图形处理器931、表面管理库932、超声信号处理库933、语音唤醒库934等。其中,在本申请的一些实施例中,超声信号处理库933对存在感知模块923发送的启用超声信号处理库933和监听用户存在检测结果的指令响应,并向内核层94发送调用音频录音流和播放流指令。
内核层94包括显示驱动940、摄像头驱动941、网卡驱动942、音频驱动943和传感器驱动944等。其中,在本申请的一些实施例中,音频驱动943对超声信号处理库933发送的调用音频录音流和播放流响应,进而驱动麦克风进行录音,如录入回波信号,并启动喇叭进行超声播放,如播放连续超声波信号。
可以理解,图13示出了智能电视10的软件结构中只是一种示例,在另一些实施例中,智能电视10也可以采用其他形式的软件结构,例如安卓TM、iOSTM、HarmonyOSTM、TizenTM等,本申请实施例不做限定。
本申请实施例一公开了一种屏幕显示控制方法,应用于电子设备,包括:
发射超声波信号;
获取在第一时间段内接收到的经由物体反射所述超声波信号后产生的多个回波信号;
当反射所述超声波信号的物体中存在相对于所述电子设备运动的用户时,在所述多个回波信号满足指示是否存在所述用户的第一条件的情况下,执行第一屏幕显示方式;
当反射所述超声波信号的物体中不存在相对于所述电子设备运动的用户时,在所述多个回波信号不满足指示是否存在所述用户的所述第一条件的情况下,执行第二屏幕显示方式;
其中,所述第一条件包括:所述多个回波信号中,存在相对于所述发射的超声波信号的相位偏移量随时间变化的多个运动回波信号。
本申请实施例二为根据实施例一的屏幕显示控制方法,其中,所述运动包括用户的位移不发生变化的肢体运动。
本申请实施例三为根据实施例一的屏幕显示控制方法,其中,所述超声波信号包括连续超声波信号。
本申请实施例四为根据实施例三的屏幕显示控制方法,其中,所述发射超声波信号包括:
同时发射多个连续超声波信号,其中各连续超声波信号的发射频率不同。
本申请实施例五为根据实施例四的屏幕显示控制方法,其中,所述多个连续超声波信号包括第一连续超声波信号和第二连续超声波信号,并且
第一连续超声波信号和第二连续超声波信号的初始发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽;或者
第一连续超声波信号和第二连续超声波信号的最大发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽。
本申请实施例六为根据实施例四的屏幕显示控制方法,其中,所述发射超声波信号包括:
采用同一超声波发声器同时以多个不同的发射频率发射所述多个连续超声波信号。
本申请实施例七为根据实施例四的屏幕显示控制方法,其中,所述第一条件还包括:
所述用户相对于所述电子设备运动的等效速度属于第一速度范围,并且所述第一速度范围不包括0。
本申请实施例八为根据实施例七的屏幕显示控制方法,其中,所述等效速度通过以下方式得到:
从所述多个连续超声波信号分别对应的回波信号中,选择出相位偏移量随时间变化的多个运动回波信号;
基于各连续超声波信号分别对应的多个运动回波信号的相位偏移量,计算出对应各连续超声波信号的多个运动速度,其中,所述相位偏移量与所述运动回波信号的回波路径相关;
采用预设算法对所述多个运动速度进行处理,得到用户的等效速度。
本申请实施例九为根据实施例八的屏幕显示控制方法,其中,所述预设算法包括下列中的至少一项:
计算所述多个运动速度的平均值;
计算所述多个运动速度的最小二乘法拟合值。
本申请实施例十为根据实施例七的屏幕显示控制方法,其中,所述第一速度范围为0m/s-5m/s。
本申请实施例十一为根据实施例三的屏幕显示控制方法,其中,所述连续超声波信号包括下列中的任一项:
正弦超声波信号、调频连续超声波信号。
本申请实施例十二为根据实施例一的屏幕显示控制方法,其中,所述第一条件还包括:
所述电子设备采集的反射所述超声波信号的物体的图像中存在人类。
本申请实施例十三为根据实施例一的屏幕显示控制方法,其中,所述第一屏幕显示方式包括下列中的至少一种:
将所述电子设备的屏幕从黑屏状态转换为显示待机画面;
将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态并显示上次进入待机画面或者黑屏状态前所显示的画面;
将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态,并播放用户已经暂停的节目。
本申请实施例十四为根据实施例十三的屏幕显示控制方法,其中,所述上次进入待机画面或者黑屏状态前所显示的画面包括下列中的至少一种:
开机画面;
用户所观看的节目的暂停画面;
用户所浏览的应用界面。
本申请实施例十五为根据实施例一的屏幕显示控制方法,其中,所述第二屏幕显示方式包括:
保持黑屏状态或者保持显示待机画面。
本申请实施例十六为根据实施例一的屏幕显示控制方法,其中,所述在所述多个回波信号不满足指示是否存在所述用户的所述第一条件的情况下,执行第二屏幕显示方式,包括:
对应于所述多个回波信号不满足指示是否存在所述用户的所述第一条件,并且在第一预设历史时长内接收到的历史回波信号均不满足所述第一条件,执行下列中的至少一种屏幕显示方式:
将所述电子设备的屏幕从亮屏状态转换为待机画面或者黑屏状态,
将所述电子设备的屏幕从待机画面转换为黑屏状态,
将所述电子设备屏幕上正在播放的节目暂停。
本申请实施例十七为根据实施例一的屏幕显示控制方法,其中,所述第一屏幕显示方式还包括:
对应于所述用户逐渐靠近所述电子设备并且电子设备处于黑屏状态,逐渐亮起所述电子设备的屏幕并显示待机画面或者上次进入待机画面或者黑屏状态前所显示的画面;并且
所述第二屏幕显示方式还包括:
对应于所述用户逐渐远离所述电子设备,并且所述电子设备处于亮屏状态或者显示待机画面,将所述电子设备的屏幕逐渐变暗。
本申请实施例十八为根据实施例十七的屏幕显示控制方法,其中,所述用户靠近所述电子设备的速度越快,所述屏幕逐渐亮起的速度越快;
所述用户远离所述电子设备的速度越快,所述屏幕逐渐变暗的速度越快。
本申请实施例十九为根据实施例十七的屏幕显示控制方法,其中,通过以下方式判断所述用户是否逐渐靠近或者远离所述电子设备:
计算先后获取的多个回波信号的等效频率,其中所述等效频率与回波信号的回波路径相关,并且回波路径越小,所述等效频率越大;
对应于先后获取的多个回波信号的等效频率依次增大,判断出所述用户逐渐靠近所述电子设备;
对应于先后获取的多个回波信号的等效频率依次减小,判断出所述用户逐渐远离所述电子设备。
本申请实施例二十为根据实施例一的屏幕显示控制方法,其中,所述第一屏幕显示方式包括下列中的至少一种:
对应于所述用户相对于所述电子设备的方向处于第一方向范围,将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态并显示上次进入待机画面或者黑屏状态前所显示的画面,或者将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态,并播放用户已经暂停的节目;
对应于所述用户相对于所述电子设备的方向处于第二方向范围,将所述电子设备的屏幕从黑屏状态转换为显示待机画面。
本申请实施例二十一为根据实施例一的屏幕显示控制方法,其中,通过以下方式计算所述回波信号的相位偏移量:
对接收到的所述回波信号的时域数据进行傅立叶变换,得到对应的频域数据;
基于发射的超声波信号的频域数据和所述回波信号的频域数据,分别得到发射的超声波信号的第一相位和回波信号的第二相位;
将所述第二相位和第一相位的差值作为所述回波信号的相位偏移量。
本申请实施例二十二为根据实施例一的屏幕显示控制方法,其中,还包括:
对应于不存在相对于所述电子设备运动的用户,先后以多个设定音量发射超声波信号,从中选择出回波信号的回波能量与基准回波能量的差值在第一能量差值范围内的设定音量作为所述电子设备的发射所述超声波信号的预定发射音量。
本申请实施例二十三为根据实施例一的屏幕显示控制方法,其中,所述超声波信号通过所述电子设备的扬声器发射,并且所述回波信号通过所述电子设备的麦克风接收。
本申请实施例二十四为根据实施例一的屏幕显示控制方法,其中,所述电子设备包括智能电视。
本申请实施例二十五为根据实施例一的屏幕显示控制方法,其中,还包括:
在所述多个回波信号满足指示是否存在所述用户的第一条件的情况下,以第一发射音量发射第一超声波信号;
在所述用户与所述电子设备之间的第一相对位置处于第一位置范围的情况下,下一次以所述第一位置范围对应的第二发射音量发射第二超声波信号,
在所述用户与所述电子设备之间的第一相对位置处于第二位置范围的情况下,下一次以所述第二位置范围对应的第三发射音量发射第二超声波信号。
本申请实施例二十六为根据实施例二十五的屏幕显示控制方法,其中,所述第一位置范围包括第一距离范围,第二位置范围包括第二距离范围;并且
所述第一相对位置处于第一位置范围包括:所述第一相对位置对应的所述用户与所述电子设备之间的第一距离位于所述第一位置范围,
所述第二相对位置处于第二位置范围包括:所述第二相对位置对应的所述用户与所述电子设备之间的第二距离位于所述第二位置范围;并且
所述第一距离范围的最小值大于所述第二距离范围的最大值,所述第二发射音量大于所述第三发射音量。
本申请实施例二十七为根据实施例二十六的屏幕显示控制方法,还包括,
通过所述多个回波信号的运动成分能量表示所述物体相对于所述电子设备的第一距离,并且设置与所述第一距离范围和第二距离范围分别对应的第一运动成分能量范围和第二运动成分能量范围,
其中,所述运动成分能量越大,所述物体相对于所述电子设备的第一距离越小,所述第一运动成分能量范围的最大值对应第一距离范围的最小值,所述第一运动成分能量范围的最小值对应所述第一距离范围的最大值,所述第二运动成分能量范围的最大值对应第二距离范围的最小值,所述第二运动成分能量范围的最小值对应所述第二距离范围的最大值。
本申请实施例二十八为根据实施例二十七的屏幕显示控制方法,通过以下方式确定所述第一距离所处的距离范围:
在所述运动成分能量处于所述第一运动成分能量范围的情况下,确定所述第一距离处于所述第一距离范围;
在所述运动成分能量处于所述第二运动成分能量范围的情况下,确定所述第一距离处于所述第二距离范围。
本申请实施例二十九为根据实施例二十七的屏幕显示控制方法,通过以下方式计算所述多个回波信号的运动成分能量:
对所述多个回波信号中的运动回波信号的振幅进行积分,得到所述多个运动回波信号的运动成分能量。
本申请实施例三十为根据实施例二十五的屏幕显示控制方法,所述第一位置范围包括第三方向范围,第二位置范围包括第四方向范围;并且
所述第一相对位置处于第一位置范围包括:所述第一相对位置对应的所述用户相对于所述电子设备的第一方向位于所述第三方向范围,
所述第二相对位置处于第二位置范围包括:所述第二相对位置对应的所述用户相对于所述电子设备的第二方向位于所述第四方向范围;并且
所述第三方向范围的最小值大于所述第四方向范围的最大值,所述第二发射音量大于所述第三发射音量。
本申请实施例三十一为根据实施例二十五的屏幕显示控制方法,还包括:
在所述第二发射音量或者第三发射音量大于音量阈值,并且第一历史时间段内发射超声波信号的历史音量持续大于所述音量阈值的情况下,在下一次以所述第二发射音量或者第三发射音量发射超声波信号时,减少发出的超声波信号的占空比,并降低检测帧率。
本申请实施例三十二为根据实施例一的屏幕显示控制方法,其中,还包括:
在所述多个回波信号满足指示是否存在所述用户的第一条件的情况下,获取拍摄的所述用户的用户图像;
在所述用户图像中存在目标对象的情况下,采用第四发射音量发射超声波信号;
在所述用户图像中不存在目标对象的情况下,采用第五发射音量发射超声波信号,其中,第五发射音量大于第四发射音量。
本申请实施例三十三为根据实施例一的屏幕显示控制方法,其中,所述目标对象包括儿童、宠物。
本申请实施例三十四公开了一种物体运动检测方法,应用于电子设备,包括::
发射超声波信号;
获取在不同时刻接收到的经由物体反射所述超声波信号后产生的多个回波信号;
对应于所述多个回波信号满足第一条件,反射所述超声波信号的物体中存在相对于所述电子设备运动的物体;
对应于所述多个回波信号不满足第一条件,反射所述超声波信号的物体中不存在相对于所述电子设备运动的物体;
其中,所述第一条件包括:所述多个回波信号中,存在相对于所述发射的超声波信号的相位偏移量随时间变化的多个运动回波信号。
本申请实施例三十五为根据实施例三十四的物体运动检测方法,其中,所述运动包括物体的位移不发生变化的肢体运动。
本申请实施例三十六为根据实施例三十四的物体运动检测方法,其中,所述超声波信号包括连续超声波信号。
本申请实施例三十七为根据实施例三十六的物体运动检测方法,其中,所述发射超声波信号包括:
同时发射多个连续超声波信号,其中各连续超声波信号的发射频率不同。
本申请实施例三十八为根据实施例三十七的物体运动检测方法,其中,所述多个连续超声波信号包括第一连续超声波信号和第二连续超声波信号,并且
第一连续超声波信号和第二连续超声波信号的初始发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽;或者
第一连续超声波信号和第二连续超声波信号的最大发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽。
本申请实施例三十九为根据实施例三十七的物体运动检测方法,其中,所述发射超声波信号包括:
采用同一超声波发声器同时以多个不同的发射频率发射所述多个连续超声波信号。
本申请实施例四十为根据实施例三十七的物体运动检测方法,其中,所述第一条件还包括:
所述相对于所述电子设备运动的物体的等效速度属于第一速度范围,并且所述第一速度范围不包括0。
本申请实施例四十一为根据实施例四十的物体运动检测方法,其中,所述等效速度通过以下方式得到:
从所述多个连续超声波信号分别对应的回波信号中,选择出相位偏移量随时间变化的多个运动回波信号;
基于各连续超声波信号分别对应的多个运动回波信号的相位偏移量,计算出对应各连续超声波信号的多个运动速度,其中,所述相位偏移量与所述运动回波信号的回波路径相关;
采用预设算法对所述多个运动速度进行处理,得到相对于所述电子设备运动的物体的等效速度。
本申请实施例四十二为根据实施例四十一的物体运动检测方法,其中,所述预设算法包括下列中的至少一项:
计算所述多个运动速度的平均值;
计算所述多个运动速度的最小二乘法拟合值。
本申请实施例四十三为根据实施例四十的物体运动检测方法,其中,其特征在于,所述第一速度范围为0m/s-5m/s。
本申请实施例四十四为根据实施例三十六的物体运动检测方法,其中,所述连续超声波信号包括下列中的任一项:
正弦超声波信号、调频连续超声波信号。
本申请实施例四十五为根据实施例三十四的物体运动检测方法,其中,通过以下方式计算所述回波信号的相位偏移量:
对接收到的所述回波信号的时域数据进行傅立叶变换,得到对应的频域数据;
基于发射的超声波信号的频域数据和所述回波信号的频域数据,分别得到发射的超声波信号的第一相位和回波信号的第二相位;
将所述第二相位和第一相位的差值作为所述回波信号的相位偏移量。
本申请实施例四十六为根据实施例三十四的物体运动检测方法,其中,还包括:
对应于不存在相对于所述电子设备运动的物体,先后以多个设定音量发射超声波信号,从中选择出回波信号的回波能量与基准回波能量的差值在第一能量差值范围内的设定音量作为所述电子设备的发射所述超声波信号的预定发射音量。
本申请实施例四十七为根据实施例三十四的物体运动检测方法,其中,还包括:
以第一发射音量发射第一超声波信号,并获取在第二时间段内接收到的经由物体反射所述第一超声波信号后产生的多个第一回波信号;
在所述多个第一回波信号满足第二条件的情况下,存在相对于所述电子设备运动的物体;
在所述运动物体与所述电子设备之间的第一距离处于第一距离范围内的情况下,下一次以所述第一距离范围对应的第二发射音量发射第二超声波信号,
在所述运动物体与所述电子设备之间的第一距离处于第二距离范围内的情况下,下一次以所述第二距离范围对应的第三发射音量发射第二超声波信号;
其中,所述第一距离范围的最小值大于所述第二距离范围的最大值,所述第二发射音量大于所述第三发射音量。
本申请实施例四十八为根据实施例四十七的物体运动检测方法,其中,所述第二条件包括:
所述多个第一回波信号中,存在相对于所述第一超声波信号的相位偏移量随时间变化的多个第一运动回波信号。
本申请实施例五十为根据实施例四十九的物体运动检测方法,其中,还包括:
通过所述多个第一运动回波信号的第一运动成分能量表示所述物体相对于所述电子设备的第一距离,并且设置与所述第一距离范围和第二距离范围分别对应的第一运动成分能量范围和第二运动成分能量范围,
其中,所述第一运动成分能量越大,所述物体相对于所述电子设备的第一距离越小,所述第一运动成分能量范围的最大值对应第一距离范围的最小值,所述第一运动成分能量范围的最小值对应所述第一距离范围的最大值,所述第二运动成分能量范围的最大值对应第二距离范围的最小值,所述第二运动成分能量范围的最小值对应所述第二距离范围的最大值。
本申请实施例五十为根据实施例四十九的物体运动检测方法,其中,通过以下方式确定所述第一距离所处的距离范围:
在所述第一成分能量处于所述第一运动成分能量范围的情况下,确定所述第一距离处于所述第一距离范围;
在所述第一成分能量处于所述第二运动成分能量范围的情况下,确定所述第一距离处于所述第二距离范围。
本申请实施例五十一为根据实施例四十九的物体运动检测方法,其中,通过以下方式计算所述多个第一运动回波信号的运动成分能量:
对所述多个第一运动回波信号的振幅进行积分,得到所述多个第一运动回波信号的运动成分能量。
本申请实施例五十二为根据实施例四十九的物体运动检测方法,其中,还包括:
在所述第二发射大于音量阈值,并且第一历史时间段内发射超声波信号的历史音量持续大于所述音量阈值的情况下,在下一次以所述第二发射音量发射超声波信号时,减少发出的超声波信号的占空比,并降低检测帧率。
本申请实施例五十三为根据实施例三十四的物体运动检测方法,其中,所述超声波信号通过所述电子设备的扬声器发射,并且所述回波信号通过所述电子设备的麦克风接收。
本申请实施例五十四为根据实施例三十四的物体运动检测方法,其中,所述电子设备上安装有运动类应用程序,并且所述方法还包括:
基于所述多个运动回波信号的相位偏移量,计算相对于所述电子设备运动的物体的运动速度;
根据计算出的所述物体的运动速度,执行所述运动类应用程序的预设操作。
本申请实施例五十五公开了一种物体运动检测方法,应用于电子设备,包括:一种物体运动检测方法,其特征在于,包括:
以第六发射音量发射超声波信号,并获取在第二时间段内接收到的经由物体反射所述超声波信号后产生的多个回波信号;
在所述多个回波信号满足第一条件的情况下,反射所述超声波信号的物体中存在相对于所述电子设备运动的物体,其中,所述第一条件包括:所述多个回波信号中,存在相对于所述发射的超声波信号的相位偏移量随时间变化的多个运动回波信号;
在所述用户与所述电子设备之间的第二相对位置处于第三位置范围的情况下,下一次以所述第三位置范围对应的第六发射音量发射超声波信号,
在所述用户与所述电子设备之间的第二相对位置处于第四位置范围内的情况下,下一次以所述第四位置范围对应的第七发射音量发射超声波信号。
本申请实施例五十六为根据实施例五十五的物体运动检测方法,其中,所述第三位置范围包括第三距离范围,第四位置范围包括第四距离范围;并且
所述第二相对位置处于第三位置范围包括:所述第二相对位置对应的所述用户与所述电子设备之间的第二距离位于所述第三位置范围,
所述第二相对位置处于第四位置范围包括:所述第二相对位置对应的所述用户与所述电子设备之间的第二距离位于所述第四位置范围;并且
所述第三距离范围的最小值大于所述第四距离范围的最大值,所述第六发射音量大于所述第七发射音量。
本申请实施例五十七为根据实施例五十六的物体运动检测方法,其中,还包括,
通过所述多个运动回波信号的运动成分能量表示所述物体相对于所述电子设备的第二距离,并且设置与所述第三距离范围和第四距离范围分别对应的第三运动成分能量范围和第四运动成分能量范围,
其中,所述运动成分能量越大,所述物体相对于所述电子设备的第二距离越小,所述第三运动成分能量范围的最大值对应第三距离范围的最小值,所述第三运动成分能量范围的最小值对应所述第三距离范围的最大值,所述第四运动成分能量范围的最大值对应第四距离范围的最小值,所述第四运动成分能量范围的最小值对应所述第四距离范围的最大值。
本申请实施例五十八为根据实施例五十七的物体运动检测方法,其中,通过以下方式确定所述第二距离所处的距离范围:
在所述运动成分能量处于所述第三运动成分能量范围的情况下,确定所述第二距离处于所述第三距离范围;
在所述运动成分能量处于所述第四运动成分能量范围的情况下,确定所述第二距离处于所述第四距离范围。
本申请实施例五十九为根据实施例五十六的物体运动检测方法,其中,通过以下方式计算所述多个回波信号的运动成分能量:
对所述多个回波信号中的运动回波信号的振幅进行积分,得到所述多个运动回波信号的运动成分能量。
本申请实施例六十为根据实施例五十五的物体运动检测方法,其中,所述第三位置范围包括第五方向范围,第四位置范围包括第六方向范围;并且
所述第二相对位置处于第三位置范围包括:所述第二相对位置对应的所述用户相对于所述电子设备的第三方向位于所述第五方向范围,
所述第二相对位置处于第四位置范围包括:所述第二相对位置对应的所述用户相对于所述电子设备的第四方向位于所述第六方向范围;并且
所述第五方向范围的最小值大于所述第六方向范围的最大值,所述第六发射音量大于所述第七发射音量。
本申请实施例六十一为根据实施例五十五的物体运动检测方法,其中,还包括:
在所述第六发射音量或者七发射音量大于音量阈值,并且第一历史时间段内发射超声波信号的历史音量持续大于所述音量阈值的情况下,在下一次以所述第六发射音量或者第七发射音量发射超声波信号时,减少发出的超声波信号的占空比,并降低检测帧率。
本申请实施例六十二公开了一种电子设备,包括:
一个或多个处理器;
一个或多个存储器;所述一个或多个存储器存储有一个或多个程序,当所述一个或者多个程序被所述一个或多个处理器执行时,使得所述电子设备执行实施例一至实施例三十三中任一项所述屏幕显示控制方法、执行实施例三十四至实施例五十四中任一项物体运动检测方法,或者执行实施例五十五至实施例六十一中任一项物体运动检测方法。
本申请实施例六十三公开了一种计算机可读存储介质,所述存储介质上存储有指令,所述指令在计算机上执行时使所述计算机执行实施例一至实施例三十三中任一项所述屏幕显示控制方法、执行实施例三十四至实施例五十四中任一项物体运动检测方法,或者执行实施例五十五至实施例六十一中任一项物体运动检测方法。
本申请实施例六十四公开了一种计算机程序产品,所述计算机程序产品包括指令,该指令在执行时使计算机执行实施例一至实施例三十三中任一项所述屏幕显示控制方法、执行实施例三十四至实施例五十四中任一项物体运动检测方法,或者执行实施例五十五至实施例六十一中任一项物体运动检测方法。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
以上实施例中所用,根据上下文,术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。另外,在上述实施例中,使用诸如第一、第二之类的关系术语来区份一个实体和另一个实体,而并不限制这些实体之间的任何实际的关系和顺序。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (32)

1.一种屏幕显示控制方法,应用于电子设备,其特征在于,包括:
发射超声波信号;
获取在第一时间段内接收到的经由物体反射所述超声波信号后产生的多个回波信号;
当反射所述超声波信号的物体中存在相对于所述电子设备运动的用户时,在所述多个回波信号满足指示是否存在所述用户的第一条件的情况下,执行第一屏幕显示方式;
当反射所述超声波信号的物体中不存在相对于所述电子设备运动的用户时,在所述多个回波信号不满足指示是否存在所述用户的所述第一条件的情况下,执行第二屏幕显示方式;
其中,所述第一条件包括:所述多个回波信号中,存在相对于所述发射的超声波信号的相位偏移量随时间变化的多个运动回波信号。
2.根据权利要求1所述的方法,其特征在于,所述运动包括用户的位移不发生变化的肢体运动。
3.根据权利要求1所述的方法,其特征在于,所述超声波信号包括连续超声波信号。
4.根据权利要求3所述的方法,其特征在于,所述发射超声波信号包括:
同时发射多个连续超声波信号,其中各连续超声波信号的发射频率不同。
5.根据权利要求4所述的方法,其特征在于,所述多个连续超声波信号包括第一连续超声波信号和第二连续超声波信号,并且
第一连续超声波信号和第二连续超声波信号的初始发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽;或者
第一连续超声波信号和第二连续超声波信号的最大发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽。
6.根据权利要求4所述的方法,其特征在于,所述发射超声波信号包括:
采用同一超声波发声器同时以多个不同的发射频率发射所述多个连续超声波信号。
7.根据权利要求4所述的方法,其特征在于,所述第一条件还包括:
所述用户相对于所述电子设备运动的等效速度属于第一速度范围,并且所述第一速度范围不包括0。
8.根据权利要求7所述的方法,其特征在于,所述等效速度通过以下方式得到:
从所述多个连续超声波信号分别对应的回波信号中,选择出相位偏移量随时间变化的多个运动回波信号;
基于各连续超声波信号分别对应的多个运动回波信号的相位偏移量,计算出对应各连续超声波信号的多个运动速度,其中,所述相位偏移量与所述运动回波信号的回波路径相关;
采用预设算法对所述多个运动速度进行处理,得到用户的等效速度。
9.根据权利要求7所述的方法,其特征在于,所述第一速度范围为0m/s-5m/s。
10.根据权利要求1所述的方法,其特征在于,所述第一条件还包括:
所述电子设备采集的反射所述超声波信号的物体的图像中存在人类。
11.根据权利要求1所述的方法,其特征在于,所述第一屏幕显示方式包括下列中的至少一种:
将所述电子设备的屏幕从黑屏状态转换为显示待机画面;
将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态并显示上次进入待机画面或者黑屏状态前所显示的画面;
将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态,并播放用户已经暂停的节目。
12.根据权利要求11所述的方法,其特征在于,所述上次进入待机画面或者黑屏状态前所显示的画面包括下列中的至少一种:
开机画面;
用户所观看的节目的暂停画面;
用户所浏览的应用界面。
13.根据权利要求1所述的方法,其特征在于,所述第二屏幕显示方式包括:
保持黑屏状态或者保持显示待机画面。
14.根据权利要求1所述的方法,其特征在于,所述在所述多个回波信号不满足指示是否存在所述用户的所述第一条件的情况下,执行第二屏幕显示方式,包括:
对应于所述多个回波信号不满足指示是否存在所述用户的所述第一条件,并且在第一预设历史时长内接收到的历史回波信号均不满足所述第一条件,执行下列中的至少一种屏幕显示方式:
将所述电子设备的屏幕从亮屏状态转换为待机画面或者黑屏状态,
将所述电子设备的屏幕从待机画面转换为黑屏状态,
将所述电子设备屏幕上正在播放的节目暂停。
15.根据权利要求1所述的方法,其特征在于,所述第一屏幕显示方式还包括:
对应于所述用户逐渐靠近所述电子设备并且电子设备处于黑屏状态,逐渐亮起所述电子设备的屏幕并显示待机画面或者上次进入待机画面或者黑屏状态前所显示的画面;并且
所述第二屏幕显示方式还包括:
对应于所述用户逐渐远离所述电子设备,并且所述电子设备处于亮屏状态或者显示待机画面,将所述电子设备的屏幕逐渐变暗。
16.根据权利要求15所述的方法,其特征在于,所述用户靠近所述电子设备的速度越快,所述屏幕逐渐亮起的速度越快;
所述用户远离所述电子设备的速度越快,所述屏幕逐渐变暗的速度越快。
17.根据权利要求1所述的方法,其特征在于,所述第一屏幕显示方式包括下列中的至少一种:
对应于所述用户相对于所述电子设备的方向处于第一方向范围,将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态并显示上次进入待机画面或者黑屏状态前所显示的画面,或者将所述电子设备的屏幕从待机画面或者黑屏状态转换为亮屏状态,并播放用户已经暂停的节目;
对应于所述用户相对于所述电子设备的方向处于第二方向范围,将所述电子设备的屏幕从黑屏状态转换为显示待机画面。
18.根据权利要求1所述的方法,其特征在于,还包括:
对应于不存在相对于所述电子设备运动的用户,先后以多个设定音量发射超声波信号,从中选择出回波信号的回波能量与基准回波能量的差值在第一能量差值范围内的设定音量作为所述电子设备的发射所述超声波信号的预定发射音量。
19.根据权利要求1所述的方法,其特征在于,所述电子设备包括智能电视;和/或
所述超声波信号通过所述电子设备的扬声器发射,并且所述回波信号通过所述电子设备的麦克风接收。
20.根据权利要求1所述的方法,其特征在于,还包括:
在所述多个回波信号满足指示是否存在所述用户的第一条件的情况下,以第一发射音量发射第一超声波信号;
在所述用户与所述电子设备之间的第一相对位置处于第一位置范围的情况下,下一次以所述第一位置范围对应的第二发射音量发射第二超声波信号,
在所述用户与所述电子设备之间的第一相对位置处于第二位置范围的情况下,下一次以所述第二位置范围对应的第三发射音量发射第二超声波信号。
21.根据权利要求20所述的方法,其特征在于,所述第一位置范围包括第一距离范围,第二位置范围包括第二距离范围;并且
所述第一相对位置处于第一位置范围包括:所述第一相对位置对应的所述用户与所述电子设备之间的第一距离位于所述第一位置范围,
所述第二相对位置处于第二位置范围包括:所述第二相对位置对应的所述用户与所述电子设备之间的第二距离位于所述第二位置范围;并且
所述第一距离范围的最小值大于所述第二距离范围的最大值,所述第二发射音量大于所述第三发射音量。
22.根据权利要求21所述的方法,其特征在于,还包括,
通过所述多个回波信号的运动成分能量表示所述物体相对于所述电子设备的第一距离,并且设置与所述第一距离范围和第二距离范围分别对应的第一运动成分能量范围和第二运动成分能量范围,
其中,所述运动成分能量越大,所述物体相对于所述电子设备的第一距离越小,所述第一运动成分能量范围的最大值对应第一距离范围的最小值,所述第一运动成分能量范围的最小值对应所述第一距离范围的最大值,所述第二运动成分能量范围的最大值对应第二距离范围的最小值,所述第二运动成分能量范围的最小值对应所述第二距离范围的最大值。
23.根据权利要求20所述的方法,其特征在于,所述第一位置范围包括第三方向范围,第二位置范围包括第四方向范围;并且
所述第一相对位置处于第一位置范围包括:所述第一相对位置对应的所述用户相对于所述电子设备的第一方向位于所述第三方向范围,
所述第二相对位置处于第二位置范围包括:所述第二相对位置对应的所述用户相对于所述电子设备的第二方向位于所述第四方向范围;并且
所述第三方向范围的最小值大于所述第四方向范围的最大值,所述第二发射音量大于所述第三发射音量。
24.根据权利要求1所述的方法,其特征在于,还包括:
在所述多个回波信号满足指示是否存在所述用户的第一条件的情况下,获取拍摄的所述用户的用户图像;
在所述用户图像中存在目标对象的情况下,采用第四发射音量发射超声波信号,其中,
所述目标对象包括儿童、宠物;
在所述用户图像中不存在目标对象的情况下,采用第五发射音量发射超声波信号,其中,第五发射音量大于第四发射音量。
25.一种物体运动检测方法,应用于电子设备,其特征在于,包括:
发射超声波信号;
获取在不同时刻接收到的经由物体反射所述超声波信号后产生的多个回波信号;
对应于所述多个回波信号满足第一条件,反射所述超声波信号的物体中存在相对于所述电子设备运动的物体;
对应于所述多个回波信号不满足第一条件,反射所述超声波信号的物体中不存在相对于所述电子设备运动的物体;
其中,所述第一条件包括:所述多个回波信号中,存在相对于所述发射的超声波信号的相位偏移量随时间变化的多个运动回波信号。
26.根据权利要求25所述的方法,其特征在于,所述运动包括物体的位移不发生变化的肢体运动。
27.根据权利要求25所述的方法,其特征在于,所述超声波信号包括连续超声波信号;并且,所述发射超声波信号包括:
同时发射多个连续超声波信号,其中各连续超声波信号的发射频率不同。
28.根据权利要求27所述的方法,其特征在于,所述多个连续超声波信号包括第一连续超声波信号和第二连续超声波信号,并且
第一连续超声波信号和第二连续超声波信号的初始发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽;或者
第一连续超声波信号和第二连续超声波信号的最大发射频率之差,大于第一连续超声波信号的频率带宽和第二连续超声波信号的频率带宽。
29.根据权利要求25所述的方法,其特征在于,所述电子设备上安装有运动类应用程序,并且所述方法还包括:
基于所述多个运动回波信号的相位偏移量,计算相对于所述电子设备运动的物体的运动速度;
根据计算出的所述物体的运动速度,执行所述运动类应用程序的预设操作。
30.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;所述一个或多个存储器存储有一个或多个程序,当所述一个或者多个程序被所述一个或多个处理器执行时,使得所述电子设备执行权利要求1-24中任一项所述屏幕显示控制方法或者执行权利要求25-29中任一项物体运动检测方法。
31.一种计算机可读存储介质,其特征在于,所述存储介质上存储有指令,所述指令在计算机上执行时使所述计算机执行权利要求1-24中任一项所述屏幕显示控制方法或者执行权利要求25-29中任一项物体运动检测方法。
32.一种计算机程序产品,其特征在于,所述计算机程序产品包括指令,该指令在执行时使计算机执行权利要求1-24中任一项所述屏幕显示控制方法或者执行权利要求25-29中任一项物体运动检测方法。
CN202210983298.7A 2022-08-16 2022-08-16 屏幕显示控制方法、介质和电子设备 Pending CN117631803A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210983298.7A CN117631803A (zh) 2022-08-16 2022-08-16 屏幕显示控制方法、介质和电子设备
PCT/CN2023/112671 WO2024037460A1 (zh) 2022-08-16 2023-08-11 屏幕显示控制方法、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210983298.7A CN117631803A (zh) 2022-08-16 2022-08-16 屏幕显示控制方法、介质和电子设备

Publications (1)

Publication Number Publication Date
CN117631803A true CN117631803A (zh) 2024-03-01

Family

ID=89940769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210983298.7A Pending CN117631803A (zh) 2022-08-16 2022-08-16 屏幕显示控制方法、介质和电子设备

Country Status (2)

Country Link
CN (1) CN117631803A (zh)
WO (1) WO2024037460A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110121996A1 (en) * 2009-11-23 2011-05-26 Delphi Technologies, Inc. Method and System for Detecting an Occupant Using Reflected Signals
CN108877606A (zh) * 2017-05-09 2018-11-23 京东方科技集团股份有限公司 显示屏的控制方法、显示屏的控制系统
DE102019114201A1 (de) * 2019-05-28 2020-12-03 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Geschwindigkeit eines Objekts mittels eines Ultraschallsensors durch Einteilung eines Sensorsignals in Teilsignale, Recheneinrichtung sowie Ultraschallsensorvorrichtung
CN110519448B (zh) * 2019-07-31 2021-03-02 Oppo广东移动通信有限公司 屏幕状态控制方法、装置、移动终端以及存储介质
CN113986034A (zh) * 2019-11-26 2022-01-28 华为技术有限公司 电子设备及其显示屏控制方法
CN113534062B (zh) * 2021-05-27 2024-03-19 四川九洲防控科技有限责任公司 雷达、雷达信号的发射方法和计算机可读存储介质

Also Published As

Publication number Publication date
WO2024037460A1 (zh) 2024-02-22

Similar Documents

Publication Publication Date Title
US9389690B2 (en) Gesture detection based on information from multiple types of sensors
US10061010B2 (en) Distance measurement
US10075791B2 (en) Networked speaker system with LED-based wireless communication and room mapping
US9854362B1 (en) Networked speaker system with LED-based wireless communication and object detection
KR101813443B1 (ko) 초음파 룸 맵핑을 이용한 초음파 스피커 어셈블리
US9913054B2 (en) System and method for mapping and displaying audio source locations
US10976432B2 (en) Acoustic locationing for smart environments
US20150245139A1 (en) Environmental analysis
CN113192527B (zh) 用于消除回声的方法、装置、电子设备和存储介质
US20190327556A1 (en) Compact sound location microphone
US20190043514A1 (en) Reliable reverberation estimation for improved automatic speech recognition in multi-device systems
US10277980B2 (en) Information processing apparatus, information processing system, control method, and program
KR102633176B1 (ko) 환경 잡음 보상 시스템에서 에러를 감소시키기 위한 방법
US9924286B1 (en) Networked speaker system with LED-based wireless communication and personal identifier
WO2020112577A1 (en) Similarity measure assisted adaptation control of an echo canceller
US9762195B1 (en) System for emitting directed audio signals
CN117631803A (zh) 屏幕显示控制方法、介质和电子设备
KR102348658B1 (ko) 표시장치 및 그 구동 방법
US9915528B1 (en) Object concealment by inverse time of flight
US11375275B2 (en) Method and system for using lip sequences to control operations of a device
US10845479B1 (en) Movement and presence detection systems and methods using sonar
CN113411649B (zh) 使用次声频信号的tv状态检测装置及系统
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
CN110324523A (zh) 基于距离检测的麦克风切换方法、存储介质及摄像头
US9532155B1 (en) Real time monitoring of acoustic environments using ultrasound

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination