CN111614834B - 电子设备控制方法、装置、电子设备及存储介质 - Google Patents
电子设备控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111614834B CN111614834B CN202010425902.5A CN202010425902A CN111614834B CN 111614834 B CN111614834 B CN 111614834B CN 202010425902 A CN202010425902 A CN 202010425902A CN 111614834 B CN111614834 B CN 111614834B
- Authority
- CN
- China
- Prior art keywords
- target object
- distance
- moment
- time
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种电子设备控制方法、装置、电子设备及存储介质。其中,该方法包括:获取包括目标物体的图像以及电子设备的运动数据;根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离;根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。该方案,不依赖接近传感器,提高了电子设备硬件结构的可设计空间。
Description
技术领域
本申请涉及设备控制技术领域,更具体地,涉及一种电子设备控制方法、装置、电子设备及存储介质。
背景技术
电子设备可以对接近屏幕的物体进行距离检测,根据检测到的与物体之间的相对距离进行相应控制。电子设备通常通过接近传感器检测与物体之间的相对距离,但是接近传感器设置于电子设备,占用电子设备的硬件结构空间,一定程度上限制了电子设备的结构设计,如影响屏幕黑边的大小。
发明内容
鉴于上述问题,本申请提出了一种电子设备控制方法、装置、电子设备及存储介质,复用电子设备的图像采集单元以及运动检测单元,对电子设备与物体之间的距离进行检测,以改善上述问题。
第一方面,本申请实施例提供了一种电子设备控制方法,应用于电子设备,所述电子设备包括图像采集单元以及运动检测单元,所述图像采集单元用于采集图像,所述运动检测单元用于获取所述电子设备的运动数据,所述方法包括:获取包括目标物体的图像以及电子设备的运动数据;根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离;根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
第二方面,本申请实施例提供了一种屏电子设备控制装置,应用于电子设备,所述电子设备包括图像采集单元以及运动检测单元,所述图像采集单元用于采集图像,所述运动检测单元用于获取所述电子设备的运动数据,所述装置包括:数据获取模块,用于获取包括目标物体的图像以及电子设备的运动数据;距离计算模块,用于根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离;控制模块,用于根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;图像采集单元,与所述处理器以及存储器电性连接,用于采集图像;运动检测单元,与所述处理器以及存储器电性连接,用于获取所述电子设备的运动数据;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被所述处理器执行用于执行上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述的方法。
本申请实施例提供的电子设备控制方法、装置、电子设备及存储介质,结合图像采集单元采集的图像以及电子设备的运动数据,计算电子设备与目标物体之间的距离,用于对电子设备进行控制。在该方案中,电子设备和目标物体之间的距离计算不依赖接近传感器,提高了电子设备硬件结构的可设计空间。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的电子设备与目标物体的相对关系示意图。
图2示出了本申请一实施例提供的电子设备控制方法的流程图。
图3示出了本申请又一实施例提供的电子设备控制方法的流程图
图4示出了本申请另一实施例提供的电子设备控制方法的流程图。
图5示出了本申请一实施例提供的单目测距示意图。
图6示出了本申请一实施例提供的双目测距示意图。
图7示出了本申请一实施例提供的电子设备与目标物体的在不同时刻的相对位置关系示意图。
图8示出了本申请再一实施例提供的电子设备控制方法的流程图。
图9示出了本申请还一实施例提供的电子设备控制方法的流程图。
图10示出了本申请实施例提供的屏电子设备控制装置的功能模块图。
图11示出了本申请实施例提供的电子设备的结构框图。
图12是本申请实施例的用于保存或者携带实现根据本申请实施例的电子设备控制方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
电子设备的接近检测功能检测物体相对电子设备的距离,从而根据该距离进行控制。例如,电子设备可以检测与屏幕相对的物体和电子设备之间的距离,或者说与屏幕相对的物体与屏幕之间的距离,根据该距离进行控制。如,手机作为一种电子设备,在通话时,检测手机是否靠近脸部,若靠近且靠近到小于一定距离,屏幕熄灭,以避免在人脸接触屏幕时误触,可以节省电量;当手机离开脸部且远离到大于设定的距离,则点亮屏幕,以方便用户查看屏幕。
当然,电子设备的接近检测功能可以检测任意方向上物体与电子设备之间的距离,如电子设备的侧边方向、电子设备的后盖方向等,根据该距离进行控制。本申请实施例主要以检测物体在相对屏幕的方向,与电子设备之间的距离为例进行说明。
屏幕的接近检测功能可以通过接近传感器实现,如红外发射器和红外接收器组成的接近传感器。但是接近传感器作为硬件设备,需要设置在电子设备并朝向待检测方向,占用电子设备的结构空间。并且接近传感器一般利用红外光反射原理,对手机结构设计有严格要求,通常是手机结构设计的一个边界条件,一定程度限制了手机结构设计的发挥,甚至屏幕黑边大小的设计。
发明人通过研究发现,可以通过复用电子设备中的其他器件进行接近物体的距离检测,从而不需要设置接近传感器,使电子设备的结构具有更大的设计空间。
发明人发现,电子设备的图像采集单元,如摄像头等图像传感器,可以采集图像,而根据采集的图像进行图像处理,可以计算图像中的物体相对于电子设备的距离。
但是,图像传感器成像有焦距限制,失焦情况下成像不清晰,直接根据不清晰的图像计算图像中物体与电子设备之间的距离,误差较大,从而定焦图像传感器模组在接近远离过程距离变化情况下效果不好。虽然可变焦的图像传感器可以改变焦距,但是对焦距也有一定的限制。另外,测距时对焦距变化速度要求较高,即可以较快地变焦适应速度的变化,可用于测距的可变焦的图像传感器成本较高。
因此发明人提出了本申请实施例的电子设备控制方法、装置、电子设备及存储介质,结合运动检测单元以及图像采集单元,根据运动检测单元检测到的电子设备的运动数据以及图像采集单元采集到的包括物体的图像,物体与电子设备之间的距离进行计算。例如图1所示,目标物体200为要计算与电子设备之间的距离的物体。电子设备100包括图像采集单元101,图像采集单元与目标物体200相对时,即目标物体在图像采集单元的图像采集方向上,图像采集单元可以采集目标物体的图像。电子设备100与目标物体200在不同距离时对应的区间分别为202和203,201为图像采集单元的焦点。由于焦距的限制,在203区域内,成像清晰,图像的可信度较高;在202区域内,成像质量较差,图像的可信度较低,甚至完全不可信。但是运动检测单元不受焦距的影响,在202和203区域内都能正常工作。结合运动检测单元检测的运动数据以及图像,可以计算出更准确的电子设备与目标物体之间的相对距离,弥补视觉盲区缺陷。
下面将通过具体实施例对本申请实施例提供的电子设备控制方法、装置、电子设备及存储介质进行详细说明。
请参阅图2,示出了本申请实施例提供的电子设备控制方法。该方法应用于电子设备,该电子设备可以是手机、平板电脑、计算机、智能穿戴设备、电子阅读器等,在本申请实施例中并不限定。电子设备包括图像采集单元以及运动检测单元,所述图像采集单元用于采集图像,所述运动检测单元用于获取所述电子设备的运动数据。
其中,图像采集单元为可以进行采集图像的硬件设备,如摄像头等图像传感器。图像采集单元的图像采集方向朝向要检测距离的方向,例如,要检测物体相对于屏幕的距离,图像传感器采集图像的方向为与屏幕相对的方向,或者说图像传感器采集与屏幕相向靠近或相对远离的物体的图像,或者说图像传感器的视场(FOV,field of view)与屏幕设置在同一面,如图1所示的前置摄像头。
运动检测单元可以采集电子设备的加速度、角速度、磁偏角等一种或多种惯性参数作为电子设备的运动数据,从而可以用于计算电子设备的速度和位移等运动矢量。例如,运动检测单元可以是惯性传感器,包括加速度计、陀螺仪、磁传感器以及它们的单、双、三轴组合惯性测量单元(IMU,Inertial measurement unit),也可以是其中一种或多种的组合。
具体的,请参见图2,该电子设备控制方法包括:
步骤S110:获取包括目标物体的图像以及电子设备的运动数据。
电子设备的处理器可以用于执行该电子设备控制方法,处理器可以从图像采集单元获取图像采集单元采集的图像,可以从运动检测单元获取电子设备的运动数据。当获取到的图像中包括目标物体时,则获取到包括目标物体的图像,该图像可以用于结合电子设备的运动数据,计算目标物体与电子设备之间的距离。
可选的,该目标物体可以是需要进行与电子设备之间距离计算的物体,具体为何种物体在本申请实施例中并不限定,可以是指定的某些物体,也可以是任何实体的物体。
可选的,在本申请实施例中,处理器可以一直周期性获取图像采集单元采集的图像以及电子设备的运动数据;处理器也可以在开启接近距离检测功能后开始从图像采集单元获取图像以及从运动检测单元获取运动数据;处理器也可以在开启接近距离检测功能后,对图像采集单元采集的图像进行识别,确定其中是否包括目标物体,图像采集单元采集的图像中包括目标物体时,开始周期性获取图像采集单元采集的图像以及电子设备的运动数据。该接近距离检测功能的具体开启方式在本申请实施例中并不限定,可以是在需要根据接近距离检测进行控制的程序或进程开启时,开启接近距离检测功能;也可以是用户通过在电子设备的操作,开启接近距离检测功能等。
步骤S120:根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离。
根据包括目标物体的图像以及电子设备的运动数据,可以计算电子设备与目标物体之间的距离。在本申请实施例中,由于计算结果与实际结果并不一定严格相等,可以定义电子设备与目标物体之间的距离为相对估算距离。
步骤S130:根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
在本申请实施例中,目标物体与电子设备之间在何种距离下进行何种控制,可以预先设置。根据预先设置的相对估算距离与预设控制操作之间的对应关系,可以确定当前计算获得的相对估算距离所对应的预设控制操作,对电子设备进行当前相对估算距离对应的预设控制操作,实现对电子设备的预设控制。
例如,根据相对估算距离对屏幕进行亮灭屏控制时,可以预先设置相对估算距离与屏幕亮灭之间的对应关系。当前计算获得的相对估算距离,可以确定当前电子设备应该亮屏还是灭屏。如果电子设备屏幕的实际状态与确定的状态不符,则转换屏幕的状态。例如,屏幕当前为亮屏,但是根据相对估算距离与屏幕亮灭之间的对应关系确定当前的相对估算距离对应灭屏,则控制屏幕熄屏;若屏幕当前为熄屏,但是根据相对估算距离与屏幕亮灭之间的对应关系确定当前的相对估算距离对应亮屏,则控制屏幕亮屏。
可选的,在本申请实施例中,不同的进程或程序,对电子设备的控制可能不同,相对估算距离与预设控制操作之间的对应关系可以不同。
可选的,可以通过对应关系表记录相对估算距离与预设控制操作之间的对应关系,不同的进程或程序的对应关系表不同。在每个进程或程序的对应关系表中,相对估算距离对应的控制为在该进程或程序中的控制。当满足进程或程序根据接近检测结果进行控制的条件时,可以根据检测获得的相对估算距离在对应关系表中所对应的预设控制操作,对电子设备进行控制。其中,进程或程序根据接近检测结果进行控制的条件并不限定,在一种实施方式中,可以对应进程或程序分别设置,如通话进程在开启的情况下,则满足根据接近检测结果进行控制的条件;视频程序在前台播放视频时,满足根据接近检测结果进行控制的条件;音频程序在运行过程中,满足根据接近检测结果进行控制的条件等等;在一种实施方式中,可以接收到用户对应进程或程序的接近检测开启操作,确定该进程或程序满足根据接近检测结果进行控制的条件;在一种实施方式中,可以结合前述不同实施方式,电子设备可以接收用户总的接近检测开启操作,该总的接近开启操作允许可以根据接近检测距离进行控制的进程或程序,在满足对应进程或程序分别设置的条件时,可以根据检测的相对估算距离进行控制,在该实施方式中,若总的接近检测开启操作没有开启,表示用户没有授权根据接近检测距离进行控制,则可以所有程序和进程都不根据接近检测距离进行控制,并且可以不进行接近检测。
在本申请实施例中,具体哪些进程或程序可以根据接近距离进行控制,并且具体可以进行的控制并不限定。例如,电子设备进行通话过程中,根据相对估算距离的控制操作为屏幕亮灭屏的控制,则不同相对估算距离对应亮屏或灭屏;如相对估算距离大于预设距离时,控制屏幕亮屏,相对估算距离小于或等于预设距离时,控制屏幕灭屏。例如,电子设备在某些指定程序运行过程中,根据相对估算距离对音量进行控制,不同的相对估算距离对应的音量不同;如控制音量随相对估算距离的增大而增大,随相对估算距离的减小而减小,或反之。例如,电子设备在某些指定程序运行过程中,根据相对估算距离对屏幕亮度进行控制,不同的相对估算距离对应的亮度不同;如控制屏幕亮度随相对估算距离的增大而增大,随相对估算距离的减小而减小,或反之。例如,电子设备在某些指定程序前台运行过程中,根据相对估算距离对进行翻页控制,不同的相对估算距离对应的翻页方向不同等等,如控制显示页面随相对估算距离的增大而向前翻页,随相对估算距离的减小而向后翻页,或反之。
在本申请实施例中,结合图像和运动数据,对电子设备和目标物体之间的距离进行计算,相对于仅根据一个设备进行计算,准确性更高,从而控制过程更加准确。并且,该计算过程不依赖于只能用于接近检测的接近检测设备,而是复用电子设备中用于拍照的图像采集设备以及用于对电子设备的运动数据进行采集的运动检测单元,提高了电子设备硬件结构的可设计空间。
本申请还提供了一种实施例,在该实施例中,根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离,可以包括:获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得;获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得;根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离。即在该实施例中,可以根据上一时刻电子设备在地球坐标系中的位置以及视觉测距算法获得的目标物体上一时刻在地球坐标系中的位置,再根据电子设备当前时刻在地球坐标系中的位置以及目标物体上一时刻在地球坐标系中的位置,结合目标物体的运动趋势,估算当前时刻目标物体与电子设备之间的距离,从而在当前时刻根据视觉测距算法获得的目标物体与电子设备之间的距离准确度不高的情况下,可以获得更准确的相对估算距离。具体的,如图3所示,该实施例的方法可以包括如下步骤。
步骤S210:获取包括目标物体的图像以及电子设备的运动数据。
步骤S220:获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得。
在本申请实施例中,电子设备可以周期性确定自身在地球坐标系中的位置,每次确定位置时的时间定义为一个时刻。另外,为了便于描述,定义电子设备在地球坐标系中的位置为设备位置,每个设备位置可以通过地球坐标系中的坐标进行表示。第一设备位置、第二设备位置等描述,表示的是电子设备在地球坐标系中的不同位置。
根据运动检测单元获取的相邻两个时刻的运动数据,可以计算电子设备在相邻两个时刻间相对于地球的位移,从而可以计算电子设备在相邻两个时刻间在地球坐标系中的位移,因此,地球坐标系可以根据需要设置原点,根据当前时刻以及当前时刻之前的至少一个时刻的运动数据可以计算电子设备相对于地球坐标系中原点的位移,从而确定电子设备当前时刻以及上一时刻地球坐标系中的位置。定义当前时刻在地球坐标系中的位置为第一设备位置,定义上一时刻电子设备在地球坐标系中的位置为第二设备位置,第一设备位置以及第二设备位置所对应的地球坐标系原点相同。
步骤S230:获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得,所述图像中包括所述目标物体。
在本申请实施例中,上一时刻电子设备在地球坐标系中的位置可以确定,即上述的第二设备位置。另外,在上一时刻,可以采集到包括目标物体的图像。通过视觉测距算法,可以计算该图像中目标物体在物理空间中与电子设备之间的距离,定义该距离为相对测量距离。根据电子设备的第二设备位置以及目标物体与电子设备之间的相对测量距离,可以确定目标物体在地球坐标系中的位置。定义目标物体在地球坐标系中的位置为物体位置。
步骤S240:根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离。
由于在电子设备与目标物体的相对运动过程中,上一时刻目标物体在地球坐标系中的物体位置在一定程度上代表了当前时刻目标物体在地球坐标系中的位置,或者说,根据目标物体的运动趋势,上一时刻目标物体在地球坐标系中的物体位置可以估算当前时刻目标物体在电子设备中的物体位置,从而可以根据目标物体上一时刻在地球坐标系中的物体位置,以及当前时刻电子设备在地球坐标系中的第一设备位置,计算电子设备在当前时刻与目标物体之间的距离,由于该计算过程通过估算实现,可以定义该计算的电子设备与目标物体之间的距离为相对估算距离。
步骤S250:根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
该步骤可以参见前述对应步骤,在此不再赘述。
在本申请实施例中,当图像的清晰度较高,根据视觉测距算法确定的图像中目标物体与电子设备之间的距离准确度较高,上一时刻确定的目标物体在地球坐标系中的物体位置较为准确,可以较好地代表或者估算当前时刻目标物体在地球坐标系中的位置,从而根据上一时刻目标物体的物体位置以及当前时刻电子设备在地球坐标系中的位置,可以计算获得较为准确的电子设备与目标物体之间的相对估算距离。该相对估算距离结合了电子设备的运动侦测以及视觉测距算法,相对于仅根据当前时刻采集的图像进行视觉测距算法确定的距离,准确度更高,特别是在当前时刻图像的清晰度不高的情况下,该相对估算距离的准确度相对图像视觉测距算法确定的目标物体与电子设备之间的距离,准确度更高。根据该方案,不依赖接近传感器,提高了电子设备硬件结构的可设计空间,且可以准确地根据目标物体与电子设备之间的距离控制屏幕的亮灭。
通过运动检测单元对电子设备的运动进行侦测确定电子设备的位置,通过图像传感器成像较为清晰的情况下获得的图像确定的物体相对电子设备的距离,估算物体的位置,结合物体的位置以及电子设备的位置,计算电子设备与物体之间的相对距离,从而获得较为电子设备与物体之间较为可靠的距离。
本申请另一实施例提供的电子设备控制方法,在前一实施例的基础上,包括了根据第一设备位置以及目标物体上一时刻在地球坐标系中的物体位置,对相对估算距离的具体计算方式。请参见图4,该方法包括:
步骤S310:获取当前时刻图像采集单元采集的图像,根据视觉测距算法以及当前时刻采集的图像,计算当前时刻目标物体与所述电子设备之间的相对测量距离。
步骤S320:获取当前时刻电子设备的运动数据,根据所述运动数据以及当前时刻之前的至少一个时刻的运动数据确定电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置。
电子设备可以获取当前时刻运动检测单元获得的运动数据以及当前时刻图像采集单元采集的图像。因此对于每一时刻,在该时刻作为当前时刻时,可以获取到该时刻的运动数据以及采集的图像。其中,周期性获取每一时刻的运动数据的可以是电子设备的处理器。
在本申请实施例中,获取电子设备的运动数据以及图像采集单元采集的图像的第一个时刻可以根据实际需要设置。
在一种实施方式中,运动检测单元可以持续以设置的采样频率采集电子设备的运动数据,处理器可以一直周期性获取每一时刻的获取运动数据。图像采集单元可以一直采集图像,处理器可以一直周期性获取每一时刻的图像。
在另一种实施方式中,可以是,在开启接近距离检测功能后,确定处于需要根据目标物体与电子设备的距离进行控制的场景下,可以开始周期性获取每一时刻的运动数据,周期性获取每一时刻的图像。接近距离检测功能关闭后,可以不再获取用于接近距离检测的图像以及运动数据,即不再获取用于相对估算距离计算的图像以及运动数据。
在又一种实施方式中,可以是,在开启接近距离检测功能后,确定处于需要根据目标物体与电子设备的距离进行控制的场景下,对图像采集单元采集的图像进行识别,确定其中是否包括目标物体。图像采集单元采集的图像中包括目标物体时,开始周期性获取每一时刻的运动数据,并周期性获取每一时刻的图像。其中,接近距离检测功能关闭后,可以不再获取用于接近距离检测的图像以及运动数据。
可选的,在本申请实施例中,对于获取的运动数据,可以进行预处理,以提高运动数据的准确性,该预处理可以包括滤波、噪声滤除、温度补偿、零位补偿等。
另外,本申请实施例中,还可以根据利用惯性传感器中陀螺仪、地磁传感器的角度、角速度信息来修正与补偿电子设备旋转运动对图像带来的影响。例如,电子设备在实际运动的过程中抖动,就会导致视觉测距时图像会有偏移,即采集的图像相对于图像采集单元的镜头屏幕偏转,同时陀螺仪测得电子设备在采集图像时偏转角度b,就可以对该图像补偿一个该偏转角度b。
另外,可选的,本申请实施例还可以对图像进行去噪处理,提升图像识别的准确性。
在本申请实施例中,确定图像中是否包括目标物体的方式并不限定,例如可以通过预先训练的神经网络模型,对图像中的物体进行识别,以识别到的物体作为目标物体;又如对采集的图像进行边缘检测,确定其中物体的轮廓,判断物体的轮廓是否与预设的目标物体轮廓匹配度大于预设匹配度,若是,则识别到图像中包括目标物体;又如,可以预先设置目标物体的像素值可能存在的范围为预设像素值范围,对图像中的像素点的像素值进行统计,确定像素值在预设像素值范围内的像素点是否形成连通域且数量大于预设数量,若是,则确定有物体距离电子设备较近,以该像素值在预设像素值范围内的像素点形成的连通域作为识别到的目标物体。当然,本申请实施例中确定图像中是否包括目标物体的方式并不限定,并且,不同的方式可以相互结合确定目标物体,即同时满足选择的确定方式的条件,或者择一满足选择的确定方式的条件,或者满足部分选择的确定方式的条件等。
另外,运动检测单元的采样频率可以高于或等于相对估算距离的更新频率。当运动检测单元的采样频率等于相对估算距离的更新频率,则每一时刻获取当前时刻采样的运动数据。当运动检测单元的采样频率高于相对估算距离的更新频率,在每一时刻,可以获取距离当前时刻最近的采样时间采集的运动数据;也可以获取上一时刻到当前时刻之间的一个或多个运动数据进行数据处理,确定运动数据,该数据处理可以包括是以选取的一个运动数据作为当前时刻的运动数据,或者对选取的多个运动数据进行平均、加权平均、取中值等操作,获取一个最能代表电子设备在当前时刻实际运动状态的运动数据,减小采样误差。每一时刻具体获取运动数据的方式在本申请实施例中并不限定。
另外,图像采集单元的采样频率也可以高于或等于相对估算距离的更新频率。当图像采集单元的采样频率等于相对估算距离的更新频率,则每一时刻获取当前时刻采样的图像。当图像采集单元的采样频率高于相对估算距离的更新频率,在每一时刻,可以获取距离当前时刻最近的采样时间采集的图像;也可以获取上一时刻到当前时刻之间的一个或多个图像进行数据处理,确定图像。该数据处理可以是以选取的一个图像作为当前时刻获取的图像;或者可以与计算目标物体与电子设备的相对测量距离相结合。具体可以是,根据视觉测距算法确定各个图像对应的目标物体相对于电子设备的相对测量距离,对获得的相对测量距离平均、加权平均、取中值等操作,获取一个最能代表电子设备在当前时刻目标物体与电子设备实际距离的相对测量距离,可以直接以该相对测量距离作为当前时刻的相对测量距离,或者以该相对测量距离对应的图像作为当前时刻采集的图像,用于根据该图像计算当前时刻的相对测量距离。
通常的,图像采集单元受器件以及功耗限制,可达到的频率通常低于运动检测单元的采样频率,如图像采集单元的采样频率一般小于60帧/秒,惯性传感器采样率可以到数百K/s甚至更高。为了提高相对估算距离的计算精度,在本申请实施例中,可以设置相对估算距离的更新频率等于图像采集单元的采样频率。即每采样到一个包括目标物体的图像,根据该图像以及当前时刻的运动数据计算相对估算距离。其中,相对估算距离的更新根据电子设备的设备位置、目标物体的物体位置等,因此相对估算距离的更新频率可以等于电子设备的设备位置的更新频率、目标物体的物体位置的更新频率。
其中,根据视觉测距算法以及当前时刻采集的图像,计算当前时刻目标物体与所述电子设备之间的相对测量距离。在每一时刻作为当前时刻时计算目标物体与所述电子设备之间的相对测量距离,可以对应每一时刻,计算到该时刻目标物体与所述电子设备之间的相对测量距离。
计算当前时刻目标物体与所述电子设备之间的相对测量距离所使用的视觉测距算法在本申请实施例中并不限定。例如可以根据单目测距原理,对单幅图像进行目标物体的测距,确定目标物体与电子设备之间的相对测量距离。又如,可以图像采集单元包括两个图像采集子单元,可以同时采集到两幅图像,可以根据双目测距原理对同时采集到的两幅图像进行双目测距,确定目标物体距离电子设备的距离。可选的,图像采集单元也可以包括三个或者三个以上的图像采集子单元,可以同时采集到三幅或者三幅以上的图像,可以根据双目测距原理对同时采集到的三幅或者三幅以上的图像进行测距并互为校正,确定目标物体距离电子设备的距离。
其中,单目测距的原理可以是,由于物体距离图像传感器不同距离时成像占的像素不同,利用相似三角形等比例关系,可以计算出物体距离图像传感器的距离。如图5所示,物体距离图像传感器真实距离为H,在图像中成像长度为d2;当物体距离图像传感器真实距离为h,在图像中成像长度为d1。那么通过公式H:h=d2:d1可以计算出物体离图像传感器真实距离。
在实际单目测距时,可以有预先标定的图像,定义为标定图像,该预先标定的图像中包括目标物体,且该标定图像中目标物体的成像长度以及物体与传感器的真实距离已知,如图5中h对应的图像为标定图像。
在单目测距时,根据实际获得的图像中目标物体的成像长度d2以及标定图像中的d1和h,可以计算获得实际图像中目标物体与电子设备的距离H。
以相机作为图像采集单元说明双目测距。双目测距的实现原理可以是,如图6所示,X是目标物体上的某一点,O与O’分别是两个相机的光心,X在两个相机感光器上的成像点分别为x和x’。其中,如图5所示,相机的成像平面经过旋转后放在了镜头前方,f为相机焦距,B为两相机中心距,Z为目标物体的实际距离。设点x到点x’的距离为d,则d=B-(x-x’);根据相似三角形原理,(B-(x-x’))/B=(Z-f)/Z,可得:Z=fB/(x-x’)。其中,焦距f和相机中心距B可以通过标定获得,只需计算出视差(x-x’)就可以算出距离Z。
在实际计算距离Z时,在两个相机同时采集的目标物体的两个图像中,通过特征点匹配确定目标物体上同一位置在两个图像中的成像点x和x’,计算x和x’的距离,如计算x和x’的欧式距离。
在进行多目测距时,可以通过上述双目测距的方式计算获得目标物体的多个实际距离,根据该多个实际距离选出最能代表目标物体与相机的距离的实际距离,例如通过求平均、求中值等方式,在本申请实施例中并不限定。
可以理解的,在本申请实施例中,视觉测距算法实际测得的距离为图像检测单元与目标物体的距离,可选的,可以以该单目测距测得的距离表示电子设备相对于目标物体的相对测量距离;可选的,可以根据图像检测单元与目标物体的结构关系,以及视觉测距算法计算的距离,计算电子设备与目标物体之间的相对测量距离。
另外,计算电子设备当前时刻的设备位置时,根据当前时刻的运动数据以及上一时刻的运动数据,可以计算上一时刻到当前时刻的位移,则在上一时刻的第二设备位置的基础上,加上该位移,可以确定当前时刻电子设备在地球坐标系中的第一设备位置。
上一时刻的第二设备位置,可以根据上一时刻的上一时刻的设备位置,以及上一时刻的上一时刻到上一时刻的位移相加确定,各时刻在地球坐标系中的设备位置可以以此类推确定,直至上一时刻之前的预设时刻的位置作为原点或者任意设置。各个时刻对应的地球坐标系为同一个地球坐标系。该预设时刻可以是开始获取运动数据以及包括目标物体的图像的第一时刻,也可以是其他获取到有运动数据以及包括目标物体的图像的时刻。
另外,也可以以上一时刻的设备位置作为地球坐标系的原点,或者设置地球坐标系确定上一时刻的设备位置为任一坐标,保证第一设备位置以及第二设备位置所在的地球坐标系为同一坐标系即可。其中,地球坐标系是与地球一起旋转的坐标系,其中的坐标不受电子设备以及物体的运动影响,本申请实施例中,地球坐标系各个坐标轴的指向相同。同一地球坐标系表示的原点相同,同一坐标轴上相邻两个坐标点的距离相同。
第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得,该当前时刻之前的至少一个时刻,即上一时刻或者从上一时刻到上一时刻之前的预设时刻之间的各个时刻。
另外,根据相邻两个时刻的运动数据计算相邻两个时刻的位移的方式可以是,对于每一时刻,根据运动数据在电子设备坐标系中的加速度ax,ay,az,结合陀螺和地磁数据换算到地球坐标系aX,aY,aZ,根据相邻两个时刻之间的时间间隔以及位移公式,计算相邻两个时刻之间的位移。
另外,可选的,在本申请实施例中,由于电子设备和目标物体的相对运动影响电子设备和目标物体之间的距离,因此,在本申请实施例中,可以从包括三个维度惯性参数的运动数据中提取目标方向上的惯性参数,该目标方向为电子设备与目标物体相对的方向。例如电子设备与目标物体的相对状态如图1所示,图1中的坐标系为电子设备坐标系,假设电子设备100和目标物体200相对于地球都往y方向运动,同时电子设备100还在x方向往目标物体200靠近,如在移动的车里打电话的场景。运动检测单元可以将x,y,z方向的惯性参数都表征出来,结合图像中目标物体的方向,将x方向的惯性参数提取出来,可以获得用于计算x方向上电子设备位移的惯性参数,如x方向上的加速度。在本申请实施例中,若提取了目标方向上的惯性参数,则计算电子设备的位移时,通过目标方向上的惯性参数计算预设方向上的位移。
其中,由于电子设备的图像采集单元采集到目标物体,因此该预设方向可以是图像采集单元的图像采集方向,或者说镜头的朝向方向。
另外,可选的,为了提高数据的准确性,在本申请实施例中,对应每一时刻,可以将采集获得的运动数据以及相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计,作为用于计算相对估算距离的数据。也就是说,数据融合后的运动数据为最优估计的运动数据,以该运动数据计算电子设备的位移以及位置;数据融合后的相对测量距离为相对测量距离的最优估计,以该最优估计的相对测量距离计算目标物体在地球坐标系中的位置。
在本申请实施例中,数据融合的具体算法并不限定,如可以是卡尔曼滤波算法,多贝叶斯估计,加权平均,机器学习等。
步骤S330:获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得,所述图像中包括所述目标物体。
在当前时刻,可以获取目标物体上一时刻在地球坐标系中的物体位置。上一时刻目标物体在地球坐标系中的物体位置,可以是上一时刻电子设备在地球坐标系中的位置加上在上一时刻确定的相对测量距离,作为上一时刻目标物体在地球坐标系中的物体位置。
可选的,由于计算获得的相对测量距离为标量,则电子设备在地球坐标系中的位置加上相对测量距离时,可以根据地球坐标系中坐标值正向方向以及目标物体与电子设备的相对位置关系确定相对测量距离的正负以及方向,从而可以将相对测量距离转换为矢量。例如,根据目标物体与电子设备的连线与各个坐标轴所成的角度以及相对测量距离,计算目标物体在各个坐标轴上的相对电子设备的距离;另外,目标物体在各个坐标轴上相对电子设备的距离的正反,可以是,从电子设备到目标物体的方向为坐标轴的正向方向,则该坐标轴上目标物体与电子设备的距离可以为正数;从电子设备到目标物体的方向为坐标轴的负向方向,则该坐标轴上目标物体与电子设备的距离可以为负数。
可选的,由于电子设备的图像采集单元采集到目标物体,说明目标物体在电子设备的镜头朝向方向,因此可以根据镜头在地球坐标系中的朝向以及相对测量距离,将该相对测量距离转换为矢量,用于与位置矢量相加。
也就是说,对应每一时刻,可以以电子设备在该时刻作为当前时刻时,该当前时刻在地球坐标系中的位置加上该上一时刻的相对测量距离,作为当前时刻所述目标物体在地球坐标系中的物体位置。如前所述,每个当前时刻的第一设备位置、该当前时刻的上一时刻的第二设备位置、该当前时刻的上一时刻的物体位置为同一地球坐标系中的位置。
可选的,可以设置地球坐标系的其中一个坐标方向为镜头朝向,且该坐标方向的正向为镜头到目标物体的方向,电子设备的设备位置通过该坐标方向的坐标值表示,其他坐标方向的坐标值忽略。计算目标物体的物体位置时,可以直接将电子设备在该坐标方向的坐标值与上一时刻的相对测量距离相加,得到的值表示当前时刻目标物体的物体位置。例如,镜头在地球坐标系中朝向x方向,且x的正方向为从镜头到目标物体的方向,则相对测量距离转换为的矢量为x方向等于正的相对测量距离,y方向以及z方向为0。或者是,直接以x方向的数据进行计算,忽略y方向和z方向,电子设备的设备位置通过x方向的坐标表示,目标物体的物体位置为设备位置加上相对测量距离。镜头在地球坐标系中朝向y方向或z方向同理。
可选的,在本申请实施例中,由于图像的清晰度不高的情况下,图像的可信度不高,可靠性不高,确定的相对测量距离并不准确,则根据该相对距离以及电子设备的设备位置计算的物体位置也不准确。可选的,在本申请实施例中,对于每个时刻采集到的图像,可以进行可靠性判断。若当前时刻判定图像不可靠,则可以以以下一种或多种可选的实施方式计算当前时刻目标物体的物体位置。
在一种实施方式中,可以以前一时刻的相对测量距离作为当前时刻的相对测量距离,计算当前时刻目标物体的物体位置。可选的,由于目标物体的运动都是在之前的运动趋势下的延续,在该实施方式中,也可以以前面多个时刻的相对测量距离进行拟合,根据获得的拟合曲线计算当前时刻的相对测量距离,再根据该相对测量距离计算当前时刻目标物体的物体位置。
在一种实施方式中,可以以前一时刻的相对估算距离作为当前时刻的相对测量距离,计算当前时刻目标物体的物体位置。
在一种实施方式中,可以以前一时刻确定的目标物体的位置作为当前时刻目标物体的位置。可选的,在该实施方式中,也可以以前面多个时刻的物体位置进行拟合,根据获得的拟合曲线计算当前时刻的物体位置。
在一种实施方式中,可以降低当前时刻的图像计算的相对测量距离在融合过程中的权重,用于与运动数据进行数据融合,以融合后的相对测量距离作为计算目标物体位置的相对测量距离。
另外,判断图像是否可靠的方式可以是,根据视觉测距算法以及图像计算获得的目标物体与电子设备的之间的距离在图像采集单元的测距范围之外。也就是说,根据视觉测距算法,计算图像中目标物体与电子设备之间的相对测量距离,若该相对测量距离在图像采集单元的测距范围之外,说明图像采集单元采集的图像清晰度不同,从而计算获得的相对测量距离不可靠,图像是不可靠的;若该相对测量距离在图像采集单元的测距范围之内,则可以认为获得的相对测量距离可靠的,图像是可靠的。
判断图像是否可靠的方式也可以是,根据图像采集单元的测距范围,可以预设一个不同的相对测量距离与可靠性的权重的对应关系,其中,在图像采集单元的测距范围之外的相对测量距离对应的权重低于在测距范围之内的相对测量距离的权重。当在测距范围之外且大于测距范围最大值时,相对测量距离越大权重越低;当在测距范围之外且小于测距范围最小值时,相对测量距离越小权重越低。当权重低于预设权重时,可以确定该图像不可靠。其中,测距范围可以是根据预先实验获得,如图1中区域203对应的范围。
判断图像是否可靠的方式还可以是,设置有清晰度与是否可靠的对应关系。计算图像的清晰度,并根据清晰度与是否可靠的对应关系,确定当前图像是否可靠。其中,清晰度评价算法可以包括频域函数;灰度函数;信息熵函数;统计学函数等,在本申请实施例中并不限定。
步骤S340:根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离。
在本申请实施例中,由于在需要根据目标物体与电子设备距离不同进行电子设备控制的场景下,相邻两个时刻之间目标物体的运动距离较小,例如在通话场景下,电子设备靠近或远离包括有人耳部分的头部,通常是电子设备在移动,而人的头部移动较小;或者如设置电子设备进行位置确定以及计算相对估算距离的周期较小,频率较高,两个时刻之间的间隔较小,目标物体在相邻两个时刻之间移动距离较小。因此,在一种实施方式中,根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离时,可以以上一时刻目标物体的位置代表当前时刻目标物体的位置,计算相对估算距离时,根据当前时刻电子设备的第一设备位置以及上一时刻目标物体的物体位置,可以直接以当前时刻电子设备的第一设备位置减去上一时刻目标物体的物体位置,相减的结果求距离作为相对估算距离。
另外,在本申请实施例中,从上一时刻到当前时刻,目标物体可能有一定的位移。因此,在本申请实施例中,可以根据目标物体的运动趋势,对目标物体从上一时刻到当前时刻的位移进行估算,以该估算位移对第一设备位置减去上一时刻目标物体的物体位置进行补偿,使补偿后的相对估算距离更加准确。
也就是说,在本申请实施例中,可以计算所述目标物体从上一时刻到当前时刻的估算位移,根据第一设备位置以及目标物体上一时刻在地球坐标系中的物体位置,计算电子设备与目标物体之间的相对估算距离,可以是,根据所述估算位移以及上一时刻的物体位置,计算所述目标物体当前时刻在地球坐标系中的物体位置;计算所述第一设备位置以及当前时刻物体位置之差,作为所述相对估算距离。也就是说,上一时刻的物体位置加上估算位移,作为当前时刻的物体位置;再用第一设备位置减去当前时刻的物体位置得到的值求距离,作为相对估算距离。
在一种实施方式中,定义两个相邻时刻之间的时间差为一个时间间隙,或者说,定义一个时间周期为一个时间间隙。该实施方式中,可以计算目标物体在一个时刻间隙的位移,作为所述估算位移。
具体的,在该实施方式中,可以获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置。根据所述至少两个物体位置计算所述目标物体在一个时刻间隙的位移,作为所述估算位移。
可选的,在该实施方式中,可以任选两个时刻,确定该两个时刻目标物体在地球坐标系中的物体位置,感觉该两个时刻确定的物体位置计算该两个物体位置之差,获得该两个时刻目标物体的位移,以该位移除以该两个时刻之间时刻间隙的数量,确定一个时刻间隙的位移,作为估算位移。在本申请实施例中,一个位置通过加或减等计算得到另一个位置、两个可加减的位置,都为同一地球坐标系中的位置,即该任选的两个时刻的物体位置为同一地球坐标系中的物体位置。可选的,该任选的两个时刻可以是相邻的两个时刻。每个时刻目标物体在地球坐标系中的位置的确定方式可以参见前述描述,即该时刻为当前时刻时,以电子设备的位置加上电子设备与目标物体的相对测量距离。
可选的,在该实施方式中,离当前时刻越近,目标物体的运动趋势越能代表当前时刻,可以选择上一时刻到上上时刻之间目标物体的位移作为所述估算位移。即以上一时刻目标物体在地球坐标系中的位置减去上上时刻目标物体在地球坐标系中的位置,获得该估算位移。上上时刻为上一时刻的上一时刻。
可选的,在该实施方式中,可以计算目标物体在多个时刻间隙的位移进行拟合,预测从上一时刻到当前时刻目标物体可能的位移。具体的,在该实施方式中,可以是获取当前时刻之前的至少三个依次相邻的时刻目标物体在地球坐标系中的物体位置,获得至少三个物体位置,获得至少三个物体位置。根据该至少三个物体位置计算在至少两个时刻间隙的至少两个位移;对所述至少两个位移进行拟合,获得位移拟合曲线;根据所述位移拟合曲线计算上一时刻到当前时刻所述目标物体的位移。
也就是说,在该实施方式中,选择的至少三个时刻为相邻的时刻,由于每两个相邻的时刻对应一个时刻间隙,则至少三个依次相邻的时刻对应至少两个时刻间隙。获取该至少两个时刻间隙内每个时刻间隙目标物体的位移,获得至少两个位移。对该至少两个位移进行拟合,获得位移拟合曲线,该位移拟合曲线对应一个函数。因此,根据该位移拟合曲线或者说该位移拟合曲线对应的函数,可以计算上一时刻到当前时刻的时刻间隙的位移,作为该估算位移。
其中,选择三个依次相邻的时刻时,可以从上一时刻向前选择,以选择到离当前时刻最近的位移进行拟合,拟合出更准确的估算位移。如选择上一时刻到上上时刻,以及上上时刻到上上时刻的上一时刻。
在本申请实施例中,每两个相邻时刻之间的位移计算的时机,可以在当前时刻需要计算估算位移时进行计算,也可以是,在每个时刻作为当前时刻时,计算该时刻与前一时刻目标物体的位移。
在一种实施方式中,可以对目标物体的速度进行估算,以根据估算的速度估算上一时刻到当前时刻目标物体的位移。
具体的,在该实施方式中,可以获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置。根据该至少两个物体位置计算目标物体在至少一个时刻间隙的至少一个位移。该计算位移的方式可以参见前述实施方式中的任意一种进行计算,在此不再赘述。
由于每个位移对应一个时刻间隙,则可以根据至少一个位移以及时刻间隙计算至少目标物体的至少一个运动速度。具体的,可以是,由于时刻间隙较短,假设一个时刻间隙内目标物体匀速运动,一个位移除以时刻间隙的得到值,作为目标物体的一个运动速度,表示该位移对应的时刻间隙目标物体的运动速度,也可以用于代表该时刻间隙结束时目标物体的运动速度。
在本申请实施方式中,每个时刻间隙对应的速度的计算时机,可以在当前时刻需要计算估算位移时进行计算,也可以是,在每个时刻作为当前时刻时,计算该时刻与前一时刻目标物体的速度并存储,用于后续估算位移。
在获得至少一个运动速度的情况下,可以根据至少一个运动速度,以及上一时刻到当前时刻之间的时刻间隙,计算目标物体从上一时刻到当前时刻的位移,作为所述估算位移。
可选的,在该实施方式中,可以获得一个运动速度,以该运动速度乘以上一时刻到当前时刻之间的时刻间隙的值,作为估算位移。可选的,为了提高估算的准确性,该一个运动速度可以是上上时刻到上一时刻之间目标物体的运动速度,根据上上时刻到上一时刻之间目标物体的位移计算获得。
可选的,在该实施方式中,可以获得至少两个运动速度,对该两个运动速度进行拟合,获得速度拟合曲线,该速度拟合曲线对应一个函数。因此,根据该速度拟合曲线或者说该速度拟合曲线对应的函数,可以计算上一时刻到当前时刻的时刻间隙目标物体的运动速度,根据该运动速度与上一时刻到当前时刻之间的时刻间隙的乘积,作为该估算位移。
其中,至少两个运动速度可以是从上一时刻依次向前的各个时刻分别形成的时间间隙的运动速度,即选择离当前时刻最近的时刻间隙的运动速度进行拟合,拟合出更准确的运动速度。
在一种实施方式中,可以对目标物体的加速度进行估算,以根据位移计算公式、估算的加速度、时刻间隙以及上一时刻到上上时刻的时刻间隙对应的运动速度,计算估算位移。
具体的,在该实施方式中,可以获取至少两个位移,根据该至少两个位移以及对应的时刻间隙,获取该至少两个位移分别对应的运动速度,获得目标物体的至少两个运动速度,该至少两个运动速度依次为相邻的时刻间隙对应的运动速度。其中,位移的计算方式可以参见前述实施方式,如获取当前时刻之前的至少三个依次相邻的时刻目标物体在地球坐标系中的物体位置,获得对应各时刻的至少三个物体位置;根据至少三个物体位置确定目标物体在至少两个时刻间隙对应的至少两个位移,在本申请实施例中并不限定。
可选的,在该实施方式中,至少两个运动速度可以为两个运动速度,即通过两个运动速度计算加速度,该两个运动速度为相邻的时刻间隙对应的运动速度,表示相邻的两个时刻对应的运动速度。
根据两个速度以及时刻间隙,计算目标物体的加速度的方式可以是,通过加速度公式进行计算,如可以用两个运动速度相减除以时刻间隙,获得加速度。
可选的,在该实施方式中,可以获得至少两个加速度,对该两个加速度进行拟合,获得加速度拟合曲线,该加速度拟合曲线对应一个函数。因此,根据该加速度拟合曲线或者说该加速度拟合曲线对应的函数,可以计算上一时刻到当前时刻的时刻间隙相对于前一个时刻间隙目标物体的加速度,用于计算估算位移。
其中,至少两个加速度可以是从上一时刻依次向前的各个时刻分别形成的时间间隙之间的加速度,即选择离当前时刻最近的时刻间隙之间的加速度进行拟合,拟合出更准确的运动速度。
具体的,可以根据至少三个位移以及对应的时刻间隙,获得目标物体的至少三个运动速度。该至少三个位移对应的时刻间隙为相邻的时刻间隙,该三个运动速度代表相邻的时刻的运动速度。
由于每两个相邻的运动速度之差除以时刻间隙,可以获得一个加速度,因此,可以根据获得的至少三个速度以及时刻间隙,获得至少两个加速度。根据该至少两个加速度进行拟合,获得拟合曲线,根据该拟合曲线计算最接近当前时刻的加速度,即拟合出上一时刻间隙到当前时刻间隙的加速度,也可以表示上一时刻到当前时刻的加速度,作为获得的所述目标物体的加速度。
根据加速度、时刻间隙以及最近一个时刻目标物体的运动速度,计算目标物体在一个时刻间隙的位移,作为所述估算位移。其中,计算位移的方式可以通过速度位移公式进行,即估算位移为v0为初速度,t为一个时刻间隙,a为加速度,初速度为最近一个时刻目标物体的运动速度。另外,由于该加速度更接近对上一时刻间隙到当前时刻间隙的加速度,因此估算计算公式可以是
步骤S350:根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
该步骤可以参见前述实施例对应步骤,在此不再赘述。
由于物体运动是一个动态的过程,则计算也是一个动态的过程,在本申请实施例通过几个具体的时刻对相对估算距离的计算进行距离说明。
如图7所示,t1、t2、t3以及t4是时间上由前到后的任意四个相邻的时刻,t1时刻电子设备100在地球坐标系中的坐标为L1(x1,y1,z1),不同时刻的电子设备100之间的实线箭头表示电子设备的位移,虚线箭头表示电子设备分别相对于t1时刻的位置变化。
在t1时刻,采集电子设备100的运动数据以及包括目标物体200的图像P1。该运动数据包括用于计算位移的加速度a1(ax1,ay1,az1)。根据图像P1计算目标物体200相对于电子设备100的相对测量距离,根据目标物体200与电子设备100的相对位置关系以及该相对测量距离,可以将相对测量距离转换为坐标系中的矢量S相对1,t1时刻目标物体的位置为l1=L1+S相对1。
在t2时刻,采集电子设备的运动数据以及包括目标物体的图像P2。该运动数据包括用于计算位移的加速度a2(ax2,ay2,az2)。根据a1以及a2计算电子设备从t1时刻到t2时刻的位移SA1,根据图像P2计算目标物体相对于电子设备的相对测量距离,该测量距离对应的坐标系中的矢量为S相对2。从而可以确定t2时刻电子设备的位置L2为L1+SA1,目标物体的位置为l2=L1+SA1+S相对2。
在一种实施方式中,计算t2时刻电子设备与目标物体之间的相对估算距离可以是,t2时刻电子设备的设备位置减去t1时刻目标物体的物体位置得到的值,即L1+SA1-(L1+S相对1)=SA1-S相对1,该结果为矢量,根据该矢量计算距离,即计算该矢量的大小。假设在t1时刻电子设备在该地球坐标系的原点,则t2时刻电子设备的设备位置减去t1时刻目标物体的物体位置得到的值为SA1-S相对1。
另外,在其他实施方式中,还可以计算t1时刻到t2时刻的目标物体的位移SB1,即以目标物体在t2时刻的位置减去t1时刻的位置,SB1=(L1+SA1+S相对2)-(L1+S相对1)=SA1+S相对2-S相对1,还可以计算目标物体的运动速度VB1=SB1/t,t为t1到t2之间的时间差。
在t3时刻,采集电子设备的运动数据以及包括目标物体的图像P3。该运动数据包括用于计算位移的加速度a3(ax3,ay3,az3)。根据a2以及a3计算电子设备从t2时刻到t3时刻的位移SA2,根据图像P3计算目标物体相对于电子设备的相对测量距离,该测量距离对应的坐标系中的矢量为S相对3。从而可以确定t3时刻电子设备的位置L3为L1+SA1+SA2,目标物体的位置为l3=L1+SA1+SA2+S相对3。
计算t2时刻到t3时刻的目标物体的位移SB2,即以目标物体在t3时刻的位置减去t2时刻的位置,SB2=(L1+SA1+SA2+S相对3)-(L1+SA1+S相对2)=SA2+S相对3-S相对2,还可以计算目标物体t2时刻到t3时刻的运动速度VB2=SB2/t,t为t2到t3之间的时间差。还可以计算t1到t2对应的时间间隙以及t2到t3对应的时间间隙目标物体的加速度,a’1=(VB2-VB1)/t。
在另一种实施方式中,计算t2到t3的相对估算距离时,可以用t3时刻电子设备的位置减去t2时刻目标物体的位置,即L3-l2。根据该位置差计算距离。
计算t2到t3的相对估算距离时,也可以通过速度计算估算位移进行补偿,即可以是L3-(l2+VB1*t),再根据该矢量求距离。
在t4时刻,采集电子设备的运动数据以及包括目标物体的图像P4。该运动数据包括用于计算位移的加速度a4(ax4,ay4,az4)。根据a3以及a4计算电子设备从t3时刻到t4时刻的位移SA3,根据图像P3计算目标物体相对于电子设备的相对测量距离,该测量距离对应的坐标系中的矢量为S相对4。从而可以确定t4时刻电子设备的位置L4为L1+SA1+SA2+SA3,目标物体的位置为l4=L1+SA1+SA2+SA3+S相对4。
计算t3时刻到t4时刻的目标物体的位移SB3,即以目标物体在t4时刻的位置减去t3时刻的位置,SB3=(L1+SA1+SA2+SA3+S相对4)-(L1+SA1+SA2+S相对3)=SA3+S相对4-S相对3,还可以计算目标物体t3时刻到t4时刻的运动速度VB3=SB3/t,t为t3到t4之间的时间差。还可以计算t2到t3对应的时间间隙以及t3到t4对应的时间间隙目标物体的加速度,a’2=(VB3-VB2)/t。
在另一种实施方式中,计算t3到t4的相对估算距离时,可以用t4时刻电子设备的位置减去t3时刻目标物体的位置,即L4-l3。根据该位置差计算距离。
计算t3到t4的相对估算距离时,也可以通过速度计算估算位移进行补偿,即可以是L4-(l3+VB2*t),再根据该矢量求距离。其中,该计算式中的VB2也可以替换为根据VB1以及VB2形成的拟合曲线确定的运动速度,根据VB1以及VB2形成的拟合曲线拟合出t3到t4时刻目标物体的速度VB2’。
计算t3到t4的相对估算距离时,也可以通过加速度计算估算位移进行补偿,即可以是L4-(l3+(VB3+a’1*t)*t/2),再根据该矢量求距离。
由上面的计算可以看出,相邻两个时刻的位置计算与坐标系的设置相关,因此,进行位置计算时,相关的位置为同一坐标系中的位置。速度和加速度的计算只与电子设备的位移以及电子设备与目标物体之间的相对距离相关,因此,速度和加速度的计算可以不要求在同一坐标系。当然,在本申请实施例中,也可以一直在同一坐标系中进行位置、速度、加速度以及位移等的计算。
在本申请实施例中,电子设备的运动可能并非严格按直线进行,如图7中t1时刻到t2时刻电子设备的运动轨迹可能为弧线。由于通常情况下,电子设备的运动轨迹的弧度不大,并且相邻两个时刻之间时间间隔较短,可以以直线运动方式进行处理,对计算结果影响不大。
在本申请实施例中,为了计算简便,可以将地球坐标系的一个坐标轴的方向设置为从电子设备向目标物体的方向,或者说电子设备与目标物体的相对运动方向,如图1所示,并且提取电子设备和目标物体相对的方向上的惯性参数计算位移,则可以在一个方向上进行位置变化的加减,降低了计算难度。
在本申请实施例中,可以目标物体在当前时刻之前的运动趋势根据电子设备的运动以及图像进行估计,根据该估计的运动趋势估算目标物体从上一时刻到当前时刻的位移,以该位移作为目标物体上一时刻到当前时刻的位移补偿,通过当前时刻电子设备在地球坐标系中的位置与补偿后目标物体的位置,可以确定目标物体与电子设备之间的相对距离,用于控制屏幕的亮灭。
本申请还提供了一种实施例,在该实施例中,可以将根据视觉测距算法以及图像获得的相对测量距离进行优化后,作为电子设备以及目标物体之间的相对估算距离,从而在图像可靠的情况下,可以以更少的计算量获得较为准确的距离。具体的,请参见图8,该实施例的方法可以包括:
步骤S410:获取包括目标物体的图像以及电子设备的运动数据。
处理器可以从图像采集单元获取采集的图像,当获取到的图像中包括目标物体时,获取到包括目标物体的图像。本步骤的具体解释可以参见前述实施例中相同或相应的步骤,在此不再赘述。
步骤S420:根据视觉测距算法以及所述图像,计算目标物体与所述电子设备之间的相对测量距离。
根据视觉测距算法,计算图像中的目标物体在实际物理空间中与电子设备之间的距离,作为相对测量距离。具体计算方式可以参见前述实施例相同或相应的部分,在此不再赘述。
步骤S430:将获取的运动数据以及所述相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计,以所述相对测量距离的最优估计作为所述相对估算距离。
根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离时,可以先将获取到的电子设备的运动数据以及计算获得的相对测量距离进行数据融合,融合结果中获得运动数据的最优估计以及相对测量距离的最优估计。
由于最优估计对可能产生的误差进行了补偿修正,数据更为准确,因此,可以将相对测量距离的最优估计,作为相对估算距离,该相对估算距离表示更为准确的电子设备与目标物体之间的距离。
其中,具体数据融合的方式在本申请实施例中并不限定,例如可以是通过如前所述的卡尔曼滤波算法,多贝叶斯估计,加权平均,机器学习等的多传感器数据融合方式。
步骤S440:根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
本步骤可以参见前述实施例相同或相应的步骤,在此不再赘述。
在本申请实施例中,对运动数据以及相对测量距离进行数据融合,通过运动数据对相对测量距离进行修正,使相对测量距离的最优估计更接近真实的电子设备与目标物体之间的距离,从而可以将该相对测量距离的最优估计作为相对估算距离。该相对估算距离用于接近控制的依据,根据相对估算距离与预设控制操作之间的对应关系,对电子设备进行控制。
目标物体与电子设备距离不同时,采集到的包括目标物体的图像清晰度可能不同。目标物体在电子设备的测距范围之外时,获得的图像清晰度低,根据视觉测距算法计算得到的目标物体与电子设备之间的距离误差较大;目标物体在电子设备的测距范围之内时,根据视觉测距算法计算得到的目标物体与电子设备之间的距离较为准确。因此,本申请还提供了一种实施例,该实施例的电子设备控制方法、装置、电子设备及存储介质,根据图像的可靠程度确定计算相对估算距离的方式。具体的,请参见图9,该实施例提供的方法包括:
步骤S510:获取包括目标物体的图像以及电子设备的运动数据。
本步骤可以参见前述实施例相同或相应的部分,在此不再赘述。
步骤S520:判断所述图像是否满足距离计算条件。若满足,执行步骤S530;若否,执行步骤S540。
在本申请实施例中,若图像的清晰度高,则图像可靠,可信,根据视觉测距算法计算得到的距离较为准确,可以确定图像满足距离计算条件,可以根据视觉测距算法,计算图像中目标物体在实际物理空间中与电子设备之间的距离;若图像的清晰度不高,则图像不可靠,不可信,可以结合运动数据对目标物体位置的计算,计算目标物体与电子设备之间的距离。
因此,根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离时,可以判定图像是否满足距离计算条件,分别对应满足或不满足距离计算条件,采用不同的计算方式。在本申请实施例中,距离计算条件可以为图像的清晰度大于预设清晰度;或者也可以为根据视觉测距算法以及所述图像,计算获得的目标物体与电子设备的之间的距离在图像采集单元的测距范围之外。具体判定图像是否满足距离计算条件的方式可以参见前述实施例判定图像是否可靠的方式,若判定图像可靠,则表示图像满足距离计算条件;若判定图像不可靠,则表示图像不满足距离计算条件。
步骤S530:根据视觉测距算法,计算所述图像中目标物体与所述电子设备之间的相对测量距离;将获取的运动数据以及所述相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计;以所述相对测量距离的最优估计作为所述相对估算距离。
若所述图像满足距离计算条件,则可以执行步骤S530。步骤S530的具体描述可以参见前述实施例相同或相应的步骤,在此不再赘述。
可选的,若所述图像满足距离计算条件,也可以直接将根据视觉测距算法计算获得的相对测量距离作为相对估算距离。
步骤S540:获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得;获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得;根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离。
若所述图像不满足距离计算条件,可以根据步骤S540的方式计算相对估算距离。步骤S540的具体执行过程可以参见前述对应的实施例,在此不再赘述。
步骤S550:根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
步骤S550的具体执行过程可以参见前述对应的实施例,在此不再赘述。
在本申请实施例中,根据目标物体是否在电子设备的测距范围之内选择不同的距离计算方式。例如图1所示,当目标物体在区间203内,则目标物体在电子设备的测距范围之内,图像成像清晰,根据视觉测距计算得到的电子设备与目标物体之间的距离较为准确,可以根据视觉测距计算的相对测量距离或者相对测量距离的最优估计作为目标物体与电子设备之间的实际距离。当目标物体在区间203之外,则目标物体在电子设备的测距范围之外,则可以根据不同时刻采集的运动数据以及图像,计算目标物体以及电子设备的位置,从而计算目标物体与电子设备之间的距离。在本申请实施例的方案中,计算获得的目标物体与电子设备之间的距离更为准确,根据该距离进行的控制也更为准确。
本申请实施例还提供了一种屏电子设备控制装置600,应用于电子设备,所述电子设备包括图像采集单元以及运动检测单元,所述图像采集单元用于采集图像,所述运动检测单元用于获取所述电子设备的运动数据。请参见图10,该装置包括:数据获取模块610,用于获取包括目标物体的图像以及电子设备的运动数据;距离计算模块620,用于根据所述图像以及运动数据,计算所述电子设备与所述目标物体之间的相对估算距离;控制模块630,用于根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
可选的,距离计算模块620可以包括设备位置获取单元,用于获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得;物体位置获取单元,用于获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得;距离估算单元,用于根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离。
可选的,该距离计算模块620还可以包括,物体位移估算单元,用于计算所述目标物体从上一时刻到当前时刻的估算位移。距离估算单元可以用于根据所述估算位移以及上一时刻的物体位置,计算所述目标物体当前时刻在地球坐标系中的物体位置;计算所述第一设备位置以及当前时刻物体位置之差,作为所述相对估算距离。
可选的,距离估算单元可以用于获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置;根据所述至少两个物体位置计算所述目标物体在一个时刻间隙的位移,作为所述估算位移,所述一个时刻间隙为相邻两个时刻的时间差。
可选的,距离估算单元可以用于获取当前时刻之前的至少三个依次相邻的时刻目标物体在地球坐标系中的物体位置,获得至少三个物体位置,获得至少三个物体位置;根据所述至少三个物体位置计算在至少两个时刻间隙的至少两个位移;对所述至少两个位移进行拟合,获得位移拟合曲线;根据所述位移拟合曲线计算上一时刻到当前时刻所述目标物体的位移。
可选的,距离估算单元可以用于获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置;根据所述至少两个物体位置计算所述目标物体在至少一个时刻间隙的至少一个位移,所述一个时刻间隙为相邻两个时刻的时间差;根据所述至少一个位移以及时刻间隙计算至少所述目标物体的至少一个运动速度;根据所述至少一个运动速度,以及上一时刻到当前时刻之间的时刻间隙,计算所述目标物体从上一时刻到当前时刻的位移,作为所述估算位移。
可选的,距离估算单元可以用于获取当前时刻之前的至少三个依次相邻的时刻目标物体在地球坐标系中的物体位置,获得对应各时刻的至少三个物体位置;根据所述至少三个物体位置确定所述目标物体在至少两个时刻间隙对应的至少两个位移,所述一个时刻间隙为相邻两个时刻的时间差;根据所述至少两个位移以及对应的时刻间隙,获得所述目标物体的至少两个运动速度;根据所述至少两个运动速度以及时刻间隙,计算所述目标物体的加速度;根据所述加速度、时刻间隙以及最近一个时刻所述目标物体的运动速度,计算目标物体在一个时刻间隙的位移,作为所述估算位移。
可选的,距离估算单元可以用于根据所述至少三个位移以及对应的时刻间隙,获得所述目标物体的至少三个运动速度;根据所述至少三个运动速度以及时刻间隙,获得至少两个加速度;根据所述至少两个加速度进行拟合,获得拟合曲线;根据所述拟合曲线计算上一时刻间隙到当前时刻间隙的加速度,作为获得的所述目标物体的加速度。
可选的,该距离计算模块620还可以包括,物体位置计算单元,用于对应每一时刻,根据视觉测距算法以及当前时刻采集的图像,计算当前时刻目标物体与所述电子设备之间的相对测量距离;以电子设备当前时刻在地球坐标系中的位置加上所述相对测量距离,作为当前时刻所述目标物体在地球坐标系中的物体位置。
可选的,该装置还可以包括,数据融合模块,用于对应每一时刻,将采集获得的运动数据以及相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计,作为用于计算相对估算距离的数据。
可选的,距离计算模块620还可以用于根据视觉测距算法以及所述图像,计算目标物体与所述电子设备之间的相对测量距离;将获取的运动数据以及所述相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计;以所述相对测量距离的最优估计作为所述相对估算距离。
可选的,距离计算模块620还可以用于判断所述图像是否满足距离计算条件;若所述图像满足距离计算条件,根据视觉测距算法,计算所述图像中目标物体与所述电子设备之间的相对测量距离;将获取的运动数据以及所述相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计;以所述相对测量距离的最优估计作为所述相对估算距离;若所述图像不满足距离计算条件,获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得;获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得;根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离。
可选的,距离计算条件可以为图像的清晰度大于预设清晰度;或者可以为根据视觉测距算法以及所述图像,计算获得的目标物体与电子设备的之间的距离在图像采集单元的测距范围之外。
本申请实施例提供的方法可以复用前置摄像头实现接近检测,降低硬件成本,便于结构设计,有利于轻薄化。并且,结合图像传感器和惯性传感器的特点,弥补单一传感器缺点,克服图像传感器焦距局限性、功耗高、惯性传感器固有漂移的缺点,解决了利用图像传感器实现接近检测的关键问题。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述的各个方法实施例之间可以相互参照;上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。各个模块可以配置在不同的电子设备中,也可以配置在相同的电子设备中,本申请实施例并不限定。
请参考图11,其示出了本申请实施例提供的一种电子设备700的结构框图。该电子设备可以包括一个或多个处理器710(图中仅示出一个),存储器720,图像采集单元730,与所述处理器以及存储器电性连接,用于采集图像;运动检测单元740,与所述处理器以及存储器电性连接,用于获取所述电子设备的运动数据以及一个或多个程序。其中,所述一个或多个程序被存储在所述存储器720中,并被配置为由所述一个或多个处理器710执行。所述一个或多个程序被处理器执行用于执行前述实施例所描述的方法。
处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分,通过运行或执行存储在存储器720内的指令、程序、代码集或指令集,以及调用存储在存储器720内的数据,执行电子设备700的各种功能和处理数据。可选地,处理器710可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器710中,单独通过一块通信芯片进行实现。
存储器720可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据等。
请参考图12,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种电子设备控制方法,其特征在于,应用于电子设备,所述电子设备包括图像采集单元以及运动检测单元,所述图像采集单元用于采集图像,所述运动检测单元用于获取所述电子设备的运动数据,所述方法包括:
获取所述电子设备的使用场景;
当所述电子设备的使用场景为根据目标物体与所述电子设备的距离进行控制的场景时,获取包括目标物体的图像以及电子设备的运动数据;
当所述图像满足距离计算条件时,根据视觉测距算法以及所述图像,计算目标物体与所述电子设备之间的相对测量距离,利用所述运动数据对所述相对测量距离进行修正,获得所述相对测量距离的最优估计,并以所述相对测量距离的最优估计作为相对估算距离,所述相对估算距离的更新频率与所述图像采集单元的采样频率相同;
当所述图像不满足距离计算条件时,获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得,获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得,根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离;
根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
计算所述目标物体从上一时刻到当前时刻的估算位移;
根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离,包括:
根据所述估算位移以及上一时刻的物体位置,计算所述目标物体当前时刻在地球坐标系中的物体位置;
计算所述第一设备位置以及当前时刻物体位置之差,作为所述相对估算距离。
3.根据权利要求2所述的方法,其特征在于,所述计算所述目标物体从上一时刻到当前时刻的估算位移,包括:
获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置;
根据所述至少两个物体位置计算所述目标物体在一个时刻间隙的位移,作为所述估算位移,所述一个时刻间隙为相邻两个时刻的时间差。
4.根据权利要求3所述的方法,其特征在于,所述获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置,包括,获取当前时刻之前的至少三个依次相邻的时刻目标物体在地球坐标系中的物体位置,获得至少三个物体位置,所述根据所述至少两个物体位置计算所述目标物体在一个时刻间隙的位移,包括:
根据所述至少三个物体位置计算在至少两个时刻间隙的至少两个位移;
对所述至少两个位移进行拟合,获得位移拟合曲线;
根据所述位移拟合曲线计算上一时刻到当前时刻所述目标物体的位移。
5.根据权利要求2所述的方法,其特征在于,所述计算所述目标物体从上一时刻到当前时刻的估算位移,包括:
获取当前时刻之前的至少两个时刻目标物体在地球坐标系中的物体位置,获得至少两个物体位置;
根据所述至少两个物体位置计算所述目标物体在至少一个时刻间隙的至少一个位移,所述一个时刻间隙为相邻两个时刻的时间差;
根据所述至少一个位移以及时刻间隙计算至少所述目标物体的至少一个运动速度;
根据所述至少一个运动速度,以及上一时刻到当前时刻之间的时刻间隙,计算所述目标物体从上一时刻到当前时刻的位移,作为所述估算位移。
6.根据权利要求2所述的方法,其特征在于,所述获取所述目标物体从上一时刻到当前时刻的估算位移,包括:
获取当前时刻之前的至少三个依次相邻的时刻目标物体在地球坐标系中的物体位置,获得对应各时刻的至少三个物体位置;
根据所述至少三个物体位置确定所述目标物体在至少两个时刻间隙对应的至少两个位移,所述一个时刻间隙为相邻两个时刻的时间差;
根据所述至少两个位移以及对应的时刻间隙,获得所述目标物体的至少两个运动速度;
根据所述至少两个运动速度以及时刻间隙,计算所述目标物体的加速度;
根据所述加速度、时刻间隙以及最近一个时刻所述目标物体的运动速度,计算目标物体在一个时刻间隙的位移,作为所述估算位移。
7.根据权利要求6所述的方法,其特征在于,根据所述至少两个位移以及对应的时刻间隙,获得所述目标物体的至少两个运动速度,包括:根据所述至少三个位移以及对应的时刻间隙,获得所述目标物体的至少三个运动速度;
根据所述至少两个运动速度以及时刻间隙,计算所述目标物体的加速度,包括:
根据所述至少三个运动速度以及时刻间隙,获得至少两个加速度;
根据所述至少两个加速度进行拟合,获得拟合曲线;
根据所述拟合曲线计算上一时刻间隙到当前时刻间隙的加速度,作为获得的所述目标物体的加速度。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对应每一时刻,
根据视觉测距算法以及当前时刻采集的图像,计算当前时刻目标物体与所述电子设备之间的相对测量距离;
以电子设备当前时刻在地球坐标系中的位置加上所述相对测量距离,作为当前时刻所述目标物体在地球坐标系中的物体位置。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
对应每一时刻,将采集获得的运动数据以及相对测量距离进行数据融合,获得所述运动数据以及相对测量距离的最优估计,作为用于计算相对估算距离的数据。
10.根据权利要求1所述的方法,其特征在于,所述距离计算条件为图像的清晰度大于预设清晰度;或者
根据视觉测距算法以及所述图像,计算获得的目标物体与电子设备的之间的距离在图像采集单元的测距范围之外。
11.一种屏电子设备控制装置,其特征在于,应用于电子设备,所述电子设备包括图像采集单元以及运动检测单元,所述图像采集单元用于采集图像,所述运动检测单元用于获取所述电子设备的运动数据,所述装置包括:
数据获取模块,用于获取所述电子设备的使用场景,当所述电子设备的使用场景为根据目标物体与所述电子设备的距离进行控制的场景时,获取包括目标物体的图像以及电子设备的运动数据;
距离计算模块,用于当所述图像满足距离计算条件时,根据视觉测距算法以及所述图像,计算目标物体与所述电子设备之间的相对测量距离;利用所述运动数据对所述相对测量距离进行修正,获得所述相对测量距离的最优估计,并以所述相对测量距离的最优估计作为相对估算距离,所述相对估算距离的更新频率与所述图像采集单元的采样频率相同;当所述图像不满足距离计算条件时,获取电子设备当前时刻在地球坐标系中的第一设备位置,以及上一时刻在地球坐标系中的第二设备位置,所述第一设备位置以及所述第二设备位置根据所述当前时刻以及当前时刻之前的至少一个时刻的运动数据获得,获取目标物体上一时刻在地球坐标系中的物体位置,所述物体位置根据所述第二设备位置以及上一时刻采集的图像计算获得,根据所述第一设备位置以及所述目标物体上一时刻在地球坐标系中的物体位置,计算所述电子设备与目标物体之间的相对估算距离;
控制模块,用于根据所述相对估算距离以及预设控制操作之间的对应关系,对所述电子设备进行预设控制。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
图像采集单元,与所述处理器以及存储器电性连接,用于采集图像;
运动检测单元,与所述处理器以及存储器电性连接,用于获取所述电子设备的运动数据;
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被所述处理器执行用于执行如权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010425902.5A CN111614834B (zh) | 2020-05-19 | 2020-05-19 | 电子设备控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010425902.5A CN111614834B (zh) | 2020-05-19 | 2020-05-19 | 电子设备控制方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111614834A CN111614834A (zh) | 2020-09-01 |
CN111614834B true CN111614834B (zh) | 2021-09-14 |
Family
ID=72195995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010425902.5A Active CN111614834B (zh) | 2020-05-19 | 2020-05-19 | 电子设备控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111614834B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112577475A (zh) * | 2021-01-14 | 2021-03-30 | 天津希格玛微电子技术有限公司 | 一种能够有效降低功耗的视频测距方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582197A (zh) * | 2018-11-30 | 2019-04-05 | 北京小米移动软件有限公司 | 屏幕控制方法、装置及存储介质 |
CN111147667A (zh) * | 2019-12-25 | 2020-05-12 | 华为技术有限公司 | 一种熄屏控制方法及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103292779B (zh) * | 2012-02-28 | 2015-06-24 | 联想(北京)有限公司 | 一种测量距离的方法及图像获取设备 |
CN102984352B (zh) * | 2012-11-02 | 2014-12-24 | 小米科技有限责任公司 | 终端的屏幕亮度调整方法、装置及终端 |
TWI693829B (zh) * | 2018-12-24 | 2020-05-11 | 緯創資通股份有限公司 | 電子裝置及其影像測距方法 |
CN110926408A (zh) * | 2019-12-04 | 2020-03-27 | 北京中科慧眼科技有限公司 | 基于特征物的近距离测距方法、装置、系统和存储介质 |
-
2020
- 2020-05-19 CN CN202010425902.5A patent/CN111614834B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582197A (zh) * | 2018-11-30 | 2019-04-05 | 北京小米移动软件有限公司 | 屏幕控制方法、装置及存储介质 |
CN111147667A (zh) * | 2019-12-25 | 2020-05-12 | 华为技术有限公司 | 一种熄屏控制方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111614834A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017164479A1 (en) | A device and method for determining a pose of a camera | |
KR101722654B1 (ko) | 점 특징 및 선 특징을 사용한 강력한 추적 | |
EP3579545B1 (en) | Camera setting adjustment based on predicted environmental factors and tracking systems employing the same | |
EP2512110B1 (en) | Camera mobile phone with an anti-shaking function and anti-shaking method for use by a camera mobile phone in image capturing. | |
US10154190B2 (en) | Balancing exposure and gain at an electronic device based on device motion and scene distance | |
CN108141570A (zh) | 校准装置、校准方法以及校准程序 | |
KR20170090347A (ko) | 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법 | |
WO2017126172A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
CN109829933B (zh) | 影像目标追踪方法及装置 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
CN112368710B (zh) | 对来自多个帧的内容进行组合的方法及其电子装置 | |
JP6261266B2 (ja) | 移動体検知装置 | |
EP2851868A1 (en) | 3D Reconstruction | |
CN113056904A (zh) | 图像传输方法、可移动平台及计算机可读存储介质 | |
US11575834B2 (en) | Image stabilization apparatus, method of controlling same, and storage medium | |
WO2020014864A1 (zh) | 位姿确定方法、设备、计算机可读存储介质 | |
CN111614834B (zh) | 电子设备控制方法、装置、电子设备及存储介质 | |
CN110720113A (zh) | 一种参数处理方法、装置及摄像设备、飞行器 | |
US9906724B2 (en) | Method and device for setting a focus of a camera | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
CN110290309B (zh) | 影像处理方法、电子装置及非暂态电脑可读取存储媒体 | |
JP2013125301A (ja) | 車両移動量推定装置および障害物検出装置 | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP2014216694A (ja) | 高解像度化処理付き追尾雲台装置 | |
US12026856B2 (en) | Image stabilization apparatus, method of controlling same, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |