发明内容
本申请涉及一种控制栏的显示控制方法、装置及设备,降低了用户操作控制栏的难度,提高了控制栏显示的灵活性。
第一方面,本申请实施例提供一种控制栏的显示控制方法,应用于车辆,所述车辆中设置有显示屏幕和摄像装置,所述方法包括:
获取所述摄像装置采集的至少两张图像;
在所述至少两张图像中存在预设对象时,根据所述至少两张图像确定所述预设对象的移动方向,所述移动方向为靠近所述显示屏幕的方向或者远离所述显示屏幕的方向;
在确定所述预设对象的移动方向为靠近所述显示屏幕的方向时,根据所述至少两张图像确定所述预设对象的类型,所述预设对象的类型为主驾驶类型或者副驾驶类型;
根据所述预设对象的类型,在所述显示屏幕中确定控制栏的显示位置,并在所述显示位置显示所述控制栏。
在一种可能的实施方式中,所述预设对象为用户的肢体,所述肢体中包括手和手臂;根据所述至少两张图像确定所述预设对象的类型,包括:
根据所述至少两张图像,确定所述肢体的类型,所述肢体的类型为右肢体或者左肢体;
若所述肢体的类型为右肢体,则确定所述预设对象的类型为主驾驶类型;
若所述肢体的类型为左肢体,则确定所述预设对象的类型为副驾驶类型。
在一种可能的实施方式中,根据所述至少两张图像,确定所述肢体的类型,包括:
根据至少两张图像,确定至少一个图像特征信息,所述至少一个图像特征信息包括如下至少一个:所述手的手部特征、所述手臂在图像中的位置信息、所述手臂与图像底边之间的夹角;
根据所述至少一个图像特征信息,确定所述肢体的类型。
在一种可能的实施方式中,根据所述至少一个图像特征信息,确定所述肢体的类型,包括:
确定每个图像特征信息对应待选肢体类型;
根据每个图像特征信息对应的待选肢体类型,确定所述肢体的类型。
在一种可能的实施方式中,所述图像特征信息为手部特征;确定所述图像特征信息对应待选肢体类型,包括:
根据所述手部特征确定大拇指关节与手掌的位置关系;
若所述位置关系指示所述大拇指关节位于所述手掌的左侧,则确定所述图像特征信息对应待选肢体类型为右肢体;
若所述位置关系指示所述大拇指关节位于所述手掌的右侧,则确定所述图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,所述图像特征信息为所述肢体在图像中的位置信息;确定所述图像特征信息对应待选肢体类型,包括:
若所述图像的左侧边缘区域包括所述手臂,则确定图像特征信息对应待选肢体类型为右肢体;
若所述图像的右侧边缘区域包括所述手臂,则确定图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,所述图像特征信息为所述手臂与图像底边之间的夹角;确定所述图像特征信息对应待选肢体类型,包括:
若所述手臂与图像底边之间的夹角小于预设角度,则确定所述图像特征信息对应待选肢体类型为右肢体;
若所述手臂与图像底边之间的夹角大于预设角度,则确定所述图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,根据每个图像特征信息对应的待选肢体类型,确定所述肢体的类型,包括:
若所述至少一个图像特征信息的数量为1,则将该一个图像特征信息对应的待选肢体类型确定为所述肢体的类型;
若所述至少一个图像特征信息的数量大于1,则在所述至少一个图像特征信息中确定至少一个第一图像特征信息,若所述至少一个第一图像特征信息对应的待选肢体类型相同,则将所述至少一个第一图像特征信息对应的待选肢体类型确定为所述肢体的类型,所述第一图像特征信息对应的待选肢体类型为非空类型。
在一种可能的实施方式中,根据所述预设对象的类型,在所述显示屏幕中确定控制栏的显示位置,包括:
若所述预设对象的类型为主驾驶类型,则确定所述控制栏在所述显示屏幕中的显示位置为所述显示屏幕的左侧;
若所述预设对象的类型为副驾驶类型,则确定所述控制栏在所述显示屏幕中的显示位置为所述显示屏幕的右侧。
在一种可能的实施方式中,根据所述至少两张图像确定所述预设对象的移动方向,包括:
按照图像拍摄时刻从前到后的顺序,对所述至少两张图像进行排序;
根据排序后的至少两张图像中包括的预设对象的尺寸,确定所述预设对象的移动方向。
在一种可能的实施方式中,根据排序后的至少两张图像中包括的预设对象的尺寸,确定所述预设对象的移动方向,包括:
根据排序后的至少两张图像中包括的预设对象的尺寸,确定所述预设对象的尺寸的变化趋势,所述变化趋势为从小到大,或者从大到小;
若所述预设对象的尺寸的变化趋势为从小到大,则确定所述预设对象的移动方向为靠近所述显示屏幕的方向;
若所述预设对象的尺寸的变化趋势为从大到小,则确定所述预设对象的移动方向为远离所述显示屏幕的方向。
第二方面,本申请实施例提供一种控制栏的显示控制装置,包括获取模块、第一确定模块、第二确定模块、第三确定模块和显示模块,其中,
所述获取模块用于,获取所述摄像装置采集的至少两张图像;
所述第一确定模块用于,在所述至少两张图像中存在预设对象时,根据所述至少两张图像确定所述预设对象的移动方向,所述移动方向为靠近所述显示屏幕的方向或者远离所述显示屏幕的方向;
所述第二确定模块用于,在确定所述预设对象的移动方向为靠近所述显示屏幕的方向时,根据所述至少两张图像确定所述预设对象的类型,所述预设对象的类型为主驾驶类型或者副驾驶类型;
所述第三确定模块用于,根据所述预设对象的类型,在所述显示屏幕中确定控制栏的显示位置;
所述显示模块用于,在所述显示位置显示所述控制栏。
在一种可能的实施方式中,所述预设对象为用户的肢体,所述肢体中包括手和手臂;所述第二确定模块具体用于:
根据所述至少两张图像,确定所述肢体的类型,所述肢体的类型为右肢体或者左肢体;
若所述肢体的类型为右肢体,则确定所述预设对象的类型为主驾驶类型;
若所述肢体的类型为左肢体,则确定所述预设对象的类型为副驾驶类型。
在一种可能的实施方式中,所述第二确定模块具体用于:
根据至少两张图像,确定至少一个图像特征信息,所述至少一个图像特征信息包括如下至少一个:所述手的手部特征、所述手臂在图像中的位置信息、所述手臂与图像底边之间的夹角;
根据所述至少一个图像特征信息,确定所述肢体的类型。
在一种可能的实施方式中,所述第二确定模块具体用于:
确定每个图像特征信息对应待选肢体类型;
根据每个图像特征信息对应的待选肢体类型,确定所述肢体的类型。
在一种可能的实施方式中,所述图像特征信息为手部特征;所述第二确定模块具体用于:
根据所述手部特征确定大拇指关节与手掌的位置关系;
若所述位置关系指示所述大拇指关节位于所述手掌的左侧,则确定所述图像特征信息对应待选肢体类型为右肢体;
若所述位置关系指示所述大拇指关节位于所述手掌的右侧,则确定所述图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,所述图像特征信息为所述肢体在图像中的位置信息;所述第二确定模块具体用于:
若所述图像的左侧边缘区域包括所述手臂,则确定图像特征信息对应待选肢体类型为右肢体;
若所述图像的右侧边缘区域包括所述手臂,则确定图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,所述图像特征信息为所述手臂与图像底边之间的夹角;所述第二确定模块具体用于:
若所述手臂与图像底边之间的夹角小于预设角度,则确定所述图像特征信息对应待选肢体类型为右肢体;
若所述手臂与图像底边之间的夹角大于预设角度,则确定所述图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,所述第二确定模块具体用于:
若所述至少一个图像特征信息的数量为1,则将该一个图像特征信息对应的待选肢体类型确定为所述肢体的类型;
若所述至少一个图像特征信息的数量大于1,则在所述至少一个特征图像信息中确定至少一个第一图像特征信息,若所述至少一个第一图像特征信息对应的待选肢体类型相同,则将所述至少一个第一图像特征信息对应的待选肢体类型确定为所述肢体的类型,所述第一图像特征信息对应的待选肢体类型为非空类型。
在一种可能的实施方式中,所述第三确定模块具体用于:
若所述预设对象的类型为主驾驶类型,则确定所述控制栏位于所述显示屏幕的左侧;
若所述预设对象的类型为副驾驶类型,则确定所述控制栏位于所述显示屏幕的右侧。
在一种可能的实施方式中,所述第一确定模块具体用于:
按照图像拍摄时刻从前到后的顺序,对所述至少两张图像进行排序;
根据排序后的至少两张图像中包括的预设对象的尺寸,确定所述预设对象的移动方向。
在一种可能的实施方式中,所述第一确定模块具体用于:
根据排序后的至少两张图像中包括的预设对象的尺寸,确定所述预设对象的尺寸的变化趋势,所述变化趋势为从小到大,或者从大到小;
若所述预设对象的尺寸的变化趋势为从小到大,则确定所述预设对象的移动方向为靠近所述显示屏幕的方向;
若所述预设对象的尺寸的变化趋势为从大到小,则确定所述预设对象的移动方向为远离所述显示屏幕的方向。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如第一方面所述的控制栏的显示控制方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被处理器执行时用于实现第一方面所述的控制栏的显示控制方法。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的控制栏的显示控制方法。
本申请实施例提供的控制栏的显示控制方法、装置及设备,车辆中设置有显示屏幕和摄像装置,显示屏幕上方设置有摄像装置,可以获取摄像装置采集的至少两张图像,在确定至少两张图像中存在预设对象时,可以确定预设对象相对于显示屏幕的移动方向(靠近显示屏幕或者远离显示屏幕),在确定预设对象的移动方向为靠近显示屏幕的方向时,根据至少两张图像确定预设对象的类型(主驾驶类型或者副驾驶类型),根据预设对象的类型,在显示屏幕中确定控制栏的显示位置,并在显示位置显示控制栏。预设对象为驾驶员的肢体或者驾驶员通过肢体控制的设备(例如触摸笔等),在确定预设对象的移动方向为靠近显示屏幕的方向时,可以确定存在驾驶员准备操作显示屏幕,预设对象的类型即为准备操作显示屏幕的驾驶员的类型(主驾驶类型或者副驾驶类型)。由于控制栏在显示屏幕中的显示位置与准备操作显示屏幕的驾驶员的类型相关,使得控制栏在显示屏幕中的显示位置可以与准备操作显示屏幕的驾驶员的距离较近,以使驾驶员可以方便的操作控制栏中的所有控件,提高了控制栏显示的灵活性,进而降低了用户操作控制栏的难度。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请的实施例,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,下面结合图1,对本申请实施例所适用的应用场景进行说明。
图1为本申请实施例提供的一种应用场景示意图。请参见图1,车辆中可以设置有显示屏幕和摄像装置。摄像装置可以设置在显示屏幕的上方,摄像装置可以采集显示屏幕前方的图像。
显示屏幕可以显示应用程序和控制栏,控制栏中可以包括多个控件。例如,控制栏中可以包括返回控件、主页面控件、暂停控件、电源控件等。用户可以通过控制栏中的控件控制显示屏幕所显示的应用程序的页面,或者,用户可以通过控制栏中的控件控制车辆的运行。
在相关技术中,控制栏中的多个控件固定显示在显示屏幕的下方,当显示屏的尺寸较大时,驾驶员很难触摸到控制栏中的所有控件,即控制栏显示的灵活性较差,导致用户操作控制栏难度较高。
为了降低用户操作控制栏的难度,本申请实施例提出一种控制栏动态显示的方法。为了实现控制栏的动态显示,可以在显示屏幕的上方设置摄像装置,在实际应用过程中,可以根据摄像装置采集的图像确定是否存在驾驶员准备操作显示屏幕,在根据摄像装置采集的图像确定存在驾驶员准备操作显示屏幕时,可以对摄像装置采集的图像进行进一步分析,以确定是主驾驶员准备操作显示屏幕还是副驾驶员准备操作显示屏幕,根据准备操作显示屏幕的驾驶员的类型(主驾驶员或者副驾驶员),确定控制栏的显示位置,并在该显示位置显示控制栏。控制栏的显示位置与准备操作显示屏幕的驾驶员的类型相对应,例如,当主驾驶员准备操作显示屏幕时,在显示屏幕左侧显示控制栏;当副驾驶员准备操作显示屏幕时,在显示屏幕右侧显示控制栏,使得控制栏与准备操作显示屏幕的驾驶员之间的距离较近,以使驾驶员可以方便的操作控制栏中的所有控件,提高了控制栏显示的灵活性,进而降低了用户操作控制栏的难度。
下面,通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是,下面几个实施例可以独立存在,也可以相互结合,对于相同或显示的内容,在不同的实施例中不再重复说明。
图2为本申请实施例提供的一种控制栏的显示控制方法的流程示意图。请参见图2,该方法可以包括:
S201、获取摄像装置采集的至少两张图像。
本申请实施例的执行主体可以为车辆,也可以为设置在车辆中的控制栏的显示控制装置,该控制栏的显示控制装置可以通过软件实现,也可以通过软件和硬件的结合实现。
摄像装置可以按照预设时间间隔周期性进行图像采集,或者,摄像装置可以实时进行图像采集。例如,预设时间间隔可以为40毫秒、20毫秒等。
可选的,摄像装置可以设置在显示屏幕的上方。
可以根据实际需要设置摄像装置的摄像范围,例如,摄像范围可以为126度、180度等。
至少两张图像可以为摄像装置在当前时刻之前预设时段内采集的图像。预设时段的时长可以为预设时长,例如,预设时长可以为1分钟、20秒等。至少两张图像可以为摄像装置在当前时刻之前采集得到的预设数量张图像,例如,预设数量可以为10、8等。
S202、在至少两张图像中存在预设对象时,根据至少两张图像确定预设对象的移动方向。
预设对象为可触摸显示屏幕的对象,例如,预设对象可以包括触摸笔、用户的肢体等。用户的肢体包括手和手臂。
移动方向可以为靠近显示屏幕的方向或者远离显示屏幕的方向。
可以通过如下两种方式判断至少两张图像中是否存在预设对象:
第一种方式、预先存储预设对象对应的多张预设图像,即,预设图像中包括预设对象。针对至少两张图像中的任意一张图像,可以对该图像进行图像识别,以在该图像中提取至少一个对象,将提取得到的对象与预设图像进行匹配处理,若在该图像中提取的对象中存在到的对象与预设图像的相似度大于或等于预设阈值,则确定该图像中存在预设对象。
第二种方式、针对至少两张图像中的任意一张图像,可以利用卷积神经网络对该图像进行提取识别,若在该图像中提取识别到预设对象,则确定该图像中存在预设对象。
可以通过如下方式确定预设对象的移动方向:可以按照图像拍摄时刻从前到后的顺序对至少两张图像进行排序,并根据排序后的至少两张图像中预设对象的尺寸的变化趋势确定预设对象的移动方向。其中,该至少两张图像为在当前时刻之前预设时段内连续拍摄得到的图像。
例如,若预设对象的尺寸的变化趋势为从小到大,则确定预设对象的移动方向为靠近显示屏幕的方向;若预设对象的尺寸的变化趋势为从大到小,则确定预设对象的移动方向为远离显示屏幕的方向。
为了便于理解,下面,结合图3A-图3B,对预设对象的移动方向进行说明。
图3A为本申请实施例提供的一种预设对象的移动方向的示意图,在图3A的实施例中,以预设对象为手为例进行说明。请参见图3A,包括图像301和图像302。图像301的图像拍摄时刻早于图像302的图像拍摄时刻,由图像301和图像302可知,图像中手的尺寸的变化趋势为从小到大,则确定手的移动方向为靠近显示屏幕的方向。
图3B为本申请实施例提供的一种预设对象的移动方向的示意图,在图3B的实施例中,以预设对象为手为例进行说明。请参见图3B,包括图像303和图像304。图像303的图像拍摄时刻早于图像304的图像拍摄时刻,由图像303和图像304可知,图像中手的尺寸的变化趋势为从大到小,则确定手的移动方向为远离显示屏幕的方向。
S203、在确定预设对象的移动方向为靠近显示屏幕的方向时,根据至少两张图像确定预设对象的类型。
预设对象的类型为主驾驶类型或者副驾驶类型,主驾驶类型用于指示预设对象属于主驾驶座,副驾驶类型用于指示预设对象属于副驾驶座。
若预设对象为用户的肢体,可以通过如下方式确定预设对象的类型:根据至少两张图像,确定肢体的类型,肢体的类型为右肢体或者左肢体;若肢体的类型为右肢体,则确定预设对象的类型为主驾驶类型;若肢体的类型为左肢体,则确定预设对象的类型为副驾驶类型。
右肢体是指用户右侧的肢体,左肢体是指用户左侧的肢体。例如,若肢体为手时,则右肢体是指用户的右手,左肢体是指用户的左手。
当肢体包括手和手臂时,可以通过如下方式确定肢体的类型:根据至少两张图像,确定至少一个图像特征信息,根据至少一个图像特征信息,确定肢体的类型。其中,至少一个图像特征信息包括如下至少一个:手的手部特征、手臂在图像中的位置信息、手臂与图像底边之间的夹角。
手的手部特征可以包括手部的各个关节点。例如,手部的各个关节点可以包括:大拇指关节、食指关节、中指关节、无名指关节、小指关节等。
手臂在图像中的位置信息可以为手臂在图像的左侧边缘,或者手臂在图像的右侧边缘等。图像的左侧边缘可以为图像的左侧区域。例如,左侧区域可以为图像中左侧的一半的区域,或者左侧区域可以为图像中左侧三分之二的区域;图像的右侧边缘区域可以为图像的右侧区域。例如,右侧区域可以为图像中右侧的一半的区域,或者右侧区域可以为图像中右侧三分之二的区域。
手臂与图像底边之间的夹角是指手臂对应的向量与图像底部边缘的向量之间的夹角。其中,手臂对应的向量的正方向是指从胳膊到手指的方向,图像底部边缘的向量的正方向是指图像底部边缘从左到右的方向。
S204、根据预设对象的类型,在显示屏幕中确定控制栏的显示位置,并在显示位置显示控制栏。
控制栏的显示位置可以在显示屏幕的左侧或者右侧。
可选的,若预设对象的类型为主驾驶类型,则确定控制栏在显示屏幕中的位置为显示屏幕的左侧;若预设对象的类型为副驾驶类型,则确定控制栏在显示屏幕的位置为显示屏幕的右侧。
控制栏的显示位置位于显示屏幕左侧或右侧时,控制栏中的多个控件可以沿竖直方向排列。
在图2所示的实施例中,车辆中设置有显示屏幕和摄像装置,显示屏幕上方设置有摄像装置,可以获取摄像装置采集的至少两张图像,在确定至少两张图像中存在预设对象时,可以确定预设对象相对于显示屏幕的移动方向(靠近显示屏幕或者远离显示屏幕),在确定预设对象的移动方向为靠近显示屏幕的方向时,根据至少两张图像确定预设对象的类型(主驾驶类型或者副驾驶类型),根据预设对象的类型,在显示屏幕中确定控制栏的显示位置,并在显示位置显示控制栏。预设对象为驾驶员的肢体或者驾驶员通过肢体控制的设备(例如触摸笔等),在确定预设对象的移动方向为靠近显示屏幕的方向时,可以确定存在驾驶员准备操作显示屏幕,预设对象的类型即为准备操作显示屏幕的驾驶员的类型(主驾驶类型或者副驾驶类型)。由于控制栏在显示屏幕中的显示位置与准备操作显示屏幕的驾驶员的类型相关,使得控制栏在显示屏幕中的显示位置可以与准备操作显示屏幕的驾驶员的距离较近,以使驾驶员可以方便的操作控制栏中的所有控件,提高了控制栏显示的灵活性,进而降低了用户操作控制栏的难度。
在上述任意实施例的基础上,下面,结合图4所示的实施例,以预设对象为用户的肢体(包括手和手臂)为例,对上述控制栏的显示控制方法进行进一步详细说明。
图4为本申请实施例提供的另一种控制栏的显示控制方法的流程示意图。请参见图4,该方法可以包括:
S401、获取摄像装置采集的至少两张图像。
需要说明的是,S401的执行过程可以参见S201的执行过程,此处不再进行赘述。
S402、在至少两张图像中存在预设对象时,按照图像拍摄时刻从前到后的顺序,对至少两张图像进行排序。
需要说明的是,S402的执行过程可以参见S202的执行过程,此处不再进行赘述。
S403、根据排序后的至少两张图像中包括的预设对象的尺寸,确定预设对象的移动方向。
需要说明的是,S403的执行过程可以参见S202的执行过程,此处不再进行赘述。
S404、在确定预设对象的移动方向为靠近显示屏幕的方向时,根据至少两张图像,确定至少一个图像特征信息。
其中,至少一个图像特征信息包括如下至少一个:手的手部特征、手臂在图像中的位置信息、手臂与图像底边之间的夹角。
需要说明的是,S404的执行过程可以参见S203的执行过程,此处不再进行赘述。
S405、确定每个图像特征信息对应待选肢体类型。
若根据图像特征信息可以确定得到待选肢体类型,则该图像特征对应的待选肢体类型为非空类型,即,该图像特征对应的待选肢体类型为左肢体或者右肢体。
若根据图像特征信息无法确定得到待选肢体类型,则该图像特征对应的待选肢体类型为空类型。
当图像特征信息不同时,确定图像特征信息对应待选肢体类型的方式也不同,可以包括如下情况:
情况1、图像特征信息为手的手部特征。
在该种情况下,可以通过如下方式确定图像特征信息对应待选肢体类型:根据手的手部特征确定大拇指关节与手掌的位置关系;若位置关系指示大拇指关节位于手掌的左侧,则确定图像特征信息对应待选肢体类型为右肢体;若位置关系指示大拇指关节位于手掌的右侧,则确定图像特征信息对应待选肢体类型为左肢体。
为了便于理解,下面结合图5A-图5B,对确定待选肢体类型进行说明。
图5A为本申请实施例提供的一种手部特征示意图。请参见图5A。摄像装置采集的图像中包括一只手,手的大拇指关节位于手掌的左侧,确定该手的手部特征对应待选肢体类型为右肢体。
图5B为本申请实施例提供的另一种手部特征示意图。请参见图5B。摄像装置采集的图像中包括一只手,手的大拇指关节位于手掌的右侧,确定该手的手部特征对应待选肢体类型为左肢体。
情况2、图像特征信息为手臂在图像中的位置信息。
在该种情况下,可以通过如下方式确定图像特征信息对应待选肢体类型:若图像的左侧边缘区域包括手臂,则确定图像特征信息对应待选肢体类型为右肢体;若图像的右侧边缘区域包括手臂,则确定图像特征信息对应待选肢体类型为左肢体。
图像的左侧边缘区域可以为图像的左侧区域。例如,左侧区域可以为图像中左侧的一半的区域,或者左侧区域可以为图像中左侧三分之二的区域。
图像的右侧边缘区域可以为图像的右侧区域。例如,右侧区域可以为图像中右侧的一半的区域,或者右侧区域可以为图像中右侧三分之二的区域。
为了便于理解,下面结合图6A-图6B,对确定待选肢体类型进行说明。
图6A为本申请实施例提供的一种手臂在图像中的位置示意图。请参见图6A。摄像装置采集的图像中包括一条手臂,将图像左侧三分之二的区域确定为左侧边缘区域,由于手臂在图像的左侧边缘区域,则确定该手臂对应的待选肢体类型为右肢体。
图6B为本申请实施例提供的另一种手臂在图像中的位置示意图。请参见图6B。摄像装置采集的图像中包括一条手臂,将图像右侧三分之二的区域确定为右侧边缘区域,由于手臂在图像的右侧边缘区域,则确定该手臂对应的待选肢体类型为左肢体。
情况3、图像特征信息为手臂与图像底边之间的夹角。
在该种情况下,可以通过如下方式确定图像特征信息对应待选肢体类型:若手臂与图像底边之间的夹角小于预设角度,则确定图像特征信息对应待选肢体类型为右肢体;若手臂与图像底边之间的夹角大于预设角度,则确定图像特征信息对应待选肢体类型为左肢体。
为了便于理解,下面结合图7A-图7B,对确定待选肢体类型进行说明。
图7A为本申请实施例提供的一种手臂与图像底边之间的夹角示意图。请参见图7A。摄像装置采集的图像中包括一条手臂,设置预设角度为90度,从图7A可知,手臂与图像底边之间的夹角θ小于预设角度,确定图像特征信息对应待选肢体类型为右肢体。
图7B为本申请实施例提供的另一种手臂与图像底边之间的夹角示意图。请参见图7B。摄像装置采集的图像中包括一条手臂,设置预设角度为90度,从图7B可知,手臂与图像底边之间的夹角θ大于预设角度,确定图像特征信息对应待选肢体类型为左肢体。
S406、根据每个图像特征信息对应的待选肢体类型,确定肢体的类型。
若至少一个图像特征信息的数量为1,则将该一个图像特征信息对应的待选肢体类型确定为肢体的类型。例如:图像特征信息为手的手部特征,如果手的手部特征对应的待选肢体类型为右肢体,那么确定肢体的类型为右肢体。
若至少一个图像特征信息的数量大于1,则在至少一个特征图像信息中确定至少一个第一图像特征信息,若至少一个第一图像特征信息对应的待选肢体类型相同,则将至少一个第一图像特征信息对应的待选肢体类型确定为肢体的类型,第一图像特征信息对应的待选肢体类型为非空。以下列举图像特征信息的数量为2、3时,确定肢体类型的方式:
情况A、图像特征信息的数量为2时。
在该种情况下,可以通过如下方式确定肢体的类型:若至少一个图像特征信息的数量为2,根据该两个图像特征信息均可以确定得到非空类型的待选肢体类型,若两个图像特征信息对应的待选肢体类型相同,则将任意图像特征信息对应的待选肢体类型确定为肢体的类型。若两个图像特征信息对应的待选肢体类型不同,则无法确定肢体的类型。
例如,假设两个图像特征信息包括:手的手部特征和手臂在图像中的位置信息,如果手的首部特征对应的待选肢体类型为右肢体,手臂在图像中的位置信息对应的待选肢体类型为右肢体,那么确定肢体的类型为右肢体;如果两个图像特征对应的待选肢体类型不同,那么肢体的类型无法确定,则需重新采集图像确定。
情况B、图像特征信息的数量为3时。
在该种情况下,可以通过如下方式确定肢体的类型:若至少一个图像特征信息的数量为3,第一部分图像特征信息对应的待选肢体类型为非空类型,第二部分图像特征信息对应的待选肢体类型为空类型,则若第一部分图像特征信息中包括一个图像特征信息,则将该一个图像特征信息对应的待选肢体类型确定为肢体的类型。若第一部分图像特征信息中包括2个或者3个图像特征信息,则当第一部分图像特征信息中各图像特征信息对应的待选肢体类型均相同时,可以将待选肢体类型确定为肢体的类型;若第一部分图像特征信息中各图像特征信息对应的待选肢体类型不完全相同,则无法确定肢体的类型。
示例1,假设三个图像特征信息包括:手的手部特征、手臂在图像中的位置信息和手臂与图像底边之间的夹角。如果手的手部特征对应的待选肢体类型为右肢体,手臂在图像中的位置信息对应的待选肢体类型为空类型,若手臂与图像底边之间的夹角对应的待选肢体类型为右肢体,则确定肢体的类型为右肢体,若手臂与图像底边之间的夹角对应的待选肢体类型为左肢体,则无法确定肢体的类型。
示例2,假设三个图像特征信息包括手的手部特征、手臂在图像中的位置信息和手臂与图像底边之间的夹角。如果手的手部特征对应的待选肢体类型为右肢体,手臂在图像中的位置信息对应的待选肢体类型为右肢体,以及手臂与图像底边之间的夹角对应的待选肢体类型为右肢体,则确定肢体的类型为右肢体。
S407、根据肢体的类型,确定预设对象的类型。
若肢体的类型为右肢体,则确定预设对象的类型为主驾驶类型。
若肢体的类型为左肢体,则确定预设对象的类型为副驾驶类型。
S408、根据预设对象的类型,在显示屏幕中确定控制栏的显示位置,并在显示位置显示控制栏。
需要说明的是,S408的执行过程可以参见S204的执行过程,此处不再进行赘述。
在上述实施例中,可以通过不同的图像特征信息来确定驾驶员的类型,可以提高确定驾驶员类型的准确度。
在上述任意一个实施例的基础上,下面,通过图8所示的具体示例对控制栏的显示控制方法进行详细说明。图8为本申请实施例提供的一种控制栏的显示控制方法的示意图。请参见图8,包括界面801、界面802和界面803。
请参见界面801,在t1时刻,控制栏的显示位置位于显示屏幕的下侧。
请参见界面802,在t2时刻,当用户需要对控制栏进行操作时,用户的手靠近显示屏幕,并且摄像装置采集得到用户的手部图像。在界面802中,控制栏的显示位置位于显示屏幕的下侧。
请参见界面803,在t3时刻,在用户的手部靠近显示屏幕的过程中,摄像装置再次采集得到用户的手部图像,且t3时刻采集得到的用户的手部图像的尺寸大于,t2时刻采集得到的用户的手部图像的尺寸。因此,可以确定用户的手部向靠近显示屏幕的方向移动。根据在t2时刻拍摄得到的手部图像以及在t3时刻拍摄得到的手部图像可知,大拇指关节位于手掌的左侧,则确定准备操作的肢体为右肢体,进而确定准备操作的驾驶员类型为主驾驶员,在显示屏幕中确定控制栏的显示位置为显示屏幕的左侧,并在显示屏幕的左侧显示控制栏,以便于主驾驶员能够操作控制栏中的所有控件。
图9为本申请实施例提供的一种控制栏的显示控制装置的结构示意图。请参见图9,该控制栏的显示控制装置10可以包括获取模块11、第一确定模块12、第二确定模块13、第三确定模块14和显示模块15,其中,
获取模块11用于,获取摄像装置采集的至少两张图像;
第一确定模块12用于,在至少两张图像中存在预设对象时,根据至少两张图像确定预设对象的移动方向,移动方向为靠近显示屏幕的方向或者远离显示屏幕的方向;
第二确定模块13用于,在确定预设对象的移动方向为靠近显示屏幕的方向时,根据至少两张图像确定预设对象的类型,预设对象的类型为主驾驶类型或者副驾驶类型;
第三确定模块14用于,根据预设对象的类型,在显示屏幕中确定控制栏的显示位置;
显示模块15用于,在显示位置显示控制栏。
在一种可能的实施方式中,预设对象为用户的肢体,肢体中包括手和手臂;第二确定模块13具体用于:
根据至少两张图像,确定肢体的类型,肢体的类型为右肢体或者左肢体;
若肢体的类型为右肢体,则确定预设对象的类型为主驾驶类型;
若肢体的类型为左肢体,则确定预设对象的类型为副驾驶类型。
在一种可能的实施方式中,第二确定模块13具体用于:
根据至少两张图像,确定至少一个图像特征信息,至少一个图像特征信息包括如下至少一个:手的手部特征、手臂在图像中的位置信息、手臂与图像底边之间的夹角;
根据至少一个图像特征信息,确定肢体的类型。
在一种可能的实施方式中,第二确定模块13具体用于:
确定每个图像特征信息对应待选肢体类型;
根据每个图像特征信息对应的待选肢体类型,确定肢体的类型。
在一种可能的实施方式中,图像特征信息为手部特征;第二确定模块13具体用于:
根据手部特征确定大拇指关节与手掌的位置关系;
若位置关系指示大拇指关节位于手掌的左侧,则确定图像特征信息对应待选肢体类型为右肢体;
若位置关系指示大拇指关节位于手掌的右侧,则确定图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,图像特征信息为肢体在图像中的位置信息;第二确定模块13具体用于:
若图像的左侧边缘区域包括手臂,则确定图像特征信息对应待选肢体类型为右肢体;
若图像的右侧边缘区域包括手臂,则确定图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,图像特征信息为手臂与图像底边之间的夹角;第二确定模块13具体用于:
若手臂与图像底边之间的夹角小于预设角度,则确定述图像特征信息对应待选肢体类型为右肢体;
若手臂与图像底边之间的夹角大于预设角度,则确定图像特征信息对应待选肢体类型为左肢体。
在一种可能的实施方式中,第二确定模块13具体用于:
若至少一个图像特征信息的数量为1,则将该一个图像特征信息对应的待选肢体类型确定为肢体的类型;
若至少一个图像特征信息的数量大于1,则在至少一个特征图像信息中确定至少一个第一图像特征信息,若至少一个第一图像特征信息对应的待选肢体类型相同,则将至少一个第一图像特征信息对应的待选肢体类型确定为肢体的类型,第一图像特征信息对应的待选肢体类型为非空类型。
在一种可能的实施方式中,第三确定模块14具体用于:
若预设对象的类型为主驾驶类型,则确定控制栏位于显示屏幕的左侧;
若预设对象的类型为副驾驶类型,则确定控制栏位于显示屏幕的右侧。
在一种可能的实施方式中,第一确定模块12具体用于:
按照图像拍摄时刻从前到后的顺序,对至少两张图像进行排序;
根据排序后的至少两张图像中包括的预设对象的尺寸,确定预设对象的移动方向。
在一种可能的实施方式中,第一确定模块12具体用于:
根据排序后的至少两张图像中包括的预设对象的尺寸,确定预设对象的尺寸的变化趋势,变化趋势为从小到大,或者从大到小;
若预设对象的尺寸的变化趋势为从小到大,则确定预设对象的移动方向为靠近显示屏幕的方向;
若预设对象的尺寸的变化趋势为从大到小,则确定预设对象的移动方向为远离显示屏幕的方向。
本申请实施例提供的控制栏的显示控制装置10可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此次不再进行赘述。
图10为本申请实施例提供的一种控制栏的显示控制设备的结构示意图。请参见图10,控制栏的显示控制设备20可以包括:存储器21、处理器22。示例性地,存储器21、处理器22,各部分之间通过总线23相互连接。
存储器21用于存储程序指令;
处理器22用于执行该存储器所存储的程序指令,用以使得控制栏的显示控制设备20执行上述任一所示的控制栏的显示控制方法。
图10实施例所示的控制栏的显示控制设备可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当计算机执行指令被处理器执行时用于实现上述控制栏的显示控制方法。
本申请实施例还可提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,可实现上控制栏的显示控制方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。