CN118106949A - 一种机械臂的控制方法、车辆以及电子设备 - Google Patents
一种机械臂的控制方法、车辆以及电子设备 Download PDFInfo
- Publication number
- CN118106949A CN118106949A CN202211516214.5A CN202211516214A CN118106949A CN 118106949 A CN118106949 A CN 118106949A CN 202211516214 A CN202211516214 A CN 202211516214A CN 118106949 A CN118106949 A CN 118106949A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- action
- clapping
- target
- cabin area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 167
- 230000015654 memory Effects 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 10
- 238000010009 beating Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本申请提供了一种机械臂的控制方法、车辆以及电子设备。该方法包括:在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,所述击掌声音是由所述击掌动作产生的声音;基于所述声源位置,控制车载屏幕机械臂运动至所述声源位置所在的目标车舱区域;控制所述车载屏幕机械臂在所述目标车舱区域执行目标设定动作。本申请实施例的技术方案,能够提高车上人员的驾车或者乘车乐趣,以及提高车上人员的用户体验感。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种机械臂的控制方法、车辆以及电子设备。
背景技术
机械臂作为一种具有模仿人类手臂功能并可完成各种作业的自动控制设备,已经被广泛应用于工业制造、医疗救援以及航空航天等领域。但将机械臂安装在车辆座舱内,来为车内人员提供智能化的服务,却是鲜有人涉及的领域。
在将机械臂安装在车辆座舱内来为车内人员提供智能化的服务的过程中,如何控制机械臂成为了相关技术人员不得不面临的问题。
发明内容
本申请实施例提供一种机械臂的控制方法、车辆以及电子设备,以提高车上人员的用户体验感。
第一方面,本申请实施例提供了一种机械臂的控制方法,包括:
在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,击掌声音是由击掌动作产生的声音;
基于声源位置,控制车载屏幕机械臂运动至声源位置所在的目标车舱区域;
控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
第二方面,本申请实施例提供了一种车辆,包括:车载服务器、车载屏幕机械臂以及车载屏幕;
车载服务器,用于执行本申请实施例提供的机械臂的控制方法,以控制车载屏幕机械臂在目标车舱区域执行目标设定动作;
车载屏幕机械臂,用于在车载服务器的控制下,在目标车舱区域执行目标设定动作;
车载屏幕,与车载屏幕机械臂连接。
第三方面,本申请实施例提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任一实施例的方法。
本申请实施例的技术方案,在检测到目标人员做出击掌动作的情况下,会确定击掌声音的声源位置,在确定击掌声音的声源位置后,会进一步基于声源位置,来控制车载屏幕机械臂运动至声源位置所在的目标车舱区域,并控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
由于在检测到目标人员做出击掌动作的情况下,能够自动控制车载屏幕机械臂运动至声源位置所在的目标车舱区域,并控制车载屏幕机械臂在目标车舱区域执行目标设定动作。因此,无需车上人员手动控制车载屏幕机械臂,即可控制车载屏幕机械臂在目标车舱区域执行目标设定动作,从而能够提高车上人员的用户体验感。
另外,在控制车载屏幕机械臂运动至声源位置所在的目标车舱区域后,能够进一步控制车载屏幕机械臂在目标车舱区域执行目标设定动作。因此,车载屏幕机械臂能够基于车上人员的击掌动作与车上人员进行互动,从而能够提高车上人员的驾车或者乘车乐趣,进而能够提高车上人员的用户体验感。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1为本公开的实施例中提供的一种机械臂的控制方法的流程图;
图2为本申请实施例中提供的一种车载屏幕机械臂的示意图;
图3为本申请实施例中提供的一种控制机械臂的方法的流程图;
图4为本申请实施例中提供的一种控制机械臂的方法的流程图;
图5为本申请实施例中提供的一种车辆的示意图;
图6为用来实现本申请实施例的电子设备的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
本申请实施例中提供的机械臂的控制方法如图1所示,其为本公开的实施例中提供的一种机械臂的控制方法的流程图。图1示出的机械臂的控制方法包括如下步骤:
步骤S101:在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,击掌声音是由击掌动作产生的声音。
步骤S102:基于声源位置,控制车载屏幕机械臂运动至声源位置所在的目标车舱区域。
步骤S103:控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
本申请实施例中提供的机械臂的控制方法,在检测到目标人员做出击掌动作的情况下,会确定击掌声音的声源位置。在确定击掌声音的声源位置后,会进一步基于声源位置,来控制车载屏幕机械臂运动至声源位置所在的目标车舱区域,并控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
由于在检测到目标人员做出击掌动作的情况下,能够自动控制车载屏幕机械臂运动至声源位置所在的目标车舱区域,并控制车载屏幕机械臂在目标车舱区域执行目标设定动作。因此,无需车上人员手动控制车载屏幕机械臂,即可控制车载屏幕机械臂在目标车舱区域执行目标设定动作,从而能够提高车上人员的用户体验感。
另外,在控制车载屏幕机械臂运动至声源位置所在的目标车舱区域后,能够进一步控制车载屏幕机械臂在目标车舱区域执行目标设定动作。因此,车载屏幕机械臂能够基于车上人员的击掌动作与车上人员进行互动,从而能够提高车上人员的驾车或者乘车乐趣,进而能够提高车上人员的用户体验感。
需要说明的是,本申请实施例中提供的机械臂的控制方法的执行主体一般是车辆上的车载服务器,也可以是车辆对应的云端服务器,当然本申请实施例中,对机械臂的控制方法的执行主体不做具体限定。
本申请实施例中,所谓目标人员属于车上人员,其包括车辆驾驶人员以及乘车人员,根据车辆座位数的不同,可以对乘车人员做进一步的划分。例如:在车辆的座位数为5座时,可以将乘车人员进一步划分为:坐在主驾的乘车人员、坐在车辆后排左侧的乘车人员、坐在车辆后排中间的乘车人员以及坐在车辆后排右侧的乘车人员。例如:在车辆的座位数为7座时,可以将乘车人员进一步划分为:坐在副驾的乘车人员、坐在车辆中部左侧的乘车人员、坐在车辆中部右侧的乘车人员、坐在车辆后排左侧的乘车人员、坐在车辆后排中间的乘车人员以及坐在车辆后排右侧的乘车人员。再如:在车辆的座位数为4座时,可以将乘车人员进一步划分为:坐在副驾的乘车人员、坐在车辆中部左侧的乘车人员以及坐在车辆后排左侧的乘车人员。
所谓击掌动作一般是指目标人员通过互拍手掌做出的动作,击掌动作可以包括很多种。例如:通过手心拍打手心而做出的击掌动作、通过手心拍打手背而做出的击掌动作。再如:单次击掌动作以及连续击掌动作等。
本申请实施例中,可以预先配置指定的击掌动作,并设定只有在车上人员做出的肢体动作指定属于预先配置指定的击掌动作时,才认为检测到目标人员做出击掌动作。检测目标人员是否做出击掌动作的具体过程可以如下:
首先,车载图像采集设备在指定时间段内针对目标人员采集到的图像帧序列。然后,针对图像帧序列,确定目标人员在指定时间段内做出的肢体动作。最后,确定肢体动作是否属于击掌动作,若是,则确定检测到目标人员做出击掌动作,若否,则确定未检测到目标人员做出击掌动作。
在实际用中,上述检测目标人员是否做出击掌动作的过程可以通过如下方式来实现:将待识别的图像帧序列输入到已训练的动作识别模型中,获取动作识别模型输出的识别结果。其中,识别结果包括检测到目标人员做出击掌动作,以及未检测到目标人员做出击掌动作。
需要说明的是,动作识别模型是利用图像序列样本以及对应标注的识别结果训练得到的,用于针对待识别的图像帧序列,确定特定人员做出的肢体动作,以及确定并输出识别结果。
确定肢体动作是否属于击掌动作的实现方式可以为:确定肢体动作是否属于预先配置指定的击掌动作,若是,则确定检测到目标人员做出击掌动作,若否,则确定未检测到目标人员做出击掌动作。
本申请实施例中,在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,击掌声音是由击掌动作产生的声音的具体实现方式包括如下步骤:
首先,根据车载图像采集设备在指定时间段内针对目标人员采集到的图像帧序列,确定目标人员在指定时间段内做出的肢体动作。其次,在肢体动作为击掌动作的情况下,获取车载音频采集设备在目标人员做出击掌动作的时间段内采集到的指定音频。再次,在指定音频中确定出击掌声音。最后,对击掌声音进行定位,以确定声源位置。
本申请实施例中,获取车载音频采集设备在目标人员做出击掌动作的时间段内采集到的指定音频,并在指定音频中确定出击掌声音,能够尽可能保障确定出的击掌声音就是由目标人员做出的击掌动作产生的声音,从而能够保障声源位置的准确度,进而能够确保对车载屏幕机械臂进行顺利的控制。
在一种可能实现的方式中,对击掌声音进行定位,以确定声源位置可以为:首先,对击掌声音进行声源定位,确定击掌声音在车舱内的位置。然后,将击掌声音在车舱内的位置确定为声源位置。直接将击掌声音在车舱内的位置确定为声源位置,能够提高声源位置的确定效率,进而能够提高对车载屏幕机械臂的控制效率。
为了提高声源位置的精准度,还可以采用如下方式来确定声源位置:首先,基于目标人员图像帧序列中的图像区域,确定目标人员所在的车舱区域。然后,对击掌声音进行声源定位,确定击掌声音在车舱内的位置。最后,基于目标人员所在的车舱区域以及击掌声音在车舱内的位置,确定声源位置。
所谓基于目标人员图像帧序列中的图像区域,确定目标人员所在的车舱区域的过程是:基于图像帧序列中的图像区域与车舱区域之间的对应关系,确定目标人员所在的车舱区域。
本申请实施例中,车舱区域一般是在车舱中根据车辆的座位划分出的区域。即,目标车舱区域包括车辆座位所处的车舱区域。具体的,根据车辆的座位数,可以将车舱划分出不同的车舱区域。例如:在车辆的座位数为5座时,可以将车舱划分出的车舱区域包括:主驾驶位所处的车舱区域、副驾驶位所处的车舱区域、车辆后排左侧座位所处的车舱区域、车辆后排中间座位所处的车舱区域以及车辆后排右侧座位所处的车舱区域。例如:在车辆的座位数为7座时,可以将车舱划分出的车舱区域为:主驾驶位所处的车舱区域、副驾驶位所处的车舱区域、车辆中部左侧座位所处的车舱区域、车辆中部右侧座位所处的车舱区域、车辆后排左侧座位所处的车舱区域、车辆后排中间座位所处的车舱区域以及车辆后排右侧座位所处的车舱区域。再如:在车辆的座位数为4座时,将车舱划分出的车舱区域为:主驾驶位所处的车舱区域、副驾驶位所处的车舱区域、车辆后排左侧座位所处的车舱区域以及车辆后排右侧座位所处的车舱区域。
在车辆的座位数为5座时,目标车舱区域可以为如下车舱区域中的一种:主驾驶位所处的车舱区域、副驾驶位所处的车舱区域、车辆后排左侧座位所处的车舱区域、车辆后排中间座位所处的车舱区域以及车辆后排右侧座位所处的车舱区域。在车辆的座位数为7座时,目标车舱区域可以为如下车舱区域中的一种:主驾驶位所处的车舱区域、副驾驶位所处的车舱区域、车辆中部左侧座位所处的车舱区域、车辆中部右侧座位所处的车舱区域、车辆后排左侧座位所处的车舱区域、车辆后排中间座位所处的车舱区域以及车辆后排右侧座位所处的车舱区域。在车辆的座位数为4座时,目标车舱区域可以为如下车舱区域中的一种:主驾驶位所处的车舱区域、副驾驶位所处的车舱区域、车辆后排左侧座位所处的车舱区域以及车辆后排右侧座位所处的车舱区域。
需要说明的是,本申请实施例中,需要根据车辆的座位数配置车载图像采集设备以及车载音频采集设备的数目,车辆的座位数越多时,需要配置的车载图像采集设备以及车载音频采集设备的数目也越多。
本申请实施例中,所谓车载屏幕机械臂是指,安装在车舱内用于承载并控制车载屏幕的机械臂。一般情况下,车载屏幕机械臂上都承载有车载屏幕,但是在特殊情况下车载屏幕机械臂也可以不承载车载屏幕。本申请实施例中,无论车载屏幕机械臂是否承载有车载屏幕,均可控制车载屏幕机械臂在目标车舱区域执行目标设定动作。本申请实施例中的车载屏幕机械臂的结构如图2所示,图2为本申请实施例中提供的一种车载屏幕机械臂的示意图。
具体而言,本申请实施例中的车载屏幕机械臂具体包括:固定于车载屏幕的背面的多自由度调整机构、以及安装于多自由度调整机构上的多个伸缩单元。多个伸缩单元用于带动车载屏幕进行上下左右的翻转,多自由度调整机构用于带动车载屏幕进行旋转和平移,其中上下左右是指当上述的车载屏幕处于面向使用者的竖直状态下,车载屏幕相对于初始位置进行上部向后侧倾斜、下部向后侧倾斜、左部向后侧倾斜以及右部向后侧倾斜的动作。
本申请实施例中,车载屏幕机械臂在三维空间内有三个可控的自由度。以下结合图2中示出的三维空间坐标系,对车载屏幕机械臂在三维空间内有三个可控的自由度进行详细的说明。
图2中示出的三维空间坐标系中x轴指向车尾、z轴指向车顶,y轴与由x轴和z轴构成的平面垂直。此时,车载屏幕机械臂在三维空间内有三个可控的自由度是指:车载屏幕机械臂可在三维空间内绕x轴自由转动,车载屏幕机械臂可在三维空间内绕y轴自由转动,以及车载屏幕机械臂可在三维空间内绕z轴自由转动。
需要说明的,本申请实施例中也可以构建其他的三维空间坐标系,当然,在其他的三维空间坐标系下,车载屏幕机械臂在三维空间内有三个可控的自由度依然可以是指:车载屏幕机械臂可在三维空间内绕x轴自由转动,车载屏幕机械臂可在三维空间内绕y轴自由转动,以及车载屏幕机械臂可在三维空间内绕z轴自由转动。
需要说明的是,车载屏幕机械臂的数目一般为一个,但是也可以为多个。车载屏幕机械臂可以单独用于控制显示屏幕移动,也可以与车辆座舱内的车载信息娱乐系统、仪表盘、抬头显示、流媒体后视镜、氛围灯、智能车门以及智能音箱等进行配合,在预设场景下完成相应的预设动作。例如,配合氛围灯的闪烁来执行左右摇摆动作。
在一种可能的实现方式中,控制车载屏幕机械臂在目标车舱区域执行目标设定动作的具体实现方式可以如图3所示,图3中示出的方法可以包括如下步骤:
步骤S301:获取与击掌动作对应的预先设定动作。
步骤S302:将与击掌动作对应的预先设定动作确定为目标设定动作,以控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
根据击掌动作对应的预先设定动作来确定目标设定动作,能够在目标人员在做出不同击掌动作时,控制车载屏幕机械臂执行不同的设定动作。因此,能够增强目标人员与车载屏幕机械臂之间的互动性,从而能够提高车上人员的驾车或者乘车乐趣,进而能够提高车上人员的用户体验感。
本申请实施例中,获取与击掌动作对应的预先设定动作的方式为:首先,获取预先设置的第一对应关系列表,第一对应关系列表中包括预设击掌动作与预先设定动作之间的对应关系,然后,在第一对应关系中确定与击掌动作对应的预先设定动作。
具体而言,假设第一对应关系列表中包括的对应关系有:在击掌动作为第一种击掌动作时,执行第一预先设定动作;在击掌动作为第二种击掌动作时,执行第二预先设定动作;在击掌动作为第三种击掌动作时,执行第三预先设定动作;在击掌动作为第四种击掌动作时,执行第四预先设定动作;在击掌动作为第五种击掌动作时,执行第五预先设定动作。
也就是说,如果击掌动作为第三种击掌动作,则确定与击掌动作对应的预先设定动作为第三预先设定动作。此时,将与击掌动作对应的预先设定动作确定为目标设定动作是指,将第三预先设定动作确定为目标设定动作。
在一种可能的实现方式中,控制车载屏幕机械臂在目标车舱区域执行目标设定动作的具体实现方式可以如图3所示,图3中示出的方法可以包括如下步骤:
步骤S401:获取与目标车舱区域对应的预先设定动作。
步骤S402:将与目标车舱区域对应的预先设定动作确定为目标设定动作,以控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
根据目标车舱区域对应的预先设定动作来确定目标设定动作,能够控制车载屏幕机械臂在不同车舱区域执行不同的设定动作。因此,可以使车载屏幕机械臂在不同车舱区域执行的设定动作能够具有个性化。这样,能够提高车上人员的驾车或者乘车乐趣,进而能够提高车上人员的用户体验感。
本申请实施例中,获取与目标车舱区域对应的预先设定动作的方式为:首先,获取预先设置的第二对应关系列表,第二对应关系列表中包括车舱区域与预先设定动作之间的对应关系。然后,在第二对应关系列表中确定与目标车舱区域对应的预先设定动作。
具体而言,假设第二对应关系列表中包括的对应关系有:在目标车舱区域为车舱区域1时,执行预先设定动作1;在目标车舱区域为车舱区域2时,执行预先设定动作2;在目标车舱区域为车舱区域3时,执行预先设定动作3;在目标车舱区域为车舱区域4时,执行预先设定动作4;在目标车舱区域为车舱区域5时,执行预先设定动作5。
也就是说,如果击掌动作为击掌动作2,则确定与目标车舱区域对应的预先设定动作为预先设定动作2。此时,将与目标车舱区域对应的预先设定动作确定为目标设定动作是指,将预先设定动作2确定为目标设定动作。
本申请实施例中,车载服务器以及车辆对应的云端服务器可以通过下发控制指令的方式来控制车载屏幕机械臂。
与本申请实施例提供的机械臂的控制方法相对应地,本申请实施例还提供一种机械臂的控制装置,该装置应用于车辆,其包括:
声源位置确定模块,用于在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,击掌声音是由击掌动作产生的声音;
第一控制模块,用于基于声源位置,控制车载屏幕机械臂运动至声源位置所在的目标车舱区域;
第二控制模块,用于控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
在一种实施方式中,第二控制模块具体用于获取与击掌动作对应的预先设定动作;将与击掌动作对应的预先设定动作确定为目标设定动作,以控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
在一种实施方式中,获取与击掌动作对应的预先设定动作,包括:获取预先设置的第一对应关系列表,第一对应关系列表中包括预设击掌动作与预先设定动作之间的对应关系;在第一对应关系中确定与击掌动作对应的预先设定动作。
在一种实施方式中,第二控制模块具体用于获取与目标车舱区域对应的预先设定动作;将与目标车舱区域对应的预先设定动作确定为目标设定动作,以控制车载屏幕机械臂在目标车舱区域执行目标设定动作。
在一种实施方式中,与目标车舱区域对应的预先设定动作,包括:获取预先设置的第二对应关系列表,第二对应关系列表中包括车舱区域与预先设定动作之间的对应关系;在第二对应关系列表中确定与目标车舱区域对应的预先设定动作。
在一种实施方式中,目标车舱区域包括车辆座位所处的车舱区域。
在一种实施方式中,声源位置确定模块具体用于根据车载图像采集设备在指定时间段内针对目标人员采集到的图像帧序列,确定目标人员在指定时间段内做出的肢体动作;
在肢体动作为击掌动作的情况下,获取车载音频采集设备在目标人员做出击掌动作的时间段内采集到的指定音频;
在指定音频中确定出击掌声音;
对击掌声音进行定位,以确定声源位置。
在一种实施方式中,对击掌声音进行定位,以确定声源位置,包括:对击掌声音进行声源定位,确定击掌声音在车舱内的位置;将击掌声音在车舱内的位置确定为声源位置。
在一种实施方式中,对击掌声音进行定位,以确定声源位置,包括:基于目标人员图像帧序列中的图像区域,确定目标人员所在的车舱区域;对击掌声音进行声源定位,确定击掌声音在车舱内的位置;基于目标人员所在的车舱区域以及击掌声音在车舱内的位置,确定声源位置。
与本申请实施例提供的机械臂的控制方法相对应地,本申请实施例还提供一种车辆,具体如图5所示,图5为本申请实施例中提供的一种车辆的示意图。该车辆500包括:车载服务器501、车载屏幕机械臂502以及车载屏幕503。
具体而言,车载服务器501,用于执行本申请实施例提供的机械臂的控制方法,以控制车载屏幕机械臂502在目标车舱区域执行目标设定动作。
车载屏幕机械臂502,用于在车载服务器501的控制下,在目标车舱区域执行目标设定动作。
车载屏幕503,与车载屏幕机械臂502连接。
示例性地,本实施例中的车辆可以燃油车、电动车、太阳能车等任何动力驱动的车辆。示例性地,本实施例中的车辆可以为自动驾驶车辆。
本实施例的车辆的其他构成,如车架和车轮的具体结构以及连接紧固部件等,可以采用于本领域普通技术人员现在和未来知悉的各种技术方案,这里不再详细描述。
图6示出根据本申请一实施例的电子设备的结构框图。如图6所示,该电子设备包括:存储器610和处理器620,存储器610内存储有可在处理器620上运行的指令。处理器620执行该指令时实现上述实施例中的识别车道边沿的方法。存储器610和处理器620的数量可以为一个或多个。该电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
该电子设备还可以包括通信接口630,用于与外界设备进行通信,进行数据交互传输。各个设备利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器620可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器610、处理器620及通信接口630集成在一块芯片上,则存储器610、处理器620及通信接口630可以通过内部接口完成相互间的通信。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(Advanced RISC Machines,ARM)架构的处理器。
本申请实施例提供了一种计算机可读存储介质(如上述的存储器610),其存储有计算机指令,该程序被处理器执行时实现本申请实施例中提供的方法。
可选的,存储器610可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据识别车道边沿的电子设备的使用所创建的数据等。此外,存储器610可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器610可选包括相对于处理器620远程生成的存储器,这些远程存储器可以通过网络连接至识别车道边沿的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他实体类别的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁待,磁待磁磁盘存储或其他磁性存储介质或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(Transitory Media),如调制的数据信号和载波。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种机械臂的控制方法,其特征在于,包括:
在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,所述击掌声音是由所述击掌动作产生的声音;
基于所述声源位置,控制车载屏幕机械臂运动至所述声源位置所在的目标车舱区域;
控制所述车载屏幕机械臂在所述目标车舱区域执行目标设定动作。
2.根据权利要求1所述的方法,其特征在于,所述控制所述车载屏幕机械臂在所述目标车舱区域执行目标设定动作,包括:
获取与所述击掌动作对应的预先设定动作;
将与所述击掌动作对应的预先设定动作确定为目标设定动作,以控制所述车载屏幕机械臂在所述目标车舱区域执行所述目标设定动作。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述击掌动作对应的预先设定动作,包括:
获取预先设置的第一对应关系列表,所述第一对应关系列表中包括预设击掌动作与预先设定动作之间的对应关系;
在所述第一对应关系中确定与所述击掌动作对应的预先设定动作。
4.根据权利要求1所述的方法,其特征在于,所述控制所述车载屏幕机械臂在所述目标车舱区域执行目标设定动作,包括:
获取与所述目标车舱区域对应的预先设定动作;
将与所述目标车舱区域对应的预先设定动作确定为目标设定动作,以控制所述车载屏幕机械臂在所述目标车舱区域执行所述目标设定动作。
5.根据权利要求4所述的方法,其特征在于,所述与所述目标车舱区域对应的预先设定动作,包括:
获取预先设置的第二对应关系列表,所述第二对应关系列表中包括车舱区域与预先设定动作之间的对应关系;
在所述第二对应关系列表中确定与所述目标车舱区域对应的预先设定动作。
6.根据权利要求4或5所述的方法,其特征在于,所述目标车舱区域包括车辆座位所处的车舱区域。
7.根据权利要求1所述的方法,其特征在于,所述在检测到目标人员做出击掌动作的情况下,确定击掌声音的声源位置,所述击掌声音是由所述击掌动作产生的声音,包括:
根据车载图像采集设备在指定时间段内针对所述目标人员采集到的图像帧序列,确定所述目标人员在所述指定时间段内做出的肢体动作;
在所述肢体动作为所述击掌动作的情况下,获取车载音频采集设备在所述目标人员做出所述击掌动作的时间段内采集到的指定音频;
在所述指定音频中确定出所述击掌声音;
对所述击掌声音进行定位,以确定所述声源位置。
8.根据权利要求7所述的方法,其特征在于,所述对所述击掌声音进行定位,以确定所述声源位置,包括:
对所述击掌声音进行声源定位,确定所述击掌声音在车舱内的位置;
将所述击掌声音在车舱内的位置确定为所述声源位置。
9.根据权利要求7所述的方法,其特征在于,所述对所述击掌声音进行定位,以确定所述声源位置,包括:
基于所述目标人员所述图像帧序列中的图像区域,确定所述目标人员所在的车舱区域;
对所述击掌声音进行声源定位,确定所述击掌声音在车舱内的位置;
基于所述目标人员所在的车舱区域以及所述击掌声音在车舱内的位置,确定所述声源位置。
10.一种车辆,其特征在于,包括:车载服务器、车载屏幕机械臂以及车载屏幕;
所述车载服务器,用于执行如权利要求1至9任一项所述的方法,以控制所述车载屏幕机械臂在目标车舱区域执行目标设定动作;
所述车载屏幕机械臂,用于在所述车载服务器的控制下,在所述目标车舱区域执行所述目标设定动作;
所述车载屏幕,与所述车载屏幕机械臂连接。
11.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211516214.5A CN118106949A (zh) | 2022-11-29 | 2022-11-29 | 一种机械臂的控制方法、车辆以及电子设备 |
PCT/CN2023/104108 WO2024113839A1 (zh) | 2022-11-29 | 2023-06-29 | 机械臂的控制方法、车辆以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211516214.5A CN118106949A (zh) | 2022-11-29 | 2022-11-29 | 一种机械臂的控制方法、车辆以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118106949A true CN118106949A (zh) | 2024-05-31 |
Family
ID=91212579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211516214.5A Pending CN118106949A (zh) | 2022-11-29 | 2022-11-29 | 一种机械臂的控制方法、车辆以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118106949A (zh) |
-
2022
- 2022-11-29 CN CN202211516214.5A patent/CN118106949A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10394107B2 (en) | Gimbal control method, gimbal control apparatus, and gimbal | |
US10885712B2 (en) | Camera pose estimation method for augmented reality manual for cars | |
JP7244655B2 (ja) | 注視エリア検出方法、装置、及び電子デバイス | |
CN114429168A (zh) | 使用合成数据的模拟训练 | |
CN107284453A (zh) | 基于解释驾驶员动作的交互式显示器 | |
US9606623B2 (en) | Gaze detecting apparatus and method | |
US11704814B2 (en) | Adaptive eye tracking machine learning model engine | |
CN109118532A (zh) | 视觉景深估计方法、装置、设备及存储介质 | |
US11724635B2 (en) | Embedded light sensors | |
WO2023231653A1 (zh) | 一种车载相机的标定方法及装置、计算机设备、存储介质和产品 | |
JP2021131902A (ja) | 車両用障害物回避方法、装置、電子機器及びコンピュータ記憶媒体 | |
KR20200062193A (ko) | 정보 처리 장치, 이동 장치, 정보 처리 방법, 이동 장치 제어 방법, 및 프로그램 | |
US20230257001A1 (en) | Integrated module for sensor data aggregation and control of sensor support hardware | |
JP2023165383A (ja) | 機械学習モデルのためのデータ・セット生成及び拡張 | |
CN116061170A (zh) | 脚本序列的确定方法、装置、电子设备及车辆 | |
CN109144698A (zh) | 数据获取方法、事件分发器、设备、介质和无人车 | |
CN115793852A (zh) | 基于座舱区域获取操作指示的方法、显示方法及相关设备 | |
CN115599460A (zh) | 用于优化自主车辆的启动过程的状态暂停 | |
JP2022190646A (ja) | 自律マシン・アプリケーションのための複数の周波数範囲にわたる電圧監視 | |
CN115840438A (zh) | 用于自主系统中的路径确定的安全性分解 | |
US11184575B2 (en) | Displaying real-time video of obstructed views | |
CN118106949A (zh) | 一种机械臂的控制方法、车辆以及电子设备 | |
JP2021520585A (ja) | 共有リソースへのアクセスの優先度ベースの管理 | |
US20210276575A1 (en) | Vehicle component identification system | |
CN114841336A (zh) | 修补用于自主机器应用的部署的深度神经网络 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |