CN115520214A - 高尔夫球杆车的控制方法、装置、电子设备及存储介质 - Google Patents

高尔夫球杆车的控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115520214A
CN115520214A CN202210943034.9A CN202210943034A CN115520214A CN 115520214 A CN115520214 A CN 115520214A CN 202210943034 A CN202210943034 A CN 202210943034A CN 115520214 A CN115520214 A CN 115520214A
Authority
CN
China
Prior art keywords
vehicle
target player
golf club
image
end camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210943034.9A
Other languages
English (en)
Inventor
陈永泽
王振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hengtian Weiyan Technology Co ltd
Original Assignee
Shenzhen Hengtian Weiyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hengtian Weiyan Technology Co ltd filed Critical Shenzhen Hengtian Weiyan Technology Co ltd
Priority to CN202210943034.9A priority Critical patent/CN115520214A/zh
Publication of CN115520214A publication Critical patent/CN115520214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种高尔夫球杆车的控制方法、装置、电子设备及存储介质，所述高尔夫球杆车的控制方法包括：在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；对所述第一图像进行行为检测，得到所述目标球员的行为结果；当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。本发明提高了高尔夫球杆车的自动化程度，降低了高尔夫球场内的人力需求。

Description

高尔夫球杆车的控制方法、装置、电子设备及存储介质
技术领域
本发明涉及自动控制技术领域，具体涉及一种高尔夫球杆车的控制方法、装置、电子设备及存储介质。
背景技术
高尔夫球杆车是一种用于运载高尔夫球杆和其他相关物品的可移动工具，现有的高尔夫球杆车通常都是由工作人员进行控制，具体可以是通过遥控来对高尔夫球杆车的行进方向进行控制，这需要工作人员对球员进行一个跟随，对于人力的需求比较大，而且由于人数的增加，对于场地的草坪较不友好，因此，现有的高尔夫球杆车存在自动化不高的问题。
发明内容
本发明实施例提供了一种高尔夫球杆车的控制方法、装置、电子设备及存储介质，旨在解决现有的高尔夫球杆车存在自动化不高的问题。通过对目标球员进行行为检测，当目标球员的行为符合预设行为时，对目标球员进行轨迹预测，得到目标球员的预测轨迹，通过目标球员的预测轨迹控制高尔夫球杆车进行跟随，使得高尔夫球杆车可以自动对目标球员进行跟随，不需要额外的人员对高尔夫球杆车进行控制，提高了高尔夫球杆车的自动化程度，降低了高尔夫球场内的人力需求。
第一方面，本发明实施例提供一种高尔夫球杆车的控制方法，所述方法包括：
在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；
对所述第一图像进行行为检测，得到所述目标球员的行为结果；
当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；
基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。
进一步的，在所述在跟随模式下，获取目标球员的第一图像的步骤之前，所述方法还包括：
当所述目标球员启动所述高尔夫球杆车时，通过所述车端摄像头对所述目标球员进行特征提取，得到所述目标球员的属性特征；
通过所述属性特征，将所述高尔夫球杆车与所述目标球员进行绑定；
当接收到所述目标球员的跟随指令时，控制所述高尔夫球杆车进入跟随模式。
进一步的，所述当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像的步骤包括：
当所述行为结果符合预设行为时，将所述属性特征发送到场端摄像头；
基于所述属性特征，通过所述场端摄像头对所述目标球员进行图像跟踪，得到所述目标球员的第二图像。
进一步的，所述第二图像包括连续的帧图像，所述根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹的步骤包括：
对所述目标球员进行位置检测，得到所述目标球员在各个帧图像中的帧位置；
将所述帧位置按对应的帧图像的时间顺序进行排列，得到所述目标球员的位置序列；
对所述位置序列进行预测，得到预测位置序列；
根据所述预测位置序列，生成所述目标球员的预测轨迹。
进一步的，所述基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随的步骤包括：
根据所述预测轨迹，生成所述高尔夫球杆车的跟随路线；
控制所述高尔夫球杆车以所述跟随路线行进。
进一步的，所述根据所述预测轨迹，生成所述高尔夫球杆车的跟随路线的步骤包括：
获取所述高尔夫球杆车的定位系统坐标系；
将所述预测轨迹转换到所述定位系统坐标系中，得到所述高尔夫球杆车的跟随路线。
进一步的，在所述基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随的步骤之后，所述方法还包括：
根据所述第一图像或所述第二图像，检测所述目标球员所在区域的区域坡度；
根据所述区域坡度，调整所述高尔夫球杆车的跟随姿态。
第二方面，提供一种高尔夫球杆车的控制装置，所述装置包括：
第一获取模块，用于在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；
行为检测模块，用于对所述第一图像进行行为检测，得到所述目标球员的行为结果；
第二获取模块，用于当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；
控制模块，用于基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。
第三方面，提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中任一项所述的高尔夫球杆车的控制方法中的步骤。
第四方面，提供一种计算机可读存储介质所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例中任一项所述的高尔夫球杆车的控制方法中的步骤。
在本发明实施例中，在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；对所述第一图像进行行为检测，得到所述目标球员的行为结果；当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。通过对目标球员进行行为检测，当目标球员的行为符合预设行为时，对目标球员进行轨迹预测，得到目标球员的预测轨迹，通过目标球员的预测轨迹控制高尔夫球杆车进行跟随，使得高尔夫球杆车可以自动对目标球员进行跟随，不需要额外的人员对高尔夫球杆车进行控制，提高了高尔夫球杆车的自动化程度，降低了高尔夫球场内的人力需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种高尔夫球杆车的控制方法的流程示意图。
图2是一种高尔夫球杆车的控制装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”“轴向”、“周向”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
请参阅图1，图1为本申请提供的一种高尔夫球杆车的控制方法，该方法包括：
101、在高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像。
在本发明实施例中，上述高尔夫球杆车用于运动目标球员的球杆以及其他物品，上述车端摄像头设置于高尔夫球杆车上。
上述高尔夫球杆车可以设置有多种模式，比如牵拉模式、遥控模式和跟随模式，其中，在牵拉模式下，工作人员或目标球员可以手动拉着高尔夫球杆车行进；在遥控模式下，工作人员或目标球员可以通过遥控器对高尔夫球杆车进行控制；在跟随模式下，高尔夫球杆车可以自动跟随目标球员。
在高尔夫球杆车为跟随模式时，可以启动车端摄像头对高尔夫球杆车的前方进行拍摄，从而拍摄得到目标球员的第一图像。
102、对第一图像进行行为检测，得到目标球员的行为结果。
在本发明实施例中，上述车端摄像头可以是智能摄像头，智能摄像头中嵌入有行为检测模型，通过嵌入的行为检测模型对第一图像进行行为检测。
上述行为检测模型为预先训练好的，上述行为检测模型用于检测球员的行为，行为结果可以包括停留、行走、转身等。
具体的，行为检测模型可以是基于卷积神经网络的检测模型，可以通过包含球员行为的第一图像数据集对行为检测模型进行有监督训练，得到训练好的行为检测模型。通过训练好的行为检测模型对目标球员的行为进行检测，可以得到目标球员的当前行为。
在一种可能的实施例中，上述行为检测模型可以设置在服务器，车端摄像头拍摄到第一图像后，将第一图像上传到服务器中，通过服务器中的行为检测模型进行行为检测，得到目标球员的行为结果。上述服务器可以是本地服务器或者云服务器。
103、当行为结果符合预设行为时，通过场端摄像头获取目标球员的第二图像，并根据第二图像对目标球员进行轨迹预测，得到目标球员的预测轨迹。
在本发明实施例中，上述场端摄像头设置在高尔夫球场内，上述场端摄像头可以是深度摄像头，可以同时采集到目标球员的深度信息，目标球员的深度信息可以理解为距离深度摄像头位置的距离，从而根据深度摄像头拍摄到的第二图像中，包括了目标球员的深度信息，使得轨迹预测过程中，利用目标球员的深度信息，得到更准确的预测轨迹。
上述预设行为可以是行走行为，当目标球员的行为结果为行走时，说明目标球员处于行走状态，高尔夫球杆车需要跟随目标球员。
上述轨迹预测可以根据目标球员的行走情况进行确定，具体的，可以根据目标球员的位置变化情况进行确定。可以先检测目标球员在第二图像中的位置，根据目标球员在第二图像中的位置变化情况，预测目标球员在未来一段时间的位置变化情况，从而根据目标球员在未来一段时间的位置变化情况，预测得到目标球员的预测轨迹。
104、基于预测轨迹，控制高尔夫球杆车对目标球员进行跟随。
在本发明实施例中，上述预测轨迹表示了目标球员在未来一段时间内的位置变化情况。在跟随模式下，高尔夫球杆车可以与目标球员在未来一段时间内具有相同的位置变化情况。
具体的，可以根据预测轨迹，生成高尔夫球杆车的行进路线，当高尔夫球杆车按行进路线进行行进时，实现高尔夫球杆车对目标球员的跟随。
在本发明实施例中，在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；对所述第一图像进行行为检测，得到所述目标球员的行为结果；当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。通过对目标球员进行行为检测，当目标球员的行为符合预设行为时，对目标球员进行轨迹预测，得到目标球员的预测轨迹，通过目标球员的预测轨迹控制高尔夫球杆车进行跟随，使得高尔夫球杆车可以自动对目标球员进行跟随，不需要额外的人员对高尔夫球杆车进行控制，提高了高尔夫球杆车的自动化程度，降低了高尔夫球场内的人力需求。
进一步的，在在跟随模式下，获取目标球员的第一图像的步骤之前，还可以当目标球员启动高尔夫球杆车时，通过车端摄像头对目标球员进行特征提取，得到目标球员的属性特征；通过属性特征，将高尔夫球杆车与目标球员进行绑定；当接收到目标球员的跟随指令时，控制高尔夫球杆车进入跟随模式。
在本发明实施例中，目标球员可以通过球员终端与高尔夫球杆车进行交互，从而启动高尔夫球杆车，比如，目标球员通过注册APP进行球员认证后，通过APP扫码启动高尔夫球杆车。
在目标球员启动高尔夫球杆车时，会同时启动车端摄像头，通过车端摄像头对目标球员进行拍摄，得到目标球员图像，通过特征提取模型对目标球员图像进行特征提取，得到目标球员的属性特征。上述属性特征包括目标球员的上衣、裤子、体型、身高、球员号码、帽子等属性中的至少一项。
将高尔夫球杆车与目标球员进行绑定，可以避免其他人员对高尔夫球杆车进行控制，提高高尔夫球杆车的控制安全性。
上述跟随指令可以是语音指令或手势指令，也可以是基于高尔夫球杆车上设置的物理按键指令。
上述特征提取模型可以嵌入在车端摄像头中，通过嵌入的特征提取模型直接在车端摄像头中进行特征提取，得到目标球员的属性特征进行存储。上述特征提取模型也可以是设置在服务器，当目标球员启动高尔夫球杆车时，会同时启动车端摄像头，通过车端摄像头对目标球员进行拍摄，得到目标球员图像，将目标球员图像上传到服务器中进行特征提取，得到目标球员的属性特征进行存储。
进一步的，在当行为结果符合预设行为时，通过场端摄像头获取目标球员的第二图像的步骤中，可以当行为结果符合预设行为时，将属性特征发送到场端摄像头；基于属性特征，通过场端摄像头对目标球员进行图像跟踪，得到目标球员的第二图像。
在本发明实施例中，场端摄像头设置在高尔夫球场内，可以通过旋转及变焦等方式进行调整，对目标球员进行图像跟踪。与车端摄像头不同的是，车端摄像头一般拍摄到的是与目标球员较近的第一图像，对于目标球员的轨迹分析并没有足够的空间信息来进行。而场端摄像头可以拍摄到与目标球员较远的第二图像，第二图像中包括足够的空间信息，这些空间信息可以用于对目标球员进行轨迹分析。
具体的，当目标球员的行为结果符合预设行为时，说明目标球员处于行走状态，车端摄像头或服务器可以将目标球员的属性特征发送到场端摄像头中，场端摄像头根据属性特征查找到对应的目标球员进行图像跟踪。更具体的，第二图像中包括多个球员，场端摄像头中也嵌入相同的特征提取模型，通过特征提取模型提取每个球员的属性特征，将每个球员的属性特征与目标球员的属性特征进行特征比对，从而确定要跟踪的目标球员，通过旋转及变焦等方式进行调整，对目标球员进行图像跟踪。
在一种可能的实施例中，也可以是由场端摄像头将拍摄到图像发送到服务器，由服务器中的特征提取模型提取每个球员的属性特征，将每个球员的属性特征与目标球员的属性特征进行特征比对，从而确定要跟踪的目标球员所在位置，根据目标球员所在位置生成对应的控制参数，控制参数包括旋转参数和变焦参数，将控制参数下发到场端摄像头，通过控制参数对场端摄像头进行旋转及变焦等方式的调整，实现对目标球员进行图像跟踪。
进一步的，第二图像包括连续的帧图像，在根据第二图像对目标球员进行轨迹预测，得到目标球员的预测轨迹的步骤中，可以对目标球员进行位置检测，得到目标球员在各个帧图像中的帧位置；将帧位置按对应的帧图像的时间顺序进行排列，得到目标球员的位置序列；对位置序列进行预测，得到预测位置序列；根据预测位置序列，生成目标球员的预测轨迹。
在本发明实施例中，第二图像可以是视频图像，视频图像中包括连续的帧图像，对于每一帧图像，都进行目标球员的位置进行检测，得到目标球员在各个帧图像中的帧位置。具体的，可以通过目标检测模型对目标球员进行目标检测，得到目标球员的检测框，其中，(x，y)为检测框的中心位置，w为检测框的宽度，h为检测框的高度，d为检测框中心的深度，γ为检测框的置信度，可以根据检测框(x，y，w，h，d，γ)确定目标球员在每一帧图像的帧位置(x，y，d)，将帧位置(x，y，d)按对应的帧图像的时间顺序进行排列，得到目标球员的位置序列an＝[(x1，y1，d1)，…，(xi，yi，di)，…，(xn，yn，dn)]，其中，n表示n帧图像的数量，i表示第i个帧图像。
可以通过时序预测模型对位置序列进行预测，时序预测模型可以是基于循环神经网络或长短时记忆网络构建的预测模型，将位置序列an输入到时序预测模型中，输出得到预测位置序列bm＝[(xn+1，yn+1，dn+1)，…，(xn+j，yn+j，dn+j)，…，(xn+m，yn+m，dn+m)]，其中，预测时间段为n+1时刻到n+m时刻，n+j表示第n+j时刻目标球员的预测位置，j大于或者等于1，m大于或者等于j。
可以通过训练好的时序预测模型对位置序列an进行预测，得到目标球员的预测轨迹。具体的，可以通过上述位置序列的处理方法，收集多个球员的位置序列，将位置序列划分为两段，一段作为样本位置序列，一段作为标签位置序列，标签位置序列的时间在样本位置序列的时间之后。将样本位置序列输入到时序预测模型中，输出预测位置序列，计算预测位置序列与标签位置序列之间的误差损失，以最小化误差损失为目标训练时序预测模型，使得时序预测模型的输出与标签位置序列相同，从而完成训练，得到训练好的时序预测模型。在使用时，将位置序列an输入到训练好的时序预测模型，通过训练好的时序预测模型输出预测位置序列bm。
将预测位置序列bm各个预测位置进行连接，可以得到目标球员的预测轨迹。
进一步的，在基于预测轨迹，控制高尔夫球杆车对目标球员进行跟随的步骤的步骤中，可以根据预测轨迹，生成高尔夫球杆车的跟随路线；控制高尔夫球杆车以跟随路线行进。
在本发明实施例中，预测轨迹是通过预测位置序列bm生成的，预测位置序列bm中包括目标球员在图像中的位置，将目标球员在图像中的位置转换为现实世界的位置，将现实世界的位置进行连接，得到高尔夫球杆车的跟随路线。通过高尔夫球杆车的跟随路线控制高尔夫球杆车以跟随路线行进。
具体的，可以根据场端摄像头的坐标系与现实世界的坐标系之间的投影关系，将目标球员在图像中的位置转换为现实世界的位置，将现实世界的位置进行连接。
进一步的，在根据预测轨迹，生成高尔夫球杆车的跟随路线的步骤中，可以获取高尔夫球杆车的定位系统坐标系；将预测轨迹转换到定位系统坐标系中，得到高尔夫球杆车的跟随路线。
在本发明实施例中，高尔夫球杆车的定位系统可以是UWB(Ultra Wideband)定位系统，通过UWB定位系统可以对高尔夫球杆车进行高精度定位，从而使得跟随路线更准确，提高高尔夫球杆车的跟随准确率。
具体的，可以根据场端摄像头的坐标系与现实世界的坐标系之间的投影关系，将目标球员在图像中的位置转换为现实世界的位置，再根据现实世界的坐标系与UWB定位系统坐标系之间的投影关系，将现实世界的位置转换为UWB定位系统的位置，将UWB定位系统的位置进行连接，得到高尔夫球杆车的跟随路线。
在一种可能的实施例中，高尔夫球杆车的定位系统是UWB定位系统，场端摄像头的安装位置与UWB定位系统中的定位基站是同一个位置，这样，可以直接建立场端摄像头的坐标系与UWB定位系统坐标系之间的投影关系，从而根据场端摄像头的坐标系与UWB定位系统坐标系之间的投影关系将目标球员在图像中的位置转换为UWB定位系统的位置，将UWB定位系统的位置进行连接，得到高尔夫球杆车的跟随路线。
进一步的，在基于预测轨迹，控制高尔夫球杆车对目标球员进行跟随的步骤之后，还可以根据第一图像或所述第二图像，检测目标球员所在区域的区域坡度；根据区域坡度，调整高尔夫球杆车的跟随姿态。
在本发明实施例中，可以根据车端摄像头的光轴以及第一图像中草坪面积的比例，计算得到目标球员所在区域的区域坡度，也可以根据场端摄像头的光轴以及第二图像中草坪面积的比例，计算得到目标球员所在区域的区域坡度。
当然，在一些可能的实施例中，也可以通过设置在高尔夫球杆车的角度传感器来检测目标球员所在区域的区域坡度。
根据区域坡度，调整高尔夫球杆车的跟随姿态，可以避免高尔夫球杆车的球杆或物品掉落，提高高尔夫球杆车在跟随过程中的稳定性。
请参阅图2，图2为本申请提供的一种高尔夫球杆车的控制装置，该装置包括：
第一获取模块201，用于在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；
行为检测模块202，用于对所述第一图像进行行为检测，得到所述目标球员的行为结果；
第二获取模块203，用于当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；
控制模块204，用于基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。
进一步的，所述装置还包括：
特征提取模块，用于当所述目标球员启动所述高尔夫球杆车时，通过所述车端摄像头对所述目标球员进行特征提取，得到所述目标球员的属性特征；
球员绑定模块，用于通过所述属性特征，将所述高尔夫球杆车与所述目标球员进行绑定；
接收控制模块，用于当接收到所述目标球员的跟随指令时，控制所述高尔夫球杆车进入跟随模式。
进一步的，所述第二获取模块203还用于当所述行为结果符合预设行为时，将所述属性特征发送到场端摄像头；基于所述属性特征，通过所述场端摄像头对所述目标球员进行图像跟踪，得到所述目标球员的第二图像。
进一步的，所述第二图像包括连续的帧图像，所述第二获取模块203还用于对所述目标球员进行位置检测，得到所述目标球员在各个帧图像中的帧位置；将所述帧位置按对应的帧图像的时间顺序进行排列，得到所述目标球员的位置序列；对所述位置序列进行预测，得到预测位置序列；根据所述预测位置序列，生成所述目标球员的预测轨迹。
进一步的，所述控制模块204还用于根据所述预测轨迹，生成所述高尔夫球杆车的跟随路线；控制所述高尔夫球杆车以所述跟随路线行进。
进一步的，所述控制模块204还用于获取所述高尔夫球杆车的定位系统坐标系；将所述预测轨迹转换到所述定位系统坐标系中，得到所述高尔夫球杆车的跟随路线。
进一步的，所述装置还包括：
坡度检测模块，用于根据所述第一图像或所述第二图像，检测所述目标球员所在区域的区域坡度；
姿态调整模块，用于根据所述区域坡度，调整所述高尔夫球杆车的跟随姿态。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一高尔夫球杆车的控制方法的部分或全部步骤。
本发明实施例还提供一种电子设备，所述电子设备包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种高尔夫球杆车的控制方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种高尔夫球杆车的控制方法，其特征在于，所述方法包括：
在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；
对所述第一图像进行行为检测，得到所述目标球员的行为结果；
当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；
基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。
2.根据权利要求1所述的方法，其特征在于，在所述在跟随模式下，获取目标球员的第一图像的步骤之前，所述方法还包括：
当所述目标球员启动所述高尔夫球杆车时，通过所述车端摄像头对所述目标球员进行特征提取，得到所述目标球员的属性特征；
通过所述属性特征，将所述高尔夫球杆车与所述目标球员进行绑定；
当接收到所述目标球员的跟随指令时，控制所述高尔夫球杆车进入跟随模式。
3.根据权利要求2所述的方法，其特征在于，所述当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像的步骤包括：
当所述行为结果符合预设行为时，将所述属性特征发送到场端摄像头；
基于所述属性特征，通过所述场端摄像头对所述目标球员进行图像跟踪，得到所述目标球员的第二图像。
4.根据权利要求3所述的方法，其特征在于，所述第二图像包括连续的帧图像，所述根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹的步骤包括：
对所述目标球员进行位置检测，得到所述目标球员在各个帧图像中的帧位置；
将所述帧位置按对应的帧图像的时间顺序进行排列，得到所述目标球员的位置序列；
对所述位置序列进行预测，得到预测位置序列；
根据所述预测位置序列，生成所述目标球员的预测轨迹。
5.根据权利要求4所述的方法，其特征在于，所述基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随的步骤包括：
根据所述预测轨迹，生成所述高尔夫球杆车的跟随路线；
控制所述高尔夫球杆车以所述跟随路线行进。
6.根据权利要求5所述的方法，其特征在于，所述根据所述预测轨迹，生成所述高尔夫球杆车的跟随路线的步骤包括：
获取所述高尔夫球杆车的定位系统坐标系；
将所述预测轨迹转换到所述定位系统坐标系中，得到所述高尔夫球杆车的跟随路线。
7.根据权利要求4所述的方法，其特征在于，在所述基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随的步骤之后，所述方法还包括：
根据所述第一图像或所述第二图像，检测所述目标球员所在区域的区域坡度；
根据所述区域坡度，调整所述高尔夫球杆车的跟随姿态。
8.一种高尔夫球杆车的控制装置，其特征在于，所述装置包括：
第一获取模块，用于在所述高尔夫球杆车为跟随模式时，通过车端摄像头获取目标球员的第一图像，所述车端摄像头设置于所述高尔夫球杆车上；
行为检测模块，用于对所述第一图像进行行为检测，得到所述目标球员的行为结果；
第二获取模块，用于当所述行为结果符合预设行为时，通过场端摄像头获取所述目标球员的第二图像，并根据所述第二图像对所述目标球员进行轨迹预测，得到所述目标球员的预测轨迹，所述场端摄像头设置在高尔夫球场内；
控制模块，用于基于所述预测轨迹，控制所述高尔夫球杆车对所述目标球员进行跟随。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的高尔夫球杆车的控制方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的高尔夫球杆车的控制方法中的步骤。
CN202210943034.9A 2022-08-08 2022-08-08 高尔夫球杆车的控制方法、装置、电子设备及存储介质 Pending CN115520214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210943034.9A CN115520214A (zh) 2022-08-08 2022-08-08 高尔夫球杆车的控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210943034.9A CN115520214A (zh) 2022-08-08 2022-08-08 高尔夫球杆车的控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115520214A true CN115520214A (zh) 2022-12-27

Family

ID=84695342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210943034.9A Pending CN115520214A (zh) 2022-08-08 2022-08-08 高尔夫球杆车的控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115520214A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130374A (zh) * 2023-10-26 2023-11-28 锐驰激光(深圳)有限公司 高尔夫球包车的控制方法、高尔夫球包车及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130374A (zh) * 2023-10-26 2023-11-28 锐驰激光(深圳)有限公司 高尔夫球包车的控制方法、高尔夫球包车及存储介质
CN117130374B (zh) * 2023-10-26 2024-03-15 锐驰激光(深圳)有限公司 高尔夫球包车的控制方法、高尔夫球包车及存储介质

Similar Documents

Publication Publication Date Title
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN107025662B (zh) 一种实现增强现实的方法、服务器、终端及系统
CN110645986B (zh) 定位方法及装置、终端、存储介质
AU2018404876B2 (en) Golf ball tracking system
CN111292352B (zh) 多目标跟踪方法、装置、设备及存储介质
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN106910206B (zh) 一种目标跟踪方法及装置
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
CN104820998A (zh) 一种基于无人机动平台的人体检测与跟踪方法及装置
WO2018024600A1 (en) Method for capturing an object in an environmental region of a motor vehicle with prediction of the movement of the object, camera system as well as motor vehicle
CN107025661B (zh) 一种实现增强现实的方法、服务器、终端及系统
CN110175654B (zh) 一种轨迹路标的更新方法及系统
CN115520214A (zh) 高尔夫球杆车的控制方法、装置、电子设备及存储介质
KR102333847B1 (ko) 스마트 골프장 운영을 위한 관제 서버, 관제 시스템 및 그 방법
CN112329645A (zh) 图像检测方法、装置、电子设备及存储介质
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
US10237465B2 (en) Camera, method, and system for filming golf game
CN112631333B (zh) 无人机的目标跟踪方法、装置及图像处理芯片
CN110059653A (zh) 一种数据收集方法及装置、电子设备、存储介质
KR20220078818A (ko) Cctv 기반 골프 서비스 제공 방법 및 시스템
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
CN116912716A (zh) 目标定位方法、装置、电子设备及存储介质
CN114935341B (zh) 一种新型slam导航计算视频识别方法及装置
CN107688392B (zh) 一种控制mr头显设备显示虚拟景象的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination