CN112859854A - 一种自动跟随摄像的摄像机器人的摄像系统及方法 - Google Patents
一种自动跟随摄像的摄像机器人的摄像系统及方法 Download PDFInfo
- Publication number
- CN112859854A CN112859854A CN202110026407.1A CN202110026407A CN112859854A CN 112859854 A CN112859854 A CN 112859854A CN 202110026407 A CN202110026407 A CN 202110026407A CN 112859854 A CN112859854 A CN 112859854A
- Authority
- CN
- China
- Prior art keywords
- information
- shooting
- robot
- real
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 8
- 238000003891 environmental analysis Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 17
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种自动跟随摄像的摄像机器人的摄像系统及方法,该系统包括信息录入模块,用于录入目标人员的图像信息;模型建立模块,用于建立目标跟踪拍摄模型;环境分析模块,用于获取机器人的位置坐标和实时环境图像信息,确定目标人员的位置坐标;路径规划模块,用于根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;拍摄调整模块,用于获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。本发明可针对性的对目标人员进行实时跟随拍摄,自动调整拍摄位置,提高拍摄效果。
Description
技术领域
本发明涉及摄影技术领域,具体而言,涉及一种自动跟随摄像的摄像机器人的摄像系统及方法。
背景技术
移动摄像车或机器人:由移动平台和摄像机组成的,包含电机驱动的四轮移动平台和摄像机。麦克纳姆轮技术:基于麦克纳姆轮技术的全方位运动设备可以实现前行、横移、斜行、旋转及其组合等运动方式。全景摄像技术:全景是把相机环360度拍摄的一组或多组照片拼接成一个全景图像,给人以三维立体感觉的实景360度全方位图像。人体轨迹跟踪:通过视频捕捉人体位置,在后续帧中继续捕获人体的位置及距离等信息。路径跟踪:是在平面坐标系下根据追踪目标的行为轨迹设定一条理想的几何路径,然后要求机器人从某一处出发,按照某种控制规律到达该路径上,并实现其跟踪运动。
现有摄像机器人或摄像车的摄像系统,在拍摄中需要多人操作,无法做到单人自拍。现有可移动摄像机器人或摄像车只能在人工操作下移动拍摄,在户外直播、电影摄像等移动拍摄场景,无法自动跟踪拍摄,无法自动将摄像机位保持正对移动中的被拍摄人员面部。
发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种自动跟随摄像的摄像机器人的摄像系统及方法,可针对性的对目标人员进行实时跟随拍摄,自动调整拍摄位置,提高拍摄效果。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供一种自动跟随摄像的摄像机器人的摄像系统,包括信息录入模块、模型建立模块、环境分析模块、路径规划模块以及拍摄调整模块,其中:
信息录入模块,用于录入目标人员的图像信息;
模型建立模块,用于根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型;
环境分析模块,用于获取机器人的位置坐标和实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;
路径规划模块,用于根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;
拍摄调整模块,用于获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。
本摄像系统还包括全景摄像机和全向移动轮式平台,上述路径规划模块与上述全向移动轮式平台连接,上述拍摄调整模块与上述全景摄像机连接。一般用户在拍摄时是会不断移动的,为了保证拍摄的效果需要实时的调整拍摄角度和拍摄位置,通过全向移动式平台移动到目标位置进行拍摄,通过全景摄像机对用户进行全方位的拍摄,满足用户需求,在全向移动式平台上设置自平衡防抖底座,防止在移动拍摄中摄像机抖动问题。通过信息录入模块录入目标人员的图像信息,录入目标人员的全身照,以便后续进行针对性的跟踪拍摄;然后通过模型建立模块根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型,以便后续提取目标人员的面部特征进行追踪拍摄;启动全景摄像机,进行360度图像拍摄,通过环境分析模块采用全景摄像机采集获取360度的实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;为了便于后续确定行走路径,获取到机器人的位置坐标,然后通过路径规划模块获取实时环境图像信息中的障碍物的位置坐标后,根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息,自动进行障碍物规避,生成一个最优路径,进而控制本机器人的全向移动式平台移动到目标位置;移动到目标位置后,通过拍摄调整模块获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息,实时自动的调整全景摄像机的拍摄位置和拍摄角度,进而对目标人员的面部进行跟踪拍摄,保证拍摄效果。
本摄像系统可针对个人用户实时自动的跟踪拍摄,实时的调整拍摄位置和拍摄角度,对用户的面部进行跟踪拍摄,提高拍摄效果。
基于第一方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统还包括体态预测模块和拍摄预测模块,其中:
体态预测模块,用于获取目标人员的实时体态信息,并根据目标人员的实时体态信息生成移动预测信息;
拍摄预测模块,用于根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息。
基于第一方面,在本发明的一些实施例中,上述路径规划模块包括初始规划子模块和判断预警子模块,其中:
初始规划子模块,用于根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送初始路径规划信息;
判断预警子模块,用于获取机器人的实时运动轨迹信息,判断机器人的运动轨迹与初始路径规划信息中的运动轨迹是否相同,如果是,则结束;如果否,则生成并发送偏移预警信息。
基于第一方面,在本发明的一些实施例中,上述路径规划模块还包括路径调整子模块,用于根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息。
基于第一方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统还包括远程控制模块,用于采用无线通讯方式对机器人进行远程控制。
第二方面,本发明实施例提供一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,包括以下步骤:
录入目标人员的图像信息;
根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型;
获取机器人的位置坐标和实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;
根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;
获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。
一般用户在拍摄时是会不断移动的,为了保证拍摄的效果需要实时的调整拍摄角度和拍摄位置,通过本方法控制摄像机器人移动到目标位置进行拍摄,对用户进行全方位的拍摄,满足用户需求。首先,录入目标人员的图像信息,录入目标人员的全身照,以便后续进行针对性的跟踪拍摄;然后根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型,以便后续提取目标人员的面部特征进行追踪拍摄;启动全景摄像机,进行360度图像拍摄,采用全景摄像机采集获取360度的实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;为了便于后续确定行走路径,获取到机器人的位置坐标,然后获取实时环境图像信息中的障碍物的位置坐标后,根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息,自动进行障碍物规避,生成一个最优路径,进而控制本机器人的全向移动式平台移动到目标位置;移动到目标位置后,获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息,实时自动的调整全景摄像机的拍摄位置和拍摄角度,进而对目标人员的面部进行跟踪拍摄,保证拍摄效果。
本摄像方法可针对个人用户实时自动的跟踪拍摄,实时的调整拍摄位置和拍摄角度,对用户的面部进行跟踪拍摄,提高拍摄效果。
基于第二方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统的摄像方法还包括以下步骤:
获取目标人员的实时体态信息,并根据目标人员的实时体态信息生成移动预测信息;
根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息。
基于第二方面,在本发明的一些实施例中,上述根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息的方法包括以下步骤:
根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送初始路径规划信息;
获取机器人的实时运动轨迹信息,判断机器人的运动轨迹与初始路径规划信息中的运动轨迹是否相同,如果是,则结束;如果否,则生成并发送偏移预警信息。
基于第二方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统的摄像方法还包括以下步骤:
根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息。
基于第二方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统的摄像方法还包括以下步骤:
采用无线通讯方式对机器人进行远程控制。
本发明实施例至少具有如下优点或有益效果:
本发明实施例提供一种自动跟随摄像的摄像机器人的摄像系统及方法,控制摄像机器人移动到目标位置进行拍摄,对用户进行全方位的拍摄,满足用户需求,对用户进行针对性的跟踪拍摄。根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型,以便后续提取目标人员的面部特征进行追踪拍摄;启动全景摄像机,进行360度图像拍摄,采用全景摄像机采集获取360度的实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;自动进行障碍物规避,生成一个最优路径,进而控制本机器人的全向移动式平台移动到目标位置;移动到目标位置后,获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息,实时自动的调整全景摄像机的拍摄位置和拍摄角度,进而对目标人员的面部进行跟踪拍摄,保证拍摄效果。可针对个人用户实时自动的跟踪拍摄,实时的调整拍摄位置和拍摄角度,对用户的面部进行跟踪拍摄,提高拍摄效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种自动跟随摄像的摄像机器人的摄像系统的原理框图;
图2为本发明实施例一种自动跟随摄像的摄像机器人的摄像系统的摄像方法的流程图。
图标:100、信息录入模块;200、模型建立模块;300、环境分析模块;400、路径规划模块;410、初始规划子模块;420、判断预警子模块;430、路径调整子模块;500、拍摄调整模块;600、体态预测模块;700、拍摄预测模块;800、远程控制模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例的描述中,还需要说明的是,除非另有明确的规定和限定,若出现术语“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
实施例
如图1所示,第一方面,本发明实施例提供一种自动跟随摄像的摄像机器人的摄像系统,包括信息录入模块100、模型建立模块200、环境分析模块300、路径规划模块400以及拍摄调整模块500,其中:
信息录入模块100,用于录入目标人员的图像信息;
模型建立模块200,用于根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型;
环境分析模块300,用于获取机器人的位置坐标和实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;
路径规划模块400,用于根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;
拍摄调整模块500,用于获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。
本摄像系统还包括全景摄像机和全向移动轮式平台,上述路径规划模块400与上述全向移动轮式平台连接,上述拍摄调整模块500与上述全景摄像机连接。一般用户在拍摄时是会不断移动的,为了保证拍摄的效果需要实时的调整拍摄角度和拍摄位置,通过全向移动式平台移动到目标位置进行拍摄,通过全景摄像机对用户进行全方位的拍摄,满足用户需求,在全向移动式平台上设置自平衡防抖底座,防止在移动拍摄中摄像机抖动问题。通过信息录入模块100录入目标人员的图像信息,录入目标人员的全身照,以便后续进行针对性的跟踪拍摄;然后通过模型建立模块200根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型,以便后续提取目标人员的面部特征进行追踪拍摄;启动全景摄像机,进行360度图像拍摄,通过环境分析模块300采用全景摄像机采集获取360度的实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;为了便于后续确定行走路径,获取到机器人的位置坐标,然后通过路径规划模块400获取实时环境图像信息中的障碍物的位置坐标后,根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息,自动进行障碍物规避,生成一个最优路径,进而控制本机器人的全向移动式平台移动到目标位置;移动到目标位置后,通过拍摄调整模块500获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息,实时自动的调整全景摄像机的拍摄位置和拍摄角度,进而对目标人员的面部进行跟踪拍摄,保证拍摄效果。
本摄像系统可针对个人用户实时自动的跟踪拍摄,实时的调整拍摄位置和拍摄角度,对用户的面部进行跟踪拍摄,提高拍摄效果。解决了现有的可移动全景摄像机器人或摄像车多为手动远程操作,无法全向移动,不能迅速根据被拍摄者的运动轨迹,无人工智能分析能力,无法对被拍摄者体态和行动轨迹进行预判,并作出拍摄位置调整的问题。且还解决了现有摄像解决方案没有针对个人用户进行优化,难以实现单人脸部追踪自拍,无法感知周围环境,无法在追踪拍摄过程中自动避障的问题,进一步提高了摄像效果。
基于第一方面,如图1所示,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统还包括体态预测模块600和拍摄预测模块700,其中:
体态预测模块600,用于获取目标人员的实时体态信息,并根据目标人员的实时体态信息生成移动预测信息;
拍摄预测模块700,用于根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息。
为了保证拍摄效果,及时对目标人员进行有效拍摄,需要及时有效的对目标人员的移动轨迹进行把控,通过体态预测模块600获取目标人员的实时体态信息,并根据目标人员的实时体态信息中的拍摄者腿部、腰部、肩部体态等预测被拍摄者移动轨迹,生成移动预测信息,然后拍摄预测模块700根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息给摄像机器人,控制其快速有效的进行拍摄位置的调整。
基于第一方面,如图1所示,在本发明的一些实施例中,上述路径规划模块400包括初始规划子模块410和判断预警子模块420,其中:
初始规划子模块410,用于根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送初始路径规划信息;
判断预警子模块420,用于获取机器人的实时运动轨迹信息,判断机器人的运动轨迹与初始路径规划信息中的运动轨迹是否相同,如果是,则结束;如果否,则生成并发送偏移预警信息。
在机器人的运动行驶过程中,可能会出现位置偏移,导致移动轨迹异常,通过判断预警子模块420对机器人的实时运动轨迹进行判断监测,如因障碍物阻挡无可移动路径则停止移动,发出告警信息,及时进行提示。
基于第一方面,如图1所示,在本发明的一些实施例中,上述路径规划模块400还包括路径调整子模块430,用于根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息。
当机器人行驶路径偏移正常路径时,为了保证后续可以进行有效拍摄,需要及时调整行驶路线,通过路径调整子模块430根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息给摄像机器人,控制摄像机器人重新调整行驶路径进而快速行驶到目标人员的目标拍摄位置。
基于第一方面,如图1所示,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统还包括远程控制模块800,用于采用无线通讯方式对机器人进行远程控制。
为了方便控制,还可以采用远程控制的方式对摄像机器人进行控制,通过远程控制模块800采用无线通讯方式(4G或5G网络)将机器人的运动轨迹信息进行传输,传输至远程终端,通过远程终端控制其停止、启动、拍摄镜头控制、加快或减慢摄像机器人移动速度等。
如图2所示,第二方面,本发明实施例提供一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,包括以下步骤:
S1、录入目标人员的图像信息;
S2、根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型;
S3、获取机器人的位置坐标和实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;
S4、根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;
S5、获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。
一般用户在拍摄时是会不断移动的,为了保证拍摄的效果需要实时的调整拍摄角度和拍摄位置,通过本方法控制摄像机器人移动到目标位置进行拍摄,对用户进行全方位的拍摄,满足用户需求。首先,录入目标人员的图像信息,录入目标人员的全身照,以便后续进行针对性的跟踪拍摄;然后根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型,以便后续提取目标人员的面部特征进行追踪拍摄;启动全景摄像机,进行360度图像拍摄,采用全景摄像机采集获取360度的实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;为了便于后续确定行走路径,获取到机器人的位置坐标,然后获取实时环境图像信息中的障碍物的位置坐标后,根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息,自动进行障碍物规避,生成一个最优路径,进而控制本机器人的全向移动式平台移动到目标位置;移动到目标位置后,获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息,实时自动的调整全景摄像机的拍摄位置和拍摄角度,进而对目标人员的面部进行跟踪拍摄,保证拍摄效果。
本摄像方法可针对个人用户实时自动的跟踪拍摄,实时的调整拍摄位置和拍摄角度,对用户的面部进行跟踪拍摄,提高拍摄效果。
基于第二方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统的摄像方法还包括以下步骤:
获取目标人员的实时体态信息,并根据目标人员的实时体态信息生成移动预测信息;
根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息。
为了保证拍摄效果,及时对目标人员进行有效拍摄,需要及时有效的对目标人员的移动轨迹进行把控,获取目标人员的实时体态信息,并根据目标人员的实时体态信息中的拍摄者腿部、腰部、肩部体态等预测被拍摄者移动轨迹,生成移动预测信息,然后根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息给摄像机器人,控制其快速有效的进行拍摄位置的调整。
基于第二方面,在本发明的一些实施例中,上述根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息的方法包括以下步骤:
根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送初始路径规划信息;
获取机器人的实时运动轨迹信息,判断机器人的运动轨迹与初始路径规划信息中的运动轨迹是否相同,如果是,则结束;如果否,则生成并发送偏移预警信息。
在机器人的运动行驶过程中,可能会出现位置偏移,导致移动轨迹异常,对机器人的实时运动轨迹进行判断监测,如因障碍物阻挡无可移动路径则停止移动,发出告警信息,及时进行提示。
基于第二方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统的摄像方法还包括以下步骤:
根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息。
当机器人行驶路径偏移正常路径时,为了保证后续可以进行有效拍摄,需要及时调整行驶路线,根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息给摄像机器人,控制摄像机器人重新调整行驶路径进而快速行驶到目标人员的目标拍摄位置。
基于第二方面,在本发明的一些实施例中,该自动跟随摄像的摄像机器人的摄像系统的摄像方法还包括以下步骤:
采用无线通讯方式对机器人进行远程控制。
为了方便控制,还可以采用远程控制的方式对摄像机器人进行控制,采用无线通讯方式(4G或5G网络)将机器人的运动轨迹信息进行传输,传输至远程终端,通过远程终端控制其停止、启动、拍摄镜头控制、加快或减慢摄像机器人移动速度等。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种自动跟随摄像的摄像机器人的摄像系统,其特征在于,包括信息录入模块、模型建立模块、环境分析模块、路径规划模块以及拍摄调整模块,其中:
信息录入模块,用于录入目标人员的图像信息;
模型建立模块,用于根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型;
环境分析模块,用于获取机器人的位置坐标和实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;
路径规划模块,用于根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;
拍摄调整模块,用于获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。
2.根据权利要求1所述的一种自动跟随摄像的摄像机器人的摄像系统,其特征在于,还包括体态预测模块和拍摄预测模块,其中:
体态预测模块,用于获取目标人员的实时体态信息,并根据目标人员的实时体态信息生成移动预测信息;
拍摄预测模块,用于根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息。
3.根据权利要求1所述的一种自动跟随摄像的摄像机器人的摄像系统,其特征在于,所述路径规划模块包括初始规划子模块和判断预警子模块,其中:
初始规划子模块,用于根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送初始路径规划信息;
判断预警子模块,用于获取机器人的实时运动轨迹信息,判断机器人的运动轨迹与初始路径规划信息中的运动轨迹是否相同,如果是,则结束;如果否,则生成并发送偏移预警信息。
4.根据权利要求3所述的一种自动跟随摄像的摄像机器人的摄像系统,其特征在于,所述路径规划模块还包括路径调整子模块,用于根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息。
5.根据权利要求1所述的一种自动跟随摄像的摄像机器人的摄像系统,其特征在于,还包括远程控制模块,用于采用无线通讯方式对机器人进行远程控制。
6.一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,其特征在于,包括以下步骤:
录入目标人员的图像信息;
根据目标人员的图像信息中的体型特征数据和面部特征数据建立目标跟踪拍摄模型;
获取机器人的位置坐标和实时环境图像信息,并根据实时环境图像信息和目标跟踪拍摄模型确定目标人员的位置坐标;
根据目标人员的位置坐标、机器人的位置坐标和实时环境图像信息中的障碍物的位置坐标生成并发送拍摄路径信息;
获取目标人员的实时移动轨迹信息,并根据目标跟踪模型和实时移动轨迹信息生成并发拍摄位置调整信息。
7.根据权利要求6所述的一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,其特征在于,还包括以下步骤:
获取目标人员的实时体态信息,并根据目标人员的实时体态信息生成移动预测信息;
根据移动预测信息和目标跟踪模型生成并发拍摄位置调整信息。
8.根据权利要求6所述的一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,其特征在于,所述根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送拍摄路径信息的方法包括以下步骤:
根据目标人员的位置坐标、机器人的位置坐标和障碍物的位置坐标生成并发送初始路径规划信息;
获取机器人的实时运动轨迹信息,判断机器人的运动轨迹与初始路径规划信息中的运动轨迹是否相同,如果是,则结束;如果否,则生成并发送偏移预警信息。
9.根据权利要求8所述的一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,其特征在于,还包括以下步骤:
根据偏移预警信息、实时运动轨迹信息和初始路径规划信息生成并发送拍摄路径调整信息。
10.根据权利要求6所述的一种自动跟随摄像的摄像机器人的摄像系统的摄像方法,其特征在于,还包括以下步骤:
采用无线通讯方式对机器人进行远程控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110026407.1A CN112859854A (zh) | 2021-01-08 | 2021-01-08 | 一种自动跟随摄像的摄像机器人的摄像系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110026407.1A CN112859854A (zh) | 2021-01-08 | 2021-01-08 | 一种自动跟随摄像的摄像机器人的摄像系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112859854A true CN112859854A (zh) | 2021-05-28 |
Family
ID=76001891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110026407.1A Pending CN112859854A (zh) | 2021-01-08 | 2021-01-08 | 一种自动跟随摄像的摄像机器人的摄像系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112859854A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113687627A (zh) * | 2021-08-18 | 2021-11-23 | 太仓中科信息技术研究院 | 一种基于摄像机器人的目标跟踪方法 |
CN113744299A (zh) * | 2021-09-02 | 2021-12-03 | 上海安维尔信息科技股份有限公司 | 一种相机控制方法、装置、电子设备及存储介质 |
CN114363549A (zh) * | 2022-01-12 | 2022-04-15 | 关晓辉 | 一种智能剧本走秀录制处理方法、装置及系统 |
CN114494848A (zh) * | 2021-12-21 | 2022-05-13 | 重庆特斯联智慧科技股份有限公司 | 一种机器人视距路径确定方法和装置 |
CN116501892A (zh) * | 2023-05-06 | 2023-07-28 | 广州番禺职业技术学院 | 一种基于物联网自动跟随系统的实训知识图谱构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108536145A (zh) * | 2018-04-10 | 2018-09-14 | 深圳市开心橙子科技有限公司 | 一种使用机器视觉进行智能跟随的机器人系统及运行方法 |
CN108931991A (zh) * | 2018-08-30 | 2018-12-04 | 王瑾琨 | 移动载体自动跟随方法及具有自动跟随避障功能移动载体 |
CN111182221A (zh) * | 2020-01-09 | 2020-05-19 | 新华智云科技有限公司 | 一种自动跟随的音视频采集系统和方法 |
-
2021
- 2021-01-08 CN CN202110026407.1A patent/CN112859854A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108536145A (zh) * | 2018-04-10 | 2018-09-14 | 深圳市开心橙子科技有限公司 | 一种使用机器视觉进行智能跟随的机器人系统及运行方法 |
CN108931991A (zh) * | 2018-08-30 | 2018-12-04 | 王瑾琨 | 移动载体自动跟随方法及具有自动跟随避障功能移动载体 |
CN111182221A (zh) * | 2020-01-09 | 2020-05-19 | 新华智云科技有限公司 | 一种自动跟随的音视频采集系统和方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113687627A (zh) * | 2021-08-18 | 2021-11-23 | 太仓中科信息技术研究院 | 一种基于摄像机器人的目标跟踪方法 |
CN113687627B (zh) * | 2021-08-18 | 2022-08-19 | 太仓中科信息技术研究院 | 一种基于摄像机器人的目标跟踪方法 |
CN113744299A (zh) * | 2021-09-02 | 2021-12-03 | 上海安维尔信息科技股份有限公司 | 一种相机控制方法、装置、电子设备及存储介质 |
CN113744299B (zh) * | 2021-09-02 | 2022-07-12 | 上海安维尔信息科技股份有限公司 | 一种相机控制方法、装置、电子设备及存储介质 |
CN114494848A (zh) * | 2021-12-21 | 2022-05-13 | 重庆特斯联智慧科技股份有限公司 | 一种机器人视距路径确定方法和装置 |
CN114494848B (zh) * | 2021-12-21 | 2024-04-16 | 重庆特斯联智慧科技股份有限公司 | 一种机器人视距路径确定方法和装置 |
CN114363549A (zh) * | 2022-01-12 | 2022-04-15 | 关晓辉 | 一种智能剧本走秀录制处理方法、装置及系统 |
CN116501892A (zh) * | 2023-05-06 | 2023-07-28 | 广州番禺职业技术学院 | 一种基于物联网自动跟随系统的实训知识图谱构建方法 |
CN116501892B (zh) * | 2023-05-06 | 2024-03-29 | 广州番禺职业技术学院 | 一种基于物联网自动跟随系统的实训知识图谱构建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112859854A (zh) | 一种自动跟随摄像的摄像机器人的摄像系统及方法 | |
US11860511B2 (en) | Image pickup device and method of tracking subject thereof | |
Mademlis et al. | Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner] | |
US9413941B2 (en) | Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device | |
JP2007158860A (ja) | 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 | |
CN110175587B (zh) | 一种基于人脸识别和步态识别算法的视频追踪方法 | |
CN105117022A (zh) | 一种控制无人机随脸转动的方法和装置 | |
WO2019104641A1 (zh) | 无人机、其控制方法以及记录介质 | |
US9615015B2 (en) | Systems methods for camera control using historical or predicted event data | |
CN111314609B (zh) | 一种控制云台追踪摄像的方法及装置 | |
WO2019227333A1 (zh) | 集体照拍摄方法和装置 | |
CN112640422A (zh) | 拍摄方法、可移动平台、控制设备和存储介质 | |
Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
CN112669469B (zh) | 基于无人机和全景相机的发电厂虚拟漫游系统及方法 | |
JP2006086671A (ja) | 自動追尾機能を有する撮像装置 | |
JP2017204795A (ja) | 追尾装置 | |
JP2010135983A (ja) | 撮影装置、通信端末、サーバ、撮影方法及び通信方法 | |
JP3615867B2 (ja) | 自動撮影カメラシステム | |
CN111866361A (zh) | 无人机的拍摄方法、无人机、智能穿戴设备以及存储装置 | |
JP2020167477A (ja) | 監視システム | |
JP2002101408A (ja) | 監視カメラシステム | |
JP7397001B2 (ja) | ロボットカメラソフトウェアと制御装置 | |
CN112514374A (zh) | 监控系统、监控方法、移动平台和远程设备 | |
JP5072733B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
CN115942119B (zh) | 联动监控方法及装置、电子设备、可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |
|
RJ01 | Rejection of invention patent application after publication |