CN106647423A - 智能跟拍方法及装置 - Google Patents

智能跟拍方法及装置 Download PDF

Info

Publication number
CN106647423A
CN106647423A CN201510714209.9A CN201510714209A CN106647423A CN 106647423 A CN106647423 A CN 106647423A CN 201510714209 A CN201510714209 A CN 201510714209A CN 106647423 A CN106647423 A CN 106647423A
Authority
CN
China
Prior art keywords
information
intelligence
acquisition module
data stream
destination
Prior art date
Application number
CN201510714209.9A
Other languages
English (en)
Inventor
朱瑞平
Original Assignee
中国移动通信集团公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国移动通信集团公司 filed Critical 中国移动通信集团公司
Priority to CN201510714209.9A priority Critical patent/CN106647423A/zh
Publication of CN106647423A publication Critical patent/CN106647423A/zh

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428Safety, monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/24Pc safety
    • G05B2219/24024Safety, surveillance

Abstract

本发明公开了一种智能跟拍方法及装置,所述方法包括:利用采集模块采集目标对象的深度数据流,以及声源的音频信息;基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息;根据所述音频信息,计算得到所述声源的位置信息;对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令;执行与所述第一执行指令相应的第一任务操作。

Description

智能跟拍方法及装置

技术领域

[0001] 本发明涉及跟拍技术,尤其涉及一种智能跟拍方法及装置。

背景技术

[0002] 体感技术是使人们可以很直接地使用肢体动作,与周边的装置或环境互动,而无需使用任何复杂的控制设备,便可让人们身临其境地与内容做互动的一种人机交互技术。Kinect是一种三维(3D,3Dimens1n)体感摄影机,他导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。Kinect彻底颠覆了游戏的单一操作,使人机互动的理念更加彻底的展现出来。Kinect比一般的摄像头更为智能。首先,他能够发射红外线,从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外,配合着Xbox360上的一些高端软件,便可以对人体的48个部位进行实时追踪。Kinect的精度非常好,对身体的动作捕捉非常准确,对不同的身体部位也辨认得很好。Kinect所采用的摄像头需要根据人的位置和距离进行准确定位。这样的人机互动技术使生活更加智能化,更贴近我们的生活,是未来的一个发展趋势。

[0003] 近年来,随着科学技术的不断发展,我们的生活也正在逐渐自动化、智能化。在军事、农业、娱乐、医疗、智能家居等领域,正在发生着重大的变革。像儿童教学监护、自主跟踪结算购物车、陪跑机器人等已经渗透到我们的生活中,为我们的生活带来了很多的便利。这些应用用到了 Kinect融合图像深度和色彩信息,实现了目标检测和跟踪。此外,利用机械臂的控制,实现了一些功能性动作;用到了传感技术来感知周围的环境,当有异常时做出相应的处理。由此可以看出,这些先进的技术已经应用到我们的生活中,这些应用专用性很强,实用也具针对性。但一般都是针对某一部分人或者某一场景来实现一个功能,这样不但使得先进的技术资源不能得到充分利用,而且随着技术的不断成熟和发展,这种单一的功能或者场景已经不能满足人们的需求,更强大更智能的产品才是信息社会的主力军。现有的技术缺乏可控性,灵活性差;不够智能,应用场景单一;可扩展性差;可移动性差;成本高,造成了资源浪费。

发明内容

[0004] 为解决上述技术问题,本发明实施例提供了一种智能跟拍方法及装置。

[0005] 本发明实施例提供的智能跟拍方法包括:

[0006] 利用采集模块采集目标对象的深度数据流,以及声源的音频信息;

[0007] 基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息;

[0008] 根据所述音频信息,计算得到所述声源的位置信息;

[0009] 对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令;

[0010] 执行与所述第一执行指令相应的第一任务操作。

[0011] 本发明实施例中,所述采集模块具有红外线检测仪;

[0012] 所述利用采集模块采集目标对象的深度数据流,包括:

[0013] 利用所述红外线检测仪获取所述目标对象反射的红外线;

[0014] 依据连续获取的红外线数据,得到所述目标对象的深度数据流;

[0015] 其中,所述深度数据流由连续的深度帧组成,每个深度帧均包括深度像素,所述深度像素包括所述目标对象的三维坐标信息。

[0016] 本发明实施例中,所述采集模块具有麦克风阵列;

[0017] 所述利用采集模块采集声源的音频信息,包括:

[0018] 利用所述麦克风阵列采集声源的音频信息。

[0019] 本发明实施例中,所述第一执行指令指示对所述采集模块的姿态位置进行调整;

[0020] 所述执行与所述第一指令相应的第一任务操作,包括:

[0021] 按照调整参数对所述采集模块的姿态位置进行相应调整,其中,所述调整参数依据所述执行指令进行确定。

[0022] 本发明实施例中,所述方法还包括:

[0023] 利用传感器采集环境信息;

[0024] 对所述环境信息进行处理,并根据处理结果得到对应的第二执行指令;

[0025] 执行与所述第二执行指令相应的第二任务操作。

[0026] 本发明实施例中,所述传感器以及所述采集模块设置在移动平台上,所述移动平台上还设置有机械臂;所述第二执行指令指示对所述移动平台的位置进行移动,和/或对所述机械臂执行设置的动作;

[0027] 所述执行与所述第二执行指令相应的第二任务操作,包括:

[0028] 按照位置参数对所述移动平台进行相应的移动,和/或按照动作参数控制所述机械臂执行设置的动作。

[0029] 本发明实施例中,所述方法还包括:

[0030] 根据所述环境信息,进行路径规划并生成导航信息,所述导航信息包括所述位移动平台的位置参数。

[0031] 本发明实施例提供的智能跟拍装置包括:

[0032] 采集模块,用于采集目标对象的深度数据流,以及声源的音频信息;

[0033] 处理模块,用于基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息;根据所述音频信息,计算得到所述声源的位置信息;对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令;

[0034] 执行模块,用于执行与所述第一执行指令相应的第一任务操作。

[0035] 本发明实施例中,所述采集模块具有红外线检测仪;

[0036] 所述红外线检测仪,用于获取所述目标对象反射的红外线;依据连续获取的红外线数据,得到所述目标对象的深度数据流;其中,所述深度数据流由连续的深度帧组成,每个深度帧均包括深度像素,所述深度像素包括所述目标对象的三维坐标信息。

[0037] 本发明实施例中,所述采集模块具有麦克风阵列;

[0038] 所述麦克风阵列,用于采集声源的音频信息。

[0039] 本发明实施例中,所述第一执行指令指示对所述采集模块的姿态位置进行调整;

[0040] 所述执行模块,还用于按照调整参数对所述采集模块的姿态位置进行相应调整,其中,所述调整参数依据所述执行指令进行确定。

[0041 ] 本发明实施例中,所述装置还包括:

[0042] 传感器,用于采集环境信息;

[0043] 所述处理模块,还用于对所述环境信息进行处理,并根据处理结果得到对应的第二执行指令;

[0044] 所述执行模块,还用于执行与所述第二执行指令相应的第二任务操作。

[0045] 本发明实施例中,所述传感器以及所述采集模块设置在移动平台上,所述移动平台上还设置有机械臂;所述第二执行指令指示对所述移动平台的位置进行移动,和/或对所述机械臂执行设置的动作;

[0046] 所述执行模块,还用于按照位置参数对所述移动平台进行相应的移动,和/或按照动作参数控制所述机械臂执行设置的动作。

[0047] 本发明实施例中,所述装置还包括:

[0048] 导航模块,用于根据所述环境信息,进行路径规划并生成导航信息,所述导航信息包括所述位移动平台的位置参数。

[0049] 本发明实施例的技术方案中,利用采集模块采集目标对象的深度数据流,以及声源的音频信息;基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息;根据所述音频信息,计算得到所述声源的位置信息;对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令;执行与所述第一执行指令相应的第一任务操作。可见,本发明实施例是在现有的监测技术上面的进一步发展,实现一种跟随人员进行可移动的实时跟踪监测的一种智能跟踪技术。通过先进的体感技术,进行人机互动,实现对人体位置的实时跟踪拍摄。通过先进的移动平台,实现躲避路障,智能导航,移动跟随,实现全方位的监控。通过对于机械臂的控制技术,实现一些动作指令,完成无人操作。通过传感技术与移动平台相结合,能够获取更多的环境信息,使该装置能够更好地综合获取的信息进行判断,与此同时,也实现了对环境因素的实时监测。本发明实施例的智能跟拍装置能够充分应用这些先进的技术,实现了多场景、多功能、多动作的选择方案,从而达到实现更多应用的效果,也使整个装置具有更强的扩展性,减少了资源的浪费。

附图说明

[0050]图1为本发明实施例的智能跟拍方法的流程示意图;

[0051] 图2为本发明实施例的智能跟拍装置的结构组成示意图;

[0052]图3为采集模块的结构功能图;

[0053]图4为本发明实施例的处理模块的结构功能图;

[0054]图5为本发明实施例的执行模块的结构功能图;

[0055]图6为本发明实施例的智能跟拍装置的功能选择执行示意图;

[0056]图7为本发明实施例的机械臂的机械结构示意图。

具体实施方式

[0057] 为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。

[0058] 本发明实施例中,智能跟拍装置承载在移动平台上,移动平台是一种能够移动的设备,因而智能跟拍装置可以按照规划的路径自主导航,随着移动平台进行移动。智能跟拍装置也可以通过人机交互跟随人进行工作。

[0059] 在自主导航的情况下,本发明实施例设定多种场景,每种场景下定义好一般需要执行的基本功能。在人员需要的情况下,可以去选择所需要的场景模式,并根据基本功能选项规定智能跟拍装置所要执行的一系列动作、周期等。这种情况适合在无人操作的情况下,去完成人员设定好的模式功能。

[0060] 另一种情况是人机交互模式下智能跟拍装置随人进行工作。智能跟拍装置具有体感检测功能,能够识别目标人物,并可跟随目标到处走动,并根据目标人物下达的一些声音或动作指令去完成某些功能动作。智能跟拍装置还可以完成跟踪拍摄和全方位拍摄功能,并可通过无线网络将监测到的信息传到监测中心。这样,智能跟拍装置在工作过程中,可以达到监测的目的。此外,智能跟拍装置也可以对指定人员进行跟踪拍摄。

[0061] 本发明实施例的智能跟拍装置充分考虑到人们的需求,人们可以根据自己的要求去设置一系列的动作指令,使该装置完成指定任务。

[0062]图1为本发明实施例的智能跟拍方法的流程示意图,本示例中的智能跟拍方法应用于智能跟拍装置中,如图1所示,所述智能跟拍方法包括以下步骤:

[0063] 步骤101:利用采集模块采集目标对象的深度数据流,以及声源的音频信息。

[0064] 为了更便于理解本发明实施例的智能跟拍方法,将结合图2中的智能跟拍装置的结构组成示意图对其进行阐述,如图2所示,智能跟拍装置包括采集模块21、处理模块22、以及执行模块23。采集模块21至少具有两部分,分别为:红外检测仪和麦克风阵列。

[0065] 智能跟拍装置承载在移动平台上,移动平台能够是能够进行移动的设备。智能跟拍装置通过采集模块21采集目标对象的深度数据流;这里,目标对象即为跟踪人员。采集模块21采集声源的音频信息,这里,声源针对于跟踪人员。

[0066] 具体地,由红外检测仪采集目标对象的深度数据流;由麦克风阵列采集声源的音频信息。

[0067] 然后,处理模块22基于所述深度数据流,计算得到所述目标对象的骨骼数据流。所述骨骼数据流包括所述目标对象的两个以上部位的位置信息。

[0068] 处理模块22根据所述音频信息,计算得到所述声源的位置信息。具体地,所述麦克风阵列中的其中一个麦克风为定向麦克风,用于标定声源的位置。获得声源位置与定向麦克风声线的夹角用以记录声音,该夹角和置信水平用于记录声音的来源。

[0069] 采集模块21与处理模块22 (可承载在电脑上)通过串口进行通讯。采集模块21将所跟踪人员(目标对象)的位置信息(骨骼数据流)以及音频信息通过串口传到处理模块22。从采集模块21传来的数据经过处理模块22综合分析和处理,来确定处理模块22所要传达的指令给采集模块21和执行模块23,传给采集模块21的指令用来控制采集模块21的旋转和360度拍摄,传给执行模块23的指令用来控制执行某特定的任务操作。

[0070] 步骤102:基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息。

[0071 ] 本发明实施例中,利用所述红外线检测仪获取所述目标对象反射的红外线;

[0072] 依据连续获取的红外线数据,得到所述目标对象的深度数据流;

[0073] 其中,所述深度数据流由连续的深度帧组成,每个深度帧均包括深度像素,所述深度像素包括所述目标对象的三维坐标信息。

[0074] 具体地,参照图3,图3为采集模块的结构功能图。采集模块主要是由Kinect摄像机组成。Kinect摄像机通过红外线仪捕获物体反射的红外线,获得被探测物体与传感器之间的距离,即深度。一系列的捕获到的深度帧组合成深度数据流,每一个深度帧都包含深度像素,每个深度像素都包含被探测到物体的3D坐标信息。骨骼数据流基于捕获到的深度数据流进行计算,骨骼数据是由20个人体的关节位置组成。根据需要选择提供所跟踪人员位置的骨骼数据。这些骨骼数据通过帧被组织为数据流。每个骨骼帧是基于深度帧进行计算。所得到的数据帧将传到处理模块进行进一步的处理。

[0075] 步骤103:根据所述音频信息,计算得到所述声源的位置信息。

[0076] 本发明实施例中,所述采集模块具有麦克风阵列;

[0077] 所述利用采集模块采集声源的音频信息,包括:

[0078] 利用所述麦克风阵列采集声源的音频信息。

[0079] 参照图3,Kinect摄像机所拥有的4麦克风阵列是基于硬件的音频处理,可以进行声源位置的追踪,多通道回声消除技术还可以进行数字信号处理。将其中一个麦克风设置为定向麦克风,声源位置与该麦克风声线的夹角用于记录声音,该角度和置信水平用于记录声音的来源。可以通过麦克风阵列采集音频信息以及对音频信号源进行定位。

[0080] 此外,采集模块还具有红绿蓝(RGB,Red Green Blue)摄像模块,RGB摄像模块是颜色传感器,用于捕捉目标对象的颜色信息。

[0081] 步骤104:对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令。

[0082] 步骤105:执行与所述第一执行指令相应的第一任务操作。

[0083] 本发明实施例中,所述第一执行指令指示对所述采集模块的姿态位置进行调整;

[0084] 所述执行与所述第一指令相应的第一任务操作,包括:

[0085] 按照调整参数对所述采集模块的姿态位置进行相应调整,其中,所述调整参数依据所述执行指令进行确定。

[0086] 本发明实施例中,利用传感器采集环境信息;

[0087] 对所述环境信息进行处理,并根据处理结果得到对应的第二执行指令;

[0088] 执行与所述第二执行指令相应的第二任务操作。

[0089] 本发明实施例中,所述传感器以及所述采集模块设置在移动平台上,所述移动平台上还设置有机械臂;所述第二执行指令指示对所述移动平台的位置进行移动,和/或对所述机械臂执行设置的动作;

[0090] 所述执行与所述第二执行指令相应的第二任务操作,包括:

[0091] 按照位置参数对所述移动平台进行相应的移动,和/或按照动作参数控制所述机械臂执行设置的动作。

[0092] 所述方法还包括:

[0093] 根据所述环境信息,进行路径规划并生成导航信息,所述导航信息包括所述位移动平台的位置参数。

[0094] 具体地,参照图4,图4为本发明实施例的处理模块的结构功能图,处理模块主要由PC机和单片机组成。单片机通过移动平台与传感器相连,控制传感器采集温度、湿度等环境信息,并将所得到的数据通过串口通信传到PC机。PC机接收采集模块采集到的音频信息、位置信息和人体手势信息等。并综合分析从传感器和采集模块得到的信息,来控制采集模块的旋转和拍摄以及移动平台的移动和机械臂动作任务。

[0095] 参照图5,图5为本发明实施例的执行模块的结构功能图,执行模块主要是由P1neer-LX移动平台和机械臂以及装配的传感器组成。移动平台支持可编程操作,可以方便快捷地装配传感器,抓持器和其它附件设备,并能进行负重。

[0096] 传感器部分可以收集环境中的温度、湿度等信息,从而感知工作环境,并将收集到的信息通过移动平台传给单片机进行处理,将处理后的信息再通过串口通信传给PC机。移动平台一方面从PC机获取处理过的信息数据,并根据这些数据进行路径规划,生成导航地图,控制该装置进行移动。另一方面,根据从PC机获得的一些指令来控制机械臂完成相关任务动作。所述执行模块可以通过传感器获得自身位置信息,对于路障进行自动避让,这样在执行任务的过程中,带来了许多便利。

[0097] 下面结合图6所示的智能跟拍装置的功能选择执行示意图对本发明实施例的智能跟拍方法再作进一步描述。

[0098] 将智能跟拍装置应用到解决室内多地点多任务用户感知自动化测试问题,这样就可以选择针对于高度智能自动化的移动通信网络用户感知检测的一种工作流程。在场景I中需要解决测试用例智能生成功能1,测试任务自动下发的功能2。同时,在可移动性方面,需要解决室内多地点跨楼层智能移动,这要求测试装置中含有地图生成动作功能3、路径规划功能4、导航和控制功能5、智能进出电梯功能6,可感知室内空间布局信息,生成地图,并根据障碍物和测试点坐标信息进行自主导航,并与云测试平台进行合理有效的交互以实现测试的智能化。同时该场景中能够智能完成跨楼层的运动。包括:根据地图识别电梯位置动作1,停在电梯门口动作2,利用机械臂点击上行或下行按钮动作3、待识别电梯门打开后,自主移动入电梯动作4,停在电梯内指定的位置动作5,原地180度旋转动作6,识别并点击目标楼层按钮动作7,点击关闭电梯门按钮动作8,待电梯到达目标楼层并开门后,自主行动出电梯动作9。这样就完成了智能移动导航并进出电梯到达相应楼层的指定位置。其它功能应用模式与此相同。

[0099] 智能跟拍装置对室内环境信息进行探测采集,并生成二维平面地图;用户在上述地图上指定若干特定的点后,智能跟拍装置根据智能规划的行走路径,自动避障到达指定位置I后,暂时停止移动,同时连接云测试平台。通知其控制测试手机自动执行测试任务。一直到云测试平台返回测试手机正常结束测试消息或者测试异常消息或者超时消息后,该装置重新开始运行,并自主导航到下一指定位置2,再次开始测试,直至所有测试地点已经遍历完毕。在整个测试过程中,该装置根据云平台的测试用例,设置定时时长,在定时时间内,机器人以一定的时间间隔从云测试平台获取测试手机测试进度,并根据测试进度适当调整定时时长,待测试手机测试完成后,将测试数据返回给云测试平台。该装置与云测试平台采用超文本传输协议(HTTP,HyperText Transfer Protocol)方式进行通信,不与测试手机直接进行交互。

[0100] 智能跟拍装置进行实时全方位拍摄,拍摄信息可以传到测试终端供测试人员查看现场信息。如遇突发状况,如可移动路障,可控制机械臂进行移动操作。当进行一些临时监测时,工作人员也可与该装置互动,直接控制该装置尾随工作人员进行任务操作。

[0101] 本发明实施例的智能跟拍方法、装置,可针对移动的工作人员进行跟踪、全方位拍摄以及通过人机交互进行实时作业;可通过采集模块和所要实现的功能,生成地图,并自动导航,在导航过程中可跨楼层、躲避障碍物、全方位拍摄、负载以及机械控制。并可通过无线与测试中心互联进行数据传输。通过PC设定或者通过人机交互在多场景多任务多动作中进行自由选择。能够实现自由控制,自由移动;功能更加齐全,降低了开发成本,减少了资源浪费;具有很强扩展性,更好地利用了现有资源。可应用在自动化的移动通信网络用户感知检测系统场景。将商用智能终端与云测试平台和智能跟拍装置结合实现了一套移动通信网络用户感知自动化检测系统。

[0102] 图2为本发明实施例的智能跟拍装置的结构组成示意图,如图2所示,所述智能跟拍装置包括:

[0103] 采集模块21,用于采集目标对象的深度数据流,以及声源的音频信息;

[0104] 处理模块22,用于基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息;根据所述音频信息,计算得到所述声源的位置信息;对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令;

[0105] 执行模块23,用于执行与所述第一执行指令相应的第一任务操作。

[0106] 所述采集模块21具有红外线检测仪;

[0107] 所述红外线检测仪,用于获取所述目标对象反射的红外线;依据连续获取的红外线数据,得到所述目标对象的深度数据流;其中,所述深度数据流由连续的深度帧组成,每个深度帧均包括深度像素,所述深度像素包括所述目标对象的三维坐标信息。

[0108] 所述采集模块21具有麦克风阵列;

[0109] 所述麦克风阵列,用于采集声源的音频信息。

[0110] 所述第一执行指令指示对所述采集模块21的姿态位置进行调整;

[0111] 所述执行模块23,还用于按照调整参数对所述采集模块21的姿态位置进行相应调整,其中,所述调整参数依据所述执行指令进行确定。

[0112] 所述装置还包括:

[0113] 传感器24,用于采集环境信息;

[0114] 所述处理模块22,还用于对所述环境信息进行处理,并根据处理结果得到对应的第二执行指令;

[0115] 所述执行模块23,还用于执行与所述第二执行指令相应的第二任务操作。

[0116] 所述传感器24以及所述采集模块21设置在移动平台上,所述移动平台上还设置有机械臂;所述第二执行指令指示对所述移动平台的位置进行移动,和/或对所述机械臂执行设置的动作;

[0117] 所述执行模块23,还用于按照位置参数对所述移动平台进行相应的移动,和/或按照动作参数控制所述机械臂执行设置的动作。

[0118] 所述装置还包括:

[0119] 导航模块25,用于根据所述环境信息,进行路径规划并生成导航信息,所述导航信息包括所述位移动平台的位置参数。

[0120] 本领域技术人员应当理解,上述各单元的实现功能可参照前述各实施例的智能跟拍方法的相关描述而理解。上述各单元的功能可通过运行于处理模块上的程序而实现,也可通过具体的逻辑电路而实现。

[0121]图7为本发明实施例的机械臂的机械结构示意图。机械臂有一底座,用于固定在移动平台上,机械臂和移动平台共用一块电池分别给自身供电。机械臂装置有一可伸缩的支撑杆,保证机械臂可以在垂直方向伸缩,伸缩范围在10〜140cm,保证机械臂在垂直方向上可以停留在该范围的任意一点。另外,机械臂配有一个可180度水平旋转绞架,使得机械臂可以在水平方向上任一点移动并保持。单片机控制指令转为电机驱动指令模块,高分辨率摄像头。其中高分辨率摄像头用来拍摄电梯控制面板和各按钮的高清图像,供机械臂的单片机进行图像处理和目标识别;单片机用来进行图像处理和目标识别,以及跟移动研究平台的通信等;可伸缩的刚性指头在驱动电机的控制下以不同速率前后移动,从而完成电梯按钮的点击等;驱动电机用来控制刚性的指头移动。

[0122] 本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。

[0123] 在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

[0124] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

[0125]另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

[0126] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种智能跟拍方法,其特征在于,所述方法包括: 利用采集模块采集目标对象的深度数据流,以及声源的音频信息; 基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息; 根据所述音频信息,计算得到所述声源的位置信息; 对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令; 执行与所述第一执行指令相应的第一任务操作。
2.根据权利要求1所述的智能跟拍方法,其特征在于,所述采集模块具有红外线检测仪; 所述利用采集模块采集目标对象的深度数据流,包括: 利用所述红外线检测仪获取所述目标对象反射的红外线; 依据连续获取的红外线数据,得到所述目标对象的深度数据流; 其中,所述深度数据流由连续的深度帧组成,每个深度帧均包括深度像素,所述深度像素包括所述目标对象的三维坐标信息。
3.根据权利要求1所述的智能跟拍方法,其特征在于,所述采集模块具有麦克风阵列; 所述利用采集模块采集声源的音频信息,包括: 利用所述麦克风阵列采集声源的音频信息。
4.根据权利要求1所述的智能跟拍方法,其特征在于,所述第一执行指令指示对所述采集模块的姿态位置进行调整; 所述执行与所述第一指令相应的第一任务操作,包括: 按照调整参数对所述采集模块的姿态位置进行相应调整,其中,所述调整参数依据所述执行指令进行确定。
5.根据权利要求1-4任一所述的智能跟拍方法,其特征在于,所述方法还包括: 利用传感器采集环境信息; 对所述环境信息进行处理,并根据处理结果得到对应的第二执行指令; 执行与所述第二执行指令相应的第二任务操作。
6.根据权利要求5所述的智能跟拍方法,其特征在于,所述传感器以及所述采集模块设置在移动平台上,所述移动平台上还设置有机械臂;所述第二执行指令指示对所述移动平台的位置进行移动,和/或对所述机械臂执行设置的动作; 所述执行与所述第二执行指令相应的第二任务操作,包括: 按照位置参数对所述移动平台进行相应的移动,和/或按照动作参数控制所述机械臂执行设置的动作。
7.根据权利要求6所述的智能跟拍方法,其特征在于,所述方法还包括: 根据所述环境信息,进行路径规划并生成导航信息,所述导航信息包括所述位移动平台的位置参数。
8.一种智能跟拍装置,其特征在于,所述装置包括: 采集模块,用于采集目标对象的深度数据流,以及声源的音频信息; 处理模块,用于基于所述深度数据流,计算得到所述目标对象的骨骼数据流,所述骨骼数据流包括所述目标对象的两个以上部位的位置信息;根据所述音频信息,计算得到所述声源的位置信息;对所述骨骼数据流以及所述声源的位置信息进行处理,并根据处理结果得到对应的第一执行指令; 执行模块,用于执行与所述第一执行指令相应的第一任务操作。
9.根据权利要求8所述的智能跟拍装置,其特征在于,所述采集模块具有红外线检测仪; 所述红外线检测仪,用于获取所述目标对象反射的红外线;依据连续获取的红外线数据,得到所述目标对象的深度数据流;其中,所述深度数据流由连续的深度帧组成,每个深度帧均包括深度像素,所述深度像素包括所述目标对象的三维坐标信息。
10.根据权利要求8所述的智能跟拍装置,其特征在于,所述采集模块具有麦克风阵列; 所述麦克风阵列,用于采集声源的音频信息。
11.根据权利要求8所述的智能跟拍装置,其特征在于,所述第一执行指令指示对所述采集模块的姿态位置进行调整; 所述执行模块,还用于按照调整参数对所述采集模块的姿态位置进行相应调整,其中,所述调整参数依据所述执行指令进行确定。
12.根据权利要求8-11任一所述的智能跟拍装置,其特征在于,所述装置还包括: 传感器,用于采集环境信息; 所述处理模块,还用于对所述环境信息进行处理,并根据处理结果得到对应的第二执行指令; 所述执行模块,还用于执行与所述第二执行指令相应的第二任务操作。
13.根据权利要求12所述的智能跟拍装置,其特征在于,所述传感器以及所述采集模块设置在移动平台上,所述移动平台上还设置有机械臂;所述第二执行指令指示对所述移动平台的位置进行移动,和/或对所述机械臂执行设置的动作; 所述执行模块,还用于按照位置参数对所述移动平台进行相应的移动,和/或按照动作参数控制所述机械臂执行设置的动作。
14.根据权利要求13所述的智能跟拍装置,其特征在于,所述装置还包括: 导航模块,用于根据所述环境信息,进行路径规划并生成导航信息,所述导航信息包括所述位移动平台的位置参数。
CN201510714209.9A 2015-10-28 2015-10-28 智能跟拍方法及装置 CN106647423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510714209.9A CN106647423A (zh) 2015-10-28 2015-10-28 智能跟拍方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510714209.9A CN106647423A (zh) 2015-10-28 2015-10-28 智能跟拍方法及装置

Publications (1)

Publication Number Publication Date
CN106647423A true CN106647423A (zh) 2017-05-10

Family

ID=58829454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510714209.9A CN106647423A (zh) 2015-10-28 2015-10-28 智能跟拍方法及装置

Country Status (1)

Country Link
CN (1) CN106647423A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102513987A (zh) * 2011-12-26 2012-06-27 浙江金刚汽车有限公司 智能消防救援机器人
CN203092551U (zh) * 2013-03-15 2013-07-31 西北师范大学 一种基于Kinect和FPGA的家庭服务机器人
CN203300127U (zh) * 2013-06-18 2013-11-20 西北师范大学 儿童教学监护机器人
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
CN204182061U (zh) * 2014-09-30 2015-03-04 桂林电子科技大学 机械臂排障灭火机器人
CN104570731A (zh) * 2014-12-04 2015-04-29 重庆邮电大学 一种基于Kinect的无标定人机交互控制系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102513987A (zh) * 2011-12-26 2012-06-27 浙江金刚汽车有限公司 智能消防救援机器人
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
CN203092551U (zh) * 2013-03-15 2013-07-31 西北师范大学 一种基于Kinect和FPGA的家庭服务机器人
CN203300127U (zh) * 2013-06-18 2013-11-20 西北师范大学 儿童教学监护机器人
CN204182061U (zh) * 2014-09-30 2015-03-04 桂林电子科技大学 机械臂排障灭火机器人
CN104570731A (zh) * 2014-12-04 2015-04-29 重庆邮电大学 一种基于Kinect的无标定人机交互控制系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘刚,张治中: "一种具有听觉功能的智能视频监控系统", 《电视技术》 *

Similar Documents

Publication Publication Date Title
US10429943B2 (en) Systems and methods of tracking moving hands and recognizing gestural interactions
US20210003977A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
US9696813B2 (en) Gesture interface robot
CN103914152B (zh) 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN104838337B (zh) 用于用户界面的无触摸输入
CN101579238B (zh) 人体运动捕获三维再现系统及其方法
Hüttenrauch et al. Investigating spatial relationships in human-robot interaction
CN103271784B (zh) 基于双目视觉的人机交互式机械手控制系统和控制方法
CN102184020B (zh) 用于操纵用户界面的姿势和姿势修改
CN103718125B (zh) 寻找被呼叫方
Brooks Jr et al. Research directions in virtual environments
CN104156065B (zh) 家庭媒体播放设备操控方法、装置及设备
CN102580314B (zh) 获得用于控制游戏程序的运行的输入
CN105122183B (zh) 检测自然用户输入参与
CN103631221B (zh) 一种遥操作服务机器人系统
CN103955275B (zh) 应用控制方法和装置
CN103369303B (zh) 动作行为分析记录及重现的系统及方法
CN105563493A (zh) 一种高度方位自适应的服务机器人及适应方法
US20180129284A1 (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
CN102143706B (zh) 提供三维远程图解的医疗机器人系统
CN105374251A (zh) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统
CN103916875B (zh) 基于wifi无线网络多类控制终端的管理与规划系统
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
JP2009531184A (ja) 操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法
CN105578058A (zh) 一种面向智能机器人的拍摄控制方法、装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510