CN105872371A - 一种信息处理方法和电子设备 - Google Patents

一种信息处理方法和电子设备 Download PDF

Info

Publication number
CN105872371A
CN105872371A CN201610200835.0A CN201610200835A CN105872371A CN 105872371 A CN105872371 A CN 105872371A CN 201610200835 A CN201610200835 A CN 201610200835A CN 105872371 A CN105872371 A CN 105872371A
Authority
CN
China
Prior art keywords
electronic equipment
image acquisition
unit
instruction
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610200835.0A
Other languages
English (en)
Other versions
CN105872371B (zh
Inventor
任冠佼
董世谦
王野
蒲立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201610200835.0A priority Critical patent/CN105872371B/zh
Publication of CN105872371A publication Critical patent/CN105872371A/zh
Priority to US15/505,241 priority patent/US10165233B2/en
Priority to EP16896536.6A priority patent/EP3422697B1/en
Priority to PCT/CN2016/101222 priority patent/WO2017166766A1/zh
Application granted granted Critical
Publication of CN105872371B publication Critical patent/CN105872371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/14Systems for determining direction or deviation from predetermined direction
    • G01S3/28Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived simultaneously from receiving antennas or antenna systems having differently-oriented directivity characteristics
    • G01S3/32Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived simultaneously from receiving antennas or antenna systems having differently-oriented directivity characteristics derived from different combinations of signals from separate antennas, e.g. comparing sum with difference
    • G01S3/325Automatic tracking systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/74Systems using reradiation of acoustic waves, e.g. IFF, i.e. identification of friend or foe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明公开一种信息处理方法,应用于可移动的电子设备,电子设备具有图像采集单元,图像采集单元能够进行图像采集;所述方法包括:获得第一指令,第一指令用于指示进行基于目标跟随的图像采集;响应第一指令,获得目标对象与电子设备之间的位置信息;根据位置信息获得第一参数,并根据第一参数控制电子设备的移动状态,以使电子设备跟随所述目标对象,第一参数为控制电子设备移动状态的参数;且,根据位置信息获得第二参数,并根据第二参数控制图像采集单元的图像采集姿态,以使电子设备在跟随目标对象的过程中,图像采集单元能够获得满足第一条件的图像。本发明还公开了一种电子设备。

Description

一种信息处理方法和电子设备
技术领域
本发明涉及智能拍摄技术领域,尤其涉及一种信息处理方法和电子设备。
背景技术
现有技术中常见的图像/视频拍摄手段有:1、工作人员手持/肩扛摄像机进行拍摄;2、将摄像机安装在吊臂上,工作人员控制吊臂的运动,实现对目标的拍摄;3、将摄像机安装在导轨上,通过控制摄像机在导轨上的移动,实现对目标的拍摄。这些拍摄手段都有一定的局限性,这些局限性至少包括:拍摄环境的局限、拍摄范围的局限等等。因此,为实现自由度和灵活性更高的图像/视频拍摄,提出本发明的技术方案。
发明内容
为解决现有存在的技术问题,本发明实施例期望提供一种信息处理方法和电子设备。
本发明实施例是这样实现的:
本发明实施例提供了一种信息处理方法,应用于可移动的电子设备,所述电子设备具有图像采集单元,所述图像采集单元能够进行图像采集;所述方法包括:
获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;
响应所述第一指令,获得目标对象与所述电子设备之间的位置信息;
根据所述位置信息获得第一参数,并根据所述第一参数控制所述电子设备的移动状态,以使所述电子设备跟随所述目标对象,所述第一参数为控制所述电子设备移动状态的参数;
且,根据所述位置信息获得第二参数,并根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述电子设备在跟随所述目标对象的过程中,所述图像采集单元能够获得满足第一条件的图像。
上述方案中,所述电子设备保存有预设的第一限制数据,所述第一限制数据用于描述所述电子设备的限制移动轨迹或限制移动区域,基于所述第一限制数据的控制,使所述电子设备无法移动到所述限制移动轨迹或限制移动区域之外;所述方法还包括:
在根据所述位置信息获得第一参数后,根据所述第一限制数据对所述第一参数进行修正,并根据修正后的第一参数控制所述电子设备的移动状态,使所述电子设备仅在所述移动轨迹上或移动区域内跟随所述目标对象。
上述方案中,所述电子设备保存有预设的第二限制数据,所述第二限制数据用于描述所述电子设备的限制移动轨迹、以及电子设备在所述限制移动轨迹上的移动策略,所述方法还包括:
获得第二指令,所述第二指令用于指示所述电子设备按所述移动策略沿所述限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;
响应所述第二指令,根据所述第二限制数据控制所述电子设备在所述限制移动轨迹上按所述移动策略进行移动,且在所述电子设备移动的过程中,获得目标对象与所述电子设备之间的位置信息,并根据所述位置信息获得第二参数,根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述电子设备在移动的过程中,所述图像采集单元能够获得满足第一条件的图像。
上述方案中,所述方法还包括:通过以下方式记录所述电子设备的限制移动轨迹:
获得第三指令,所述第三指令用于指示开始记录所述电子设备移动过的轨迹;
响应所述第三指令,记录所述电子设备在移动过程中随时间变化的码盘数据以及惯性测量单元(IMU)数据,所述码盘数据以及IMU数据用于描述所述限制移动轨迹;
获得第四指令,所述第四指令用于指示停止记录所述电子设备移动过的轨迹;
响应所述第四指令,保存记录的所述码盘数据以及IMU数据。
上述方案中,所述方法还包括:获得所述电子设备的第三参数,在获得满足第一条件的图像后,根据所述第三参数进一步调整所述图像采集单元的图像采集姿态,以获得满足第二条件的图像;所述第三参数用于描述所述电子设备自身的姿态。
上述方案中,所述目标对象上设有超宽带(UWB)信标,所述电子设备包括UWB单元,所述获得目标对象与电子设备之间的位置信息,包括:
所述电子设备通过UWB单元与所述UWB信标之间进行UWB信号交互,并基于所述UWB单元发送给所述UWB信标的信号、以及接收的所述UWB信标的返回信号,获得所述目标对象与电子设备之间的位置信息。
本发明实施例还提供了一种电子设备,包括:移动单元、图像采集单元和目标锁定单元,所述图像采集单元和目标锁定单元设置于所述移动单元上,所述移动单元能够搭载所述图像采集单元和目标锁定单元移动,所述目标锁定单元用于锁定目标对象,所述图像采集单元用于进行图像采集;
所述目标锁定单元还用于,获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;响应所述第一指令,获得目标对象与所述电子设备之间的位置信息,并将所述位置信息发送给所述移动单元和所述图像采集单元;
所述移动单元还用于,接收所述目标锁定单元发送的所述位置信息,根据所述位置信息获得第一参数,并根据所述第一参数控制所述移动单元的移动状态,以使所述移动单元跟随所述目标对象,所述第一参数为控制所述移动单元移动状态的参数;
所述图像采集单元还用于,接收所述目标锁定单元发送的所述位置信息,根据所述位置信息获得第二参数,并根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述移动单元在跟随所述目标对象的过程中,所述图像采集单元能够获得满足第一条件的图像。
上述方案中,所述电子设备还包括:第一限制数据保存单元,用于保存预设的第一限制数据,所述第一限制数据用于描述所述电子设备的限制移动轨迹或限制移动区域,基于所述第一限制数据的控制,所述电子设备无法移动到所述限制移动轨迹或限制移动区域之外;
所述移动单元还用于,在根据所述位置信息获得第一参数后,根据所述第一限制数据对所述第一参数进行修正,并根据修正后的第一参数控制所述电子设备的移动状态,使所述电子设备仅在所述移动轨迹上或移动区域内跟随所述目标对象。
上述方案中,所述电子设备还包括:
第二限制数据保存单元,用于保存预设的第二限制数据,所述第二限制数据用于描述所述电子设备的限制移动轨迹、以及电子设备在所述限制移动轨迹上的移动策略;
所述移动单元、目标锁定单元和图像采集单元还用于,获得第二指令,所述第二指令用于指示所述电子设备按所述移动策略沿所述限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;
所述移动单元还用于,响应所述第二指令,根据所述第二限制数据控制所述电子设备在所述限制移动轨迹上按所述移动策略进行移动;
所述目标锁定单元还用于,在所述移动单元移动的过程中,获得目标对象与所述电子设备之间的位置信息,并将所述位置信息发送给所述图像采集单元;
所述图像采集单元还用于,根据所述位置信息获得第二参数,根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述移动单元在移动的过程中,所述图像采集单元能够获得满足第一条件的图像。
上述方案中,所述电子设备还包括限制移动轨迹记录单元,用于通过以下方式记录所述电子设备的限制移动轨迹:
获得第三指令,所述第三指令用于指示开始记录所述电子设备移动过的轨迹;响应所述第三指令,记录所述电子设备在移动过程中随时间变化的码盘数据以及惯性测量单元(IMU)数据,所述码盘数据以及IMU数据用于描述所述限制移动轨迹;获得第四指令,所述第四指令用于指示停止记录所述电子设备移动过的轨迹;响应所述第四指令,停止记录所述码盘数据以及IMU数据;
其中,记录的所述码盘数据以及IMU数据存入所述第一限制数据保存单元或第二限制数据保存单元。
上述方案中,所述图像采集单元还用于,获得所述电子设备的第三参数,在获得满足第一条件的图像后,根据所述第三参数进一步调整所述图像采集单元的图像采集姿态,以获得满足第二条件的图像;所述第三参数用于描述所述电子设备自身的姿态。
上述方案中,所述目标锁定单元为超宽带(UWB)单元,
所述UWB单元用于,与所述目标对象上设有的UWB信标之间进行UWB信号交互,并基于所述UWB单元发送给所述UWB信标的信号、以及接收的所述UWB信标的返回信号,获得所述目标对象与电子设备之间的位置信息。
本发明实施例所提供的一种信息处理方法和电子设备,使电子设备能够完成对目标对象的跟随,并能在跟随过程中适应性的调整图像采集单元的图像采集姿态,使目标对象始终处于图像采集单元的构图中。本发明实施例不受拍摄环境、拍摄范围的局限,能实现自由度和灵活性更高的图像/视频拍摄。
附图说明
图1为本发明实施例一的信息处理方法的流程图;
图2为本发明实施例二的电子设备的组成结构示意图;
图3为本发明实施例的一种实现自主跟随目标拍摄的自平衡车的组成结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
实施例一
本发明实施例一提供了一种信息处理方法,应用于可移动的电子设备,所述电子设备具有图像采集单元,图像采集单元能够进行图像采集;如图1所示,该方法包括:
步骤101,获得第一指令,第一指令用于指示进行基于目标跟随的图像采集。电子设备可以在用户触发跟随目标进行图像采集的操作时获得第一指令,例如:用户触发电子设备上的特定按钮时,电子设备获得所述第一指令,或者,用户触发控制界面(既可以是电子设备自身的控制界面,也可以是与电子设备保持通信的控制设备的控制界面)上的特定按钮时,电子设备获得所述第一指令,等等。
需要说明的是,本发明实施例所指的电子设备是能够实现自主移动的电子设备,所谓自主移动是指无需外部控制而能够根据自身所获得的信息实现自主的移动,如:根据对外部环境的检测实现自主移动控制(如避障、路径规划),或,基于目标跟随的自主移动控制等等。本发明实施例的电子设备需要至少具备目标跟随和图像采集这两种功能,所谓目标跟随是指电子设备能够跟随目标对象移动,如:与目标对象之间保持一定的距离和角度的跟随;所谓图像采集是指电子设备能够对目标对象进行图像采集,如拍照、录像。
步骤102,响应第一指令,获得目标对象与电子设备之间的位置信息。
在获得第一指令后,电子设备响应所述第一指令,并通过电子设备的位置信息测量工具获得目标对象与电子设备之间的位置信息。需要说明的是,位置信息测量工具可以有多种,这其中既包括能够测量目标对象和电子设备绝对位置信息的测量工具(如GPS定位工具),也包括能够测量目标对象和电子设备之间相对位置关系(如相对距离和夹角)的测量工具(如基于超宽带、超声波、红外测距、声呐、雷达、双目视觉等)。
步骤103a,根据位置信息获得第一参数,并根据第一参数控制电子设备的移动状态,以使电子设备跟随目标对象,第一参数为控制电子设备移动状态的参数。
在获得目标对象与电子设备之间的位置信息后,电子设备即能获得其与目标对象的相对位置关系,从而获得用来控制电子设备移动状态的第一参数,通过执行所述第一参数来控制电子设备移动,让电子设备能够实时的跟随目标对象。
例如:电子设备在通过GPS定位工具获得目标对象和电子设备的绝对位置信息后,根据预设的跟随条件(如跟随距离、跟随角度等),计算获得电子设备需要前往的绝对位置信息,并根据所述需要前往的绝对位置信息、以及电子设备当前所处的绝对位置信息计算获得第一参数,第一参数描述电子设备的平动速度和转动速度,电子设备通过按所述平动速度和转动速度行驶,到达需要前往的绝对位置;在行驶过程中,电子设备仍然会不断获得目标对象和电子设备的绝对位置信息,并不断计算新的第一参数,从而不断的控制电子设备的平动速度和转动速度,使电子设备能够连续的跟上目标对象。
再例如:电子设备通过相对位置测量工具(如基于超宽带、超声波、红外测距、声呐、雷达、双目视觉等)获得目标对象与电子设备之间的相对距离和夹角,根据预设的跟随条件(如跟随距离、跟随角度等),计算获得电子设备的距离调整量和角度调整量,并根据所述距离调整量和角度调整量计算获得第一参数,第一参数描述电子设备的平动速度和转动速度,电子设备按所述平动速度和转动速度行驶;在行驶过程中,电子设备仍然会不断获得目标对象和电子设备的相对位置信息,并不断计算新的第一参数,从而不断的控制电子设备的平动速度和转动速度,使电子设备能够连续的跟上目标对象。
步骤103b,根据位置信息获得第二参数,并根据第二参数控制图像采集单元的图像采集姿态,以使电子设备在跟随目标对象的过程中,图像采集单元能够获得满足第一条件的图像。
在获得目标对象与电子设备之间的位置信息后,电子设备即能获得其与目标对象的相对位置关系,从而能够根据这种相对位置关系获得用于控制图像采集单元的图像采集姿态的第二参数;根据第二参数来调整图像采集单元的图像采集姿态,使电子设备在跟随目标对象的过程中,图像采集单元能够采集获得满足第一条件的图像。
所述第一条件可用于限制目标对象在图像采集单元所采集图像中所处的位置/区域等,例如:第一条件用于限制目标对象只要处于图像采集单元的构图中即可,或者,第一条件用于限制目标对象处于图像采集单元的构图中心矩形/圆形区域,等等。
所述图像采集姿态可以包括图像采集单元的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll),pitch是指图像采集单元围绕X轴旋转的角度,yaw是指图像采集单元围绕Y轴旋转的角度,roll是指图像采集单元围绕Z轴旋转的角度。所述第二参数可以包括pitch调整量、yaw调整量和roll调整量,用来描述图像采集单元需要分别在pitch、yaw和roll上的调整量。例如:通过pitch、yaw和roll的调整,使目标对象处于图像采集单元的构图中;或者,通过pitch、yaw和roll的调整,使目标对象处于图像采集单元的构图中心矩形/圆形区域。
需要说明的是,本发明实施例中,电子设备按照一定的频率不断获得目标对象与电子设备之间的位置信息,从而不断更新相应的第一参数和第二参数,以不断的根据更新的第一参数来更新电子设备的移动状态,使电子设备连续的跟随目标对象,且,不断的根据更新的第二参数来更新图像采集单元的图像采集姿态,使图像采集单元在跟随所述目标对象的过程中,始终能够获得满足第一条件的图像。
在一实施方式中,电子设备保存有预设的第一限制数据,所述第一限制数据用于描述所述电子设备的限制移动轨迹或限制移动区域,基于所述第一限制数据的控制,使所述电子设备无法移动到所述限制移动轨迹或限制移动区域之外,但所述电子设备在所述限制移动轨迹上或限制移动区域内的移动是具有自主性的;本发明实施例的方法还包括:
在根据所述位置信息获得第一参数后,根据所述第一限制数据对所述第一参数进行修正,并根据修正后的第一参数控制所述电子设备的移动状态,使所述电子设备仅在所述限制移动轨迹上或限制移动区域内跟随所述目标对象。
也就是说,本实施方式通过预设第一限制数据的方式来限制电子设备的移动轨迹或移动区域,使移动设备仅在预设的移动轨迹上或移动区域内移动;那么,本实施方式使电子设备只能完成有限制条件(即移动轨迹或移动区域的限制)的跟随所述目标对象。有了第一限制数据的限制,电子设备在根据其与目标对象的位置信息获得第一参数后,需要用第一限制数据来修正第一参数,以防止不加修正的第一参数控制电子设备移动到限制移动轨迹或移动区域之外;具体的,电子设备可以根据第一参数预测电子设备的移动轨迹,将预测的移动轨迹与所述限制移动轨迹或限制移动区域进行比较,以判断预测的移动轨迹是否超出所述限制移动轨迹或限制移动区域,如果超出,则根据第一限制数据修正第一参数,使修正后的第一参数预测的移动轨迹不超出所述限制移动轨迹或限制移动区域,如果没超出,则无需对第一参数进行修正。
在另一实施方式中,电子设备保存有预设的第二限制数据,所述第二限制数据用于描述所述电子设备的限制移动轨迹、以及电子设备在所述限制移动轨迹上的移动策略,移动策略用于描述电子设备在所述限制移动轨迹上的移动规则(路线、时间、速度等等),本发明实施例的方法还包括:
获得第二指令,所述第二指令用于指示所述电子设备按所述移动策略沿所述限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;例如:移动策略规定电子设备从限制移动轨迹上的A点移动到B点,或者,限制移动轨迹为闭环轨迹,移动策略规定电子设备沿所述闭环轨迹循环移动(即转圈),等等;
响应所述第二指令,根据所述第二限制数据控制所述电子设备在所述限制移动轨迹上按所述移动策略进行移动,且在所述电子设备移动的过程中,获得目标对象与所述电子设备之间的位置信息,并根据所述位置信息获得第二参数,根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述电子设备在移动的过程中,所述图像采集单元能够获得满足第一条件的图像。
例如:根据所述第二限制数据控制电子设备从限制移动轨迹上的A点移动到B点,在移动过程中,电子设备获得目标对象与所述电子设备之间的位置信息,进而依此获得用于控制图像采集单元的图像采集姿态的第二参数,通过所述第二参数来控制图像采集单元的姿态,使其能够采集获得满足第一条件(如图像采集单元的镜头始终对准目标对象)的图像。
再例如:根据所述第二限制数据控制电子设备在限制闭环轨迹上做循环移动(即转圈),在移动过程中,电子设备获得目标对象与所述电子设备之间的位置信息,进而依此获得用于控制图像采集单元的图像采集姿态的第二参数,通过所述第二参数来控制图像采集单元的姿态,使其能够采集获得满足第一条件(如图像采集单元的镜头始终对准目标对象)的图像。
在本实施方式中,不要求电子设备的移动跟随目标对象,因为第二限制数据要求电子设备按一定的移动策略沿一定的限制移动轨迹移动;但要求电子设备的图像采集单元能跟随目标对象,依据电子设备与目标对象的位置变化,随时调整图像采集单元的图像采集姿态,使图像采集单元的镜头对准目标对象。
其中,本发明实施例可以通过以下方式记录所述电子设备的限制移动轨迹:
获得第三指令,所述第三指令用于指示开始记录所述电子设备移动过的轨迹;
响应所述第三指令,记录所述电子设备在移动过程中随时间变化的码盘数据(能够描述电子设备的车轮转速)以及惯性测量单元(IMU,InertialMeasurement Unit)数据(能够描述电子设备的三轴角速度和加速度),所述码盘数据以及IMU数据能够描述所述限制移动轨迹;
获得第四指令,所述第四指令用于指示停止记录所述电子设备移动过的轨迹;
响应所述第四指令,保存记录的随时间变化的所述码盘数据以及IMU数据。
上述描述了一种示教再现的移动轨迹记录方法,例如:用户推动电子设备从A点移动到B点,电子设备记录在移动过程中随时间变化的码盘数据以及IMU数据;随后,将电子设备重新放到A点,电子设备通过实施所述随时间变化的码盘数据以及IMU数据,能够自主的完成从A点移动到B点。
当然,本发明实施例并非仅限于这种示教再现的移动轨迹记录方法,也可以通过编码方式直接在电子设备中预存所述随时间变化的码盘数据以及IMU数据。
在再一实施方式中,本发明实施例的方法还包括:获得所述电子设备的第三参数,在获得满足第一条件的图像后,根据所述第三参数进一步调整所述图像采集单元的图像采集姿态,以获得满足第二条件的图像;所述第三参数用于描述所述电子设备自身的姿态。
为降低电子设备移动过程中的姿态波动对图像采集单元的工作稳定性(如保持镜头稳定性)的影响,本实施方式按一定的频率获得电子设备的姿态信息、即第三参数(如pitch、yaw、roll等),依此来进一步调整(可能是微调)图像采集单元的图像采集姿态,以提升图像的视觉效果。
例如:所述第一条件限制目标对象位于图像采集单元的构图中心区域内,而通过第二参数控制图像采集单元仅仅满足所述第一条件(构图的中心区域内有目标对象)时,并不能确保获得的图像效果,因为,通常电子设备移动存在抖动、颠簸,这容易导致目标对象在构图的中心区域内抖动,这种情况下获得的图像效果不佳;而通过测量电子设备的第三参数,采用灵敏度更高的方式来调整图像采集单元的姿态,使图像采集单元的拍摄姿态始终保持最佳姿态(pitch、yaw、roll最佳),而不受电子设备的抖动、颠簸的影响,提升所获得图像的视觉效果。
在又一实施方式中,目标对象上设有超宽带(UWB,Ultra Wideband)信标,所述电子设备包括UWB单元,所述获得目标对象与电子设备之间的位置信息,包括:
所述电子设备通过UWB单元与所述UWB信标之间进行UWB信号交互,并基于所述UWB单元发送给所述UWB信标的信号、以及接收的所述UWB信标的返回信号,获得所述目标对象与电子设备之间的位置信息。
也就是说,基于UWB技术,能够实现电子设备对目标对象的位置跟随,在目标对象上安装UWB信标,电子设备上安装UWB单元,通过UWB单元向UWB信标发射信号,并接收UWB信标的返回信号,能够获得UWB信标与UWB单元之间的相对距离d和相对角度θ,依此来描述UWB信标与UWB单元之间的相对位置关系;根据所述UWB信标与UWB单元之间的相对位置关系,并考虑预设的UWB信标与目标对象、UWB单元与电子设备之间的位置换算关系,能够获得电子设备与目标对象之间的相对位置关系,并用来描述电子设备与目标对象之间的相对位置。其中,UWB信标与UWB单元之间的相对距离d可以采用基于(TOF,Time of Flight)的技术来测量,TOF通过计算无线电波(或光、声波等)发射和反射的时间差,来换算成相对距离d。UWB信标与UWB单元之间的相对角度θ可以采用基于到达角(AOA,Angle of arrival)的技术来测量,AOA是基于信号到达角度的定位算法,通过某些硬件设备感知发射节点信号的到达方向,可以计算接收节点和锚节点之间的相对方位或相对角度。
需要说明的是,本发明实施例并非仅限于用UWB技术来获得目标对象与电子设备之间的位置信息,实现电子设备对目标对象的跟随;本发明实施例还可以采用诸如超声波、红外测距、声呐、雷达、双目视觉、GPS等技术手段,来获得目标对象与电子设备之间的位置信息,实现电子设备对目标对象的跟随,本发明实施例在此不做限制。
通过实施本发明的实施例一,电子设备能够完成对目标对象的跟随,并能在跟随过程中适应性的调整图像采集单元的图像采集姿态,使目标对象始终处于图像采集单元的构图中;且,通过检测电子设备在移动过程中的抖动、颠簸对图像采集单元的图像采集姿态造成的影响,能通过对图像采集姿态的进一步微调,使图像采集单元能够应对电子设备在移动过程中的抖动、颠簸,保证所获得图像的视觉效果。本发明实施例的目标跟随拍摄不受拍摄环境、拍摄范围的局限,能实现自由度和灵活性更高的图像/视频拍摄,其应用场景广泛。
实施例二
对应本发明实施例一的信息处理方法,本发明实施例二还提供了一种电子设备,如图2所示,该电子设备包括:移动单元10、图像采集单元30和目标锁定单元20,所述图像采集单元30和目标锁定单元20设置于所述移动单元10上,所述移动单元10能够搭载所述图像采集单元30和目标锁定单元20移动,所述目标锁定单元20用于锁定目标对象,所述图像采集单元30用于进行图像采集;
所述目标锁定单元20还用于,获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;响应所述第一指令,获得目标对象与所述电子设备之间的位置信息,并将所述位置信息发送给所述移动单元10和所述图像采集单元30;
所述移动单元10还用于,接收所述目标锁定单元20发送的所述位置信息,根据所述位置信息获得第一参数,并根据所述第一参数控制所述移动单元10的移动状态,以使所述移动单元10跟随所述目标对象,所述第一参数为控制所述移动单元10移动状态的参数;
所述图像采集单元30还用于,接收所述目标锁定单元20发送的所述位置信息,根据所述位置信息获得第二参数,并根据所述第二参数控制所述图像采集单元30的图像采集姿态,以使所述移动单元10在跟随所述目标对象的过程中,所述图像采集单元30能够获得满足第一条件的图像。
在一实施方式中,所述电子设备还包括:第一限制数据保存单元40,连接移动单元10,用于保存预设的第一限制数据,所述第一限制数据用于描述所述电子设备的限制移动轨迹或限制移动区域,基于所述第一限制数据的控制,所述电子设备无法移动到所述限制移动轨迹或限制移动区域之外;
所述移动单元10还用于,在根据所述位置信息获得第一参数后,根据所述第一限制数据对所述第一参数进行修正,并根据修正后的第一参数控制所述移动单元10的移动状态,使所述移动单元10仅在所述移动轨迹上或移动区域内跟随所述目标对象。
在一实施方式中,所述电子设备还包括:
第二限制数据保存单元50,连接移动单元10,用于保存预设的第二限制数据,所述第二限制数据用于描述所述电子设备的限制移动轨迹、以及电子设备在所述限制移动轨迹上的移动策略;
所述移动单元10、目标锁定单元20和图像采集单元30还用于,获得第二指令,所述第二指令用于指示所述电子设备按所述移动策略沿所述限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;
所述移动单元10还用于,响应所述第二指令,根据所述第二限制数据控制所述移动单元10在所述限制移动轨迹上按所述移动策略进行移动;
所述目标锁定单元20还用于,在所述移动单元10移动的过程中,获得目标对象与所述电子设备之间的位置信息,并将所述位置信息发送给所述图像采集单元30;
所述图像采集单元30还用于,根据所述位置信息获得第二参数,根据所述第二参数控制所述图像采集单元30的图像采集姿态,以使所述移动单元10在移动的过程中,所述图像采集单元30能够获得满足第一条件的图像。
在一实施方式中,所述电子设备还包括限制移动轨迹记录单元60,连接第一限制数据保存单元40和第二限制数据保存单元50,限制移动轨迹记录单元60用于通过以下方式记录所述电子设备的限制移动轨迹:
获得第三指令,所述第三指令用于指示开始记录所述电子设备移动过的轨迹;响应所述第三指令,记录所述电子设备在移动过程中随时间变化的码盘数据以及IMU数据,所述码盘数据以及IMU数据用于描述所述限制移动轨迹;获得第四指令,所述第四指令用于指示停止记录所述电子设备移动过的轨迹;响应所述第四指令,停止记录所述码盘数据以及IMU数据;
其中,记录的所述码盘数据以及IMU数据存入所述第一限制数据保存单元40或第二限制数据保存单元50。
在一实施方式中,所述图像采集单元30还用于,获得所述电子设备的第三参数,在获得满足第一条件的图像后,根据所述第三参数进一步调整所述图像采集单元的图像采集姿态,以获得满足第二条件的图像;所述第三参数用于描述所述移动单元10自身的姿态。
在一实施方式中,所述目标锁定单元20为UWB单元,
所述UWB单元用于,与所述目标对象上设有的UWB信标之间进行UWB信号交互,并基于所述UWB单元发送给所述UWB信标的信号、以及接收的所述UWB信标的返回信号,获得所述目标对象与电子设备之间的位置信息。
通过实施本发明的实施例二,电子设备能够完成对目标对象的跟随,并能在跟随过程中适应性的调整图像采集单元的图像采集姿态,使目标对象始终处于图像采集单元的构图中;且,通过检测电子设备在移动过程中的抖动、颠簸对图像采集单元的图像采集姿态造成的影响,能通过对图像采集姿态的进一步微调,使图像采集单元能够应对电子设备在移动过程中的抖动、颠簸,保证所获得图像的视觉效果。本发明实施例的目标跟随拍摄不受拍摄环境、拍摄范围的局限,能实现自由度和灵活性更高的图像/视频拍摄,其应用场景广泛。
需要特别说明的是,本发明实施例所指的电子设备是能够实现自主移动的电子设备,所谓自主移动是指无需外部控制而能够根据自身所获得的信息实现自主的移动,如:根据对外部环境的检测实现自主移动控制(如避障),或,基于目标跟随的自主移动控制等等。常见的能实现自主移动的电子设备如:自平衡车、无人机等等。本发明实施例的电子设备需要至少具备目标跟随和图像采集这两种功能,所谓目标跟随是指电子设备能够跟随目标对象移动,如:与目标对象之间保持一定的距离和角度的跟随;所谓图像采集是指电子设备能够对目标对象进行图像采集,如拍照、录像。
下面以自平衡车上搭载目标跟随和图像采集这两种功能为例,进一步详细阐述本发明的实施例。
参见图3,图3为本发明实施例的一种自平衡车的组成结构示意图。图3中01代表自平衡车,在自平衡车01上安装有云台02,云台上设有UWB单元(图中未示出)和图像采集单元03(相机);自平衡车01即为本发明实施例所述的自主移动装置,且自平衡车01能够基于UWB技术实现对目标对象的跟随(满足预设的跟随距离和/或跟随角度等等)。云台02为一种三自由度云台,其能实现pitch、yaw、roll这三种角度的调节,基于云台02的调节,能实现对安装于其上的图像采集单元03的姿态调节。下面结合不同的应用场景分别阐述搭载有云台02、UWB单元和图像采集单元03的自平衡车01的目标跟随拍摄过程。
场景一:
预设自平衡车01的移动轨迹,自平衡车01按预设轨迹移动(比如:预设自平衡车01在1分钟之内按轨迹从A点走到B点),在移动过程中云台02上的UWB单元测量目标对象(无论目标对象静止还是运动)与UWB单元之间的位置信息,通过调节云台02使图像采集单元03(相机)镜头始终对准目标对象。在自平衡车01移动过程中的跟随拍摄过程如下:
首先,基于用户触发,自平衡车01获得第二指令,第二指令用于自平衡车01按预设的移动策略沿预设的限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;
其次,自平衡车01响应所述第二指令,按预设的移动策略并沿预设的移动轨迹移动,且在自平衡车01移动的过程中,云台02上的UWB单元通过与目标对象上安装的UWB信标进行通信,获得UWB信标与UWB单元之间的位置信息;
云台02根据所述位置信息获得用于调整云台02姿态(pitch、yaw、roll三种姿态)的第二参数,根据所述第二参数调整云台02自身的姿态,以保持在自平衡车01的移动过程中,图像采集单元03的镜头始终能够对准目标对象,使目标对象始终处于图像采集单元03的构图中(例如:使目标对象始终处于图像采集单元03的构图的中心区域内);
另外,为降低自平衡车01移动过程中的姿态波动对图像采集单元03的工作稳定性(如保持镜头稳定性)的影响,本实施例还按一定的频率获得自平衡车01的姿态信息、即第三参数(如pitch、yaw、roll等),依此来进一步调整(可能是微调)图像采集单元03的姿态,使图像采集单元03的拍摄姿态始终保持最佳姿态(pitch、yaw、roll最佳),而不受自平衡车01的抖动、颠簸的影响,以提升图像的视觉效果。
场景二:不为自平衡车01预设移动轨迹,自平衡车01能够基于UWB单元实现对目标对象的自动跟随(满足预设的跟随距离和/或跟随角度等等),在自平衡车01跟随目标对象的过程中,云台02上的UWB单元测量目标对象(无论目标对象静止还是运动)与UWB单元之间的位置信息,通过调节云台02使图像采集单元03(相机)镜头始终对准目标对象。在自平衡车01移动过程中的跟随拍摄过程如下:
首先,基于用户触发,自平衡车01获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;自平衡车01响应所述第一指令,云台02上的UWB单元通过与目标对象上安装的UWB信标进行通信,获得UWB信标与UWB单元之间的位置信息(相对距离和相对角度等);
其次,自平衡车01根据所述位置信息获得用于控制其自身移动状态的第一参数(车轮的平动速度、转动速度等),并根据获得的第一参数控制自平衡车01的移动状态,以使自平衡车01跟随目标对象;
且,云台02根据所述位置信息获得用于调整云台02姿态(pitch、yaw、roll三种姿态)的第二参数,根据所述第二参数调整云台02自身的姿态,以保持在自平衡车01的移动过程中,图像采集单元03的镜头始终能够对准目标对象,使目标对象始终处于图像采集单元03的构图中(例如:使目标对象始终处于图像采集单元03的构图的中心区域内);
另外,为降低自平衡车01移动过程中的姿态波动对图像采集单元03的工作稳定性(如保持镜头稳定性)的影响,本实施例还按一定的频率获得自平衡车01的姿态信息、即第三参数(如pitch、yaw、roll等),依此来进一步调整(可能是微调)图像采集单元03的姿态,使图像采集单元03的拍摄姿态始终保持最佳姿态(pitch、yaw、roll最佳),而不受自平衡车01的抖动、颠簸的影响,以提升图像的视觉效果。
场景三:预设自平衡车01的限制移动轨迹/限制移动区域,自平衡车01只能在预设的轨迹/区域上移动(但与场景一不同的是,自平衡车01在预设的轨迹/区域上是可自主移动的);自平衡车01能够基于UWB单元实现对目标对象的有限制条件(即移动轨迹或移动区域的限制)的跟随,在自平衡车01跟随目标对象的过程中,云台02上的UWB单元测量目标对象(无论目标对象静止还是运动)与UWB单元之间的位置信息,通过调节云台02使图像采集单元03(相机)镜头始终对准目标对象。在自平衡车01移动过程中的跟随拍摄过程如下:
首先,基于用户触发,自平衡车01获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;自平衡车01响应所述第一指令,云台02上的UWB单元通过与目标对象上安装的UWB信标进行通信,获得UWB信标与UWB单元之间的位置信息;
其次,自平衡车01根据所述位置信息获得用于控制其自身移动状态的第一参数(车轮的平动速度、转动速度等),在获得第一参数后,根据第一参数预测自平衡车01的移动轨迹,将预测的移动轨迹与所述限制移动轨迹或限制移动区域进行比较,以判断预测的移动轨迹是否超出所述限制移动轨迹或限制移动区域,如果超出,则修正第一参数,使修正后的第一参数预测的移动轨迹不超出所述限制移动轨迹或限制移动区域,如果没超出,则无需对第一参数进行修正;
按修改正后的第一参数控制自平衡车01的移动状态,使自平衡车01仅在所述限制移动轨迹上或限制移动区域内跟随目标对象;
且,云台02根据所述位置信息获得用于调整云台02姿态(pitch、yaw、roll三种姿态)的第二参数,根据所述第二参数调整云台02自身的姿态,以保持在自平衡车01的移动过程中,图像采集单元03的镜头始终能够对准目标对象,使目标对象始终处于图像采集单元03的构图中(例如:使目标对象始终处于图像采集单元03的构图的中心区域内);
另外,为降低自平衡车01移动过程中的姿态波动对图像采集单元03的工作稳定性(如保持镜头稳定性)的影响,本实施例还按一定的频率获得自平衡车01的姿态信息、即第三参数(如pitch、yaw、roll等),依此来进一步调整(可能是微调)图像采集单元03的姿态,使图像采集单元03的拍摄姿态始终保持最佳姿态(pitch、yaw、roll最佳),而不受自平衡车01的抖动、颠簸的影响,以提升图像的视觉效果。
综上所述,通过实施本发明实施例,电子设备能够完成对目标对象的跟随,并能在跟随过程中适应性的调整图像采集单元的图像采集姿态,使目标对象始终处于图像采集单元的构图中;且,通过检测电子设备在移动过程中的抖动、颠簸对图像采集单元的图像采集姿态造成的影响,能通过对图像采集姿态的进一步微调,使图像采集单元能够应对电子设备在移动过程中的抖动、颠簸,保证所获得图像的视觉效果。本发明实施例的目标跟随拍摄不受拍摄环境、拍摄范围的局限,能实现自由度和灵活性更高的图像/视频拍摄,其应用场景广泛。
另外,本发明实施例的方案并非仅限于在自平衡车上(二维空间自主移动设备)的应用,其应当也适用于无人机(三维空间自主移动设备)等上的应用;其在无人机(三维空间自主移动设备)上的实现过程与在二维空间自主移动设备上的实现过程类似,此处不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法、装置和电子设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
鉴于此,本发明实施例还提供了一种计算机可读存储介质,所述存储介质包括一组计算机可执行指令,所述指令用于执行本发明实施例所述的信息处理方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种信息处理方法,应用于可移动的电子设备,所述电子设备具有图像采集单元,所述图像采集单元能够进行图像采集;所述方法包括:
获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;
响应所述第一指令,获得目标对象与所述电子设备之间的位置信息;
根据所述位置信息获得第一参数,并根据所述第一参数控制所述电子设备的移动状态,以使所述电子设备跟随所述目标对象,所述第一参数为控制所述电子设备移动状态的参数;
且,根据所述位置信息获得第二参数,并根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述电子设备在跟随所述目标对象的过程中,所述图像采集单元能够获得满足第一条件的图像。
2.根据权利要求1所述信息处理方法,其特征在于,所述电子设备保存有预设的第一限制数据,所述第一限制数据用于描述所述电子设备的限制移动轨迹或限制移动区域,基于所述第一限制数据的控制,使所述电子设备无法移动到所述限制移动轨迹或限制移动区域之外;所述方法还包括:
在根据所述位置信息获得第一参数后,根据所述第一限制数据对所述第一参数进行修正,并根据修正后的第一参数控制所述电子设备的移动状态,使所述电子设备仅在所述移动轨迹上或移动区域内跟随所述目标对象。
3.根据权利要求1所述信息处理方法,其特征在于,所述电子设备保存有预设的第二限制数据,所述第二限制数据用于描述所述电子设备的限制移动轨迹、以及电子设备在所述限制移动轨迹上的移动策略,所述方法还包括:
获得第二指令,所述第二指令用于指示所述电子设备按所述移动策略沿所述限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;
响应所述第二指令,根据所述第二限制数据控制所述电子设备在所述限制移动轨迹上按所述移动策略进行移动,且在所述电子设备移动的过程中,获得目标对象与所述电子设备之间的位置信息,并根据所述位置信息获得第二参数,根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述电子设备在移动的过程中,所述图像采集单元能够获得满足第一条件的图像。
4.根据权利要求2或3所述信息处理方法,其特征在于,所述方法还包括:通过以下方式记录所述电子设备的限制移动轨迹:
获得第三指令,所述第三指令用于指示开始记录所述电子设备移动过的轨迹;
响应所述第三指令,记录所述电子设备在移动过程中随时间变化的码盘数据以及惯性测量单元IMU数据,所述码盘数据以及IMU数据用于描述所述限制移动轨迹;
获得第四指令,所述第四指令用于指示停止记录所述电子设备移动过的轨迹;
响应所述第四指令,保存记录的所述码盘数据以及IMU数据。
5.根据权利要求1、2或3所述信息处理方法,其特征在于,所述方法还包括:获得所述电子设备的第三参数,在获得满足第一条件的图像后,根据所述第三参数进一步调整所述图像采集单元的图像采集姿态,以获得满足第二条件的图像;所述第三参数用于描述所述电子设备自身的姿态。
6.根据权利要求1、2或3所述信息处理方法,其特征在于,所述目标对象上设有超宽带UWB信标,所述电子设备包括UWB单元,所述获得目标对象与电子设备之间的位置信息,包括:
所述电子设备通过UWB单元与所述UWB信标之间进行UWB信号交互,并基于所述UWB单元发送给所述UWB信标的信号、以及接收的所述UWB信标的返回信号,获得所述目标对象与电子设备之间的位置信息。
7.一种电子设备,包括:移动单元、图像采集单元和目标锁定单元,所述图像采集单元和目标锁定单元设置于所述移动单元上,所述移动单元能够搭载所述图像采集单元和目标锁定单元移动,所述目标锁定单元用于锁定目标对象,所述图像采集单元用于进行图像采集;
所述目标锁定单元还用于,获得第一指令,所述第一指令用于指示进行基于目标跟随的图像采集;响应所述第一指令,获得目标对象与所述电子设备之间的位置信息,并将所述位置信息发送给所述移动单元和所述图像采集单元;
所述移动单元还用于,接收所述目标锁定单元发送的所述位置信息,根据所述位置信息获得第一参数,并根据所述第一参数控制所述移动单元的移动状态,以使所述移动单元跟随所述目标对象,所述第一参数为控制所述移动单元移动状态的参数;
所述图像采集单元还用于,接收所述目标锁定单元发送的所述位置信息,根据所述位置信息获得第二参数,并根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述移动单元在跟随所述目标对象的过程中,所述图像采集单元能够获得满足第一条件的图像。
8.根据权利要求7所述电子设备,其特征在于,所述电子设备还包括:第一限制数据保存单元,用于保存预设的第一限制数据,所述第一限制数据用于描述所述电子设备的限制移动轨迹或限制移动区域,基于所述第一限制数据的控制,所述电子设备无法移动到所述限制移动轨迹或限制移动区域之外;
所述移动单元还用于,在根据所述位置信息获得第一参数后,根据所述第一限制数据对所述第一参数进行修正,并根据修正后的第一参数控制所述移动单元的移动状态,使所述移动单元仅在所述移动轨迹上或移动区域内跟随所述目标对象。
9.根据权利要求7所述电子设备,其特征在于,所述电子设备还包括:
第二限制数据保存单元,用于保存预设的第二限制数据,所述第二限制数据用于描述所述电子设备的限制移动轨迹、以及电子设备在所述限制移动轨迹上的移动策略;
所述移动单元、目标锁定单元和图像采集单元还用于,获得第二指令,所述第二指令用于指示所述电子设备按所述移动策略沿所述限制移动轨迹移动,且在移动过程中对目标对象进行图像采集;
所述移动单元还用于,响应所述第二指令,根据所述第二限制数据控制所述移动单元在所述限制移动轨迹上按所述移动策略进行移动;
所述目标锁定单元还用于,在所述移动单元移动的过程中,获得目标对象与所述电子设备之间的位置信息,并将所述位置信息发送给所述图像采集单元;
所述图像采集单元还用于,根据所述位置信息获得第二参数,根据所述第二参数控制所述图像采集单元的图像采集姿态,以使所述移动单元在移动的过程中,所述图像采集单元能够获得满足第一条件的图像。
10.根据权利要求8或9所述电子设备,其特征在于,所述电子设备还包括限制移动轨迹记录单元,用于通过以下方式记录所述电子设备的限制移动轨迹:
获得第三指令,所述第三指令用于指示开始记录所述电子设备移动过的轨迹;响应所述第三指令,记录所述电子设备在移动过程中随时间变化的码盘数据以及惯性测量单元IMU数据,所述码盘数据以及IMU数据用于描述所述限制移动轨迹;获得第四指令,所述第四指令用于指示停止记录所述电子设备移动过的轨迹;响应所述第四指令,停止记录所述码盘数据以及IMU数据;
其中,记录的所述码盘数据以及IMU数据存入所述第一限制数据保存单元或第二限制数据保存单元。
11.根据权利要求7、8或9所述电子设备,其特征在于,所述图像采集单元还用于,获得所述电子设备的第三参数,在获得满足第一条件的图像后,根据所述第三参数进一步调整所述图像采集单元的图像采集姿态,以获得满足第二条件的图像;所述第三参数用于描述所述移动单元自身的姿态。
12.根据权利要求7、8或9所述电子设备,其特征在于,所述目标锁定单元为超宽带UWB单元,
所述UWB单元用于,与所述目标对象上设有的UWB信标之间进行UWB信号交互,并基于所述UWB单元发送给所述UWB信标的信号、以及接收的所述UWB信标的返回信号,获得所述目标对象与电子设备之间的位置信息。
CN201610200835.0A 2016-03-31 2016-03-31 一种信息处理方法和电子设备 Active CN105872371B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610200835.0A CN105872371B (zh) 2016-03-31 2016-03-31 一种信息处理方法和电子设备
US15/505,241 US10165233B2 (en) 2016-03-31 2016-09-30 Information processing method, electronic device and computer storage medium
EP16896536.6A EP3422697B1 (en) 2016-03-31 2016-09-30 Information processing method, and electronic device and computer storage medium
PCT/CN2016/101222 WO2017166766A1 (zh) 2016-03-31 2016-09-30 一种信息处理方法和电子设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610200835.0A CN105872371B (zh) 2016-03-31 2016-03-31 一种信息处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN105872371A true CN105872371A (zh) 2016-08-17
CN105872371B CN105872371B (zh) 2019-04-02

Family

ID=56626767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610200835.0A Active CN105872371B (zh) 2016-03-31 2016-03-31 一种信息处理方法和电子设备

Country Status (4)

Country Link
US (1) US10165233B2 (zh)
EP (1) EP3422697B1 (zh)
CN (1) CN105872371B (zh)
WO (1) WO2017166766A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598081A (zh) * 2016-10-27 2017-04-26 纳恩博(北京)科技有限公司 一种图像采集方法及电子设备
CN106774301A (zh) * 2016-10-25 2017-05-31 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
CN106791371A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 一种拍摄方法和可移动拍摄装置
CN106921833A (zh) * 2017-03-31 2017-07-04 思依暄机器人科技(深圳)有限公司 一种拍摄控制方法、装置和动态跟踪拍摄设备
WO2017166766A1 (zh) * 2016-03-31 2017-10-05 纳恩博(北京)科技有限公司 一种信息处理方法和电子设备、计算机存储介质
WO2018041042A1 (zh) * 2016-09-05 2018-03-08 中兴通讯股份有限公司 一种摄像云台控制方法及装置、摄像系统
CN108074212A (zh) * 2016-11-14 2018-05-25 纳恩博(北京)科技有限公司 一种数据处理方法及移动电子设备
CN108447146A (zh) * 2017-02-16 2018-08-24 腾讯科技(深圳)有限公司 拍摄方向偏移检测方法及装置
CN108534771A (zh) * 2017-03-06 2018-09-14 常州爱尔威智能科技有限公司 智能视觉追踪设备及其追踪选定目标的方法
CN109634273A (zh) * 2018-11-30 2019-04-16 深圳大学 可移动设备的跟随控制方法及装置
CN109712047A (zh) * 2017-10-25 2019-05-03 中国电信股份有限公司 定位和客流数据服务器、客流统计分析方法和系统
CN109739267A (zh) * 2018-12-21 2019-05-10 北京智行者科技有限公司 跟随路径的确定方法
CN109995988A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种拍照机器人的控制方法及装置
CN111506082A (zh) * 2020-05-17 2020-08-07 杭州电子科技大学 一种自动跟随拍摄避障系统及方法
CN111629144A (zh) * 2020-04-28 2020-09-04 深圳供电局有限公司 图像采集设备控制方法、装置、计算机设备和存储介质
CN112383677A (zh) * 2020-11-04 2021-02-19 三星电子(中国)研发中心 视频处理方法及装置
CN112462788A (zh) * 2020-12-15 2021-03-09 济南浪潮高新科技投资发展有限公司 基于机械视觉及ai技术的平衡车自动跟随实现方法及系统
CN114415738A (zh) * 2021-12-13 2022-04-29 中国煤炭科工集团太原研究院有限公司 跟随行走的控制方法、装置、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910841B2 (ja) * 2017-04-28 2021-07-28 キヤノン株式会社 撮像装置及びその調整方法
CN110757502A (zh) * 2019-09-18 2020-02-07 佛山市尚为传动科技有限公司 一种用于机器人的精密云台
CN111294513B (zh) * 2020-02-10 2021-06-18 北京梧桐车联科技有限责任公司 拍照方法、装置、电子设备及存储介质
EP4127773A1 (en) * 2020-03-30 2023-02-08 Wiser Systems, Inc. Integrated camera and ultra- wideband location devices and related systems
CN113573007A (zh) * 2020-04-28 2021-10-29 阿里巴巴集团控股有限公司 图像处理方法、设备、装置、系统及存储介质
CN112148410A (zh) * 2020-09-29 2020-12-29 维沃移动通信有限公司 图像显示方法及电子设备
CN112422827B (zh) * 2020-11-17 2022-09-23 联想(北京)有限公司 信息处理方法、装置及设备和存储介质
CN112904900B (zh) * 2021-01-14 2021-12-17 吉林大学 一种基于鸟类视觉特征的多运动目标搜索与定位装置及方法
JP2022140009A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 移動制御システム及び移動体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696211A (ja) * 1992-09-11 1994-04-08 Nippon Telegr & Teleph Corp <Ntt> 物体追跡方法
CN104853104A (zh) * 2015-06-01 2015-08-19 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN105184776A (zh) * 2015-08-17 2015-12-23 中国测绘科学研究院 目标跟踪方法
CN105357484A (zh) * 2015-11-20 2016-02-24 西安斯凯智能科技有限公司 一种目标定位跟踪系统、装置及定位跟踪方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4324030B2 (ja) * 2004-06-25 2009-09-02 キヤノン株式会社 カメラ制御装置、カメラ制御方法、及び記憶媒体
KR101149329B1 (ko) 2010-06-30 2012-05-23 아주대학교산학협력단 감시카메라를 이용한 능동적 객체 추적 장치 및 방법
US8587672B2 (en) * 2011-01-31 2013-11-19 Home Box Office, Inc. Real-time visible-talent tracking system
US9930298B2 (en) * 2011-04-19 2018-03-27 JoeBen Bevirt Tracking of dynamic object of interest and active stabilization of an autonomous airborne platform mounted camera
US9235212B2 (en) * 2012-05-01 2016-01-12 5D Robotics, Inc. Conflict resolution based on object behavioral determination and collaborative relative positioning
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
CN104349037A (zh) 2013-07-29 2015-02-11 浙江大华系统工程有限公司 一种移动目标的自动跟踪方法、装置及系统
JP6329642B2 (ja) * 2013-12-10 2018-05-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd センサ融合
CN104967827A (zh) 2015-07-03 2015-10-07 北京旷视科技有限公司 一种摄像装置及其控制方法
CN105872371B (zh) 2016-03-31 2019-04-02 纳恩博(北京)科技有限公司 一种信息处理方法和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696211A (ja) * 1992-09-11 1994-04-08 Nippon Telegr & Teleph Corp <Ntt> 物体追跡方法
CN104853104A (zh) * 2015-06-01 2015-08-19 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN105184776A (zh) * 2015-08-17 2015-12-23 中国测绘科学研究院 目标跟踪方法
CN105357484A (zh) * 2015-11-20 2016-02-24 西安斯凯智能科技有限公司 一种目标定位跟踪系统、装置及定位跟踪方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166766A1 (zh) * 2016-03-31 2017-10-05 纳恩博(北京)科技有限公司 一种信息处理方法和电子设备、计算机存储介质
US10165233B2 (en) 2016-03-31 2018-12-25 Ninebot (Beijing) Tech Co., Ltd. Information processing method, electronic device and computer storage medium
WO2018041042A1 (zh) * 2016-09-05 2018-03-08 中兴通讯股份有限公司 一种摄像云台控制方法及装置、摄像系统
CN107800948A (zh) * 2016-09-05 2018-03-13 中兴通讯股份有限公司 一种摄像云台控制方法及装置、摄像系统
CN106774301A (zh) * 2016-10-25 2017-05-31 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
CN106774301B (zh) * 2016-10-25 2020-04-24 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
CN106598081A (zh) * 2016-10-27 2017-04-26 纳恩博(北京)科技有限公司 一种图像采集方法及电子设备
CN106598081B (zh) * 2016-10-27 2019-08-23 纳恩博(北京)科技有限公司 一种图像采集方法及电子设备
CN108074212A (zh) * 2016-11-14 2018-05-25 纳恩博(北京)科技有限公司 一种数据处理方法及移动电子设备
CN106791371A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 一种拍摄方法和可移动拍摄装置
CN108447146A (zh) * 2017-02-16 2018-08-24 腾讯科技(深圳)有限公司 拍摄方向偏移检测方法及装置
CN108447146B (zh) * 2017-02-16 2020-11-06 腾讯科技(深圳)有限公司 拍摄方向偏移检测方法及装置
CN108534771A (zh) * 2017-03-06 2018-09-14 常州爱尔威智能科技有限公司 智能视觉追踪设备及其追踪选定目标的方法
CN106921833A (zh) * 2017-03-31 2017-07-04 思依暄机器人科技(深圳)有限公司 一种拍摄控制方法、装置和动态跟踪拍摄设备
CN109712047A (zh) * 2017-10-25 2019-05-03 中国电信股份有限公司 定位和客流数据服务器、客流统计分析方法和系统
CN109995988A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种拍照机器人的控制方法及装置
CN109634273A (zh) * 2018-11-30 2019-04-16 深圳大学 可移动设备的跟随控制方法及装置
CN109634273B (zh) * 2018-11-30 2021-11-19 深圳大学 可移动设备的跟随控制方法及装置
CN109739267A (zh) * 2018-12-21 2019-05-10 北京智行者科技有限公司 跟随路径的确定方法
CN111629144A (zh) * 2020-04-28 2020-09-04 深圳供电局有限公司 图像采集设备控制方法、装置、计算机设备和存储介质
CN111506082A (zh) * 2020-05-17 2020-08-07 杭州电子科技大学 一种自动跟随拍摄避障系统及方法
CN112383677A (zh) * 2020-11-04 2021-02-19 三星电子(中国)研发中心 视频处理方法及装置
CN112462788A (zh) * 2020-12-15 2021-03-09 济南浪潮高新科技投资发展有限公司 基于机械视觉及ai技术的平衡车自动跟随实现方法及系统
CN114415738A (zh) * 2021-12-13 2022-04-29 中国煤炭科工集团太原研究院有限公司 跟随行走的控制方法、装置、电子设备及存储介质
CN114415738B (zh) * 2021-12-13 2023-11-14 中国煤炭科工集团太原研究院有限公司 跟随行走的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3422697B1 (en) 2023-03-29
WO2017166766A1 (zh) 2017-10-05
US20180160081A1 (en) 2018-06-07
US10165233B2 (en) 2018-12-25
EP3422697A1 (en) 2019-01-02
EP3422697A4 (en) 2019-03-20
CN105872371B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN105872371A (zh) 一种信息处理方法和电子设备
Saska et al. System for deployment of groups of unmanned micro aerial vehicles in GPS-denied environments using onboard visual relative localization
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
Farmani et al. A scalable multitarget tracking system for cooperative unmanned aerial vehicles
US7765062B2 (en) Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle
Ahrens et al. Vision-based guidance and control of a hovering vehicle in unknown, GPS-denied environments
Huang et al. Online UAV trajectory planning for covert video surveillance of mobile targets
Ludington et al. Augmenting UAV autonomy
US20180022472A1 (en) Autonomous system for taking moving images from a drone, with target tracking and improved target location
CN108021145A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
Matveev et al. Range-only-based three-dimensional circumnavigation of multiple moving targets by a nonholonomic mobile robot
Nguyen et al. Flexible and resource-efficient multi-robot collaborative visual-inertial-range localization
Yang et al. An optimized image-based visual servo control for fixed-wing unmanned aerial vehicle target tracking with fixed camera
Pritzl et al. Cooperative navigation and guidance of a micro-scale aerial vehicle by an accompanying UAV using 3D LiDAR relative localization
Su et al. Catching a flying ball with a vision-based quadrotor
Hoang et al. Vision-based target tracking and autonomous landing of a quadrotor on a ground vehicle
Wu et al. Vision-based target detection and tracking system for a quadcopter
Theodore et al. Flight trials of a rotorcraft unmanned aerial vehicle landing autonomously at unprepared sites
Pei et al. Research of a non-linearity control algorithm for UAV target tracking based on fuzzy logic systems
Wubben et al. A vision-based system for autonomous vertical landing of unmanned aerial vehicles
Kim et al. Single 2D lidar based follow-me of mobile robot on hilly terrains
CN109472258A (zh) 跟踪方法及装置
CN109283942A (zh) 用于控制无人机进行跟踪的飞行方法及装置
CN109240319A (zh) 用于控制无人机跟随的方法及装置
CN109283933A (zh) 无人机跟随的控制方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant