CN106934402A - 室内移动视频跟踪定位辅助拍摄方法和装置 - Google Patents

Abstract

室内移动视频跟踪定位辅助拍摄方法和装置，用于对室内移动的拍摄对象进行跟踪拍摄，其特征是，包括以下步骤：识别所述拍摄对象；对识别的拍摄对象在其移动过程中进行实时定位；使用拍摄设备拍摄所述拍摄对象；根据所述定位控制所述拍摄设备移动以保持所述拍摄设备与所述拍摄对象之间的距离，并使所述拍摄设备避开周边障碍物。本发明创造的有益效果：提供了一整套移动视频跟拍的解决方案，在无人操控摄像机和照相机的时候可以进行自动定点，自动跟拍，解决了日益增多的无人自动拍摄和拍照需求。

Description

室内移动视频跟踪定位辅助拍摄方法和装置

技术领域

本发明创造涉及移动拍摄技术领域，具体涉及室内移动视频跟踪定位辅助拍摄方法和装置。

背景技术

现在全世界已经已进入一个网络的世界，在日常生活中，文字的传播已经远远不能满足人们的需要，越来越多的人和媒体，把照片和视频作为主要的传播媒介。但大部分拍摄只能定点拍摄或者需要第三者辅助，用户不能自主进行拍摄。

不仅在日常生活中，在商业领域，越来越多的公司和企业加入视频的会议中，比如Lync，Cisco等公司都在大规模的普及和推广视频业务，在教育领域，网络视频授课和网络大学也在逐步发展。然而，无论在商业领域还是教育领域，都是使用固定摄像设备，不能解决移动拍摄的需要。

发明内容

本发明创造的目的在于解决移动中进行不间断拍摄和拍照的需要，提供一种室内移动视频跟踪定位辅助拍摄方法和装置。

本发明创造的目的通过以下技术方案实现：室内移动视频跟踪定位辅助拍摄方法，用于对室内移动的拍摄对象进行跟踪拍摄，其特征是，包括以下步骤：

识别所述拍摄对象；

对识别的拍摄对象在其移动过程中进行实时定位；

使用拍摄设备拍摄所述拍摄对象；

根据所述定位控制所述拍摄设备移动以保持所述拍摄设备与所述拍摄对象之间的距离，并使所述拍摄设备避开周边障碍物。

本发明创造的有益效果：提供了一整套移动视频跟拍的解决方案，在无人操控摄像机和照相机的时候可以进行自动定点，自动跟拍，解决了日益增多的无人自动拍摄和拍照需求。

附图说明

利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明装置结构示意图，

图2是本发明装置局部放大图。

附图标记：底座1、轮胎2、滑轨3、云台4、云台支架5、摄像头6、U型支架7、USB接口8、电池11、充电口12、主板13，超声波感应器14、中央雷达15、蓝牙发射接收器131、GPS芯片132、存储设备133。

具体实施方式

结合以下实施例对本发明做进一步描述：

本实施例的室内移动视频跟踪定位辅助拍摄方法，用于对室内移动的拍摄对象进行跟踪拍摄，其特征是，包括以下步骤：

识别所述拍摄对象；

对识别的拍摄对象在其移动过程中进行实时定位；

使用拍摄设备拍摄所述拍摄对象；

根据所述定位控制所述拍摄设备移动以保持所述拍摄设备与所述拍摄对象之间的距离，并使所述拍摄设备避开周边障碍物。

本实施例提供了一整套移动视频跟拍的解决方案，在无人操控摄像机和照相机的时候可以进行自动定点，自动跟拍，解决了日益增多的无人自动拍摄和拍照需求。

优选的，识别所述拍摄对象基于轮廓识别进行：

给定的拍摄对象轮廓G(t)，其弧长参数化方程表示为G(t)＝(x(t),y(t))，其中x(t)和y(t)分别表示轮廓点的坐标，t表示轮廓曲线方程的参数，且t∈[0,1]；

拍摄对象轮廓G(t)和含噪轮廓G_N(t)所对应的曲率分别为k(t)和k_N(t)；选宽度为D的窗函数W(n)，对曲率k_N(t)进行邻域平均，得到含噪轮廓曲率k′_N(t)，

由于曲率值较大的轮廓点通常反映了拍摄对象的显著特征，根据k′_N(t)将轮廓中所有轮廓点划分为特征点或非特征点，设定权值T，

当|k′_N(t)|<T*max|k′_N(t)|时，特征函数f(t)＝0，

否则，特征函数f(t)＝1；

选定一个起始点O，轮廓起始点向两侧延伸合并相邻的点，以该起始点类型作为该区域预设类型，向两侧延伸各S×μ₀时停止，其中S为预设的最小长度，为O点处的实时曲率修正系数，代表O点的曲率半径，代表由上述窗函数得到的O点的平均曲率半径，实时曲率修正系数μ₀用于根据不同点的曲率不同，自动修正延伸长度，能有 效减小合并后的失真现象；分别计算两侧区域内相异点的个数N+1和N-1，若相异点的个数小于设定的该类型相异点最小个数，则该区域与预设类型相同，否则，与预设类型相反；再以两个停止点O₊₁和点O_-1作为起始点重新开始计算，向外侧延伸S×μ_O+1或S×μ_0-1时停止，其中μ_O+1和μ_O-1分别代表点O₊₁和点O_-1处的实时曲率修正系数，O₊₁两侧区域内相异点个数为N₊₂，O_-1两侧区域内相异点个数为N_-2，根据上述判定条件，依次确定各段轮廓类型，长度不足S的部分根据其与S的比例计算相异点个数，计入相应的特征区域；对相邻的同类型区域进行合并，得到连续的特征区域和非特征区域；

采用函数对含噪轮廓进行平滑，命名为K滤波器，经过轮廓点分类和区域划分,含噪轮廓G_N(t)表示为不同类型轮廓分段的组合：

其中表示包含特征区域的轮廓分段,表示包含非特征区域的轮廓分段；为了达到较好的平滑效果，选取每种类型区域最小长度S的一半作为K滤波器85％置信区间的长度，从而根据两类区域的长度自适应选取不同参数的K滤波器。

优选的，使所述拍摄设备避开周边障碍物具体包括：

在移动过程中，通过雷达和底座四周安装四个超声波感应器来探索周围的环境来进行避开障碍物，基本原理是测量超声波的飞行时间，通过d＝vt/2测量距离，其中d是距离，v是声速，t是飞行时间。由于超声波在空气中的速度与温湿度有关，本专利在测量中也可以配合DHT11温湿度传感器，也把温湿度的变化和其它因素考虑进去。本专利使用传感器通过压电或静电变送器产生一个频率在几十kHz的超声波脉冲组成波包，系统检测高于某阈值的反向声波，检测到后使用测量到的飞行时间计算距离。超声波传感器一般作用距离较短，普通的有效探测距离都在几米，但是会有一个几十毫米左右的最小探测盲区，通过专利上配置的摄像头可以进行超声波盲区部分的检测。

在避开障碍物运动的算法方面，本专利也进行了创新，比如首先使用常见的Bug算法，也就是Bug算法应该是最简单的一种避障算法了，它的基本思想是在发现障碍后，围着检测到的障碍物轮廓行走，从而绕开它。Bug算法目前有很多变种，比如Bug1算法，机器人首先完全地围绕物体，然后从距目标最短距离的点离开。Bug1算法的效率很低，但可以保证机器人达到目标。本专利算法中，机器人开始时会跟踪物体的轮廓，但不会完全围绕物体一圈，当机器人可以直接移动至目标时，就可以直接从障碍分离，这样可以达到比较短的机器人行走总路径。在实际生活中，障碍物都是随时变化的，对于此问题，首先它会根据已知的路径和地图进行规划，当发现新的障碍物时候会进行部分地图重新演算，如果演算返回值为正，就进行地图更新操作，如果新障碍物过多，无法在一次演算中和已知地图进行匹配，将重新 进行地图绘制和储存，运算中函数受三个因素影响：目标方向、机器人当前方向、之前选择的方向，最终生成的代价是这三个因素的加权值来决定是否进行路径重绘。

根据所述定位控制所述拍摄设备移动还包括：

安装一个超声波感应器在底座底部以进行移动防摔倒预防。

在识别所述拍摄对象之前还包括：

启动装置，对所述拍摄装置进行初始化，检测所述拍摄装置是否处于可运行状态，如果所述拍摄装置不是第一次运行，则从存储设备中读取数据来进行初始化；

对电池信息进行检测，检测电池是否可以让所述拍摄装置运行，预设的可运行电池电量是在百分之十五以上，如果电量大于可预设值，所述拍摄装置将进入待机状态，等待命令，如果电流过低，则提示用户需要充电，如果无线充电设备已经安装，并且方位已存储，则自动移动所述拍摄装置到无线充电地点进行充电。用户还可以根据自己的需要对预设的可运行电池的电量进行修改和配置。

所述使用拍摄设备拍摄所述拍摄对象通过人工智能算法来自主进行运动和拍摄，可以自主选择拍摄时间，拍摄位置和角度，以及调整各种参数，具体的过程是这样的，首先拍摄设备的软件会筛选出屏幕上的视觉特征，然后在一系列图像中跟踪这些特征。接着利用所谓的运动求取结构算法及光束法平差来计算相机的3D定位和定向，以及所有的图像特征在一系列帧中的3D位置，设备会根据模拟出来的位置来进行位置调整。接下来，再利用多视角立体算法计算参照图上每一个像素的景深。多视角立体的原理类似于人的立体视觉：只要知道同一个对象在不同图片中的3D位置，我们就能三角定位出该对象的3D位置并计算出与该对象的距离和拍摄范围，然后进行相应的调整，进行两张以上的拍照测试。为了解决识别两张不同照片里面哪个像素和哪个像素是对应的，通过计算两个像素RGB颜色之间的绝对误差和就可以确定景深的问题。

当位置数据获得以后，为了拍摄以及拍照就必须要考虑聚焦和构图甚至是曝光的问题，这三大要素的组合和搭配才能拍摄出需要的视频和照片。对焦要清晰就要正确设置光圈和快门速度，曝光要适度，要正确匹配EV(Exposure Value)值,否则就会感觉照片或者视频太亮或太暗，如果必要还要自动启动照相设备的闪光灯，本专利也可以预装闪光灯。构图上，专利的程序里预先编写了黄金分割以及九宫格构图算法。

为了能够找到最正确的拍摄方法，本专利创新了一种使用焦距，曝光，构图搭配的算法，本算法基于一种隐式统计模型算法。首先从焦距，曝光，构图可能性中生成尽可能多的状态，比如曝光可能是1.5秒，2.5秒，或者长曝光10秒以上，而焦距可以从14mm到400mm之间， 在拍摄人物和风景上会出现不同的变化，构图方面可以选择黄金比例，九宫格等。比如，首先程序会挑选出6种常用的曝光参数，6种焦距参数，和6种构图参数，首先计算所有参数都是最大值的可实时性：

P(V^1:T)＝P(V¹＝6,V²＝6,…,V¹⁰＝6|A,B,s₀＝1)

这里表示，在正常拍摄下，都是用最大值的拍摄可能性，然后再假设一个隐性状态序列，假设有5个拍摄数据搭配是适合的，其余5个是不正确的。就会得到一个排列公式：

有了这个公式我们就可以计算，在假设下使用数据最大值的概率：

这个概率其实就是隐性状态表现概率的乘积；

刚才的隐性状态序列是假设的，但实际的序列并不知道目前，所以把所有可能出现的隐性状态组合全部测试一次就可以得到：

计算后，这里依然有个集合过大的问题，所以要使用一种更有效P(V(1:T)计算概率的方法，下面的算法就可以将计算P(V(1:T)计算复杂度降低到O(cT)：

计算P(V^1:T,ω(T))时，会递归地调用P(V^1:T,ω(T-1))的值，递归方程可写成：

令α_j(t)＝P(V^1:t,ω(T)＝j)

有了这个方程，我们就能从t＝0的情况往前推导，一直推导出P(V1:T)的概率。然后我们就可以计算每一组拍摄搭配的可能性是多大，最后得出比如焦距14mm，曝光1.2秒，九宫格构图的方法获得最高的概率，越多的使用自动拍摄和导入更多的拍摄数据就能更高的提高概率演算准确率，专利程序提供自动数据库更新功能。

最后就是优化问题。一张最好的景深图应该是所有的相应像素之间相互类似程度最高的。但这样又会导致不同的景深图的匹配度一样。为了解决这个问题，引入了场景的3D几何学条件来辅助优化，比方说，可以假设临近的两个像素之间的景深类似。最后，再利用自定义的马尔科夫随机场推理法来解决此优化问题。当执行完以上的计算后，就会把测算和模拟的参数应用在拍摄设备上。

所述使用拍摄设备拍摄所述拍摄对象包括：

智能拍摄和优化，拍摄设备捕捉图片后通过调用计算机视觉库OpenCV和相关图片分析数据库来进行拍摄选择，在合适的时间就对拍摄对象进行拍摄，如果拍摄对象在过程中移动，装置将重新对拍摄对象定位，装置同时也在实时监控电量，如果电量低于预定值，装置将自动移动到无线充电地点进行充电。

所述定位采用以下方法：当拍摄对象和装置在同一个房间或者在装置可视范围内，装置将使用计算机视觉库OpenCV进行人脸识别，如果距离在10米以内且不可见，装置使用蓝牙通信定位，如果距离大于十米，装置使用GPS定位，通过三种技术的配合和在不同场景下的应用以达到准确跟踪拍摄对象的目的，具体的：

(1)GPS定位，通过装置本身的GPS芯片来估算自己的所处的位置，然后接收拍摄对象GPS的位置来对拍摄对象位置进行估算，然后移动装置来进行跟踪，一般用于距离比较远的情况下，普通GPS的定位误差是10米左右，当设备进入十米内的时候切换到蓝牙通信定位模式；

(2)蓝牙通信定位，其工作方式是，拍摄对象配备低功耗蓝牙通信功能的设备向周围发送自己特有的ID，信息接收模块根据射频场强随距离衰减的模型计算距离，在室内布置多个信息接收模块，采用三边定位算法实现拍摄对象定位，当装置进入拍摄对象相对小的范围内的时候，装置使用人脸和运动识别对拍摄对象进一步进行定位；

(3)人脸识别，当拍摄对象和装置在同一个房间或者在装置可视范围内，装置将使用计算机视觉库OpenCV进行人脸识别。

计算机视觉库OpenCV是一个开源的计算机视觉和装置学习库，它包含成千上万优化过的算法，为各种计算机视觉应用提供了一个通用工具包。

另一方面，计算机视觉库OpenCV也提供了一套物体检测功能，经过训练后能够检测出任何你需要的物体。该库为多个场景自带了可以直接拿来用的检测参数，如人脸、眼睛、嘴、身体、上半身、下半身和笑脸。

这样通过最多三次的定位技术的配合和切换以达到准确的定位。

参见图1，本实施例的室内移动视频跟踪定位辅助拍摄装置，所述装置包括底座1、轮胎2、滑轨3、云台4、云台支架5、摄像头6、两个U型支架7和USB接口8，所述滑轨3位于底座1上方，滑轨3上装有云台支架5，用于安装云台4，摄像头6、两个U型支架7和USB接口8安装于云台上，其中，两个U型支架7位于云台上方，摄像头6位于云台凸起侧方，USB接口8位于云台凸起上方，所述底座1上装有电池11和主板13，电池11为装置供电，主板13对整个设备进行控制，处理和运算，所述充电口12位于底座外部，电池11、充电口12和主板13之间通过电连接，所述主板13上安装有蓝牙发射接收器131、GPS芯片132和存储设备133；所述底座1上还安装有超声波感应器14和中央雷达15；所述滑轨3可控制垂直升降云台支架5.

所述云台3可进行上下120度以及左右360度转动自由转动；

所述摄像头6可进行面部识别，物体移动识别，移动测试等，可进行360度移动；

所述两个U型支架7为平板电脑支架和摄像机支架，可支持不同种类的平板电脑手机以及各种种类的摄像设备；

所述USB接口8用于连接照相机设备或者其他智能外设；

所述中央雷达15探测距离为100到550厘米。

所述轮胎2为胶皮面充气轮胎。

所述电池11为锂离子电池。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.室内移动视频跟踪定位辅助拍摄方法，用于对室内移动的拍摄对象进行跟踪拍摄，其特征是，包括以下步骤：

识别所述拍摄对象；

对识别的拍摄对象在其移动过程中进行实时定位；

使用拍摄设备拍摄所述拍摄对象；

根据所述定位控制所述拍摄设备移动以保持所述拍摄设备与所述拍摄对象之间的距离，并使所述拍摄设备避开周边障碍物。

2.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，识别所述拍摄对象基于轮廓识别进行：

给定的拍摄对象轮廓G(t)，其弧长参数化方程表示为G(t)＝(x(t),y(t))，其中x(t)和y(t)分别表示轮廓点的坐标，t表示轮廓曲线方程的参数，且t∈[0,1]；

拍摄对象轮廓G(t)和含噪轮廓G_N(t)所对应的曲率分别为k(t)和k_N(t)；选宽度为D的窗函数W(n)，对曲率k_N(t)进行邻域平均，得到含噪轮廓曲率k′_N(t)，

由于曲率值较大的轮廓点通常反映了拍摄对象的显著特征，根据k′_N(t)将轮廓中所有轮廓点划分为特征点或非特征点，设定权值T，

当|k′_N(t)|<T*max|k′_N(t)|时，特征函数f(t)＝0，

否则，特征函数f(t)＝1；

选定一个起始点O，轮廓起始点向两侧延伸合并相邻的点，以该起始点类型作为该区域预设类型，向两侧延伸各S×μ₀时停止，其中S为预设的最小长度，为O点处的实时曲率修正系数，代表O点的曲率半径，代表由上述窗函数得到的O点的平均曲率半径，实时曲率修正系数μ₀用于根据不同点的曲率不同，自动修正延伸长度，能有效减小合并后的失真现象；分别计算两侧区域内相异点的个数N+1和N-1，若相异点的个数小于设定的该类型相异点最小个数，则该区域与预设类型相同，否则，与预设类型相反；再以两个停止点O₊₁和点O_-1作为起始点重新开始计算，向外侧延伸S×μ_O+1或S×μ_O-1时停止，其中μ₀₊₁和μ_O-1分别代表点O₊₁和点O_-1处的实时曲率修正系数，O₊₁两侧区域内相异点个数为N₊₂，O_-1两侧区域内相异点个数为N_-2，根据上述判定条件，依次确定各段轮廓类型，长度不足S的部分根据其与S的比例计算相异点个数，计入相应的特征区域；对相邻的同类型区域进行合并，得到连续的特征区域和非特征区域；

采用函数对含噪轮廓进行平滑，命名为K滤波器，经过轮廓点分类和区域划分,含噪轮廓G_N(t)表示为不同类型轮廓分段的组合：

其中表示包含特征区域的轮廓分段,表示包含非特征区域的轮廓分段；为了达到较好的平滑效果，选取每种类型区域最小长度S的一半作为K滤波器85％置信区间的长度，从而根据两类区域的长度自适应选取不同参数的K滤波器。

3.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，使所述拍摄设备避开周边障碍物具体包括：

在移动过程中，通过雷达和底座四周安装四个超声波感应器来探索周围的环境来进行避开障碍物。

4.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，根据所述定位控制所述拍摄设备移动包括：

安装一个超声波感应器在底座底部以进行移动防摔倒预防。

5.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，在识别所述拍摄对象之前还包括：

启动装置，对所述拍摄装置进行初始化，检测所述拍摄装置是否处于可运行状态，如果所述拍摄装置不是第一次运行，则从存储设备中读取数据来进行初始化；

对电池信息进行检测，检测电池是否可以让所述拍摄装置运行，预设的可运行电池电量是在百分之十五以上，如果电量大于可预设值，所述拍摄装置将进入待机状态，等待命令，如果电流过低，则提示用户需要充电，如果无线充电设备已经安装，并且方位已存储，则自动移动所述拍摄装置到无线充电地点进行充电。

6.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，所述使用拍摄设备拍摄所述拍摄对象通过人工智能算法来自主进行运动和拍摄，可以自主选择拍摄时间，拍摄位置和角度，以及调整各种参数。

7.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，所述使用拍摄设备拍摄所述拍摄对象包括：

智能拍摄和优化，拍摄设备捕捉图片后通过调用计算机视觉库OpenCV和相关图片分析数据库来进行拍摄选择，在合适的时间就对拍摄对象进行拍摄，如果拍摄对象在过程中移动，装置将重新对拍摄对象定位，装置同时也在实时监控电量，如果电量低于预定值，装置将自动移动到无线充电地点进行充电。

8.根据权利要求5所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，用户可以根据自己的需要对预设的可运行电池的电量进行修改和配置。

9.根据权利要求1所述的室内移动视频跟踪定位辅助拍摄方法，其特征是，所述定位采用以下方法：

当拍摄对象和装置在同一个房间或者在装置可视范围内，装置使用计算机视觉库OpenCV进行人脸识别，如果距离在10米以内且不可见，装置使用蓝牙通信定位，如果距离大于十米，装置使用GPS定位。

10.室内移动视频跟踪定位辅助拍摄装置，其特征是，所述装置包括底座、轮胎、滑轨、云台、云台支架、摄像头、两个U型支架和USB接口，所述滑轨位于底座上方，滑轨上装有云台支架，用于安装云台，摄像头、两个U型支架和USB接口安装于云台上，其中，两个U型支架位于云台上方，摄像头位于云台凸起侧方，USB接口位于云台凸起上方，所述底座内部装有电池和主板，电池为机器供电，主板对整个设备进行控制，处理和运算，所述充电口位于底座外部，电池、充电口和主板之间通过电连接，所述主板上安装有蓝牙发射接收器、GPS芯片和存储设备；所述底座上还安装有超声波感应器和中央雷达；所述滑轨可控制垂直升降云台支架。