发明内容
本发明正是基于上述问题,提出了一种用于多镜头的切换控制方法及系统,能够拓展跟踪对象的类型,并实现精准高效的目标跟踪。
有鉴于此,本发明的第一方面提出了一种用于多镜头的切换控制方法,包括:
根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
将所述跟踪对象标记为选中状态;
建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
进一步的,在上述的用于多镜头的切换控制方法中,将所述跟踪对象标记为选中状态的步骤具体包括:
根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
更新所述目标区域的边缘线;
反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
进一步的,在上述的用于多镜头的切换控制方法中,根据用户的点击操作确定目标区域的步骤具体包括:
根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
获取预先配置的颜色相似度容限值;
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
进一步的,在上述的用于多镜头的切换控制方法中,判断所述相邻区域与所述目标区域是否持续处于同步运动状态的步骤具体包括:
根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
获取预先配置的同步运动帧数阈值;
在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
进一步的,在上述的用于多镜头的切换控制方法中,在根据用户的点击操作确定目标区域的步骤之后,还包括:
构建所述目标区域的子区域列表;
将根据用户的点击操作确定的目标区域添加到所述子区域列表;
在将所述相邻区域纳入所述目标区域的步骤之后,还包括:
将所述相邻区域添加到所述子区域列表;
识别所述跟踪对象与所述当前镜头的相对姿态;
记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制方法中,记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系的步骤具体包括:
在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
构建连接两两相邻的所述子区域的几何中心的连接向量;
监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制方法中,从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库的步骤具体包括:
在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
判断所述跟踪对象的变化是否符合预设条件;
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
进一步的,在上述的用于多镜头的切换控制方法中,对所述跟踪对象的所述动态特征库进行初始化的步骤具体包括:
基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
构建所述跟踪对象的子对象列表;
将识别为同一物品的多个子区域进行合并为同一个子对象;
将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
进一步的,在上述的用于多镜头的切换控制方法中,在判断所述跟踪对象的变化是否符合预设条件的步骤之后,还包括:
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
本发明的第二方面提出了一种用于多镜头的切换控制系统,包括:
当前镜头确定模块,用于根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
跟踪对象确定模块,用于根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
跟踪对象标记模块,用于将所述跟踪对象标记为选中状态;
特征库构建模块,用于建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
动态特征添加模块,用于从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
相邻镜头监测模块,用于当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
同类型对象判断模块,用于判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
匹配度计算模块,用于在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
目标镜头确定模块,用于当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
显示画面切换模块,用于将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
所述跟踪对象标记模块还用于在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
进一步的,在上述的用于多镜头的切换控制系统中,所述跟踪对象标记模块包括:
目标区域确定模块,用于根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
边缘线处理模块,用于将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
运动状态监测模块,用于监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
同步运动判断模块,用于判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
相邻区域合并模块,用于当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
边缘线更新模块,用于更新所述目标区域的边缘线;
循环执行模块,用于反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
进一步的,在上述的用于多镜头的切换控制系统中,所述目标区域确定模块包括:
选择模式配置模块,用于根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
点击操作接收模块,用于在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
点击信息获取模块,用于获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
容限值获取模块,用于获取预先配置的颜色相似度容限值;
所述目标区域确定模块具体用于将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
进一步的,在上述的用于多镜头的切换控制系统中,所述同步运动判断模块包括:
区域更新模块,用于根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
帧数阈值获取模块,用于获取预先配置的同步运动帧数阈值;
所述同步运动判断模块具体用于在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
子区域列表构建模块,用于构建所述目标区域的子区域列表;
目标区域添加模块,用于将根据用户的点击操作确定的目标区域添加到所述子区域列表;
相邻区域添加模块,用于在将所述相邻区域纳入所述目标区域后,将所述相邻区域添加到所述子区域列表;
相对姿态识别模块,用于识别所述跟踪对象与所述当前镜头的相对姿态;
邻接关系记录模块,用于记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制系统中,所述邻接关系记录模块包括:
中心坐标计算模块,用于在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
连接向量构建模块,用于构建连接两两相邻的所述子区域的几何中心的连接向量;
向量变化监测模块,用于监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
标准向量转换模块,用于根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
所述邻接关系记录模块具体用于将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制系统中,所述动态特征添加模块包括:
特征库初始化模块,用于在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
对象变化识别模块,用于在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
对象变化判断模块,用于判断所述跟踪对象的变化是否符合预设条件;
新特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
新特征添加模块,用于当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
进一步的,在上述的用于多镜头的切换控制系统中,所述特征库初始化模块包括:
物品识别模块,用于基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
子对象列表构建模块,用于构建所述跟踪对象的子对象列表;
子区域合并模块,用于将识别为同一物品的多个子区域进行合并为同一个子对象;
子对象记录模块,用于将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
细化特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
细化特征添加模块,用于当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
本发明提出了一种用于多镜头的切换控制方法及系统,通过在当前镜头的拍摄画面中确定并选中跟踪对象,从所述拍摄画面中提取所述跟踪对象的特征添加到动态特征库,当所述跟踪对象靠近当前镜头的视场边缘时,监测相邻镜头的拍摄画面,判断所述相邻镜头的边缘区域是否存在所述跟踪对象的同类型对象,在所述相邻镜头的拍摄画面的边缘区域存在同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度,当任一相邻镜头中存在与所述动态特征库的匹配度大于预设阈值的同类型对象时,将所述显示装置上的显示画面切换为所述相邻镜头的拍摄画面并在拍摄画面中将所述跟踪对象标记为选中状态,能够拓展跟踪对象的类型,并实现精准高效的目标跟踪。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
在本发明的描述中,术语“多个”则指两个或两个以上,除非另有明确的限定,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本说明书的描述中,术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
下面参照附图来描述根据本发明一些实施方式提供的一种用于多镜头的切换控制方法及系统。
如图1所示,本发明的第一方面提出了一种用于多镜头的切换控制方法,包括:
根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
将所述跟踪对象标记为选中状态;
建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
具体的,本发明提供的用于多镜头的切换控制方法应用于多镜头的切换控制系统,所述多镜头切换控制系统运行在一个控制装置中,所述控制装置可以为个人计算机、工作站、服务器或者一体式计算机等计算机设备。所述控制装置与多个摄像装置连接以获取所述摄像装置的拍摄画面数据,根据用户的选择或者默认配置将一个或多个所述摄像装置的拍摄画面显示在与所述控制装置连接的显示装置上。
在本发明的一些实施方式中,所述显示装置具有触控屏幕,所述控制装置通过所述触控屏幕接收用户在所述拍摄画面上的操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过所述触控屏幕在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的另一些实施方式中,所述显示装置不具备触控屏幕,用户通过与所述控制装置连接的输入设备如鼠标等在所述拍摄画面上进行操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过鼠标在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的技术方案中,所述动态特征库中包括所述跟踪对象的本体特征以及所述跟踪对象的子对象特征。示例性的,对于所述本体特征,可以直接采用“本体特征内容”的形式来描述,例如,在所述跟踪对象为一个人时,可以使用“男性”、“中年”、“高瘦”等作为所述本体特征,在所述跟踪对象为一辆车时,可以使用“轿车”、“银灰色”等作为所述本体特征;对于子对象特征,可以使用“子对象的名称+子对象的名称”的形式进行表达,例如,在所述跟踪对象为一个人时,可以使用“蓝白色的鸭舌帽”、“黑白条纹的上衣”、“粗边框的眼镜”等作为所述子对象特征,在所述跟踪对象为一辆车时,可以使用“挂在车尾的备胎”、“立在引擎盖上的车标”、“印刷在车身侧方的XXX文字”等。在该实施方式中,所述子对象指的是所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品。在本发明的一些实施方式中,同一个子对象的不同特征可以同时存在于所述动态特征库中,例如“白色的上衣”以及“下摆位置有口袋的上衣”等。
应当知道的是,所述跟踪对象还可以是所述拍摄画面中的其它移动对象,包括动物或者人随身携带的物品如手提包、行李箱等。
在上述实施方式的技术方案中,判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象的步骤具体包括:
识别所述跟踪对象的类型;
根据预先本置的边缘区域确定范围确定所述相邻镜头的边缘区域;
对所述相邻镜头的边缘区域执行物品识别以确定所述相邻镜头的拍摄画面的边缘区域中是否存在所述跟踪对象的同类型对象。
例如,当所述跟踪对象为人体时,所述同类型对象则为人体;当所述跟踪对象为汽车时,则所述同类型对象为汽车等。
计算每一个所述同类型对象与所述动态特征库中的匹配度的步骤具体包括:
将所述动态特征库中的每一个动态特征与所述同类型对象进行匹配;
将与所述动态特征库中与所述同类型同对象匹配成功的动态特征的数量与所述动态特征库中的动态特征总量之商确定为所述同类型对象的匹配度。
进一步的,在上述的用于多镜头的切换控制方法中,将所述跟踪对象标记为选中状态的步骤具体包括:
根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
更新所述目标区域的边缘线;
反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
在上述实施方式的技述方案中,将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态的步骤具体为将所述目标区域的边缘线显示为封闭的虚线,使所述目标区域在视觉上与所述拍摄画面上的其它区域存在差异。在本发明的另一些实施方式中,还可以使用红色、紫色或其它较为容易识别的颜色作为蒙板覆盖所述目标区域,以使所述目标区域在视觉上更为突出。
进一步的,在上述的用于多镜头的切换控制方法中,根据用户的点击操作确定目标区域的步骤具体包括:
根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
获取预先配置的颜色相似度容限值;
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
具体的,在上述实施方式的技术方案中,所述点击位置的色值是指所述点击位置对应的像素的色值。所述色值可以是RGB色值、YUV色值、CMYK色值、HSV色值或者HSL色值等,具体采用的颜色模式根据实际实施需要进行选择,本发明对此并不作限定。
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域,具体为所述目标区域中包含的所有像素均为与所述点击位置的色值之差的绝对值小于或等于所述颜色相似度容限值的像素,且所述目标区域中的每一个像素至少与所述目标区域中的另一个像素相邻以使所述目标区域形成一个完整独立的未被其它像素分割的区域。以RGB色值为例,设所述点击位置的色位为(R0,G0,B0),所述颜色相似度容限值为中,则所述目标区域内的所有像素的色值均在(R0-k,G0-k,B0-k)~(R0+k,G0+k,B0+k)的范围内,在上述范围中,当R0,G0或者B0中的任一个小于k时,则相应的R0-k,G0-k或者B0-k中的相应值取0,同样的,当R0,G0或者B0中的任一个大于255-k时,则R0+k,G0+k或B0+k的相应值取255。
进一步的,在上述的用于多镜头的切换控制方法中,判断所述相邻区域与所述目标区域是否持续处于同步运动状态的步骤具体包括:
根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
获取预先配置的同步运动帧数阈值;
在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
具体的,所述相邻区域为与所述目标区域邻接但色值与所述目标区域的色值之差的绝对值大于所述颜色相似度容限值,但所述相邻区域内的像素之间的色值之差的绝对值小于或等于所述颜色相似度容限值的区域。在上述实施方式的技术方案中,所述目标区域不再存在与其处于同步运动状态的相邻区域的判断标准为在所述拍摄画面中所述目标区域的所有相邻区域均不满足在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中保持与所述目标区域处于邻接状态。
进一步的,在上述的用于多镜头的切换控制方法中,在根据用户的点击操作确定目标区域的步骤之后,还包括:
构建所述目标区域的子区域列表;
将根据用户的点击操作确定的目标区域添加到所述子区域列表;
在将所述相邻区域纳入所述目标区域的步骤之后,还包括:
将所述相邻区域添加到所述子区域列表;
识别所述跟踪对象与所述当前镜头的相对姿态;
记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
具体的,所述跟踪对象作为一个整体,在其与所述当前镜头之间的相对姿态不变的情况下,其各个部分即所述的子区域之间特别是相邻的子区域之间的相对位置是动态稳定的。所述跟踪对象与所述当前镜头的相对姿态可以使用所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角来表示,所述跟踪对象的朝向可以通过所述目标区域的形状变化及相对位置变化来计算得到。以所述跟踪对象为一个人为例,识别所述子区域列表中为眼部区域的子区域,根据两个眼部区域的形状以及两个眼部区域之间的相对位置可以计算得到所述跟踪对象的朝向,从而得到所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角。
进一步的,在上述的用于多镜头的切换控制方法中,记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系的步骤具体包括:
在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
构建连接两两相邻的所述子区域的几何中心的连接向量;
监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
具体的,所述跟踪对象与所述当前镜头的标准姿态为预先定义的所述跟踪对象的朝向与所述当前镜头的光轴之间为特定的空间夹角的相对姿态,以所述跟踪对象为一个人为例,以所述跟踪对象正面朝向所述当前镜头,且所述跟踪对象的眼部与所述当前镜头高度齐平时,所述空间夹角为(方位角:0,俯仰角:0)的姿态为标准姿态。应当知道的是,该标准姿态仅为示例,现实中的监控摄像头一般比较高,这样的标准姿态在现实中一般不存在,在实际实施方案中,所述标准姿态对应的空间夹角可以为任意自定义角度。
进一步的,在上述的用于多镜头的切换控制方法中,从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库的步骤具体包括:
在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
判断所述跟踪对象的变化是否符合预设条件;
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的形状和大小的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的形态和/或大小相对于上一次对该子区域执行物品识别时的形状和/或大小的变化是否大于预设的阈值。当一个或多个子区域的形状或大小与上一次执行物品时发生了较大的变化时,则其对应的子对象可能会在画面中展示出新的特征或者更为细节的特征。例如其中多个子区域组成了一个帽子子对象,在跟踪对象背对所述当前镜头时,则该帽子正面的部分细节无法被识别到,在跟踪对象转身面向所述当前镜头后,对应帽子子对象的多个子区域的形状将发生较大的变化,从而触发系统对该子对象再次执行特征提取的动作。
进一步的,在上述的用于多镜头的切换控制方法中,对所述跟踪对象的所述动态特征库进行初始化的步骤具体包括:
基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
构建所述跟踪对象的子对象列表;
将识别为同一物品的多个子区域进行合并为同一个子对象;
将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
具体的,所述子区域的编号为所述子区域在所述子区域列表中的编号,每个子区域在所述子区域列表中具有唯一编号。每个子区域在所述子区域列表中的编号由系统自动生成。例如,可以按子区域被添加到所述子区域列表中的时间顺序来生成所述子区域的编号。如前所述,所述子对象为所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品,例如头发、眼睛、帽子、衣服、扣子、行李箱、手提包等。
进一步的,在上述的用于多镜头的切换控制方法中,在判断所述跟踪对象的变化是否符合预设条件的步骤之后,还包括:
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的图像清晰度的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的图像清晰度相对于上一次对该子区域执行物品识别时的图像清晰度的变化是否大于预设的阈值。对于所述跟踪对象的部分动态特征,在初期由于其距离较远或者运动过快等原因,导致所述当前镜头的拍摄画面中对应动态特征的子区域图像模糊,从而识别得到的特征内容描述较为上位。而在所述当前镜头的拍摄画面的变化过程中,当所述跟踪对象靠近所述当前镜头或者所述跟踪对象处于慢速或停止运动状态时,该部分动态特征对应的子区域可以被清晰地拍摄出来,从而提取出更进一步更加细节的特征内容。例如,可以将“浅色的T恤”细化为“浅灰色的T恤”,“小型轿车”细化为“小型三厢轿车”等。
如图2所示,本发明的第二方面提出了一种用于多镜头的切换控制系统,包括:
当前镜头确定模块,用于根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
跟踪对象确定模块,用于根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
跟踪对象标记模块,用于将所述跟踪对象标记为选中状态;
特征库构建模块,用于建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
动态特征添加模块,用于从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
相邻镜头监测模块,用于当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
同类型对象判断模块,用于判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
匹配度计算模块,用于在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
目标镜头确定模块,用于当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
显示画面切换模块,用于将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
所述跟踪对象标记模块还用于在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
具体的,本发明提供的用于多镜头的切换控制方法应用于多镜头的切换控制系统,所述多镜头切换控制系统运行在一个控制装置中,所述控制装置可以为个人计算机、工作站、服务器或者一体式计算机等计算机设备。所述控制装置与多个摄像装置连接以获取所述摄像装置的拍摄画面数据,根据用户的选择或者默认配置将一个或多个所述摄像装置的拍摄画面显示在与所述控制装置连接的显示装置上。
在本发明的一些实施方式中,所述显示装置具有触控屏幕,所述控制装置通过所述触控屏幕接收用户在所述拍摄画面上的操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过所述触控屏幕在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的另一些实施方式中,所述显示装置不具备触控屏幕,用户通过与所述控制装置连接的输入设备如鼠标等在所述拍摄画面上进行操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过鼠标在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的技术方案中,所述动态特征库中包括所述跟踪对象的本体特征以及所述跟踪对象的子对象特征。示例性的,对于所述本体特征,可以直接采用“本体特征内容”的形式来描述,例如,在所述跟踪对象为一个人时,可以使用“男性”、“中年”、“高瘦”等作为所述本体特征,在所述跟踪对象为一辆车时,可以使用“轿车”、“银灰色”等作为所述本体特征;对于子对象特征,可以使用“子对象的名称+子对象的名称”的形式进行表达,例如,在所述跟踪对象为一个人时,可以使用“蓝白色的鸭舌帽”、“黑白条纹的上衣”、“粗边框的眼镜”等作为所述子对象特征,在所述跟踪对象为一辆车时,可以使用“挂在车尾的备胎”、“立在引擎盖上的车标”、“印刷在车身侧方的XXX文字”等。在该实施方式中,所述子对象指的是所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品。在本发明的一些实施方式中,同一个子对象的不同特征可以同时存在于所述动态特征库中,例如“白色的上衣”以及“下摆位置有口袋的上衣”等。
应当知道的是,所述跟踪对象还可以是所述拍摄画面中的其它移动对象,包括动物或者人随身携带的物品如手提包、行李箱等。
在上述实施方式的技术方案中,判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象的步骤具体包括:
识别所述跟踪对象的类型;
根据预先本置的边缘区域确定范围确定所述相邻镜头的边缘区域;
对所述相邻镜头的边缘区域执行物品识别以确定所述相邻镜头的拍摄画面的边缘区域中是否存在所述跟踪对象的同类型对象。
例如,当所述跟踪对象为人体时,所述同类型对象则为人体;当所述跟踪对象为汽车时,则所述同类型对象为汽车等。
计算每一个所述同类型对象与所述动态特征库中的匹配度的步骤具体包括:
将所述动态特征库中的每一个动态特征与所述同类型对象进行匹配;
将与所述动态特征库中与所述同类型同对象匹配成功的动态特征的数量与所述动态特征库中的动态特征总量之商确定为所述同类型对象的匹配度。
进一步的,在上述的用于多镜头的切换控制系统中,所述跟踪对象标记模块包括:
目标区域确定模块,用于根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
边缘线处理模块,用于将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
运动状态监测模块,用于监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
同步运动判断模块,用于判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
相邻区域合并模块,用于当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
边缘线更新模块,用于更新所述目标区域的边缘线;
循环执行模块,用于反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
在上述实施方式的技述方案中,将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态的步骤具体为将所述目标区域的边缘线显示为封闭的虚线,使所述目标区域在视觉上与所述拍摄画面上的其它区域存在差异。在本发明的另一些实施方式中,还可以使用红色、紫色或其它较为容易识别的颜色作为蒙板覆盖所述目标区域,以使所述目标区域在视觉上更为突出。
进一步的,在上述的用于多镜头的切换控制系统中,所述目标区域确定模块包括:
选择模式配置模块,用于根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
点击操作接收模块,用于在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
点击信息获取模块,用于获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
容限值获取模块,用于获取预先配置的颜色相似度容限值;
所述目标区域确定模块具体用于将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
具体的,在上述实施方式的技术方案中,所述点击位置的色值是指所述点击位置对应的像素的色值。所述色值可以是RGB色值、YUV色值、CMYK色值、HSV色值或者HSL色值等,具体采用的颜色模式根据实际实施需要进行选择,本发明对此并不作限定。
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域,具体为所述目标区域中包含的所有像素均为与所述点击位置的色值之差的绝对值小于或等于所述颜色相似度容限值的像素,且所述目标区域中的每一个像素至少与所述目标区域中的另一个像素相邻以使所述目标区域形成一个完整独立的未被其它像素分割的区域。以RGB色值为例,设所述点击位置的色位为(R0,G0,B0),所述颜色相似度容限值为中,则所述目标区域内的所有像素的色值均在(R0-k,G0-k,B0-k)~(R0+k,G0+k,B0+k)的范围内,在上述范围中,当R0,G0或者B0中的任一个小于k时,则相应的R0-k,G0-k或者B0-k中的相应值取0,同样的,当R0,G0或者B0中的任一个大于255-k时,则R0+k,G0+k或B0+k的相应值取255。
进一步的,在上述的用于多镜头的切换控制系统中,所述同步运动判断模块包括:
区域更新模块,用于根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
帧数阈值获取模块,用于获取预先配置的同步运动帧数阈值;
所述同步运动判断模块具体用于在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
具体的,所述相邻区域为与所述目标区域邻接但色值与所述目标区域的色值之差的绝对值大于所述颜色相似度容限值,但所述相邻区域内的像素之间的色值之差的绝对值小于或等于所述颜色相似度容限值的区域。在上述实施方式的技术方案中,所述目标区域不再存在与其处于同步运动状态的相邻区域的判断标准为在所述拍摄画面中所述目标区域的所有相邻区域均不满足在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中保持与所述目标区域处于邻接状态。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
子区域列表构建模块,用于构建所述目标区域的子区域列表;
目标区域添加模块,用于将根据用户的点击操作确定的目标区域添加到所述子区域列表;
相邻区域添加模块,用于在将所述相邻区域纳入所述目标区域后,将所述相邻区域添加到所述子区域列表;
相对姿态识别模块,用于识别所述跟踪对象与所述当前镜头的相对姿态;
邻接关系记录模块,用于记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
具体的,所述跟踪对象作为一个整体,在其与所述当前镜头之间的相对姿态不变的情况下,其各个部分即所述的子区域之间特别是相邻的子区域之间的相对位置是动态稳定的。所述跟踪对象与所述当前镜头的相对姿态可以使用所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角来表示,所述跟踪对象的朝向可以通过所述目标区域的形状变化及相对位置变化来计算得到。以所述跟踪对象为一个人为例,识别所述子区域列表中为眼部区域的子区域,根据两个眼部区域的形状以及两个眼部区域之间的相对位置可以计算得到所述跟踪对象的朝向,从而得到所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角。
进一步的,在上述的用于多镜头的切换控制系统中,所述邻接关系记录模块包括:
中心坐标计算模块,用于在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
连接向量构建模块,用于构建连接两两相邻的所述子区域的几何中心的连接向量;
向量变化监测模块,用于监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
标准向量转换模块,用于根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
所述邻接关系记录模块具体用于将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
具体的,所述跟踪对象与所述当前镜头的标准姿态为预先定义的所述跟踪对象的朝向与所述当前镜头的光轴之间为特定的空间夹角的相对姿态,以所述跟踪对象为一个人为例,以所述跟踪对象正面朝向所述当前镜头,且所述跟踪对象的眼部与所述当前镜头高度齐平时,所述空间夹角为(方位角:0,俯仰角:0)的姿态为标准姿态。应当知道的是,该标准姿态仅为示例,现实中的监控摄像头一般比较高,这样的标准姿态在现实中一般不存在,在实际实施方案中,所述标准姿态对应的空间夹角可以为任意自定义角度。
进一步的,在上述的用于多镜头的切换控制系统中,所述动态特征添加模块包括:
特征库初始化模块,用于在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
对象变化识别模块,用于在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
对象变化判断模块,用于判断所述跟踪对象的变化是否符合预设条件;
新特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
新特征添加模块,用于当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的形状和大小的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的形态和/或大小相对于上一次对该子区域执行物品识别时的形状和/或大小的变化是否大于预设的阈值。当一个或多个子区域的形状或大小与上一次执行物品时发生了较大的变化时,则其对应的子对象可能会在画面中展示出新的特征或者更为细节的特征。例如其中多个子区域组成了一个帽子子对象,在跟踪对象背对所述当前镜头时,则该帽子正面的部分细节无法被识别到,在跟踪对象转身面向所述当前镜头后,对应帽子子对象的多个子区域的形状将发生较大的变化,从而触发系统对该子对象再次执行特征提取的动作。
进一步的,在上述的用于多镜头的切换控制系统中,所述特征库初始化模块包括:
物品识别模块,用于基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
子对象列表构建模块,用于构建所述跟踪对象的子对象列表;
子区域合并模块,用于将识别为同一物品的多个子区域进行合并为同一个子对象;
子对象记录模块,用于将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
具体的,所述子区域的编号为所述子区域在所述子区域列表中的编号,每个子区域在所述子区域列表中具有唯一编号。每个子区域在所述子区域列表中的编号由系统自动生成。例如,可以按子区域被添加到所述子区域列表中的时间顺序来生成所述子区域的编号。如前所述,所述子对象为所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品,例如头发、眼睛、帽子、衣服、扣子、行李箱、手提包等。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
细化特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
细化特征添加模块,用于当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的图像清晰度的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的图像清晰度相对于上一次对该子区域执行物品识别时的图像清晰度的变化是否大于预设的阈值。对于所述跟踪对象的部分动态特征,在初期由于其距离较远或者运动过快等原因,导致所述当前镜头的拍摄画面中对应动态特征的子区域图像模糊,从而识别得到的特征内容描述较为上位。而在所述当前镜头的拍摄画面的变化过程中,当所述跟踪对象靠近所述当前镜头或者所述跟踪对象处于慢速或停止运动状态时,该部分动态特征对应的子区域可以被清晰地拍摄出来,从而提取出更进一步更加细节的特征内容。例如,可以将“浅色的T恤”细化为“浅灰色的T恤”,“小型轿车”细化为“小型三厢轿车”等。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。