CN116600194A - 一种用于多镜头的切换控制方法及系统 - Google Patents

一种用于多镜头的切换控制方法及系统 Download PDF

Info

Publication number
CN116600194A
CN116600194A CN202310507511.1A CN202310507511A CN116600194A CN 116600194 A CN116600194 A CN 116600194A CN 202310507511 A CN202310507511 A CN 202310507511A CN 116600194 A CN116600194 A CN 116600194A
Authority
CN
China
Prior art keywords
tracking object
adjacent
lens
target area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310507511.1A
Other languages
English (en)
Other versions
CN116600194B (zh
Inventor
王志欣
王勇
黎启
田福鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Miaoqu New Media Technology Co ltd
Original Assignee
Shenzhen Menyaoshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Menyaoshi Technology Co ltd filed Critical Shenzhen Menyaoshi Technology Co ltd
Priority to CN202310507511.1A priority Critical patent/CN116600194B/zh
Publication of CN116600194A publication Critical patent/CN116600194A/zh
Application granted granted Critical
Publication of CN116600194B publication Critical patent/CN116600194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出了一种用于多镜头的切换控制方法及系统,通过在当前镜头的拍摄画面中确定并选中跟踪对象,从所述拍摄画面中提取所述跟踪对象的特征添加到动态特征库,当所述跟踪对象靠近当前镜头的视场边缘时,监测相邻镜头的拍摄画面,判断所述相邻镜头的边缘区域是否存在所述跟踪对象的同类型对象,在所述相邻镜头的拍摄画面的边缘区域存在同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度,当任一相邻镜头中存在与所述动态特征库的匹配度大于预设阈值的同类型对象时,将所述显示装置上的显示画面切换为所述相邻镜头的拍摄画面并在拍摄画面中将所述跟踪对象标记为选中状态,能够拓展跟踪对象的类型,并实现精准高效的目标跟踪。

Description

一种用于多镜头的切换控制方法及系统
技术领域
本发明涉及视频监控技术领域,特别涉及一种用于多镜头的切换控制方法及系统。
背景技术
视频监控技术是现代安防技术的一种重要形式,利用摄像头等设备获取监控区域内的实时影像,并通过算法技术进行目标检测、行为识别等处理,得到预警信息或者录像存储数据。视频监控技术常被用于地铁站、机场、商场等公共场所,企业的厂房、仓库、办公室等重要场所,社区花园、社区广场、电梯等生活场所以及道路、隧道、桥梁、高速公路等交通场所,用来对来往人员、车辆等进行监控以及时发现和识别异常情况,维护秩序和安全,避免财产损失和人员伤亡事故等发生。目标跟踪技术是视频监控中的常用应用技术,由于每个摄像头的拍摄范围有限,城要在一个较大的场所范围内跟踪特定目标时,需要对目标进行识别,分析目标的移动路径并在目标移动至另一个摄像头的拍摄范围时自动执行镜头切换,从而保证目标始终在监控人员的观察当中。目前在视频监控技术领域,最常见的目标跟踪是对人员目标的跟踪,一般采用人脸识别的方式来进行目标识别。然而在实际应用中,由于人员的姿态和朝向是不特定的,无法保证目标人员始终面向摄像头,并且还存在比如目标人员佩戴口罩、戴者帽子或都穿着高领风衣等遮挡脸部的情况,一旦目标人员移动至一个摄像头的拍摄范围之外时,很难再从另一个摄像头的拍摄范围中定位到目标人员,因此采用人脸识别的方式并不能实现精准的目标跟踪效果。
发明内容
本发明正是基于上述问题,提出了一种用于多镜头的切换控制方法及系统,能够拓展跟踪对象的类型,并实现精准高效的目标跟踪。
有鉴于此,本发明的第一方面提出了一种用于多镜头的切换控制方法,包括:
根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
将所述跟踪对象标记为选中状态;
建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
进一步的,在上述的用于多镜头的切换控制方法中,将所述跟踪对象标记为选中状态的步骤具体包括:
根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
更新所述目标区域的边缘线;
反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
进一步的,在上述的用于多镜头的切换控制方法中,根据用户的点击操作确定目标区域的步骤具体包括:
根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
获取预先配置的颜色相似度容限值;
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
进一步的,在上述的用于多镜头的切换控制方法中,判断所述相邻区域与所述目标区域是否持续处于同步运动状态的步骤具体包括:
根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
获取预先配置的同步运动帧数阈值;
在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
进一步的,在上述的用于多镜头的切换控制方法中,在根据用户的点击操作确定目标区域的步骤之后,还包括:
构建所述目标区域的子区域列表;
将根据用户的点击操作确定的目标区域添加到所述子区域列表;
在将所述相邻区域纳入所述目标区域的步骤之后,还包括:
将所述相邻区域添加到所述子区域列表;
识别所述跟踪对象与所述当前镜头的相对姿态;
记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制方法中,记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系的步骤具体包括:
在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
构建连接两两相邻的所述子区域的几何中心的连接向量;
监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制方法中,从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库的步骤具体包括:
在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
判断所述跟踪对象的变化是否符合预设条件;
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
进一步的,在上述的用于多镜头的切换控制方法中,对所述跟踪对象的所述动态特征库进行初始化的步骤具体包括:
基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
构建所述跟踪对象的子对象列表;
将识别为同一物品的多个子区域进行合并为同一个子对象;
将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
进一步的,在上述的用于多镜头的切换控制方法中,在判断所述跟踪对象的变化是否符合预设条件的步骤之后,还包括:
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
本发明的第二方面提出了一种用于多镜头的切换控制系统,包括:
当前镜头确定模块,用于根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
跟踪对象确定模块,用于根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
跟踪对象标记模块,用于将所述跟踪对象标记为选中状态;
特征库构建模块,用于建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
动态特征添加模块,用于从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
相邻镜头监测模块,用于当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
同类型对象判断模块,用于判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
匹配度计算模块,用于在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
目标镜头确定模块,用于当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
显示画面切换模块,用于将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
所述跟踪对象标记模块还用于在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
进一步的,在上述的用于多镜头的切换控制系统中,所述跟踪对象标记模块包括:
目标区域确定模块,用于根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
边缘线处理模块,用于将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
运动状态监测模块,用于监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
同步运动判断模块,用于判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
相邻区域合并模块,用于当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
边缘线更新模块,用于更新所述目标区域的边缘线;
循环执行模块,用于反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
进一步的,在上述的用于多镜头的切换控制系统中,所述目标区域确定模块包括:
选择模式配置模块,用于根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
点击操作接收模块,用于在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
点击信息获取模块,用于获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
容限值获取模块,用于获取预先配置的颜色相似度容限值;
所述目标区域确定模块具体用于将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
进一步的,在上述的用于多镜头的切换控制系统中,所述同步运动判断模块包括:
区域更新模块,用于根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
帧数阈值获取模块,用于获取预先配置的同步运动帧数阈值;
所述同步运动判断模块具体用于在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
子区域列表构建模块,用于构建所述目标区域的子区域列表;
目标区域添加模块,用于将根据用户的点击操作确定的目标区域添加到所述子区域列表;
相邻区域添加模块,用于在将所述相邻区域纳入所述目标区域后,将所述相邻区域添加到所述子区域列表;
相对姿态识别模块,用于识别所述跟踪对象与所述当前镜头的相对姿态;
邻接关系记录模块,用于记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制系统中,所述邻接关系记录模块包括:
中心坐标计算模块,用于在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
连接向量构建模块,用于构建连接两两相邻的所述子区域的几何中心的连接向量;
向量变化监测模块,用于监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
标准向量转换模块,用于根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
所述邻接关系记录模块具体用于将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
进一步的,在上述的用于多镜头的切换控制系统中,所述动态特征添加模块包括:
特征库初始化模块,用于在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
对象变化识别模块,用于在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
对象变化判断模块,用于判断所述跟踪对象的变化是否符合预设条件;
新特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
新特征添加模块,用于当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
进一步的,在上述的用于多镜头的切换控制系统中,所述特征库初始化模块包括:
物品识别模块,用于基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
子对象列表构建模块,用于构建所述跟踪对象的子对象列表;
子区域合并模块,用于将识别为同一物品的多个子区域进行合并为同一个子对象;
子对象记录模块,用于将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
细化特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
细化特征添加模块,用于当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
本发明提出了一种用于多镜头的切换控制方法及系统,通过在当前镜头的拍摄画面中确定并选中跟踪对象,从所述拍摄画面中提取所述跟踪对象的特征添加到动态特征库,当所述跟踪对象靠近当前镜头的视场边缘时,监测相邻镜头的拍摄画面,判断所述相邻镜头的边缘区域是否存在所述跟踪对象的同类型对象,在所述相邻镜头的拍摄画面的边缘区域存在同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度,当任一相邻镜头中存在与所述动态特征库的匹配度大于预设阈值的同类型对象时,将所述显示装置上的显示画面切换为所述相邻镜头的拍摄画面并在拍摄画面中将所述跟踪对象标记为选中状态,能够拓展跟踪对象的类型,并实现精准高效的目标跟踪。
附图说明
图1是本发明一个实施例提供的一种用于多镜头的切换控制方法的流程图;
图2是本发明一个实施例提供的一种用于多镜头的切换控制系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
在本发明的描述中,术语“多个”则指两个或两个以上,除非另有明确的限定,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本说明书的描述中,术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
下面参照附图来描述根据本发明一些实施方式提供的一种用于多镜头的切换控制方法及系统。
如图1所示,本发明的第一方面提出了一种用于多镜头的切换控制方法,包括:
根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
将所述跟踪对象标记为选中状态;
建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
具体的,本发明提供的用于多镜头的切换控制方法应用于多镜头的切换控制系统,所述多镜头切换控制系统运行在一个控制装置中,所述控制装置可以为个人计算机、工作站、服务器或者一体式计算机等计算机设备。所述控制装置与多个摄像装置连接以获取所述摄像装置的拍摄画面数据,根据用户的选择或者默认配置将一个或多个所述摄像装置的拍摄画面显示在与所述控制装置连接的显示装置上。
在本发明的一些实施方式中,所述显示装置具有触控屏幕,所述控制装置通过所述触控屏幕接收用户在所述拍摄画面上的操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过所述触控屏幕在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的另一些实施方式中,所述显示装置不具备触控屏幕,用户通过与所述控制装置连接的输入设备如鼠标等在所述拍摄画面上进行操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过鼠标在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的技术方案中,所述动态特征库中包括所述跟踪对象的本体特征以及所述跟踪对象的子对象特征。示例性的,对于所述本体特征,可以直接采用“本体特征内容”的形式来描述,例如,在所述跟踪对象为一个人时,可以使用“男性”、“中年”、“高瘦”等作为所述本体特征,在所述跟踪对象为一辆车时,可以使用“轿车”、“银灰色”等作为所述本体特征;对于子对象特征,可以使用“子对象的名称+子对象的名称”的形式进行表达,例如,在所述跟踪对象为一个人时,可以使用“蓝白色的鸭舌帽”、“黑白条纹的上衣”、“粗边框的眼镜”等作为所述子对象特征,在所述跟踪对象为一辆车时,可以使用“挂在车尾的备胎”、“立在引擎盖上的车标”、“印刷在车身侧方的XXX文字”等。在该实施方式中,所述子对象指的是所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品。在本发明的一些实施方式中,同一个子对象的不同特征可以同时存在于所述动态特征库中,例如“白色的上衣”以及“下摆位置有口袋的上衣”等。
应当知道的是,所述跟踪对象还可以是所述拍摄画面中的其它移动对象,包括动物或者人随身携带的物品如手提包、行李箱等。
在上述实施方式的技术方案中,判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象的步骤具体包括:
识别所述跟踪对象的类型;
根据预先本置的边缘区域确定范围确定所述相邻镜头的边缘区域;
对所述相邻镜头的边缘区域执行物品识别以确定所述相邻镜头的拍摄画面的边缘区域中是否存在所述跟踪对象的同类型对象。
例如,当所述跟踪对象为人体时,所述同类型对象则为人体;当所述跟踪对象为汽车时,则所述同类型对象为汽车等。
计算每一个所述同类型对象与所述动态特征库中的匹配度的步骤具体包括:
将所述动态特征库中的每一个动态特征与所述同类型对象进行匹配;
将与所述动态特征库中与所述同类型同对象匹配成功的动态特征的数量与所述动态特征库中的动态特征总量之商确定为所述同类型对象的匹配度。
进一步的,在上述的用于多镜头的切换控制方法中,将所述跟踪对象标记为选中状态的步骤具体包括:
根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
更新所述目标区域的边缘线;
反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
在上述实施方式的技述方案中,将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态的步骤具体为将所述目标区域的边缘线显示为封闭的虚线,使所述目标区域在视觉上与所述拍摄画面上的其它区域存在差异。在本发明的另一些实施方式中,还可以使用红色、紫色或其它较为容易识别的颜色作为蒙板覆盖所述目标区域,以使所述目标区域在视觉上更为突出。
进一步的,在上述的用于多镜头的切换控制方法中,根据用户的点击操作确定目标区域的步骤具体包括:
根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
获取预先配置的颜色相似度容限值;
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
具体的,在上述实施方式的技术方案中,所述点击位置的色值是指所述点击位置对应的像素的色值。所述色值可以是RGB色值、YUV色值、CMYK色值、HSV色值或者HSL色值等,具体采用的颜色模式根据实际实施需要进行选择,本发明对此并不作限定。
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域,具体为所述目标区域中包含的所有像素均为与所述点击位置的色值之差的绝对值小于或等于所述颜色相似度容限值的像素,且所述目标区域中的每一个像素至少与所述目标区域中的另一个像素相邻以使所述目标区域形成一个完整独立的未被其它像素分割的区域。以RGB色值为例,设所述点击位置的色位为(R0,G0,B0),所述颜色相似度容限值为中,则所述目标区域内的所有像素的色值均在(R0-k,G0-k,B0-k)~(R0+k,G0+k,B0+k)的范围内,在上述范围中,当R0,G0或者B0中的任一个小于k时,则相应的R0-k,G0-k或者B0-k中的相应值取0,同样的,当R0,G0或者B0中的任一个大于255-k时,则R0+k,G0+k或B0+k的相应值取255。
进一步的,在上述的用于多镜头的切换控制方法中,判断所述相邻区域与所述目标区域是否持续处于同步运动状态的步骤具体包括:
根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
获取预先配置的同步运动帧数阈值;
在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
具体的,所述相邻区域为与所述目标区域邻接但色值与所述目标区域的色值之差的绝对值大于所述颜色相似度容限值,但所述相邻区域内的像素之间的色值之差的绝对值小于或等于所述颜色相似度容限值的区域。在上述实施方式的技术方案中,所述目标区域不再存在与其处于同步运动状态的相邻区域的判断标准为在所述拍摄画面中所述目标区域的所有相邻区域均不满足在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中保持与所述目标区域处于邻接状态。
进一步的,在上述的用于多镜头的切换控制方法中,在根据用户的点击操作确定目标区域的步骤之后,还包括:
构建所述目标区域的子区域列表;
将根据用户的点击操作确定的目标区域添加到所述子区域列表;
在将所述相邻区域纳入所述目标区域的步骤之后,还包括:
将所述相邻区域添加到所述子区域列表;
识别所述跟踪对象与所述当前镜头的相对姿态;
记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
具体的,所述跟踪对象作为一个整体,在其与所述当前镜头之间的相对姿态不变的情况下,其各个部分即所述的子区域之间特别是相邻的子区域之间的相对位置是动态稳定的。所述跟踪对象与所述当前镜头的相对姿态可以使用所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角来表示,所述跟踪对象的朝向可以通过所述目标区域的形状变化及相对位置变化来计算得到。以所述跟踪对象为一个人为例,识别所述子区域列表中为眼部区域的子区域,根据两个眼部区域的形状以及两个眼部区域之间的相对位置可以计算得到所述跟踪对象的朝向,从而得到所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角。
进一步的,在上述的用于多镜头的切换控制方法中,记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系的步骤具体包括:
在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
构建连接两两相邻的所述子区域的几何中心的连接向量;
监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
具体的,所述跟踪对象与所述当前镜头的标准姿态为预先定义的所述跟踪对象的朝向与所述当前镜头的光轴之间为特定的空间夹角的相对姿态,以所述跟踪对象为一个人为例,以所述跟踪对象正面朝向所述当前镜头,且所述跟踪对象的眼部与所述当前镜头高度齐平时,所述空间夹角为(方位角:0,俯仰角:0)的姿态为标准姿态。应当知道的是,该标准姿态仅为示例,现实中的监控摄像头一般比较高,这样的标准姿态在现实中一般不存在,在实际实施方案中,所述标准姿态对应的空间夹角可以为任意自定义角度。
进一步的,在上述的用于多镜头的切换控制方法中,从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库的步骤具体包括:
在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
判断所述跟踪对象的变化是否符合预设条件;
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的形状和大小的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的形态和/或大小相对于上一次对该子区域执行物品识别时的形状和/或大小的变化是否大于预设的阈值。当一个或多个子区域的形状或大小与上一次执行物品时发生了较大的变化时,则其对应的子对象可能会在画面中展示出新的特征或者更为细节的特征。例如其中多个子区域组成了一个帽子子对象,在跟踪对象背对所述当前镜头时,则该帽子正面的部分细节无法被识别到,在跟踪对象转身面向所述当前镜头后,对应帽子子对象的多个子区域的形状将发生较大的变化,从而触发系统对该子对象再次执行特征提取的动作。
进一步的,在上述的用于多镜头的切换控制方法中,对所述跟踪对象的所述动态特征库进行初始化的步骤具体包括:
基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
构建所述跟踪对象的子对象列表;
将识别为同一物品的多个子区域进行合并为同一个子对象;
将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
具体的,所述子区域的编号为所述子区域在所述子区域列表中的编号,每个子区域在所述子区域列表中具有唯一编号。每个子区域在所述子区域列表中的编号由系统自动生成。例如,可以按子区域被添加到所述子区域列表中的时间顺序来生成所述子区域的编号。如前所述,所述子对象为所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品,例如头发、眼睛、帽子、衣服、扣子、行李箱、手提包等。
进一步的,在上述的用于多镜头的切换控制方法中,在判断所述跟踪对象的变化是否符合预设条件的步骤之后,还包括:
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的图像清晰度的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的图像清晰度相对于上一次对该子区域执行物品识别时的图像清晰度的变化是否大于预设的阈值。对于所述跟踪对象的部分动态特征,在初期由于其距离较远或者运动过快等原因,导致所述当前镜头的拍摄画面中对应动态特征的子区域图像模糊,从而识别得到的特征内容描述较为上位。而在所述当前镜头的拍摄画面的变化过程中,当所述跟踪对象靠近所述当前镜头或者所述跟踪对象处于慢速或停止运动状态时,该部分动态特征对应的子区域可以被清晰地拍摄出来,从而提取出更进一步更加细节的特征内容。例如,可以将“浅色的T恤”细化为“浅灰色的T恤”,“小型轿车”细化为“小型三厢轿车”等。
如图2所示,本发明的第二方面提出了一种用于多镜头的切换控制系统,包括:
当前镜头确定模块,用于根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
跟踪对象确定模块,用于根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
跟踪对象标记模块,用于将所述跟踪对象标记为选中状态;
特征库构建模块,用于建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
动态特征添加模块,用于从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
相邻镜头监测模块,用于当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
同类型对象判断模块,用于判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
匹配度计算模块,用于在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
目标镜头确定模块,用于当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
显示画面切换模块,用于将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
所述跟踪对象标记模块还用于在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
具体的,本发明提供的用于多镜头的切换控制方法应用于多镜头的切换控制系统,所述多镜头切换控制系统运行在一个控制装置中,所述控制装置可以为个人计算机、工作站、服务器或者一体式计算机等计算机设备。所述控制装置与多个摄像装置连接以获取所述摄像装置的拍摄画面数据,根据用户的选择或者默认配置将一个或多个所述摄像装置的拍摄画面显示在与所述控制装置连接的显示装置上。
在本发明的一些实施方式中,所述显示装置具有触控屏幕,所述控制装置通过所述触控屏幕接收用户在所述拍摄画面上的操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过所述触控屏幕在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的另一些实施方式中,所述显示装置不具备触控屏幕,用户通过与所述控制装置连接的输入设备如鼠标等在所述拍摄画面上进行操作。在该实施方式中,根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象的步骤具体为根据用户通过鼠标在所述拍摄画面上的点击操作,根据所述点击操作在所述拍摄画面上确定所述跟踪对象。
在本发明的技术方案中,所述动态特征库中包括所述跟踪对象的本体特征以及所述跟踪对象的子对象特征。示例性的,对于所述本体特征,可以直接采用“本体特征内容”的形式来描述,例如,在所述跟踪对象为一个人时,可以使用“男性”、“中年”、“高瘦”等作为所述本体特征,在所述跟踪对象为一辆车时,可以使用“轿车”、“银灰色”等作为所述本体特征;对于子对象特征,可以使用“子对象的名称+子对象的名称”的形式进行表达,例如,在所述跟踪对象为一个人时,可以使用“蓝白色的鸭舌帽”、“黑白条纹的上衣”、“粗边框的眼镜”等作为所述子对象特征,在所述跟踪对象为一辆车时,可以使用“挂在车尾的备胎”、“立在引擎盖上的车标”、“印刷在车身侧方的XXX文字”等。在该实施方式中,所述子对象指的是所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品。在本发明的一些实施方式中,同一个子对象的不同特征可以同时存在于所述动态特征库中,例如“白色的上衣”以及“下摆位置有口袋的上衣”等。
应当知道的是,所述跟踪对象还可以是所述拍摄画面中的其它移动对象,包括动物或者人随身携带的物品如手提包、行李箱等。
在上述实施方式的技术方案中,判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象的步骤具体包括:
识别所述跟踪对象的类型;
根据预先本置的边缘区域确定范围确定所述相邻镜头的边缘区域;
对所述相邻镜头的边缘区域执行物品识别以确定所述相邻镜头的拍摄画面的边缘区域中是否存在所述跟踪对象的同类型对象。
例如,当所述跟踪对象为人体时,所述同类型对象则为人体;当所述跟踪对象为汽车时,则所述同类型对象为汽车等。
计算每一个所述同类型对象与所述动态特征库中的匹配度的步骤具体包括:
将所述动态特征库中的每一个动态特征与所述同类型对象进行匹配;
将与所述动态特征库中与所述同类型同对象匹配成功的动态特征的数量与所述动态特征库中的动态特征总量之商确定为所述同类型对象的匹配度。
进一步的,在上述的用于多镜头的切换控制系统中,所述跟踪对象标记模块包括:
目标区域确定模块,用于根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
边缘线处理模块,用于将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
运动状态监测模块,用于监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
同步运动判断模块,用于判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
相邻区域合并模块,用于当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
边缘线更新模块,用于更新所述目标区域的边缘线;
循环执行模块,用于反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
在上述实施方式的技述方案中,将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态的步骤具体为将所述目标区域的边缘线显示为封闭的虚线,使所述目标区域在视觉上与所述拍摄画面上的其它区域存在差异。在本发明的另一些实施方式中,还可以使用红色、紫色或其它较为容易识别的颜色作为蒙板覆盖所述目标区域,以使所述目标区域在视觉上更为突出。
进一步的,在上述的用于多镜头的切换控制系统中,所述目标区域确定模块包括:
选择模式配置模块,用于根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
点击操作接收模块,用于在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
点击信息获取模块,用于获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
容限值获取模块,用于获取预先配置的颜色相似度容限值;
所述目标区域确定模块具体用于将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
具体的,在上述实施方式的技术方案中,所述点击位置的色值是指所述点击位置对应的像素的色值。所述色值可以是RGB色值、YUV色值、CMYK色值、HSV色值或者HSL色值等,具体采用的颜色模式根据实际实施需要进行选择,本发明对此并不作限定。
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域,具体为所述目标区域中包含的所有像素均为与所述点击位置的色值之差的绝对值小于或等于所述颜色相似度容限值的像素,且所述目标区域中的每一个像素至少与所述目标区域中的另一个像素相邻以使所述目标区域形成一个完整独立的未被其它像素分割的区域。以RGB色值为例,设所述点击位置的色位为(R0,G0,B0),所述颜色相似度容限值为中,则所述目标区域内的所有像素的色值均在(R0-k,G0-k,B0-k)~(R0+k,G0+k,B0+k)的范围内,在上述范围中,当R0,G0或者B0中的任一个小于k时,则相应的R0-k,G0-k或者B0-k中的相应值取0,同样的,当R0,G0或者B0中的任一个大于255-k时,则R0+k,G0+k或B0+k的相应值取255。
进一步的,在上述的用于多镜头的切换控制系统中,所述同步运动判断模块包括:
区域更新模块,用于根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
帧数阈值获取模块,用于获取预先配置的同步运动帧数阈值;
所述同步运动判断模块具体用于在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
具体的,所述相邻区域为与所述目标区域邻接但色值与所述目标区域的色值之差的绝对值大于所述颜色相似度容限值,但所述相邻区域内的像素之间的色值之差的绝对值小于或等于所述颜色相似度容限值的区域。在上述实施方式的技术方案中,所述目标区域不再存在与其处于同步运动状态的相邻区域的判断标准为在所述拍摄画面中所述目标区域的所有相邻区域均不满足在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中保持与所述目标区域处于邻接状态。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
子区域列表构建模块,用于构建所述目标区域的子区域列表;
目标区域添加模块,用于将根据用户的点击操作确定的目标区域添加到所述子区域列表;
相邻区域添加模块,用于在将所述相邻区域纳入所述目标区域后,将所述相邻区域添加到所述子区域列表;
相对姿态识别模块,用于识别所述跟踪对象与所述当前镜头的相对姿态;
邻接关系记录模块,用于记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
具体的,所述跟踪对象作为一个整体,在其与所述当前镜头之间的相对姿态不变的情况下,其各个部分即所述的子区域之间特别是相邻的子区域之间的相对位置是动态稳定的。所述跟踪对象与所述当前镜头的相对姿态可以使用所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角来表示,所述跟踪对象的朝向可以通过所述目标区域的形状变化及相对位置变化来计算得到。以所述跟踪对象为一个人为例,识别所述子区域列表中为眼部区域的子区域,根据两个眼部区域的形状以及两个眼部区域之间的相对位置可以计算得到所述跟踪对象的朝向,从而得到所述跟踪对象的朝向与所述当前镜头的光轴之间的空间夹角。
进一步的,在上述的用于多镜头的切换控制系统中,所述邻接关系记录模块包括:
中心坐标计算模块,用于在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
连接向量构建模块,用于构建连接两两相邻的所述子区域的几何中心的连接向量;
向量变化监测模块,用于监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
标准向量转换模块,用于根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
所述邻接关系记录模块具体用于将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
具体的,所述跟踪对象与所述当前镜头的标准姿态为预先定义的所述跟踪对象的朝向与所述当前镜头的光轴之间为特定的空间夹角的相对姿态,以所述跟踪对象为一个人为例,以所述跟踪对象正面朝向所述当前镜头,且所述跟踪对象的眼部与所述当前镜头高度齐平时,所述空间夹角为(方位角:0,俯仰角:0)的姿态为标准姿态。应当知道的是,该标准姿态仅为示例,现实中的监控摄像头一般比较高,这样的标准姿态在现实中一般不存在,在实际实施方案中,所述标准姿态对应的空间夹角可以为任意自定义角度。
进一步的,在上述的用于多镜头的切换控制系统中,所述动态特征添加模块包括:
特征库初始化模块,用于在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
对象变化识别模块,用于在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
对象变化判断模块,用于判断所述跟踪对象的变化是否符合预设条件;
新特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
新特征添加模块,用于当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的形状和大小的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的形态和/或大小相对于上一次对该子区域执行物品识别时的形状和/或大小的变化是否大于预设的阈值。当一个或多个子区域的形状或大小与上一次执行物品时发生了较大的变化时,则其对应的子对象可能会在画面中展示出新的特征或者更为细节的特征。例如其中多个子区域组成了一个帽子子对象,在跟踪对象背对所述当前镜头时,则该帽子正面的部分细节无法被识别到,在跟踪对象转身面向所述当前镜头后,对应帽子子对象的多个子区域的形状将发生较大的变化,从而触发系统对该子对象再次执行特征提取的动作。
进一步的,在上述的用于多镜头的切换控制系统中,所述特征库初始化模块包括:
物品识别模块,用于基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
子对象列表构建模块,用于构建所述跟踪对象的子对象列表;
子区域合并模块,用于将识别为同一物品的多个子区域进行合并为同一个子对象;
子对象记录模块,用于将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
具体的,所述子区域的编号为所述子区域在所述子区域列表中的编号,每个子区域在所述子区域列表中具有唯一编号。每个子区域在所述子区域列表中的编号由系统自动生成。例如,可以按子区域被添加到所述子区域列表中的时间顺序来生成所述子区域的编号。如前所述,所述子对象为所述跟踪对象本体上的一部分或者贴附、悬挂或者通过其它方式固定在所述跟踪对象本体上的其它物品,例如头发、眼睛、帽子、衣服、扣子、行李箱、手提包等。
进一步的,在上述的用于多镜头的切换控制系统中,还包括:
细化特征判断模块,用于当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
细化特征添加模块,用于当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
具体的,在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化的步骤具体为识别所述子区域列表中各个子区域的图像清晰度的变化。判断所述跟踪对象的变化是否符合预设条件具体为判断每个子区域的图像清晰度相对于上一次对该子区域执行物品识别时的图像清晰度的变化是否大于预设的阈值。对于所述跟踪对象的部分动态特征,在初期由于其距离较远或者运动过快等原因,导致所述当前镜头的拍摄画面中对应动态特征的子区域图像模糊,从而识别得到的特征内容描述较为上位。而在所述当前镜头的拍摄画面的变化过程中,当所述跟踪对象靠近所述当前镜头或者所述跟踪对象处于慢速或停止运动状态时,该部分动态特征对应的子区域可以被清晰地拍摄出来,从而提取出更进一步更加细节的特征内容。例如,可以将“浅色的T恤”细化为“浅灰色的T恤”,“小型轿车”细化为“小型三厢轿车”等。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种用于多镜头的切换控制方法,其特征在于,包括:
根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
将所述跟踪对象标记为选中状态;
建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
2.根据权利要求1所述的用于多镜头的切换控制方法,其特征在于,将所述跟踪对象标记为选中状态的步骤具体包括:
根据用户的点击操作确定目标区域,所述目标区域为与所述点击操作对应的坐标位置具有相近色值的区域;
将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态;
监测所述目标区域及其相邻区域在所述当前镜头的拍摄画面的运动状态;
判断所述相邻区域与所述目标区域是否持续处于同步运动状态;
当所述相邻区域与所述目标区域持续处于同步运动状态时,将所述相邻区域纳入所述目标区域;
更新所述目标区域的边缘线;
反复执行从将所述目标区域的边缘显示为虚线以使所述目标区域被标识为选中状态到更新所述目标区域的边缘线的步骤,直到所述目标区域不再存在与其处于同步运动状态的相邻区域。
3.根据权利要求2所述的用于多镜头的切换控制方法,其特征在于,根据用户的点击操作确定目标区域的步骤具体包括:
根据用户的操作将所述当前镜头的拍摄画面的显示模式配置为对象选择模式;
在对象选择模式下,接收用户在所述当前镜头的拍摄画面上的点击操作;
获取所述点击操的点击位置的坐标值以及所述点击操作的点击位置的色值;
获取预先配置的颜色相似度容限值;
将与所述点击位置邻接的色值与所述点击位置的色值之差小于或等于所述颜色相似度容限值的像素的合集确定为所述目标区域。
4.根据权利要求3所述的用于多镜头的切换控制方法,其特征在于,判断所述相邻区域与所述目标区域是否持续处于同步运动状态的步骤具体包括:
根据所述目标区域和所述相邻区域在所述拍摄画面中的运动状态持续更新所述目标区域和所述相邻区域在所述拍摄画面中的位置和形状;
获取预先配置的同步运动帧数阈值;
在所述拍摄画面在经过大于或等于所述同步运动帧数阈值的帧数的过程中,在每一帧图像内所述相邻区域与所述目标区域始终保持邻接状态时,确定所述相邻区域与所述目标区域处于同步运动状态。
5.根据权利要求2所述的用于多镜头的切换控制方法,其特征在于,在根据用户的点击操作确定目标区域的步骤之后,还包括:
构建所述目标区域的子区域列表;
将根据用户的点击操作确定的目标区域添加到所述子区域列表;
在将所述相邻区域纳入所述目标区域的步骤之后,还包括:
将所述相邻区域添加到所述子区域列表;
识别所述跟踪对象与所述当前镜头的相对姿态;
记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系。
6.根据权利要求5所述的用于多镜头的切换控制方法,其特征在于,记录在所述相对姿态下所述相邻区域与所述子区域列表中其它子区域的邻接关系的步骤具体包括:
在所述当前镜头的拍摄画面的变化过程中,实时计算所述子区域列表中每个子区域的几何中心坐标;
构建连接两两相邻的所述子区域的几何中心的连接向量;
监测所述跟踪对象与所述当前镜头的相对姿态变化以及所述连接向量的大小变化;
根据所述相对姿态将所述连接向量的大小转换为所述跟踪对象与所述当前镜头在标准相对姿态下的向量值;
将所述连接向量在标准相对姿态下的最小值和最大值记录为两两相邻的所述子区域的邻接关系。
7.根据权利要求6所述的用于多镜头的切换控制方法,其特征在于,从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库的步骤具体包括:
在所述目标区域不再存在与其处于同步运动状态的相邻区域后,对所述跟踪对象的所述动态特征库进行初始化;
在所述当前镜头的拍摄画面的变化过程中识别所述跟踪对象的变化;
判断所述跟踪对象的变化是否符合预设条件;
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在新的动态特征;
当存在新的动态特征时,将所述新的动态特征添加到所述动态特征库。
8.根据权利要求7所述的用于多镜头的切换控制方法,其特征在于,对所述跟踪对象的所述动态特征库进行初始化的步骤具体包括:
基于所述当前镜头的拍摄画面上各个子区域的形状以及所述子区域的邻接关系对所述子区域执行物品识别;
构建所述跟踪对象的子对象列表;
将识别为同一物品的多个子区域进行合并为同一个子对象;
将识别到的物品名称以及所包含的子区域的编号记录到所述子对象列表。
9.根据权利要求7所述的用于多镜头的切换控制方法,其特征在于,在判断所述跟踪对象的变化是否符合预设条件的步骤之后,还包括:
当所述跟踪对象的变化符合预设条件时,根据所述跟踪对象中的一个或多个子区域的变化判断是否存在可以进一步细化描述的动态特征;
当存在可以进一步细化描述的动态特征时,更新所述动态特征库中的所述可以进一步细化描述的动态特征的特征内容。
10.一种用于多镜头的切换控制系统,其特征在于,包括:
当前镜头确定模块,用于根据用户的选择或者默认配置确定当前镜头,所述当前镜头为当前在显示装置上显示拍摄画面的摄像装置;
跟踪对象确定模块,用于根据用户的操作在所述当前镜头的拍摄画面中确定跟踪对象;
跟踪对象标记模块,用于将所述跟踪对象标记为选中状态;
特征库构建模块,用于建立所述跟踪对象的动态特征库,所述动态特征库为具有可扩展性的用于描述所述跟踪对象的特征的自然语言合集;
动态特征添加模块,用于从所述拍摄画面中提取所述跟踪对象的特征以添加到所述动态特征库;
相邻镜头监测模块,用于当所述跟踪对象靠近当前镜头的视场边缘时,监测所述当前镜头的相邻镜头的拍摄画面;
同类型对象判断模块,用于判断所述相邻镜头的拍摄画面的边缘区域是否存在所述跟踪对象的同类型对象;
匹配度计算模块,用于在所述相邻镜头的拍摄画面的边缘区域存在所述跟踪对象的同类型对象时,计算每一个所述同类型对象与所述动态特征库中的匹配度;
目标镜头确定模块,用于当任一相邻镜头中存在与所述动态特征库的匹配度大于预设的匹配度阈值的同类型对象时,将所述相邻镜头确定为目标镜头;
显示画面切换模块,用于将所述显示装置上的显示画面切换为所述目标镜头的拍摄画面;
所述跟踪对象标记模块还用于在所述目标镜头的拍摄画面中将所述跟踪对象标记为选中状态。
CN202310507511.1A 2023-05-05 2023-05-05 一种用于多镜头的切换控制方法及系统 Active CN116600194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310507511.1A CN116600194B (zh) 2023-05-05 2023-05-05 一种用于多镜头的切换控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310507511.1A CN116600194B (zh) 2023-05-05 2023-05-05 一种用于多镜头的切换控制方法及系统

Publications (2)

Publication Number Publication Date
CN116600194A true CN116600194A (zh) 2023-08-15
CN116600194B CN116600194B (zh) 2024-07-23

Family

ID=87603805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310507511.1A Active CN116600194B (zh) 2023-05-05 2023-05-05 一种用于多镜头的切换控制方法及系统

Country Status (1)

Country Link
CN (1) CN116600194B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176246A (zh) * 2011-01-30 2011-09-07 西安理工大学 一种多相机目标接力跟踪系统的相机接力关系确定方法
CN103905742A (zh) * 2014-04-10 2014-07-02 北京数码视讯科技股份有限公司 视频文件的切分方法及装置
US20160098836A1 (en) * 2013-05-16 2016-04-07 Konica Minolta, Inc. Image processing device and program
CN105518702A (zh) * 2014-11-12 2016-04-20 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN107666590A (zh) * 2016-07-29 2018-02-06 华为终端(东莞)有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
CN110136166A (zh) * 2019-04-09 2019-08-16 深圳锐取信息技术股份有限公司 一种多路画面的自动跟踪方法
CN110276789A (zh) * 2018-03-15 2019-09-24 杭州海康威视系统技术有限公司 目标跟踪方法及装置
CN111028270A (zh) * 2019-11-14 2020-04-17 浙江大华技术股份有限公司 跟踪全景图像中物体越界的方法、装置、终端及存储装置
CN112507953A (zh) * 2020-12-21 2021-03-16 重庆紫光华山智安科技有限公司 一种目标搜索及追踪方法和装置及设备
CN112819859A (zh) * 2021-02-02 2021-05-18 重庆特斯联智慧科技股份有限公司 一种应用于智慧安防的多目标跟踪方法及装置
CN115063750A (zh) * 2022-04-29 2022-09-16 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质
CN115731266A (zh) * 2022-11-24 2023-03-03 武汉东信同邦信息技术有限公司 跨相机多目标跟踪方法、装置、设备及可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176246A (zh) * 2011-01-30 2011-09-07 西安理工大学 一种多相机目标接力跟踪系统的相机接力关系确定方法
US20160098836A1 (en) * 2013-05-16 2016-04-07 Konica Minolta, Inc. Image processing device and program
CN103905742A (zh) * 2014-04-10 2014-07-02 北京数码视讯科技股份有限公司 视频文件的切分方法及装置
CN105518702A (zh) * 2014-11-12 2016-04-20 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN107666590A (zh) * 2016-07-29 2018-02-06 华为终端(东莞)有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
CN110276789A (zh) * 2018-03-15 2019-09-24 杭州海康威视系统技术有限公司 目标跟踪方法及装置
CN110136166A (zh) * 2019-04-09 2019-08-16 深圳锐取信息技术股份有限公司 一种多路画面的自动跟踪方法
CN111028270A (zh) * 2019-11-14 2020-04-17 浙江大华技术股份有限公司 跟踪全景图像中物体越界的方法、装置、终端及存储装置
CN112507953A (zh) * 2020-12-21 2021-03-16 重庆紫光华山智安科技有限公司 一种目标搜索及追踪方法和装置及设备
CN112819859A (zh) * 2021-02-02 2021-05-18 重庆特斯联智慧科技股份有限公司 一种应用于智慧安防的多目标跟踪方法及装置
CN115063750A (zh) * 2022-04-29 2022-09-16 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质
CN115731266A (zh) * 2022-11-24 2023-03-03 武汉东信同邦信息技术有限公司 跨相机多目标跟踪方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙洛;邸慧军;陶霖密;徐光;: "多摄像机人体姿态跟踪", 清华大学学报(自然科学版), no. 07 *

Also Published As

Publication number Publication date
CN116600194B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
CN105701756B (zh) 图像处理装置和图像处理方法
Harville et al. Foreground segmentation using adaptive mixture models in color and depth
Mangawati et al. Object Tracking Algorithms for video surveillance applications
US9129397B2 (en) Human tracking method and apparatus using color histogram
JP4238278B2 (ja) ジェスチャ・インターフェースの適応型追跡
US20160063731A1 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
JP6654789B2 (ja) 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法
JP5127531B2 (ja) 画像監視装置
KR20110034545A (ko) 화상 처리 장치 및 화상 처리 방법
JP5956248B2 (ja) 画像監視装置
IL204089A (en) A method and system for detection and tracking based on frequency multiplicity and multiplicity
Lin et al. Collaborative pedestrian tracking and data fusion with multiple cameras
CN101398896B (zh) 用于成像设备的提取有强识别力的颜色特征的设备和方法
US20200311438A1 (en) Representative image generation device and representative image generation method
JP4699056B2 (ja) 自動追尾装置及び自動追尾方法
US11615549B2 (en) Image processing system and image processing method
JP2019029747A (ja) 画像監視システム
JP6080572B2 (ja) 通行物体検出装置
Gallego et al. Enhanced foreground segmentation and tracking combining Bayesian background, shadow and foreground modeling
CN116600194B (zh) 一种用于多镜头的切换控制方法及系统
Tu et al. An intelligent video framework for homeland protection
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KaewTrakulPong et al. Adaptive Visual System for Tracking Low Resolution Colour Targets.
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
Hammer et al. Motion segmentation and appearance change detection based 2D hand tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240628

Address after: Room 1, Floor 2, Building 9, Chuangzhi Park, No. 1, Yazipu Road, Yuehu Street, Kaifu District, Changsha City, Hunan Province, 410000

Applicant after: Changsha Miaoqu New Media Technology Co.,Ltd.

Country or region after: China

Address before: 518000 1201 workshop, 101 Shangwei Road, Shangwei village, Zhangkengjing community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN MENYAOSHI TECHNOLOGY CO.,LTD.

Country or region before: China

GR01 Patent grant
GR01 Patent grant