CN109543496A - 一种图像采集方法、装置、电子设备及系统 - Google Patents

一种图像采集方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN109543496A
CN109543496A CN201710868849.4A CN201710868849A CN109543496A CN 109543496 A CN109543496 A CN 109543496A CN 201710868849 A CN201710868849 A CN 201710868849A CN 109543496 A CN109543496 A CN 109543496A
Authority
CN
China
Prior art keywords
image
target
tracked
field
panoramic picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710868849.4A
Other languages
English (en)
Other versions
CN109543496B (zh
Inventor
童鸿翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710868849.4A priority Critical patent/CN109543496B/zh
Publication of CN109543496A publication Critical patent/CN109543496A/zh
Application granted granted Critical
Publication of CN109543496B publication Critical patent/CN109543496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像采集方法、装置及电子设备,在本方案中,确定所包含移动位置数量最多的视场范围,作为目标视场范围,控制采集设备移动至目标视场范围进行图像采集;也就是确定采集设备移动至每个视场范围时采集到的图像中包含的待跟踪目标的数量,将包含待跟踪目标数量最多的视场范围作为目标视场范围;将采集设备移动至目标视场范围进行图像采集,采集到的图像中包含的目标、与该采集设备在当前视场范围下采集到的图像中包含的目标重叠最多,也就是说,应用本方案,提高了采集到的图像中追踪目标的数量。

Description

一种图像采集方法、装置、电子设备及系统
技术领域
本发明涉及视频监控技术领域,特别是涉及一种图像采集方法、装置、电子设备及系统。
背景技术
目前存在一些采集设备,可以通过指令来控制这些采集设备移动,比如,可以通过指令来控制球机转动。现有方案中,可以通过控制采集设备移动,以采集包含相同目标的图像,进而可以实现对图像中的目标进行追踪。
以球机为例来说,获取球机在当前视场范围下采集的一张图像,识别该张图像中的待追踪目标,并预测该目标的轨迹,如果预测该目标向左移动,则控制球机向左转动,继续采集包含该目标的图像,以对该目标进行追踪。
但是,如果在图像中识别出多个待追踪目标,且预测这多个目标的轨迹并不一致,比如,预测一个目标向左移动,另一个目标向右移动,则利用上述方案控制设备移动,只能向一个方向移动,继续采集包含一个目标的图像,这样,采集到的图像中相同目标的数量较少,进而追踪的目标数量也较少。
发明内容
本发明实施例的目的在于提供一种图像采集方法、装置、电子设备及系统,以提高采集到的图像中追踪目标的数量。
为达到上述目的,本发明实施例提供了一种图像采集方法,包括:
获取采集设备在当前视场范围下采集到的图像,作为待处理图像;
确定每个待追踪目标在所述待处理图像中的位置;
预测所述每个待追踪目标的轨迹;
计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;
针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;
针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;
确定所包含移动位置数量最多的视场范围,作为目标视场范围;
控制所述采集设备移动至所述目标视场范围进行图像采集。
可选的,所述确定每个待追踪目标在所述待处理图像中的位置,可以包括:
获取所述采集设备所在场景的全景图像;
识别所述全景图像中的待追踪目标;
根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
可选的,所述获取所述采集设备所在场景的全景图像,可以包括:
获取针对所述采集设备所在场景采集的多张不同视场角的图像;
在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像。
可选的,所述在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像,可以包括:
利用尺度不变特征变换算法,在所述多张不同视场角的图像之间检测出匹配的特征点;
利用所述匹配的特征点,对所述多张不同视场角的图像进行拼接,得到拼接图像;
对所述拼接图像进行柱面投影变换,得到全景图像。
可选的,所述采集设备为球机,所述全景图像为二维图像;得到所述映射关系的过程可以包括:
在所述全景图像选取像素点,作为第一标定点;
在所述球机所采集图像中,确定与所述第一标定点相匹配的第二标定点;其中,每对相匹配的第一标定点与第二标定点对应世界坐标系的同一个点;
将第一标定点的二维坐标值转换为第一三维坐标值;将第二标定点的二维坐标值转换为第二三维坐标值;
针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的映射关系。
可选的,在所述识别所述全景图像中的待追踪目标之后,在所述获取采集设备在当前视场范围下采集到的图像,作为待处理图像之前,还可以包括:
根据所述映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围;
控制所述球机移动至所确定的视场范围,作为当前视场范围。
可选的,在所述识别所述全景图像中的待追踪目标之后,还可以包括:
确定识别出的待追踪目标的数量;
判断所述待追踪目标的数量是否大于预设阈值;
如果是,执行所述根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置的步骤;
如果否,在所述全景图像中的待追踪目标中,确定一个当前目标;
根据所述映射关系,确定所述当前目标映射到所述待处理图像中的位置;
预测所述当前目标的轨迹;
根据所预测的轨迹,控制所述采集设备的移动,直至满足预设停止追踪条件的情况下,重新获取所述采集设备所在场景的、新全景图像,并继续执行识别所述新全景图像中的待追踪目标的步骤。
可选的,在所述控制所述采集设备移动至所述目标视场范围进行图像采集之后,还可以包括:
获取所述采集设备在所述目标视场范围采集到的新待处理图像、以及所述采集设备所在场景的新全景图像;
在所述新全景图像中识别所述待追踪目标;
根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置。
可选的,在所述根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置之后,还可以包括:
对所述待处理图像中的每个待追踪目标进行分析,得到目标属性;
在所述根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置之后,还可以包括:
对所述新待处理图像中的待追踪目标进行分析,得到目标属性;
在对所述待处理图像中的每个待追踪目标进行分析,得到目标属性之后,以及在对所述新待处理图像中的待追踪目标进行分析,得到目标属性之后,所述方法还可以包括:
将目标属性显示至所述全景图像中。
可选的,所述将目标属性显示至所述全景图像中,可以包括:
判断所述目标属性与所述全景图像中的已显示属性是否相同,所述已显示属性与所述目标属性对应同一待追踪目标;
如果不同,将所述目标属性替换所述已显示属性。
为达到上述目的,本发明实施例还提供了一种图像采集装置,包括:
第一获取模块,用于获取采集设备在当前视场范围下采集到的图像,作为待处理图像;
第一确定模块,用于确定每个待追踪目标在所述待处理图像中的位置;
第一预测模块,用于预测所述每个待追踪目标的轨迹;
第一计算模块,用于计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;
第二确定模块,用于针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;
第三确定模块,用于针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;
第四确定模块,用于确定所包含移动位置数量最多的视场范围,作为目标视场范围;
第一控制模块,用于控制所述采集设备移动至所述目标视场范围进行图像采集。
可选的,所述第一确定模块,可以包括:
获取子模块,用于获取所述采集设备所在场景的全景图像;
识别子模块,用于识别所述全景图像中的待追踪目标;
确定子模块,用于根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
可选的,所述获取子模块,可以包括:
获取单元,用于获取针对所述采集设备所在场景采集的多张不同视场角的图像;
匹配单元,用于在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像。
可选的,所述匹配单元,具体可以用于:
利用尺度不变特征变换算法,在所述多张不同视场角的图像之间检测出匹配的特征点;
利用所述匹配的特征点,对所述多张不同视场角的图像进行拼接,得到拼接图像;
对所述拼接图像进行柱面投影变换,得到全景图像。
可选的,所述采集设备为球机,所述全景图像为二维图像;所述装置还可以包括:
选取模块,用于在所述全景图像选取像素点,作为第一标定点;
第五确定模块,用于在所述球机所采集图像中,确定与所述第一标定点相匹配的第二标定点;其中,每对相匹配的第一标定点与第二标定点对应世界坐标系的同一个点;
转换模块,用于将第一标定点的二维坐标值转换为第一三维坐标值;将第二标定点的二维坐标值转换为第二三维坐标值;
第二计算模块,用于针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的映射关系。
可选的,所述装置还可以包括:
第六确定模块,用于根据所述映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围;
第二控制模块,用于控制所述球机移动至所确定的视场范围,作为当前视场范围。
可选的,所述装置还可以包括:
第七确定模块,用于确定识别出的待追踪目标的数量;
判断模块,用于判断所述待追踪目标的数量是否大于预设阈值;如果是,触发所述确定子模块;如果否,触发第八确定模块;
第八确定模块,用于在所述全景图像中的待追踪目标中,确定一个当前目标;
第九确定模块,用于根据所述映射关系,确定所述当前目标映射到所述待处理图像中的位置;
第二预测模块,用于预测所述当前目标的轨迹;
第三控制模块,用于根据所预测的轨迹,控制所述采集设备的移动,直至满足预设停止追踪条件的情况下,重新触发所述获取子模块。
可选的,所述装置还可以包括:
第二获取模块,用于获取所述采集设备在所述目标视场范围采集到的新待处理图像、以及所述采集设备所在场景的新全景图像;
识别模块,用于在所述新全景图像中识别所述待追踪目标;
第十确定模块,用于根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置。
可选的,所述装置还可以包括:
第一分析模块,用于对所述待处理图像中的每个待追踪目标进行分析,得到目标属性;
第二分析模块,用于对所述新待处理图像中的待追踪目标进行分析,得到目标属性;
显示模块,用于将目标属性显示至所述全景图像中。
可选的,所述显示模块,具体可以用于:
判断所述目标属性与所述全景图像中的已显示属性是否相同,所述已显示属性与所述目标属性对应同一待追踪目标;如果不同,将所述目标属性替换所述已显示属性。
为达到上述目的,本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一种图像采集方法。
为达到上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种图像采集方法。
为达到上述目的,本发明实施例还提供了图像处理系统,包括:采集设备及处理设备,其中,
所述采集设备,用于在当前视场范围下进行图像采集,得到待处理图像,并将所述待处理图像发送至所述处理设备;
所述处理设备,用于接收所述待处理图像;确定每个待追踪目标在所述待处理图像中的位置;预测所述每个待追踪目标的轨迹;计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;确定所包含移动位置数量最多的视场范围,作为目标视场范围;向所述采集设备发送控制指令,所述控制指令中携带所述目标视场范围信息;
所述采集设备,还用于根据所述控制指令移动至所述目标视场范围进行图像采集。
作为一种实施方式,所述系统还可以包括:多台视场角不同的相机,所述多台视场角不同的相机与所述采集设备针对同一场景进行图像采集;
所述多台视场角不同的相机中的每台相机,用于针对所述同一场景进行图像采集,并将采集到的图像发送至所述处理设备;
所述处理设备,还用于接收多张不同视场角的图像,在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像;识别所述全景图像中的待追踪目标;根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
该处理设备还可以实现上述任一种图像采集方法。
在本方案中,确定每个视场范围中包含的移动位置的数量,也就是确定采集设备移动至每个视场范围时采集到的图像中包含的待跟踪目标的数量,将包含待跟踪目标数量最多的视场范围作为目标视场范围;将采集设备移动至目标视场范围进行图像采集,采集到的图像中包含的目标、与该采集设备在当前视场范围下采集到的图像中包含的目标重叠最多(相比于将采集设备移动至其他视场范围,目标重叠最多),也就是说,应用本方案,提高了采集到的图像中追踪目标的数量。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像采集方法的第一种流程示意图;
图2为柱面投影变换原理示意图;
图3为本发明实施例提供的一种拼接图像示意图;
图4为本发明实施例提供的一种经柱面投影变换后得到的全景图像示意图;
图5为本发明实施例提供的一种坐标转换示意图;
图6为本发明实施例提供的一种应用场景示意图;
图7为本发明实施例提供的图像采集方法的第二种流程示意图;
图8为本发明实施例提供的一种图像采集装置的结构示意图;
图9为本发明实施例提供的一种电子设备的结构示意图;
图10为本发明实施例提供的图像处理系统的第一种结构示意图;
图11为本发明实施例提供的图像处理系统的第二种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明实施例提供了一种图像采集方法、装置及电子设备。该方法及装置可以应用于各种可移动的采集设备,或者与可移动采集设备通信连接的各种电子设备,具体不做限定。
下面首先对本发明实施例提供的一种图像采集方法进行详细说明。
图1为本发明实施例提供的一种图像采集方法的流程示意图,包括:
S101:获取采集设备在当前视场范围下采集到的图像,作为待处理图像。
S102:确定每个待追踪目标在该待处理图像中的位置。
S103:预测每个待追踪目标的轨迹。
S104:计算该采集设备由当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长。
S105:针对每个待追踪目标的轨迹,以该目标在该待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由该起始点移动一个该时长后所在的位置。
S106:针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量。
S107:确定所包含移动位置数量最多的视场范围,作为目标视场范围。
S108:控制该采集设备移动至该目标视场范围进行图像采集。
应用本发明所示实施例,确定每个视场范围中包含的移动位置的数量,也就是确定采集设备移动至每个视场范围时采集到的图像中包含的待跟踪目标的数量,将包含待跟踪目标数量最多的视场范围作为目标视场范围;将采集设备移动至目标视场范围进行图像采集,采集到的图像中包含的目标、与该采集设备在当前视场范围下采集到的图像中包含的目标重叠最多(相比于将采集设备移动至其他视场范围,目标重叠最多),也就是说,应用本方案,提高了采集到的图像中追踪目标的数量。
下面对图1所示实施进行详细说明:
S101:获取采集设备在当前视场范围下采集到的图像,作为待处理图像。
本实施例中的采集设备为可移动的采集设备,比如可转动的球机。对于球机来说,球机可以水平360度转动,也可以垂直转动,可以通过指令控制球机在各个视场范围下进行图像采集。
具体的,可以通过调整球机的姿态(包含水平位置及垂直位置)调整球机的视场范围,还可以通过调整镜头变倍、变焦控制调整球机的视场范围,也就是说,可以从PTZ(P:Pan,表示球机在水平方向的角度;T:Tilt,表示球机在垂直方向中的角度;Z:Zoom,表示镜头变倍、变焦控制)三个方面对球机的视场范围进行调整。
一般来说,球机的各个视场范围是预先设定的,以水平转动为例来说,各个视场范围可以为每个整数角度,这样,水平方向则有360个视场范围,或者,也可以每5度设定一个视场范围,这样,水平方向则有72个视场范围,或者,每10度设定一个视场范围,这样,水平方向则有36个视场范围,等等,具体不做限定。
假设水平方向有M个视场范围,垂直方向有N个视场范围,每个姿态下有L个视场范围(每个姿态下,Zoom有L种取值),则球机有M*N*L个视场范围。获取球机在当前处于的视场范围(当前视场范围,M*N*L个视场范围中的一种)下采集到的图像,作为待处理图像。
S102:确定每个待追踪目标在该待处理图像中的位置。
待追踪目标可以为人员、车辆等,具体不做限定。
作为一种实施方式,执行主体(执行本方案的设备,以下简称本设备)可以利用各种目标检测算法,比如边缘检测算法,检测图像中的待追踪目标;或者,也可以利用预先训练得到的分类器,检测图像中的待追踪目标,等等,具体不做限定。检测出图像中的待追踪目标,也就得到了待追踪目标在该待处理图像中的位置。
作为另一种实施方式,本发明实施例可以应用于多相机联动的场景中,比如,可以先获取所述采集设备所在场景的全景图像;识别所述全景图像中的待追踪目标;根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
针对该采集设备所在的场景进行图像采集,得到全景图像。全景图像可以理解为视角范围较大的图像,该采集设备采集的图像(S101中的待处理图像)可以理解为全景图像中部分场景的细节图像。
举例来说,该全景图像可以为广角相机,如鱼眼相机采集到的,也可以为多台相机,如多台枪机采集到的图像拼接而成的。
在这种实施方式中,可以先在全景图像中识别出待追踪目标,然后再将全景图像中的待追踪目标映射到细节图像中。全景图像视角范围大,包含更多待跟踪目标,应用这种方式,可以将全景图像中的各个待跟踪目标分别映射至多张细节图像中,这样可以对更多待跟踪目标进行处理。
在本实施方式中,可以预先在全景图像中划分各个图像区域,每个图像区域对应该采集设备(球机)的一个视场范围,在全景图像中识别待追踪目标时,每次可以仅识别一个图像区域中的待追踪目标,这样,便可以在同一张待处理图像中识别出每个待追踪目标的位置。
或者,如果在全景图像中识别出的多个待追踪目标对应到采集设备的不同视场范围,可以每次仅对同一视场范围对应的每个待追踪目标进行处理。
在本发明实施例中,在全景图像中或者待处理图像中识别待追踪目标时,可以预先设定感兴趣区域,仅在感兴趣区域中识别待追踪目标,提高目标识别效率;或者,也可以预先设定屏蔽区域,如果识别出的待追踪目标位于屏蔽区域中,则不对该待追踪目标进行后续处理,或者,仅在非屏蔽区域中识别待追踪目标。
如果该全景图像为多台相机采集到的图像拼接而成的,则获取该全景图像可以包括:
获取针对所述采集设备所在场景采集的多张不同视场角的图像;
在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张图像拼接成一张全景图像。
举例来说,可以在该采集设备(球机)所在的场景中设置多台枪机,这多台枪机分别从该场景的不同角度进行图像采集,得到多张不同视场角的图像。这多张不同视场角的图像中通常会有重叠区域、重叠特征点(空间中的同一个点对应到各张图像中的特征点称为重叠特征点),通过特征点匹配,确定出各张图像中的重叠特征点,利用重叠特征点,将这多张不同视场角的图像拼接成一张全景图像。
具体的,可以利用尺度不变特征变换算法,在所述多张不同视场角的图像之间检测出匹配的特征点;利用所述匹配的特征点,对所述多张不同视场角的图像进行拼接,得到拼接图像;对所述拼接图像进行柱面投影变换,得到全景图像。
尺度不变特征变换算法,也就是SIFT(Scale-invariant feature transform)算法,利用该算法,可以在图像中检测出匹配的特征点,也就是各张图像中的重叠特征点。利用这些重叠特征点,将这多张不同视场角的图像进行拼接后,可以以继续进行柱面投影变换,具体可以如图2所示:
假设各采集设备的运动都发生在x—z平面,而且图像中心点就是光轴与图像平面的交点,通过柱面投影变换得到全景图像,也就是得到O点观察到的原始图像J在柱面空间K上的柱面投影图像J’,原始图像J就是该多张不同视场角的图像,柱面投影图像J’就是经过拼接、柱面投影变换后的全景图像。
假设柱面半径为r,投影角为a,原始图像J宽度为W,原始图像J高度为H,则柱面投影图像J’的宽度为2rsin(a/2),r为拍摄焦距,a为各张原始图像J在柱面投影图像J’中所占的弧度角,柱面投影图像J’的高度仍为H。假设原始图像J的像素点的坐标值均以该图像平面中的最左上角像素点为坐标原点。
假设原始图像J上的一点P(x,y),在柱面投影图像J’中匹配的特征点为P’(x’,y’),点P沿x一z平面和y—z的横截面分别如图(b)和图(c)所示,可得柱面投影变换公式:
x’=r*sin(a/2)+r*sin(arctan((x-W/2)/r)),
y’=H/2+r*(y-H/2)/k;
其中,k=sqrt(r*r+(W/2-x)(W/2-x)),r=W/(2tan(a/2))。
举例来说,将多张不同视场角的图像进行拼接,得到的拼接图像可以如图3所示,对图3中的拼接图像进行柱面投影变换后,得到的全景图像可以如图4所示,可见,经过柱面投影变换后的全景图像具有较好的视觉效果。
得到全景图像后,可以利用各种目标检测算法,比如边缘检测算法,检测全景图像中的待追踪目标;或者,也可以利用预先训练得到的分类器,检测全景图像中的待追踪目标,等等,具体不做限定。
然后根据预先得到的映射关系,将全景图像中的待追踪目标映射到上述待处理图像中,该映射关系为全景图像中像素点与采集设备所采集图像中像素点之间的映射关系。举例来说,假设采集设备为球机,所述全景图像为二维图像,则得到该映射关系的过程可以包括:
在所述全景图像选取像素点,作为第一标定点;
在所述球机所采集图像中,确定与所述第一标定点相匹配的第二标定点;其中,每对相匹配的第一标定点与第二标定点对应世界坐标系的同一个点;
将第一标定点的二维坐标值转换为第一三维坐标值;将第二标定点的二维坐标值转换为第二三维坐标值;
针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的映射关系。
上述过程各步骤的先后顺序可以调整,具体不做限定。
下面详细介绍得到该映射关系的过程:
1、在全景图像选取像素点,作为第一标定点。
为了方便描述,本实施例中,将全景图像中的标定点称为第一标定点,将球机所采集图像中的标定点称为第二标定点。选取第一标定点的方式、以及第一标定点的数量不做限定。
2、确定采集全景图像的相机参数,比如上述例子中,各个枪机的相机参数,该相机参数可以包含该畸变校正参数、焦距等,具体不做限定。根据该相机参数,将第一标定点的二维坐标值转换为第一三维坐标值。
为了方便描述,本实施例中,将第一标定点转换得到的三维坐标值称为第一三维坐标值,将第二标定点转换得到的三维坐标值称为第二三维坐标值。
如图5所示:
O点为镜头所在位置,OC为镜头的光轴,UV平面表示世界坐标系物体所在平面,C点为UV平面与球面的切平面点,假设全景图像中第一标定点P的二维坐标值为(p0.x,p0.y),则点P的第一三维坐标值可以表示为:
p1.x=p0.x-img_w/2;
p1.y=p0.y-img_h/2;
p1.z=(float)FL;
其中,Fl是上述确定出的相机参数中的焦距,img_w为全景图像的宽度,img_h为全景图像的高度。
3、利用相机标定方法,在球机所采集的图像中,确定与上述第一标定点相匹配的第二标定点,每对相匹配的第一标定点与第二标定点对应世界坐标系中的同一个点。
4、将球机所采集图像中的第二标定点的二维坐标值转换为第二三维坐标值。
一般来说,球机所采集图像中像素点的二维坐标值可以与球机P(pan)T(tilt)值相关联,假设第二标定点P的二维坐标值为(pan_arc,tilt_arc),则点P的三维空间坐标值(p2.x,p2.y,p2.z)可以直接根据简单的三角变换得到:
p2.x=(float)(cos(tilt_arc)*sin(pan_arc));
p2.y=(float)(cos(tilt_arc)*cos(pan_arc));
p2.z=(float)sin(tilt_arc)。
5、针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的转换关系,作为该映射关系。
假设点P为世界坐标系中的同一个点,点P映射到全景图像中的第一三维坐标值为(p1.x,p1.y,p1.z),点P映射到球机所采集图像中的第二三维坐标值为(p2.x,p2.y,p2.z)。计算(p1.x,p1.y,p1.z)与(p2.x,p2.y,p2.z)之间的映射关系,一般来说,该映射关系可以为一个3*3的矩阵H。
为了方便描述,将一对相匹配的第一标定点与第二标定点称为一个映射点对。作为一种实施方式,可以针对全部映射点对,每n个进行组合,针对每个组合计算一次矩阵H。比如,n可以为4,具体不做限定。这样,便可以得到多个矩阵H。应用这种实施方式,当存在图像畸变时,可以得到更准确的映射关系。
该映射关系表示的是全景图像与球机所采集图像之间的映射关系,因此,利用该映射关系,便可以确定全景图像中的待追踪目标映射到待处理图像(球机所采集图像)中的位置。
S103:预测每个待追踪目标的轨迹。
预测目标轨迹的方式有多种,举例来说,可以根据待处理图像的前预设数量帧图像中目标的位置,预测目标的移动方向及移动速度,进而预测目标轨迹。或者,也可以仅根据待处理图像中的目标视场范围,预测目标的移动方向及移动速度,进而预测目标轨迹:比如待追踪目标为人员,则可以根据腿的移动方向或者头部朝向等,预测目标的移动方向,并将通常情况下人体步行的速度作为目标的移动速度;再比如,待追踪目标为车辆,则可以根据车头朝向,预测目标的移动方向,并将通常情况下车辆的行驶速度作为目标的移动速度。在此不一一列举。
S104:计算该采集设备由当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长。
一般来说,采集设备的移动速度较稳定,而且该采集设备由当前视场范围移动至每个预设视场范围的距离也是固定的,因此,可以通过该距离及该移动速度,计算该采集设备由当前视场范围移动至每个预设视场范围所需的时长。
根据上述内容描述,对于球机来说,可以从PTZ三方面划分球机的视场范围。为了方便描述,举个简单的例子,仅以球机水平方向的转动为例来说,或者说仅从P方面划分视场范围为例来说:假设如图6所示,图6中的圆表示球机,球机的当前视场范围中,存在三个待追踪目标A、B、C。
假设计算得到球机从当前视场范围移动至视场范围1所需的时长为2秒,球机从当前视场范围移动至视场范围2所需的时长为5秒。球机的视场范围有很多,仅以视场范围1和视场范围2为例进行说明。
S105:针对每个待追踪目标的轨迹,以该目标在该待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由该起始点移动一个该时长后所在的位置。
假设预测得到三个待追踪目标A、B、C的轨迹如图6中所示,以A为例来说:将A在S101中采集到的待处理图像中的位置作为起始点,确定A在其轨迹中的每个移动位置,也就是确定A由起始点移动2秒后到达位置1,确定A由起始点移动5秒后到达位置2。
类似的,确定B由起始点移动2秒后到达位置3,确定B由起始点移动5秒后到达位置4。确定C由起始点移动2秒后到达位置5,确定C由起始点移动4秒后到达位置6。
S106:针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量。
图6中,对于视场范围1来说,其对应的时长为2秒,由当前时刻经过2秒后,视场范围1包含的移动位置为位置1、位置3和位置5;对于视场范围2来说,其对应的时长为5秒,由当前时刻经过5秒后,视场范围2包含的移动位置为位置2和位置4。
S107:确定所包含移动位置数量最多的视场范围,作为目标视场范围。
上述例子中,视场范围1包含的移动位置的数量为3,视场范围2包含的移动位置的数量为2,因此,将视场范围1作为目标视场范围。
S108:控制该采集设备移动至该目标视场范围进行图像采集。
将球机移动至视场范围1进行图像采集。可以理解,球机经过2秒后移动至视场范围1,三个待追踪目标A、B、C在2秒后均移动至球机在视场范围1下的采集范围,也就是说,此时球机采集到的图像中包含这三个待追踪目标A、B、C。
可见,将采集设备移动至目标视场范围进行图像采集,采集到的图像中包含的目标、与该采集设备在当前视场范围下采集到的图像中包含的目标重叠最多(相比于将采集设备移动至其他视场范围,目标重叠最多),也就是说,应用本方案,提高了采集到的图像中追踪目标的数量。
作为一种实施方式,在上述多相机联动的场景中,在识别全景图像中的待追踪目标之后,在获取采集设备在当前视场范围下采集到的图像,作为待处理图像之前,还可以包括:
根据所述映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围;控制所述球机移动至所确定的视场范围,作为当前视场范围。
可以理解,在全景图像中识别出待追踪目标后,联动的球机的当前视场范围可能并不能采集到待追踪目标,因此,可以根据上述映射关系,确定出可以采集到待追踪目标的视场范围(全景图像中的待追踪目标对应的球机的视场范围),控制球机移动至该视场范围后再执行图1所示实施例。
本实施方式的具体流程可以如图7所示,包括:
S701:获取球机所在场景的全景图像。
S702:识别所述全景图像中的待追踪目标。
S703:根据预先得到的映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
在本实施方式中,可以预先在全景图像中划分各个图像区域,每个图像区域对应球机的一个视场范围,在全景图像中识别待追踪目标时,每次可以仅识别一个图像区域中的待追踪目标,这样,S703中便只确定出球机的一个视场范围。
或者,如果在全景图像中识别出的多个待追踪目标对应到球机的不同视场范围,可以每次仅对同一视场范围对应的每个待追踪目标进行处理,这样,S703中也只确定出球机的一个视场范围。
S704:控制所述球机移动至所确定的视场范围,作为当前视场范围。
S705:获取所述球机在当前视场范围下采集到的图像,作为待处理图像。
S706:确定每个待追踪目标在该待处理图像中的位置。
S707:预测每个待追踪目标的轨迹.。
S708:计算所述球机由当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长。
S709:针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置。
S710:针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量。
S711:确定所包含移动位置数量最多的视场范围,作为目标视场范围。
S712:控制所述球机移动至所述目标视场范围进行图像采集。
如果待处理图像中包含的待追踪目标较多,利用图1、图7所示实施例,控制采集设备移动至目标视场范围进行图像采集,可以采集到较多追踪目标,但是如果待处理图像中包含的待追踪目标较少,则可以根据单个目标的轨迹,控制采集设备移动。
作为一种实施方式,可以先判断全景图像中待追踪目标的数量是否大于预设阈值,如果大于,表示待追踪目标的数量较多,可以利用图1、图7所示实施例,控制采集设备的移动(执行所述根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置的步骤),如果不大于,表示待追踪目标的数量较少,可以根据单个目标的轨迹,控制采集设备移动。
具体的,根据单个目标的轨迹,控制采集设备移动的方式可以包括:
在所述全景图像中的待追踪目标中,确定一个当前目标;
根据所述映射关系,确定所述当前目标映射到所述待处理图像中的位置;
预测所述当前目标的轨迹;
根据所预测的轨迹,控制所述采集设备的移动,直至满足预设停止追踪条件的情况下,重新获取所述采集设备所在场景的、新全景图像,并继续执行识别所述新全景图像中的待追踪目标的步骤。
举例来说,假设当前采集到的全景图像中包含两个待追踪目标X和Y,确定一个当前目标,确定方式不作限定,可以随机,也可以由用户指定,也可以按照识别出目标的先后顺序,确定当前目标。假设将目标X确定为当前目标。
确定当前目标X映射到球机图像中的位置,并预测当前目标X的轨迹,假设当前目标X向左移动,则控制球机向左转动。可以设定停止追踪条件,比如,确定该目标X不在球机的采集范围内时,停止追踪,具体的,可以通过该目标X在全景图像中的位置,判断该目标X是否在球机的采集范围内。或者,可以设定追踪时长,达到该时长后,停止追踪;或者,也可以在接收到停止追踪指令后,停止追踪,等等,具体情况不做限定。
满足预设停止追踪条件后,重新获取新全景图像。具体的,可以重新获取多台枪机采集到的多张不同视场角的图像,重新拼接、柱面投影变换,得到新全景图像。识别新全景图像中的待追踪目标,确定该新全景图像中的待追踪目标的数量是否大于预设阈值……后续步骤与前面内容类似,不再赘述。
在本实施方式中,也可以确定当前目标的目标特征,并根据当该目标特征,确定当前目标映射到所述待处理图像中的位置。
确定当前目标的目标特征的方式有很多,比如,利用颜色直方图、颜色矩等方式确定当前目标的颜色特征,或者利用统计法、几何法、模型法等方式确定当前目标的纹理特征,或者利用边界特征法、几何参数法、目标检测算法等方式确定当前目标的形状特征,或者利用预先训练得到的神经网络确定当前目标的目标特征,等等,具体不做限定。
在本发明的一个可选实施例中,上述“根据单个目标的轨迹,控制采集设备移动的方式”与“本发明图1、图7实施例提供的控制采集设备移动的方式”可以根据用户指令切换执行。
作为一种实施方式,控制采集设备移动后,可以对待追踪目标进行追踪。具体的,可以获取所述采集设备在所述目标视场范围采集到的新待处理图像、以及所述采集设备所在场景的新全景图像;在所述新全景图像中识别所述待追踪目标;根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置。
在本实施方式中,球机与多台枪机可以实时进行图像采集,因此,控制球机移动后,可以获取到新待处理图像、新全景图像。可以先在新全景图像中识别出待追踪目标,需要说明的是,这里的待追踪目标与图1、图7实施例中的待追踪目标为相同的目标,或者说,这里的待追踪目标为图1、图7实施例中的部分待追踪目标。然后再将该待追踪目标映射至新待处理图像中,在待处理图像中、新待处理图像中确定出追踪目标的位置,便实现了目标追踪。
作为一种实施方式,在所述根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置之后,还可以包括:
对所述待处理图像中的每个待追踪目标进行分析,得到目标属性;
在所述根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置之后,还包括:
对所述新待处理图像中的待追踪目标进行分析,得到目标属性;
在对所述待处理图像中的每个待追踪目标进行分析,得到目标属性之后,以及在对所述新待处理图像中的待追踪目标进行分析,得到目标属性之后,所述方法还可以包括:
将目标属性显示至所述全景图像中。
在本实施方式中,对球机采集的图像(待处理图像、新待处理图像)中的待追踪目标进行分析,得到目标属性,并将目标属性显示到全景图像中。可以理解,全景图像的视角范围较大,但是细节展示并不清晰,而球机采集到的图像细节展示较清晰,对球机采集到的图像进行分析得到的目标属性较准确,将该目标属性显示到全景图像中,用户可以从全景图像中得到较准确的目标属性。
举例来说,如果待追踪目标为人员,则目标属性可以包含目标身份信息,比如名称、ID等,也可以为性别或其他;如果目标为车辆,该目标属性可以为车牌号、车型等,具体不做限定。
作为一种实施方式,将目标属性显示至所述全景图像中,可以包括:
判断目标属性与所述全景图像中的已显示属性是否相同,所述已显示属性与所述目标属性对应同一待追踪目标;
如果不同,将所述目标属性替换所述已显示属性。
在本实施方式中,全景图像中的已显示属性可以为:对全景图像中的待追踪目标进行分析,得到的属性。可以理解,全景图像的细节展示并不清晰,对全景图像进行分析得到的属性准确性较差。因此,可以将上述确定出的较准确的目标属性替换该已显示属性。
或者,该已显示属性也可以为当前显示的目标属性,可以理解,将目标属性替换该已显示属性后,目标属性便成为了已显示属性。如果后续对新待处理图像进行分析后,得到了新的目标属性,并且该目标属性与原目标属性(已显示属性)不同,则将该新的目标属性替换该原目标属性(已显示属性)。
与上述方法实施例相对应,本发明实施例还提供了一种图像采集装置,如图8所示,包括:
第一获取模块801,用于获取采集设备在当前视场范围下采集到的图像,作为待处理图像;
第一确定模块802,用于确定每个待追踪目标在所述待处理图像中的位置;
第一预测模块803,用于预测所述每个待追踪目标的轨迹;
第一计算模块804,用于计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;
第二确定模块805,用于针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;
第三确定模块806,用于针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;
第四确定模块807,用于确定所包含移动位置数量最多的视场范围,作为目标视场范围;
第一控制模块808,用于控制所述采集设备移动至所述目标视场范围进行图像采集。
作为一种实施方式,第一确定模块802,可以包括:获取子模块、识别子模块和确定子模块(图中未示出),其中,
获取子模块,用于获取所述采集设备所在场景的全景图像;
识别子模块,用于识别所述全景图像中的待追踪目标;
确定子模块,用于根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
作为一种实施方式,所述获取子模块,可以包括:
获取单元,用于获取针对所述采集设备所在场景采集的多张不同视场角的图像;
匹配单元,用于在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像。
作为一种实施方式,所述匹配单元,具体可以用于:
利用尺度不变特征变换算法,在所述多张不同视场角的图像之间检测出匹配的特征点;
利用所述匹配的特征点,对所述多张不同视场角的图像进行拼接,得到拼接图像;
对所述拼接图像进行柱面投影变换,得到全景图像。
作为一种实施方式,所述采集设备为球机,所述全景图像为二维图像;所述装置还可以包括:选取模块、第五确定模块、转换模块和第二计算模块(图中未示出),其中,
选取模块,用于在所述全景图像选取像素点,作为第一标定点;
第五确定模块,用于在所述球机所采集图像中,确定与所述第一标定点相匹配的第二标定点;其中,每对相匹配的第一标定点与第二标定点对应世界坐标系的同一个点;
转换模块,用于将第一标定点的二维坐标值转换为第一三维坐标值;将第二标定点的二维坐标值转换为第二三维坐标值;
第二计算模块,用于针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的映射关系。
作为一种实施方式,所述装置还可以包括:第六确定模块和第二控制模块(图中未示出),其中,
第六确定模块,用于根据所述映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围;
第二控制模块,用于控制所述球机移动至所确定的视场范围,作为当前视场范围。
作为一种实施方式,所述装置还可以包括:第七确定模块、判断模块、第八确定模块、第九确定模块、第二预测模块和第三控制模块(图中未示出),其中,
第七确定模块,用于确定识别出的待追踪目标的数量;
判断模块,用于判断所述待追踪目标的数量是否大于预设阈值;如果是,触发所述确定子模块;如果否,触发第八确定模块;
第八确定模块,用于在所述全景图像中的待追踪目标中,确定一个当前目标;
第九确定模块,用于根据所述映射关系,确定所述当前目标映射到所述待处理图像中的位置;
第二预测模块,用于预测所述当前目标的轨迹;
第三控制模块,用于根据所预测的轨迹,控制所述采集设备的移动,直至满足预设停止追踪条件的情况下,重新触发所述获取子模块。
作为一种实施方式,所述装置还可以包括:第二获取模块、识别模块和第十确定模块(图中未示出),其中,
第二获取模块,用于获取所述采集设备在所述目标视场范围采集到的新待处理图像、以及所述采集设备所在场景的新全景图像;
识别模块,用于在所述新全景图像中识别所述待追踪目标;
第十确定模块,用于根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置。
作为一种实施方式,所述装置还可以包括:第一分析模块、第二分析模块和显示模块(图中未示出),其中,
第一分析模块,用于对所述待处理图像中的每个待追踪目标进行分析,得到目标属性;
第二分析模块,用于对所述新待处理图像中的待追踪目标进行分析,得到目标属性;
显示模块,用于将目标属性显示至所述全景图像中。
作为一种实施方式,所述显示模块,具体可以用于:
判断所述目标属性与所述全景图像中的已显示属性是否相同,所述已显示属性与所述目标属性对应同一待追踪目标;如果不同,将所述目标属性替换所述已显示属性。
应用本发明图8所示实施例,确定每个视场范围中包含的移动位置的数量,也就是确定采集设备移动至每个视场范围时采集到的图像中包含的待跟踪目标的数量,将包含待跟踪目标数量最多的视场范围作为目标视场范围;将采集设备移动至目标视场范围进行图像采集,采集到的图像中包含的目标、与该采集设备在当前视场范围下采集到的图像中包含的目标重叠最多(相比于将采集设备移动至其他视场范围,目标重叠最多),也就是说,应用本方案,提高了采集到的图像中追踪目标的数量。
本发明实施例还提供了一种电子设备,如图9所示,包括处理器901和存储器902,其中,
存储器902,用于存放计算机程序;
处理器901,用于执行存储器902上所存放的程序时,实现上述任一种图像采集方法。
该电子设备可以为各种可移动的采集设备,或者也可以为与可移动采集设备通信连接的设备,具体不做限定。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种图像采集方法。
本发明实施例还提供一种图像处理系统,如图10所示,包括:采集设备及处理设备,其中,
所述采集设备,用于在当前视场范围下进行图像采集,得到待处理图像,并将所述待处理图像发送至所述处理设备;
所述处理设备,用于接收所述待处理图像;确定每个待追踪目标在所述待处理图像中的位置;预测所述每个待追踪目标的轨迹;计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;确定所包含移动位置数量最多的视场范围,作为目标视场范围;向所述采集设备发送控制指令,所述控制指令中携带所述目标视场范围信息;
所述采集设备,还用于根据所述控制指令移动至所述目标视场范围进行图像采集。
处理设备与采集设备可以为不同的设备,也可以一体设置,具体不做限定。
作为一种实施方式,系统中还可以包括:多台视场角不同的相机,所述多台视场角不同的相机与所述采集设备针对同一场景进行图像采集;
所述多台视场角不同的相机中的每台相机,用于针对所述同一场景进行图像采集,并将采集到的图像发送至所述处理设备;
所述处理设备,还用于接收多张不同视场角的图像,在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像;识别所述全景图像中的待追踪目标;根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
如图11所示,该采集设备可以为球机,球机与多台相机(相机1、相机2……相机N)分别与处理设备通信连接,这多台相机的视场角不同。每台相机将采集到的图像发送至处理设备,处理设备将这多台相机采集的图像拼接成一张全景图像;处理设备识别全景图像中的待追踪目标;
另外,假设球机也将采集到的待处理图像发送至处理设备,处理设备将全景图像中的待追踪目标映射到待处理图像中,确定待追踪目标在待处理图像中的位置;这样,本系统实现了多相机联动识别追踪目标。
该处理设备还可以用于实现上述任一种图像采集方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例、系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (23)

1.一种图像采集方法,其特征在于,包括:
获取采集设备在当前视场范围下采集到的图像,作为待处理图像;
确定每个待追踪目标在所述待处理图像中的位置;
预测所述每个待追踪目标的轨迹;
计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;
针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;
针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;
确定所包含移动位置数量最多的视场范围,作为目标视场范围;
控制所述采集设备移动至所述目标视场范围进行图像采集。
2.根据权利要求1所述的方法,其特征在于,所述确定每个待追踪目标在所述待处理图像中的位置,包括:
获取所述采集设备所在场景的全景图像;
识别所述全景图像中的待追踪目标;
根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述获取所述采集设备所在场景的全景图像,包括:
获取针对所述采集设备所在场景采集的多张不同视场角的图像;
在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像。
4.根据权利要求3所述的方法,其特征在于,所述在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像,包括:
利用尺度不变特征变换算法,在所述多张不同视场角的图像之间检测出匹配的特征点;
利用所述匹配的特征点,对所述多张不同视场角的图像进行拼接,得到拼接图像;
对所述拼接图像进行柱面投影变换,得到全景图像。
5.根据权利要求2所述的方法,其特征在于,所述采集设备为球机,所述全景图像为二维图像;得到所述映射关系的过程包括:
在所述全景图像选取像素点,作为第一标定点;
在所述球机所采集图像中,确定与所述第一标定点相匹配的第二标定点;其中,每对相匹配的第一标定点与第二标定点对应世界坐标系的同一个点;
将第一标定点的二维坐标值转换为第一三维坐标值;将第二标定点的二维坐标值转换为第二三维坐标值;
针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的映射关系。
6.根据权利要求5所述的方法,其特征在于,在所述识别所述全景图像中的待追踪目标之后,在所述获取采集设备在当前视场范围下采集到的图像,作为待处理图像之前,还包括:
根据所述映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围;
控制所述球机移动至所确定的视场范围,作为当前视场范围。
7.根据权利要求2所述的方法,其特征在于,在所述识别所述全景图像中的待追踪目标之后,还包括:
确定识别出的待追踪目标的数量;
判断所述待追踪目标的数量是否大于预设阈值;
如果是,执行所述根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置的步骤;
如果否,在所述全景图像中的待追踪目标中,确定一个当前目标;
根据所述映射关系,确定所述当前目标映射到所述待处理图像中的位置;
预测所述当前目标的轨迹;
根据所预测的轨迹,控制所述采集设备的移动,直至满足预设停止追踪条件的情况下,重新获取所述采集设备所在场景的、新全景图像,并继续执行识别所述新全景图像中的待追踪目标的步骤。
8.根据权利要求2所述的方法,其特征在于,在所述控制所述采集设备移动至所述目标视场范围进行图像采集之后,还包括:
获取所述采集设备在所述目标视场范围采集到的新待处理图像、以及所述采集设备所在场景的新全景图像;
在所述新全景图像中识别所述待追踪目标;
根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置。
9.根据权利要求8所述的方法,其特征在于,在所述根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置之后,还包括:
对所述待处理图像中的每个待追踪目标进行分析,得到目标属性;
在所述根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置之后,还包括:
对所述新待处理图像中的待追踪目标进行分析,得到目标属性;
在对所述待处理图像中的每个待追踪目标进行分析,得到目标属性之后,以及在对所述新待处理图像中的待追踪目标进行分析,得到目标属性之后,所述方法还包括:
将目标属性显示至所述全景图像中。
10.根据权利要求9所述的方法,其特征在于,所述将目标属性显示至所述全景图像中,包括:
判断所述目标属性与所述全景图像中的已显示属性是否相同,所述已显示属性与所述目标属性对应同一待追踪目标;
如果不同,将所述目标属性替换所述已显示属性。
11.一种图像采集装置,其特征在于,包括:
第一获取模块,用于获取采集设备在当前视场范围下采集到的图像,作为待处理图像;
第一确定模块,用于确定每个待追踪目标在所述待处理图像中的位置;
第一预测模块,用于预测所述每个待追踪目标的轨迹;
第一计算模块,用于计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;
第二确定模块,用于针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;
第三确定模块,用于针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;
第四确定模块,用于确定所包含移动位置数量最多的视场范围,作为目标视场范围;
第一控制模块,用于控制所述采集设备移动至所述目标视场范围进行图像采集。
12.根据权利要求11所述的装置,其特征在于,所述第一确定模块,包括:
获取子模块,用于获取所述采集设备所在场景的全景图像;
识别子模块,用于识别所述全景图像中的待追踪目标;
确定子模块,用于根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
13.根据权利要求12所述的装置,其特征在于,所述获取子模块,包括:
获取单元,用于获取针对所述采集设备所在场景采集的多张不同视场角的图像;
匹配单元,用于在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像。
14.根据权利要求13所述的装置,其特征在于,所述匹配单元,具体用于:
利用尺度不变特征变换算法,在所述多张不同视场角的图像之间检测出匹配的特征点;
利用所述匹配的特征点,对所述多张不同视场角的图像进行拼接,得到拼接图像;
对所述拼接图像进行柱面投影变换,得到全景图像。
15.根据权利要求12所述的装置,其特征在于,所述采集设备为球机,所述全景图像为二维图像;所述装置还包括:
选取模块,用于在所述全景图像选取像素点,作为第一标定点;
第五确定模块,用于在所述球机所采集图像中,确定与所述第一标定点相匹配的第二标定点;其中,每对相匹配的第一标定点与第二标定点对应世界坐标系的同一个点;
转换模块,用于将第一标定点的二维坐标值转换为第一三维坐标值;将第二标定点的二维坐标值转换为第二三维坐标值;
第二计算模块,用于针对每对相匹配的第一标定点与第二标定点,计算该第一标定点的第一三维坐标值与该第二标定点的第二三维坐标值之间的映射关系。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:
第六确定模块,用于根据所述映射关系,确定所述全景图像中的待追踪目标对应的所述球机的视场范围;
第二控制模块,用于控制所述球机移动至所确定的视场范围,作为当前视场范围。
17.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第七确定模块,用于确定识别出的待追踪目标的数量;
判断模块,用于判断所述待追踪目标的数量是否大于预设阈值;如果是,触发所述确定子模块;如果否,触发第八确定模块;
第八确定模块,用于在所述全景图像中的待追踪目标中,确定一个当前目标;
第九确定模块,用于根据所述映射关系,确定所述当前目标映射到所述待处理图像中的位置;
第二预测模块,用于预测所述当前目标的轨迹;
第三控制模块,用于根据所预测的轨迹,控制所述采集设备的移动,直至满足预设停止追踪条件的情况下,重新触发所述获取子模块。
18.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取所述采集设备在所述目标视场范围采集到的新待处理图像、以及所述采集设备所在场景的新全景图像;
识别模块,用于在所述新全景图像中识别所述待追踪目标;
第十确定模块,用于根据所述映射关系,确定所述待追踪目标映射到所述新待处理图像中的位置。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第一分析模块,用于对所述待处理图像中的每个待追踪目标进行分析,得到目标属性;
第二分析模块,用于对所述新待处理图像中的待追踪目标进行分析,得到目标属性;
显示模块,用于将目标属性显示至所述全景图像中。
20.根据权利要求19所述的装置,其特征在于,所述显示模块,具体用于:
判断所述目标属性与所述全景图像中的已显示属性是否相同,所述已显示属性与所述目标属性对应同一待追踪目标;如果不同,将所述目标属性替换所述已显示属性。
21.一种电子设备,其特征在于,包括处理器和存储器,其中,
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-10任一所述的方法步骤。
22.一种图像处理系统,其特征在于,包括:采集设备及处理设备,其中,
所述采集设备,用于在当前视场范围下进行图像采集,得到待处理图像,并将所述待处理图像发送至所述处理设备;
所述处理设备,用于接收所述待处理图像;确定每个待追踪目标在所述待处理图像中的位置;预测所述每个待追踪目标的轨迹;计算所述采集设备由所述当前视场范围移动至每个预设视场范围所需的时长,作为每个预设视场范围对应的时长;针对每个待追踪目标的轨迹,以该目标在所述待处理图像中的位置为起始点,分别确定该目标在该轨迹中的每个移动位置,所述移动位置为:由所述起始点移动一个所述时长后所在的位置;针对每个预设视场范围,确定由当前时刻经过该视场范围对应的时长后、该视场范围中包含的移动位置的数量;确定所包含移动位置数量最多的视场范围,作为目标视场范围;向所述采集设备发送控制指令,所述控制指令中携带所述目标视场范围信息;
所述采集设备,还用于根据所述控制指令移动至所述目标视场范围进行图像采集。
23.根据权利要求22所述的系统,其特征在于,所述系统还包括:多台视场角不同的相机,所述多台视场角不同的相机与所述采集设备针对同一场景进行图像采集;
所述多台视场角不同的相机中的每台相机,用于针对所述同一场景进行图像采集,并将采集到的图像发送至所述处理设备;
所述处理设备,还用于接收多张不同视场角的图像,在所述多张不同视场角的图像之间进行特征点匹配,根据匹配结果,将所述多张不同视场角的图像拼接成一张全景图像;识别所述全景图像中的待追踪目标;根据预先得到的映射关系,确定所述全景图像中的待追踪目标映射到所述待处理图像中的位置,所述映射关系为所述全景图像中像素点与所述采集设备所采集图像中像素点之间的映射关系。
CN201710868849.4A 2017-09-22 2017-09-22 一种图像采集方法、装置、电子设备及系统 Active CN109543496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710868849.4A CN109543496B (zh) 2017-09-22 2017-09-22 一种图像采集方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710868849.4A CN109543496B (zh) 2017-09-22 2017-09-22 一种图像采集方法、装置、电子设备及系统

Publications (2)

Publication Number Publication Date
CN109543496A true CN109543496A (zh) 2019-03-29
CN109543496B CN109543496B (zh) 2020-11-27

Family

ID=65830582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710868849.4A Active CN109543496B (zh) 2017-09-22 2017-09-22 一种图像采集方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN109543496B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112207812A (zh) * 2019-07-12 2021-01-12 阿里巴巴集团控股有限公司 设备控制方法、设备、系统及存储介质
CN113038031A (zh) * 2021-03-02 2021-06-25 天津天地伟业智能安全防范科技有限公司 一种枪球联动的标定方法、装置、电子设备及存储介质
CN113301273A (zh) * 2021-05-24 2021-08-24 浙江大华技术股份有限公司 跟踪方式的确定方法、装置、存储介质及电子装置
EP4049446A4 (en) * 2019-12-20 2022-12-07 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR SETTING A MONITORING DEVICE

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103075999A (zh) * 2013-01-23 2013-05-01 四川电力科学研究院 基于图像的实时多目标位置检测方法和系统
CN104794731A (zh) * 2015-05-12 2015-07-22 成都新舟锐视科技有限公司 用于球机控制策略的多目标检测跟踪方法
CN105208349A (zh) * 2015-10-10 2015-12-30 上海慧体网络科技有限公司 一种比赛现场根据场上人数控制摄像头自动跟拍的方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN105407283A (zh) * 2015-11-20 2016-03-16 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
US20170017138A1 (en) * 2015-07-16 2017-01-19 Zerotech (Shenzhen) Intelligence Robot Co., Ltd Cradle head, cradle head camera device and unmanned aerial vehicle
CN106709953A (zh) * 2016-11-28 2017-05-24 广东非思智能科技股份有限公司 一种用于多目标自动跟踪监控系统中的单点定标方法
CN107093188A (zh) * 2017-04-12 2017-08-25 湖南源信光电科技股份有限公司 一种基于全景摄像机和高速球机的智能联动与跟踪方法
CN107105159A (zh) * 2017-04-13 2017-08-29 山东万腾电子科技有限公司 基于SoC的嵌入式运动目标实时检测跟踪系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103075999A (zh) * 2013-01-23 2013-05-01 四川电力科学研究院 基于图像的实时多目标位置检测方法和系统
CN104794731A (zh) * 2015-05-12 2015-07-22 成都新舟锐视科技有限公司 用于球机控制策略的多目标检测跟踪方法
US20170017138A1 (en) * 2015-07-16 2017-01-19 Zerotech (Shenzhen) Intelligence Robot Co., Ltd Cradle head, cradle head camera device and unmanned aerial vehicle
CN105208349A (zh) * 2015-10-10 2015-12-30 上海慧体网络科技有限公司 一种比赛现场根据场上人数控制摄像头自动跟拍的方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN105407283A (zh) * 2015-11-20 2016-03-16 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN106709953A (zh) * 2016-11-28 2017-05-24 广东非思智能科技股份有限公司 一种用于多目标自动跟踪监控系统中的单点定标方法
CN107093188A (zh) * 2017-04-12 2017-08-25 湖南源信光电科技股份有限公司 一种基于全景摄像机和高速球机的智能联动与跟踪方法
CN107105159A (zh) * 2017-04-13 2017-08-29 山东万腾电子科技有限公司 基于SoC的嵌入式运动目标实时检测跟踪系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112207812A (zh) * 2019-07-12 2021-01-12 阿里巴巴集团控股有限公司 设备控制方法、设备、系统及存储介质
EP4049446A4 (en) * 2019-12-20 2022-12-07 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR SETTING A MONITORING DEVICE
US11856285B2 (en) 2019-12-20 2023-12-26 Zhejiang Dahua Technology Co., Ltd. Systems and methods for adjusting a monitoring device
CN113038031A (zh) * 2021-03-02 2021-06-25 天津天地伟业智能安全防范科技有限公司 一种枪球联动的标定方法、装置、电子设备及存储介质
CN113301273A (zh) * 2021-05-24 2021-08-24 浙江大华技术股份有限公司 跟踪方式的确定方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN109543496B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN108111818B (zh) 基于多摄像机协同的运动目标主动感知方法和装置
CN111025283B (zh) 雷达与球机联动的方法及装置
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN109543496A (zh) 一种图像采集方法、装置、电子设备及系统
WO2012023766A2 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
US20090040302A1 (en) Automated surveillance system
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CA2884383A1 (en) Methods, devices and systems for detecting objects in a video
CN106780550A (zh) 一种目标跟踪方法及电子设备
CN109905641A (zh) 一种目标监控方法、装置、设备及系统
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN109712188A (zh) 一种目标跟踪方法及装置
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN111445528A (zh) 一种在3d建模中多相机共同标定方法
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
CN109753930A (zh) 人脸检测方法及人脸检测系统
CN110991306A (zh) 自适应的宽视场高分辨率智能传感方法和系统
CN106780613B (zh) 多摄像头标定结果的可视化方法及其系统
EP3776338A1 (en) Pose estimation using radio frequency signals
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质
CN112001224A (zh) 基于卷积神经网络的视频采集方法和视频采集系统
Bagdanov et al. Acquisition of high-resolution images through on-line saccade sequence planning
Neves et al. A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology
CN106791800B (zh) 全景视频的质量诊断方法及装置
CN106713741B (zh) 全景视频的质量诊断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant