CN110211155A - 目标跟踪方法及相关装置 - Google Patents

目标跟踪方法及相关装置 Download PDF

Info

Publication number
CN110211155A
CN110211155A CN201910465629.6A CN201910465629A CN110211155A CN 110211155 A CN110211155 A CN 110211155A CN 201910465629 A CN201910465629 A CN 201910465629A CN 110211155 A CN110211155 A CN 110211155A
Authority
CN
China
Prior art keywords
target
processing image
visible images
image
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910465629.6A
Other languages
English (en)
Inventor
郑佳
潘华东
吴良健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910465629.6A priority Critical patent/CN110211155A/zh
Publication of CN110211155A publication Critical patent/CN110211155A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种目标跟踪方法及相关装置，其中，目标跟踪方法包括获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像，其中，所述处理图像为滤除预设波段的图像；对处理图像进行目标检测，以获得目标在处理图像上的第一目标区域；确定第一可见光图像中与第一目标区域相对应的第二目标区域；输出与第二目标区域对应的第二可见光图像。上述方案，能够在拍摄过程中实现目标的准确跟踪。

Description

目标跟踪方法及相关装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种目标跟踪方法及相关装置。
背景技术
在图像、视频拍摄过程中，往往需要对目标进行跟踪，以便摄像器件完成目标特写等任务。例如，在教学录播系统中，一般采用学生机采用学生上课视频，并对课堂上有学生起立时对学生进行跟踪、特写，此外，还采用教师机对教师进行跟踪、特写，从而使得录制的教学视频充分展示随堂细节，如课堂的环境、学生的活动、教师的教态等。故此，如何在拍摄过程中，实现目标跟踪成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种目标跟踪方法及相关装置，能够在拍摄过程中实现目标的准确跟踪。
为了解决上述问题，本申请第一方面提供了一种目标跟踪方法，包括获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像，其中，处理图像为滤除预设波段的图像；对处理图像进行目标检测，以获得目标在处理图像上的第一目标区域；确定第一可见光图像中与第一目标区域相对应的第二目标区域；输出与第二目标区域对应的第二可见光图像。
为了解决上述问题，本申请第二方面提供了一种目标跟踪装置，包括相互耦接的存储器和处理器；处理器用于执行存储器存储的程序指令，以实现上述第一方面的方法。
为了解决上述问题，本申请第三方面提供了一种目标跟踪装置，包括获取模块、检测模块、确定模块、输出模块，其中，获取模块用于获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像；检测模块用于对处理图像进行目标检测，以获得目标在处理图像上的第一目标区域；确定模块用于确定第一可见光图像中与第一目标区域相对应的第二目标区域；输出模块用于输出与第二目标区域对应的第二可见光图像。
为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的方法。
上述方案中，获取对目标场景拍摄得到的第一可见光图像和处理图像，并对处理图像进行目标检测，从而获取目标在处理图像上的第一目标区域，并确定第一可见光图像中与第一目标区域对应的第二目标区域，从而输出与第二目标区域对应的第二可见光图像，进而实现了在拍摄过程中，对目标进行跟踪、特写。此外，由于采用处理图像进行目标检测，由于处理图像经滤波处理，故可滤除图像上的干扰信息，故可以尽可能地排除直接采用可见光图像进行目标检测时可能存在的干扰，从而提高目标检测的准确率，进而提高目标跟踪的准确率。
附图说明
图1是本申请目标跟踪方法一实施例的流程示意图；
图2是图1中步骤S12一实施例的流程示意图；
图3是图1中步骤S13一实施例的流程示意图；
图4是图3中步骤S132一实施例的流程示意图；
图5是图1中步骤S14一实施例的流程示意图；
图6是本申请目标跟踪方法另一实施例的流程示意图；
图7是本申请目标跟踪装置一实施例的框架示意图；
图8是本申请目标跟踪装置另一实施例的框架示意图；
图9是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请目标跟踪方法一实施例的流程示意图。具体而言，可以包括：
步骤S11：获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像。
对应于不同的应用场景，摄像器件可以是具备摄像、摄影功能的不同种类的器件。例如，对于教学录播场景，摄像器件可以是教师机；对于商铺监控场景，摄像器件可以是监控摄像机等等，本申请在此不做具体限制。
此外，针对不同的应用场景，目标场景也可以有所不同。例如，对于教学录播场景，目标场景可以是讲台；对于商铺监控场景，目标场景可以是收银台等等，本申请在此不再一一举例。
可见光图像是摄像器件的传感器感测到环境可见光而生成的图像。在一个实施场景中，为了丰富最终呈现的图像的色彩，可见光图像为彩色图像，具体地，第一可见光图像可以是彩色图像。
处理图像为摄像器件自身经过一定预处理后所拍摄得到的图像，具体地，处理图像可以为滤除预设波段的图像。具体的处理方式，可以视应用场景的不同、呈现目的的不同而针对性地设置。例如，针对教学录播场景，为了排除后续采用处理图像进行目标检测时，目标场景中演示文稿内人像等的干扰，以提高目标检测的准确率，处理图像可以是滤除演示文稿后的图像。具体实施时，可以在用于拍摄处理图像的镜头上设置滤光片，例如窄带滤光片或透雾片，从而滤除投影仪或显示大屏放映的演示文稿，在一个实施场景中，窄带滤光片可以是允许通过波段范围在810nm-890nm之间的滤光片，透雾片可以是允许通过波长在750nm以上的滤光片。或者，针对演唱会录制场景，为了排除舞台显示大屏对歌手跟踪、特写时的影响，处理图像可以是滤除显示大屏所投射出的光线后的图像，类似地，也可以在用于拍摄处理图像的镜头上设置滤光片，以滤除显示大屏所投射出的光线。
步骤S12：对处理图像进行目标检测，以获得目标在处理图像上的第一目标区域。
目标检测的算法可以是基于深度学习目标检测模型，从而利用深度学习目标检测网络对处理图像进行目标检测，进而获得目标在处理图像上的第一目标区域，在一个实施场景中，除了获得目标在处理图像上的第一目标区域，还可以进一步确定处理图像上目标的数量。具体地，目标检测算法可以是Fast R-CNN(Convolutional Neural Networks，卷积神经网络)、Faster R-CNN、FPN(Feature Pyramid Networks，特征金字塔网络)等等，目标检测算法是本领域的现有技术，本申请不再一一赘述。
步骤S13：确定第一可见光图像中与第一目标区域相对应的第二目标区域。
由于第一可见光图像和处理图像是由同一台摄像器件拍摄得到的，因此，通过在处理图像上获得的目标的第一目标区域，通过一定的标定关系转换可以获得目标在第一可见光图像上的第二目标区域。
步骤S14：输出与第二目标区域对应的第二可见光图像。
输出与第二目标区域对应的第二可见光图像，从而实现了对目标的跟踪、特写。
上述方式，获取对目标场景拍摄得到的第一可见光图像和处理图像，并对处理图像进行目标检测，从而获取目标在处理图像上的第一目标区域，并确定第一可见光图像中与第一目标区域对应的第二目标区域，从而输出与第二目标区域对应的第二可见光图像，进而实现了在拍摄过程中，对目标进行跟踪、特写。此外，由于采用处理图像进行目标检测，由于处理图像经滤波处理，故可滤除图像上的干扰信息，故可以尽可能地排除直接采用可见光图像进行目标检测时可能存在的干扰，从而提高目标检测的准确率，进而提高目标跟踪的准确率。
请参阅图2，图2是图1中步骤S12一实施例的流程示意图。具体而言，上述步骤S12可以包括：
步骤S121：对处理图像进行目标检测，以确定处理图像上的目标的数量。
目标的数量可以是0个、1个、2个、3个等等，本实施例在此不再一一举例。
步骤S122：判断目标的数量是否符合预设条件，若是，则执行步骤S123。
视应用场景的不同，预设条件可以进行针对性地设置。例如，针对教学录播场景，教师机往往需要对讲台区域的教师或上台答题的学生进行跟踪、特写，从而可以设置预设条件为目标的数量为1。或者，针对演唱会录制，可能设置多个机位，每个机位的摄像机同时进行录制，其中一个机位可能需要对两个歌手进行跟踪、特写，从而可以设置预设条件为目标的数量为2。
步骤S123：获得目标在处理图像上的第一目标区域。
当处理图像中目标的数量符合预设条件时，则继续获取目标在处理图像上的第一目标区域。
在一个实施场景中，若上述步骤S122中，若目标的数量不符合预设条件，则可以执行下述步骤S124。
步骤S124：直接输出第一可见光图像。
当目标的数量不符合预设条件时，可以直接输出第一可见光图像。例如，针对教学录播场景，设置的预设条件为目标的数量为1，从而可以对讲台区域的教师或上台答题的学生进行跟踪、特写，若此时检测得到的目标的数量为0，此时教师可能走下讲台，则直接输出摄像器件对目标场景拍摄得到的第一可见光图像，而不必对教师进行特写，或者此时检测得到的目标的数量为2，此时讲台区域可能既有教师也有上台答题的学生，此时若对教师进行特写，反而遗漏了学生，因而直接输出摄像器件对目标场景拍摄得到的第一可见光图像，以全面呈现学生和教师。
请参阅图3，图3是图1中步骤S13一实施例的流程示意图。具体而言，步骤S13可以包括：
步骤S131：确定第一目标区域在处理图像中的第一位置信息。
在一个实施场景中，第一位置信息包括第一目标区域的边界像素点的位置信息。例如，第一目标区域为一矩形，则为了简化后续将第一位置信息转换为第二位置信息的计算量，第一位置信息可以是第一目标区域对角线上的两个顶点像素的位置信息。在一个实施场景中，第一位置信息可以采用二维坐标表示。
步骤S132：将第一位置信息转换为第一可见光图像上的第二位置信息。
在一个实施场景中，第二位置信息包括第二目标区域的边界像素点的位置信息。例如，第二目标区域为一矩形，则为了简化后续将第一位置信息转换为第二位置信息的计算量，第一位置信息可以是第一目标区域对角线上的两个顶点像素的位置信息，相应地，第二位置信息也可以是第二目标区域对角线上的两个顶点像素的位置信息。在一个实施场景中，第一位置信息可以采用二维坐标表示，相应地，第二位置信息也可以采用二维坐标表示。
具体而言，请参阅图4，步骤S132可以具体包括：
步骤S1321：将第一位置信息转换为对应于摄像器件所在世界坐标系的第三位置信息。
摄像器件采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是像素点的亮度(灰度)，在图像上定义直角坐标系u-v，每一个像素点的坐标(u，v)分别是该像素点在数组中的列数和行数。
由于图像坐标系只表示像素点位于数字图像的列数和行数，并没有用物理单位表示该像素点在图像中的物理位置，因而建立以物理单位(例如厘米)表示成像平面坐标系x-y，并以坐标(x,y)表示以物理单位度量的成像平面坐标系的坐标。在x-y坐标系中，原点定义在摄像器件光轴和图像平面的交点处，其坐标定义为(u0,v0)，每个像素点在x轴和y轴上的物理尺寸为dx、dy，则两个坐标系之间的转换关系可表示为：
其中，s′为因摄像器件成像平面坐标轴互相不正交而引出的倾斜因子(SkewFactor)。
相机坐标系是以相机的聚集中心为原点，以光轴为z轴建立的三维直角坐标系，从成像平面坐标系到相机坐标系属于透视投影关系，从二维转换到三维，利用三角形相似性，最终可以得到相机坐标系中的坐标(Xc,Yc,Zc)与成像平面坐标系的坐标(x,y)之间的转换关系为：
其中，f为相机焦距。
构建世界坐标系的主要目的在于更好地描述相机的位置，在双目视觉中一般讲世界坐标系的原点定在左相机或右相机或者两者x轴方向的中点。世界坐标系坐标(Xw,Yw,Zw)与相机坐标系坐标(Xc,Yc,Zc)之间的相互转换属于刚体变换，只需进行旋转和平移。以R表示旋转矩阵，以T表示偏移矩阵，则两者之间的转换可以表示为：
综上所述，像素点(u,v)与世界坐标系坐标(Xw,Yw,Zw)之间的转换关系可以表示为：
参考上述公式即可将第一位置信息转换为对应于摄像器件所在世界坐标系的第三位置信息。
步骤S1322：将第三位置信息转换为对应于摄像器件的第一可见光图像坐标系的第二位置信息。
在一个实施场景中，类似地，参考以下公式可将第三位置信息转换为对应于摄像器件的第一可见光图像坐标系的第二位置信息。
步骤S133：基于第二位置信息，在第一可见光图像中确定第二目标区域。
基于第二位置信息，在第一可见光图像中确定第二目标区域。在一个实施场景中，第二位置信息为两个像素点的位置信息，则以连接这两个像素点的直线为对角线的矩形表示第二目标区域。
请参阅图5，图5是图1中步骤S14一实施例的流程示意图。具体而言，在实际应用时，摄像器件可能具备变焦镜头、旋转云台等硬件，从而可以依靠硬件实现对目标的跟踪、特写，这种情况下，步骤S14可以包括：
步骤S141：确定目标场景中与第二目标区域对应的目标拍摄区域。
在一个实施场景中，可以在将第一位置信息转换为对应于摄像器件所在世界坐标系的第三位置信息时，确定第二目标区域对应的目标拍摄区域。
步骤S142：调整摄像器件的拍摄区域至目标拍摄区域，输出摄像器件对目标拍摄区域拍摄得到的第二可见光图像。
在一个实施场景中，可以根据目标拍摄区域的坐标计算出摄像器件调整拍摄区域的调整参数，例如焦距、云台旋转方向、角度等等，从而将拍摄区域调整至目标拍摄区域，进而输出摄像器件对目标拍摄区域拍摄得到的第二可见光图像。在一个实施场景中，当在对处理图像进行目标检测而获取目标在处理图像上的第一目标区域时，还可以进一步判断第一目标区域是否位于处理图像的中心位置，若第一目标区域不在处理图像的中心位置，则可以进一步计算调整参数，从而控制摄像器件按照调整参数调整，以使目标在后续拍摄得到的图像中位于其中心位置。
在实际应用时，摄像器件还可能不具备变焦镜头、旋转云台等硬件，从而无法依靠硬件实现对目标的跟踪、特写，这种情况下，步骤S14可以包括：提取第一可见光图像中的第二目标区域的图像数据，以作为第二可见光图像，并输出第二可见光图像。在一个实施场景中，还可以以第一可见光图像的图像数据作为主码流输出，以第二可将光图像的图像数据作为辅码流输出，以供用户在观看时自由切换。
其中，在一个实施例中，摄像器件可以是多目摄像机，且多目摄像机的每一个镜头用于拍摄一个图像，例如，双目摄像机、三目摄像机等等，具体实施时，可以在用于拍摄处理图像的镜头上设置滤光片。当多目摄像机中其中一个镜头不设置滤光片时，可以获取摄像器件利用不同镜头对目标场景拍摄得到的第一可见光图像和至少一个处理图像，例如一个处理图像、两个处理图像等等。进而在对处理图像进行目标检测时，可以对其中一个处理图像进行目标检测，以获得目标在处理图像上的第一目标区域。
此外，请参阅图6，图6是本申请目标跟踪方法另一实施例的流程示意图。当至少一个处理图像包括第一处理图像和第二处理图像时，在确定第一可见光图像中与第一目标区域相对应的第二目标区域之后，还可以包括：
步骤S61：基于第一可见光图像、第一处理图像、第二处理图像，获取第二目标区域中目标的深度信息。
深度信息可以反映目标的三维信息，在一个实施场景中，可以将第一可见光图像、第一处理图像、第二处理图像中对应像素点的视差信息转换为深度信息。
步骤S62：输出目标的深度信息，或基于目标的深度信息确定目标的状态。
在获得第二目标区域中目标的深度信息后，可以输出目标的深度信息，以供后续使用。或者，还可以基于目标的深度信息确定目标的状态，如走动、转身、侧身、跌倒等等，本实施例在此不再一一举例。
请参阅图7，图7是本申请目标跟踪装置70一实施例的框架示意图。目标跟踪装置70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71存储的程序指令，以实现上述任一实施例中的目标跟踪方法的步骤。
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一实施例中的目标跟踪方法。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由多个成电路芯片共同实现。
在一个实施场景中，目标跟踪装置70还包括摄像器件73。本实施例中，处理器72还用于获取摄像器件73对目标场景拍摄得到的第一可见光图像和处理图像，其中，处理图像为滤除预设波段的图像，处理器72还用于对处理图像进行目标检测，以获得目标在处理图像上的第一目标区域，处理器72还用于确定第一可见光图像中与第一目标区域相对应的第二目标区域，处理器72还用于输出与第二目标区域对应的第二可见光图像。
上述方式，可以实现在拍摄过程中，对目标进行跟踪、特写。此外，由于采用处理图像进行目标检测，且处理图像经滤波处理，故可滤除图像上的干扰信息，故可以尽可能地排除直接采用可见光图像进行目标检测时可能存在的干扰，从而提高目标检测的准确率，进而提高目标跟踪的准确率。
在一些实施例中，处理器72还用于对处理图像进行目标检测，以确定处理图像上的目标的数量，处理器72还用于判断若目标的数量符合预设条件，则获得目标在处理图像上的第一目标区域。
在一些实施例中，预设条件为目标的数量为1。
在一些实施例中，处理器72还用于判断若目标的数量不符合预设条件，则直接输出第一可见光图像。
在一些实施例中，处理器72还用于利用深度学习目标检测模型对处理图像进行目标检测，以确定处理图像上的目标的数量。
在一些实施例中，处理器72还用于确定第一目标区域在处理图像中的第一位置信息，处理器72还用于将第一位置信息转换为第一可见光图像上的第二位置信息，处理器72还用于基于第二位置信息，在第一可见光图像中确定第二目标区域。
在一些实施例中，处理器72还用于将第一位置信息转换为对应于摄像器件73所在世界坐标系的第三位置信息，处理器72还用于将第三位置信息转换为对应于摄像器件73的第一可见光图像坐标系的第二位置信息。在一个实施场景中，第一位置信息包括第一目标区域的边界像素点的位置信息，第二位置信息包括第二目标区域的边界像素点的位置信息。
在一些实施例中，处理器72还用于提取第一可见光图像中的第二目标区域的图像数据，以作为第二可见光图像，并输出第二可见光图像。
在一些实施例中，处理器72还用于确定目标场景中与第二目标区域对应的目标拍摄区域；处理器72还用于调整摄像器件73的拍摄区域至目标拍摄区域，输出摄像器件73对目标拍摄区域拍摄得到的第二可见光图像。
在一些实施例中，处理器72还用于获取摄像器件73利用不同镜头对目标场景拍摄得到的第一可见光图像、至少一个处理图像，处理器72还用于对其中一个处理图像进行目标检测，以获得目标在处理图像上的第一目标区域，当至少一个处理图像包括第一处理图像和第二处理图像时，在确定第一可见光图像中与第一目标区域相对应的第二目标区域之后，处理器72还用于基于第一可见光图像、第一处理图像、第二处理图像，获取第二目标区域中目标的深度信息，处理器72还用于输出目标的深度信息，或基于目标的深度信息确定目标的状态。
在一些实施例中，第一可见光图像和第二可见光图像为彩色图像。
在一个实施例中，摄像器件73为多目摄像机，且多目摄像机中的每个镜头用于拍摄一个图像，且用于拍摄处理图像的镜头上设有滤光片。
请参阅图8，图8是本申请目标跟踪装置80另一实施例的框架示意图。具体而言，目标跟踪装置80包括获取模块81、检测模块82、确定模块83、输出模块84，其中，获取模块81用于获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像，其中，处理图像为滤除预设波段的图像；检测模块82用于对处理图像进行目标检测，以获得目标在处理图像上的第一目标区域；确定模块83用于确定第一可见光图像中与第一目标区域相对应的第二目标区域；输出模块84用于输出与第二目标区域对应的第二可见光图像。
上述方案，可以实现在拍摄过程中，对目标进行跟踪、特写。此外，由于采用处理图像进行目标检测，且处理图像经滤波处理，故可滤除图像上的干扰信息，故可以尽可能地排除直接采用可见光图像进行目标检测时可能存在的干扰，从而提高目标检测的准确率，进而提高目标跟踪的准确率。
在一些实施例中，检测模块82包括数量检测模块，用于对处理图像进行目标检测，以确定处理图像上的目标的数量，具体而言，数量检测模块可以利用深度学习目标检测模型对处理图像进行目标检测，以确定处理图像上的目标的数量，检测模块82还包括判断模块，用于判断目标的数量是否符合预设条件，检测模块82还包括区域检测模块，用于当目标的数量符合预设条件时，获得目标在处理图像上的第一目标区域。
在一些实施例中，输出模块84还用于当目标的数量不符合预设条件时，直接输出第一可见光图像。
在一些实施例中，预设条件为目标的数量为1。
在一些实施例中，确定模块83包括第一确定模块，用于确定第一目标区域在处理图像中的第一位置信息，确定模块83还包括转换模块，用于将第一位置信息转换为第一可见光图像上的第二位置信息，确定模块83还包括第二确定模块，用于基于第二位置信息，在第一可见光图像中确定第二目标区域。
在一些实施例中，转换模块用于将第一位置信息转换为对应于摄像器件所在世界坐标系的第三位置信息，转换模块还用于将第三位置信息转换为对应于摄像器件的第一可见光图像坐标系的第二位置信息。
在一些实施例中，第一位置信息包括第一目标区域的边界像素点的位置信息，第二位置信息包括第二目标区域的边界像素点的位置信息。
在一些实施例中，目标跟踪装置80还包括提取模块，用于提取第一可见光图像中的第二目标区域的图像数据，以作为第二可见光图像，输出模块84用于输出第二可见光图像。
在一些实施例中，确定模块83还用于确定目标场景中与第二目标区域对应的目标拍摄区域，目标跟踪装置还包括调整模块，用于调整摄像器件的拍摄区域至目标拍摄区域，输出模块84用于输出摄像器件对目标拍摄区域拍摄得到的第二可见光图像。
在一些实施例中，获取模块81用于获取摄像器件利用不同镜头对目标场景拍摄得到的第一可见光图像、至少一个处理图像，检测模块82用于对其中一个处理图像进行目标检测，以获得目标在处理图像上的第一目标区域。
在一些实施例中，目标跟踪装置80还包括深度模块，用于基于第一可见光图像、第一处理图像、第二处理图像，获取第二目标区域中目标的深度信息，输出模块84用于输出目标的深度信息。
在一些实施例中，目标跟踪装置80还包括状态模块，用于基于目标的深度信息确定目标的状态。
请参阅图9，图9为本申请存储装置90一实施例的框架示意图。本申请存储装置90存储有能够被处理器运行的程序指令91，程序指令91用于实现上述任一目标跟踪方法的实施例中步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种目标跟踪方法，其特征在于，包括：
获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像，其中，所述处理图像为滤除预设波段的图像；
对所述处理图像进行目标检测，以获得所述目标在所述处理图像上的第一目标区域；
确定所述第一可见光图像中与所述第一目标区域相对应的第二目标区域；
输出与所述第二目标区域对应的第二可见光图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述处理图像进行目标检测，以获得所述目标在所述处理图像上的第一目标区域，包括：
对所述处理图像进行目标检测，以确定所述处理图像上的目标的数量；
若所述目标的数量符合预设条件，则获得所述目标在所述处理图像上的第一目标区域。
3.根据权利要求2所述的方法，其特征在于，还包括：
若所述目标的数量不符合所述预设条件，则直接输出所述第一可见光图像；
所述对所述处理图像进行目标检测，以确定所述处理图像上的目标的数量包括：
利用深度学习目标检测模型对所述处理图像进行目标检测，以确定所述处理图像上的目标的数量；
所述预设条件为所述目标的数量为1。
4.根据权利要求1所述的方法，其特征在于，所述确定所述第一可见光图像中与所述第一目标区域相对应的第二目标区域，包括：
确定所述第一目标区域在所述处理图像中的第一位置信息；
将所述第一位置信息转换为所述第一可见光图像上的第二位置信息；
基于所述第二位置信息，在所述第一可见光图像中确定所述第二目标区域。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一位置信息转换为所述第一可见光图像上的第二位置信息，包括：
将所述第一位置信息转换为对应于所述摄像器件所在世界坐标系的第三位置信息；
将所述第三位置信息转换为对应于所述摄像器件的第一可见光图像坐标系的第二位置信息。
6.根据权利要求4所述的方法，其特征在于，所述第一位置信息包括所述第一目标区域的边界像素点的位置信息，所述第二位置信息包括所述第二目标区域的边界像素点的位置信息。
7.根据权利要求1所述的方法，其特征在于，所述输出与所述第二目标区域对应的第二可见光图像，包括：
提取所述第一可见光图像中的第二目标区域的图像数据，以作为所述第二可见光图像，并输出所述第二可见光图像；
或者，确定所述目标场景中与所述第二目标区域对应的目标拍摄区域；
调整所述摄像器件的拍摄区域至所述目标拍摄区域，输出所述摄像器件对所述目标拍摄区域拍摄得到的第二可见光图像。
8.根据权利要求1所述的方法，其特征在于，所述获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像，包括：
获取摄像器件利用不同镜头对所述目标场景拍摄得到的第一可见光图像、至少一个处理图像；
所述对所述处理图像进行目标检测，以获得所述目标在所述处理图像上的第一目标区域，包括：
对其中一个所述处理图像进行目标检测，以获得所述目标在所述处理图像上的第一目标区域；
当所述至少一个处理图像包括第一处理图像和第二处理图像时，在所述确定所述第一可见光图像中与所述第一目标区域相对应的第二目标区域之后，所述方法还包括：
基于所述第一可见光图像、所述第一处理图像、所述第二处理图像，获取所述第二目标区域中目标的深度信息；
输出所述目标的深度信息，或基于所述目标的深度信息确定所述目标的状态。
9.根据权利要求1所述的方法，其特征在于，所述第一可见光图像和所述第二可见光图像为彩色图像；
和/或，所述摄像器件为多目摄像机，且所述多目摄像机中的每个镜头用于拍摄一个图像，且用于拍摄所述处理图像的镜头上设有滤光片。
10.一种目标跟踪装置，其特征在于，包括相互耦接的存储器和处理器；
所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至9任一项所述的方法。
11.根据权利要求10所述的装置，其特征在于，还包括摄像器件，用于拍摄第一可见光图像、第二可见光图像和处理图像。
12.一种目标跟踪装置，其特征在于，包括：
获取模块，用于获取摄像器件对目标场景拍摄得到的第一可见光图像和处理图像；
检测模块，用于对所述处理图像进行目标检测，以获得所述目标在所述处理图像上的第一目标区域；
确定模块，用于确定所述第一可见光图像中与所述第一目标区域相对应的第二目标区域；
输出模块，用于输出与所述第二目标区域对应的第二可见光图像。
13.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至9任一项所述的方法。
CN201910465629.6A 2019-05-30 2019-05-30 目标跟踪方法及相关装置 Pending CN110211155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910465629.6A CN110211155A (zh) 2019-05-30 2019-05-30 目标跟踪方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910465629.6A CN110211155A (zh) 2019-05-30 2019-05-30 目标跟踪方法及相关装置

Publications (1)

Publication Number Publication Date
CN110211155A true CN110211155A (zh) 2019-09-06

Family

ID=67789770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910465629.6A Pending CN110211155A (zh) 2019-05-30 2019-05-30 目标跟踪方法及相关装置

Country Status (1)

Country Link
CN (1) CN110211155A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507327A (zh) * 2020-04-07 2020-08-07 浙江大华技术股份有限公司 一种目标检测方法及装置
CN116112781A (zh) * 2022-05-25 2023-05-12 荣耀终端有限公司 录像方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177017A1 (en) * 2006-02-01 2007-08-02 Bobby Kyle Stress detection device and methods of use thereof
CN105956586A (zh) * 2016-07-15 2016-09-21 瑞胜科信息（深圳）有限公司 一种基于tof 3d摄像机的智能跟踪系统
CN106231223A (zh) * 2016-09-22 2016-12-14 广州东文信息科技有限公司 一种自动人体跟踪录播设备、系统及方法
CN107172383A (zh) * 2016-03-02 2017-09-15 杭州海康威视数字技术股份有限公司 一种对象状态检测方法及装置
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法
CN208257968U (zh) * 2018-05-10 2018-12-18 潍坊核变文化传播有限公司 一种精品课程智能录播系统
CN109460077A (zh) * 2018-11-19 2019-03-12 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177017A1 (en) * 2006-02-01 2007-08-02 Bobby Kyle Stress detection device and methods of use thereof
CN107172383A (zh) * 2016-03-02 2017-09-15 杭州海康威视数字技术股份有限公司 一种对象状态检测方法及装置
CN105956586A (zh) * 2016-07-15 2016-09-21 瑞胜科信息（深圳）有限公司 一种基于tof 3d摄像机的智能跟踪系统
CN106231223A (zh) * 2016-09-22 2016-12-14 广州东文信息科技有限公司 一种自动人体跟踪录播设备、系统及方法
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法
CN208257968U (zh) * 2018-05-10 2018-12-18 潍坊核变文化传播有限公司 一种精品课程智能录播系统
CN109460077A (zh) * 2018-11-19 2019-03-12 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507327A (zh) * 2020-04-07 2020-08-07 浙江大华技术股份有限公司 一种目标检测方法及装置
CN111507327B (zh) * 2020-04-07 2023-04-14 浙江大华技术股份有限公司 一种目标检测方法及装置
CN116112781A (zh) * 2022-05-25 2023-05-12 荣耀终端有限公司 录像方法、装置及存储介质
CN116112781B (zh) * 2022-05-25 2023-12-01 荣耀终端有限公司 录像方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
US7583858B2 (en) Image processing based on direction of gravity
WO2021030002A1 (en) Depth-aware photo editing
CN101322153B (zh) 调节数字图像的曝光和色标
US20060078215A1 (en) Image processing based on direction of gravity
CN109325933A (zh) 一种翻拍图像识别方法及装置
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品
US9756260B1 (en) Synthetic camera lenses
TWI424361B (zh) 物件追蹤方法
CN107911621A (zh) 一种全景图像的拍摄方法、终端设备以及存储介质
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
US9241141B1 (en) Projection block extraction
CN106713740A (zh) 定位跟踪摄像方法与系统
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN110288511A (zh) 基于双相机图像的最小化误差拼接方法、装置、电子设备
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
CN110211155A (zh) 目标跟踪方法及相关装置
JP7013144B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101715781B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
CN106469435B (zh) 图像处理方法、装置及设备
WO2020255766A1 (ja) 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム
JP7021036B2 (ja) 電子機器及び通知方法
Bisagno et al. Virtual camera modeling for multi-view simulation of surveillance scenes
US20070242876A1 (en) Image Processing Apparatus, Image Processing Method, and Program
CN112540676B (zh) 一种基于投影系统的可变信息展示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication