CN103167270A - 人员头部拍摄方法、系统及服务器 - Google Patents

人员头部拍摄方法、系统及服务器 Download PDF

Info

Publication number
CN103167270A
CN103167270A CN2011104179430A CN201110417943A CN103167270A CN 103167270 A CN103167270 A CN 103167270A CN 2011104179430 A CN2011104179430 A CN 2011104179430A CN 201110417943 A CN201110417943 A CN 201110417943A CN 103167270 A CN103167270 A CN 103167270A
Authority
CN
China
Prior art keywords
personnel
head
camera
tilt
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104179430A
Other languages
English (en)
Other versions
CN103167270B (zh
Inventor
刘光盐
李捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Puwei cloud Technology Co.,Ltd.
Original Assignee
PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd filed Critical PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd
Priority to CN201110417943.0A priority Critical patent/CN103167270B/zh
Publication of CN103167270A publication Critical patent/CN103167270A/zh
Application granted granted Critical
Publication of CN103167270B publication Critical patent/CN103167270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种人员头部拍摄方法、系统及服务器。该方法包括:服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;对该全景视频数据进行分析,以获得该目标场景中人员的二维掩码图;利用该二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定该人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;根据该参考坐标区域确定人员头部的当前坐标区域,并控制该PTZ摄像机拍摄所述当前坐标区域。通过利用本方案,可以实现对目标场景中人员头部的特写拍摄。

Description

人员头部拍摄方法、系统及服务器
技术领域
本发明涉及视频监控技术领域,特别是涉及一种人员头部拍摄方法、系统及服务器。
背景技术
视频监控作为安全防范系统的重要组成成分,其是一种防范能力较强的综合系统,视频监控以其直观、准确、及时和信息内容丰富的优势而广泛应用于许多场合。近年来,随着计算机、网络以及图像处理、传输技术的飞速发展,视频监控技术得到长足的发展。
现有技术中,视频监控系统一般包括:枪机,云台可全方位(上下、左右)移动及镜头可变倍、变焦的PTZ摄像机以及服务器组成。当需要监控某一场景的人员目标时,服务器一般会对枪机所拍摄的视频数据进行移动目标检测,然后调用PTZ摄像机进行追踪拍摄,即联动追拍,以实现对人员目标的检测以及追踪拍摄。
但是,由于枪机的垂直视场角和水平视场角都远小于180,使得所拍摄到的视频覆盖范围较小,盲区较大;同时,在枪机检测到人员目标时,很难得到人员的三维信息,如人员高度、三维运动方向和速度等,因此,调用PTZ摄像机无法准确拍摄到人员的头部特写。
发明内容
为解决上述技术问题,本发明实施例提供了一种人员头部拍摄方法、系统及服务器,以实现对特定场景中人员头部的特写拍摄,技术方案如下:
一种人员头部拍摄方法,适用于由服务器、全景摄像机、PTZ摄像机构成的拍摄系统,其中,所述全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部,所述方法包括:
服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
根据所述参考坐标区域确定人员头部的当前坐标区域,并控制所述PTZ摄像机拍摄所述当前坐标区域。
相应的,本发明实施例还提供一种服务器,包括:
视频数据接收模块,用于实时接收全景摄像机所拍摄的目标场景的全景视频数据;
掩码图获得模块,用于对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
头部参考区域确定模块,用于利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
头部当前区域确定模块,用于根据所述参考坐标区域确定人员头部的当前坐标区域;
控制模块,用于控制所述PTZ摄像机拍摄所述当前坐标区域。
相应的,本发明实施例还提供一种人员头部拍摄系统,包括:服务器、全景摄像机、PTZ摄像机;其中,所述全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部;
所述全景摄像机,用于拍摄目标场景的全景视频,并实时传输给所述服务器;
所述服务器,用于实时接收全景摄像机所拍摄的目标场景的全景视频数据;
对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
根据所述参考坐标区域确定人员头部的当前坐标区域,并控制所述PTZ摄像机拍摄所述当前坐标区域;
所述PTZ摄像机,用于在服务器的控制下,对目标场景中人员头部进行特写拍摄。
与现有技术相比,全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部,以此实现快速建立目标场景对应的三维坐标系的目的;并且服务器可以根据运动人员的二维掩码图确定运动人员脚部的坐标区域,并根据脚部坐标区域确定出人员头部对应的当前坐标区域,最终控制PTZ摄像机拍摄所确定的当前坐标区域,以此实现对特定场景中人员头部的特写拍摄。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种人员头部拍摄方法的第一种流程图;
图2为本发明实施例所提供的一种人员头部拍摄方法的第二种流程图;
图3为本发明实施例所提供的一种人员头部拍摄方法的第三种流程图;
图4为本发明实施例所提供的一种人员头部拍摄方法的第四种流程图;
图5为本发明实施例所提供的一种服务器的结构示意图。
具体实施方式
现有的视频监控系统中,由于枪机的垂直视场角和水平视场角都远小于180,使得所拍摄到的视频覆盖范围较小,盲区较大;同时,在枪机检测到人员目标时,很难得到人员目标的三维信息,如人员高度、三维运动方向和速度等,因此,调用PTZ摄像机无法准确拍摄到人员头部的特写。
为了实现对特定场景中的人员头部的特写拍摄,本发明实施例提供了一种人员头部拍摄方法、系统及服务器。
下面首先对本发明实施例所提供的一种人员头部拍摄方法进行介绍。
一种人员头部拍摄方法,适用于由服务器、全景摄像机、PTZ摄像机构成的拍摄系统,其中,所述全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部,所述方法包括:
服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
根据所述参考坐标区域确定人员头部的当前坐标区域,并控制所述PTZ摄像机拍摄所述当前坐标区域。
与现有技术相比,全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部,以此实现快速建立目标场景对应的三维坐标系的目的;并且服务器可以根据运动人员的二维掩码图确定运动人员脚部的坐标区域,并根据脚部坐标区域确定出人员头部对应的当前坐标区域,最终控制PTZ摄像机拍摄所确定的当前坐标区域,以此实现对特定场景中人员头部的特写拍摄。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例所提供的一种人员头部拍摄方法所基于的拍摄系统包括:全景摄像机、服务器以及PTZ摄像机。
其中,全景摄像机采用光轴垂直指向地面的方式安装在目标场景中的顶部,以使得该全景摄像机可以拍摄到目标场景对应的全景视频数据;同时,该全景摄像机可以采用反折式光学系统、鱼眼镜头或广角镜头。通过对全景摄像机的安装位置以及镜头设定,可以实现:(1)利用全景摄像机的方位角以及俯仰角,快速简单的建立整个目标场景对应空间的三维坐标系,例如:以全景摄像机的光轴垂直指向方向作为三维坐标系的Y轴,而以Y轴与地面交点作为三维坐标系原点设置相应的X轴和Z轴;或者,仍以全景摄像机的光轴垂直指向作为三维坐标系的Y轴,而以全景摄像机的位置点作为坐标系原点来设置X轴和Z轴,都是合理的;(2)采用从顶向下的拍摄方式,人员互相遮挡少,有利于拍摄到人员的整体;(3)在监控目标场景中的人员的过程中,可以根据经验值假定人员在地面上运动,在地面这个统一的平面上通过简单的坐标算法获得人员在三维坐标系中的三维坐标区域。
本发明实施例所提供的一种人员头部拍摄方法,如图1所示,可以包括:
S101,服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
服务器与全景摄像机处于连接状态,使得全景摄像机所拍摄到的全景视频数据可以顺利的实时传输给服务器。可以理解的是,在实际应用中,对于一个目标场景中,可以设置一台全景摄像机,或者设置多台全景摄像机。同时,一台服务器可以对应一个目标场景,或者多个目标场景。
S102,对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
当需要对目标场景中人员的头部进行特写拍摄时,可以对所获得的全景视频数据进行分析处理,以获得该目标场景中所存在的人员的二维掩码图。其中,人员对应的二维掩码图为区别与目标场景中静止背景的运动前景,例如:将静止背景设置为白色,而作为运动前景的人员的二维掩码图为黑色,以此将人员进行区分显示。
本实施例中,可以采用运动对象检测与追踪算法对全景视频数据进行分析,以获得所需的人员二维掩码图。可以理解的是,分析全景视频数据时并不局限于运动对象检测与追踪算法,还可以选择其他的算法,例如:基于特征提取分析的行人、车辆检测算法,基于背景前景分割的目标检测算法等。
S103,利用该二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域;
由于人员头部一般位于人员脚部的垂直上方,在获得人员脚部的坐标区域的情况下,可以根据人员头部与人员脚部的关联关系,确定出人员头部相应的坐标区域。因此,在获得目标场景中人员对应的二维掩码图后,可以利用该掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定该人员脚部在该三维坐标系中的坐标区域。可以理解的是,人员脚部位于地面的经验值可以根据历史全景视频数据分析总结得到,其可以为人员脚部所占用的区域面积,当然并不局限于此。
其中,目标场景对应的三维坐标系的构造方式可以为:根据该全景摄像机的方位角与俯仰角,构建该全景摄像机所拍摄的目标场景对应的三维坐标系。例如:以全景摄像机的光轴垂直指向方向作为三维坐标系的Y轴,而以Y轴与地面交点作为三维坐标系原点设置相应的X轴和Z轴;或者,仍以全景摄像机的光轴垂直指向作为三维坐标系的Y轴,而以全景摄像机位置点作为坐标系原点来设置X轴和Z轴,都是合理的。本领域人员可以理解的是,本实施例所述的目标场景对应三维坐标系的构造方式仅仅是作为一种示例,并不应该作为对本发明所提供方案的限定。
S104,根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
在确定得到人员脚部的坐标区域后,由于人员头部与脚部具有特定的关联关系,因此可以根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定出人员头部的参考坐标区域。可以理解的是,人员头部位于脚部的三维坐标区域垂直上方的经验值可以根据历史全景视频数据分析总结得到,当然,并不局限于对历史全景视频数据的分析。
S105,将所述参考坐标区域确定为人员头部对应的当前坐标区域;
在目标场景中人员的运动频率较低和/或拍摄要求较低的情况下,可以直接将所确定的人员头部的参考坐标区域作为当前坐标区域,进而控制PTZ摄像机拍摄所确定的当前坐标区域,以此实现对人员头部的特写拍摄。
S106,控制所述PTZ摄像机拍摄所述当前坐标区域,以实现对所述目标场景中人员头部的特写拍摄。
可以理解的是,对于一个目标场景而言,通常设置多个PTZ摄像机,以尽量消除局部特写拍摄时的盲区,并选择拍摄角度最佳的PTZ摄像机对人员头部进行特写拍摄。
本领域人员可以理解的是,服务器在向PTZ摄像机发送控制命令之前,需要将运动人员头部对应的当前坐标区域进行适当处理,以形成PTZ摄像机所需旋转的转角、俯仰角以及所需的zoom值等指令并发送给PTZ摄像机,进而使得PTZ摄像机在得到控制指令后,可以对人员头部进行特写拍摄。
可以理解的是,在实际应用中,为了获得效果较好的拍摄效果,在控制PTZ摄像机拍摄人员头部时,可以实时分析PTZ摄像机所拍摄的局部视频数据;根据对局部视频数据的分析结果,调整PTZ摄像机的拍摄角度,以此保证人员头部位于视频图像的中心区域,进而更好的实现对人员头部的特写拍摄。
与现有技术相比,全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部,以此实现快速建立目标场景对应的三维坐标系的目的;并且服务器可以根据运动人员的二维掩码图确定运动人员脚部的坐标区域,并根据脚部坐标区域确定出人员头部对应的当前坐标区域,最终控制PTZ摄像机拍摄所确定的当前坐标区域,以此实现对特定场景中人员头部的特写拍摄。
更进一步的,实际应用中,由于全景摄像机视频处理与编码、全景摄像机视频传输、服务器对视频数据的分析、PTZ摄像机通信或PTZ摄像机运动过程等都存在时延问题,因此,在人员运动频率较高和/或拍摄要求较高的场景中,为了提高人员头部拍摄效果,需要将时延问题考虑到人员头部对应三维坐标区域的确定中。
因此,为了提高人员运动频率较高和/或拍摄要求较高的场景中的拍摄效果,本发明还提供了另一种人员头部拍摄方法。可以理解的是,本实施例所提高的人员头部拍摄方法仍需基于特定的拍摄系统,即:采用光轴垂直指向地面的方式安装在目标场景顶部的全景摄像机、服务器、PTZ摄像机。
一种运动人员脸部拍摄方法,如图2所示,可以包括:
S201,服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
S202,对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
S203,利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域;
S204,根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
本实施例中的步骤S201~步骤S204与上述实施例的步骤S101~步骤S104相似,在此不再赘述。
S205,确定该人员在该三维坐标系的运动矢量,将该人员头部在预设时延后所处的坐标区域确定为人员头部对应的当前坐标区域;
可以理解的时,可以通过特定的目标检测算法,对所获得全景视频数据进行分析,以获得所述人员在目标场景中的运动矢量。其中,所述特定的目标检测算法可以为:基于光流等运动分析等原理的目标检测方法、基于背景建模等原理的前景目标分割方法、基于特征提取匹配的特定目标检测方法等。在所获得的人员头部的参考坐标区域以及运动矢量的基础上,进行一定的时延分析,获得处于参考坐标区域的人员头部在特定时延后所处的三维坐标区域,并将该三维坐标区域作为当前坐标区域,进而控制PTZ摄像机拍摄该当前坐标区域。
其中,所述时延时间根据全景摄像机视频处理与编码时延、全景摄像机视频传输时延、服务器对视频数据的分析时延、PTZ摄像机通信时延或PTZ摄像机运动过程时延而设定。通过利用上述一种经验值或几种经验值确定出一预设时延,可以使得所确定的目标局部所处的当前坐标区域更加准确。
S206,控制所述PTZ摄像机拍摄所述当前坐标区域,以实现对所述目标场景中人员头部的特写拍摄。
本发明实施例所提供的人员头部拍摄方法中,通过将实际应用中的时延问题考虑到人员头部对应三维坐标区域的确定中,使得可以在人员运动频率较高和/或拍摄要求较高的场景中,获得较高的人员头部特写拍摄效果。
在对人员头部拍摄的过程中,由于人员存在运动特性,使得在拍摄过程中所拍摄到的全景视频流对应的各帧图像并不一定包含完整的人脸图像。而在特定的人员图像分析中,人员脸部相对于人员头部的其他角度而言,具有较好的特征信息,因此,在存在人员图像分析需求的情况下,需要对人员脸部信息进行汇总。本发明实施例所提供的另一种人员头部拍摄方法,可以有效获得人员脸部的人脸关键帧。可以理解的是,本实施例所基于的拍摄系统仍为:采用光轴垂直指向地面的方式安装在目标场景顶部的全景摄像机、服务器、PTZ摄像机。
本实施例所提供的一种人员头部拍摄方法,如图3所示,可以包括:
S301,服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
S302,对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
S303,利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域;
S304,根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
本实施例中所述的步骤S301~步骤S304与上述实施例的步骤S101~步骤S104相似,在此不再赘述。
S305,根据该参考坐标区域确定人员头部对应的当前坐标区域;
可以理解的是,在不同的应用场景中,可以选择不同的方式确定出人员头部对应的当前坐标区域。例如:在人员的运动频率较低和/或拍摄要求较低的场景下,可以直接将所确定的人员头部参考坐标区域作为当前坐标区域;或者,在人员运动频率较高和/或拍摄要求较高场景中,可以确定该人员在该三维坐标系的运动矢量,将该人员头部在预设时延后所处的坐标区域确定为人员头部对应的当前坐标区域。
S306,控制所述PTZ摄像机拍摄所述当前坐标区域;
S307,对所述PTZ摄像机拍摄的人员头部的特写视频数据进行分析,以获得包含完整人脸的图像帧;
为了获得包含完整人脸的图像帧,可以通过特定的人脸检测算法对所述PTZ摄像机拍摄的人员头部的特写视频数据进行分析,以确定出包含完整的图像帧,以进行后续的处理。其中,所述人脸检测算法可以为:基于肤色的人脸检测、基于结构特征的人脸检测或综合多种特征的人脸检测等。
S308,将所获得图像帧作为人脸关键帧并存储。
通过本实施例所提供的方法,在利用PTZ摄像机对人员头部进行特写拍摄后,确定所拍摄的视频数据中包含人员特征信息较多的人脸关键帧,进而利用所确定的人脸关键帧进行对人员的图像分析。
可以理解的是,为了更好的将人脸关键帧展示给用户,可以对所确定的人脸关键帧进行人脸图片聚类处理,以按照不同的人员对所述人脸关键帧进行分类处理,进而用户可以快速的获得同一人员对应的人脸关键帧并进行相应的处理。
本发明实施例还提供一种人员头部拍摄方法,以在拍摄过程中直接对人员脸部进行特写拍摄,进而直接获得人员脸部对应的图像帧。
可以理解的是,本实施例所提高的人员头部拍摄方法仍需基于特定的拍摄系统,即:采用光轴垂直指向地面的方式安装在目标场景顶部的全景摄像机、服务器、PTZ摄像机。
一种人员头部拍摄方法,如图4所示,可以包括:
S401,服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
S402,对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
S403,利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域;
S404,根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
S405,根据该参考坐标区域确定人员头部对应的当前坐标区域;
本实施例的步骤S401~步骤S402与上述实施例的步骤S301~步骤S305相似,在此不再赘述。
S406,根据所述人员在三维坐标系的运动矢量以及人员脸部朝向与运动方向的经验值,确定所述矢量方向为人员脸部朝向;
本实施例中,可以根据全景视频数据分析得到人员的运动矢量,并且由于人员脸部朝向一般与运动矢量方向相同,因此,可以将所确定的矢量方向作为人员脸部的朝向。
S407,选择拍摄方向与人员脸部朝向方向夹角最小的PTZ摄像机,并控制所选择的PTZ摄像机拍摄当前坐标区域,以实现对目标场景中人员脸部的特写拍摄。
在实际应用中,由于PTZ摄像机数量有限且具有固定性,而在目标场景中人员脸部朝向方向具有多变性,因此,为了达到最好的拍摄效果,当确定出人员脸部朝向后,可以选择拍摄方向与人员脸部朝向方向夹角最小的PTZ摄像机,进而控制所选择的PTZ摄像机拍摄当前坐标区域,以此实现对目标场景中人员脸部的特写拍摄。
本实施例中,在获得人员头部位于目标场景对应三维坐标系的当前坐标区域后,可以根据所述人员在三维坐标系的运动矢量以及人员脸部朝向与运动方向的经验值,确定所述矢量方向为人员脸部朝向;选择拍摄方向与人员脸部朝向方向夹角最小的PTZ摄像机,并控制所选择的PTZ摄像机拍摄当前坐标区域,以在拍摄过程中直接对人员脸部进行特写拍摄,进而获得人员对应的人脸关键帧。
在实际应用中,为了获得效果较好的拍摄效果,在控制PTZ摄像机拍摄人员脸部时,可以实时分析PTZ摄像机所拍摄的局部视频数据;根据对局部视频数据的分析结果,调整PTZ摄像机的拍摄角度,以此保证人员脸部位于视频图像的中心区域,进而更好的实现对人员脸部的特写拍摄。
可以理解的是,在对人员脸部进行特写拍摄的过程中,由于人员存在运动特性,使得在拍摄过程中所拍摄到的全景视频流对应的各帧图像并不一定包含完整的人脸图像。而在关于人员对应图像的分析中,人员脸部相对于人员头部的其他角度而言,具有较好的特征信息。因此,在存在人员图像分析需求的情况下,可以对所述PTZ摄像机拍摄的人员脸部的特写视频数据进行分析,以获得包含完整人脸的图像帧;将所获得图像帧作为人脸关键帧并存储。
更进一步的,为了更好的将人脸关键帧展示给用户,可以对所确定的人脸关键帧进行人脸图片聚类处理,以按照不同的人员对所述人脸关键帧进行分类处理,进而用户可以快速的获得同一人员对应的人脸关键帧并进行相应的处理。
需要说明的是,本发明实施例所提供的方案并不局限于对人员头部的特写拍摄,还可以对人员的其他局部进行准确的特写拍摄。本领域技术人员可以理解的是,利用本发明所提供的方案还可以对特定场景中其他运动对象进行局部特写拍摄,例如:在某种场景下,对运动的车辆的局部拍摄。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
相应于上述方法,本发明实施例还提供一种服务器,如图5所示,可以包括:
视频数据接收模块110,用于实时接收全景摄像机所拍摄的目标场景的全景视频数据;
掩码图获得模块120,用于对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
头部参考区域确定模块130,用于利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
头部当前区域确定模块140,用于根据所述参考坐标区域确定人员头部的当前坐标区域;
控制模块150,用于控制所述PTZ摄像机拍摄所述当前坐标区域。
其中,头部当前区域确定模块140,可以包括:
运动矢量确定单元,用于确定所述人员在所述三维坐标系的运动矢量;
当前区域确定单元,用于将所述人员头部在预设时延后所处的坐标区域确定为人员头部对应的当前坐标区域。
更进一步的,所述服务器还可以包括:
人脸关键帧确定模块,用于对所述PTZ摄像机拍摄的人员头部的特写视频数据进行分析,以获得包含完整人脸的图像帧;
将所获得图像帧作为人脸关键帧并存储。
更进一步的,所述服务器还可以包括:
聚类处理模块,用于对所确定的人脸关键帧进行人脸图片聚类处理,以按照不同的人员对所述人脸关键帧进行分类处理。
其中,所述控制模块150,可以包括:
脸部朝向确定单元,用于根据所述人员在三维坐标系的运动矢量以及人员脸部朝向与运动方向的经验值,确定所述矢量方向为人员脸部朝向;
脸部拍摄控制单元,用于选择拍摄方向与人员脸部朝向方向夹角最小的PTZ摄像机,并控制所选择的PTZ摄像机拍摄当前坐标区域,以实现对目标场景中人员脸部的特写拍摄。
相应的,本发明实施例还提供一种人员头部拍摄系统,可以包括:服务器、全景摄像机、PTZ摄像机;其中,所述全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部;
所述全景摄像机,用于拍摄目标场景的全景视频,并实时传输给所述服务器;
所述服务器,用于实时接收全景摄像机所拍摄的目标场景的全景视频数据;
对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
根据所述参考坐标区域确定人员头部的当前坐标区域,并控制所述PTZ摄像机拍摄所述当前坐标区域;
所述PTZ摄像机,用于在服务器的控制下,对目标场景中人员头部进行特写拍摄。
可以理解的是,对于一目标场景,可以在多个适当位置均设置PTZ摄像机,以实现对人员头部的不同角度的特写拍摄;同样的,对于多个目标场景中,可以共享一台服务器,以对不同目标场景中的全景摄像机所拍摄的全景视频数据进行分析处理。
对于装置或系统实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置或系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,在没有超过本申请的精神和范围内,可以通过其他的方式实现。当前的实施例只是一种示范性的例子,不应该作为限制,所给出的具体内容不应该限制本申请的目的。例如,所述单元或子单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或多个子单元结合一起。另外,多个单元可以或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
另外,所描述系统,装置和方法以及不同实施例的示意图,在不超出本申请的范围内,可以与其它系统,模块,技术或方法结合或集成。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人员头部拍摄方法,其特征在于,适用于由服务器、全景摄像机、PTZ摄像机构成的拍摄系统,其中,所述全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部,所述方法包括:
服务器实时接收全景摄像机所拍摄的目标场景的全景视频数据;
对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
根据所述参考坐标区域确定人员头部的当前坐标区域,并控制所述PTZ摄像机拍摄所述当前坐标区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述参考坐标区域确定人员头部的当前坐标区域,具体为:
确定所述人员在所述三维坐标系的运动矢量;
将所述人员头部在预设时延后所处的坐标区域确定为人员头部对应的当前坐标区域;
其中,所述延时时间根据全景摄像机视频处理与编码时延、全景摄像机视频传输时延、服务器对视频数据的分析时延、PTZ摄像机通信时延或PTZ摄像机运动过程时延而设定。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
对所述PTZ摄像机拍摄的人员头部的特写视频数据进行分析,以获得包含完整人脸的图像帧;
将所获得图像帧作为人脸关键帧并存储。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对所确定的人脸关键帧进行人脸图片聚类处理,以按照不同的人员对所述人脸关键帧进行分类处理。
5.根据权利要求1或2所述的方法,其特征在于,所述控制所述PTZ摄像机拍摄所述当前坐标区域,具体为:
根据所述人员在三维坐标系的运动矢量以及人员脸部朝向与运动方向的经验值,确定所述矢量方向为人员脸部朝向;
选择拍摄方向与人员脸部朝向方向夹角最小的PTZ摄像机,并控制所选择的PTZ摄像机拍摄当前坐标区域,以实现对目标场景中人员脸部的特写拍摄。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
对所述PTZ摄像机拍摄的人员脸部的特写视频数据进行分析,以获得包含完整人脸的图像帧;
将所获得图像帧作为人脸关键帧并存储。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所确定的人脸关键帧进行人脸图片聚类处理,以按照不同的人员对所述人脸关键帧进行分类处理。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在控制PTZ摄像机拍摄人员头部时,实时分析PTZ摄像机所拍摄的局部视频数据;
根据局部视频数据的分析结果,调整PTZ摄像机的拍摄角度,以保证人员头部处于视频图像的中心区域。
9.一种服务器,其特征在于,包括:
视频数据接收模块,用于实时接收全景摄像机所拍摄的目标场景的全景视频数据;
掩码图获得模块,用于对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
头部参考区域确定模块,用于利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
头部当前区域确定模块,用于根据所述参考坐标区域确定人员头部的当前坐标区域;
控制模块,用于控制所述PTZ摄像机拍摄所述当前坐标区域。
10.一种人员头部拍摄系统,其特征在于,包括:服务器、全景摄像机、PTZ摄像机;其中,所述全景摄像机以光轴垂直指向地面的方式安装在目标场景的顶部;
所述全景摄像机,用于拍摄目标场景的全景视频,并实时传输给所述服务器;
所述服务器,用于实时接收全景摄像机所拍摄的目标场景的全景视频数据;
对所述全景视频数据进行分析,以获得所述目标场景中人员的二维掩码图;
利用所述二维掩码图与全景摄像机俯仰角坐标系的对应关系以及人员脚部位于地面的经验值,确定所述人员脚部在目标场景对应三维坐标系中的坐标区域,并根据人员头部位于脚部的三维坐标区域垂直上方的经验值,确定人员头部在所述三维坐标系中的参考坐标区域;
根据所述参考坐标区域确定人员头部的当前坐标区域,并控制所述PTZ摄像机拍摄所述当前坐标区域;
所述PTZ摄像机,用于在服务器的控制下,对目标场景中人员头部进行特写拍摄。
CN201110417943.0A 2011-12-14 2011-12-14 人员头部拍摄方法、系统及服务器 Active CN103167270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110417943.0A CN103167270B (zh) 2011-12-14 2011-12-14 人员头部拍摄方法、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110417943.0A CN103167270B (zh) 2011-12-14 2011-12-14 人员头部拍摄方法、系统及服务器

Publications (2)

Publication Number Publication Date
CN103167270A true CN103167270A (zh) 2013-06-19
CN103167270B CN103167270B (zh) 2016-05-04

Family

ID=48589979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110417943.0A Active CN103167270B (zh) 2011-12-14 2011-12-14 人员头部拍摄方法、系统及服务器

Country Status (1)

Country Link
CN (1) CN103167270B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105944340A (zh) * 2016-07-13 2016-09-21 魏玉芳 一种多功能篮球打气装置
CN106101684A (zh) * 2016-06-30 2016-11-09 深圳市虚拟现实科技有限公司 远程全景图像实时传输和流畅显示的方法
CN106170082A (zh) * 2016-06-30 2016-11-30 深圳市虚拟现实科技有限公司 远程全景图像实时全方位传输和显示方法
CN108012083A (zh) * 2017-12-14 2018-05-08 深圳云天励飞技术有限公司 人脸采集方法、装置及计算机可读存储介质
CN108012559A (zh) * 2015-03-27 2018-05-08 奥伯维尔斯工程有限公司 自动三维模型生成
CN109145808A (zh) * 2018-08-17 2019-01-04 郑州轻工业学院 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
CN110232353A (zh) * 2019-06-12 2019-09-13 成都世纪光合作用科技有限公司 一种获取场景人员深度位置的方法和装置
CN111462887A (zh) * 2020-03-31 2020-07-28 首都医科大学宣武医院 一种可佩戴的癫痫患者数字助理系统
CN112532886A (zh) * 2020-11-30 2021-03-19 深圳创维新世界科技有限公司 全景拍摄方法、装置及计算机可读存储介质
CN115035458A (zh) * 2022-07-06 2022-09-09 中国安全生产科学研究院 一种安全风险评价方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010968B2 (en) 2015-03-27 2021-05-18 Snap Inc. Automated three dimensional model generation
CN108012559A (zh) * 2015-03-27 2018-05-08 奥伯维尔斯工程有限公司 自动三维模型生成
US11893689B2 (en) 2015-03-27 2024-02-06 Snap Inc. Automated three dimensional model generation
US11450067B2 (en) 2015-03-27 2022-09-20 Snap Inc. Automated three dimensional model generation
CN106101684A (zh) * 2016-06-30 2016-11-09 深圳市虚拟现实科技有限公司 远程全景图像实时传输和流畅显示的方法
CN106170082A (zh) * 2016-06-30 2016-11-30 深圳市虚拟现实科技有限公司 远程全景图像实时全方位传输和显示方法
CN105944340A (zh) * 2016-07-13 2016-09-21 魏玉芳 一种多功能篮球打气装置
CN108012083A (zh) * 2017-12-14 2018-05-08 深圳云天励飞技术有限公司 人脸采集方法、装置及计算机可读存储介质
CN109145808A (zh) * 2018-08-17 2019-01-04 郑州轻工业学院 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
CN110232353A (zh) * 2019-06-12 2019-09-13 成都世纪光合作用科技有限公司 一种获取场景人员深度位置的方法和装置
CN111462887A (zh) * 2020-03-31 2020-07-28 首都医科大学宣武医院 一种可佩戴的癫痫患者数字助理系统
CN111462887B (zh) * 2020-03-31 2023-08-29 首都医科大学宣武医院 一种可佩戴的癫痫患者数字助理系统
CN112532886A (zh) * 2020-11-30 2021-03-19 深圳创维新世界科技有限公司 全景拍摄方法、装置及计算机可读存储介质
CN115035458A (zh) * 2022-07-06 2022-09-09 中国安全生产科学研究院 一种安全风险评价方法及系统
CN115035458B (zh) * 2022-07-06 2023-02-03 中国安全生产科学研究院 一种安全风险评价方法及系统

Also Published As

Publication number Publication date
CN103167270B (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN103167270A (zh) 人员头部拍摄方法、系统及服务器
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN103716594B (zh) 基于运动目标检测的全景拼接联动方法及装置
WO2018098824A1 (zh) 一种拍摄控制方法、装置以及控制设备
EP1798691A2 (en) Method and apparatus for generating a desired view of a scene from a selected viewpoint
CN103716595A (zh) 全景拼接摄像机和球机联动控制方法及装置
US20200267309A1 (en) Focusing method and device, and readable storage medium
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
CN111898511A (zh) 基于深度学习的高空抛物检测方法、装置及介质
CN106598078B (zh) 一种云台摄像机的图像处理方法及设备
Xu et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries
CN112639815A (zh) 目标跟踪方法、目标跟踪装置、可移动平台和存储介质
Kumar et al. Real time target tracking with pan tilt zoom camera
CN107547865A (zh) 跨区域人体视频目标跟踪智能监控方法
Premachandra et al. A hybrid camera system for high-resolutionization of target objects in omnidirectional Images
CN111526280A (zh) 一种摄像头装置的控制方法、装置、电子设备及存储介质
CN112446254A (zh) 人脸追踪的方法及相关装置
WO2021217403A1 (zh) 可移动平台的控制方法、装置、设备及存储介质
JP2001094968A (ja) 映像処理装置
CN116703968A (zh) 针对目标对象的视觉跟踪方法、装置、系统、设备和介质
CN105306797A (zh) 一种用户终端及图像拍摄方法
Huang et al. Using fisheye camera for cost-effective multi-view people localization
CN114374903B (zh) 拾音方法和拾音装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 506, block C, 5 / F, building 3, No. 351, Changhe Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Puwei cloud Technology Co.,Ltd.

Address before: Hangzhou City, Zhejiang province Binjiang District 310000 Spring Road No. 1576 Building No. 2 4 floor

Patentee before: Puwell Technologies Co.,Ltd.

CP03 Change of name, title or address