CN108965687B - 拍摄方向识别方法、服务器及监控方法、系统及摄像设备 - Google Patents

拍摄方向识别方法、服务器及监控方法、系统及摄像设备 Download PDF

Info

Publication number
CN108965687B
CN108965687B CN201710363925.6A CN201710363925A CN108965687B CN 108965687 B CN108965687 B CN 108965687B CN 201710363925 A CN201710363925 A CN 201710363925A CN 108965687 B CN108965687 B CN 108965687B
Authority
CN
China
Prior art keywords
image
target image
images
camera
shooting direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710363925.6A
Other languages
English (en)
Other versions
CN108965687A (zh
Inventor
高强华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710363925.6A priority Critical patent/CN108965687B/zh
Priority to US15/985,557 priority patent/US10949995B2/en
Priority to PCT/US2018/033735 priority patent/WO2018217663A1/en
Publication of CN108965687A publication Critical patent/CN108965687A/zh
Application granted granted Critical
Publication of CN108965687B publication Critical patent/CN108965687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种拍摄方向识别方法、服务器及监控方法、系统及摄像设备。该方法包括：提取摄像机拍摄的目标图像的深度特征；基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；利用所述坐标位置关系以及所述相匹配的参考图像的方向信息计算得到拍摄所述目标图像时所述摄像机的拍摄方向。利用本申请实施例，可以快速准确的识别出摄像机的拍摄方向，大大提高拍摄方向识别处理效率。

Description

拍摄方向识别方法、服务器及监控方法、系统及摄像设备
技术领域
本申请涉及信息处理技术领域，特别涉及一种拍摄方向识别方法、服务器及监控方法、系统及摄像设备。
背景技术
视频监控器材目前正被广泛运用于公共场所监管、交通管理、场所安全管理、室外室内视频录制等功能。视频监控器材目前主要采用摄像设备、例如，常规闭路摄像机、球形摄像机、移动摄像设备，等。由于摄像机在拍摄过程中拍摄方向的多变性，以及时间、天气等的影响，导致同一位置同一高度拍摄采集的视频图像或图片图像也会出现较大的差异。因此，在利用摄像机采集的视频或图片进行治安、交通等监控处理时，往往需要识别出拍摄视频或图片时摄像机的拍摄方向。
现有技术中识别摄像机拍摄方向一般是基于全景图的匹配，具体的，通过全景摄像机或者四周采集一圈图像拼接的方式采用场景结构全景图作为参考图像，对视频目标图像进行全景匹配，从而在场景结构全景图中找到目标图像对应的区域，并确定目标图像与所述场景结构全景图的坐标位置关系，通过对所述坐标位置关系和所述场景结构全景图的方向信息的计算得出摄像机拍摄目标图像时的所对应的拍摄方向。
但上述现有技术中通过全景摄像机或者四周采集一圈图像拼接的方式得到的全景图鲁棒性差、特征维度大，在目标图像匹配过程中准确匹配到相应区域的成功率低，同时，由于拍摄方向的多变性，以及时间、天气等的影响，现有的方法中需要采集大量的全局图样本来匹配，大大加重了工作量，处理效率低下。
发明内容
本申请实施例的目的是提供一种拍摄方向识别方法、服务器及监控方法、系统及摄像设备，可以快速准确的识别出摄像机的拍摄方向，大大提高拍摄方向识别处理效率。
为解决上述技术问题，本申请实施例是这样实现的：
一种拍摄方向识别方法，包括：
提取摄像机拍摄的目标图像的深度特征；
基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
一种拍摄方向识别服务器，包括处理器及存储器，所述存储器存储由所述处理器执行的计算机程序指令，所述计算机程序指令包括：
提取摄像机拍摄的目标图像的深度特征；
基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
一种拍摄方向识别装置，包括：
深度特征提取模块，用于提取摄像机拍摄的目标图像的深度特征；
深度特征提取模块，用于基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
坐标位置关系获取模块，用于获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
拍摄方向计算模块，用于利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
一种监控方法，包括：
采集的目标图像；
将所述目标图像发送至识别服务器，用于所述识别服务器基于上述方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
一种监控系统，包括：
采集装置，用于采集的目标图像；以及将所述目标图像发送至识别服务器；
识别服务器，用于基于上述方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
一种监控系统，包括：
采集装置，用于采集的目标图像；以及将所述目标图像发送至识别服务器；
识别服务器，用于基于上述的方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于将所述拍摄方向发送至监控服务器；
监控服务器，用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
一种摄像设备，包括：
镜头，用于捕获目标图像；
处理器，连接到所述镜头，用于根据上述方法，确定所述镜头捕获所述目标图像时的方向。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法步骤。
由以上本申请实施例提供的技术方案可见，本申请实施例通过提取图像的深度特征，保证了图像特征的稳定性、低维度，且通过图像之间的深度特征的匹配度来选取可以用来计算图像的拍摄方向的参照对象，可以大大提高后续匹配得到的参照对象与待识别拍摄方向的目标图像之间的匹配程度。并且，通过预先确定的多个具有相应的方向和/或时间特征的参考图片，保证了后续识别摄像机拍摄方向时，能够自适应提取若干有时间和/或方向特征的图像的深度特征，能有效应对拍摄过程中不同方向、时间、天气等带来的图像之间的较大差异的问题，保证了目标图像与相应的匹配参考图像之间进行坐标位置关系计算时的准确性。与现有技术相比，利用本申请提供的技术方案可以快速准确的识别出摄像机的拍摄方向，大大提高拍摄方向识别处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的同一摄像机在同一位置不同方向拍摄的图像的一种实施例的示意图；
图2是本申请提供的监控系统的一种实施例的示意图；
图3是本申请实施例提供的监控系统在交通监控中应用的一种实施例的示意图；
图4是本申请实施例提供的监控系统在图书馆监控中应用的一种实施例的示意图；
图5是本申请提供的拍摄方向识别方法的一种实施例的流程示意图；
图6示出了根据本申请的一示例性实施例的拍摄方向识别服务器的示意结构图；
图7是本申请提供的拍摄方向识别装置的一种实施例的结构示意图。
具体实施方式
本申请实施例提供一种拍摄方向识别方法、服务器及监控方法、系统及摄像设备。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
目前，在道路、公园、博物馆、居民小区等公共场所常常需要利用摄像机在固定点位做人工操作、或者自动巡检，以实现交通、治安监控。球型摄像机，是一种集彩色一体化摄像机、云台、解码器、防护罩等多功能于一体的摄像机，具有安装方便、使用过程中能自动转向等优点，因此，在监控领域得到了广泛应用。在实际应用中，像球型摄像机等摄像机在同一固定点位置对其所覆盖的区域做视频或图片采集时，往往会采集不同时间、不同方向的视频图像。在本申请实施例中，考虑到同一固定点位置采集的视频中的各视频图像(每个视频图像可以看作视频中提取的一帧视频帧所对应的图像)之间受方向和时间的影响会存在较大的差异，因此，从摄像机采集的历史样本图像中按照时间和/或方向选取特征图像以进行后续的图像分类。
在一个具体的实施例中，例如按照时间和方向特征选取特征图像可以选取如下几种类型的图像：东边白天的图像、东边晚上的图像、南边白天的图像、南边晚上的图像、西边白天的图像、西边晚上的图像、北边白天的图像、北边晚上的图像、东南边白天的图像、东南边晚上的图像、东北边白天的图像、东北边晚上的图像、西南边白天的图像、西南边晚上的图像、西北边白天的图像、西北边晚上的图像。具体的，这里的白天和晚上可以结合实际拍摄视频的季节以及天气情况设置时间点，例如对于天气晴朗的夏天，由于每天天亮的比较早，黑的比较晚，因此，白天的时间相对较长，可以设置为5:30-18:00(该时间段包括5:30但不包括18:00)，晚上的时间相对较短，可以设置为18:00-5:30(该时间段包括第一天的18:00但不包括第二天的5:30)。相应的，对于阴雨天的冬天，白天的时间可以设置的相对较短，晚上的时间可以设置的相对较长。
需要说明的是，这里所列举的选取特征图像是所采用的时间和方向组合仅仅只是一种示例，本申请实施例还可以结合实际应用中图像所对应的时间和方向特征选取其他时间和/或方向，本申请实施例并不以上述为限。进一步的，在选取了具有时间和/或方向特征的特征图像之后，可以以所述特征图像的深度特征为聚类中心，对历史样本图像的深度特征进行聚类分析确定出多个具有时间和/或方向特征的参考图像。
以下介绍确定出具有方向和/或时间特征的多个参考图像的具体步骤：
1)从历史样本图像中选取具有方向和/或时间特征的多个特征图像。
2)分别以所述多个特征图像的深度特征为聚类中心，对所述历史样本图像的深度特征进行聚类分析，将所述历史样本图像分配到与聚类中心相对应的多个类别中。
具体的，本申请实施例中通过聚类分析方法将采集的大量历史样本图像按照方向和/或时间特征进行分类，保证每个类别中的图像都具有相应的方向和/或时间特征。
3)从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像。
在一个具体的实施例中，从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像可以包括：
分别对每个类别中的图像的深度特征进行求取平均值计算，将计算得到的平均值作为新的聚类中心；
基于多个新的聚类中心对所述历史样本图像的深度特征进行聚类分析的迭代至达到预设收敛条件，将达到预设收敛条件时的多个聚类中心所对应的图像作为参考图像；
其中，所述预设收敛条件可以包括每个类别中的所述历史样本图像的深度特征与相应类别中的聚类中心的差异度小于等于预设差异度值。
同时，在聚类分析过程中通过聚类分析的迭代可以挖掘到一些人为操作的拍摄方向的规律。
在另一个具体的实施例中，从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像可以包括：
分别计算每个类别中图像的深度特征之间的差异度；
选取每一类别中与同一类别中其他图像的深度特征之间的差异度之和最小的图像作为参考图像。
此外，需要说明的是，在一些情况下，本申请实施例所述差异度可能不是数值，而是某种程度或者趋势的字符化表征，这种情况下，可以通过预设的规则使得该字符化表征的内容量化为一特定值。进而，后续可以利用该量化的值确定两幅图像之间的差异情况。在一个普通的例子当中，可能某个维度的值为“中”，则可以量化该字符为其ASCII码的二进制值或十六进制值。
由以上确定多个参考图像的步骤可见，本申请实施例中通过聚类分析方法将采集的大量历史样本图像按照方向和/或时间特征进行分类，保证从每个类别中确定出的参考图像具有相应的方向和/或时间特征，在后续识别摄像机拍摄方向时，能够自适应提取若干具有时间和/或方向特征的参考图像的深度特征，在应对不同方向、时间、天气时也能确定出与待识别图像具有较高匹配度的参考图像进行图像拍摄方向的确定，进而可以更好的保证确定出的图像拍摄方向的准确性，同时也大大提高了拍摄方向识别的处理效率。
具体的，深度特征是一种自动学习特征，相比浅层特征(点、线、面、颜色等)用于捕捉局部信息，深度特征具体是由点线面等浅层特征组成的复杂形状，可以保证图像特征的稳定性和低维度，进而可以更好的反应语义信息。因此，本申请实施例中通过对图像的深度特征进行聚类分析可以更好的保证参考图像的鲁棒性和稳定性。具体的，本申请实施例中图像的深度特征可以采用深度学习的方法来提取，具体的，所述深度学习可以包括卷积神经网络、传统神经网络，递归神经网络或深度置信网络等，本申请实施例并不以上述为限。在一个具体的实施例中，以卷积神经网络为例，通过深度学习提取图像的深度特征具体的可以包括以下步骤：
采集大量类似场景的图像，即，同一位置不同方向和/或时间采集的图像；
基于卷积神经网络对大量图像进行训练得到深度网络模型；
通过所述深度网络模型提取图片的深度特征。
在另一个实施例中，以卷积神经网络为例，通过深度学习提取图像的深度特征具体的可以包括以下步骤：
采集大量类似场景的图像，即，同一位置不同方向和/或时间采集的图像；
对采集的大量图像在预训练的网络上进行finetune微调网络，即，利用现有的神经网络模型对采集的图像进行训练，并修改现有卷积神经网络的最后一层的输出类别，进而训练得到新的深度网络模型；
利用新的深度网络模型提取图像的深度特征。
上面对确定的具有方向和/或时间特征的多个参考图像进行了一个说明，基于上述确定的具有方向和/或时间特征的多个参考图像，以下介绍本申请一种拍摄方向识别方法的一种具体实施例。
首先，可以提取摄像机拍摄的目标图像的深度特征。
具体的，这里提取摄像机拍摄的目标图像的深度特征的具体的方法步骤可以结合上述通过深度学习提取图像的深度特征的步骤，在此不再赘述。
具体的，本申请实施例中所述目标图像可以包括摄像机拍摄的图片或者从视频中提取的视频帧的图像。
接着，可以基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像。
具体的，本申请实施例中，可以通过分别计算目标图像和多个参考图像的深度特征之间的匹配度，将匹配度最大的深度特征所对应的参考图像作为与所述目标图像匹配的参考图像，进一步的，该参考图像可以作为确定摄像机拍摄所述目标图像时的拍摄方向的参照对象。
具体的，例如将该目标图像的深度特征与多个参考图像的深度特征之间的匹配度看作一维空间上的“距离”，将所有图像的深度特征看作一个“群落”上的各个点，目标图像的深度特征看作“群落”的中心，多个参考图像的深度特征作为“群落”上的其他的点；如果“群落”中某一点离“群落”中心越近，代表当前“群落”上的该点对应的所述参考图像的深度特征与目标图像的深度特征的差异越小，也即代表当前“群落”上的该点对应的所述参考图像的深度特征与所述目标图像的深度特征的匹配度越好。
在一个具体的实施例中，两幅图像的深度特征之间的匹配度可以为两幅图像的深度特征之间欧氏距离，当基于两个图像的深度特征计算得到的欧氏距离的数值越小，可以表示两个图像之间的匹配度越好，反之，当基于两个图像的深度特征计算得到的欧氏距离的数值越大，可以表示两个图像之间的匹配度越差。
当然，本申请实施例中两幅图像的深度特征之间的匹配度不仅限于上述的欧式距离，还可以包括余弦距离、曼哈顿距离等，另外，在一些情况下，所述匹配度可能不是数值，而是只是程度或者趋势的字符化表征，这种情况下，可以通过预设的规则使得该字符化表征的内容量化为一特定值。进而，后续可以利用该量化的值确定两幅图像之间的匹配程度。在一个普通的例子当中，可能某个维度的值为“中”，则可以量化该字符为其ASCII码的二进制值或十六进制值，本申请实施例所述两幅图像的深度特征之间的匹配度并不以上述为限。
以上本申请实施例中通过图像之间的深度特征的匹配度来选取可以用来计算图像的拍摄方向的参照对象，保证了图像特征的稳定性、低维度，可以大大提高后续匹配得到的参照对象(即与待识别拍摄方向的图像匹配的参考图像)与待识别拍摄方向的图像之间的匹配程度，进而可以更好的保证的确定出的图像拍摄方向的准确性。
进一步的，当确定出与所述目标图像相匹配的参考图像之后，可以知道摄像机拍摄所述目标图像时的大概方向，例如，假设与目标图像相匹配的参考图像所对应的分类为东南白天，可以知道摄像机拍摄目标图像时的拍摄方向大概为东南方向。
进一步的，为了获取精确的拍摄方向，可以获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系。
在实际用于中，如果物点P在世界坐标系下的坐标为三维的(X，Y，Z)，相对应的图像点p以像素为单位在图像坐标系的坐标为二维的(u，v)。本申请实施例中所述图像之间的坐标位置关系可以为二维的图像坐标系的坐标位置关系。如图1所示，图1是本申请提供的同一摄像机在同一位置不同方向拍摄的图像的一种实施例的示意图，图1中同一摄像机在同一位置不同方向拍摄的两幅图像之间的坐标位置关系可以通过两幅图像之间的单应变换矩阵表示。具体的，可以提取两幅图像的点特征，然后，可以对两个图像的点特征进行点对匹配，计算匹配的点对之间的相对坐标位置关系，将匹配的点对之间的相对坐标位置关系作为两幅图像间的单应变换矩阵，进而可以得到两幅图像的坐标变换关系。
具体的，本申请实施例中，所述点特征可以包括灰度信号在二维方向上有明显变化的点，如角点、圆点、交叉点等。具体的，提取图像的点特征可以采用相应的图像点特征提取算法，例如Moravec算子、Forstner算子或Harris角点提取算法，但本申请实施例所述图像点特征提取算法并不以上述三种算法为限。
此外，获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系在实际应用中，在单应变化矩阵计算过程中由于点对中可能存在不少错误匹配，因此，可以使用RANSAC(RANdom SAmple Consensus，随机样本一致性)算法剔除错误匹配点对，保证单应变换矩阵的准确性。
进一步的，由于两幅图像的点特征计算得到的单应变换矩阵可以反映两幅图像的坐标变换关系，即单应变换矩阵可以看作一个二维平面上的图像的点映射到另一平面的映射关系，对于固定点的摄像机，其内参数(摄像机的内参数包括焦距等与摄像机的内部结构相关的参数)已知的情况下，就可以通过单应变换矩阵直接推导出目标图像相对参照中心图像(即所述相匹配的参考图像)的偏移参数。在一种实施方式下，该偏移参数可以是水平旋转偏移量Δp、垂直仰角偏移量Δt和缩放偏移量Δz。那么，在已知所述相匹配的参考图像的方向信息，即得到了摄像机拍摄所述相匹配的参考图像时的水平旋转p、垂直仰角t、以及缩放z数据之后，可以直接将所述相匹配的参考图像的方向信息(p,t,z)加上相应的偏移参数(Δp,Δt,Δz)，就可以得到所述目标图像的方向信息(p+Δp,t+Δt,z+Δz)，即摄像机拍摄所述目标图像时的水平旋转、垂直仰角和缩放数据。进一步的，将摄像机拍摄所述目标图像时的水平旋转、垂直仰角以及缩放数据转换为在三维世界坐标系下拍摄所述目标图像时所述摄像机的拍摄方向。
在一个替换实施例中，我们注意到，虽然图像之间坐标变换关系中包括缩放z，但在得到摄像机拍摄图像时的水平旋转、垂直仰角、以及缩放数据之后，进一步获取摄像机的拍摄方向时，缩放z并不会对拍摄方向有影响，因此，可以直接根据摄像机拍摄所述目标图像时的水平旋转、垂直仰角确定拍摄所述目标图像时所述摄像机的拍摄方向。这样不需要计算缩放偏移参数，减少了处理量。
举例而言，以摄像机在某一位置为基准，当摄像机左右移动时表现为水平旋转p变化，当摄像机上下移动时表现为垂直仰角t变化，当摄像机焦距调整时表现为缩放z变化。在一个场景下，假设摄像机在原来的拍摄方向为从水平正北方向(方向信息(p＝0,t＝0,z))进行偏移，并拍摄了目标图像。通过上述方法，得到了目标图像与相匹配的参考图像之间的偏移参数：Δp＝+45°(这里设定往西方偏移为正，往东方偏移为负)，Δt＝0(即水平仰角不发生变化)，Δz不考虑。相应的，获得了摄像机拍摄该目标图像的方向信息(p+Δp,t+Δt,z+Δz)＝(p＝45°,t＝0,z)。即，偏移参数摄像机的拍摄方向变为水平北偏西45°方向。
此外，需要说明的是，上述对于计算得到拍摄方向的描述仅仅是一种示例，本申请实施例中拍摄方向可以结合实际应用中选取的方向标准的不同还可以有其他计算方式，例如当方向信息(p＝0,t＝0,z)对应的是水平正南方向时，上述示例中的拍摄方向可以为水平南偏西45°，本申请实施例并不以上述为限。
此外，需要说明的是，本申请实施例所述拍摄方向可以为地理坐标的方向，也可以是相对的方向，例如拍摄目标图像与拍摄所匹配的参考图片的相对方向。
由此可见，本申请一种拍摄方向识别方法的实施例通过提取图像的深度特征，保证了图像特征的稳定性、低维度，且通过图像之间的深度特征的匹配度来选取可以用来计算图像的拍摄方向的参照对象，可以大大提高后续匹配得到的参照对象与待识别拍摄方向的目标图像之间的匹配程度。并且，通过预先确定的多个具有相应的方向和/或时间特征的参考图片，保证了后续识别摄像机拍摄方向时，能够自适应提取若干有时间和/或方向特征的图像的深度特征，能有效应对拍摄过程中不同方向、时间、天气等带来的图像之间的较大差异的问题，保证了目标图像与相应的匹配参考图像之间进行坐标位置关系计算时的准确性。与现有技术相比，利用本申请提供的技术方案可以快速准确的识别出摄像机的拍摄方向，大大提高拍摄方向识别处理效率。
本申请另一方面还提供了一种拍摄方向识别服务器，包括处理器及存储器，所述存储器存储由所述处理器执行的计算机程序指令，所述计算机程序指令包括：
提取摄像机拍摄的目标图像的深度特征；
基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系利用所述坐标位置关系以及所述相匹配的参考图像的方向信息具体的，本申请实施例中，所述的处理器可以包括中央处理器(CPU)或图形处理器(GPU)，当然也可以包括其他的具有逻辑处理能力的单片机、逻辑门电路、集成电路等，或其适当组合。本申请实施例所述的存储器可以是用于保存信息的记忆设备。在数字系统中，能保存二进制数据的设备可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也可以为存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也可以叫存储器等。实现的时候，该数据存储器200也可以采用云存储器的方式实现，具体实现方式，本申请不错限定。
进一步的，所述具有方向和/或时间特征的多个参考图像采用下述步骤确定：
从历史样本图像中选取具有方向和/或时间特征的多个特征图像；
分别以所述多个特征图像的深度特征为聚类中心，对所述历史样本图像的深度特征进行聚类分析，将所述历史样本图像分配到与聚类中心相对应的多个类别中；
从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像。
进一步的，所述计算机程序指令中从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像可以包括：
分别对每个类别中的图像的深度特征进行求取平均值计算，将计算得到的平均值作为新的聚类中心；
基于多个新的聚类中心对所述历史样本图像的深度特征进行聚类分析的迭代至达到预设收敛条件，将达到预设收敛条件时的多个聚类中心所对应的图像作为参考图像；
其中，所述预设收敛条件包括每个类别中的所述历史样本图像的深度特征与相应类别中的聚类中心的差异度小于等于预设差异度值。
进一步的，所述计算机程序指令中从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像可以包括：
分别计算每个类别中图像的深度特征之间的差异度；
选取每一类别中与同一类别中其他图像的深度特征之间的差异度之和最小的图像作为参考图像。
进一步的，所述计算机程序指令中基于所述目标图像的深度特征与预先确定的多个参考图像的深度特征之间的匹配度，确定出与所述目标图像匹配的参考图像可以包括：
分别计算目标图像和多个参考图像的深度特征之间的匹配度；
将匹配度最大的深度特征所对应的参考图像作为与所述目标图像匹配的参考图像。
进一步的，所述匹配度至少可以包括下述之一：
欧氏距离、余弦距离、曼哈顿距离。
进一步的，所述计算机程序指令中获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系可以包括：
提取所述相匹配的参考图像和所述目标图像的点特征；
对所述相匹配的参考图像的点特征和所述目标图像的点特征进行点对匹配；
计算匹配的点对之间的相对坐标位置关系，得到所述相匹配的参考图像和所述目标图像之间的单应变换矩阵，将所述单应变换矩阵所对应的变换关系作为所述坐标位置关系。
进一步的，所述方向信息可以包括：
摄像机拍摄图像时的水平旋转、垂直仰角、以及缩放数据。
进一步的，所述计算得到拍摄所述目标图像时所述摄像机的拍摄方向包括：
基于所述坐标位置关系确定的偏移参数，对所述相匹配的参考图像的方向信息进行偏移处理以得到所述拍摄方向。
进一步的，需要说明的是，本申请实施例所述偏移参数可以为与方向信息一一对应的增量数据，例如当方向信息包括摄像机拍摄图像时的水平旋转、垂直仰角、以及缩放数据时，所述偏移参数可以包括摄像机拍摄图像时的水平旋转增量、垂直仰角增量、以及缩放增量数据。当然，所述偏移参数也可以为不与方向信息一一对应的增量数据，例如当方向信息包括摄像机拍摄图像时的水平旋转、垂直仰角、以及缩放数据时，所述偏移参数可以包括摄像机拍摄图像时的水平旋转增量、垂直仰角增量。
本申请另一方面还提供一种监控系统的实施例。如图2所示，图2是本申请提供的监控系统的一种实施例的示意图。本申请实施例所述监控系统可以包括采集装置100、识别服务器200和监控服务器300，其中，
所述采集装置100，可以用于采集的目标图像；以及将所述目标图像发送至识别服务器。
具体的，所述采集装置100可以包括例如球型摄像机这种可以进行图像采集以及数据传输的装置。
识别服务器200，可以用于基于上述的拍摄方向识别方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及可以用于将所述拍摄方向发送至监控服务器；
监控服务器300，可以用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
此外，需要说明的是，上述应用场景中的监控服务器300和识别服务器200可以为相互进行通信的不同服务器也可以为同一服务器，本申请实施例对此不作限定。
在一个实施方式中，上述识别服务器200可以采用在线方式实时识别拍摄方向，也可以采用离线的方式识别拍摄方向，也可以采用在线和离线结合的方式识别拍摄方向。
在实际应用中，本申请实施例所述监控系统可以应用于城市大脑中，城市大脑是一种通过人工智能技术，实现对整个城市进行全局实时分析，自动调配公共资源，修正城市运行中的Bug，能够治理城市的超级人工智能。目前，城市大脑项目的第一步，是将交通、能源、供水等基础设施全部数据化，连接散落在城市各个单元的数据资源，打通“神经网络”。以交通为例，数以百亿计的城市交通管理数据、公共服务数据、运营商数据、互联网数据被集中输入城市大脑系统。拥有数据资源后，城市大脑还需要进行相关数据处理，城市大脑系统可以基于对各道路采集的视频数据等数据进行的视频识别处理，能够获取复杂道路下车辆的运行轨迹，可以快速获取某一条道路上有多少辆车往哪个方向走了，结合手机地图、道路线圈记录的车辆行驶速度和数量，公交车、出租车等运行数据。基于这些运行数据城市大脑即可在一个虚拟的数字城市中构建算法模型，通过机器学习不断迭代优化，计算出每个路口红绿灯设置为多长时间通行效率最高？哪些路口应该禁止左转？公交车辆和线路如何调度更为合理？道路修建是否有更好的选择？等等。
以下结合具体的场景介绍本申请一种监控系统。获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系以交通监控为例，说明本申请实施例提供的监控系统的具体应用场景。如图3所示，图3是本申请实施例提供的监控系统在交通监控中应用的一种实施例的示意图。
采集装置100可以实时采集道路上的交通数据，将采集的包括交通数据的视频画面(一幅幅图像)实时或按照预定的时间发送给识别服务器200，以图3中所示的图像为例，采集装置100将图像发送至识别服务器200。
进一步的，识别服务器200在接收到图像之后，可以提取图像的深度特征，基于图像的深度特征预先确定的具有方向和/或时间特征的多个参考图像的深度特征之间的匹配度，确定出所述图像的参照对象；进而，可以根据参照对象的方向信息和参照对象与接收到图像之间的坐标位置关系来确定出拍摄图像时的拍摄方向，这里假设拍摄方向为东北20°。
进一步的，识别服务器200可以将拍摄方向东北20°发送至监控服务器300，这里识别服务器200或者采集装置可以将原始图像发送至监控服务器300，监控服务器300可以基于所述拍摄方向对图像对应的区域进行监控处理。具体的，可以包括基于所述拍摄方向将图像校正到道路的正向(如图3中显示器中显示的是进行拍摄方向校正后的图像)，然后可以进行道路上有多少辆车往哪个方向走了，公交车、出租车等运行数据的统计，进而，可以基于统计的数据实现后续的道路管理等处理。
以下结合另一具体的场景介绍本申请一种监控系统。以图书馆中监控为例，说明本申请实施例提供的监控系统的具体应用场景。如图4所示，图4是本申请实施例提供的监控系统在图书馆监控中应用的一种实施例的示意图。
采集装置100可以实时图书馆内的实施视频数据，将采集的视频画面(一幅幅图像)实时或按照预定的时间发送给识别服务器200，以图4中所示的图像为例，采集装置100将图像发送至识别服务器400。
进一步的，识别服务器200在接收到图像之后，可以提取图像的深度特征，基于图像的深度特征预先确定的具有方向和/或时间特征的多个参考图像的深度特征之间的匹配度，确定出所述图像的参照对象；进而，可以根据参照对象的方向信息和参照对象与接收到图像之间的坐标位置关系来确定出拍摄图像时的拍摄方向，这里假设拍摄方向为西北20°。
进一步的，识别服务器200可以将拍摄方向西北20°发送至监控服务器300，这里识别服务器200或者采集装置可以将原始图像发送至监控服务器300，监控服务器300监测到某一摄像机拍摄的画面中出现着火的画面，在接收到识别服务器200发送的该出现火的画面对应的拍摄方向之后，可以将报警结合画面方位输出相应的提示信息，如“25号球机西北20°方向起火”。这样可以实现对在监控范围内的意外事故进行及时的处理，避免重大人员和财产的损失。
由此可见，本申请一种监控系统的实施例通过将采集的图像发送至拍摄方向识别服务器，拍摄方向识别服务器通过深度学习提取图像的深度特征，保证了图像特征的稳定性、低维度，且通过图像之间的深度特征的匹配度来选取可以用来计算图像的拍摄方向的参照对象，可以大大提高后续匹配得到的参照对象与待识别拍摄方向的目标图像之间的匹配程度。并且，通过预先对历史样本图片的深度特征进行聚类分析，得到多个具有相应的方向和/或时间特征的参考图片，保证了后续识别摄像机拍摄方向时，能够自适应提取若干有时间和/或方向特征的图像的深度特征，能有效应对拍摄过程中不同方向、时间、天气等带来的图像之间的较大差异的问题，保证了目标图像与相应的匹配参考图像之间进行坐标位置关系计算时的准确性，可以快速准确的识别出摄像机的拍摄方向，接着，监控服务器结合监控到的图像画面和拍摄方向对相应的区域进行监控处理，为城市大脑实现对整个城市进行全局实时分析提供了数据支持。
本申请另一方面还提供了一种摄像设备，包括：
镜头，可以用于捕获目标图像；
处理器，连接到所述镜头，用于根据上述的识别方法，确定所述镜头捕获所述目标图像时的方向。
进一步的，在不同应用场合时，本申请实施例所述摄像设备可以是如下之一：
移动设备；
监控摄像机；
飞行监控设备；或
地面移动监控设备。
具体的，在一些日常生活的应用场合中，可以采用手机、平板等人们日常生活中常用的移动设备；在一些公共场所的监控应用场合中，可以采用球型摄像机等监控摄像机；在一些需要进行某一大范围区域的监控应用场合中，可以采用无人机等飞行监控设备；当然，在一些监控场合，还可以采用机器人等地面移动监控设备。
此外，需要说明的是，上述对于不同摄像设备的应用场合的描述仅仅是一种示例，任一摄像设备还可以其他可以适应的应用场合。
图5是本申请提供的拍摄方向识别方法的一种实施例的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图5所示，所述方法可以包括：
S510：提取摄像机拍摄的目标图像的深度特征。
S520：基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像。
S530：获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系。
S540：利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
图6示出了根据本申请的一示例性实施例的拍摄方向识别服务器的示意结构图。请参考图6，在硬件层面，该服务器包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成拍摄方向识别装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
图7是本申请提供的拍摄方向识别装置的一种实施例的结构示意图，请参考图7，在软件实施方式中，该拍摄方向识别装置700可以包括：深度特征提取模块710、深度特征提取模块720、坐标位置关系获取模块730和拍摄方向计算模块740。其中：
深度特征提取模块710，可以用于提取摄像机拍摄的目标图像的深度特征；
深度特征提取模块720，可以用于基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
坐标位置关系获取模块730，可以用于获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
拍摄方向计算模块740，可以用于利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
本申请另一方面还提供一种监控方法的实施例，具体的，可以包括：
采集的目标图像；
将所述目标图像发送至识别服务器，用于所述识别服务器基于上述拍摄方向识别方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field ProgrammableGateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、装置或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (27)

1.一种拍摄方向识别方法，其特征在于，包括：
提取摄像机拍摄的目标图像的深度特征；
基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
2.根据权利要求1所述的方法，其特征在于，所述多个参考图像包括：预先确定的具有方向和/或时间特征的多个参考图像。
3.根据权利要求2所述的方法，其特征在于，所述具有方向和/或时间特征的多个参考图像采用下述步骤确定：
从历史样本图像中选取具有方向和/或时间特征的多个特征图像；
分别以所述多个特征图像的深度特征为聚类中心，对所述历史样本图像的深度特征进行聚类分析，将所述历史样本图像分配到与聚类中心相对应的多个类别中；
从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像。
4.根据权利要求3所述的方法，其特征在于，所述从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像包括：
分别对每个类别中的图像的深度特征进行求取平均值计算，将计算得到的平均值作为新的聚类中心；
基于多个新的聚类中心对所述历史样本图像的深度特征进行聚类分析的迭代至达到预设收敛条件，将达到预设收敛条件时的多个聚类中心所对应的图像作为参考图像；
其中，所述预设收敛条件包括每个类别中的所述历史样本图像的深度特征与相应类别中的聚类中心的差异度小于等于预设差异度值。
5.根据权利要求3所述的方法，其特征在于，所述从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像包括：
分别计算每个类别中图像的深度特征之间的差异度；
选取每一类别中与同一类别中其他图像的深度特征之间的差异度之和最小的图像作为参考图像。
6.根据权利要求1至5任一所述的方法，其特征在于，所述基于所述目标图像的深度特征与预先确定的多个参考图像的深度特征之间的匹配度，确定出与所述目标图像匹配的参考图像包括：
分别计算目标图像和多个参考图像的深度特征之间的匹配度；
将匹配度最大的深度特征所对应的参考图像作为与所述目标图像匹配的参考图像。
7.根据权利要求6所述的方法，其特征在于，所述匹配度至少包括下述之一：
欧氏距离、余弦距离、曼哈顿距离。
8.根据权利要求1至5任一所述的方法，其特征在于，所述获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系包括：
提取所述相匹配的参考图像和所述目标图像的点特征；
对所述相匹配的参考图像的点特征和所述目标图像的点特征进行点对匹配；
计算匹配的点对之间的相对坐标位置关系，得到所述相匹配的参考图像和所述目标图像之间的单应变换矩阵，将所述单应变换矩阵所对应的变换关系作为所述坐标位置关系。
9.根据权利要求1至5任一所述的方法，其特征在于，所述方向信息包括：
摄像机拍摄图像时的水平旋转、垂直仰角、以及缩放数据。
10.根据权利要求1至5任一所述的方法，其特征在于，所述计算得到拍摄所述目标图像时所述摄像机的拍摄方向包括：
基于所述坐标位置关系确定的偏移参数，对所述相匹配的参考图像的方向信息进行偏移处理以得到所述拍摄方向。
11.一种监控方法，其特征在于，包括：
采集目标图像；
将所述目标图像发送至识别服务器，用于所述识别服务器基于权利要求1至10任一项所述的方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
12.一种拍摄方向识别服务器，包括处理器及存储器，所述存储器存储由所述处理器执行的计算机程序指令，其特征在于，所述计算机程序指令包括：
提取摄像机拍摄的目标图像的深度特征；
基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
13.根据权利要求12所述的服务器，其特征在于，所述多个参考图像包括：预先确定的具有方向和/或时间特征的多个参考图像。
14.根据权利要求13所述的服务器，其特征在于，所述具有方向和/或时间特征的多个参考图像采用下述步骤确定：
从历史样本图像中选取具有方向和/或时间特征的多个特征图像；
分别以所述多个特征图像的深度特征为聚类中心，对所述历史样本图像的深度特征进行聚类分析，将所述历史样本图像分配到与聚类中心相对应的多个类别中；
从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像。
15.根据权利要求14所述的服务器，其特征在于，所述计算机程序指令中从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像包括：
分别对每个类别中的图像的深度特征进行求取平均值计算，将计算得到的平均值作为新的聚类中心；
基于多个新的聚类中心对所述历史样本图像的深度特征进行聚类分析的迭代至达到预设收敛条件，将达到预设收敛条件时的多个聚类中心所对应的图像作为参考图像；
其中，所述预设收敛条件包括每个类别中的所述历史样本图像的深度特征与相应类别中的聚类中心的差异度小于等于预设差异度值。
16.根据权利要求14所述的服务器，其特征在于，所述计算机程序指令中从每个类别中确定出一张图像作为具有相应的方向和/或时间特征的参考图像包括：
分别计算每个类别中图像的深度特征之间的差异度；
选取每一类别中与同一类别中其他图像的深度特征之间的差异度之和最小的图像作为参考图像。
17.根据权利要求12至16任一所述的服务器，其特征在于，所述计算机程序指令中基于所述目标图像的深度特征与预先确定的多个参考图像的深度特征之间的匹配度，确定出与所述目标图像匹配的参考图像包括：
分别计算目标图像和多个参考图像的深度特征之间的匹配度；
将匹配度最大的深度特征所对应的参考图像作为与所述目标图像匹配的参考图像。
18.根据权利要求17所述的服务器，其特征在于，所述匹配度至少包括下述之一：
欧氏距离、余弦距离、曼哈顿距离。
19.根据权利要求12至16任一所述的服务器，其特征在于，所述计算机程序指令中获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系包括：
提取所述相匹配的参考图像和所述目标图像的点特征；
对所述相匹配的参考图像的点特征和所述目标图像的点特征进行点对匹配；
计算匹配的点对之间的相对坐标位置关系，得到所述相匹配的参考图像和所述目标图像之间的单应变换矩阵，将所述单应变换矩阵所对应的变换关系作为所述坐标位置关系。
20.根据权利要求12至16任一所述的服务器，其特征在于，所述方向信息包括：
摄像机拍摄图像时的水平旋转、垂直仰角、以及缩放数据。
21.根据权利要求12至16任一所述的服务器，其特征在于，所述计算得到拍摄所述目标图像时所述摄像机的拍摄方向包括：
基于所述坐标位置关系确定的偏移参数，对所述相匹配的参考图像的方向信息进行偏移处理以得到所述拍摄方向。
22.一种拍摄方向识别装置，其特征在于，包括：
深度特征提取模块，用于提取摄像机拍摄的目标图像的深度特征；
参考图像确定模块，用于基于所述目标图像的深度特征与多个参考图像的深度特征之间的匹配度，确定出与所述目标图像相匹配的参考图像；
坐标位置关系获取模块，用于获取所述相匹配的参考图像与所述目标图像之间的坐标位置关系；
拍摄方向计算模块，用于利用所述坐标位置关系以及所述相匹配的参考图像的方向信息，计算得到拍摄所述目标图像时所述摄像机的拍摄方向。
23.一种监控系统，其特征在于，包括：
采集装置，用于采集目标图像；以及将所述目标图像发送至识别服务器；
识别服务器，用于基于权利要求1至10任一项所述的方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于所述识别服务器基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
24.一种监控系统，其特征在于，包括：
采集装置，用于采集目标图像；以及将所述目标图像发送至识别服务器；
识别服务器，用于基于权利要求1至10任一项所述的方法识别出拍摄所述目标图像时摄像机的拍摄方向；以及用于将所述拍摄方向发送至监控服务器；
监控服务器，用于基于所述拍摄方向对所述目标图像对应的区域进行监控处理。
25.一种摄像设备，其特征在于，包括：
镜头，用于捕获目标图像；
处理器，连接到所述镜头，用于根据权利要求1-10中任意一项所述的方法，确定所述镜头捕获所述目标图像时的方向。
26.根据权利要求25所述的摄像设备，其特征在于，所述摄像设备是如下之一：
移动设备；
监控摄像机；
飞行监控设备；或
地面移动监控设备。
27.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤。
CN201710363925.6A 2017-05-22 2017-05-22 拍摄方向识别方法、服务器及监控方法、系统及摄像设备 Active CN108965687B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710363925.6A CN108965687B (zh) 2017-05-22 2017-05-22 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
US15/985,557 US10949995B2 (en) 2017-05-22 2018-05-21 Image capture direction recognition method and server, surveillance method and system and image capture device
PCT/US2018/033735 WO2018217663A1 (en) 2017-05-22 2018-05-21 Image capture direction recognition method and server, surveillance method and system and image capture device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710363925.6A CN108965687B (zh) 2017-05-22 2017-05-22 拍摄方向识别方法、服务器及监控方法、系统及摄像设备

Publications (2)

Publication Number Publication Date
CN108965687A CN108965687A (zh) 2018-12-07
CN108965687B true CN108965687B (zh) 2021-01-29

Family

ID=64272500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710363925.6A Active CN108965687B (zh) 2017-05-22 2017-05-22 拍摄方向识别方法、服务器及监控方法、系统及摄像设备

Country Status (3)

Country Link
US (1) US10949995B2 (zh)
CN (1) CN108965687B (zh)
WO (1) WO2018217663A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965687B (zh) 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN109639969B (zh) * 2018-12-12 2021-01-26 维沃移动通信（杭州）有限公司 一种图像处理方法、终端及服务器
CN111597979B (zh) * 2018-12-17 2023-05-12 北京嘀嘀无限科技发展有限公司 一种目标对象聚类方法及装置
CN110705579B (zh) * 2019-04-15 2023-05-23 中国石油大学(华东) 一种基于深度学习的复杂多目标集成开关控制板状态校验方法
CN111247792B (zh) * 2019-04-28 2021-11-02 深圳市大疆创新科技有限公司 一种无人机的控制方法、无人机及计算机可读存储介质
CN110148454B (zh) * 2019-05-21 2023-06-06 上海联影医疗科技股份有限公司 一种摆位方法、装置、服务器及存储介质
CN110266942B (zh) * 2019-06-03 2021-04-09 Oppo（重庆）智能科技有限公司 图片的合成方法及相关产品
CN110503074B (zh) 2019-08-29 2022-04-15 腾讯科技（深圳）有限公司 视频帧的信息标注方法、装置、设备及存储介质
CN110928959B (zh) * 2019-10-28 2023-04-28 中国科学院上海微系统与信息技术研究所 一种实体之间关系特征信息的确定方法、装置、电子设备及存储介质
CN112837527A (zh) * 2019-11-22 2021-05-25 罗伯特·博世有限公司 目标识别系统及其方法
SG10201913754XA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
US11354883B2 (en) 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
SG10201913798WA (en) * 2019-12-30 2021-07-29 Sensetime Int Pte Ltd Image processing method and apparatus, and electronic device
CN113362392B (zh) * 2020-03-05 2024-04-23 杭州海康威视数字技术股份有限公司 可视域生成方法、装置、计算设备及存储介质
CN111405485B (zh) * 2020-03-17 2021-08-06 中国建设银行股份有限公司 用户定位方法及系统
CN113450414A (zh) * 2020-03-24 2021-09-28 阿里巴巴集团控股有限公司 一种摄像机标定方法、设备、系统及存储介质
CN111460983B (zh) * 2020-03-30 2023-01-24 重庆特斯联智慧科技股份有限公司 一种基于目标跟踪的智能消防方法和系统
AU2020289853B2 (en) 2020-04-09 2022-02-03 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
SG10202003292XA (en) * 2020-04-09 2021-11-29 Sensetime Int Pte Ltd Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN111401335B (zh) * 2020-04-29 2023-06-30 Oppo广东移动通信有限公司 一种关键点检测方法及装置、存储介质
CN111526291B (zh) * 2020-04-29 2022-07-05 济南博观智能科技有限公司 摄像机监控方向确定方法、装置、设备及存储介质
JP7331769B2 (ja) * 2020-04-30 2023-08-23 トヨタ自動車株式会社 位置推定システム、及び位置推定方法
CN111724440B (zh) * 2020-05-27 2024-02-02 杭州数梦工场科技有限公司 监控设备的方位信息确定方法、装置及电子设备
CN111967542B (zh) * 2020-10-23 2021-01-29 江西小马机器人有限公司 一种基于深度特征点的表计识别二次定位方法
CN112601025B (zh) * 2020-12-24 2022-07-05 深圳集智数字科技有限公司 影像的获取方法及装置、设备计算机可读存储介质
CN113450252A (zh) * 2021-05-11 2021-09-28 点智芯科技(北京)有限公司 一种超像素分割单映矩阵聚类图像拼接方法
CN114750147B (zh) * 2022-03-10 2023-11-24 深圳甲壳虫智能有限公司 机器人的空间位姿确定方法、装置和机器人
CN117714883A (zh) * 2022-09-07 2024-03-15 华为技术有限公司 摄像机控制方法及相关装置
CN116307619B (zh) * 2023-03-29 2023-09-26 邦邦汽车销售服务(北京)有限公司 一种基于数据识别的救援车辆调配方法及系统
CN116758150B (zh) * 2023-05-15 2024-04-30 阿里云计算有限公司 位置信息确定方法及装置
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024437A2 (en) * 1999-01-26 2000-08-02 Xerox Corporation Multi-modal information access
CN104272344A (zh) * 2012-10-24 2015-01-07 株式会社摩如富 图像处理装置、图像处理方法、图像处理程序以及记录介质
CN105513083A (zh) * 2015-12-31 2016-04-20 新浪网技术(中国)有限公司 一种ptam摄像机跟踪方法及装置
CN106415594A (zh) * 2014-06-16 2017-02-15 北京市商汤科技开发有限公司 用于面部验证的方法和系统
CN106529497A (zh) * 2016-11-25 2017-03-22 浙江大华技术股份有限公司 一种图像采集设备的定位方法及装置
CN106529609A (zh) * 2016-12-08 2017-03-22 郑州云海信息技术有限公司 一种基于神经网络结构的图像识别方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598054B2 (en) * 1999-01-26 2003-07-22 Xerox Corporation System and method for clustering data objects in a collection
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
US20090010507A1 (en) 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US9342143B1 (en) 2012-04-17 2016-05-17 Imdb.Com, Inc. Determining display orientations for portable devices
EP2709060B1 (en) * 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US9202129B2 (en) 2013-03-12 2015-12-01 Qualcomm Incorporated Reducing object detection time by utilizing space localization of features
EP3089102B1 (en) 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
JP6364797B2 (ja) 2014-02-06 2018-08-01 株式会社デンソー 画像解析装置、および画像解析方法
DE102014115292A1 (de) 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
TWI571753B (zh) * 2014-11-07 2017-02-21 財團法人資訊工業策進會 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品
US20170070731A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
US10257472B2 (en) 2016-02-17 2019-04-09 The Boeing Company Detecting and locating bright light sources from moving aircraft
CN108965687B (zh) 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024437A2 (en) * 1999-01-26 2000-08-02 Xerox Corporation Multi-modal information access
CN104272344A (zh) * 2012-10-24 2015-01-07 株式会社摩如富 图像处理装置、图像处理方法、图像处理程序以及记录介质
CN106415594A (zh) * 2014-06-16 2017-02-15 北京市商汤科技开发有限公司 用于面部验证的方法和系统
CN105513083A (zh) * 2015-12-31 2016-04-20 新浪网技术(中国)有限公司 一种ptam摄像机跟踪方法及装置
CN106529497A (zh) * 2016-11-25 2017-03-22 浙江大华技术股份有限公司 一种图像采集设备的定位方法及装置
CN106529609A (zh) * 2016-12-08 2017-03-22 郑州云海信息技术有限公司 一种基于神经网络结构的图像识别方法及装置

Also Published As

Publication number Publication date
WO2018217663A1 (en) 2018-11-29
US10949995B2 (en) 2021-03-16
US20180336700A1 (en) 2018-11-22
CN108965687A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108965687B (zh) 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
Maddern et al. 1 year, 1000 km: The oxford robotcar dataset
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN112328730B (zh) 一种地图数据更新的方法、相关装置、设备及存储介质
CN103632044B (zh) 基于地理信息系统的摄像头拓扑构建方法及装置
US11430199B2 (en) Feature recognition assisted super-resolution method
US20170200293A1 (en) Methods for navigating through a set of images
CN114125310B (zh) 拍照方法、终端设备及云端服务器
Zhou et al. Developing and testing robust autonomy: The university of sydney campus data set
CN112348887A (zh) 终端位姿确定方法以及相关装置
CN106649777B (zh) 一种在全景矢量数据中构建路口拓扑关系的方法
CN109345567B (zh) 物体运动轨迹识别方法、装置、设备和存储介质
CN110636248B (zh) 目标跟踪方法与装置
WO2021232826A1 (zh) 基于无线定位技术的摄像机动态跟踪路面目标的控制方法和装置
TW202247108A (zh) 視覺定位方法、設備及電腦可讀儲存媒體
Sun et al. Automated human use mapping of social infrastructure by deep learning methods applied to smart city camera systems
CN114969221A (zh) 一种更新地图的方法及相关设备
CN111414818A (zh) 一种基于环境图像的定位方法及装置
CN103903269B (zh) 球机监控视频的结构化描述方法和系统
CN112818866B (zh) 车辆定位的方法、装置及电子设备
CN104048662A (zh) 一种基于精简路标的机器人视觉归航方法
CN113763468B (zh) 一种定位方法、装置、系统及存储介质
Tang et al. Automatic geo‐localization framework without GNSS data
US20200134835A1 (en) Image Compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant