CN111699679A - 交通系统监控和方法 - Google Patents

交通系统监控和方法 Download PDF

Info

Publication number
CN111699679A
CN111699679A CN201980011284.5A CN201980011284A CN111699679A CN 111699679 A CN111699679 A CN 111699679A CN 201980011284 A CN201980011284 A CN 201980011284A CN 111699679 A CN111699679 A CN 111699679A
Authority
CN
China
Prior art keywords
target
map
monitoring interface
image data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980011284.5A
Other languages
English (en)
Other versions
CN111699679B (zh
Inventor
张忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Truthvision Inc
Original Assignee
Truthvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truthvision Inc filed Critical Truthvision Inc
Publication of CN111699679A publication Critical patent/CN111699679A/zh
Application granted granted Critical
Publication of CN111699679B publication Critical patent/CN111699679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]

Abstract

一种用于交通监控的方法，可以包括：从至少两个第一视频传感器中，获取区域的第一组图像数据；以及基于第一组图像数据，生成区域的基于地图的监控界面。该方法还可以包括在显示器上显示基于地图的监控界面；其中至少两个第一视频传感器的一个第一视频传感器应用在区域内的照明设备上，并且第一组图像数据分别表示由至少两个第一视频传感器捕获的关于区域的至少两个视觉场景。

Description

交通系统监控和方法
交叉引用
本申请要求2018年4月27日提交的美国临时专利申请No.62/664,067的优先权，其内容通过引用并入本文。
技术领域
本申请涉及监控系统，更具体地涉及基于与照明设备耦合的视频传感器的交通监控方法和系统。
背景技术
视频监控系统广泛用于各种应用中，以检测和监控环境中的对象。例如，这类系统可应用于自动威胁检测、远程通知、国土安全、(实时)交通分析等，或其组合。在(实时)交通分析中，视频监控系统可用于车辆跟踪、交通调查与管制、交通执法等。视频监控系统可以包括分散安装在宽阔区域中的多个视频传感器(例如，相机)。多个视频传感器获取的视频数据彼此独立地由视频监控系统处理。虽然这种设置对某些场景中已经足够了，但仅检测局部单个摄像机事件限制了视频监控系统的效果。跨越多个摄像机的更复杂事件无法被检测到。为了使系统能够全局了解整个区域的状况。期望提供基于与照明设备耦合的视频传感器的交通监控系统和方法。
发明内容
根据本申请的一方面，一种用于交通监控的系统可以包括：存储指令的非暂时性存储介质；与非暂时性存储介质通信的至少一个处理器；以及与网络连接的通信平台。该系统可以包括被配置为捕获区域的至少两个视觉场景的至少两个第一视频传感器，至少两个第一视频传感器的每个视频传感器均应用在该区域中的照明设备上。该系统可以包括数据融合模块，该数据融合模块被配置为基于第一组图像数据来生成该区域的基于地图的监控界面。该系统可以包括显示模块，其被配置为在显示器上显示基于地图的监控界面。
在一些实施例中，该系统可以包括被配置为捕获该区域的第二组图像数据的至少两个第二视频传感器，至少两个第二视频传感器的每个第二视频传感器应用在该区域中的运动对象上。其中，数据融合模块还被配置为基于第一组图像数据和第二组图像数据来生成区域的基于地图的监控界面。
在一些实施例中，所述数据融合模块还被配置为：从所述第一组图像的第一图像中识别目标；从第一组图像数据确定一个或以上第二个图像，每个第二图像包括目标；并基于第一图像和一个或以上第二图像确定目标的运动轨迹，其中，所述显示模块还被配置为在显示器上显示目标在基于地图的监控界面上的运动轨迹。
在一些实施例中，数据融合模块还被配置为生成至少一个基于对象的监控界面。显示模块还被配置为在至少一个基于对象的监控界面上显示目标的运动轨迹；并在显示器上同时显示至少一个基于对象的监控界面和基于地图的监控界面。
在一些实施例中，数据融合模块还被配置为基于第一图像和一个或以上第二图像中的至少一个，检索与目标相关的一个或以上特征。显示模块还被配置为在至少一个基于对象的监控界面上显示目标的一个或以上特征，其中一个或以上特征包括目标的位置、目标的速度、目标的颜色或目标的轮廓中的至少一个。
在一些实施例中，交通分析模块还被配置为：基于目标在一段时间内的运动轨迹生成目标的运动模式；基于运动模式触发至少两个第一视频传感器中的至少一个以监控目标，其中运动模式包括时间运动模式、空间运动模式、社会行为运动模式中的至少一种。
在一些实施例中，交通分析模块还被配置为：基于第一组图像数据确定区域的一个或以上交通统计结果；基于与该区域有关的一个或以上交通统计结果和交通规则确定是否发生违规事件；以及响应于确定发生违规事件，通过网络向第三方发送警报信号。
在一些实施例中，系统还可以包括事件模块，该事件模块被配置为：从终端设备接收事件的查询；从非暂时性存储介质中检索与事件有关的信息；并在查询的终端设备响应于此查询，发送与事件有关的信息，用于在显示器终端上显示。其中，信息以文本、表格、图表、基于地图的监控界面或基于对象的监控界面中的至少一个显示在终端设备上。
根据本申请的一个方面，提供了一种用于交通监控的方法。该方法可以包括：从至少两个第一视频传感器获取区域的第一组图像数据；以及基于第一组图像数据，生成区域的基于地图的监控界面。该方法还可以包括在显示器上显示基于地图的监控界面；其中每个至少两个第一视频传感器的每个视频传感器均应用在区域内的照明设备上，并且第一组图像数据分别表示两个第一视频传感器所捕获的区域的至少两个视觉场景。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的示例性交通监控系统100的示意图；
图2是根据本申请的一些实施例所示的示例性监控组件的示意图；
图3是根据本申请的一些实施例所示的用于处理图像数据的示例性处理引擎140的示意图；
图4是根据本申请的一些实施例所示的用于交通监控的示例性流程的流程图；
图5是根据本申请的一些实施例所示的用于处理视频数据的示例性数据融合模块的示意图；
图6是根据本申请的一些实施例所示的用于建立基于地图的监控界面的示例性流程的流程图；
图7是根据本申请的一些实施例所示用于调整至少两个控制点的至少一部分的示例性流程的示意图；
图8是根据本申请的一些实施例所示的示例性交通监控系统的示意图；
图9是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图；以及
图10是根据本申请的一些实施例所示的可以在其上实现终端的示例性移动设备的示例性硬件和/或软件组件的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其它情况下，为了避免不必要地使本申请的各方面变得晦涩难懂，已经在较高的层次上描述了众所周知的方法、过程、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所公开的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其它实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其它特征、整体、步骤、操作、组件、部件和/或其组合的情况。
应当理解的是，本文使用的“系统”、“引擎”、“单元”、“模块”和/或“区块”是用于按升序区分不同级别的不同构件、元素、部件、部分或组件的方法。然而，如果其它词语可以实现相同的目的，则可通过其它表达来替换所述词语。
通常，本文所使用的词“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或指代软件指令的集合。本文描述的模块、单元或块可以被实现为软件和/或硬件，并且可以被存储在任何类型的非暂时性计算机可读介质或其它存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其连接到可执行程序中。将意识到，软件模块可以是可从其它模块/单元/块或从其自身调用的，和/或可以响应于检测到的事件或中断而被调用。可以在计算机可读介质上提供被配置为在计算设备上执行的软件模块/单元/块(例如，如图9所示的处理器910)，例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或作为数字下载(并且可以最初以压缩或可安装的格式存储，需要在执行之前进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以被植入在固件中，例如可擦可编程只读内存(erasable programmable read only memory(EPROM))。还将意识到，硬件模块/单元/块可以被包括在连接的逻辑组件中，例如门和触发器，和/或可以包括在可编程单元中，例如可编程门阵列或处理器。本文描述的模块/单元/块或计算设备功能可以被实现为软件模块/单元/块，但是可以以硬件或固件来表示。通常，本文描述的模块/单元/块是指逻辑模块/单元/块，虽然它们是物理组织或存储，但是它们可以与其它模块/单元/块组合或划分为子模块/子单元/子块。该描述可以适用于系统、发动机或其一部分。
将理解的是，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接”或“耦合至”另一单元、引擎、模块或块时，其可以直接在其它单元、引擎、模块或块上，与其连接或耦合或与之通信，或者可能存在中间单元、引擎、模块或块，除非上下文另有明确说明。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。
根据以下对附图的描述，本申请的这些和其它的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请的一个方面涉及一种用于交通监控的系统和方法。该系统可以从一个区域的至少两个第一视频传感器获取第一组图像数据。该系统还可以基于第一组图像数据生成该区域的基于地图的监控界面。该系统还可以在显示器上显示基于地图的监控界面，其中至少两个第一视频传感器的每个第一视频传感器均应用在该区域中的照明设备上，并且第一组图像数据分别表示由至少两个第一视频传感器捕获的该区域的两个视觉场景。
为了说明的目的，本申请描述了图像系统的系统和方法。以下说明的交通监控系统800仅出于说明目的而提供，并不旨在限制本申请的范围。
图1是根据本申请的一些实施例所示的示例性交通监控系统100的示意图。如图所示，交通监控系统100可以包括监控组件120、控制组件130、处理引擎140、通信组件150和存储器160。在一些实施例中，监控组件120、控制组件130和处理引擎140以及存储器160可以通过通信组件150彼此连接和/或通信，通信组件150包括无线连接(例如，网络)、有线连接或其组合。
监控组件120可以包括至少两个照明设备(例如，照明设备1、2、…、N)和至少两个成像设备(例如，成像设备1、2、…、N)。
照明设备可以为感兴趣区域(AOI)提供照明。AOI可以在室内或室外。例如，AOI可以包括住宅、购物中心、办公空间、街道、道路、车站等，或其组合。照明设备可以包括至少两个路灯、景观灯、泛光灯、泛光灯、轮廓灯等。每个照明设备可以包括一个或以上照明参数。示例性的照明参数可以包括光强度、光颜色、色温、光源的形状、亮度、开关状态、照明区域等。
成像设备可以对感兴趣区域(area of interest,AOI)进行监控。在一些实施例中，至少两个成像设备可以包括多个固定视频传感器(也被称为第一视频传感器)和/或多个移动视频传感器(也被称为第二视频传感器)。如本文所使用的，视频传感器可以是用于视觉记录的装置。视频传感器可以捕获与AOI或感兴趣对象有关的图像数据。图像数据可以包括视频、图像或其组合。如本文所使用的，术语“视频”可以是以模拟和/或数字形式表示的动态图像。例如，视频可以包括电视、电影、来自摄像机或其它观测设备的图像序列、计算机生成的图像序列等，或其组合。如本文所使用的，序列(也被称为“帧”)可以指代视频中的特定图像或其它离散单元。视频传感器可以应用在摄像机上。摄像机可以包括彩色摄像机、数码摄像机、摄像机、便携式摄像机、PC摄像机、网络摄像机、红外(IR)摄像机、低光摄像机、热敏摄像机、闭路电视(CCTV)摄像机、平移、倾斜、变焦(PTZ)相机、视频传感设备等或其组合。
固定视频传感器可以配置有不可移动的主体。例如，固定视频传感器可以与如上所述的照明设备、建筑物等或其组合结合。此外，多个固定传感器中的每个可以与照明设备之一耦合。例如，公共区域可以包括至少两个路灯。可以在至少两个路灯中的每一个路灯上安装一个固定视频传感器。耦合的固定视频传感器和照明设备(也称为照明-成像设备)可以共享一个电源。例如，照明-成像设备可以包括基部，基部可以旋入灯座。照明-成像设备中的固定视频传感器和照明设备可以通过灯座供电。
可以将移动视频传感器安装在可移动主体上。可移动主体可以包括车辆、飞行器、船只、机器人、移动终端(例如，移动电话)等，或其组合。在一些实施例中，可以将多个视频传感器安装在一个可移动主体上。例如，两个视频传感器可以安装在运动的车辆上。两个移动视频传感器之一可以安装在运动车辆的前面(也称为前端传感器)，被配置对运动车辆的前部区域(例如，车道、车辆、牌照号码、行人、障碍物、交通信号灯等)进行录像。另一个可以安装在运动车辆的后部(也称为后端传感器)，其配置为对运动车辆的后部区域(例如，车道、车辆、障碍物、行人等)进行录像。
控制组件130可以被配置为控制交通监控系统100的一个或以上组件的操作。在一些实施例中，控制组件130可以运行一个或以上成像设备来采集与一个或以上区域相关的图像数据(例如，图像、视频等)。例如，控制组件130可以设置一个或以上成像设备的参数(例如，旋转方向、旋转角度等)。控制组件130可以进一步控制处理引擎140处理图像数据以检测一个或以上对象。例如，控制组件130可以控制处理引擎140基于由一个或以上成像设备捕获的图像数据来生成基于地图的监控界面。又例如，控制组件130可以根据基于地图的监控界面和/或捕获的图像数据来控制处理引擎140生成目标的运动模式。仍然作为示例，控制组件130可以控制处理引擎140基于由一个或以上成像设备捕获的图像数据来确定运动轨迹。
在一些实施例中，控制组件130可以运行一个或以上照明设备对区域提供照明。例如，控制组件130可以设置照明设备的一个或以上照明参数(例如，开关状态、照明区域、光色、光强度等)。又例如，控制组件130可以根据一个或以上照明参数(例如，开关状态、照明区域、光色、光强度等)来操作照明设备中的至少一个，为与照明设备中的至少一个相关联的区域提供照明。在一些实施例中，控制组件130可以基于用户通过终端(例如，移动电话)输入的指令来运行一个或以上照明设备。在一些实施例中，控制组件130可以基于由与照明设备相关联的成像设备采集的图像数据来运行一个或以上照明设备。例如，控制组件130可以控制处理引擎140基于所捕获的图像数据来确定基于地图的界面。此外，控制组件130可以根据基于地图的界面控制一个或以上照明设备。
控制组件130可以以多种方式来实现，包括专用硬件、软件等或其组合，以执行各种功能。在一些实施例中，控制组件130可以由可联网的移动设备(例如手机、智能手机、平板电脑、笔记本电脑、个人数字助理等)实现。在一些实施例中，其它可联网的设备(如台式计算机)也可以作为控制组件130。在一些实施例中，控制组件130可以进一步是可在移动设备或固定设备(例如智能手机、平板电脑、台式计算机、个人数字助理等)上运行的应用程序。在一些实施例中，可以将软件应用程序或升级下载到可联网的设备上以执行本文描述的功能。在一些实施例中，控制组件130可以是服务器，并且该服务器可以是本地或远程服务器。在一些实施例中，控制组件130也可以是一个红外遥控器。在一些实施例中，控制组件130可以配置有允许用户通过触摸控制组件130进行交互的屏幕，例如，检索和导航音频项目的播放列表、控制一个或以上成像设备和/或一个或以上照明设备的运行。
处理引擎140可以处理从监控组件120和/或存储器160获得的数据和/或信息。处理引擎140可以从监控组件120和/或存储器160的至少一个成像设备获得图像数据(例如，图像、视频等)。处理引擎140可以基于所捕获的图像数据来确定基于地图的界面。处理引擎140可以基于图像数据和/或基于地图的界面执行交通数据统计(例如，车辆检测、交通规则的违规事件、交通流量等)。
在一些实施例中，处理引擎140可以根据捕获的图像数据识别运动对象(也被称为目标)，并确定运动对象的运动轨迹。处理引擎140还可以基于地图的界面在显示器上显示运动对象的运动轨迹。例如，处理引擎140可以在基于地图的监控和所识别的运动对象的基础上生成基于对象的监控界面。处理引擎140可以在基于对象的监控界面上显示目标的运动轨迹，同时在显示器上显示基于地图的监控界面和基于对象的监控界面。在一些实施例中，则处理引擎140可以根据捕获的图像数据检索与运动对象有关的一个或以上特征。处理引擎140可以在基于对象的监控界面上显示运动对象的一个或以上特征。示例性特征包括运动对象的位置、运动对象的速度、运动对象的颜色、运动对象的轮廓等。在一些实施例中，处理引擎140可以在一段时间内基于运动对象的运动轨迹来生成运动对象的运动模式。处理引擎140可以基于运动模式触发至少两个视频传感器中的至少一个以监控运动对象。
在一些实施例中，处理引擎140可以从终端设备(例如，终端860)接收事件的查询。处理引擎140可以从非暂时性存储介质中检索与事件有关的信息，并响应于查询，发送与事件有关的所述信息以在终端设备上显示。该信息以文本、表格、图表、基于地图的监控界面、基于对象的监控界面的形式显示在终端设备上。该事件可以包括异常事件和正常事件。正常事件可以指由一个或以上的对象执行的满足标准的事件。异常事件可以指由一个或以上的对象执行的不满足标准的事件。该标准可以由法律、法规、惯例等或其组合来定义。例如，异常事件可以包括超速驾驶、不系安全带驾驶、不戴头盔驾驶、违规穿越马路、碰撞、开车时使用手机等。正常事件可以包括根据交通信号驾驶、在人行横道上步行、使用消声器驾驶、在交叉路口减速等。
在一些实施例中，处理引擎140可以是工作站或服务器。例如，处理引擎140可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。在一些实施例中，处理引擎140可以是本地的或远程的。例如，处理引擎140可以经由通信组件150访问存储在监控组件120和/或存储器160中的信息和/或数据。又例如，处理引擎140可以直接连接到监控组件120和/或存储器160以访问存储的信息和/或数据。在一些实施例中，处理引擎140可以在云平台上实现。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其组合。
通信组件150可以被配置为在控制组件130和监控组件120之间建立通信连接。例如，通信组件150可以实现控制组件130与一个或以上成像设备和/或照明设备之间的通信。通信组件150也可以被配置为在监控组件120中的设备之间建立通信连接。例如，通信组件150可以实现一个或以上成像设备和/或照明设备之间的通信。在一些实施例中，通信组件150也可以用于在控制组件130和/或处理引擎140之间建立与远程服务器的通信连接，以从远程服务器获取信息。
通信组件150可以包括电话网络、无线网络、数据网络、有线网络等，或其组合。通信组件150可以是无线的或有线的，可以由一个或以上的服务提供者管理。无线网络可以包括蓝牙、WLAN、Wi-Fi、Zigbee、Z-Wave、EnOcean、红外数据通信、超宽带(UWB)、近场通信服务(NFC)、移动网络(2G、3G或4G信号)、虚拟私人网络(VPN)、共享网络等或其组合。通信协议可以是传输控制协议(TCP)、用户数据协议(UDP)、互联网协议(TP)、超文本传输协议(HTTP)、文件传输协议(FTP)、简单邮件传输协议(SMTP)、邮局协议3(POP3)等或其组合。有线连接可以包括但不限于RS-232、CAN、TCP/IP、光纤等或其组合。
在一些实施例中，“网络”可以包含一些组件或元素，用于提供一系列通信和网络服务。例如，电话网络可以包括电路交换网络、例如公共交换电话网络(PSTN)、综合业务数字网络(ISDN)、专用小交换机(PIX)或其它类似的网络。无线网络可以采用各种技术，包括例如码分多址(CDMA)、全球演进的增强数据速率(EDGE)、通用分组无线业务(GPRS)、移动自组织网络(MANET)、全球移动通信系统(GSM)、互联网协议多媒体子系统(IMS)、通用移动电信系统(UMTS)等以及任何其它合适的无线媒介，例如，微波接入(WiMAX)、无线局域网(Wi-Fi)、卫星等等。同时，数据网络可以是任何局部区域网络(LAN)、城域网络(MAN)、广域网网络(WAN)、互联网或任何其它合适的分组交换网络，例如商用的、专有的分组交换网络，如专用电缆或光纤网络。
在一些实施例中，通信组件150可以包含一个或以上Wi-Fi路由器。Wi-Fi路由器可以被配置为允许至少一个监控组件120与控制组件130连接。此外，Wi-Fi路由器可以被配置为允许控制组件130和监控组件120访问通信组件150。
存储器160可以存储基于相机采集的图像数据进行相机校准相关的数据、指令和/或任何其它信息。在一些实施例中，存储器160可以存储从处理引擎140、终端160和/或监控组件120获得的数据。例如，存储器160可以存储由监控组件120获取的图像数据。又例如，存储器160可以存储由处理引擎114确定的成像设备的参数(例如，旋转方向、旋转角度等)。作为又一示例，存储模块110可以存储与图像数据中检测到的对象有关的一个或以上特征相对应的估计值。作为又一示例，存储器160可以存储对象的一个或以上运动模式。在一些实施例中，存储器160可以存储处理引擎140可执行或用来执行本申请中描述的示例性方法的数据和/或指令。例如，存储器160可以存储处理引擎140执行或用于确定AOI的一个或以上交通数据统计的指令。在一些实施例中，存储器160可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其组合。示例性大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍速率同步动态随机存取存储器(DDR SDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性ROM可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字通用盘只读存储器等。在一些实施例中，可以在本申请中其它地方描述的云平台上实现存储模块110。在一些实施例中，存储器160可以连接到和/或与处理引擎140中的一个或以上其它组件通信。处理引擎140中的一个或以上组件可以访问存储在存储器160中的数据或指令。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。然而，这些变化和修改不会背离本申请的范围。在一些实施例中，交通监控系统100可以与安全系统、智能插座系统、智能开关系统、智能设备系统等或其组合连接。此外，所描述的系统可以全部通过控制组件130来控制。在一些实施例中，处理引擎140和控制组件130可以集成到单个设备中。
图2是根据本申请的一些实施例所示的示例性监控组件120的示意图。监控组件120可以包括照明单元201、成像单元202、收发器203、处理器204、存储器205、电源单元206和用户界面207。在一些实施例中，照明单元201、成像单元202、收发器203、处理器204、存储器205、电源单元206和用户界面207可以经由无线连接(例如，网络)、有线连接或其组合而彼此连接和/或彼此通信。
照明单元201可以被配置为将电转换为光。照明单元201可以包括光源、照明驱动器等或其组合。光源可以包括热辐射光源、气体放电光源、半导体光源等。热辐射光可以包括白炽灯、卤素灯等。气体放电光源可以包括高强度放电灯、高压汞灯、金属卤化物灯、高压钠灯等。半导体光源可以包括一个或以上的发光二级管(LED)。根据化学性质，LED可以包括有机发光二极管(OLED)和无机发光二极管(LED)。根据控制模式，LED可以包括恒定电流、恒定电压等。根据调光模式，LED可以包括模拟调光、脉冲宽度调制(PWM)调光等。根据颜色，LED可以包括红色LED、蓝色LED、绿色LED、黄色LED、白色LED或其组合(例如RGB)。LED还可以包括普通的单色发光二极管、高亮度发光二极管、超高亮度发光二极管、彩色发光二极管、闪烁发光二极管、压控发光二极管、红外发光二极管、负电阻发光二极管等。
成像单元202可以被配置为获取与AOI相关的图像数据。图像数据可以包括视频、图像或它们的组合。在一些实施例中，成像单元202可以包括如本申请中其他地方(例如，图1及其描述)所述的视频传感器。示例性视频传感器可包括电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)等。在一些实施例中，可以按照本申请中其他地方描述的摄像机的形式来安装视频传感器。
收发器203可以被配置为在诸如照明单元201、成像单元202、处理器204、存储器205、电源单元206和用户界面的不同模块之间发送和接收数据。收发器203还可以被配置为在控制组件130、处理引擎140、通信组件150和监控组件120之间建立通信。收发器203可以经由无线连接、有线连接或其组合来建立通信。在一些实施例中，无线连接可以基于行业标准(例如，红外、无线电，包括IEEE 802.11a、802.11b、802.11g、802.11n、802.15等无线标准)。在一些实施例中，收发器203可以集成在监控组件120的任何模块或单元中。
处理器204可以被配置为处理与照明单元201和/或成像单元202相关联的数据。例如，处理器204可以基于成像单元201获取的图像来检测一个或以上对象。又例如，处理器204可以基于检测到的对象来确定一个或以上照明参数。在一些实施例中，处理器204也可以根据来自控制组件130或其他单元(例如照明单元201、成像单元202、收发器203、存储器205、电源单元206和用户界面207)的指令来控制监控组件120中的各个单元。处理器204可以包括微控制器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级精简指令集计算(RISC)机(ARM)、能够执行本文所述功能的任何其它电路和/或处理器等或其组合。处理器204可以以多种方式实现(例如，使用专用硬件)以执行各种功能。处理器204可以使用一个或以上微处理器，这些微处理器可以使用软件(例如，微代码)编程以执行本文所讨论的各种功能。处理器204可以使用或不使用微处理器来实现，也可以作为由执行某些功能的专用硬件和执行其它功能的处理器(例如，一个或以上编程的微处理器和相关电路)的组合来实现。本申请的各种实施例中采用的处理器组件的示例包括但不限于传统微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
存储器205可以是装载可由处理器204执行的一个或以上软件或指令的任何数据存储器。例如，数据可以包括由成像单元202获取的图像数据、与照明单元201相关联的一个或以上照明参数、由处理器204执行并使其控制照明的指令、由用户等经由用户界面207选择的对象的一个或以上特征或其组合。存储器205可以包括层次化存储器、网络存储器、相关存储器等，如本申请中其他地方(例如，图1及其描述)所述。
电源单元206可以被配置为监控组件120的电源。在一些实施例中，电源单元206可以包括用于旋入灯座的基部。此外，照明单元201和成像单元202可以经由电源单元206的同一基部供电。在一些实施例中，电源单元206可以包括电池，例如，锂电池、铅蓄电池、镍镉电池、镍氢电池等，或其组合。在一些实施例中，电源单元206可以连接智能灯座。智能灯座可以通过无线方式与控制组件130连接，也可以由控制组件130控制。控制组件130可以打开或关闭智能灯座的电源。在一些实施例中，电源单元206可以包括外部电源，例如，具有家用电源插座或工业电源插座等的电源网络，或其组合。在一些实施例中，电源单元206可以包括一个或以上的充电装置。电源单元206可以提供直流(DC)电或交流(AC)电。电源单元206可以进一步包括一个或以上其它内部组件，例如，转换器、充电/放电接口等，或其组合。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。然而，这些变化和修改不会背离本申请的范围。在一些实施例中，监控组件120还可以包括用于提供警报或指示的提醒模块。监控组件120的单元可以部分地集成在一个或以上独立的模块或单元中。在一些实施例中，监控组件120的一部分可能是非必需的，例如，存储器205。
图3是根据本申请的一些实施例所示的用于处理图像数据的示例性处理引擎140的示意图。如图所示，处理引擎140可以包括数据获取模块302、数据预处理模块304、数据融合模块306、事件模块308、交通分析模块310、显示模块312、警报模块314和存储模块316。在一些实施例中，数据获取模块302、数据预处理模块304、数据融合模块306、事件模块308、显示模块312、交通分析模块310、警报模块314和存储模块316可以经由无线连接(例如，网络)、有线连接或其组合而彼此连接和/或彼此通信。
数据获取模块302可以获取感兴趣区域(AOI)的图像。图像可以包括静态图片、视频(离线或实时流)、视频的帧或其组合。在一些实施例中，区域的图像可以从，例如实时源、存储设备、基于IEEE 1394的接口、视频数字化仪、计算机图形引擎、网络接口等或其组合中获得。例如，数据获取模块302可以从监控组件120获得区域的图像。在一些实施例中，区域的图像可以包括区域的第一组图像数据和区域的第二组图像数据。此外，数据获取模块302可以从至少两个第一视频传感器(即，固定视频传感器)获取第一组图像数据，并从至少两个第二视频传感器(即，移动视频传感器)获取第二组图像数据。在一些实施例中，至少两个第一视频传感器和/或至少两个第二视频传感器可以包括摄像机。每个第一视频传感器可以与照明设备(例如，路灯)耦合，如本申请中其他地方(例如，图1-2及其描述)所述。每个第二视频传感器可以安装在可移动主体(例如，车辆、移动电话等)上，如本申请中其他地方(例如，图1-2及其说明)所述。数据获取模块302获取的数据可以存储在存储设备880中，并通过网络850发送给终端880或服务器840。
AOI可以作为视频场景反映在图像中。在一些实施例中，视频场景可能包含一个或以上感兴趣的对象。一个或以上感兴趣的对象可以包括人、车辆、动物、物理主体或类似物或其组合。一个或以上感兴趣对象的一个或以上的举动可以反映在视频场景中。在一些实施例中，一个或以上感兴趣对象的举动可以包括执行动作、发出声音、做出响应或类似动作或其组合。
在一些实施例中，数据获取模块302可以将AOI的图像传送到处理引擎140的其他模块以进行进一步处理。例如，数据获取模块302可以将AOI的图像传送到数据预处理模块304以用于处理图像。又例如，数据获取模块302可以将AOI的图像传送到数据融合模块306，以生成基于地图的监控界面。仍然作为示例，数据获取模块302可以将AOI的图像传送到存储模块316以存储在本地数据库或远程数据库中。
数据预处理模块304可以预处理AOI的图像。在一些实施例中，对AOI的图像的预处理可以包括增强操作、变换操作、压缩操作、边缘检测、分割操作、降噪操作或类似操作或其组合。例如，变换操作以将一个域(例如，空间域)中的AOI的图像变换到另一个域(例如，频域)中，用于确定AOI的图像中的对象的特征。又例如，增强操作可以增强AOI的图像的一部分(例如，主体部分)。作为又一个示例，分割操作可以在AOI图像中识别或分类对象。在一些实施例中，数据预处理模块304可以将AOI的预处理图像传送到处理引擎140的其他模块以进行进一步处理。例如，数据预处理模块304可以将AOI的预处理图像传送到数据融合模块306，以生成关于AOI的基于地图的监控界面。
数据融合模块306可以基于第一组图像数据来生成区域的基于地图的监控界面。如本文所使用的，基于地图的监控界面可以是校准后的地图，可以表示多个图像与地图上所显示的至少两个视频传感器(例如，本申请中其他地方描述的固定视频传感器)的位置之间的对应关系。该地图可以是卫星图像、蓝图、道路网络等或其组合的形式。示例性地图可以包括高德地图、谷歌地图、百度地图等。在一些实施例中，数据融合模块306可以将由至少两个视频传感器(例如，本申请中其他地方描述的固定视频传感器)捕获的图像数据映射到地图上。此外，数据融合模块306可以基于第一组图像数据和/或第二组图像数据来生成关于区域的基于地图的监控界面。
在一些实施例中，数据融合模块306可以识别在由第一视频传感器捕获的图像中所表示的目标。数据融合模块306可以进一步通过融合由第一视频传感器捕获的图像和由一个或以上第二视频传感器捕获的图像来识别由一个或以上第二视频传感器捕获的图像中表示的目标。数据融合模块306可以生成目标的运动轨迹。此外，数据融合模块306可以基于所识别的目标和/或目标的运动轨迹来确定基于对象的监控界面。如本文所用，基于对象的监控界面可以是校准后的地图，可以指示一个或以上对象与地图上所显示的至少两个视频传感器(例如，本申请中其他部分所述的固定视频传感器)的位置之间的对应关系。在一些实施例中，数据融合模块306可以检索与目标有关的一个或以上特征。基于对象的监控界面或基于地图的监控界面可以表示出与目标有关的一个或以上特征。示例性特征包括运动对象的位置、运动对象的速度、运动对象的颜色、运动对象的轮廓等。
在一些实施例中，数据融合模块306可以将基于地图的监控界面传送到处理引擎140的其他模块以进行进一步处理。例如，数据融合模块306可以将基于地图的监控界面传送到交通分析模块310，以生成与监控界面相关联的目标的运动模式。又例如，数据融合模块306可以将基于地图的监控界面传送到存储模块316以进行存储。关于数据融合模块306的详细描述可以在本申请的其他地方(例如，结合图5)找到。
事件模块308可以基于地图的监控界面和/或基于对象的监控界面来检测涉及一个或以上目标的事件。在一些实施例中，运动对象的一个或以上动作和/或动作的组合也可以被称为一项活动。事件可以是指一个或以上对象参与了一项活动的事实。该事件可以由位置和/或时间点限定。在一些实施例中，与一个或以上对象有关的事件可以包括正常事件和异常事件。正常事件可以指由的一个或以上对象执行的满足标准事件。异常事件可以指由一个或以上对象执行的不满足标准的事件。该标准可以由法律、法规、惯例等或其组合来定义。例如，异常事件可以包括超速驾驶、不系安全带驾驶、不戴头盔驾驶、违规穿越马路、碰撞、开车时使用手机等。正常事件可以包括根据交通信号驾驶、在人行横道上行驶、使用消声器驾驶、在交叉路口减速等。检测到的事件可以存储在非暂时性存储介质中。所存储的事件可以包括与事件有关的信息。与事件有关的示例性信息可以包括事件发生的位置、事件发生的时间、事件的类型(例如，异常事件)、事件所涉及的对象、与事件有关的描述等。
在一些实施例中，事件模块308可以响应于从终端设备(例如，终端860)接收到事件的查询检索与事件有关的信息。事件模块308还可以从非暂时性存储介质(例如，存储设备880)中检索与事件有关的信息，并发送与事件有关的信息以在终端设备(例如，终端860)上显示。与事件有关的信息可以以文本、表格、图表、基于地图的监控界面或基于对象的监控界面中的至少一个显示在终端设备上。例如，用户可以使用用户终端设备发送与特定车辆的违规记录有关的查询。基于车辆的车牌号从非暂时性存储介质中检索到与车辆的违规记录有关的文本之后，可以在用户终端设备上显示该文本。对于另一个示例，用户可以使用用户终端设备发送与车辆的轨迹有关的查询。从非暂时性存储介质中检索到的包含车辆的基于地图的监控界面可以显示在用户终端设备上。
在一些实施例中，交通分析模块310可以基于在一段时间内一个或以上目标的运动轨迹来生成一个或以上目标的运动模式。如本文所用，运动模式可以指的是基于一个或以上目标在一段时间内的运动轨迹在时间、空间、社会行为等维度的统计结果。运动模式可以包括时间运动模式、空间运动模式、社会行为运动模式等。时间运动模式可以指的是基于一个或以上目标的运动轨迹进在时间维度的统计结果。例如，时间运动模式可以包括针对特定目标在一段时间内在不同位置上停留的时间统计结果。又例如，时间运动模式可以包括一个或以上目标经过道路的特定区域或特定部分的时间统计结果。空间运动模式可以指的是基于一个或以上目标的运动轨迹在位置维度的统计结果。例如，空间运动模式可以包括特定目标在一段时间内停留超过特定次数(例如5次、10次等)的有关的位置分布。又例如，空间运动模式可以包括基于一个或以上目标的运动轨迹对两个位置之间的路线进行统计的结果。社会行为运动模式可以指的是基于一个或以上目标的运动轨迹在一个或以上目标的社会行为维度上的统计结果。社会行为是由目标所涉及的事件确定的。如本申请中其他地方所述，这些事件可以包括正常事件和异常事件。例如，社会行为运动模式可以包括特定目标的超速事件相对于时间和/或位置的分布。再例如，社会行为运动模式可以基于特定目标的运动轨迹来指示特定目标的可能超速的位置和/或时间。
在一些实施例中，交通分析模块310可以基于与目标相关联的运动模式触发至少两个第一视频传感器中的至少一个来监控目标。例如，交通分析模块310可以基于目标在一段时间内的运动轨迹来确定两个位置之间的路线统计结果。交通分析模块310可以触发与路线统计结果中的路线相关联的至少两个第一视频传感器中的至少一个来监控车辆。又例如，交通分析模块310可以确定指示可能发生违规事件(例如，超速)的位置和/或时间的社会行为运动模式。交通分析模块310可以触发与可能发生违规事件(例如，超速)的位置相关联的至少两个第一视频传感器中的至少一个来监控车辆。
交通分析模块310可以基于由一个或以上视频传感器捕获的图像数据来确定区域的一个或以上交通统计。如本文所使用的，交通统计可以指交通数据的收集、分析、表述、展示、组织等。交通数据可以源于第一组图像数据。交通数据统计结果可以包括与特定时间段内特定位置关联的交通流量统计结果、特定时间段内与特定位置或目标关联的违规事件统计结果、与目标或两个特定位置相关的路线统计结果等。在一些实施例中，交通分析模块310可以分析区域的交通数据统计结果。例如，交通分析模块310可以基于违规事件统计结果来确定在一段时间内发生的特定违规事件超过特定次数(例如，100次、1000次等)的一个或以上位置。又例如，交通分析模块310可以基于区域的交通统计结果来确定与特定位置相关联的违规事件的频率。仍然作为示例，交通分析模块310可以基于与驾驶员相关联的路线统计结果来确定驾驶员的驾驶偏好。驾驶偏好可以包括两个位置之间的特定路线、路段的车速、是否遵守交通规则等。
在一些实施例中，交通分析模块310可以连接到处理引擎140的其他模块和/或与之通信。例如，交通分析模块310可以将交通统计结果传送到警报模块314，以生成与基于交通统计结果确定的违规事件有关的警报信号。又例如，交通分析模块310可以将交通数据统计结果传送到存储模块316以存储在本地数据库或远程数据库中。
显示模块312可以在显示器上执行显示操作。在一些实施例中，显示模块312可以在显示器上显示监控界面。例如，显示模块312可以在显示器上显示基于地图的监控界面。又例如，显示模块312可以在显示器上显示至少一个基于对象的监控界面。仍然作为示例，显示模块312可以在显示器上同时显示至少一个基于对象的监控界面和基于地图的监控界面。
在一些实施例中，显示模块312可以显示目标在监控界面上运动轨迹。例如，显示模块312可以在基于地图的监控界面上突出目标的运动轨迹，并在显示器上显示具有突出的运动轨迹的基于地图的监控界面。又例如，显示模块312可以在显示器上展示具有目标运动轨迹的至少一个基于对象的监控界面。在一些实施例中，显示模块312可以用特定的颜色、特定的形状等在基于地图的监控界面上突出目标的运动轨迹。
在一些实施例中，显示模块312可以在至少一个基于对象的监控界面上显示目标的一个或以上特征。一个或以上特征可以包括目标的位置、目标的速度、目标的颜色、目标的轮廓等中的至少一个。在一些实施例中，显示模块312可以在显示器上显示运动模式。例如，显示模块312可以在基于地图的监控界面上突出目标在一段时间内上停留时间最长的位置。显示模块312可以进一步显示具有突出位置的基于地图的监控界面。在一些实施例中，显示模块312可以基于地图监控界面在显示器上显示交通统计结果。例如，显示模块312可以在基于地图的监控界面上的某个位置显示违规事件频率。
警报模块314可以产生与违规事件有关的警报信号。与违规事件有关的警报信号可以采用声音、文本、图像、视频等或其组合的形式。在一些实施例中，警报模块314可以连接至和/或与一个或以上终端160通信，以将与警报信号有关的信息提供给用户。在一些实施例中，与警报信号有关的信息可以以声音、文本、图像、视频或其组合中的至少一个显示在一个或以上终端160的用户界面上。在一些实施例中，与警报信号有关的信息可以在终端160的用户界面的一个或以上视图窗口中显示，其中，一个视图窗口可以以一种分辨率显示全景场景，而至少一个其他视图窗口可以以不同分辨率显示专注于至少两个运动目标的局部场景。终端160可以包括移动设备、平板计算机、……、膝上型计算机等，或其组合。例如，移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、便携式计算机、平板电脑等，或其组合。在一些实施例中，终端160可以包括输入设备、输出设备等。输入设备可以包括字母数字和其它按键，可以通过键盘、触摸屏(例如，带有触觉输入或触觉反馈)、语音输入、眼球追踪输入、大脑监控系统或任何其它类似的输入机制输入。通过输入设备接收到的输入信息可以被发送到处理引擎140进一步处理。其它类型的输入设备可以包括光标控制设备，例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器、扬声器、打印机等，或其组合。在一些实施例中，警报模块314可以连接到监控组件120和/或与监控组件120通信。例如，监控组件120可以从警报模块314接收与违规事件有关的警报信号。又例如，监控组件120可以响应于与违规事件有关的警报信号向至少两个运动目标生成干预信号(例如，警告、电击等)。
存储模块316可以基于与一组图像有关的数据来存储与违规事件有关的数据、指令和/或任何其他信息。在一些实施例中，存储模块316可以存储从处理引擎140、终端160和/或监控组件120获得的数据。在一些实施例中，存储模块316可以存储处理引擎140可以执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储模块316可以包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等，或其组合。示例性大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，可以在本申请中其它地方描述的云平台上实现存储模块316。在一些实施例中，存储模块316可以连接到处理引擎140中的一个或以上其他组件和/或与之通信。处理引擎140中的一个或以上组件可以访问保存在存储模块316中的数据或指令。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。然而，这些变化和修改不会背离本申请的范围。例如，监控组件120可以包括一个或以上生理信号测量设备，例如示波测量设备、便携式心电图(ECG)监控器、便携式光电容积描记(PPG)监控器等，或它们的组合。又例如，与运动对象有关的特征可进一步包括生理信号特征。
图4是根据本申请的一些实施例所示的用于交通监控的示例性流程400的流程图。在一些实施例中，图4所示的一个或以上操作流程400可以在图8所示的交通监控系统800中实现。例如，图4所示的流程400可以以指令的形式存储在存储设备880中，并由处理引擎840(例如，如图9所示的计算设备900的处理器910、如图10所示的移动设备1000的GPU 1030或CPU 1040)调用和/或执行。
在402中，可以获取与区域有关的第一组图像数据。操作402可以由数据获取模块302执行。在一些实施例中，与区域有关的第一组图像数据可以在本申请的其他地方(例如，图3及其描述)描述。在一些实施例中，第一组图像数据可从监控组件820、存储设备880、终端860或任何其他外部存储设获取。在一些实施例中，可以从例如实时供稿、存储设备、基于IEEE 1394的接口、视频数字化仪、计算机图形引擎、网络连接等或其组合获取与区域有关的第一组图像数据。此外，数据获取模块302可以从至少两个第一视频传感器(即，固定视频传感器)获取第一组图像数据，并从至少两个第二视频传感器(即，移动视频传感器)获取第二组图像数据。关于至少两个第一视频传感器和至少两个第二视频传感器的详细描述可以在本申请的其他地方(例如，结合图3)找到。
在404中，可以获取与区域有关的第二组图像数据。操作404可以由数据获取模块302执行。在一些实施例中，与区域有关的第二组图像数据可以在本申请的其他地方(例如，图3及其描述)描述。在一些实施例中，第二组图像数据可以从监控组件820、存储设备880、终端860或任何其他外部存储设备获取。在一些实施例中，第二组图像数据可以由至少两个第二视频传感器获取。每个第二视频传感器可以安装在可移动主体(例如，车辆、移动电话等)上，如本申请中其他部分(例如，图1-2及其说明)所述。
在406中，可以基于第一组图像数据和第二组图像数据中的至少一个来生成基于地图的监控界面和/或基于对象的监控界面。操作406可以由数据融合模块306执行。结合图6可以找到用于生成基于地图的监控的更多描述。
在408中，可以在显示器上显示基于地图的监控界面和/或基于对象的监控界面。操作408可以由显示模块312执行。如本文所使用的，显示器可以指显示设备的屏幕。显示设备可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等，或其组合。
在一些实施例中，显示模块312可以在显示器上显示监控界面。例如，显示模块312可以在显示器上显示基于地图的监控界面。又例如，显示模块312可以在显示器上显示至少一个基于对象的监控界面。仍然作为示例，显示模块312可以在显示器上同时显示至少一个基于对象的监控界面和基于地图的监控界面。
在410，可以在基于地图的监控界面上显示目标的运动轨迹。操作410可以由显示模块312执行。例如，显示模块312可以在基于地图的监控界面上突出目标的运动轨迹，并在显示器上显示具有突出的运动轨迹的基于地图的监控界面。又例如，显示模块312可以在显示器上显示具有目标的运动轨迹的至少一个基于对象的监控界面。在一些实施例中，显示模块312可以用特定的颜色、特定的形状等在基于地图的监控界面上突出显示目标的运动轨迹。
在一些实施例中，显示模块312可以在至少一个基于对象的监控界面上显示目标的一个或以上特征。一个或以上特征可以包括目标的位置、目标的速度、目标的颜色、目标的轮廓等中的至少一个。在一些实施例中，显示模块312可以在显示器上显示运动模式。在一些实施例中，显示模块312可以基于地图监控在显示器上显示交通统计结果。关于运动模式和交通统计结果的详细描述可以在本申请的其他地方(例如，结合图3)找到。
在412中，可以基于第一组图像数据、第二组图像数据和基于地图的和/或对象监控界面来分析交通状态。操作412可以由交通分析模块310执行。可以基于一个或以上交通统计结果和/或与区域有关的交通规则来分析交通状态。如本文所使用的，一个或以上交通结果统计可以指交通数据的收集、分析、表述、展示、组织等。交通数据可以从第一组图像数据导出。交通统计结果可以包括与特定时间段内特定位置关联的交通流量统计结果、特定时间段内与特定位置或目标关联的违规事件统计结果、与目标或两个特定位置关联的路线统计结果等。
如本文所使用的，交通状态可以指对交通行为的判断。与车辆有关的交通状态可以包括碰撞、超速、违规停车、黄线违例、停车线违规、违反交通信号驾驶、从错误侧超车等，或其组合。与道路使用者有关的交通状态可以包括不带安全带的驾驶、不带头盔的驾驶、行驶违背交通信号灯、肇事逃逸等，或其组合。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。然而，这些变化和修改不会背离本申请的范围。例如，操作410可以被分为多个操作。操作410可以包括在基于地图的监控界面上显示一个或以上特征。操作410可以进一步包括基于运动模式触发至少两个第一视频传感器中的至少一个以监控目标。又例如，操作412可以集成到操作410中。作为又一示例，流程400可以进一步包括存储在操作402-412期间生成的中间数据(例如，特征、运动模式、交通状态等)。
图5是根据本申请的一些实施例所示的示例性数据融合模块306的示意图。如图所示，数据融合模块306可以包括特征确定单元502、单应性矩阵确定单元504、校准误差确定单元506、特征调整单元508以及监控界面确定单元510。在一些实施例中，特征确定单元502、单应性矩阵确定单元504、校准误差确定单元506、特征调整单元508和监控界面确定单元510可以经由无线连接(例如，网络)、有线连接或其组合而彼此连接和/或彼此通信。
特征确定单元502可以确定在由视频传感器获取的图像数据中表示的多个特征和在地图中表示的相应特征。例如，特征确定单元502可以使用一个或以上特征描述符来识别图像组中的一个或以上特征。示例性特征描述符可以包括尺度不变特征变换(SIFT)、快速鲁棒特征(SURF)、基于多区域支持的梯度直方图(MROGH)、二进制鲁棒独立基本特征(BRIEF)、仿射SIFT等，或其组合。
如本文所使用的，由视频传感器(例如，照相机)获取的图像数据中表示的特征也可以被称为视觉特征。在地图中表示的对应特征也可以称为地图特征。图像数据和地图之间的两个对应的视觉特征和地图特征也可以被称为匹配特征。匹配特征可以与图像数据中可见的目标的同一属性相关联。目标的示例性属性可以包括边界框、形心、足迹、形状、长度、高度、宽度、颜色、速度、类别等，或其组合。图像数据可以包括多个图像序列(也称为图像帧)、视频、视频元数据等。地图可以是卫星图像、蓝图、道路网络等，或其组合。
所述至少两个特征可以包括至少两个点特征、至少两个线特征等或其组合。如本文所使用的，点特征可以包括与目标相关联的点的坐标。线特征可以包括目标的长度、目标的宽度、目标的高度等。所述至少两个特征可以基于与图像数据中可见的目标有关的至少一个属性来确定。例如，与目标相关联的点特征可以基于目标的质心来确定。又例如，与目标相关联的线特征可以基于目标的高度(例如，路灯的高度)来确定。
在一些实施例中，特征确定单元502可以根据用户输入的指令确定一个或以上特征。例如，用户可以经由终端860(例如，鼠标)手动选择在图像数据中可见的目标。特征确定单元502可以确定与所选择的目标相关联的视觉特征和地图特征。
在一些实施例中，特征确定单元502可以根据交通监控系统800的默认设置确定一个或以上特征。例如，图像数据中可见的目标可以是交通监控系统800的默认设置。进一步地，目标可以包括路灯、车道标记、车辆的至少一部分(例如车牌)、行人等。特征确定单元502可以识别图像数据中可见的目标。进一步地，特征确定单元502可以确定与所确定的目标相关联的视觉特征和地图特征。在一些实施例中，特征确定单元502可以自动检测图像数据中的一个或以上目标，并基于检测到的目标确定一个或以上视觉特征。特征确定单元502可以进一步确定对应的地图特征。
在一些实施例中，特征确定单元502可以连接到数据融合模块306的其他组件和/或与之融合。例如，特征确定单元502可以将至少两个点特征和线特征传送到单应性矩阵确定单元504，以估算单应性矩阵。又例如，特征确定单元502可以将线特征传送到特征调节单元508以用于调节点特征。
单应性矩阵确定单元504可以基于特征确定单元502确定的至少两个特征来估算单应性矩阵。如本文所使用的，单应性矩阵可以被配置为将视觉特征转换为地图特征。在一些实施例中，单应性矩阵确定单元504可以基于至少两个匹配特征来估算单应性矩阵。例如，单应性矩阵确定单元504可以基于至少两个匹配特征使用直接线性变换算法来估算单应性矩阵。直接线性变换算法可以包括多次迭代。在多次迭代的每次迭代中，可以基于至少两个匹配特征中的至少一个来生成估算的单应性矩阵。对于另一示例，单应性矩阵确定单元504可以基于至少两个匹配特征的至少一部分来确定中间矩阵A，其中Ah＝0，并且h是估算的单应性矩阵的矢量形式。单应性矩阵确定单元504可以基于A’A最小特征值的特征向量来估算目标单应性矩阵。
在一些实施例中，单应性矩阵确定单元504可以连接到数据融合模块306的其他组件和/或与之通信。例如，单应性矩阵确定单元504可以将估算的单应性矩阵传送到校准误差确定单元506，以用于确定校准误差。又例如，单应性矩阵确定单元504可以将估算的单应性矩阵传送到监控界面确定单元510，以生成基于地图的监控界面。
校准误差确定单元506可以确定基于估算的单应性矩阵确定的估计的地图特征与参考地图特征之间的校准误差。参考地图特征可以对应于与地图上表示的目标相关联的实际特征。如本文所使用的，校准误差可以由参考地图特征与由对应视觉特征基于估算的单应性矩阵变换而来的估计地图特征之间的距离来定义。
在一些实施例中，校准误差确定单元506可以使用由单应性矩阵确定单元504估算的单应性矩阵变换一个或以上视觉场景来生成的一个或以上估计地图特征。在一些实施例中，校准误差确定单元506可以进一步使一个或以上估计地图特征分别与一个或以上参考地图特征匹配。校准误差确定单元506可以进一步确定一个或以上估计的地图特征与对应的参考地图特征之间的多个距离。校准误差确定单元506还可基于多个距离来确定校准误差。例如，校准误差确定单元506可以将多个距离的平均距离指定为校准误差。又例如，校准误差确定单元506可以将多个距离之一指定为校准误差，例如最大距离、最小距离等。
在一些实施例中，校准误差确定单元506可以确定校准误差是否小于校准阈值。校准阈值可以由用户或根据交通监控系统800的默认设置来设置。
在一些实施例中，校准误差确定单元506可以连接到数据融合模块306的其他组件和/或与之通信。例如，校准误差确定单元506可以将校准误差超过或等于校准阈值的确定结果传送给特征调整单元508。又例如，响应于确定校准误差小于校准阈值，校准误差确定单元506可以将单应性矩阵传送到监控界面确定单元510以生成监控界面。
特征调整单元508可以多个匹配特征的至少一部分。在一些实施例中，可以调整匹配特征，直到校准误差小于校准阈值为止。
在一些实施例中，特征调整单元508可以通过调整地图上的一个或以上控制点来调整多个匹配特征的至少一部分。此外，特征调整单元508可以基于地图特征来确定地图上的一个或以上控制点。例如，特征调整单元508可以将一个或以上地图点特征指定为控制点。在一些实施例中，特征调整单元508可以基于地图线特征来估算控制点。例如，特征调整单元508可以将地图上的两条线的交点确定为控制点。在一些实施例中，特征调整单元508可以基于与控制点相关联的地图线特征来调整控制点。例如，特征调整单元508可以将地图上的两条线的交点确定为初始控制点。然后，特征调整单元508可以通过添加标准偏差(例如，0.5)来调整地图上的两条线的端点。可以确定初始控制点与地图上两条调整后的线的调整后的交点之间的距离。如果距离小于阈值，则可以将调整后的交点指定为调整后的控制点。在一些实施例中，特征调整单元508可以通过添加新的控制点来调整至少两个控制点中的至少一部分。例如，特征调整单元508可以将地图线特征的端点确定为新的控制点。对于另一个示例，特征调整单元508可以将端点的投影点确定为新的控制点。在一些实施例中，特征调整单元508可以连接到数据融合模块306的其他组件和/或与之融合。例如，特征调整单元508可以将调整后的控制点发送到单应性矩阵确定单元504，以估算新的单应性矩阵。
监控界面确定单元510可以建立基于地图的监控界面。在一些实施例中，可以通过基于由单应性矩阵确定单元504确定的目标单应性矩阵，将不同的视频传感器获取的图像数据转换成地图来建立监控界面。基于地图的监控界面可以包括至少两个目标。该目标可以包括运动目标和固定目标。示例性运动目标可以包括车辆、行人、动物等。示例性的固定目标可能包括植物、建筑物等。基于地图的监控界面可以表示与目标相关联的一个或以上特征。与目标相关联的示例性特征可以包括形状、颜色、运动轨迹、速度、位置等。
在一些实施例中，监控界面确定单元510可以确定基于对象的监控界面。基于对象的监控界面可以在地图上表示出特定对象。例如，基于对象的监控界面可以表示出车辆的运动轨迹。在一些实施例中，监控界面确定单元510可以通过融合由多个视频传感器捕获的图像数据来确定与特定对象相关联的基于对象的监控界面，以确定特定对象并将融合后的图像数据基于目标单应性矩阵转换为地图。在一些实施例中，监控界面确定单元510可以通过将由多个视频传感器捕获的特定对象融合在基于地图的监控界面上来确定与特定对象关联的基于对象的监控界面。
监控界面确定单元510可以进一步检测是否有稳定的新视觉目标出现，这意味着它在视频中具有一致的外观并以高置信度被追踪。响应于确定有稳定的新视觉目标出现，监控界面确定单元510可以将稳定的新视觉目标与所有现有地图目标进行比较，以查看是否可以良好的匹配。如果新视觉目标与现有地图目标匹配，则监控界面确定单元510可以将稳定的新目标合并到匹配的地图目标中并更新匹配的地图目标。否则，监控界面确定单元510可以基于稳定的新视觉目标来产生新的地图目标。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。然而，这些变化和修改不会背离本申请的范围。例如，特征调整单元508和校准误差确定单元506可以被集成为一个单元。又例如，特征确定单元502和特征调整单元508可以集成为一个单元。仍然作为示例，可以省略校准误差确定单元506。
图6是根据本申请的一些实施例所示用于建立基于地图的监控界面的示例性流程600的流程图。在一些实施例中，一个或以上图6所示的操作流程600可以在图8所示的交通监控系统800中实现。例如，图6所示的流程600可以以指令的形式存储在存储器880中，并由处理设备840(例如，如图9所示的计算设备900的处理器910、如图10所示的移动设备1000的GPU 1030或CPU 1040)调用和/或执行。
在602中，可以基于一组图像中表示的一个或以上特征来确定至少两个控制点。操作602可以由特征确定单元502执行。如结合图5所述，至少两个控制点可以是交通监控系统800的默认设置，或者可以由监控系统800的用户指定。至少两个控制点可以在地图和由视频传感器(例如，照相机)获取的图像数据之间提供明确的匹配。
在一些实施例中，可以通过匹配线特征和点特征来识别不同图像序列的图像数据中的至少两个控制点。与至少两个控制点类似，线特征可以是交通监控系统800的默认设置，也可以由监控系统800的用户指定。在一些实施例中，可以从系统定义/用户指定的成对的控制点计算线特征。
在604中，可以基于至少两个控制点来确定视觉场景与地图之间的单应性矩阵。操作604可以由单应性矩阵确定单元504来执行。如本文所使用的，单应性矩阵可以被配置为将视觉特征转换成地图特征。例如，单应性矩阵可以被配置为将视觉场景中的点b转换为地图中的对应点B，点b和点B是一对匹配的控制点。在一些实施例中，视觉场景中的点b与地图中的对应点B之间的转换关系可以表示为：
B＝Hb (1),
其中H表示3*3单应性矩阵，B表示地图中点(X，Y，1)的齐次坐标，b表示视觉场景中对应点(x，y，1)的齐次坐标。
可以从一组地图视觉场景对应点(例如，控制点)计算H。根据等式1，每对对应点可以提供两个等式。给定H中的8个未知数，至少需要4个点对。以向量形式将H编写为h＝(h11，h12，h13，h21，h22，h23，h31，h32，h33)，对于n个点对，等式(1)变为Ah＝0，其中A可以表示为：
Figure BDA0002612432570000351
其中Xi，Yi表示地图点i的齐次坐标，而xi，yi表示对应的视觉场景点i的齐次坐标，n表示对应点对的数量。
当|Ah|达到最小值时，可以获得单应性矩阵。在一些实施例中，可以基于A’A的最小特征值的特征向量来确定最小值，该特征向量可以从A的奇异值分解(SVD)获得。
在606中，可以确定参考地图特征与基于估算的单应性矩阵而确定的估计地图特征之间的校准误差。操作606可以通过校准误差确定单元506来执行。参考地图特征可以对应于与地图上表示的目标相关联的实际特征。在一些实施例中，在确定校准误差之前，一个或以上估计地图特征可以会分别与一个或以上参考地图特征相匹配。如本文所使用的，校准误差可以由参考地图特征与由对应视图特征基于估算的单应性矩阵变换而来的估计地图特征之间的距离来定义。以线条特征为例，估算的地图线特征(例如，图7中的L2)和相应的参考地图线特征(例如，图7中的L1)之间的距离是代表地图上两个线特征的两个线段之间的封闭区域(例如，图7中阴影区域)。
在608中，可以确定校准误差是否小于校准阈值。操作608可以通过校准误差确定单元506来执行。如果确定误差小于校准阈值，则流程600可以继续执行操作610。如果确定误差不小于校准阈值，则流程600可以继续执行操作612。在一些实施例中，校准阈值可以是交通监控系统800的默认设置，或者可以在不同情况下调整。
在610，可以建立基于地图的监控界面。可以由监控界面确定单元510执行操作610。在一些实施例中，可以通过基于由单应性矩阵确定单元504确定的目标单应性矩阵，将不同的视频传感器获取的图像数据转换成地图来建立监控界面。基于地图的监控界面可以包括至少两个目标。该目标可以包括运动目标和固定目标。
在612中，可以调整至少两个控制点中的至少一部分。操作612可以由特征调整单元508执行。在一些实施例中，可以基于与控制点相关联的地图线特征来调整控制点。例如，可以将地图上的两条线的交点确定为初始控制点。然后，可以通过添加标准偏差(例如，0.5)来调整地图上两条线的端点。在一些实施例中，可以通过添加新的控制点来调整至少两个控制点中的至少一部分。例如，可以将地图线特征的端点添加为新的控制点。用于调整至少两个控制点的至少一部分的示例性流程的描述可以在本申请的其他地方(例如，图7中所示的控制点p1、p2、P1、P2及其描述)找到。
图7是根据本申请的一些实施例所示的调节至少两个控制点的至少一部分的示例性流程的示意图。
如图7所示，d1和L1可以是一对匹配线段。线段d1表示s视觉线特征。线段L1表示地图线特征。可以基于估算的单应性矩阵H将线段d1转换为以点P1'和P2'作为端点的线段L1'。点P1和P2可以分别是点P1'和P2'的投影点。当估计单应性矩阵H能够使地图上的线段L1'和L1之间的距离最小化时，可以将投影点P1和P2添加为控制点。可以通过将点P1'和P2'投影到线L1上来最小化L1和L1'之间的阴影区域以获得最小化距离。点对(p1，P1)和(p2，P2)是匹配的点对，可以成为下一次迭代的控制点。
再参考图6，在612，在随后的迭代中，可以通过基于新估算的单应性H将它们投影到直线L1上来进一步调整作为点对(p1，P1)和(p2，P2)的其他控制点，只要这些调整进一步提高了校准精度。
图8是根据本申请的一些实施例所示的示例性交通监控系统800的示意图。如图所示，交通监控系统800可以包括监控组件820、处理引擎840、存储器880、一个或以上终端860以及网络850。在一些实施例中，监控组件820、处理引擎840、存储器880，和/或终端860可以经由无线连接(例如，网络850)、有线连接或其组合而彼此连接和/或彼此通信。交通监控系统800中的组件之间的连接可以是可变的。仅作为示例，监控组件820可以通过网络850与处理引擎840连接，如图8所示。又例如，监控组件820可以直接与处理引擎840连接。再例如，存储器880可以通过网络850与处理引擎840连接，如图8所示，或者直接与处理引擎840连接。作为又一示例，终端860可以通过网络850与处理引擎840连接，如图8所示，或者直接与处理引擎840连接。
监控组件820可以用于执行对感兴趣区域(AOI)或感兴趣对象的监控。在一些实施例中，AOI可以在室内或室外。例如，AOI可以包括房间、监狱中的房间、购物中心、街道、公园、地铁站等。对象可以是生物或非生物。例如，对象可以包括人、车辆、动物、物体，或其组合。
在一些实施例中，监控组件820可以包括摄像机、生理信号测量设备、可穿戴智能设备等，或其组合。如本文所使用的，摄像机可以指用于视觉记录的装置。例如，摄像机可以包括彩色摄像机、数码摄像机、摄像机、便携式摄像机、PC摄像机、网络摄像机、红外(IR)摄像机、低光摄像机、热敏摄像机、闭路电视(CCTV)摄像机、平移、倾斜、变焦(PTZ)相机、视频传感设备等，或其组合。监控组件820可以包括一个或以上安装在各个地方以监控感兴趣区域的摄像机。在一些实施例中，监控组件820可以包括相机嵌入式无人飞行器(UAV)。生理信号测量设备被配置为获取感兴趣对象的生理信号。生理信号可以包括光电容积脉搏波(PPG)信号、心电图(ECG)信号、脑电图(EEG)信号、肌电图(EMG)信号等，或其组合。生理信号测量设备可以包括示波测量设备、便携式ECG监控器、便携式PPG监控器等，或其组合。穿戴式智能设备包括：眼镜、肩带、智能手表、脚链、大腿带、臂章、胸带、围巾、手指夹等，或其组合。提供监控组件820的上述示例是出于说明的目的，而不是要限制本申请的范围。监控组件820可以是另一种形式，包括，例如，手指套、腕带、胸罩、内衣、胸带等，或其组合。
处理引擎840可以处理从监控组件820、存储器880和/或终端860获得的数据和/或信息。例如，处理引擎840可以基于由监控组件820收集的数据来生成监控界面。在一些实施例中，处理引擎840可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。在一些实施例中，处理引擎840可以是本地的或远程的。例如，处理引擎840可以经由网络850访问来自监控组件120、存储器880和/或终端860的信息和/或数据。又例如，处理引擎840可以直接连接到监控组件120、终端860和/或存储器880以访问信息和/或数据。在一些实施例中，处理引擎840可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等，或其组合。在一些实施例中，处理引擎840可以由具有如图9所描述的一个或以上组件的计算设备900来实现。
存储器880可以存储数据、指令和/或任何其他信息。在一些实施例中，存储器880可以存储从处理引擎840和终端860获得的数据。在一些实施例中，存储器880可以存储处理引擎840可以执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储器880可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其组合。示例性大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，可以在本申请中其它地方描述的云平台上实现存储器880。
在一些实施例中，存储器880可以连接到网络850以与交通监控系统800中的一个或以上其他组件(例如，处理引擎840、终端860等)通信。交通监控系统800中的一个或以上组件可以通过网络850访问存储在存储器880中的数据或指令。在一些实施例中，存储器880可以是处理引擎840的一部分。
终端860可以连接到监控组件820、处理引擎840和/或存储器880和/或与之通信。例如，终端860可以从处理引擎840获取监控界面。又例如，终端860可以获取通过监控组件820获取的图像数据，并将图像数据发送到处理引擎840去处理。在一些实施例中，终端860可以包括移动设备、平板电脑、笔记本电脑等，或其组合。例如，移动设备可以包括手机、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等，或其组合。在一些实施例中，终端860可以包括输入设备、输出设备等。输入设备可以包括字母数字和其它按键，可以通过键盘、触摸屏(例如，带有触觉输入或触觉反馈)、语音输入、眼球追踪输入、大脑监控系统或任何其它类似的输入机制输入。通过输入设备接收到的输入信息可以经由例如总线传送到处理引擎840，以进行进一步处理。其它类型的输入设备可以包括光标控制设备，例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器、扬声器、打印机等，或其组合。在一些实施例中，终端860可以是处理引擎840的一部分。
网络850可以包括可以促进交通监控系统800的信息和/或数据的交换的任何合适的网络。在一些实施例中，交通监控系统800的一个或以上组件(例如，监控组件820、处理引擎840、存储器880、终端860等)通过网络850与交通监控系统800的一个或以上其他组件通信信息和/或数据。例如，处理引擎840可以经由网络850从监控组件120获取图像数据。又例如，处理引擎840可以经由网络850从终端860获得用户指令。网络850可以是和/或包括公共网络(例如，互联网)、私有网络(例如，局部区域网络(LAN)、广域网网络(WAN)等)、有线网络(例如，以太网网络)、无线网络(例如802.11网络、Wi-Fi等网络)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟私人网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其组合。例如，网络850可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络(WLAN)、大都市区网络(MAN)、公用交换电话网络(PSTN)、BluetoothTM网络、ZigBeeTM网络、近场通信(NFC)网络等，或其组合。在一些实施例中，网络850可以包括一个或以上网络接入点。例如，网络850可以包括有线和/或无线网络接入点，例如基站和/或互联网交换点，交通监控系统800的一个或以上组件可以通过该接入点连接到网络850以交换数据和/或信息。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。例如，存储器880可以包括云计算平台的数据存储，例如公共云、私有云、社区和混合云等。然而，这些变化和修改不会背离本申请的范围。
图9是根据本申请的一些实施例所示可以在其上实现处理引擎840的示例性计算设备900的示例性硬件和/或软件组件的示意图。如图9所示，计算设备900可以包括处理器910、存储器920、输入/输出(I/O)930和通信端口940。
处理器910可以执行计算机指令(例如，程序代码)，并根据本申请描述的技术执行处理引擎840的功能。所述计算机指令可以包括例如执行在此描述的特定功能的程序、代码、对象、组件、数据结构、过程、模块和功能。例如，处理器910可以处理从监控组件820、存储器880、终端860和/或交通监控系统800的任何其他组件获取的图像数据。在一些实施例中，处理器910可以包括一个或以上硬件处理器，诸如微控制器、微处理器、精简指令集计算机(RISC)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高阶RISC机器(ARM)、可编程逻辑器件(PLD)、能够执行一个或以上功能的任何电路或处理器等，或其组合。
仅仅为了说明，在计算设备900中仅描述了一个处理器。然而，应该注意的是，本申请中的计算设备900还可以包括多个处理器，由此执行的运行和/或方法步骤如本申请中所描述的一个处理器也可以由多个处理器联合地或单独地执行。例如，如果在本申请中计算设备900的处理器执行操作A和操作B两者，则应该理解，操作A和操作B也可以由计算设备900中的两个或以上不同的处理器共同地或单独地执行(例如，第一处理器执行操作A并且第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。
存储器920可以存储从监控组件820、存储器880、终端860和/或交通监控系统800的任何其他组件获得的数据/信息。在一些实施例中，存储器920可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其组合。例如，大容量存储器可以包括磁盘、光盘、固态硬盘等。可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘和磁带等。易失性读写内存可以包括随机存取内存(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等。ROM可以包括掩码ROM(MROM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能磁盘ROM等。在一些实施例中，存储器320可以存储一个或以上程序和/或指令以执行本申请中描述的示例性方法。例如，存储器920可以存储用于处理引擎840的程序，该程序用于从一个或以上成像设备捕获的图像数据中识别目标。
I/O 930可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O 930可以使用户与处理引擎840交互。在一些实施例中，I/O 930可以包括输入设备和输出设备。示例性的输入设备可以包括键盘、鼠标、触控屏幕、麦克风等，或其组合。示例性的输出设备可以包括显示设备、扬声器、打印机、投影机等，或其组合。示例性的显示设备可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等，或其组合。
通信端口940可以连接到网络(例如，网络820)以促进数据通信。通信端口940可以在处理引擎840与监控组件820、存储器880和/或终端860之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传送和/或接收的任何其它通信连接和/或这些连接的组合。有线连接可以包括例如电缆、光缆、电话线等，或其组合。无线连接可以包括例如蓝牙连接、Wi-Fi连接、WiMax连接、WLAN连接、紫蜂连接、移动网络连接(例如3G、4G、5G等)等，或其组合。在一些实施例中，通信端口940可以是和/或包括标准化的通信端口，诸如RS232、RS485等。在一些实施例中，通信端口940可以是专门设计的通信端口。例如，通信端口940可以根据医学数字成像和通信(DICOM)协议来设计。
图10是根据本申请的一些实施例所示的可以在其上实现终端860的示例性移动设备1000的示例性硬件和/或软件组件的示意图。如图10所示，移动设备1000可以包括通信平台1010、显示器1020、图形处理单元(GPU)1030、中央处理单元(CPU)1040、I/O 1050、内存1060以及存储器1070。在一些实施例中，任意其它合适的组件，包括但不限于系统总线或控制器(未示出)，也可以被包括于移动设备1000中。在一些实施例中，移动操作系统1080(例如，iOSTM、AndroidTM、Windows PhoneTM等)和一个或以上应用程序1090可从存储器1090下载至内存1060以及由CPU 1040执行。应用程序1080可以包括浏览器或任何其它合适的移动应用程序，用于接收及显示与图像处理相关的信息或处理引擎840中的其它信息。与信息流的用户交互可以通过I/O 1050实现，并通过网络850提供给处理引擎840和/或交通监控系统800的其他组件。
为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口的计算机可用于实施个人计算机(PC)或任何其它类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件实施、可以完全由软件(包括固件、常驻软件、微代码等)实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何适合的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传送供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括面向对象程序设计语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化程序设计语言如C程序设计语言、Visual Basic、Fortran2103、Perl、COBOL2102、PHP、ABAP，动态程序设计语言如Python、Ruby和Groovy，或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的实施例应具备比上述单一实施例更少的特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
本文中提及的所有专利、专利申请、专利申请公布和其它材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其它的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (17)

1.一种在计算设备上实现用于交通监控的方法，所述计算设备具有至少一个处理器、非暂时性存储介质和与网络连接的通信平台，所述方法包括：
从至少两个第一视频传感器获取区域的第一组图像数据；
基于所述第一组图像数据生成所述区域的基于地图的监控界面；以及
在显示器上显示所述基于地图的监控界面；
其中
所述至少两个第一视频传感器中的每个第一视频传感器应用于所述区域中的照明设备上，以及
所述第一组图像数据分别表示由所述至少两个第一视频传感器捕获的关于所述区域的至少两个视觉场景。
2.根据权利要求1所述的方法，还包括：
从至少两个第二视频传感器获取所述区域的第二组图像数据；
基于所述第一组图像数据和所述第二组图像数据，生成所述区域的所述基于地图的监控界面，
其中所述至少两个第二视频传感器分别应用在所述区域中的至少两个运动对象上。
3.根据权利要求1所述的方法，还包括：
从所述第一组图像数据中的第一图像中识别目标；
从所述第一组图像数据中确定一个或以上第二图像，每个第二图像包括所述目标；
基于所述第一图像和所述一个或以上第二图像确定所述目标的运动轨迹；以及
在所述显示器上显示所述目标在所述基于地图的监控界面上的所述运动轨迹。
4.根据权利要求3所述的方法，还包括：
生成至少一个基于对象的监控界面；
在所述至少一个基于对象的监控界面上显示所述目标的所述运动轨迹；以及
在所述显示器上同时显示所述至少一个基于对象的监控界面和所述基于地图的监控界面。
5.根据权利要求4所述的方法，还包括：
基于所述第一图像和所述一个或以上第二图像中的至少一个检索与所述目标相关的一个或以上特征；以及
在所述至少一个基于对象的监控界面上显示所述目标的所述一个或以上特征，
其中所述一个或以上特征包括所述目标的位置、所述目标的速度、所述目标的颜色或所述目标的轮廓中的至少一个。
6.根据权利要求3所述的方法，还包括：
基于所述目标在一段时间内的所述运动轨迹产生所述目标的运动模式；
基于所述运动模式触发所述至少两个第一视频传感器中的至少一个监控所述目标，
其中所述运动模式包括时间运动模式、空间运动模式、社会行为运动模式中的至少一个。
7.根据权利要求1所述的方法，还包括：
基于所述第一组图像数据确定所述区域的一个或以上交通统计结果；
基于与所述区域有关的所述一个或以上交通统计结果和交通规则确定是否发生违规事件；以及
响应于确定发生所述违规事件，通过所述网络向第三方发送警报信号。
8.根据权利要求1所述的方法，还包括：
从终端设备接收事件的查询；
从所述非暂时性存储介质中检索与所述事件有关的信息；以及
响应于所述查询，发送与所述事件有关的所述信息，用于在所述终端设备上显示，
其中，所述信息以文本、表格、图表、所述基于地图的监控界面或所述基于对象的监控界面中的至少一个显示在所述终端设备上。
9.一种交通监控系统，包括：
至少一个处理器；
非暂时性存储介质；
与网络连接的通信平台；
至少两个第一视频传感器被配置为捕获区域的至少两个视觉场景的，所述至少两个第一视频传感器的每个第一视频传感器均应用在所述区域中的照明设备上；
数据融合模块，被配置为基于所述第一组图像数据来生成所述区域的基于地图的监控界面；以及
显示模块，被配置为在显示器上显示所述基于地图的监控界面。
10.根据权利要求9所述的系统，还包括：
至少两个第二视频传感器，被配置为捕获所述区域的第二组图像数据，所述至少两个第二视频传感器中的每个第二视频传感器分别应用在所述区域中的运动对象上，
其中，所述数据融合模块还被配置为基于所述第一组图像和所述第二组图像数据生成所述区域的所述基于地图的监控界面。
11.根据权利要求9所述的系统，其特征在于，所述数据融合模块还被配置为：
从所述第一组图像数据中的第一图像中识别目标；
从所述第一组图像数据中确定一个或以上第二图像，每个图像包括所述目标；以及
基于所述第一图像和所述一个或以上第二图像确定所述目标的运动轨迹，
其中，所述显示模块还被配置为在所述显示器上显示所述目标在所述基于地图的监控界面上的所述运动轨迹。
12.根据权利要求11所述的系统，其特征在于，所述数据融合模块还被配置为生成至少一个基于对象的监控界面；以及
显示模块，还被配置为在所述至少一个基于对象的监控界面上显示所述目标的所述运动轨迹；以及
在所述显示器上同时显示所述至少一个基于对象的监控界面和所述基于地图的监控界面。
13.根据权利要求12所述的系统，其特征在于，所述数据融合模块还被配置为基于所述第一图像和所述一个或以上第二图像中的至少一个检索与所述目标有关的一个或以上特征；以及
显示模块还被配置为在所述至少一个基于对象的监控界面上显示所述目标的所述一个或以上特征，
其中所述一个或以上特征包括所述目标的位置、所述目标的速度、所述目标的颜色或所述目标的轮廓中的至少一个。
14.根据权利要求11所述的系统，其特征在于，所述交通分析模块还被配置为：
基于所述目标在一段时间内的所述运动轨迹生成所述目标的运动模式；
基于所述运动模式触发所述至少两个第一视频传感器中的至少一个以监控所述目标，
其中所述运动模式包括时间运动模式、空间运动模式、社会行为运动模式中的至少一个。
15.根据权利要求9所述的系统，其特征在于，所述交通分析模块还被配置为：
基于所述第一组图像数据确定所述区域的一个或以上交通统计结果；
基于与所述区域有关的所述一个或以上交通统计结果和交通规则确定是否发生违规事件；以及
响应于确定发生所述违规事件，通过所述网络向第三方发送警报信号。
16.根据权利要求9所述的系统，还包括事件模块，该事件模块被配置为：
从终端设备接收事件的查询；
从所述非暂时性存储介质中检索与所述事件有关的信息；以及
响应于所述查询，发送与所述事件有关的所述信息，用于在所述终端设备上显示，
其中，所述信息以文本、表格、图表、所述基于地图的监控界面或所述基于对象的监控界面中的至少一个显示在所述终端设备上。
17.一种非暂时性计算机可读介质，包括：
由至少一个处理器执行的指令，使所述至少一个处理器实现一种照明控制方法，包括：
从至少两个第一视频传感器，获取区域的第一组图像数据；
基于所述第一组图像数据生成所述区域的基于地图的监控界面，以及
在显示器上显示所述基于地图的监控界面；
其中
所述至少两个第一视频传感器中的每个第一视频传感器应用在所述区域中的照明设备上，以及
所述第一组图像数据分别表示由所述至少两个第一视频传感器捕获的所述区域的至少两个视觉场景。
CN201980011284.5A 2018-04-27 2019-04-23 交通系统监控和方法 Active CN111699679B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862664067P 2018-04-27 2018-04-27
US62/664,067 2018-04-27
PCT/CN2019/083892 WO2019206143A1 (en) 2018-04-27 2019-04-23 System and method for traffic surveillance

Publications (2)

Publication Number Publication Date
CN111699679A true CN111699679A (zh) 2020-09-22
CN111699679B CN111699679B (zh) 2023-08-01

Family

ID=68294910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011284.5A Active CN111699679B (zh) 2018-04-27 2019-04-23 交通系统监控和方法

Country Status (3)

Country Link
US (1) US11689697B2 (zh)
CN (1) CN111699679B (zh)
WO (1) WO2019206143A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245031A (zh) * 2021-12-20 2022-03-25 北京字跳网络技术有限公司 图像展示方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804501B (zh) * 2021-03-01 2021-09-28 江苏新和网络科技发展有限公司 一种异常监测系统
CN113888272B (zh) * 2021-09-30 2024-04-30 北京交通大学 一种基于稳定匹配理论的通勤网约车派单方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
TW201022869A (en) * 2008-12-01 2010-06-16 Inst Information Industry Hand-off video monitor method and hand-off video monitor system and computer apparatus for implementing the same
CN102081844A (zh) * 2011-01-25 2011-06-01 华中科技大学 一种交通视频行为分析与报警服务器
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
KR101272164B1 (ko) * 2013-02-18 2013-06-07 (주)디바이스앤드써키트 적외선 카메라와 디지털 영상처리 기술을 이용한 가로등 밝기 조절장치
CN103237192A (zh) * 2012-08-20 2013-08-07 苏州大学 一种基于多摄像头数据融合的智能视频监控系统
CN103248867A (zh) * 2012-08-20 2013-08-14 苏州大学 基于多摄像头数据融合的智能视频监控系统的监控方法
CN104092993A (zh) * 2014-07-15 2014-10-08 广州市番禺奥莱照明电器有限公司 一种基于视频分析的路灯控制与治安监控装置、系统及其方法
US20140314275A1 (en) * 2013-04-19 2014-10-23 Polaris Sensor Technologies, Inc. Pedestrian Right of Way Monitoring and Reporting System and Method
CN104363426A (zh) * 2014-11-25 2015-02-18 深圳北航新兴产业技术研究院 一种多摄像机目标关联的交通视频监控系统和监控方法
CN105679043A (zh) * 2016-04-14 2016-06-15 中国电子科技集团公司第三十八研究所 一种3d雷达智能卡口系统及其处理方法
CN105761500A (zh) * 2016-05-10 2016-07-13 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
CN105847751A (zh) * 2016-04-14 2016-08-10 清华大学 基于地图的全局监控方法及装置
CN107004271A (zh) * 2016-08-22 2017-08-01 深圳前海达闼云端智能科技有限公司 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN107079088A (zh) * 2014-10-30 2017-08-18 赛西蒂系统股份有限公司 停车和交通分析
CN107229690A (zh) * 2017-05-19 2017-10-03 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
CN107327799A (zh) * 2017-08-18 2017-11-07 扬州市强胜电气有限公司 一种城市智能交通控制太阳能led路灯
CN107886761A (zh) * 2017-11-14 2018-04-06 金陵科技学院 一种基于无人机的停车场监控方法
CN107888877A (zh) * 2017-11-13 2018-04-06 毛国强 车辆追踪及道路交通信息采集的方法及其系统
EP3306913A1 (en) * 2015-06-30 2018-04-11 Huawei Technologies Co., Ltd. Photographing method and apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4992866A (en) * 1989-06-29 1991-02-12 Morgan Jack B Camera selection and positioning system and method
US6323894B1 (en) 1993-03-12 2001-11-27 Telebuyer, Llc Commercial product routing system with video vending capability
US6697103B1 (en) 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
JP4216564B2 (ja) 2002-10-25 2009-01-28 株式会社東芝 空港地上管制支援システム
AU2003210799A1 (en) 2003-01-20 2004-08-23 Futuretel Digital Imaging, Llc Mpeg adaptive motion digital video (scss) security system
US20050134685A1 (en) 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US20060203090A1 (en) 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
US8711197B2 (en) 2005-09-09 2014-04-29 Agilemesh, Inc. Surveillance apparatus and method for wireless mesh network
KR100822017B1 (ko) 2008-02-14 2008-04-15 김배훈 Ｃｃｔｖ를 이용한 지능형 감시시스템 및 지능형 감시방법
US9215358B2 (en) 2009-06-29 2015-12-15 Robert Bosch Gmbh Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
US10084993B2 (en) * 2010-01-14 2018-09-25 Verint Systems Ltd. Systems and methods for managing and displaying video sources
US9593843B2 (en) 2013-11-04 2017-03-14 Knuckledragger Design, Inc. Concealed surveillance camera system for lighting devices
USD773096S1 (en) 2015-07-28 2016-11-29 Taizhou Jiaoguang Lighting Co., Ltd. Street light
US9615066B1 (en) * 2016-05-03 2017-04-04 Bao Tran Smart lighting and city sensor

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
TW201022869A (en) * 2008-12-01 2010-06-16 Inst Information Industry Hand-off video monitor method and hand-off video monitor system and computer apparatus for implementing the same
CN102081844A (zh) * 2011-01-25 2011-06-01 华中科技大学 一种交通视频行为分析与报警服务器
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN103237192A (zh) * 2012-08-20 2013-08-07 苏州大学 一种基于多摄像头数据融合的智能视频监控系统
CN103248867A (zh) * 2012-08-20 2013-08-14 苏州大学 基于多摄像头数据融合的智能视频监控系统的监控方法
KR101272164B1 (ko) * 2013-02-18 2013-06-07 (주)디바이스앤드써키트 적외선 카메라와 디지털 영상처리 기술을 이용한 가로등 밝기 조절장치
US20140314275A1 (en) * 2013-04-19 2014-10-23 Polaris Sensor Technologies, Inc. Pedestrian Right of Way Monitoring and Reporting System and Method
CN104092993A (zh) * 2014-07-15 2014-10-08 广州市番禺奥莱照明电器有限公司 一种基于视频分析的路灯控制与治安监控装置、系统及其方法
CN107079088A (zh) * 2014-10-30 2017-08-18 赛西蒂系统股份有限公司 停车和交通分析
CN104363426A (zh) * 2014-11-25 2015-02-18 深圳北航新兴产业技术研究院 一种多摄像机目标关联的交通视频监控系统和监控方法
EP3306913A1 (en) * 2015-06-30 2018-04-11 Huawei Technologies Co., Ltd. Photographing method and apparatus
CN105679043A (zh) * 2016-04-14 2016-06-15 中国电子科技集团公司第三十八研究所 一种3d雷达智能卡口系统及其处理方法
CN105847751A (zh) * 2016-04-14 2016-08-10 清华大学 基于地图的全局监控方法及装置
CN105761500A (zh) * 2016-05-10 2016-07-13 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
CN107004271A (zh) * 2016-08-22 2017-08-01 深圳前海达闼云端智能科技有限公司 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN107229690A (zh) * 2017-05-19 2017-10-03 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
CN107327799A (zh) * 2017-08-18 2017-11-07 扬州市强胜电气有限公司 一种城市智能交通控制太阳能led路灯
CN107888877A (zh) * 2017-11-13 2018-04-06 毛国强 车辆追踪及道路交通信息采集的方法及其系统
CN107886761A (zh) * 2017-11-14 2018-04-06 金陵科技学院 一种基于无人机的停车场监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵庆苓等: "智慧城市道路照明智能化控制系统设计", 《照明工程学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245031A (zh) * 2021-12-20 2022-03-25 北京字跳网络技术有限公司 图像展示方法、装置、电子设备及存储介质
CN114245031B (zh) * 2021-12-20 2024-02-23 北京字跳网络技术有限公司 图像展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210029328A1 (en) 2021-01-28
CN111699679B (zh) 2023-08-01
US11689697B2 (en) 2023-06-27
WO2019206143A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
US11689697B2 (en) System and method for traffic surveillance
US10599929B2 (en) Event monitoring with object detection systems
US11482019B2 (en) Efficient vehicle AC based on car occupancy detected by computer vision
EP3491820B1 (en) Methods and systems for object monitoring
US20190034735A1 (en) Object detection sensors and systems
WO2019129255A1 (zh) 一种目标跟踪方法及装置
US20190035104A1 (en) Object detection and tracking
WO2020083355A1 (en) Systems and methods for intelligent video surveillance
US11713600B1 (en) Child safety lock
US20220044023A1 (en) Object-aware temperature anomalies monitoring and early warning by combining visual and thermal sensing sensing
US11615620B2 (en) Systems and methods of enforcing distancing rules
US11721100B2 (en) Automatic air recirculation systems for vehicles
CN111954886A (zh) 对象追踪的系统和方法
CN110264495A (zh) 一种目标跟踪方法及装置
US11468598B2 (en) System and method for camera calibration
Janveja et al. Insight: monitoring the state of the driver in low-light using smartphones
CN111247874B (zh) 照明控制系统和方法
WO2018233692A1 (zh) 一种定位方法、存储介质及定位系统
CN111699512A (zh) 异常场景检测系统和方法
US11126189B2 (en) Active off-vehicle notification to autonomous-driving vehicle
EP3910539A1 (en) Systems and methods of identifying persons-of-interest
US20210173510A1 (en) Systems and methods for providing an interactive user interface using a film and projector
US11961392B2 (en) Worker-in-the-loop real time safety system for short-duration highway workzones
US20220189178A1 (en) Signal-to-noise ratio (snr) identification within a scene
Ansarnia et al. Urban road users detection and velocity estimation from top-view fish-eye imagery under low light conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant