CN110956644B - 一种运动轨迹确定方法及系统 - Google Patents

一种运动轨迹确定方法及系统 Download PDF

Info

Publication number
CN110956644B
CN110956644B CN201811135539.2A CN201811135539A CN110956644B CN 110956644 B CN110956644 B CN 110956644B CN 201811135539 A CN201811135539 A CN 201811135539A CN 110956644 B CN110956644 B CN 110956644B
Authority
CN
China
Prior art keywords
target object
image
world coordinates
coordinates
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811135539.2A
Other languages
English (en)
Other versions
CN110956644A (zh
Inventor
李航
孙友统
郑军
蔡博振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811135539.2A priority Critical patent/CN110956644B/zh
Publication of CN110956644A publication Critical patent/CN110956644A/zh
Application granted granted Critical
Publication of CN110956644B publication Critical patent/CN110956644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种运动轨迹确定方法及系统。该方法包括:获取图像采集设备针对待检测区域采集的包含目标对象的第一图像;确定所述第一图像中所述目标对象的第一图像坐标;根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹。应用本申请实施例提供的方案,能够提高所确定的运动轨迹的准确性。

Description

一种运动轨迹确定方法及系统
技术领域
本申请涉及图像技术领域,特别是涉及一种运动轨迹确定方法及系统。
背景技术
对象在移动过程中的运动轨迹能够反映对象的兴趣、意图。记录对象的运动轨迹并对其进行分析,有利于对事件进行合理规划、改进。其中,对象可以为人、动物或其他可移动的物体。例如,记录顾客在商场中的行为以及运动轨迹,分析顾客在各个点位的驻留时间、感兴趣的货架和商品,结合具体的销售数据,可以对商品的区域重新布局、规划和调整,合理分散和引导人流,提升顾客的消费体验。
相关技术中,在确定对象的运动轨迹时,可以在待检测区域中布置多个摄像机,当对象在待检测区域中移动时,各个摄像机可以拍摄到包含该对象的图像,将各个图像对应的摄像机的安装地点作为对象位置,就能够得到对象在待检测区域中的运动轨迹。
但是,由于上述方式在确定运动轨迹时实际确定的对象位置是摄像机的安装位置,只能粗略地确定对象的运动轨迹,因此这种方式确定的运动轨迹也不够准确。
发明内容
本申请实施例的目的在于提供了一种运动轨迹确定方法及装置,以提高所确定的运动轨迹的准确性。具体的技术方案如下。
第一方面,本申请实施例提供了一种运动轨迹确定方法,所述方法包括:
获取图像采集设备针对待检测区域采集的包含目标对象的第一图像;
确定所述第一图像中所述目标对象的第一图像坐标;
根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;
基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
可选的,所述根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标的步骤,包括:
根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标。
可选的,所述根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标的步骤,包括:
采用预设公式确定所述目标对象的世界坐标(X,Y,Z);
其中,(u,v)为所述第一图像坐标,所述δ和L为预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数。
可选的,所述确定所述第一图像中所述目标对象的第一图像坐标的步骤,包括:
检测所述第一图像中所述目标对象所在的第一对象区域;
根据所述第一对象区域,确定所述第一图像中所述目标对象的第一图像坐标。
可选的,所述基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹的步骤,包括:
将所述第一对象区域与预先确定的对象模型库中的各个对象区域进行匹配,将匹配成功的所述对象模型库中的对象区域对应的对象标识,确定为所述目标对象的目标对象标识;其中,所述对象模型库用于存储各个对象区域与对象标识的对应关系;
基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
可选的,确定的所述目标对象的世界坐标为:所述目标对象标识在第一时刻的世界坐标;所述第一时刻为所述第一图像的采集时刻;
所述基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹的步骤,包括:
获取记录的所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及所述目标对象标识在所述第一时刻的世界坐标,生成所述目标对象的运动轨迹;或者,
获取已存储的所述目标对象标识的运动轨迹,根据所述目标对象标识在所述第一时刻的世界坐标,更新所述目标对象的运动轨迹;已存储的所述目标对象标识的运动轨迹为:根据所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标确定。
可选的,所述方法还包括:
当所述对象模型库中不存在与所述第一对象区域匹配成功的对象区域时,为所述目标对象分配目标对象标识,并将所述第一对象区域与所述目标对象标识的对应关系存储至所述对象模型库。
可选的,所述方法还包括:
在基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹之前,若所述目标对象标识不为预设的不确定运动轨迹的特定对象标识,则基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
可选的,所述方法还包括:
在检测得到所述第一图像中所述目标对象所在的第一对象区域之后,根据所述第一对象区域,确定所述目标对象的个性化信息,记录所述个性化信息。
第二方面,本申请实施例提供了一种运动轨迹确定系统,该系统包括:服务器和图像采集设备;
所述图像采集设备,用于针对待检测区域采集包含目标对象的第一图像;确定所述第一图像中所述目标对象的第一图像坐标;根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;将所述目标对象的世界坐标发送至所述服务器;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;
所述服务器,用于接收所述图像采集设备发送的所述目标对象的世界坐标,基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
可选的,所述图像采集设备,根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标时,包括:
根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标。
可选的,所述图像采集设备,根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标时,包括:
采用预设公式确定所述目标对象的世界坐标(X,Y,Z);
其中,(u,v)为所述第一图像坐标,所述δ和L为预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数。
可选的,所述图像采集设备,确定所述第一图像中所述目标对象的第一图像坐标时,包括:
检测所述第一图像中所述目标对象所在的第一对象区域;
根据所述第一对象区域,确定所述第一图像中所述目标对象的第一图像坐标。
可选的,所述图像采集设备,将所述目标对象的世界坐标发送至所述服务器时,包括:
将所述第一对象区域以及所述目标对象的世界坐标发送至所述服务器;
所述服务器,接收所述图像采集设备发送的所述目标对象的世界坐标,基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹时,包括:
接收所述图像采集设备发送的所述第一对象区域以及所述目标对象的世界坐标,并将所述第一对象区域与预先确定的对象模型库中的各个对象区域进行匹配,将匹配成功的所述对象模型库中的对象区域对应的对象标识,确定为所述目标对象的目标对象标识,基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹;
其中,所述对象模型库用于存储各个对象区域与对象标识的对应关系。
可选的,确定的所述目标对象的世界坐标为:所述目标对象标识在第一时刻的世界坐标;所述第一时刻为所述第一图像的采集时刻;
所述服务器,基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹时,包括:
获取记录的所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及所述目标对象标识在所述第一时刻的世界坐标,生成所述目标对象的运动轨迹;或者,
获取已存储的所述目标对象标识的运动轨迹,根据所述目标对象标识在所述第一时刻的世界坐标,更新所述目标对象的运动轨迹;已存储的所述目标对象标识的运动轨迹为:根据所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标确定。
可选的,确定的所述目标对象的世界坐标为:所述目标对象标识在第一时刻的世界坐标;所述第一时刻为所述第一图像的采集时刻;所述系统还包括监控平台;
所述服务器,基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹时,包括:
将所述目标对象标识在所述第一时刻的世界坐标发送至所述监控平台;
所述监控平台,用于接收所述服务器发送的所述目标对象标识在所述第一时刻的世界坐标,采用以下操作之一确定所述目标对象的运动轨迹:
获取记录的所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及所述目标对象标识在所述第一时刻的世界坐标,生成所述目标对象的运动轨迹;
获取已存储的所述目标对象标识的运动轨迹,根据所述目标对象标识在所述第一时刻的世界坐标,更新所述目标对象的运动轨迹;已存储的所述目标对象标识的运动轨迹为:根据所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标确定。
可选的,所述系统还包括:位于所述待检测区域入口处的入口图像采集设备;
所述入口图像采集设备,用于在所述图像采集设备采集所述第一图像之前,针对待检测区域采集包含所述目标对象的第二图像,检测所述第二图像中所述目标对象所在的第二对象区域,为所述目标对象分配目标对象标识,并将所述第二对象区域与所述目标对象标识的对应关系发送至所述服务器;
所述服务器,还用于接收所述入口图像采集设备发送的第二对象区域与所述目标对象标识的对应关系,将所述第二对象区域与所述目标对象标识的对应关系存储至所述对象模型库。
可选的,所述系统还包括:位于所述待检测区域出口处的出口图像采集设备;
所述出口图像采集设备,用于针对待检测区域采集包含所述目标对象的第三图像,检测所述第三图像中的第三对象区域,并将所述第三对象区域发送至所述服务器;
所述服务器,还用于在接收到所述出口图像采集设备发送的第三对象区域时,将所述第三对象区域与所述对象模型库中的各个对象区域进行匹配,删除匹配成功的所述对象模型库中的对象区域以及对应的对象标识。
可选的,所述图像采集设备,还用于:
在检测得到所述第一图像中所述目标对象所在的第一对象区域之后,根据所述第一对象区域,确定所述目标对象的个性化信息,记录所述个性化信息。
可选的,所述服务器,还用于:
在基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹之前,若所述目标对象标识不为预设的不确定运动轨迹的特定对象标识,则基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
第三方面,本申请实施例还提供了一种电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本申请实施例第一方面提供的运动轨迹确定方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例第一方面提供的运动轨迹确定方法。
本申请实施例提供的运动轨迹确定方法及系统,可以根据目标对象在第一图像中的第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象在第一时刻的世界坐标。世界坐标为待检测区域所在的世界坐标系中的坐标,第一图像坐标不同,对应确定的目标对象的世界坐标也不同。目标对象的世界坐标能够体现目标对象在待检测区域中更准确的位置,进而能够使得根据该目标对象的位置确定的运动轨迹更准确。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的运动轨迹确定方法的一种流程示意图;
图2为本申请实施例中图像与图像坐标系关系的一种示意图;
图3为图1中步骤S104的一种流程示意图;
图4a和图4b为本申请实施例提供的运动轨迹确定系统的两种结构示意图;
图5a为本申请实施例提供的运动轨迹确定系统的另一种结构示意图;
图5b为图5a所示实施例中的一种设备布局示意图;
图6为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
对象在待检测区域中移动时,其运动轨迹能够反映对象的兴趣、意图。确定对象的运动轨迹并对其进行分析,有利于对事件进行合理规划、改进。
为了提高所确定的运动轨迹的准确性,本申请实施例提供了一种运动轨迹确定方法及系统。下面通过具体实施例,对本申请进行详细说明。
图1为本申请实施例提供的运动轨迹确定方法的一种流程示意图。该方法应用于电子设备,该电子设备可以为图像采集设备,也可以为具有计算处理能力的计算机(例如服务器)。图像采集设备可以为普通摄像机或监控摄像机等。该方法包括如下步骤:
步骤S101:获取图像采集设备针对待检测区域采集的包含目标对象的第一图像。
其中,目标对象可以为人、移动的机器或者动物等。待检测区域可以理解为待确定对象的运动轨迹的区域,该待检测区域为预先设定的区域。待检测区域可以是连续的区域,也可以是不连续的区域。例如,待检测区域可以为商店区域、商场或商场中的某几个楼层区域等。图像采集设备可以安装于该待检测区域,并可以针对待检测区域进行图像采集。图像采集设备的图像采集区域可以包含待检测区域的部分或全部。图像采集设备可以为一个,也可以为多个。例如,可以在待检测区域中布置多个图像采集设备,这多个图像采集设备的图像采集区域可以共同覆盖整个待检测区域。
在获取第一图像时,当本实施例的执行主体为图像采集设备时,图像采集设备可以直接获取自身采集的第一图像。当本实施例的执行主体为图像采集设备之外的其他电子设备时,其他电子设备可以获取图像采集设备采集的上述第一图像。
步骤S102:确定第一图像中目标对象的第一图像坐标。
其中,第一图像坐标可以为图像区域的坐标,也可以为表示点的坐标。
步骤S103:根据第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象的世界坐标。
其中,世界坐标为待检测区域所在的世界坐标系中的坐标。世界坐标系的xOy平面可以为待检测区域所在的平面,z轴竖直向上,坐标原点O可以为待检测区域所在平面中的任意一点,例如可以为待检测区域所在平面中的左下角中一点。
标定点可以为多个,例如可以为3、4或5个等不在一条直线上的点。标定点的图像坐标和对应的世界坐标均是预先确定。
在确定目标对象的世界坐标时,具体可以根据第一图像坐标,以及标定点的图像坐标和对应的世界坐标,确定第一图像坐标对应的世界坐标,作为目标对象的世界坐标。
上述标定点的图像坐标和对应的世界坐标可以为预先确定的。例如,在图像采集设备安装好之后,可以在图像采集设备的图像采集区域中确定多个标定点的世界坐标,并使图像采集设备采集图像,在该图像中确定各个标定点的图像坐标。这样,就能够得到各个标定点的图像坐标和对应的世界坐标。
确定了目标对象的世界坐标,即是确定目标对象在待检测区域中的位置。并且,在确定该位置时,参考了目标对象的第一图像坐标,当目标对象在第一图像中的位置不同时,确定的目标对象在待检测区域中的位置也不同。因此,相比于直接将图像采集设备的安装位置作为目标对象在待检测区域中的位置,采用本实施例的方式确定的目标对象在待检测区域中的位置更精确。
步骤S104:基于上述目标对象的世界坐标,确定目标对象的运动轨迹。
在确定了目标对象的世界坐标之后,可以采用多种方式确定目标对象的运动轨迹。例如,当上述第一图像为在不同时刻采集的多个图像时,可以得到目标对象在不同时刻的多个世界坐标,根据目标对象在不同时刻的多个世界坐标,可以确定目标对象在一段时间内的运动轨迹。
由上述内容可知,本实施例可以根据目标对象在第一图像中的第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象在第一时刻的世界坐标。世界坐标为待检测区域所在的世界坐标系中的坐标,第一图像坐标不同,对应确定的目标对象的世界坐标也不同。目标对象的世界坐标能够体现目标对象在待检测区域中更准确的位置,进而能够使得根据该目标对象的位置确定的运动轨迹更准确。
在本申请的另一实施例中,基于图1所示实施例,步骤S103,根据第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象的世界坐标的步骤,包括:
根据第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定目标对象的世界坐标。
上述步骤具体包括:
采用预设公式确定目标对象的世界坐标(X,Y,Z)。
其中,(u,v)为第一图像坐标,δ和L为预先根据第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数。
上述预设公式的推导过程如下。参见图2,该图2为图像采集设备采集的图像中图像坐标系的一种示意图。其中,图像坐标系的原点O0在图像的左上角,图像的中心点为O1(u0,v0)。图像中的任一点的图像坐标(u,v)与该点在待检测区域所在的世界坐标系中的坐标(X,Y,Z)存在以下转换关系:
其中,dx和dy为图像中每个像素点的物理宽度和物理高度,f为图像采集设备的镜头焦距,R和t分别是图像坐标系与世界坐标系之间的旋转矩阵和平移矩阵,0T为0矩阵。l1……l12为矩阵L中的元素,δ为一比例因子。可以预先根据第一图像中预设的标定点的世界坐标和图像坐标,代入上述公式1,即可求出δ和L。例如,当已知4组标定点的图像坐标与世界坐标之间的对应关系时,代入上述公式1,求出δ和L。上述各个标定点不在一条直线上。
在本申请的另一实施例中,基于图1所示实施例,步骤S102,确定第一图像中目标对象的第一图像坐标的步骤,具体可以包括:
检测第一图像中目标对象所在的第一对象区域,根据第一对象区域,确定第一图像中目标对象的第一图像坐标。
其中,第一对象区域可以理解为包含目标对象的图像区域。例如,第一对象区域可以为能够框选目标对象的矩形框包含的图像区域。第一对象区域的大小可以不固定,可以随着目标对象距离图像采集设备的远近而不同。
本实施例中,当目标对象为人时,可以根据预设的人的像素特征,检测第一图像中的对象区域,作为第一图像区域。其中,对象区域可以为人脸区域和/或人体区域。
由于人在待检测区域中移动时,可能面对图像采集设备,也可能背对或者侧对图像采集设备,因此检测第一图像中的人体区域能够提高检测时的准确性。
根据第一对象区域,确定第一图像中目标对象的第一图像坐标时,具体可以直接将第一对象区域确定为目标对象的第一图像坐标,也可以将第一对象区域的中心点坐标,确定为目标对象的第一图像坐标。
本实施例中,在确定第一图像坐标时,根据从第一图像中检测的目标对象的第一对象区域来确定,提供了一种具体的实现方式。
当第一图像中存在多个目标对象时,或者不同时刻采集的图像中的目标对象不同时,为了针对每个目标对象确定运动轨迹,在本申请的另一实施例中,基于图1所示实施例,步骤S104,即基于目标对象的世界坐标,确定目标对象的运动轨迹的步骤,可以采用图3所述流程示意图进行实施,具体包括步骤S104A和S104B。
步骤S104A:将第一对象区域与预先确定的对象模型库中的各个对象区域进行匹配,将匹配成功的对象模型库中的对象区域对应的对象标识,确定为目标对象的目标对象标识。
其中,对象模型库用于存储各个对象区域与对象标识的对应关系。对象区域可以理解为包含对象的图像区域。例如,对象区域可以为能够框选对象的矩形框包含的图像区域。
为了对每个目标对象进行跟踪,可以预先给每个目标对象分配对象标识,并预先确定对象区域与对象标识的对应关系。其中,对象标识(Identification,ID)可以用于标识每个对象。
将第一对象区域与对象模型库中的各个对象区域进行匹配时,具体可以采用图像之间的匹配算法确定第一对象区域与对象模型库中的各个对象区域之间的相似度,当相似度大于预设阈值时,认为第一对象区域与对象模型库中的该对象区域匹配成功。当相似度不大于预设阈值时,认为第一对象区域与对象模型库中的该对象区域匹配失败。图像之间的匹配算法可以包括哈希算法、图像灰度直方图比对算法、结构相似性算法(StructuralSimilarity,SIM)或其他建模算法等。预设阈值可以为预设值,例如为80%或90%等值。
例如,第一图像中存在3个人体区域:人体区域1、人体区域2和人体区域3。将这三个人体区域分别与对象模型库中的各个人体区域进行匹配,确定人体区域1中的对象标识为ID1,人体区域2中的对象标识为ID2,人体区域3中的对象标识为ID3。这样就能够确定每个对象区域对应的对象标识,方便后续对目标对象的跟踪处理。
步骤S104B:基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹。
目标对象的世界坐标即为该目标对象的目标对象标识对应的世界坐标。在接收到目标对象标识对应的世界坐标时,可以记录目标对象标识与世界坐标的对应关系。具体的,可以将上述对应关系记录在数据库中。根据对象标识与世界坐标的对应关系,能够更方便地确定目标对象的运动轨迹。
本实施例中,根据第一对象区域与对象模型库进行匹配,可以确定目标对象的目标对象标识,并根据目标对象标识和目标对象的世界坐标,能更方便地确定目标对象的运动轨迹,提高操作的可实现性。
在确定目标对象的运动轨迹时,可以按照目标对象在不同时刻的世界坐标进行确定。因此,在本申请的另一实施例中,确定的目标对象的世界坐标可以为:目标对象标识在第一时刻的世界坐标。其中,第一时刻为第一图像的采集时刻。这样,在向数据库中记录目标对象标识与世界坐标的对应关系时,可以记录目标对象标识、第一时刻以及世界坐标之间的对应关系。
在本实施例中,步骤S104B,即基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹的步骤,具体可以包括以下实施方式。
一种实施方式为,获取记录的目标对象标识在第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及目标对象标识在第一时刻的世界坐标,生成目标对象的运动轨迹。
具体的,可以从数据库中获取第一时刻之前的各个时刻的世界坐标。
本实施例这种确定运动轨迹的方式,适合于对运动轨迹的实时性要求不高的情形。
另一种实施方式为,获取已存储的目标对象标识的运动轨迹,根据目标对象标识在第一时刻的世界坐标,更新目标对象的运动轨迹。其中,已存储的目标对象标识的运动轨迹为:根据目标对象标识在第一时刻之前的各个时刻的世界坐标确定。
本实施例这种确定运动轨迹的方式,适合于对运动轨迹的实时性要求较高的情形。
在本申请的另一实施例中,当对象模型库中不存在与第一对象区域匹配成功的对象区域时,该方法还包括:
为目标对象分配目标对象标识,并将第一对象区域与目标对象标识的对应关系存储至对象模型库。
当对象模型库中不存在第一对象区域匹配成功的对象区域时,认为该目标对象是第一次出现在待检测区域中。此时可以针对目标对象向对象模型库中存储第一对象区域与目标对象标识的对应关系,这样后续在检测到该目标对象时,可以根据对象模型库确定目标对象的目标对象标识。
在本申请的另一实施例中,还可以针对对象模型库中长时间未被匹配成功的对象区域进行删除操作。具体的,可以确定对象模型库中各个对象区域最近一次被匹配成功的第一时间,确定第一时间与当前时间之间的各个时长,当该时长大于预设时长阈值时,删除该时长对应的对象区域以及对象标识。这样能够去除失活数据,节省数据库资源,进而提高对象区域的匹配效率。
当该时长大于预设时长阈值时,认为该对象区域长时间未被匹配成功,即长时间未在图像中检测到目标对象,可以认为该目标对象已经离开待检测区域。
当该时长不大于预设时长阈值时,认为该对象区域对应的对象还在待检测区域中活动,此时可以不做处理。
本实施例可以对对象模型库进行删除操作,这样能够去除失活数据,节省数据库资源,进而提高对象区域的匹配效率。
在对待检测区域中的对象进行跟踪,并确定对象的运动轨迹时,待检测区域中可能存在一些需要排除的对象。例如,当待检测区域为商场时,待跟踪人员为顾客,那么销售人员即为需要排除的跟踪对象。
在基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹之前,若目标对象标识不为预设的不确定运动轨迹的特定对象标识,则基于目标对象标识,确定目标对象的运动轨迹。若目标对象标识为上述特定对象标识,则基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹。
本实施例在确定目标对象的运动轨迹时,可以排除不需要确定运动轨迹的特定对象,进而使得操作更有针对性,整体处理效率更高。
在确定目标对象的运动轨迹时,还可以确定目标对象的更多信息,以便对目标对象的移动行为进行分析。
在本申请的另一实施例中,在检测得到第一图像中目标对象所在的第一对象区域之后,根据第一对象区域,确定目标对象的个性化信息,记录个性化信息。
其中,个性化信息可以包括目标对象的性别、年龄、站立位置的朝向等信息。
例如,在商店中,预先设定图像采集设备的图像采集区域监控的货架,检测第一对象区域中目标对象的朝向。在确定朝向后,即可根据图像采集区域所监控的货架,确定出目标对象感兴趣的货架。
图4a为本申请实施例提供的运动轨迹确定系统的一种结构示意图。该系统包括服务器401和图像采集设备402。其中,图像采集设备402可以为普通摄像机或监控摄像机等。
图像采集设备402,用于针对待检测区域采集包含目标对象的第一图像;确定第一图像中目标对象的第一图像坐标;根据第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象的世界坐标;将目标对象的世界坐标发送至服务器401。其中,世界坐标为待检测区域所在的世界坐标系中的坐标。
服务器401,用于接收图像采集设备402发送的目标对象的世界坐标,基于目标对象的世界坐标,确定目标对象的运动轨迹。
其中,目标对象可以为人、移动的机器或者动物等。待检测区域可以理解为待确定对象的运动轨迹的区域,该待检测区域为预先设定的区域。待检测区域可以是连续的区域,也可以是不连续的区域。例如,待检测区域可以为商店区域、商场或商场中的某几个楼层区域等。图像采集设备可以安装于该待检测区域,并可以针对待检测区域进行图像采集。图像采集设备的图像采集区域可以包含待检测区域的部分或全部。图像采集设备可以为一个,也可以为多个。例如,可以在待检测区域中布置多个图像采集设备,这多个图像采集设备的图像采集区域可以共同覆盖整个待检测区域。
第一图像坐标可以为图像区域的坐标,也可以为表示点的坐标。
世界坐标为待检测区域所在的世界坐标系中的坐标。世界坐标系的xOy平面可以为待检测区域所在的平面,z轴竖直向上,坐标原点O可以为待检测区域所在平面中的任意一点,例如可以为待检测区域所在平面中的左下角中一点。
标定点可以为多个,例如可以为3、4或5个等不在一条直线上的点。标定点的图像坐标和对应的世界坐标均是预先确定。
在确定目标对象的世界坐标时,具体可以根据第一图像坐标,以及标定点的图像坐标和对应的世界坐标,确定第一图像坐标对应的世界坐标,作为目标对象的世界坐标。
上述标定点的图像坐标和对应的世界坐标可以为预先确定的。例如,在图像采集设备安装好之后,可以在图像采集设备的图像采集区域中确定多个标定点的世界坐标,并使图像采集设备采集图像,在该图像中确定各个标定点的图像坐标。这样,就能够得到各个标定点的图像坐标和对应的世界坐标。
确定了目标对象的世界坐标,即是确定目标对象在待检测区域中的位置。并且,在确定该位置时,参考了目标对象的第一图像坐标,当目标对象在第一图像中的位置不同时,确定的目标对象在待检测区域中的位置也不同。因此,相比于直接将图像采集设备的安装位置作为目标对象在待检测区域中的位置,采用本实施例的方式确定的目标对象在待检测区域中的位置更精确。
服务器401在接收到目标对象的世界坐标之后,可以采用多种方式确定目标对象的运动轨迹。例如,当上述第一图像为在不同时刻采集的多个图像时,可以得到目标对象在不同时刻的多个世界坐标,根据目标对象在不同时刻的多个世界坐标,可以确定目标对象在一段时间内的运动轨迹。
由上述内容可知,本实施例中,图像采集设备根据目标对象在第一图像中的第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象在第一时刻的世界坐标。世界坐标为待检测区域所在的世界坐标系中的坐标,第一图像坐标不同,对应确定的目标对象的世界坐标也不同。目标对象的世界坐标能够体现目标对象在待检测区域中更准确的位置,因此,当服务器根据该世界坐标确定运动轨迹时,能够使得所确定的运动轨迹更准确。
在本申请的另一实施例中,基于图4a所示实施例,图像采集设备402,根据第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象的世界坐标时,包括:
根据第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定目标对象的世界坐标。
上述步骤具体包括:
采用预设公式确定目标对象的世界坐标(X,Y,Z)。
其中,(u,v)为第一图像坐标,δ和L为预先根据第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数。
在本申请的另一实施例中,基于图4a所示实施例,图像采集设备402,确定第一图像中所述目标对象的第一图像坐标时,具体可以包括:
检测第一图像中所述目标对象所在的第一对象区域,根据第一对象区域,确定第一图像中目标对象的第一图像坐标。
其中,第一对象区域可以理解为包含目标对象的图像区域。例如,第一对象区域可以为能够框选目标对象的矩形框包含的图像区域。第一对象区域的大小可以不固定,可以随着目标对象距离图像采集设备的远近而不同。
本实施例中,当目标对象为人时,图像采集设备402可以根据预设的人的像素特征,检测第一图像中的对象区域,作为第一图像区域。其中,对象区域可以为人脸区域和/或人体区域。
由于人在待检测区域中移动时,可能面对图像采集设备,也可能背对或者侧对图像采集设备,因此检测第一图像中的人体区域能够提高检测时的准确性。
图像采集设备402根据第一对象区域,确定第一图像中目标对象的第一图像坐标时,具体可以直接将第一对象区域确定为目标对象的第一图像坐标,也可以将第一对象区域的中心点坐标,确定为目标对象的第一图像坐标。
本实施例中,图像采集设备在确定第一图像坐标时,根据从第一图像中检测的目标对象的第一对象区域来确定,提供了一种具体的实现方式。
当第一图像中存在多个目标对象时,或者不同时刻采集的图像中的目标对象不同时,为了针对每个目标对象确定运动轨迹,在本申请的另一实施例中,基于图4a所示实施例,图像采集设备402,将目标对象的世界坐标发送至服务器401时,具体包括:
将第一对象区域以及目标对象的世界坐标发送至服务器401。
服务器401,接收图像采集设备402发送的目标对象的世界坐标,基于目标对象的世界坐标,确定目标对象的运动轨迹时,具体可以包括:
接收图像采集设备发送的第一对象区域以及目标对象的世界坐标,并将第一对象区域与预先确定的对象模型库中的各个对象区域进行匹配,将匹配成功的对象模型库中的对象区域对应的对象标识,确定为目标对象的目标对象标识,基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹。
其中,对象模型库用于存储各个对象区域与对象标识的对应关系。
为了对每个目标对象进行跟踪,可以预先给每个目标对象分配对象标识,并预先确定对象区域与对象标识的对应关系。
服务器401,将第一对象区域与对象模型库中的各个对象区域进行匹配时,具体可以采用图像之间的匹配算法确定第一对象区域与对象模型库中的各个对象区域之间的相似度,当相似度大于预设阈值时,认为第一对象区域与对象模型库中的该对象区域匹配成功。当相似度不大于预设阈值时,认为第一对象区域与对象模型库中的该对象区域匹配失败。图像之间的匹配算法可以包括哈希算法、图像灰度直方图比对算法、结构相似性算法(Structural Similarity,SIM)或其他建模算法等。预设阈值可以为预设值,例如为80%或90%等值。
目标对象的世界坐标即为该目标对象的目标对象标识对应的世界坐标。在服务器401接收到目标对象标识对应的世界坐标之后,可以记录目标对象标识与世界坐标的对应关系。具体的,服务器401可以将上述对应关系记录在数据库中。根据对象标识与世界坐标的对应关系,能够更方便地确定目标对象的运动轨迹。
本实施例中,服务器根据第一对象区域与对象模型库进行匹配,可以确定目标对象的目标对象标识,并根据目标对象标识和目标对象的世界坐标,能更方便地确定目标对象的运动轨迹,提高操作的可实现性。
在确定目标对象的运动轨迹时,可以按照目标对象在不同时刻的世界坐标进行确定。因此,在本申请的另一实施例中,确定的目标对象的世界坐标为:目标对象标识在第一时刻的世界坐标。其中,第一时刻为第一图像的采集时刻。这样,在向数据库中记录目标对象标识与世界坐标的对应关系时,可以记录目标对象标识、第一时刻以及世界坐标之间的对应关系。
服务器401,基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹时,具体可以包括以下实施方式。
一种实施方式为,获取记录的所述目标对象标识在第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及目标对象标识在第一时刻的世界坐标,生成目标对象的运动轨迹。
具体的,服务器401可以从数据库中获取第一时刻之前的各个时刻的世界坐标。本实施例这种确定运动轨迹的方式,适合于对运动轨迹的实时性要求不高的情形。
另一种实施方式为,获取已存储的目标对象标识的运动轨迹,根据目标对象标识在第一时刻的世界坐标,更新目标对象的运动轨迹。其中,已存储的目标对象标识的运动轨迹为:根据目标对象标识在第一时刻之前的各个时刻的世界坐标确定。
本实施例这种确定运动轨迹的方式,适合于对运动轨迹的实时性要求较高的情形。
在本申请的另一实施例中,基于图4a所示实施例可以得到图4b所示实施例,该系统实施例中还可以包括监控平台403。监控平台403可以为具有较强计算处理功能的服务器。其中,确定的目标对象的世界坐标为:目标对象标识在第一时刻的世界坐标。第一时刻为第一图像的采集时刻。
服务器401,基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹时,具体可以包括:
将目标对象标识在第一时刻的世界坐标发送至监控平台403。
监控平台403,用于接收服务器401发送的目标对象标识在第一时刻的世界坐标,采用以下操作之一确定目标对象的运动轨迹:
操作一,获取记录的目标对象标识在第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及目标对象标识在第一时刻的世界坐标,生成目标对象的运动轨迹。
操作二,获取已存储的目标对象标识的运动轨迹,根据目标对象标识在第一时刻的世界坐标,更新目标对象的运动轨迹。其中,已存储的目标对象标识的运动轨迹为:根据目标对象标识在第一时刻之前的各个时刻的世界坐标确定。
本实施例中,服务器401可以为两个以上,监控平台403可以与两个以上服务器401相连。
本实施例中,监控平台可以接收服务器发送的目标对象标识在第一时刻的世界坐标,并确定目标对象的运动轨迹。这样,服务器与监控平台可以分别负担一部分处理能力,提高系统整体的处理效率。
在本申请的另一实施例中,系统中的图像采集设备可以为多个。上述系统还可以包括:位于待检测区域入口处的入口图像采集设备(图中未示出)。
入口图像采集设备,用于在上述图像采集设备采集第一图像之前,针对待检测区域采集包含目标对象的第二图像,检测第二图像中目标对象所在的第二对象区域,为目标对象分配目标对象标识,并将第二对象区域与目标对象标识的对应关系发送至服务器401。
服务器401,还用于接收入口图像采集设备发送的第二对象区域与目标对象标识的对应关系,将第二对象区域与目标对象标识的对应关系存储至对象模型库。
本实施例中,在待检测区域中移动的对象可能在不断地变换。为了方便对新的对象进行跟踪,可以在待检测区域的入口处设置入口图像采集设备。当入口图像采集设备检测到对象时,创建该对象的标识并存储至对象模型库,以便于对象在进入待检测区域后,可以根据对象模型库确定图像中的对象的标识。
在一种具体实施方式中,入口图像采集设备可以对着待检测区域入口处对象进入的方向,这样可能采集到包含对象面部的图像。第二对象区域可以为目标对象的身体区域。身体区域可以包括头部区域和躯干区域。入口图像采集设备在检测出身体区域之后,还可以从第二图像中检测目标对象的面部区域,并将面部区域、身体区域以及目标对象标识均存储至对象模型库中。
入口图像采集设备在检测到目标对象的身体区域和面部区域之后,可以根据身体区域和面部区域,提取目标对象的个性化信息。该个性化信息可以包括目标对象的性别、年龄等信息。这些个性化信息也可以存储在对象模型库中。
在本申请的另一实施例中,上述系统还包括:位于待检测区域出口处的出口图像采集设备(图中未示出)。
出口图像采集设备,用于针对待检测区域采集包含目标对象的第三图像,检测第三图像中的第三对象区域,并将第三对象区域发送至服务器401。
服务器401,还用于在接收到出口图像采集设备发送的第三对象区域时,将第三对象区域与对象模型库中的各个对象区域进行匹配,删除匹配成功的对象模型库中的对象区域以及对应的对象标识。
当目标对象出现在出口图像采集设备采集的第二图像中时,认为目标对象将要离开待检测区域。此时,服务器401在确定第三对象区域与对象模型库中匹配成功的对象区域之后,可以删除该匹配成功的对象区域和对象标识。这样能够去除失活数据,节省数据库资源,进而提高对象区域的匹配效率。
对于系统中的图像采集设备402,还可以在检测得到第一图像中目标对象所在的第一对象区域之后,根据第一对象区域,确定目标对象的个性化信息,记录个性化信息。
其中,个性化信息可以包括目标对象的站立位置的朝向等。
在另一种实施方式中,服务器401可以根据第一对象区域,确定目标对象的个性化信息,并将个性化信息存储至数据库中。
在对待检测区域中的对象进行跟踪,并确定对象的运动轨迹时,待检测区域中可能存在一些需要排除的对象。例如,当待检测区域为商场时,待跟踪人员为顾客,那么销售人员即为需要排除的跟踪对象。
服务器401,还用于在基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹之前,若目标对象标识不为预设的不确定运动轨迹的特定对象标识,则基于目标对象标识和目标对象的世界坐标,确定目标对象的运动轨迹。
本实施例中,在确定目标对象的运动轨迹时,可以排除不需要确定运动轨迹的特定对象,进而使得操作更有针对性,整体处理效率更高。
在确定目标对象的运动轨迹时,还可以确定目标对象的更多信息,以便对目标对象的移动行为进行分析。
下面结合具体实例对本申请再做详细说明。
参见图5a,系统包括前端的图像采集设备以及后端的NVR(Network VideoRecorder,NVR)(即上述服务器)和楼宇平台(即上述监控平台)组成。图像采集设备可以包括人脸抓拍机和人体抓拍机。人脸抓拍机可以在检测到人脸区域和人体区域时抓拍图片,并触发人脸报警。人体抓拍机可以在检测到人体区域时抓拍图片,并触发人体报警。NVR为带图形处理器(Graphics Processing Unit,GPU)功能的服务器。楼宇平台为安装有智能楼宇管理软件平台的服务器。
参见图5b所示的待检测区域中的设备安装示意图。待检测区域为商店。预先在商店的入口处安装人脸抓拍机IPC_a,在出口处安装人脸抓拍机IPC_b,这两个抓拍机能够检测所有顾客的进入和离开。预先在商店内部安装人体抓拍机(IPC_1,IPC_2……IPC_8),这些人体抓拍机要能够覆盖整个商店。将所有的前端抓拍机接入NVR中,NVR与楼宇平台连接。人脸抓拍机的朝向和人体抓拍机的布局以及图像采集区域可参见图5b。其中,人体抓拍机负责监控的范围可以采用圆形虚线表示,并且图5b中的圆形虚线未显示全,部分虚线被货架所遮挡。
为了确定顾客的运动轨迹,可以预先对所有的人体抓拍机进行世界坐标的标定,所有的抓拍机都以商店平面的左下角为原点,选择抓拍机画面中多个标定点进行标定。
当一个顾客进入商店,IPC_a会抓取顾客图片(包括人脸区域小图和人体区域小图),根据人体区域和人脸区域图片分析这位顾客的性别、年龄等个性化信息,为这位顾客分配唯一的人员ID,将人员ID、人体区域、顾客的个性化信息发送至NVR,NVR将人员ID、人体区域、顾客的个性化信息的对应关系保存在人员库(即对象模型库)中。
当顾客进入商店中之后,人体抓拍机在画面中检测到人体则抓拍图片(包括人体区域小图),并根据人体区域在画面中的坐标和标定点的世界坐标计算出这个顾客的世界坐标。人体抓拍机将人体区域图片和对应的世界坐标上报至NVR。
NVR能够根据人体抓拍机上报的人体区域图片和人员库中保存的历史人体区域图片,比对后确定该顾客对应的人员ID,并将当前时间、世界坐标、人员ID等有效数据保存在数据库中。NVR通过对人体区域中人体朝向的分析,可以确定顾客感兴趣的货架是左边的还是右边的。NVR可以定期向楼宇平台发送上述有效数据。NVR在比对人体区域时,可以确定人体区域的建模数据,并将该建模数据与人员库中各个人体区域的建模数据进行比对。当建模数据比对成功时,认为对于的人体区域比对成功。NVR可以预先在人员库中添加各个人体区域的建模数据。
当顾客离开后,IPC_b能够抓拍到,并将人体区域发送至NVR。NVR同样地确定人体区域的人员ID,并将当前时间、人员ID和离开状态写入数据后,将这个人员ID从人员库中删除。
楼宇平台接收到NVR发送的有效数据后,就可以在商店平面图上绘制人员ID对应的人员轨迹图。由于人员轨迹图中的每个点位的时间都是已知的,则顾客的停留时间也是可以计算出来的。楼宇平台还可以展示人员轨迹图。
在进行数据分析时,需要排除导购人员,他们的轨迹会对最终的分析结果有影响。这可以通过在NVR的人员库中添加店员标注信息。当NVR比对出抓拍机上报的人体区域对应的人员ID为非导购人员ID时,将数据库的数据发送至楼宇平台,以便楼宇平台在确定人员轨迹图时排除这些无关数据。
图1所示方法实施例与上述系统实施例是基于同一发明构思得到的实施例,相关内容两者可以相互参照。
图6为本申请实施例还提供了一种电子设备的结构示意图。,该电子设备包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信;
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现本申请实施例提供的运动轨迹确定方法。该方法包括:
获取图像采集设备针对待检测区域采集的包含目标对象的第一图像;
确定所述第一图像中所述目标对象的第一图像坐标;
根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;
基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
本实施例可以根据目标对象在第一图像中的第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象在第一时刻的世界坐标。世界坐标为待检测区域所在的世界坐标系中的坐标,第一图像坐标不同,对应确定的目标对象的世界坐标也不同。目标对象的世界坐标能够体现目标对象在待检测区域中更准确的位置,进而能够使得根据该目标对象的位置确定的运动轨迹更准确。
上述电子设备提到的通信总线704可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口702用于上述电子设备与其他设备之间的通信。
存储器703可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器703还可以是至少一个位于远离前述处理器的存储装置。
上述处理器701可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的运动轨迹确定方法。该方法包括:
获取图像采集设备针对待检测区域采集的包含目标对象的第一图像;
确定所述第一图像中所述目标对象的第一图像坐标;
根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;
基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
本实施例可以根据目标对象在第一图像中的第一图像坐标,以及第一图像中预设的标定点的世界坐标,确定目标对象在第一时刻的世界坐标。世界坐标为待检测区域所在的世界坐标系中的坐标,第一图像坐标不同,对应确定的目标对象的世界坐标也不同。目标对象的世界坐标能够体现目标对象在待检测区域中更准确的位置,进而能够使得根据该目标对象的位置确定的运动轨迹更准确。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (13)

1.一种运动轨迹确定方法,其特征在于,所述方法包括:
获取图像采集设备针对待检测区域采集的包含目标对象的第一图像;
确定所述第一图像中所述目标对象的第一图像坐标;
根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;
基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹;
所述确定所述第一图像中所述目标对象的第一图像坐标的步骤,包括:
检测所述第一图像中所述目标对象所在的第一对象区域;
根据所述第一对象区域,确定所述第一图像中所述目标对象的第一图像坐标;
所述基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹的步骤,包括:
将所述第一对象区域与预先确定的对象模型库中的各个对象区域进行匹配,将匹配成功的所述对象模型库中的对象区域对应的对象标识,确定为所述目标对象的目标对象标识;其中,所述对象模型库用于存储各个对象区域与对象标识的对应关系;
基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹;
确定的所述目标对象的世界坐标为:所述目标对象标识在第一时刻的世界坐标;所述第一时刻为所述第一图像的采集时刻;
所述基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹的步骤,包括:
获取记录的所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及所述目标对象标识在所述第一时刻的世界坐标,生成所述目标对象的运动轨迹;或者,
获取已存储的所述目标对象标识的运动轨迹,根据所述目标对象标识在所述第一时刻的世界坐标,更新所述目标对象的运动轨迹;已存储的所述目标对象标识的运动轨迹为:根据所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标确定;
所述方法还包括:
确定所述对象模型库中各个对象区域最近一次被匹配成功的第二时刻,确定每一第二时刻与当前时间之间的时长,当一个第二时刻与当前时间之间的时长大于预设时长阈值时,删除该第二时刻对应的对象区域以及对象标识。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标的步骤,包括:
根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标的步骤,包括:
采用预设公式确定所述目标对象的世界坐标(X,Y,Z);
其中,(u,v)为所述第一图像坐标,所述δ和L为预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述对象模型库中不存在与所述第一对象区域匹配成功的对象区域时,为所述目标对象分配目标对象标识,并将所述第一对象区域与所述目标对象标识的对应关系存储至所述对象模型库。
5.根据权利要求1所述的方法,其特征在于,还包括:
在基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹之前,若所述目标对象标识不为预设的不确定运动轨迹的特定对象标识,则基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在检测得到所述第一图像中所述目标对象所在的第一对象区域之后,根据所述第一对象区域,确定所述目标对象的个性化信息,记录所述个性化信息。
7.一种运动轨迹确定系统,其特征在于,包括:服务器和图像采集设备;
所述图像采集设备,用于针对待检测区域采集包含目标对象的第一图像;确定所述第一图像中所述目标对象的第一图像坐标;根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标;将所述目标对象的世界坐标发送至所述服务器;其中,世界坐标为所述待检测区域所在的世界坐标系中的坐标;所述服务器,用于接收所述图像采集设备发送的所述目标对象的世界坐标,基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹;
所述图像采集设备,确定所述第一图像中所述目标对象的第一图像坐标时,包括:
检测所述第一图像中所述目标对象所在的第一对象区域;
根据所述第一对象区域,确定所述第一图像中所述目标对象的第一图像坐标;
所述图像采集设备,将所述目标对象的世界坐标发送至所述服务器时,包括:
将所述第一对象区域以及所述目标对象的世界坐标发送至所述服务器;
所述服务器,接收所述图像采集设备发送的所述目标对象的世界坐标,基于所述目标对象的世界坐标,确定所述目标对象的运动轨迹时,包括:
接收所述图像采集设备发送的所述第一对象区域以及所述目标对象的世界坐标,并将所述第一对象区域与预先确定的对象模型库中的各个对象区域进行匹配,将匹配成功的所述对象模型库中的对象区域对应的对象标识,确定为所述目标对象的目标对象标识,基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹;
其中,所述对象模型库用于存储各个对象区域与对象标识的对应关系;
确定的所述目标对象的世界坐标为:所述目标对象标识在第一时刻的世界坐标;所述第一时刻为所述第一图像的采集时刻;
所述服务器,基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹时,包括:获取记录的所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及所述目标对象标识在所述第一时刻的世界坐标,生成所述目标对象的运动轨迹;或者,获取已存储的所述目标对象标识的运动轨迹,根据所述目标对象标识在所述第一时刻的世界坐标,更新所述目标对象的运动轨迹;已存储的所述目标对象标识的运动轨迹为:根据所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标确定;
所述服务器,确定所述对象模型库中各个对象区域最近一次被匹配成功的第二时刻,确定每一第二时刻与当前时间之间的时长,当一个第二时刻与当前时间之间的时长大于预设时长阈值时,删除该第二时刻对应的对象区域以及对象标识;
或者,所述系统还包括监控平台;
所述服务器,基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹时,包括:将所述目标对象标识在所述第一时刻的世界坐标发送至所述监控平台;所述服务器,确定所述对象模型库中各个对象区域最近一次被匹配成功的第二时刻,确定每一第二时刻与当前时间之间的时长,当一个第二时刻与当前时间之间的时长大于预设时长阈值时,删除该第二时刻对应的对象区域以及对象标识;所述监控平台,用于接收所述服务器发送的所述目标对象标识在所述第一时刻的世界坐标,采用以下操作之一确定所述目标对象的运动轨迹:获取记录的所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标,根据获取的各个时刻的世界坐标,以及所述目标对象标识在所述第一时刻的世界坐标,生成所述目标对象的运动轨迹;获取已存储的所述目标对象标识的运动轨迹,根据所述目标对象标识在所述第一时刻的世界坐标,更新所述目标对象的运动轨迹;已存储的所述目标对象标识的运动轨迹为:根据所述目标对象标识在所述第一时刻之前的各个时刻的世界坐标确定。
8.根据权利要求7所述的系统,其特征在于,所述图像采集设备,根据所述第一图像坐标,以及所述第一图像中预设的标定点的世界坐标,确定所述目标对象的世界坐标时,包括:
根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标。
9.根据权利要求8所述的系统,其特征在于,所述图像采集设备,根据所述第一图像坐标、预设公式以及预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数,确定所述目标对象的世界坐标时,包括:
采用预设公式确定所述目标对象的世界坐标(X,Y,Z);
其中,(u,v)为所述第一图像坐标,所述δ和L为预先根据所述第一图像中预设的标定点的世界坐标和图像坐标确定的公式参数。
10.根据权利要求7所述的系统,其特征在于,所述系统还包括:位于所述待检测区域入口处的入口图像采集设备;
所述入口图像采集设备,用于在所述图像采集设备采集所述第一图像之前,针对待检测区域采集包含所述目标对象的第二图像,检测所述第二图像中所述目标对象所在的第二对象区域,为所述目标对象分配目标对象标识,并将所述第二对象区域与所述目标对象标识的对应关系发送至所述服务器;
所述服务器,还用于接收所述入口图像采集设备发送的第二对象区域与所述目标对象标识的对应关系,将所述第二对象区域与所述目标对象标识的对应关系存储至所述对象模型库。
11.根据权利要求10所述的系统,其特征在于,所述系统还包括:位于所述待检测区域出口处的出口图像采集设备;
所述出口图像采集设备,用于针对待检测区域采集包含所述目标对象的第三图像,检测所述第三图像中的第三对象区域,并将所述第三对象区域发送至所述服务器;
所述服务器,还用于在接收到所述出口图像采集设备发送的第三对象区域时,将所述第三对象区域与所述对象模型库中的各个对象区域进行匹配,删除匹配成功的所述对象模型库中的对象区域以及对应的对象标识。
12.根据权利要求7所述的系统,其特征在于,所述图像采集设备,还用于:
在检测得到所述第一图像中所述目标对象所在的第一对象区域之后,根据所述第一对象区域,确定所述目标对象的个性化信息,记录所述个性化信息。
13.根据权利要求7所述的系统,其特征在于,所述服务器,还用于:
在基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹之前,若所述目标对象标识不为预设的不确定运动轨迹的特定对象标识,则基于所述目标对象标识和所述目标对象的世界坐标,确定所述目标对象的运动轨迹。
CN201811135539.2A 2018-09-27 2018-09-27 一种运动轨迹确定方法及系统 Active CN110956644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811135539.2A CN110956644B (zh) 2018-09-27 2018-09-27 一种运动轨迹确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811135539.2A CN110956644B (zh) 2018-09-27 2018-09-27 一种运动轨迹确定方法及系统

Publications (2)

Publication Number Publication Date
CN110956644A CN110956644A (zh) 2020-04-03
CN110956644B true CN110956644B (zh) 2023-10-10

Family

ID=69975265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811135539.2A Active CN110956644B (zh) 2018-09-27 2018-09-27 一种运动轨迹确定方法及系统

Country Status (1)

Country Link
CN (1) CN110956644B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488835B (zh) * 2020-04-13 2023-10-10 北京爱笔科技有限公司 一种同行人员的识别方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273500A (ja) * 2000-03-23 2001-10-05 Hitachi Ltd 運動物体計測装置および球技分析システムおよびデータサービスシステム
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN101614817A (zh) * 2009-06-24 2009-12-30 北京航空航天大学 一种基于地面动目标指示雷达系统的多目标跟踪方法
CN101883261A (zh) * 2010-05-26 2010-11-10 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN107093171A (zh) * 2016-02-18 2017-08-25 腾讯科技(深圳)有限公司 一种图像处理方法及装置、系统
CN107481270A (zh) * 2017-08-10 2017-12-15 上海体育学院 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN108108748A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108197565A (zh) * 2017-12-29 2018-06-22 深圳英飞拓科技股份有限公司 基于人脸识别的目标寻踪方法及系统
CN108257146A (zh) * 2018-01-15 2018-07-06 新疆大学 运动轨迹显示方法及装置
CN108305466A (zh) * 2018-03-13 2018-07-20 北京智芯原动科技有限公司 基于车辆特征分析的路侧停车检测方法及装置
CN108536157A (zh) * 2018-05-22 2018-09-14 上海迈陆海洋科技发展有限公司 一种智能水下机器人及其系统、物标跟踪方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273500A (ja) * 2000-03-23 2001-10-05 Hitachi Ltd 運動物体計測装置および球技分析システムおよびデータサービスシステム
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN101614817A (zh) * 2009-06-24 2009-12-30 北京航空航天大学 一种基于地面动目标指示雷达系统的多目标跟踪方法
CN101883261A (zh) * 2010-05-26 2010-11-10 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN107093171A (zh) * 2016-02-18 2017-08-25 腾讯科技(深圳)有限公司 一种图像处理方法及装置、系统
CN107481270A (zh) * 2017-08-10 2017-12-15 上海体育学院 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN108108748A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108197565A (zh) * 2017-12-29 2018-06-22 深圳英飞拓科技股份有限公司 基于人脸识别的目标寻踪方法及系统
CN108257146A (zh) * 2018-01-15 2018-07-06 新疆大学 运动轨迹显示方法及装置
CN108305466A (zh) * 2018-03-13 2018-07-20 北京智芯原动科技有限公司 基于车辆特征分析的路侧停车检测方法及装置
CN108536157A (zh) * 2018-05-22 2018-09-14 上海迈陆海洋科技发展有限公司 一种智能水下机器人及其系统、物标跟踪方法

Also Published As

Publication number Publication date
CN110956644A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
US20180204070A1 (en) Image processing apparatus and image processing method
CN110706247B (zh) 一种目标跟踪方法、装置及系统
CN110874583A (zh) 一种客流统计的方法、装置、存储介质及电子设备
CN110991261A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
CN111091025B (zh) 图像处理方法、装置和设备
US20210034842A1 (en) Method, electronic device, and computer readable medium for image identification
CN111553234A (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
WO2022156234A1 (zh) 一种目标重识别方法、装置及计算机可读存储介质
US20170278256A1 (en) System and Method for Tracking and Annotating Multiple Objects in a 3D Model
CN114241016A (zh) 一种跨相机轨迹关联方法、装置及电子设备
KR20160078089A (ko) 농장에서의 움직임 객체의 공격적 행동 탐지 및 관리시스템
EP3432575A1 (en) Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus
CN110956644B (zh) 一种运动轨迹确定方法及系统
KR20150137698A (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
CN115170851A (zh) 一种图像聚类的方法及装置
CN111179319B (zh) 一种基于人脸识别室内移动轨迹获取方法及系统
CN114092809A (zh) 对象识别方法、装置及电子设备
CN113592902A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN114677608A (zh) 身份特征生成方法、设备及存储介质
CN114820692B (zh) 跟踪目标的状态分析方法、装置、存储介质和终端
CN113051975A (zh) 人流量统计方法及相关产品
CN111367897B (zh) 一种数据处理方法、装置、设备及存储介质
CN113515982B (zh) 轨迹还原方法及设备、设备管理方法及管理设备
US20230349711A1 (en) Movement route estimation device, movement route estimation method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant