CN111292350B - 目标朝向的优化算法、系统、电子设备及存储介质 - Google Patents

目标朝向的优化算法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111292350B
CN111292350B CN201811505720.8A CN201811505720A CN111292350B CN 111292350 B CN111292350 B CN 111292350B CN 201811505720 A CN201811505720 A CN 201811505720A CN 111292350 B CN111292350 B CN 111292350B
Authority
CN
China
Prior art keywords
vector
orientation
included angle
target
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811505720.8A
Other languages
English (en)
Other versions
CN111292350A (zh
Inventor
李�浩
李雨倩
刘懿
高萌
王鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN201811505720.8A priority Critical patent/CN111292350B/zh
Publication of CN111292350A publication Critical patent/CN111292350A/zh
Application granted granted Critical
Publication of CN111292350B publication Critical patent/CN111292350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标朝向的优化算法、系统、电子设备及存储介质，优化方法包括：采集目标的多帧图像；获取表征目标在第i‑1帧图像中的朝向的第一向量，其中，i是大于1的自然数；获取表征目标在第i帧图像中的朝向的第二向量；获取目标从第i‑1帧图像中的第一位置移动至第i帧图像中的第二位置的移动向量；基于上述向量得到目标在第i帧图像中的优化朝向向量，其中，优化朝向向量与移动向量之间的夹角小于角度阈值；将第二向量替换为优化朝向向量，以表征目标在第i帧图像中的朝向。本发明基于单帧图像中的目标朝向与目标朝向的连续变化特性，经由同一目标的连续多帧图像来得到优化朝向向量，能够目标朝向的变化更加平滑。

Description

目标朝向的优化算法、系统、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种目标朝向的优化算法、系统、电子设备及存储介质。
背景技术
对目标进行追踪时，往往需要确定目标的位置与朝向。又有，通常经由传感器来采集目标图像，再通过计算包围该目标图像的包围框来确定目标位置以及目标朝向。其中，包围框通常由边界处于x-y平面，且能够包围上述目标图像的矩形框表示，该矩形框的中心可以视为目标位置，该矩形框长边的方向可以视为该包围框的朝向，也即，目标朝向。这种确定目标朝向的方法仅仅依赖对目标图像的采集，然而，当图像采集的过程不稳定时，根据目标图像确定得到的包围框相应地处于不断的变化中，进而导致目标朝向在连续多帧的图像采集中发生抖动，甚至频繁跳动，导致了目标朝向的突变。
发明内容
本发明要解决的技术问题是为了克服现有技术中仅依赖于采集到的单帧目标图像确定的目标朝向易发生突变的缺陷，提供一种目标朝向的优化算法、系统、电子设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
一种目标朝向的优化方法，其特点在于，所述优化方法包括：
采集目标的多帧图像；
获取表征所述目标在第i-1帧图像中的朝向的第一向量，其中，i是大于1的自然数；
获取表征所述目标在第i帧图像中的朝向的第二向量；
获取所述目标从所述第i-1帧图像中的第一位置移动至所述第i帧图像中的第二位置的移动向量；
基于所述第一向量、所述第二向量以及所述移动向量，得到所述目标在第i帧图像中的优化朝向向量，其中，所述优化朝向向量与所述移动向量之间的夹角小于角度阈值；
将所述第二向量替换为所述优化朝向向量，以表征所述目标在所述第i帧图像中的朝向。
较佳地，所述得到所述目标在当前帧图像中的优化朝向向量的步骤包括：
获取所述第一向量和所述移动向量之间的第一夹角，以及所述第二向量和所述移动向量之间的第二夹角；
比较所述第一夹角与所述角度阈值的大小，并比较所述第二夹角与所述角度阈值的大小；
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则基于所述移动向量计算优化朝向向量；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则基于所述移动向量以及所述第二向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则基于所述第一向量以及所述移动向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则基于所述第一向量、所述移动向量以及所述第二向量计算优化朝向向量。
较佳地，在所述得到所述目标在当前帧图像中的优化朝向向量的步骤之前，所述优化方法还包括：
对所述第一向量、所述第二向量以及所述移动向量进行归一化；
在所述得到所述目标在当前帧图像中的优化朝向向量的步骤之后，所述优化方法还包括：
对所述优化朝向向量进行归一化。
较佳地，令所述第一向量为di-1，所述第二向量为di，所述移动向量为mi，所述优化朝向向量为Di，在所述得到所述目标在当前帧图像中的优化朝向向量的步骤中：
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi+c*di-1；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di+c*di-1；
其中，a≥0，b≥0，c≥0，且a+b+c＝1。
较佳地，在所述将所述第二向量替换为所述优化朝向向量的步骤之后，所述优化方法还包括：
将i赋值为i+1，并继续执行所述获取表征所述目标在第i-1帧图像中的朝向的第一向量的步骤。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点在于，所述处理器执行所述计算机程序时实现上述任一种目标朝向的优化方法。
一种计算机可读存储介质，其上存储有计算机程序，其特点在于，所述计算机程序被处理器执行时实现上述任一种目标朝向的优化方法的步骤。
一种目标朝向的优化系统，其特点在于，所述优化系统包括：
图像采集模块，用于采集目标的多帧图像；
第一向量获取模块，用于获取表征所述目标在第i-1帧图像中的朝向的第一向量，其中，i是大于1的自然数；
第二向量获取模块，用于获取表征所述目标在第i帧图像中的朝向的第二向量；
第三向量获取模块，用于获取所述目标从所述第i-1帧图像中的第一位置移动至所述第i帧图像中的第二位置的移动向量；
朝向优化模块，用于基于所述第一向量、所述第二向量以及所述移动向量，得到所述目标在第i帧图像中的优化朝向向量，其中，所述优化朝向向量与所述移动向量之间的夹角小于角度阈值；
朝向替换模块，用于将所述第二向量替换为所述优化朝向向量，以表征所述目标在所述第i帧图像中的朝向。
较佳地，所述朝向优化模块包括：
第一夹角获取单元，用于获取所述第一向量和所述移动向量之间的第一夹角；
第二夹角获取单元，用于获取所述第二向量和所述移动向量之间的第二夹角；
第一夹角比较单元，用于比较所述第一夹角与所述角度阈值的大小；
第二夹角比较单元，用于比较所述第二夹角与所述角度阈值的大小；
计算单元，用于根据所述第一夹角比较单元和所述第二夹角比较单元的比较结果，计算优化朝向向量；
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则所述计算单元基于所述移动向量计算优化朝向向量；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则所述计算单元基于所述移动向量以及所述第二向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则所述计算单元基于所述第一向量以及所述移动向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则所述计算单元基于所述第一向量、所述移动向量以及所述第二向量计算优化朝向向量。
较佳地，所述优化系统还包括：
归一化模块，用于对所述第一向量、所述第二向量、所述移动向量以及所述优化朝向向量进行归一化。
较佳地，令所述第一向量为di-1，所述第二向量为di，所述移动向量为mi，所述优化朝向向量为Di，所述朝向优化模块利用以下公式计算所述优化朝向向量Di：
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi+c*di-1；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di+c*di-1；
其中，a≥0，b≥0，c≥0，且a+b+c＝1。
较佳地，所述优化系统还包括：
赋值模块，用于将i赋值为i+1，并调用所述第一向量获取模块。
本发明的积极进步效果在于：本发明并不仅仅依赖于采集到的单帧目标图像来确定目标朝向，还考虑到目标朝向的连续变化特性，换句话说，本发明中的优化朝向向量包含了相邻两帧图像中的目标朝向向量，以及上述相邻两帧图像中目标的移动向量，从而基于同一目标的连续多帧图像优化得到的优化朝向向量，能够避免目标朝向的突变，使得目标朝向的变化更加平滑。
附图说明
图1为根据本发明实施例1的目标朝向的优化方法的流程图。
图2为根据本发明实施例1采集的连续两帧图像的示意图。
图3为根据本发明实施例1的目标朝向的优化方法的部分流程图。
图4为根据本发明实施例2的电子设备的硬件结构示意图。
图5为根据本发明实施例4的目标朝向的优化系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种目标朝向的优化方法，图1示出了本实施例的流程图。参见图1，本实施例的优化方法包括：
S1、采集目标的多帧图像。
在本实施例中，可以经由但不限于激光雷达来采集目标的图像。具体地，在本实施例中，目标可以由一系列的点组成，图2示出了步骤S1中采集的连续两帧图像，其中，Fi-1表征包围第i-1帧图像(即所有点，图中未示出)的包围框，Fi表征包围第i帧图像的包围框。由于目标的移动，从而组成该目标的点也会相应的发生改变，进而包围该帧图像的包围框的大小和位置也会发生改变，例如在图2中，Fi-1与Fi所表征的包围框的大小和位置并不相同。
S2、获取表征目标在第i-1帧图像中的朝向的第一向量。
在本实施例中，包围框长边的方向即可视为该包围框的朝向，并且i是大于1的自然数。具体地，如图2所示，di-1表征第一向量。
S3、获取表征目标在第i帧图像中的朝向的第二向量。
如图2所示，di表征第二向量。
S4、获取目标从第i-1帧图像中的第一位置移动至第i帧图像中的第二位置的移动向量。
在本实施例中，包围框的中心即可视为目标位置，如图2所示，pi-1表征目标在第i-1帧图像中的第一位置，pi表征目标在第i帧图像中的第二位置，mi表征目标从第一位置pi-1移动至第二位置pi的移动向量。具体地，移动向量mi可以是目标从第一位置pi-1移动至第二位置pi的位移向量或者速度向量。
S5、对第一向量、第二向量以及移动向量进行归一化。
在本步骤中，对di-1、di以及mi进行归一化，也即，在本实施例中，优化朝向向量的确定，并不依赖于上述di-1、di以及mi的具体大小，而主要考虑其具体方向。
S6、基于第一向量、第二向量以及移动向量，得到目标在第i帧图像中的优化朝向向量。
图3示出了步骤S6的流程图，参见图5，步骤S6包括：
S61、获取第一向量和移动向量之间的第一夹角，以及第二向量和移动向量之间的第二夹角。
如图2所示，βi-1表征di-1和mi之间的第一夹角，βi表征di以及mi之间的第二夹角。
S62、比较第一夹角与角度阈值的大小，并比较第二夹角与角度阈值的大小；
若第一夹角大于角度阈值，且第二夹角大于角度阈值，则转至步骤S63；
若第一夹角大于角度阈值，且第二夹角不大于角度阈值，则转至步骤S64；
若第一夹角不大于角度阈值，且第二夹角大于角度阈值，则转至步骤S65；
若第一夹角不大于角度阈值，且第二夹角不大于角度阈值，则转至步骤S66；
S63、基于移动向量计算优化朝向向量；
S64、基于移动向量以及第二向量计算优化朝向向量；
S65、基于第一向量以及移动向量计算优化朝向向量；
S66、基于第一向量、移动向量以及第二向量计算优化朝向向量。
在步骤S62中，如图2所示，移动向量mi与两侧虚线之间的夹角α即为预设的角度阈值，角度阈值的具体取值可以根据具体应用进行自定义设置，诸如，可以根据被优化目标的不同进行自定义设置。
通常情况下，目标的朝向与其移动方向是具有强关联性的，目标大概率地会沿着其朝向运动。同时，目标的朝向具有朝向惯性这一特性，也即，在较短时间间隔内，目标的朝向不会发生剧烈突变。在本实施例中，可以采用但不限于一阶惯性滤波对目标的朝向进行优化。
具体地，在步骤S63中，第一夹角和第二夹角均大于角度阈值，则可以推定这两帧中的第一朝向和第二朝向对于优化朝向向量的参考意义不大，优化朝向向量基于移动向量来计算。在本实施例中，用Di来表征优化朝向向量，则有，Di＝a*mi，其中，0≤a≤1。
在步骤S64中，第一夹角大于角度阈值，则可以推定第一朝向对于优化朝向向量的参考意义不大，优化朝向向量基于移动向量以及第二向量来计算。具体地，Di＝a*mi+b*di，其中，0≤a，b≤1。
在步骤S65中，第二夹角大于角度阈值，则可以推定第二朝向对于优化朝向向量的参考意义不大，优化朝向向量基于移动向量以及第一向量来计算。具体地，Di＝a*mi+c*di-1，其中，0≤a，c≤1。
在步骤S66中，第一夹角和第二夹角均不大于角度阈值，则可以推定这两帧中的第一朝向和第二朝向对于优化朝向向量的确定均具有参考意义，优化朝向向量基于移动向量、第一向量以及第二向量来计算。具体地，Di＝a*mi+b*di+c*di-1，其中，0≤a，b，c≤1。
在步骤S63-S66中，对于同一目标，a，b，c的取值相同，并且，a+b+c＝1。在本实施例中，基于移动向量、第一向量以及第二向量与优化朝向向量的关联性大小，a，b，c之间的大小关系可以进一步满足a>b>c。
在本实施例中，a，b，c的取值可以根据具体应用进行自定义设置，诸如，可以根据被优化目标的不同进行自定义设置。例如，在本实施例中，a＝0.5，b＝0.3，c＝0.2，则，
步骤S63中，Di＝0.5*mi；
步骤S64中，Di＝0.5*mi+0.3*di；
步骤S65中，Di＝0.5*mi+0.2*di-1；
步骤S66中，Di＝0.5*mi+0.3*di+0.2*di-1。
从而，本实施例中计算得到的优化朝向向量与移动向量之间的夹角是小于角度阈值的，进而，避免了目标朝向的突变，使得目标朝向的变化更加平滑。
S7、对优化朝向向量进行归一化。
同样地，在本步骤中，期望获得的不在于优化朝向向量Di的具体大小，而在于其具体方向。
S8、将第二向量替换为优化朝向向量。
S9、将i赋值为i+1，并继续执行步骤S2。
在上述步骤中，将原表征目标在第i帧图像中的朝向的第二向量更新为优化朝向向量，进而，可以基于该更新后的朝向来确定下一帧图像中的目标的朝向。
具体地，获取表征目标在第i帧图像中的朝向的向量(优化朝向向量)，表征目标在第i+1帧图像中的朝向的向量，以及该目标从第i帧图像中的具体位置移动至第i+1帧图像中的具体位置的移动向量，并基于上述三个向量来计算得到第i+1图像中的优化朝向向量。进而，可以就采集到的多帧图像对目标的朝向进行连续不断的优化。
在本实施例中，不仅仅依赖于采集到的单帧目标图像来确定目标朝向，还考虑到目标朝向的连续变化特性，换句话说，本发明中的优化朝向向量基于相邻两帧图像中的目标朝向的向量与上述相邻两帧图像中目标的移动向量之间的夹角大小，来考量对目标的图像采集过程是否发生异常，从而基于同一目标的连续多帧图像优化得到的优化朝向向量，能够避免目标朝向的突变，使得目标朝向的变化更加平滑。
实施例2
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1提供的目标朝向的优化方法。
图4示出了本实施例的硬件结构示意图，如图4所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的目标朝向的优化方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例3
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的目标朝向的优化方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的目标朝向的优化方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例4
本实施例提供一种目标朝向的优化系统，图5示出了本实施例的模块示意图。参见图5，本实施例的优化系统包括：
图像采集模块1，用于采集目标的多帧图像。在本实施例中，可以经由但不限于激光雷达来采集目标的图像。具体地，在本实施例中，目标可以由一系列的点组成，图像采集模块1采集的连续两帧图像亦如图2所示，其中，Fi-1表征包围第i-1帧图像(即所有点，图中未示出)的包围框，Fi表征包围第i帧图像的包围框。由于目标的移动，从而组成该目标的点也会相应的发生改变，进而包围该帧图像的包围框的大小和位置也会发生改变，例如在图2中，Fi-1与Fi所表征的包围框的大小和位置并不相同。
第一向量获取模块2，用于获取表征目标在第i-1帧图像中的朝向的第一向量。在本实施例中，包围框长边的方向即可视为该包围框的朝向，并且i是大于1的自然数。具体地，如图2所示，di-1表征第一向量。
第二向量获取模块3，用于获取表征目标在第i帧图像中的朝向的第二向量。如图2所示，di表征第二向量。
第三向量获取模块4，用于获取目标从第i-1帧图像中的第一位置移动至第i帧图像中的第二位置的移动向量。在本实施例中，包围框的中心即可视为目标位置，如图2所示，pi-1表征目标在第i-1帧图像中的第一位置，pi表征目标在第i帧图像中的第二位置，mi表征目标从第一位置pi-1移动至第二位置pi的移动向量。具体地，移动向量mi可以是目标从第一位置pi-1移动至第二位置pi的位移向量或者速度向量。
归一化模块5，用于对第一向量、第二向量、移动向量进行归一化。在本实施例中，对di-1、di以及mi进行归一化，也即，在本实施例中，优化朝向向量的确定，并不依赖于上述di-1、di以及mi的具体大小，而主要考虑其具体方向。
朝向优化模块6，用于基于第一向量、第二向量以及移动向量，得到目标在第i帧图像中的优化朝向向量。参见图5，朝向优化模块6包括：
第一夹角获取单元61，用于获取第一向量和移动向量之间的第一夹角；
第二夹角获取单元62，用于获取第二向量和移动向量之间的第二夹角；
第一夹角比较单元63，用于比较第一夹角与角度阈值的大小；
第二夹角比较单元64，用于比较第二夹角与角度阈值的大小；
计算单元65，用于根据第一夹角比较单元63和第二夹角比较单元64的比较结果，计算优化朝向向量。
如图2所示，βi-1表征di-1和mi之间的第一夹角，βi表征di以及mi之间的第二夹角，移动向量mi与两侧虚线之间的夹角α即为预设的角度阈值，角度阈值的具体取值可以根据具体应用进行自定义设置，诸如，可以根据被优化目标的不同进行自定义设置。
通常情况下，目标的朝向与其移动方向是具有强关联性的，目标大概率地会沿着其朝向运动。同时，目标的朝向具有朝向惯性这一特性，也即，在较短时间间隔内，目标的朝向不会发生剧烈突变。在本实施例中，可以采用但不限于一阶惯性滤波对目标的朝向进行优化。
具体地，若第一夹角比较单元63和第二夹角比较单元64的比较结果为：
第一夹角大于角度阈值，且第二夹角大于角度阈值，则可以推定这两帧中的第一朝向和第二朝向对于优化朝向向量的参考意义不大，计算单元65可以基于移动向量来计算优化朝向向量。在本实施例中，用Di来表征优化朝向向量，则有，Di＝a*mi，其中，0≤a≤1。
第一夹角大于角度阈值，且第二夹角不大于角度阈值，则可以推定第一朝向对于优化朝向向量的参考意义不大，计算单元65可以基于移动向量以及第二向量来计算优化朝向向量。具体地，Di＝a*mi+b*di，其中，0≤a，b≤1。
第一夹角不大于角度阈值，且第二夹角大于角度阈值，则可以推定第二朝向对于优化朝向向量的参考意义不大，计算单元65可以基于第一向量以及移动向量来计算优化朝向向量。具体地，Di＝a*mi+c*di-1，其中，0≤a，c≤1。
第一夹角不大于角度阈值，且第二夹角不大于角度阈值，则可以推定这两帧中的第一朝向和第二朝向对于优化朝向向量的确定均具有参考意义，计算单元65可以基于第一向量、移动向量以及第二向量来计算优化朝向向量。具体地，Di＝a*mi+b*di+c*di-1，其中，0≤a，b，c≤1。
在本实施例中，对于同一目标，a，b，c的取值相同，并且，a+b+c＝1。在本实施例中，基于移动向量、第一向量以及第二向量与优化朝向向量的关联性大小，a，b，c之间的大小关系可以进一步满足a>b>c。
在本实施例中，a，b，c的取值可以根据具体应用进行自定义设置，诸如，可以根据被优化目标的不同进行自定义设置。例如，在本实施例中，a＝0.5，b＝0.3，c＝0.2，则，
若第一夹角大于角度阈值，且第二夹角大于角度阈值，则计算单元65可以基于Di＝0.5*mi来计算优化朝向向量；
若第一夹角大于角度阈值，且第二夹角不大于角度阈值，则计算单元65可以基于Di＝0.5*mi+0.3*di来计算优化朝向向量；
若第一夹角不大于角度阈值，且第二夹角大于角度阈值，则计算单元65可以基于Di＝0.5*mi+0.2*di-1来计算优化朝向向量；
若第一夹角不大于角度阈值，且第二夹角不大于角度阈值，则计算单元65可以基于Di＝0.5*mi+0.3*di+0.2*di-1来计算优化朝向向量。
从而，本实施例中计算得到的优化朝向向量与移动向量之间的夹角是小于角度阈值的，进而，避免了目标朝向的突变，使得目标朝向的变化更加平滑。
归一化模块5还用于对优化朝向向量进行归一化。同样地，在本实施例中，期望获得的不在于优化朝向向量Di的具体大小，而在于其具体方向。
朝向替换模块7，用于将第二向量替换为优化朝向向量，以表征目标在第i帧图像中的朝向。
赋值模块8，用于将i赋值为i+1，并调用第一向量获取模块2。
将原表征目标在第i帧图像中的朝向的第二向量更新为优化朝向向量，进而，可以基于该更新后的朝向来确定下一帧图像中的目标的朝向。
具体地，第一向量获取模块2获取表征目标在第i帧图像中的朝向的向量(优化朝向向量)，第二向量获取模块3获取表征目标在第i+1帧图像中的朝向的向量，第三向量获取模块4获取该目标从第i帧图像中的具体位置移动至第i+1帧图像中的具体位置的移动向量，朝向优化模块6基于上述三个向量来计算得到第i+1图像中的优化朝向向量。进而，可以就采集到的多帧图像对目标的朝向进行连续不断的优化。
在本实施例中，不仅仅依赖于采集到的单帧目标图像来确定目标朝向，还考虑到目标朝向的连续变化特性，换句话说，本发明中的优化朝向向量基于相邻两帧图像中的目标朝向的向量与上述相邻两帧图像中目标的移动向量之间的夹角大小，来考量对目标的图像采集过程是否发生异常，从而基于同一目标的连续多帧图像优化得到的优化朝向向量，能够避免目标朝向的突变，使得目标朝向的变化更加平滑。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种目标朝向的优化方法，其特征在于，所述优化方法包括：
采集目标的多帧图像；
获取表征所述目标在第i-1帧图像中的朝向的第一向量，其中，i是大于1的自然数；
获取表征所述目标在第i帧图像中的朝向的第二向量；
获取所述目标从所述第i-1帧图像中的第一位置移动至所述第i帧图像中的第二位置的移动向量；基于所述第一向量、所述第二向量以及所述移动向量，得到所述目标在第i帧图像中的优化朝向向量，其中，所述优化朝向向量与所述移动向量之间的夹角小于角度阈值；
将所述第二向量替换为所述优化朝向向量，以表征所述目标在所述第i帧图像中的朝向；
所述得到所述目标在当前帧图像中的优化朝向向量的步骤包括：
获取所述第一向量和所述移动向量之间的第一夹角，以及所述第二向量和所述移动向量之间的第二夹角；
比较所述第一夹角与所述角度阈值的大小，并比较所述第二夹角与所述角度阈值的大小；
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则基于所述移动向量计算优化朝向向量；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则基于所述移动向量以及所述第二向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则基于所述第一向量以及所述移动向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则基于所述第一向量、所述移动向量以及所述第二向量计算优化朝向向量。
2.如权利要求1所述的目标朝向的优化方法，其特征在于，在所述得到所述目标在当前帧图像中的优化朝向向量的步骤之前，所述优化方法还包括：
对所述第一向量、所述第二向量以及所述移动向量进行归一化；
在所述得到所述目标在当前帧图像中的优化朝向向量的步骤之后，所述优化方法还包括：
对所述优化朝向向量进行归一化。
3.如权利要求2所述的目标朝向的优化方法，其特征在于，令所述第一向量为d(i-1)，所述第二向量为di，所述移动向量为mi，所述优化朝向向量为Di，在所述得到所述目标在当前帧图像中的优化朝向向量的步骤中：
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi+c*d i-1；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di+c*di-1；
其中，a≥0，b≥0，c≥0，且a+b+c＝1。
4.如权利要求1所述的目标朝向的优化方法，其特征在于，在所述将所述第二向量替换为所述优化朝向向量的步骤之后，所述优化方法还包括：
将i赋值为i+1，并继续执行所述获取表征所述目标在第i-1帧图像中的朝向的第一向量的步骤。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的目标朝向的优化方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的目标朝向的优化方法的步骤。
7.一种目标朝向的优化系统，其特征在于，所述优化系统包括：
图像采集模块，用于采集目标的多帧图像；
第一向量获取模块，用于获取表征所述目标在第i-1帧图像中的朝向的第一向量，其中，i是大于1的自然数；
第二向量获取模块，用于获取表征所述目标在第i帧图像中的朝向的第二向量；
第三向量获取模块，用于获取所述目标从所述第i-1帧图像中的第一位置移动至所述第i帧图像中的第二位置的移动向量；
朝向优化模块，用于基于所述第一向量、所述第二向量以及所述移动向量，得到所述目标在第i帧图像中的优化朝向向量，其中，所述优化朝向向量与所述移动向量之间的夹角小于角度阈值；
朝向替换模块，用于将所述第二向量替换为所述优化朝向向量，以表征所述目标在所述第i帧图像中的朝向；
所述朝向优化模块包括：
第一夹角获取单元，用于获取所述第一向量和所述移动向量之间的第一夹角；
第二夹角获取单元，用于获取所述第二向量和所述移动向量之间的第二夹角；
第一夹角比较单元，用于比较所述第一夹角与所述角度阈值的大小；
第二夹角比较单元，用于比较所述第二夹角与所述角度阈值的大小；
计算单元，用于根据所述第一夹角比较单元和所述第二夹角比较单元的比较结果，计算优化朝向向量；
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则所述计算单元基于所述移动向量计算优化朝向向量；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则所述计算单元基于所述移动向量以及所述第二向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则所述计算单元基于所述第一向量以及所述移动向量计算优化朝向向量；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则所述计算单元基于所述第一向量、所述移动向量以及所述第二向量计算优化朝向向量。
8.如权利要求7所述的目标朝向的优化系统，其特征在于，所述优化系统还包括：
归一化模块，用于对所述第一向量、所述第二向量、所述移动向量以及所述优化朝向向量进行归一化。
9.如权利要求8所述的目标朝向的优化系统，其特征在于，令所述第一向量为d(i-1)，所述第二向量为di，所述移动向量为mi，所述优化朝向向量为Di，所述朝向优化模块利用以下公式计算所述优化朝向向量Di：
若所述第一夹角大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi；
若所述第一夹角大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di；
若所述第一夹角不大于所述角度阈值，且所述第二夹角大于所述角度阈值，则：Di＝a*mi+c*d i-1；
若所述第一夹角不大于所述角度阈值，且所述第二夹角不大于所述角度阈值，则：Di＝a*mi+b*di+c*di-1；
其中，a≥0，b≥0，c≥0，且a+b+c＝1。
10.如权利要求7所述的目标朝向的优化系统，其特征在于，所述优化系统还包括：
赋值模块，用于将i赋值为i+1，并调用所述第一向量获取模块。
CN201811505720.8A 2018-12-10 2018-12-10 目标朝向的优化算法、系统、电子设备及存储介质 Active CN111292350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811505720.8A CN111292350B (zh) 2018-12-10 2018-12-10 目标朝向的优化算法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811505720.8A CN111292350B (zh) 2018-12-10 2018-12-10 目标朝向的优化算法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111292350A CN111292350A (zh) 2020-06-16
CN111292350B true CN111292350B (zh) 2024-03-01

Family

ID=71028123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811505720.8A Active CN111292350B (zh) 2018-12-10 2018-12-10 目标朝向的优化算法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111292350B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183763A (ja) * 2000-12-18 2002-06-28 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
CN101640799A (zh) * 2008-07-30 2010-02-03 索尼株式会社 运动向量检测设备，运动向量检测方法和程序
CN103425300A (zh) * 2012-05-14 2013-12-04 北京汇冠新技术股份有限公司 一种多点触摸轨迹跟踪方法
CN106033615A (zh) * 2016-05-16 2016-10-19 北京旷视科技有限公司 目标对象运动方向检测方法和装置
CN106951871A (zh) * 2017-03-24 2017-07-14 北京地平线机器人技术研发有限公司 操作体的运动轨迹识别方法、装置和电子设备
CN107194360A (zh) * 2017-05-25 2017-09-22 智慧航安（北京）科技有限公司 逆向通行对象识别方法、装置及系统
CN108010052A (zh) * 2017-10-13 2018-05-08 西安天和防务技术股份有限公司 复杂场景中的目标跟踪方法及系统、存储介质及电子终端
CN108198199A (zh) * 2017-12-29 2018-06-22 北京地平线信息技术有限公司 运动物体跟踪方法、运动物体跟踪装置和电子设备
CN108256394A (zh) * 2016-12-28 2018-07-06 中林信达（北京）科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法
CN108416321A (zh) * 2018-03-23 2018-08-17 北京市商汤科技开发有限公司 用于预测目标对象运动朝向的方法、车辆控制方法及装置
WO2018187941A1 (zh) * 2017-04-11 2018-10-18 深圳市柔宇科技有限公司 图片处理方法及装置
CN108765354A (zh) * 2018-06-06 2018-11-06 合肥康之恒机械科技有限公司 一种动态目标识别跟踪图像数据优化传输方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6671994B2 (ja) * 2016-02-02 2020-03-25 キヤノン株式会社 撮像装置およびその制御方法、プログラム、記憶媒体

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183763A (ja) * 2000-12-18 2002-06-28 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
CN101640799A (zh) * 2008-07-30 2010-02-03 索尼株式会社 运动向量检测设备，运动向量检测方法和程序
CN103425300A (zh) * 2012-05-14 2013-12-04 北京汇冠新技术股份有限公司 一种多点触摸轨迹跟踪方法
CN106033615A (zh) * 2016-05-16 2016-10-19 北京旷视科技有限公司 目标对象运动方向检测方法和装置
CN108256394A (zh) * 2016-12-28 2018-07-06 中林信达（北京）科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法
CN106951871A (zh) * 2017-03-24 2017-07-14 北京地平线机器人技术研发有限公司 操作体的运动轨迹识别方法、装置和电子设备
WO2018187941A1 (zh) * 2017-04-11 2018-10-18 深圳市柔宇科技有限公司 图片处理方法及装置
CN107194360A (zh) * 2017-05-25 2017-09-22 智慧航安（北京）科技有限公司 逆向通行对象识别方法、装置及系统
CN108010052A (zh) * 2017-10-13 2018-05-08 西安天和防务技术股份有限公司 复杂场景中的目标跟踪方法及系统、存储介质及电子终端
CN108198199A (zh) * 2017-12-29 2018-06-22 北京地平线信息技术有限公司 运动物体跟踪方法、运动物体跟踪装置和电子设备
CN108416321A (zh) * 2018-03-23 2018-08-17 北京市商汤科技开发有限公司 用于预测目标对象运动朝向的方法、车辆控制方法及装置
CN108765354A (zh) * 2018-06-06 2018-11-06 合肥康之恒机械科技有限公司 一种动态目标识别跟踪图像数据优化传输方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Estimating fish orientation from broadband, limited-angle, multiview, acoustic reflections;Jaffe J S 等;Journal of the Acoustical Society of America;全文 *
MIMO雷达的目标运动方向及速度估计;曲毅;廖桂生;朱圣棋;李军;;西安电子科技大学学报(05);全文 *
基于运动方向估计的管道滤波算法;董维科;张建奇;刘德连;王晓蕊;;光子学报(04);全文 *
多目及单目环境下的人体朝向分析;鹿建国;;微型机与应用(12);全文 *

Also Published As

Publication number Publication date
CN111292350A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
AU2016352215B2 (en) Method and device for tracking location of human face, and electronic equipment
CN109344755B (zh) 视频动作的识别方法、装置、设备及存储介质
EP3882820A1 (en) Node classification method, model training method, device, apparatus, and storage medium
TWI469062B (zh) 影像穩定方法及影像穩定裝置
CN107886048A (zh) 目标跟踪方法及系统、存储介质及电子终端
US20160063727A1 (en) Systems and methods for image scanning
CN110363748B (zh) 关键点的抖动处理方法、装置、介质及电子设备
CN111209978B (zh) 三维视觉重定位方法、装置及计算设备、存储介质
US20210342593A1 (en) Method and apparatus for detecting target in video, computing device, and storage medium
CN112232426B (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN110401796B (zh) 一种图像采集装置的抖动补偿方法和装置
CN113989696B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110956131B (zh) 单目标追踪方法、装置及系统
CN110530375B (zh) 机器人自适应定位方法、定位装置、机器人及存储介质
US20110304730A1 (en) Pan, tilt, and zoom camera and method for aiming ptz camera
US20140297989A1 (en) Information processing apparatus and memory control method
CN115965940A (zh) 车辆状态的确定方法、装置、电子设备和存储介质
CN117649515A (zh) 一种基于数字孪生的半监督3d目标检测方法、系统和设备
CN111292350B (zh) 目标朝向的优化算法、系统、电子设备及存储介质
Nechyba et al. Pittpatt face detection and tracking for the clear 2007 evaluation
US20070098268A1 (en) Apparatus and method of shot classification
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
US9508026B2 (en) System and a method for camera motion analysis and understanding from a video sequence
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
CN114998438A (zh) 一种目标检测方法、装置和机器可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20210304

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210304

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant