CN107992100B - 基于可编程逻辑阵列的高帧频图像跟踪方法和系统 - Google Patents

基于可编程逻辑阵列的高帧频图像跟踪方法和系统 Download PDF

Info

Publication number
CN107992100B
CN107992100B CN201711331559.2A CN201711331559A CN107992100B CN 107992100 B CN107992100 B CN 107992100B CN 201711331559 A CN201711331559 A CN 201711331559A CN 107992100 B CN107992100 B CN 107992100B
Authority
CN
China
Prior art keywords
template
tracking
image
programmable logic
logic array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711331559.2A
Other languages
English (en)
Other versions
CN107992100A (zh
Inventor
江山
孙海江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201711331559.2A priority Critical patent/CN107992100B/zh
Publication of CN107992100A publication Critical patent/CN107992100A/zh
Application granted granted Critical
Publication of CN107992100B publication Critical patent/CN107992100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种高帧频图像跟踪方法，包括如下步骤：高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置；并将高帧频面目标图像跟踪器的结果发送到操控计算机显示；本发明能够实现面目标跟踪在2ms内完成、跟踪精度达到1个像素。

Description

基于可编程逻辑阵列的高帧频图像跟踪方法和系统
技术领域
本发明涉及图像跟踪处理领域，特别是涉及一种高跟踪帧频和跟踪精度的基于可编程逻辑阵列的高帧频图像跟踪方法。
背景技术
在转台跟踪目标过程中，为了满足对高速移动目标不大于1个像素精度的持续稳定跟踪，需要较高的帧频保证脱靶量输出延迟时间尽可能的短。本发明利用可编程逻辑阵列完成高帧频面目标跟踪技术，高帧频面目标跟踪技术可以在2毫秒(ms)内完成对面目标的跟踪，实时性高且跟踪效果好。在对目标跟踪过程中，从相机采集到目标实际位置到跟踪伺服转动中，整体延迟小于4ms，，能够高速完成对目标指向，因此针对移动目标的跟瞄中，能够有效的将跟踪点的偏移在1个像素以下。
现有技术中，面目标的跟踪技术最快只能在10ms内完成，相对高速目标其计算时间过长。而高速面目标精跟踪可以在2ms内完成对目标的跟踪，保证目标脱靶量输出的整体延迟在4ms以内。
鉴于此，高速面目标跟踪处理方法是本领域技术人员亟待解决的问题。
发明内容
本发明旨在克服现有技术的缺陷，提供一种高跟踪帧频和跟踪精度的基于可编程逻辑阵列的高帧频图像跟踪方法。
为实现上述目的，本发明采用以下技术方案：提供一种高帧频图像跟踪方法，包括如下步骤：
通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机
高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
所述进行相关计算包括如下步骤：
步骤1、系统初始化，通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
步骤2、当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
步骤3、待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
步骤4、当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式(1)中
Figure GDA0002765005490000021
和
Figure GDA0002765005490000022
其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S为n的整数倍k，经过k次计算，得到公式(1)中模板图像的
Figure GDA0002765005490000023
和
Figure GDA0002765005490000024
步骤5、按照步骤4得到一个待匹配模板P和模板M的
Figure GDA0002765005490000025
和
Figure GDA0002765005490000026
此时从搜索区域左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器(RAM)中，等待数字信号处理器调取；
步骤6、数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的
Figure GDA0002765005490000027
和
Figure GDA0002765005490000028
带入公式(1)中，进行排序，最大的值即为跟踪结果，根据公式(1)进行相关除法计算和相关度排序，得到跟踪帧频的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
Figure GDA0002765005490000031
x代表待匹配模板，y代表跟踪模板。
通过所述高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机步骤包括：
将高帧频面目标图像跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
操控计算机具有交互功能，通过鼠标对操控计算机完成跟踪目标的点选，并且能够辅助送到高帧频面目标图像跟踪器完成显示功能。
本发明还提供一种基于可编程逻辑阵列的高帧频图像跟踪系统，包括：
图像跟踪单元，用于通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪器所跟踪的图像数据发送到高帧频面目标图像跟踪器；
相关计算和排序单元，用于通过高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
所述相关计算和排序单元包括：
模板提供单元，用于通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
模板存储单元，用于当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
搜索区域存储单元，用于待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
模板匹配单元，用于当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式(1)中
Figure GDA0002765005490000041
和
Figure GDA0002765005490000042
其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S为n的整数倍k，经过k次计算，得到公式(1)中模板图像的
Figure GDA0002765005490000043
和
Figure GDA0002765005490000044
待匹配模板存储单元，用于按照所述模板匹配单元得到一个待匹配模板P和模板M的
Figure GDA0002765005490000045
和
Figure GDA0002765005490000046
此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
跟踪结果获取单元，用于通过数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的
Figure GDA0002765005490000047
和
Figure GDA0002765005490000048
带入公式(1)中，进行排序，最大的值即为跟踪结果，根据公式(1)进行相关除法计算和相关度排序，得到跟踪帧频的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
Figure GDA0002765005490000051
x代表待匹配模板，y代表跟踪模板。
所述图像跟踪单元包括：
用于将高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
本发明的有益效果在于：本发明基于可编程逻辑阵列的高帧频图像跟踪方法，利用可编程逻辑阵列的高速并行能力，完成每秒高达五百次实时跟踪处理，达到对目标进行稳定跟踪的效果。利用可编程逻辑阵列的多个乘法器同时计算的优势，并结合数字信号处理器，实时完成面目标的相关跟踪，确保跟踪帧频达到每秒五百次以上。此外，本发明还提供了相应的基于可编程逻辑阵列的高帧频图像跟踪方法的设备，进一步使得所述方法更具有实用性，所述设备具有相应的优点。
附图说明
图1为本发明基于可编程逻辑阵列的高帧频图像跟踪方法的硬件系统框图。
图2为高帧频面目标图像跟踪器的电路原理图。
图3为高帧频面目标图像跟踪器的工作的流程图。
图4为本发明基于可编程逻辑阵列的高帧频图像跟踪系统的结构图。
图5所示为图像相关计算和排序单元的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
本发明硬件结构如图1和图2所示，包括数字摄像机，高帧频面目标图像跟踪器，操控计算机，可编程逻辑阵列，数字信号处理器。数字摄像机摄来的图像数据发送到高帧频面目标图像跟踪器中，高帧频面目标图像跟踪器中的可编程逻辑阵列列读取图像并同时按照公式(1)：
Figure GDA0002765005490000061
进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。高帧频面目标图像跟踪器将跟踪结果通过RS422通讯接口输出，并将图像通过PCIe总线和操控计算机相连。
本发明提供的高帧频图像跟踪方法，包括如下步骤：
通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，对面目标进行每秒五百次帧频的高速稳定跟踪，并将高帧频面目标图像跟踪器所跟踪的图像数据发送到高帧频面目标图像跟踪器；
高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。利用可编程逻辑阵列能够并行处理大量乘法和加法，并将相关计算结果中的模板和待匹配模板得到的一系列相关值，并保存在可编程逻辑阵列的随机存取存储器(RAM)中，再利用数字信号处理器完成相关度计算，并进行相关度排序，从而确定跟踪最终位置。
如图3所示，所述进行相关计算包括如下步骤：
步骤1、系统初始化，通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
步骤2、当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
步骤3、待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
步骤4、当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式(1)中
Figure GDA0002765005490000071
和
Figure GDA0002765005490000072
其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S为n的整数倍k，经过k次计算，得到公式(1)中模板图像的
Figure GDA0002765005490000073
和
Figure GDA0002765005490000074
步骤5、按照步骤4得到一个待匹配模板P和模板M的
Figure GDA0002765005490000075
和
Figure GDA0002765005490000076
此时从搜索区域左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器(RAM)中，等待数字信号处理器调取；
步骤6、数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的
Figure GDA0002765005490000081
和
Figure GDA0002765005490000082
带入公式(1)中，进行排序，最大的值即为跟踪结果，根据公式(1)进行相关除法计算和相关度排序，得到跟踪帧频的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
Figure GDA0002765005490000083
x代表待匹配模板，y代表跟踪模板。
一个实施例中，通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机步骤包括：
将高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
一个实施例中，高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，进行大量的乘法和加法，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
一个实施例中，操控计算机具有交互功能，通过鼠标对操控计算机完成跟踪目标的点选，并且能够辅助送到高帧频面目标图像跟踪器完成显示功能。
如图4所示，本发明还提供一种基于可编程逻辑阵列的高帧频图像跟踪系统，包括：
图像跟踪单元1，用于通过数字摄像机对面目标进行高速稳定跟踪，并将数字摄像机所跟踪的图像数据发送到高帧频面目标图像跟踪器；
相关计算和排序单元2，用于通过高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
所述相关计算和排序单元2包括：
模板提供单元21，用于通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
模板存储单元22，用于当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
搜索区域存储单元23，用于待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
模板匹配单元24，用于当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式(1)中
Figure GDA0002765005490000091
和
Figure GDA0002765005490000092
其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S为n的整数倍k，经过k次计算，得到公式(1)中模板图像的
Figure GDA0002765005490000093
和
Figure GDA0002765005490000094
待匹配模板存储单元25，用于按照所述模板匹配单元得到一个待匹配模板P和模板M的
Figure GDA0002765005490000095
和
Figure GDA0002765005490000096
此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
跟踪结果获取单元26，用于通过数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的
Figure GDA0002765005490000101
和
Figure GDA0002765005490000102
带入公式(1)中，进行排序，最大的值即为跟踪结果，根据公式(1)进行相关除法计算和相关度排序，得到跟踪帧频的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
Figure GDA0002765005490000103
x代表待匹配模板，y代表跟踪模板。
一个实施例中，所述图像跟踪单元1包括：
用于将高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
一个实施例中，所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
一个实施例中，高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，包括如下步骤：
通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将所述高帧频面图像跟踪器所跟踪的图像数据发送到操控计算机；
所述高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，包括如下步骤：
步骤1、系统初始化，通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
步骤2、当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
步骤3、待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
步骤4、当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式(1)中
Figure FDA0002765005480000011
和
Figure FDA0002765005480000012
其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S为n的整数倍k，经过k次计算，得到公式(1)中模板图像的
Figure FDA0002765005480000013
和
Figure FDA0002765005480000014
步骤5、按照步骤4得到一个待匹配模板P和模板M的
Figure FDA0002765005480000015
和
Figure FDA0002765005480000016
此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
步骤6、数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的
Figure FDA0002765005480000021
和
Figure FDA0002765005480000022
带入公式(1)中，进行排序，最大的值即为跟踪结果，根据公式(1)进行相关除法计算和相关度排序，得到跟踪帧频的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
Figure FDA0002765005480000023
x代表待匹配模板，y代表跟踪模板；将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
2.如权利要求1所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将所述高帧频面目标图像跟踪器所跟踪的图像数据发送到操控计算机步骤包括：
将所述高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
3.如权利要求2所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
4.如权利要求1所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
5.一种基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，包括：
图像跟踪单元，用于通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将所述高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机；
相关计算和排序单元，用于通过高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置；
所述相关计算和排序单元包括：
模板提供单元，用于通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
模板存储单元，用于当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
搜索区域存储单元，用于待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
模板匹配单元，用于当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式(1)中
Figure FDA0002765005480000041
和
Figure FDA0002765005480000042
其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S为n的整数倍k，经过k次计算，得到公式(1)中模板图像的
Figure FDA0002765005480000043
和
Figure FDA0002765005480000044
待匹配模板存储单元，用于按照所述模板匹配单元得到一个待匹配模板P和模板M的
Figure FDA0002765005480000045
和
Figure FDA0002765005480000046
此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
跟踪结果获取单元，用于通过数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的
Figure FDA0002765005480000047
和
Figure FDA0002765005480000048
带入公式(1)中，进行排序，最大的值即为跟踪结果，根据公式(1)进行相关除法计算和相关度排序，得到跟踪帧频的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
Figure FDA0002765005480000049
x代表待匹配模板，y代表跟踪模板。
6.如权利要求5所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，所述图像跟踪单元包括：
用于将所述高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
7.如权利要求6所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
8.如权利要求5所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
CN201711331559.2A 2017-12-13 2017-12-13 基于可编程逻辑阵列的高帧频图像跟踪方法和系统 Active CN107992100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711331559.2A CN107992100B (zh) 2017-12-13 2017-12-13 基于可编程逻辑阵列的高帧频图像跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711331559.2A CN107992100B (zh) 2017-12-13 2017-12-13 基于可编程逻辑阵列的高帧频图像跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN107992100A CN107992100A (zh) 2018-05-04
CN107992100B true CN107992100B (zh) 2021-01-15

Family

ID=62038354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711331559.2A Active CN107992100B (zh) 2017-12-13 2017-12-13 基于可编程逻辑阵列的高帧频图像跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN107992100B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358656A (zh) * 2018-09-11 2019-02-19 西安应用光学研究所 一种适用于机载光电系统的目标捕获方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296368A (zh) * 2007-04-28 2008-10-29 长春奥普光电技术股份有限公司 电视跟踪器中图像识别跟踪装置
CN201216001Y (zh) * 2008-02-25 2009-04-01 长沙高新开发区迪内斯电子科技发展有限公司 图像采集、传输和记录一体化设备
CN102005054A (zh) * 2010-11-24 2011-04-06 中国电子科技集团公司第二十八研究所 一种实时红外图像目标跟踪方法
CN102506827A (zh) * 2011-11-08 2012-06-20 中国科学院长春光学精密机械与物理研究所 多载荷光电跟踪测量设备高帧频图像配准与融合的方法
EP2472468A1 (en) * 2009-08-26 2012-07-04 The University of Tokyo Image processing device and image processing method
CN103325124A (zh) * 2012-03-21 2013-09-25 东北大学 一种基于fpga的背景差分法目标检测跟踪系统及方法
CN203691506U (zh) * 2013-12-27 2014-07-02 中国科学院西安光学精密机械研究所 用于高速目标测量的大视场高帧频系统
CN104010130A (zh) * 2014-05-05 2014-08-27 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN104012072A (zh) * 2011-12-30 2014-08-27 英特尔公司 使用运动估计的目标检测
WO2015040450A1 (en) * 2013-09-17 2015-03-26 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Multi-purpose image processing core
CN105261036A (zh) * 2015-09-17 2016-01-20 北京华航无线电测量研究所 基于匹配的目标跟踪方法
CN105426918A (zh) * 2015-11-23 2016-03-23 南京航空航天大学 归一化相关图像模板匹配高效实现方法
CN105741325A (zh) * 2016-03-15 2016-07-06 上海电气集团股份有限公司 一种跟踪移动目标的方法及移动目标跟踪设备
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
CN106845494A (zh) * 2016-12-22 2017-06-13 歌尔科技有限公司 一种检测图像中轮廓角点的方法及装置
CN106886748A (zh) * 2016-12-28 2017-06-23 中国航天电子技术研究院 一种基于tld的适用于无人机的变尺度目标跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69913560T2 (de) * 1998-10-07 2004-09-30 Hamamatsu Photonics K.K., Hamamatsu Sehr schneller bildaufnehmer
EP2790130A1 (en) * 2013-04-08 2014-10-15 Cogisen SRL Method for object recognition
JP6238550B2 (ja) * 2013-04-17 2017-11-29 キヤノン株式会社 被検体情報取得装置、被検体情報取得装置の制御方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296368A (zh) * 2007-04-28 2008-10-29 长春奥普光电技术股份有限公司 电视跟踪器中图像识别跟踪装置
CN201216001Y (zh) * 2008-02-25 2009-04-01 长沙高新开发区迪内斯电子科技发展有限公司 图像采集、传输和记录一体化设备
EP2472468A1 (en) * 2009-08-26 2012-07-04 The University of Tokyo Image processing device and image processing method
CN102005054A (zh) * 2010-11-24 2011-04-06 中国电子科技集团公司第二十八研究所 一种实时红外图像目标跟踪方法
CN102506827A (zh) * 2011-11-08 2012-06-20 中国科学院长春光学精密机械与物理研究所 多载荷光电跟踪测量设备高帧频图像配准与融合的方法
CN104012072A (zh) * 2011-12-30 2014-08-27 英特尔公司 使用运动估计的目标检测
CN103325124A (zh) * 2012-03-21 2013-09-25 东北大学 一种基于fpga的背景差分法目标检测跟踪系统及方法
WO2015040450A1 (en) * 2013-09-17 2015-03-26 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Multi-purpose image processing core
CN203691506U (zh) * 2013-12-27 2014-07-02 中国科学院西安光学精密机械研究所 用于高速目标测量的大视场高帧频系统
CN104010130A (zh) * 2014-05-05 2014-08-27 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN105261036A (zh) * 2015-09-17 2016-01-20 北京华航无线电测量研究所 基于匹配的目标跟踪方法
CN105426918A (zh) * 2015-11-23 2016-03-23 南京航空航天大学 归一化相关图像模板匹配高效实现方法
CN105741325A (zh) * 2016-03-15 2016-07-06 上海电气集团股份有限公司 一种跟踪移动目标的方法及移动目标跟踪设备
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
CN106845494A (zh) * 2016-12-22 2017-06-13 歌尔科技有限公司 一种检测图像中轮廓角点的方法及装置
CN106886748A (zh) * 2016-12-28 2017-06-23 中国航天电子技术研究院 一种基于tld的适用于无人机的变尺度目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Object Tracking System Using Approximate Median Filter, Kalman Filter and Dynamic Template Matching;G. Mallikarjuna Rao;《I.J. Intelligent Systems and Applications》;20140531;83-89 *
Real-time object motion estimation based on frequency domain;Tserennadmid Tumurbaatar;《Spat. Inf. Res》;20161231;463-473 *
基于FPGA的目标跟踪算法的设计与实现;赵清华;《中国科学院机构知识库网格》;20140605;1-73 *
基于运动目标的红外图像末制导跟踪算法研究;李静宇;《中国科学院机构知识库网格》;20130826;1-114 *
复杂背景灰度图像下的多特征融合运动目标跟踪;江山 等;《中国光学》;20160630;第9卷(第3期);320-328 *

Also Published As

Publication number Publication date
CN107992100A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
US20200320369A1 (en) Image recognition method, apparatus, electronic device and storage medium
US20210049347A1 (en) Feature point positioning method, storage medium, and computer device
WO2023193670A1 (zh) 基于事件相机的脉冲神经网络目标跟踪方法及系统
US20220366576A1 (en) Method for target tracking, electronic device, and storage medium
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
WO2019201042A1 (zh) 图像对象识别方法和装置、存储介质及电子装置
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
CN112132856A (zh) 一种基于自适应模板更新的孪生网络跟踪方法
WO2020228353A1 (zh) 一种基于运动加速度的图像搜索方法、系统及电子设备
CN112967315B (zh) 一种目标跟踪方法、装置及电子设备
CN112381071A (zh) 一种视频流中目标的行为分析方法、终端设备及介质
US20220277580A1 (en) Hand posture estimation method and apparatus, and computer storage medium
CN115657012B (zh) 图像目标与雷达目标的匹配方法、装置、设备及存储介质
CN107992100B (zh) 基于可编程逻辑阵列的高帧频图像跟踪方法和系统
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN117217274A (zh) 向量处理器、神经网络加速器、芯片及电子设备
US20220277595A1 (en) Hand gesture detection method and apparatus, and computer storage medium
CN114972415B (zh) 机器人视觉跟踪方法、系统、电子设备及介质
CN105427235A (zh) 一种图像浏览方法及系统
CN115546515A (zh) 一种深度信息获取方法和装置
CN111445019B (zh) 一种分组卷积中通道混洗操作的实现装置及方法
CN110807483B (zh) 基于fpga的模板匹配实现装置及方法
CN112819874A (zh) 深度信息处理方法、装置、设备、存储介质以及程序产品
CN112163612A (zh) 基于fpga的大模板卷积图像匹配方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant