CN107992100A - 基于可编程逻辑阵列的高帧频图像跟踪方法 - Google Patents
基于可编程逻辑阵列的高帧频图像跟踪方法 Download PDFInfo
- Publication number
- CN107992100A CN107992100A CN201711331559.2A CN201711331559A CN107992100A CN 107992100 A CN107992100 A CN 107992100A CN 201711331559 A CN201711331559 A CN 201711331559A CN 107992100 A CN107992100 A CN 107992100A
- Authority
- CN
- China
- Prior art keywords
- template
- image
- frame frequency
- msub
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了一种高帧频图像跟踪方法，包括如下步骤：高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置；并将高帧频面目标图像跟踪器的结果发送到操控计算机显示；本发明能够实现面目标跟踪在2ms内完成、跟踪精度达到1个像素。
Description
技术领域
本发明涉及图像跟踪处理领域，特别是涉及一种高跟踪帧频和跟踪精度的基于可编程逻辑阵列的高帧频图像跟踪方法。
背景技术
在转台跟踪目标过程中，为了满足对高速移动目标不大于1个像素精度的持续稳定跟踪，需要较高的帧频保证脱靶量输出延迟时间尽可能的短。本发明利用可编程逻辑阵列完成高帧频面目标跟踪技术，高帧频面目标跟踪技术可以在2毫秒(ms)内完成对面目标的跟踪，实时性高且跟踪效果好。在对目标跟踪过程中，从相机采集到目标实际位置到跟踪伺服转动中，整体延迟小于4ms，，能够高速完成对目标指向，因此针对移动目标的跟瞄中，能够有效的将跟踪点的偏移在1个像素以下。
现有技术中，面目标的跟踪技术最快只能在10ms内完成，相对高速目标其计算时间过长。而高速面目标精跟踪可以在2ms内完成对目标的跟踪，保证目标脱靶量输出的整体延迟在4ms以内。
鉴于此，高速面目标跟踪处理方法是本领域技术人员亟待解决的问题。
发明内容
本发明旨在克服现有技术的缺陷，提供一种高跟踪帧频和跟踪精度的基于可编程逻辑阵列的高帧频图像跟踪方法。
为实现上述目的，本发明采用以下技术方案：提供一种高帧频图像跟踪方法，包括如下步骤：
通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机
高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
所述进行相关计算包括如下步骤：
步骤1、系统初始化，通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
步骤2、当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
步骤3、待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
步骤4、当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式1中和其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S最好为n的整数倍k，经过k次计算，得到公式1中模板图像的和
步骤5、按照步骤4得到一个待匹配模板P和模板M的和此时从搜索区域左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器(RAM)中，等待数字信号处理器调取；
步骤6、数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的和带入公式1中，进行排序，最大的值即为跟踪结果，
计算除法和排序的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
x代表待匹配模板，y代表跟踪模板。
通过所述高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机步骤包括：
将高帧频面目标图像跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
操控计算机具有交互功能，通过鼠标对操控计算机完成跟踪目标的点选，并且能够辅助送到高帧频面目标图像跟踪器完成显示功能。
本发明还提供一种基于可编程逻辑阵列的高帧频图像跟踪系统，包括：
图像跟踪单元，用于通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪器所跟踪的图像数据发送到高帧频面目标图像跟踪器；
相关计算和排序单元，用于通过高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
所述相关计算和排序单元包括：
模板提供单元，用于通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
模板存储单元，用于当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
搜索区域存储单元，用于待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
模板匹配单元，用于当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式1中和其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S最好为n的整数倍k，经过k次计算，得到公式1中模板图像的和
待匹配模板存储单元，用于按照所述模板匹配单元得到一个待匹配模板P和模板M的和此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
跟踪结果获取单元，用于通过数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的和带入公式1中，进行排序，最大的值即为跟踪结果，计算除法和排序的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
x代表待匹配模板，y代表跟踪模板。
所述图像跟踪单元包括：
用于将高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
本发明的有益效果在于：本发明基于可编程逻辑阵列的高帧频图像跟踪方法，利用可编程逻辑阵列的高速并行能力，完成每秒高达五百次实时跟踪处理，达到对目标进行稳定跟踪的效果。利用可编程逻辑阵列的多个乘法器同时计算的优势，并结合数字信号处理器，实时完成面目标的相关跟踪，确保跟踪帧频达到每秒五百次以上。此外，本发明还提供了相应的基于可编程逻辑阵列的高帧频图像跟踪方法的设备，进一步使得所述方法更具有实用性，所述设备具有相应的优点。
附图说明
图1为本发明基于可编程逻辑阵列的高帧频图像跟踪方法的硬件系统框图。
图2为高帧频面目标图像跟踪器的电路原理图。
图3为高帧频面目标图像跟踪器的工作的流程图。
图4为本发明基于可编程逻辑阵列的高帧频图像跟踪系统的结构图。
图5所示为图像相关计算和排序单元的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
本发明硬件结构如图1和图2所示，包括数字摄像机，高帧频面目标图像跟踪器，操控计算机，可编程逻辑阵列，数字信号处理器处理器。数字摄像机摄来的图像数据发送到高帧频面目标图像跟踪器中，高帧频面目标图像跟踪器中的可编程逻辑阵列列读取图像并同时按照公式(1)：
进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器处理器对数据进行相关度排序，确定跟踪最终位置。高帧频面目标图像跟踪器将跟踪结果通过RS422通讯接口输出，并将图像通过PCIe总线和操控计算机相连。
本发明提供的高帧频图像跟踪方法，包括如下步骤：
通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，对面目标进行每秒五百次帧频的高速稳定跟踪，并将高帧频面目标图像跟踪器所跟踪的图像数据发送到高帧频面目标图像跟踪器；
高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。利用可编程逻辑阵列能够并行处理大量乘法和加法，并将相关计算结果中的模板和待匹配模板得到的一系列相关值，并保存在可编程逻辑阵列的随机存取存储器(RAM)中，再利用数字信号处理器完成相关度计算，并进行相关度排序，从而确定跟踪最终位置。
如图3所示，所述进行相关计算包括如下步骤：
步骤1、系统初始化，通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
步骤2、当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
步骤3、待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
步骤4、当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式1中和其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S最好为n的整数倍k，经过k次计算，得到公式1中模板图像的和
步骤5、按照步骤4得到一个待匹配模板P和模板M的和此时从搜索区域左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器(RAM)中，等待数字信号处理器调取；
步骤6、数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的和带入公式1中，进行排序，最大的值即为跟踪结果，
计算除法和排序的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
x代表待匹配模板，y代表跟踪模板。
一个实施例中，通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机步骤包括：
将高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
一个实施例中，高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，进行大量的乘法和加法，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
一个实施例中，操控计算机具有交互功能，通过鼠标对操控计算机完成跟踪目标的点选，并且能够辅助送到高帧频面目标图像跟踪器完成显示功能。
如图4所示，本发明还提供一种基于可编程逻辑阵列的高帧频图像跟踪系统，包括：
图像跟踪单元1，用于通过数字摄像机对面目标进行高速稳定跟踪，并将数字摄像机所跟踪的图像数据发送到高帧频面目标图像跟踪器；
相关计算和排序单元2，用于通过高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
所述相关计算和排序单元2包括：
模板提供单元21，用于通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
模板存储单元22，用于当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
搜索区域存储单元23，用于待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
模板匹配单元24，用于当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式1中和其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S最好为n的整数倍k，经过k次计算，得到公式1中模板图像的和
待匹配模板存储单元25，用于按照所述模板匹配单元得到一个待匹配模板P和模板M的和此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
跟踪结果获取单元26，用于通过数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的和带入公式1中，进行排序，最大的值即为跟踪结果，计算除法和排序的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
x代表待匹配模板，y代表跟踪模板。
一个实施例中，所述图像跟踪单元1包括：
用于将高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
一个实施例中，所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
一个实施例中，高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，包括如下步骤：
通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将所述高帧频面图像跟踪器所跟踪的图像数据发送到操控计算机；
所述高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
2.如权利要求1所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，所述进行相关计算包括如下步骤：
步骤1、系统初始化，通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
步骤2、当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
步骤3、待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
步骤4、当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式1中和其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S最好为n的整数倍k，经过k次计算，得到公式1中模板图像的和
步骤5、按照步骤4得到一个待匹配模板P和模板M的和此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
步骤6、数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的和带入公式1中，进行排序，最大的值即为跟踪结果，
计算除法和排序的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
<mrow>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
x代表待匹配模板，y代表跟踪模板。
3.如权利要求1所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将所述高帧频面目标图像跟踪器所跟踪的图像数据发送到操控计算机步骤包括：
将所述高帧频面所述目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
4.如权利要求3所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
5.如权利要求2所述的基于可编程逻辑阵列的高帧频图像跟踪方法，其特征在于，
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
6.一种基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，包括：
图像跟踪单元，用于通过高帧频面目标图像跟踪器对面目标进行高速稳定跟踪，并将所述高帧频面目标图像跟踪所跟踪的图像数据发送到操控计算机；
相关计算和排序单元，用于通过高帧频面目标图像跟踪器中的可编程逻辑阵列读取图像数据并进行相关计算，将求得的结果传给数字信号处理器，数字信号处理器对数据进行相关度排序，确定跟踪最终位置。
7.如权利要求6所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，所述相关计算和排序单元包括：
模板提供单元，用于通过操控计算机给出设置跟踪算法时图像的模板大小和模板位置；
模板存储单元，用于当收到选择模板指令时，可编程逻辑阵列将此时的模板M存储在内部随机存取存储器中；
搜索区域存储单元，用于待模板保存好后，下一帧为跟踪算法开始时刻，当以该模板M的中心点为中心位置，扩大该模板M长宽各一倍为搜索区域T，将该区域图像存入可编程逻辑阵列的随机存取存储器中；
模板匹配单元，用于当搜索区域T存储完毕后，开始对该区域进行模板匹配，首先从模板M和搜索区域T中一个待匹配模板P同时去取出n个图像像素点，分别记为xi和yi，将这两组n个图像像素点同时进行乘法运算，分别得到为公式1中和其中n为可编程逻辑阵列中乘法器的最大可使用个数，而模板像素个数S最好为n的整数倍k，经过k次计算，得到公式1中模板图像的和
待匹配模板存储单元，用于按照所述模板匹配单元得到一个待匹配模板P和模板M的和此时从搜索区域T左上角第一个点开始，逐点滑动待匹配窗口，依次得到每个待匹配模板Pj，然后将每个待匹配的模板Pj的结果存储在可编程逻辑阵列的随机存取存储器中，等待数字信号处理器调取；
跟踪结果获取单元，用于通过数字信号处理器调取可编程逻辑阵列中的处理结果，对得到的和带入公式1中，进行排序，最大的值即为跟踪结果，计算除法和排序的能力，完成对相关跟踪的辅助工作，最后得到计算结果，保证跟踪帧频达到500Hz的能力；
其中，公式(1)为：
<mrow>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>s</mi>
</msubsup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
x代表待匹配模板，y代表跟踪模板。
8.如权利要求6所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，所述图像跟踪单元包括：
用于将所述高帧频面目标图像跟踪器所跟踪的图像数据的格式转化为预设的输出格式，并将转化格式后的影像数据进行输出。
9.如权利要求8所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，
所述图像数据的格式转化为预设的输出格式包括：
接收用户输入的设置格式的指令；
根据所述指令将所述图像数据的格式转化为用户设置的格式。
10.如权利要求7所述的基于可编程逻辑阵列的高帧频图像跟踪系统，其特征在于，
高帧频面目标图像跟踪器中的可编程逻辑阵列，包括多个乘法器同时计算，并结合数字信号处理器，高速完成面目标的相关跟踪，跟踪帧频达到每秒五百次以上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711331559.2A CN107992100B (zh) | 2017-12-13 | 2017-12-13 | 基于可编程逻辑阵列的高帧频图像跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711331559.2A CN107992100B (zh) | 2017-12-13 | 2017-12-13 | 基于可编程逻辑阵列的高帧频图像跟踪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107992100A true CN107992100A (zh) | 2018-05-04 |
| CN107992100B CN107992100B (zh) | 2021-01-15 |
Family
ID=62038354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711331559.2A Active CN107992100B (zh) | 2017-12-13 | 2017-12-13 | 基于可编程逻辑阵列的高帧频图像跟踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107992100B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358656A (zh) * | 2018-09-11 | 2019-02-19 | 西安应用光学研究所 | 一种适用于机载光电系统的目标捕获方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1126698A1 (en) * | 1998-10-07 | 2001-08-22 | Hamamatsu Photonics K.K. | High-speed vision sensor |
| CN101296368A (zh) * | 2007-04-28 | 2008-10-29 | 长春奥普光电技术股份有限公司 | 电视跟踪器中图像识别跟踪装置 |
| CN201216001Y (zh) * | 2008-02-25 | 2009-04-01 | 长沙高新开发区迪内斯电子科技发展有限公司 | 图像采集、传输和记录一体化设备 |
| CN102005054A (zh) * | 2010-11-24 | 2011-04-06 | 中国电子科技集团公司第二十八研究所 | 一种实时红外图像目标跟踪方法 |
| CN102506827A (zh) * | 2011-11-08 | 2012-06-20 | 中国科学院长春光学精密机械与物理研究所 | 多载荷光电跟踪测量设备高帧频图像配准与融合的方法 |
| EP2472468A1 (en) * | 2009-08-26 | 2012-07-04 | The University of Tokyo | Image processing device and image processing method |
| CN103325124A (zh) * | 2012-03-21 | 2013-09-25 | 东北大学 | 一种基于fpga的背景差分法目标检测跟踪系统及方法 |
| CN203691506U (zh) * | 2013-12-27 | 2014-07-02 | 中国科学院西安光学精密机械研究所 | 用于高速目标测量的大视场高帧频系统 |
| CN104010130A (zh) * | 2014-05-05 | 2014-08-27 | 中国科学院国家天文台 | 一种多窗口跟踪的稳像方法 |
| CN104012072A (zh) * | 2011-12-30 | 2014-08-27 | 英特尔公司 | 使用运动估计的目标检测 |
| EP2790130A1 (en) * | 2013-04-08 | 2014-10-15 | Cogisen SRL | Method for object recognition |
| US20140316236A1 (en) * | 2013-04-17 | 2014-10-23 | Canon Kabushiki Kaisha | Object information acquiring apparatus and control method for object information acquiring apparatus |
| WO2015040450A1 (en) * | 2013-09-17 | 2015-03-26 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Multi-purpose image processing core |
| CN105261036A (zh) * | 2015-09-17 | 2016-01-20 | 北京华航无线电测量研究所 | 基于匹配的目标跟踪方法 |
| CN105426918A (zh) * | 2015-11-23 | 2016-03-23 | 南京航空航天大学 | 归一化相关图像模板匹配高效实现方法 |
| CN105741325A (zh) * | 2016-03-15 | 2016-07-06 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
| CN106204660A (zh) * | 2016-07-26 | 2016-12-07 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
| CN106845494A (zh) * | 2016-12-22 | 2017-06-13 | 歌尔科技有限公司 | 一种检测图像中轮廓角点的方法及装置 |
| CN106886748A (zh) * | 2016-12-28 | 2017-06-23 | 中国航天电子技术研究院 | 一种基于tld的适用于无人机的变尺度目标跟踪方法 |
-
2017
- 2017-12-13 CN CN201711331559.2A patent/CN107992100B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1126698A1 (en) * | 1998-10-07 | 2001-08-22 | Hamamatsu Photonics K.K. | High-speed vision sensor |
| CN101296368A (zh) * | 2007-04-28 | 2008-10-29 | 长春奥普光电技术股份有限公司 | 电视跟踪器中图像识别跟踪装置 |
| CN201216001Y (zh) * | 2008-02-25 | 2009-04-01 | 长沙高新开发区迪内斯电子科技发展有限公司 | 图像采集、传输和记录一体化设备 |
| EP2472468A1 (en) * | 2009-08-26 | 2012-07-04 | The University of Tokyo | Image processing device and image processing method |
| CN102005054A (zh) * | 2010-11-24 | 2011-04-06 | 中国电子科技集团公司第二十八研究所 | 一种实时红外图像目标跟踪方法 |
| CN102506827A (zh) * | 2011-11-08 | 2012-06-20 | 中国科学院长春光学精密机械与物理研究所 | 多载荷光电跟踪测量设备高帧频图像配准与融合的方法 |
| CN104012072A (zh) * | 2011-12-30 | 2014-08-27 | 英特尔公司 | 使用运动估计的目标检测 |
| CN103325124A (zh) * | 2012-03-21 | 2013-09-25 | 东北大学 | 一种基于fpga的背景差分法目标检测跟踪系统及方法 |
| EP2790130A1 (en) * | 2013-04-08 | 2014-10-15 | Cogisen SRL | Method for object recognition |
| US20140316236A1 (en) * | 2013-04-17 | 2014-10-23 | Canon Kabushiki Kaisha | Object information acquiring apparatus and control method for object information acquiring apparatus |
| WO2015040450A1 (en) * | 2013-09-17 | 2015-03-26 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Multi-purpose image processing core |
| CN203691506U (zh) * | 2013-12-27 | 2014-07-02 | 中国科学院西安光学精密机械研究所 | 用于高速目标测量的大视场高帧频系统 |
| CN104010130A (zh) * | 2014-05-05 | 2014-08-27 | 中国科学院国家天文台 | 一种多窗口跟踪的稳像方法 |
| CN105261036A (zh) * | 2015-09-17 | 2016-01-20 | 北京华航无线电测量研究所 | 基于匹配的目标跟踪方法 |
| CN105426918A (zh) * | 2015-11-23 | 2016-03-23 | 南京航空航天大学 | 归一化相关图像模板匹配高效实现方法 |
| CN105741325A (zh) * | 2016-03-15 | 2016-07-06 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
| CN106204660A (zh) * | 2016-07-26 | 2016-12-07 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
| CN106845494A (zh) * | 2016-12-22 | 2017-06-13 | 歌尔科技有限公司 | 一种检测图像中轮廓角点的方法及装置 |
| CN106886748A (zh) * | 2016-12-28 | 2017-06-23 | 中国航天电子技术研究院 | 一种基于tld的适用于无人机的变尺度目标跟踪方法 |
Non-Patent Citations (5)
| Title |
|---|
| G. MALLIKARJUNA RAO: "Object Tracking System Using Approximate Median Filter, Kalman Filter and Dynamic Template Matching", 《I.J. INTELLIGENT SYSTEMS AND APPLICATIONS》 * |
| TSERENNADMID TUMURBAATAR: "Real-time object motion estimation based on frequency domain", 《SPAT. INF. RES》 * |
| 李静宇: "基于运动目标的红外图像末制导跟踪算法研究", 《中国科学院机构知识库网格》 * |
| 江山 等: "复杂背景灰度图像下的多特征融合运动目标跟踪", 《中国光学》 * |
| 赵清华: "基于FPGA的目标跟踪算法的设计与实现", 《中国科学院机构知识库网格》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358656A (zh) * | 2018-09-11 | 2019-02-19 | 西安应用光学研究所 | 一种适用于机载光电系统的目标捕获方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107992100B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200097806A1 (en) | Processing method and accelerating device | |
| CN109034382A (zh) | 场景或物体的识别方法及相关产品 | |
| CN108229478A (zh) | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 | |
| CN107832432A (zh) | 一种搜索结果排序方法、装置、服务器和存储介质 | |
| CN101299233B (zh) | 基于fpga实现的运动目标识别与跟踪方法 | |
| TW202042181A (zh) | 深度模型訓練方法及裝置、電子設備及儲存介質 | |
| CN109344806A (zh) | 利用多任务目标检测模型执行目标检测的方法和系统 | |
| CN111709295A (zh) | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 | |
| CN112712546A (zh) | 一种基于孪生神经网络的目标跟踪方法 | |
| CN109740752A (zh) | 深度模型训练方法及装置、电子设备及存储介质 | |
| CN112561846A (zh) | 训练图像融合模型的方法、装置和电子设备 | |
| CN109598250A (zh) | 特征提取方法、装置、电子设备和计算机可读介质 | |
| CN109740567A (zh) | 关键点定位模型训练方法、定位方法、装置及设备 | |
| CN110378203A (zh) | 图像处理方法、装置、终端及存储介质 | |
| Zeng et al. | A novel tensor decomposition-based efficient detector for low-altitude aerial objects with knowledge distillation scheme | |
| Shiri et al. | An FPGA implementation of singular value decomposition | |
| CN114519881A (zh) | 人脸位姿估计方法、装置、电子设备及存储介质 | |
| CN107169982A (zh) | 一种量子LoG边缘检测方法 | |
| Dong et al. | Heatvit: Hardware-efficient adaptive token pruning for vision transformers | |
| CN109583367A (zh) | 图像文本行检测方法及装置、存储介质和电子设备 | |
| CN115657012A (zh) | 图像目标与雷达目标的匹配方法、装置、设备及存储介质 | |
| CN107992100A (zh) | 基于可编程逻辑阵列的高帧频图像跟踪方法 | |
| CN109934845B (zh) | 基于自注意力网络的时序行为捕捉框生成方法及装置 | |
| CN108022257A (zh) | 适用于硬件的高速卷积神经网络目标跟踪方法和装置 | |
| CN111523940A (zh) | 一种带负反馈的基于深度强化学习的推荐方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |