CN100512368C - 实时多目标标记及质心运算方法 - Google Patents
实时多目标标记及质心运算方法 Download PDFInfo
- Publication number
- CN100512368C CN100512368C CNB2005100477859A CN200510047785A CN100512368C CN 100512368 C CN100512368 C CN 100512368C CN B2005100477859 A CNB2005100477859 A CN B2005100477859A CN 200510047785 A CN200510047785 A CN 200510047785A CN 100512368 C CN100512368 C CN 100512368C
- Authority
- CN
- China
- Prior art keywords
- target
- prl
- prh
- cur
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明公开一种实时多目标标记及质心运算方法，它以视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像，及跟踪窗口信号作为输入信号，根据当前扫描行及上一扫描行像素点的信息，及目标的位置和连通情况，对跟踪窗口内的多个目标进行实时标记以及质心运算，同时不断地通过对标记进行动态调整实现多目标合并。采用本发明能够在跟踪窗口结束时实时完成窗口内所有目标的标记，同时输出目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。本发明不需要对整幅输入图像进行存储，避免了存储整幅图像后再运算导致的输出相对输入的延迟，而且本发明处理的目标数可以任意多，仅受硬件资源的限制。
Description
技术领域
本发明属于光电跟踪与测量技术领域，具体地说是一种实时多目标标记及质心运算方法，它用于视频跟踪的实时多目标标记及质心运算的实现技术。
背景技术
视频跟踪器利用可见光或红外等成像传感器所摄取的图像信息进行实时跟踪，属于无源跟踪，具有良好的隐蔽性，而且成像分辨率高、可靠性好、体积小、重量轻、便于与其他装备集成，因此在跟踪测量等领域得到广泛应用。
质心跟踪是视频跟踪中广泛采用的一种技术，具有跟踪精度高，跟踪稳定，对目标形状和照明条件变化相对不敏感等特点。传统的跟踪算法在对多个目标进行跟踪时，一般是先将所处理的整幅图像信息存储起来再进行运算，这将导致输出相对输入的延迟。当多个目标进入一个跟踪窗口时，由于所需运算量非常大，不能实时对多个目标同时完成标记及质心运算，一般只能将跟踪窗口内的多个目标看作一个目标计算质心，因此导致跟踪精度下降并且跟踪容易受到干扰。
发明内容
为了解决视频跟踪中实时多目标标记及质心运算问题，本发明的目的是提供一种实时多目标标记及质心运算方法，采用该方法，可以根据输入的已经二值化的视频图像以及跟踪窗口信号，实时完成跟踪窗口内多个目标的标记，并同时完成各个目标的质心运算。输出目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
本发明解决其技术问题所采用的技术方案是：
接收来自视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像作为输入信号1，设Vi表示像素点i的像素值，Vi＝0表示像素点i，作为背景的一部分，Vi＝1表示像素点i，作为某一目标的一部分；同时，用Ni表示像素点i所属目标的类别数，Ni＝0，表示背景，Ni>0表示类别数为Ni的目标；cur表示当前所要处理的像素点；prh表示当前扫描线上一扫描行与cur同一位置的像素点，保存在先进先出存储器中；prl表示当前扫描线中cur的前一像素点，保存在缓存器中；当前扫描行与上一行中目标像素点的连通关系为：
1)当Vi＝0时，表示当前像素点cur是背景，此时不进行处理；
2)当Vi＝1时，说明当前像素点cur是某一目标的一部分，其处理有以下4种情况；
①当Nprl＝0且Nprh＝0，当前像素点cur是一个新目标的开始，将目标类别存储器中的当前目标类别数加1，同时将累加和存储器中当前目标在方位、俯仰方向质心投影累加和加上目标点当前的坐标，将像素点的个数加1，并将目标数加1；
②当Nprl>0而Nprh＝0，当前像素点cur与prl连通，把当前像素点cur作为目标Nprl的一个点，对Nprl的信息进行更新：将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中目标Ncur与目标Nprl在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprl加1；
③当Nprl＝0而Nprh>0，当前像素点cur与prh连通，除了目标为Nprh外，其处理方式与②同；
④当Nprl>0且Nprh>0时，若是Nprl＝Nprh表示prl和prh都属于同一目标，cur是与prl和prh连通的，对目标Nprl的信息进行更新，存储；
若Nprl≠Nprh，表明prl与prh两像素点由于当前点的存在成为同一目标的不同部分，则对这两个标记不同的目标进行合并操作，存储；
由输出端口可以读出目标类别存储器及累加和存储器中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数；
其中：当Nprl＝Nprh表示prl和prh都属于同一目标，cur与prl和prh连通的情况下，对目标Nprl的信息更新操作为：将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中当前目标与目标Nprl在方位、俯仰方向质心投影累加和相加并将目标Nprl像素点的个数加1，将其值赋给当前目标；当Nprl≠Nprh表明prl与prh当前两像素点成为同一目标的不同部分情况，对这两个标记不同的目标进行合并操作，具体为：将目标类别存储器中的目标类别数Ncur及、Nprl都设为Nprh，同时将累加和存储器中当前目标Ncur与目标Nprl及目标Nprh在方位、俯仰方向质心投影累加和相加，将其值赋给当前目标，将目标Nprl及目标Nprh像素点的个数相加后再加1，将其值赋给当前目标，最后将目标数减1。
本发明的有益效果是：
1.采用本发明能够在跟踪窗口结束时实时完成窗口内所有目标的标记，同时输出目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
2.本发明不需要对整幅输入图像进行存储，在跟踪窗口结束后即可输出运算结果；避免了存储整幅图像后再运算导致的输出相对输入的延迟。
3.本发明处理的目标数可以任意多，仅受硬件资源的限制。
附图说明
图1为本发明电路原理图。
图中1为输入信号，2为先进先出存储器(FIFO)，3为目标类别存储器，4为目标标记及质心运算模块，5为缓存器，6为累加和存储器，7为控制信号发生器，8为输出端口。
图2为本发明方法一个实施例像素点的描述图。
图3为本发明方法一个实施例当前扫描行与上一行中目标像素点的连通关系图(其中：a表示Vi＝0时，当前像素点cur是背景；b表示Vi＝1时，当前像素点cur是一个新目标的的一部分；c表示当前像素点cur与前一像素点prl是连通的，属于同一个目标；d表示当前像素点cur与前一行同一位置像素点prh是连通的，属于同一个目标；e表示像素点prl与像素点prh属于同一个目标，当前像素点cur也属于这一目标；f表示像素点prl与像素点prh原来被标记为不同的目标，由于当前点的存在，它们被连接为一个目标)。
具体实施方式
下面通过实施例结合附图对本发明作进一步详细说明。
本发明实时多目标标记及质心运算方法：
将视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像作为输入，同时跟踪窗口信号也作为输入信号，根据当前扫描行及上一扫描行像素点的信息，并根据目标的位置和连通情况，对跟踪窗口内的多个目标进行实时标记以及质心运算，同时不断地通过对标记进行动态调整实现多目标合并。
其实现装置的结构参见图1，由先进先出存储器2、目标类别存储器3、目标标记及质心运算模块4、缓存器5、累加和存储器6以及控制信号发生器7、输出端口8组成。来自视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像以及跟踪窗口信号作为输入信号1，送给先进先出存储器2、目标标记及质心运算模块4以及缓存器5；先进先出存储器2接收来自输入信号1的图像信号，其输出送给目标标记及质心运算模块4，它也接收来自控制信号发生器7的信号；目标类别存储器3及累加和存储器6与目标标记及质心运算模块4双向通讯，一方面保存目标标记及质心运算模块4的运算结果，另一方面给目标标记及质心运算模块4提供数据，另外还给输出端口提供输出数据，它也接收来自控制信号发生器7的信号；目标标记及质心运算模块4接收输入信号1、先进先出存储器2、目标类别存储器3、缓存器5、累加和存储器6、控制信号发生器7的信号，根据当前像素点与其相邻像素点的连通关系对像素点进行标记和判断、并完成目标类别的合并和修改以及累加和的修改操作后将输出信号送至目标类别存储器3及累加和存储器6；缓存器5接收来自输入信号1的图像信号，其输出送给目标标记及质心运算模块4，它也接收来自控制信号发生器7的信号；控制信号发生器7为先进先出存储器2、目标类别存储器3、目标标记及质心运算模块4、缓存器5、累加和存储器6提供信号；由输出端口8可以读出目标类别存储器3及累加和存储器6中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
工作原理如下：
输入信号1是视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像，按行、场扫描的顺序逐点输入。先进先出存储器2用于存储当前扫描行上一行各个像素点的信息，并将存储的信息输出给目标标记及质心运算模块4；目标类别存储器3用来存储目标标记及质心运算模块4判断出的目标类别，以及给目标标记及质心运算模块4及输出端口8提供数据。目标标记及质心运算模块4从输入信号1获得当前像素点，从先进先出存储器2及缓存器5获得当前像素点的相邻像素点，并从目标类别存储器3中读出当前像素点的相邻像素点的类别，根据它们的连通关系进行标记和判断，同时也完成目标类别的合并和修改以及对从累加和存储器6读出的每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数进行修改等操作，将修改后的结果保存在目标类别存储器3及累加和存储器6。控制信号发生器7用于产生所需的时序控制信号，包括行、场同步信号，像素时钟及其倍频信号，提供给先进先出存储器2、目标类别存储器3、目标标记及质心运算模块4、缓存器5、累加和存储器6。通过输出端口8可以读出目标类别存储器3及累加和存储器6中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
本发明方法采用目标标记及质心运算模块4、根据当前像素点与其相邻像素点的连通关系对其进行标记和判断，同时也完成目标类别的合并和修改以及对累加和的修改等操作，具体如下：
用Vi表示像素点i的像素值，Vi＝0表示像素点i是背景的一部分，Vi＝1表示像素点i是某一目标的一部分。同时，用Ni表示像素点i所属目标的类别数，Ni＝0，表示背景，Ni>0表示类别数为Ni的目标。如图2所示，cur表示当前所要处理的像素点；prh表示当前扫描线上一扫描行与cur同一位置的像素点，保存在先进先出存储器2中；prl表示当前扫描线中cur的前一像素点，保存在缓存器5中。当前扫描行与上一行中目标像素点的连通关系有以下几种情况(图3)：
1.当Vi＝0时，如图3(a)所示，表示当前像素点cur是背景，此时不进行处理。
2.当Vi＝1时，说明当前像素点cur是某一目标的一部分，它又有以下几种情况。
(1)当Nprl＝0且Nprh＝0，如图3(b)所示，当前像素点cur是一个新目标的开始，将目标类别存储器3中的当前目标类别数加1，同时将累加和存储器6中当前目标在方位、俯仰方向质心投影累加和加上目标点当前的坐标，将像素点的个数加1，并将目标数加1。
(2)当Nprl>0而Nprh＝0，如图3(c)所示，说明当前像素点cur与prl是连通的，这时把当前像素点cur作为目标Nprl的一个点，对Nprl的信息进行更新：将目标类别存储器3中的当前目标类别数Ncur设为Nprl，同时将累加和存储器6中目标Ncur与目标Nprl在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprl加1。
(3)当Nprl＝0而Nprh>0，如图3(d)所示，这说明当前像素点cur与prh是连通的。处理与(2)类似，只是目标为Nprh。
(4)当Nprl>0且Nprh>0时可能有两种情况：第一种情况如图3(e)所示，Nprl＝Nprh表示prl和prh都属于同一目标，cur是与prl和prh连通的，对目标Nprl的信息进行如下更新：将目标类别存储器3中的当前目标类别数Ncur设为Nprl，同时将累加和存储器6中当前目标与目标Nprl在方位、俯仰方向质心投影累加和相加并将目标Nprl像素点的个数加1，将其值赋给当前目标。第二种情况如图3(f)所示，Nprl≠Nprh表明prl与prh两像素点在没有连通情况下而被标识成不同的目标，这里，由于当前点的存在，它们是同一目标的不同部分。因此，需要对这两个标记不同的目标进行合并操作：将目标类别存储器3中的目标类别数Ncur及、Nprl都设为Nprh，同时将累加和存储器6中当前目标Ncur与目标Nprl及目标Nprh在方位、俯仰方向质心投影累加和相加，将其值赋给当前目标，将目标Nprl及目标Nprh像素点的个数相加后再加1，将其值赋给当前目标，最后将目标数减1。
本发明所述先进先出存储器(FIFO)用于存储当前扫描行上一行各个像素点的信息。目标类别存储器用来存储目标的类别。目标标记及质心运算模块根据当前像素点与其相邻像素点的连通关系对其进行标记和判断，同时也完成目标类别的合并和修改等操作。累加和存储器用于存放每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。缓存器则用于把当前点的信息缓存下来作为下一采样周期像素点的信息，控制信号发生器用于产生所需的时序控制信号。
Claims (1)
1.一种实时多目标标记及质心运算方法，其特征在于：接收来自视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像作为输入信号，设Vi表示像素点i的像素值，Vi＝0表示像素点i作为背景的一部分，Vi＝1表示像素点i，作为某一目标的一部分；同时，用Ni表示像素点i所属目标的类别数，Ni＝0，表示背景，Ni>0表示类别数为Ni的目标；cur表示当前所要处理的像素点；prh表示当前扫描线上一扫描行与cur同一位置的像素点，保存在先进先出存储器\中；prl表示当前扫描线中cur的前一像素点，保存在缓存器中；当前扫描行与上一行中目标像素点的连通关系为：
1)当Vi＝0时，表示当前像素点cur是背景，此时不进行处理；
2)当Vi＝1时，说明当前像素点cur是某一目标的一部分，其处理有以下4种情况；
①当Nprl＝0且Nprh＝0，当前像素点cur是一个新目标的开始，将目标类别存储器中的当前目标类别数加1，同时将累加和存储器中当前目标在方位、俯仰方向质心投影累加和加上目标点当前的坐标，将像素点的个数加1，并将目标数加1；
②当Nprl>0而Nprh＝0，当前像素点cur与prl连通，把当前像素点cur作为目标Nprl的一个点，对Nprl的信息进行更新：将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中目标Ncur与目标Nprl在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprl加1；
③当Nprl＝0而Nprh>0，当前像素点cur与prh连通，把当前像素点cur作为目标Nprh的一个点，对Nprh的信息进行更新：将目标类别存储器中的当前目标类别数Ncur设为Nprh，同时将累加和存储器中目标Ncur与目标Nprh在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprh加1；
④当Nprl>0且Nprh>0时，若是Nprl＝Nprh表示prl和prh都属于同一目标，cur是与prl和prh连通的，对目标Nprl的信息进行更新，存储；
若Nprl≠Nprh，表明prl与prh两像素点由于当前点的存在成为同一目标的不同部分，则对这两个标记不同的目标进行合并操作，存储；
由输出端口可以读出目标类别存储器及累加和存储器中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数；
当Nprl＝Nprh表示prl和prh都属于同一目标，cur与prl和prh连通的情况，对目标Nprl的信息更新操作为：将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中当前目标与目标Nprl在方位、俯仰方向质心投影累加和相加并将目标Nprl像素点的个数加1，将其值赋给当前目标；
当Nprl≠Nprh，表明prl与prh两像素点在没有连通情况下而被标识成不同的目标，这里，由于当前点的存在，它们是同一目标的不同部分。因此，需要对这两个标记不同的目标进行合并操作：将目标类别存储器中的目标类别数Ncur及，Nprl都设为Nprh，同时将累加和存储器中当前目标Ncur与目标Nprl及目标Nprh在方位、俯仰方向质心投影累加和相加，将其值赋给当前目标，将目标Nprl及目标Nprh像素点的个数相加后再加1，将其值赋给当前目标，最后将目标数减1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100477859A CN100512368C (zh) | 2005-11-23 | 2005-11-23 | 实时多目标标记及质心运算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100477859A CN100512368C (zh) | 2005-11-23 | 2005-11-23 | 实时多目标标记及质心运算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1972370A CN1972370A (zh) | 2007-05-30 |
| CN100512368C true CN100512368C (zh) | 2009-07-08 |
Family
ID=38112931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100477859A Expired - Fee Related CN100512368C (zh) | 2005-11-23 | 2005-11-23 | 实时多目标标记及质心运算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100512368C (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887587B (zh) * | 2010-07-07 | 2012-05-23 | 南京邮电大学 | 视频监控中基于运动目标检测的多目标跟踪方法 |
| CN102243765A (zh) * | 2011-05-06 | 2011-11-16 | 大连民族学院 | 基于多相机的多目标定位跟踪方法及系统 |
| CN109743497B (zh) * | 2018-12-21 | 2020-06-30 | 创新奇智(重庆)科技有限公司 | 一种数据集采集方法、系统及电子装置 |
| CN110307934A (zh) * | 2019-06-18 | 2019-10-08 | 合肥安杰特光电科技有限公司 | 一种基于图形分析的均匀物体质心实时检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002139566A (ja) * | 2000-11-02 | 2002-05-17 | Mitsubishi Electric Corp | 追尾処理装置及び追尾処理方法 |
| CN1460187A (zh) * | 2001-03-28 | 2003-12-03 | 皇家菲利浦电子有限公司 | 用于在自动视频跟踪系统中选择目标的方法 |
-
2005
- 2005-11-23 CN CNB2005100477859A patent/CN100512368C/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002139566A (ja) * | 2000-11-02 | 2002-05-17 | Mitsubishi Electric Corp | 追尾処理装置及び追尾処理方法 |
| CN1460187A (zh) * | 2001-03-28 | 2003-12-03 | 皇家菲利浦电子有限公司 | 用于在自动视频跟踪系统中选择目标的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 利用邻域象素合成实现对目标地快速自动标记. 王明佳，王延杰，张旭光.微型机与应用，第24卷第9期. 2005 * |
| 实时标记地多目标图像跟踪器. 张桂林.华中理工大学学报，第22卷第5期. 1994 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1972370A (zh) | 2007-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105190426B (zh) | 飞行时间传感器装仓 | |
| CN100512368C (zh) | 实时多目标标记及质心运算方法 | |
| CN100498212C (zh) | 用于高速位移测量的ccd数据采集与处理装置 | |
| Hsu et al. | Ai edge devices using computing-in-memory and processing-in-sensor: from system to device | |
| CN107423734B (zh) | 一种sar图像海洋目标快速检测方法与装置 | |
| CN104062651A (zh) | 一种基于g0杂波背景及恒定目标幅度的检测前跟踪方法 | |
| US10511288B2 (en) | Navigation device with track smoothing | |
| CN105677019A (zh) | 一种手势识别传感器及其工作方法 | |
| CN106772299A (zh) | 一种基于距离匹配的pd雷达微弱目标动态规划检测方法 | |
| CN109041207A (zh) | 基于bim技术可用于虚拟现实和增强现实的精确定位系统 | |
| CN101109817A (zh) | 现场可编程逻辑阵列的实时计算光斑质心检测装置 | |
| US5499195A (en) | Fine-grained multi-planar clutter rejection processor | |
| CN108288290A (zh) | 一种应用于智能狙击枪的靶心在线自动标定方法 | |
| EP0014495B1 (en) | Video extractor for use in pulse radar apparatus | |
| CN106154244A (zh) | 一种密集杂波区基于tbd的半自动目标录取方法 | |
| CN101393498A (zh) | 一种用于触摸屏定位的图像处理方法 | |
| CN106291500B (zh) | 基于fpga的片上系统及其目标检测方法 | |
| DE60113834D1 (de) | Doppeldetektionsverarbeitung zum detektieren von signalen mit hoher beschleunigungsunbestimmtheit | |
| CN116338631B (zh) | 控制激光雷达的方法、装置、电子设备及存储介质 | |
| CN106199554B (zh) | 一种船用导航雷达arpa目标跟踪中的目标合并方法 | |
| CN101193286A (zh) | 一种图像质心计算方法及实现装置 | |
| CN200973160Y (zh) | 一种图像质心计算装置 | |
| EP0323688A1 (en) | Tracking systems | |
| US4931952A (en) | Target association method | |
| CN111964681A (zh) | 一种巡检机器人的实时定位系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090708 Termination date: 20111123 |