CN111524159A - 图像处理方法和设备、存储介质和处理器 - Google Patents
图像处理方法和设备、存储介质和处理器 Download PDFInfo
- Publication number
- CN111524159A CN111524159A CN201910102257.0A CN201910102257A CN111524159A CN 111524159 A CN111524159 A CN 111524159A CN 201910102257 A CN201910102257 A CN 201910102257A CN 111524159 A CN111524159 A CN 111524159A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- images
- acquired
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法和设备、存储介质和处理器，其中，所述方法包括：获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；针对所述存储器当前存储的采集时刻最早的所述采集图像，获取所述采集图像的特征图像；基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；依据所述各个目标的位置信息，对所述各个目标进行跟踪。
Description
技术领域
本申请涉及图像处理技术，具体涉及一种应用于目标识别与跟踪技术中的图像处理方法和设备、存储介质和处理器。
背景技术
在目前的目标识别与跟踪算法中，识别算法对采集装置如摄像头采集到的图像进行处理，识别算法模块识别出图像中的目标在图像中的位置，并将识别结果输入至跟踪算法模块中，跟踪算法模块对识别算法识别出的目标进行跟踪。考虑到摄像头采集一帧图像的时间远短于识别算法模块和跟踪算法模块对一帧图像中执行一次识别与跟踪算法的时间。如此，当采集图像的数量较多时，识别与跟踪算法模块可能存在着丢帧的情况，识别与跟踪算法模块由于无法对丢失到的帧图像进行处理，而导致无法成功识别目标并成功对目标的轨迹进行跟踪。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种图像处理方法和设备、存储介质和处理器。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像处理方法，所述方法包括：
获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
针对所述存储器当前存储的采集时刻最早的所述采集图像，
获取所述采集图像的特征图像；
基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；
依据所述各个目标的位置信息，对所述各个目标进行跟踪。
上述方案中，所述方法还包括：
更新所述存储器当前存储的采集图像，更新后的存储器中采集时刻最早的采集图像为所述存储器在所述当前存储的多个采集图像中采集时刻为次早的采集图像。
上述方案中，所述方法还包括：
存储器当前存储的采集图像的数量达到预定的数量阈值时，
确定当前存储器存储的任意两个采集图像之间的相似度；
当前存储器至少存储图像间的相似度大于预定的相似度阈值的多张采集图像中的至少一张图像。
上述方案中，所述方法还包括：
获得存储器当前存储的采集时刻最早的采集图像中的各个目标的初始位置信息；对各个目标的所述初始位置进行预跟踪；
在基于特征图像获得各个目标在采集图像中的位置信息时，
基于各个目标的初始位置信息和基于特征图像而得到的各个目标的位置信息，得到各个目标的跟踪轨迹，按照各个目标的跟踪轨迹对各个目标进行跟踪。
上述方案中，所述方法包括：
对所述采集图像进行区域的划分，得到M个区域图像，M为≥1的正整数；
相应地，所述获取采集图像的特征图像，基于特征图像，采集图像中的各个目标在所述采集图像中的位置信息，包括：
获得所述M个区域图像中各个区域图像的特征图像；
基于各个区域图像的特征图像，确定目标在各个区域图像中的位置信息；
依据目标在各个区域图像中的位置信息，确定目标在所述采集图像中的位置信息。
上述方案中，所述方法还包括：
获得采集图像的标识信息，所述标识信息表征为所述采集装置采集所述采集图像时所在的高度信息；
依据标识信息，对所述采集图像进行区域划分；
其中，对所述采集图像划分的区域图像的数量M依据所述标识信息与预定的高度阈值之间的大小关系而定。
上述方案中，所述方法还包括：
对所述M个区域图像的特征图像进行并行检测以确定目标在M个区域图像中的至少一个区域图像中的位置。
上述方案中，所述方法还包括：
获取所述采集图像的有效区域图像；
对所述有效区域图像进行划分，得到所述M个区域图像。
本申请实施例提供一种图像识别设备，所述设备包括：
第一获取单元，用于获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
第二获取单元，用于针对所述当前存储器中的采集时刻最早的所述采集图像，获取所述采集图像的特征图像；
第三获取单元，用于基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；
跟踪单元，用于依据所述各个目标的位置信息，对所述各个目标进行跟踪。
上述方案中，所述设备还包括更新单元，用于：
更新所述存储器当前存储的采集图像，更新后的存储器中采集时刻最早的采集图像为所述存储器在所述当前存储的多个采集图像中采集时刻为次早的采集图像。
上述方案中，当所述存储器中存储的采集图像的数量达到预定的数量阈值时，所述存储器至少存储图像间的相似度大于预定的相似度阈值的多张采集图像中的至少一张图像。
上述方案中，
所述第二获取单元，还用于：对所述采集图像进行区域的划分，得到M个区域图像，M为≥1的正整数；获得所述M个区域图像中各个区域图像的特征图像；
相应的，所述第三获取单元，用于基于各个区域图像的特征图像，确定目标在各个区域图像中的位置信息；
依据目标在各个区域图像中的位置信息，确定目标在所述采集图像中的位置信息。
上述方案中，所述第二获取单元，还用于：
获得采集图像的标识信息，所述标识信息表征为所述采集装置采集所述采集图像时所在的高度信息；
依据标识信息，对所述采集图像进行区域划分；
其中，对所述采集图像划分的区域图像的数量M依据所述标识信息与预定的高度阈值之间的大小关系而定。
上述方案中，所述第三获取单元，还用于：
对所述M个区域图像的特征图像进行并行检测以确定目标在M个区域图像中的至少一个区域图像中的位置。
上述方案中，所述第二获取单元，还用于：
获取所述采集图像的有效区域图像；
对所述有效区域图像进行划分，得到所述M个区域图像。
本申请实施例提供一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时至少执行前述的图像处理方法。
本申请实施例提供一种处理器，该处理器用于运行程序，其中，该程序被处理器运行时至少执行前述的图像处理方法。
本申请实施例提供了一种图像处理方法和设备、存储介质和处理器，其中，所述方法包括：获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；针对所述存储器当前存储的采集时刻最早的所述采集图像，获取所述采集图像的特征图像；基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；依据所述各个目标的位置信息，对所述各个目标进行跟踪。
本申请实施例中将采集装置采集到的采集图像存储，目标识别与跟踪算法模块基于存储下来的采集图像进行目标识别与跟踪即可，无需被动接收采集图像，可大大避免了丢帧情况的发生，也就大大避免了无法成功识别到目标与无法跟踪到目标情况的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的图像处理方法的第一实施例的实现流程示意图；
图2为本申请提供的图像处理方法的第二实施例的实现流程示意图；
图3为本申请实施例的一应用场景示意图；
图4为本申请提供的图像处理设备的实施例的组成结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员应该而知，本申请实施例的技术方案针对由于采集装置采集图像的时间较快，而目标识别与跟踪算法模块的识别与跟踪的过程需要一定的耗时，二者各自的速度(图像采集速度和识别与跟踪速度)不匹配而造成容易无法成功识别目标与跟踪目标的现象的发生，本申请实施例中提供一个用于存储在不同时刻采集到的采集图像的存储器，目标识别与跟踪算法模块可以从存储器中读取在不同时刻采集到的图像并对读取的采集图像进行目标位置的识别与跟踪，如此，便大大避免了丢帧情况的发生，也就大大避免了无法成功识别到目标与无法跟踪到目标情况的发生。
本申请提供一种图像处理方法的第一实施例，如图1所示，所述方法包括：
步骤101：获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
步骤102：针对所述存储器当前存储的采集时刻最早的所述采集图像，获取所述采集图像的特征图像；
步骤103：基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；
步骤104：依据所述各个目标的位置信息，对所述各个目标进行跟踪。
执行步骤101～104的主体为图像处理设备。该图像处理设备可以内置于任何需要进行目标识别与跟踪的设备中，例如无人机、汽车、军用飞机等中。
本申请实施例中，预先设置用于存储在不同采集时刻采集到的采集图像的存储器，当存储器中存储有采集图像时，读取存储器中在当前存储的多个采集图像中采集时刻最早的采集图像，并针对所读取的采集图像，获取其特征图像，并基于特征图像，获得该采集图像中的各个目标在所述采集图像中的位置信息，依据各个目标的位置信息，对所述各个目标进行跟踪。其中，输入至目标识别与跟踪算法模块的图像可以从存储器中读取出，与相关技术中目标识别与跟踪算法模块必须被动接收采集装置采集到的采集图像、即使采集装置给出的采集图像的速度较快而目标识别与跟踪算法的处理速度跟不上采集图像给出的速度的方案相比，本申请实施例中将采集装置采集到的采集图像存储下来，目标识别与跟踪算法模块基于存储下来的采集图像进行目标识别与跟踪即可，无需被动接收采集图像，可大大避免了丢帧情况的发生，也就大大避免了无法成功识别到目标与无法跟踪到目标情况的发生。
在一个可选的实施例中，当所述存储器中存储的采集图像的数量达到预定数量阈值时，确定当前存储器存储的任意两个采集图像之间的相似度；当前存储器至少存储图像间的相似度大于预定的相似度阈值的多张采集图像中的至少一张图像。此处，考虑到为尽量保证目标识别与跟踪算法模块输入的帧图像尽量为采集装置采集到的最新的图像，所以为存储器设置一个存储长度，该存储长度的具体取值可参照采集装置的拍摄频率与目标识别与跟踪算法模块的处理频率折衷而取。当存储器中存储的采集图像的数量已满、或者达到存储长度的一定比例值如30％、50％或80％时，考虑到后续其它帧的存储，需要适当的删除一部分图像。通常删除的图像可以是在同一采集时刻内采集到的多帧图像中相似度较高的部分图像；也可以是在相邻采集时刻采集到的图像相似度较高的部分图像。可以理解，对于同一采集时刻采集到的多张图像，即使彼此之间存在的相似度都比较高，那也需要至少保留下一张图像存储到存储器中。其中，数量阈值为存储器的存储长度、存储长度的30％、50％或80％；相似度阈值可以为80％、60％、55％等。数量阈值和相似度阈值的具体取值与实际使用情况有关，此处不做一一举例。
在一个可选的实施例中，本申请实施例提供的存储器依据采集时刻的先后顺序进行采集图像的存储，采集时刻靠前的采集图像存储在采集时刻靠后的采集图像之前。如此，可保证目标识别与跟踪算法模块按照从存储位置靠前到存储位置靠后这个顺序读取的采集图像始终是在采集时间上最早的图像。
在一个可选的实施例中，所述方法还包括：更新所述存储器当前存储的采集图像，更新后的存储器中采集时刻最早的采集图像为所述存储器在所述当前存储的多个采集图像中采集时刻为次早的采集图像。此处，考虑到采集装置根据实际采集的需求，需要不断的采集图像，而本申请实施例的存储器的存储长度是有限的，为尽量使得将在各个采集时刻采集到的图像都存储下来，需要对存储器中已经被目标识别与跟踪算法模块处理过的采集图像从存储器中删除，以使得后续帧图像能够被存储进来。本领域技术人员可以理解，当每对一帧图像进行目标识别与跟踪完成后，均对存储器中存储的该帧图像进行删除，后续存储的其它帧图像依次向前移动一个存储位置(假定存储器中每帧图像占用一个存储位置)。如此，可使得目标标识与跟踪算法读取的始终是位于存储器中第一个存储位置上的采集图像，存储在第一个存储位置上的采集图像也是存储的所有采集图像中采集时刻最早的采集图像。
在实际应用中，因为队列具有先入先出的特性，即先存储进来的信息需要先输出出去(如采集时刻靠前的图像比采集时刻靠后的图像先输出)，所以本申请实施例中提供的存储器可以具体为队列。
在一个可选的实施例中，所述方法还包括：获得存储器当前存储的采集时刻最早的采集图像中的各个目标的初始位置信息；对各个目标的所述初始位置进行预跟踪；在基于特征图像获得各个目标在采集图像中的位置信息时，基于各个目标的初始位置信息和基于特征图像而得到的各个目标的位置信息，得到各个目标的跟踪轨迹，按照各个目标的跟踪轨迹对各个目标进行跟踪。本方案中，鉴于采集装置将采集图像存储到存储器中，跟踪模块可以对无需在识别模块从采集图像中识别出目标后再对目标进行跟踪，跟踪模块可以先基于存储器如队列中存储的采集时刻最早的采集图像中的目标先进行预跟踪，等到识别模块基于采集时刻最早的采集图像的特征图像计算出各个目标的位置信息时，结合进行预跟踪时的初始位置和基于特征图像计算出的位置信息进行各个目标的跟踪轨迹的估算，并按照估算的跟踪轨迹对各个目标进行跟踪。跟踪模块的这种预跟踪再按照估算出的跟踪轨迹进行跟踪的方式，至少实现了识别模块和跟踪模块之间的更好衔接，使得跟踪较为自然。
本申请提供一种图像处理方法的第二实施例，如图2所示，所述方法包括：
步骤201：获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
步骤202a：针对存储器当前存储的采集时刻最早的所述采集图像，对所述采集图像进行区域的划分，得到M个区域图像，M为≥1的正整数；
步骤202b：获得所述M个区域图像中各个区域图像的特征图像；
步骤203a：基于各个区域图像的特征图像，确定所述目标在各个区域图像中的位置信息；
步骤203b：依据所述目标在各个区域图像中的位置信息，得到所述目标在所述采集图像中的位置信息；
步骤204：依据所述目标的位置信息，对所述目标进行跟踪。
执行步骤101～104的主体为图像处理设备。该图像处理设备可以内置于任何需要进行目标识别与跟踪的设备中，例如无人机、汽车、军用飞机等中。
可以理解，步骤202a、202b可作为对步骤102的进一步说明。步骤203a、203b可作为对步骤103的进一步说明。对于第二实施例中涉及的与第一实施例中的相同内容部分请参照前述对第一实施例的说明，此处不赘述。
在前述实施例中，通过对采集图像进行区域(块)划分，并针对划分的区域进行目标识别，可大大提高对目标位置的识别准确度，进而可保证跟踪效果。
在一个可选的实施例中，所述方法还包括：获得采集图像的标识信息，所述标识信息表征为所述采集装置采集所述采集图像时所在的高度信息；依据标识信息，对所述采集图像进行区域划分；其中，对所述采集图像划分的区域图像的数量M依据所述标识信息与预定的高度阈值之间的大小关系而定。进一步的，标识信息表征的采集装置采集所述采集图像时所在的高度信息大于预定的高度阈值时，则将采集图像至少划分为2个区域；否则划分为1个区域。
此处，针对步骤201～204所示的方法，其为直接对采集装置采集到的图像进行划分，采用区域划分的方式主要考虑到对目标位置识别的准确性。在实际应用中，考虑到采集图像可以是从距离地面不同的高度处采集到的，针对从不同的采集高度采集到的图像，例如，从距离地面50m处之内采集到的图像，可以视整张图像为一整块即不进行区域块的划分(M等于1)，而大于50m以上的高度处采集到的图像，对其进行至少2个区域的划分，例如划分为4个区域。这种依据采集高度而确定区域划分的数量的方案，可避免由于采集高度过高而导致的在采集图像上采集目标较小而不易识别出的问题。本领域技术人员应该理解，采集高度越高，为保证目标识别的准确性，对采集图像所划分的区域的数量越多。
在一个可选的实施例中，在步骤201之后，所述方法还包括：获取所述采集图像的有效区域图像；相应的，步骤202a为步骤202a’：对所述有效区域图像进行划分，得到所述M个区域图像。
此处，考虑到采集装置采集到的采集图像较大，对整张采集图像进行块的划分是必增加目标识别模块的处理负荷，本实施例中在整张采集图像上选取一个有效区域，将选取的有效区域对应的区域图像(有效区域图像)作为区域划分的图像对象，如此可减少目标识别模块的处理负荷，缩短识别时间。有效区域可以根据实际情况而灵活选取，优选为距离整张采集图像的中心点的一定位置处，例如，选取围绕距离中心点处的最近的16*104个像素或8*104个像素。
在一个可选的实施例中，所述方法还包括：对所述M个区域图像的特征图像进行并行检测以确定目标在M个区域图像中的至少一个区域图像中的位置。
此处，对划分的M个区域图像，并行对各个区域图像的特征图像进行检测，得到目标在M个区域图像中的至少一个区域图像中的位置信息。例如，采用M个线程，每个线程负责对M个特征图像中的其中一个特征图像进行检测，得到目标在对应区域图像中的位置信息。这种并行检测的方式，可大大缩短目标识别的时间，进而保证目标跟踪的实时性。
下面结合图3所示的应用场景对本申请实施例的技术方案做进一步说明。
在图3中，以无人机对地面上的物体如人、车等物体进行识别与跟踪为例。这里，可以规定：无人机在距离地面50m以下的高度处采集到的图像无需进行块的划分；对在高于50m高度处采集到的图像进行块的划分。可以理解，无人机是处于运动状态的，处于运动状态的无人机对地面场景进行物体的识别与跟踪。
无人机上的采集装置在不同采集时刻对地面场景进行拍摄，得到在相应采集时刻的采集图像。假定无人机在10个采集时刻(时刻0～时刻9)进行图像的拍摄，时刻0早于时刻1早于时刻2…早于时刻10。将在这10个采集时刻采集到的采集图像按照采集时间的顺序依次存储到队列中。如队列的存储长度为10(有10个存储位置)，那么从队列的头部到队列的尾部，依次存储的是：采集时刻0采集到的采集图像0、在采集时刻1采集到的采集图像1…在采集时刻9采集到的采集图像9。采集图像0～采集图像9均是在150m～300m处的采集高度采集到的。
假定无人机上的目标识别与跟踪算法模块包括识别模块和跟踪模块两个部分。其中，识别模块基于深度学习模型的SSD(单目标多框检测，Single Shot MultiBoxDetector)或yolo(目标检测算法的一种)算法而建立。本领域技术人员应该而知，深度学习模型属于神经网络的一种，在组成结构上至少包括输入层、卷积层、池化层和全连接层。本方案中的目标识别过程基于深度学习模型的SSD或yolo算法而实现的。
识别模块通过线程1对队列中是否出现采集图像进行监测，一旦监测到出现有采集图像，就执行对采集图像的预处理过程：对队列中处于头部存储位置上的采集图像也即采集时刻最早的采集图像进行读取，对所读取的采集图像进行有效区域的选取，例如选取围绕着采集图像0的中心点处的400*400个像素点的区域作为有效区域图像，对该有效区域图像进行M＝4个区域的划分，得到4个区域图像，每个区域图像包括200*200个像素点。将4个区域图像送入至输入层，输入层对4个区域图像进行去均值、归一化、利用主成分分析算法PCA(principal component analysis)或奇异值分解算法SVD(Singular valuedecomposition)进行降维处理等后送入至卷积层，经过卷积层的卷积处理，得到4个区域图像的特征图像。考虑到从卷积层输出的数据的维度较高(数据量较大)，利用池化层对数据进行降维处理，得到较小数据的特征图像。识别模块的全连接层中，利用4个线程分别对其中一个区域图像进行特征图像的识别。进一步的，4个线程基于各自负责的区域图像的特征图像进行同时(并行)检测，利用softmax分类器识别是否在各个区域图像上是否存在目标或目标的一部分(例如汽车的前半部分)，识别出存在目标或存在目标的一部分时，基于目标本身固有的特征(例如外形特征)识别该目标是何种类型的目标例如是汽车还是人等。同时，利用Smooth L1Loss(探测边框回归算法)对边框回归(Bounding box regression)进行训练，得到目标或目标部分在对应区域图像上的坐标。将得出的各个目标或目标的部分在对应区域图像上的坐标位置映射到采集图像0上，得到各个目标在采集图像0上的坐标。其中，利用多个线程进行并行检测的方式，至少可加快对目标的位置的识别，减少识别时间。
识别模块将各个目标在采集图像0上的坐标信息输出至跟踪模块中，以令跟踪模块进行跟踪。同时，删除队列的头部位置存储的采集图像0，采集图像1～9依次向前移动一个存储位置，使得队列的头部位置存储的始终是识别模块未处理的采集时刻早的采集图像，接续前述的方案内容此处头部位置存储的是采集时刻1采集到的采集图像1，对于采集图像1的处理过程请参见前述的对采集图像0的采集过程，直至将队列中存储的采集图像都按照如上方式处理完。
上述方案中，在识别模块读取采集时刻0的采集图像0时，跟踪模块也可以读取采集图像0，获得采集图像0上的各个目标的初始位置。对于采集图像0来说，初始位置可以是预先设置的值，对于采集时刻晚于采集时刻0的其他采集图像来说，该采集图像上各个目标的初始位置可以是上一个采集时刻对应目标在基于所述上一个采集时刻采集到的采集图像的特征图像计算而得到的位置，以使得跟踪模块基于队列中存储的采集图像进行预跟踪。等到识别模块基于采集时刻0的采集图像0的特征图像计算出各个目标的位置信息时，结合进行预跟踪时的初始位置和基于特征图像计算出的位置信息进行各个目标的跟踪轨迹的估算，并按照估算的跟踪轨迹对各个目标进行最终跟踪。跟踪模块的这种预跟踪再按照估算出的跟踪轨迹进行最终跟踪的方式，至少实现了识别模块的目标识别和跟踪模块的跟踪识别目标之间的更好衔接，使得跟踪较为自然。此外，本方案中，跟踪模块可基于队列中存储的采集图像实现预跟踪，使得跟踪模块对再等待识别模块的计算结果(目标的位置信息)当前情况下方可进行跟踪的方案，减少对识别模块的依赖性。由于跟踪模块进行跟踪的时间通常小于识别模块的识别时间，跟踪模块的预跟踪，至少在时间上，可减少跟踪模块跟踪失败的情况，可尽量保证跟踪模块从采集装置的采集的各帧图像进行逐帧跟踪，避免跟丢情况的发生。其中，跟踪轨迹的估算过程请参见现有相关说明。
上述方案中，对于本方案中的队列，如果在存储的采集图像的数量已满、或者达到存储长度的一定比例值如30％、50％或80％时，对采集到的采集图像可以不一一进行存储，对于相似度较高的采集图像存储几张即可如一张或二张如何全部存储，如此便可避免对相似图像的重复识别，减轻队列的存储负担的同时也减轻了识别模块的运算负担。
上述方案中，识别模块从队列中读取在不同时刻采集到的图像并对读取的采集图像进行目标位置的识别与跟踪，如此，便大大避免了丢帧情况的发生，也就大大避免了无法成功识别到目标与无法跟踪到目标情况的发生。
上述方案中，跟踪模块采用鉴别式跟踪(KCF，Kernerlized Correlation Filter)算法，基于KCF算法能够实现对采集图像0中出现的各个目标的跟踪。KCF算法具有准确跟踪的特性，可保证目标跟踪的准确性。
上述方案中，考虑到为保证识别模块的运算能力与采集装置拍摄图像的频率能够匹配上，尽量设置队列的存储长度较小，如此便可保证目标识别与跟踪的实时性。
基于前述的图像识别方法，本申请实施例还提供一种图像识别设备，如图4所示，所述设备包括：存储器40、第一获取单元41、第二获取单元42、第三获取单元43、跟踪单元44；其中，
第一获取单元41，用于获取存储器40当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
第二获取单元42，用于针对存储器当前存储的采集时刻最早的所述采集图像，获取所述采集图像的特征图像；
第三获取单元43，用于基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；
跟踪单元44，用于依据所述各个目标的位置信息，对所述各个目标进行跟踪。
上述方案中，所述存储器40依据采集时刻的先后顺序进行采集图像的存储，采集时刻靠前的采集图像存储在采集时刻靠后的采集图像之前。
所述设备还包括更新单元，用于：
更新所述存储器40当前存储的采集图像，更新后的存储器40中采集时刻最早的采集图像为所述存储器40在所述当前存储的多个采集图像中采集时刻为次早的采集图像。
上述方案中，当所述存储器40中存储的采集图像的数量达到预定的数量阈值时，所述存储器40至少存储图像间的相似度大于预定的相似度阈值的多张采集图像中的至少一张图像。
上述方案中，所述第二获取单元42，还用于：对所述采集图像进行区域的划分，得到M个区域图像，M为≥1的正整数；获得所述M个区域图像中各个区域图像的特征图像；
相应的，所述第三获取单元43，用于基于各个区域图像的特征图像，确定目标在各个区域图像中的位置信息；
依据目标在各个区域图像中的位置信息，确定目标在所述采集图像中的位置信息。
上述方案中，所述第二获取单元42，还用于：
获得采集图像的标识信息，所述标识信息表征为所述采集装置采集所述采集图像时所在的高度信息；
依据标识信息，对所述采集图像进行区域划分；
其中，对所述采集图像划分的区域图像的数量M依据所述标识信息与预定的高度阈值之间的大小关系而定。
上述方案中，所述第三获取单元43，还用于：
对所述M个区域图像的特征图像进行并行检测以确定目标在M个区域图像中的至少一个区域图像中的位置。
上述方案中，所述第二获取单元42，还用于：
获取所述采集图像的有效区域图像；
对所述有效区域图像进行划分，得到所述M个区域图像。
其中，第一获取单元41、第二获取单元42、第三获取单元43可位于目标识别模块中；跟踪单元44位于跟踪模块中。
前述的图像识别设备可以应用到无人车、无人机等设备中。
需要说明的是，为实现上述应用于图像处理方法，本发明实施例的图像处理设备，由于该设备解决问题的原理与前述的方法相似，因此，设备的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。
本申请实施例还提供一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时至少执行前述的图1或图2所示的图像处理方法。
该存储介质可以为存储器。存储器可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read OnlyMemory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，Ferromagnetic Random Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种处理器，该处理器用于运行程序，其中，该程序被处理器运行时至少执行前述的图1或图2所示的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
针对所述存储器当前存储的采集时刻最早的所述采集图像，
获取所述采集图像的特征图像；
基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；
依据所述各个目标的位置信息，对所述各个目标进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
更新所述存储器当前存储的采集图像，更新后的存储器中采集时刻最早的采集图像为所述存储器在所述当前存储的多个采集图像中采集时刻为次早的采集图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
存储器当前存储的采集图像的数量达到预定的数量阈值时，
确定当前存储器存储的任意两个采集图像之间的相似度；
当前存储器至少存储图像间的相似度大于预定的相似度阈值的多张采集图像中的至少一张图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得存储器当前存储的采集时刻最早的采集图像中的各个目标的初始位置信息；对各个目标的所述初始位置进行预跟踪；
在基于特征图像获得各个目标在采集图像中的位置信息时，
基于各个目标的初始位置信息和基于特征图像而得到的各个目标的位置信息，得到各个目标的跟踪轨迹，按照各个目标的跟踪轨迹对各个目标进行跟踪。
5.根据权利要求1所述的方法，其特征在于，所述方法包括：
对所述采集图像进行区域的划分，得到M个区域图像，M为≥1的正整数；
相应地，所述获取采集图像的特征图像，基于特征图像，采集图像中的各个目标在所述采集图像中的位置信息，包括：
获得所述M个区域图像中各个区域图像的特征图像；
基于各个区域图像的特征图像，确定目标在各个区域图像中的位置信息；
依据目标在各个区域图像中的位置信息，确定目标在所述采集图像中的位置信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获得采集图像的标识信息，所述标识信息表征为所述采集装置采集所述采集图像时所在的高度信息；
依据标识信息，对所述采集图像进行区域划分；
其中，对所述采集图像划分的区域图像的数量M依据所述标识信息与预定的高度阈值之间的大小关系而定。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
对所述M个区域图像的特征图像进行并行检测以确定目标在M个区域图像中的至少一个区域图像中的位置。
8.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
获取所述采集图像的有效区域图像；
对所述有效区域图像进行划分，得到所述M个区域图像。
9.一种图像识别设备，其特征在于，所述设备包括：
第一获取单元，用于获取存储器当前存储的采集时刻最早的采集图像，其中，所述存储器用于存储采集装置在不同采集时刻采集到的图像；
第二获取单元，用于针对所述存储器当前存储的采集时刻最早的所述采集图像，获取所述采集图像的特征图像；
第三获取单元，用于基于特征图像，获得采集图像中的各个目标在所述采集图像中的位置信息；
跟踪单元，用于依据所述各个目标的位置信息，对所述各个目标进行跟踪。
10.根据权利要求9所述的设备，其特征在于，
所述跟踪单元，还用于：
获得存储器当前存储的采集时刻最早的采集图像中的各个目标的初始位置信息；对各个目标的所述初始位置进行预跟踪；
在基于特征图像获得各个目标在采集图像中的位置信息时，
基于各个目标的初始位置信息和基于特征图像而得到的各个目标的位置信息，得到各个目标的跟踪轨迹，按照各个目标的跟踪轨迹对各个目标进行跟踪。
11.一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时至少执行前述的权利要求1～8任一项所述的图像处理方法。
12.一种处理器，该处理器用于运行程序，其中，该程序被处理器运行时至少执行前述的权利要求1～8任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910102257.0A CN111524159A (zh) | 2019-02-01 | 2019-02-01 | 图像处理方法和设备、存储介质和处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910102257.0A CN111524159A (zh) | 2019-02-01 | 2019-02-01 | 图像处理方法和设备、存储介质和处理器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111524159A true CN111524159A (zh) | 2020-08-11 |
Family
ID=71900152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910102257.0A Pending CN111524159A (zh) | 2019-02-01 | 2019-02-01 | 图像处理方法和设备、存储介质和处理器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524159A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022082361A1 (zh) * | 2020-10-19 | 2022-04-28 | 深圳市锐明技术股份有限公司 | 图像信息处理方法及终端设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012099975A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 動画追尾装置、動画追尾方法および動画追尾プログラム |
| US20140010409A1 (en) * | 2011-03-10 | 2014-01-09 | Omron Corporation | Object tracking device, object tracking method, and control program |
| CN105931269A (zh) * | 2016-04-22 | 2016-09-07 | 海信集团有限公司 | 一种视频中的目标跟踪方法及装置 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| CN106980843A (zh) * | 2017-04-05 | 2017-07-25 | 南京航空航天大学 | 目标跟踪的方法及装置 |
| US20180285627A1 (en) * | 2017-03-31 | 2018-10-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| CN108846855A (zh) * | 2018-05-24 | 2018-11-20 | 北京飞搜科技有限公司 | 目标跟踪方法及设备 |
| CN109074473A (zh) * | 2016-04-11 | 2018-12-21 | 北京市商汤科技开发有限公司 | 用于对象跟踪的方法和系统 |
-
2019
- 2019-02-01 CN CN201910102257.0A patent/CN111524159A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012099975A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 動画追尾装置、動画追尾方法および動画追尾プログラム |
| US20140010409A1 (en) * | 2011-03-10 | 2014-01-09 | Omron Corporation | Object tracking device, object tracking method, and control program |
| CN109074473A (zh) * | 2016-04-11 | 2018-12-21 | 北京市商汤科技开发有限公司 | 用于对象跟踪的方法和系统 |
| CN105931269A (zh) * | 2016-04-22 | 2016-09-07 | 海信集团有限公司 | 一种视频中的目标跟踪方法及装置 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| US20180285627A1 (en) * | 2017-03-31 | 2018-10-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| CN106980843A (zh) * | 2017-04-05 | 2017-07-25 | 南京航空航天大学 | 目标跟踪的方法及装置 |
| CN108846855A (zh) * | 2018-05-24 | 2018-11-20 | 北京飞搜科技有限公司 | 目标跟踪方法及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022082361A1 (zh) * | 2020-10-19 | 2022-04-28 | 深圳市锐明技术股份有限公司 | 图像信息处理方法及终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109309811B (zh) | 一种基于计算机视觉的高空抛物检测系统与方法 | |
| CN107274433B (zh) | 基于深度学习的目标跟踪方法、装置及存储介质 | |
| CN109344899B (zh) | 多目标检测方法、装置和电子设备 | |
| CN111402294B (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
| US11887318B2 (en) | Object tracking | |
| CN110675426B (zh) | 人体跟踪方法、装置、设备及存储介质 | |
| CN112989962B (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
| CN107295296B (zh) | 一种监控视频选择性存储与恢复方法及系统 | |
| CN113112526A (zh) | 目标跟踪方法、装置、设备和介质 | |
| CN111160365A (zh) | 基于检测器和跟踪器相结合的无人机目标跟踪方法 | |
| CN114897762B (zh) | 一种煤矿工作面采煤机自动定位方法及装置 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
| EP3975133A1 (en) | Processing of images captured by vehicle mounted cameras | |
| KR101492059B1 (ko) | 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템 | |
| CN111383455A (zh) | 交通路口对象流量统计方法、装置、计算机设备和介质 | |
| CN111524159A (zh) | 图像处理方法和设备、存储介质和处理器 | |
| JP2002133421A (ja) | 移動物体認識方法及び装置 | |
| CN111382606A (zh) | 摔倒检测方法、摔倒检测装置和电子设备 | |
| CN106683113B (zh) | 特征点跟踪方法和装置 | |
| CN109816588B (zh) | 行车轨迹线的记录方法、装置及设备 | |
| CN111860168A (zh) | 行人重识别方法、装置、电子设备及存储介质 | |
| CN110971826A (zh) | 视频前端监控装置及方法 | |
| CN113515978B (zh) | 数据处理方法、设备及存储介质 | |
| CN113761263A (zh) | 相似度确定方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210304 Address after: 100080 Beijing Haidian District, Suzhou Street, No. 20 Courtyard, No. 2 Building, 1st Floor Applicant after: Beijing Jingbangda Trading Co.,Ltd. Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd. Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd. Effective date of registration: 20210304 Address after: 100176 a1905, 19th floor, building 2, yard 18, Kechuang 11th Street, economic and Technological Development Zone, Daxing District, Beijing Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd. Address before: 100080 Beijing Haidian District, Suzhou Street, No. 20 Courtyard, No. 2 Building, 1st Floor Applicant before: Beijing Jingbangda Trading Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |