CN104092987A - 一种双模双反馈自适应目标跟踪系统、控制电路及方法 - Google Patents
一种双模双反馈自适应目标跟踪系统、控制电路及方法 Download PDFInfo
- Publication number
- CN104092987A CN104092987A CN201410326505.7A CN201410326505A CN104092987A CN 104092987 A CN104092987 A CN 104092987A CN 201410326505 A CN201410326505 A CN 201410326505A CN 104092987 A CN104092987 A CN 104092987A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- module
- feedback
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明涉及图像处理技术领域，具体涉及的是一种双模双反馈自适应目标跟踪系统、控制电路及方法。本发明提供的一种双模双反馈自适应目标跟踪系统、控制电路及方法包括：前端采集单元、目标识别单元和输出单元及前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路，能达到对目标细节特征分析高精准度的要求，提供了一种双模态下目标的高鲁棒跟踪方案，可同时采集并处理可见光与近红外两种模态的视频，通过图像质量自评估控制双模态下图像采集参数的自适应调整，自动获取目标高质量图像，根据双模态下目标区域分割与双模态融合识别的结果，在环境条件发生变化的前提下，仍具有较高的目标跟踪成功率和精准度，从而提高目标跟踪的鲁棒性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及的是一种双模双反馈自适应目标跟踪系统、控制电路及方法。
背景技术
现有技术中，目标视频跟踪是一种高速图像处理技术，目前广泛应用于公共安全、工业检测、智能交通、人机交互以及军事等领域，并且在不同应用领域中呈现出不同的技术特点。例如在公共安全领域，目标视频跟踪大多呈现为针对人体目标的可见光或近红外视频跟踪，目的在于为后续对目标体态特征或生物特征的辨识工作提供素材和线索，而获取目标的高质量影像是此领域的一个重要的关注点。
在公共安全领域中，传统的目标跟踪多以单相机在单一波段范围内包括可见光或近红外成像的方式实现，此种单模态成像方式对视频处理算法的鲁棒性要求较高，目标跟踪的质量不稳定，并且成像系统对图像质量无自控能力，这使得有时获取到的图像因相机采集参数不适应变化的光照环境而整体质量不佳，或有时获取到的目标图像因离焦而模糊，无法满足后续特征辨识的要求。
发明内容
为了克服现有技术中的缺陷，本发明提供一种双模双反馈自适应目标跟踪系统、控制电路及方法，对目标细节特征分析有高精准度要求的应用提供一种双模态下目标的高鲁棒跟踪方案，可同时采集并处理可见光与近红外两种模态下的视频，采取双反馈的方式进行图像亮度和清晰度的调整，可通过图像质量自评估控制双模态下图像采集参数的自适应调整，以自动获取目标高质量图像，再根据双模态下目标区域分割与双模态融合识别的结果，达到在环境条件发生变化的前提下，仍具有较高的目标跟踪成功率和精准度，从而提高目标跟踪的鲁棒性。
本发明是通过如下技术方案实现的：本发明提供了一种双模双反馈自适应目标跟踪系统，包括，对摄像机进行图像采集处理的前端采集单元，对所述前端采集单元采集到的图像进行分割识别处理的目标识别单元，对所述目标识别单元的运算结果进行自校准并输出结果的输出单元，，所述前端采集单元，包括和双模采集协调控制模块连接的近红外图像采集系统和可见光图像采集系统；所述近红外图像采集系统，包括按照设定信号传输顺序连接的近红外摄像机、第一图像实时采集模块、第一图像亮度评估模块和第一图像清晰度评估模块，所述第一图像亮度评估模块和所述近红外摄像机之间有反馈连接，所述第一图像清晰度评估模块和所述双模采集协调控制模块的第一反馈接口之间有反馈连接，所述双模采集协调控制模块和第一图像自动聚焦控制模块连接，所述第一图像自动聚焦控制模块和所述近红外摄像机的第一镜头焦距驱动装置连接；所述可见光图像采集系统，包括按照设定信号传输顺序连接的可见光摄像机、第二图像实时采集模块、第二图像亮度评估模块和第二图像清晰度评估模块，所述第二图像亮度评估模块和所述可见光摄像机之间有反馈连接，所述第二图像清晰度评估模块和所述双模采集协调控制模块的第二反馈接口之间有反馈连接，所述双模采集协调控制模块和第二图像自动聚焦控制模块连接，所述第二图像自动聚焦控制模块和所述可见光摄像机上的第二镜头焦距驱动装置连接；所述目标识别单元，包括和所述第一图像清晰度评估模块按照设定顺序连接的第一图像分割处理模块和第一图像识别处理模块；还包括和所述第二图像清晰度评估模块顺序连接的第二图像分割处理模块和第二图像识别处理模块；所述输出单元，包括分别和目标识别结果自校准模块进行信号传输的第一结果输出模块和第二结果输出模块；所述目标识别结果自校准模块与所述第一目标识别处理模块进行第一校准反馈和所述第二图像识别处理模块进行第二校准反馈；所述第一目标识别处理模块与所述目标识别结果自校准模块连接；所述第二目标识别处理模块与所述识别结果自校准模块连接。
进一步的，所述可见光摄像机上的第二镜头的焦距驱动装置和所述近红外摄像机上的第一镜头的焦距驱动装置为电机驱动。
进一步的，本发明还提供了一种双模双反馈自适应目标跟踪系统的控制电路，包括按顺序串联的前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路，其特征在于,所述前端采集单元控制电路，包括，和近红外摄像机串联连接的第一接口，所述第一接口分别和第一低压差分信号接收器、第一摄像机控制发送器和第一串口控制收发器连接，所述第一低压差分信号接收器、所述第一摄像机控制发送器和所述第一串口控制收发器并联后与现场可编程程门阵列连接；和可见光摄像电路串联连接的第二接口，所述第二接口分别和第二低压差分信号接收器、第二摄像机控制发送器和第二串口控制收发器连接，所述第二低压差分信号接收器、所述第二摄像机控制发送器和所述第二串口控制收发器并联后与所述现场可编程程门阵列连接；所述现场可编程程门阵列分别和电平转换电路、驱动电路、视频数模转换芯片、串行配置芯片、开关输入与指示灯电路、第一数据采集存储器和第二数据采集存储器信号传输，所述电平转换电路和串行通讯接口串联连接，所述驱动电路和镜头电机接口串联连接后再分别与第一镜头电路和第二镜头电路连接，所述视频数模转换芯片和视频接口串联连接，所述现场可编程程门阵列和第一JTAG接口双向信号传输；所述目标识别单元控制电路包括，和所述现场可编程程门阵列连接的第一数字信号处理器和第二数字信号处理器，所述第一数字信号处理器分别和第一FLASH存储器、第一数据处理存储器和第一以太网物理层收发器连接，所述第二数字信号处理器分别和第二FLASH存储器、第二数据处理存储器和第二以太网物理层收发器连接，所述第一数字信号处理器和所述第二数字信号处理器与第二JTAG接口双向信号传输；所述输出单元控制电路，包括，和所述第一以太网物理层收发器串联连接的第一以太网接口；和所述第二以太网物理层收发器串联连接的第二以太网接口。
进一步的，本发明还提供了一种双模双反馈自适应目标跟踪的方法，包括：前端采集步骤、目标识别步骤和结果输出步骤，所述前端采集步骤，包括同时使用可见光摄像机和近红外摄像机分别获取当时场景的可见光模态图像的步骤和近红外模态图像的步骤，并分别对两个模态图像的总体亮度与清晰度进行自评估的步骤，然后根据自评估结果分别进行的反馈和控制调整相应采集参数的步骤；所述目标识别步骤，包括在亮度与清晰度指标均合格的两个模态的图像上分别进行区域分割的步骤，再根据两个模态的视场差异进行双模态图像内容关联并识别同一目标步骤；所述结果输出步骤，包括识别出的目标位置坐标或输出目标在双模态下剪裁出清晰图像的步骤。
进一步的，所述前端采集步骤，还包括，第一图像实时采集步骤，还包括用于对近红外摄像机的帧捕捉，实时获取近红外模态图像，并将图像送入第一图像亮度评估步骤；所述第一图像亮度评估步骤，用于对近红外模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第一图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第一采集反馈I调节近红外摄像机的曝光参数，直至亮度达到设定标准值；第一图像清晰度评估步骤，用于对近红外模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第一图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第一采集反馈II经过第一反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第一图像自动聚焦控制模块调整近红外摄像机的第一镜头参数，直至清晰度达到设定标准值；第二图像实时采集步骤，用于对可见光摄像机的帧捕捉，实时获取可见光模态图像，并将图像送入第二图像亮度评估步骤；所述第二图像亮度评估步骤，还包括用于对可见光模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第二图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第二采集反馈I调节可见光摄像机的曝光参数，直至亮度达到设定标准值；所述第二图像清晰度评估步骤，用于对可见光模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第二图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第二采集反馈II经过第二反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第二图像自动聚焦控制模块调整可见光摄像机上第二镜头参数，直至清晰度达到设定标准值；所述双模采集协调控制步骤，用于根据近红外和可见光两个模态图像的清晰度按照设定标准值调节反馈输入量，按照设定的标准值对两个模态的镜头进行协调控制，分别向所述第一图像自动对焦控制模块与第二图像自动对焦控制模块发送控制信息，以调整所述第一镜头与所述第二镜头的参数；所述第一图像自动聚焦控制模块，用于根据双模采集协调控制步骤所给出的控制信息，控制所述近红外镜头的电机调节第一镜头后焦距；所述第二图像自动聚焦控制步骤，用于根据双模采集协调控制步骤所给出的控制信息，控制所述可见光镜头的电机调节第二镜头后焦距。
进一步的，所述目标识别步骤还包括，第一图像分割处理步骤和第一目标识别处理步骤、第二图像分割处理步骤和第二目标识别处理步骤，所述第一图像分割处理步骤中对近红外模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第一目标识别处理步骤中对经过第一图像分割处理后得到的近红外模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤；所述第二图像分割处理步骤中对可见光模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第二目标识别处理步骤，对经过第二图像分割处理后得到的可见光模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤。
进一步的，所述识别结果输出步骤，还包括：目标识别结果自校准步骤、第一结果输出步骤和第二结果输出步骤，所述目标识别结果自校准步骤中利用双模态信息融合策略对所述第一目标识别处理步骤中与第二目标识别处理步骤传入的备选目标区域进行空间匹配计算，若计算值满足既定阈值条件即为自校准成功，会将双模态下的目标位置信息分别传送至所述第一结果输出步骤与所述第二结果输出步骤；若计算值不满足既定阈值条件即为自校准不成功，则通过第一校准反馈将所述第二目标识别处理步骤中传入的备选目标区域信息传送至所述第一目标识别处理步骤,同时通过第二校准反馈步骤将所述第一目标识别处理步骤中传入的备选目标区域信息传送至所述第二目标识别处理步骤中，使两个目标识别处理结果在分别参考对方信息的基础上更新目标识别结果，并进行新一轮自校准；所述第一结果输出步骤，包括对外输出剪裁后目标的近红外模态图像或目标的位置坐标；所述第二结果输出步骤，包括对外输出剪裁后目标的可见光模态图像或目标的位置坐标。
与现有技术相比，优越效果在于：本发明具有双模双反馈态信息并行处理、自适应采集协调控制、识别过程融合决策、跟踪结果同步输出的特点，具有更高的目标跟踪鲁棒性。
附图说明
图1是本发明一种双模双反馈自适应目标跟踪系统模块图；
图2是本发明一种双模双反馈自适应目标跟踪系统的控制电路图。
附图标记如下：
100-前端采集单元，200-目标识别单元，300-输出单元，400-(FPGA)现场可编程门阵列，500-第一(DSP)数字信号处理器，600-第二(DSP)数字信号处理器，700-(DSP-JTAG)第二JTAG接口；111-第一镜头，112-近红外摄像机，116-第一反馈接口；121-第二镜头，122-可见光摄像机，126-第二反馈接口；411-第一(CameraLink)接口，412-第一(LVDS)低压差分信号接收器，413-第一摄像机控制发送器，414-第一串口控制收发器；421-第二(CameraLink)接口，422-第二(LVDS)低压差分信号接收器，423-第二摄像机控制发送器，424-第二串口控制收发器；431-(LED&SWT)开关输入与指示灯电路，432-第一数据采集存储器，433-第二数据采集存储器，434-电平转换电路，435-(RS232)串行通讯接口，436-驱动电路，437-镜头电机接口，438-(Video DA)视频数模转换芯片，439-(VGA)视频接口，440-(EPCS)串行配置芯片，441-(FPGA-JTAG)第一JTAG接口；501-第一数据处理存储器，502-第一FLASH存储器，503-第一(PHY)以太网物理层收发器，504-第一(ENET)以太网接口；601-第二数据处理存储器，602-第二FLASH存储器，603第二(PHY)以太网物理层收发器，604-第二(ENET)以太网接口。
图中箭头方向为信号传输方向。
具体实施方式
下面结合说明书附图对本发明具体实施方式作进一步详细说明。
实施例1
如说明书附图1和图2,具体说明本发明，本发明提供了一种双模双反馈自适应目标跟踪系统，包括，对摄像机进行图像采集处理的前端采集单元100，对所述前端采集单元100采集到的图像进行分割识别处理的目标识别单元200，对所述目标识别单元200的运算结果进行自校准并输出结果的输出单元300，所述前端采集单元100，包括和双模采集协调控制模块连接的近红外图像采集系统和可见光图像采集系统；所述近红外图像采集系统，包括按照设定信号传输顺序连接的近红外摄像机、第一图像实时采集模块、第一图像亮度评估模块和第一图像清晰度评估模块，所述第一图像亮度评估模块和所述近红外摄像机之间有反馈连接，所述第一图像清晰度评估模块和所述双模采集协调控制模块的第一反馈接口之间有反馈连接，所述双模采集协调控制模块和所述第一图像自动聚焦控制模块连接，所述第一图像自动聚焦控制模块和所述近红外摄像机的第一镜头焦距驱动装置连接；所述可见光图像采集系统，包括按照设定信号传输顺序连接的可见光摄像机、第二图像实时采集模块、第二图像亮度评估模块和第二图像清晰度评估模块，所述第二图像亮度评估模块和所述可见光摄像机之间有反馈连接，所述第二图像清晰度评估模块和所述双模采集协调控制模块的第二反馈接口之间有反馈连接，所述双模采集协调控制模块和所述第二图像自动聚焦控制模块连接，所述第二图像自动聚焦控制模块和所述可见光摄像机上的第二镜头焦距驱动装置连接；所述目标识别单元200，包括和所述第一图像清晰度评估模块按照设定顺序连接的第一图像分割处理模块和第一图像识别处理模块；还包括和所述第二图像清晰度评估模块顺序连接的第二图像分割处理模块和第二图像识别处理模块；所述输出单元300，包括分别和目标识别结果自校准模块进行信号传输的第一结果输出模块和第二结果输出模块；所述目标识别结果自校准模块与所述第一目标识别处理模块进行第一校准反馈和所述第二图像识别处理模块进行第二校准反馈；所述第一目标识别处理模块与所述目标识别结果自校准模块连接；所述第二目标识别处理模块与所述识别结果自校准模块连接，所述可见光摄像机上的第二镜头的焦距驱动装置和所述近红外摄像机上的第一镜头的焦距驱动装置为电机驱动。
本实施例还提供了一种双模双反馈自适应目标跟踪系统的控制电路，包括按顺序串联的前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路,所述前端采集单元控制电路，包括，和近红外摄像机112串联连接的第一(CameraLink)接口411，所述第一(CameraLink)接口411分别和第一(LVDS)低压差分信号接收器412、第一摄像机控制发送器413和第一串口控制收发器414连接，第一(LVDS)低压差分信号接收器412、第一摄像机控制发送器413和第一串口控制收发器414并联后与(FPGA)现场可编程程门阵列400连接；和可见光摄像机122电路串联连接的第二(CameraLink)接口421，所述第二(CameraLink)接口421分别和第二(LVDS)低压差分信号接收器422、第二摄像机控制发送器423和第二串口控制收发器424连接，第二(LVDS)低压差分信号接收器422、第二摄像机控制发送器423和第一串口控制收发器424并联后与(FPGA)现场可编程程门阵列400连接；所述(FPGA)现场可编程程门阵列400分别和电平转换电路434、驱动电路436、(Video DA)视频数模转换芯片438、(EPCS)串行配置芯片440、(LED&SWT)开关输入与指示灯电路431、第一数据采集存储器432和第二数据采集存储器433连接，所述电平转换电路434和(RS232)串行通讯接口435串联连接，所述驱动电路436和镜头电机接口437串联连接后再分别与第一镜头电路和第二镜头电路连接，所述(Video DA)视频数模转换芯片438和(VGA)视频接口439串联连接，所述(FPGA)现场可编程程门阵列400和第一JTAG接口441串联连接；所述目标识别单元控制电路包括，和所述(FPGA)现场可编程程门阵列400连接的第一(DSP)数字信号处理器500和第二(DSP)数字信号处理器600，所述第一(DSP)数字信号处理器500分别和第一FLASH存储器502、第一数据处理存储器501和第一(PHY)以太网物理层收发器503连接，所述第二(DSP)数字信号处理器600分别和第二FLASH存储器602、第二数据处理存储器601和第二(PHY)以太网物理层收发器603连接，所述第一(DSP)数字信号处理器500和第二(DSP)数字信号处理器600与第二JTAG接口700串联连接；所述输出单元控制电路，包括，和所述第一(PHY)以太网物理层收发器503串联连接的第一(ENET)以太网接口504；和所述第二(PHY)以太网物理层收发器603串联连接的第二(ENET)以太网接口604。本发明提供的一种双模双反馈自适应目标跟踪的方法，包括：前端采集步骤、目标识别步骤和结果输出步骤，所述前端采集步骤，包括同时使用可见光摄像机和近红外摄像机分别获取当时场景的可见光模态图像的步骤和近红外模态图像的步骤，并分别对两个模态图像的总体亮度与清晰度进行自按照设定标准值参数评估的步骤，然后根据自评估结果分别进行的反馈和控制调整相应采集参数的步骤；所述目标识别步骤，包括在亮度与清晰度指标均合格的两个模态的图像上分别进行区域分割的步骤，再根据两个模态的视场差异进行双模态图像内容关联并识别同一目标步骤；所述结果输出步骤，包括识别出的目标位置坐标或输出目标在双模态下剪裁出清晰图像的步骤，所述前端采集步骤，还包括，第一图像实时采集步骤，还包括用于对近红外摄像机的帧捕捉，实时获取近红外模态图像，并将图像送入第一图像亮度按照设定标准值评估步骤；所述第一图像亮度评估步骤，用于对近红外模态图像进行整体亮度评估，如果亮度达到设定标准值，即合格，送入第一图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第一采集反馈I调节近红外摄像机的曝光参数，直至亮度合格；第一图像清晰度按照设定标准值评估步骤，用于对近红外模态图像进行清晰度评估，如果清晰度达到设定标准值，即合格，送入第一图像分割处理步骤，如果清晰度过低或过高，未达到设定标准值，即不合格，则通过第一采集反馈II经过第一反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第一图像自动聚焦控制模块调整近红外摄像机的第一镜头参数，直至清晰度达到设定的标准值；第二图像实时采集步骤，用于对可见光摄像机的帧捕捉，实时获取可见光模态图像，并将图像送入第二图像亮度按照设定标准值评估评估步骤；所述第二图像亮度评估步骤，还包括用于对可见光模态图像进行整体亮度评估，如果亮度达到设定标准值，即合格，送入第二图像清晰度评估步骤，如果亮度过高或过低，未达到设定的标准值，即不合格，则通过第二采集反馈I调节可见光摄像机的曝光参数，直至亮度合格；所述第二图像清晰度评估按照设定标准值评估步骤，用于对可见光模态图像进行清晰度评估，如果清晰度达到设定标准值，即合格，送入第二图像分割处理步骤，如果清晰度过低，未达到设定标准值，即不合格，则通过第二采集反馈II经过第二反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第二图像自动聚焦控制模块调整可见光摄像机上第二镜头参数，直至达到设定标准值，清晰度合格；所述双模采集协调控制步骤，用于根据近红外和可见光两个模态图像的清晰度调节反馈输入量，按照设定的仲裁方案对两个模态的镜头进行协调控制，分别向所述第一图像自动对焦控制模块与第二图像自动对焦控制模块发送控制信息，以调整所述第一镜头与所述第二镜头的参数；所述第一图像自动聚焦控制模块，用于根据双模采集协调控制步骤所给出的控制信息，控制所述近红外镜头的电机调节第一镜头后焦距；所述第二图像自动聚焦控制步骤，用于根据双模采集协调控制步骤所给出的控制信息，控制所述可见光镜头的电机调节第二镜头后焦距，所述目标识别步骤还包括，第一图像分割处理步骤和第一目标识别处理步骤、第二图像分割处理步骤和第二目标识别处理步骤，所述第一图像分割处理步骤中对近红外模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第一目标识别处理步骤中对经过第一图像分割处理后得到的近红外模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤；所述第二图像分割处理步骤中对可见光模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；所述第二目标识别处理步骤，对经过第二图像分割处理后得到的可见光模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤，所述识别结果输出步骤，还包括：目标识别结果自校准步骤、第一结果输出步骤和第二结果输出步骤，所述目标识别结果自校准步骤中利用双模态信息融合策略对所述第一目标识别处理步骤中与第二目标识别处理步骤传入的备选目标区域进行空间匹配计算，若计算值满足既定阈值条件即为自校准成功，会将双模态下的目标位置信息分别传送至所述第一结果输出步骤与所述第二结果输出步骤；若计算值不满足既定阈值条件即为自校准不成功，则通过第一校准反馈将所述第二目标识别处理步骤中传入的备选目标区域信息传送至所述第一目标识别处理步骤,同时通过第二校准反馈步骤将所述第一目标识别处理步骤中传入的备选目标区域信息传送至所述第二目标识别处理步骤中，使两个目标识别处理结果在分别参考对方信息的基础上更新目标识别结果，并进行新一轮自校准；所述第一结果输出步骤，包括对外输出剪裁后目标的近红外模态图像或目标的位置坐标；所述第二结果输出步骤，包括对外输出剪裁后目标的可见光模态图像或目标的位置坐标。本发明能达到对目标细节特征分析高精准度的要求，提供了一种双模态下目标的高鲁棒跟踪方案，可同时采集并处理可见光与近红外两种模态的视频，通过图像质量自评估控制双模态下图像采集参数的自适应调整，自动获取目标高质量图像，根据双模态下目标区域分割与双模态融合识别的结果，在环境条件发生变化的前提下，仍具有较高的目标跟踪成功率和精准度，从而提高目标跟踪的鲁棒性。
本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员可以想到的任何变形、改进、替换均落入本发明的范围。
Claims (7)
1.一种双模双反馈自适应目标跟踪系统，包括，对摄像机进行图像采集处理的前端采集单元(100)，对所述前端采集单元(100)采集到的图像进行分割识别处理的目标识别单元(200)，对所述目标识别单元(200)的运算结果进行自校准并输出结果的输出单元(300)，其特征在于，所述前端采集单元(100)，包括和双模采集协调控制模块连接的近红外图像采集系统和可见光图像采集系统；
所述近红外图像采集系统，包括按照设定信号传输顺序连接的近红外摄像机、第一图像实时采集模块、第一图像亮度评估模块和第一图像清晰度评估模块，所述第一图像亮度评估模块和所述近红外摄像机之间有反馈连接，所述第一图像清晰度评估模块和双模采集协调控制模块的第一反馈接口之间有反馈连接，所述双模采集协调控制模块和第一图像自动聚焦控制模块连接，所述第一图像自动聚焦控制模块和所述近红外摄像机的第一镜头焦距驱动装置连接；
所述可见光图像采集系统，包括按照设定信号传输顺序连接的可见光摄像机、第二图像实时采集模块、第二图像亮度评估模块和第二图像清晰度评估模块，所述第二图像亮度评估模块和所述可见光摄像机之间有反馈连接，所述第二图像清晰度评估模块和所述双模采集协调控制模块的第二反馈接口之间有反馈连接，所述双模采集协调控制模块和第二图像自动聚焦控制模块连接，所述第二图像自动聚焦控制模块和所述可见光摄像机上的第二镜头焦距驱动装置连接；
所述目标识别单元(200)，包括和所述第一图像清晰度评估模块按照设定顺序连接的第一图像分割处理模块和第一图像识别处理模块；还包括和所述第二图像清晰度评估模块顺序连接的第二图像分割处理模块和第二图像识别处理模块；
所述输出单元(300)，包括分别和目标识别结果自校准模块进行信号传输的第一结果输出模块和第二结果输出模块；所述目标识别结果自校准模块与所述第一目标识别处理模块进行第一校准反馈和所述第二图像识别处理模块进行第二校准反馈；所述第一目标识别处理模块与所述目标识别结果自校准模块连接；所述第二目标识别处理模块与所述识别结果自校准模块连接。
2.根据权利要求1所述双模双反馈自适应目标跟踪系统，其特征在于，所述可见光摄像机上的第二镜头的焦距驱动装置和所述近红外摄像机上的第一镜头的焦距驱动装置为电机驱动。
3.一种根据权利要求1所述双模双反馈自适应目标跟踪系统的控制电路，包括按顺序串联的前端采集单元控制电路、目标识别单元控制电路和输出单元控制电路，其特征在于,所述前端采集单元控制电路，包括，
和近红外摄像机(112)串联连接的第一接口(411)，所述第一接口(411)分别和第一低压差分信号接收器(412)、第一摄像机控制发送器(413)和第一串口控制收发器(414)连接，所述第一低压差分信号接收器(412)、所述第一摄像机控制发送器(413)和所述第一串口控制收发器(414)并联后与现场可编程程门阵列(400)连接；
和可见光摄像机(122)电路串联连接的第二接口(421)，所述第二接口(421)分别和第二低压差分信号接收器(422)、第二摄像机控制发送器(423)和第二串口控制收发器(424)连接，所述第二低压差分信号接收器(422)、所述第二摄像机控制发送器(423)和所述第二串口控制收发器(424)并联后与所述现场可编程程门阵列(400)连接；
所述现场可编程程门阵列(400)分别和电平转换电路(434)、驱动电路(436)、视频数模转换芯片(438)、串行配置芯片(440)、开关输入与指示灯电路(431)、第一数据采集存储器(432)和第二数据采集存储器(433)信号传输，所述电平转换电路(434)和串行通讯接口(435)串联连接，所述驱动电路(436)和镜头电机接口(437)串联连接后再分别与第一镜头电路和第二镜头电路连接，所述视频数模转换芯片(438)和视频接口(439)串联连接，所述现场可编程程门阵列(400)和第一JTAG接口(441)双向信号传输；
所述目标识别单元控制电路包括，
和所述现场可编程程门阵列(400)连接的第一数字信号处理器(500)和第二数字信号处理器(600)，所述第一数字信号处理器(500)分别和第一FLASH存储器(502)、第一数据处理存储器(501)和第一以太网物理层收发器(503)连接，所述第二数字信号处理器(600)分别和第二FLASH存储器(602)、第二数据处理存储器(601)和第二以太网物理层收发器(603)连接，所述第一数字信号处理器(500)和所述第二数字信号处理器(600)与第二JTAG接口(700)双向信号传输；
所述输出单元控制电路，包括，
和所述第一以太网物理层收发器(503)串联连接的第一以太网接口(504)；
和所述第二以太网物理层收发器(603)串联连接的第二以太网接口(604)。
4.一种根据权利要求1所述系统的双模双反馈自适应目标跟踪的方法，包括：前端采集步骤、目标识别步骤和结果输出步骤，
所述前端采集步骤，包括同时使用可见光摄像机和近红外摄像机分别获取当时场景的可见光模态图像的步骤和近红外模态图像的步骤，并分别对两个模态图像的总体亮度与清晰度进行自评估的步骤，然后根据自评估结果分别进行的反馈和控制调整相应采集参数的步骤；
所述目标识别步骤，包括在亮度与清晰度指标均合格的两个模态的图像上分别进行区域分割的步骤，再根据两个模态的视场差异进行双模态图像内容关联并识别同一目标步骤；
所述结果输出步骤，包括识别出的目标位置坐标或输出目标在双模态下剪裁出清晰图像的步骤。
5.根据权利要求4所述双模双反馈自适应目标跟踪的方法，其特征在于，所述前端采集步骤，还包括，
第一图像实时采集步骤，还包括用于对近红外摄像机的帧捕捉，实时获取近红外模态图像，并将图像送入第一图像亮度评估步骤；
所述第一图像亮度评估步骤，用于对近红外模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第一图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第一采集反馈I调节近红外摄像机的曝光参数，直至亮度达到设定标准值；
第一图像清晰度评估步骤，用于对近红外模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第一图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第一采集反馈II经过第一反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第一图像自动聚焦控制模块调整近红外摄像机的第一镜头参数，直至清晰度达到设定标准值；
第二图像实时采集步骤，用于对可见光摄像机的帧捕捉，实时获取可见光模态图像，并将图像送入第二图像亮度评估步骤；
所述第二图像亮度评估步骤，还包括用于对可见光模态图像进行整体亮度按照设定标准值评估，如果亮度达到设定标准值，即合格，送入第二图像清晰度评估步骤，如果亮度未达到设定标准值，即不合格，则通过第二采集反馈I调节可见光摄像机的曝光参数，直至亮度达到设定标准值；
所述第二图像清晰度评估步骤，用于对可见光模态图像进行清晰度按照设定标准值评估，如果清晰度达到设定标准值，即合格，送入第二图像分割处理步骤，如果清晰度未达到设定标准值，即不合格，则通过第二采集反馈II经过第二反馈接口送入双模采集协调控制步骤，进行清晰度调整，并通过第二图像自动聚焦控制模块调整可见光摄像机上第二镜头参数，直至清晰度达到设定标准值；
所述双模采集协调控制步骤，用于根据近红外和可见光两个模态图像的清晰度按照设定标准值调节反馈输入量，按照设定的标准值对两个模态的镜头进行协调控制，分别向所述第一图像自动对焦控制模块与第二图像自动对焦控制模块发送控制信息，以调整所述第一镜头与所述第二镜头的参数；
所述第一图像自动聚焦控制模块，用于根据双模采集协调控制步骤所给出的控制信息，控制所述近红外镜头的电机调节第一镜头后焦距；
所述第二图像自动聚焦控制步骤，用于根据双模采集协调控制步骤所给出的控制信息，控制所述可见光镜头的电机调节第二镜头后焦距。
6.根据权利要求5所述双模双反馈自适应目标跟踪的方法，其特征在于，所述目标识别步骤还包括，第一图像分割处理步骤和第一目标识别处理步骤、第二图像分割处理步骤和第二目标识别处理步骤，
所述第一图像分割处理步骤中对近红外模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；
所述第一目标识别处理步骤中对经过第一图像分割处理后得到的近红外模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤；
所述第二图像分割处理步骤中对可见光模态图像进行图像分割处理，确定出一个或多个目标分割候选区域；
所述第二目标识别处理步骤，对经过第二图像分割处理后得到的可见光模态图像进行目标识别，确定备选跟踪结果传送至目标识别结果自校准步骤。
7.根据权利要求6所述双模双反馈自适应目标跟踪方法，其特征在于，所述识别结果输出步骤，还包括：目标识别结果自校准步骤、第一结果输出步骤和第二结果输出步骤，所述目标识别结果自校准步骤中利用双模态信息融合策略对所述第一目标识别处理步骤中与第二目标识别处理步骤传入的备选目标区域进行空间匹配计算，若计算值满足既定阈值条件即为自校准成功，会将双模态下的目标位置信息分别传送至所述第一结果输出步骤与所述第二结果输出步骤；若计算值不满足既定阈值条件即为自校准不成功，则通过第一校准反馈将所述第二目标识别处理步骤中传入的备选目标区域信息传送至所述第一目标识别处理步骤,同时通过第二校准反馈步骤将所述第一目标识别处理步骤中传入的备选目标区域信息传送至所述第二目标识别处理步骤中，使两个目标识别处理结果在分别参考对方信息的基础上更新目标识别结果，并进行新一轮自校准；
所述第一结果输出步骤，包括对外输出剪裁后目标的近红外模态图像或目标的位置坐标；
所述第二结果输出步骤，包括对外输出剪裁后目标的可见光模态图像或目标的位置坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410326505.7A CN104092987B (zh) | 2014-07-10 | 2014-07-10 | 一种双模双反馈自适应目标跟踪系统、控制电路及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410326505.7A CN104092987B (zh) | 2014-07-10 | 2014-07-10 | 一种双模双反馈自适应目标跟踪系统、控制电路及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104092987A true CN104092987A (zh) | 2014-10-08 |
| CN104092987B CN104092987B (zh) | 2017-06-09 |
Family
ID=51640664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410326505.7A Active CN104092987B (zh) | 2014-07-10 | 2014-07-10 | 一种双模双反馈自适应目标跟踪系统、控制电路及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104092987B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104270570A (zh) * | 2014-10-17 | 2015-01-07 | 北京英泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
| CN104506820A (zh) * | 2015-01-06 | 2015-04-08 | 成都新舟锐视科技有限公司 | 一种多目标智能跟踪系统 |
| CN104902182A (zh) * | 2015-05-28 | 2015-09-09 | 努比亚技术有限公司 | 一种实现连续自动对焦的方法和装置 |
| CN110136091A (zh) * | 2019-04-12 | 2019-08-16 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
| CN110381252A (zh) * | 2019-07-18 | 2019-10-25 | 湖南宏动光电有限公司 | 一种图形处理系统 |
| CN110413836A (zh) * | 2019-07-18 | 2019-11-05 | 湖南宏动光电有限公司 | 一种全景搜索系统 |
| CN110958376A (zh) * | 2019-12-27 | 2020-04-03 | 利卓创新（北京）科技有限公司 | 一种双波段云台联动智能相机及工作方法 |
| CN111711744A (zh) * | 2019-03-18 | 2020-09-25 | 北京沃东天骏信息技术有限公司 | 一种摄像头和图像处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6597800B1 (en) * | 1997-11-05 | 2003-07-22 | Bae Systems Plc | Automatic target recognition apparatus and process |
| CN103402044A (zh) * | 2013-08-07 | 2013-11-20 | 重庆大学 | 一种基于多源视频融合的目标识别与跟踪系统 |
| CN103503574A (zh) * | 2011-03-07 | 2014-01-08 | 齐德公司 | 一种有可变几何光束装置的led灯 |
| CN103593647A (zh) * | 2013-10-21 | 2014-02-19 | 王晓鹏 | 一种生物特征成像的方法与设备 |
| CN204013883U (zh) * | 2014-07-10 | 2014-12-10 | 公安部第一研究所 | 一种双模双反馈自适应目标跟踪系统和控制电路 |
-
2014
- 2014-07-10 CN CN201410326505.7A patent/CN104092987B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6597800B1 (en) * | 1997-11-05 | 2003-07-22 | Bae Systems Plc | Automatic target recognition apparatus and process |
| CN103503574A (zh) * | 2011-03-07 | 2014-01-08 | 齐德公司 | 一种有可变几何光束装置的led灯 |
| CN103402044A (zh) * | 2013-08-07 | 2013-11-20 | 重庆大学 | 一种基于多源视频融合的目标识别与跟踪系统 |
| CN103593647A (zh) * | 2013-10-21 | 2014-02-19 | 王晓鹏 | 一种生物特征成像的方法与设备 |
| CN204013883U (zh) * | 2014-07-10 | 2014-12-10 | 公安部第一研究所 | 一种双模双反馈自适应目标跟踪系统和控制电路 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104270570A (zh) * | 2014-10-17 | 2015-01-07 | 北京英泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
| CN104506820A (zh) * | 2015-01-06 | 2015-04-08 | 成都新舟锐视科技有限公司 | 一种多目标智能跟踪系统 |
| CN104902182A (zh) * | 2015-05-28 | 2015-09-09 | 努比亚技术有限公司 | 一种实现连续自动对焦的方法和装置 |
| CN104902182B (zh) * | 2015-05-28 | 2019-04-19 | 努比亚技术有限公司 | 一种实现连续自动对焦的方法和装置 |
| CN111711744A (zh) * | 2019-03-18 | 2020-09-25 | 北京沃东天骏信息技术有限公司 | 一种摄像头和图像处理方法 |
| CN110136091A (zh) * | 2019-04-12 | 2019-08-16 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
| CN110136091B (zh) * | 2019-04-12 | 2021-11-30 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
| CN110381252A (zh) * | 2019-07-18 | 2019-10-25 | 湖南宏动光电有限公司 | 一种图形处理系统 |
| CN110413836A (zh) * | 2019-07-18 | 2019-11-05 | 湖南宏动光电有限公司 | 一种全景搜索系统 |
| CN110958376A (zh) * | 2019-12-27 | 2020-04-03 | 利卓创新（北京）科技有限公司 | 一种双波段云台联动智能相机及工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104092987B (zh) | 2017-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104092987A (zh) | 一种双模双反馈自适应目标跟踪系统、控制电路及方法 | |
| US11398084B2 (en) | Method, apparatus and application system for extracting a target feature | |
| CN204013883U (zh) | 一种双模双反馈自适应目标跟踪系统和控制电路 | |
| CN102129558B (zh) | 基于普尔钦斑分析的虹膜采集方法 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN103402044A (zh) | 一种基于多源视频融合的目标识别与跟踪系统 | |
| WO2018161289A1 (zh) | 基于深度的控制方法、基于深度的控制装置和电子装置 | |
| CN103079034A (zh) | 一种感知拍摄方法及系统 | |
| WO2021073140A1 (zh) | 单目摄像机、图像处理系统以及图像处理方法 | |
| CN104834901A (zh) | 一种基于双目立体视觉的人脸检测方法、装置及系统 | |
| CN104143098B (zh) | 基于远红外线摄像头的夜间行人识别方法 | |
| CN106462737A (zh) | 用于浑浊性检测的系统和方法 | |
| CN107862658A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN104021382A (zh) | 一种眼部图像采集方法及其系统 | |
| KR20160047196A (ko) | 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법 | |
| CN110349114A (zh) | 应用于aoi设备的图像增强方法、装置及道路视频监控设备 | |
| CN109523474A (zh) | 一种基于雾天退化模型的低照度图像增强方法 | |
| WO2024051067A1 (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| CN104899836A (zh) | 一种基于近红外多光谱成像的雾天图像增强装置及方法 | |
| CN108182674A (zh) | 基于U-Net深度学习网络的粒度检测分析方法 | |
| CN108093170B (zh) | 用户拍照方法、装置及设备 | |
| CN111967319A (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN205071156U (zh) | 一种双光谱摄像机 | |
| CN103973952A (zh) | 四维人体识别装置 | |
| CN110837760B (zh) | 目标检测方法、用于目标检测的训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |