CN109558505A - 视觉搜索方法、装置、计算机设备及存储介质 - Google Patents

视觉搜索方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109558505A
CN109558505A CN201811392516.XA CN201811392516A CN109558505A CN 109558505 A CN109558505 A CN 109558505A CN 201811392516 A CN201811392516 A CN 201811392516A CN 109558505 A CN109558505 A CN 109558505A
Authority
CN
China
Prior art keywords
main body
frame image
visual search
tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811392516.XA
Other languages
English (en)
Inventor
张柳清
李国洪
邱鑫
高树会
张亚洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811392516.XA priority Critical patent/CN109558505A/zh
Publication of CN109558505A publication Critical patent/CN109558505A/zh
Priority to US17/041,411 priority patent/US11348254B2/en
Priority to PCT/CN2019/094248 priority patent/WO2020103462A1/zh
Priority to JP2020571638A priority patent/JP7204786B2/ja
Priority to EP19886874.7A priority patent/EP3885934A4/en
Priority to KR1020207035613A priority patent/KR102440198B1/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提出一种视觉搜索方法、装置、计算机设备及存储介质，其中，方法包括：接收第i帧图像，其中，i为正整数；提取所述第i帧图像中主体的位置和类别，并生成所述主体对应的检测框；在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，并根据所述跟踪结果对所述检测框进行调整。通过本方法，能够实现视频流中主体的跟踪，提高视觉搜索的连贯性，解决现有技术中视觉搜索无法对实时视频流中的主体进行识别并跟踪的技术问题。

Description

视觉搜索方法、装置、计算机设备及存储介质
技术领域
本申请涉及视觉搜索技术领域，尤其涉及一种视觉搜索方法、装置、计算机设备及存储介质。
背景技术
视觉搜索是一种以图像、视频等视觉内容作为搜索输入源，利用视觉识别技术，对输入的视觉内容进行识别、检索后，返回图像、文字等多种形态的搜索结果的技术。随着视觉识别技术的不断发展，越来越多的用户在移动终端上通过视觉搜索技术，来获知周边物体的信息。
然而，目前的视觉搜索产品不够完善，无法对实时视频流中的主体进行识别并跟踪。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种视觉搜索方法、装置、计算机设备及存储介质，用于解决现有技术中视觉搜索无法对实时视频流中的主体进行识别并跟踪的技术问题。
为达上述目的，本申请第一方面实施例提出了一种视觉搜索方法，包括：
接收第i帧图像，其中，i为正整数；
提取所述第i帧图像中主体的位置和类别，并生成所述主体对应的检测框；以及
在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，并根据所述跟踪结果对所述检测框进行调整。
本申请实施例的视觉搜索方法，通过接收第i帧图像，提取第i帧图像中主体的位置和类别，并生成主体对应的检测框，在第i帧图像的后续帧图像中根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。由此，通过根据第i帧图像中主体的位置在后续帧中对主体进行跟踪，并根据跟踪结果对检测框进行调整，实现了视频流中主体的跟踪，提高了视觉搜索的连贯性。
为达上述目的，本申请第二方面实施例提出了一种视觉搜索装置，包括：
接收模块，用于接收第i帧图像，其中，i为正整数；
提取模块，用于提取所述第i帧图像中主体的位置和类别，并生成所述主体对应的检测框；以及
跟踪模块，用于在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，并根据所述跟踪结果对所述检测框进行调整。
本申请实施例的视觉搜索装置，通过接收第i帧图像，提取第i帧图像中主体的位置和类别，并生成主体对应的检测框，在第i帧图像的后续帧图像中根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。由此，通过根据第i帧图像中主体的位置在后续帧中对主体进行跟踪，并根据跟踪结果对检测框进行调整，实现了视频流中主体的跟踪，提高了视觉搜索的连贯性。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的视觉搜索方法。
为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的视觉搜索方法。
为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面实施例所述的视觉搜索方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种视频搜索方法的流程示意图；
图2为本申请实施例所提供的另一种视频搜索方法的流程示意图；
图3为本申请实施例所提供的又一种视觉搜索方法的流程示意图；
图4为本申请实施例所提供的再一种视觉搜索方法的流程示意图；
图5为本申请一实施例的视觉搜索方法的实现过程示意图；
图6为视觉搜索的单帧图像时序图；
图7为本申请实施例所提供的一种视觉搜索装置的结构示意图；
图8为本申请实施例所提供的另一种视觉搜索装置的结构示意图；
图9为本申请实施例所提供的又一种视觉搜索装置的结构示意图；
图10为本申请实施例所提供的再一种视觉搜索装置的结构示意图；以及
图11为本申请实施例所提供的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的视觉搜索方法、装置、计算机设备及存储介质。
目前的视觉搜索产品，存在如下不足：
(1)操作过程繁琐。用户使用移动终端进行视觉搜索时，需要打开相机对准目标主体进行拍照并保存图像至移动终端的相册中，再从相册中选择图像，通过网络将图像上传至视觉搜索服务器进行视觉搜索。
(2)视觉搜索耗时长。用于视觉搜索的图像需要经网络传输至视觉搜索服务器，由视觉搜索服务器对图像中的主体进行检测、识别后，将主体的位置、识别结果返回给移动终端。
(3)仅能识别图像中的单一主体。
(4)无法对实时视频流中的主体进行识别并在后续视频流中保持住识别结果。
为了解决视觉搜索产品中存在的上述问题中的至少一个，本申请提出了一种视觉搜索方法。图1为本申请实施例所提供的一种视觉搜索方法的流程示意图，该方法可以应用于手机、平板电脑、笔记本电脑等移动终端中。
如图1所示，该视觉搜索方法可以包括以下步骤：
步骤101，接收第i帧图像，其中，i为正整数。
其中，第i帧图像为实时视频流中的一帧图像。
当用户想要获取周边物体的信息时，用户可以通过移动终端的视觉搜索功能来获取周边物体的信息。移动终端启动摄像头采集周边物体的视频流，并从视频流中接收第i帧图像，其中，i为正整数。
当用户想要获取多个物体的信息时，用户可以采集包含多个物体的视频流，在拍摄时，用户只需要启动相机对准目标物体即可，而无需手动点击拍摄按键，也无需从相册中选择图像并上传，从而简化了视觉搜索的操作过程。
步骤102，提取第i帧图像中主体的位置和类别，并生成主体对应的检测框。
本实施例中，接收到第i帧图像后，即可对第i帧图像进行检测和识别，提取出第i帧图像中主体的位置和类别，并生成主体对应的检测框。
在本申请实施例一种可能的实现方式中，移动终端对接收的第i帧图像进行检测时，可以采用基于深度学习的物体检测模型实现，配置好物体检测模型的相关参数之后，将接收的第i帧图像输入至物体检测模型中，由物体检测模型对第i帧图像中包含的主体进行检测，输出第i帧图像中主体的位置。
移动终端对第i帧图像进行识别时，可以根据第i帧图像中包含的主体选择合适的识别算法，当第i帧图像中包含二维码时，可以调用二维码识别算法，当第i帧图像中包含植物、动物等物体时，可以调用物体分类识别算法。
作为一种可能的实现方式，移动终端可以采用基于深度学习的主体分类模型对第i帧图像中包含的主体进行识别，配置好主体分类模型的相关参数之后，将接收的第i帧图像输入至主体分类模型，由主体分类模型对第i帧图像中包含的主体进行分类识别，输出第i帧图像中主体的类别，其中，类别中包括主体的识别结果。
通过由移动终端对第i帧图像中的主体进行检测和识别，避免了移动终端与服务器之间的数据交换，减少了等待时长，从而降低了耗时。
对第i帧图像中的主体进行检测得到主体的位置，以及对主体进行识别得到主体的类别之后，可以根据主体的位置和类别生成主体对应的检测框，其中，检测框携带主体的识别结果。
在本申请实施例一种可能的实现方式中，主体为多个，且检测框为多个。移动终端采集的视频流中，第i帧图像中可以包括多个主体，利用基于深度学习的物体检测模型和主体分类模型，可以同时对第i帧图像中的多个主体进行检测和识别，并针对每个主体，根据该主体对应的位置和类别，生成与该主体对应的检测框。由此，实现了同时对图像中的多个主体进行识别，提高了视觉搜索效率，解决了现有技术中仅能识别单一主体的问题。
步骤103，在第i帧图像的后续帧图像中根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。
视频流包含多帧图像，当第i帧图像不是视频流中的最后一帧图像时，第i帧图像之后还有至少一帧后续帧图像。从而，本实施例中，还可以在第i帧图像的后续帧图像中，根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。
例如，可以根据第i帧图像中主体的位置，采用相关的目标跟踪算法，在第i帧图像的后续帧图像中，跟踪主体的位置。当在后续帧图像中跟踪到主体时，可以根据跟踪到的主体的位置即跟踪结果，对检测框进行调整。
作为一种示例，可以采用基于目标检测的跟踪算法，对接收到的后续帧图像进行目标检测，并将检测到的主体位置与第i帧图像中主体的位置进行比较，当两者不一致时，根据后续帧图像中主体的位置对检测框进行调整。
在本申请实施例一种可能的实现方式中，当第i帧中的主体为多个时，可以利用唯一标识符作为主体识别码，来区分不同的主体，进而在进行主体跟踪时，根据主体识别码对主体进行跟踪，以及调整对应的检测框。
本实施例的视觉搜索方法，通过接收第i帧图像，提取第i帧图像中主体的位置和类别，并生成主体对应的检测框，在第i帧图像的后续帧图像中根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。由此，通过根据第i帧图像中主体的位置在后续帧中对主体进行跟踪，并根据跟踪结果对检测框进行调整，实现了视频流中主体的跟踪，提高了视觉搜索的连贯性。
视频流中包含多帧图像，每一帧图像中包括的主体可能不同，为了在视频流中的主体发生变化时仍能对主体进行识别和跟踪，本申请提出了另一种视频搜索方法。图2为本申请实施例所提供的另一种视频搜索方法的流程示意图。
如图2所示，在如图1所示实施例的基础上，该视觉搜索方法，还可以包括以下步骤：
步骤201，接收第i+M帧图像，其中，M为正整数。
移动终端对视频流进行主体识别和跟踪的过程中，移动终端持续获取视频流中的图像帧。
步骤202，判断第i+M帧图像中的主体相对于第i帧图像中的主体是否发生变化。
步骤203，如果发生变化，则根据在第i+M帧图像中检测到的主体重新生成检测框，并重新进行跟踪。
本实施例中，移动终端接收到第i帧图像，并对第i帧图像中的主体进行检测和识别，在检测和识别的过程中，移动终端持续获取第i帧图像的后续帧图像。对于接收到的第i+M帧图像，移动终端对第i+M帧图像进行主体检测和识别，并将在第i+M帧中识别到的主体与第i帧图像中的主体进行比较，判断第i+M帧图像中的主体相对于第i帧图像中的主体是否发生变化。
当获知第i+M帧图像中的主体相对于第i帧图像中的主体发生变化时，则根据在第i+M帧图像中检测到的主体重新生成检测框，并重新进行跟踪。
具体地，当第i+M帧图像中的主体至少有一个与第i帧中的主体不同时，则根据在第i+M帧图像中对主体进行检测得到的主体的位置，以及对主体进行识别得到的主体的类别，在第i帧图像中重新生成主体对应的检测框，并在第i+M帧图像的后续帧图像中对主体进行跟踪。
本实施例的视觉搜索方法，通过判断接收的第i+M帧图像中主体相对于第i帧图像中的主体是否发生变化，并在发生变化时根据在第i+M帧图像中检测到的主体重新生成检测框，并重新进行跟踪，由此，实现了在视频流中出现新的主体时，对新出现主体的识别和跟踪，提升了用户体验。
为了更加清楚地描述前述实施例中对主体进行跟踪的具体实现过程，本申请提出了另一种视觉搜索方法，图3为本申请实施例所提供的又一种视觉搜索方法的流程示意图。
如图3所示，在如图1所示实施例的基础上，步骤103可以包括以下步骤：
步骤301，获取第i帧图像之后的第i+n帧图像，其中，n为正整数。
步骤302，在第i+n帧图像中根据主体的位置对主体进行跟踪。
本实施例中，移动终端接收到第i帧图像之后，对第i帧图像进行检测和识别的过程中，还获取第i帧图像之后的图像帧。移动终端对接收到的第i+n帧图像进行主体检测和识别，得到第i+n帧图像中主体的位置和类别，进而在第i+n帧图像中根据主体的位置对主体进行跟踪。
由于移动终端对第i帧图像进行检测和识别的过程中，持续获取第i帧图像的后续帧图像，而在后续帧图像中对主体进行跟踪时，需要依据第i帧图像中检测的主体的位置进行跟踪，根据第i帧图像中主体的位置进行跟踪初始化，因此，可能存在当移动终端接收到第i+n-1帧图像时，尚未检测到第i帧图像中主体的位置的情况，此时则无法在第i+1帧图像至第i+n-1帧图像中对主体进行跟踪。
在本申请实施例一种可能的实现方式中，可以获取第i+1帧图像至第i+n-1帧图像之间的图像帧，并作为参考图像帧，根据参考图像帧对主体的跟踪进行校验。比如，比较第i+n帧图像中主体的位置相对于第i+n-1帧中主体的位置的变化范围，是否与第i+n-1帧图像中主体的位置相对于第i+n-2帧中主体的位置的变化范围在允许误差范围内，若在，则验证主体跟踪准确。由此，能够提高主体跟踪的准确率。
本实施例的视觉搜索方法，通过获取第i帧图像之后的第i+n帧图像，在第i+n帧图像中根据主体的位置对主体进行跟踪，提高了视觉搜索的连贯性。
为了更加清楚地描述前述实施例中对主体进行跟踪的具体实现过程，本申请提出了另一种视觉搜索方法，图4为本申请实施例所提供的再一种视觉搜索方法的流程示意图。
如图4所示，在如图1所示实施例的基础上，步骤103可以包括以下步骤：
步骤401，获取后续帧图像的亮度。
本实施例中，获取到第i帧图像的后续帧图像之后，可以获取后续图像帧的光照强度。
由于图像亮度本质上是图像中每个像素的亮度，而每个像素的亮度本质上是RGB值的大小，当RGB值为0时，像素点为黑色，亮度最低，当RGB值为255时，像素点为白色，亮度最高。从而，本实施例中，对于接收的后续帧图像，可以获取图像的像素值作为图像的亮度。
步骤402，当连续两帧图像的亮度的差值大于或等于第一预设阈值时，调用KCF跟踪算法根据第i帧图像中主体的位置对主体进行跟踪。
步骤403，当连续两帧图像的亮度的差值小于第一预设阈值时，调用光流跟踪算法根据第i帧图像中主体的位置对主体进行跟踪。
其中，第一预设阈值可以预先设定。
本实施例中，每接收到一帧图像，可以获取该图像的亮度并记录该亮度，并将该图像的亮度与前一帧图像的亮度进行比较，获取两帧图像的亮度的差值，当连续两帧图像的亮度的差值大于或等于第一预设阈值时，则调用角化相关滤波器(KernelizedCorrelation Filters，KCF)跟踪算法，根据第i帧图像中主体的位置对主体进行跟踪。
KCF跟踪算法使用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，以及利用循环矩阵在傅里叶空间可对角化的性质，将矩阵的运算转化为元素的点乘，从而大大降低运算量，提高运算速度，使算法满足实时性要求。
当连续两帧图像的亮度的差值小于第一预设阈值时，则调用光流跟踪算法，根据第i帧图像中主体的位置对主体进行跟踪。
光流跟踪算法的原理是：对一个连续的视频帧序列进行处理，针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标，如果某一帧出现了前景目标，找到其具有代表性的关键特征点(可以随机产生，也可以利用角点作为特征点)；对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标，如此迭代，即可实现目标的跟踪。光流跟踪算法适用于光照强度较小时的目标跟踪。
本实施例的视觉搜索方法，通过获取后续帧图像的亮度，当连续两帧图像的亮度的差值大于或等于第一预设阈值时，调用KCF跟踪算法根据第i帧图像中主体的位置对主体进行跟踪，当连续两帧图像的亮度的差值小于第一预设阈值时，调用光流跟踪算法根据第i帧图像中主体的位置对主体进行跟踪，由此，能够提高主体跟踪的准确度和精度，提高主体跟踪效果。
图5为本申请一实施例的视觉搜索方法的实现过程示意图。图6为视觉搜索的单帧图像时序图。
如图5所示，首先对图1做主体检测获取主体的位置，在主体检测期间，不会进行跟踪初始化，因此图2至图n-1的图像不会用于主体跟踪，这部分图像可以用于跟踪校验。对图1完成主体检测后，将获取的主体的位置按照主体识别码存储在内存中，即进行主体信息更新，并根据主体的位置进行跟踪初始化。当接收到图n时，此时跟踪初始化完毕，则对图n进行主体跟踪，以及对后续图像进行主体跟踪，直至再次进行主体检测(如图5中对图m进行主体检测)，并根据新的检测结果再次进行跟踪初始化。跟踪处理完成后，主体的位置得到更新，并根据主体标识码对内存中存储的主体的位置进行更新。移动终端根据主体的位置进行主体框选，并对主体进行识别，比如物体分类识别、文字识别、二维码识别等等。当识别完成后，根据主体识别码将识别结果存储在内存中。每次内存中的主体信息(包括主体位置、识别结果)发生更新时，移动终端根据更新后的主体信息在视频流取景界面中进行视图渲染，将主体的位置和主体的识别结果通过检测框的方式显示在对应的主体上，达到视觉搜索的目的。
如图6所示，对于图片1，根据检测配置信息选择合适的检测方法进行主体检测，得到主体的位置，以检测框的形式反馈到接口层，即在图片1中框选出主体的位置。根据识别配置信息选择合适的识别方法，对图片1中检测框框选的主体进行主体识别，并将识别结果由总调度反馈至接口层，即在图片1中显示出主体对应的识别结果。对于图片2，则根据检测配置信息选择合适的跟踪方法，利用确定的跟踪方法，根据图片1中主体的位置对图片2进行主体跟踪，并由总调度返回跟踪结果至接口层，将跟踪结果和识别结果显示在图片2中。
为了实现上述实施例，本申请还提出一种视觉搜索装置。
图7为本申请实施例所提供的一种视觉搜索装置的结构示意图。
如图7所示，该视觉搜索装置50包括：接收模块510、提取模块520，以及跟踪模块530。其中，
接收模块510，用于接收第i帧图像，其中，i为正整数。
提取模块520，用于提取第i帧图像中主体的位置和类别，并生成主体对应的检测框。
在本申请实施例一种可能的实现方式中，主体为多个，且检测框为多个。
跟踪模块530，用于在第i帧图像的后续帧图像中根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。
在本申请实施例一种可能的实现方式中，如图8所示，在如图7所示实施例的基础上，该视觉搜索装置50还包括：
判断模块540，用于判断第i+M帧图像中的主体相对于第i帧图像中的主体是否发生变化。
其中，M为正整数。
本实施例中，当接收模块510接收到第i+M帧图像时，提取模块520提取第i+M帧图像中主体的位置和类别。判断模块540判断第i+M帧图像中的主体相对于第i帧图像中的主体是否发生变化，当判定发生变化时，则由提取模块540根据在第i+M帧图像中检测到的主体重新生成检测框，并由跟踪模块530重新进行跟踪。
通过判断接收的第i+M帧图像中主体相对于第i帧图像中的主体是否发生变化，并在发生变化时根据在第i+M帧图像中检测到的主体重新生成检测框，并重新进行跟踪，由此，实现了在视频流中出现新的主体时，对新出现主体的识别和跟踪，提升了用户体验。
在本申请实施例一种可能的实现方式中，如图9所示，在如图7所示实施例的基础上，跟踪模块530包括：
获取单元531，用于获取后续帧图像的亮度。
跟踪单元532，用于当连续两帧图像的亮度的差值大于或等于第一预设阈值时，调用KCF跟踪算法根据第i帧图像中主体的位置对主体进行跟踪。
跟踪单元532还用于当连续两帧图像的亮度的差值小于第一预设阈值时，调用光流跟踪算法根据第i帧图像中主体的位置对主体进行跟踪。
通过获取后续帧图像的亮度，当连续两帧图像的亮度的差值大于或等于第一预设阈值时，调用KCF跟踪算法根据第i帧图像中主体的位置对主体进行跟踪，当连续两帧图像的亮度的差值小于第一预设阈值时，调用光流跟踪算法根据第i帧图像中主体的位置对主体进行跟踪，由此，能够提高主体跟踪的准确度和精度，提高主体跟踪效果。
在本申请实施例一种可能的实现方式中，如图10所示，在如图7所示实施例的基础上，跟踪模块530包括：
图像获取单元533，用于获取第i帧图像之后的第i+n帧图像，其中，n为正整数。
主体跟踪单元534，用于在第i+n帧图像中根据主体的位置对主体进行跟踪。
进一步地，在本申请实施例一种可能的实现方式中，图像获取单元533还用于获取第i+1帧图像至第i+n-1帧图像之间的图像帧，并作为参考图像帧。主体跟踪单元534还用于根据参考图像帧对主体的跟踪进行校验。由此，能够提高主体跟踪的准确率。
需要说明的是，前述对视觉搜索方法实施例的解释说明也适用于该实施例的视觉搜索装置，其实现原理类似，此处不再赘述。
本申请实施例的视觉搜索装置，通过接收第i帧图像，提取第i帧图像中主体的位置和类别，并生成主体对应的检测框，在第i帧图像的后续帧图像中根据第i帧图像中主体的位置对主体进行跟踪，并根据跟踪结果对检测框进行调整。由此，通过根据第i帧图像中主体的位置在后续帧中对主体进行跟踪，并根据跟踪结果对检测框进行调整，实现了视频流中主体的跟踪，提高了视觉搜索的连贯性。
为了实现上述实施例，本申请还提出一种计算机设备，包括：处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的视觉搜索方法。
图11为本申请实施例所提供的计算机设备的结构示意图，示出了适于用来实现本申请实施方式的示例性计算机设备90的框图。图11显示的计算机设备90仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机设备90以通用计算机设备的形式表现。计算机设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元906，系统存储器910，连接不同系统组件(包括系统存储器910和处理单元906)的总线908。
总线908表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器910可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)911和/或高速缓存存储器912。计算机设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统913可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnly Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线908相连。系统存储器910可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
具有一组(至少一个)程序模块9140的程序/实用工具914，可以存储在例如系统存储器910中，这样的程序模块9140包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9140通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备90也可以与一个或多个外部设备10(例如键盘、指向设备、显示器100等)通信，还可与一个或者多个使得用户能与该终端设备90交互的设备通信，和/或与使得该计算机设备90能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口902进行。并且，计算机设备90还可以通过网络适配器900与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图11所示，网络适配器900通过总线908与计算机设备90的其它模块通信。应当明白，尽管图11中未示出，可以结合计算机设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元906通过运行存储在系统存储器910中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的视觉搜索方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的视觉搜索方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如前述实施例所述的视觉搜索方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，以及光纤装置。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种视觉搜索方法，其特征在于，包括：
接收第i帧图像，其中，i为正整数；
提取所述第i帧图像中主体的位置和类别，并生成所述主体对应的检测框；以及
在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，并根据所述跟踪结果对所述检测框进行调整。
2.如权利要求1所述的视觉搜索方法，其特征在于，还包括：
接收第i+M帧图像，其中，M为正整数；
判断所述第i+M帧图像中的主体相对于所述第i帧图像中的主体是否发生变化；
如果发生变化，则根据在所述第i+M帧图像中检测到的主体重新生成检测框，并重新进行跟踪。
3.如权利要求1所述的视觉搜索方法，其特征在于，所述在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，包括：
获取所述第i帧图像之后的第i+n帧图像，其中，n为正整数；
在所述第i+n帧图像中根据主体的位置对所述主体进行跟踪。
4.如权利要求3所述的视觉搜索方法，其特征在于，还包括：
获取所述第i+1帧图像至第i+n-1帧图像之间的图像帧，并作为参考图像帧；
根据所述参考图像帧对所述主体的跟踪进行校验。
5.如权利要求1所述的视觉搜索方法，其特征在于，所述主体为多个，且所述检测框为多个。
6.如权利要求1所述的视觉搜索方法，其特征在于，在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，包括：
获取后续帧图像的亮度；
当连续两帧图像的亮度的差值大于或等于第一预设阈值时，调用KCF跟踪算法根据所述第i帧图像中主体的位置对所述主体进行跟踪；
当连续两帧图像的亮度的差值小于所述第一预设阈值时，调用光流跟踪算法根据所述第i帧图像中主体的位置对所述主体进行跟踪。
7.一种视觉搜索装置，其特征在于，包括：
接收模块，用于接收第i帧图像，其中，i为正整数；
提取模块，用于提取所述第i帧图像中主体的位置和类别，并生成所述主体对应的检测框；以及
跟踪模块，用于在所述第i帧图像的后续帧图像中根据所述第i帧图像中主体的位置对所述主体进行跟踪，并根据所述跟踪结果对所述检测框进行调整。
8.如权利要求7所述的视觉搜索装置，其特征在于，所述跟踪模块，包括：
获取单元，用于获取后续帧图像的亮度；
跟踪单元，用于当连续两帧图像的亮度的差值大于或等于第一预设阈值时，调用KCF跟踪算法根据所述第i帧图像中主体的位置对所述主体进行跟踪；
所述跟踪单元，还用于当连续两帧图像的亮度的差值小于所述第一预设阈值时，调用光流跟踪算法根据所述第i帧图像中主体的位置对所述主体进行跟踪。
9.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-6中任一项所述的视觉搜索方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的视觉搜索方法。
CN201811392516.XA 2018-11-21 2018-11-21 视觉搜索方法、装置、计算机设备及存储介质 Pending CN109558505A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811392516.XA CN109558505A (zh) 2018-11-21 2018-11-21 视觉搜索方法、装置、计算机设备及存储介质
US17/041,411 US11348254B2 (en) 2018-11-21 2019-07-01 Visual search method, computer device, and storage medium
PCT/CN2019/094248 WO2020103462A1 (zh) 2018-11-21 2019-07-01 视觉搜索方法、装置、计算机设备及存储介质
JP2020571638A JP7204786B2 (ja) 2018-11-21 2019-07-01 視覚的検索方法、装置、コンピュータ機器及び記憶媒体
EP19886874.7A EP3885934A4 (en) 2018-11-21 2019-07-01 VIDEO SEARCH METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIUM
KR1020207035613A KR102440198B1 (ko) 2018-11-21 2019-07-01 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811392516.XA CN109558505A (zh) 2018-11-21 2018-11-21 视觉搜索方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN109558505A true CN109558505A (zh) 2019-04-02

Family

ID=65867026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811392516.XA Pending CN109558505A (zh) 2018-11-21 2018-11-21 视觉搜索方法、装置、计算机设备及存储介质

Country Status (6)

Country Link
US (1) US11348254B2 (zh)
EP (1) EP3885934A4 (zh)
JP (1) JP7204786B2 (zh)
KR (1) KR102440198B1 (zh)
CN (1) CN109558505A (zh)
WO (1) WO2020103462A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062272A (zh) * 2019-04-30 2019-07-26 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN111008305A (zh) * 2019-11-29 2020-04-14 百度在线网络技术（北京）有限公司 一种视觉搜索方法、装置以及电子设备
WO2020103462A1 (zh) * 2018-11-21 2020-05-28 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108154159A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于多级检测器的具有自恢复能力的目标跟踪方法
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN108665476A (zh) * 2017-03-31 2018-10-16 华为数字技术（苏州）有限公司 一种行人跟踪方法以及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05205052A (ja) * 1992-01-23 1993-08-13 Matsushita Electric Ind Co Ltd 自動追尾装置
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
KR101599871B1 (ko) * 2009-02-11 2016-03-04 삼성전자주식회사 촬상 장치 및 촬상 방법
JP5258651B2 (ja) 2009-03-25 2013-08-07 株式会社東芝 物体検出装置、物体検出方法、及び、プログラム
JP2010231254A (ja) 2009-03-25 2010-10-14 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP5208893B2 (ja) 2009-09-14 2013-06-12 セコム株式会社 移動物体追跡装置
US8744125B2 (en) * 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification
JP2016207140A (ja) 2015-04-28 2016-12-08 Kddi株式会社 映像解析装置、映像解析方法、およびプログラム
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
EP3312762B1 (en) * 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems
CN108764338B (zh) * 2018-05-28 2021-05-04 上海应用技术大学 一种应用于视频分析的行人跟踪方法
CN108810616B (zh) * 2018-05-31 2019-06-14 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
US10726264B2 (en) * 2018-06-25 2020-07-28 Microsoft Technology Licensing, Llc Object-based localization
CN108830246B (zh) * 2018-06-25 2022-02-15 中南大学 一种交通环境行人多维运动特征视觉提取方法
CN109558505A (zh) * 2018-11-21 2019-04-02 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN108665476A (zh) * 2017-03-31 2018-10-16 华为数字技术（苏州）有限公司 一种行人跟踪方法以及电子设备
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108154159A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于多级检测器的具有自恢复能力的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱明敏 等: "基于相关滤波器的长时视觉目标跟踪方法", 《计算机应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103462A1 (zh) * 2018-11-21 2020-05-28 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质
CN110062272A (zh) * 2019-04-30 2019-07-26 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
WO2020220968A1 (zh) * 2019-04-30 2020-11-05 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN110062272B (zh) * 2019-04-30 2021-09-28 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
US11900614B2 (en) 2019-04-30 2024-02-13 Tencent Technology (Shenzhen) Company Limited Video data processing method and related apparatus
CN111008305A (zh) * 2019-11-29 2020-04-14 百度在线网络技术（北京）有限公司 一种视觉搜索方法、装置以及电子设备
US11704813B2 (en) 2019-11-29 2023-07-18 Baidu Online Network Technology (Beijing) Co., Ltd. Visual search method, visual search device and electrical device

Also Published As

Publication number Publication date
WO2020103462A1 (zh) 2020-05-28
KR20210008075A (ko) 2021-01-20
JP2021528767A (ja) 2021-10-21
KR102440198B1 (ko) 2022-09-02
EP3885934A1 (en) 2021-09-29
US20210012511A1 (en) 2021-01-14
JP7204786B2 (ja) 2023-01-16
US11348254B2 (en) 2022-05-31
EP3885934A4 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
Huh et al. Fighting fake news: Image splice detection via learned self-consistency
CN107545241B (zh) 神经网络模型训练及活体检测方法、装置及存储介质
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
US9317732B2 (en) Method and apparatus of determining air quality
US10970334B2 (en) Navigating video scenes using cognitive insights
US8879894B2 (en) Pixel analysis and frame alignment for background frames
US20230376527A1 (en) Generating congruous metadata for multimedia
CN109214238A (zh) 多目标跟踪方法、装置、设备及存储介质
CN109948542A (zh) 手势识别方法、装置、电子设备和存储介质
Wang et al. A benchmark for clothes variation in person re‐identification
US11087137B2 (en) Methods and systems for identification and augmentation of video content
CN109558505A (zh) 视觉搜索方法、装置、计算机设备及存储介质
CN111209897A (zh) 视频处理的方法、装置和存储介质
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
US20190147226A1 (en) Method, system and apparatus for matching a person in a first image to a person in a second image
CN105608209A (zh) 一种视频标注方法和视频标注装置
CN109902658A (zh) 行人特征识别方法、装置、计算机设备和存储介质
CN113255516A (zh) 活体检测方法、装置和电子设备
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
Shuai et al. Large scale real-world multi-person tracking
CN110874554A (zh) 动作识别方法、终端设备、服务器、系统及存储介质
CN113743160A (zh) 活体检测的方法、装置以及存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
JP2018045517A (ja) 付与装置、付与方法および付与プログラム
CN106650252A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination