CN110097576B - 图像特征点的运动信息确定方法、任务执行方法和设备 - Google Patents

图像特征点的运动信息确定方法、任务执行方法和设备 Download PDF

Info

Publication number
CN110097576B
CN110097576B CN201910356752.4A CN201910356752A CN110097576B CN 110097576 B CN110097576 B CN 110097576B CN 201910356752 A CN201910356752 A CN 201910356752A CN 110097576 B CN110097576 B CN 110097576B
Authority
CN
China
Prior art keywords
pixel
target
image
points
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910356752.4A
Other languages
English (en)
Other versions
CN110097576A (zh
Inventor
凌永根
张晟浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910356752.4A priority Critical patent/CN110097576B/zh
Publication of CN110097576A publication Critical patent/CN110097576A/zh
Priority to PCT/CN2020/085000 priority patent/WO2020221012A1/zh
Priority to EP20798875.9A priority patent/EP3965060A4/en
Priority to JP2021529019A priority patent/JP7305249B2/ja
Priority to US17/323,740 priority patent/US11978219B2/en
Application granted granted Critical
Publication of CN110097576B publication Critical patent/CN110097576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像特征点的运动信息确定方法、任务执行方法和设备，属于互联网技术领域。该图像特征点的运动信息确定方法包括：确定第一图像和第二图像，基于该第一图像中该对象上的目标特征点，确定该第一图像中包括该目标特征点的第一像素区域；根据该第一像素区域中多个第一像素点的像素差异以及该目标特征点，确定该第一图像中包括该目标特征点的第二像素区域；根据该多个第二像素点和该第二图像，获取该目标特征点的运动信息。通过基于第一像素区域，获取了像素差异大于第一像素区域且像素点数量不变的第二像素区域，平衡了计算复杂度和信息丰富程度，保证目标特征点运动信息的准确性的前提下，提高了确定目标特征点运动信息的效率。

Description

图像特征点的运动信息确定方法、任务执行方法和设备
技术领域
本发明涉及互联网技术领域，特别涉及一种图像特征点的运动信息确定方法、任务执行方法和设备。
背景技术
随着互联网技术的发展，特征点跟踪技术在移动机器人、虚拟现实等多种场景中广泛应用。特征点跟踪技术是分析同一特征点在连续多帧图像中位置变化情况的过程。本领域中，通常采用运动信息来描述特征点在不同图像的位置变化过程。
相关技术中，以确定特征点从视频中当前帧图像到后一帧图像的运动信息为例，图像特征点的运动信息确定过程可以包括：计算机设备获取当前帧图像中特征点所在的像素区域，为了使得结果准确，该像素区域通常会选取的较大。该计算机设备基于多个像素区域内多个像素点和后一帧图像中多个对应像素区域内多个像素点，采用高斯牛顿算法，确定能够使得前后两帧图像中两个像素区域的像素差异最小的运动信息，作为该特征点的运动信息。
上述确定过程中，由于所选取的像素区域较大，需要计算的像素点数量较大，导致上述图像特征点的运动信息确定过程的效率较低。
发明内容
本发明实施例提供了一种图像特征点的运动信息确定方法、任务执行方法和设备，能够解决运动信息确定过程的效率较低的问题。所述技术方案如下：
一方面，提供了一种图像特征点的运动信息确定方法，所述方法包括：
确定第一图像和第二图像，所述第一图像和所述第二图像包括相同的对象；
基于所述第一图像中所述对象上的目标特征点，确定所述第一图像中包括所述目标特征点的第一像素区域；
根据所述第一像素区域中多个第一像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域，所述第二像素区域中多个第二像素点的像素差异大于所述多个第一像素点的像素差异，所述多个第二像素点与所述多个第一像素点的数量相同，所述像素差异用于指示多个像素点的像素值的变化程度；
根据所述多个第二像素点和所述第二图像，获取所述目标特征点的运动信息，所述运动信息用于指示所述目标特征点在所述第一图像和所述第二图像的位置变化。
另一方面，提供了一种任务执行方法，所述方法包括：
获取第一图像和第二图像，所述第一图像和所述第二图像包括相同的对象；
获取所述第一图像中所述对象上的目标特征点的运动信息，所述运动信息用于指示所述目标特征点在所述第一图像和所述第二图像的位置变化；
基于所述目标特征点的运动信息，执行目标任务。
另一方面，提供了一种图像特征点的运动信息确定装置，所述装置包括：
确定模块，用于确定第一图像和第二图像，所述第一图像和所述第二图像包括相同的对象；
所述确定模块，还用于基于所述第一图像中所述对象上的目标特征点，确定所述第一图像中包括所述目标特征点的第一像素区域；
所述确定模块，还用于根据所述第一像素区域中多个第一像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域，所述第二像素区域中多个第二像素点的像素差异大于所述多个第一像素点的像素差异，所述多个第二像素点与所述多个第一像素点的数量相同，所述像素差异用于指示多个像素点的像素值的变化程度；
获取模块，用于根据所述多个第二像素点和所述第二图像，获取所述目标特征点的运动信息，所述运动信息用于指示所述目标特征点在所述第一图像和所述第二图像的位置变化。
在一种可能实现方式中，所述确定模块，还用于以下任一项：
当所述多个第一像素点的像素差异小于目标差异值时，根据所述目标特征点，获取大于所述第一像素区域且包括所述目标特征点的第二像素区域；
当所述多个第一像素点的像素差异小于目标差异值时，根据所述目标特征点，获取与所述第一像素区域的大小相同的第二像素区域，所述第一像素区域和所述第二像素区域所包括的像素点不同。
在一种可能实现方式中，所述确定模块，还用于按照目标扩大系数，以所述目标特征点为中心，将所述第一像素区域扩大为包括所述目标特征点的第二像素区域。
在一种可能实现方式中，所述确定模块，还用于根据所述目标特征点，按照目标移动轨迹，将所述第一像素区域移动至包括所述目标特征点的第二像素区域。
在一种可能实现方式中，所述确定模块，还用于当所述多个第一像素点的像素差异小于目标差异值时，根据所述目标特征点，获取包括所述目标特征点的第三像素区域，所述第三像素区域中多个第三像素点与所述多个第一像素点的数量相同；根据所述第三像素区域中多个第三像素点的像素值，确定所述多个第三像素点的像素差异；如果所述多个第三像素点的像素差异不小于目标差异值，将所述第三像素区域确定为所述第二像素区域。
在一种可能实现方式中，所述确定模块，还用于以下任一项：
根据从所述第一像素区域到所述第三像素区域的扩大系数，将所述第一像素区域的第一采样步长增大为第二采样步长，按照所述第二采样步长，从所述第三像素区域中获取与所述多个第一像素点数量相同的第三像素点；
按照所述第一像素区域的第一采样步长，从所述第三像素区域中获取与所述多个第一像素点数量相同的第三像素点。
在一种可能实现方式中，所述装置还包括：
检测模块，用于如果所述多个第三像素点的像素差异小于所述目标差异值，检测所述第三像素区域的大小是否大于目标阈值；
所述确定模块，还用于如果第三像素区域的大小不大于所述目标阈值，确定大于所述第三像素区域的第四像素区域；
所述确定模块，还用于基于所述第四像素区域中多个第四像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域，所述多个第四像素点与所述多个第一像素点的数量相同。
在一种可能实现方式中，所述像素差异为所述多个像素点的像素方差或者所述多个像素点的梯度矩阵的最小特征值，所述像素方差用于表示所述多个像素点的像素值相对于像素平均值的变化程度，所述梯度矩阵用于表示所述多个像素点的像素值分别在水平梯度上相对于像素平均值的变化程度和垂直梯度上相对于像素平均值的变化程度。
在一种可能实现方式中，所述第一像素区域和所述第二像素区域的形状为正方形、长方形、圆形、环形或者不规则多边形或曲边形中的任一形状。
在一种可能实现方式中，所述确定模块，还用于根据所述第一像素区域的第一采样步长，在所述第一像素区域的区域边界上的多个像素点中，获取所述多个第一像素点；根据所述多个第一像素点的像素值，确定所述多个第一像素点的像素差异。
另一方面，提供了一种任务执行装置，所述装置包括：
获取模块，用于获取第一图像和第二图像，所述第一图像和所述第二图像包括相同的对象；
所述获取模块，还用于获取所述第一图像中所述对象上的目标特征点的运动信息，所述运动信息用于指示所述目标特征点在所述第一图像和所述第二图像的位置变化；
任务处理模块，用于基于所述目标特征点的运动信息，执行目标任务。
在一种可能实现方式中，当所述目标任务为路线规划任务时，所述任务处理模块，还用于当所述目标特征点的数目为多个时，基于多个目标特征点的运动信息，确定距离目标设备不超过第一阈值的至少一个场景对象，所述目标设备为采集所述第一图像和第二图像的设备；根据距离所述目标设备不超过第二阈值的目的地的位置和所述至少一个场景对象，确定所述目标设备到达所述目的地的第一目标路线，所述第二阈值大于所述第一阈值。
在一种可能实现方式中，当所述目标任务为对象识别任务时，所述任务处理模块，还用于当所述目标特征点的数目为多个时，基于多个目标特征点的运动信息，确定出所述多个目标特征点中运动信息符合目标条件的多个第一特征点，所述多个第一特征点用于指示所述第一图像和所述第二图像包括的多个对象中的运动对象；基于所述多个第一特征点在所述第一图像或第二图像的位置，确定所述运动对象所属的对象类别。
另一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如上述的图像特征点的运动信息确定方法或任务执行方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述的图像特征点的运动信息确定方法或任务执行方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少可以包括：
通过基于包括目标特征点的第一像素区域，获取了像素差异大于第一像素区域且像素点数量不变的第二像素区域，从而可以基于原像素点数量的多个第二像素点进行计算，以得到目标特征点的运动信息，由于保持像素点数量不变的前提下增大参与计算的数据的像素差异，平衡了计算复杂度和信息丰富程度，保证目标特征点运动信息的准确性的前提下，提高了确定目标特征点运动信息的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像特征点的运动信息确定方法的实施环境的示意图；
图2是本发明实施例提供的一种图像特征点的运动信息确定方法的流程图；
图3是本发明实施例提供的一种像素区域的示意图；
图4是本发明实施例提供的一种像素点位置示意图；
图5是本发明实施例提供的一种像素点的运动信息的示意图；
图6是本发明实施例提供的一种图像特征点的运动信息确定流程示意图；
图7是本发明实施例提供的一种任务执行方法的流程图；
图8是本发明实施例提供的一种图像特征点的运动信息确定装置的结构示意图；
图9是本发明实施例提供的一种任务执行装置的结构示意图；
图10是本发明实施例提供的一种终端的结构示意图；
图11是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种图像特征点的运动信息确定方法的实施环境的示意图，参见图1，该实施环境包括：计算机设备101，该计算机设备101可以获取到具备相同的对象的两帧或多帧图像，该计算机设备101可以确定该对象上的目标特征点从一帧图像到另一帧图像的运动信息，以对目标特征点在不同图像的位置变化情况进行追踪，特征点是指图像中像素特征显著的像素点。
在一种可能的场景中，该计算机设备101可以获取视频中连续的两帧或多帧图像，例如，第一图像和第二图像，该计算机设备101可以获取目标特征点从第一图像到第二图像的运动信息，该运动信息用于指示该目标特征点在该第一图像和该第二图像的位置变化。例如，该计算机设备101可以基于特征点在图像的像素区域，进行位置追踪。特征点的像素区域包括目标特征点像素点。该计算机设备可以确定目标特征点在第一图像的第一像素区域，基于该第一像素区域内多个第一像素点的像素差异，在第一图像中确定出像素差异更大的第二像素区域，且第二像素区域与第一像素区域的像素点数量相同，从而可以基于第二像素区域中多个第二像素点和第二图像，确定出目标特征点从第一图像到第二图像的运动信息。
在一种可能的实施场景中，该实施环境还可以包括：计算机设备102，该计算机设备102可以采集多帧图像，将该多帧图像发送至计算机设备101。
需要说明的是，该计算机设备101可以被提供为服务器、终端等任一设备或智能机器人、无人驾驶车辆、无人机、无人船只等任一设备。该计算机设备102可以被提供为手机、摄像机、终端、监控设备等，本发明实施例对计算机设备101和计算机设备102的实际形态不做具体限定。
图2是本发明实施例提供的一种图像特征点的运动信息确定方法的流程图。该发明实施例的执行主体为计算机设备，参见图2，该方法包括：
201、计算机设备确定第一图像和第二图像。
该第一图像和第二图像中包括相同的对象，该对象可以为任一具备实际显示形态的物体，例如，房屋、路标、车辆等，在一种可能的场景中，该第一图像和第二图像可以为视频中包括相同对象的两帧图像，该第二图像的时间戳可以在该第一图像之后。
在一种可能的实施方式中，该计算机设备可以实时对周围环境进行拍摄，得到视频，该计算机设备可以确定该视频中第一图像和时间戳位于该第一图像之后的第二图像。在一种可能的实施场景中，该计算机设备可以为可移动的无人驾驶车辆、智能机器人、无人机等任一设备，或者安装于任一可移动设备中，则该计算机设备还可以在移动过程中录制视频。在另一种可能的实施场景中，该计算机设备可以从目标设备上获取该第一图像和第二图像。例如，该目标设备可以在移动过程中拍摄包括相同的对象的第一图像和第二图像，该计算机设备接收终端发送的视频，获取该视频中的第一图像和第二图像，该终端可以为监控设备、手机、摄像头等。
在一种可能的实施方式中，该计算机设备还可以确定第一图像中该对象上的目标特征点。该计算机设备可以通过目标算法，提取该第一图像中该对象上的目标特征点，该目标算法可以为SIFT(Scale-invariant feature transform，尺度不变特征转换)算法、SURF(Speeded Up Robust Features，加速稳健特征)算法等。
需要说明的是，目标特征点是指图像中像素特征显著的点，例如，像素值与周围多个像素点的像素值之间的差值大于目标像素差。基于图像分辨率大小的不同，同一图像中采样像素点的数量也不同。采样像素点是指基于目标分辨率对图像进行采样的像素点。该目标特征点可以为第一图像中的采样像素点，也可以为位于第一图像中两个采样像素点之间的像素点。在一种可能示例中，该计算机设备可以采用整数坐标表示第一图像中采样像素点的位置，整数坐标是指坐标中数值的取值均为整数。则目标特征点为第一图像中的采样像素点时，目标特征点的坐标可以为整数坐标，目标特征点为两个采样像素点之间的像素点时，目标特征点的坐标也可以为非整数坐标。
202、计算机设备根据该第一图像中该对象上的目标特征点，确定该第一图像中包括该目标特征点的第一像素区域。
该计算机设备可以根据该目标特征点的位置，在该第一图像中确定包括该目标特征点且形状为目标形状的第一像素区域。该第一像素区域的目标形状可以为正方形、长方形、圆形、环形或者不规则多边形或曲边形中的任一形状。在一种可能的实施方式中，该第一像素区域的形状可以为中心对称形状，则该计算机设备以该目标特征点为中心，确定目标形状的第一像素区域。
在一种可能的实施方式中，该第一像素区域为至少包括有第一目标数量的像素点的区域，该计算机设备还可以根据该第一目标数量和该目标形状，以该目标特征点为中心，确定目标形状且包括的像素点数量不小于该第一目标数量的第一像素区域。在一个可能示例中，当该目标形状为正方形时，该计算机设备根据该第一目标数量，将以目标特征点为中心、边长为第一边长的正方形区域确定为该第一像素区域；该第一边长的平方不小于该第一目标数量。例如，如果该目标数量为9，则该第一边长可以为3或3以上的整数，例如，边长为5、9等。如果该目标形状为圆形，该计算机设备根据该目标数量，将以目标特征点为中心、半径为目标半径的圆形区域确定为该第一像素区域；当该目标形状为长方形、菱形、圆环形或其他任一形状时，该计算机设备确定第一像素区域的原理相同，此处不再赘述。
该第一像素区域内的像素点反映了该目标特征点周围的像素特征，该计算机设备还可以选取该第一像素区域内部分像素点，表示该目标特征点周围的像素特征。在一种可能的实施方式中，该计算机设备还可以采用采样的方式，从该第一像素区域中确定多个第一像素点，该多个第一像素点反映了该目标特征点周围像素特征变化情况。计算机设备根据该第一像素区域内像素点总数量和第二目标数量，确定第一采样步长，根据该第一采样步长，从该第一像素区域内多个像素点中每第一采样步长的像素点，获取一个第一像素点，得到第二目标数量的第一像素点。当该第一目标数量与第二目标数量相同时，该第一采样步长为1。在一种可能的实施方式中，该目标数量的第一像素点可以以目标特征点为中心均匀分布在该第一像素区域的边界上，则该计算机设备将该第一像素区域内位于区域边界上的像素点的像素点总数除以该目标数量，将得到的商值作为该第一采样步长，该计算机设备按照该第一采样步长，从位于该第一像素区域的边界上的多个像素点中，获取该第二目标数量的第一像素点。
需要说明的是，上述是均匀采样的方式来筛选出第一像素点，该计算机设备还可以采用非均匀采样的方式筛选出第一像素点。在一种可能示例中，该计算机设备还可以根据第一像素区域内多个像素点距离该目标特征点的远近，进行第一像素点的筛选，该计算机设备获取该多个像素点分别与该目标特征点之间的多个距离，根据该多个距离，将该多个像素点划分为多个像素点集合，每个像素点集合中像素点与目标特征点之间的距离位于该像素点集合对应的距离范围内。例如，集合A对应的距离范围为1.0到4.9，集合B对应的距离范围为5.0到9.9等。对于每个像素点集合，该计算机设备根据每个像素点集合与该目标特征点之间的距离，确定该像素点集合所对应的第一采样步长，根据该像素点集合对应的第一采样步长，获取该像素点集合内的多个像素点中多个第一像素点，从而得到第二目标数量的第一像素点。在一种可能示例中，像素点集合与目标特征点之间的距离可以为该像素点集合内多个像素点与该目标特征点之间多个距离的平均值。例如，该计算机设备可以采取中心稠密边缘稀疏的方式进行筛选，也即是，该像素点集合与该目标特征点之间的距离越大，该像素点集合对应的第一采样步长越小，像素点集合与该目标特征点之间的距离越小，该像素点集合对应的第一采样步长越大；该计算机设备可以采取中心稀疏边缘稠密的方式进行筛选，则该像素点集合与该目标特征点之间的距离，与第一采样步长的对应关系则正好与中间稠密边缘稀疏的方式相反，此处不再赘述。在另一种示例中，该计算机设备还可以采取随机采样的方式，从该第一像素区域内筛选出第二目标数量的第一像素点。
如图3所示，以正方形的像素区域为例进行说明，黑色点为像素点，白色点为筛选出的像素点，对于正方形的像素区域，该计算机设备从正方形区域边界的多个像素点中筛选出像素点。当该像素区域边界上的像素点的数量等于第二目标数量时，该第一采样步长可以为1，当该像素区域边界上的像素点的数量大于第二目标数量时，该采样步长可以大于1。例如，该第二目标数量可以为9，如图3中(a)所示，像素区域为一个包括3×3个像素点的正方形区域，该采样步长可以为1个像素点。如图3中(b)所示，像素区域可以为一个包括5×5个像素点的正方形区域，该采样步长可以为2个像素点。如图3中(c)所示，该像素区域可以为一个9×9的正方形区域，该采样步长可以为4个像素点。
203、该计算机设备根据该多个第一像素点的像素值，确定该多个第一像素点的像素差异。
像素差异用于指示多个像素点的像素值的变化程度，在一种可能的实施方式中，多个像素点的像素差异可以为该多个像素点的像素方差或者该多个像素点的梯度矩阵的最小特征值；该多个像素点的像素方差用于表示多个像素点的像素值相对于像素平均值的变化程度，该多个像素点的梯度矩阵用于表示该多个像素点的像素值分别在水平梯度上相对于平均值的变化程度和垂直梯度上相对于平均值的变化程度。则该计算机设备可以采用该多个第一像素点的像素方差或者多个第一像素点的梯度矩阵的最小特征值，表示该多个第一像素点的像素差异。
在一种可能的实施方式中，该计算机确定多个第一像素点的像素值的平均值，根据该每个第一像素点的像素值与该平均值的差值，确定该多个第一像素点的像素差异。在一种可能示例中，如果采用像素方差表示像素差异，则该计算机设备可以根据该多个第一像素点的像素值的平均值、每个第一像素点的像素值，通过以下公式一，确定该多个第一像素点的像素方差；
公式一：
Figure GDA0003857000140000101
其中，N为该多个第一像素点的数量，该N可以为第二目标数量，例如，N＝l×l，l为3，M为多个第一像素点的像素值的平均值，例如，
Figure GDA0003857000140000102
Iu为多个第一像素点的像素值，var表示该多个第一像素点的像素平方差。u表示多个第一像素点。
在一种可能的实施方式中，该计算机设备还可以采用该多个第一像素点的梯度矩阵，表示该像素差异。则该计算机设备可以根据该多个第一像素点的像素值，确定该多个第一像素点的像素值的水平梯度和像素值的垂直梯度，根据该像素值的水平梯度和像素值的垂直梯度，获取该多个第一像素点的梯度矩阵的最小特征值，将该最小特征值确定为该多个第一像素点的像素差异。
在一种可能示例中，该梯度矩阵可以为协方差矩阵，变量为多个像素点的像素值的垂直梯度和水平梯度。则该计算机设备可以根据多个第一像素点的像素值的水平梯度和像素值的垂直梯度，通过以下公式二，确定该多个第一像素点的梯度矩阵的最小特征值；
公式二：
Figure GDA0003857000140000111
其中，gx(u)为多个第一像素点u的像素值的水平梯度，gy(u)为多个第一像素点u的像素值的垂直梯度，u表示多个第一像素点。矩阵S表示多个第一像素点的梯度矩阵。该计算机设备可以确定矩阵S的最小特征值，得到该多个第一像素点的像素差异。
需要说明的是，当目标特征点为位于两个采样像素点之间的像素点时，该目标特征点的坐标可能为非整数坐标，从而第一像素点的坐标也可能为非整数坐标，计算机设备可以根据该第一像素点的周围像素点的像素值，确定该第一像素点的像素值。在一种可能示例中，该计算机设备可以采用双向线性插值算法确定非整数位置的像素点的像素值，该计算机设备获取该第一像素点的周围像素点的像素值，根据以下公式三，确定该第一像素点的像素值；
公式三：I＝i0*(u-u3)*(v-v3)+i1*(u-u2)*(v-v2)+i2*(u-u1)*(v-v1)+i3*(u-u0)*(v-v0)；
如图4所示，I表示第一像素点的像素值，i0表示该第一像素点的左上角像素点的像素值，位置表示为(u0,v0)，i1表示第一像素点的右上角像素点的像素值，位置表示为(u1,v1)，i2表示表示第一像素点的左下角像素点的像素值，位置表示为(u2,v2)，i3表示第一像素点的右下角像素点的像素值，位置表示为(u3,v3)，(u，v)表示第一像素点的位置。
204、计算机设备根据该第一像素区域中多个第一像素点的像素差异以及该目标特征点，确定该第一图像中包括该目标特征点的第二像素区域。
其中，该第二像素区域中多个第二像素点的像素差异大于该多个第一像素点的像素差异，该多个第二像素点与该多个第一像素点的数量相同。该计算机设备获取目标差异值，当该多个第一像素点的像素差异小于该目标差异值时，该计算机设备对该第一像素区域进行调整，得到像素差异大于该目标差异值的第二像素区域。本发明实施例中，该计算机设备可以通过扩大该第一像素区域的方式，得到像素差异更大的第二像素区域，或者，通过移动该第一像素区域的方式，得到第二像素区域。相应的，本步骤可以通过以下两种方式实现。
第一种方式、当该多个第一像素点的像素差异小于目标差异值时，计算机设备根据该目标特征点，获取大于该第一像素区域且包括该目标特征点的第二像素区域。
本发明实施例中，该计算机设备可以按照一定的扩大规则，扩大该第一像素区域，或者，随机扩大该第一像素区域。在一种可能示例中，该第一像素区域的形状可以为中心对称形状，该计算机设备按照目标扩大系数，以该目标特征点为中心，将该第一像素区域扩大为包括该目标特征点的第二像素区域。例如，该第一像素区域可以为一个3×3的正方形，正方形的边长l＝3，该计算机设备按照(2l-1)的扩大系数，将3×3的正方形扩大为5×5的正方形。
本发明实施例中，该计算机设备可以通过多次调整第一像素区域，以得到像素差异大于目标差异值的第二像素区域。该过程可以为：当该多个第一像素点的像素差异小于目标差异值时，该计算机设备可以根据该目标特征点，获取包括该目标特征点的第三像素区域，该第三像素区域中多个第三像素点与该多个第一像素点的数量相同；该计算机设备根据该第三像素区域中多个第三像素点的像素值，确定该多个第三像素点的像素差异；如果该多个第三像素点的像素差异不小于目标差异值，该计算机设备将该第三像素区域确定为该第二像素区域。在一种可能实施方式中，该计算机设备可以按照目标扩大系数，以该目标特征点为中心，将该第一像素区域扩大为包括该目标特征点的第三像素区域。与上述获取多个第一像素点的方式同理，该计算机设备也可以按照一定的采样步长，从第三像素区域中获取多个第三像素点。在一种可能实施方式中，该计算机设备获取该第三像素区域内多个第三像素点的过程可以包括：该计算机设备可以根据从该第一像素区域到该第三像素区域的扩大系数，将该第一像素区域的第一采样步长增大为第二采样步长，按照该第二采样步长，从该第三像素区域中获取与该多个第一像素点数量相同的第三像素点。例如，对于3×3的正方形，该计算机设备每两个像素点采集一个第一像素点，则对于5×5的正方形，该计算机设备每三个像素点采集一个第三像素点。
如果该第三像素区域内多个第三像素点的像素差异小于目标差异值，则该计算机设备继续获取扩大第三像素区域，直至获取到像素差异不小于目标差异值的第二像素区域。该计算机设备获取该多个第三像素点的像素差异的过程，与上述获取多个第一像素点的像素差异的过程同理，此处不再赘述。
在一种可能的实施方式中，该计算机设备还可以基于像素区域的大小，判断是否继续扩大第三像素区域。该过程可以包括：如果多个第三像素点的像素差异小于该目标差异值，该计算机设备检测该第三像素区域的大小是否大于目标阈值；如果第三像素区域的大小不大于该目标阈值，该计算机设备确定大于该第三像素区域的第四像素区域；该计算机设备基于该第四像素区域中多个第四像素点的像素差异以及该目标特征点，确定该第一图像中包括该目标特征点的第二像素区域，其中，该多个第四像素点与该多个第一像素点的数量相同。
该计算机设备根据每个第三像素点的像素值，获取该多个第三像素点的像素差异。在一种可能的实施方式中，该计算机设备根据该多个第三像素点的像素值，获取该多个第三像素点的像素值的平均值，根据该平均值，该计算机设备获取该多个第三像素点的像素方差，将该像素方差确定为该多个第三像素点的像素差异。在另一种可能的实施方式中，该计算机设备根据该多个第三像素点的像素值，获取该多个第三像素点的像素值的水平梯度和像素值的垂直梯度，该计算机设备根据该多个第三像素点的像素值的水平梯度和像素值的垂直梯度，获取该多个第三像素点的梯度矩阵的最小特征值，将该最小特征值确定为该多个第三像素点的像素差异。
该过程与上述对第一像素点的处理过程同理，此处不再赘述。该目标差异值、该目标阈值均可以基于需要进行设置，本发明实施例对此不做具体限定，例如，该目标阈值可以为13×13，也即是该目标特征点的像素区域最大可以为一个包括13×13个像素点的区域。
第二种方式、当该多个第一像素点的像素差异小于目标差异值时，计算机设备根据该目标特征点，获取与该第一像素区域的大小相同的第二像素区域。
在一种可能实施方式，该计算机设备可以预先存储有目标移动轨迹，该目标移动轨迹用于指示第一像素区域的移动过程。则本步骤可以包括：该计算机设备根据该目标特征点，按照目标移动轨迹，将该第一像素区域移动至包括该目标特征点的第二像素区域。例如，该目标移动轨迹可以为向右移动一个单位，则该以目标特征点为中心的3×3的正方形进行移动后，得到的第二像素区域中，该目标特征点为正方形中左边的中点位置。
本发明实施例中，该计算机设备可以通过多次移动第一像素区域，以得到像素差异大于目标差异值的第二像素区域。也即是，该计算机设备可以通过第二种方式，获取第三像素区域，基于第三像素区域内多个第三像素点的像素差异，获取第二像素区域。该过程与上述第一种方式的过程同理，此处不再具体赘述。不同的是，由于第二种方式中，未对第一像素区域进行扩大，因此，该计算机设备无需增大第一采样步长获取第三像素点，该计算机设备可以直接按照该第一像素区域的第一采样步长，从该第三像素区域中获取与该多个第一像素点数量相同的第三像素点。
需要说明的是，无论像素区域如何变化，由于计算机设备所获取的第一像素点或者第二像素点的数量均相同，因此，保证了在增大像素差异时，实际参与计算的像素点的数量不变，并且，基于像素区域内像素点的差异与目标差异值进行判断，持续的试探性增大或移动第一像素区域，从而得到的第二像素区域内像素点之间差异较大，保证特像素区域内像素特征变化显著，避免了在一些平滑或者纹理不丰富的像素区域，由于像素区域内像素亮度变化不显著，而导致的确定运动信息不准确的问题。并且，由于不断增大或移动像素区域时，像素区域的像素差异变大，采用像素差异较大的区域来表示目标特征点周围区域的像素变化特征，既保证了参与计算的像素点之间像素差异较大，又保证了参与计算的像素点数量固定不变，不会增大计算量，从而平衡了参与计算的像素点的数量和像素点的像素差异，使得在目标特征点跟踪计算复杂度不变的情况下，其像素丰富程度增大，提高了目标特征点跟踪的鲁棒性，使其可以在平滑或者缺乏纹理的环境下稳定执行，提高了所适用的场景的广泛性。
205、计算机设备根据该多个第二像素点和第二图像，获取目标特征点的运动信息。
该运动信息用于指示该目标特征点在该第一图像和该第二图像的位置变化。该计算机设备可以根据该目标特征点在第一图像的第一位置，确定第二图像中对应位置上的起始像素点，获取该起始像素点的像素区域中多个第四像素点，根据该多个第四像素点和该多个第二像素点，基于高斯牛顿算法，确定出该目标特征点的运动信息。该计算机设备还可以得到该目标特征点在该第二图像的位置。该多个第四像素点的数量与多个第二像素点的数量相同。
在一种可能示例中，该运动信息可以包括在该目标特征点分别在图像坐标轴的x轴、y轴的移动距离。该计算机设备根据该目标数量的第二像素点的像素值和该多个第四像素点的像素值，基于以下公式四，确定该目标特征点从第一图像到第二图像的运动信息；
公式四：
Figure GDA0003857000140000151
其中，
Figure GDA0003857000140000152
表示目标特征点i的第二像素区域内多个第二像素点，
Figure GDA0003857000140000153
表示目标特征点i的运动信息。
Figure GDA0003857000140000154
分别表示x轴、y轴上两维的移动距离。u表示第二像素点，It表示第一图像中多个第二像素点的像素值，It+1表示第二图像中多个第四像素点的像素值，假设多个第二像素点的像素值在第一图像和第二图像中相同，计算机设备可以最小化第一图像中多个第二像素点和第二图像中多个第四像素点的像素值之间的像素差求解
Figure GDA0003857000140000155
在另一种可能示例中，该运动信息可以采用单应矩阵表示，则该计算机设备根据该目标数量的第二像素点的像素值和该多个第四像素点的像素值，基于以下公式五，确定该目标特征点从第一图像到第二图像的运动信息；
公式五：
Figure GDA0003857000140000156
其中，
Figure GDA0003857000140000157
表示目标特征点i的第二像素区域内多个第二像素点，
Figure GDA0003857000140000158
表示目标特征点i的运动信息。在一种可能示例中，该计算机设备可以将该运动信息表示为：
Figure GDA0003857000140000159
其中，h11和h22分别表示第二像素区域从第一图像到第二图时像在图像坐标系的x轴方向和y轴方向的缩放系数，x轴方向和y轴方向可以分别为图像中的水平方向和垂直方向。h11、h221同时也和h12和h21共同指示沿着x轴和第二像素区域法向量旋转的过程。h12和h21分别表示第二像素区域从第一图像到第二图像时在图像坐标系的x轴方向和y轴方向上的投影，h13和h23分别表示第二像素区域从第一图像到第二图像时在图像坐标系的x轴方向和y轴方向的移动距离，h31和h32分别表示第二像素区域在图像坐标系中x轴方向和y轴方向的切变参数，在一种可能示例中，该切变参数可以为第二像素区域在x轴方向和y轴方向上的形变比率。例如，特征点在第一图像中第一像素区域可以为正方形，特征点在第二图像中对应的第二像素区域可以梯形，如果该正方形和梯形的上下边的方向均为x轴方向，则该h31表示梯形上边和下边的边长的变化率，h32表示梯形的左边和右边的边长的变化率。u表示第二像素点，It表示第一图像中多个第二像素点的像素值，It+1表示第二图像中多个第四像素点的像素值，假设多个第二像素点的像素值在第一图像和第二图像中相同，计算机设备可以最小化第一图像中多个第二像素点和第二图像中多个第四像素点的像素值之间的像素差异来求解
Figure GDA0003857000140000161
需要说明的是，本发明实施例中的目标特征点在图像中分布稀疏，因此也可以成为稀疏目标特征点。该第一图像和第二图像可以为摄像机所拍摄的视频内两帧连续图像。摄像机实时拍摄的视频流提供了摄像机对外部环境在不同时刻的观察。目标特征点的运动信息常常用于运动检测，运动估计，实时定位，三维重建，物体分割等过程。例如，如图5所示，对于目标特征点跟踪过程。目标特征点的运动轨迹，即从第一次检测到的图像位置到目标特征点目前在图像上的位置，用每个目标特征点后的白色线表示。
下面以图6所示的流程图，对上述步骤201-205进行介绍，如图6所示，该计算机设备可以获取l×l大小的第一像素区域，基于第一像素区域内像素点的像素差异，当像素差异小于目标差异值时，判断该第一像素区域的大小是否大于目标阈值lm×lm，如果不大于lm×lm，则继续增大第一像素区域，基于增大后的第三像素区域，增大采用步长，以筛选出第三像素区域内多个第三像素点，当多个像素点的像素差异不小于目标差异值时，或者，第三像素区域的大小大于lm×lm，不再增大第三像素区域，将第三像素区域作为第二像素区域，如果该第三像素区域内像素点的像素差异小于目标差异值时，且第三像素区域的大小不大于lm×lm，则继续增大第三像素区域，直到获取到像素差异不小于目标差异值或者大于lm×lm的第二像素区域。
本发明实施例中，通过基于包括目标特征点的第一像素区域，获取了像素差异大于第一像素区域且像素点数量不变的第二像素区域，从而可以基于原像素点数量的多个第二像素点进行计算，以得到目标特征点的运动信息，由于保持像素点数量不变的前提下增大参与计算的数据的像素差异，平衡了计算复杂度和信息丰富程度，保证目标特征点运动信息的准确性的前提下，提高了确定目标特征点运动信息的效率。
图7是本发明实施例提供的一种任务执行方法的流程示意图。该方法应用在目标设备上，参见图7，该方法包括：
701、目标设备获取第一图像和第二图像。
该第一图像和该第二图像包括相同的对象；该目标设备为采集该第一图像和第二图像的设备。该目标设备可以在移动过程中拍摄包括相同的对象的第一图像和第二图像，在一种可能示例中，该目标设备可以为计算机设备，该计算机设备用于确定第一图像中目标特征点的运动信息，该运动信息用于指示该目标特征点在该第一图像和该第二图像的位置变化。例如，该计算机设备可以为手机，该则该计算机设备可以一边移动，一边在移动过程中实时拍摄图像。在另一种可能示例中，该目标设备可以不为该计算机设备，例如，该目标设备在移动过程中拍摄第一图像和第二图像，实时将拍摄得到的第一图像和第二图像发送至该计算机设备。
702、目标设备获取该第一图像中该对象上的目标特征点的运动信息。
本发明实施例中，该运动信息用于指示该目标特征点在该第一图像和该第二图像的位置变化。如果该目标设备为该计算机设备，该目标设备可以基于上述发明实施例中，步骤201-205的过程，获取该目标特征点的运动信息。如果目标设备不为该计算机设备，该计算机设备可以基于上述发明实施例中，步骤201-205的过程，获取该目标特征点的运动信息，实时将该目标特征点的运动信息发送至目标设备。该目标设备接收该计算机设备发送的目标特征点的运动信息。
703、目标设备基于该目标特征点的运动信息，执行目标任务。
该目标任务可以为路线规划任务，也可以为对象识别任务。
在一种可能实施方式中，当该目标任务可以为路线规划任务时，该目标设备可以基于目标特征点的运动信息，构建该目标设备周围环境的场景对象，基于该场景对象，来规划路线。该过程可以包括：当该目标特征点的数目为多个时，该目标设备可以基于多个目标特征点的运动信息，确定距离该目标设备不超过第一阈值的至少一个场景对象；该目标设备可以根据距离该目标设备不超过第二阈值的目的地的位置和该至少一个场景对象，确定该目标设备到达该目的地的第一目标路线，该第二阈值大于该第一阈值。
在一个具体示例中，计算机设备可以通过定位获取当前位置，基于该当前位置，指引用户到附近最近的餐厅，商店，洗手间等；例如，用户在一个大型商场的某一层，目标设备可以基于周围店铺的名称，精确定位该目标设备在该层的位置，例如，位于服装店A门前，该目标设备可以指引用户到达手表店B处。
当该目标任务可以为路线规划任务时，在另一种可能实施方式中，该目标设备还可以对该目标设备周围的场景对象进行一些操作，例如，该目标设备可以为机器人，该目标设备可以将水杯放置在桌子上。则该目标设备确定距离该目标设备不超过第一阈值的至少一个场景对象后，该目标设备可以根据该至少一个场景对象和待执行的目标任务，确定该目标设备的第二目标路线，该目标任务是指在该至少一个场景对象中目标场景对象上执行目标操作。
在一个具体示例中，以目标设备为VR(Virtual Reality，虚拟现实)设备或者AR(Augmented Reality，增强现实技术)设备为例，VR设备和AR设备可以基于场景中的场景对象，将虚拟的物品放置在真实环境中。
在一种可能实施方式中，当该目标任务为对象识别任务时，该目标设备可以基于该第一图像和第二图像，识别出周围环境中运动对象和静止对象，还可以识别出运动对象的对象类别，例如运动对象是人还是车辆，该过程可以包括：当该目标特征点的数目为多个时，该目标设备可以基于多个目标特征点的运动信息，确定出该多个目标特征点中运动信息符合目标条件的多个第一特征点，该多个第一特征点用于指示该第一图像和该第二图像包括的多个对象中的运动对象；该目标设备可以基于该多个第一特征点在该第一图像或第二图像的位置，确定该运动对象所属的对象类别。其中，该对象类别可以包括：车辆、人、动物、等。该目标条件可以包括：多个特征点中运动信息与其他特征点的运动信息不同，或者，与多个特征点中超过目标数量的特征点的运动信息不同。例如，与200个特征点中80％的特征点的运动信息不同。
在另一种可能实施方式中，该目标设备识别出周围环境中运动对象所属的类别后，该目标设备还可以进一步基于周围走动的人、行驶的车辆，或者静止的房屋，确定第三目标路线，该第三目标路线可以是避开该运动对象的路线。以在移动过程中避开障碍物，更准确的进行路线规划。
在一个具体示例中，如果选取目标特征点的在某一个物体内，计算机设备可以判断某一个物体是否有移动，如果有移动的话，往哪个方向移动；检测出运动的物体后，还可以把物体分割出来，判断是否为人或其他动物，因为动物常常在前面，场景常常在后面。有了这些信息，手机、机器人、自动驾驶的车辆等具备了基本的对象识别功能。
在一个具体示例中，计算机设备可以基于整个图像所有目标特征点的位置变化，判断目标设备是否移动，如果该目标设备移动，还可以确定该目标设备的移动方向、移动轨迹等，进一步反算出周围的场景对象。例如，周围的座椅、障碍物等，基于周围的场景对象，重建出该目标设备的场景，该场景包括位于该目标设备周围的多个场景对象。例如，以目标设备为机器人为例，在机器人执行任务时，由于重建了场景，机器人可以躲开障碍物；又如，机器人可以基于当前所处的位置，进一步规划下一步的路径，到达其要达到的地方，执行相应的任务。
在另一种可能实施方式中，该目标设备确定距离该目标设备不超过第一阈值的至少一个场景对象后，该目标设备还可以根据该至少一个场景对象，将该场景对象和虚拟的对象进行结合，为用户展示虚实结合环境。该过程可以包括：该目标设备获取至少一个虚拟场景对象，该目标设备根据该至少一个虚拟场景对象的位置和该至少一个场景对象的位置，构建虚拟场景，在目标设备的屏幕上显示该虚拟场景。在一个具体示例中，由于已知当前所处位置，可以将真实的环境和虚拟的环境通过相对应的位置关系进行渲染，显示在计算机设备的屏幕上。
本发明实施例中，目标设备可以利用第一图像中对象上的目标特征点的运动信息，执行目标任务，例如，规划路线、运动检测、识别对象所属的对象类别等，且该目标特征点的运动信息的确定过程准确、高效，提高了执行目标任务的准确性和效率。
图8是本发明实施例提供的一种图像特征点的运动信息确定装置的结构示意图。参见图8，该装置包括：
确定模块801，用于确定第一图像和第二图像，该第一图像和该第二图像包括相同的对象；
该确定模块801，还用于基于该第一图像中该对象上的目标特征点，确定该第一图像中包括该目标特征点的第一像素区域；
该确定模块801，还用于根据该第一像素区域中多个第一像素点的像素差异以及该目标特征点，确定该第一图像中包括该目标特征点的第二像素区域，该第二像素区域中多个第二像素点的像素差异大于该多个第一像素点的像素差异，该多个第二像素点与该多个第一像素点的数量相同，该像素差异用于指示多个像素点的像素值的变化程度；
获取模块802，用于根据该多个第二像素点和该第二图像，获取该目标特征点的运动信息，该运动信息用于指示该目标特征点在该第一图像和该第二图像的位置变化。
在一种可能实现方式中，该确定模块801，用于以下任一项：
当该多个第一像素点的像素差异小于目标差异值时，根据该目标特征点，获取大于该第一像素区域且包括该目标特征点的第二像素区域；
当该多个第一像素点的像素差异小于目标差异值时，根据该目标特征点，获取与该第一像素区域的大小相同的第二像素区域，该第一像素区域和该第二像素区域所包括的像素点不同。
在一种可能实现方式中，该确定模块801，还用于按照目标扩大系数，以该目标特征点为中心，将该第一像素区域扩大为包括该目标特征点的第二像素区域。
在一种可能实现方式中，该确定模块801，还用于根据该目标特征点，按照目标移动轨迹，将该第一像素区域移动至包括该目标特征点的第二像素区域。
在一种可能实现方式中，该确定模块801，还用于当该多个第一像素点的像素差异小于目标差异值时，根据该目标特征点，获取包括该目标特征点的第三像素区域，该第三像素区域中多个第三像素点与该多个第一像素点的数量相同；根据该第三像素区域中多个第三像素点的像素值，确定该多个第三像素点的像素差异；如果该多个第三像素点的像素差异不小于目标差异值，将该第三像素区域确定为该第二像素区域。
在一种可能实现方式中，该确定模块801，还用于以下任一项：
根据从该第一像素区域到该第三像素区域的扩大系数，将该第一像素区域的第一采样步长增大为第二采样步长，按照该第二采样步长，从该第三像素区域中获取与该多个第一像素点数量相同的第三像素点；
按照该第一像素区域的第一采样步长，从该第三像素区域中获取与该多个第一像素点数量相同的第三像素点。
在一种可能实现方式中，该装置还包括：
检测模块，用于如果该多个第三像素点的像素差异小于该目标差异值，检测该第三像素区域的大小是否大于目标阈值；
该确定模块801，还用于如果第三像素区域的大小不大于该目标阈值，确定大于该第三像素区域的第四像素区域；
该确定模块801，还用于基于该第四像素区域中多个第四像素点的像素差异以及该目标特征点，确定该第一图像中包括该目标特征点的第二像素区域，该多个第四像素点与该多个第一像素点的数量相同。
在一种可能实现方式中，该像素差异为该多个像素点的像素方差或者该多个像素点的梯度矩阵的最小特征值，该像素方差用于表示该多个像素点的像素值相对于像素平均值的变化程度，该梯度矩阵用于表示该多个像素点分别在水平梯度上相对于像素平均值的变化程度和垂直梯度上相对于像素平均值的变化程度。
在一种可能实现方式中，该第一像素区域和该第二像素区域的形状为正方形、长方形、圆形、环形或者不规则多边形或曲边形中的任一形状。
在一种可能实现方式中，该确定模块801，还用于根据该第一像素区域的第一采样步长，在该第一像素区域的区域边界上的多个像素点中，获取该多个第一像素点；根据该多个第一像素点的像素值，确定该多个第一像素点的像素差异。
通过基于包括目标特征点的第一像素区域，获取了像素差异大于第一像素区域且像素点数量不变的第二像素区域，从而可以基于原像素点数量的多个第二像素点进行计算，以得到目标特征点的运动信息，由于保持像素点数量不变的前提下增大参与计算的数据的像素差异，平衡了计算复杂度和信息丰富程度，保证目标特征点运动信息的准确性的前提下，提高了确定目标特征点运动信息的效率。
图9是本发明实施例提供的一种任务执行装置的结构示意图。参见图9，该装置包括：
获取模块901，用于获取目标设备的第一图像和第二图像，该第一图像和该第二图像包括相同的对象；
该获取模块901，还用于获取该第一图像中该对象上的目标特征点的运动信息，该运动信息用于指示该目标特征点在该第一图像和该第二图像的位置变化；
任务处理模块902，用于基于该目标特征点的运动信息，执行目标任务。
在一种可能实现方式中，当该目标任务为路线规划任务时，该任务处理模块902，还用于当该目标特征点的数目为多个时，基于多个目标特征点的运动信息，确定距离该目标设备不超过第一阈值的至少一个场景对象；根据距离该目标设备不超过第二阈值的目的地的位置和该至少一个场景对象，确定该目标设备到达该目的地的第一目标路线，该第二阈值大于该第一阈值。
在一种可能实现方式中，当该目标任务为对象识别任务时，该任务处理模块902，还用于当该目标特征点的数目为多个时，基于多个目标特征点的运动信息，确定出该多个目标特征点中运动信息符合目标条件的多个第一特征点，该多个第一特征点用于指示该第一图像和该第二图像包括的多个对象中的运动对象；基于该多个第一特征点在该第一图像或第二图像的位置，确定该运动对象所属的对象类别。
本发明实施例中，目标设备可以利用第一图像中对象上的目标特征点的运动信息，执行目标任务，例如，规划路线、运动检测、识别对象所属的对象类别等，且该目标特征点的运动信息的确定过程准确、高效，提高了执行目标任务的准确性和效率。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的图像特征点的运动信息确定装置在确定特征点的运动信息时，以及任务执行装置与执行任务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像特征点的运动信息确定装置与图像特征点的运动信息确定方法，以及任务执行装置与任务执行方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图10是本发明实施例提供的一种终端的结构示意图。该终端1000可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1000包括有：处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像特征点的运动信息确定方法或任务执行方法。
在一些实施例中，终端1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、触摸显示屏1005、摄像头1006、音频电路1007和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有筛选出在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1006用于筛选出图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于筛选出用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声筛选出或降噪的目的，麦克风可以为多个，分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向筛选出型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011筛选出的重力加速度信号，控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的筛选出。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同筛选出用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012筛选出的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时，可以检测用户对终端1000的握持信号，由处理器1001根据压力传感器1013筛选出的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时，由处理器1001根据用户对触摸显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1015用于筛选出环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015筛选出的环境光强度，控制触摸显示屏1005的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1005的显示亮度；当环境光强度较低时，调低触摸显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015筛选出的环境光强度，动态调整摄像头组件1006的拍摄参数。
接近传感器1016，也称距离传感器，通常设置在终端1000的前面板。接近传感器1016用于筛选出用户与终端1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时，由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时，由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图11是本发明实施例提供的一种服务器的结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1101和一个或一个以上的存储器1102，其中，该存储器1102中存储有至少一条指令，该至少一条指令由该处理器1101加载并执行以实现上述各个方法实施例提供的图像特征点的运动信息确定方法或任务执行方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的图像特征点的运动信息确定方法或任务执行方法。例如，该计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器)、RAM(random access memory，随机存取存储器)、CD-ROM(Compact Disc Read-OnlyMemory，只读光盘)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像特征点的运动信息确定方法，其特征在于，所述方法包括：
确定第一图像和第二图像，所述第一图像和所述第二图像包括相同的对象；
基于所述第一图像中所述对象上的目标特征点，确定所述第一图像中包括所述目标特征点的第一像素区域；
根据所述第一像素区域中多个第一像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域，所述第二像素区域中多个第二像素点的像素差异大于所述多个第一像素点的像素差异，所述多个第二像素点与所述多个第一像素点的数量相同，所述像素差异用于指示多个像素点的像素值的变化程度；
根据所述多个第二像素点和所述第二图像，获取所述目标特征点的运动信息，所述运动信息用于指示所述目标特征点在所述第一图像和所述第二图像的位置变化。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一像素区域中多个第一像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域包括以下任一项：
当所述多个第一像素点的像素差异小于目标差异值时，根据所述目标特征点，获取大于所述第一像素区域且包括所述目标特征点的第二像素区域；
当所述多个第一像素点的像素差异小于所述目标差异值时，根据所述目标特征点，获取与所述第一像素区域的大小相同的第二像素区域，所述第一像素区域和所述第二像素区域所包括的像素点不同。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标特征点，获取大于所述第一像素区域且包括所述目标特征点的第二像素区域包括：
按照目标扩大系数，以所述目标特征点为中心，将所述第一像素区域扩大为包括所述目标特征点的第二像素区域。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标特征点，获取与所述第一像素区域的大小相同的第二像素区域包括：
根据所述目标特征点，按照目标移动轨迹，将所述第一像素区域移动至包括所述目标特征点的第二像素区域。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一像素区域中多个第一像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域包括：
当所述多个第一像素点的像素差异小于目标差异值时，根据所述目标特征点，获取包括所述目标特征点的第三像素区域，所述第三像素区域中多个第三像素点与所述多个第一像素点的数量相同；
根据所述第三像素区域中多个第三像素点的像素值，确定所述多个第三像素点的像素差异；
如果所述多个第三像素点的像素差异不小于所述目标差异值，将所述第三像素区域确定为所述第二像素区域。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第三像素区域中多个第三像素点的像素值，确定所述多个第三像素点的像素差异之前，所述方法还包括以下任一项：
根据从所述第一像素区域到所述第三像素区域的扩大系数，将所述第一像素区域的第一采样步长增大为第二采样步长，按照所述第二采样步长，从所述第三像素区域中获取与所述多个第一像素点数量相同的第三像素点；
按照所述第一像素区域的第一采样步长，从所述第三像素区域中获取与所述多个第一像素点数量相同的第三像素点。
7.根据权利要求5所述的方法，其特征在于，所述根据所述第三像素区域中多个第三像素点的像素值，确定所述多个第三像素点的像素差异之后，所述方法还包括：
如果所述多个第三像素点的像素差异小于所述目标差异值，检测所述第三像素区域的大小是否大于目标阈值；
如果所述第三像素区域的大小不大于所述目标阈值，确定大于所述第三像素区域的第四像素区域；
基于所述第四像素区域中多个第四像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域，所述多个第四像素点与所述多个第一像素点的数量相同。
8.根据权利要求1所述的方法，其特征在于，所述像素差异为所述多个像素点的像素方差或者所述多个像素点的梯度矩阵的最小特征值，所述像素方差用于表示所述多个像素点的像素值相对于像素平均值的变化程度，所述梯度矩阵用于表示所述多个像素点的像素值分别在水平梯度上相对于像素平均值的变化程度和垂直梯度上相对于像素平均值的变化程度。
9.根据权利要求1所述的方法，其特征在于，所述第一像素区域和所述第二像素区域的形状为正方形、长方形、圆形、环形或者不规则多边形或曲边形中的任一形状。
10.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像中所述对象上的目标特征点，确定所述第一图像中包括所述目标特征点的第一像素区域之后，所述方法还包括：
根据所述第一像素区域的第一采样步长，在所述第一像素区域的区域边界上的多个像素点中，获取所述多个第一像素点；
根据所述多个第一像素点的像素值，确定所述多个第一像素点的像素差异。
11.一种任务执行方法，其特征在于，所述方法包括：
获取第一图像和第二图像，所述第一图像和所述第二图像包括相同的对象；
基于所述第一图像中所述对象上的目标特征点，确定所述第一图像中包括所述目标特征点的第一像素区域；
根据所述第一像素区域中多个第一像素点的像素差异以及所述目标特征点，确定所述第一图像中包括所述目标特征点的第二像素区域，所述第二像素区域中多个第二像素点的像素差异大于所述多个第一像素点的像素差异，所述多个第二像素点与所述多个第一像素点的数量相同，所述像素差异用于指示多个像素点的像素值的变化程度；
根据所述多个第二像素点和所述第二图像，获取所述目标特征点的运动信息，所述运动信息用于指示所述目标特征点在所述第一图像和所述第二图像的位置变化；
基于所述目标特征点的运动信息，执行目标任务。
12.根据权利要求11所述的方法，其特征在于，当所述目标任务为路线规划任务时，所述基于所述目标特征点的运动信息，执行目标任务包括：
当所述目标特征点的数目为多个时，基于多个目标特征点的运动信息，确定距离目标设备不超过第一阈值的至少一个场景对象，所述目标设备为采集所述第一图像和所述第二图像的设备；
根据距离所述目标设备不超过第二阈值的目的地的位置和所述至少一个场景对象，确定所述目标设备到达所述目的地的第一目标路线，所述第二阈值大于所述第一阈值。
13.根据权利要求11所述的方法，其特征在于，当所述目标任务为对象识别任务时，所述基于所述目标特征点的运动信息，执行目标任务包括：
当所述目标特征点的数目为多个时，基于多个目标特征点的运动信息，确定出所述多个目标特征点中运动信息符合目标条件的多个第一特征点，所述多个第一特征点用于指示所述第一图像和所述第二图像包括的多个对象中的运动对象；
基于所述多个第一特征点在所述第一图像或第二图像的位置，确定所述运动对象所属的对象类别。
14.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求10任一项所述的图像特征点的运动信息确定方法或如权利要求11至权利要求13任一项所述的任务执行方法所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求10任一项所述的图像特征点的运动信息确定方法或如权利要求11至权利要求13任一项所述的任务执行方法所执行的操作。
CN201910356752.4A 2019-04-29 2019-04-29 图像特征点的运动信息确定方法、任务执行方法和设备 Active CN110097576B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910356752.4A CN110097576B (zh) 2019-04-29 2019-04-29 图像特征点的运动信息确定方法、任务执行方法和设备
PCT/CN2020/085000 WO2020221012A1 (zh) 2019-04-29 2020-04-16 图像特征点的运动信息确定方法、任务执行方法和设备
EP20798875.9A EP3965060A4 (en) 2019-04-29 2020-04-16 METHOD FOR DETERMINING MOTION INFORMATION OF AN IMAGE FEATURE POINT, TASK PERFORMANCE METHOD AND APPARATUS
JP2021529019A JP7305249B2 (ja) 2019-04-29 2020-04-16 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
US17/323,740 US11978219B2 (en) 2019-04-29 2021-05-18 Method and device for determining motion information of image feature point, and task performing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356752.4A CN110097576B (zh) 2019-04-29 2019-04-29 图像特征点的运动信息确定方法、任务执行方法和设备

Publications (2)

Publication Number Publication Date
CN110097576A CN110097576A (zh) 2019-08-06
CN110097576B true CN110097576B (zh) 2022-11-18

Family

ID=67446382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356752.4A Active CN110097576B (zh) 2019-04-29 2019-04-29 图像特征点的运动信息确定方法、任务执行方法和设备

Country Status (5)

Country Link
US (1) US11978219B2 (zh)
EP (1) EP3965060A4 (zh)
JP (1) JP7305249B2 (zh)
CN (1) CN110097576B (zh)
WO (1) WO2020221012A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097576B (zh) 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 图像特征点的运动信息确定方法、任务执行方法和设备
CN112492249B (zh) * 2019-09-11 2024-04-09 瑞昱半导体股份有限公司 图像处理方法及电路
CN111068323B (zh) * 2019-12-20 2023-08-22 腾讯科技（深圳）有限公司 智能速度检测方法、装置、计算机设备及存储介质
US11756210B2 (en) 2020-03-12 2023-09-12 Adobe Inc. Video inpainting via machine-learning models with motion constraints
CN112446901B (zh) * 2020-11-20 2024-08-16 浙江大华技术股份有限公司 目标跟踪方法、装置、设备及计算机存储介质
US11823357B2 (en) * 2021-03-09 2023-11-21 Adobe Inc. Corrective lighting for video inpainting
CN114119675B (zh) * 2021-11-10 2023-07-18 爱芯元智半导体(上海)有限公司 像素点的偏移获取方法、装置、电子设备及存储介质
CN114396911B (zh) * 2021-12-21 2023-10-31 中汽创智科技有限公司 一种障碍物测距方法、装置、设备及存储介质
CN114748872B (zh) * 2022-06-13 2022-09-02 深圳市乐易网络股份有限公司 一种基于信息融合的游戏渲染更新方法
CN115424353B (zh) * 2022-09-07 2023-05-05 杭银消费金融股份有限公司 基于ai模型的业务用户特征识别方法及系统
CN115330657B (zh) * 2022-10-14 2023-01-31 威海凯思信息科技有限公司 一种海洋探测图像的处理方法、装置和服务器
CN116542970B (zh) * 2023-06-30 2023-09-15 山东金有粮脱皮制粉设备有限公司 基于图像处理的面粉熟化控制方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751362A (en) * 1995-04-29 1998-05-12 Daewoo Electronics, Co., Ltd. Apparatus for encoding a video signal using feature point based motion estimation
WO2015004501A1 (en) * 2013-07-09 2015-01-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Method for updating target tracking window size
CN107590453A (zh) * 2017-09-04 2018-01-16 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN108960012A (zh) * 2017-05-22 2018-12-07 中科创达软件股份有限公司 特征点检测方法、装置及电子设备
CN109300142A (zh) * 2017-07-24 2019-02-01 德尔福技术有限责任公司 基于车辆的对象跟踪方法
CN109344742A (zh) * 2018-09-14 2019-02-15 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
CN109523570A (zh) * 2017-09-20 2019-03-26 杭州海康威视数字技术股份有限公司 运动参数计算方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11218499A (ja) * 1998-02-03 1999-08-10 Hitachi Denshi Ltd 外観検査装置およびその画像処理方法
JP4871144B2 (ja) * 2006-01-13 2012-02-08 株式会社東芝 画像処理装置、方法、プログラム
EP1978432B1 (en) * 2007-04-06 2012-03-21 Honda Motor Co., Ltd. Routing apparatus for autonomous mobile unit
JP4774401B2 (ja) * 2007-04-06 2011-09-14 本田技研工業株式会社 自律移動体の経路設定装置
US9307251B2 (en) * 2009-08-19 2016-04-05 Sharp Laboratories Of America, Inc. Methods and systems for determining data-adaptive weights for motion estimation in a video sequence
CN102378002B (zh) * 2010-08-25 2016-05-04 无锡中感微电子股份有限公司 动态调整搜索窗的方法及装置、块匹配方法及装置
JP5824936B2 (ja) * 2011-07-25 2015-12-02 富士通株式会社 携帯型電子機器、危険報知方法及びプログラム
JP5976126B2 (ja) * 2011-12-12 2016-08-24 アセルサン・エレクトロニク・サナイ・ヴェ・ティジャレット・アノニム・シルケティＡｓｅｌｓａｎ Ｅｌｅｋｔｒｏｎｉｋ Ｓａｎａｙｉ ｖｅ Ｔｉｃａｒｅｔ Ａｎｏｎｉｍ Ｓｉｒｋｅｔｉ ターゲットサイズを見積もるためのシステム及び方法
CN104881881B (zh) * 2014-02-27 2018-04-10 株式会社理光 运动对象表示方法及其装置
CN104700415B (zh) * 2015-03-23 2018-04-24 华中科技大学 一种图像匹配跟踪中匹配模板的选取方法
US10445862B1 (en) * 2016-01-25 2019-10-15 National Technology & Engineering Solutions Of Sandia, Llc Efficient track-before detect algorithm with minimal prior knowledge
US10002435B2 (en) * 2016-01-29 2018-06-19 Google Llc Detecting motion in images
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US11044404B1 (en) * 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10923084B2 (en) * 2019-03-29 2021-02-16 Intel Corporation Method and system of de-interlacing for image processing
CN110097576B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 图像特征点的运动信息确定方法、任务执行方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751362A (en) * 1995-04-29 1998-05-12 Daewoo Electronics, Co., Ltd. Apparatus for encoding a video signal using feature point based motion estimation
WO2015004501A1 (en) * 2013-07-09 2015-01-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Method for updating target tracking window size
CN108960012A (zh) * 2017-05-22 2018-12-07 中科创达软件股份有限公司 特征点检测方法、装置及电子设备
CN109300142A (zh) * 2017-07-24 2019-02-01 德尔福技术有限责任公司 基于车辆的对象跟踪方法
CN107590453A (zh) * 2017-09-04 2018-01-16 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN109523570A (zh) * 2017-09-20 2019-03-26 杭州海康威视数字技术股份有限公司 运动参数计算方法及装置
CN109344742A (zh) * 2018-09-14 2019-02-15 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A block motion vector estimation using pattern based pixel decimation;Yui-Lam Chan 等;《IEEE International Symposium on Circuits and Systems》;19970612;第1153-1156页 *
GPU Acceleration of Real-time Feature Based Algorithms;Jason M.Ready 等;《2007 IEEE Workshop on Motion and Video Computing》;20070305;第1-6页 *
动态背景中基于特征点引导的动目标快速检测方法;喻夏琼等;《兵工自动化》;20110115(第01期);第64-69页 *

Also Published As

Publication number Publication date
JP2022511427A (ja) 2022-01-31
US20210272294A1 (en) 2021-09-02
EP3965060A1 (en) 2022-03-09
WO2020221012A1 (zh) 2020-11-05
US11978219B2 (en) 2024-05-07
JP7305249B2 (ja) 2023-07-10
EP3965060A4 (en) 2022-10-05
CN110097576A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097576B (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
CN110502954B (zh) 视频分析的方法和装置
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN110110787A (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN110059685A (zh) 文字区域检测方法、装置及存储介质
CN110599593B (zh) 数据合成的方法、装置、设备及存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN110335224B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN110796248A (zh) 数据增强的方法、装置、设备及存储介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN113627413B (zh) 数据标注方法、图像比对方法及装置
CN111754386A (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN110503159B (zh) 文字识别方法、装置、设备及介质
CN112308103B (zh) 生成训练样本的方法和装置
CN112257594B (zh) 多媒体数据的显示方法、装置、计算机设备及存储介质
CN112381729B (zh) 图像处理方法、装置、终端及存储介质
CN111444749B (zh) 路面导向标志的识别方法、装置及存储介质
CN112184802A (zh) 标定框的调整方法、装置及存储介质
CN112767453B (zh) 人脸跟踪方法、装置、电子设备及存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN112950535A (zh) 视频处理方法、装置、电子设备及存储介质
CN111160248A (zh) 物品跟踪的方法、装置、计算机设备及存储介质
CN112990424A (zh) 神经网络模型训练的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant