CN112419413A - 终端设备的运动方向监测方法、介质、装置和计算设备 - Google Patents

终端设备的运动方向监测方法、介质、装置和计算设备 Download PDF

Info

Publication number
CN112419413A
CN112419413A CN202011417599.0A CN202011417599A CN112419413A CN 112419413 A CN112419413 A CN 112419413A CN 202011417599 A CN202011417599 A CN 202011417599A CN 112419413 A CN112419413 A CN 112419413A
Authority
CN
China
Prior art keywords
slope
result data
central point
task model
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011417599.0A
Other languages
English (en)
Other versions
CN112419413B (zh
Inventor
曾凡
李静
张燕
易锐
邰海军
柯钦瑜
黄勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwei Beijing Biotechnology Co ltd
First Affiliated Hospital of Zhengzhou University
Original Assignee
Xuanwei Beijing Biotechnology Co ltd
First Affiliated Hospital of Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwei Beijing Biotechnology Co ltd, First Affiliated Hospital of Zhengzhou University filed Critical Xuanwei Beijing Biotechnology Co ltd
Priority to CN202011417599.0A priority Critical patent/CN112419413B/zh
Publication of CN112419413A publication Critical patent/CN112419413A/zh
Application granted granted Critical
Publication of CN112419413B publication Critical patent/CN112419413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G01P13/02—Indicating direction only, e.g. by weather vane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施方式提供了一种终端设备的运动方向监测方法、介质、装置和计算设备。该方法包括：将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；对多个所述结果数据进行计算，得到输入数据；将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。本发明的上述技术能够使操作终端设备的操作人员可以随时获悉终端设备的当前的运动方向，从而实现对终端设备的精准控制，尽量避免操作人员因操作不当对终端设备或待探测的空间造成的伤害，提升了终端设备使用的安全性。

Description

终端设备的运动方向监测方法、介质、装置和计算设备
技术领域
本发明的实施方式涉及人工智能领域，更具体地，本发明的实施方式涉及一种终端设备的运动方向监测方法、介质、装置和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
当前，为了探测逼仄、狭窄、肉眼难以直接观察的空间（例如隧道，涵洞、食道、消化道、胃肠道等），往往采用可控制的探头进行探测，为了不伤及探头或待探测的空间，往往需要对探头的运动方向进行精确地控制，这对控制探头的操作人员有着非常高的要求，需要拥有大量经验积累的操作人员操作，操作人员稍有不慎可能会对探头或待探测的空间造成伤害。
发明内容
在本上下文中，本发明的实施方式期望提供一种终端设备的运动方向监测方法、介质、装置和计算设备。
在本发明实施方式的第一方面中，提供了一种终端设备的运动方向监测方法，包括：
将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；
对多个所述结果数据进行计算，得到输入数据；
将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。
在本实施方式的一个实施例中，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据之前，所述方法还包括：
对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵，其中各个子矩阵分别包含不同的特征点；
基于所述各个子矩阵分别包含不同的特征点，计算得到各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率；
将所述各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率确定为所述图像对应的特征数据。
在本实施方式的一个实施例中，多个所述方向判断子模型至少包括：第一斜率判断任务模型、第一时序判断任务模型、第二斜率判断任务模型以及第二时序判断任务模型，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据，包括：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，所述第一结果数据为所述第一斜率判断任务模型对应的结果数据；
将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，所述第二结果数据为所述第一时序判断任务模型对应的结果数据；
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，所述第三结果数据为所述第二斜率判断任务模型对应的结果数据；
将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，所述第四结果数据为所述第二时序判断任务模型对应的结果数据。
在本实施方式的一个实施例中，将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，包括：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，通过所述第一斜率判断任务模型中的逻辑回归模型对所述中心点均值向量斜率进行运算，得到第一结果数据。
在本实施方式的一个实施例中，将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，包括：
将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，通过所述第一时序判断任务模型中的卷积神经网络提取所述中心点均值向量中的特征；
通过所述第一时序判断任务模型中的长短期记忆网络对所述特征进行回归预测，得到第二结果数据。
在本实施方式的一个实施例中，将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，包括：
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，通过所述第二斜率判断任务模型中的循环神经网络对所述中心点拟合向量斜率进行运算，得到第三结果数据。
在本实施方式的一个实施例中，将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，包括：
将所述中心点拟合向量输入至所述第二时序判断任务模型，通过所述第二时序判断任务模型中的特征提取网络提取所述中心点拟合向量中的特征；
通过所述第二时序判断任务模型中的回归网络构建模型对所述特征进行回归预测，得到第四结果数据。
在本实施方式的一个实施例中，对多个所述结果数据进行计算，得到输入数据，包括：
对所述第一结果数据、第二结果数据、第三结果数据以及第四结果数据进行计算，得到输入数据。
在本实施方式的一个实施例中，将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向，包括：
将所述输入数据输入至方向判断模型，并通过所述分析判断模型中的逻辑回归模型对所述输入数据进行计算，得到所述输入数据对应的概率索引；
根据所述概率索引确定所述终端设备的运动方向。
在本发明实施方式的第二方面中，提供了一种终端设备的运动方向监测装置，包括：
第一输入单元，用于将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；
第一计算单元，用于对多个所述结果数据进行计算，得到输入数据；
第二输入单元，用于将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。
在本实施方式的一个实施例中，所述装置还包括：
识别单元，用于在所述第一输入单元将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据之前，对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵，其中各个子矩阵分别包含不同的特征点；
第二计算单元，用于基于所述各个子矩阵分别包含不同的特征点，计算得到各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率；
确定单元，用于将所述各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率确定为所述图像对应的特征数据。
在本实施方式的一个实施例中，多个所述方向判断子模型至少包括：第一斜率判断任务模型、第一时序判断任务模型、第二斜率判断任务模型以及第二时序判断任务模型，所述第一输入单元包括：
第一输入子单元，用于将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，所述第一结果数据为所述第一斜率判断任务模型对应的结果数据；
第二输入子单元，用于将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，所述第二结果数据为所述第一时序判断任务模型对应的结果数据；
第三输入子单元，用于将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，所述第三结果数据为所述第二斜率判断任务模型对应的结果数据；
第四输入子单元，用于将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，所述第四结果数据为所述第二时序判断任务模型对应的结果数据。
在本实施方式的一个实施例中，所述第一输入子单元将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据的方式具体为：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，通过所述第一斜率判断任务模型中的逻辑回归模型对所述中心点均值向量斜率进行运算，得到第一结果数据。
在本实施方式的一个实施例中，所述第二输入子单元包括：
第一输入模块，用于将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，通过所述第一时序判断任务模型中的卷积神经网络提取所述中心点均值向量中的特征；
第一预测模块，用于通过所述第一时序判断任务模型中的长短期记忆网络对所述特征进行回归预测，得到第二结果数据。
在本实施方式的一个实施例中，所述第三输入子单元将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据的方式具体为：
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，通过所述第二斜率判断任务模型中的循环神经网络对所述中心点拟合向量斜率进行运算，得到第三结果数据。
在本实施方式的一个实施例中，所述第四输入子单元包括：
第二输入模块，用于将所述中心点拟合向量输入至所述第二时序判断任务模型，通过所述第二时序判断任务模型中的特征提取网络提取所述中心点拟合向量中的特征；
第二预测模块，用于通过所述第二时序判断任务模型中的回归网络构建模型对所述特征进行回归预测，得到第四结果数据。
在本实施方式的一个实施例中，所述第一计算单元对多个所述结果数据进行计算，得到输入数据的方式具体为：
对所述第一结果数据、第二结果数据、第三结果数据以及第四结果数据进行计算，得到输入数据。
在本实施方式的一个实施例中，所述第二输入单元包括：
计算子单元，用于将所述输入数据输入至方向判断模型，并通过所述分析判断模型中的逻辑回归模型对所述输入数据进行计算，得到所述输入数据对应的概率索引；
确定子单元，用于根据所述概率索引确定所述终端设备的运动方向。
在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
在本发明实施方式的第四方面中，提供了一种计算设备，包括如上所述的存储介质。
根据本发明实施方式的终端设备的运动方向监测方法、介质、装置和计算设备，能够通过多个方向判断子模型对终端设备采集到的图像的特征数据进行运算，得到图像对应的多个结果数据，进而可以对得到的多个结果数据再次进行计算，得到输入数据，以及将输入数据输入至方向判断模型中，得到最终的终端设备的运动方向，以使操作终端设备的操作人员可以随时获悉终端设备的当前的运动方向，从而实现对终端设备的精准控制，尽量避免操作人员因操作不当对终端设备或待探测的空间造成的伤害，提升了终端设备使用的安全性。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施例提供的终端设备的运动方向监测方法的流程示意图；
图2为本发明另一实施例提供的终端设备的运动方向监测方法的流程示意图；
图3为本发明一实施例提供的终端设备的运动方向监测方法的结构示意图；
图4示意性地示出了本发明实施例的一种介质的结构示意图；
图5示意性地示出了本发明实施例的一种计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种终端设备的运动方向监测方法、介质、装置和计算设备。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面参考图1，图1为本发明一实施例提供的终端设备的运动方向监测方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的终端设备的运动方向监测方法的流程100，包括：
步骤S101，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；
步骤S102，对多个所述结果数据进行计算，得到输入数据；
步骤S103，将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。
本申请中提出的终端设备的运动方向监测方法所针对的是基于图像识别技术在内窥镜以及探头等设备的使用场景中，基于内窥镜或者探头等设备采集到的图像计算得到内窥镜或者探头的运动速度，包括但不限于内窥镜以及探头等设备的使用场景，例如监控设备、机器人、汽车、无人机、潜水器等搭载图像采集设备的终端。
本发明的上述技术能够通过多个方向判断子模型对终端设备采集到的图像的特征数据进行运算，得到图像对应的多个结果数据，进而可以对得到的多个结果数据再次进行计算，得到输入数据，以及将输入数据输入至方向判断模型中，得到最终的终端设备的运动方向，以使操作终端设备的操作人员可以随时获悉终端设备的当前的运动方向，从而实现对终端设备的精准控制，尽量避免操作人员因操作不当对终端设备或待探测的空间造成的伤害，提升了终端设备使用的安全性。
下面结合附图说明如何确定采集视频的终端设备的运动方向，从而实现对终端设备的精准控制，尽量避免操作人员因操作不当对终端设备或待探测的空间造成的伤害，提升终端设备使用的安全性：
本发明实施例中，终端设备上可以设置有图像采集设备，终端设备采集到的图像可以为终端设备的图像采集设备采集到的图像，终端设备可以为内窥镜、探头等设备，对此，本申请不做限定。
其中，可以对终端设备采集的图像进行特征数据提取，即可以基于图像设置坐标系，在提取出图像的特征点时，基于该坐标系确定该特征点对应的特征点坐标，通常情况下，一张图像中可以提取出一个或多个特征点，当一张图像中存在多个特征点时，可以从坐标系中确定每一个特征点对应的特征点坐标，并且可以将一张图像中提取出的所有特征点对应的特征点坐标确定为该图像的特征数据。
本发明实施例中，方向判断子模型可以有多个，方向判断子模型可以对特征数据进行运算，以使各个方向判断子模型输出与特征数据对应的结果数据。
举例来说，各个方向判断子模型都可以通过运算得到与终端设备的运动方向相关的参数，即每个方向判断子模型都可以对输入的所有特征数据进行运算，进而可以得到每个方向判断子模型输出的与终端设备的运动方向相关的结果数据，通过对得到的多个结果数据进行运算，最终可以得到更加准确的终端设备的运动方向。
此外，各个方向判断子模型还可以对图像中的不同区域的特征数据进行运算，以输出各个区域的特征数据对应的结果数据，具体的，可以预先将图像分割为多个子矩阵，并且获取各个子矩阵对应的特征数据，以及可以将各个子矩阵对应的特征数据分别输入不同的方向判断子模型，以使方向判断子模型对输入的任意一个子矩阵的特征数据进行运算，得到各个子矩阵的特征数据对应的结果数据，最后可以基于得到的多个子矩阵对应的结果数据进行计算，得到终端设备的运动方向。
本发明实施例中，对多个结果数据进行计算的计算方式可以为预先设置的计算方式，即可以预先设置输入的待运算数据的数量、格式等信息，还可以预先设置运算公式等，例如，计算方式可以预先设置为将输入的结果数据全部相加得到输入数据。
此外，方向判断模型中可以包含一维全链接层和Softmax逻辑回归模型（SoftmaxLogical Regression），可以将输入数据输入至方向判断模型中，通过方向判断模型中的一维全链接层和Softmax逻辑回归模型对输入数据进行计算，以使方向判断模型输出终端设备的运动方向。
作为一种可选的实施方式，在步骤S101之前，还可以对多个方向判断子模型和方向判断模型进行训练，具体的训练方式可以为：
通过方向标定设备输出的运动指令控制终端设备的运动；
获取终端设备基于运动指令进行运动的过程中采集的图像；
将运动指令中包含的运动方向与采集到的图像进行标定，得到标定后的训练图像；
基于该训练图像，以使对识别图像中指示的运动方向判断更准确为目标训练多个方向判断子模型和方向判断模型。
可见，实施这种实施方式，可以基于方向标定设备输出的运动指令控制终端设备的运动，并且可以采集终端设备在运动过程中的图像，从而可以对图像标记准确的运动指令中的运动方向，以提升基于准确地训练图像进行训练的多个方向判断子模型和方向判断模型的训练效果。
其中，方向标定设备可以包含多个按键，按键可以用来使终端设备的操作人员输入用于控制终端设备的运动方向的指令，例如，方向标定设备包含的按键可以为前进按键、后退按键、左上按键、右上按键、左下按键、右下按键以及暂定按键等，其中，操作人员按下前进按键可以认为向方向标定设备输入运动方向为前进的运动指令，操作人员按下后退按键可以认为向方向标定设备输入运动方向为后退的运动指令，其他按键与上述操作相同，不再赘述。方向标定设备可以向终端设备发送该运动指令，该运动指令中除了可以包含运动方向的信息之外，还可以包含运动速度等信息，对此，本发明实施例不做限定。终端设备在接收到运动指令之后，可以从该运动指令中读取运动方向、运动速度等信息，并且可以控制终端设备基于读取到的运动方向、运动速度等信息进行运动，以及可以在终端设备的运动过程中采集图像，此时采集到的图像对应的运动方向是与运动指令中包含的运动方向相同的，因此，可以将运动指令中的运动方向标定至采集到的图像上，保证图像上标定的运动方向更加精确。
更进一步，得到标定后的训练图像之后，还可以通过操作人员对标定后的训练图像进行再次确认，以保证对图像的运动方向标定的准确性。
此外，还可以将终端设备采集到的图像分割为多个子图像，并且可以将运动指令中包含的运动方向标定到多个子图像中，以及可以基于标定的多个子图像对多个方向判断子模型进行训练，以使各个方向判断子模型输出的与子图像对应的结果数据更加准确。
请参阅图2，图2为本发明另一实施例提供的终端设备的运动方向监测方法的流程示意图，图2所示的本发明另一实施例提供的终端设备的运动方向监测方法的流程200包括：
步骤S201，对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵，其中各个子矩阵分别包含不同的特征点；
步骤S202，基于所述各个子矩阵分别包含不同的特征点，计算得到各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率；
步骤S203，将所述各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率确定为所述图像对应的特征数据；
实施上述的步骤S201~步骤S203，可以识别终端设备采集到的图像的特征点，并且将图像进行分割，以得到各个子矩阵对应的特征点，进而基于各个子矩阵的特征点计算得到各个子矩阵对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率，并将上述数据可以确定为图像对应的特征数据，提升了特征数据的多样性。
本发明实施例中，对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵的方式具体可以为：
基于预设卷积核对终端设备采集的图像进行卷积操作，得到图像对应的结果图像；通过特征点提取算法对结果图像进行处理，得到图像对应的特征点坐标数组；将图像转换为张量矩阵，并获取每一个张量矩阵的矩阵宽和矩阵高；基于矩阵宽、矩阵高以及预设方式将每一个张量矩阵进行分割，得到每一个张量矩阵对应的多个子矩阵；从特征点队列中确定多个子矩阵分别对应的多个特征点坐标子数组。
其中，实施这种实施方式，可以基于图像转换得到的张量矩阵的宽和高对图像的张量矩阵进行分割，以使对图像的张量矩阵的分割方式更加合理，进而使得基于张量矩阵分割得到的子矩阵对应的特征点也更为合理。
可选的，预设卷积核可以以二阶微分卷积核为依据来确定，预设卷积核可以参考拉普拉斯的二阶微分卷积核[[1, 1, 1], [1, -8, 1], [1, 1, 1]]来设置，例如，预设卷积核可以为[[1, 1, 1], [1, -9, 1], [1, 1, 1]]或者[[1, 1, 1], [1, -10, 1], [1,1, 1]]，操作人员可以通过对不同参数进行测试，选择卷积效果最好的参数，并根据该参数确定预设卷积核。特征点提取算法可以为快速特征点提取和描述（Oriented FAST andRotated BRIEF，ORB）算法，ORB算法可以用来对结果图像进行计算，并得到结果图像的特征点坐标数组。例如，基于预设的坐标系，可以确定结果图像的特征点在结果图像中的坐标Kp=(高，宽)，进而可以确定由一帧结果图像中包含的多个特征点坐标生成的特征点坐标数组Kps=[Kp1,Kp2,…,Kpn]。此外，特征点提取算法还可以为尺度不变特征变换（Scale-InvariantFeature Transform，SIFT）算法、加速稳健特征（Speeded Up Robust Features，SURF）算法、Harris角点提取算法以及特征点检测（Features from Accelerated Segment Test，FAST）算法等，对此，本申请实施例不做限定。
更进一步，转换为的张量矩阵可以为M’，由于每一帧图像都是终端设备采集到的，因此采集到的不同的图像的尺寸大小均相同，即可以认为基于图像转换的张量矩阵的矩阵宽和矩阵高也都相同。因此，可以从张量矩阵中获取矩阵宽w和矩阵高h。
基于矩阵宽w和矩阵高h可以按照预设方式计算得到两条直线line1和line2，计算line1和line2的预设方式可以为：line1=（（0，w/2），（h，w/2））和line2=（（h/2，0），（h/2，w）），进而可以将每一帧图像对应的张量矩阵分割为四个子矩阵：
Figure 309490DEST_PATH_IMAGE001
其中，A1为张量矩阵的左上角部分，即图像的左上角部分；A2为张量矩阵的右上角部分，即图像的右上角部分；A3为张量矩阵的左下角部分，即图像的左下角部分；A4为张量矩阵的右下角部分，即图像的右下角部分；之后，可以从图像对应的特征点坐标数组Kps中获取到四个区域分别对应的特征点。
本发明实施例中，可以基于各个子矩阵分别对应的特征点进行计算，可以得到各个子矩阵分别对应的中心点均值向量（Arr1、Arr2、Arr3、Arr4）、中心点均值向量斜率（k1、k2、k3、k4）、中心点拟合向量（ArrF1、ArrF2、ArrF3、ArrF4）以及中心点拟合向量斜率（kf1、kf2、kf3、kf4）。以中心点均值向量Arr1为例，中心点均值向量斜率k1的具体计算公式为：
Figure 23368DEST_PATH_IMAGE002
其中，P1Avg1X可以为子矩阵特征点中点P1Avg1的x轴坐标，P1Avg1Y可以为子矩阵特征点中点P1Avg1的y轴坐标，P1AvgnX可以为子矩阵特征点中点P1Avgn的x轴坐标，P1AvgnY可以为子矩阵特征点中点P1Avgn的y轴坐标，且中心点均值向量斜率k2、k3、k4以及中心点拟合向量斜率kf1、kf2、kf3、kf4的计算方法与中心点均值向量斜率k1相同，在此不再赘述。
步骤S204，将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，所述第一结果数据为所述第一斜率判断任务模型对应的结果数据；
步骤S205，将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，所述第二结果数据为所述第一时序判断任务模型对应的结果数据；
步骤S206，将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，所述第三结果数据为所述第二斜率判断任务模型对应的结果数据；
步骤S207，将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，所述第四结果数据为所述第二时序判断任务模型对应的结果数据；
实施上述的步骤S204~步骤S207，可以通过四种不同的方向判断子模型对四种特征数据进行计算，得到多种结果数据，以使得到的结果数据更加全面。
其中，多种方向判断子模型（如第一斜率判断任务模型、第一时序判断任务模型、第二斜率判断任务模型以及第二时序判断任务模型）都可以基于长短期记忆网络（LongShort-Term Memory，LSTM）的循环神经网络（Recurrent Neural Network, RNN）构建，在本实施例中，为了避免对输入的特征数据造成过拟合，通常LSTM会设置较少层级的隐藏神经元，以实现特征的提取。
此外，由于基于图像判断终端设备的运动方向具有一定的时序性，因此获取一个时间段内的图像，并且获取每一帧图像对应的特征数据，进而生成包含多帧图像对应的特征数据的识别单元，以使方向判断子模型对识别单元进行计算，得到各个方向判断子模型对应的结果数据。
举例来说，可以选取预设时长内的20帧图像，还可以将每帧图像进行分割，得到每帧图像分别对应的4个子矩阵，可以将每帧图像的4个子矩阵对应的中心点均值向量斜率进行组合，得到第一识别单元，其中，第一识别单元有20行，每行对应一帧图像的4个子矩阵的中心点均值向量斜率以及根据中心点均值向量斜率得到的初步结果；进而使第一斜率判断任务模型对第一识别单元进行计算，得到第一结果数据；
其次，还可以将每帧图像的4个子矩阵对应的中心点均值向量进行组合，得到第二识别单元，其中，第二识别单元也可以有20行，每行对应一帧图像的4个子矩阵的中心点均值向量以及根据中心点均值向量得到的初步结果；进而使第一时序判断任务模型对第二识别单元进行计算，得到第二结果数据；
再次，还可以将每帧图像的4个子矩阵对应的中心点拟合向量斜率进行组合，得到第三识别单元，其中，第三识别单元也可以有20行，每行对应一帧图像的4个子矩阵的中心点拟合向量斜率以及根据中心点拟合向量斜率得到的初步结果；进而使第二斜率判断任务模型对第三识别单元进行计算，得到第三结果数据；
最后，还可以将每帧图像的4个子矩阵对应的中心点拟合向量进行组合，得到第四识别单元，其中，第四识别单元也可以有20行，每行对应一帧图像的4个子矩阵的中心点拟合向量以及根据中心点拟合向量得到的初步结果；进而使第二时序判断任务模型对第四识别单元进行计算，得到第四结果数据。
作为一种可选的实施方式，步骤S204，将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据的方式具体可以为：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，通过所述第一斜率判断任务模型中的逻辑回归模型对所述中心点均值向量斜率进行运算，得到第一结果数据。
可见，实施上述实施方式，可以将特征数据中的中心点均值向量斜率输入至第一斜率判断任务模型，以使第一斜率判断任务模型中的逻辑回归模型对中心点均值向量斜率进行计算，可以使得得到的第一结果数据是与中心点均值向量斜率相关的较为准确的结果数据。
其中，第一斜率判断任务模型中可以包含两层LSTM、扁平化层（Flatten）以及隐马尔可夫模型（Hidden Markov Model，HMM），其中第一斜率判断任务模型中的逻辑回归模型可以为LSTM构建得到，由于LSTM具备门控装置，可以对输入的数据进行选择性存储，因此使用LSTM作为第一斜率判断任务模型的特征提取层，可见，可以将特征数据中的中心点均值向量斜率输入至第一斜率判断任务模型，以使第一斜率判断任务模型中的LSTM、扁平化层以及HMM依次对中心点均值向量斜率进行计算，得到第一结果数据。
作为一种可选的实施方式，步骤S205，将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据的方式可以包括以下步骤：
将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，通过所述第一时序判断任务模型中的卷积神经网络提取所述中心点均值向量中的特征；
通过所述第一时序判断任务模型中的长短期记忆网络对所述特征进行回归预测，得到第二结果数据。
可见，实施上述实施方式，可以通过第一时序判断任务模型中的卷积神经网络提取得到中心点均值向量中的特征，并且可以通过第一时序任务模型中的长短期记忆网络对该特征进行回归预测，以使得到的第二结果数据更加准确。
此外，第一时序判断任务模型中还可以包含两层LSTM、扁平化层以及最大熵模型（Maximum Entropy Model，MEM），可以将特征数据中的中心点均值向量输入至第一时序判断任务模型，即可以将第二识别单元输入至第一时序判断任务模型，并且可以使第二识别单元中的每个中心点均值向量与其对应的时间点形成一一对应的映射关系，进而可以使第一时序判断任务模型从第二识别单元中提取中心点均值向量的特征，还可以通过LSTM将提取的特征以及对应的时间点进行回归预测，得到第二结果数据。
作为一种可选的实施方式，步骤S206，将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据的方式具体可以为：
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，通过所述第二斜率判断任务模型中的循环神经网络对所述中心点拟合向量斜率进行运算，得到第三结果数据。
可见，实施上述实施方式，可以通过第二斜率判断任务模型中的循环神经网络对中心点拟合向量斜率进行运算，以得到与中心点拟合向量相关的更加准确的结果数据。
其中，第二斜率判断任务模型中可以包含两层RNN、扁平化层以及Softmax逻辑回归模型，可以将特征数据中的中心点拟合向量斜率输入至第二斜率判断任务模型，以使第二斜率判断任务模型中的RNN、扁平化层以及Softmax逻辑回归模型依次对中心点拟合向量斜率进行计算，得到第三结果数据。
作为一种可选的实施方式，步骤S207，将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据的方式可以包括以下步骤：
将所述中心点拟合向量输入至所述第二时序判断任务模型，通过所述第二时序判断任务模型中的特征提取网络提取所述中心点拟合向量中的特征；
通过所述第二时序判断任务模型中的回归网络构建模型对所述特征进行回归预测，得到第四结果数据。
可见，实施上述实施方式，可以通过第二时序判断任务模型中的特征提取网络提取中心点拟合向量中的特征，并且可以第二时序判断任务模型中的回归网络构建模型对该特征进行回归预测，以得到更加准确的第四结果数据。
其中，第二时序判断任务模型中可以包含两层RNN、扁平化层以及Softmax逻辑回归模型，其中第二时序判断任务模型中的特征提取网络可以为RNN，回归网络构建模型可以为Softmax逻辑回归模型，基于简单的特征提取网络和回归网络结构模型可以有效防止过深网络对中心点拟合向量造成的过拟合，因此，可以将特征数据中的中心点拟合向量输入至第二斜率判断任务模型，以使第二斜率判断任务模型中的RNN、扁平化层以及Softmax逻辑回归模型依次对中心点拟合向量进行计算，得到第四结果数据。
步骤S208，对所述第一结果数据、第二结果数据、第三结果数据以及第四结果数据进行计算，得到输入数据；
实施上述的步骤S208，可以综合第一结果数据、第二结果数据、第三结果数据以及第四结果数据，以使最终得到的输入数据是基于准确的结果数据计算得到的，并且使得最终的输入数据与特征数据相关性较强。
步骤S209，将所述输入数据输入至方向判断模型，并通过所述分析判断模型中的逻辑回归模型对所述输入数据进行计算，得到所述输入数据对应的概率索引；
步骤S210，根据所述概率索引确定所述终端设备的运动方向。
实施上述的步骤S209~步骤S210，可以通过分析判断模型中的逻辑回归模型对输入数据进行计算，得到更加准确的概率索引，进而基于概率索引确定出概率较大的终端设备的运动方向，从而提升了终端设备的运动方向确定的准确性。
其中，概率索引中可以包含多个运动方向对应的概率值，因此可以从概率索引中选取概率值最大的运动方向作为最终的终端设备的运动方向，概率值最大可以认为该概率值对应的运动方向为可能想最大的终端设备的运动方向。
本发明的上述技术方案能够提升基于准确地训练图像进行训练的多个方向判断子模型和方向判断模型的训练效果。还可以提升特征数据的多样性。此外，还可以使得到的结果数据更加全面。此外，还可以使得到的第一结果数据是与中心点均值向量斜率相关的较为准确的结果数据。此外，还可以使得到的第二结果数据更加准确。此外，还可以得到与中心点拟合向量相关的更加准确的结果数据。此外，还可以得到更加准确的第四结果数据。此外，还可以使得最终的输入数据与特征数据相关性较强。此外，还可以提升终端设备的运动方向确定的准确性。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实施方式的一种终端设备的运动方向监测装置进行说明，该装置包括：
第一输入单元301，用于将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；
第一计算单元302，用于对第一输入单元301得到的多个所述结果数据进行计算，得到输入数据；
第二输入单元303，用于将第一计算单元302得到的所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。
本发明的上述技术能够通过多个方向判断子模型对终端设备采集到的图像的特征数据进行运算，得到图像对应的多个结果数据，进而可以对得到的多个结果数据再次进行计算，得到输入数据，以及将输入数据输入至方向判断模型中，得到最终的终端设备的运动方向，以使操作终端设备的操作人员可以随时获悉终端设备的当前的运动方向，从而实现对终端设备的精准控制，尽量避免操作人员因操作不当对终端设备或待探测的空间造成的伤害，提升了终端设备使用的安全性。
作为一种可选的实施方式，该装置还可以包括：
识别单元，用于在所述第一输入单元将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据之前，对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵，其中各个子矩阵分别包含不同的特征点；
第二计算单元，用于基于所述各个子矩阵分别包含不同的特征点，计算得到各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率；
确定单元，用于将所述各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率确定为所述图像对应的特征数据。
其中，实施这种实施方式，可以识别终端设备采集到的图像的特征点，并且将图像进行分割，以得到各个子矩阵对应的特征点，进而基于各个子矩阵的特征点计算得到各个子矩阵对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率，并将上述数据可以确定为图像对应的特征数据，提升了特征数据的多样性。
作为一种可选的实施方式，多个所述方向判断子模型至少包括：第一斜率判断任务模型、第一时序判断任务模型、第二斜率判断任务模型以及第二时序判断任务模型，该装置中的所述第一输入单元可以包括：
第一输入子单元，用于将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，所述第一结果数据为所述第一斜率判断任务模型对应的结果数据；
第二输入子单元，用于将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，所述第二结果数据为所述第一时序判断任务模型对应的结果数据；
第三输入子单元，用于将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，所述第三结果数据为所述第二斜率判断任务模型对应的结果数据；
第四输入子单元，用于将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，所述第四结果数据为所述第二时序判断任务模型对应的结果数据。
其中，实施这种实施方式，可以通过四种不同的方向判断子模型对四种特征数据进行计算，得到多种结果数据，以使得到的结果数据更加全面。
作为一种可选的实施方式，所述第一输入子单元将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据的方式具体可以为：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，通过所述第一斜率判断任务模型中的逻辑回归模型对所述中心点均值向量斜率进行运算，得到第一结果数据。
其中，实施这种实施方式，可以将特征数据中的中心点均值向量斜率输入至第一斜率判断任务模型，以使第一斜率判断任务模型中的逻辑回归模型对中心点均值向量斜率进行计算，可以使得得到的第一结果数据是与中心点均值向量斜率相关的较为准确的结果数据。
作为一种可选的实施方式，该装置中的所述第二输入子单元可以包括：
第一输入模块，用于将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，通过所述第一时序判断任务模型中的卷积神经网络提取所述中心点均值向量中的特征；
第一预测模块，用于通过所述第一时序判断任务模型中的长短期记忆网络对所述特征进行回归预测，得到第二结果数据。
其中，实施这种实施方式，可以通过第一时序判断任务模型中的卷积神经网络提取得到中心点均值向量中的特征，并且可以通过第一时序任务模型中的长短期记忆网络对该特征进行回归预测，以使得到的第二结果数据更加准确。
作为一种可选的实施方式，该装置中的所述第三输入子单元将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据的方式具体可以为：
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，通过所述第二斜率判断任务模型中的循环神经网络对所述中心点拟合向量斜率进行运算，得到第三结果数据。
其中，实施这种实施方式，可以通过第二斜率判断任务模型中的循环神经网络对中心点拟合向量斜率进行运算，以得到与中心点拟合向量相关的更加准确的结果数据。
作为一种可选的实施方式，该装置中的所述第四输入子单元可以包括：
第二输入模块，用于将所述中心点拟合向量输入至所述第二时序判断任务模型，通过所述第二时序判断任务模型中的特征提取网络提取所述中心点拟合向量中的特征；
第二预测模块，用于通过所述第二时序判断任务模型中的回归网络构建模型对所述特征进行回归预测，得到第四结果数据。
其中，实施这种实施方式，可以通过第二时序判断任务模型中的特征提取网络提取中心点拟合向量中的特征，并且可以第二时序判断任务模型中的回归网络构建模型对该特征进行回归预测，以得到更加准确的第四结果数据。
作为一种可选的实施方式，该装置中的所述第一计算单元对多个所述结果数据进行计算，得到输入数据的方式具体可以为：
对所述第一结果数据、第二结果数据、第三结果数据以及第四结果数据进行计算，得到输入数据。
其中，实施这种实施方式，可以综合第一结果数据、第二结果数据、第三结果数据以及第四结果数据，以使最终得到的输入数据是基于准确的结果数据计算得到的，并且使得最终的输入数据与特征数据相关性较强。
作为一种可选的实施方式，该装置中的所述第二输入单元可以包括：
计算子单元，用于将所述输入数据输入至方向判断模型，并通过所述分析判断模型中的逻辑回归模型对所述输入数据进行计算，得到所述输入数据对应的概率索引；
确定子单元，用于根据所述概率索引确定所述终端设备的运动方向。
其中，实施这种实施方式，可以通过分析判断模型中的逻辑回归模型对输入数据进行计算，得到更加准确的概率索引，进而基于概率索引确定出概率较大的终端设备的运动方向，从而提升了终端设备的运动方向确定的准确性。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图4对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图4，其示出的计算机可读存储介质为光盘40，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；对多个所述结果数据进行计算，得到输入数据；将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图5对本发明示例性实施方式的用于终端设备的运动方向监测的计算设备进行说明。
图5示出了适于用来实现本发明实施方式的示例性计算设备50的框图，该计算设备50可以是计算机系统或服务器。图5显示的计算设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件（包括系统存储器502和处理单元501）的总线503。
计算设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）5021和/或高速缓存存储器5022。计算设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM5023可以用于读写不可移动的、非易失性磁介质（图5中未显示，通常称为“硬盘驱动器”）。尽管未在图5中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块5024的程序/实用工具5025，可以存储在例如系统存储器502中，且这样的程序模块5024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备50也可以与一个或多个外部设备504（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口605进行。并且，计算设备50还可以通过网络适配器506与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图5所示，网络适配器506通过总线503与计算设备50的其它模块（如处理单元501等）通信。应当明白，尽管图5中未示出，可以结合计算设备50使用其它硬件和/或软件模块。
处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；对多个所述结果数据进行计算，得到输入数据；将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了终端设备的运动方向监测装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (20)

1.一种终端设备的运动方向监测方法，包括：
将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；
对多个所述结果数据进行计算，得到输入数据；
将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。
2.根据权利要求1所述的终端设备的运动方向监测方法，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据之前，所述方法还包括：
对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵，其中各个子矩阵分别包含不同的特征点；
基于所述各个子矩阵分别包含不同的特征点，计算得到各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率；
将所述各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率确定为所述图像对应的特征数据。
3.根据权利要求2所述的终端设备的运动方向监测方法，多个所述方向判断子模型至少包括：第一斜率判断任务模型、第一时序判断任务模型、第二斜率判断任务模型以及第二时序判断任务模型，将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据，包括：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，所述第一结果数据为所述第一斜率判断任务模型对应的结果数据；
将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，所述第二结果数据为所述第一时序判断任务模型对应的结果数据；
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，所述第三结果数据为所述第二斜率判断任务模型对应的结果数据；
将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，所述第四结果数据为所述第二时序判断任务模型对应的结果数据。
4.根据权利要求3所述的终端设备的运动方向监测方法，将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，包括：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，通过所述第一斜率判断任务模型中的逻辑回归模型对所述中心点均值向量斜率进行运算，得到第一结果数据。
5.根据权利要求3所述的终端设备的运动方向监测方法，将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，包括：
将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，通过所述第一时序判断任务模型中的卷积神经网络提取所述中心点均值向量中的特征；
通过所述第一时序判断任务模型中的长短期记忆网络对所述特征进行回归预测，得到第二结果数据。
6.根据权利要求3所述的终端设备的运动方向监测方法，将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，包括：
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，通过所述第二斜率判断任务模型中的循环神经网络对所述中心点拟合向量斜率进行运算，得到第三结果数据。
7.根据权利要求3所述的终端设备的运动方向监测方法，将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，包括：
将所述中心点拟合向量输入至所述第二时序判断任务模型，通过所述第二时序判断任务模型中的特征提取网络提取所述中心点拟合向量中的特征；
通过所述第二时序判断任务模型中的回归网络构建模型对所述特征进行回归预测，得到第四结果数据。
8.根据权利要求3~7任一项所述的终端设备的运动方向监测方法，对多个所述结果数据进行计算，得到输入数据，包括：
对所述第一结果数据、第二结果数据、第三结果数据以及第四结果数据进行计算，得到输入数据。
9.根据权利要求8所述的终端设备的运动方向监测方法，将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向，包括：
将所述输入数据输入至方向判断模型，并通过所述方向判断模型中的逻辑回归模型对所述输入数据进行计算，得到所述输入数据对应的概率索引；
根据所述概率索引确定所述终端设备的运动方向。
10.一种终端设备的运动方向监测装置，包括：
第一输入单元，用于将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据；
第一计算单元，用于对多个所述结果数据进行计算，得到输入数据；
第二输入单元，用于将所述输入数据输入至方向判断模型，得到所述终端设备的运动方向。
11.根据权利要求10所述的终端设备的运动方向监测装置，所述装置还包括：
识别单元，用于在所述第一输入单元将与所述终端设备采集的图像对应的特征数据输入至多个方向判断子模型，得到各个所述方向判断子模型分别对应的结果数据之前，对所述终端设备采集的图像进行特征点识别，并按照预设方式对所述图像进行分割，得到所述图像对应的多个子矩阵，其中各个子矩阵分别包含不同的特征点；
第二计算单元，用于基于所述各个子矩阵分别包含不同的特征点，计算得到各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率；
确定单元，用于将所述各个子矩阵分别对应的中心点均值向量、中心点均值向量斜率、中心点拟合向量以及中心点拟合向量斜率确定为所述图像对应的特征数据。
12.根据权利要求11所述的终端设备的运动方向监测装置，多个所述方向判断子模型至少包括：第一斜率判断任务模型、第一时序判断任务模型、第二斜率判断任务模型以及第二时序判断任务模型，所述第一输入单元包括：
第一输入子单元，用于将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据，所述第一结果数据为所述第一斜率判断任务模型对应的结果数据；
第二输入子单元，用于将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，得到第二结果数据，所述第二结果数据为所述第一时序判断任务模型对应的结果数据；
第三输入子单元，用于将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据，所述第三结果数据为所述第二斜率判断任务模型对应的结果数据；
第四输入子单元，用于将所述中心点拟合向量输入至所述第二时序判断任务模型，得到第四结果数据，所述第四结果数据为所述第二时序判断任务模型对应的结果数据。
13.根据权利要求12所述的终端设备的运动方向监测装置，所述第一输入子单元将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，得到第一结果数据的方式具体为：
将所述特征数据中的中心点均值向量斜率输入至所述第一斜率判断任务模型，通过所述第一斜率判断任务模型中的逻辑回归模型对所述中心点均值向量斜率进行运算，得到第一结果数据。
14.根据权利要求12所述的终端设备的运动方向监测装置，所述第二输入子单元包括：
第一输入模块，用于将所述特征数据中的中心点均值向量输入至所述第一时序判断任务模型，通过所述第一时序判断任务模型中的卷积神经网络提取所述中心点均值向量中的特征；
第一预测模块，用于通过所述第一时序判断任务模型中的长短期记忆网络对所述特征进行回归预测，得到第二结果数据。
15.根据权利要求12所述的终端设备的运动方向监测装置，所述第三输入子单元将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，得到第三结果数据的方式具体为：
将所述中心点拟合向量斜率输入至所述第二斜率判断任务模型，通过所述第二斜率判断任务模型中的循环神经网络对所述中心点拟合向量斜率进行运算，得到第三结果数据。
16.根据权利要求12所述的终端设备的运动方向监测装置，所述第四输入子单元包括：
第二输入模块，用于将所述中心点拟合向量输入至所述第二时序判断任务模型，通过所述第二时序判断任务模型中的特征提取网络提取所述中心点拟合向量中的特征；
第二预测模块，用于通过所述第二时序判断任务模型中的回归网络构建模型对所述特征进行回归预测，得到第四结果数据。
17.根据权利要求12~16任一项所述的终端设备的运动方向监测装置，所述第一计算单元对多个所述结果数据进行计算，得到输入数据的方式具体为：
对所述第一结果数据、第二结果数据、第三结果数据以及第四结果数据进行计算，得到输入数据。
18.根据权利要求17所述的终端设备的运动方向监测装置，所述第二输入单元包括：
计算子单元，用于将所述输入数据输入至方向判断模型，并通过所述方向判断模型中的逻辑回归模型对所述输入数据进行计算，得到所述输入数据对应的概率索引；
确定子单元，用于根据所述概率索引确定所述终端设备的运动方向。
19.一种存储有程序的存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~9中的任一项所述的终端设备的运动方向监测方法。
20.一种计算设备，包括如权利要求19所述的存储介质。
CN202011417599.0A 2020-12-07 2020-12-07 终端设备的运动方向监测方法、介质、装置和计算设备 Active CN112419413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011417599.0A CN112419413B (zh) 2020-12-07 2020-12-07 终端设备的运动方向监测方法、介质、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011417599.0A CN112419413B (zh) 2020-12-07 2020-12-07 终端设备的运动方向监测方法、介质、装置和计算设备

Publications (2)

Publication Number Publication Date
CN112419413A true CN112419413A (zh) 2021-02-26
CN112419413B CN112419413B (zh) 2024-01-05

Family

ID=74775813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011417599.0A Active CN112419413B (zh) 2020-12-07 2020-12-07 终端设备的运动方向监测方法、介质、装置和计算设备

Country Status (1)

Country Link
CN (1) CN112419413B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10267955A (ja) * 1997-03-26 1998-10-09 Sony Corp 画像処理装置および画像処理方法
JP2014052934A (ja) * 2012-09-10 2014-03-20 Mega Chips Corp 携帯端末装置、プログラムおよび入力方法
CN106199066A (zh) * 2016-07-08 2016-12-07 上海与德通讯技术有限公司 智能终端的方向校准方法、装置
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端
CN108921900A (zh) * 2018-07-18 2018-11-30 江苏实景信息科技有限公司 一种监测监控摄像机的方位的方法及装置
US20190065910A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation Adaptive real-time detection and examination network (arden)
WO2020155609A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 一种目标对象处理方法、装置、电子设备及存储介质
CN111751573A (zh) * 2019-09-10 2020-10-09 广东小天才科技有限公司 一种移动终端的移动方向确定方法及移动终端
CN111832601A (zh) * 2020-04-13 2020-10-27 北京嘀嘀无限科技发展有限公司 状态检测方法、模型训练方法、存储介质和电子设备
WO2020215573A1 (zh) * 2019-04-22 2020-10-29 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
CN111881946A (zh) * 2020-07-09 2020-11-03 珠海格力电器股份有限公司 一种安全监控方法、装置、存储介质、电子设备以及空调

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10267955A (ja) * 1997-03-26 1998-10-09 Sony Corp 画像処理装置および画像処理方法
JP2014052934A (ja) * 2012-09-10 2014-03-20 Mega Chips Corp 携帯端末装置、プログラムおよび入力方法
CN106199066A (zh) * 2016-07-08 2016-12-07 上海与德通讯技术有限公司 智能终端的方向校准方法、装置
US20190065910A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation Adaptive real-time detection and examination network (arden)
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端
CN108921900A (zh) * 2018-07-18 2018-11-30 江苏实景信息科技有限公司 一种监测监控摄像机的方位的方法及装置
WO2020155609A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 一种目标对象处理方法、装置、电子设备及存储介质
WO2020215573A1 (zh) * 2019-04-22 2020-10-29 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
CN111751573A (zh) * 2019-09-10 2020-10-09 广东小天才科技有限公司 一种移动终端的移动方向确定方法及移动终端
CN111832601A (zh) * 2020-04-13 2020-10-27 北京嘀嘀无限科技发展有限公司 状态检测方法、模型训练方法、存储介质和电子设备
CN111881946A (zh) * 2020-07-09 2020-11-03 珠海格力电器股份有限公司 一种安全监控方法、装置、存储介质、电子设备以及空调

Also Published As

Publication number Publication date
CN112419413B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
CN107704857B (zh) 一种端到端的轻量级车牌识别方法及装置
CN109478239B (zh) 检测图像中的对象的方法和对象检测系统
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN108875931B (zh) 神经网络训练及图像处理方法、装置、系统
CN113205142B (zh) 一种基于增量学习的目标检测方法和装置
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112989910A (zh) 电力目标检测方法、装置、计算机设备和存储介质
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN113240718A (zh) 多目标识别及跟踪方法、系统、介质和计算设备
JP5674550B2 (ja) 状態追跡装置、方法、及びプログラム
CN115496976A (zh) 多源异构数据融合的视觉处理方法、装置、设备及介质
CN115439708A (zh) 一种图像数据处理方法和装置
CN112365521B (zh) 终端设备的速度监测方法、装置、介质和计算设备
CN113361194B (zh) 一种基于深度学习的传感器漂移校准方法、电子设备及存储介质
CN112258550B (zh) 终端设备的运动方向监测方法、介质、装置和计算设备
CN110956131B (zh) 单目标追踪方法、装置及系统
CN112419413B (zh) 终端设备的运动方向监测方法、介质、装置和计算设备
CN114119970B (zh) 目标跟踪方法及装置
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant