CN109711246B - 一种动态物体识别方法、计算机装置及可读存储介质 - Google Patents
一种动态物体识别方法、计算机装置及可读存储介质 Download PDFInfo
- Publication number
- CN109711246B CN109711246B CN201811310149.4A CN201811310149A CN109711246B CN 109711246 B CN109711246 B CN 109711246B CN 201811310149 A CN201811310149 A CN 201811310149A CN 109711246 B CN109711246 B CN 109711246B
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- dynamic
- image
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明适用于计算机领域，提供了一种动态物体识别方法、计算机装置及可读存储介质。该方法包括：获取待识别区域图像信息，图像信息包括环境信息和目标物体信息；根据图像信息提取目标物体特征信息；根据目标物体特征信息确定目标物体区域；基于目标物体特征信息，构建目标物体动态分析模型；判断目标物体区域是否符合所述目标物体动态分析模型的预测结果；若判断结果为是，则确定目标物体区域为目标物体并输出识别结果。实施本发明可以在不超过其硬件限制的情况下，克服物体运动过程中产生的动态模糊对识别效果的影响，以及由于物体运动时其特征值的变化较快，存在不确定性而导致物体识别效果较差的问题，从而提高动态物体的识别准确度。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种动态物体识别方法、计算机装置及可读存储介质。
背景技术
机器人是自动控制机器的俗称，包括一切模拟人类行为或思想与模拟其他生物的机械(如机械猫等)。在当代工业中，机器人能够自动执行任务，可以用以取代或协助人类工作。而机器人视觉是指使机器人具有视觉感知功能的系统，是机器人系统组成的重要部分之一。
由于不同物体的表面特征具有不同的特性和特点，且处于运动过程(动态)中的物体的表面特征变化较快，容易产生动态模糊，从而影响到机器人对其的动态识别结果(识别错误或者无法识别)。
然而，现有的机器人视觉识别方法是对于动态的目标物体的识别效果较差，不能准确地识别出动态的目标物体。
发明内容
本发明实施例提供一种动态物体识别方法，旨在解决现有的机器人视觉识别方法是对于动态的目标物体的识别效果较差，不能准确地识别出动态的目标物体的问题。
本发明实施例是这样实现的，一种动态物体识别方法，包括如下步骤：
获取待识别区域图像信息，所述图像信息包括环境信息和目标物体信息；
根据所述图像信息提取目标物体特征信息；
根据所述目标物体特征信息确定目标物体区域；
基于所述目标物体特征信息，构建目标物体动态分析模型；
判断所述目标物体区域是否符合所述目标物体动态分析模型的预测结果；
若判断结果为是，则确定所述目标物体区域为目标物体并输出识别结果。
本发明实施例还提供一种计算机装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的各步骤。
本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的各步骤。
本发明实施例提供的动态物体识别方法，利用目标物体特征信息确定待识别区域图像信息中的目标物体区域，并基于目标物体特征信息构建目标物体动态分析模型，进一步对目标物体区域进行动态分析判断，根据该目标物体动态分析模型可对目标物体的运动状况进行分析并预测出目标物体在运动过程中，其目标物体特征信息的动态变化趋势，进而判断出目标物体当前的运动状态，以克服目标物体在运动过程中产生的动态模糊和不确定性对识别结果产生的影响，从而提高了识别结果的准确性。
附图说明
图1是本发明实施例一提供的动态物体识别方法的实现流程图；
图2是本发明实施例提供的图像坐标系示意图；
图3是本发明实施例提供的世界坐标系示意图；
图4是本发明实施例提供的像平面坐标系示意图；
图5是本发明实施例提供的相机坐标系与像平面坐标系的成像投影关系示意图；
图6是本发明实施例二提供的动态物体识别方法的实现流程图；
图7是本发明实施例提供的动态物体识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。
为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。
本发明实施例提供的动态物体识别方法，利用目标物体特征信息确定待识别区域图像信息中的目标物体区域，并基于目标物体特征信息构建目标物体动态分析模型，进一步对目标物体区域进行动态分析判断，根据该目标物体动态分析模型可对目标物体的运动状况进行分析，根据其目标物体特征信息的动态变化趋势，进而判断出目标物体当前的运动状态，以克服目标物体在运动过程中产生的动态模糊和不确定性对识别结果产生的影响，从而提高了识别结果的准确性。
图1示出了本发明实施例一提供的动态物体识别方法的实现流程，详述如下：
在步骤S101中，获取待识别区域图像信息，该图像信息包括环境信息和目标物体信息。
在本发明实施例中，可通过摄像装置(如安装在机器人上的摄像机或相机等)采集待识别区域的图像信息，其中该图像信息包括环境信息和目标物体信息。
下面以待识别区域为足球赛场为例进行说明，通过摄像装置采集进入其采集视野范围内的图像。其中，采集到的图像中包含有进入采集视野范围内的足球场草坪、人物以及足球的图像。此处的环境信息，指进入采集视野范围内的足球场草坪及人物等足球场环境图像；目标物体信息，指进入采集视野范围内的足球图像。
在本发明的一个实施例中，对当前拍摄到的待识别区域图像进行垂直扫描以获取待识别区域图像信息。其中，垂直扫描是指单位时间(以秒计)之内电子枪对整个屏幕进行扫描的次数，通常以赫兹(Hz)表示。以85Hz刷新率为例，它表示显示器的内容每秒钟刷新85次。
作为本发明的一个实施例，以足球场上的足球为例，首先通过机器人自身的摄像头采集待识别区域图像，然后，将该待识别区域图像存储到机器人内部的存储器当中。机器人通过垂直扫描的方式从左向右扫描该待识别区域图像，获取待识别区域图像信息，并将待识别区域图像的图像坐标转化为世界坐标，对应到当前的环境中来。其中图像坐标系的示意图如图2所示，世界坐标系如图3所示。
其中，图像坐标，是指摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是图像点的亮度(灰度)。在图像上定义直角坐标系u-v，每个像素的坐标(u，v)分别是该像素在数组中的列数和行数。故(u，v)是以像素为单位的图像坐标系坐标。
世界坐标，是指由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中的任意物体的位置，该坐标系称为世界坐标系。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。与此相关的是图像坐标系和摄像机坐标系。
相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X，Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。
像素坐标：图像都是由像素组成的，像素坐标是像素在图像中的位置。
像平面坐标系：像平面坐标系是以主点为原点的右手平面坐标系，用0-xy表示，用来表示像点在像片上的位置，但在实际应用中，常采用框标连线交点为原点的右手平面坐标系P-XY，称其为框标平面坐标系。在摄像机内所形成的像平面坐标系统，一般取像平面与摄像机坐标系统的XY平面平行，且轴x与轴X平行，轴y与轴Y平行，像平面的原点在摄像机的光轴上。
在一个实施例中，像素坐标与像平面坐标系的关系如图4所示。假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，通过每一个像素在u轴和v轴上的物理尺寸，建立像素坐标系和真实尺寸坐标系的关系(如下式(1)和(2))，并求解出待识别区域图像的内外参数u0，v0。通过求解得出的u0，v0对待识别区域图像进行三维场景的重构。
具体求解u0，v0的过程如下：
将上述式(1)转化为：
其矩阵形式可表示为：
上述式(2)转化为：
其矩阵形式可表示为：
1＝0×1+0×1+1×1的矩阵形式可表示为：
联立上述公式可推导得出：
可以理解的是，联立上述公式也可以推导得出另一矩阵形式：
根据相机坐标系与世界坐标系之间的关系，可以通过将上述矩阵(3)或(4)进行旋转矩阵R和平移矩阵T得到：
如图5所示，图中相机坐标系为：O-XcYcZc，图像坐标系为O1-XY，根据三角形相似原理，可得出
点M为世界坐标系中的一点，即为现实环境中的真实一点；点m为在图像中的成像点，在图像坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u，v)；f为相机焦距，等于O与O1的距离，f＝|O1-O|。
根据成像投影的关系(相机坐标系与像平面坐标系)，可将上述式(5)转化为：
同样的，上述式(6)也可以表示为以下矩阵形式：
联立上述公式(1)-(7)可以得到：
而待识别区域图像的内参数的矩阵形式可表示为：
外参数矩阵可表示为：
其由旋转矩阵R和平移向量T组成。通过求解上述式(8)和(9)可得出待识别区域图像的内外参数u0，v0，并重构待识别区域图像的三维场景，此时可以初步判断待识别区域图像中的物体的静态信息。
在步骤S102中，根据图像信息提取目标物体特征信息。
在本发明的一个实施例中，首先根据预设的特征阈值从待识别区域图像信息中筛选出目标物体信息，再从目标物体信息中提取出目标物体特征信息。
结合上述实施例的举例，预设的特征值可以是颜色指标(如绿色和非绿色)，根据该特征值可以区分出待识别区域图像信息中的足球场草坪和非足球场草坪图像区域。此时，可再进一步从非足球场草坪图像区域中提取出目标物体特征信息-足球的特征信息(例如，圆形、黑白相间等信息)。
在步骤S103中，根据目标物体特征信息确定目标物体区域。
在本发明实施例中，结合上述实施例的举例，根据上述步骤S102提取到的足球特征信息确定目标物体--足球在待识别区域图像中的位置区域。
在步骤S104中，基于目标物体特征信息，构建目标物体动态分析模型。
目标物体特征信息(如颜色等)会随着目标物体的不同的运动状态(如加速、减速运动等)而在单位时间内出现在摄像装置的采集视野的次数或频率而变化。此时，摄像装置就容易在捕捉目标物体时因此而产生动态模糊(或不确定变化)，从而容易造成识别的偏差。
在本发明实施例中，基于目标物体特征信息，构建目标物体动态分析模型，借助该动态分析模型可以对目标物体区域进行进一步分析，充分考虑到目标物体的运动状态对识别结果的影响，可提高识别的准确度。
在步骤S105中，判断目标物体区域是否符合目标物体动态分析模型的预测结果。
在本发明的一个实施例中，若该目标物体动态分析模型的预测结果是体积为A的黑白相间的足球；则判断目标物体区域与目标物体动态分析模型预测的结果是否一致(相同)，即判断目标物体区域是否为体积为X的黑白相间的球状区域。
在步骤S106中，若判断结果为是，则确定目标物体区域为目标物体并输出识别结果。
在本发明实施例中，结合上述实施例的例子，若判断结果为是，则确定目标物体区域为足球，并输出识别结果为体积为X的黑白相间的足球。
本发明实施例提供的动态物体识别方法，利用目标物体特征信息确定待识别区域图像信息中的目标物体区域，并基于目标物体特征信息构建目标物体动态分析模型，进一步对目标物体区域进行动态分析判断，根据该目标物体动态分析模型可对目标物体的运动状况进行分析并预测出目标物体在运动过程中，其目标物体特征信息的动态变化趋势，进而预测出目标物体当前的运动状态，以克服目标物体在运动过程中产生的动态模糊和不确定性对识别结果产生的影响，从而提高了识别结果的准确性。
图6示出了本发明实施例二提供的动态物体识别方法的流程，详述如下：
在本发明实施例中，目标物体特征信息包括第一目标物体特征信息和目标物体纹理信息。其中，第一目标物体特征信息为目标物体的像素、大小或形状信息的其中之一或其任意组合。
本实施例与实施例一相似，两者的不同之处在于：上述步骤S103包括步骤S201、步骤S202。步骤S104替换为步骤S203。
在步骤S201中，根据第一目标物体特征信息，确定目标物体候选区域。
在本发明实施例中，第一目标物体特征信息为目标物体的像素、大小或形状信息的其中之一或其任意组合。
在本发明的一个实施例中，以第一目标物体特征信息为目标物体的像素为例进行说明。像素是指基本原色素及其灰度的基本编码，是构成数码影像的基本单元，如同摄影的相片一样，数码影像也具有连续性的浓淡阶调，若把数码影像放大数倍，会发现这些连续色调其实是由许多色彩相近的小方点所组成，这些小方点就是构成影像的最小单元--像素。这种最小的图形单元在屏幕上显示通常是单个的染色点。越高位的像素，其拥有的色板也就越丰富，也就越能表达颜色的真实感。假设目标物体为足球场上的足球，足球场地面一般是绿色的平面，而足球是黑白相间的球体。由于足球场的颜色与足球的颜色明显不一样，因此，可以利用两者之间的像素分布差异将其区分开来，并将符合足球的像素分布特点的区域确定为目标物体候选区域。
优选的，在确定存在目标物体可能性较高的候选区域时，可先确定目标物体的大小和像素分布特点，以便于后续可根据目标物体的大小和目标物体的像素分布的特点确定存在目标物体可能性较高的候选区域。以足球为例，假设此时的候选区域半径为目标物体的半径的1.2倍，在扫描区域中场地绿色和足球上非绿色的比率为1.44～1∶1时(此处(1.44～1)为以候选球点(即目标物体)为圆心，以1.2倍目标物体半径为扫描半径的圆形区域减去以候选球点为圆心，以1倍目标物体半径为扫描半径的圆形区域，该值代表足球场上扫描区域中的绿色部分。该值为化简结果)，则认为该区域内有较高的可能性存在足球，则此时绿色和非绿色的比例为合适的阈值。根据该阈值范围可确定目标物体候选区域的大小，并初步估计当前候选区域是否符合目标物体大小和像素分布特点，若是，则认为该候选区域内有较高的可能性存在目标物体-足球。
在本发明的另一实施例中，第一目标物体特征信息为像素、大小和形状的组合。假设目标物体为足球场上的足球，那么第一目标物体特征信息则为黑白相间、直径为22.1cm的球体，从待识别区域图像中筛选出具有黑白相间、直径为22.1cm的球体特点的图像区域，并将符合这些条件的区域确定为目标物体候选区域。
在步骤S202中，根据目标物体纹理信息，确定目标物体区域。
在本发明实施例中，为了进一步筛选并确定目标物体区域，提高识别的准确度，可根据目标物体纹理信息，从待识别区域图像中筛选出与目标物体纹理信息相同或相近的区域，从而确定目标物体区域。
例如，目标物体为足球场上的足球，根据足球的纹理信息，从待识别区域图像中筛选出与足球纹理相同或相近的区域，确定足球在待识别区域图像中的位置区域。
在本发明实施例中，提高符合预设的目标物体纹理信息的目标物体候选区域的权重值，降低不符合预设目标物体纹理信息的目标物体候选区域的权重值或者直接将其从候选队列中删除，以进一步精确选出最优可能为目标物体的区域。
在步骤S203中，基于目标物体纹理信息，构建目标物体动态分析模型。
在本发明实施例中，纹理是指物体表面的花纹或纹路。假设目标物体为足球场上的足球，基于足球的纹理信息构建足球在足球场上运动时其纹理图像的动态变化过程分析模型。
在本发明实施例中，上述步骤S203具体可包括：
基于目标物体纹理信息，恢复得出目标物体的三维表面信息；
根据目标物体的三维表面信息，构建目标物体的动态分析模型。
在本发明实施例中，纹理恢复形状法主要是基于物体具有不同的纹理信息，这种信息由纹理元组成，根据纹理元确定表面的状态，从而恢复出相应的三维表面。
纹理法的基本理论为：作为图像视野中不断重复的视觉基元，纹理元覆盖在各个位置和方向上。当某个布满纹理元的物体被投射在平面上，其相应的纹理元也会发生弯折和变化。例如，透视收缩变形使与图像平面夹角越小的纹理元越长，投影变形会使离图像平面越近的纹理元越大。通过对图像的测量来获取变形，进而根据变形后的纹理元，逆向计算出深度数据。
在确定目标物体区域后，作为待识别区域图像视野中不断重复的视觉基元，纹理元覆盖在各个位置和方向上。当布满纹理元的目标物体被投射在平面上时，其相应的纹理元也会发生弯折与变化。例如透视收缩变形使与图像平面夹角越小的纹理元越长，投影变形会使离图像平面越近的纹理元越大。通过对待识别区域图像的测量来获取变形，进而根据变形后的目标物体的纹理元，逆向计算出深度数据。将目标物体的纹理等数据用于构建动态分析模型，可以准确地图定处于运动状态中的目标物体，并可通过该动态模型进行分析动态目标物体的状态，降低识别错误率。
以目标物体为足球为例，由于足球表面的纹理信息相对固定，根据足球表面的纹理等信息可以恢复出足球的三维表面信息。根据足球的三维表面信息，构建足球的动态分析模型。
本发明实施例三提供的动态物体识别方法与实施例一基本相似，其不同之处在于：将上述步骤S105替换为下述步骤：
基于所述目标物体动态分析模型，判断所述目标物体当前的运动状态；
根据所述目标物体当前的运动状态，确定所述目标物体的动态特征信息；
判断所述目标物体区域的目标物体特征信息与所述目标物体的动态特征信息的匹配度是否在预设的阈值范围内。
在本发明实施例中，目标物体特征信息在三维空间中的不同位置会发生不同的变形，根据不同的变形情况预测目标物体当前的运动状态。以目标物体为足球为例，基于上述的动态分析模型的分析，对足球表面特征信息(如足球表面黑色块)进行单位时间内变化的计算。可以计算出目标物体的速度，通过出现在待识别区域视野内的黑色块进行标注和记录该黑色块的移动情况可以分析出目标物体的运动状态，对出现在视野内的多个黑色块(同一段时间内仅记录一个黑色块即可)速度记录可以对目标物体的运动情况进行预测，如果视野内的多个黑色块(同一段时间内仅记录一个黑色块即可)的速度不断减小，则预测目标物体正在进行减速运动，经过计算可以得出若无外力干扰一定时间后目标物体停下的位置。
若根据目标物体动态分析模型预测到目标物体当前处于减速运动状态，则可经计算得出若无外力干扰一定时间后目标物体停下的位置，以及记录目标物体停下后出现在采集视野中的动态特征信息(如黑色块数量等)。
预设的阈值范围可以是黑色块数量为大于5块。此时，可判断目标物体区域的黑色块数量是否在预设的黑色块数量范围内。
在本发明的一个优选实施例中，在上述步骤判断所述目标物体区域的目标物体特征信息与所述目标物体的动态特征信息的匹配度是否在预设的阈值范围内，之前还包括：根据所述目标物体当前的运动状态，确定预设的阈值范围。
例如，当目标物体(如足球场上的足球等)的速度高于一定值时由于动态模糊或足球运动的不确定性，足球在待识别区域中的成像清晰度等会受到影响。在实际应用中，可以根据足球在足球场上的运动状态，调整待识别区域图像中绿色与非绿色比例中的比值。比如，当足球处于加速运动状态时，降低待识别区域图像中绿色与非绿色比例中的比值；当目标物体处于静止或低速运动时，未受到运动模糊影响或是运动模糊影响，可保持预设的初始的绿色与非绿色比例中的值不变，从而达到稳定且准确识别目标物体的效果。
图7示出了本发明实施例提供的动态物体识别装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
图像信息获取单元701，用于获取待识别区域图像信息，该图像信息包括环境信息和目标物体信息。
在本发明实施例中，可通过摄像装置(如安装在机器人上的摄像机或相机等)中的图像信息获取单元701采集待识别区域的图像信息，其中该图像信息包括环境信息和目标物体信息。
下面以待识别区域为足球赛场为例进行说明，通过摄像装置的图像信息获取单元701采集进入其采集视野范围内的图像。其中，采集到的图像中包含有进入采集视野范围内的足球场草坪、人物以及足球的图像。此处的环境信息，指进入采集视野范围内的足球场草坪及人物等足球场环境图像；目标物体信息，指进入采集视野范围内的足球图像。
在本发明的一个实施例中，对当前拍摄到的待识别区域图像进行垂直扫描以获取待识别区域图像信息。其中，垂直扫描是指单位时间(以秒计)之内电子枪对整个屏幕进行扫描的次数，通常以赫兹(Hz)表示。以85Hz刷新率为例，它表示显示器的内容每秒钟刷新85次。
作为本发明的一个实施例，以足球场上的足球为例，首先通过机器人自身的摄像头中的图像信息获取单元701采集待识别区域图像，然后，将该待识别区域图像存储到机器人内部的存储器当中。机器人通过垂直扫描的方式从左向右扫描该待识别区域图像，获取待识别区域图像信息，并将待识别区域图像的图像坐标转化为世界坐标，对应到当前的环境中来。其中图像坐标系的示意图如图2所示，世界坐标系如图3所示。
其中，图像坐标，是指摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是图像点的亮度(灰度)。在图像上定义直角坐标系u-v，每个像素的坐标(u，v)分别是该像素在数组中的列数和行数。故(u，v)是以像素为单位的图像坐标系坐标。
世界坐标，是指由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中的任意物体的位置，该坐标系称为世界坐标系。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。与此相关的是图像坐标系和摄像机坐标系。
相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X，Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。
像素坐标：图像都是由像素组成的，像素坐标是像素在图像中的位置。
像平面坐标系：像平面坐标系是以主点为原点的右手平面坐标系，用0-xy表示，用来表示像点在像片上的位置，但在实际应用中，常采用框标连线交点为原点的右手平面坐标系P-XY，称其为框标平面坐标系。在摄像机内所形成的像平面坐标系统，一般取像平面与摄像机坐标系统的XY平面平行，且轴x与轴X平行，轴y与轴Y平行，像平面的原点在摄像机的光轴上。
在一个实施例中，像素坐标与像平面坐标系的关系如图4所示。假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，通过每一个像素在u轴和v轴上的物理尺寸，建立像素坐标系和真实尺寸坐标系的关系(如下式(1)和(2))，并求解出待识别区域图像的内外参数u0，v0。通过求解得出的u0，v0对待识别区域图像进行三维场景的重构。
具体求解u0，v0的过程如下：
将上述式(1)转化为：
其矩阵形式可表示为：
上述式(2)转化为：
其矩阵形式可表示为：
1＝0×1+0×1+1×1的矩阵形式可表示为：
联立上述公式可推导得出：
可以理解的是，联立上述公式也可以推导得出另一矩阵形式：
根据相机坐标系与世界坐标系之间的关系，可以通过将上述矩阵(3)或(4)进行旋转矩阵R和平移矩阵T得到：
如图5所示，图中相机坐标系为：O-XcYcZc，图像坐标系为O1-XY，根据三角形相似原理，可得出
点M为世界坐标系中的一点，即为现实环境中的真实一点；点m为在图像中的成像点，在图像坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u，v)；f为相机焦距，等于O与O1的距离，f＝|O1-O|。
根据成像投影的关系(相机坐标系与像平面坐标系)，可将上述式(5)转化为：
同样的，上述式(6)也可以表示为以下矩阵形式：
联立上述公式(1)-(7)可以得到：
而待识别区域图像的内参数的矩阵形式可表示为：
外参数矩阵可表示为：
其由旋转矩阵R和平移向量T组成。通过求解上述式(8)和(9)可得出待识别区域图像的内外参数u0，v0，并重构待识别区域图像的三维场景，此时可以初步判断待识别区域图像中的物体的静态信息。
目标物体特征信息提取单元702，用于根据图像信息提取目标物体特征信息。
在本发明的一个实施例中，目标物体特征信息提取单元702首先根据预设的特征阈值从待识别区域图像信息中筛选出目标物体信息，再从目标物体信息中提取出目标物体特征信息。
结合上述实施例的举例，预设的特征值可以是颜色指标(如绿色和非绿色)，根据该特征值可以区分出待识别区域图像信息中的足球场草坪和非足球场草坪图像区域。此时，可再进一步从非足球场草坪图像区域中提取出目标物体特征信息-足球的特征信息(例如，圆形、黑白相间等信息)。
目标物体区域确定单元703，用于根据目标物体特征信息确定目标物体区域。
在本发明实施例中，结合上述实施例的举例，目标物体区域确定单元703根据目标物体特征信息提取单元702提取到的足球特征信息确定目标物体--足球在待识别区域图像中的位置区域。
目标物体动态分析模型构建单元704，用于基于目标物体特征信息，构建目标物体动态分析模型。
目标物体特征信息(如颜色等)会随着目标物体的不同的运动状态(如加速、减速运动等)而在单位时间内出现在摄像装置的采集视野的次数或频率而变化。此时，摄像装置就容易在捕捉目标物体时因此而产生动态模糊(或不确定变化)，从而容易造成识别的偏差。
在本发明实施例中，目标物体动态分析模型构建单元704基于目标物体特征信息，构建目标物体动态分析模型，借助该动态分析模型可以对目标物体区域进行进一步分析，充分考虑到目标物体的运动状态对识别结果的影响，可提高识别的准确度。
判断单元705，用于判断目标物体区域是否符合目标物体动态分析模型的预测结果。
在本发明的一个实施例中，若该目标物体动态分析模型的预测结果是体积为X的黑白相间的球状区域；则判断单元705判断目标物体区域与目标物体动态分析模型预测的结果是否一致(相同)，即判断目标物体区域是否为体积为X的黑白相间的球状区域。
输出单元706，用于若判断结果为是，则确定目标物体区域为目标物体并输出识别结果。
在本发明实施例中，结合上述实施例的例子，若输出单元706判断结果为是，则确定目标物体区域为足球，并输出识别结果为黑白相间的足球。
本发明实施例提供的动态物体识别装置，利用目标物体特征信息确定待识别区域图像信息中的目标物体区域，并基于目标物体特征信息构建目标物体动态分析模型，进一步对目标物体区域进行动态分析判断，根据该目标物体动态分析模型可对目标物体的运动状况进行分析并预测出目标物体在运动过程中，其目标物体特征信息的动态变化趋势，进而判断出目标物体当前的运动状态，以克服目标物体在运动过程中产生的动态模糊和不确定性对识别结果产生的影响，从而提高了识别结果的准确性。
本发明实施例还提供了一种计算机装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述动态物体识别方法的各步骤。
本发明实施例还提供了一种计算机可读存储介质，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述动态物体识别方法的各步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的动态物体识别方法的步骤在计算机装置中执行。
本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种动态物体识别方法，其特征在于，包括如下步骤：
获取待识别区域图像信息，所述图像信息包括环境信息和目标物体信息；
根据所述图像信息提取目标物体特征信息；
根据所述目标物体特征信息确定目标物体区域：
基于所述目标物体特征信息，构建目标物体动态分析模型：
判断所述目标物体区域是否符合所述目标物体动态分析模型的预测结果；
若判断结果为是，则确定所述目标物体区域为目标物体并输出识别结果；
所述判断所述目标物体区域是否符合所述目标物体动态分析模型的预测结果，包括：
基于所述目标物体动态分析模型，判断所述目标物体当前的运动状态；
根据所述目标物体当前的运动状态，确定所述目标物体的动态特征信息；
判断所述目标物体区域的目标物体特征信息与所述目标物体的动态特征信息的匹配度是否在预设的阈值范围内；
在所述判断所述目标物体区域的目标物体特征信息与所述目标物体的动态特征信息的匹配度是否在预设的阈值范围内之前，还包括：
根据所述目标物体当前的运动状态，确定预设的阈值范围。
2.如权利要求1所述的动态物体识别方法，其特征在于，所述目标物体特征信息包括第一目标物体特征信息和目标物体纹理信息；
所述根据所述目标物体特征信息确定目标物体区域，包括：
根据所述第一目标物体特征信息，确定目标物体候选区域；
根据所述目标物体纹理信息，确定目标物体区域；
所述基于所述目标物体特征信息，构建目标物体动态分析模型，包括：
基于所述目标物体纹理信息，构建目标物体动态分析模型。
3.如权利要求2所述的动态物体识别方法，其特征在于，所述基于所述目标物体纹理信息，构建目标物体动态分析模型，包括：
基于所述目标物体纹理信息，恢复得出所述目标物体的三维表面信息；
根据所述目标物体的三维表面信息，构建目标物体的动态分析模型。
4.如权利要求2所述的动态物体识别方法，其特征在于，所述第一目标物体特征信息为目标物体的像素、大小或形状信息的其中之一或其任意组合。
5.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4任一项所述方法的步骤。
6.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～4任一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018111533154 | 2018-09-30 | ||
| CN201811153315 | 2018-09-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711246A CN109711246A (zh) | 2019-05-03 |
| CN109711246B true CN109711246B (zh) | 2023-05-02 |
Family
ID=66254798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811310149.4A Active CN109711246B (zh) | 2018-09-30 | 2018-11-07 | 一种动态物体识别方法、计算机装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711246B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110245B (zh) * | 2019-05-06 | 2021-03-16 | 山东大学 | 一种家庭环境下动态物品搜索方法及装置 |
| CN110276408B (zh) * | 2019-06-27 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 3d图像的分类方法、装置、设备及存储介质 |
| CN110673607B (zh) * | 2019-09-25 | 2023-05-16 | 优地网络有限公司 | 动态场景下的特征点提取方法、装置、及终端设备 |
| CN111985321A (zh) * | 2020-07-14 | 2020-11-24 | 浙江大华技术股份有限公司 | 目标物体检测方法、电子设备及存储介质 |
| CN111860385A (zh) * | 2020-07-27 | 2020-10-30 | 珠海研果科技有限公司 | 目标识别方法和装置 |
| CN113029349A (zh) * | 2021-02-24 | 2021-06-25 | 浙江大华技术股份有限公司 | 一种温度监测方法、装置、存储介质及设备 |
| CN113570547A (zh) * | 2021-06-24 | 2021-10-29 | 浙江大华技术股份有限公司 | 目标检测方法、目标检测设备及计算机可读存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2368482B (en) * | 2000-10-26 | 2004-08-25 | Hewlett Packard Co | Optimal image capture |
| GB2466012A (en) * | 2008-12-05 | 2010-06-09 | Walljam Ltd | Ball rebound practice wall |
| CN102142147A (zh) * | 2010-01-29 | 2011-08-03 | 索尼公司 | 场地内容分析装置和方法及目标检测与跟踪装置和方法 |
| CN103019024B (zh) * | 2012-11-29 | 2015-08-19 | 浙江大学 | 实时精确观测和分析乒乓球旋转系统与系统运行方法 |
| CN103745483B (zh) * | 2013-12-20 | 2017-02-15 | 成都体育学院 | 一种基于球场比赛视频图像的移动目标位置自动检测方法 |
| EP2899689A1 (en) * | 2014-01-23 | 2015-07-29 | Thomson Licensing | Method for inpainting a target area in a target video |
| CN104376554B (zh) * | 2014-10-16 | 2017-07-18 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
| CN105136064A (zh) * | 2015-09-13 | 2015-12-09 | 维希艾信息科技（无锡）有限公司 | 一种运动目标三维尺寸检测系统及其方法 |
| CN105374050B (zh) * | 2015-10-12 | 2019-10-18 | 浙江宇视科技有限公司 | 运动目标跟踪恢复方法及装置 |
| CN105760824B (zh) * | 2016-02-02 | 2019-02-01 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
-
2018
- 2018-11-07 CN CN201811310149.4A patent/CN109711246B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109711246A (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711246B (zh) | 一种动态物体识别方法、计算机装置及可读存储介质 | |
| US9773302B2 (en) | Three-dimensional object model tagging | |
| CN110826357B (zh) | 对象三维检测及智能驾驶控制的方法、装置、介质及设备 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| US6914599B1 (en) | Image processing apparatus | |
| RU2735382C2 (ru) | Устройство обработки изображений, способ управления устройства обработки изображений и компьютерно-читаемый носитель хранения данных | |
| CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
| JP4217305B2 (ja) | 画像処理装置 | |
| CN112348958A (zh) | 关键帧图像的采集方法、装置、系统和三维重建方法 | |
| JP2003178303A (ja) | 物体認識装置 | |
| US20220405878A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN113744256A (zh) | 一种深度图空洞填充方法、装置、服务器及可读存储介质 | |
| CN113240736A (zh) | 基于yolo6d改进网络的位姿估计方法及装置 | |
| US7280685B2 (en) | Object segmentation from images acquired by handheld cameras | |
| CN113240656A (zh) | 视觉定位方法及相关装置、设备 | |
| CN116740375A (zh) | 一种图像特征提取方法、系统及介质 | |
| KR102587298B1 (ko) | 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 | |
| CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
| CN112529943B (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| CN114549613A (zh) | 基于深度超分辨率网络的结构位移测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |