CN113343856B - 一种图像识别的方法及系统 - Google Patents
一种图像识别的方法及系统 Download PDFInfo
- Publication number
- CN113343856B CN113343856B CN202110642268.5A CN202110642268A CN113343856B CN 113343856 B CN113343856 B CN 113343856B CN 202110642268 A CN202110642268 A CN 202110642268A CN 113343856 B CN113343856 B CN 113343856B
- Authority
- CN
- China
- Prior art keywords
- inspection
- acquiring
- frame
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本发明公开了一种图像识别的方法，包括：采集检测区域的视频流，基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像，判断第一帧图像中的ROI区域与所述目标物体的当前关系，基于所述当前关系，判断所述目标物体是否在所述ROI区域内，并做出相应的报警工作，根据不同的识别模式进行相应的检测工作，避免了识别模式与检测工作不匹配的问题，提高了检测质量，避免目标物体未进入ROI区域却发生报警工作或已进入却未发生报警工作，在一定程度了节约人力资源。
Description
技术领域
本发明涉及图像识别领域，特别涉及一种图像识别的方法及系统。
背景技术
由于物体目标(包括人、车、物等等)在画面中是2D的，所以在一些有ROI的算法检测场景，需要界定是目标检测框部分与ROI区域重叠，还是整体在ROI区域内，这是两种逻辑，大多数算法只需要有重叠即可，但人员入侵ROI区域，因为人在画面中是2d的，所以人在画面中部分身体与区域重叠并不算入侵该区域，只有当人体检测框全部进入ROI区域才认为是人员入侵。同样的，针对脱岗检测(检测人员是否在工位区域，人数不对时即认定人员脱岗)也是按照人员检测框整体在ROI框内，其他的还有睡岗检测、反光衣检测、打电话检测等等算法。
上述所列的这些算法在一般情况下，都是需要按照整体进入ROI区域才可以算作有效检测，但是也有特殊情况下，无法检测整体进入ROI区域，由于本身的监控及ROI区域无法覆盖较大区域，人体在画面的边缘侧时检测框可能超出ROI区域，并不是整体在ROI框内，但在业务上，此时的人体也应算在ROI框内，此时就需要按照部分重叠即认为目标在ROI框内的逻辑了。
因此针对这些情况，提出了对算法配置“识别模式”的方法，用户可以根据算法实际情况进行配置。
发明内容
本发明提供一种图像识别的方法及系统，用以根据不同的识别模式，用不同的方法检测视频监控中是否有目标物体，并在确定视频中有外来物品时获取外来物品的运动轨迹，以及检测原有物品是否丢失，并做出相应的报警工作，提醒用户及时应对突发状况，且提高了检验精确度，避免出现目标物体虚假入侵引发报警的情况。
本发明提供一种图像识别的方法包括：
步骤1：采集检测区域的视频流；
步骤2：基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像；
步骤3：判断第一帧图像中所述目标物体与ROI区域的当前关系；
步骤4：基于所述当前关系，判断所述目标物体是否在所述ROI区域内，并做出相应的报警工作。
在一种可实现的方式中，
断所述目标物体是否入侵所述ROI区域的过程中，还包括：
若当前识别模式为2D识别模式，获取所述目标物体遮挡第一帧图像中对应原有物体的面积，判断所述目标物体是否入侵所述ROI区域；
若当前识别模式为3D识别模式，获取所述ROI区域与所述第一帧图像的面积比；
当所述面积比小于预设比值时，将所述第一帧图像对应的整个区域视为ROI区域，获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否在所述ROI区域内；
反之，获取所述目标物体的检验框，并基于所述检验框的底端与所述第一帧图像中标定的ROI区域的位置关系，判断所述目标物体是否在所述ROI区域内。
在一种可实现的方式中，
若当前识别模式为2D识别模式，获取所述第一帧图像上的ROI区域的第一前景图像；
获取所述第一前景图像内包含的原有物体轮廓；
获取所述目标物体的检验框遮挡所述原有物体轮廓的第一面积；
当所述第一面积大于预设面积时，持续获取视频流中所有包含所述检验框的图像；
基于所述检验框在连续图像上的不同位置，获取所述目标物体的移动轨迹；
将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
在一种可实现的方式中，
若当前识别模式为3D识别模式，获取所述第一帧图像的第二前景图像；
获取所述第二前景图像中所有所述原有物体的边缘像素点，依次连接，获取每一所述原有物体的边缘连线；
将每一所述原有物体的边缘像素点向内收缩，消除所述边缘像素点上包含的空白域，获取每一所述原有物体的精确边缘连线；
将每一所述原有物体的精确边缘连线绘制在预设三维坐标系中，生成检验三维坐标系；
基于所述第一帧图像在所述视频流中的位置，将所述第一帧图像以及所述第一帧图像后的剩余视频流进行二值化处理，增强所述剩余视频流中所有物体边缘像素点，获取所述剩余视频流中所有物体的二值边缘；
将二值化处理后的剩余视频流中的每帧图像放置在所述检验三维坐标系中，基于所述每一原有物体精确边缘线的位置消除所述二值化剩余视频流中原有物体的二值边缘；
获取所述检验框在所述检验三维坐标系上的动态位置；
将所述检验框垂直于所述检验三维坐标系XY平面的左边框线定义为a检验线；
按照顺时针方向依次定义剩余边框线为b检验线、c检验线、d检验线；
基于所述检验框在所述检验三维坐标系上的动态位置，获取所述检验框遮挡所述ROI区域的第二面积；
当所述第二面积大于预设面积时，获取所述c检验线的位置；
当所述c检验线在所述ROI区域外部时，确定所述目标物体未在所述ROI区域内；
当所述c检验线在所述ROI区域内部时，将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
在一种可实现的方式中，
获取所述检验框在所述检验三维坐标系上的动态位置，包括：
获取二值化处理后的第一帧图像上所包含的所述检验框在所述检验三维坐标系上的三维坐标；
基于所述三维坐标将所述检验框在预设Y轴-Z轴模型中投影，并获取投影检验框在Y轴-Z轴模型上的二维坐标；
根据公式(Ⅰ)计算所述投影检验框内目标物体的清晰度；
其中，D表示所述投影检验框内目标物体的清晰度，y表示所述投影检验框的纵坐标，z表示所述投影检验框的竖坐标，d(y,z)表示所述投影检验框中第d个像素点的像素值，M表示所述投影检验框的第一边缘长度，M1表示第一边缘长度对应的纵坐标上的坐标点数，S1表示第二边缘长度对应的竖坐标上的坐标点数，S表示所述投影检验框的第二边缘长度；
当计算结果显示所述投影检验框的清晰度低于标准清晰度时，获取所述检验框的平均像素值，分别对所述检验框包含的每一像素点进行提亮工作。
在一种可实现的方式中，
获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否进入对应的ROI区域内的过程中，还包括：
获取与所述第一帧图像相邻的前一帧图像对应的第二前景图像；
将所述第二前景图像调整为预设尺寸并放置在预设的分割模型中，获取对应的分割图像；
采集每个分割图像的采样像素，作为第一像素点组；
分别获取所述第一像素点组中每一像素点的8邻域范围内的第二像素点组；
分别获取所述第一像素点组、第二像素点组对应的第一平均灰度值、第二平均灰度值；
分别将所述第一平均灰度值、第二平均灰度值扩展为对应的第一灰度范围、第二灰度范围；
获取所述分割图像上灰度值在所述第一灰度值范围内的区域作为第一域；
获取所述分割图像上灰度值在所述第二灰度值范围内的区域作为第二域；
所述分割图像上剩余区域作为第三域；
分别获取所述第一域、第二域、第三域的第一平均亮度、第二平均亮度、第三平均亮度；
基于所述第一平均亮度、第二平均亮度、第三平均亮度分别调节对应的所述第一域、第二域、第三域到指定亮度；
在所述第二前景图像上分别获取所述第一域、第二域、第三域中包含的所述原有物体边缘线的像素点，依次连接获取所述原有物体的轮廓；
获取所述视频流中所述原有物体的轮廓被遮挡的遮挡图像；
当基于所述遮挡图像对应的被遮挡面积大于预设面积时，确定所述整个区域中存在目标物体；
提取原有区域轮廓被遮挡的目标域；
基于所述目标物体在所述整个区域的移动轨迹，判断对应目标域的原有物体是否丢失；
若是，获取所述原有物体的丢失位置并传输到指定终端，并做出相应的丢失警报。
在一种可实现的方式中，
获取所述检验框在所述检验三维坐标系上的动态位置，包括：
获取所述检验框的中心点作为代表点；
获取所述代表点在所述剩余视频流中每一帧图像上的位置；
定义所述代表点在t时刻的位置坐标为：f1(αt,βt,γt)，
基于公式(Ⅱ)并根据公式(Ⅲ)的计算结果绘制所述代表点的移动路程；
其中，εt表示t时刻下所述代表点与所述检验三维坐标系原点的夹角，·表示点乘符号，αt′表示所述代表点横坐标到所述检验三维坐标系的X轴的第一向量，βt′表示所述代表点横坐标到所述检验三维坐标系的Y轴的第二向量，γt′表示所述代表点横坐标到所述检验三维坐标系的Z轴的第三向量，k表示补正值，当αt′、βt′、γt′均不为零时取值为0，反之为1，G表示所述代表点t时刻的移动路程，t表示所述移动路程的运动时间间隔，u表示基于视频流获取的所述代表点的移动时间，f1表示t时刻下所述代表点在所述检验三维坐标系上的位置，αt表示t时刻下所述代表点在所述检验三维坐标系上的横坐标，βt表示t时刻下所述代表点在所述检验三维坐标系上的纵坐标，γt表示t时刻下所述代表点在所述检验三维坐标系上的竖坐标，f2表示t-1时刻下所述代表点在所述检验三维坐标系上的位置，αt-1表示t-1时刻下所述代表点在所述检验三维坐标系上的横坐标，βt-1表示t-1时刻下所述代表点在所述检验三维坐标系上的纵坐标，γt-1表示t-1时刻下所述代表点在所述检验三维坐标系上的竖坐标，A表示所述代表点在所述检验三维坐标系X轴方向的总移动距离，B表示所述代表点在所述检验三维坐标系Y轴方向的总移动距离，C表示所述代表点在所述检验三维坐标系Z轴方向的总移动距离；
根据公式(Ⅲ)的计算结果，在所述检验三维坐标系上绘制所述检验框的移动轨迹；
将所述检验框的动态位置并传输到指定终端进行显示。
在一种可实现的方式中，
根据公式(Ⅲ)的计算结果，在所述检验三维坐标系上绘制所述检验框的移动轨迹的方法，包括：
根据所述代表点获取对应的检验框；
基于所述代表点的t时刻的位置，获取t时刻所述检验框的位置；
获取所述检验框的在0-t时刻的移动轨迹；
获取所述检验框在0-t时刻的移动速度；
根据所述检验框的移动轨迹以及移动速度在所述检验三维坐标系上绘制所述检验框的移动轨迹。
在一个可实现的方式中，
根据方式1-8中所述的一种图像识别的方法，可支撑方法的系统为：
采集模块，用于采集检测区域的视频流；
判断模块，用于判断当前识别模式；
处理模块，用于基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像；
所述处理模块，还用于判断第一帧图像中的ROI区域与所述目标物体的当前关系；
所述判断模块，用于基于所述当前关系，判断所述目标物体是否在所述ROI区域内；
报警模块，用于做出相应的报警工作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例提供的一种图像识别的方法示意图；
图2为本发明实施例提供的一种图像识别的系统示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明实施例提供一种图像识别的方法，如图1所示：
步骤1：采集检测区域的视频流；
步骤2：基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像；
步骤3：判断第一帧图像中所述目标物体与ROI区域的当前关系；
步骤4：基于所述当前关系，判断所述目标物体是否入侵所述ROI区域，并做出相应的报警工作。
该实例中，视频流表示当前环境随时间变化的视频；
该实例中，ROI区域表示用户感兴趣的区域，也可以表示主要监控区域；
该实例中，第一帧图像表示在视频流中第一帧出现目标物体的图像。
上述设计方案的有益效果是：由于同一检测模式不能同时满足不同的识别模式下检测目标物体的入侵，容易造成误报或未报的隐患，故当视频流中出现目标物体时，优先判断当前的识别模式，根据不同的识别模式进行相应的检测工作，避免了识别模式与检测工作不匹配的问题，提高了检测质量，避免目标物体未进入却发生报警工作或已进入却未发生报警工作，在一定程度了节约人力资源。
实施例2
基于实施例1步骤4的基础上，一种图像识别的方法，判断所述目标物体是否在所述ROI区域内的过程中，还包括：
若当前识别模式为2D识别模式，获取所述目标物体遮挡第一帧图像中对应原有物体的面积，判断所述目标物体是否在所述ROI区域内；
若当前识别模式为3D识别模式，获取所述ROI区域与所述第一帧图像的面积比；
当所述面积比小于预设比值时，将所述第一帧图像对应的整个区域视为ROI区域，获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否在对应的ROI区域内；
反之，获取所述目标物体的检验框，并基于所述检验框的底端与所述第一帧图像中标定的ROI区域的位置关系，判断所述目标物体是否在对应的ROI区域内。
该实例中，面积比表示ROI区域面积与视频流中一帧图像面积的比值，且面积比的表达形式为：恒为正的分数；
该实例中，2D识别表示所采集的视频流为二维图像；
该实例中，3D识别表示所采集的视频流为三维图像；
该实例中，原有物体表示视频流中本身存在的物体；
该实例中，目标物体表示用户感兴趣的物体。
上述设计方案的有益效果是：由于当前图像采集方式包括2D识别和3D识别两种，故提前设定两种不同识别模式，保证检测工作在两种识别方式下均可实现，当三维图像识别的ROI区域与整个区域大致相同时，为了方便检测，将整个区域作为ROI区域进行检测，避免目标物体底端未进入ROI区域，但已出现在ROI区域内的现象。
实施例3
基于实施例2的基础上，一种图像识别的方法，若当前识别模式为2D识别模式时，还包括：
若当前识别模式为2D识别模式，获取所述第一帧图像上的ROI区域的第一前景图像；
获取所述第一前景图像内包含的原有物体轮廓；
获取所述目标物体的检验框遮挡所述原有物体轮廓的第一面积；
当所述第一面积大于预设面积时，持续获取视频流中所有包含所述检验框的图像；
基于所述检验框在连续图像上的不同位置，获取所述目标物体的移动轨迹；
将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
该实例中，获取所述第一帧图像中包含所述目标物体的检验像素点，连接所述检验像素点，再将所述检验像素点放置在标准矩形中，定义为检验框；
该实例中，第一面积表示目标物体的检验框遮挡原有物体的面积；
该实例中，预设面积为ROI区域的百分之三十，且用户可根据需求自行调节预设面积。
上述设计方案的有益效果是：在2D识别模式下，根据原有物体被遮挡的轨迹来判断目标物体是否进入ROI区域内，避免了目标物体未进入检测区域使用工具移动原有物体，在此类情况下，由于原有物体被工具遮挡，确定当前ROI区域内包含目标物体，进行报警工作，提醒用户做出相应的工作。
实施例4
基于实施例2，一种图像识别的方法，若当前识别模式为3D识别模式时，还包括：
若当前识别模式为3D识别模式，获取所述第一帧图像的第二前景图像；
获取所述第二前景图像中所有所述原有物体的边缘像素点，依次连接，获取每一所述原有物体的边缘连线；
将每一所述原有物体的边缘像素点向内收缩，消除所述边缘像素点上包含的空白域，获取每一所述原有物体的精确边缘连线；
将每一所述原有物体的精确边缘连线绘制在预设三维坐标系中，生成检验三维坐标系；
基于所述第一帧图像在所述视频流中的位置，将所述第一帧图像以及所述第一帧图像后的剩余视频流进行二值化处理，增强所述剩余视频流中所有物体边缘像素点，获取所述剩余视频流中所有物体的二值边缘；
将二值化处理后的剩余视频流中的每帧图像放置在所述检验三维坐标系中，基于所述每一原有物体精确边缘线的位置消除所述二值化剩余视频流中原有物体的二值边缘；
获取所述检验框在所述检验三维坐标系上的动态位置；
将所述检验框垂直于所述检验三维坐标系XY平面的左边框线定义为a检验线；
按照顺时针方向依次定义剩余边框线为b检验线、c检验线、d检验线；
基于所述检验框在所述检验三维坐标系上的动态位置，获取所述检验框遮挡所述ROI区域的第二面积；
当所述第二面积大于预设面积时，获取所述c检验线的位置；
当所述c检验线在所述ROI区域外部时，确定所述目标物体未进入对应的ROI区域内；
当所述c检验线在所述ROI区域内部时，将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
该实例中，原有物体的边缘像素点表示该像素点包含原有物体的边缘；
该实例中，空白域表示原有物体的边缘像素点上包含的空白区域；
该实例中，精确边缘连线表示消除空白域后的原有物体边缘像素点的连线；
该实例中，基于所述每一原有物体精确边缘线的位置消除所述二值化剩余视频流上原有物体的二值边缘，此操作的目的为：消除二值化剩余视频流上原有物体的边缘，仅保留检验框边缘，消除除检验框外的其他物体边缘便于获取检验框的动态位置；
该实例中，二值边缘表示剩余视频上原有物体边缘经过二值化处理后的结果；
该实例中，c检验线的位置为目标物体的底端，剩余检验线的命名可以根据需求拟定；
该实例中，第二面积表示在三维坐标系中，检验框遮挡ROI区域的面积。
上述设计方案的有益效果是：由于2D识别与3D识别两种识别方式的差异，对视频检测方法的要求不同，在当前识别模式为3D识别时，将前景图像和检验框均放置在预设三维坐标系中，获取检验框的底部位置，进而判断目标物体是否在ROI区域内，且两种识别模式下存在目标物体进入ROI区域时，均在第一时间进行相应的报警工作，为用户提供零时差报警，方便用户做出相应的操作，避免财产损失。
实施例5
基于实施例4，一种图像识别的方法，获取所述检验框在所述检验三维坐标系上的动态位置，包括：
获取二值化处理后的第一帧图像上所包含的所述检验框在所述检验三维坐标系上的三维坐标；
基于所述三维坐标将所述检验框在预设Y轴-Z轴模型中投影，并获取投影检验框在Y轴-Z轴模型上的二维坐标；
根据公式(Ⅰ)计算所述投影检验框内目标物体的清晰度；
其中，D表示所述投影检验框内目标物体的清晰度，y表示所述投影检验框的纵坐标，z表示所述投影检验框的竖坐标，d(y,z)表示所述投影检验框中第d个像素点的像素值，M表示所述投影检验框的第一边缘长度，M1表示第一边缘长度对应的纵坐标上的坐标点数，S1表示第二边缘长度对应的竖坐标上的坐标点数，S表示所述投影检验框的第二边缘长度；
当计算结果显示所述投影检验框的清晰度低于标准清晰度时，获取所述检验框的平均像素值，分别对所述检验框包含的每一像素点进行提亮工作。
该实例中，Y轴-Z轴模型表示一个包含纵轴与竖轴的二维坐标模型；
该实例中，检验框的第一边缘长度表示投影检验框的长度；
该实例中，检验框的第二边缘长度表示投影检验框的高度。
上述设计方案的有益效果是：为了便于用户获取检验框包含的目标物体的细节特征，提前根据已知公式计算投影检验框的清晰度，并在清晰度不足的情况下及时获取检验框的平均像素值，利用平均像素值提高检验框每一像素的亮度，确保用户查看历史视频流时可以获取检验框内目标物体的细节特征，便于用户获取有用信息。
实施例6
基于实施例2，一种图像识别的方法，获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否进入对应的ROI区域的过程中，还包括：
获取与所述第一帧图像相邻的前一帧图像对应的第二前景图像；
将所述第二前景图像调整为预设尺寸并放置在预设的分割模型中，获取对应的分割图像；
采集每个分割图像的采样像素，作为第一像素点组；
分别获取所述第一像素点组中每一像素点的8邻域范围内的第二像素点组；
分别获取所述第一像素点组、第二像素点组对应的第一平均灰度值、第二平均灰度值；
分别将所述第一平均灰度值、第二平均灰度值扩展为对应的第一灰度范围、第二灰度范围；
获取所述分割图像上灰度值在所述第一灰度值范围内的区域作为第一域；
获取所述分割图像上灰度值在所述第二灰度值范围内的区域作为第二域；
所述分割图像上剩余区域作为第三域；
分别获取所述第一域、第二域、第三域的第一平均亮度、第二平均亮度、第三平均亮度；
基于所述第一平均亮度、第二平均亮度、第三平均亮度分别调节对应的所述第一域、第二域、第三域到指定亮度；
在所述第二前景图像上分别获取所述第一域、第二域、第三域中包含的所述原有物体边缘线的像素点，依次连接获取所述原有物体的轮廓；
获取所述视频流中所述原有物体的轮廓被遮挡的遮挡图像；
当基于所述遮挡图像对应的被遮挡面积大于预设面积时，确定所述整个区域中存在目标物体；
提取原有区域轮廓被遮挡的目标域；
基于所述目标物体在所述整个区域的移动轨迹，判断对应目标域的原有物体是否丢失；
若是，获取所述原有物体的丢失位置并传输到指定终端，并做出相应的丢失警报。
该实例中，用户可根据分割模型的容量调节预设尺寸；
该实例中，将前景图像放置在分割模型中的目的是：将前景图像分割为A*B个分割域；
该实例中，采样像素的采样方式为随机选取；
该实例中，第一像素点组内包含的像素点个数由分割域数量决定；
该实例中，第二像素点组内包含的像素点个数由第一像素点组内包含的像素点的位置决定；
该实例中，第一灰度范围、第二灰度范围均为以对应的第一灰度值、第二灰度值为中心灰度值所扩展的灰度范围，扩展度为定值，必要条件下可由用户自行调节；
该实例中，第一域、第二域、第三域之间无交集；
该实例中，第三面积表示在视频流原有物体被目标物体遮挡的面积；
该实例中，原有物体轮廓发生变化的目标域表示第一域、第二域、第三域中的一域或多域；
该实例中，当目标物体经过原有物体，且原有物体轮廓发生移动时，确定原有物体丢失。
上述设计方案的有益效果是：由于用户需求不同，在一些情况下与所采集的视频流基本均属于ROI区域，在这种情况下将视频流所有区域均看成ROI区域，由于此类情况下ROI区域较大，若按照传统获取检验框底部进入ROI区域的方法难以检测目标物体的状态，故在此情况下，获取目标物体遮挡原有物体的面积，进而确定目标物物体是否进入ROI区域，同时还获取目标物体的所在区域，方便用户查看并做出相应的操作。
实施例7
基于实施例4，一种图像识别的方法，其特征在于：获取所述检验框在所述检验三维坐标系上的动态位置，包括：
获取所述检验框的中心点作为代表点；
获取所述代表点在所述剩余视频流中每一帧图像上的位置；
定义所述代表点在t时刻的位置坐标为：f1(αt,βt,γt)，
基于公式(Ⅱ)并根据公式(Ⅲ)的计算结果绘制所述代表点的移动路程；
其中，εt表示t时刻下所述代表点与所述检验三维坐标系原点的夹角，·表示点乘符号，αt′表示所述代表点横坐标到所述检验三维坐标系的X轴的第一向量，βt′表示所述代表点横坐标到所述检验三维坐标系的Y轴的第二向量，γt′表示所述代表点横坐标到所述检验三维坐标系的Z轴的第三向量，k表示补正值，当αt′、βt′、γt′均不为零时取值为0，反之为1，G表示所述代表点t时刻的移动路程，t表示所述移动路程的运动时间间隔，u表示基于视频流获取的所述代表点的移动时间，f1表示t时刻下所述代表点在所述检验三维坐标系上的位置，αt表示t时刻下所述代表点在所述检验三维坐标系上的横坐标，βt表示t时刻下所述代表点在所述检验三维坐标系上的纵坐标，γt表示t时刻下所述代表点在所述检验三维坐标系上的竖坐标，f2表示t-1时刻下所述代表点在所述检验三维坐标系上的位置，αt-1表示t-1时刻下所述代表点在所述检验三维坐标系上的横坐标，βt-1表示t-1时刻下所述代表点在所述检验三维坐标系上的纵坐标，γt-1表示t-1时刻下所述代表点在所述检验三维坐标系上的竖坐标，A表示所述代表点在所述检验三维坐标系X轴方向的总移动距离，B表示所述代表点在所述检验三维坐标系Y轴方向的总移动距离，C表示所述代表点在所述检验三维坐标系Z轴方向的总移动距离；
根据公式(Ⅲ)的计算结果，在所述检验三维坐标系上绘制所述检验框的移动轨迹；
将所述检验框的动态位置并传输到指定终端进行显示。
该实例中，检验框的中心点表示检验框所有对角线的交点。
上述设计方案的有益效果是：当目标物体入侵ROI区域时，为了同步获取目标物体的移动轨迹，利用已知公式计算目标物体每一刻的位置，并在检验三维坐标系上一一连接，获取目标物体的移动轨迹，并展示在指定终端上，为用户提供零时差同步轨迹，加快用户获取信息的速度。
实施例8
基于实施例7，一种图像识别的方法，其特征在于：根据公式(Ⅲ)的计算结果，在所述检验三维坐标系上绘制所述检验框的移动轨迹的方法，包括：
根据所述代表点获取对应的检验框；
基于所述代表点的t时刻的位置，获取t时刻所述检验框的位置；
获取所述检验框的在0-t时刻的移动轨迹；
获取所述检验框在0-t时刻的移动速度；
根据所述检验框的移动轨迹以及移动速度在所述检验三维坐标系上绘制所述检验框的移动轨迹。
该实例中，检验框的移动速度与代表点的移动速度相同。
上述设计方案的有益效果是：为了方便用户在后续使用中获取目标物体进入ROI区域轨迹以及行为方式，在检验三维坐标系上绘制包含目标物体移动速度的移动轨迹，方便用户分析目标物体的属性，提高用户的工作效率。
实施例9
一种图像识别的系统，如图2所示，根据实施例1-8提供的一种图像识别的方法，实现系统组成，包括：
采集模块，用于采集检测区域的视频流；
判断模块，用于判断当前识别模式；
处理模块，用于基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像；
所述处理模块，还用于判断第一帧图像中的ROI区域与所述目标物体的当前关系；
所述判断模块，用于基于所述当前关系，判断所述目标物体是否进入所述ROI区域；
报警模块，用于做出相应的报警工作。
该实例中，判断模块分别与采集模块、处理模块、报警模块连接。
上述设计方案的有益效果是：为图像识别方法提供了基础组成，便于开发者为基础组成添加实施例1到8提到的相应功能，实现可进行图像识别方法的系统。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种图像识别的方法，其特征在于，包括：
步骤1：采集检测区域的视频流；
步骤2：基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像；
步骤3：判断第一帧图像中所述目标物体与ROI区域的当前关系；
步骤4：基于所述当前关系，判断所述目标物体是否在所述ROI区域内，并做出相应的报警工作；
若当前识别模式为2D识别模式，获取所述目标物体遮挡第一帧图像中对应原有物体的面积，判断所述目标物体是否在所述ROI区域内；
若当前识别模式为3D识别模式，获取所述ROI区域与所述第一帧图像的面积比；
当所述面积比小于预设比值时，将所述第一帧图像对应的整个区域视为ROI区域，获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否在所述ROI区域内；
反之，获取所述目标物体的检验框，并基于所述检验框的底端与所述第一帧图像中标定的ROI区域的位置关系，判断所述目标物体是否在所述ROI区域内；
若当前识别模式为3D识别模式，获取所述第一帧图像的第二前景图像；
获取所述第二前景图像中所有所述原有物体的边缘像素点，依次连接，获取每一所述原有物体的边缘连线；
将每一所述原有物体的边缘像素点向内收缩，消除所述边缘像素点上包含的空白域，获取每一所述原有物体的精确边缘连线；
将每一所述原有物体的精确边缘连线绘制在预设三维坐标系中，生成检验三维坐标系；
基于所述第一帧图像在所述视频流中的位置，将所述第一帧图像以及所述第一帧图像后的剩余视频流进行二值化处理，增强所述剩余视频流中所有物体边缘像素点，获取所述剩余视频流中所有物体的二值边缘；
将二值化处理后的剩余视频流中的每帧图像放置在所述检验三维坐标系中，基于所述每一原有物体精确边缘线的位置消除所述二值化剩余视频流中原有物体的二值边缘；
获取所述检验框在所述检验三维坐标系上的动态位置；
将所述检验框垂直于所述检验三维坐标系XY平面的左边框线定义为a检验线；
按照顺时针方向依次定义剩余边框线为b检验线、c检验线、d检验线；
基于所述检验框在所述检验三维坐标系上的动态位置，获取所述检验框遮挡所述ROI区域的第二面积；
当所述第二面积大于预设面积时，获取所述c检验线的位置；
当所述c检验线在所述ROI区域外部时，确定所述目标物体未进入对应的ROI区域内；
当所述c检验线在所述ROI区域内部时，将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
2.根据权利要求1所述的一种图像识别的方法，其特征在于：若当前识别模式为2D识别模式时，还包括：
若当前识别模式为2D识别模式，获取所述第一帧图像上的ROI区域的第一前景图像；
获取所述第一前景图像内包含的原有物体轮廓；
获取所述目标物体的检验框遮挡所述原有物体轮廓的第一面积；
当所述第一面积大于预设面积时，持续获取视频流中所有包含所述检验框的图像；
基于所述检验框在连续图像上的不同位置，获取所述目标物体的移动轨迹；
将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
3.根据权利要求2所述的一种图像识别的方法，其特征在于：获取所述检验框在所述检验三维坐标系上的动态位置，包括：
获取二值化处理后的第一帧图像上所包含的所述检验框在所述检验三维坐标系上的三维坐标；
基于所述三维坐标将所述检验框在预设Y轴-Z轴模型中投影，并获取投影检验框在Y轴-Z轴模型上的二维坐标；
根据公式（Ⅰ）计算所述投影检验框内目标物体的清晰度；
其中，
表示所述投影检验框内目标物体的清晰度，y表示所述投影检验框的纵坐标，z
表示所述投影检验框的竖坐标，
表示所述投影检验框中第d个像素点的像素值，M表
示所述投影检验框的第一边缘长度，
表示第一边缘长度对应的纵坐标上的坐标点数，
表示第二边缘长度对应的竖坐标上的坐标点数，S表示所述投影检验框的第二边缘长度；
当计算结果显示所述投影检验框的清晰度低于标准清晰度时，获取所述检验框的平均像素值，分别对所述检验框包含的每一像素点进行提亮工作。
4.根据权利要求1所述的一种图像识别的方法，其特征在于：获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否进入对应的ROI区域内的过程中，还包括：
获取与所述第一帧图像相邻的前一帧图像对应的第二前景图像；
将所述第二前景图像调整为预设尺寸并放置在预设的分割模型中，获取对应的分割图像；
采集每个分割图像的采样像素，作为第一像素点组；
分别获取所述第一像素点组中每一像素点的8邻域范围内的第二像素点组；
分别获取所述第一像素点组、第二像素点组对应的第一平均灰度值、第二平均灰度值；
分别将所述第一平均灰度值、第二平均灰度值扩展为对应的第一灰度值范围、第二灰度值范围；
获取所述分割图像上灰度值在所述第一灰度值范围内的区域作为第一域；
获取所述分割图像上灰度值在所述第二灰度值范围内的区域作为第二域；
所述分割图像上剩余区域作为第三域；
分别获取所述第一域、第二域、第三域的第一平均亮度、第二平均亮度、第三平均亮度；
基于所述第一平均亮度、第二平均亮度、第三平均亮度分别调节对应的所述第一域、第二域、第三域到指定亮度；
在所述第二前景图像上分别获取所述第一域、第二域、第三域中包含的所述原有物体边缘线的像素点，依次连接获取所述原有物体的轮廓；
获取所述视频流中所述原有物体的轮廓被遮挡的遮挡图像；
当基于所述遮挡图像对应的被遮挡面积大于预设面积时，确定所述整个区域中存在目标物体；
提取原有区域轮廓被遮挡的目标域；
基于所述目标物体在所述整个区域的移动轨迹，判断对应目标域的原有物体是否丢失；
若是，获取所述原有物体的丢失位置并传输到指定终端，并做出相应的丢失警报。
5.根据权利要求2所述的一种图像识别的方法，其特征在于：获取所述检验框在所述检验三维坐标系上的动态位置，包括：
获取所述检验框的中心点作为代表点；
获取所述代表点在所述剩余视频流中每一帧图像上的位置；
定义所述代表点在t时刻的位置坐标为：
，
基于公式（Ⅱ）并根据公式（Ⅲ）的计算结果绘制所述代表点的移动路程；
其中，
表示t时刻下所述代表点与所述检验三维坐标系原点的夹角，
表示点乘符号，
表示所述代表点横坐标到所述检验三维坐标系的X轴的第一向量，
表示所述代表点横
坐标到所述检验三维坐标系的Y轴的第二向量，
表示所述代表点横坐标到所述检验三维
坐标系的Z轴的第三向量，k表示补正值，当
、
、
均不为零时取值为0，反之为1，G表示
所述代表点t时刻的移动路程，
表示所述移动路程的运动时间间隔，
表示基于视频流获
取的所述代表点的移动时间，
表示t时刻下所述代表点在所述检验三维坐标系上的位置，
表示t时刻下所述代表点在所述检验三维坐标系上的横坐标，
表示t时刻下所述代表
点在所述检验三维坐标系上的纵坐标，
表示t时刻下所述代表点在所述检验三维坐标系
上的竖坐标，
表示t-1时刻下所述代表点在所述检验三维坐标系上的位置，
表示t-1
时刻下所述代表点在所述检验三维坐标系上的横坐标，
表示t-1时刻下所述代表点在
所述检验三维坐标系上的纵坐标，
表示t-1时刻下所述代表点在所述检验三维坐标系
上的竖坐标，A表示所述代表点在所述检验三维坐标系X轴方向的总移动距离，B表示所述代
表点在所述检验三维坐标系Y轴方向的总移动距离，C表示所述代表点在所述检验三维坐标
系Z轴方向的总移动距离；
根据公式（Ⅲ）的计算结果，在所述检验三维坐标系上绘制所述检验框的移动轨迹；
将所述检验框的动态位置并传输到指定终端进行显示。
6.根据权利要求5所述的一种图像识别的方法，其特征在于：根据公式（Ⅲ）的计算结果，在所述检验三维坐标系上绘制所述检验框的移动轨迹的方法，包括：
根据所述代表点获取对应的检验框；
基于所述代表点的t时刻的位置，获取t时刻所述检验框的位置；
获取所述检验框的在0-t时刻的移动轨迹；
获取所述检验框在0-t时刻的移动速度；
根据所述检验框的移动轨迹以及移动速度在所述检验三维坐标系上绘制所述检验框的移动轨迹。
7.一种图像识别的系统，其特征在于：
采集模块，用于采集检测区域的视频流；
判断模块，用于判断当前识别模式；
处理模块，用于基于当前识别模式，获取所述视频流中出现的目标物体的第一帧图像；
所述处理模块，还用于判断第一帧图像中的ROI区域与所述目标物体的当前关系；
所述判断模块，用于基于所述当前关系，判断所述目标物体是否在所述ROI区域内；
报警模块，用于做出相应的报警工作；
所述处理模块，还用于若当前识别模式为2D识别模式，获取所述目标物体遮挡第一帧图像中对应原有物体的面积，判断所述目标物体是否在所述ROI区域内；
若当前识别模式为3D识别模式，获取所述ROI区域与所述第一帧图像的面积比；
当所述面积比小于预设比值时，将所述第一帧图像对应的整个区域视为ROI区域，获取所述目标物体遮挡所述整个区域中原有物体的面积，判断所述目标物体是否在所述ROI区域内；
反之，获取所述目标物体的检验框，并基于所述检验框的底端与所述第一帧图像中标定的ROI区域的位置关系，判断所述目标物体是否在所述ROI区域内；
所述处理模块，还用于若当前识别模式为3D识别模式，获取所述第一帧图像的第二前景图像；
获取所述第二前景图像中所有所述原有物体的边缘像素点，依次连接，获取每一所述原有物体的边缘连线；
将每一所述原有物体的边缘像素点向内收缩，消除所述边缘像素点上包含的空白域，获取每一所述原有物体的精确边缘连线；
将每一所述原有物体的精确边缘连线绘制在预设三维坐标系中，生成检验三维坐标系；
基于所述第一帧图像在所述视频流中的位置，将所述第一帧图像以及所述第一帧图像后的剩余视频流进行二值化处理，增强所述剩余视频流中所有物体边缘像素点，获取所述剩余视频流中所有物体的二值边缘；
将二值化处理后的剩余视频流中的每帧图像放置在所述检验三维坐标系中，基于所述每一原有物体精确边缘线的位置消除所述二值化剩余视频流中原有物体的二值边缘；
获取所述检验框在所述检验三维坐标系上的动态位置；
将所述检验框垂直于所述检验三维坐标系XY平面的左边框线定义为a检验线；
按照顺时针方向依次定义剩余边框线为b检验线、c检验线、d检验线；
基于所述检验框在所述检验三维坐标系上的动态位置，获取所述检验框遮挡所述ROI区域的第二面积；
当所述第二面积大于预设面积时，获取所述c检验线的位置；
当所述c检验线在所述ROI区域外部时，确定所述目标物体未进入对应的ROI区域内；
当所述c检验线在所述ROI区域内部时，将所述目标物体的移动轨迹传输到指定终端，并做出相应的警报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110642268.5A CN113343856B (zh) | 2021-06-09 | 2021-06-09 | 一种图像识别的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110642268.5A CN113343856B (zh) | 2021-06-09 | 2021-06-09 | 一种图像识别的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113343856A CN113343856A (zh) | 2021-09-03 |
| CN113343856B true CN113343856B (zh) | 2022-03-29 |
Family
ID=77476439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110642268.5A Active CN113343856B (zh) | 2021-06-09 | 2021-06-09 | 一种图像识别的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343856B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114951017B (zh) * | 2022-05-12 | 2023-05-30 | 深圳市顺鑫昌文化股份有限公司 | 一种标签印刷在线智能检测报错系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106981163A (zh) * | 2017-03-26 | 2017-07-25 | 天津普达软件技术有限公司 | 一种人员入侵异常事件报警方法 |
| CN109035295A (zh) * | 2018-06-25 | 2018-12-18 | 广州杰赛科技股份有限公司 | 多目标跟踪方法、装置、计算机设备和存储介质 |
| CN110852320A (zh) * | 2019-11-08 | 2020-02-28 | 积成电子股份有限公司 | 基于深度学习的输电通道异物入侵检测方法 |
| CN111339901A (zh) * | 2020-02-21 | 2020-06-26 | 北京容联易通信息技术有限公司 | 基于图像的入侵检测方法、装置、电子设备及存储介质 |
| CN111564015A (zh) * | 2020-05-20 | 2020-08-21 | 中铁二院工程集团有限责任公司 | 一种轨道交通周界入侵的监测方法及装置 |
| CN111860326A (zh) * | 2020-07-20 | 2020-10-30 | 杭州品茗安控信息技术股份有限公司 | 一种建筑工地物品移动检测方法、装置、设备及存储介质 |
| CN112784738A (zh) * | 2021-01-21 | 2021-05-11 | 上海云从汇临人工智能科技有限公司 | 运动目标检测告警方法、装置以及计算机可读存储介质 |
| CN113657309A (zh) * | 2021-08-20 | 2021-11-16 | 山东鲁软数字科技有限公司 | 一种基于Adocf的穿越安全围栏违章行为检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103415876B (zh) * | 2010-11-17 | 2017-03-22 | 欧姆龙科学技术公司 | 一种用于监控区域的方法和设备 |
| CN103279943B (zh) * | 2013-04-18 | 2017-01-25 | 深圳市中瀛鑫科技股份有限公司 | 目标入侵检测方法及装置、视频监控系统 |
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
-
2021
- 2021-06-09 CN CN202110642268.5A patent/CN113343856B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106981163A (zh) * | 2017-03-26 | 2017-07-25 | 天津普达软件技术有限公司 | 一种人员入侵异常事件报警方法 |
| CN109035295A (zh) * | 2018-06-25 | 2018-12-18 | 广州杰赛科技股份有限公司 | 多目标跟踪方法、装置、计算机设备和存储介质 |
| CN110852320A (zh) * | 2019-11-08 | 2020-02-28 | 积成电子股份有限公司 | 基于深度学习的输电通道异物入侵检测方法 |
| CN111339901A (zh) * | 2020-02-21 | 2020-06-26 | 北京容联易通信息技术有限公司 | 基于图像的入侵检测方法、装置、电子设备及存储介质 |
| CN111564015A (zh) * | 2020-05-20 | 2020-08-21 | 中铁二院工程集团有限责任公司 | 一种轨道交通周界入侵的监测方法及装置 |
| CN111860326A (zh) * | 2020-07-20 | 2020-10-30 | 杭州品茗安控信息技术股份有限公司 | 一种建筑工地物品移动检测方法、装置、设备及存储介质 |
| CN112784738A (zh) * | 2021-01-21 | 2021-05-11 | 上海云从汇临人工智能科技有限公司 | 运动目标检测告警方法、装置以及计算机可读存储介质 |
| CN113657309A (zh) * | 2021-08-20 | 2021-11-16 | 山东鲁软数字科技有限公司 | 一种基于Adocf的穿越安全围栏违章行为检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Real-Time Intrusion Detection Security Visualization Framework Based on Planner-Scheduler;Nurbol Luktarhan等;《2009 Fourth International Conference on Innovative Computing, Information and Control (ICICIC)》;20100217;第784-788页 * |
| Two and three-dimensional intrusion object detection under randomized scheduling algorithms in sensor networks;YangXiao等;《Computer Networks》;20090918;第53卷(第14期);第2458-2475 页 * |
| 基于视频的人体异常行为识别技术研究;尹志成;《中国优秀硕士论文全文数据库信息科技辑》;20210115;I138-1690 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113343856A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717489B (zh) | Osd的文字区域的识别方法、装置及存储介质 | |
| US7123745B1 (en) | Method and apparatus for detecting moving objects in video conferencing and other applications | |
| Stander et al. | Detection of moving cast shadows for object segmentation | |
| Jabri et al. | Detection and location of people in video images using adaptive fusion of color and edge information | |
| CN114140679B (zh) | 一种缺陷融合方法、装置、识别系统及存储介质 | |
| JP4095860B2 (ja) | 欠陥検査方法及びその装置 | |
| US9025875B2 (en) | People counting device, people counting method and people counting program | |
| CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| US11156564B2 (en) | Dirt detection on screen | |
| JP2001153810A (ja) | 加工物の表面の欠陥を検出するためのシステムと方法 | |
| CN115908269A (zh) | 视觉缺陷检测方法、装置、存储介质和计算机设备 | |
| CN110009650B (zh) | 一种扶梯扶手边界区域越界检测方法与系统 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN113343856B (zh) | 一种图像识别的方法及系统 | |
| CN112464797A (zh) | 一种吸烟行为检测方法、装置、存储介质及电子设备 | |
| JP3490482B2 (ja) | エッジ及び輪郭抽出装置 | |
| CN110060239B (zh) | 一种用于瓶子瓶口的缺陷检测方法 | |
| CN117011300B (zh) | 一种实例分割与二次分类相结合的微小缺陷检测方法 | |
| CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
| CN110717910A (zh) | Ct图像目标检测方法及ct扫描仪 | |
| CN115273080A (zh) | 一种面向动态场景的轻量级视觉语义里程计方法 | |
| CN110717471B (zh) | 基于支持向量机模型b超图像目标检测方法及b超扫描仪 | |
| CN113744200A (zh) | 一种摄像头脏污检测方法、装置及设备 | |
| Lee | Detecting people in cluttered indoor scenes | |
| CN117541579B (zh) | 一种封装支架缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |