CN116939160A - 一种通道监控方法、装置、设备以及存储介质 - Google Patents

一种通道监控方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN116939160A
CN116939160A CN202310830901.2A CN202310830901A CN116939160A CN 116939160 A CN116939160 A CN 116939160A CN 202310830901 A CN202310830901 A CN 202310830901A CN 116939160 A CN116939160 A CN 116939160A
Authority
CN
China
Prior art keywords
target
video
channel
image
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310830901.2A
Other languages
English (en)
Inventor
王鹏
彭先涛
李大可
刘明义
徐峰
沈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hengyi Petrochemical Co ltd
Original Assignee
Zhejiang Hengyi Petrochemical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hengyi Petrochemical Co ltd filed Critical Zhejiang Hengyi Petrochemical Co ltd
Priority to CN202310830901.2A priority Critical patent/CN116939160A/zh
Publication of CN116939160A publication Critical patent/CN116939160A/zh
Priority to JP2023198740A priority patent/JP7450794B1/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本公开提供了通道监控方法、装置、设备以及存储介质。该方法包括：获取AGV的车体采集组件在车体周身区域内所采集到的扫描数据；AGV为多个AGV之一；多个AGV中的AGV行驶于多个待监控通道的任一待监控通道中；多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；获取摄像头在视频采集区域内所采集到的视频数据；摄像头为多个摄像头之一，用于对多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；基于车体采集组件所采集的扫描数据和/或摄像头所采集的视频数据确定存在目标体的情况下，得到目标体所在的目标通道；生成目标体所在目标通道的目标预警信息。

Description

一种通道监控方法、装置、设备以及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种通道监控方法、装置、设备以及存储介质。
背景技术
在丝锭生产车间中，自动导向车(Automated Guided Vehicle，AGV)为重要运输工具，通常，自动导向车会按照既定路径行驶，若在该路径中出现工作人员，可能会出现安全事故，甚至造成人员伤亡，因此，亟需一种有效监控方法来有效解决上述问题。
发明内容
本公开提供了一种通道监控方法、装置、设备以及存储介质，以解决或缓解现有技术中的一项或更多项技术问题。
第一方面，本公开提供了一种通道监控方法，包括：
获取自动导向车AGV的车体采集组件在车体周身区域内所采集到的扫描数据；其中，所述AGV为多个AGV之一；所述多个AGV中的AGV行驶于多个待监控通道的任一待监控通道中；所述多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；所述车体周身区域包括所述AGV所行驶在的待监控通道的至少部分区域；
获取摄像头在视频采集区域内所采集到的视频数据；其中，所述摄像头为多个摄像头之一，用于对所述多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；所述视频采集区域包括所述摄像头所能够采集到的待监控通道的至少部分区域；
基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；所述目标通道为所述多个待监控通道之一；
生成所述目标体所在目标通道的目标预警信息。
第二方面，本公开提供了一种通道监控装置，包括：
获取单元，用于获取AGV的车体采集组件在车体周身区域内所采集到的扫描数据；其中，所述AGV为多个AGV之一；所述多个AGV中的AGV行驶于多个待监控通道的任一待监控通道中；所述多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；所述车体周身区域包括所述AGV所行驶在的待监控通道的至少部分区域；获取摄像头在视频采集区域内所采集到的视频数据；其中，所述摄像头为多个摄像头之一，用于对所述多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；所述视频采集区域包括所述摄像头所能够采集到的待监控通道的至少部分区域；
处理单元，用于基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；所述目标通道为所述多个待监控通道之一；生成所述目标体所在目标通道的目标预警信息。
第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
这样，本公开方案能够对得到的扫描数据和/或视频数据进行检测，如此，如此，有效提升了预警信息的响应效率，同时凭借不同粒度的监控数据，为有效提升了安全排查的效率奠定了基础。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。
图1是根据本申请一实施例通道监控方法的示意性流程图一；
图2是根据本申请一实施例第一检测模型的结构示意图；
图3是根据本申请一实施例包含两个密集层的第四网络层的结构示意图；
图4是根据本申请一实施例第二检测模型的结构示意图；
图5是根据本申请一实施例通道监控装置的结构示意图；
图6是用来实现本申请一实施例的通道监控方法的电子设备的框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
目前，在丝锭生产车间中，生产出来的丝锭通常由自动导向车(Automated GuidedVehicle，AGV)运输到指定位置，但使用AGV的丝锭生产车间中，会出现人车混行的情况，尤其在通道较狭窄的情况下，存在发生碰撞事故的风险，导致AGV损坏，甚至造成人员伤亡。因此，为了减少AGV损坏以及有效避免人员的伤害，亟需一套实时、高效的监控方案。
基于此，本公开方案提出一种通道监控方法，以实时且高效的对AGV所要行驶的多个通道进行监控。
具体地，图1是根据本申请一实施例通道监控方法的示意性流程图一。该方法可选地应用于电子设备中，比如，个人电脑、服务器、服务器集群等电子设备中。该方法至少包括以下内容的至少部分内容。如图1所示，包括：
步骤S101：获取AGV的车体采集组件在车体周身区域内所采集到的扫描数据。
这里，所述AGV为多个AGV之一；所述多个AGV中的AGV行驶于多个待监控通道的任一待监控通道中；所述多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；所述车体周身区域包括所述AGV所行驶在的待监控通道的至少部分区域。
在一示例中，在AGV的车头上设有车体采集组件(比如，激光雷达)；进一步地，在所述AGV的车尾上也可设有车体采集组件(比如，激光雷达)，如此，在待监控通道中的AGV总能在行驶前进的方向上采集到数据。
步骤S102：获取摄像头在视频采集区域内所采集到的视频数据。
这里，所述摄像头为多个摄像头之一；所述摄像头用于对所述多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；所述视频采集区域包括所述摄像头所能够采集到的待监控通道的至少部分区域。
可以理解的是，同一待监控通道中可以设置至少一个摄像头，以用于对待监控通道进行监控；进一步地，在同一待监控通道中设置有两个或两个以上摄像头的情况下，不同的摄像头的视频采集区域可以不同，只要能够对待监控通道进行监控即可，本公开方案对摄像头所设置的具体位置不作限制。进一步地，不同的待监控通道所设置的摄像头的数量，可以相同，也可以不同，本公开方案对此不作限制。
步骤S103：基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道。
这里，所述目标通道为多个待监控通道之一。
可以理解的是，本公开方案可以基于所述车体采集组件所采集的扫描数据确定存在目标体的情况下，得到所述目标体所在的目标通道；或者，可以基于所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；或者，基于所述车体采集组件所采集的扫描数据和所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道。
在一示例中，所述目标体具体可包括但不限于以下至少之一：人员、停止工作的AGV。
步骤S104：生成所述目标体所在目标通道的目标预警信息。
在一示例中，所述目标预警信息包括预先设置的预警信号，比如，预警音频(比如，预设广播)、预警信号灯、预警电话等，本公开方案对此不作限定。
这样，本公开方案能够基于获取到的扫描数据和/或视频数据，检测是否存在目标体，以快速定位出目标体所在的目标通道，进而生成针对目标通道的目标预警信息，如此，有效提升了预警信息的响应效率，同时凭借不同粒度的监控数据，为有效提升安全排查的效率奠定了基础。
进一步地，在丝锭生产的应用场景中，本公开方案能够依据生成的预警信息，快速地通知工作人员，以便及时作出避让、或者进行危险排除，如此，为有效减少AGV、生产设备的损坏，以及有效避免人员的伤害提供了技术支持，进而为极大程度保障车间的正常运作，以及提升车间的安全性提供了技术支持。
在本公开方案的一具体示例中，可采用如下方式得到所述目标体所在目标通道的目标预警信息；具体地，以上所述基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；生成所述目标体所在目标通道的目标预警信息(也即以上所述的步骤S103)，具体包括以下之一：
方式一：基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道，生成扫描数据中目标体所在目标通道的扫描预警信息。
可以理解的是，方式一，可对AGV的车体采集组件所采集的扫描数据进行检测，以确定是否存在目标体，并在确定存在目标体的情况下，得到扫描数据中目标体所在的目标通道，此时，则直接生成扫描数据中目标体所在目标通道的扫描预警信息。
方式二：基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；生成视频数据中目标体所在目标通道的视频预警信息。
可以理解的是，方式二，可对摄像头在视频采集区域内所采集到的视频数据进行检测，以确定是否存在目标体，并在确定存在目标体的情况下，得到视频数据中目标体所在的目标通道，此时，则直接生成视频数据中目标体所在目标通道的视频预警信息。
需要说明的是，以上所述扫描数据中存在的“目标体”，与所述视频数据中所存在的“目标体”可以是同一“目标体”，也可以是不同的两个“目标体”，本公开方案对此不作限制。
方式三：基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道；以及基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；确定扫描数据所得的目标体所在的目标通道，与所述视频数据所得的目标体所在的目标通道相同的情况下，生成针对目标通道的混合预警信息。
也就是说，方式三中，在确定扫描数据中存在目标体的情况下，并非直接生成预警信息；以及，在视频数据中存在目标体的情况下，也并非直接生成预警信息，需要进一步确定该扫描数据中目标体所在的目标通道，与该视频数据中目标体所在的目标通道是否相同；进一步地，在扫描数据中目标体所在的目标通道，与该视频数据中目标体所在的目标通道相同的情况下，才会生成混合预警信息。或者，在扫描数据中目标体所在的目标通道，与该视频数据中目标体所在的目标通道不相同的情况下，则可针对扫描数据，生成扫描数据中目标体所在目标通道的扫描预警信息，针对视频数据，生成视频数据中目标体所在目标通道的视频预警信息。
举例来说，在一示例中，对车体采集组件所采集的扫描数据进行检测，确定扫描数据中存在工作人员甲，进而得到工作人员甲所在的目标通道；对摄像头在视频采集区域内所采集到的视频数据进行检测，确定视频数据中也存在工作人员甲，得到工作人员甲所在的目标通道，此时，则可说明车体采集组件所采集的区域和摄像头所采集的区域均对应同一个待监控通道，也即二者的目标通道相同，基于此，生成针对目标通道的混合预警信息。
或者，在另一示例中，对车体采集组件所采集的扫描数据进行检测，确定扫描数据中存在工作人员甲，进而得到工作人员甲所在的目标通道；对摄像头在视频采集区域内所采集到的视频数据进行检测，确定视频数据中存在工作人员乙，进而得到工作人员乙所在的目标通道，此时，若二者的目标通道相同，也即属于同一通道，可确定同一目标通道内同时存在工作人员甲和工作人员乙，此时，生成针对目标通道的混合预警信息。
再或者，在再一示例中，对车体采集组件所采集的扫描数据进行检测，确定扫描数据中存在工作人员甲，进而得到工作人员甲所在的目标通道；对摄像头在视频采集区域内所采集到的视频数据进行检测，确定视频数据中存在工作人员乙，进而得到工作人员乙所在的目标通道，此时，若二者的目标通道不相同，可确定在两个不同的目标通道内，均存在工作人员，此时，则针对各生成各目标通道的预警信息，比如，针对扫描数据，生成扫描数据中目标体所在目标通道的扫描预警信息，针对视频数据，生成视频数据中目标体所在目标通道的视频预警信息。
需要指出的是，实际应用中，可以针对不同的场景需求，选择以上三种方式之一来生成预警信息，或者任选其二，或者三者均选择，本公开方案对此不作限制。
在本公开方案的一具体示例中，所述混合预警信息、扫描预警信息以及视频预警信息，三者的优先级递减。
也就是说，该示例中，所述混合预警信息优先级大于所述扫描预警信息，所述扫描预警信息大于视频预警信息。
可以理解的是，不同的优先级的预警信息可以不同，如此，便于工作人员明确区分当前的预警信息的优先级，进而进一步提升监控粒度。
进一步地，还可以根据以上所述的优先级，设置不同的处理措施；比如，方式三生成的混合预警信息，属于最高级别危险，此时，可在生成混合预警信息的同时，还可以生成对目标通道所行驶的AGV进行远程控制的最高级控制指令，该最高级控制指令用于控制AGV调整当前的工作状态，比如，从当前的正常工作状态调整为临时停止状态，并在停止预设时长后，恢复至正常工作状态；或者，调整当前的规划路径，以躲避目标体等。
又比如，方式一生成的扫描预警信息，属于次高级别危险，此时，可在生成扫描预警信息的同时，还可以生成对目标通道所行驶的AGV进行远程控制的次高级控制指令，该次高级控制指令用于控制AGV调整当前的行驶速度，比如，减速处理等；再比如，方式二生成的视频预警信息，属于普通级别危险，此时，只生成视频预警信息，以提示工作人员。
如此，可针对不同预警情况，做出相应的应急措施，极大提升了监控粒度，为极大程度保障车间的正常运作，以及提升车间作业的安全性奠定了基础。
在本公开方案的一具体示例中，在获取到扫描数据后，可采用如下方式确定扫描数据中是否存在目标体，具体流程包括：
将所述车体采集组件所采集的扫描数据所包括的扫描图像输入至第一检测模型，得到第一检测结果；其中，所述第一检测模型用于识别图像中是否存在目标体的至少部分局部特征；所述第一检测结果表征扫描数据所包含的扫描图像中是否存在目标体。
可以理解的是，扫描数据所包括的扫描图像可能包含有目标体的至少部分局部特征，比如工作人员的肢体部位；此时，可使用第一检测模型对扫描图像进行识别，以确定是否存在目标体的至少部分局部特征，进而确定扫描数据所包含的扫描图像是否存在目标体。
进一步地，在一具体示例中，可采用如下方式得到第一检测结果；具体地，以上所述的将所述车体采集组件所采集的扫描数据所包括的扫描图像输入至第一检测模型，得到第一检测结果，具体包括：
步骤1-1：对所述车体采集组件所采集的扫描数据所包括的扫描图像进行预处理，以去除扫描图像中的边缘区域，得到扫描图像中的核心区域所对应的子图像。
比如，去除扫描图像中的边缘区域，保留扫描图像中通道所在的区域(也即核心区域)，进而得到扫描图像中通道的区域(也即核心区域)所对应的子图像，如此，有效提升了后续使用第一检测模型进行图像识别的识别处理效率，进而提升模型处理效率。
可以理解的是，以上所述的预处理还可以包括对扫描数据所包括的扫描图像进行图像缩放处理、图像中像素值的归一化处理等。
步骤1-2：将扫描图像中的核心区域所对应的子图像输入至第一检测模型，得到第一检测结果。
这里，所述第一检测模型用于对扫描图像中的核心区域所对应的子图像进行特征提取，得到核心区域的特征图，并检测核心区域的特征图中是否存在目标体的至少部分局部特征。
进一步地，在一具体示例中，所述第一检测模型至少包括第一网络层、第二网络层以及第三网络层；
这里，所述第一网络层用于对核心区域所对应的子图像进行特征提取，以得到子图像对应的至少一个特征图，其中，至少一个特征图中特征图的数量，与特征图的特征块大小负相关；进一步地，在一示例中，所述第一网络层在对子图像进行特征提取的过程中，可将所提取到的特征图的特征块的大小降低，比如降低至预设值，以增加特征图的数量，如此，保证模型复杂度的前提下，获取到丰富的特征信息，进而来提升模型识别结果的精确性。
进一步地，所述第二网络层用于基于子图像对应的至少一个特征图，预测是否存在目标体的至少部分局部特征，并得到概率值。比如，得到大于0小于1的一个具体值。
进一步地，所述第三网络层用于对所述第二网络层所得的概率值进行处理，得到第一值或第二值，所述第一检测结果为所述第一值或第二值；所述第一值用于表征存在目标体的至少部分局部特征，所述第二值用于表征未存在目标体的至少部分局部特征。
举例来说，在一示例中，以上所述的第一网络层可以为深度残差网络(Deepresidual network，ResNet)层，进一步地，以上所述的第二网络层可以为多层感知机(MultiLayer Perceptron，MLP)层，再进一步地，以及所述的第三网络层可以为非线性激活层，比如S形弯曲(Sigmoid)函数层，如图2所示，首先，将扫描图像中的核心区域所对应的子图像输入至第一检测模型中的ResNet层，得到子图像对应的至少一个特征图；其次，将所述子图像对应的至少一个特征图输入至MLP层，预测子图像中存在目标体的至少部分局部特征的概率值；最后，预测所得的概率值输入至Sigmoid层，得到输出结果，比如为第一值或第二值；进一步地，在输出结果为第一值的情况下，可认为所述子图像中存在目标体的至少部分局部特征；或者，在输出结果为第二值的情况下，则可认为所述子图像中不存在目标体的至少部分局部特征。
在本公开方案的一具体示例中，在获取到视频数据后，还可采用如下方式确定视频数据中是否存在目标体，具体流程包括：
将所述摄像头所采集的视频数据输入至第二检测模型，得到第二检测结果；其中，所述第二检测模型用于识别视频数据中是否存在目标体(比如，是否存在目标体的整体轮廓)；所述第二检测结果表征视频数据中是否存在目标体，比如是否存在目标体的整体轮廓。
这里，所述第二检测模型的时间复杂度大于所述第一检测模型的时间复杂度。
可以理解的是，由于所述第二检测模型是对目标体的整体轮廓进行识别的，而第一检测模型是对目标体的局部特征进行识别的，所以，在处理效率上，第一检测模型的处理效率可优于第二检测模型的处理效率，比如，第一检测模型的时间复杂度小于所述第二检测模型的时间复杂度，如此，在有效确保监控粒度不同的情况下，来有效提升本公开方案通道监控方法的整体处理效率。
在本公开方案的一具体示例中，可采用如下方式得到第二检测结果；具体地，以上所述将所述摄像头所采集的视频数据输入至第二检测模型，得到第二检测结果，具体包括：
步骤2-1：对所述摄像头所采集的视频数据进行预处理，以得到视频图像集。
这里，所述视频图像集包含有至少一组相邻的两帧视频图像；所述相邻的两帧视频图像满足如下要求：相邻的两帧视频图像的特征图之间的差异值大于预设差异值。这里，所述预设差异值为一经验值，可根据实际需要进行设定，本公开方案对此不作限定。
也就是说，在获取到视频数据之后，需要从视频数据中筛选出满足要求的视频图像，比如，选取出相邻两帧的特征图差异较大的视频图像，以形成视频图像集，如此，可最大程度地提升模型处理效率。
步骤2-2：将所述视频图像集中的各视频图像输入至第二检测模型，得到视频图像所对应的子结果。比如，得到各视频图像对应的子结果。
步骤2-3：在所述视频图像集的所有视频图像的子结果中存在至少一个子结果为第三值的情况下，将所述第三值作为第二检测结果；或者，在所述视频图像集的各视频图像的子结果均为第四值的情况下，将所述第四值作为第二检测结果；所述第三值用于表征存在目标体；所述第四值用于表征未存在目标体。
也就是说，只要有存在一个子结果为第三值，比如为预设字符，如1的情况下，则可说明该视频数据中存在目标体；否则，在所有子结果均为第四值，比如均为0的情况下，则说明所述视频数据不存在目标体。
进一步地，在一具体示例中，所述第二检测模型至少包括第四网络层、第五网络层和第六网络层。
这里，所述第四网络层包括顺序连接的至少两个密集层，其中，上一个密集层所得的连接特征图，作为下一个密集层的初始特征图，举例来说，如图3所示，所述第四网络层包含有2个密集层，其中，第一个密集层所得的连接特征图，作为第二个密集层的初始特征图。进一步地，所述两个密集层中的密集层用于对初始特征图进行卷积处理，得到卷积特征图，对初始特征图和卷积特征图进行连接处理，得到连接特征图。这里，所述至少两个密集层中的首个密集层的初始特征图是基于视频图像所得；如此，可在有效减少计算量的同时，在有效确保推理速度，以及特征提取的丰富度以及精确度的基础上，减小了特征图的尺寸。
进一步地，所述第五网络层用于对所述至少两个密集层中最后一个密集层所得的连接特征图进行特征聚合，得到目标特征图。
进一步地，所述第六网络层用于对所述目标特征图进行预测，得到所述第三值或所述第四值。其中，所述第三值用于表征存在目标体；所述第四值用于表征未存在目标体。
举例来说，在一示例中，以上所述的第四网络层可以为跨阶段局部网络(CrossStage Partial Networks，CSPNet)层，比如，所述CSPNet层可以包含有两个密集层；进一步地，以上所述的第五网络层可以为路径聚合网络(Path Aggregation Network，PANet)层，再进一步地，以上所述的第六网络层可以为预测(Prediction)层；如图4所示，首先，将视频图像集中的视频图像输入至第二检测模型中的CSPNet层，得到视频图像对应的连接特征图；其次，所述连接特征图输入至PANet层，以得到经特征聚合处理后的目标特征图；最后，将所述目标特征图输入至预测层，得到输出结果，比如，为第三值或第四值；进一步地，在输出结果为第三值的情况下，可认为所述视频数据中存在目标体；或者，在输出结果为第四值的情况下，可认为所述视频数据中不存在目标体。
在本公开方案的一具体示例中，在得到视频数据中目标体所在的目标通道之后，具体还包括：
确定所述目标通道中是否行驶有AGV；
进一步地，以上所述生成视频数据中目标体所在目标通道的视频预警信息，具体包括：
在确定行驶有AGV的情况下，生成视频数据中目标体所在目标通道的视频预警信息。
也就是说，在检测到视频数据中存在目标体，以及确定所述目标体所在目标通道的情况下，还可以确定所述目标通道内是否行驶有AGV；进一步，若行驶有AGV，则生成视频数据中目标体所在目标通道的视频预警信息；否则，无需生成视频预警信息。
进一步地，在一示例中，在确定目标通道行驶有AGV的情况下，还可以进一步确定所述目标体与所述AGV之间的距离；进而在所述目标体与所述AGV之间的距离小于预设安全距离的情况下，生成视频数据中目标体所在目标通道的视频预警信息。
这里，所述预设安全距离为一经验值，可根据实际需要进行设定，本公开方案对此不作限定。
综上所述，本公开方案提供的通道监控方案，相比于现有技术，具有以下优势，包括：
第一、提升目标体检测的处理效率和准确率。本公开方案针对不同的监控数据，使用不同的检测模型进行处理，如此，可大幅提升检测的处理效率，以及识别目标体的准确率。
第二、提升预警的响应效率。本公开方案对不同监控粒度的数据进行监控，可快速获知通道内的安全情况，对于存在目标体的通道，能够快速生成预警信息，如此，便于工作人员及时采取相应的处理措施。
第三、提升车间的安全性。本公开方案，能够为有效降低丝锭生产车间内的安全事故的发生率提供了技术支持，进而为减少AGV、生产设备的损坏，以及有效避免人员的伤害奠定了基础，如此，可极大程度保障车间的正常运作，以及提升车间的整体安全性。
本公开方案还提供了一种通道监控装置，如图5所示，包括：
获取单元501，用于获取AGV小车的车体采集组件在车体周身区域内所采集到的扫描数据；其中，所述AGV小车为多个AGV小车之一；所述多个AGV小车中的AGV小车行驶于多个待监控通道的任一待监控通道中；所述多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；所述车体周身区域包括所述AGV小车所行驶在的待监控通道的至少部分区域；获取摄像头在视频采集区域内所采集到的视频数据；其中，所述摄像头为多个摄像头之一，用于对所述多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；所述视频采集区域包括所述摄像头所能够采集到的待监控通道的至少部分区域；
处理单元502，用于基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；所述目标通道为所述多个待监控通道之一；生成所述目标体所在目标通道的目标预警信息。
在本公开方案的一具体示例中，所述处理单元，具体用于以下之一：
基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道，生成扫描数据中目标体所在目标通道的扫描预警信息；
基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；生成视频数据中目标体所在目标通道的视频预警信息；
基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道；以及基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；确定扫描数据所得的目标体所在的目标通道，与所述视频数据所得的目标体所在的目标通道相同的情况下，生成针对目标通道的混合预警信息。
在本公开方案的一具体示例中，其中，所述混合预警信息、扫描预警信息以及视频预警信息，三者的优先级递减。
在本公开方案的一具体示例中，所述处理单元，还用于：
将所述车体采集组件所采集的扫描数据所包括的扫描图像输入至第一检测模型，得到第一检测结果；其中，所述第一检测模型用于识别图像中是否存在目标体的至少部分局部特征；所述第一检测结果表征扫描数据所包含的扫描图像中是否存在目标体。
在本公开方案的一具体示例中，所述处理单元，具体用于：
对所述车体采集组件所采集的扫描数据所包括的扫描图像进行预处理，以去除扫描图像中的边缘区域，得到扫描图像中的核心区域所对应的子图像；
将扫描图像中的核心区域所对应的子图像输入至第一检测模型，得到第一检测结果；
其中，所述第一检测模型用于对扫描图像中的核心区域所对应的子图像进行特征提取，得到核心区域的特征图，并检测核心区域的特征图中是否存在目标体的至少部分局部特征。
在本公开方案的一具体示例中，其中，所述第一检测模型至少包括第一网络层、第二网络层以及第三网络层；
其中，所述第一网络层用于对核心区域所对应的子图像进行特征提取，以得到子图像对应的至少一个特征图，其中，至少一个特征图中特征图的数量，与特征图的特征块大小负相关；所述第二网络层用于基于子图像对应的至少一个特征图，预测是否存在目标体的至少部分局部特征，并得到概率值；
所述第三网络层用于对概率值进行处理，得到第一值或第二值，所述第一检测结果为所述第一值或第二值；所述第一值用于表征存在目标体的至少部分局部特征，所述第二值用于表征未存在目标体的至少部分局部特征。
在本公开方案的一具体示例中，所述处理单元，还用于：
将所述摄像头所采集的视频数据输入至第二检测模型，得到第二检测结果；其中，所述第二检测模型用于识别视频数据中是否存在目标体；所述第二检测结果表征视频数据中是否存在目标体；所述第二检测模型的时间复杂度大于所述第一检测模型的时间复杂度。
在本公开方案的一具体示例中，所述处理单元，具体用于：
对所述摄像头所采集的视频数据进行预处理，以得到视频图像集，其中，所述视频图像集包含有至少一组相邻的两帧视频图像；所述相邻的两帧视频图像满足如下要求：相邻的两帧视频图像的特征图之间的差异值大于预设差异值；将所述视频图像集中的各视频图像输入至第二检测模型，得到视频图像所对应的子结果；
在所述视频图像集的所有视频图像的子结果中存在至少一个子结果为第三值的情况下，将所述第三值作为第二检测结果；或者，在所述视频图像集的各视频图像的子结果均为第四值的情况下，将所述第四值作为第二检测结果；所述第三值用于表征存在目标体；所述第四值用于表征未存在目标体。
在本公开方案的一具体示例中，所述第二检测模型至少包括第四网络层、第五网络层和第六网络层；
所述第四网络层包括顺序连接的至少两个密集层，其中，上一个密集层所得的连接特征图，作为下一个密集层的初始特征图；所述两个密集层中的密集层用于对初始特征图进行卷积处理，得到卷积特征图，对初始特征图和卷积特征图进行连接处理，得到连接特征图；所述至少两个密集层中的首个密集层的初始特征图是基于视频图像所得；
所述第五网络层用于对所述至少两个密集层中最后一个密集层所得的连接特征图进行特征聚合，得到目标特征图；
所述第六网络层用于对所述目标特征图进行预测，得到所述第三值或所述第四值。
在本公开方案的一具体示例中，所述处理单元，还用于：
在得到视频数据中目标体所在的目标通道之后，确定所述目标通道中是否行驶有AGV小车；
在确定行驶有AGV小车的情况下，生成视频数据中目标体所在目标通道的视频预警信息。
本公开实施例的装置的各单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图6为根据本公开一实施例的电子设备的结构框图。如图6所示，该电子设备包括：存储器610和处理器620，存储器610内存储有可在处理器620上运行的计算机程序。存储器610和处理器620的数量可以为一个或多个。存储器610可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口630，用于与外界设备进行通信，进行数据交互传输。
如果存储器610、处理器620和通信接口630独立实现，则存储器610、处理器620和通信接口630可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器610、处理器620及通信接口630集成在一块芯片上，则存储器610、处理器620及通信接口630可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (23)

1.一种通道监控方法，包括：
获取自动导向车AGV的车体采集组件在车体周身区域内所采集到的扫描数据；其中，所述AGV为多个AGV之一；所述多个AGV中的AGV行驶于多个待监控通道的任一待监控通道中；所述多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；所述车体周身区域包括所述AGV所行驶在的待监控通道的至少部分区域；
获取摄像头在视频采集区域内所采集到的视频数据；其中，所述摄像头为多个摄像头之一，用于对所述多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；所述视频采集区域包括所述摄像头所能够采集到的待监控通道的至少部分区域；
基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；所述目标通道为所述多个待监控通道之一；
生成所述目标体所在目标通道的目标预警信息。
2.根据权利要求1所述的方法，其中，所述基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；生成所述目标体所在目标通道的目标预警信息，包括以下之一：
基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道，生成扫描数据中目标体所在目标通道的扫描预警信息；
基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；生成视频数据中目标体所在目标通道的视频预警信息；
基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道；以及基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；确定扫描数据所得的目标体所在的目标通道，与所述视频数据所得的目标体所在的目标通道相同的情况下，生成针对目标通道的混合预警信息。
3.根据权利要求2所述的方法，其中，所述混合预警信息、扫描预警信息以及视频预警信息，三者的优先级递减。
4.根据权利要求2或3所述的方法，还包括：
将所述车体采集组件所采集的扫描数据所包括的扫描图像输入至第一检测模型，得到第一检测结果；其中，所述第一检测模型用于识别图像中是否存在目标体的至少部分局部特征；所述第一检测结果表征扫描数据所包含的扫描图像中是否存在目标体。
5.根据权利要求4所述的方法，其中，所述将所述车体采集组件所采集的扫描数据所包括的扫描图像输入至第一检测模型，得到第一检测结果，包括：
对所述车体采集组件所采集的扫描数据所包括的扫描图像进行预处理，以去除扫描图像中的边缘区域，得到扫描图像中的核心区域所对应的子图像；
将扫描图像中的核心区域所对应的子图像输入至第一检测模型，得到第一检测结果；
其中，所述第一检测模型用于对扫描图像中的核心区域所对应的子图像进行特征提取，得到核心区域的特征图，并检测核心区域的特征图中是否存在目标体的至少部分局部特征。
6.根据权利要求5所述的方法，其中，所述第一检测模型至少包括第一网络层、第二网络层以及第三网络层；
其中，所述第一网络层用于对核心区域所对应的子图像进行特征提取，以得到子图像对应的至少一个特征图，其中，至少一个特征图中特征图的数量，与特征图的特征块大小负相关；
所述第二网络层用于基于子图像对应的至少一个特征图，预测是否存在目标体的至少部分局部特征，并得到概率值；
所述第三网络层用于对概率值进行处理，得到第一值或第二值，所述第一检测结果为所述第一值或第二值；所述第一值用于表征存在目标体的至少部分局部特征，所述第二值用于表征未存在目标体的至少部分局部特征。
7.根据权利要求4-6任一项所述的方法，还包括：
将所述摄像头所采集的视频数据输入至第二检测模型，得到第二检测结果；其中，所述第二检测模型用于识别视频数据中是否存在目标体；所述第二检测结果表征视频数据中是否存在目标体；所述第二检测模型的时间复杂度大于所述第一检测模型的时间复杂度。
8.根据权利要求7所述的方法，其中，所述将所述摄像头所采集的视频数据输入至第二检测模型，得到第二检测结果，包括：
对所述摄像头所采集的视频数据进行预处理，以得到视频图像集，其中，所述视频图像集包含有至少一组相邻的两帧视频图像；所述相邻的两帧视频图像满足如下要求：相邻的两帧视频图像的特征图之间的差异值大于预设差异值；
将所述视频图像集中的各视频图像输入至第二检测模型，得到视频图像所对应的子结果；
在所述视频图像集的所有视频图像的子结果中存在至少一个子结果为第三值的情况下，将所述第三值作为第二检测结果；或者，在所述视频图像集的各视频图像的子结果均为第四值的情况下，将所述第四值作为第二检测结果；所述第三值用于表征存在目标体；所述第四值用于表征未存在目标体。
9.根据权利要求8所述的方法，其中，所述第二检测模型至少包括第四网络层、第五网络层和第六网络层；
所述第四网络层包括顺序连接的至少两个密集层，其中，上一个密集层所得的连接特征图，作为下一个密集层的初始特征图；所述两个密集层中的密集层用于对初始特征图进行卷积处理，得到卷积特征图，对初始特征图和卷积特征图进行连接处理，得到连接特征图；所述至少两个密集层中的首个密集层的初始特征图是基于视频图像所得；
所述第五网络层用于对所述至少两个密集层中最后一个密集层所得的连接特征图进行特征聚合，得到目标特征图；
所述第六网络层用于对所述目标特征图进行预测，得到所述第三值或所述第四值。
10.根据权利要求2-6任一项所述的方法，在得到视频数据中目标体所在的目标通道之后，所述方法还包括：
确定所述目标通道中是否行驶有AGV；
其中，所述生成视频数据中目标体所在目标通道的视频预警信息，包括：
在确定行驶有AGV的情况下，生成视频数据中目标体所在目标通道的视频预警信息。
11.一种通道监控装置，包括：
获取单元，用于获取AGV的车体采集组件在车体周身区域内所采集到的扫描数据；其中，所述AGV为多个AGV之一；所述多个AGV中的AGV行驶于多个待监控通道的任一待监控通道中；所述多个待监控通道为丝锭生产车间中用于转运丝锭所需使用的多个通道；所述车体周身区域包括所述AGV所行驶在的待监控通道的至少部分区域；获取摄像头在视频采集区域内所采集到的视频数据；其中，所述摄像头为多个摄像头之一，用于对所述多个待监控通道中的任一待监控通道的至少部分区域进行视频采集；所述视频采集区域包括所述摄像头所能够采集到的待监控通道的至少部分区域；
处理单元，用于基于所述车体采集组件所采集的扫描数据和/或所述摄像头所采集的视频数据确定存在目标体的情况下，得到所述目标体所在的目标通道；所述目标通道为所述多个待监控通道之一；生成所述目标体所在目标通道的目标预警信息。
12.根据权利要求11所述的装置，其中，所述处理单元，具体用于以下之一：
基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道，生成扫描数据中目标体所在目标通道的扫描预警信息；
基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；生成视频数据中目标体所在目标通道的视频预警信息；
基于所述车体采集组件所采集的扫描数据，确定扫描数据中存在目标体的情况下，得到扫描数据中目标体所在的目标通道；以及基于所述摄像头所采集的视频数据，确定视频数据中存在目标体的情况下，得到视频数据中目标体所在的目标通道；确定扫描数据所得的目标体所在的目标通道，与所述视频数据所得的目标体所在的目标通道相同的情况下，生成针对目标通道的混合预警信息。
13.根据权利要求12所述的装置，其中，所述混合预警信息、扫描预警信息以及视频预警信息，三者的优先级递减。
14.根据权利要求12或13所述的装置，其中，所述处理单元，还用于：
将所述车体采集组件所采集的扫描数据所包括的扫描图像输入至第一检测模型，得到第一检测结果；其中，所述第一检测模型用于识别图像中是否存在目标体的至少部分局部特征；所述第一检测结果表征扫描数据所包含的扫描图像中是否存在目标体。
15.根据权利要求14所述的装置，其中，所述处理单元，具体用于：
对所述车体采集组件所采集的扫描数据所包括的扫描图像进行预处理，以去除扫描图像中的边缘区域，得到扫描图像中的核心区域所对应的子图像；
将扫描图像中的核心区域所对应的子图像输入至第一检测模型，得到第一检测结果；
其中，所述第一检测模型用于对扫描图像中的核心区域所对应的子图像进行特征提取，得到核心区域的特征图，并检测核心区域的特征图中是否存在目标体的至少部分局部特征。
16.根据权利要求15所述的装置，其中，所述第一检测模型至少包括第一网络层、第二网络层以及第三网络层；
其中，所述第一网络层用于对核心区域所对应的子图像进行特征提取，以得到子图像对应的至少一个特征图，其中，至少一个特征图中特征图的数量，与特征图的特征块大小负相关；
所述第二网络层用于基于子图像对应的至少一个特征图，预测是否存在目标体的至少部分局部特征，并得到概率值；
所述第三网络层用于对概率值进行处理，得到第一值或第二值，所述第一检测结果为所述第一值或第二值；所述第一值用于表征存在目标体的至少部分局部特征，所述第二值用于表征未存在目标体的至少部分局部特征。
17.根据权利要求14-16任一项所述的装置，其中，所述处理单元，还用于：
将所述摄像头所采集的视频数据输入至第二检测模型，得到第二检测结果；其中，所述第二检测模型用于识别视频数据中是否存在目标体；所述第二检测结果表征视频数据中是否存在目标体；所述第二检测模型的时间复杂度大于所述第一检测模型的时间复杂度。
18.根据权利要求17所述的装置，其中，所述处理单元，具体用于：
对所述摄像头所采集的视频数据进行预处理，以得到视频图像集，其中，所述视频图像集包含有至少一组相邻的两帧视频图像；所述相邻的两帧视频图像满足如下要求：相邻的两帧视频图像的特征图之间的差异值大于预设差异值；
将所述视频图像集中的各视频图像输入至第二检测模型，得到视频图像所对应的子结果；
在所述视频图像集的所有视频图像的子结果中存在至少一个子结果为第三值的情况下，将所述第三值作为第二检测结果；或者，在所述视频图像集的各视频图像的子结果均为第四值的情况下，将所述第四值作为第二检测结果；所述第三值用于表征存在目标体；所述第四值用于表征未存在目标体。
19.根据权利要求18所述的装置，其中，所述第二检测模型至少包括第四网络层、第五网络层和第六网络层；
所述第四网络层包括顺序连接的至少两个密集层，其中，上一个密集层所得的连接特征图，作为下一个密集层的初始特征图；所述两个密集层中的密集层用于对初始特征图进行卷积处理，得到卷积特征图，对初始特征图和卷积特征图进行连接处理，得到连接特征图；所述至少两个密集层中的首个密集层的初始特征图是基于视频图像所得；
所述第五网络层用于对所述至少两个密集层中最后一个密集层所得的连接特征图进行特征聚合，得到目标特征图；
所述第六网络层用于对所述目标特征图进行预测，得到所述第三值或所述第四值。
20.根据权利要求12-16任一项所述的装置，其中，所述处理单元，还用于：
在得到视频数据中目标体所在的目标通道之后，确定所述目标通道中是否行驶有AGV；
在确定行驶有AGV的情况下，生成视频数据中目标体所在目标通道的视频预警信息。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
CN202310830901.2A 2023-07-06 2023-07-06 一种通道监控方法、装置、设备以及存储介质 Pending CN116939160A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310830901.2A CN116939160A (zh) 2023-07-06 2023-07-06 一种通道监控方法、装置、设备以及存储介质
JP2023198740A JP7450794B1 (ja) 2023-07-06 2023-11-24 通路監視制御方法、装置、デバイス、記憶媒体及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310830901.2A CN116939160A (zh) 2023-07-06 2023-07-06 一种通道监控方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116939160A true CN116939160A (zh) 2023-10-24

Family

ID=88391763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310830901.2A Pending CN116939160A (zh) 2023-07-06 2023-07-06 一种通道监控方法、装置、设备以及存储介质

Country Status (2)

Country Link
JP (1) JP7450794B1 (zh)
CN (1) CN116939160A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103935365A (zh) * 2014-05-14 2014-07-23 袁培江 一种新型物料搬运自动引导车智能防撞系统
CN108100079A (zh) * 2018-02-01 2018-06-01 西华大学 一种新型全向轮行走及防碰撞系统
CN110737274A (zh) * 2019-11-01 2020-01-31 牧星机器人(江苏)有限公司 一种agv避障方法、系统、agv及存储介质
US20200101971A1 (en) * 2018-09-28 2020-04-02 Logistics and Supply Chain MultiTech R&D Centre Limited An automated guide vehicle with a collision avoidance apparatus
CN210455023U (zh) * 2019-09-12 2020-05-05 东莞市顺尔鸿自动化有限公司 一种无轨牵引式agv输送装置
CN111796590A (zh) * 2019-09-24 2020-10-20 北京京东乾石科技有限公司 避障的控制方法、装置、物品搬运系统和可读存储介质
CN111950420A (zh) * 2020-08-04 2020-11-17 国以贤智能科技(上海)股份有限公司 一种避障方法、装置、设备和存储介质
CN113888557A (zh) * 2021-09-22 2022-01-04 山东师范大学 一种基于rgb-d特征融合的场景语义分割方法及系统
CN215679136U (zh) * 2021-09-27 2022-01-28 东风本田发动机有限公司 导航系统和agv小车
CN115526556A (zh) * 2022-06-27 2022-12-27 上海力嘉物流科技有限公司 一种物流仓储管理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095301B2 (ja) 2018-02-13 2022-07-05 セイコーエプソン株式会社 搬送車の走行制御システム、及び、搬送車の走行制御方法
KR102364424B1 (ko) 2021-11-22 2022-02-17 빅헤브솔루션 주식회사 영상수집장치를 활용한 원격 낙상 유무 확인 판별 시스템

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103935365A (zh) * 2014-05-14 2014-07-23 袁培江 一种新型物料搬运自动引导车智能防撞系统
CN108100079A (zh) * 2018-02-01 2018-06-01 西华大学 一种新型全向轮行走及防碰撞系统
US20200101971A1 (en) * 2018-09-28 2020-04-02 Logistics and Supply Chain MultiTech R&D Centre Limited An automated guide vehicle with a collision avoidance apparatus
CN210455023U (zh) * 2019-09-12 2020-05-05 东莞市顺尔鸿自动化有限公司 一种无轨牵引式agv输送装置
CN111796590A (zh) * 2019-09-24 2020-10-20 北京京东乾石科技有限公司 避障的控制方法、装置、物品搬运系统和可读存储介质
CN110737274A (zh) * 2019-11-01 2020-01-31 牧星机器人(江苏)有限公司 一种agv避障方法、系统、agv及存储介质
CN111950420A (zh) * 2020-08-04 2020-11-17 国以贤智能科技(上海)股份有限公司 一种避障方法、装置、设备和存储介质
CN113888557A (zh) * 2021-09-22 2022-01-04 山东师范大学 一种基于rgb-d特征融合的场景语义分割方法及系统
CN215679136U (zh) * 2021-09-27 2022-01-28 东风本田发动机有限公司 导航系统和agv小车
CN115526556A (zh) * 2022-06-27 2022-12-27 上海力嘉物流科技有限公司 一种物流仓储管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
管军霖等: "基于YOLOv4卷积神经网络的口罩佩戴检测方法", 现代信息科技, vol. 4, no. 11, 10 June 2020 (2020-06-10), pages 9 - 12 *

Also Published As

Publication number Publication date
JP7450794B1 (ja) 2024-03-15

Similar Documents

Publication Publication Date Title
CN109241842B (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN111666995B (zh) 基于深度学习模型的车辆定损方法、装置、设备及介质
CN108256554A (zh) 基于深度学习的车辆逆向停车判断方法、服务器及系统
CN109686048B (zh) 火车站台越线的预警方法、装置、计算机设备和存储介质
CN110796052A (zh) 车牌识别方法、装置、设备及可读介质
WO2020111133A1 (ja) 交通支援システム、サーバ及び方法、車載装置及びその動作方法、コンピュータプログラム、記録媒体、コンピュータ、並びに半導体集積回路
CN113811830B (zh) 轨迹预测方法、装置、计算机设备和存储介质
CN103810696B (zh) 一种目标对象图像检测方法及装置
CN113470374A (zh) 车辆超速监测方法、装置、计算机设备及存储介质
CN108960133A (zh) 乘客流量监控的方法、电子设备、系统以及存储介质
CN112561859A (zh) 基于单目视觉的锚护用钢带钻孔与锚网识别方法及装置
CN116939160A (zh) 一种通道监控方法、装置、设备以及存储介质
CN111507269B (zh) 车位状态的识别方法及装置、存储介质和电子装置
CN112561967A (zh) 一种车辆门锁的控制方法及装置
KR102232716B1 (ko) 빅데이터 및 머신러닝 기반의 과실 비율 판정 방법 및 장치
CN115409839B (zh) 基于像素分析模型的道路声屏障隐患识别方法及装置
CN116740617A (zh) 数据处理方法、装置、电子设备及存储介质
KR20140056674A (ko) 사고 처리 지원 방법 및 이를 위한 장치
KR101362962B1 (ko) 차량번호 인식 및 검색 시스템과 운영방법
CN110796129A (zh) 一种文本行区域检测方法及装置
CN112818847A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN113807209A (zh) 车位检测方法、装置、电子设备及存储介质
KR20220067271A (ko) 영상취득장치 및 영상취득방법
CN113283286A (zh) 一种驾驶员异常行为检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination