CN112001266A - 一种大型无人运输车监控方法及系统 - Google Patents

一种大型无人运输车监控方法及系统 Download PDF

Info

Publication number
CN112001266A
CN112001266A CN202010747744.5A CN202010747744A CN112001266A CN 112001266 A CN112001266 A CN 112001266A CN 202010747744 A CN202010747744 A CN 202010747744A CN 112001266 A CN112001266 A CN 112001266A
Authority
CN
China
Prior art keywords
image
transport vehicle
acquiring
camera
unmanned transport
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010747744.5A
Other languages
English (en)
Other versions
CN112001266B (zh
Inventor
杨明
吴明虎
钱烨强
王春香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010747744.5A priority Critical patent/CN112001266B/zh
Publication of CN112001266A publication Critical patent/CN112001266A/zh
Application granted granted Critical
Publication of CN112001266B publication Critical patent/CN112001266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种大型无人运输车监控方法及系统，该方法包括：标定相机，获取相机内参与畸变参数；根据图像视场角度及图像宽度获取图像投影至柱面的参数；获取第一图像坐标映射表；提取图像特征，计算不同图像之间的匹配关系，获取第二图像坐标映射表；设置图像融合区域的大小，获取加权融合矩阵；获取第三图像坐标映射表；采集无人运输车运行时周围环境的图像信息；根据第三图像坐标映射表，将所有图像统一映射至同一融合空间，并根据加权融合矩阵，对图像间重合区域加权融合，得到环视图；采用基于深度学习的行人检测算法对环视图进行行人检测，完成行人位置检测。通过本发明，能及时发现并处理异常状况，极大降低大型无人运输车的安全风险。

Description

一种大型无人运输车监控方法及系统
技术领域
本发明涉及无人驾驶技术领域，特别涉及一种大型无人运输车监控方法及系统。
背景技术
伴随着我国的经济发展和对外开放水平的不断提高，我国港口吞吐量逐年增加，已成为港口常年吞吐量最大的国家。与此同时，由于驾驶技术门槛较高，港口内大型运输车司机严重短缺，无法满足日益增长的运输需求。
利用大型无人运输车参与运输能够有助于解决这个难题，既可以在降低运营成本、提升运营效率的同时，降低运输安全风险。
大型无人运输车工作时，如果其周围环境没有得到有效的监控，则无法及时发现异常状况，很有可能引发安全事故。由于大型无人运输车的车身较高体积较大，传统应用于小型车的监控方案，例如利用全景相机监控的方案，无法满足大型无人运输车的监控需求。目前尚没有很好的技术方案，来帮助解决大型无人运输车工作时周围环境的监控问题。
因此，急需研究一种能够适用于大型无人运输车远程监控的技术。
发明内容
本发明针对上述现有技术中存在的问题，提出一种大型无人运输车监控方法及系统，
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种大型无人运输车监控方法，其包括：
S11：标定相机，获取相机内参与畸变参数；
S12：根据图像视场角度以及图像宽度获取图像投影至柱面的参数；
S13：根据所述S11、S12的结果，获取第一图像坐标映射表，以完成图像畸变校正、投影至柱面、调整图像大小的处理；
S14：根据所述S13的结果，提取图像特征，对图像进行超像素分割，估计单应性矩阵自适应地匹配每个超像素，利用多个单应矩阵匹配图像间的关系，获取第二图像坐标映射表，以完成将图像变换至同一融合空间的处理；
S15：设置图像融合区域的大小，获取加权融合矩阵；
S16：根据所述S13、S14的结果，获取第三图像坐标映射表，以完成图像的畸变校正、投影至柱面、调整图像大小以及将图像变换至同一融合空间的处理；
S17：利用相机采集无人运输车运行时周围环境的图像信息；
S18：根据所述S16获取的第三图像坐标映射表，将所述S17的所有图像统一映射至同一融合空间，并根据所述S15获取的加权融合矩阵，对所述S17的图像间重合区域加权融合，得到环视图；
S19：采用基于深度学习的行人检测算法对所述环视图进行行人检测，完成行人位置检测。较佳地，所述S19之后还包括：
S20：根据所述S19的检测结果，判断行人所处的位置是否处在车辆待通行路线的区域内；如果是，则发出警告信号，并提醒监控人员进行处理。
较佳地，S11～S16只需在系统初始化时处理一次，将相关结果保存后，后续系统启动后则可以直接从S17开始运行。
较佳地，所述S20中的警告信号包括：行人的位置以及干预建议。
较佳地，所述S20的警告信号在移动显示平台上弹出警告信息和/或发出警告声音。
本发明还提供一种大型无人运输车监控系统，其包括：相机、嵌入式系统以及云计算系统；其中，
所述相机用于采集无人运输车运行时周围环境的图像信息；
所述嵌入式系统用于标定相机，获取相机内参与畸变参数；根据图像视场角度以及图像宽度获取图像投影至柱面的参数；还用于提取图像特征，对图像进行超像素分割，估计单应性矩阵自适应地匹配每个超像素，利用多个单应矩阵匹配图像间的关系，设置图像融合区域的大小，获取加权融合矩阵，以将图像变换至同一融合空间；还用于将所述相机获得的所有图像统一映射至同一融合空间，并根据加权融合矩阵，对所有图像间重合区域加权融合，得到环视图；
所述云计算系统用于基于深度学习的行人检测算法对所述环视图进行行人检测，完成行人位置检测。
较佳地，所述云计算系统还用于根据检测结果，判断行人所处的位置是否处在车辆待通行路线的区域内；如果是，则发出警告信号，并提醒监控人员进行处理。
较佳地，还包括：移动显示系统；用于接收并显示云计算系统的行人检测结果；并用于显示警告信息和/或发出警告音。
较佳地，所述相机为鱼眼相机。
较佳地，所述鱼眼相机包括多个，多个所述鱼眼相机同时经过其光心和焦点的光线，均汇聚于同一点。
较佳地，所述鱼眼相机包括八个，车头、车尾各包括一个，车身两侧各包括三个。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的大型无人运输车监控方法及系统，根据大型无人运输车的特点和需求，设计了一套感知大型无人运输车运行时周围环境的监控方法及系统，可以帮助工作人员远程监控大型无人运输车的运行状况，并视情况采取干预措施，有效地降低安全风险；
(2)本发明提供的大型无人运输车监控方法及系统，通过深度卷积神经网络检测行人，通过收集并标注大量的数据进行有监督训练，并不断调整卷积神经网络的结构以及相关的参数，获取精度较高的检测模型。该模型能够很好地适应大型无人运输车运行环境，得到较为准确的行人位置信息；
(3)本发明提供的大型无人运输车监控方法及系统，通过在匹配图像间关系时，对图像进行超像素分割，估计单应性矩阵自适应地匹配每个超像素，利用多个单应矩阵匹配图像间的关系，来获取第二图像坐标映射表，解决了视差问题；
(4)本发明提供的大型无人运输车监控方法及系统，通过云计算系统进行感知计算，计算资源可以按需调度分配，避免资源浪费，节省成本，也可以适应今后大型无人运输车规模增长的需求；同时降低了整个系统的体积和维护成本，提高了计算性能和可靠性，实时性得到了保证，也十分便于数据的传输；
(5)本发明提供的大型无人运输车监控方法及系统，通过在嵌入式系统中生成环视图后，利用移动网络将环视图传送至云计算系统，同时在移动显示系统上远程登陆云计算系统后，即可实时接收并显示云计算平台的处理结果，减少了数据传输的压力，也便于工作人员进行监控；
(6)本发明提供的大型无人运输车监控方法及系统，通过在安装鱼眼相机时，满足所有相机同时经过其光心和焦点的光线，均汇聚于同一点的条件，减小了因相机数量较多以及安装位置的不同而产生的视差。同时将畸变校正后的图像均投影至同一个柱面坐标系，使得投影图像与其投影到圆柱表面的位置无关，得到的柱面环视图像可在水平方向上满足360度环视，满足视觉一致性，具有较好的视觉效果；
(7)本发明提供的大型无人运输车监控方法及系统，通过总共安装八个鱼眼相机，数量较多的鱼眼相机经过合理地分配安装位置，能够适应大型无人运输车体积大的特点，完全覆盖运输车周围所有视野，有效解决了因运输车体积大而带来的盲区问题。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明一实施例的大型无人运输车监控方法的流程图；
图2为本发明一实施例的大型无人运输车监控系统的结构图；
图3为本发明一较佳实施例的本发明提供的大型无人运输车监控方法及系统；
标号说明：1-相机，2-嵌入式系统，3-云计算系统，4-移动显示系统。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示为本发明一实施例的大型无人运输车监控方法的流程图。
请参考图1，本实施例的监控方法包括以下步骤：
S11：对鱼眼相机进行标定，获取其相机内参和畸变系数；
本步骤中，采用长为3米、宽为2米的棋盘格标定板进行标定，较大的标定板能够适应室外场景，实现更好的畸变校正效果。
在本发明部分实施例中，利用鱼眼相机采集带有标定板的标定图像时，采集到的各个标定图像中，图像中的标定板均要分别覆盖图像的各个部分，特别是鱼眼图像的边缘部分，保证图像中的每一部分都可以得到充分的校正。获取标定图像后，提取图像中的角点信息和直线信息，构建泰勒多项式函数模型，获取相机内参以及畸变系数。
S12:根据图像视场角度以及图像宽度获取图像投影至柱面的参数；
本步骤中，根据图像宽度以及图像视场角度，计算待投影柱面的半径，获取图像投影至柱面的参数。由于鱼眼相机采集到的图像序列是实体环境在不同坐标系下的二维投影，所以将图像均投影至同一个柱面坐标系，使得投影图像与其投影到圆柱表面的位置无关，得到的柱面环视图像可在水平方向上实现360度环视，满足视觉一致性，具有较好的视觉效果。
S13：根据S11、S12获取的参数，获取第一图像坐标映射表，该图像坐标映射表可同时完成图像畸变校正、投影至柱面、调整大小的处理；
本步骤中，由于图像畸变校正、投影至柱面以及调整大小均可以分别用图像坐标映射表实现，为了提高计算效率，较少系统开销，将畸变校正映射表、柱面投影映射表和图像大小调整映射表合并成一个图像坐标映射表。该图像坐标映射表可同时进行图像畸变校正、投影至柱面、调整大小的操作，极大减少处理时间。
S14：根据S13的结果，提取图像特征，计算不同图像之间的匹配关系，获取第二图像坐标映射表，该图像坐标映射表可完成将图像变换至同一个融合空间的处理；
本步骤中，匹配图像间的关系时，首先将图像划分为多个超像素，提取图像特征并估计最佳单应矩阵，该单应性矩阵能够自适应地匹配和转换每个超像素。根据估计出来的多个单应性矩阵，计算出图像坐标映射表，将所有图像统一变换至同一个融合空间。该方法能够有效地解决了因相机数量较多以及安装位置的不同而产生的视差问题，提供较为准确的拼接效果。
S15：设置图像融合区域的大小，获取加权融合矩阵；
该步骤中，设置图像间融合区域的宽度为40个像素距离，计算出融合区域每一个像素的加权系数，并用同一个加权融合矩阵表示。
S16：根据S13、S14的结果，获取最终的第三图像坐标映射表，该图像坐标映射表可同时完成畸变校正、投影至柱面、调整图像大小以及将图像变换至融合空间的处理；
在本步骤中，由于最终合成的环视图像仅需原始图像的一部分区域，因此所述的图像坐标映射表仅仅对各个原始图像的一部分区域进行处理，提高处理效率。
S17：利用鱼眼相机采集无人运输车运行时周围环境的图像信息；
S18：根据S16获取的第三图像坐标映射表，将所有图像统一映射至同一个融合空间，并根据S15获取的加权融合矩阵，对图像间重合区域加权融合，得到环视图；
本步骤中，以八个鱼眼相机为例，由于需要处理来自八个鱼眼相机的八张图像，因此有七处重合区域，利用同一个加权融合矩阵，可同时对七处重合区域进行加权融合，使得不同图像之间的过渡自然和谐，满足视觉一致性，具有较好的视觉效果。
S19：采用基于深度学习的行人检测算法对所述环视图进行行人检测，完成行人位置检测。
本步骤中，采用深度卷积神经网络，对采集到的图像数据进行标注，利用大量标注的数据集进行有监督训练，不断调整卷积神经网络的结构以及相关的参数，获取行人检测精度较高的检测模型。该模型能够较好地检测行人，得到较为准确的行人位置信息。
较佳实施例中，S19之后还包括：
S20：根据S19结果，判断行人所处的位置是否处在车辆待通行路线的区域内，具体为：在环视图上划分不同的区域，即车辆正前方、左前方、右前方，和车辆两侧及车辆后方。其中重点关注车辆正前方、左前方和右前方，若检测出行人的位置处于车辆正前方区域，则发出警告信号，即“正前方通行有风险”。同理，若车辆左前方区域或右前方区域检测出行人，则要发出相应的警告信号提醒工作人员。工作人员可以根据移动显示平台所发出的警告信息，视情况加以干预。
较佳实施例中，S11～S16只需处理一次，将相关结果保存后，后续系统启动后则可以直接从S17开始运行。
较佳实施例中，S20中的警告信号包括：行人的位置以及干预建议。
较佳实施例中，S20的警告信号在移动显示平台上弹出警告信息和/或发出警告声音。
如图2所示为本发明一实施例的大型无人运输车监控系统的结构图。
请参考图2，本实施例的监控系统包括：相机1、嵌入式系统2以及云计算系统3。其中，相机用于采集无人运输车运行时周围环境的图像信息；嵌入式系统用于标定相机，获取相机内参与畸变参数；根据图像视场角度以及图像宽度获取图像投影至柱面的参数；还用于提取图像特征，计算不同图像之间的匹配关系，设置图像融合区域的大小，获取加权融合矩阵，以将图像变换至同一融合空间；还用于将所述相机获得的所有图像统一映射至同一融合空间，并根据加权融合矩阵，对所有图像间重合区域加权融合，得到环视图，同时保存重要的数据，方便后续继续调用；云计算系统3用于基于深度学习的行人检测算法对所述环视图进行行人检测，完成行人位置检测。
上述实施例中，云计算系统的计算资源可以按需调度分配，避免资源浪费，节省成本，同时可以适应今后大型无人运输车规模增长的需求；且云计算系统的使用降低了整个系统的体积和维护成本，提高了计算性能和可靠性，实时性得到了保证，也十分便于数据的传输。
较佳实施例中，云计算系统3还用于根据检测结果，判断行人所处的位置是否处在车辆待通行路线的区域内；如果是，则发出警告信号，并提醒监控人员进行处理。
较佳实施例中，监控系统还包括：移动显示系统4；用于接收并显示云计算系统的行人检测结果；并用于显示警告信息和/或发出警告音，结构示意图如图3所示。
较佳实施例中，相机为鱼眼相机，鱼眼相机为广角相机，视场角度超过180度，可以克服普通相机视野较窄的问题。
较佳实施例中，鱼眼相机包括多个，多个鱼眼相机地同时经过光心和焦点的光线，均汇聚于同一点。具体地，鱼眼相机的安装角度调整分为以下三个步骤：
1)选取车辆水平面的中心点，作为所有相机同时经过光心和焦点的光线，所汇聚的点，并做好标记；
2)在该中心点处放置红外激光笔，并使得红外激光经过相机所安装的位置，并使其照射在标定板中，形成一红点；
3)调整相机安装的角度，使得该红点处在相机所采集图像的正中心位置。
在对所有相机均进行安装角度调整后，则可以满足所有相机同时经过光心和焦点的光线汇聚于同一点的条件，减小了因相机数量较多以及安装位置的不同而产生的视差，对视觉一致性进行了补偿，具有较好的视觉效果。
较佳实施例中，鱼眼相机包括八个，车头、车尾各包括一个，车身两侧各包括三个。多个鱼眼相机经过合理的安装位置分配，能够适应大型无人运输车体积大的特点，完全覆盖运输车周围所有视野，有效解决了由于体积大而带来的盲区问题。
较佳实施例中，嵌入式系统在对鱼眼图像进行图像大小调整、畸变校正和投影至柱面时，充分利用嵌入式平台拥有多核处理器的优势，采用并行化处理的方法，生成多个线程同步对多个鱼眼图像进行处理，极大提高处理效率。
较佳实施例中，在嵌入式平台中生成环视图后，利用移动网络将环视图传送至云计算平台，减少了数据传输的压力，可以实现实时的数据传输。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种大型无人运输车监控方法，其特征在于，包括：
S11：标定相机，获取相机内参与畸变参数；
S12：根据图像视场角度以及图像宽度获取图像投影至柱面的参数；
S13：根据所述S11、S12的结果，获取第一图像坐标映射表，以完成图像畸变校正、投影至柱面、调整图像大小的处理；
S14：根据所述S13的结果，提取图像特征，对图像进行超像素分割，估计单应性矩阵自适应地匹配每个超像素，利用多个单应矩阵匹配图像间的关系，获取第二图像坐标映射表，以完成将图像变换至同一融合空间的处理；
S15：设置图像融合区域的大小，获取加权融合矩阵；
S16：根据所述S13、S14的结果，获取第三图像坐标映射表，以完成图像的畸变校正、投影至柱面、调整图像大小以及将图像变换至同一融合空间的处理；
S17：利用相机采集无人运输车运行时周围环境的图像信息；
S18：根据所述S16获取的第三图像坐标映射表，将所述S17的所有图像统一映射至同一融合空间，并根据所述S15获取的加权融合矩阵，对所述S17的图像间重合区域加权融合，得到环视图；
S19：采用基于深度学习的行人检测算法对所述环视图进行行人检测，完成行人位置检测。
2.根据权利要求1所述的大型无人运输车监控方法，其特征在于，所述S19之后还包括：
S20：根据所述S19的检测结果，判断行人所处的位置是否处在车辆待通行路线的区域内；如果是，则发出警告信号，并提醒监控人员进行处理。
3.根据权利要求2所述的大型无人运输车监控方法，其特征在于，所述S20中的警告信号包括：行人的位置以及干预建议。
4.根据权利要求1所述的大型无人运输车监控方法，其特征在于，所述S20的警告信号在移动显示平台上弹出警告信息和/或发出警告声音。
5.一种大型无人运输车监控系统，其特征在于，包括：相机、嵌入式系统以及云计算系统；其中，
所述相机用于采集无人运输车运行时周围环境的图像信息；
所述嵌入式系统用于标定相机，获取相机内参与畸变参数；根据图像视场角度以及图像宽度获取图像投影至柱面的参数；还用于提取图像特征，对图像进行超像素分割，估计单应性矩阵自适应地匹配每个超像素，利用多个单应矩阵匹配图像间的关系，设置图像融合区域的大小，获取加权融合矩阵，以将图像变换至同一融合空间；还用于将所述相机获得的所有图像统一映射至同一融合空间，并根据加权融合矩阵，对所有图像间重合区域加权融合，得到环视图；
所述云计算系统用于基于深度学习的行人检测算法对所述环视图进行行人检测，完成行人位置检测。
6.根据权利要求5所述的大型无人运输车监控系统，其特征在于，所述云计算系统还用于根据检测结果，判断行人所处的位置是否处在车辆待通行路线的区域内；如果是，则发出警告信号，并提醒监控人员进行处理。
7.根据权利要求6所述的大型无人运输车监控系统，其特征在于，还包括：移动显示系统；用于接收并显示云计算系统的行人检测结果；并用于显示警告信息和/或发出警告音。
8.根据权利要求5至7任一项所述的大型无人运输车监控系统，其特征在于，所述相机为鱼眼相机。
9.根据权利要求8所述的大型无人运输车监控系统，其特征在于，所述鱼眼相机包括多个，多个所述鱼眼相机同时经过其光心和焦点的光线，均汇聚于同一点。
10.根据权利要求9所述的大型无人运输车监控系统，其特征在于，所述鱼眼相机包括八个，车头、车尾各包括一个，车身两侧各包括三个。
CN202010747744.5A 2020-07-30 2020-07-30 一种大型无人运输车监控方法及系统 Active CN112001266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747744.5A CN112001266B (zh) 2020-07-30 2020-07-30 一种大型无人运输车监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747744.5A CN112001266B (zh) 2020-07-30 2020-07-30 一种大型无人运输车监控方法及系统

Publications (2)

Publication Number Publication Date
CN112001266A true CN112001266A (zh) 2020-11-27
CN112001266B CN112001266B (zh) 2023-01-17

Family

ID=73462649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747744.5A Active CN112001266B (zh) 2020-07-30 2020-07-30 一种大型无人运输车监控方法及系统

Country Status (1)

Country Link
CN (1) CN112001266B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462622A (zh) * 2022-02-07 2022-05-10 舵敏智能科技(苏州)有限公司 一种用于众包数据的深度学习模型部署与训练方法
CN117395379A (zh) * 2023-12-08 2024-01-12 辽宁数能科技发展有限公司 一种供应链场景下的物流运输调控系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105059190A (zh) * 2015-08-17 2015-11-18 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN108447305A (zh) * 2018-04-21 2018-08-24 上海交通大学 一种新交规下礼让行人预警方法及预警系统
CN111223038A (zh) * 2019-12-02 2020-06-02 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111462172A (zh) * 2020-02-24 2020-07-28 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105059190A (zh) * 2015-08-17 2015-11-18 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN108447305A (zh) * 2018-04-21 2018-08-24 上海交通大学 一种新交规下礼让行人预警方法及预警系统
CN111223038A (zh) * 2019-12-02 2020-06-02 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111462172A (zh) * 2020-02-24 2020-07-28 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆晓燕: ""基于全景拼接的泊车辅助系统研究"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462622A (zh) * 2022-02-07 2022-05-10 舵敏智能科技(苏州)有限公司 一种用于众包数据的深度学习模型部署与训练方法
CN117395379A (zh) * 2023-12-08 2024-01-12 辽宁数能科技发展有限公司 一种供应链场景下的物流运输调控系统与方法
CN117395379B (zh) * 2023-12-08 2024-04-05 辽宁数能科技发展有限公司 一种供应链场景下的物流运输调控系统与方法

Also Published As

Publication number Publication date
CN112001266B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN105844624B (zh) 动态标定系统、动态标定系统中的联合优化方法及装置
TWI517670B (zh) 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
US10990836B2 (en) Method and apparatus for recognizing object, device, vehicle and medium
CN112001266B (zh) 一种大型无人运输车监控方法及系统
CN110827197A (zh) 一种基于深度学习检测和识别车辆环视目标的方法和装置
CN110751081B (zh) 基于机器视觉的施工安全监控方法及装置
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
US20210073539A1 (en) Port area monitoring method and system and central control system
CN111141311A (zh) 一种高精度地图定位模块的评估方法及系统
CN112052855A (zh) 一种基于深度学习的车牌识别方法及装置
CN113408454A (zh) 一种交通目标检测方法、装置、电子设备及检测系统
Zhou et al. Adapting semantic segmentation models for changes in illumination and camera perspective
CN110866475A (zh) 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
US20210150247A1 (en) Image pattern recognition system and method
CN114627409A (zh) 一种车辆异常变道的检测方法及装置
CN105354813A (zh) 驱动云台生成拼接图像的方法及装置
CN109472737A (zh) 一种车载六路摄像头的全景报警方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
WO2023060405A1 (zh) 一种无人机监控方法、装置、无人机及监控设备
CN113538967B (zh) 一种十字路口场景下的车路协同装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant