CN108495089A - 车辆监控方法、装置、系统以及计算机可读存储介质 - Google Patents
车辆监控方法、装置、系统以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108495089A CN108495089A CN201810282728.6A CN201810282728A CN108495089A CN 108495089 A CN108495089 A CN 108495089A CN 201810282728 A CN201810282728 A CN 201810282728A CN 108495089 A CN108495089 A CN 108495089A
- Authority
- CN
- China
- Prior art keywords
- video
- characteristic point
- vehicle
- pixel
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005304 joining Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明公开了一种车辆监控方法、装置、系统以及计算机可读存储介质，涉及车辆监控领域。车辆监控方法包括：获取车辆上的多个摄像头采集的视频，其中，多个摄像头的拍摄区域不同；根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，特征点的描述信息包括特征点的方向信息；基于多个全景图像生成全景视频；将全景视频输出给显示设备进行显示。通过将多个具有不同拍摄方向的摄像头采集的画面进行拼接、生成全景视频，可以减少监控死角，并且提供的监控画面更直观、完整，方便了监控人员及时发现问题，提高了车辆驾驶过程中的安全性。
Description
技术领域
本发明涉及车辆监控领域，特别涉及一种车辆监控方法、装置、系统以及计算机可读存储介质。
背景技术
随着路面上的交通工具越来越多，路况日趋复杂，在车辆行驶的过程中，尤其是在无人车等全自动驾驶工具的行驶过程中，很容易发生碰撞、违章等情况。
一些相关的解决方案利用了超声波原理。通过在车辆前方配置3～4个传感器，可以在车辆前方有障碍物并且距离车辆较近时通知车辆的中控系统进行避障。
发明内容
发明人对相关技术进行分析后发现，由于传感器的感测范围有限，很可能出现检测死角，造成无法避障的后果。因此，这种方式无法全面地获得车辆周围的路况信息，为车辆行驶造成了安全隐患。
本发明实施例所要解决的一个技术问题是：如何全面地获得车辆周围的路况信息。
根据本发明一些实施例的第一个方面，提供一种车辆监控方法，包括：获取车辆上的多个摄像头采集的视频，其中，多个摄像头的拍摄区域不同；根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，所述特征点的描述信息包括特征点的方向信息；基于多个全景图像生成全景视频；将全景视频输出给显示设备进行显示。
在一些实施例中，根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像包括：提取每个摄像头在同一时刻采集的视频图像；根据视频图像中每个待测像素点与待测像素点周围的像素点的灰度差值检测待测像素点中的特征点；计算特征点的方向；在特征点所在的图像邻域内选择多对像素点，并根据每对像素点之间的灰度关系以及特征点的方向生成特征点的描述信息；根据不同的视频图像的特征点描述信息进行特征点匹配；基于特征点匹配的结果进行视频图像的拼接，生成全景图像。
在一些实施例中，基于特征点匹配的结果进行视频图像的拼接包括：对视频图像进行仿射变换，使得匹配的特征点重合；将不同视频图像的重合区域中，同一位置的图像块的像素值的加权和作为拼接后的图像中相应位置的像素值。
在一些实施例中，在根据当前帧的不同的视频图像的特征点描述信息进行特征点匹配的同时，基于上一帧的特征点匹配的结果进行上一帧的视频图像的拼接。
在一些实施例中，车辆监控方法还包括：记录每个摄像头拍摄的已处理的视频图像中特征点的分布位置；根据特征点的分布位置确定每个摄像头对应的特征点分布区域，以便根据相应摄像头拍摄的视频图像的特征点分布区域中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
在一些实施例中，响应于待拼接的视频图像不是关键帧，根据同一摄像头拍摄的最邻近的关键帧中特征点所在位置确定待拼接的视频图像的特征点搜索区域；在特征点搜索区域中检测特征点，生成特征点描述信息；根据特征点描述信息进行特征点匹配，生成全景图像。
在一些实施例中，车辆监控方法还包括：将全景图像划分为多个具有预设尺寸的色块；采用加权平滑法并行地调整色块中每一个像素点的颜色。
在一些实施例中，将全景视频输出给显示设备进行显示包括：将全景视频和输入的视角所对应的摄像头采集的视频输出给显示设备，以便显示设备同时显示全景视频和输入的视角对应的视频。
在一些实施例中，车辆监控方法还包括：接收云端发送的拍摄控制指令，并向车辆上的一个或多个摄像头发送拍摄控制指令；和/或，接收云端发送的驾驶控制指令，并向车辆发送驾驶控制指令。
根据本发明一些实施例的第二个方面，提供一种车辆监控装置，包括：视频获取模块，被配置为获取车辆上的多个摄像头采集的视频，其中，多个摄像头的拍摄区域不同；全景图像拼接模块，被配置为根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，特征点的描述信息包括特征点的方向信息；全景视频生成模块，被配置为基于多个全景图像生成全景视频；视频输出模块，被配置为将全景视频输出给显示设备进行显示。
在一些实施例中，全景图像拼接模块进一步被配置为提取每个摄像头在同一时刻采集的视频图像；根据视频图像中每个待测像素点与待测像素点周围的像素点的灰度差值检测待测像素点中的特征点；计算特征点的方向；在特征点所在的图像邻域内选择多对像素点，并根据每对像素点之间的灰度关系以及特征点的方向生成特征点的描述信息；根据不同的视频图像的特征点描述信息进行特征点匹配；基于特征点匹配的结果进行视频图像的拼接，生成全景图像。
在一些实施例中，全景图像拼接模块进一步被配置为对视频图像进行仿射变换，使得匹配的特征点重合；将不同视频图像的重合区域中，同一位置的图像块的像素值的加权和作为拼接后的图像中相应位置的像素值。
在一些实施例中，全景图像拼接模块进一步被配置为在根据当前帧的不同的视频图像的特征点描述信息进行特征点匹配的同时，基于上一帧的特征点匹配的结果进行上一帧的视频图像的拼接。
在一些实施例中，车辆监控装置还包括：区域确定模块，被配置为记录每个摄像头拍摄的已处理的视频图像中特征点的分布位置；根据特征点的分布位置确定每个摄像头对应的特征点分布区域，以便根据相应摄像头拍摄的视频图像的特征点分布区域中每个待测像素点与待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
在一些实施例中，全景图像拼接模块进一步被配置为响应于待拼接的视频图像不是关键帧，根据同一摄像头拍摄的最邻近的关键帧中特征点所在位置确定待拼接的视频图像的特征点搜索区域；在特征点搜索区域中检测特征点，生成特征点描述信息；根据特征点描述信息进行特征点匹配，生成全景图像。
在一些实施例中，车辆监控装置还包括：颜色调整模块，被配置为将全景图像划分为多个具有预设尺寸的色块；采用加权平滑法并行地调整色块中每一个像素点的颜色。
在一些实施例中，视频输出模块进一步被配置为将全景视频和输入的视角所对应的摄像头采集的视频输出给显示设备，以便显示设备同时显示全景视频和输入的视角对应的视频。
在一些实施例中，车辆监控装置还包括：指令发送模块，被配置为接收云端发送的拍摄控制指令，并向车辆上的一个或多个摄像头发送拍摄控制指令；和/或，接收云端发送的驾驶控制指令，并向车辆发送驾驶控制指令。
根据本发明一些实施例的第三个方面，提供一种车辆监控系统，包括：前述任意一种车辆监控装置，和多个摄像头，多个摄像头被配置为放置在车辆上、并且具有不同的拍摄方向。
在一些实施例中，车辆监控装置位于车辆中；车辆监控系统还包括：显示设备，位于云端，被配置为显示车辆监控装置输出的全景视频。
根据本发明一些实施例的第四个方面，提供一种车辆监控装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任意一种车辆监控方法。
根据本发明一些实施例的第五个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种车辆监控方法。
上述发明中的一些实施例具有如下优点或有益效果：通过将多个具有不同拍摄方向的摄像头采集的画面进行拼接、生成全景视频，可以减少监控死角，并且提供的监控画面更直观、完整，方便了监控人员及时发现问题，提高了车辆驾驶过程中的安全性。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的车辆监控方法的示例性流程图。
图2为根据本发明一些实施例的视频图像拼接方法的示例性流程图。
图3为根据本发明另一些实施例的视频图像拼接方法的示例性流程图。
图4为根据本发明一些实施例的特征点检测方法的示例性流程图。
图5为根据本发明另一些实施例的特征点检测方法的示例性流程图。
图6为本发明一些实施例中显示设备的监控界面示意图。
图7为根据本发明一些实施例的车辆监控系统的示例性结构图。
图8为根据本发明一些实施例的车辆监控装置的示例性结构图。
图9为根据本发明一些实施例的摄像头内部电路框架的示例性结构图。
图10为根据本发明另一些实施例的车辆监控系统的示例性结构图。
图11为根据本发明另一些实施例的车辆监控装置的示例性结构图。
图12为根据本发明又一些实施例的车辆监控装置的示例性结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为根据本发明一些实施例的车辆监控方法的示例性流程图。如图1所示，该实施例的车辆监控方法包括步骤S102～S108。
在步骤S102中，获取车辆上的多个摄像头采集的视频，其中，多个摄像头的拍摄区域不同。
本发明实施例中的车辆可以是有人驾驶车辆，也可以是无人配送车等无人驾驶车辆。并且，也可以适用于多种驾驶形式，例如可以适用于手动驾驶、半自动驾驶或者全自动驾驶。
在一些实施例中，车辆上的多个摄像头的拍摄范围之和可以覆盖车辆周围360°的环境，以获得车辆周边的所有情况。例如，可以在车辆上设置四个摄像头，分别朝向车辆的前、后、左、右方向，并且可以是鱼眼摄像头，以获得更大的拍摄范围。根据需要，多个摄像头的拍摄范围之和也可以覆盖车辆周围的部分环境，本领域技术人员可以根据具体情况进行选择。
在步骤S104中，根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，特征点的描述信息包括特征点的方向信息。
如果仍然将各路摄像头进行分开显示，监控人员仍然无法直观地获得当前的情况。例如，当一个行人从摄像头A的拍摄的画面中消失、并进入摄像头B的拍摄范围时，通过分离的监控画面很难迅速地获知行人的移动方向。因此，本发明的实施例将各路视频进行拼接，获得全景视频，以能够更直观地监控到车辆周围的画面。
全景视频拼接的主要过程如下：首先提取每个摄像头在同一时刻采集的视频图像，并检测并选择视频图像中的特征点；然后对特征点进行描述；再基于特征点描述进行匹配，基于特征点匹配的结果进行视频图像的拼接；最后基于拼接后的各个时刻对应的全景视频图像生成全景视频，或者将各帧全景视频图像连续输出、形成全景视频。
发明人经过分析后发现，不同于普通的图像拼接，本发明应用场景中的图像都是由朝向不同方向的摄像头拍摄的，因此不同摄像头采集的图像角度差异较大。本发明实施例的方法能够在拼接时考虑特征点的方向信息，使得拼接效果更好。
在步骤S106中，基于多个全景图像生成全景视频。
在步骤S108中，将全景视频输出给显示设备进行显示。
在一些实施例中，上述实施例的方法可以由车端的设备实现，而显示全景画面的操作则在云端实现。这样可以由各个车端设备进行各自的全景视频拼接操作，经压缩后传输给云端进行显示，从而可以将图像拼接计算任务分布到各个车辆的计算系统中，提高了计算效率，也降低了网络负担和云端设备的负担。根据需要，上述实施例的方法也可以由云端的设备实现。从而可以对无人车等车辆进行云端监控。
上述实施例的方法通过将多个具有不同拍摄方向的摄像头采集的画面进行拼接、生成全景视频，可以减少监控死角，并且提供的监控画面更直观、完整，方便了监控人员及时发现问题，提高了车辆驾驶过程中的安全性。
下面参考图2描述本发明视频图像拼接方法的实施例。
图2为根据本发明一些实施例的视频图像拼接方法的示例性流程图。如图2所示，该实施例的视频图像拼接方法包括步骤S202～S212。
在步骤S202中，提取每个摄像头在同一时刻采集的视频图像。
例如，提取每个摄像头在同一帧采集的视频图像。为了消除噪声对图像拼接过程的影响，可以使用高斯核平滑滤波器对图像进行预处理，以获得更好的拼接效果。
在步骤S204中，根据视频图像中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
在一些实施例中，可以根据FAST-9(Features from Accelerated Segment Test9，加速段测试特征-9)算法检测视频图像中的特征点，并选择检测到的特征点。
传统的FAST算法的计算效率较高，但是其没有将多尺度引入到特征点检测中。由于不同摄像头放置位置的影响，位于拍摄画面边缘的同一物体在不同的摄像头中很可能大小不同。为了使得拼接后的画面中各个物体具有合适的比例，本发明的一些实施例采用FAST-9算法，使得角点检测子具有尺度不变性。
选择的特征点可以是采用FAST-9算法检测到的部分或全部特征点。在一些实施例中，可以采用Harris(哈里斯)角点检测算法来对FAST-9算法检测到的特征点进行排序，并选择前预设数量个特征点。
在步骤S206中，计算特征点的方向。
在一些实施例中，可以选择Internsity Centroid(强度中心)算法来计算特征点的方向。例如，可以在特征点周围选取一个半径为预设值r的圆形区域，并从圆形区域中选取邻域像素对(x,y)，并且x,y∈[r,-r]。则图像中一小块区域图像I(x,y)定义阶矩如公式(1)所示。
角点特征点所在小块区域的质心坐标C的计算方式可以参考公式(2)所示。
继而可以根据公式(3)计算出质心方向，即特征点的方向。
在步骤S208中，在特征点所在的图像邻域内选择多对像素点，并根据每对像素点之间的灰度关系以及特征点的方向生成特征点的描述信息。
BRIEF(简明)特征描述子可以用于描述特征点，是一种快速的、存储量小的局部图像特征描述子。然而，传统的BRIEF描述子不具备旋转不变性。因此，在本发明的一些实施例中，还可以将前述步骤计算得出的特征点的方向与BRIEF描述子进行结合，来增强特征点的旋转不变性。
在一些实施例中，可以在特征点周围选取n对像素点对，以通过这些选取的像素点对构建二进制流的向量。对于任意特征点，可以构建相应的矩阵S，如公式(4)所示。
然后，可以根据特征点及特征点周围邻域构成的图像小块的方向θ以及对应的旋转矩阵Rθ,计算出Sθ，如公式(5)所示。
Sθ＝RθS (5)
从而可以得到如公式(6)所示的特征描述子，其中，p表示特征点。
在步骤S210中，根据不同的视频图像的特征点描述信息进行特征点匹配。
特征点匹配是在2个视频图像分别对应的特征点集中搜索距离最近的特征点的过程。在特征点匹配的过程中，可以利用欧氏距离作为衡量特征点相似性的标准。例如，当特征描述子是采用二进制串来表示时，可以采用汉明距离作为描述子之间的距离，从而可以通过异或操作进行计算，减少了计算量、提高了计算效率。
一些实施例可以采用近似最近邻搜索算法搜索特征点以加快图像配准的速度；一些实施例也可以使用最近邻、次近邻比率法以提高图像的匹配精度。
例如，从待拼接的视频图像I1和I2中分别检测到的特征描述子向量集合为V1和V2，则特征向量集合V1中的任意一个向量V1i和V2中的任意一个向量V2j之间的汉明距离为dh(V1i,V2j)，如公式(7)所示。
V1＝[V11,V12,…V1i,…]；V1i＝x0,x1…；
V2＝[V21,V22,…V2j,…]；V2j＝y0,y1…；
根据公式(7)可以计算出V1和V2中汉明距离dh(V1i,V2j)最小的点和次小的点的比值。当该比值小于阈值时，说明距离最小的点更有可能是真实的匹配点，则接受这一对匹配点。
为了提高匹配的成功率，在一些实施例中还可以消除错误匹配的特征点对，例如可以使用随机采样一致性(Random Sample Consensus，简称：RANSAC)算法计算出特征点集合满足的模型，再通过些模型验证各个特征点对以去除不符合条件的匹配的特征点。
在步骤S212中，基于特征点匹配的结果进行视频图像的拼接，生成全景图像。
在一些实施例中，为了避免在重叠区域内出现重影现象，使拼接区域更平滑明、消除拼接缝，可以在视频图像拼接完成后使用加权平滑法。
在一些实施例中，可以对视频图像进行仿射变换，使得匹配的特征点重合；然后，将不同视频图像的重合区域中，同一位置的图像块的像素值的加权和作为拼接后的图像中相应位置的像素值。公式(8)是一种示例性的计算方法。
其中，I1(x,y)表示进行仿射变换后的第1幅视频图像，I2(x,y)表示仿射变换后的第2幅视频图像；R3＝I1∩I2，R1＝I1-R3，R2＝I2-R3；σ为加权系数，即两幅视频图像重叠区域宽度的倒数。
在一些实施例中，可以采用多个线程同时处理色块中的多个像素点的颜色。首先，将拼接的视频图像划分为多个具有预设尺寸的色块；然后，采用加权平滑法并行地调整色块中每一个像素点的颜色。例如，在使用加权平滑法调整色块颜色时，算法的核心函数可以执行在(imagW+16-1)/16或者(imagH+16-1)/16个块(block)上，每个block上划分多个线程，例如划分16*16个线程，其中，imagW和imagH分别为拼接后的图像的宽和高。从而，每个线程可以处理一个或多个像素的加权平滑公式，并且多个线程同步执行，提高了融合算法的执行速度。
通过上述实施例的方法，可以使最终配准的视频图像不受尺度变化和旋转变化的影响，从而提高了视频图像拼接的准确性。
本发明的一些实施例还可以在根据当前帧的不同的视频图像的特征点描述信息进行特征点匹配的同时，基于上一帧的特征点匹配的结果进行上一帧的视频图像的拼接，以提高计算效率。下面参考图3描述本发明视频图像拼接方法的实施例。
图3为根据本发明另一些实施例的视频图像拼接方法的示例性流程图。如图3所示，该实施例的视频图像拼接方法包括步骤S302～S306。
在步骤S302中，提取每个摄像头在第i帧采集的视频图像。
在步骤S304中，根据第i帧采集的视频图像的特征点描述信息进行特征点匹配，同时基于第i-1帧的特征点匹配的结果进行第i-1帧的视频图像的拼接。
在步骤S306中，更新i的值为i+1，并回到步骤S302。
通过上述实施例的方法，可以在进行图像配准的同时进行上一时刻的、已配准图像的融合操作，从而满足了视频图像实时拼接的需求，提高了处理效率，更有利于监控人员及时发现问题。
本发明的一些应用场景是实时监控，因此本发明还可以在图像拼接的过程中进行一些处理、以提升拼接效率。下面分别参考图4和图5描述本发明的特征点检测方法。
图4为根据本发明一些实施例的特征点检测方法的示例性流程图。如图4所示，该实施例的特征点检测方法包括步骤S402～S406。
在步骤S402中，记录每个摄像头拍摄的已处理的视频图像中特征点的分布位置。
以处理的视频图像是指已经完成拼接的视频图像。特征点的分布位置例如可以为特征点在视频图像中的坐标。在一些实施例中，可以取最近的预设时长内所拍摄的视频图像，这些视频图像和待处理的视频图像的相似度较高，因此匹配结果会更准确。
在步骤S404中，根据所述特征点的分布位置确定每个摄像头对应的特征点分布区域。
例如，可以根据特征点所在位置生成矩形或其他图形的区域，使得特征点都位于生成的区域内，并且特征点与区域边缘的最近距离小于预设值。
在步骤S406中，根据相应摄像头拍摄的视频图像的特征点分布区域中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
从而，可以仅在历史上特征点曾经出现的区域检测特征点，缩小了特征点检测的范围，提高了图像拼接的处理效率。
图5为根据本发明另一些实施例的特征点检测方法的示例性流程图。如图5所示，该实施例的特征点检测方法包括步骤S502～S506。
在步骤S502中，响应于待拼接的视频图像不是关键帧，根据同一摄像头拍摄的最邻近的关键帧中特征点所在位置确定待拼接的视频图像的特征点搜索区域。
在步骤S504中，在特征点搜索区域中检测特征点，生成特征点描述信息。
非关键帧和关键帧不一定是完全相同的，但是一般非关键帧中的物体相较于关键帧仅有非常微小的位移。因此，可以仅在关键帧的特征点的同一位置的周围搜索待处理图像的特征点。
在步骤S506中，根据特征点描述信息进行特征点匹配，生成全景图像。
从而，可以根据关键帧中的特征点所在位置确定特征点搜索区域，并在特征点搜索区域中检测特征点，缩小了特征点检测的范围，提高了图像拼接的处理效率。
本发明提供的车辆监控方法还可以提供友好的交互。例如，在监控人员通过显示设备进行监控的过程中，全景视频和输入的视角所对应的摄像头采集的视频可以输出给显示设备，显示设备同时显示全景视频和输入的视角对应的视频。在显示全景视频时，监控人员可以获得车辆周围情况的全貌，但同时会由于拼接过程中的裁剪等原因导致全景视频的显示范围以外的区域有障碍物存在、而未被监控人员观察到，或者由于显示范围有限、造成全景视频中的某些细节不显著。因此，在一些实施例中，可以通过部分显示屏将车辆单侧的画面显示出来，以拓展视野显示范围、放大细节。从而，监控人员可以在通过全景视频进行监控的同时，还能够监控选择的视角、以获得更多细节。
图6为本发明一些实施例中显示设备的监控界面示意图。如图6所示，监控界面的右侧为将车辆上分别朝向前、后、左、右四个方向的摄像头采集的视频进行拼接后生成的全景视频。响应于监控人员选择了左摄像头视角，位于监控界面左侧的用于显示单个镜头拍摄内容的区域会将左摄像头拍摄的画面直接显示出来。在该实施例中，由阴影填充的障碍物由于处在摄像头拍摄范围边缘，因此在生成全景视频的过程中可能被裁剪掉而无法显示，但显示单独镜头拍摄内容的区域会将这一障碍物显示出来，从而使监控人员既能够监控全局情况、也能够注意到拍摄细节。
此外，本发明一些实施例的方法还可以向车辆发送驾驶控制指令，例如方向、档位、油门、制动等指令，以在紧急情况下控制车辆。本发明另一些实施例的方法还可以向车辆上的一个或多个摄像头发送拍摄控制指令，例如控制摄像头旋转、位移、调整拍摄参数等等，从而可以根据需要对获取的画面进行调整，以获得更好的监控效果。
在采集车辆上的摄像头拍摄的视频画面后，根据需要，可以将这些视频记录在云端，从而可以记录车辆周围的状况。
下面参考图7描述本发明实施例的车辆监控系统的实施例。
图7为根据本发明一些实施例的车辆监控系统的示例性结构图。如图7所示，该实施例的车辆监控系统70包括车辆监控装置710和多个摄像头720。多个摄像头720放置在车辆上、并且具有不同的拍摄方向，在拍摄视频后将视频发送给车辆监控装置710进行处理。
下面参考图8描述本发明实施例的车辆监控装置的实施例。
图8为根据本发明一些实施例的车辆监控装置的示例性结构图。如图8所示，该实施例的车辆监控装置800包括：视频获取模块8010，被配置为获取车辆上的多个摄像头采集的视频，其中，多个摄像头的拍摄区域不同；全景图像拼接模块8020，被配置为根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，所述特征点的描述信息包括特征点的方向信息；全景视频生成模块8030，被配置为基于多个全景图像生成全景视频；视频输出模块8040，被配置为将全景视频输出给显示设备进行显示。
在一些实施例中，全景图像拼接模块8020可以进一步被配置为提取每个摄像头在同一时刻采集的视频图像；根据视频图像中每个待测像素点与待测像素点周围的像素点的灰度差值检测待测像素点中的特征点；计算特征点的方向；在特征点所在的图像邻域内选择多对像素点，并根据每对像素点之间的灰度关系以及特征点的方向生成特征点的描述信息；根据不同的视频图像的特征点描述信息进行特征点匹配；基于特征点匹配的结果进行视频图像的拼接，生成全景图像。
在一些实施例中，全景图像拼接模块8020还可以进一步被配置为对视频图像进行仿射变换，使得匹配的特征点重合；将不同视频图像的重合区域中，同一位置的图像块的像素值的加权和作为拼接后的图像中相应位置的像素值。
在一些实施例中，全景图像拼接模块8020可以进一步被配置为在根据当前帧的不同的视频图像的特征点描述信息进行特征点匹配的同时，基于上一帧的特征点匹配的结果进行上一帧的视频图像的拼接。
在一些实施例中，车辆监控装置800还可以包括：区域确定模块8050，被配置为记录每个摄像头拍摄的已处理的视频图像中特征点的分布位置；根据所述特征点的分布位置确定每个摄像头对应的特征点分布区域，以便根据相应摄像头拍摄的视频图像的特征点分布区域中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
在一些实施例中，全景图像拼接模块8020可以进一步被配置为响应于待拼接的视频图像不是关键帧，根据同一摄像头拍摄的最邻近的关键帧中特征点所在位置确定待拼接的视频图像的特征点搜索区域；在所述特征点搜索区域中检测特征点，生成特征点描述信息；根据所述特征点描述信息进行特征点匹配，生成全景图像。
在一些实施例中，车辆监控装置800还可以包括：颜色调整模块8060，被配置为将拼接的视频图像划分为多个具有预设尺寸的色块；采用加权平滑法并行地调整色块中每一个像素点的颜色。
在一些实施例中，视频输出模块8040可以进一步被配置为将全景视频和输入的视角所对应的摄像头采集的视频输出给显示设备，以便显示设备同时显示全景视频和输入的视角对应的视频。
在一些实施例中，车辆监控装置800还可以包括：指令发送模块8070，被配置为接收云端发送的拍摄控制指令，并向车辆上的一个或多个摄像头发送拍摄控制指令；和/或，接收云端发送的驾驶控制指令，并向车辆发送驾驶控制指令。
下面参考图9描述本发明实施例的摄像头的实施例。
图9为根据本发明一些实施例的摄像头内部电路框架的示例性结构图。如图9所示，在实施例的摄像头内部电路框架900中，电源输入到后备保护装置(ReserveProtection)9010中以进行反向电压保护，后备保护装置9010与电磁兼容滤波器(EMCFilter，EMC的全称为ElectroMagnetic Compatibility)9020连接以进行电源防干扰，电磁兼容滤波器9020与DC-DC转换器(DC的全称为Direct Current，表示直流电源)9030连接以进行电压转换，例如摄像头可以由终端控制器供给12V的电压，DC-DC转换器9030可以将电压转换为3V以输入给其他设备。DC-DC转换器9030将转换后的电压供给图像传感器(ImageSensor)9040和视频放大器(Video Amplifier)9050，其中，图像传感器9040可以与晶体(Crystal)9060和EEPROM(Electrically Erasable Programmable read only memory，电可擦可编程只读存储器)9070连接。视频经视频放大器9050放大后输出给车辆监控装置。
图10为根据本发明另一些实施例的车辆监控系统的示例性结构图。如图10所示，在该实施例的系统100中，全车监视系统集成芯片(Around View Monitoring IntegratedCircuit，简称：AVM IC)1010通过视频解码器(Video Decoder)1020接收多个摄像头采集的多路视频图像，并对各路视频进行拼接处理，然后将处理后的全景视频通过视频编码器(Video Encoder)1030输出给显示设备。全车监视系统集成芯片1010还与DDR RAM(DoubleData Rate Random-Access Memory，双倍速率同步动态随机存储器)1040以及闪存(FlashMemory)1050连接，以便存储视频文件。全车监视系统集成芯片1010还与车辆中的微控制单元(Microcontroller Unit，简称：MCU)1060通信连接，微控制单元1060与控制器局域网络收发器(CAN Transceiver，CAN的全称为Controller Area Network)1070连接，控制器局域网络收发器1070与车辆的CAN总线连接。从而，全车监视系统集成芯片1010可以接收云端下发的控制指令，并向车辆中的微控制单元1060下发控制指令，微控制单元1060可以通过控制器局域网络收发器1070和CAN总线将指令传递给车辆中相应的执行机构。
图11为根据本发明另一些实施例的车辆监控装置的示例性结构图。如图11所示，该实施例的车辆监控装置1100包括：存储器1110以及耦接至该存储器1110的处理器1120，处理器1120被配置为基于存储在存储器1110中的指令，执行前述任意一个实施例中的车辆监控方法。
其中，存储器1110例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图12为根据本发明又一些实施例的车辆监控装置的示例性结构图。如图12所示，该实施例的车辆监控装置1200包括：存储器1212以及处理器1220，还可以包括输入输出接口1230、网络接口1240、存储接口1250等。这些接口1230，1240，1250以及存储器1212和处理器1220之间例如可以通过总线1260连接。其中，输入输出接口1230为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口1240为各种联网设备提供连接接口。存储接口1250为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种车辆监控方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (22)
1.一种车辆监控方法，包括：
获取车辆上的多个摄像头采集的视频，其中，所述多个摄像头的拍摄区域不同；
根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，所述特征点的描述信息包括特征点的方向信息；
基于多个全景图像生成全景视频；
将所述全景视频输出给显示设备进行显示。
2.根据权利要求1所述的车辆监控方法，其中，所述根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像包括：
提取每个摄像头在同一时刻采集的视频图像；
根据视频图像中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点；
计算特征点的方向；
在特征点所在的图像邻域内选择多对像素点，并根据每对像素点之间的灰度关系以及特征点的方向生成特征点的描述信息；
根据不同的视频图像的特征点描述信息进行特征点匹配；
基于特征点匹配的结果进行视频图像的拼接，生成全景图像。
3.根据权利要求2所述的车辆监控方法，其中，所述基于特征点匹配的结果进行视频图像的拼接包括：
对视频图像进行仿射变换，使得匹配的特征点重合；
将不同视频图像的重合区域中，同一位置的图像块的像素值的加权和作为拼接后的图像中相应位置的像素值。
4.根据权利要求2所述的车辆监控方法，其中，
在根据当前帧的不同的视频图像的特征点描述信息进行特征点匹配的同时，基于上一帧的特征点匹配的结果进行上一帧的视频图像的拼接。
5.根据权利要求1所述的车辆监控方法，还包括：
记录每个摄像头拍摄的已处理的视频图像中特征点的分布位置；
根据所述特征点的分布位置确定每个摄像头对应的特征点分布区域，以便根据相应摄像头拍摄的视频图像的特征点分布区域中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
6.根据权利要求1所述的车辆监控方法，其中，
响应于待拼接的视频图像不是关键帧，根据同一摄像头拍摄的最邻近的关键帧中特征点所在位置确定待拼接的视频图像的特征点搜索区域；
在所述特征点搜索区域中检测特征点，生成特征点描述信息；
根据所述特征点描述信息进行特征点匹配，生成全景图像。
7.根据权利要求1所述的车辆监控方法，还包括：
将全景图像划分为多个具有预设尺寸的色块；
采用加权平滑法并行地调整色块中每一个像素点的颜色。
8.根据权利要求1～7中任一项所述的车辆监控方法，其中，所述将所述全景视频输出给显示设备进行显示包括：
将全景视频和输入的视角所对应的摄像头采集的视频输出给显示设备，以便所述显示设备同时显示全景视频和输入的视角对应的视频。
9.根据权利要求1～7中任一项所述的车辆监控方法，还包括：
接收云端发送的拍摄控制指令，并向车辆上的一个或多个摄像头发送所述拍摄控制指令；和/或，
接收云端发送的驾驶控制指令，并向车辆发送所述驾驶控制指令。
10.一种车辆监控装置，包括：
视频获取模块，被配置为获取车辆上的多个摄像头采集的视频，其中，所述多个摄像头的拍摄区域不同；
全景图像拼接模块，被配置为根据每个摄像头在同一时刻采集的每个视频图像的特征点描述信息进行特征点匹配，生成全景图像，其中，所述特征点的描述信息包括特征点的方向信息；
全景视频生成模块，被配置为基于多个全景图像生成全景视频；
视频输出模块，被配置为将所述全景视频输出给显示设备进行显示。
11.根据权利要求10所述的车辆监控装置，其中，所述全景图像拼接模块进一步被配置为提取每个摄像头在同一时刻采集的视频图像；根据视频图像中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点；计算特征点的方向；在特征点所在的图像邻域内选择多对像素点，并根据每对像素点之间的灰度关系以及特征点的方向生成特征点的描述信息；根据不同的视频图像的特征点描述信息进行特征点匹配；基于特征点匹配的结果进行视频图像的拼接，生成全景图像。
12.根据权利要求11所述的车辆监控装置，其中，所述全景图像拼接模块进一步被配置为对视频图像进行仿射变换，使得匹配的特征点重合；将不同视频图像的重合区域中，同一位置的图像块的像素值的加权和作为拼接后的图像中相应位置的像素值。
13.根据权利要求11所述的车辆监控装置，其中，所述全景图像拼接模块进一步被配置为在根据当前帧的不同的视频图像的特征点描述信息进行特征点匹配的同时，基于上一帧的特征点匹配的结果进行上一帧的视频图像的拼接。
14.根据权利要求10所述的车辆监控装置，还包括：
区域确定模块，被配置为记录每个摄像头拍摄的已处理的视频图像中特征点的分布位置；根据所述特征点的分布位置确定每个摄像头对应的特征点分布区域，以便根据相应摄像头拍摄的视频图像的特征点分布区域中每个待测像素点与所述待测像素点周围的像素点的灰度差值检测待测像素点中的特征点。
15.根据权利要求10所述的车辆监控装置，其中，所述全景图像拼接模块进一步被配置为响应于待拼接的视频图像不是关键帧，根据同一摄像头拍摄的最邻近的关键帧中特征点所在位置确定待拼接的视频图像的特征点搜索区域；在所述特征点搜索区域中检测特征点，生成特征点描述信息；根据所述特征点描述信息进行特征点匹配，生成全景图像。
16.根据权利要求10所述的车辆监控装置，还包括：
颜色调整模块，被配置为将全景图像划分为多个具有预设尺寸的色块；采用加权平滑法并行地调整色块中每一个像素点的颜色。
17.根据权利要求10～16中任一项所述的车辆监控装置，其中，所述视频输出模块进一步被配置为将全景视频和输入的视角所对应的摄像头采集的视频输出给显示设备，以便所述显示设备同时显示全景视频和输入的视角对应的视频。
18.根据权利要求10～16中任一项所述的车辆监控装置，还包括：
指令发送模块，被配置为接收云端发送的拍摄控制指令，并向车辆上的一个或多个摄像头发送所述拍摄控制指令；和/或，接收云端发送的驾驶控制指令，并向车辆发送所述驾驶控制指令。
19.一种车辆监控系统，包括：
权利要求10～18中任一项所述的车辆监控装置，和
多个摄像头，所述多个摄像头被配置为放置在车辆上、并且具有不同的拍摄方向。
20.根据权利要求19所述的车辆监控系统，
其中，所述车辆监控装置位于车辆中；
所述车辆监控系统还包括：显示设备，位于云端，被配置为显示所述车辆监控装置输出的全景视频。
21.一种车辆监控装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～9中任一项所述的车辆监控方法。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～9中任一项所述的车辆监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810282728.6A CN108495089A (zh) | 2018-04-02 | 2018-04-02 | 车辆监控方法、装置、系统以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810282728.6A CN108495089A (zh) | 2018-04-02 | 2018-04-02 | 车辆监控方法、装置、系统以及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108495089A true CN108495089A (zh) | 2018-09-04 |
Family
ID=63318090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810282728.6A Pending CN108495089A (zh) | 2018-04-02 | 2018-04-02 | 车辆监控方法、装置、系统以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108495089A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109624853A (zh) * | 2018-12-12 | 2019-04-16 | 北京汽车集团有限公司 | 扩展车辆视角的方法和装置 |
| CN110139065A (zh) * | 2019-01-30 | 2019-08-16 | 北京车和家信息技术有限公司 | 视频处理方法、视频播放方法及相关设备 |
| CN110851652A (zh) * | 2019-11-29 | 2020-02-28 | 京东方科技集团股份有限公司 | 一种辅助查看行车记录视频的方法及装置 |
| CN111860040A (zh) * | 2019-04-26 | 2020-10-30 | 广州赛姆科技资讯股份有限公司 | 站场信号设备状态获取方法、装置和计算机设备 |
| CN112019752A (zh) * | 2020-09-11 | 2020-12-01 | 三一汽车起重机械有限公司 | 一种全景监控方法、全景监控系统及起重机 |
| CN112580391A (zh) * | 2019-09-27 | 2021-03-30 | 北汽福田汽车股份有限公司 | 图像处理方法和装置、存储介质、电子设备 |
| CN112954291A (zh) * | 2021-01-22 | 2021-06-11 | 领悦数字信息技术有限公司 | 处理车辆的3d全景图像或视频的方法、装置及存储介质 |
| CN113008252A (zh) * | 2021-04-15 | 2021-06-22 | 西华大学 | 基于全景照片的高精度导航装置及导航方法 |
| CN113055658A (zh) * | 2021-04-25 | 2021-06-29 | 广州大广高速公路有限公司 | 一种基于全景拼接技术的隧道危化品车辆识别方法及系统 |
| CN113112448A (zh) * | 2021-02-25 | 2021-07-13 | 惠州华阳通用电子有限公司 | 一种显示画面检测方法及存储介质 |
| CN114051130A (zh) * | 2021-10-13 | 2022-02-15 | 北京天玛智控科技股份有限公司 | 基于vr的全景视频监控系统 |
| CN114202660A (zh) * | 2022-02-21 | 2022-03-18 | 广东建科交通工程质量检测中心有限公司 | 一种基于边云桥梁检测的远程分布式控制方法及系统 |
| CN114697501A (zh) * | 2022-03-23 | 2022-07-01 | 南京云创大数据科技股份有限公司 | 一种基于时间的监控摄像头图像处理方法和系统 |
| CN115695698A (zh) * | 2022-10-29 | 2023-02-03 | 重庆长安汽车股份有限公司 | 一种行车信息存储的处理方法、系统、设备及介质 |
| WO2023185347A1 (zh) * | 2022-03-29 | 2023-10-05 | 湖南国科微电子股份有限公司 | 一种视频数据的处理方法、装置及计算机设备 |
| CN117425000A (zh) * | 2023-10-31 | 2024-01-19 | 清研灵智信息咨询(北京)有限公司 | 基于全景摄像的沉浸式视频巡检监测系统 |
| CN117425000B (zh) * | 2023-10-31 | 2024-04-26 | 清研灵智信息咨询(北京)有限公司 | 基于全景摄像的沉浸式视频巡检监测系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| CN202534136U (zh) * | 2012-01-11 | 2012-11-14 | 长安大学 | 一种基于3g网络的压路机远程监测控制系统 |
| CN104167003A (zh) * | 2014-08-29 | 2014-11-26 | 福州大学 | 一种遥感影像的快速配准方法 |
| CN104268602A (zh) * | 2014-10-14 | 2015-01-07 | 大连理工大学 | 一种基于二进制特征匹配的遮挡工件识别方法及装置 |
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN104766468A (zh) * | 2014-04-06 | 2015-07-08 | 刘晓 | 超级智能远程操控交通系统 |
| CN105354796A (zh) * | 2015-10-12 | 2016-02-24 | 北京鑫洋泉电子科技有限公司 | 用于行车辅助的图像处理方法及系统 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| US9503638B1 (en) * | 2013-02-04 | 2016-11-22 | UtopiaCompression Corporation | High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint |
| CN107529041A (zh) * | 2017-09-30 | 2017-12-29 | 江西洪都航空工业集团有限责任公司 | 一种用于无人农用车的远程监控方法 |
-
2018
- 2018-04-02 CN CN201810282728.6A patent/CN108495089A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| CN202534136U (zh) * | 2012-01-11 | 2012-11-14 | 长安大学 | 一种基于3g网络的压路机远程监测控制系统 |
| US9503638B1 (en) * | 2013-02-04 | 2016-11-22 | UtopiaCompression Corporation | High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint |
| CN104766468A (zh) * | 2014-04-06 | 2015-07-08 | 刘晓 | 超级智能远程操控交通系统 |
| CN104167003A (zh) * | 2014-08-29 | 2014-11-26 | 福州大学 | 一种遥感影像的快速配准方法 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN104268602A (zh) * | 2014-10-14 | 2015-01-07 | 大连理工大学 | 一种基于二进制特征匹配的遮挡工件识别方法及装置 |
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN105354796A (zh) * | 2015-10-12 | 2016-02-24 | 北京鑫洋泉电子科技有限公司 | 用于行车辅助的图像处理方法及系统 |
| CN107529041A (zh) * | 2017-09-30 | 2017-12-29 | 江西洪都航空工业集团有限责任公司 | 一种用于无人农用车的远程监控方法 |
Non-Patent Citations (3)
| Title |
|---|
| EI1994: "opencv学习——ORB(Oriented FAST and Rotated BRIEF)", 《URL：HTTPS://BLOG.CSDN.NET/EI1990/ARTICLE/DETAILS/78313548》 * |
| ETHAN RUBLEE: "ORB: an efficient alternative to SIFT or SURF", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| VIVIAN187: "ORB特征", 《URL：HTTPS://BLOG.CSDN.NET/VIVIAN187/ARTICLE/DETAILS/51880608》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109624853A (zh) * | 2018-12-12 | 2019-04-16 | 北京汽车集团有限公司 | 扩展车辆视角的方法和装置 |
| CN110139065A (zh) * | 2019-01-30 | 2019-08-16 | 北京车和家信息技术有限公司 | 视频处理方法、视频播放方法及相关设备 |
| CN111860040A (zh) * | 2019-04-26 | 2020-10-30 | 广州赛姆科技资讯股份有限公司 | 站场信号设备状态获取方法、装置和计算机设备 |
| CN112580391A (zh) * | 2019-09-27 | 2021-03-30 | 北汽福田汽车股份有限公司 | 图像处理方法和装置、存储介质、电子设备 |
| CN110851652A (zh) * | 2019-11-29 | 2020-02-28 | 京东方科技集团股份有限公司 | 一种辅助查看行车记录视频的方法及装置 |
| CN112019752A (zh) * | 2020-09-11 | 2020-12-01 | 三一汽车起重机械有限公司 | 一种全景监控方法、全景监控系统及起重机 |
| CN112954291B (zh) * | 2021-01-22 | 2023-06-20 | 领悦数字信息技术有限公司 | 处理车辆的3d全景图像或视频的方法、装置及存储介质 |
| CN112954291A (zh) * | 2021-01-22 | 2021-06-11 | 领悦数字信息技术有限公司 | 处理车辆的3d全景图像或视频的方法、装置及存储介质 |
| CN113112448A (zh) * | 2021-02-25 | 2021-07-13 | 惠州华阳通用电子有限公司 | 一种显示画面检测方法及存储介质 |
| CN113008252A (zh) * | 2021-04-15 | 2021-06-22 | 西华大学 | 基于全景照片的高精度导航装置及导航方法 |
| CN113008252B (zh) * | 2021-04-15 | 2023-08-22 | 东莞市异领电子有限公司 | 基于全景照片的高精度导航装置及导航方法 |
| CN113055658A (zh) * | 2021-04-25 | 2021-06-29 | 广州大广高速公路有限公司 | 一种基于全景拼接技术的隧道危化品车辆识别方法及系统 |
| CN114051130A (zh) * | 2021-10-13 | 2022-02-15 | 北京天玛智控科技股份有限公司 | 基于vr的全景视频监控系统 |
| CN114202660B (zh) * | 2022-02-21 | 2022-12-30 | 广东建科交通工程质量检测中心有限公司 | 一种基于边云桥梁检测的远程分布式控制方法及系统 |
| CN114202660A (zh) * | 2022-02-21 | 2022-03-18 | 广东建科交通工程质量检测中心有限公司 | 一种基于边云桥梁检测的远程分布式控制方法及系统 |
| CN114697501A (zh) * | 2022-03-23 | 2022-07-01 | 南京云创大数据科技股份有限公司 | 一种基于时间的监控摄像头图像处理方法和系统 |
| CN114697501B (zh) * | 2022-03-23 | 2023-08-11 | 南京云创大数据科技股份有限公司 | 一种基于时间的监控摄像头图像处理方法和系统 |
| WO2023185347A1 (zh) * | 2022-03-29 | 2023-10-05 | 湖南国科微电子股份有限公司 | 一种视频数据的处理方法、装置及计算机设备 |
| CN115695698A (zh) * | 2022-10-29 | 2023-02-03 | 重庆长安汽车股份有限公司 | 一种行车信息存储的处理方法、系统、设备及介质 |
| CN117425000A (zh) * | 2023-10-31 | 2024-01-19 | 清研灵智信息咨询(北京)有限公司 | 基于全景摄像的沉浸式视频巡检监测系统 |
| CN117425000B (zh) * | 2023-10-31 | 2024-04-26 | 清研灵智信息咨询(北京)有限公司 | 基于全景摄像的沉浸式视频巡检监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108495089A (zh) | 车辆监控方法、装置、系统以及计算机可读存储介质 | |
| CN103358993B (zh) | 用于识别车辆停车位线标记的系统和方法 | |
| US9129435B2 (en) | Method for creating 3-D models by stitching multiple partial 3-D models | |
| CN108961327A (zh) | 一种单目深度估计方法及其装置、设备和存储介质 | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| JP2021089724A (ja) | 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け | |
| CN102774325A (zh) | 一种后视倒车辅助系统和形成后视障碍图像的方法 | |
| US9396553B2 (en) | Vehicle dimension estimation from vehicle images | |
| CN111833447A (zh) | 三维地图构建方法、三维地图构建装置及终端设备 | |
| CN109579868A (zh) | 车外目标定位方法、装置及汽车 | |
| JP2011134012A (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| US20230394832A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| CN109829401A (zh) | 基于双拍摄设备的交通标志识别方法及装置 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN116760937A (zh) | 一种基于多机位的视频拼接方法、装置、设备及存储介质 | |
| Grzeszczuk et al. | Creating compact architectural models by geo-registering image collections | |
| KR20210030751A (ko) | 주차공간의 탑뷰 이미지 제공 장치 및 그 방법 | |
| US20230386231A1 (en) | Method for detecting three-dimensional objects in relation to autonomous driving and electronic device | |
| CN113312979B (zh) | 图像处理方法、装置、电子设备、路侧设备及云控平台 | |
| CN115294234B (zh) | 图像的生成方法、装置、电子设备和存储介质 | |
| TWI798098B (zh) | 三維目標檢測方法、電子設備及計算機可讀存儲媒體 | |
| WO2024087917A1 (zh) | 位姿确定方法及装置、计算机可读存储介质和电子设备 | |
| WO2024087927A1 (zh) | 位姿确定方法及装置、计算机可读存储介质和电子设备 | |
| CN116883870A (zh) | 一种基于深度学习的无人机落石目标检测方法及装置 | |
| He et al. | Lane Detection and Tracking through Affine Rectification. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180904 |