CN113077503B - 盲区视频数据生成方法、系统、设备和计算机可读介质 - Google Patents

Abstract

本申请提供了一种盲区视频数据生成方法、系统、设备和计算机可读介质。该方法包括：获取场景视频数据以及场景视频数据和盲区之间的映射关系；基于场景视频数据检测场景中的目标区域；根据每个目标区域的深度信息构建物平面，判断遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠，若有重叠则计算遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P，选择P*N数量的点作为盲区的计算点，基于所有计算点计算盲区平面方程；基于盲区平面方程、场景视频数据和映射关系计算场景视频数据映射到盲区视频数据。该方法能够用较低算力和简单摄像设备得到盲区视频数据。

Description

盲区视频数据生成方法、系统、设备和计算机可读介质

技术领域

本申请主要涉及图像处理领域，尤其涉及一种盲区视频数据生成方法、系统、设备和计算机可读介质。

背景技术

在汽车领域中，汽车的A柱所形成的视觉盲区成为汽车事故的最大安全隐患。但A柱在车身结构上又是不可缺少的部件，起着保护车内人员安全的重要作用。驾驶员的视线被遮挡，容易造成交通事故。现有技术中解决汽车遮挡的方案是“透明A柱”，即用双摄像头抓拍车外场景，获取车外的三维空间信息，然后通过视角转换，把A柱盲区对应的图像显示在贴合A柱的显示器上供驾驶员查看。

现有技术需要使用双摄像头，对摄像头结构的稳定性和产品的一致性要求比较高，并且成本比较高，量产化难度大。由于汽车行驶时速度可能较快，摄像头拍摄的相邻图像之间可能没有公共视野区域，无法用传统的获取车外场景的深度信息的SFM(Structure-Form-Motion)方案来计算深度信息。

因此，如何用较低的算力和简单的摄像设备得到盲区视频数据是本领域技术人员亟需解决的问题。

发明内容

本申请要解决的技术问题是提供一种盲区视频数据生成方法、系统、设备和计算机可读介质，能够用较低的算力和简单的摄像设备得到盲区视频数据。

为解决上述技术问题，本申请提供了一种盲区视频数据生成方法，包括：获取摄像头拍摄的场景视频数据以及所述场景视频数据和盲区之间的映射关系，其中所述摄像头位于遮挡物和场景之间并且用于拍摄与所述遮挡物相对应的盲区；基于所述场景视频数据检测所述场景中的目标区域；当所述场景中有多个目标区域时，计算每个目标区域的深度信息，根据每个目标区域的深度信息构建每个目标区域的物平面，计算所述遮挡物在每个目标区域的物平面上的投影，并分别判断所述遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠，若有重叠则计算所述遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P，然后在每个重叠目标区域内选择P*N数量的点作为所述盲区的计算点，基于所述盲区的所有计算点计算所述盲区的盲区平面方程，其中所述N为每个重叠目标区域内所含的点的数量；以及基于所述盲区平面方程、所述场景视频数据和所述映射关系计算所述场景视频数据映射到所述盲区后的盲区视频数据。

在本申请的一实施例中，所述方法还包括：当所述场景中只有一个目标区域时，计算所述一个目标区域的深度信息，根据所述一个目标区域的深度信息构建所述一个目标区域的物平面，计算所述遮挡物在所述一个目标区域的物平面上的投影，并判断所述遮挡物在所述一个目标区域的物平面上的投影是否与所述一个目标区域有重叠，若有重叠则在所述一个目标区域内选择预设数量的点作为所述盲区的计算点，基于所述盲区的所有计算点计算所述盲区的盲区平面方程。

在本申请的一实施例中，所述方法还包括：若所述遮挡物在所述一个目标区域的物平面上的投影与所述一个目标区域无重叠，则基于预设默认深度信息计算所述盲区平面方程。

在本申请的一实施例中，所述方法还包括：当所述场景中有多个目标区域并且所述遮挡物在每个目标区域的物平面上的投影与每个目标区域均无重叠时，基于预设默认深度信息计算所述盲区平面方程。

在本申请的一实施例中，所述每个目标区域为包含每个目标物体的方形区域。

在本申请的一实施例中，每个目标区域内所含的点在每个目标区域内均匀分布；以及所述在每个目标区域内选择P*N数量的点是在每个目标区域内均匀选择P*N数量的点。

在本申请的一实施例中，所述遮挡物为汽车A柱；所述摄像头为单摄像头；所述方法还包括：将所述盲区视频数据显示在汽车A柱显示屏上供驾驶员查看。

为解决上述技术问题，本申请还提供了一种盲区视频数据生成系统，包括：获取模块，用于获取摄像头拍摄的场景视频数据以及所述场景视频数据和盲区之间的映射关系，其中所述摄像头位于遮挡物和场景之间并且用于拍摄与所述遮挡物相对应的盲区；检测模块，用于基于所述场景视频数据检测所述场景中的目标区域；盲区平面方程模块，用于当所述场景中有多个目标区域时，计算每个目标区域的深度信息，根据每个目标区域的深度信息构建每个目标区域的物平面，计算所述遮挡物在每个目标区域的物平面上的投影，并分别判断所述遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠，若有重叠则计算所述遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P，然后在每个重叠目标区域内选择P*N数量的点作为所述盲区的计算点，基于所述盲区的所有计算点计算所述盲区的盲区平面方程，其中所述N为每个重叠目标区域内所含的点的数量；以及计算模块，用于基于所述盲区平面方程、所述场景视频数据和所述映射关系计算所述场景视频数据映射到所述盲区后的盲区视频数据。

为解决上述技术问题，本申请还提供了一种盲区视频数据生成设备，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的方法。

为解决上述技术问题，本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。

与现有技术相比，本发明的盲区视频数据生成方法、系统、设备和计算机可读介质能够用较低的算力和简单的摄像设备得到盲区视频数据，并且可使用单摄像头来获取场景视频数据，具有场景还原度高、成本低和适合量产的优点。

附图说明

包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本申请原理的作用。附图中：

图1是根据本申请一实施例示出的盲区视频数据生成方法的流程示意图。

图2是根据本申请一实施例示出的图1中的步骤103的示意流程图。

图3是根据本申请一实施例示出的图1中的步骤104的示意流程图。

图4是根据本申请一实施例示出的遮挡物在重叠目标区域的物平面上的投影的示意图。

图5是根据本申请一实施例示出的盲区视频数据生成系统的框图。

图6是根据本申请一实施例示出的盲区视频数据生成设备的架构图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请提供了一种盲区视频数据生成方法。图1是根据本申请一实施例示出的盲区视频数据生成方法的流程示意图。如图1所示，本实施例的盲区视频数据生成方法包括以下步骤：

步骤101，获取摄像头拍摄的场景视频数据以及场景视频数据和盲区之间的映射关系，其中摄像头位于遮挡物和场景之间并且用于拍摄与遮挡物相对应的盲区。

步骤102，基于场景视频数据检测场景中的目标区域。

步骤103，当场景中有多个目标区域时，系统基于遮挡物和多个目标区域计算盲区的盲区平面方程，步骤103具体包括以下步骤201-207：

步骤201，计算每个目标区域的深度信息。

步骤202，根据每个目标区域的深度信息构建每个目标区域的物平面。

步骤203，计算遮挡物在每个目标区域的物平面上的投影。

步骤204，分别判断遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠。

步骤205，若有重叠则计算遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P。

步骤206，在每个重叠目标区域内选择P*N数量的点作为盲区的计算点。

以及步骤207，基于盲区的所有计算点计算盲区的盲区平面方程，其中N为每个重叠目标区域内所含的点的数量。

步骤104，当场景中只有一个目标区域时，系统基于遮挡物和一个目标区域计算盲区的盲区平面方程，步骤104具体包括以下步骤301-306：

步骤301，计算一个目标区域的深度信息。

步骤302，根据一个目标区域的深度信息构建一个目标区域的物平面。

步骤303，计算遮挡物在一个目标区域的物平面上的投影。

步骤304，判断遮挡物在一个目标区域的物平面上的投影是否与一个目标区域有重叠。

步骤305，若有重叠则在一个目标区域内选择预设数量的点作为盲区的计算点。

以及步骤306，基于盲区的所有计算点计算盲区的盲区平面方程。

步骤105，基于盲区平面方程、场景视频数据和映射关系计算场景视频数据映射到盲区后的盲区视频数据。

下面对上述步骤101-105进行详细说明，步骤101-105可以由盲区视频数据生成系统来执行：

在步骤101中，遮挡物位于用户和场景之间，遮挡了用户的观察场景的部分视线。也就是说，场景有部分区域被遮挡物遮挡，不能被用户直接观察到，这部分遮挡区域即为盲区。摄像头位于遮挡物和场景之间，用于拍摄与遮挡物相对应的盲区。系统获取摄像头拍摄到的场景视频数据。系统获取场景视频数据和盲区之间的映射关系。

步骤102，系统基于场景视频数据检测场景中的目标区域。场景中的目标是指场景中所包含的物体，例如汽车、行人、栏杆等。在本申请的一实施例中，目标区域可以为包含每个目标物体的方形区域。在一个示例中，系统可以采用深度学习方案来识别检测场景中的目标区域。

图2是根据本申请一实施例示出的图1中的步骤103的示意流程图。如图2所示，步骤103包括步骤201-207。下面对上述步骤201-207进行详细说明：

在步骤201中，系统分别计算每个目标区域的深度信息。该目标区域的深度信息可以为摄像头距离目标的距离。在一个示例中，假设摄像头的光轴平行于地面，在已知摄像头的焦距F、摄像头距离地面的高度H、摄像头成像点距离像平面中心的距离L的情况下，摄像头距离目标的距离D可以根据三角形原理通过公式D＝F*H/L计算出。如果摄像头轴线与地面不平行，在标定出摄像头与地面之间的角度后即可，即可按照三角几何关系求出目标区域的深度信息。

在步骤202中，系统分别根据每个目标区域的深度信息构建每个目标区域所在的物平面。在一个示例中，目标区域的物平面可以是一个平行于摄像头的像平面的平面方程。

在步骤203中，系统根据视角映射关系分别计算遮挡物在每个目标区域的物平面上的投影。在一个示例中，遮挡物为方形物体时，系统可以计算遮挡物的四棱在目标区域的物平面上的投影点，然后把这四个投影点投影到摄像机上，从而可以进一步得到遮挡物在目标区域的物平面上的投影。

在步骤204中，系统分别判断遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠。有重叠则说明位于遮挡物后方的用户无法看到完整的目标区域，重叠的部分即为被遮挡物所遮挡的部分，该目标区域被称为重叠目标区域。无重叠则说明位于遮挡物后方的用户能够看到完整的目标区域，目标区域不被遮挡物遮挡。图4示出了遮挡物在重叠目标区域的物平面上的投影的示意图。如图4所示，方框40为目标区域的物平面，正方形方框41是目标区域，长方形方框42是遮挡物在目标区域的物平面40上的投影区域。目标区域41与遮挡物在目标区域的物平面40上的投影区域42有重叠，重叠部分为阴影区域43。

在步骤205中，若有重叠，则系统计算遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分，在每个重叠目标区域的物平面上的面积占比P。继续以图4为例进行说明，方框40为目标区域的物平面，目标区域的物平面40的面积为S0，遮挡物在重叠目标区域的物平面上的投影42与重叠目标区域41所重叠的部分为阴影区域43，阴影区域43的面积为S3。系统计算阴影区域43在目标区域的物平面40上的面积占比P，即为计算P＝S3/S0。

在步骤206中，系统在每个重叠目标区域内选择P*N数量的点作为盲区的计算点，其中N为每个重叠目标区域内所含的点的数量。当遮挡物在重叠目标区域的物平面上的投影与重叠目标区域所重叠的部分越大，即遮挡物对单个目标区域遮挡得越多时，相应的面积占比P则会越大，该重叠目标区域内参与盲区平面方程的计算的点也会越多。通过使用面积占比P来决定该重叠目标区域的盲区的计算点的数量，能够使得最后拟合得到的盲区平面方程可以近似反映盲区的近似深度，不会造成严重的透射变形。

在本申请的一实施例中，每个目标区域内所含的点可以在每个目标区域内均匀分布；以及在每个目标区域内选择P*N数量的点可以是在每个目标区域内均匀选择P*N数量的点。通过均匀选择均匀分布的点，能够进一步提高最后拟合得到的盲区平面方程的准确性。

在步骤207中，系统基于盲区的所有计算点计算盲区的盲区平面方程。当有多个重叠目标区域时，每个重叠目标区域均有一定数量的点被选为盲区的计算点，系统基于所有被选为盲区的计算点的点来计算盲区平面方程。

在一个示例中，平面方程法向量可以为n＝[a,b,c]，平面方程可以为a*X+b*Y+c*Z+1＝0。在一个示例中，拟合计算得到的盲区平面方程可以是由多个目标区域的平面方程共同组成的盲区平面方程。

在本申请的一实施例中，步骤103还可以包括：当场景中有多个目标区域并且遮挡物在每个目标区域的物平面上的投影与每个目标区域均无重叠时，基于预设默认深度信息来计算盲区平面方程。当无重叠时，说明盲区不在目标区域内，无法知道盲区对应的深度信息。如果按照目标区域的深度信息来构建平面方程，会出现严重的透视畸变。因此，系统可以基于预设默认深度信息来计算盲区平面方程，能够提高盲区平面方程的准确性。用户可以根据实际需求来设定预设默认深度信息，本发明对此不做限制。

图3是根据本申请一实施例示出的图1中的步骤104的示意流程图。如图3所示，步骤104包括步骤301-306。下面对上述步骤301-306进行详细说明：

步骤301可参考前述步骤201，在此不再赘述。

步骤302可参考前述步骤202，在此不再赘述。

步骤303可参考前述步骤203，在此不再赘述。

步骤304可参考前述步骤204，在此不再赘述。

在步骤305中，若有重叠则系统在一个目标区域内选择预设数量的点作为盲区的计算点。用户可以根据实际需求来设定预设数量，本发明对此不作限制。

在本申请的一实施例中，一个目标区域内所含的点可以在该目标区域内均匀分布；以及在一个目标区域内选择预设数量的点可以是在该目标区域内均匀选择预设数量的点。通过均匀选择均匀分布的点，能够进一步提高最后计算得到的盲区平面方程的准确性。

在步骤306中，系统基于盲区的所有计算点计算盲区的盲区平面方程。

在本申请的一实施例中，步骤104还可以包括：若遮挡物在一个目标区域的物平面上的投影与一个目标区域无重叠，则基于预设默认深度信息计算盲区平面方程。当无重叠时，说明盲区不在目标区域内，无法知道盲区对应的深度信息。如果按照目标区域的深度信息来构建平面方程，会出现严重的透视畸变。因此，系统可以基于预设默认深度信息来计算盲区平面方程，能够提高盲区平面方程的准确性。用户可以根据实际需求来设定预设默认深度信息，本发明对此不做限制。

步骤105，系统基于盲区平面方程、场景视频数据和映射关系计算场景视频数据映射到盲区后的盲区视频数据。

在得到盲区平面方程后，可以根据盲区平面方程求出盲区平面中任意一点的深度信息。假设用户视线通过平面4点投射到空间景物上的4个点(4个盲区四角基准点)的深度信息分别为4个空间坐标(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)、(X4，Y4，Z4)，设整体盲区的空间平面方程为a*X+b*Y+c*Z+d＝0，将上面4点代入整体盲区的空间平面方程中，可以计算出上述整体盲区的空间平面方程。

系统基于盲区基准点和盲区平面方程确定多个场景基准点的空间坐标。在得到盲区平面方程后，系统可以根据盲区平面方程求出盲区基准点的空间坐标(又称世界坐标)，空间坐标以摄像机坐标为参考。例如，四个慢去基准点的空间坐标可以分别表示为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)、(X4，Y4，Z4)。

系统可以基于盲区的参数确定多个盲区基准点的相机像素坐标。相机像素坐标是指一个像素点在相机所拍摄的图像中的位置的坐标，可以根据以下相机透射方程计算：

Lamda*(u,v,1)’＝A*(X,Y,Z)’

其中，盲区基准点的空间坐标为(X,Y,Z)，A为摄像头的内参矩阵，Lamda等于Z，盲区基准点的相机像素坐标为(u,v)。

系统可以基于摄像头的内参矩阵、多个盲区基准点的相机像素坐标、多个盲区基准点的空间坐标确定场景视频数据和盲区之间的映射关系。场景视频数据和盲区之间的映射关系可以为单应矩阵，通过单应矩阵能够将一个平面投影映射到另一个平面。四个盲区四角基准点的空间坐标分别为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)、(X4，Y4，Z4)，盲区四角点的相机像素坐标为(0，0)，(0，w)，(h，0)，(w，h)，四个盲区四角基准点的空间坐标与盲区四角点的相机像素坐标相对应，因此可以将上述空间坐标和相机像素坐标代入下式中求出单应矩阵H：

(x,y,1)’＝H*(u,v,1)’

系统通过单应矩阵H将场景视频数据中的四点(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)组成的四边形图像映射到盲区，得到了盲区视频数据。

在本申请的一实施例中，遮挡物可以为汽车A柱，摄像头为可以单摄像头，用户为汽车驾驶员，盲区视频数据生成方法还可以包括：在得到盲区视频数据后，将盲区视频数据显示在汽车A柱显示屏上供驾驶员查看。通过将盲区视频数据生成方法应用于汽车A柱显示屏上，能够实现用较低的算力和简单的摄像设备得到汽车A柱盲区的盲区视频数据，并且可使用单摄像头来获取场景视频数据，具有场景还原度高、成本低和适合量产的优点。

综上所述，本申请的盲区视频数据生成方法能够通过计算场景中的目标区域的深度信息，基于重叠目标区域的情况来计算盲区的平面方程，然后计算得到场景视频数据映射到盲区后的盲区视频数据，能够用较低的算力和简单的摄像设备得到盲区视频数据，并且可使用单摄像头来获取场景视频数据，具有场景还原度高、成本低和适合量产的优点。

本申请还提供了一种盲区视频数据生成系统。图5是根据本申请一实施例示出的盲区视频数据生成系统的框图。如图5所示，该盲区视频数据生成系统500包括获取模块501、检测模块502、盲区平面方程模块503以及计算模块504。

获取模块501用于获取摄像头拍摄的场景视频数据以及场景视频数据和盲区之间的映射关系，其中摄像头位于遮挡物和场景之间并且用于拍摄与遮挡物相对应的盲区。获取模块501所执行的步骤可参考前述实施例中的步骤101，在此不再赘述。

检测模块502用于基于场景视频数据检测场景中的目标区域。检测模块502所执行的步骤可参考前述实施例中的步骤102，在此不再赘述。

盲区平面方程模块503用于当场景中有多个目标区域时，计算每个目标区域的深度信息，根据每个目标区域的深度信息构建每个目标区域的物平面，计算遮挡物在每个目标区域的物平面上的投影，并分别判断遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠，若有重叠则计算遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P，然后在每个重叠目标区域内选择P*N数量的点作为盲区的计算点，基于盲区的所有计算点计算盲区的盲区平面方程，其中N为每个重叠目标区域内所含的点的数量。盲区平面方程模块503所执行的步骤可参考前述实施例中的步骤103，在此不再赘述。

计算模块504用于基于盲区平面方程、场景视频数据和映射关系计算场景视频数据映射到盲区后的盲区视频数据。计算模块504所执行的步骤可参考前述实施例中的步骤105，在此不再赘述。

本申请的盲区视频数据生成系统能够通过计算场景中的目标区域的深度信息，基于重叠目标区域的情况来计算盲区的平面方程，然后计算得到场景视频数据映射到盲区后的盲区视频数据，能够用较低的算力和简单的摄像设备得到盲区视频数据，并且可使用单摄像头来获取场景视频数据，具有场景还原度高、成本低和适合量产的优点。

本申请还提供了一种盲区视频数据生成设备，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的盲区视频数据生成方法。

图6示出了根据本申请一实施例的盲区视频数据生成设备的架构图。参考图6所示，该盲区视频数据生成设备600可包括内部通信总线601、处理器(Processor)602、只读存储器(ROM)603、随机存取存储器(RAM)604、以及通信端口605。当应用在个人计算机上时，盲区视频数据生成设备600还可以包括硬盘607。内部通信总线601可以实现盲区视频数据生成设备600组件间的数据通信。处理器602可以进行判断和发出提示。在一些实施例中，处理器602可以由一个或多个处理器组成。通信端口605可以实现盲区视频数据生成设备600与外部的数据通信。在一些实施例中，盲区视频数据生成设备600可以通过通信端口605从网络发送和接受信息及数据。盲区视频数据生成设备600还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘607，只读存储器(ROM)603和随机存取存储器(RAM)604，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器602所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。

可以理解，本申请的盲区视频数据生成方法并不限于由一个盲区视频数据生成设备实施，而是可以由多个联机的盲区视频数据生成设备协同实施。联机的盲区视频数据生成设备可以通过局域网或者广域网连接和通信。

本实施例的盲区视频数据生成设备的其他实施细节可参考图1至图4所描述的实施例，在此不再展开描述。

本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的盲区视频数据生成方法。

举例来说，本申请的盲区视频数据生成法可以实施为一种盲区视频数据生成方法的程序，保存在存储器中，并可加载到处理器中执行，以实施本申请的盲区视频数据生成方法。

盲区视频数据生成方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述申请披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

本申请的方法和系统的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD)……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的申请实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个申请实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可做出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种盲区视频数据生成方法，包括：

获取摄像头拍摄的场景视频数据以及所述场景视频数据和盲区之间的映射关系，其中所述摄像头位于遮挡物和场景之间并且用于拍摄与所述遮挡物相对应的盲区；

基于所述场景视频数据检测所述场景中的目标区域；

当所述场景中有多个目标区域时，计算每个目标区域的深度信息，根据每个目标区域的深度信息构建每个目标区域的物平面，计算所述遮挡物在每个目标区域的物平面上的投影，并分别判断所述遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠，若有重叠则计算所述遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P，然后在每个重叠目标区域内选择P*N数量的点作为所述盲区的计算点，基于所述盲区的所有计算点计算所述盲区的盲区平面方程，其中所述N为每个重叠目标区域内所含的点的数量；以及

基于所述盲区平面方程、所述场景视频数据和所述映射关系计算所述场景视频数据映射到所述盲区后的盲区视频数据；

其中，所述摄像头为单摄像头。

2.如权利要求1所述的方法，其特征在于，还包括：

当所述场景中只有一个目标区域时，计算所述一个目标区域的深度信息，根据所述一个目标区域的深度信息构建所述一个目标区域的物平面，计算所述遮挡物在所述一个目标区域的物平面上的投影，并判断所述遮挡物在所述一个目标区域的物平面上的投影是否与所述一个目标区域有重叠，若有重叠则在所述一个目标区域内选择预设数量的点作为所述盲区的计算点，基于所述盲区的所有计算点计算所述盲区的盲区平面方程。

3.如权利要求2所述的方法，其特征在于，还包括：

若所述遮挡物在所述一个目标区域的物平面上的投影与所述一个目标区域无重叠，则基于预设默认深度信息计算所述盲区平面方程。

4.如权利要求1所述的方法，其特征在于，还包括：

当所述场景中有多个目标区域并且所述遮挡物在每个目标区域的物平面上的投影与每个目标区域均无重叠时，基于预设默认深度信息计算所述盲区平面方程。

5.如权利要求1所述的方法，其特征在于，所述每个目标区域为包含每个目标物体的方形区域。

6.如权利要求1所述的方法，其特征在于，每个目标区域内所含的点在每个目标区域内均匀分布；以及所述在每个目标区域内选择P*N数量的点是在每个目标区域内均匀选择P*N数量的点。

7.如权利要求1所述的方法，其特征在于，所述遮挡物为汽车A柱；所述方法还包括：

将所述盲区视频数据显示在汽车A柱显示屏上供驾驶员查看。

8.一种盲区视频数据生成系统，包括：

获取模块，用于获取摄像头拍摄的场景视频数据以及所述场景视频数据和盲区之间的映射关系，其中所述摄像头位于遮挡物和场景之间并且用于拍摄与所述遮挡物相对应的盲区；

检测模块，用于基于所述场景视频数据检测所述场景中的目标区域；

盲区平面方程模块，用于当所述场景中有多个目标区域时，计算每个目标区域的深度信息，根据每个目标区域的深度信息构建每个目标区域的物平面，计算所述遮挡物在每个目标区域的物平面上的投影，并分别判断所述遮挡物在每个目标区域的物平面上的投影是否与每个目标区域有重叠，若有重叠则计算所述遮挡物在每个重叠目标区域的物平面上的投影与每个重叠目标区域所重叠的部分在每个重叠目标区域的物平面上的面积占比P，然后在每个重叠目标区域内选择P*N数量的点作为所述盲区的计算点，基于所述盲区的所有计算点计算所述盲区的盲区平面方程，其中所述N为每个重叠目标区域内所含的点的数量；以及

计算模块，用于基于所述盲区平面方程、所述场景视频数据和所述映射关系计算所述场景视频数据映射到所述盲区后的盲区视频数据；

其中，所述摄像头为单摄像头。

9.一种盲区视频数据生成设备，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如权利要求1-7任一项所述的方法。

10.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-7任一项所述的方法。

Images