具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述,以便于凸显本公开的主旨。
图1为根据本公开一实施例的复眼摄像装置的控制方法的流程图。复眼摄像装置可以包括用于进行图像采集的多个复眼单元,该方法可以包括:
S101、在第一工作模式下对复眼摄像装置进行视场扫描,所述复眼摄像装置的视场包括所述多个复眼单元的子视场。
S102、在扫描得到至少一个监测对象的情况下,基于所述至少一个监测对象的所覆盖的子视场,打开所述至少一个监测对象所对应的至少一个复眼单元。
S103、调整所述监测对象所对应的至少一个复眼单元的摄像参数信息,启动第二工作模式。
S104、在所述第二工作模式下,使用调整后的复眼单元进行图像采集,得到监测区域图像。
其中,所述第二工作模式的功耗、数据量和分辨率的至少之一高于所述第一工作模式。
示例性的,图2A和图2B为复眼摄像装置的复眼单元排列的示意图。复眼摄像装置的若干个复眼单元可以按照阵列排列,具体的排列方式、间距、透镜大小等可以根据复眼摄像装置的实际性能的需求灵活设置,本公开不做限定。单一的复眼单元可以包括微型的透镜例如微型的凸透镜。
可选的,复眼摄像装置的镜头形状可能有多种,例如平面的镜头、弧面的镜头或者球形的镜头。不同形状的镜头中的复眼单元的设置方式可能有所不同,参见图3A、图3B和图3C,是安装有复眼单元几种不同类型的镜头的截面示意图,其中复眼单元中的透镜也可以具有不同的形状,例如长方体透镜、凸透镜等。再如,复眼单元的透镜截面形状可以为圆形、椭圆形、方形等。截面形状不同的透镜采集得到的图像形状可能不同。在后期进行图像处理的过程中,可以根据不同形状的图像选择合适的图像处理算法。
可选的,复眼摄像装置包括的复眼单元的透镜的截面形状或光学参数等可以不同。例如,一部分透镜的截面形状为圆形,一部分透镜的截面形状为椭圆形。例如,一部分透镜直径较大,一部分透镜直径较小。再如,一部分透镜为长焦距,一部分透镜为中焦距,一部分透镜为短焦距。
可选的,复眼摄像装置可以包括多种工作模式,例如第一工作模式和第二工作模式。第一工作模式为低功耗、低数据量和低分辨率的至少之一的模式,所述第二工作模式为高功耗、高数据量和高分辨率的至少之一的模式。例如:第一工作模式为低功耗的模式,第二工作模式为高功耗的模式。再如,第一工作模式为低功耗且低数据量的模式,第二工作模式为高功耗且高数据量的模式。再如,第一工作模式为低功耗、低数据量且低分辨率的模式,第二工作模式为高功耗、高数据量且高分辨率的模式。
此外,可以预先设置低功耗对应的第一数值范围,高功耗对应的第二数值范围,第一数值范围最大值可以小于第二数值范围的最小值。还可以预先设置低数据量对应的第三数值范围,高数据量对应的第四数值范围,第三数值范围最大值可以小于第四数值范围的最小值。还可以预先设置低分辨率对应的第五数值范围,高分辨率对应的第六数值范围,第五数值范围最大值可以小于第六数值范围的最小值。
在一种示例中,在扫描视场的过程中可以默认启动低功耗、低数据量和低分辨率的模式,打开一小部分复眼单元进行视场扫描。如果扫描到监测对象再启动高功耗、高数据量和高分辨率的模式,打开较多甚至全部的复眼单元进行图像采集。
在另一种示例中,每个复眼单元也可以具有不同的工作模式,例如高功耗模式和低功耗模式,高数据量模式和低数据量模式,高分辨率模式和低分辨率模式等。复眼摄像装置在第一工作模式下,可以控制一个或多个复眼单元处于低功耗模式、低数据量模式或低分辨率模式;在第二工作模式下,可以控制一个或多个复眼单元处于高功耗模式、高数据量模式或高分辨率模式。
在本公开实施例中,复眼摄像装置的视场较大,复眼摄像装置的视场可以由若干个复眼单元的子视场组成。图4A和图4B为复眼摄像装置的视场与复眼单元的子视场的示意图,其中,相邻的复眼单元的子视场可以具有部分重叠。多个复眼单元可以采集得到多个小图像。这样,复眼摄像装置的处理系统可以对多个复眼单元采集的小图像进行校正、重构、拼接等处理。例如,对于位于复眼摄像装置的镜头边缘的一些复眼单元采集的小图像进行光量、色差、失真等校正,然后利用校正后的图像重构和/或拼接形成更加完整、清晰的大图像。
在本公开实施例中,可以对复眼摄像装置的复眼单元的子视场进行标注。例如按照某个复眼单元的编号标注该复眼单元的子视场。再如,为复眼单元的子视场设置编号,并建立复眼单元的编号与复眼单元的子视场编号的映射关系。
本公开实施例提供的技术方案,能够根据监测对象灵活地控制复眼摄像装置,使得复眼摄像装置的性能更加优化。例如在合适的时机采用合适的工作模式,合理控制复眼摄像装置的功耗、数据量或分辨率等,有利于减少不必要的能量损耗,获得更好的拍摄效果。
在一种可能的实现方式中,一个子视场可以对应一个复眼单元,不同子视场之间部分重叠,对复眼摄像装置进行视场扫描,包括:按照设定顺序和设定时间打开所述复眼摄像装置的复眼单元,利用打开的复眼单元扫描对应的子视场,并关闭扫描后的复眼单元。
在本公开实施例中,在进行视场扫描的过程中,可以分批打开复眼单元,每次扫描一部分复眼单元的子视场(也即复眼摄像装置的部分视场),确定复眼摄像装置的视场内是否出现监测对象。每次打开部分复眼单元,并且复眼单元在扫描结束后可以自动关闭,从而能够节约功耗,省电节能。
可选的,可以在对复眼摄像装置的整个视场扫描结束后,再启动后续的图像处理;也可以在扫描到任意一个监测对象的情况下,启动对该监测对象所处的一个或多个子视场的图像进行处理。
可选的,复眼摄像装置的相邻复眼单元的子视场可以具有重叠区域,在进行视场扫描的过程中可以不打开复眼摄像装置的所有复眼单元,也能够扫描到形体较大的物体。因此,在一些应用场景中,视场扫描所用的复眼单元可以是全部复眼单元,也可以仅是全部复眼单元的一部分。例如,复眼摄像装置具有90个复眼单元,利用1/3、即30个复眼单元进行视场扫描。这样,可以进一步地节省功耗。
在一种可能的实现方式中,按照设定顺序和设定时间打开所述复眼摄像装置的复眼单元,包括以下方式的至少之一:
方式一:按照从上到下或从下到上的顺序,每间隔设定时间打开至少一行复眼单元。
例如,复眼摄像装置的复眼单元包括N行复眼单元,可以按照从上到下的顺序每间隔M毫秒打开第n行复眼单元。可选的,也可以一次打开多行复眼单元,例如打开第n行和第n+1行复眼单元。如果只打开了第n行复眼单元,则第n行复眼单元扫描完后,关闭本行复眼单元并打开第n+1行复眼单元。可选的,也可以不打开相邻行的复眼单元而是间隔一定行数再打开某一行或多行复眼单元。例如,关闭第n行复眼单元并打开第n+2行或n+3行复眼单元。
在本示例中,行数n的取值范围为1到N的正整数。N和M的取值,以及间隔打开的行数,可以根据复眼摄像装置实际的产品需求进行设置,本公开不做限定。按照从下到上的顺序打开复眼单元和按照从上到下的顺序打开复眼单元的原理类似,在此不再重复举例。
方式二:按照从左到右或从右到左的顺序,每间隔设定时间打开至少一列复眼单元。
例如,复眼摄像装置的复眼单元包括S行复眼单元,可以按照从左到右的顺序每间隔T毫秒打开第s列复眼单元。可选的,也可以一次打开多列复眼单元,例如打开第s列和第s+1列复眼单元。如果只打开了第s列复眼单元,则第s列复眼单元扫描完后,关闭本列复眼单元并打开第s+1列复眼单元。可选的,也可以不打开相邻列的复眼单元而是间隔一定列数再打开某一列或多列复眼单元。例如,也可以关闭第s列复眼单元并打开第s+2列或s+3列复眼单元。通常来说,监测对象具有一定的体积,即使间隔一定行或列来打开复眼单元,也能够准确扫描出是否存在监测对象。并且,有利于省电节能。
在本示例中,列数s的取值范围为1到S的正整数。S和T的取值,以及间隔打开的列数,可以根据复眼摄像装置实际的产品需求进行设置,本公开不做限定。按照从右到左的顺序打开复眼单元和按照从左到右的顺序打开复眼单元的原理类似,在此不再重复举例。
方式三:按照编号顺序,每间隔设定时间打开指定编号的至少一个复眼单元。
例如,复眼摄像装置包括I行J列个复眼单元,每个复眼单元具有一个编号,例如Xij表示第i行第j列的复眼单元。其中,i的取值范围为1到I的正整数,j的取值范围为1到J的正整数。可以预先按照复眼单元的编号控制打开复眼单元的顺序和时间间隔。也可以按照行号或列号控制一次打开一行或一列的复眼单元。例如可以将复眼单元的编号按照打开顺序保存为一个控制表,按照控制表的顺序,确定在某个时间点是否打开一个或多个复眼单元。如果不需要打开全部的复眼单元,控制表中可以保存部分需要打开的复眼单元的编号。
复眼单元打开之后可以保持常开,也可以间隔设定时间自动关闭。自动关闭可以减少功耗,有利于节能省电。打开复眼单元和关闭复眼单元的时间间隔也可以根据需求进行设置。关闭已打开的复眼单元和打开下一次的复眼单元的时序不做限定。可以在关闭已打开的复眼单元的同时打开下一次的复眼单元,也可以先关闭已打开的复眼单元再打开下一次的复眼单元,还可以先打开下一次的复眼单元再关闭之前已打开的复眼单元。
例如,关闭已打开的第1行复眼单元后打开第3行复眼单元,关闭已打开的第3行复眼单元后打开第5行复眼单元。
再如,打开第5、7列复眼单元后关闭已打开的第1、3列复眼单元,打开第9、11列复眼单元后关闭已打开的第5、7列复眼单元。
再如,关闭已打开的编号为X11、X12、X13的复眼单元的同时打开编号为X14、X15、X16的复眼单元,关闭已打开的编号为X14、X15、X16的复眼单元的同时打开编号为X21、X22、X23的复眼单元。
在本公开实施例中,上述复眼单元的编号仅是示例而非限制,也可以采用其他的编号方式。例如,利用字母对复眼单元进行编号,复眼单元编号为a、b、c、d等。再如,利用数字对复眼单元进行编号,复眼单元编号为1、2、3、4等。再如,利用数字和字母对复眼单元进行编号,复眼单元编号为M1、M2、M3、M4等。再如,按照矩阵的行列对复眼单元进行编号。
在一种可能的实现方式中,对复眼摄像装置进行视场扫描,还包括:利用红外探测器或雷达对复眼摄像装置进行视场扫描。
在本公开实施例中,可以利用复眼单元之外的其他的各种类型的传感器对复眼摄像装置进行视场扫描。例如,利用红外探测器可以扫描到具有一定温度的对象例如人或者动物等。再如,利用各种雷达如超声波雷达可以快速精准扫描到监测区域是否出现物体。
在本公开实施例中,利用红外探测器或雷达对复眼摄像装置进行视场扫描的方式,可以与上述的利用复眼单元进行视场扫描的方式结合。例如,先利用红外探测器或雷达进行扫描,得到监测对象的大致位置后,确定该监测对象所覆盖的一个或多个子视场,并打开这一个或多个子视场对应的各个复眼单元。利用打开的复眼单元再次进行视场扫描,以确定是否真的有物体出现在这些子视场中。
在一种可能的实现方式中,在S102中,打开所述至少一个监测对象所对应的至少一个复眼单元,包括:打开每个所述监测对象所覆盖的子视场所对应的至少一个复眼单元。例如,如果利用上述的复眼单元、雷达、红外探测器等扫描得到监测对象,可以根据该监测对象的位置确定该监测对象所覆盖的一个或多个子视场,进而打开这些子视场对应的复眼单元。例如,参见图5A,假设子视场为方形区域,相邻的子视场部分重叠,物体W1覆盖了多个子视场X21、X22、X31、X32和X33的部分区域,可以打开这些子视场编号对应的复眼单元。此外,较小的物体,也可能处于某两个相邻复眼单元的子视场的重叠区域。例如,参见图5B,物体W2位于子视场A1、A2的重叠区域,可以打开这两个子视场编号对应的两个复眼单元。
在一种可能的实现方式中,调整所述监测对象所对应的至少一个复眼单元的摄像参数信息,包括:将所述监测对象所对应的至少一个复眼单元的第一摄像参数信息调整为第二摄像参数信息;其中,所述第一摄像参数信息和所述第二摄像参数信息的关系包括以下至少之一:
所述第一摄像参数信息中的第一分辨率调整低于所述第二摄像参数信息中的第二分辨率;
所述第一摄像参数信息中的第一焦距长于所述第二摄像参数信息中的第二焦距。
在扫描到监测对象后,打开相应的一个或多个复眼单元,默认的摄像参数信息可以为第一摄像参数信息。调整后的摄像参数信息可以为第二摄像参数信息。复眼摄像装置的多个复眼单元,打开时默认的初始分辨率可以相同,也可以不同。例如,复眼摄像装置有100个复眼单元,其中20个复眼单元的默认分辨率为R1,30个复眼单元的默认分辨率为R2,50个复眼单元的默认分辨率为R3。调整后的复眼单元的第二分辨率可以相同,也可以不同。例如,复眼摄像装置的20个复眼单元的调整后的第二分辨率为R1,30个复眼单元的调整后的第二分辨率为R2,50个复眼单元的调整后的第二分辨率为R3。
例如,复眼单元在打开时默认的分辨率可以为第一分辨率。可以将该一个或多个复眼单元的分辨率调高,调整为大于第一分辨率的第二分辨率,从而有利于拍摄得到监测对象的更加清晰的图像或视频,进而提高目标识别、人脸识别等的识别效果。
再如,复眼单元在打开时默认的焦距可以为第一焦距。可以将该一个或多个复眼单元的第一焦距调短为第二焦距。这样,如果监测对象距离复眼摄像装置越来越近,也能够拍摄到清晰的图像。反之,将该一个或多个复眼单元的焦距调长,如果监测对象距离复眼摄像装置越来越远,也能够拍摄到清晰的图像。
在本公开实施例中,基于监测对象选择打开哪些复眼单元进行图像采集,并且将这些打开的复眼单元的摄像参数调整为更适合拍摄监测对象的摄像参数,从而有利于得到更加清晰的图像。如果有多个监测对象,可以分别基于这些监测对象打开相应的复眼单元,同时监测多个监测对象。
在一种可能的实现方式中,监测区域图像是对所述调整后的复眼单元采集的子视场的图像进行拼接处理得到的。
在本公开实施例中,可以根据复眼摄像装置的镜头形状等对复眼单元采集的子视场的图像进行相应处理。例如,如果复眼摄像装置的镜头为平面或弧面镜头,位于复眼摄像装置的镜头边缘的一些复眼单元采集的子视场的图像可以需要进行光量、色差、失真等校正,然后对校正后的图像进行重构和/或拼接等处理。如果子视场的图像存在重叠区域,可以选择保留成像效果更好的像素,或者对重叠区域的像素进行综合计算得到最终保留的像素。
在本公开实施例中,利用子视场的图像拼接得到的监测区域图像,可以包括复眼摄像装置的完整视场的图像,也可以包括复眼摄像装置的部分视场的图像。拼接过程中也可以进行一些其他的优化图像质量的处理,比如对图像模糊、失真、光量、色差、重叠等问题进行校正。
在一种可能的实现方式中,如图6所示,该方法还包括:
S201、利用所述复眼摄像装置的多组复眼单元,分别测量监测对象与所述复眼摄像装置之间的距离,每组复眼单元包括两个复眼单元;
S202、对多组复眼单元测量得到的距离进行融合,得到融合后的距离。
在本公开实施例中,复眼摄像装置的一行或一列可以具有多个复眼单元,利用两个复眼单元例如同一行的任意两个复眼单元可以计算出监测对象与复眼摄像装置之间的一个距离值。如果利用多组复眼单元可以计算出监测对象与复眼摄像装置之间的多个距离值。然后可以利用设定算法对这些距离进行融合。例如计算这些距离值的平均值。再如,为每组复眼单元设置权重,利用多组复眼单元计算出的距离值和权重,计算融合后的距离值。融合后的距离值会更加准确。
在一种可能的实现方式中,所述每组复眼单元测量得到的距离D的公式如下:
其中,f为组内两个复眼单元的焦距,b为组内两个复眼单元之间的基线长度,d为组内两个复眼单元之间的视差。
示例性的,理想的情况下,假设组内两个复眼单元位于同一平面(光轴平行),且拍摄参数(例如焦距f)一致。参见图7,横轴为x轴,纵轴为z轴,y轴垂直于平面。在相平面,组内的一个复眼单元的像素点坐标为(xs, ys)和另一个复眼单元中的像素点坐标为(xt, yt)。距离D=z(也即深度值)的推导过程和公式如下:
其中,公式中的焦距f、基线长度b等参数可以通过先验信息或者相机标定等方式得到。视差d=xs-xt可以基于监测对象在组内的一个复眼单元的像素点(xs, ys)以及在另一个复眼单元中的像素点(xt, yt)的对应关系得到。例如,通过极线约束等方式可以确定该对应关系。此外,在非理想成像模型的情况下,例如光轴不水平,可以先进行图像校正后再利用理想情况下的模型计算距离。
在一种可能的实现方式中,用于测距的一组复眼单元的位置关系至少包括以下至少之一:位于所述复眼摄像装置的同一行的最左端和最右端的复眼单元;位于所述复眼摄像装置的同一列的最上端和最下端的复眼单元;位于所述复眼摄像装置的同一行且能够拍摄到所述监测对象的最左端和最右端的复眼单元;位于所述复眼摄像装置的同一列且能够拍摄到所述监测对象的最上端和最下端的复眼单元。
上述一组复眼单元的位置关系仅是示例而非限制,也可以采用其他的方式选取用于测距的一组复眼单元。例如,随机选取。
此外,如果监测区域出现了多个监测对象,可以通过相同组或不同组的复眼单元对这些监测对象分别进行测距。例如,通过A1组和A2组复眼单元对监测对象M1和M2进行测距。例如,通过A1组和A2组复眼单元对监测对象M1进行测距,通过A3组和A4组复眼单元对监测对象M2进行测距。再如,通过A1组和A2组复眼单元对监测对象M1进行测距,通过A1组和A3组复眼单元对监测对象M2进行测距。
在一种可能的实现方式中,如图6所示,该方法还包括:
S203、根据所述融合后的距离以及所述监测对象的图像大小,确定所述监测对象的高度;
S204、根据所述监测对象的高度和所述监测对象的预测行动轨迹,预测所述监测对象的危险程度。
例如,监测对象的识别框的尺寸可以得到监测对象的图像大小(高度和宽带等),根据融合后的距离和监测对象的在图像中的高度可以估算出监测对象的高度。一般来说,距离相同的情况下,监测对象的在图像中的高度越高,监测对象实际的高度也越高。可以根据距离、图像高度与监测对象的实际高度的关系,估算出转换系数。在已知距离、图像高度的情况下,利用转换系数计算出监测对象的实际高度。监测对象的实际高度处于成年人身高范围的情况下,可以对应某个危险程度的值;监测对象的实际高度处于未成年人身高范围的情况下,可以对应另一个危险程度的值。
进一步地,根据监测对象的预测行动轨迹,可以得出监测对象行进的方向,例如是越来越靠近房屋,还是越来越远离房屋,两种情况可以分别对应不同的危险程度的值。
此外,多种因素所得到的某个监测对象的危险程度的值之后,还可以对这些值进行综合计算,得到考虑多种因素的更加准确的危险程度。例如,监测对象的预测行动轨迹对应的危险程度具有权重w1,实际高度对应的危险程度具有权重w2,利用各因素的危险程度的值及其权重,计算监测对象综合的危险程度。具体例如,预测行动轨迹对应的危险程度乘以权重w1,加上实际高度对应的危险程度乘以权重w2,可以等于监测对象综合的危险程度。
在一种可能的实现方式中,如图8所示,该方法还包括:S301、对所述监测区域图像所包括的监测对象进行轨迹预测,得到所述监测对象的预测行动轨迹,所述预测行动轨迹中包括所述监测对象将要出现的位置。
出现在复眼摄像装置的监测区域内的对象可能是移动的物体,通过上述视场扫描和图像拼接等处理,得到移动的物体的位置,移动的物体连续的位置变化可以形成该物体的轨迹。对该物体进行轨迹预测,可以得到监测对象后续潜在的行动轨迹,即预测行动轨迹。该预测行动轨迹可以包括该物体在后续某一个或多个时间点将要出现的位置。该物体的位置可以包括该物体的中心坐标和/或该物体的边界点坐标。例如,如果物体的预测框为方形,该物体的位置可以包括该预测框的中心点坐标和至少一个端点的坐标,或者该物体的位置可以包括该预测框的四个端点的坐标。如果物体将要出现的位置已经偏离了已开启的复眼单元的子视场,可以基于物体将要出现的位置继续开启对应的复眼单元,对物体进行连续拍摄。
此外,在轨迹预测场景中,基于监测对象打开的复眼单元,可以适当多于监测对象本身的覆盖的子视场对应的复眼单元。例如,可以打开监测对象本身的覆盖的子视场周围的子视场对应的复眼单元。监测对象覆盖的子视场对应的4个复眼单元B4、B5、B8、B9,可以打开这4个复眼单元以及其周边的几个复眼单元B1、B2、B6、B7、B13、B14。这样,即使物体移动到偏离原来的复眼单元的子视场,也能够拍摄到较为完整的物体图像,更有利于连续拍摄移动的物体的完整图像或视频。
示例性的,确定监测对象的初始位置后,连续拍摄移动的物体,可以利用前一帧或者连续前几帧预测在当前帧的监测对象的位置。如果监测对象在第m帧的位置为Pm,在第m+n帧的位置为Pmn,则监测对象在第m+2n帧的位置Pm2n的计算方法示例如下:
计算监测对象在第m+n帧与第m帧的位置差Pd为:
Pd=Pmn-Pm 公式6;
第m+2n帧与第m+n帧的间隔为n帧,第m+2n帧的位置Pm2n可以近似等于第m+n帧的位置加上该位置差Pd为:
Pm2n=Pmn+Pd =Pmn+(Pmn-Pm)=2Pmn-Pm 公式7。
上述示例中,帧数M和N可以为正整数。N的取值可以根据预测精度的需求进行设置,N的取值越小,预测精度越大;N的取值越大,计算量相对越小。监测对象在图像中的位置Pm、Pmn、Pm2n可以为例如图像坐标等信息。如果监测对象匀速运动或运动速度不快,Pm2n的计算结果会比较准确。即使监测对象运动速度较快,也可以通过调整需要间隔的n帧的长短来满足准确性要求。此外,基于图像坐标系、相机坐标系、世界坐标系等的转换关系,可以转换得到监测对象的真实位置等信息。其中,间隔的帧数n可以为正整数。
示例性的,也可以采用例如高斯混合模型、贝叶斯滤波算法、卡拉曼滤波算法等对监测对象进行轨迹预测。在预测得到的轨迹数据中可以获得监测对象在某一时间点将要出现的位置。
在一种可能的实现方式中,如图8所示,所述方法还包括:S302、在下一时间点打开所述监测对象将要出现的位置所处的子视场对应的复眼单元。
示例性地,下一时间点可以包括但不限于下一帧、下一秒、间隔10秒后、间隔1分钟后等,具体可以根据实际应用场景的需求进行设置,本公开不做限定。
可以预先训练轨迹预测模型,然后利用训练好的轨迹预测模型拍摄的图像或视频预测得到监测对象将要出现的位置后,如果该位置所处的子视场偏离了之前的子视场,可以基于新的子视场,确定下一时间点需要打开的复眼单元。打开新的复眼单元后,还可以根据具体需求调整分辨率、焦距等摄像参数信息。
在一种可能的实现方式中,所述方法还包括以下至少之一:对所述监测区域图像所包括的监测对象进行物体识别,确定所述监测对象的类别;对所述监测区域图像所包括的监测对象进行人形识别,确定所述监测对象是否为人类;对所述监测区域图像所包括的监测对象进行人脸识别,确定所述监测对象的身份。
例如,物体识别可以包括物体定位和物体分类,可以采用R-CNN(Region-basedConvolutional Neural Network,基于区域的卷积神经网络)、Faster R-CNN(快速R-CNN)、YOLO(You Only Look Once仅,看一次)、SSD(Single Shot MultiBox Detector,单阶段多框检测)等算法实现物体识别。例如,采用R-CNN算法,首先需要找到一些假设的区域例如ROI(region Of Interest,感兴趣区域);然后,在这些假设区域上进行分类和位置回归等实现物体识别。
再如,可以采用机器学习、深度学习等方法进行人形识别或人脸识别。其中,机器学习可以包括主成分分析、线性判别分析或支持向量机等方法。深度学习可以包括监督学习、无监督学习等方法。例如,基于CNN的人脸识别方法,主要包括:训练数据、CNN架构和损失函数。这几个因素可以影响人脸识别的准确性。
在一种可能的实现方式中,复眼摄像装置中可以预先保存与图像优化相关的各种光学参数、摄像参数。这些参数可以包括但不限于例如,眼单元的图像传感器、补光灯等进行图像采集时所涉及的相关参数等。利用这些参数可以建立图像优化模型。然后,信号处理器等利用这些参数建立的图像优化模型,可以对复眼单元采集的原始像素信息进行处理,得到监测对象的高质量图像。
由于复眼摄像装置包括若干个复眼单元,与普通的单目或双目摄像机相比,人工对复眼摄像装置进行清洁和保养比较困难,难以达到较好的清洁和保养效果,因此复眼摄像装置的除尘和防水显得更加重要。
在本公开实施例中,复眼摄像装置可以包括静电除尘电路,该复眼摄像装置的控制方法还可以包括:每间隔设定时间,向所述复眼单元的表面发送静电脉冲,以去除所述复眼单元表面的灰尘。
例如,复眼摄像装置的控制器通过静电除尘电路定期向复眼单元发送静电脉冲,可以去除复眼单元表面的灰尘。由于复眼单元数量较多,复眼摄像装置的控制器可以控制静电除尘电路同时向所有复眼单元发送静电脉冲,也可以每次向部分复眼单元发送静电脉冲,从而分批对复眼单元表面的灰尘进行清洁。此外,也可以和上述的视场扫描步骤结合,如果在S101中扫描得到至少一个监测对象的情况,则可以基于扫描得到至少一个监测对象的所覆盖的子视场,向需要打开的复眼单元的表面发送静电脉冲。这样,可以有利于使得工作中的复眼单元拍摄到更加清晰的图像。
在一种可能的实现方式中,复眼摄像装置的复眼单元的表面具有能够产生荷叶效应的透明层。荷叶效应通常是指荷叶(或称为莲叶)表面具有疏水、自洁等特性。这是因为,荷叶的表面有一层茸毛和一些微小的蜡质颗粒,水在这些纳米级的微小颗粒上不会向莲叶表面其他方向蔓延,而是形成一个个球体,从而形成滚动的水珠,这些滚动的水珠会带走荷叶表面的灰尘,从而清洁荷叶表面。在一个或多个复眼单元的透镜表面的能够产生荷叶效应的透明层,有利于在复眼单元表面形成滚动的水滴以带走透镜表面的灰尘,并且可以选择透明度高的材料,对复眼摄像装置的透光率影响较小,整体的拍摄效果好。此外,复眼摄像装置表面非复眼单元的部分也可以具有能够产生荷叶效应的材料,该材料与复眼单元表面的材料可以相同,也可以不同。这样,从复眼单元滚落的水珠可以更快的滚落到复眼摄像装置之外,有利于提高整体的清洁和防水效果。可选的,可以采用喷涂、电镀、浸渍等方式在复眼摄像装置表面形成能够产生荷叶效应的材料。
图9为根据本公开一实施例的复眼摄像装置的结构示意图。该复眼摄像装置可以包括用于进行图像采集的多个复眼单元。进一步地,该装置还可以包括:
视场扫描模块601,用于在第一工作模式下对复眼摄像装置进行视场扫描,所述复眼摄像装置的视场包括所述多个复眼单元的子视场;
控制模块602,用于在扫描得到至少一个监测对象的情况下,基于所述至少一个监测对象的所覆盖的子视场,打开所述至少一个监测对象所对应的至少一个复眼单元;
参数调整模块603,用于调整所述监测对象所对应的至少一个复眼单元的摄像参数信息,启动第二工作模式;
图像采集模块604,用于在所述第二工作模式下,使用调整后的复眼单元进行图像采集,得到监测区域图像;
其中,所述第二工作模式的功耗、数据量和分辨率的至少之一高于所述第一工作模式。
本公开实施例提供的技术方案,能够根据监测对象灵活地控制复眼摄像装置,使得复眼摄像装置的性能更加优化。例如在合适的时机采用合适的工作模式,合理控制复眼摄像装置的功耗、数据量或分辨率等,有利于减少不必要的能量损耗,获得更好的拍摄效果。
在一种可能的实现方式中,所述第一工作模式为低功耗、低数据量和低分辨率的至少之一的模式,所述第二工作模式为高功耗、高数据量和高分辨率的至少之一的模式。
在一种可能的实现方式中,一个子视场对应一个复眼单元,不同子视场之间部分重叠,所述视场扫描模块601用于对复眼摄像装置进行视场扫描,包括:按照设定顺序和设定时间打开所述复眼摄像装置的复眼单元,利用打开的复眼单元扫描其对应的子视场,并关闭扫描后的复眼单元。
在一种可能的实现方式中,所述视场扫描模块601用于按照设定顺序和设定时间打开所述复眼摄像装置的复眼单元,包括以下至少之一:按照从上到下或从下到上的顺序,每间隔设定时间打开至少一行复眼单元;按照从左到右或从右到左的顺序,每间隔设定时间打开至少一列复眼单元;按照编号顺序,每间隔设定时间打开指定编号的至少一个复眼单元。
在一种可能的实现方式中,所述视场扫描模块601用于对复眼摄像装置进行视场扫描,还包括:利用红外探测器或雷达对复眼摄像装置进行视场扫描。
在一种可能的实现方式中,所述控制模块602用于基于所述至少一个监测对象的所覆盖的子视场,打开所述至少一个监测对象所对应的至少一个复眼单元,包括:打开每个所述监测对象所覆盖的子视场所对应的至少一个复眼单元。
在一种可能的实现方式中,所述参数调整模块603用于调整所述监测对象所对应的至少一个复眼单元的摄像参数信息,包括:将所述监测对象所对应的至少一个复眼单元的第一摄像参数信息调整为第二摄像参数信息;其中,所述第一摄像参数信息和所述第二摄像参数信息的关系包括以下至少之一:
所述第一摄像参数信息中的第一分辨率调整低于所述第二摄像参数信息中的第二分辨率;
所述第一摄像参数信息中的第一焦距长于所述第二摄像参数信息中的第二焦距。
在一种可能的实现方式中,如图10所示,所述装置还包括:
测距模块701,用于利用所述复眼摄像装置的多组复眼单元,分别测量监测对象与所述复眼摄像装置之间的距离,每组复眼单元包括两个复眼单元;
融合模块702,用于对多组复眼单元测量得到的距离进行融合,得到融合后的距离。
在一种可能的实现方式中,所述每组复眼单元测量得到的距离D的公式如下:
其中,f为组内两个复眼单元的焦距,b为组内两个复眼单元之间的基线长度,d为组内两个复眼单元之间的视差。
在一种可能的实现方式中,用于测距的一组复眼单元的位置关系至少包括以下至少之一:位于所述复眼摄像装置的同一行的最左端和最右端的复眼单元;位于所述复眼摄像装置的同一列的最上端和最下端的复眼单元;位于所述复眼摄像装置的同一行且能够拍摄到所述监测对象的最左端和最右端的复眼单元;位于所述复眼摄像装置的同一列且能够拍摄到所述监测对象的最上端和最下端的复眼单元。
在一种可能的实现方式中,所述装置还包括:
高度确定模块703,用于根据所述融合后的距离以及所述监测对象的图像大小,确定所述监测对象的高度;
危险预测模块704,用于根据所述监测对象的高度和所述监测对象的预测行动轨迹,预测所述监测对象的危险程度。
在一种可能的实现方式中,如图11所示,所述装置还包括:轨迹预测模块801,用于对所述监测区域图像所包括的监测对象进行轨迹预测,得到所述监测对象的预测行动轨迹,所述预测行动轨迹中包括所述监测对象将要出现的位置。
在一种可能的实现方式中,所述控制模块还用于在下一时间点打开所述监测对象将要出现的位置所处的子视场对应的复眼单元。
在一种可能的实现方式中,所述装置还包括以下至少之一:
物体识别模块,用于对所述监测区域图像所包括的监测对象进行物体识别,确定所述监测对象的类别;
人形识别模块,用于对所述监测区域图像所包括的监测对象进行人形识别,确定所述监测对象是否为人类;
人脸识别模块,用于对所述监测区域图像所包括的监测对象进行人脸识别,确定所述监测对象的身份。
在一种可能的实现方式中,所述装置还包括:静电除尘电路901,用于每间隔设定时间,向所述复眼单元的表面发送静电脉冲,以去除所述复眼单元表面的灰尘。
在一种可能的实现方式中,所述复眼单元的表面具有能够产生荷叶效应的透明层。
本公开实施例中复眼摄像装置的各个模块和/或单元的功能可以参见复眼摄像装置控制方法实施例中各个步骤的相关描述,在此不再赘述。
需要说明的是,本公开实施例中对各功能单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本公开的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)或处理器(processor)执行本公开各个实施例提供的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
图12为根据本公开一实施例的电子设备的结构框图。如图12所示,该电子设备包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。存储器910和处理器920的数量可以为一个或多个。存储器910可以存储一个或多个计算机程序,当该一个或多个计算机程序被该电子设备执行时,使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括多个复眼单元(图中未示出),具体参见上述实施例中关于复眼摄像装置中的复眼单元的相关描述。
该电子设备还包括:通信接口930,用于与外界设备进行通信,进行数据交互传输。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture ,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本公开实施例还提供一种计算机可读存储介质,其存储有计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行上述方法实施例提供的方法。
本公开实施例还提供一种计算机程序产品,所述计算机程序产品用于存储计算机程序,该计算机程序被计算机执行时,所述计算机可以实现上述方法实施例提供的方法。
本公开实施例还提供一种芯片,所述芯片与存储器耦合,所述芯片用于实现上述方法实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(Advanced RISC Machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机存取存储器,还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用。例如,静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic Random Access Memory ,DRAM) 、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(例如:红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(例如:固态硬盘(Solid State Disk,SSD))等。值得注意的是,本公开提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本公开实施例的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
在本公开实施例的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。