CN115836246A - 多针孔相机和图像识别系统 - Google Patents

Abstract

针孔(301aa)与针孔(301ab)的间隔被设定为，在对位于与多针孔相机(301)相距小于规定距离(D)的距离的位置的被摄体(302)进行了拍摄时，使经由针孔(301aa、301ab)拍摄到的被摄体像(302a、302b)的重叠度在规定范围内的第一间隔(L1)。针孔(301ab)与针孔(301ac)的间隔被设定为，在对位于与多针孔相机(301)相距规定距离(D)以上的距离的位置的被摄体(302)进行了拍摄时，使经由针孔(301ab、301ac)拍摄到的被摄体像(302b、302c)的重叠度在规定范围内的、比第一间隔(L1)窄的第二间隔(L2)。

Description

多针孔相机和图像识别系统

技术领域

本发明涉及一种特别是家庭内或室内等需要保护隐私的环境中的图像识别系统以及使用于该图像识别系统的多针孔相机。

背景技术

在下述专利文献1中公开了如下的图像识别系统：通过将计算摄像图像输入到识别器，识别器使用已学习的识别模型来识别在该计算摄像图像中所包含的物体。另外，在下述专利文献1中，作为用于拍摄计算摄像图像的相机的一例，公开了使用形成有多个针孔的多针孔掩模的光场相机。

计算摄像图像是由于通过视点不同的多个图像重叠或者因不使用透镜而被摄体像难以对焦等影响来有意地生成的模糊而人难以视觉识别的图像。因此，为了构建特别是家庭内或室内等需要保护隐私的环境中的图像识别系统，优选使用计算摄像图像。

但是，在上述专利文献1中，没有详细地探讨在多针孔掩模如何设定多个针孔彼此的间隔。因此，根据相机与被摄体的距离，有可能由于得不到期望的模糊而无法保护被摄体的隐私。

现有技术文献

专利文献

专利文献1：国际公开第2019/054092号

发明内容

本发明的目的在于提供一种在图像识别系统中无论相机与被摄体的距离如何都能够保护被摄体的隐私的技术。

本发明的一实施方式涉及的多针孔相机包括：图像传感器；以及掩模，被配置在所述图像传感器的受光面与被摄体之间，具备形成有包含第一针孔、与该第一针孔相邻的第二针孔以及与该第二针孔相邻的第三针孔的多个针孔的掩模图案，所述第一针孔与所述第二针孔的间隔被设定为第一间隔，所述第一间隔是在利用所述多针孔相机对位于与所述多针孔相机相距小于规定距离的距离的位置的被摄体进行了拍摄时，使经由所述第一针孔和所述第二针孔拍摄到的两个被摄体像的重叠度在规定范围内的间隔，所述第二针孔与所述第三针孔的间隔被设定为比所述第一间隔窄的第二间隔，所述第二间隔是在利用所述多针孔相机对位于与所述多针孔相机相距所述规定距离以上的距离的位置的所述被摄体进行了拍摄时，使经由所述第二针孔和所述第三针孔拍摄到的两个被摄体像的重叠度在所述规定范围内的间隔。

附图说明

图1是表示实施方式所涉及的图像识别系统的结构的示意图。

图2是表示图像识别系统的主要处理的过程的流程图。

图3是示意性地表示以无透镜方式构成的多针孔相机的构造的图。

图4A是表示多针孔掩模的结构的示意图。

图4B是表示多针孔相机的摄像图像的一例的图。

图4C是表示多针孔相机的摄像图像的一例的图。

图5A是表示多针孔掩模的结构的示意图。

图5B是表示多针孔相机的摄像图像的一例的图。

图5C是表示多针孔相机的摄像图像的一例的图。

图6A是表示多针孔掩模的结构的示意图。

图6B是表示多针孔相机的摄像图像的一例的图。

图6C是表示多针孔相机的摄像图像的一例的图。

图7是表示多针孔相机与被摄体的规定距离的图。

图8是表示学习装置的主要处理的过程的流程图。

图9是表示第一变形例所涉及的多针孔相机的构造的示意图。

图10是表示第二变形例所涉及的多针孔相机的构造的示意图。

图11是表示第三变形例的第一例所涉及的多针孔相机的构造的示意图。

图12是表示第三变形例的第二例所涉及的多针孔相机的构造的示意图。

图13A是表示变形例所涉及的多针孔相机的结构的示意图。

图13B是表示变形例所涉及的多针孔相机的结构的示意图。

图13C是表示变形例所涉及的多针孔相机的结构的示意图。

图13D是表示变形例所涉及的多针孔相机的结构的示意图。

图14A是表示变形例所涉及的多针孔相机的结构的示意图。

图14B是表示变形例所涉及的多针孔相机的结构的示意图。

图14C是表示变形例所涉及的多针孔相机的结构的示意图。

图14D是表示变形例所涉及的多针孔相机的结构的示意图。

图15是表示变形例所涉及的多针孔相机的结构的示意图。

图16是表示变形例所涉及的多针孔相机的结构的示意图。

图17是表示变形例所涉及的多针孔相机的结构的示意图。

图18A是表示变形例所涉及的多针孔相机的结构的示意图。

图18B是表示变形例所涉及的多针孔相机的结构的示意图。

图18C是表示变形例所涉及的多针孔相机的结构的示意图。

图18D是表示变形例所涉及的多针孔相机的结构的示意图。

图18E是表示变形例所涉及的多针孔相机的结构的示意图。

图18F是表示变形例所涉及的多针孔相机的结构的示意图。

图19A是表示变形例所涉及的多针孔相机的结构的示意图。

图19B是表示变形例所涉及的多针孔相机的结构的示意图。

图19C是表示变形例所涉及的多针孔相机的结构的示意图。

具体实施方式

本发明的基础知识

在家庭内或室内等中，环境内人的行动识别、设备操作者的人识别等各种各样的识别技术是重要的。近年，为了物体识别，被称为深度学习的技术备受关注。深度学习是使用多层结构的神经网络的机器学习，通过利用大量的学习数据，能够实现与以往方法相比更高精度的识别性能。在这样的物体识别中，图像信息特别有效。提出了通过在输入设备中使用相机并进行以图像信息为输入的深度学习来大幅提高以往的物体识别能力的各种各样的方法。

但是，在家庭内等配置相机时存在如下问题：在由于黑客攻击等而拍摄图像泄漏到外部的情况下，隐私受到侵害。因而，需要采取用于即使在拍摄图像泄漏到外部的情况下也保护被摄体的隐私的对策。

利用多针孔相机等拍摄到的计算摄像图像是由于通过视点不同的多个图像重叠或者因不使用透镜而被摄体像难以对焦等影响来有意地生成的模糊而人难以视觉识别的图像。因此，为了构建特别是家庭内或室内等需要保护隐私的环境中的图像识别系统，优选使用计算摄像图像。

在上述专利文献1所公开的图像识别系统中，利用具有多针孔掩模的光场相机等对对象区域进行拍摄，将通过该拍摄所获取的计算摄像图像输入到识别器。由此，识别器使用已学习的识别模型来识别在该计算摄像图像中所包含的物体。通过这样利用拍摄计算摄像图像的光场相机等对对象区域进行拍摄，即使在拍摄图像泄漏到外部的情况下，由于人难以对计算摄像图像进行视觉识别，因此也能够保护被摄体的隐私。

但是，在上述专利文献1中，关于在多针孔掩模中如何设定多个针孔彼此的间隔，没有详细地研究。因此，根据相机与被摄体的距离，有可能由于得不到期望的视觉识别的难度而无法保护被摄体的隐私。例如，如果针孔彼此的间隔过宽，则在相机与被摄体的距离比较远的情况下，相对于小的被摄体像而言偏移量过大，其结果，多个被摄体像彼此不重叠而导致识别出被摄体的脸。另一方面，如果针孔彼此的间隔过窄，则在相机与被摄体的距离比较近的情况下，相对于大的被摄体像而言偏移量过小，其结果，导致识别出被摄体的脸。

为了解决所述问题，本发明的发明人得到如下见解并想到了本发明：使用形成有间隔不同的至少3个针孔的掩模图案，以使被摄体像的重叠度在规定范围内的方式设定各个间隔，由此无论相机与被摄体的距离如何都能够保护被摄体的隐私。

接着，对本发明的各实施方式进行说明。

本发明的一实施方式涉及的多针孔相机包括：图像传感器；以及掩模，被配置在所述图像传感器的受光面与被摄体之间，具备形成有包含第一针孔、与该第一针孔相邻的第二针孔以及与该第二针孔相邻的第三针孔的多个针孔的掩模图案，所述第一针孔与所述第二针孔的间隔被设定为第一间隔，所述第一间隔是在利用所述多针孔相机对位于与所述多针孔相机相距小于规定距离的距离的位置的被摄体进行了拍摄时，使经由所述第一针孔和所述第二针孔拍摄到的两个被摄体像的重叠度在规定范围内的间隔，所述第二针孔与所述第三针孔的间隔被设定为比所述第一间隔窄的第二间隔，所述第二间隔是在利用所述多针孔相机对位于与所述多针孔相机相距所述规定距离以上的距离的位置的所述被摄体进行了拍摄时，使经由所述第二针孔和所述第三针孔拍摄到的两个被摄体像的重叠度在所述规定范围内的间隔。

根据该构成，在被摄体位于与多针孔相机相距小于规定距离的距离的位置的情况下，通过使经由第一针孔和第二针孔拍摄到的两个被摄体像的重叠度在规定范围内，由于多重像的重叠而多个被摄体像成为在人的视觉上无法个别识别的状态，因此被摄体的隐私得到保护。而且，在被摄体位于与多针孔相机相距规定距离以上的距离的位置的情况下，通过使经由第二针孔和第三针孔拍摄到的两个被摄体像的重叠度在规定范围内，由于多重像的重叠而多个被摄体像成为在人的视觉上无法个别识别的状态，因此被摄体的隐私得到保护。其结果，无论多针孔相机与被摄体的距离如何都能够保护被摄体的隐私。

在上述实施方式，在利用所述多针孔相机对位于与所述多针孔相机相距所述规定距离以上的距离的位置的所述被摄体进行了拍摄时，经由所述第一针孔和所述第二针孔拍摄到的两个被摄体像的重叠度在所述规定范围外，在利用所述多针孔相机对位于与所述多针孔相机相距小于所述规定距离的距离的位置的所述被摄体进行了拍摄时，经由所述第二针孔和所述第三针孔拍摄到的两个被摄体像的重叠度在所述规定范围外。

根据该构成，即使在仅通过第一间隔以及第二间隔的一方无法完全保护被摄体的隐私的情况下，通过使第一间隔以及第二间隔在同1个多针孔掩模内混合存在，无论多针孔相机与被摄体的距离如何，都能够保护被摄体的隐私。

在上述实施方式，所述多针孔相机不具有使来自被摄体的光成像于所述图像传感器上的光学系统。

根据该构成，因为多针孔相机不具有使来自被摄体的光成像于所述图像传感器上的光学系统，能够在由多针孔相机拍摄的摄像图像中有意地生成模糊。其结果，使人更难以视觉识别包含在该摄像图像中的被摄体，因此能够进一步提高被摄体的隐私的保护效果。

在上述实施方式，也可以是，所述第一针孔、所述第二针孔以及所述第三针孔各自的开口面积互不相同。

根据该构成，由于各针孔的开口面积不同，因此各被摄体像的模糊程度也不同。通过让模糊程度不同的多个被摄体像混合存在使摄像图像变得更复杂。其结果，人更难以视觉识别包含在该摄像图像中的被摄体，因此能够进一步提高被摄体的隐私的保护效果。

在上述实施方式，也可以是，在将所述掩模划分为多个区域时，在所述掩模图案，在所述多个区域的各区域包含具有所述第一针孔和所述第二针孔的针孔组以及具有所述第三针孔和所述第二针孔的针孔组。

根据该构成，即使在多针孔相机的正面方向与被摄体的位置所成的角度大的情况下，也能够使来自被摄体的光经由靠近被摄体的一侧的针孔组到达图像传感器。其结果，可以扩大能够实现多重像的视角。

在上述实施方式，也可以是，在所述掩模图案，具有所述第一针孔和所述第二针孔的针孔组的数量比具有所述第三针孔和所述第二针孔的针孔组的数量多。

根据该构成，在被摄体位于与多针孔相机相距小于规定距离的距离的位置的情况下，能够增加有效的多重像的重叠的数量。其结果，人更难以视觉识别包含在摄像图像中的被摄体，因此能够进一步提高被摄体的隐私的保护效果。在多针孔相机与被摄体的距离容易变近的室内的运用中特别有效。

在上述实施方式，也可以是，在所述掩模图案，具有所述第三针孔和所述第二针孔的针孔组的数量比具有所述第一针孔和所述第二针孔的针孔组的数量多。

根据该构成，在被摄体位于与多针孔相机相距在规定距离以上的距离的位置的情况下，能够增加有效的多重像的重叠的数量。其结果，人更难以视觉识别包含在摄像图像中的被摄体，因此能够进一步提高被摄体的隐私的保护效果。在多针孔相机与被摄体的距离容易变远的室外的运用中特别有效。

本发明的另一实施方式涉及的图像识别系统包括：上述实施方式涉及的多针孔相机；识别部，基于图像识别模型识别利用所述多针孔相机拍摄到的图像；以及输出部，输出所述识别部的识别结果。

根据该构成，在被摄体位于与多针孔相机相距小于规定距离的距离的位置的情况下，通过使经由第一针孔和第二针孔拍摄到的两个被摄体像的重叠度在规定范围内，由于多重像的重叠而多个被摄体像成为在人的视觉上无法个别识别的状态，因此被摄体的隐私得到保护。而且，在被摄体位于与多针孔相机相距规定距离以上的距离的位置的情况下，通过使经由第二针孔和第三针孔拍摄到的两个被摄体像的重叠度在规定范围内，由于多重像的重叠而多个被摄体像成为在人的视觉上无法个别识别的状态，因此被摄体的隐私得到保护。其结果，无论多针孔相机与被摄体的距离如何都能够保护被摄体的隐私。

本发明也可以作为让计算机执行该方法所包含的特征性的各构成要素的计算机程序来实现，或作为基于该计算机程序而动作的装置或系统来实现。而且，不用说，也可以使该计算机程序通过CD-ROM等的计算机可读取的非暂时性的记录介质进行流通或者通过英特网等的通信网络进行流通。

另外，在以下说明的各实施方式都是表示本发明的一具体例子的实施方式。在以下的实施方式所示的数值、形状、构成要素、步骤、步骤的顺序等只不过是一个具体例，并不用于限定本发明。而且，以下的实施方式中的构成要素之中、没有记载在表示最上位概念的独立权利要求中的构成要素作为任意的构成要素而被说明。而且，对于所有的实施方式，可以任意地组合它们的内容。

以下，利用附图对本发明的实施方式进行详细说明。另外，在不同的附图被赋予相同的符号的要素为相同或相应的要素。

本发明的实施方式

图1是表示本发明的实施方式所涉及的图像识别系统10的结构的示意图。图像识别系统10具备学习装置20和识别装置30。识别装置30具有多针孔相机301、识别部106以及输出部107。识别部106包括CPU等处理器和半导体存储器等存储器。输出部107包括显示装置或扬声器等。另外，学习装置20具有学习数据库102、PSF信息获取部103、数据库修正部104以及学习部105。学习数据库102包括HDD、SSD或半导体存储器等存储部。PSF信息获取部103、数据库修正部104以及学习部105包括CPU等处理器。

图2是表示图像识别系统10的主要处理的过程的流程图。该流程图中示出了由识别装置30进行的图像的识别处理的流程。首先，多针孔相机301对图像识别对象的被摄体所在的对象区域进行拍摄，将通过该拍摄所得到的计算摄像图像输入到识别部106(步骤S101)。接着，识别部106使用已学习的图像识别模型来识别该计算摄像图像(步骤S102)。该图像识别模型是通过学习装置20的学习来创建的图像识别模型。接着，输出部107输出识别部106的识别的结果。稍后叙述各步骤的处理的详情。

多针孔相机301不同于拍摄人容易视觉识别的通常的图像的通常的相机，拍摄由于多重像而人难以视觉识别的图像即计算摄像图像。计算摄像图像是人即使看到摄像图像本身也无法识别被摄体、但是通过对拍摄到的计算摄像图像实施图像处理而能够生成人能够识别或识别部106能够识别的图像的图像。

图3是示意性地表示以无透镜方式构成的多针孔相机301的构造的图。图3所示的多针孔相机301具有多针孔掩模301a和CMOS等图像传感器301b。多针孔掩模301a在图像传感器301b与被摄体302之间被配置成与图像传感器301b的受光面相距固定距离。在多针孔掩模301a与图像传感器301b之间也可以配置有用于IR截止和防止反射的盖玻璃。盖玻璃与图像传感器301b既可以分离，也可以接触。盖玻璃与多针孔掩模301a既可以分离，也可以接触。图像传感器301b、盖玻璃以及多针孔掩模301a是由在内部形成有保持它们的支架或支柱的壳体来支承的。

多针孔掩模301a具有按此顺序以直线状排列的多个针孔301aa至301ac。针孔301aa与针孔301ab的间隔是L1，针孔301ab与针孔301ac的间隔是L2(<L1)。在本实施方式的例子中，针孔301aa至301ac的形状及开口面积彼此相等。将多个针孔301aa至301ac还称为多针孔。图像传感器301b通过各针孔301aa至301ac获取被摄体302的图像。将通过针孔获取的图像称为针孔图像。此外，多个针孔301aa至301ac未必需要以直线状排列，例如也可以是在不等边三角形的各顶点配置各针孔301aa至301ac的形态。

被摄体302的针孔图像根据各针孔301aa至301ac的位置及大小而不同，因此图像传感器301b获取多个针孔图像稍微偏移地重合的状态(即多重像)的重叠图像。多个针孔301aa至301ac的位置关系对被投影到图像传感器301b上的多个针孔图像的位置关系(即多重像的重叠程度)产生影响，针孔301aa至301ac的大小对针孔图像的模糊程度产生影响。

通过使用多针孔掩模301a，能够将位置及模糊程度不同的多个针孔图像重叠地获取。也就是说，能够获取由于视点不同的多个图像重叠或者因不使用透镜而被摄体像难以对焦等影响而人难以视觉识别的计算摄像图像。因此，拍摄得到的图像成为多重像且模糊的图像，能够获取通过这些影响来保护了被摄体302的隐私的图像。另外，通过改变各针孔的数量、位置以及大小，能够获取多重像的重叠程度及模糊程度不同的图像。也就是说，也可以设为能够由用户容易地装卸多针孔掩模301a的构造，预先准备掩模图案不同的多个种类的多针孔掩模301a，设为能够由用户自由地更换要使用的多针孔掩模301a的结构。

此外，关于这样的掩模的变更，除了更换掩模以外，还能够通过以下各种方法等来实现：

·用户任意地使转动自如地安装在图像传感器前的掩模旋转；

·用户在安装在图像传感器前的板的任意的部位进行开孔；

·通过使用利用了空间光调制器等的液晶掩模等，任意地设定掩模内的各位置的透过率；

·使用橡胶等能够伸缩的材质来成形掩模，通过施加外力来使掩模发生物理变形，由此改变孔的位置及大小。以下，依次说明这些变形例。

<用户任意地使掩模旋转的变形例>

图13A至图13D是表示用户能够任意地旋转掩模的多针孔相机301的结构的示意图。图13A表示用户能够任意地旋转掩模的多针孔相机301的概观，图13B表示其截面的示意图。多针孔相机301具有能够相对于其壳体401旋转的多针孔掩模301a，在多针孔掩模301a上连接有把持部402。用户通过对把持部402进行把持并进行操作，能够使多针孔掩模301a相对于壳体401固定或旋转。关于这样的机构，可以在把持部402处设置螺钉，通过拧紧该螺钉来固定多针孔掩模301a，通过松开螺钉来使多针孔掩模301a旋转。图13C和图13D表示在使把持部402旋转了90度时多针孔掩模301a旋转90度的示意图。这样，通过由用户使该把持部402运动，能够使多针孔掩模301a旋转。

另外，在用户能够任意地旋转掩模的多针孔相机301中，也可以将多针孔掩模301a如图13C所示那样设为相对于旋转非对称的针孔配置。通过这样，通过由用户旋转掩模，能够实现各种各样的多针孔图案。

当然，用户能够任意地旋转掩模的多针孔相机301的结构也可以是不具有把持部402的结构。图14A、图14B是表示用户能够任意地旋转掩模的多针孔相机301的其它结构例的示意图。图14A表示用户能够任意地旋转掩模的多针孔相机301的其它结构例的概观，图14B表示其截面的示意图。多针孔掩模301a被固定于镜筒411。另外，图像传感器301b设置于其它的镜筒412，镜筒411和镜筒412通过螺纹结构成为能够旋转的状态。即，在镜筒411的外侧存在镜筒412，在其接合部即镜筒411的外侧刻有阳螺纹，在镜筒412的内侧刻有阴螺纹。另外，在镜筒411的阳螺纹处，首先安装固定件413，之后安装镜筒412。在固定件413上，也与镜筒412同样地刻有阴螺纹。通过设为这样的结构，在将镜筒411拧入镜筒412时，根据固定件413拧入镜筒411的位置而拧入的深度发生变化，能够变更多针孔相机301的旋转角。

图14C、图14D是表示根据固定件413拧入镜筒411的位置而拧入的深度发生变化、且多针孔相机301的旋转角发生变化的示意图。图14C是在将固定件413拧入至镜筒411的深处的情况下的示意图，图14D是在将固定件413仅拧入至镜筒411的中途的情况下的示意图。如图14C所示，在将固定件413拧入至镜筒411的深处的情况下，能够将镜筒412拧入至镜筒411的深处。另一方面，如图14D所示，在将固定件413仅拧入至镜筒411的中途的情况下，将镜筒412只能拧入至镜筒411的中途。因此，根据固定件413拧入镜筒411的位置而拧入的深度发生变化，能够变更多针孔掩模301a的旋转角。

<用户在掩模开孔的变形例>

图15是用户在安装在图像传感器301b前的掩模301ab的任意的部位开出孔的多针孔相机301的截面的示意图。在图15中，关于与图13相同的结构要素附加相同的参照符号，并省略说明。在掩模301ab最初不存在针孔。对于该掩模301ab用户使用针等在任意的部位开出多个孔，由此能够制作任意的形状的多针孔掩模。

<利用空间光调制器来任意地设定掩模内的各位置的透过率的变形例>

图16是利用空间光调制器420来任意地设定掩模内的各位置的透过率的结构的多针孔相机301的截面的示意图。在图16中，关于与图15相同的结构要素附加相同的参照符号，并省略说明。空间光调制器420由液晶等构成，能够变更每个像素的透过率。该空间光调制器420作为多针孔掩模发挥功能。关于透过率的变更，能够由省略图示的空间光调制器控制部进行控制。因此，通过由用户从事先准备的多个透过率图案中选择任意的图案，能够实现各种各样的掩模图案(多针孔图案)。

<通过施加外力来使掩模变形的变形例>

图17、图18A至图18F是通过施加外力来使掩模变形的结构的多针孔相机301的截面的示意图。在图17中，关于与图15相同的结构要素附加相同的参照符号，并省略说明。多针孔掩模301ac由多个掩模301a1、301a2、301a3构成，各掩模具有独立地施加外力的驱动部(未图示)。图18A至图18C是用于说明构成多针孔掩模301ac的3片掩模301a1、301a2、301a3的示意图。在此，各掩模是扇型与圆环组合而成的形状。当然，该结构是一例，形状不限于扇形，构成的片数也不限于3片。在各掩模中形成有1个或多个针孔。此外，在掩模中也可以不形成针孔。在掩模301a1中形成有2个针孔301aa1、301aa2，在掩模301a2中形成有1个针孔301aa3，在掩模301a3中形成有2个针孔301aa4、301aa5。通过施加外力来使这三个掩模301a1至301a3运动，由此能够制作各种各样的多针孔图案。

图18D至图18F示出了由3片掩模301a1至301a3构成的3种多针孔掩模301ac。省略图示的各驱动部使各掩模301a1至301a3以不同的方式运动，由此在图18D、图18E中构成具有5个针孔的掩模，在图18F中构成具有4个针孔的掩模。关于这样的掩模的驱动部，能够使用在自动对焦等中广泛利用的超声波马达、线性马达来实现。这样，能够通过施加外力来使多针孔掩模301ac中的针孔的数量、位置发生变化。

当然，关于多针孔掩模，也可以不仅使针孔的数量、位置发生变化，还使其大小发生变化。图19A至图19C是用于说明通过施加外力来使掩模变形的结构的多针孔相机301中的多针孔掩模301ad的结构的示意图。多针孔掩模301ad具有多个针孔，由具有弹性的材质构成，具有能够独立地控制四角的4个驱动部421至424。当然，驱动部的数量不需要是4个。能够通过驱动各驱动部421至424来使多针孔掩模301ad中的针孔的位置、大小发生变化。

图19B是示出在使驱动部421至424向相同的方向驱动的情况下的情形的示意图。在该图中，驱动部421至424处所示的箭头的方向表示各驱动部的驱动方向。在该情况下，多针孔掩模301ad在驱动部的驱动方向上平行移动。另一方面，图19C是示出在使驱动部421至424从多针孔掩模301ad的中心部向朝外方向驱动的情况下的情形的示意图。在该情况下，多针孔掩模301ad根据弹性被拉伸，因此针孔的尺寸变大。关于这样的驱动部421至424，能够使用在自动对焦等中广泛利用的超声波马达、线性马达来实现。这样，能够通过施加外力来使多针孔掩模301ac中的针孔的位置、大小发生变化。

另外，即使是相同的被摄体且相同的多针孔掩模，多重像的形态也根据多针孔相机301与被摄体302的距离而不同。因此，在本实施方式所涉及的多针孔相机301中，通过使针孔彼此的间隔L1、L2不同，无论被摄体302与多针孔相机301的距离如何都拍摄具有有效的多重像的重叠的图像。

说明使针孔彼此的间隔L1、L2不同的方法的有效性。

图4A是表示在将针孔彼此的间隔统一成窄的间隔L2的情况下的多针孔掩模301a的结构的示意图。图4B是表示在对位于多针孔相机301的远方的被摄体302进行了拍摄时的摄像图像的图。图4C是表示在对位于多针孔相机301的附近的被摄体302进行了拍摄时的摄像图像的图。通过针孔301aa至301ac拍摄到的像分别成为被摄体像302a至302c。

在如图4A所示那样将针孔彼此的间隔统一成窄的间隔L2的情况下，通过各针孔301aa至301ac拍摄到的被摄体像302a至302c的偏移量变小。

因而，在因被摄体302位于多针孔相机301的远方而被摄体像小的情况下，通过各针孔拍摄到的被摄体像与通过相邻的针孔拍摄到的被摄体像有效地重叠。因此，如图4B所示，能够拍摄通过有效的多重像的重叠来保护了被摄体302的隐私的图像。

另一方面，在因被摄体302位于多针孔相机301的附近而被摄体像大的情况下，通过各针孔拍摄到的被摄体像与通过相邻的针孔拍摄到的被摄体像稍微重叠。但是，相对于被摄体像的大小而言偏移量过小，因此如图4C所示那样未成为有效的多重像的重叠，无法保护被摄体302的隐私。

图5A是表示在将针孔彼此的间隔统一成宽的间隔L1的情况下的多针孔掩模301a的结构的示意图。图5B是表示在对位于多针孔相机301的远方的被摄体302进行了拍摄时的摄像图像的图。图5C是表示在对位于多针孔相机301的附近的被摄体302进行了拍摄时的摄像图像的图。

在图5A所示那样将针孔彼此的间隔统一成宽的间隔L1的情况下，通过各针孔301aa至301ac拍摄到的被摄体像302a至302c的偏移量变大。

因而，在因被摄体302位于多针孔相机301的附近而被摄体像大的情况下，通过各针孔拍摄到的被摄体像与通过相邻的针孔拍摄到的被摄体像有效地重叠。因此，如图5C所示，能够拍摄通过有效的多重像的重叠来保护了被摄体302的隐私的图像。

另一方面，在因被摄体302位于多针孔相机301的远方而被摄体像小的情况下，相对于被摄体像的大小而言偏移量过大，因此通过各针孔拍摄到的被摄体像彼此不重叠，无法保护被摄体302的隐私。

这样，在将针孔彼此的间隔统一成L1或L2的情况下，难以关于离多针孔相机301的距离不同的全部的被摄体302都拍摄通过有效的多重像的重叠来保护了隐私的图像。

本实施方式所涉及的多针孔相机301的特征在于，包括具有多个针孔301aa至301ac的多针孔掩模301a，针孔彼此的间隔L1、L2不同。

图6A是表示本实施方式所涉及的多针孔掩模301a的结构的示意图。针孔301aa与针孔301ab的间隔是L1，针孔301ab与针孔301ac的间隔是L2(＜L1)。在图6A中示出形成有3个针孔301aa至301ac的例子，但是针孔的数量为3个以上即可。图6B是表示在对位于多针孔相机301的远方的被摄体302进行了拍摄时的摄像图像的图。图6C是表示在对位于多针孔相机301的附近的被摄体302进行了拍摄时的摄像图像的图。

如图6A所示，针孔彼此的间隔L1、L2不同。因而，通过各针孔301aa至301ac拍摄到的被摄体像302a至302c以不同的偏移量重叠。因此，即使在因被摄体302位于多针孔相机301的远方而被摄体像小的情况下，以及即使在因被摄体302位于多针孔相机301的附近而被摄体像大的情况下，通过各针孔拍摄到的被摄体像也与通过相邻的针孔拍摄到的被摄体像重叠。其结果，如图6B和图6C所示，能够拍摄通过有效的多重像的重叠来保护了被摄体302的隐私的图像。

具体地说，在因被摄体302位于与多针孔相机301相距规定距离D以上的远方而被摄体像小的情况(图6B)下，通过窄的间隔L2的针孔301ab、301ac拍摄到的被摄体像302b、302c彼此通过小的偏移量有效地重叠。另外，在因被摄体302位于与多针孔相机301相距小于规定距离D的附近而被摄体像大的情况(图6C)下，通过宽的间隔L1的针孔301aa、30lab拍摄到的被摄体像302a、302b彼此通过大的偏移量有效地重叠。由此，能够拍摄通过有效的多重像的重叠来保护了被摄体302的隐私的图像。此外，“有效地重叠”是指，通过彼此相邻的两个针孔得到的两个被摄体像的重叠度(面积的重叠程度)在规定的容许范围内。例如，容许范围的下限值是30％，上限值是90％。也就是说，在通过彼此相邻的两个针孔得到的两个被摄体像的重叠度为30％以上且90％以下的情况下，第三者即使看到摄像图像也无法个别地识别被摄体。

图7是表示多针孔相机301与被摄体302的规定距离D的图。关于规定距离D，根据间隔L1、L2、图像传感器301b与多针孔掩模301a的距离以及图像传感器301b的传感器尺寸及像素间距等来设定，例如设定为5m。在该例子中，在被摄体302位于与多针孔相机301相距小于5m的距离的位置的情况下，宽的间隔L1有效地起作用，由此被摄体像302a、302b彼此有效地重叠。另一方面，在被摄体302位于与多针孔相机301相距5m以上的距离的位置的情况下，窄的间隔L2有效地起作用，由此被摄体像302b、302c彼此有效地重叠。

此外，在利用多针孔相机301对位于与多针孔相机301相距规定距离D以上的距离的位置的被摄体302进行了拍摄的情况(图6B)下，经由宽的间隔L1的针孔301aa、301ab拍摄到的两个被摄体像302a、302b的重叠度在上述规定范围外(小于下限值30％)。同样地，在利用多针孔相机301对位于与多针孔相机301相距小于规定距离D的距离的位置的被摄体302进行了拍摄的情况(图6C)下，经由窄的间隔L2的针孔301ab、301ac拍摄到的两个被摄体像302b、302c的重叠度在上述规定范围外(上限值90％以上)。即使在这样仅通过间隔L1、L2的一方无法完全保护被摄体302的隐私的情况下，通过使间隔L1、L2在同1个多针孔掩模301a内混合存在，也无论多针孔相机301与被摄体302的距离如何都能够保护被摄体302的隐私。

另外，如图3所示，期望在多针孔相机301中不具有用于使来自被摄体302的光成像于图像传感器301b上的光学系统(透镜、棱镜、反射镜等)。通过省略光学系统，能够谋求相机的小型轻量化、成本削减以及设计性的提高，并且能够在该相机的摄像图像中有意地生成模糊。其结果，人更难以视觉识别包含在该摄像图像中的被摄体302，因此能够进一步提高被摄体302的隐私的保护效果。

参照图1来说明图像识别系统10。识别部106利用作为学习装置20的学习结果的图像识别模型，对于利用多针孔相机301拍摄到的对象区域的图像，识别在该图像中所包含的人(包括人的行动和表情等)、汽车、自行车或信号等被摄体的类别信息和各被摄体的位置信息。在用于创建图像识别模型的学习中，可以利用使用了多层神经网络的深度学习(DeepLearning)等的机器学习。

输出部107输出所述识别部106所识别出的结果。关于此，既可以设成具有接口部，通过图像、文本或声音等向用户呈现识别结果，也可以设成具有设备控制部，根据识别结果变更控制方法。

学习装置20具有学习数据库102、PSF信息获取部103、数据库修正部104以及学习部105。学习装置20与关于实际在对象区域的拍摄中使用的计算摄像相机101的PSF信息对应地，进行用于创建供识别部106使用的图像识别模型的学习。

另外，图8是表示图像识别系统10的学习装置20的主要处理的过程的流程图。

首先，PSF信息获取部103获取PSF信息，该PSF信息是利用计算摄像相机101拍摄到什么样的计算摄像图像这样的表示该计算摄像图像的形态的信息(步骤S201)。关于此，既可以使多针孔相机301具有发送部，使PSF信息获取部103具有接收部，通过有线或无线来交换PSF信息，也可以使PSF信息获取部103具有接口，用户对PSF信息获取部103输入PSF信息。

PSF(Point Spread Function：点扩散函数)是多针孔相机或编码孔径相机等相机的传递函数，通过以下的关系来表现。

y＝k＊x

在此，y是利用多针孔相机301拍摄到的存在模糊的计算摄像图像，k是PSF，x是利用不存在模糊的通常的相机对所拍摄的场景进行拍摄所得到的通常图像。另外，＊是卷积算子。

关于PSF，能够通过利用多针孔相机301对点光源进行拍摄来获取。这可以从PSF对应于相机的脉冲响应可知。也就是说，通过利用多针孔相机301对点光源进行拍摄所得到的点光源的摄像图像本身是作为多针孔相机301的摄像图像信息的PSF。在此，作为点光源的摄像图像，期望使用包括点亮状态的点光源的摄像图像与包括熄灭状态的该点光源的摄像图像的差分图像。

接着，数据库修正部104获取包含在学习数据库102中的不存在模糊的通常图像，学习部105获取包含在学习数据库102中的注释信息(步骤S202)。

接着，数据库修正部104利用PSF信息获取部103所获取的PSF信息，对学习数据库102进行修正(步骤S203)。例如在识别部106识别环境内的人的行动的情况下，学习数据库102保持有利用不存在模糊的通常的相机拍摄到的多个通常图像以及在各图像中人在哪个位置进行什么样的行动这样的对各图像赋予的注释信息(正确答案标签)。在利用通常的相机的情况下，只要对利用该相机拍摄到的图像赋予注释信息即可，但是在获取多针孔相机301的计算摄像图像的情况下，由于人看到该图像也不知道拍摄到什么，因此难以赋予注释信息。另外，即使使用利用与多针孔相机301大不相同的通常相机拍摄到的图像实施学习处理，识别部106的识别精度也不会提高。因此，保持对利用通常的相机拍摄到的图像事先赋予了注释信息的数据库来作为学习数据库102，与多针孔相机301的PSF信息相应地仅使拍摄图像发生变形，由此创建与该多针孔相机301相匹配的学习数据集，并实施学习处理，由此提高识别精度。为此，数据库修正部104针对事先准备的利用通常的相机得到的拍摄图像z，利用PSF信息获取部103所获取的PSF信息来计算以下的校正图像y。

y＝k＊z

在此，k表示PSF信息获取部103所获取的PSF信息，＊表示卷积算子。

学习部105利用这样由数据库修正部104计算出的校正图像和从学习数据库102获取的注释信息来实施学习处理(步骤S204)。例如在识别部106由多层的神经网络构建的情况下，将校正图像和注释信息用作训练数据(teacher data)，进行基于Deep Learning的机器学习。作为预测误差的校正算法，可以使用Back Propagation(反向传播)法等。由此，学习部105创建用于供识别部106识别利用多针孔相机301拍摄到的图像的图像识别模型。校正图像成为与多针孔相机301的PSF信息相匹配的图像，因此通过这样的学习，能够进行适合于多针孔相机301的学习，识别部106能够进行高精度的识别处理。

根据本实施方式，在被摄体302位于与多针孔相机301相距小于规定距离D的距离的位置的情况下，经由第一针孔301aa和第二针孔301ab拍摄到的两个被摄体像302a、302b的重叠度在规定范围内，由此，由于多重像的重叠而多个被摄体像成为在人的视觉上无法个别识别的状态，因此被摄体302的隐私得到保护。另外，在被摄体302位于与多针孔相机301相距规定距离D以上的距离的位置的情况下，经由第二针孔301ab和第三针孔301ac拍摄到的两个被摄体像302b、302c的重叠度在规定范围内，由此，由于多重像的重叠而多个被摄体像成为在人的视觉上无法个别识别的状态，因此被摄体302的隐私得到保护。其结果，无论多针孔相机301与被摄体302的距离如何都能够保护被摄体302的隐私。

第一变形例

在上述实施方式中，针孔301aa至301ac的开口面积被设定为彼此相等，但是也可以通过使直径或形状不同来使针孔301aa至301ac的开口面积互不相同。

图9是表示第一变形例所涉及的多针孔相机301的构造的示意图。在图9所示的例子中，中央的针孔301ab的开口面积被设定为最小，靠近针孔301ab的右侧的针孔301ac的开口面积被设定为第二小，离针孔301ab远的左侧的针孔301aa的开口面积被设定为最大。针孔的开口面积越大则被摄体像的模糊程度也越大，因此根据该例子，与针孔301aa对应的被摄体像302a的模糊程度最大。

根据本变形例，由于各针孔301aa至301ac的开口面积不同，因此各被摄体像302a至302c的模糊程度也不同。模糊程度不同的多个被摄体像302a至302c混合存在，由此摄像图像变得更复杂。其结果，人更难以视觉识别包含在该摄像图像中的被摄体302，因此能够进一步提高被摄体302的隐私的保护效果。

第二变形例

图10是表示第二变形例所涉及的多针孔相机301的构造的示意图。在图10所示的例子中，多针孔掩模301a的与图像传感器301b的受光面相向的主面被划分为右上区域UR、右下区域LR、左上区域UL以及左下区域LL的共计4个区域。在该主面的中央形成有1个针孔301ac。另外，在多个区域UR、LR、UL、LL的各区域形成有针孔301ab、301aa。由此，在多针孔掩模301a的掩模图案中，在多个区域UR、LR、UL、LL的各区域包含具有第一针孔301aa和第二针孔301ab的宽的间隔L1的针孔组以及具有第三针孔301ac和第二针孔301ab的窄的间隔L2的针孔组。此外，划分多针孔掩模301a的主面的区域的数量不限定于4个，只要2个以上即可。

设在该图的多针孔相机301中，在里侧存在图像传感器301b，在跟前侧存在被摄体302。此时，在被摄体302存在于右下区域的情况下，经过区域UL的针孔301ab、301aa的光在图像传感器301b不够大或入射角过大的情况下不被图像传感器301b接收。也就是说，在多针孔掩模301a的针孔仅存在于区域UL上的情况下，存在于右下区域的被摄体302不被拍摄、或者只有仅经过针孔301ac的光被接收，不成为多重像，无法保护被摄体302的隐私。同样地，在被摄体302存在于左上区域的情况下，经过区域LR的针孔301ab、301aa的光在图像传感器301b不够大或入射角过大的情况下不被图像传感器301b接收。也就是说，在多针孔掩模301a的针孔仅存在于区域LR上的情况下，存在于左上区域的被摄体302不被拍摄、或者只有仅经过针孔301ac的光被接收，不成为多重像，无法保护被摄体302的隐私。另一方面，本变形例的多针孔相机301在多个区域UR、LR、UL、LL的各区域包含具有第一针孔301aa和第二针孔301ab的宽的间隔L1的针孔组以及具有第三针孔301ac和第二针孔301ab的窄的间隔L2的针孔组，因此无论被摄体302的位置如何都能够保护被摄体的隐私。

根据本变形例，即使在多针孔相机301的正面方向与被摄体302的位置所成的角度大的情况(即被摄体位于相对于相机的正面倾斜的位置的情况)下，也能够使来自被摄体302的光经由靠近被摄体302的一侧的针孔组到达图像传感器301b。其结果，能够扩大能够实现多重像的重叠的多针孔相机301的视角。

第三变形例

图11是表示第三变形例的第一例所涉及的多针孔相机301的构造的示意图。在多针孔掩模301a的主面的中央形成有1个针孔301ab。另外，在针孔301ab的周围形成有3个针孔301aa和1个针孔301ac。由此，由第一针孔301aa和第二针孔301ab形成的宽的间隔L1的针孔组的数量(在该例子中为3组)比由第三针孔301ac和第二针孔301ab形成的窄的间隔L2的针孔组的数量(在该例子中为1组)多。此外，在该例子中不限定各针孔组的数量。

根据该结构，在被摄体302位于与多针孔相机301相距小于规定距离D的距离的位置的情况下，能够增加被摄体像的偏移量大的、有效的多重像的重叠的数量。其结果，人更难以视觉识别包含在摄像图像中的被摄体302，因此能够进一步提高被摄体302的隐私的保护效果。在多针孔相机301与被摄体302的距离容易变近的室内的运用中特别有效。

图12是表示第三变形例的第二例所涉及的多针孔相机301的构造的示意图。在多针孔掩模301a的主面的中央形成有1个针孔301ab。另外，在针孔301ab的周围形成有1个针孔301aa和3个针孔301ac。由此，由第三针孔301ac和第二针孔301ab形成的窄的间隔L2的针孔组的数量(在该例子中为3组)比由第一针孔301aa和第二针孔301ab形成的宽的间隔L1的针孔组的数量(在该例子中为1组)多。此外，在该例子中不限定各针孔组的数量。

根据该结构，在被摄体302位于与多针孔相机301相距规定距离D以上的距离的位置的情况下，能够增加被摄体像的偏移量小的、有效的多重像的重叠的数量。其结果，人更难以视觉识别包含在摄像图像中的被摄体302，因此能够进一步提高被摄体302的隐私的保护效果。在多针孔相机301与被摄体302的距离容易变远的室外的运用中特别有效。

产业上的可利用性

本发明所涉及的学习方法和识别方法在需要保护被摄体的隐私的环境下的图像识别系统中特别有用。

Claims (8)

1.一种多针孔相机，包括：

图像传感器；以及

掩模，被配置在所述图像传感器的受光面与被摄体之间，具备形成有包含第一针孔、与该第一针孔相邻的第二针孔以及与该第二针孔相邻的第三针孔的多个针孔的掩模图案，

所述第一针孔与所述第二针孔的间隔被设定为第一间隔，

所述第一间隔是在利用所述多针孔相机对位于与所述多针孔相机相距小于规定距离的距离的位置的被摄体进行了拍摄时，使经由所述第一针孔和所述第二针孔拍摄到的两个被摄体像的重叠度在规定范围内的间隔，

所述第二针孔与所述第三针孔的间隔被设定为比所述第一间隔窄的第二间隔，

所述第二间隔是在利用所述多针孔相机对位于与所述多针孔相机相距所述规定距离以上的距离的位置的所述被摄体进行了拍摄时，使经由所述第二针孔和所述第三针孔拍摄到的两个被摄体像的重叠度在所述规定范围内的间隔。

2.根据权利要求1所述的多针孔相机，其特征在于：

在利用所述多针孔相机对位于与所述多针孔相机相距所述规定距离以上的距离的位置的所述被摄体进行了拍摄时，经由所述第一针孔和所述第二针孔拍摄到的两个被摄体像的重叠度在所述规定范围外，

在利用所述多针孔相机对位于与所述多针孔相机相距小于所述规定距离的距离的位置的所述被摄体进行了拍摄时，经由所述第二针孔和所述第三针孔拍摄到的两个被摄体像的重叠度在所述规定范围外。

3.根据权利要求1或2所述的多针孔相机，其特征在于：

所述多针孔相机不具备使来自被摄体的光成像于所述图像传感器上的光学系统。

4.根据权利要求1至3中的任一项所述的多针孔相机，其特征在于：

所述第一针孔、所述第二针孔以及所述第三针孔各自的开口面积互不相同。

5.根据权利要求1至4中的任一项所述的多针孔相机，其特征在于：

在将所述掩模划分为多个区域时，在所述掩模图案，在所述多个区域的各区域包含具有所述第一针孔和所述第二针孔的针孔组以及具有所述第三针孔和所述第二针孔的针孔组。

6.根据权利要求1至4中的任一项所述的多针孔相机，其特征在于：

在所述掩模图案，具有所述第一针孔和所述第二针孔的针孔组的数量比具有所述第三针孔和所述第二针孔的针孔组的数量多。

7.根据权利要求1至4中的任一项所述的多针孔相机，其特征在于：

在所述掩模图案，具有所述第三针孔和所述第二针孔的针孔组的数量比具有所述第一针孔和所述第二针孔的针孔组的数量多。

8.一种图像识别系统，包括：

根据权利要求1至7中的任一项所述的多针孔相机；

识别部，基于图像识别模型识别利用所述多针孔相机拍摄到的图像；以及

输出部，输出所述识别部的识别结果。

Images