CN110115022A - 图像处理系统、光学传感器、以及学习装置 - Google Patents

图像处理系统、光学传感器、以及学习装置 Download PDF

Info

Publication number
CN110115022A
CN110115022A CN201780080629.3A CN201780080629A CN110115022A CN 110115022 A CN110115022 A CN 110115022A CN 201780080629 A CN201780080629 A CN 201780080629A CN 110115022 A CN110115022 A CN 110115022A
Authority
CN
China
Prior art keywords
subject
lens
image
image processing
optically focused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780080629.3A
Other languages
English (en)
Other versions
CN110115022B (zh
Inventor
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110115022A publication Critical patent/CN110115022A/zh
Application granted granted Critical
Publication of CN110115022B publication Critical patent/CN110115022B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

提供能够识别被摄体的多种属性的技术。本发明的一个方面的图像处理系统具有：光学传感器，该光学传感器具有光学部件和多个摄像元件，该光学部件使来自被摄体的光发生折射，并且具备多个透过部，该多个透过部被构成为因具有不同的光学特性从而所透过的光的折射模式各自不同，该多个摄像元件接收透过各所述透过部的光，分别形成映出所述被摄体的拍摄图像；以及信息处理装置，其通过将由各所述摄像元件获得的各所述拍摄图像输入到已完成被摄体的属性的学习的学习器中，来计算表示所述被摄体的属性的属性信息。

Description

图像处理系统、光学传感器、以及学习装置
技术领域
本发明涉及图像处理系统、光学传感器、以及学习装置。
背景技术
在专利文献1中提出了如下图像处理装置：通过使用了微透镜阵列与多个光学转换元件的光学传感器取得图像，利用以所取得的图像作为输入数据的机器学习，从该图像提取映出特征性被摄体的特征区域。根据该图像处理装置，从模型数据库提取与特征区域对应的模型图像信息、并生成与特征区域对应的合成图像信息，从而能够得到高精度的多维图像，其中该模型数据库存储有比预先规定的特征性被摄体的多维图像精度更高的多种模型图像信息。
此外，在专利文献2中提出了如下图像处理装置：通过使用了微透镜阵列和多个光学转换元件的光学传感器取得图像，将所取得的图像分割成用于取得距离信息的第1分割区域和用于根据距离信息生成重聚焦图像的第2分割区域。根据该图像处理装置，在实时取景驱动时，能够在减轻用于重新构建的处理负载的同时，在较广的范围内显示聚焦的图像。
现有技术文献
专利文献
专利文献1:日本特开2011-077764号公报
专利文献2:日本特开2016-184956号公报
发明内容
发明要解决的课题
在像专利文献1和2那样使用微透镜阵列时，能够对应于被摄体的位置、朝向、姿势等拍摄状况的很小的物理变化，相应地在由各摄像元件取得的各图像中产生较大的变化，其中该各摄像元件接收被各微透镜会聚后的光。因此，通过使用微透镜阵列而得到的各图像，能够容易地识别在拍摄状况中产生的很小的物理变化。
但是，本发明的发明人发现，在使用微透镜阵列来识别被摄体的属性(另外，“属性”是指，被摄体的位置、姿势、形状、大小、颜色、类别等可对该被摄体赋予特征的某些性质。)的现有的方法中，可能会产生如下的问题。即，现有的微透镜阵列中的各微透镜是以相同方式构成的。具体而言，各微透镜被构成为，具有相同的光学特性，且聚光角度较大。
因此，基本上，在通过各微透镜取得的各图像中，被摄体整体是以分辨率较低的状态来映出的。此外，各图像仅具有与各微透镜的位置相对应的差异，几乎是相同的图像。由此，难以根据通过各微透镜而取得的各图像来识别被摄体本身的类别，特别是，难以将与被摄体相同类别的其他被摄体识别为与该被摄体相同的被摄体。
另一方面，当减小各微透镜的聚光角度时，在通过各微透镜而得到的各图像中，被摄体的与各微透镜的位置对应的各部分是以分辨率较高的状态来映出的。因此，能够通过将得到的各图像整合来识别被摄体的类别。但是，在该情况下，在所得到的各图像中没有拍摄到被摄体的整体，因此难以捕捉被摄体的位置、朝向、姿势等很小的物理变化。
因此，本发明的发明人发现，在使用微透镜阵列识别被摄体的属性的现有方法中，能够关注被摄体的特定属性而容易地进行识别，但是难以实现识别被摄体的多种属性。
本发明的一个方面是鉴于这样的情况而完成的，其目的在于，提供能够实现识别被摄体的多种属性的技术。
用于解决课题的手段
本发明为了解决上述课题，采用了如下的结构。
即，本发明的一个方面的图像处理系统具有：光学传感器，该光学传感器具有光学部件和多个摄像元件，该光学部件使来自被摄体的光发生折射，并且具备多个透过部，该多个透过部被构成为因具有不同的光学特性从而所透过的光的折射模式各自不同，该多个摄像元件与各所述透过部对应地设置，并且接收透过各所述透过部的光，分别形成映出所述被摄体的拍摄图像(图像数据)；以及信息处理装置，其通过将由各所述摄像元件获得的各所述拍摄图像输入到进行了用于判别所述被摄体的属性的学习的已完成学习的学习器中，来取得表示所述被摄体的属性的属性信息。
在上述结构中，在被摄体的拍摄中使用了如下光学部件，该光学部件具有被构成为因具有不同的光学特性从而所透过的光的折射模式各自不同的多个透过部。因此，在由各摄像元件所获得的各拍摄图像中，以反映出不同的光学特性的状态来映出被摄体。即，在通过聚光角度比较大的透过部而获得的拍摄图像中，被摄体全体以分辨率较低的状态来映出，在通过聚光角度比较小的透过部而获得的拍摄图像中，被摄体的一部分以分辨率较高的状态来映出。因此，根据上述结构，由于能够获得适于对被摄体的不同的多个属性进行解析的多个拍摄图像，因此能够提供可基于所得到的多个拍摄图像来识别被摄体的多种属性的图像处理系统。
另外，在上述结构中，在由各摄像元件所获得的拍摄图像中，反映出各透过部的不同的光学特性的结果(例如光的会聚程度可能各自不同)为可能不是人所能够识别出的结果。但是，由于在上述结构中，使用了各拍摄图像来作为进行了用于判定规定的属性信息的机器学习的学习器的输入，因此各拍摄图像不必是人能够识别的图像。
此外，根据上述结构，能够针对某个被摄体得到多种拍摄图像。例如，如后述那样，能够获得大范围地捕捉到被摄体的拍摄图像和详细地捕捉到被摄体的局部的拍摄图像。然后，能够使用该取得的各拍摄图像进行以分类、聚类、特征量的提取等为代表的学习，由此，能够提高对与该被摄体相同类别的其他的物体进行识别的识别精度，即，能够构成鲁棒性优异的学习器。
在上述的一个方面的图像处理系统中，所述学习器由神经网络、支持向量机、自组织映射网络、或者通过强化学习来进行学习的学习器构成。根据该结构，能够容易实现可识别被摄体的多种属性的图像处理系统。
在上述一个方面的图像处理系统中，也可以是，所述光学部件的所述多个透过部包含：第1透过部，其配置于中央，被构成为规定的第1聚光角度；以及第2透过部，其配置于所述第1透过部的周围，被构成为比所述第1透过部的所述第1聚光角度大的第2聚光角度。根据该结构，能够提供容易识别处于光学传感器的正面的被摄体的类别、且容易捕捉处于从光学传感器的正面偏离的位置的被摄体的物理变化的图像处理系统。
在上述一个方面的图像处理系统中，所述第1聚光角度可以是2.0度以下，所述第2聚光角度可以是20度以上。根据该结构，能够提供可识别处于光学传感器的正面的被摄体的类别、且可捕捉处于从光学传感器的正面偏离的位置的被摄体的物理变化的图像处理系统。
在上述一个方面的图像处理系统中，所述各投光部的光学特性可以具有不规则性。根据该该结构，由于能够获得反映出多种光学特性的多个拍摄图像，因此能够根据所获得的各拍摄图像识别被摄体的多种属性。
在上述一个方面的图像处理系统中，所述光学部件可以包含具有多个透镜的透镜阵列、衍射光栅、散射透镜、以及全息透镜中的至少任意一个。根据该结构，能够容易地实现可识别被摄体的多种属性的图像处理系统。
在上述一个方面的图像处理系统中，所述光学部件可以包含透镜阵列，该透镜阵列具有多个透镜作为所述多个透过部，各所述透过部的光学特性可以通过各所述透镜的大小、材料、形状、以及颜色中的至少任意一方来实现。在透镜阵列中，容易使各透镜的光学特性不同。因此，根据该结构，能够以较低成本实现可识别被摄体的多种属性的图像处理系统。另外，透镜阵列例如是微透镜阵列。但是，各透镜的尺寸不限定于微尺寸，可以根据实施方式适当选择。
在上述一个方面的图像处理系统中，所述信息处理装置可以输出所述被摄体的位置、朝向、姿势、大小、形状、动作、类别、固体识别信息、颜色、明亮度、以及环境信息中的一个或者组合作为所述属性信息。根据该结构，能够提供对被摄体的位置、朝向、姿势、大小、形状、动作、类别、固体识别信息、颜色、明亮度、以及环境信息中的至少任意一项进行解析的图像处理系统。
在上述一个方面的图像处理系统中，所述信息处理装置可以生成根据所述学习器的输出而描绘所述被摄体的图像，并输出该生成的图像作为所述属性信息。根据该结构，能够提供输出反映出被摄体的属性的图像的图像处理系统。
此外，本发明的一个方面的光学传感器具备：光学部件，该光学部件使来自被摄体的光发生折射，并且具备多个透过部，该多个透过部被构成为因具有不同的光学特性从而所透过的光的折射模式各自不同；以及多个摄像元件，该多个摄像元件与各所述透过部对应地设置，并且接收透过各所述透过部的光，分别形成映出所述被摄体的拍摄图像。
在上述一个方面的光学传感器中，所述光学部件的所述多个透过部包含：第1透过部，其配置于中央，被构成为规定的第1聚光角度；以及第2透过部，其配置于所述第1透过部的周围，被构成为比所述第1透过部的第1聚光角度大的第2聚光角度。
在上述一个方面的光学传感器中，所述第1聚光角度可以是2.0度以下，所述第2聚光角度可以是20度以上。
在上述一个方面的光学传感器中，所述各投光部的光学特性具有不规则性。
在上述一个方面的光学传感器中，所述光学部件可以包含具有多个透镜的透镜阵列、衍射光栅、散射透镜、以及全息透镜中的至少任意一个。
在上述一个方面的光学传感器中，所述光学部件可以包含透镜阵列，该透镜阵列具有多个透镜作为所述多个透过部，各所述透过部的光学特性可以通过各所述透镜的大小、材料、形状、以及颜色中的至少任意一方来实现。
此外，本发明的一个方面的学习装置具有：从上述任意一个方式的光学传感器取得各所述摄像元件拍摄到的各所述拍摄图像；以及学习处理部，其使学习器进行学习，以使得当输入所取得的各所述拍摄图像时，输出所述被摄体的属性信息。
此外，在上述一个方面的学习装置中，所述学习处理部可以使所述学习器进行学习，以输出所述被摄体的位置、朝向、姿势、大小、形状、动作、类别、固体识别信息、颜色、明亮度、环境信息、以及描绘有所述被摄体的图像中的一个或者组合作为所述属性信息。
发明效果
根据本发明，能够提供可识别被摄体的多种属性的技术。
附图说明
图1示意性地例示出实施方式的图像处理系统和学习装置的应用情况的一例。
图2示意性地例示出实施方式的图像处理装置的硬件结构的一例。
图3A示意性地例示出实施方式的光学传感器的结构的一例。
图3B示意性地例示出实施方式的光学传感器的结构的一例。
图4示意性地例示出实施方式的学习装置的硬件结构的一例。
图5示意性地例示出实施方式的图像处理装置的功能结构的一例。
图6示意性地例示出实施方式的学习装置的功能结构的一例。
图7例示出实施方式的图像处理装置的处理顺序的一例。
图8例示出实施方式的学习装置的处理顺序的一例。
图9示意性地例示出变形例的光学传感器的结构的一例。
具体实施方式
在以下，根据附图来说明本发明的一个方面的实施方式(以下，也记作“本实施方式”)。但是，在以下所说明的本实施方式中，所有的点都仅仅是本发明的示例。能够在不脱离于本发明的范围的前提下进行各种改良和变形是不言自明的。即，对于本发明的实施，可以适当采用与实施方式对应的具体结构。另外，虽然对于在本实施方式中出现的数据是使用自然语言来说明的，但更具体地，是由能够由计算机识别的虚拟语言、指令、参数、机器语言等指定的。
§1应用例
首先，使用图1对应用了本发明的情况的一例进行说明。图1示意性地例示出了本实施方式的图像处理系统100和学习装置2的应用情况的一例。本实施方式的图像处理系统100是使用已经学习了被摄体6的属性的学习器(后述的神经网络7)来解析被摄体6的属性的信息处理系统。
如图1所示，图像处理系统100具有：光学传感器3，其进行被摄体6的拍摄；以及图像处理装置1，其使用由光学传感器3获得的拍摄图像来确定被摄体的属性。光学传感器3具有：透镜阵列31，其具有多个透镜311；以及多个摄像元件32，它们对应于各透镜311而设置，接收透过各透镜311的光，并分别形成映出被摄体6的拍摄图像。透镜阵列31是本发明的“光学部件”的一例。此外，各透镜311是本发明的“透过部”的一例。被摄体6包括所有能够利用光学传感器3进行拍摄的对象，例如，作为车辆外部状况等情形，或者也可以是在生产线中制造的产品、以及人类等规定物体。另外，透镜阵列31例如是微透镜阵列。但是，各透镜311的尺寸并不限定于微尺寸，可以根据实施方式来适当选择。
多个透镜311被构成为，具有不同的光学特性从而所透过的光的折射模式各自不同。由此，光学传感器3的各摄像元件32会形成反映出各透镜311的不同的光学特性的拍摄图像。图像处理装置1通过将由该各摄像元件32所获得的各拍摄图像输入到已经学习了被摄体6的属性的学习器，来取得示出被摄体6的属性的属性信息。
另一方面，本实施方式的学习装置2构建供图像处理系统100使用的学习器，即该学习装置2是计算机，其进行学习器的机器学习，以随着被输入由光学传感器3所获得的多个拍摄图像而相应地输出被摄体6的属性。具体地，学习装置2从上述光学传感器3取得由各摄像元件32拍摄的各拍摄图像。然后，学习装置2使学习器(后述的神经网络8)进行学习，以便在输入所取得的各拍摄图像时输出被摄体6的属性。
由此而生成由上述图像处理系统100利用的已经完成学习的学习器。图像处理装置1例如能够经由网络10来取得由学习装置2生成的已经完成学习的学习器。另外，网络10的种类例如可以从互联网、无线通信网、移动通信网、电话网络、专用网络等中适当选择。
如以上所述，在本实施方式中，在被摄体6的拍摄中使用了具有多个透镜311的透镜阵列31，多个透镜311被构成为，由于具有不同的光学特性从而所透过的光的折射模式各自不同。因此，在由各摄像元件32所获得的各拍摄图像中，以反映了不同的光学特性的状态来映出被摄体6。因此，根据本实施方式，能够获得适合于被摄体6的不同的多个属性的解析的多个拍摄图像，因此能够根据所获得的多个拍摄图像来对被摄体6的多种属性进行识别。
此外，如果使用各微透镜的聚光模式相同的现有的微透镜阵列来作为透镜阵列31，则由各摄像元件所获得的拍摄图像彼此类似。因此，在使用该取得的各拍摄图像进行以分类、聚类、和特征量的提取等为代表的学习的情况下，即使提高用于学习的被摄体自身的识别精度，对与该被摄体相同类别的其他的被摄体进行识别的识别精度的提高也是有限的。
与此相对，根据本实施方式的方法，通过使用具有光学特性不同的的多个透镜311的透镜阵列31，能够针对特定的被摄体6取得反映出不同的光学特性的多种拍摄图像。然后，通过使用该取得的各拍摄图像进行以分类、聚类、特征量的提取等为代表的学习，能够提高对与该被摄体相同类别的其他物体进行识别的识别精度，即，能够实现鲁棒性优异的机器学习。
§2结构例
[硬件结构]
＜图像处理装置＞
接下来，使用图2对本实施方式的图像处理装置1的硬件结构的一例进行说明。图2示意性地例示了本实施方式的图像处理装置1的硬件结构的一例。
如图2所示，本实施方式的图像处理装置1是电连接有控制部11、存储部12、通信接口13、输入装置14、输出装置15、外部接口16、以及驱动器17的计算机。本实施方式的图像处理装置1相当于本发明的“信息处理装置”。另外，在图2中，通信接口和外部接口分别记作“通信I/F”和“外部I/F”。
控制部11包含CPU(Central Processing Unit：中央处理单元)、RAM(RandomAccess Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等，按照信息处理进行各结构要素的控制。存储部12例如是硬盘驱动器、固态硬盘驱动器等辅助存储装置，其存储由控制部11执行的图像处理程序121、和表示与已经完成学习的学习器相关的信息的学习结果数据122等。
图像处理程序121是用于使图像处理装置1执行后述的解析被摄体6的属性的处理(图7)的程序。此外，学习结果数据122是用于进行已经完成学习的学习器的设定的数据。详情后述。
通信接口13例如是有线LAN(Local Area Network：本地局域网)模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。输入装置14例如是鼠标、键盘等用于进行输入的装置。输出装置15例如是显示器、扬声器等用于进行输出的装置。外部接口16是USB(Universal Serial Bus)端口等，是用于连接光学传感器3等外部装置的接口。
驱动器17例如是CD(Compact Disk)驱动器、DVD(Digital Versatile Disk)驱动器等，是用于读取存储于存储介质91中的程序的装置。驱动器17的种类可以按照存储介质91的种类适当选择。上述图像处理程序121和/或学习结果数据122可以存储在该存储介质91中。
存储介质91是将程序等信息以电、磁、光学、机械或者化学作用而存储起来的介质，能够供计算机及其他装置、机器等读取所记录的程序等信息。图像处理装置1可以从该存储介质91取得图像处理程序121和/或学习结果数据122。
在此，在图2中，作为存储介质91的一例而例示由CD、DVD等光盘型的存储介质。但是，存储介质91的种类不限定于光盘型，可以是光盘型以外的种类。作为光盘型以外的存储介质，例如能够列举出闪存等半导体存储器。
另外，关于图像处理装置1的具体的硬件结构，能够根据实施方式，适当地省略、置换以及追加结构要素。例如，控制部11可以包含多个处理器。图像处理装置1可以由多台信息处理装置构成。此外，图像处理装置1除了针对所提供的服务专门设计的信息处理装置以外，还可以使用通用的台式PC(Personal Computer)、和平板PC等。
＜光学传感器＞
接下来，使用图3A和图3B对本实施方式的光学传感器3的结构的一例进行说明。图3A示意性地示出了从横向观察本实施方式的光学传感器3的状态。图3B示意性地示出了从正面观察本实施方式的光学传感器3的状态。
如图3A和图3B所示，本实施方式的光学传感器3具有：具有11×13个透镜311的透镜阵列31、和分别与各透镜311对应地配置的11×13个摄像元件32。
各摄像元件32被构成为，能够通过CMOS(Complementary MOS：互补金属氧化物半导体)、CCD(Charge Coupled Device：电荷耦合器件)等元件接收透过各透镜311的光，形成映出被摄体6的拍摄图像。另外，在图3B的例子中，各摄像元件32被构成为能够形成5×5的像素数的拍摄图像。
透镜阵列31被构成为，各透镜311具有不同的光学特性。在本实施方式中，配置于中央的区域A所包含的15个透镜311A、以包围区域A的周围的方式设定的区域B所包含的48个透镜311B、以及以包围区域B的周围的方式设定的区域C所包含的80个透镜311C被设定了各自不同的光学特性(聚光角度)。另外，在以下，在针对配置于各区域A～C的透镜进行区别的情况下，像“透镜311A”、“透镜311B”、“透镜311C”等那样标注区域符号来记载，而在不区别的情况下，不标注符号而记载成“透镜311”。
具体而言，在本实施方式中，区域A所包含的各透镜311A被构成为聚光角度θA为2度以下(例如1度、2度等)。各透镜311A相当于本发明的“第1透过部”，聚光角度θA相当于本发明的“第1聚光角度”。另一方面，区域B和C所包含的各透镜(311B、311C)被构成为聚光角度为20度以上。各透镜(311B、311C)相当于本发明的“第2透过部”，各透镜(311B、311C)的聚光角度相当于本发明的“第2聚光角度”。
此外，区域C所包含的各透镜311C被构成为聚光角度比区域B所包含的各透镜311B大。例如，各透镜311B的聚光角度θB被设定为20度，各透镜311C的聚光角度θC被设定为30度。
在此，聚光角度是光学特性的一例，其规定了透镜的进行聚光的范围，换言之，规定了摄像元件的拍摄范围。即，透镜的聚光角度越大，则对应于该透镜的摄像元件的拍摄范围越大。另一方面，透镜的聚光角度越小，则对应于该透镜的摄像元件的拍摄范围越小。该聚光角度例如能够通过如下方式来测定：将点光源放置于距光学元件(本实施方式中的各透镜311)为特定距离的位置，根据在向规定的方向上移动该点光源时，在摄像元件侧所检测到的图像中点光源所存在的范围来测定。例如，设点光源距光学元件的距离为预定的L1，在保持着预定的L1的状态下使点光源从规定的出发点起移动预定的距离L2而到达规定的到达点时，根据L1和L2计算出表示点光源的图像从在摄像元件侧拍摄到的图像消失时的位置，能够根据该位置测定聚光角度。各透镜311所需的聚光角度能够通过适当地调节各透镜的大小、材料、以及形状的至少任意一方进行设计而实现。
另外，构成透镜阵列31的各透镜311的尺寸可以不特别进行限定，可以根据实施方式来适当决定。例如，各透镜311的大小可以对应于所使用的各摄像元件32来决定。所使用的摄像元件32的大小能够根据作为拍摄对象的被摄体的大小、被摄体内的识别对象部分的大小、和距被摄体的距离等要因来决定。各透镜311的尺寸能够根据以这样的方式而决定的各摄像元件32的大小来适当决定。另外，作为各摄像元件32，优选使用根据被摄体的大小和被摄体的距离，具有在铅直方向为100～数100像素和在水平方向上为100～数100像素的分辨率的摄像元件。此时，各摄像元件的纵横比(高宽比)能够由检测范围的纵横比来决定。
这样的透镜阵列31能够通过公知的材料和公知的加工方法而适当制作出。例如，透镜阵列31能够通过利用注射成型、切削加工、焊接等加工方法对树脂材料、玻璃材料等能够使光透过的材料进行加工而制作出。
＜学习装置＞
接下来，使用图4对本实施方式的学习装置2的硬件结构的一例进行说明。图4示意性地例示出本实施方式的学习装置2的硬件结构的一例。
如图4所示，本实施方式的学习装置2是电连接有控制部21、存储部22、通信接口23、输入装置24、输出装置25、外部接口26、以及驱动器27的计算机。另外，在图4中，与图2同样，将通信接口和外部接口分别记作“通信I/F”和“外部I/F”。
控制部21～驱动器27以及存储介质92分别与上述图像处理装置1的控制部11～驱动器17以及存储介质91相同。其中，学习装置2的存储部22存储有：由控制部21执行的学习程序221、用于学习器的学习的学习数据222、和执行学习程序221而生成的学习结果数据122等。
学习程序221是用于使学习装置2执行后述的神经网络的学习处理(图8)的程序。此外，学习数据222是用于以能够解析被摄体6的所需的属性的方式进行学习器的学习的数据。详情后述。
另外，与上述图像处理装置1同样，学习程序221和/或学习数据222可以存储于存储介质92。对应于此，学习装置2可以从存储介质92取得所使用的学习程序221和/或学习数据222。
此外，与上述图像处理装置1同样，关于学习装置2的具体的硬件结构，能够根据实施方式而适当地省略、置换、以及追加结构要素。并且，学习装置2除了针对所提供的服务专门设计的信息处理装置以外，还可以使用通用的服务器装置、台式PC等。
[功能结构]
＜图像处理装置＞
接下来，使用图5来说明本实施方式的图像处理装置1的功能结构的一例。图5示意性地例示出本实施方式的图像处理装置1的功能结构的一例。
图像处理装置1的控制部11将存储部12中所存储的图像处理程序121加载到RAM中。然后，控制部11通过CPU对加载到RAM中的图像处理程序121进行解码并执行，从而对各结构要素进行控制。由此，如图5所示，本实施方式的图像处理装置1作为具有图像取得部111和属性取得部112的计算机而发挥功能。
图像取得部111从光学传感器3的各摄像元件32取得由该各摄像元件32形成的各拍摄图像123。属性取得部112将由各摄像元件32所获得的各拍摄图像123用作学习了被摄体6的属性的学习器的输入，通过执行该学习器的运算处理，从该学习器获得输出值。然后，属性取得部112通过根据从学习器获得的输出值来确定被摄体6的属性，取得表示该被摄体6的属性的属性信息。
接下来，对学习器进行说明。如图5所示，本实施方式的图像处理装置1使用神经网络7来作为学习了所需的被摄体6的属性的学习器。神经网络7是用于所谓深层学习的多层构造的神经网络，从输入起依次具有输入层71、中间层(隐藏层)72、以及输出层73。
在图5中，神经网络7具有1层的中间层7，输入层71的输出成为针对中间层72的输入，中间层72的输出成为针对输出层73的输入。但是，中间层72的数量不限定于1层，神经网络7可以具有2层以上的中间层72。
各层71～73具有1个或者多个神经元。例如，输入层71的神经元的数目可以根据各拍摄图像123的像素数来设定。中间层72的神经元的数目可以根据实施方式适当设定。此外，输出层73可以根据作为解析对象的被摄体6的属性的种类数目来设定。
相邻的层的神经元彼此被适当连接，针对各连接而设定有权重(连接权重)。虽然在图5的例子中，各神经元与相邻的层的全部神经元连接，但神经元的连接不限定于这样的例子，可以根据实施方式适当设定。
针对各神经元而设定有阈值，基本上是根据各输入与各权重的乘积之和是否超过阈值来决定各神经元的输出的。图像处理装置1根据如下输出值来确定被摄体6的属性，该输出值是通过向这样的神经网络7的输入层71输入上述各拍摄图像123而从输出层73得到的输出值。
另外，表示这样的神经网络7的结构(例如神经网络7的层数、各层中的神经元的个数、神经元彼此间的连接关系、各神经元的传递函数)、各神经元间的连接的权重、以及各神经元的阈值的信息被包含在学习结果数据122中。图像处理装置1参照学习结果数据122来进行已经完成学习的神经网络7的设定，该已经完成学习的神经网络7用于解析所需的被摄体6的属性的处理。
＜学习装置＞
接下来，使用图6来说明本实施方式的学习装置2的功能结构的一例。图6示意性地例示出本实施方式的学习装置2的功能结构的一例。
学习装置2的控制部21将存储部22中所存储的学习程序221加载到RAM中。然后，控制部21通过CPU来对加载到RAM中的学习程序221进行解码并执行，从而控制各结构要素。由此，如图6所示，本实施方式的学习装置2作为具有学习图像取得部211、以及学习处理部212的计算机发挥功能。
学习图像取得部211取得光学传感器3的各摄像元件32所拍摄到的各拍摄图像223、和表示各拍摄图像223中映出的被摄体6的属性的属性信息224的组以作为学习数据222。学习处理部212使神经网络使用学习数据222进行学习，以使得当输入所取得的各拍摄图像223时输出与属性信息224所表示的被摄体6的属性对应的输出值。
如图6所示，在本实施方式中，作为学习对象的学习器是神经网络8。作为学习器的一例的神经网络8具有输入层81、中间层(隐藏层)82、以及输出层83，并且以与上述神经网络7同样的方式被构成。各层81～83与上述各层71～73相同。学习处理部212通过神经网络的学习处理而构建当输入11×13件拍摄图像223时输出与被摄体6的属性对应的输出值的神经网络8。然后，学习处理部212将表示所构建的神经网络8的结构、各神经元间的连接权重、以及各神经元的阈值的信息作为学习结果数据122存储在存储部22中。
＜其他＞
关于图像处理装置1和学习装置2的各功能，利用后述的动作例进行详细说明。另外，在本实施方式中，对图像处理装置1和学习装置2的各功能均由通用的CPU来实现的例子进行了说明。但是，以上的功能的一部分或者全部也可以由1个或者多个专用的处理器来实现。此外，关于图像处理装置1和学习装置2各自的功能结构，可以根据实施方式适当地进行功能的省略、置换和追加。
§3动作例
[图像处理装置]
接下来，使用图7对图像处理装置1的动作例进行说明。图7是例示出图像处理装置1的处理顺序的一例的流程图。另外，以下所说明的处理顺序只是一个例子，可以在可能的范围内对各处理进行变更。此外，对于以下所说明的处理顺序，可以根据实施方式适当地省略、置换、以及追加步骤。
(起动)
首先，使用者使图像处理装置1起动，并使起动的图像处理装置1执行图像处理程序121。图像处理装置1的控制部11参照学习结果数据122来设定神经网络7的构造、各神经元间的连接权重和各神经元的阈值。然后，控制部11按照以下的处理顺序来进行被摄体6的属性的解析。
(步骤S101)
在步骤S101中，控制部11作为图像取得部111而发挥功能，从经由外部接口16而被连接的光学传感器3的各摄像元件32取得由该各摄像元件32所拍摄到的拍摄图像123。在本实施方式中，光学传感器3具有11×13个摄像元件32，因此在本步骤S101中，控制部11基本上在每1次拍摄中取得11×13件拍摄图像123。
(步骤S102)
在接下来的步骤S102中，控制部11作为属性取得部112而发挥功能，将在步骤S101中取得的各拍摄图像123用作针对神经网络7的输入，并进行该神经网络7的运算处理，由此，从该神经网络7获得输出值。
例如，控制部11将所取得的11×13件拍摄图像123所包含的各图像的像素值输入到神经网络7的输入层71所包含的各神经元。各像素值与各神经元的对应关系可以根据实施方式适当地设定。接下来，控制部11按照正向传播方向进行各层71～73所包含的各神经元的点火判定。由此，控制部11从神经网络7的输出层73所包含的各神经元获得输出值。
(步骤S103)
在接下来的步骤S103中，控制部11作为属性取得部112而发挥功能，通过根据在步骤S102中从神经网络7获得的输出值确定被摄体6的属性，取得表示该被摄体6的属性的属性信息。
如上述那样，神经网络7以如下方式完成学习：当输入从光学传感器3的各摄像元件32获得的各拍摄图像123时，输出与所需种类的被摄体6的所需属性对应的输出值。此外，能够获得与输出层73所包含的神经元数目对应的数目的输出值，并能够使所获得的输出值中的1个或者多个输出值与被摄体6的1个属性(属性值)对应。而且，表示被摄体6的属性(属性值)与神经网络7的输出值之间的对应关系的信息例如能够以表格形式等数据给出。
因此，控制部11能够通过参照表示被摄体6的属性(属性值)与神经网络7的输出值之间的对应关系的信息，根据在步骤S102中所获得的输出值来确定被摄体6的属性(属性值)。确定的被摄体6的属性的数目可根据实施方式适当选择。由此，控制部11能够取得表示被摄体6的属性的属性信息。控制部11例如在通过输出装置15输出所取得的属性信息之后，结束本动作例的被摄体6的解析处理。在此，属性信息是指，被摄体的位置、姿势、形状、大小、颜色、类别、周围的状况等能够对该被摄体赋予特征的某些信息，可以包括该被摄体自身的描画图像。
另外，所确定的被摄体6的属性只要是各拍摄图像123中体现出的被摄体6的特征即可，没有特别限定，可以根据实施方式适当地选择。控制部11例如可以取得被摄体6的位置、朝向、姿势、大小、形状、动作、类别、个体识别信息、颜色、明亮度、以及环境信息中的1个或者组合来作为属性信息。个体识别信息是用于识别同种或者不同种类的被摄体(个体、物体)的信息，例如可以是序列号、标识符等。此外，环境信息是表示被摄体及其周围的状况的信息，例如可以包括被摄体周围的明亮程度、背景色、以及表示它们的分布的信息，在以存在于野外的被摄体为解析对象的情况下，可以包括天气信息。
在此，在本实施方式中，透镜阵列31被构成为，配置于中央的区域A所包含的各透镜311A的聚光角度θA为2度以下，以包围区域A的周围的方式而被配置的区域B和C所包含的各透镜(311B、311C)的聚光角度(θB、θC)分别为20度以上。
因此，在从与透镜311A对应的摄像元件32获得的拍摄图像123中，处于与透镜311A对应的位置的被摄体6、换言之、处于光学传感器3的正面的比较狭窄的范围内的被摄体6以高分辨率来映出。另一方面，在从与透镜(311B、311C)对应的摄像元件32获得的拍摄图像123中，不仅是与透镜(311B、311C)对应的位置的被摄体6，一直到处于距该位置较远的位置的被摄体6都以低分辨率来映出。
因此，从与透镜311A对应的各摄像元件32获得的多个拍摄图像123适于对处于光学传感器3的正面的被摄体6的类别进行解析。另一方面，从与透镜(311B、311C)对应的各摄像元件32获得的多个拍摄图像123适于对处于光学传感器3的正面以及从正面偏离的位置的被摄体6的位置、朝向、姿势、大小、形状、动作等物理特性进行解析。
因此，在本实施方式中，神经网络7可以构成为，输出处于光学传感器3的正面的被摄体6的类别、以及处于光学传感器3的正面和从正面偏离的位置的被摄体6的物理特性。在该情况下，在本步骤S103中，控制部11基于神经网络7的输出值，取得如下信息来作为属性信息，该信息是表示处于光学传感器3的正面的被摄体6的类别、和表示处于从光学传感器3的正面偏离的位置的被摄体6的物理特性的信息。
这样的被摄体6的解析例如能够在警惕汽车等车辆前方状况的情况下使用。即，将光学传感器3设置成能够拍摄车辆前方的状况，图像处理装置1基于由该光学传感器3所获得的各拍摄图像123来解析被摄体6的属性。由此，图像处理装置1能够取得如下信息来作为属性信息，该信息是表示处于光学传感器3的正面即处于车辆的前方的被摄体6的类别、和表示处于车辆前方的周围的被摄体6的物理特性的信息。表示处于车辆的前方的被摄体6的类别的信息能够用于判定在车辆前方是否存在应当警惕的障碍物。此外，表示处于车辆前方的周围的被摄体6的物理特性的信息能够用于判定是否有从周围移动到车辆前方的对象物。图像处理装置1能够根据该判定结果来进行车辆的自动驾驶的控制。
[学习装置]
接下来，使用图8来说明学习装置2的动作例。图8是例示出学习装置2的处理顺序的一例的流程图。另外，以下所说明的处理顺序仅仅是一例，各处理可以在可能的范围内变更。此外，对于以下所说明的处理顺序，可以根据实施方式适当地省略、置换以及追加步骤。
(步骤S201)
在步骤S201中，控制部21作为学习图像取得部211发挥功能，取得光学传感器3的各摄像元件32所拍摄到的各拍摄图像223、和表示各拍摄图像223中映出的被摄体6的属性的属性信息224的组来作为学习数据222。
学习数据222是用于使神经网络8进行学习以便能够解析所需的被摄体6的属性的数据。这样的学习数据222是例如可通过在各种条件下由光学传感器3拍摄准备好的被摄体6并且使拍摄条件与所获得的各拍摄图像相关联而生成。
详细而言，控制部21使光学传感器3拍摄表现出解析对象的各属性的状态的被摄体6。由此，控制部21能够从光学传感器3的各摄像元件32取得如下多个拍摄图像223，该多个拍摄图像223中映出表现出解析对象的属性的被摄体6。在本实施方式中，光学传感器3具有11×13个摄像元件32，因此，控制部21在每一次拍摄中能够取得11×13件拍摄图像223。而且，控制部21适当地受理表示各拍摄图像223所表现出的被摄体6的属性的属性信息224(即，教师数据)的输入，并将通过输入而赋予的属性信息224与各拍摄图像223相关联，由此，能够生成学习数据222。该学习数据222的生成可以由操作员等使用输入装置24来手动进行，也可以由机器人等自动进行。
另外，该学习数据222的生成可以像上述那样通过学习装置2来进行，也可以通过学习装置2以外的其他信息处理装置来进行。在由学习装置2生成学习数据222的情况下，控制部21在本步骤S201中，能够通过执行学习数据222的生成处理来取得学习数据222。另一方面，在由学习装置2以外的其他信息处理装置生成学习数据222的情况下，学习装置2能够经由网络、存储介质92等取得由其他信息处理装置生成的学习数据222。此外，在本步骤S201中取得的学习数据222的件数可以根据实施方式适当决定，以使得能够供神经网络8进行学习。
(步骤S202)
在接下来的步骤S202中，控制部21作为学习处理部212发挥功能，使神经网络8使用步骤S201中所取得的学习数据222进行学习，以使得当输入各拍摄图像223时输出与由属性信息224表示的被摄体6的属性对应的输出值。
具体而言，首先，控制部21准备作为进行学习处理的对象的神经网络8。所准备的神经网络8的结构、各神经元间的连接的权重的初始值、以及各神经元的阈值的初始值可以由模板来提供，也可以通过操作员的输入来提供。此外，在进行再次学习的情况下，控制部21可以基于作为进行再次学习的对象的学习结果数据122来准备神经网络8。
接下来，控制部21将在步骤S201中取得的学习数据222所包含的各拍摄图像223作为输入数据，将属性信息224作为教师数据，进行神经网络8的学习。该神经网络8的学习能够使用梯度下降法、随机梯度下降法等。
例如，控制部21使用各拍摄图像223的各像素值作为针对输入层81的输入，进行神经网络8的正向传播方向的运算处理。由此，控制部21获得从神经网络8的输出层83输出的输出值。接下来，控制部21对从输出层83输出的输出值和与属性信息224所表示的属性对应的所需的值之间的误差进行计算。接下来，控制部21使用通过误差反向传播法计算出的输出值的误差，计算各神经元间的连接的权重和各神经元的阈值各自的误差。然后，控制部21根据计算出的各误差，对各神经元间的连接的权重和各神经元的阈值各自的值进行更新。
控制部21针对各件学习数据222反复进行这一系列的处理，直至从神经网络8输出的输出值和与由属性信息224所表示的属性对应的所需值一致，以此方式来进行神经网络8的学习。由此，能够构建当输入各拍摄图像223时输出与由属性信息224表示的属性对应的输出值的神经网络8。
(步骤S203)
在接下来的步骤S203中，控制部21作为学习处理部212而发挥功能，将表示所构建的神经网络8的结构、各神经元间的连接的权重、和各神经元的阈值的信息作为学习结果数据122存储在存储部22中。由此，控制部21结束本动作例的神经网络8的学习处理。
另外，控制部21可以在上述步骤S203的处理完成后，将生成的学习结果数据122转发至图像处理装置1。此外，控制部21可以通过定期执行上述步骤S201～S203的学习处理来定期对学习结果数据122进行更新。而且，控制部21可以在每次执行该学习处理后都将生成的学习结果数据122转发至图像处理装置1，由此来定期更新图像处理装置1保持的学习结果数据122。
[作用/效果]
如以上所述，在本实施方式中，在上述步骤S101中，通过使用上述透镜阵列31，能够取得以反映了不同的光学特性的状态来映出被摄体6的多个拍摄图像123。然后，通过上述步骤S102和S103，将这样的多个拍摄图像123输入到神经网络7，根据从该神经网络7获得的输出值来确定被摄体6的属性。在学习部分也同样，取得以反映出不同的光学特性的状态来映出被摄体6的多个拍摄图像223，利用这样的多个拍摄图像223进行神经网络8的学习。
即，在本实施方式中，通过利用以反映出不同的光学特性的状态来映出被摄体6的多个拍摄图像(123、223)作为神经网络(7、8)的输入，能够进行适于被摄体6的不同的多个属性的解析。例如，在上述实施方式中，在透镜阵列31中，设置了配置有聚光角度较小的透镜311A的区域A和配置有聚光角度较大的透镜(311B、311C)的区域(B、C)。由此，能够从与区域A对应的摄像元件32获得适于确定被摄体6的种类的拍摄图像123。另一方面，能够从与区域(B、C)对应的摄像元件32获得适于确定被摄体6的物理特性的拍摄图像123。因此，根据本实施方式，能够识别被摄体6的多种属性。
§4变形例
在以上，对本发明的实施方式进行了详细说明，但前述所说明的所有的要点都只是本发明的示例。能够在不脱离于本发明的范围进行各种改良和变形是不言自明的。例如，能够进行以下那样的变更。另外，在以下，对与上述实施方式同样的结构要素使用同样的符号，对与上述实施方式同样的点，适当省略说明。以下的变形例可以适当地进行组合。
＜4.1＞
例如，在上述实施方式中，如图5和图6所示，使用具有多层构造的一般的正向传播型神经网络来作为各神经网络(7、8)。但是，各神经网络(7、8)的种类不限定于这样的例子，可以根据实施方式适当选择。例如，各神经网络(7、8)也可以是将输入层71和中间层72用作卷积层和采样(pooling)层的卷积神经网络。此外，例如，各神经网络(7、8)可以是具有像从中间层72向输入层71等那样从输出侧向输入侧递归的连接的递归型神经网络。另外，各神经网络(7、8)的层数、各层的神经元的个数、神经元彼此的连接关系、以及各神经元的传递函数可以根据实施方式适当决定。
＜4.2＞
此外，在上述实施方式中，对被摄体6的属性进行解析的图像处理装置1和进行学习器(神经网络)的学习的学习装置2由不同的计算机构成。但是，图像处理装置1和学习装置2的结构不限定于这样的例子，具有图像处理装置1和学习装置2这双方的功能的系统可以由1台或者多台计算机来实现。
＜4.3＞
此外，在上述实施方式中，学习器由神经网络构成。但是，对于学习器的种类而言，只要能够将从各摄像元件32获得的多个拍摄图像123用作输入即可，不限定于神经网络，可以根据实施方式适当选择。作为能够输入多个拍摄图像123的学习器，例如除了上述神经网络以外，还可列举有：支持向量机、自组织映射网络(SelfOrganization Map)、或者由通过强化学习来进行学习的学习器构成的学习器。
＜4.4＞
此外，例如，在上述实施方式中，作为在各透镜311间不同的光学特性的一例而列举了聚光角度。但是，在各透镜311间不同的光学特性的种类不限定于聚光角度，可以根据实施方式适当选择。光学特性除了聚光角度以外例如还包括折射率、透过的光的频带等。折射率可以通过调节各透镜311的大小、材料、及形状中的至少任意一方来设计从而实现。此外，透过的光的频带可以通过调节各透镜311的材料和颜色中的至少任意一方来设计从而实现。
＜4.5＞
此外，例如在上述实施方式中，透镜阵列31被构成为，配置于中央的区域A所包含的各透镜311A的聚光角度θA是规定的第1聚光角度，为2度以下，以包围区域A的周围的方式而配置的区域B和C所包含的各透镜(311B、311C)的聚光角度(θB、θC)分别是第2聚光角度，为20度以上。但是，各透镜311(透过部)的光学特性不限定于这样的例子，可以根据实施方式适当地设定。即，规定的第1聚光角度可以根据实施方式适当决定。此外，第2聚光角度只要比第1聚光角度大即可，可以根据实施方式适当决定。
此外，可以不将各透镜311A的聚光角度θA设定为第1聚光角度，并且可以不将各透镜(311B、311C)的聚光角度(θB、θC)设定为第2聚光角度。例如，可以将配置于最外侧的区域C所包含的各透镜的聚光角度设定为最小，从区域C到区域B、区域A这样地随着靠近中央，使各透镜的聚光角度变大。由此，能够容易地识别处于光学传感器3的前方周围的被摄体6的类别。
此外，如图9所例示的那样，可以在识别被摄体6的类别的方向上配置聚光角度较小的透镜。图9示意性地例示了从正面观察本变形例的光学传感器3A的状态。如图9所例示那样，在本变形例的透镜阵列中，分为右侧的区域D和左侧的区域E，能够构成为，区域D所包含的11×4个透镜311D和区域E所包含的11×9个透镜311E具有不同的聚光角度。
例如，在利用通过右侧的透镜311D而获得的拍摄图像识别被摄体的类别的情况下，可以将透镜311D的聚光角度设定得比透镜311E的聚光角度小。在该情况下，可以将透镜311D的聚光角度设为2度以下(例如1度、2度等)，并且可以将透镜311E的聚光角度设为20度以上(例如20度、30度等)。另一方面，在利用通过左侧的透镜311E而获得的拍摄图像识别被摄体的类别的情况下，透镜311D和透镜311E的聚光角度的上述设定可以以相反的方式进行。
这样，通过将在需要识别被摄体6的类别的方向上所配置的透镜(透过部)的聚光角度设定得相对较小，能够容易地识别处于该方向上的被摄体6的类别。由此，例如在上述自动驾驶的情况下，通过在需要警惕障碍物入侵车辆的行驶路径的方向上配置聚光角度较小(例如1度、2度等)的透镜，能够容易地识别从该方向进入的障碍物的类别，并能够根据该识别结果进行自动驾驶的控制。
此外，例如，各透镜311(透过部)的光学特性的至少一部分可以具有不规则性。由此能够从光学传感器3得到反映出多种光学特性的多个拍摄图像，因此能够容易地识别被摄体6的多种属性。例如，通过随机设定各透过部的光学特性，能够构成为多个透过部的至少一部分的光学特性具有不规则性。此外，例如在使用透镜阵列31作为光学部件的情况下，能够通过使构成透镜阵列31的各透镜311(透过部)的大小、材料、形状、及颜色等不同而能够设定成使得聚光角度(范围)、方向性、透镜间距离等光学特性在任意的相邻的透镜311之间彼此不同。多个透过部中的至少一部分光学特性具有不规则性是指，在这样的任意的相邻的透过部彼此之间光学特性不同的状态。但是，具有不规则性的范围不限定于光学部件的一部分，可以是全体光学部件。例如，通过在全体透镜阵列31中随机设定光学特性，能够构成为全部透镜311的光学特性具有不规则性。此外，上述那样的至少一部分的透过部的光学特性具有不规则性的光学部件可以构成为透镜阵列以外的光学部件。例如，可以在磨砂玻璃状的光学部件中，表面上设置不规则的凹凸或者槽，从而能够在设置有凹凸或者槽的范围内将光学特性设定为不规则。
另外，在上述实施方式中，区域A包含15个透镜311A，区域B包含48个透镜311B，区域C包含80个透镜311C。此外，区域A是矩形状，区域B和区域C分别是不包括区域A和区域B的中空的矩形状。但是，各区域A～C所包含的透镜311的数目和各区域A～C的形状(即，透镜311的配置形状)不限定于这样的例子，可以根据实施方式适当设定。
＜4.6＞
此外，例如在上述实施方式中，透镜阵列31具有11×13个透镜311，与此对应，光学传感器3具有11×13个摄像元件32。但是，透镜阵列31所具有的透镜311的个数和摄像元件32的个数不限定于这样的例子，可以根据实施方式适当选择。除此之外，透镜311与摄像元件32可以不是1对1对应。
此外，例如，在上述实施方式中，各摄像元件32构成为能够形成5×5的像素数的拍摄图像。但是，各摄像元件32所形成的拍摄图像的像素数不限定于这样的例子，可以根据实施方式适当选择。除此之外，各摄像元件32的像素数也可以不同。
＜4.7＞
此外，例如在上述实施方式中，使用透镜阵列来作为使来自被摄体的光折射的光学部件的一例。但是，光学部件的种类不限定于透镜阵列，可以根据实施方式适当选择。光学部件例如除了透镜阵列以外，还可以包含衍射光栅、散射透镜、和全息透镜中的至少任意一个，此外，也可以不是透镜状，可以使用使透过的光不规则地入射到摄像元件中的光学部件，例如可以使用磨砂玻璃状的板。在此，对于例如衍射光栅、散射透镜、全息透镜的情况，在它们各自之中，针对1个摄像元件使光入射的部分成为透过部。即，虽然衍射光栅、散射透镜、全息透镜在通常情况下各自形成为平板状，但在这样的平板状的光学部件中，对应于经由该光学部件而接收光的各摄像元件存在多个透过部。此时，只要将各种光学部件设计成，使对应于各摄像元件而设置的各透过部的光学特性不同即可。
例如，在衍射光栅的情况下，能够通过将设置于透过部的凹凸、槽等使光衍射和/或折射的要素设置得不规则，使各透过部的光学特性不同。此外，在散射透镜的情况下，能够将各透过部的形状等设计成使光扩散的方向不同。在全息透镜的情况下，使以根据光的波长产生干涉的方式而设计的全息透镜的各部分的光学特性不同，设计成会产生光的不规则的干涉，由此，能够使光学特性具有不规则性。
＜4.8＞
此外，例如，在上述步骤S103中，控制部11可生成根据神经网络7的输出而描绘被摄体6的图像，并将所生成的图像作为属性信息输出。在该情况下，对于学习时的属性信息224(教师数据)，可以使用由不具有透镜阵列的一般的照相机所拍摄的拍摄图像。即，在上述步骤S201中，在与光学传感器3大致相同的位置配置一般的照相机。然后，在利用光学传感器3拍摄被摄体6时，该照相机也对被摄体6进行拍摄。由此，能够将从照相机获得的拍摄图像作为属性信息224与由光学传感器3所获得的多个拍摄图像223相关联，从而生成学习数据222。在根据神经网络7的输出而描绘的图像中，能够在缺少被摄体6所具有的特征中的某些特征的状态下映出被摄体6的像。例如，在被摄体6是人类的情况下，能够获得以缺少脸的详情的状态映出此人的图像。由此，能够实现考虑了个人隐私的输出。
＜4.9＞
此外，例如，上述图像处理装置1可以构成为保持有多件学习结果数据122，并能够根据使用者的指定来切换所使用的神经网络7。在该情况下，图像处理装置1可以根据使用者对输入装置14的操作，经由网络10从学习装置2取得各件学习结果数据122，也可以经由驱动器17从存储介质91取得各件学习结果数据122。此外，图像处理装置1可以通过受理来自学习装置2的信息发布，取得各件学习结果数据122。并且，各件学习结果数据122可以存储于NAS(Network Attached Storage：网络附接存储)等其他信息处理装置(存储装置)中，图像处理装置1可以通过访问该其他信息处理装置来取得各件学习结果数据122。
标号说明
1：图像处理装置(信息处理装置)；100：图像处理系统；11：控制部；12：存储部；13：通信接口；14：输入装置；15：输出装置；16：外部接口；17：驱动器；111：图像取得部；112：属性取得部；121：图像处理程序；122：学习结果数据；123：拍摄图像；2：学习装置；21：控制部；22：存储部；23：通信接口；24：输入装置；25：输出装置；26：外部接口；27：驱动器；211：学习图像取得部；212：学习处理部；221：学习程序；222：学习数据；223：拍摄图像；224：属性信息；3：光学传感器；31：透镜阵列(光学部件)；311、311A、311B、311C：透镜(透过部)；32：摄像元件；6：被摄体；7：神经网络；71：输入层；72：中间层(隐藏层)；73：输出层；8：神经网络；81：输入层；82：中间层(隐藏层)；83：输出层；91、92：存储介质。

Claims (17)

1.一种图像处理系统，其具有：
光学传感器，该光学传感器具有光学部件和多个摄像元件，该光学部件使来自被摄体的光发生折射，并且具备多个透过部，该多个透过部被构成为因具有不同的光学特性从而所透过的光的折射模式各自不同，该多个摄像元件与各所述透过部对应地设置，并且接收透过各所述透过部的光，分别形成映出所述被摄体的拍摄图像；以及
信息处理装置，其通过将由各所述摄像元件获得的各所述拍摄图像输入到进行了用于判别所述被摄体的属性的学习的已完成学习的学习器中，来取得表示所述被摄体的属性的属性信息。
2.根据权利要求1所述的图像处理系统，其中，
所述学习器由神经网络、支持向量机、自组织映射网络、或者通过强化学习来进行学习的学习器构成。
3.根据权利要求1或2所述的图像处理系统，其中，
所述光学部件的所述多个透过部包含：第1透过部，其配置于中央，被构成为规定的第1聚光角度；以及第2透过部，其配置于所述第1透过部的周围，被构成为比所述第1透过部的所述第1聚光角度大的第2聚光角度。
4.根据权利要求3所述的图像处理系统，其中，
所述第1聚光角度为2.0度以下，所述第2聚光角度为20度以上。
5.根据权利要求1或2所述的图像处理系统，其中，
所述各投光部的光学特性具有不规则性。
6.根据权利要求1至5中的任意一项所述的图像处理系统，其中，
所述光学部件包含具有多个透镜的透镜阵列、衍射光栅、散射透镜、以及全息透镜中的至少任意一个。
7.根据权利要求1至6中的任意一项所述的图像处理系统，其中，
所述光学部件包含透镜阵列，该透镜阵列具有多个透镜作为所述多个透过部，
各所述透过部的光学特性通过各所述透镜的大小、材料、形状、以及颜色中的至少任意一方来实现。
8.根据权利要求1至7中的任意一项所述的图像处理系统，其中，
所述信息处理装置输出所述被摄体的位置、朝向、姿势、大小、形状、动作、类别、固体识别信息、颜色、明亮度、以及环境信息中的一个或者组合作为所述属性信息。
9.根据权利要求1至8中的任意一项所述的图像处理系统，其中，
所述信息处理装置生成根据所述学习器的输出而描绘所述被摄体的图像，并输出该生成的图像作为所述属性信息。
10.一种光学传感器，其具备：
光学部件，该光学部件使来自被摄体的光发生折射，并且具备多个透过部，该多个透过部被构成为因具有不同的光学特性从而所透过的光的折射模式各自不同；以及
多个摄像元件，该多个摄像元件与各所述透过部对应地设置，并且接收透过各所述透过部的光，分别形成映出所述被摄体的拍摄图像。
11.根据权利要求10所述的光学传感器，其中，
所述光学部件的所述多个透过部包含：第1透过部，其配置于中央，被构成为规定的第1聚光角度；以及第2透过部，其配置于所述第1透过部的周围，被构成为比所述第1透过部的所述第1聚光角度大的第2聚光角度。
12.根据权利要求11所述的光学传感器，其中，
所述第1聚光角度为2.0度以下，所述第2聚光角度为20度以上。
13.根据权利要求10所述的光学传感器，其中，
各所述透过部的光学特性具有不规则性。
14.根据权利要求10至13中的任意一项所述的光学传感器，其中，
所述光学部件包含具有多个透镜的透镜阵列、衍射光栅、散射透镜、以及全息透镜中的至少任意一个。
15.根据权利要求10至14中的任意一项所述的光学传感器，其中，
所述光学部件包含透镜阵列，该透镜阵列具有多个透镜作为所述多个透过部，
各所述透过部的光学特性通过各所述透镜的大小、材料、形状、以及颜色中的至少任意一方来实现。
16.一种学习装置，其具有：
学习图像取得部，其从权利要求10至15中的任意一项所述的光学传感器取得各所述摄像元件拍摄到的各所述拍摄图像；以及
学习处理部，其使学习器进行学习，以使得当输入所取得的各所述拍摄图像时，输出所述被摄体的属性信息。
17.根据权利要求16所述的学习装置，其中，
所述学习处理部使所述学习器进行学习，以输出所述被摄体的位置、朝向、姿势、大小、形状、动作、类别、固体识别信息、颜色、明亮度、环境信息、以及描绘有所述被摄体的图像中的一个或者组合作为所述属性信息。
CN201780080629.3A 2017-02-01 2017-03-09 图像处理系统、光学传感器、以及学习装置 Expired - Fee Related CN110115022B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017016385A JP6729428B2 (ja) 2017-02-01 2017-02-01 画像処理システム、光学センサ、及び学習装置
PCT/JP2017/009537 WO2018142634A1 (ja) 2017-02-01 2017-03-09 画像処理システム、光学センサ、及び学習装置
JP2017-016385 2017-07-28

Publications (2)

Publication Number Publication Date
CN110115022A true CN110115022A (zh) 2019-08-09
CN110115022B CN110115022B (zh) 2020-12-01

Family

ID=63040448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080629.3A Expired - Fee Related CN110115022B (zh) 2017-02-01 2017-03-09 图像处理系统、光学传感器、以及学习装置

Country Status (5)

Country Link
US (1) US11087498B2 (zh)
EP (1) EP3579536A4 (zh)
JP (1) JP6729428B2 (zh)
CN (1) CN110115022B (zh)
WO (1) WO2018142634A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115428432A (zh) * 2020-12-28 2022-12-02 富士胶片株式会社 摄像支援装置、摄像装置、摄像支援方法及程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019177907A1 (en) * 2018-03-13 2019-09-19 Hrl Laboratories, Llc Sparse associative memory for identification of objects
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102680385B1 (ko) 2019-10-30 2024-07-02 삼성전자주식회사 멀티 렌즈 영상 복원 장치 및 방법
CN112822390A (zh) * 2019-11-15 2021-05-18 三星电子株式会社 处理图像的方法和图像处理设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256836A (zh) * 2008-12-23 2011-11-23 Adc汽车远程控制系统有限公司 具有多焦镜头、用于在图像中采集远程和近程范围的光学模块
JP2012525028A (ja) * 2009-04-22 2012-10-18 ライトリックス・ゲー・エム・ベー・ハー デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法
JP2015188251A (ja) * 2013-03-05 2015-10-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016045170A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 測距装置、方法及びプログラム
CN106303228A (zh) * 2016-08-04 2017-01-04 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统
CN106324802A (zh) * 2015-07-02 2017-01-11 先进光电科技股份有限公司 光学成像系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
JP2011077764A (ja) 2009-09-30 2011-04-14 Fujifilm Corp 多次元画像処理装置、多次元画像撮影システム、多次元画像印刷物および多次元画像処理方法
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
WO2011112633A1 (en) * 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10416454B2 (en) * 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
JP6211137B2 (ja) 2016-06-02 2017-10-11 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256836A (zh) * 2008-12-23 2011-11-23 Adc汽车远程控制系统有限公司 具有多焦镜头、用于在图像中采集远程和近程范围的光学模块
JP2012525028A (ja) * 2009-04-22 2012-10-18 ライトリックス・ゲー・エム・ベー・ハー デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法
JP2015188251A (ja) * 2013-03-05 2015-10-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016045170A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 測距装置、方法及びプログラム
CN106324802A (zh) * 2015-07-02 2017-01-11 先进光电科技股份有限公司 光学成像系统
CN106303228A (zh) * 2016-08-04 2017-01-04 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115428432A (zh) * 2020-12-28 2022-12-02 富士胶片株式会社 摄像支援装置、摄像装置、摄像支援方法及程序
CN115428432B (zh) * 2020-12-28 2024-05-28 富士胶片株式会社 摄像支援装置、摄像装置、摄像支援方法及存储介质

Also Published As

Publication number Publication date
US20190378304A1 (en) 2019-12-12
CN110115022B (zh) 2020-12-01
EP3579536A4 (en) 2020-04-08
JP6729428B2 (ja) 2020-07-22
JP2018125701A (ja) 2018-08-09
WO2018142634A1 (ja) 2018-08-09
US11087498B2 (en) 2021-08-10
EP3579536A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
CN110115022A (zh) 图像处理系统、光学传感器、以及学习装置
US20210174146A1 (en) Training set sufficiency for image analysis
CN108846473B (zh) 基于方向和尺度自适应卷积神经网络的光场深度估计方法
US11948355B2 (en) Synthetic infrared data for image classification systems and methods
US10884494B1 (en) Eye tracking device calibration
JP6951753B2 (ja) 情報探索システム及びプログラム
CN105956150B (zh) 一种生成用户发型及妆容搭配建议的方法及装置
Sepas-Moghaddam et al. The IST-EURECOM light field face database
CN110415184B (zh) 一种基于正交元空间的多模态图像增强方法
US20190387186A1 (en) Optical sensor, learning apparatus, and image processing system
CN102136024A (zh) 生物特征识别性能测评和诊断优化系统
CN103597820A (zh) 光学地形成像
CN110097090A (zh) 一种基于多尺度特征融合的图像细粒度识别方法
CN105979248B (zh) 具有混合深度估计的图像处理系统及其操作方法
KR102273128B1 (ko) 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
Wang et al. Face hallucination using multisource references and cross‐scale dual residual fusion mechanism
KR102430742B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
Kan et al. The Application of Visual Sensors in the Artistic Design of College Campus Landscape
Abdul-Al et al. The Impacts of Depth Camera and Multi-Sensors for Face and Fingerprint Recognition in 2D and 3D-A Case Study
Shapiro Google Street View AND Representational Ubiquity
Yan et al. Combining spatial and spectral information to improve crop/weed discrimination algorithms
Hrusa Botanical Tree Perceived Realism Metric
CN111310514A (zh) 编码遮罩生物特征重建方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201201