JP2018125701A - 画像処理システム、光学センサ、及び学習装置 - Google Patents

画像処理システム、光学センサ、及び学習装置 Download PDF

Info

Publication number
JP2018125701A
JP2018125701A JP2017016385A JP2017016385A JP2018125701A JP 2018125701 A JP2018125701 A JP 2018125701A JP 2017016385 A JP2017016385 A JP 2017016385A JP 2017016385 A JP2017016385 A JP 2017016385A JP 2018125701 A JP2018125701 A JP 2018125701A
Authority
JP
Japan
Prior art keywords
subject
learning
image
image processing
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017016385A
Other languages
English (en)
Other versions
JP6729428B2 (ja
Inventor
安藤　丹一
Tanichi Ando
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017016385A priority Critical patent/JP6729428B2/ja
Priority to PCT/JP2017/009537 priority patent/WO2018142634A1/ja
Priority to US16/478,867 priority patent/US11087498B2/en
Priority to CN201780080629.3A priority patent/CN110115022B/zh
Priority to EP17895458.2A priority patent/EP3579536A4/en
Publication of JP2018125701A publication Critical patent/JP2018125701A/ja
Application granted granted Critical
Publication of JP6729428B2 publication Critical patent/JP6729428B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

【課題】被写体の多様な属性を識別可能にする技術を提供する。【解決手段】本発明の一側面に係る画像処理システムは、被写体からの光を屈折させる光学部材であって、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数の透過部を備える光学部材、及び前記各透過部を透過した光を受けて、前記被写体を映した撮像画像をそれぞれ形成する複数の撮像素子を備える光学センサと、前記被写体の属性を学習済みの学習器に、前記各撮像素子により得られた前記各撮像画像を入力することで、前記被写体の属性を示す属性情報を算出する情報処理装置と、を備える。【選択図】図１

Description

本発明は、画像処理システム、光学センサ、及び学習装置に関する。
特許文献１には、マイクロレンズアレイと複数の光電変換素子とを用いた光学センサにより画像を取得し、取得した画像を入力データとする機械学習により、特徴的な被写体の映る特徴領域を当該画像から抽出する画像処理装置が提案されている。当該画像処理装置によれば、予め定められた特徴的な被写体に対する多次元画像よりも高精度な複数種類のモデルの画像情報を格納したモデルデータベースから特徴領域に対応するモデルの画像情報を抽出して特徴領域に対する合成画像情報を生成することで、高精度な多次元画像を得ることができる。
また、特許文献２には、マイクロレンズアレイと複数の光電変換素子とを用いた光学センサにより画像を取得し、取得した画像を、距離情報を取得するための第１分割領域及び距離情報に基づいてリフォーカス画像を生成するための第２分割領域に分割する画像処理装置が提案されている。当該画像処理装置によれば、ライブビュー駆動時に、再構成のための処理負荷を軽減しながら、広範囲に焦点の合った画像を表示することができる。
特開２０１１−０７７７６４号公報 特開２０１６−１８４９５６号公報
特許文献１及び２のようにマイクロレンズアレイを用いると、被写体の位置、向き、姿勢等の撮影状況の小さな物理的変化に対応して、各マイクロレンズで集光された光を受光する各撮像素子により得られる各画像に大きな変化を生じさせることができる。そのため、マイクロレンズアレイを用いることで得られた各画像によれば、撮影状況に生じた小さな物理的変化を容易に識別可能になる。
しかしながら、本件発明者は、マイクロレンズアレイを用いて被写体の属性（なお、「属性」とは、被写体の位置、姿勢、形状、大きさ、色、種別等の当該被写体を特徴付け得る何らかの性質を指す。）を識別する従来の方法では、次のような問題点が生じ得ることを見出した。すなわち、従来のマイクロレンズアレイの各マイクロレンズは一様に構成されている。具体的には、各マイクロレンズは、同じ光学特性を有し、比較的に集光角度が大きくなるように構成されている。
そのため、基本的には、各マイクロレンズを通して得られる各画像には、被写体全体が解像度の低い状態で写っている。また、各画像は、各マイクロレンズの位置に応じた差分しかなく、ほぼ同一のものとなる。よって、各マイクロレンズを通して得られる各画像から、被写体そのものの種別を識別すること、特に、被写体と同一カテゴリの他の被写体を当該被写体と同一のものと識別することは困難である。
一方で、各マイクロレンズの集光角度を小さくすると、各マイクロレンズを通して得られる各画像には、各マイクロレンズの位置に対応した被写体の各部分が解像度の高い状態で映る。そのため、得られる各画像を統合することで、被写体の種別を識別することは可能となり得る。しかしながら、この場合には、得られる各画像には、被写体の全体は写らないため、被写体の位置、向き、姿勢等の小さな物理的変化を捕捉するのが困難になり得る。
したがって、本件発明者は、マイクロレンズアレイを用いて被写体の属性を識別する従来の方法では、被写体の特定の属性に焦点を当てて識別しやすくすることは可能であるが、被写体の多様な属性を識別可能にすることは困難であることを見出した。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、被写体の多様な属性を識別可能にする技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る画像処理システムは、被写体からの光を屈折させる光学部材であって、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数の透過部を備える光学部材、及び前記各透過部に対応して設けられ、前記各透過部を透過した光を受けて、前記被写体を映した撮像画像（画像データ）をそれぞれ形成する複数の撮像素子を備える光学センサと、前記被写体の属性を判別するための学習を行った学習済みの学習器に、前記各撮像素子により得られた前記各撮像画像を入力することで、前記被写体の属性を示す属性情報を取得する情報処理装置と、を備える。
上記構成では、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数の透過部を備える光学部材が被写体の撮像に用いられる。そのため、各撮像素子により得られる各撮像画像には、異なる光学特性が反映された状態で被写体が映ることになる。つまり、比較的に集光角度の大きい透過部を通して得られた撮像画像には被写体全体が解像度の低い状態で写り、比較的に集光角度の小さい透過部を通して得られた撮像画像には被写体の一部分が解像度の高い状態で映る。したがって、上記構成によれば、被写体の異なる複数の属性の解析に適した複数の撮像画像を得ることが可能であるため、得られる複数の撮像画像に基づいて被写体の多様な属性を識別可能な画像処理システムを提供することができる。
なお、上記構成において、各撮像素子により得られる撮像画像は、各透過部の異なる光学特性が反映された結果（例えば、光の集光度合がそれぞれ相違し得る）、人が認識し得るものではない可能性がある。しかしながら、上記構成では、所定の属性情報を判別するための機械学習を行った学習器の入力として各撮像画像を利用するため、各撮像画像は、人により認識可能なものである必要はない。
また、上記構成によれば、ある被写体に対して多様な撮像画像を得ることができる。例えば、後述するように、広範囲に被写体を捉えた撮像画像と詳細に被写体の部分を捉えた撮像画像とを取得することができる。そして、当該取得された各撮像画像を用いて、分類、クラスタリング、特徴量の抽出等に代表される学習を行うことで、当該被写体と同一カテゴリの他の物体の認識精度を向上させることができる、すなわち、ロバスト性に優れた学習器を構築することができる。
上記一側面に係る画像処理システムにおいて、前記学習器は、ニューラルネットワーク、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成されてよい。当該構成によれば、被写体の多様な属性を識別可能な画像処理システムを簡易に実現することができる。
上記一側面に係る画像処理システムにおいて、前記光学部材の前記複数の透過部は、中央に配置され、所定の第１集光角度となるように構成された第１の透過部と、前記第１の透過部の周囲に配置され、前記第１の透過部の前記第１集光角度よりも大きい第２集光角度となるように構成された第２の透過部と、を含んでよい。当該構成によれば、光学センサの正面に存在する被写体についてはその種別を識別しやすく、光学センサの正面から外れた位置に存在する被写体についてはその物理的変化を捕捉しやすい画像処理システムを提供することができる。
上記一側面に係る画像処理システムにおいて、前記第１集光角度は２．０度以下であってよく、前記第２集光角度は２０度以上であってよい。当該構成によれば、光学センサの正面に存在する被写体についてはその種別を識別することができ、光学センサの正面から外れた位置に存在する被写体についてはその物理的変化を捕捉可能な画像処理システムを提供することができる。
上記一側面に係る画像処理システムにおいて、前記各投光部の光学特性は不規則性を有していてよい。当該構成によれば、多様な光学特性が反映された複数の撮像画像を得ることができるため、得られる各撮像画像に基づいて、被写体の多様な属性を識別することができる。
上記一側面に係る画像処理システムにおいて、前記光学部材は、複数のレンズを備えるレンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよい。当該構成によれば、被写体の多様な属性を識別可能な画像処理システムを簡易に実現することができる。
上記一側面に係る画像処理システムにおいて、前記光学部材は、前記複数の透過部として複数のレンズを備えるレンズアレイを含んでよく、前記各透過部の光学特性は、前記各レンズの大きさ、素材、形状、及び色の少なくともいずれかによって実現されてよい。レンズアレイにおいて、各レンズの光学特性を異なるようにすることは容易である。したがって、当該構成によれば、被写体の多様な属性を識別可能な画像処理システムを低コストで実現することができる。なお、レンズアレイは、例えば、マイクロレンズアレイである。ただし、各レンズのサイズは、マイクロスケールに限定される訳ではなく、実施の形態に応じて適宜選択されてよい。
上記一側面に係る画像処理システムにおいて、前記情報処理装置は、前記属性情報として、前記被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、及び環境情報のうちの一つ又は組み合わせを出力してもよい。当該構成によれば、被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、及び環境情報の少なくともいずれかを解析する画像処理システムを提供することができる。
上記一側面に係る画像処理システムにおいて、前記情報処理装置は、前記学習器の出力に基づいて前記被写体を描画した画像を作成し、当該作成した画像を前記属性情報として出力してもよい。当該構成によれば、被写体の属性が反映された画像を出力する画像処理システムを提供することができる。
また、本発明の一側面に係る光学センサは、被写体からの光を屈折させる光学部材であって、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数の透過部を備える光学部材と、前記各透過部に対応して設けられ、前記各透過部を透過した光を受けて、前記被写体を映した撮像画像をそれぞれ形成する複数の撮像素子と、を備える。
上記一側面に係る光学センサにおいて、前記光学部材の前記複数の透過部は、中央に配置され、所定の第１集光角度となるように構成された第１の透過部と、前記第１の透過部の周囲に配置され、前記第１の透過部の前記第１集光角度よりも大きい第２集光角度となるように構成された第２の透過部と、を含んでよい。
上記一側面に係る光学センサにおいて、前記第１集光角度は２．０度以下であってよく、前記第２集光角度は２０度以上であってよい。
上記一側面に係る光学センサにおいて、前記各投光部の光学特性は不規則性を有してよい。
上記一側面に係る光学センサにおいて、前記光学部材は、複数のレンズを備えるレンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよい。
上記一側面に係る光学センサにおいて、前記光学部材は、前記複数の透過部として複数のレンズを備えるレンズアレイを含んでよく、前記各透過部の光学特性は、前記各レンズの大きさ、素材、形状、及び色の少なくともいずれかによって実現されてよい。
また、本発明の一側面に係る学習装置は、上記いずれかの形態に係る光学センサから前記各撮像素子の撮像した前記各撮像画像を取得する学習画像取得部と、取得した前記各撮像画像を入力すると前記被写体の属性情報を出力するように学習器を学習させる学習処理部と、を備える。
また、上記一側面に係る学習装置において、前記学習処理部は、前記属性情報として、前記被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、環境情報、及び、前記被写体を描画した画像、のうちの一つ又は組み合わせを出力するように前記学習器を学習させてもよい。
本発明によれば、被写体の多様な属性を識別可能にする技術を提供することができる。
図１は、実施の形態に係る画像処理システム及び学習装置の適用場面の一例を模式的に例示する。 図２は、実施の形態に係る画像処理装置のハードウェア構成の一例を模式的に例示する。 図３Ａは、実施の形態に係る光学センサの構成の一例を模式的に例示する。 図３Ｂは、実施の形態に係る光学センサの構成の一例を模式的に例示する。 図４は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。 図５は、実施の形態に係る画像処理装置の機能構成の一例を模式的に例示する。 図６は、実施の形態に係る学習装置の機能構成の一例を模式的に例示する。 図７は、実施の形態に係る画像処理装置の処理手順の一例を例示する。 図８は、実施の形態に係る学習装置の処理手順の一例を例示する。 図９は、変形例に係る光学センサの構成の一例を模式的に例示する。
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る画像処理システム１００及び学習装置２の適用場面の一例を模式的に例示する。本実施形態に係る画像処理システム１００は、被写体６の属性を学習済みの学習器（後述するニューラルネットワーク７）を用いて、被写体６の属性を解析する情報処理システムである。
図１に示されるとおり、画像処理システム１００は、被写体６の撮像を行う光学センサ３と、光学センサ３により得られた撮像画像を用いて被写体の属性を特定する画像処理装置１と、を備えている。光学センサ３は、複数のレンズ３１１を備えるレンズアレイ３１と、各レンズ３１１に対応して設けられ、各レンズ３１１を透過した光を受けて、被写体６を映した撮像画像をそれぞれ形成する複数の撮像素子３２と、を備えている。レンズアレイ３１は、本発明の「光学部材」の一例である。また、各レンズ３１１は、本発明の「透過部」の一例である。被写体６は、光学センサ３により撮像可能なあらゆるものを含んでよく、例えば、車両外部の状況等のシーン、又は製造ラインで製造される製品、人間等の所定の物体であってよい。なお、レンズアレイ３１は、例えば、マイクロレンズアレイである。ただし、各レンズ３１１のサイズは、マイクロスケールに限定される訳ではなく、実施の形態に応じて適宜選択されてよい。
複数のレンズ３１１は、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成されている。これにより、光学センサ３の各撮像素子３２は、各レンズ３１１の異なる光学特性を反映した撮像画像を形成する。画像処理装置１は、この各撮像素子３２により得られた各撮像画像を、被写体６の属性を学習済みの学習器に入力することで、被写体６の属性を示す属性情報を取得する。
一方、本実施形態に係る学習装置２は、画像処理システム１００が利用する学習器を構築する、すなわち、光学センサ３により得られた複数の撮像画像の入力に応じて被写体６の属性を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記光学センサ３から各撮像素子３２の撮像した各撮像画像を取得する。そして、学習装置２は、取得した各撮像画像を入力すると被写体６の属性を出力するように学習器（後述するニューラルネットワーク８）を学習させる。
これにより、上記画像処理システム１００で利用する学習済みの学習器が作成される。画像処理装置１は、例えば、ネットワーク１０を介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワーク１０の種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
以上のとおり、本実施形態では、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数のレンズ３１１を備えるレンズアレイ３１が被写体６の撮像に用いられる。そのため、各撮像素子３２により得られる各撮像画像には、異なる光学特性が反映された状態で被写体６が映ることになる。したがって、本実施形態によれば、被写体６の異なる複数の属性の解析に適した複数の撮像画像を得ることが可能であるため、得られる複数の撮像画像に基づいて被写体６の多様な属性を識別することができる。
また、レンズアレイ３１として、各マイクロレンズの集光パターンが同一である従来のマイクロレンズアレイを用いたとすると、各撮像素子により得られる撮像画像は互いに類似してしまう。そのため、当該取得された各撮像画像を用いて、分類、クラスタリング、特徴量の抽出等に代表される学習を行った場合、学習に使用した被写体そのものの認識精度は向上しても、当該被写体と同一カテゴリの他の被写体の認識精度の向上には限界があった。
これに対して、本実施形態の手法によれば、異なる光学特性を有する複数のレンズ３１１を備えるレンズアレイ３１を用いることで、特定の被写体６に対して、異なる光学特性の反映された多様な撮像画像を取得することができる。そして、当該取得された各撮像画像を用いて、分類、クラスタリング、特徴量の抽出等に代表される学習を行うことで、当該被写体と同一カテゴリの他の物体の認識精度を向上させることができる、すなわち、ロバスト性に優れた機械学習を実現することができる。
§２ 構成例
［ハードウェア構成］
＜画像処理装置＞
次に、図２を用いて、本実施形態に係る画像処理装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る画像処理装置１のハードウェア構成の一例を模式的に例示する。
図２に示されるとおり、本実施形態に係る画像処理装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、外部インタフェース１６、及びドライブ１７が電気的に接続されたコンピュータである。本実施形態に係る画像処理装置１は、本発明の「情報処理装置」に相当する。なお、図２では、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される画像処理プログラム１２１、学習済みの学習器に関する情報を示す学習結果データ１２２等を記憶する。
画像処理プログラム１２１は、画像処理装置１に後述する被写体６の属性を解析する処理（図７）を実行させるためのプログラムである。また、学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。
通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。外部インタフェース１６は、ＵＳＢ（Universal Serial Bus）ポート等であり、光学センサ３等の外部装置と接続するためのインタフェースである。
ドライブ１７は、例えば、ＣＤ（Compact Disk）ドライブ、ＤＶＤ（Digital Versatile Disk）ドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むための装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記画像処理プログラム１２１及び／又は学習結果データ１２２は、この記憶媒体９１に記憶されていてもよい。
記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。画像処理装置１は、この記憶媒体９１から、画像処理プログラム１２１及び／又は学習結果データ１２２を取得してもよい。
ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、画像処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。画像処理装置１は、複数台の情報処理装置で構成されてもよい。また、画像処理装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Personal Computer）、タブレットＰＣ等が用いられてもよい。
＜光学センサ＞
次に、図３Ａ及び図３Ｂを用いて、本実施形態に係る光学センサ３の構成の一例について説明する。図３Ａは、本実施形態に係る光学センサ３を横から見た状態を模式的に例示する。図３Ｂは、本実施形態に係る光学センサ３を正面から見た状態を模式的に例示する。
図３Ａ及び図３Ｂに示されるとおり、本実施形態に係る光学センサ３は、１１×１３個のレンズ３１１を備えるレンズアレイ３１と、それぞれ各レンズ３１１に対応して配置される１１×１３個の撮像素子３２と、を備えている。
各撮像素子３２は、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の素子により、各レンズ３１１を透過した光を受けて、被写体６を映した撮像画像を形成することができるように構成されている。なお、図３Ｂの例では、各撮像素子３２は、５×５の画素数の撮像画像を形成可能に構成されている。
レンズアレイ３１は、各レンズ３１１が異なる光学特性を有するように構成される。本実施形態では、中央に配置される領域Ａに含まれる１５個のレンズ３１１Ａ、領域Ａの周囲を囲むように設定される領域Ｂに含まれる４８個のレンズ３１１Ｂ、及び領域Ｂの周囲を囲むように設定される領域Ｃに含まれる８０個のレンズ３１１Ｃとでそれぞれ異なる光学特性（集光角度）が設定される。なお、以下では、各領域Ａ〜Ｃに配置されたレンズを区別する場合に、「レンズ３１１Ａ」、「レンズ３１１Ｂ」、「レンズ３１１Ｃ」等のように領域の符号を付して記載し、区別しない場合には、「レンズ３１１」と符号を付さずに記載する。
具体的に、本実施形態では、領域Ａに含まれる各レンズ３１１Ａは集光角度θＡが２度以下（例えば、１度、２度等）となるように構成される。各レンズ３１１Ａは、本発明の「第１の透過部」に相当し、集光角度θＡは、本発明の「第１集光角度」に相当する。一方、領域Ｂ及びＣに含まれる各レンズ（３１１Ｂ、３１１Ｃ）は集光角度が２０度以上となるように構成される。各レンズ（３１１Ｂ、３１１Ｃ）は、本発明の「第２の透過部」に相当し、各レンズ（３１１Ｂ、３１１Ｃ）の集光角度は、本発明の「第２集光角度」に相当する。
また、領域Ｃに含まれる各レンズ３１１Ｃは、領域Ｂに含まれる各レンズ３１１Ｂよりも集光角度が大きくなるように構成される。例えば、各レンズ３１１Ｂの集光角度θＢは２０度に設定され、各レンズ３１１Ｃの集光角度θＣは３０度に設定される。
ここで、集光角度は、光学特性の一例であり、レンズの集光する範囲、換言すると、撮像素子の撮像範囲を規定する。すなわち、レンズの集光角度が大きいほど、そのレンズに対応する撮像素子の撮像範囲は広くなる。他方、レンズの集光角度が小さいほど、そのレンズに対応する撮像素子の撮像範囲は狭くなる。この集光角度は、例えば、点光源を光学素子（本実施形態では、各レンズ３１１）から特定の距離を置き、所定の方向に移動させたとき、撮像素子側で検出される画像に点光源が存在している範囲に基づいて測定することができる。例えば、光学素子から点光源までの距離を既定のＬ１とし、既定のＬ１を保持したまま所定の出発点から所定の到達点までの既定の距離Ｌ２を移動させたとき、撮像素子側で撮像される画像から点光源を示す画像が消失したときの位置をＬ１とＬ２とに基づいて算出し、当該位置に基づいて、集光角度を測定することができる。各レンズ３１１の所望の集光角度は、各レンズの大きさ、素材、及び形状の少なくともいずれかを適宜調節して設計することで実現することができる。
なお、レンズアレイ３１を構成する各レンズ３１１の寸法は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。例えば、各レンズ３１１の大きさは、使用する各撮像素子３２に対応して決定されてよい。使用する撮像素子３２の大きさは、撮像対象とする被写体の大きさ、被写体内の識別対象部分の大きさ、被写体までの距離等の要因に基づいて決定することができる。各レンズ３１１の寸法は、このように決定した各撮像素子３２の大きさに応じて適宜決定可能である。なお、各撮像素子３２としては、被写体の大きさ及び被写体の距離に応じて、鉛直方向に１００〜数１００ピクセル及び水平方向に１００〜数１００ピクセルの解像度を有する撮像素子を用いるのが好ましい。このとき、各撮像素子の縦横比（アスペクト比）は、検出範囲の縦横比により決定することができる。
このようなレンズアレイ３１は、公知の材料及び公知の加工方法により適宜作製することができる。例えば、レンズアレイ３１は、樹脂材料、ガラス材料等の光を透過可能な材料を、射出成形、切削加工、溶接等の加工方法で加工することで作製することができる。
＜学習装置＞
次に、図４を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図４は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。
図４に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、外部インタフェース２６、及びドライブ２７が電気的に接続されたコンピュータである。なお、図４では、図２と同様に、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。
制御部２１〜ドライブ２７及び記憶媒体９２はそれぞれ、上記画像処理装置１の制御部１１〜ドライブ１７及び記憶媒体９１と同様である。ただし、学習装置２の記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。
学習プログラム２２１は、学習装置２に後述するニューラルネットワークの学習処理（図８）を実行させるためのプログラムである。また、学習データ２２２は、被写体６の所望の属性を解析可能に学習器の学習を行うためのデータである。詳細は後述する。
なお、上記画像処理装置１と同様に、学習プログラム２２１及び／又は学習データ２２２は、記憶媒体９２に記憶されていてもよい。これに応じて、学習装置２は、利用する学習プログラム２２１及び／又は学習データ２２２を記憶媒体９２から取得してもよい。
また、上記画像処理装置１と同様に、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。更に、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップＰＣ等が用いられてもよい。
［機能構成］
＜画像処理装置＞
次に、図５を用いて、本実施形態に係る画像処理装置１の機能構成の一例を説明する。図５は、本実施形態に係る画像処理装置１の機能構成の一例を模式的に例示する。
画像処理装置１の制御部１１は、記憶部１２に記憶された画像処理プログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された画像処理プログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図５に示されるとおり、本実施形態に係る画像処理装置１は、画像取得部１１１及び属性取得部１１２を備えるコンピュータとして機能する。
画像取得部１１１は、光学センサ３の各撮像素子３２から、当該各撮像素子３２により形成された各撮像画像１２３を取得する。属性取得部１１２は、各撮像素子３２により得られた各撮像画像１２３を被写体６の属性を学習した学習器の入力として用いて、当該学習器の演算処理を行うことにより、当該学習器から出力値を得る。そして、属性取得部１１２は、学習器から得られた出力値に基づいて被写体６の属性を特定することで、当該被写体６の属性を示す属性情報を取得する。
次に、学習器について説明する。図５に示されるとおり、本実施形態に係る画像処理装置１は、所望の被写体６の属性を学習した学習器として、ニューラルネットワーク７を利用する。ニューラルネットワーク７は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層７１、中間層（隠れ層）７２、及び出力層７３を備えている。
図５では、ニューラルネットワーク７は１層の中間層７２を備えており、入力層７１の出力が中間層７２の入力となり、中間層７２の出力が出力層７３の入力となっている。ただし、中間層７２の数は１層に限られなくてもよく、ニューラルネットワーク７は、中間層７２を２層以上備えてもよい。
各層７１〜７３は、１又は複数のニューロンを備えている。例えば、入力層７１のニューロンの数は、各撮像画像１２３の画素数に応じて設定することができる。中間層７２のニューロンの数は実施の形態に応じて適宜設定することができる。また、出力層７３は、解析対象とする被写体６の属性の種類数に応じて設定することができる。
隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図５の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。画像処理装置１は、このようなニューラルネットワーク７の入力層７１に上記各撮像画像１２３を入力することで出力層７３から得られる出力値に基づいて被写体６の属性を特定する。
なお、このようなニューラルネットワーク７の構成（例えば、ニューラルネットワーク７の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。画像処理装置１は、学習結果データ１２２を参照して、所望の被写体６の属性を解析する処理に用いる学習済みニューラルネットワーク７の設定を行う。
＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２の機能構成の一例を説明する。図６は、本実施形態に係る学習装置２の機能構成の一例を模式的に例示する。
学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、学習画像取得部２１１、及び学習処理部２１２を備えるコンピュータとして機能する。
学習画像取得部２１１は、学習データ２２２として、光学センサ３の各撮像素子３２の撮像した各撮像画像２２３及び各撮像画像２２３に映る被写体６の属性を示す属性情報２２４の組を取得する。学習処理部２１２は、学習データ２２２を用いて、取得した各撮像画像２２３を入力すると属性情報２２４により示される被写体６の属性に対応する出力値を出力するようにニューラルネットワーク８を学習させる。
図６に示されるとおり、本実施形態では、学習対象となる学習器は、ニューラルネットワーク８である。学習器の一例であるニューラルネットワーク８は、入力層８１、中間層（隠れ層）８２、及び出力層８３を備え、上記ニューラルネットワーク７と同様に構成される。各層８１〜８３は、上記各層７１〜７３と同様である。学習処理部２１２は、ニューラルネットワークの学習処理により、１１×１３件分の撮像画像２２３を入力すると、被写体６の属性に対応する出力値を出力するニューラルネットワーク８を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。
＜その他＞
画像処理装置１及び学習装置２の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、画像処理装置１及び学習装置２の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像処理装置１及び学習装置２それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
§３ 動作例
［対象物解析装置］
次に、図７を用いて、画像処理装置１の動作例を説明する。図７は、画像処理装置１の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
（起動）
まず、利用者は、画像処理装置１を起動し、起動した画像処理装置１に画像処理プログラム１２１を実行させる。画像処理装置１の制御部１１は、学習結果データ１２２を参照して、ニューラルネットワーク７の構造、各ニューロン間の結合の重み及び各ニューロンの閾値の設定を行う。そして、制御部１１は、以下の処理手順に従って、被写体６の属性の解析を行う。
（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、外部インタフェース１６を介して接続される光学センサ３の各撮像素子３２から、当該各撮像素子３２により撮像した撮像画像１２３を取得する。本実施形態では、光学センサ３は、１１×１３個の撮像素子３２を備えているため、本ステップＳ１０１では、制御部１１は、基本的には１回の撮像毎に１１×１３件の撮像画像１２３を取得する。
（ステップＳ１０２）
次のステップＳ１０２では、制御部１１は、属性取得部１１２として機能し、ステップＳ１０１で取得した各撮像画像１２３をニューラルネットワーク７の入力として用いて、当該ニューラルネットワーク７の演算処理を行うことにより、当該ニューラルネットワーク７から出力値を得る。
例えば、制御部１１は、取得した１１×１３件の撮像画像１２３に含まれる各画像の画素値をニューラルネットワーク７の入力層７１に含まれる各ニューロンに入力する。各画素値と各ニューロンとの対応関係は、実施の形態に応じて適宜設定されてよい。次に、制御部１１は、順伝搬の方向に各層７１〜７３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、ニューラルネットワーク７の出力層７３に含まれる各ニューロンから出力値を得ることができる。
（ステップＳ１０３）
次のステップＳ１０３では、制御部１１は、属性取得部１１２として機能し、ステップＳ１０２でニューラルネットワーク７から得られた出力値に基づいて被写体６の属性を特定することで、当該被写体６の属性を示す属性情報を取得する。
上記のとおり、ニューラルネットワーク７は、光学センサ３の各撮像素子３２から得られる各撮像画像１２３を入力すると、所望する種類の被写体６の所望する属性に対応する出力値を出力するように学習済みである。また、出力層７３に含まれるニューロンの数だけ出力値を得ることができ、得られる出力値のうち１又は複数の出力値を被写体６の１つの属性（属性値）に対応付けることができる。そして、被写体６の属性（属性値）とニューラルネットワーク７の出力値との対応関係を示す情報は、例えば、テーブル形式等のデータにより与えることができる。
そこで、制御部１１は、被写体６の属性（属性値）とニューラルネットワーク７の出力値との対応関係を示す情報を参照することで、ステップＳ１０２で得られた出力値に基づいて、被写体６の属性（属性値）を特定する。特定する被写体６の属性の数は、実施の形態に応じて適宜選択されてよい。これにより、制御部１１は、被写体６の属性を示す属性情報を取得することができる。制御部１１は、例えば、取得した属性情報を出力装置１５により出力した後、本動作例に係る被写体６の解析処理を終了する。ここで、属性情報とは、被写体の位置、姿勢、形状、大きさ、色、種別、周囲の状況等の当該被写体を特徴付け得る何らかの情報を指し、当該被写体そのものの描画した画像を含んでよい。
なお、特定される被写体６の属性は、各撮像画像１２３に現れ得る被写体６の特徴であれば、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部１１は、属性情報として、例えば、被写体６の位置、向き、姿勢、大きさ、形状、動き、種別、個体識別情報、色、明るさ、及び環境情報のうちの一つ又は組み合わせを取得してもよい。個体識別情報は、同種又は異種の被写体（個体、物）を識別するための情報であり、例えば、通し番号、識別子等であってよい。また、環境情報は、被写体及びその周囲の状況を示す情報であり、例えば、被写体周囲の明るさの程度、背景色、及びこれらの分布を示す情報を含んでもよく、野外に存在する被写体を解析の対象とした場合には、天気情報を含んでもよい。
ここで、本実施形態では、レンズアレイ３１は、中央に配置される領域Ａに含まれる各レンズ３１１Ａの集光角度θＡは２度以下となり、領域Ａの周囲を囲むように配置される領域Ｂ及びＣに含まれる各レンズ（３１１Ｂ、３１１Ｃ）の集光角度（θＢ、θＣ）はそれぞれ２０度以上となるように構成されている。
そのため、レンズ３１１Ａに対応する撮像素子３２から得られる撮像画像１２３には、レンズ３１１Ａに対応する位置に存在する被写体６、換言すると、光学センサ３の正面の比較的に狭い範囲に存在する被写体６が高解像度に映る。一方、レンズ（３１１Ｂ、３１１Ｃ）に対応する撮像素子３２から得られる撮像画像１２３には、レンズ（３１１Ｂ、３１１Ｃ）に対応する位置のみならずその位置から比較的に遠く外れた位置に存在する被写体６までが低解像度で映る。
したがって、レンズ３１１Ａに対応する各撮像素子３２から得られる複数の撮像画像１２３は、光学センサ３の正面に存在する被写体６の種別を解析するのに適している。一方、レンズ（３１１Ｂ、３１１Ｃ）に対応する各撮像素子３２から得られる複数の撮像画像１２３は、光学センサ３の正面及び正面から外れた位置に存在する被写体６の位置、向き、姿勢、大きさ、形状、動き等の物理的特性を解析するのに適している。
そのため、本実施形態では、ニューラルネットワーク７は、光学センサ３の正面に存在する被写体６の種別、及び光学センサ３の正面及び正面から外れた位置に存在する被写体６の物理的特性を出力するように構成されてもよい。この場合、本ステップＳ１０３では、制御部１１は、ニューラルネットワーク７の出力値に基づいて、光学センサ３の正面に存在する被写体６の種別、及び光学センサ３の正面から外れた位置に存在する被写体６の物理的特性を示す情報を属性情報として取得することができる。
このような被写体６の解析は、例えば、自動車等の車両前方の状況を警戒する場面で利用することができる。すなわち、光学センサ３を車両前方の状況を撮像可能に設置し、画像処理装置１は、この光学センサ３により得られる各撮像画像１２３に基づいて、被写体６の属性を解析する。これにより、画像処理装置１は、光学センサ３の正面、すなわち、車両の前方に存在する被写体６の種別、及び車両前方の周囲に存在する被写体６の物理的特性を示す情報を属性情報として取得することができる。車両の前方に存在する被写体６の種別を示す情報は、車両前方に警戒すべき障害物があるか否かの判定の用いることができる。また、車両前方の周囲に存在する被写体６の物理的特性を示す情報は、周囲から車両前方に飛び出す対象物が存在するか否かの判定に用いることができる。画像処理装置１は、この判定結果に基づいて、車両の自動運転の制御を行うことができる。
［学習装置］
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、学習画像取得部２１１として機能し、光学センサ３の各撮像素子３２の撮像した各撮像画像２２３及び各撮像画像２２３に映る被写体６の属性を示す属性情報２２４の組を学習データ２２２として取得する。
学習データ２２２は、ニューラルネットワーク８に対して、所望する被写体６の属性を解析可能に学習させるためのデータである。このような学習データ２２２は、例えば、用意した被写体６を光学センサ３により様々な条件で撮像し、得られる各撮像画像に撮像条件を紐付けることで作成することができる。
詳細には、制御部２１は、光学センサ３により、解析対象の各属性が表れた状態の被写体６を撮像する。これにより、制御部２１は、光学センサ３の各撮像素子３２から、解析対象の属性が表れた被写体６を映した複数の撮像画像２２３を取得することができる。本実施形態では、光学センサ３は１１×１３個の撮像素子３２を備えているため、制御部２１は、１回の撮像毎に１１×１３件の撮像画像２２３を取得することができる。そして、制御部２１は、各撮像画像２２３に表れる被写体６の属性を示す属性情報２２４（すなわち、教師データ）の入力を適宜受け付け、入力により与えられた属性情報２２４を各撮像画像２２３に紐付けることで、学習データ２２２を作成することができる。この学習データ２２２の作成は、オペレータ等が入力装置２４を用いて手動で行ってもよいし、ロボット等により自動で行われてもよい。
なお、この学習データ２２２の作成は、上記のように学習装置２により行われてもよいし、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合には、制御部２１は、本ステップＳ２０１において、学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置２は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。また、本ステップＳ２０１で取得する学習データ２２２の件数は、ニューラルネットワーク８の学習を行うことができるように、実施の形態に応じて適宜決定されてよい。
（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として機能して、ステップＳ２０１で取得した学習データ２２２を用いて、各撮像画像２２３を入力すると属性情報２２４により示される被写体６の属性に対応する出力値を出力するようにニューラルネットワーク８を学習させる。
具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク８を用意する。用意するニューラルネットワーク８の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク８を用意してもよい。
次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる各撮像画像２２３を入力データとし、属性情報２２４を教師データとして、ニューラルネットワーク８の学習を行う。このニューラルネットワーク８の学習には、勾配降下法、確率的勾配降下法等が用いられてよい。
例えば、制御部２１は、各撮像画像２２３の各画素値を入力層８１の入力として用いて、ニューラルネットワーク８の順伝播方向の演算処理を行う。これにより、制御部２１は、ニューラルネットワーク８の出力層８３から出力される出力値を得る。次に、制御部２１は、出力層８３から出力される出力値と属性情報２２４により示される属性に対応する所望の値との誤差を算出する。続いて、制御部２１は、誤差逆伝搬法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。
制御部２１は、各件の学習データ２２２について、ニューラルネットワーク８から出力される出力値が属性情報２２４により示される属性に対応する所望の値と一致するまでこの一連の処理を繰り返すことにより、ニューラルネットワーク８の学習を行う。これにより、各撮像画像２２３を入力すると属性情報２２４により示される属性に対応する出力値を出力するニューラルネットワーク８を構築することができる。
（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として機能して、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク８の学習処理を終了する。
なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を画像処理装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に画像処理装置１に転送することで、画像処理装置１の保持する学習結果データ１２２を定期的に更新してもよい。
［作用・効果］
以上のように、本実施形態では、上記ステップＳ１０１において、上記レンズアレイ３１を用いることで、異なる光学特性を反映した状態で被写体６が映る複数の撮像画像１２３を取得することができる。そして、上記ステップＳ１０２及びＳ１０３により、そのような複数の撮像画像１２３をニューラルネットワーク７に入力して、当該ニューラルネットワーク７から得られる出力値に基づいて被写体６の属性を特定する。学習のパートでも同様に、異なる光学特性を反映した状態で被写体６が映る複数の撮像画像２２３を取得して、そのような複数の撮像画像１２３を利用して、ニューラルネットワーク８の学習が行われる。
すなわち、本実施形態では、異なる光学特性を反映した状態で被写体６が映る複数の撮像画像（１２３、２２３）をニューラルネットワーク（７、８）の入力として利用することで、被写体６の異なる複数の属性に適した解析が可能になる。例えば、上記実施形態では、レンズアレイ３１において、集光角度の小さいレンズ３１１Ａを配置した領域Ａと集光角度の大きいレンズ（３１１Ｂ、３１１Ｃ）を配置した領域（Ｂ、Ｃ）とを設けている。これにより、領域Ａに対応する撮像素子３２からは、被写体６の種類を特定するのに適した撮像画像１２３を得ることができる。一方、領域（Ｂ、Ｃ）に対応する撮像素子３２からは、被写体６の物理的特性を特定するのに適した撮像画像１２３を得ることができる。したがって、本実施形態によれば、被写体６の多様な属性を識別することができるようになる。
§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
＜４．１＞
例えば、上記実施形態では、図５及び図６に示されるとおり、各ニューラルネットワーク（７、８）として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、各ニューラルネットワーク（７、８）の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク（７、８）は、入力層７１及び中間層７２を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク（７、８）は、中間層７２から入力層７１等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。なお、各ニューラルネットワーク（７、８）の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。
＜４．２＞
また、上記実施形態では、被写体６の属性を解析する画像処理装置１と学習器（ニューラルネットワーク）の学習を行う学習装置２とは別々のコンピュータで構成されている。しかしながら、画像処理装置１及び学習装置２の構成はこのような例に限定されなくてもよく、画像処理装置１及び学習装置２の両方の機能を有するシステムを１台又は複数台のコンピュータで実現してもよい。
＜４．３＞
また、上記実施形態では、学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、各撮像素子３２から得られた複数の撮像画像１２３を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。複数の撮像画像１２３を入力可能な学習器として、例えば、上記ニューラルネットワークの他、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成された学習器を挙げることができる。
＜４．４＞
また、例えば、上記実施形態では、各レンズ３１１の間で相違する光学特性の一例として集光角度を挙げた。しかしながら、各レンズ３１１の間で相違する光学特性の種類は、集光角度に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。光学特性は、集光角度の他、例えば、屈折率、透過する光の帯域等を含む。屈折率は、各レンズ３１１の大きさ、素材、及び形状の少なくともいずれかを調節して設計することで実現することができる。また、透過する光の帯域は、各レンズ３１１の素材及び色の少なくともいずれかを調節して設計することで実現することができる。
＜４．５＞
また、例えば、上記実施形態では、レンズアレイ３１は、中央に配置される領域Ａに含まれる各レンズ３１１Ａの集光角度θＡは、所定の第１集光角度として２度以下となり、領域Ａの周囲を囲むように配置される領域Ｂ及びＣに含まれる各レンズ（３１１Ｂ、３１１Ｃ）の集光角度（θＢ、θＣ）はそれぞれ、第２集光角度として２０度以上となるように構成されている。しかしながら、各レンズ３１１（透過部）の光学特性は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。すなわち、所定の第１集光角度は、実施の形態に応じて適宜決定されてよい。また、第２集光角度は、第１集光角度より大きければ、実施の形態に応じて適宜決定されてよい。
また、各レンズ３１１Ａの集光角度θＡを第１集光角度として設定しなくてもよく、各レンズ（３１１Ｂ、３１１Ｃ）の集光角度（θＢ、θＣ）を第２集光角度として設定しなくてもよい。例えば、最も外側に配置される領域Ｃに含まれる各レンズの集光角度を最も小さくし、領域Ｃから領域Ｂ、領域Ａと中央に向かうにしたがって、各レンズの集光角度が大きくなるようにしてもよい。これにより、光学センサ３の前方周囲に存在する被写体６の種別を識別しやすくすることができる。
また、図９に例示されるように、被写体６の種別を識別する方向に、集光角度の小さいレンズを配置するようにしてもよい。図９は、本変形例に係る光学センサ３Ａを正面から見た状態を模式的に例示する。図９に例示されるように、本変形例に係るレンズアレイでは、右側の領域Ｄと左側の領域Ｅとに分かれており、領域Ｄに含まれる１１×４個のレンズ３１１Ｄと領域Ｅに含まれる１１×９個のレンズ３１１Ｅとは異なる集光角度を有するように構成することができる。
例えば、右側のレンズ３１１Ｄを通して得られる撮像画像により被写体の種別を識別する場合には、レンズ３１１Ｄの集光角度を、レンズ３１１Ｅの集光角度よりも低く設定してよい。この場合、レンズ３１１Ｄの集光角度を２度以下（例えば、１度、２度等）とし、レンズ３１１Ｅの集光角度を２０度以上（例えば、２０度、３０度等）としてもよい。一方、左側のレンズ３１１Ｅを通して得られる撮像画像により被写体の種別を識別する場合には、レンズ３１１Ｄ及びレンズ３１１Ｅの集光角度の上記設定を反対にしてもよい。
このように、被写体６の種別の識別を所望する方向に配置されるレンズ（透過部）の集光角度を相対的に小さくすることで、その方向に存在する被写体６の種別を識別しやすくすることができる。これにより、例えば、上記自動運転のケースでは、車両の走行経路に障害物の侵入を警戒する方向に集光角度の小さい（例えば、１度、２度等）レンズを配置することで、その方向から進入する障害物の種別を識別しやすくし、その識別結果に基づいて、自動運転の制御を行うようにすることができる。
また、例えば、各レンズ３１１（透過部）の光学特性は少なくともその一部に不規則性を有してよい。これにより、多様な光学特性が反映された複数の撮像画像を光学センサ３から得ることができるようになるため、被写体６の多様な属性を識別しやすくすることができる。例えば、各透過部の光学特性をランダムに設定することで、複数の透過部の少なくとも一部の光学特性が不規則性を有するように構成することができる。また、例えば、光学部材としてレンズアレイ３１使用する場合、レンズアレイ３１を構成する各レンズ３１１（透過部）の大きさ、素材、形状、及び色等を異ならせることにより、集光角度（範囲）、指向性、レンズ間距離等の光学特性を、少なくともいずれかの隣接するレンズ３１１同士で相違するように設定可能である。複数の透過部のうち少なくとも一部の光学特性が不規則性を有しているとは、このようないずれかの隣接する透過部同士で光学特性が相違する状態を指す。ただし、不規則性を有する範囲は、光学部材の一部に限られなくてもよく、光学部材の全体であってもよい。例えば、レンズアレイ３１全体で光学特性をランダムに設定することで、全てのレンズ３１１の光学特性が不規則性を有するように構成されてもよい。また、上記のような少なくとも一部の透過部の光学特性が不規則性を有する光学部材は、レンズアレイ以外でも構成可能である。例えば、すりガラス状の光学部材において、表面に不規則な凹凸又は溝を設けることで、凹凸又は溝を設けた範囲で光学特性を不規則に設定することができる。
なお、上記実施形態では、１５個のレンズ３１１Ａが領域Ａに含まれており、４８個のレンズ３１１Ｂが領域Ｂに含まれており、８０個のレンズ３１１Ｃが領域Ｃに含まれている。また、領域Ａは矩形状になっており、領域Ｂ及び領域Ｃはそれぞれ、領域Ａ及び領域Ｂを除いた中空の矩形状になっている。しかしながら、各領域Ａ〜Ｃに含まれるレンズ３１１の数及び各領域Ａ〜Ｃの形状（すなわち、レンズ３１１の配置形状）は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
＜４．６＞
また、例えば、上記実施形態では、レンズアレイ３１は、１１×１３個のレンズ３１１を備え、これに対応して、光学センサ３は、１１×１３個の撮像素子３２を備えている。しかしながら、レンズアレイ３１の備えるレンズ３１１の個数及び撮像素子３２の個数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。加えて、レンズ３１１と撮像素子３２とは１対１で対応していなくてもよい。
また、例えば、上記実施形態では、各撮像素子３２は、５×５の画素数の撮像画像を形成可能に構成されている。しかしながら、各撮像素子３２の形成する撮像画像の画素数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。加えて、各撮像素子３２の画素数は異なっていてもよい。
＜４．７＞
また、例えば、上記実施形態では、被写体からの光を屈折させる光学部材の一例として、レンズアレイを利用した。しかしながら、光学部材の種類は、レンズアレイに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。光学部材は、例えば、レンズアレイの他、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよく、また、レンズ状でなくとも、透過する光を不規則に撮像素子に対して入光させる光学部材、例えば、すりガラス状の板を用いてもよい。ここで、例えば、回折格子、拡散レンズ、ホログラムレンズの場合にはそれぞれ、１つの撮像素子に対して光を入光させる部分が透過部となる。すなわち、回折格子、拡散レンズ、ホログラムレンズはそれぞれ平板状に形成されていることが一般的であるが、このような平板状の光学部材には、当該光学部材を通して光を受光する各撮像素子に対応して、複数の透過部が存在することになる。このとき、各撮像素子に対応して設けられる各透過部の光学特性が異なるように各種光学部材を設計すればよい。
例えば、回折格子の場合、透過部に設ける凹凸、溝等の光を回折及び／又は屈折させる要素を不規則に設けることで、各透過部の光学特性を相違させることができる。また、拡散レンズの場合、光を拡散させる方向を異ならせるように各透過部の形状等を設計することができる。ホログラムレンズの場合、光の波長に応じて干渉が生じるように設計されるホログラムレンズの各部の光学特性を異なるようにして、光の不規則な干渉が生じるように設計することで、光学特性に不規則性をもたせることができる。
＜４．８＞
また、例えば、上記ステップＳ１０３において、制御部１１は、ニューラルネットワーク７の出力に基づいて被写体６を描画した画像を作成し、作成した画像を属性情報として出力してもよい。この場合、学習時の属性情報２２４（教師データ）には、レンズアレイを備えない一般的なカメラにより撮像された撮像画像を用いることができる。すなわち、上記ステップＳ２０１では、光学センサ３とほぼ同じ位置に一般的なカメラを配置する。そして、光学センサ３によって被写体６を撮像する際に、そのカメラによっても被写体６を撮像する。これによりカメラから得られる撮像画像を属性情報２２４として、光学センサ３により得られた複数の撮像画像２２３に紐付けることで、学習データ２２２を作成することができる。ニューラルネットワーク７の出力に基づいて描画される画像には、被写体６が備える特徴のうちいくつかの特徴が欠落した状態で被写体６の像が映り得る。例えば、被写体６を人間とした場合には、顔の詳細を欠落した状態で当該人間の映る画像を得ることができる。これにより、プライバシーに配慮した出力とすることができる。
＜４．９＞
また、例えば、上記画像処理装置１は、複数件の学習結果データ１２２を保持し、利用者の指定に応じて、利用するニューラルネットワーク７を切替可能に構成されていてもよい。この場合、画像処理装置１は、利用者による入力装置１４の操作に応じて、各件の学習結果データ１２２を、ネットワーク１０を介して学習装置２から取得してもよいし、ドライブ１７を介して記憶媒体９１から取得してもよい。また、画像処理装置１は、学習装置２からの配信を受け付けることで、各件の学習結果データ１２２を取得してもよい。更に、各件の学習結果データ１２２はＮＡＳ（Network Attached Storage）等のその他の情報処理装置（記憶装置）に格納されていてもよく、画像処理装置１は、当該その他の情報処理装置にアクセスすることで、各件の学習結果データ１２２を取得してもよい。
１…画像処理装置（情報処理装置）、１００…画像処理システム、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…入力装置、１５…出力装置、１６…外部インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…属性取得部、
１２１…画像処理プログラム、１２２…学習結果データ、
１２３…撮像画像、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…外部インタフェース、
２７…ドライブ、
２１１…学習画像取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…撮像画像、２２４…属性情報、
３…光学センサ、
３１…レンズアレイ（光学部材）、
３１１・３１１Ａ・３１１Ｂ・３１１Ｃ…レンズ（透過部）、
３２…撮像素子、
６…被写体、
７…ニューラルネットワーク、
７１…入力層、７２…中間層（隠れ層）、７３…出力層、
８…ニューラルネットワーク、
８１…入力層、８２…中間層（隠れ層）、８３…出力層、
９１・９２…記憶媒体

Claims (17)

  1. 被写体からの光を屈折させる光学部材であって、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数の透過部を備える光学部材、及び前記各透過部に対応して設けられ、前記各透過部を透過した光を受けて、前記被写体を映した撮像画像をそれぞれ形成する複数の撮像素子を備える光学センサと、
    前記被写体の属性を判別するための学習を行った学習済みの学習器に、前記各撮像素子により得られた前記各撮像画像を入力することで、前記被写体の属性を示す属性情報を取得する情報処理装置と、
    を備える、
    画像処理システム。
  2. 前記学習器は、ニューラルネットワーク、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成される、
    請求項１に記載の画像処理システム。
  3. 前記光学部材の前記複数の透過部は、中央に配置され、所定の第１集光角度となるように構成された第１の透過部と、前記第１の透過部の周囲に配置され、前記第１の透過部の前記第１集光角度よりも大きい第２集光角度となるように構成された第２の透過部と、を含む、
    請求項１又は２に記載の画像処理システム。
  4. 前記第１集光角度は２．０度以下であり、前記第２集光角度は２０度以上である、
    請求項３に記載の画像処理システム。
  5. 前記各投光部の光学特性は不規則性を有している、
    請求項１又は２に記載の画像処理システム。
  6. 前記光学部材は、複数のレンズを備えるレンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含む、
    請求項１から５のいずれか１項に記載の画像処理システム。
  7. 前記光学部材は、前記複数の透過部として複数のレンズを備えるレンズアレイを含み、
    前記各透過部の光学特性は、前記各レンズの大きさ、素材、形状、及び色の少なくともいずれかによって実現される、
    請求項１から６のいずれか１項に記載の画像処理システム。
  8. 前記情報処理装置は、前記属性情報として、前記被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、及び環境情報のうちの一つ又は組み合わせを出力する、
    請求項１から７のいずれか１項に記載の画像処理システム。
  9. 前記情報処理装置は、前記学習器の出力に基づいて前記被写体を描画した画像を作成し、当該作成した画像を前記属性情報として出力する、
    請求項１から８のいずれか１項に記載の画像処理システム。
  10. 被写体からの光を屈折させる光学部材であって、異なる光学特性を有することで透過する光の屈折パターンがそれぞれ異なるよう構成された複数の透過部を備える光学部材と、
    前記各透過部に対応して設けられ、前記各透過部を透過した光を受けて、前記被写体を映した撮像画像をそれぞれ形成する複数の撮像素子と、
    を備える、
    光学センサ。
  11. 前記光学部材の前記複数の透過部は、中央に配置され、所定の第１集光角度となるように構成された第１の透過部と、前記第１の透過部の周囲に配置され、前記第１の透過部よりも大きい第２集光角度となるように構成された第２の透過部と、を含む、
    請求項１０に記載の光学センサ。
  12. 前記第１の集光角度は２．０度以下であり、前記第２集光角度は２０度以上である、
    請求項１１に記載の光学センサ。
  13. 前記各透過部の光学特性は不規則性を有する、
    請求項１０に記載の光学センサ。
  14. 前記光学部材は、複数のレンズを備えるレンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含む、
    請求項１０から１３のいずれか１項に記載の光学センサ。
  15. 前記光学部材は、前記複数の透過部として複数のレンズを備えるレンズアレイを含み、
    前記各透過部の光学特性は、前記各レンズの大きさ、素材、形状、及び色の少なくともいずれかによって実現される、
    請求項１０から１４のいずれか１項に記載の光学センサ。
  16. 請求項１０から１５のいずれか１項に記載の光学センサから前記各撮像素子の撮像した前記各撮像画像を取得する学習画像取得部と、
    取得した前記各撮像画像を入力すると前記被写体の属性情報を出力するように学習器を学習させる学習処理部と、
    を備える、
    学習装置。
  17. 前記学習処理部は、前記属性情報として、前記被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、環境情報、及び、前記被写体を描画した画像、のうちの一つ又は組み合わせを出力するように前記学習器を学習させる、
    請求項１６に記載の学習装置。
JP2017016385A 2017-02-01 2017-02-01 画像処理システム、光学センサ、及び学習装置 Expired - Fee Related JP6729428B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017016385A JP6729428B2 (ja) 2017-02-01 2017-02-01 画像処理システム、光学センサ、及び学習装置
PCT/JP2017/009537 WO2018142634A1 (ja) 2017-02-01 2017-03-09 画像処理システム、光学センサ、及び学習装置
US16/478,867 US11087498B2 (en) 2017-02-01 2017-03-09 Image processing system, optical sensor, and learning apparatus with irregular lens array
CN201780080629.3A CN110115022B (zh) 2017-02-01 2017-03-09 图像处理系统、光学传感器、以及学习装置
EP17895458.2A EP3579536A4 (en) 2017-02-01 2017-03-09 IMAGE PROCESSING SYSTEM, OPTICAL SENSOR, AND LEARNING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016385A JP6729428B2 (ja) 2017-02-01 2017-02-01 画像処理システム、光学センサ、及び学習装置

Publications (2)

Publication Number Publication Date
JP2018125701A true JP2018125701A (ja) 2018-08-09
JP6729428B2 JP6729428B2 (ja) 2020-07-22

Family

ID=63040448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016385A Expired - Fee Related JP6729428B2 (ja) 2017-02-01 2017-02-01 画像処理システム、光学センサ、及び学習装置

Country Status (5)

Country Link
US (1) US11087498B2 (ja)
EP (1) EP3579536A4 (ja)
JP (1) JP6729428B2 (ja)
CN (1) CN110115022B (ja)
WO (1) WO2018142634A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822390A (zh) * 2019-11-15 2021-05-18 三星电子株式会社 处理图像的方法和图像处理设备
US11663691B2 (en) 2019-10-30 2023-05-30 Samsung Electronics Co., Ltd. Method and apparatus for restoring image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3766009A4 (en) * 2018-03-13 2021-12-01 HRL Laboratories, LLC SPARE ASSOCIATIVE MEMORY FOR IDENTIFYING OBJECTS
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7357171B2 (ja) * 2020-12-28 2023-10-05 富士フイルム株式会社 撮像支援装置、撮像装置、撮像支援方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010078563A1 (en) * 2009-01-05 2010-07-08 Applied Quantum Technologies, Inc. Multiscale optical system using a lens array
WO2010121637A1 (en) * 2009-04-22 2010-10-28 Raytrix Gmbh Digital imaging system, plenoptic optical device and image data processing method
US20110221599A1 (en) * 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
JP2015188251A (ja) * 2013-03-05 2015-10-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
DE102008062977A1 (de) 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild
JP2011077764A (ja) 2009-09-30 2011-04-14 Fujifilm Corp 多次元画像処理装置、多次元画像撮影システム、多次元画像印刷物および多次元画像処理方法
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016045170A (ja) 2014-08-26 2016-04-04 富士フイルム株式会社 測距装置、方法及びプログラム
TWI592682B (zh) * 2015-07-02 2017-07-21 先進光電科技股份有限公司 光學成像系統
US10416454B2 (en) * 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
JP6211137B2 (ja) 2016-06-02 2017-10-11 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法
CN106303228B (zh) 2016-08-04 2019-09-13 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010078563A1 (en) * 2009-01-05 2010-07-08 Applied Quantum Technologies, Inc. Multiscale optical system using a lens array
JP2012514796A (ja) * 2009-01-05 2012-06-28 アプライド クウォンタム テクノロジイズ インク マルチスケール光学システム
WO2010121637A1 (en) * 2009-04-22 2010-10-28 Raytrix Gmbh Digital imaging system, plenoptic optical device and image data processing method
JP2012525028A (ja) * 2009-04-22 2012-10-18 ライトリックス・ゲー・エム・ベー・ハー デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法
US20110221599A1 (en) * 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
JP2015188251A (ja) * 2013-03-05 2015-10-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663691B2 (en) 2019-10-30 2023-05-30 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
CN112822390A (zh) * 2019-11-15 2021-05-18 三星电子株式会社 处理图像的方法和图像处理设备

Also Published As

Publication number Publication date
US11087498B2 (en) 2021-08-10
WO2018142634A1 (ja) 2018-08-09
CN110115022A (zh) 2019-08-09
EP3579536A4 (en) 2020-04-08
CN110115022B (zh) 2020-12-01
EP3579536A1 (en) 2019-12-11
US20190378304A1 (en) 2019-12-12
JP6729428B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
JP6729428B2 (ja) 画像処理システム、光学センサ、及び学習装置
JP6780537B2 (ja) 光学センサ、学習装置、及び画像処理システム
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
JP7284502B2 (ja) 画像処理装置及び方法
JP7126123B2 (ja) 学習装置、学習方法及びプログラム
US11068754B1 (en) Systems and methods regarding image distification and prediction models
US10262226B1 (en) Systems and methods regarding 2D image and 3D image ensemble prediction models
US11670097B2 (en) Systems and methods for 3D image distification
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
JPWO2019054092A1 (ja) 画像生成装置及び画像生成方法
Yang et al. Robustifying semantic cognition of traversability across wearable RGB-depth cameras
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP2018147286A (ja) 対象物解析装置、対象物解析方法、学習装置及び学習方法
US20190347520A1 (en) Learning device, learning method, and storage medium
US20220103797A1 (en) Integrated Spatial Phase Imaging
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
JP2018136211A (ja) 環境認識システム及び学習装置
Belay et al. Design of a multichannel, multiresolution smart imaging system
Azorin-Lopez et al. A novel active imaging model to design visual systems: a case of inspection system for specular surfaces
Gao et al. Self super-resolution autostereoscopic 3D measuring system using deep convolutional neural networks
Chen et al. Infrared object classification with a hybrid optical convolution neural network
Kim et al. Compact infrared imaging lidar system for obstacle detection and mapping in sensor fusion
CN117252926B (zh) 基于视觉定位的手机壳辅料智能装配控制系统
Gao et al. Semi-supervised angular super-resolution method for autostereoscopic 3D surface measurement
Xie et al. Gesture recognition algorithm combining ResNet and ShuffleNet

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees