JP2018147286A - 対象物解析装置、対象物解析方法、学習装置及び学習方法 - Google Patents
対象物解析装置、対象物解析方法、学習装置及び学習方法 Download PDFInfo
- Publication number
- JP2018147286A JP2018147286A JP2017042661A JP2017042661A JP2018147286A JP 2018147286 A JP2018147286 A JP 2018147286A JP 2017042661 A JP2017042661 A JP 2017042661A JP 2017042661 A JP2017042661 A JP 2017042661A JP 2018147286 A JP2018147286 A JP 2018147286A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- neural network
- data
- image
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】対象物の属性に対する認識精度を簡易な構成で高めることが可能な技術を提供する。【解決手段】本発明の一側面に係る対象物解析装置は、対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得部と、前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得るニューラルネットワーク演算部と、前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定部と、を備える。【選択図】図4
Description
本発明は、対象物解析装置、対象物解析方法、学習装置及び学習方法に関する。
近年、コンピュータの処理能力が向上したことに伴い、多層構造のニューラルネットワークを用いたディープラーニングが様々な産業用途で利用されつつある。例えば、特許文献1には、CCDカメラにより得られた画像情報と超音波距離センサにより得られた距離情報とを同一のニューラルネットワークに入力し、当該ニューラルネットワークからの出力信号に基づいて運動装置を駆動させる運動制御装置が提案されている。
また、例えば、特許文献2には、ニューラルネットワークを用いて、ステレオカメラにより撮影した一対の画像から生成される距離画像内の立体物の識別を行う立体物認識装置が提案されている。具体的には、この立体物認識装置は、ステレオカメラにより得られた一対の画像間に生じる視差を利用して距離画像を生成し、生成した距離画像上で同一立体物を示す距離データ群をグループ化する。次に、立体物認識装置は、グループ化した立体物の距離データ群を包含する最小の領域を距離画像上に設定し、当該領域を設定分割数で分割する小領域毎に代表的な距離データを要素とする入力値を設定する。そして、立体物認識装置は、設定した入力値をニューラルネットワークに入力することで得られる出力値のパターンに基づいて立体物の種類を識別する。
特許文献1の方法では、超音波距離センサにより得られた距離情報を用いているが、この距離情報の示す距離の値は、CCDカメラにより得られる画像の各画素にそのままでは対応していない。また、超音波距離センサにより距離の値を取得可能な範囲は画像内に写る撮影範囲の一部である。すなわち、超音波距離センサでは、画像を構成する全ての画素について、その画素に写る対象までの距離の値を取得することはできない。そのため、特許文献1の方法では、対象物の属性に対する認識精度を高めるのが困難であるという問題点があった。
また、特許文献2の方法では、ニューラルネットワークにデータを入力する前に、一対の画像間で対応する点を探索するステレオマッチング、同一立体物を示す距離データ群のグルーピング等の画像処理を行っている。そのため、特許文献2の方法では、システムの構成が煩雑になってしまうという問題点があった。
本発明は、一側面では、このような点を考慮してなされたものであり、その目的は、対象物の属性に対する認識精度を簡易な構成で高めることが可能な技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る対象物解析装置は、対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得部と、前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得るニューラルネットワーク演算部と、前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定部と、を備える。
上記対象物解析装置では、ニューラルネットワークに対する入力として、対象物の像を含む画像を示す画像データの他、画像を構成する各画素の距離の値を示す距離データを利用する。よって、画像内の各画素について距離の値が得られているため、対象物の属性に対するニューラルネットワークの認識精度を高めることができる。また、上記対象物解析装置では、画像に対する高度な画像処理を行うことなく、画像データ及び距離データをニューラルネットワークに入力するだけで対象物の属性を特定することができるため、対象物の属性を解析する処理を簡易な構成で実現することができ、CPUの処理負荷を下げて、使用メモリの容量を低減することができる。したがって、上記対象物解析装置によれば、対象物の属性に対する認識精度を簡易な構成で高めることができる。なお、対象物は、撮影装置により撮影可能なあらゆる物を含んでよい。また、特定される対象物の属性は、画像に現れる対象物のあらゆる特徴を含んでよい。
また、上記一側面に係る対象物解析装置の別の形態として、前記属性特定部は、前記対象物の属性として、前記対象物の凹凸状態、材質、三次元形状、及び平面状態の少なくとも1つを特定してもよい。凹凸状態は、対象物に存在する凸部及び凹部の形状、大きさ等を示す。凸部には、突起が含まれる。また、凹部には、開口及び孔が含まれる。平面状態は、対象物の面の広がり具合、傾斜具合等を示す。凹凸状態、材質、三次元形状、及び平面状態は、単一の画像からは解析し難い属性である。当該構成によれば、画像データの他、距離データを利用しているため、単一の画像からは解析し難いこれらの属性を比較的に精度よく識別することができる。
また、上記一側面に係る対象物解析装置の別の形態として、前記属性特定部は、前記対象物の属性として、前記対象物の複数の物理的特性を特定してもよい。当該構成によれば、対象物を比較的に精度よく識別することができる。なお、物理的特性とは、対象物に物理的に表れる特徴のことである。物理的特性は、対象物の大きさ、形状、姿勢等の幾何学的特徴、及び対象物の組成等の材質的特徴を含む。
また、上記一側面に係る対象物解析装置の別の形態として、上記対象物解析装置は、利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークから前記ニューラルネットワーク演算部の利用するニューラルネットワークを選択するニューラルネットワーク選択部を更に備えてもよい。当該構成によれば、対象物の種類に適した解析処理を実現することができる。
また、上記一側面に係る対象物解析装置の別の形態として、前記画像データ及び前記距離データは、車両外部の状況を前記対象物として撮影することにより得られてもよく、前記属性特定部は、前記ニューラルネットワークから得られた前記出力値に基づいて、路面の状態、障害物の有無、及び障害物の種類の少なくとも1つを前記対象物の属性として特定してもよい。当該構成によれば、車両外部の状況を高精度に識別可能な対象物解析装置を提供することができる。
また、上記一側面に係る対象物解析装置の別の形態として、前記画像データ及び前記距離データは、製造ラインで製造される製品を前記対象物として撮影することにより得られてもよく、前記属性特定部は、前記ニューラルネットワークから得られた前記出力値に基づいて、前記製品の大きさ、形状、及び傷の有無の少なくとも1つを前記対象物の属性として特定してもよい。当該構成によれば、製造ラインで製造される製品の品質を高精度に識別可能な対象物解析装置を提供することができる。
また、上記一側面に係る対象物解析装置の別の形態として、前記画像データ及び前記距離データは、前記対象物として人間を撮影することにより得られてもよく、前記属性特定部は、前記ニューラルネットワークから得られた前記出力値に基づいて、前記人間の体型、表情、及び姿勢の少なくとも1つを前記対象物の属性として特定してもよい。当該構成によれば、人物を高精度に識別可能な対象物解析装置を提供することができる。
また、本発明の一側面に係る学習装置は、対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得部と、前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理部と、を備える。当該構成によれば、所望の解析対象に応じて、上記対象物解析装置に利用する学習済みニューラルネットワークを構築することができる。
なお、上記各形態に係る対象物解析装置及び学習装置それぞれの別の態様として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積する媒体である。
例えば、本発明の一側面に係る対象物解析方法は、コンピュータが、対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、前記画像データ及び前記距離データをニューラルネットワークの入力として用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を取得する演算処理ステップと、前記ニューラルネットワークから取得した前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、を実行する情報処理方法である。
上記一側面に係る対象物解析方法において、前記属性特定ステップでは、前記コンピュータは、前記対象物の属性として、前記対象物の凹凸状態、材質、三次元形状、及び平面状態の少なくとも1つを特定してもよい。
上記一側面に係る対象物解析方法において、前記属性特定ステップでは、前記コンピュータは、前記対象物の属性として、前記対象物の複数の物理的特性を特定してもよい。
上記一側面に係る対象物解析方法において、前記コンピュータは、利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークから前記演算処理ステップで利用するニューラルネットワークを選択する選択ステップを更に実行してもよい。
上記一側面に係る対象物解析方法において、前記画像データ及び前記距離データは、車両外部の状況を前記対象物として撮影することにより得られてよく、前記属性特定ステップでは、前記コンピュータは、前記ニューラルネットワークから得られた前記出力値に基づいて、路面の状態、障害物の有無、及び障害物の種類の少なくとも1つを前記対象物の属性として特定してもよい。
上記一側面に係る対象物解析方法において、前記画像データ及び前記距離データは、製造ラインで製造される製品を前記対象物として撮影することにより得られてよく、前記属性特定ステップでは、前記コンピュータは、前記ニューラルネットワークから得られた前記出力値に基づいて、前記製品の大きさ、形状、及び傷の有無の少なくとも1つを前記対象物の属性として特定してもよい。
上記一側面に係る対象物解析方法において、前記画像データ及び前記距離データは、前記対象物として人間を撮影することにより得られてよく、前記属性特定ステップでは、前記コンピュータは、前記ニューラルネットワークから得られた前記出力値に基づいて、前記人間の体型、表情、及び姿勢の少なくとも1つを前記対象物の属性として特定してもよい。
また、例えば、本発明の一側面に係る対象物解析プログラムは、コンピュータに、対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、前記画像データ及び前記距離データをニューラルネットワークの入力として用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を取得する演算処理ステップと、前記ニューラルネットワークから取得した前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、を実行させるためのプログラムである。
また、例えば、本発明の一側面に係る学習方法は、対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、を実行する情報処理方法である。
また、例えば、本発明の一側面に係る学習プログラムは、対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、を実行させるためのプログラムである。
本発明によれば、対象物の属性に対する認識精度を簡易な構成で高めることができる。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る対象物解析装置1及び学習装置2の適用場面の一例を模式的に例示する。本実施形態に係る対象物解析装置1は、ニューラルネットワークを用いて、対象物6の属性を解析するための情報処理装置である。
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る対象物解析装置1及び学習装置2の適用場面の一例を模式的に例示する。本実施形態に係る対象物解析装置1は、ニューラルネットワークを用いて、対象物6の属性を解析するための情報処理装置である。
図1に示されるとおり、対象物解析装置1は、カメラ3を介して、対象物6の像を含む画像を示す画像データと、画像を構成する各画素の距離の値を示す距離データと、を取得する。対象物6は、撮影装置により撮影可能なあらゆる物を含んでよく、例えば、車両外部の状況等のシーン、又は製造ラインで製造される製品、人間等の所定の物体であってよい。
また、カメラ3は、後述するとおり、一般的な画像(例えば、白黒画像、カラー画像)を撮影すると共に、画像を構成する各画素の距離を測定可能な撮影装置であれば、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。カメラ3には、例えば、オプテックス社のZC−1000L−HPシリーズ、マイクロソフト社のKinect、ASUS社のXtion、ライトロジャパン社のILLUM等を用いることができる。
続いて、対象物解析装置1は、取得した画像データ及び距離データを、対象物6の属性を判別するための学習済みのニューラルネットワークの入力として用いて、当該ニューラルネットワークの演算処理を行うことで、当該ニューラルネットワークから出力値を得る。そして、対象物解析装置1は、ニューラルネットワークから得られた出力値に基づいて、対象物6の属性を特定する。特定される対象物6の属性は、画像に現れる対象物6の特徴であれば、特に限定されなくよく、実施の形態に応じて適宜選択されてよい。
一方、本実施形態に係る学習装置2は、対象物解析装置1が利用するニューラルネットワークを作成する、すなわち、ニューラルネットワークの学習を行うための情報処理装置である。具体的には、学習装置2は、学習データとして、対象物6の像を含む画像を示す画像データ及び画像を構成する各画素の距離の値を示す距離データ、並びに対象物6の属性を示す属性データの組を取得する。学習データは、学習を所望する対象物6の属性に応じて適宜作成される。
続いて、学習装置2は、学習データを用いて、画像データ及び距離データを入力すると属性データの示す属性に対応する出力値を出力するようにニューラルネットワークの学習を行う。これにより、上記対象物解析装置1で利用する学習済みニューラルネットワークが構築される。なお、上記対象物解析装置1は、例えば、ネットワーク10を介して、学習装置2により構築される学習済みのニューラルネットワークを取得してもよい。ネットワーク10の種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
以上のとおり、本実施形態では、対象物6の属性の解析において、対象物6の像を含む画像を示す画像データの他に、画像を構成する各画素の距離の値を示す距離データを、ニューラルネットワークに対する入力として利用する。すなわち、ニューラルネットワークによる対象物6の属性の解析において、対象物6の像を含む画像の他、画像内の各画素について得られる距離の値を利用する。これによって、対象物6の属性に対するニューラルネットワークの認識精度を高めることができる。また、本実施形態では、画像に対する高度な画像処理を行うことなく、画像データ及び距離データをニューラルネットワークに入力するだけで、対象物6の属性を解析することができる。これによって、対象物6の属性を解析する処理を簡易な構成で実現することができ、CPUの処理負荷を下げて、使用メモリの容量を低減することができる。したがって、本実施形態によれば、対象物6の属性に対する認識精度を簡易な構成で高めることができる。
§2 構成例
[ハードウェア構成]
<対象物解析装置>
次に、図2を用いて、本実施形態に係る対象物解析装置1のハードウェア構成の一例を説明する。図2は、本実施形態に係る対象物解析装置1のハードウェア構成の一例を模式的に例示する。
[ハードウェア構成]
<対象物解析装置>
次に、図2を用いて、本実施形態に係る対象物解析装置1のハードウェア構成の一例を説明する。図2は、本実施形態に係る対象物解析装置1のハードウェア構成の一例を模式的に例示する。
図2に示されるとおり、本実施形態に係る対象物解析装置1は、制御部11、記憶部12、通信インタフェース13、入力装置14、出力装置15、外部インタフェース16、及びドライブ17が電気的に接続されたコンピュータである。ただし、図2では、通信インタフェース及び外部インタフェースをそれぞれ、「通信I/F」及び「外部I/F」と記載している。
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて各構成要素の制御を行う。記憶部12は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部11で実行される対象物解析プログラム121、学習済みのニューラルネットワークに関する情報を示す学習済みデータ122等を記憶する。記憶部12は、「メモリ」に相当する。
対象物解析プログラム121は、対象物解析装置1に後述する対象物6の属性を解析する処理(図7)を実行させるためのプログラムである。また、学習済みデータ122は、ニューラルネットワークの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を含み、対象物6の属性を解析する処理に用いる学習済みニューラルネットワークを設定するのに利用される。なお、本実施形態では、記憶部12は、複数件の学習済みデータ122を格納している。
通信インタフェース13は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置15は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。外部インタフェース16は、USB(Universal Serial Bus)ポート等であり、カメラ3等の外部装置と接続するためのインタフェースである。
ドライブ17は、例えば、CD(Compact Disk)ドライブ、DVD(Digital Versatile Disk)ドライブ等であり、記憶媒体91に記憶されたプログラムを読み込むための装置である。ドライブ17の種類は、記憶媒体91の種類に応じて適宜選択されてよい。上記対象物解析プログラム121及び/又は学習済みデータ122は、この記憶媒体91に記憶されていてもよい。
記憶媒体91は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。対象物解析装置1は、この記憶媒体91から、対象物解析プログラム121及び/又は学習済みデータ122を取得してもよい。
ここで、図2では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、対象物解析装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてよい。対象物解析装置1は、複数台の情報処理装置で構成されてもよい。また、対象物解析装置1は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップPC(Personal Computer)、タブレットPC等が用いられてもよい。
<学習装置>
次に、図3を用いて、本実施形態に係る学習装置2のハードウェア構成の一例を説明する。図3は、本実施形態に係る学習装置2のハードウェア構成の一例を模式的に例示する。
次に、図3を用いて、本実施形態に係る学習装置2のハードウェア構成の一例を説明する。図3は、本実施形態に係る学習装置2のハードウェア構成の一例を模式的に例示する。
図3に示されるとおり、本実施形態に係る学習装置2は、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、外部インタフェース26、及びドライブ27が電気的に接続されたコンピュータである。なお、図3では、図2と同様に、通信インタフェース及び外部インタフェースをそれぞれ、「通信I/F」及び「外部I/F」と記載している。
制御部21〜ドライブ27及び記憶媒体92はそれぞれ、上記対象物解析装置1の制御部11〜ドライブ17及び記憶媒体91と同様である。また、外部インタフェース26を介して接続されるカメラ5は、上記対象物解析装置1に接続されるカメラ3と同様である。ただし、学習装置2の記憶部22は、制御部21で実行される学習プログラム221、ニューラルネットワークの学習に利用する学習データ222等を記憶する。
学習プログラム221は、学習装置2に後述するニューラルネットワークの学習処理(図9)を実行させるためのプログラムである。また、学習データ222は、ニューラルネットワークを対象物6の所望の属性を解析可能に学習させるためのデータであり、画像データ及び距離データ並びに属性データを含む。学習データ222の詳細は後述する。
なお、上記対象物解析装置1と同様に、学習プログラム221及び/又は学習データ222は、記憶媒体92に記憶されていてもよい。これに応じて、学習装置2は、利用する学習プログラム221及び/又は学習データ222を記憶媒体92から取得してもよい。
また、上記対象物解析装置1と同様に、学習装置2の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。更に、学習装置2は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップPC等が用いられてもよい。
[機能構成]
<対象物解析装置>
次に、図4を用いて、本実施形態に係る対象物解析装置1の機能構成の一例を説明する。図4は、本実施形態に係る対象物解析装置1の機能構成の一例を模式的に例示する。
<対象物解析装置>
次に、図4を用いて、本実施形態に係る対象物解析装置1の機能構成の一例を説明する。図4は、本実施形態に係る対象物解析装置1の機能構成の一例を模式的に例示する。
対象物解析装置1の制御部11は、記憶部12に記憶された対象物解析プログラム121をRAMに展開する。そして、制御部11は、RAMに展開された対象物解析プログラム121をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図4に示されるとおり、本実施形態に係る対象物解析装置1は、データ取得部111、ニューラルネットワーク演算部112、属性特定部113、及びニューラルネットワーク選択部114を備えるコンピュータとして機能する。
データ取得部111は、対象物6の像を含む画像を示す画像データ123、及び画像を構成する各画素の距離の値を示す距離データ124を取得する。ニューラルネットワーク演算部112は、画像データ123及び距離データ124を、対象物6の属性を判別するための学習済みのニューラルネットワーク7の入力として用いて、当該ニューラルネットワーク7の演算処理を行うことにより、ニューラルネットワーク7から出力値を得る。属性特定部113は、ニューラルネットワーク7から得られた出力値に基づいて、対象物6の属性を特定する。ニューラルネットワーク選択部114は、利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークからニューラルネットワーク演算部112の利用するニューラルネットワーク7を選択する。なお、利用するニューラルネットワーク7は、学習済みデータ122に基づいて設定される。
ここで、図5を更に用いて、画像データ123及び距離データ124について説明する。図5は、カメラ3により取得される画像データ123及び距離データ124を説明するための図である。本実施形態に係るカメラ3は、対象物(被写体)の像を結像して画像を形成し、かつ当該形成する画像の各画素に対応して対象物までの距離を測定可能に構成される。例えば、カメラ3は、赤外線LED(Light Emitting Diode)等の赤外光を照射する投光部とCMOS(Complementary MOS)イメージセンサ等の赤外光及び可視光を受光する受光部とを備える撮影装置である。
これにより、カメラ3は、対象物から反射した可視光線を受光部により結像することで、画像を構成する各画素の色を画素値で表現した画像データ123を取得することができる。各画像の画素値は、例えば、RGB色空間で表現されてもよいし、グレースケール色空間で表現されてもよい。各画像の画素値の表現方法は、実施の形態に応じて適宜選択可能である。
また、カメラ3は、投光部から投光した赤外光が対象物に当たって受光部に戻るまでの時間を画素毎に測定することで、カメラ3から各画素に写る像までの距離(深度)dの値を画素毎に示す距離データ124を取得することができる(TOF方式:Time Of Flight)。この距離dは、カメラ3と対象物との直線の距離d1で表現されてもよいし、カメラ3の被写体に対する水平軸から下ろした垂線の距離d2で表現されてもよい。距離d1及び距離d2は三平方の定理等により互いに変換可能であるため、距離d1及び距離d2のいずれを採用しても、同様に説明可能である。
このように、本実施形態では、カメラ3は、画像を構成する各画素について、画素値の他、距離dの値を取得する。これによって、画像を取得する全ての範囲について、対象物までの距離dの値を取得することができる。加えて、画素値及び距離dの値を画素毎に対応付けて取得することができる。
ただし、画像を構成する全ての画素について必ずしも距離dの値が取得されなくてもよい。すなわち、取得される距離データにおいて、赤外光の反射が妨げられる等の理由により、対象物までの距離dの値が取得不能な画素が存在してもよい。なお、距離データ124は、画像を構成する各画素の距離の値を示すため、この距離データ124によっても画像を表わすことができる。画像データ123の示す画像と区別して、この距離データ124により示される画像を「距離画像」と称してもよい。
次に、ニューラルネットワーク7について説明する。図4に示されるとおり、利用されるニューラルネットワーク7は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層71、中間層(隠れ層)72、及び出力層73を備えている。
図4では、ニューラルネットワーク7は1層の中間層72を備えており、入力層71の出力が中間層72の入力となり、中間層72の出力が出力層73の入力となっている。ただし、中間層72の数は1層に限られなくてもよく、ニューラルネットワーク7は、中間層72を2層以上備えてもよい。
各層71〜73は、1又は複数のニューロンを備えている。例えば、入力層71のニューロンの数は、画像データ123及び距離データ124の画素数に応じて設定することができる。中間層72のニューロンの数は実施の形態に応じて適宜設定することができる。また、出力層73は、解析対象とする対象物6の属性の種類数に応じて設定することができる。
隣接する層のニューロン同士は適宜結合され、各結合には重み(結合荷重)が設定されている。図4の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。対象物解析装置1は、このようなニューラルネットワーク7の入力層71に上記画像データ123及び距離データ124を入力することで出力層73から得られる出力値に基づいて対象物6の属性を特定する。
<学習装置>
次に、図6を用いて、本実施形態に係る学習装置2の機能構成の一例を説明する。図6は、本実施形態に係る学習装置2の機能構成の一例を模式的に例示する。
次に、図6を用いて、本実施形態に係る学習装置2の機能構成の一例を説明する。図6は、本実施形態に係る学習装置2の機能構成の一例を模式的に例示する。
学習装置2の制御部21は、記憶部22に記憶された学習プログラム221をRAMに展開する。そして、制御部21は、RAMに展開された学習プログラム221をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図6に示されるとおり、本実施形態に係る学習装置2は、学習データ取得部211、及び学習処理部212を備えるコンピュータとして機能する。
学習データ取得部211は、学習データ222として、対象物6の像を含む画像を示す画像データ223及び画像を構成する各画素の距離の値を示す距離データ224、並びに対象物6の属性を示す属性データ225の組を取得する。学習処理部212は、学習データ222を用いて、画像データ223及び距離データ224を入力すると属性データ225の示す属性に対応する出力値を出力するようにニューラルネットワーク8を学習させる。
学習対象となるニューラルネットワーク8は、入力層81、中間層(隠れ層)82、及び出力層83を備え、上記ニューラルネットワーク7と同様に構成される。各層81〜83は、上記各層71〜73と同様である。これにより、画像データ及び距離データを入力すると、対象物6の属性に対応する出力値を出力するニューラルネットワーク8が構築される。学習処理部212は、構築したニューラルネットワーク8の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習済みデータ122として記憶部22に格納する。
<その他>
対象物解析装置1及び学習装置2の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、対象物解析装置1及び学習装置2の各機能がいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、対象物解析装置1及び学習装置2それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
対象物解析装置1及び学習装置2の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、対象物解析装置1及び学習装置2の各機能がいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、対象物解析装置1及び学習装置2それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
§3 動作例
[対象物解析装置]
次に、図7を用いて、対象物解析装置1の動作例を説明する。図7は、対象物解析装置1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
[対象物解析装置]
次に、図7を用いて、対象物解析装置1の動作例を説明する。図7は、対象物解析装置1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101)
ステップS101では、制御部11は、ニューラルネットワーク選択部114として機能し、利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークから後述するステップS103で利用するニューラルネットワーク7を選択する。
ステップS101では、制御部11は、ニューラルネットワーク選択部114として機能し、利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークから後述するステップS103で利用するニューラルネットワーク7を選択する。
本実施形態では、対象物解析装置1は、解析対象とする対象物6及びその属性の種類に応じて、複数件の学習済みデータ122を記憶部12に保持している。そこで、制御部11は、解析対象となる対象物6及びその属性の種類を出力装置15に出力し、利用者の入力装置14による解析対象の指定を受け付ける。そして、制御部11は、利用者から受け付けた指定に応じて利用する学習済みデータ122を選択し、選択した学習済みデータ122を用いて、ニューラルネットワーク7の設定を行う。
具体的には、学習済みデータ122は、画像データ及び距離データを入力すると、所望する種類の対象物6の所望する属性に対応する出力値を出力するニューラルネットワーク7を設定可能なように、ニューラルネットワーク7の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を含んでいる。制御部11は、ニューラルネットワーク7の構成を示す情報に基づいて、ニューラルネットワーク7の構造、各層71〜73に含まれるニューロンの数、隣接する層のニューロン同士の結合状態等を設定する。また、制御部11は、各ニューロン間の結合の重み及び各ニューロンの閾値を示す情報に基づいて、ニューラルネットワーク7の各パラメータの値を設定する。これにより、利用するニューラルネットワーク7の設定が完了する。
なお、対象物解析装置1は、利用者による入力装置14の操作に応じて、各件の学習済みデータ122を、ネットワーク10を介して学習装置2から取得してもよいし、ドライブ17を介して記憶媒体91から取得してもよい。また、対象物解析装置1は、学習装置2からの配信を受け付けることで、各件の学習済みデータ122を取得してもよい。更に、各件の学習済みデータ122はNAS(Network Attached Storage)等のその他の情報処理装置(記憶装置)に格納されていてもよく、対象物解析装置1は、本ステップS101の処理を行う際に当該その他の情報処理装置にアクセスすることで、各件の学習済みデータ122を取得してもよい。
(ステップS102)
次のステップS102では、制御部11は、データ取得部111として機能し、画像データ123及び距離データ124を取得する。上記のとおり、本実施形態では、カメラ3が、画像データ123及び距離データ124を取得可能に構成される。そのため、制御部11は、外部インタフェース16を介してカメラ3から画像データ123及び距離データ124を取得する。
次のステップS102では、制御部11は、データ取得部111として機能し、画像データ123及び距離データ124を取得する。上記のとおり、本実施形態では、カメラ3が、画像データ123及び距離データ124を取得可能に構成される。そのため、制御部11は、外部インタフェース16を介してカメラ3から画像データ123及び距離データ124を取得する。
(ステップS103)
次のステップS103では、制御部11は、ニューラルネットワーク演算部112として機能し、画像データ123及び距離データ124を、対象物6の属性を判別するための学習済みのニューラルネットワーク7の入力として用いて、当該ニューラルネットワーク7の演算処理を行うことにより、当該ニューラルネットワーク7から出力値を得る。
次のステップS103では、制御部11は、ニューラルネットワーク演算部112として機能し、画像データ123及び距離データ124を、対象物6の属性を判別するための学習済みのニューラルネットワーク7の入力として用いて、当該ニューラルネットワーク7の演算処理を行うことにより、当該ニューラルネットワーク7から出力値を得る。
具体的には、制御部11は、画像データ123に含まれる各画素の画素値及び距離データ124に含まれる各画素の距離の値を、ステップS101で設定したニューラルネットワーク7の入力層71に含まれる各ニューロンに入力する。各値と各ニューロンとの対応関係は、実施の形態に応じて適宜設定されてよい。次に、制御部11は、順伝搬の方向に各層71〜73に含まれる各ニューロンの発火判定を行う。これにより、制御部11は、ニューラルネットワーク7の出力層73に含まれる各ニューロンから出力値を得ることができる。
(ステップS104)
次のステップS104では、制御部11は、属性特定部113として機能し、ステップS103でニューラルネットワーク7から得られた出力値に基づいて、対象物6の属性を特定する。
次のステップS104では、制御部11は、属性特定部113として機能し、ステップS103でニューラルネットワーク7から得られた出力値に基づいて、対象物6の属性を特定する。
上記のとおり、ニューラルネットワーク7は、画像データ123及び距離データ124を入力すると、所望する種類の対象物6の所望する属性に対応する出力値を出力するように学習済みである。また、出力層73に含まれるニューロンの数だけ出力値を得ることができ、得られる出力値のうち1又は複数の出力値を対象物6の1つの属性(属性値)に対応付けることができる。そして、対象物6の属性(属性値)とニューラルネットワーク7の出力値との対応関係を示す情報は、例えば、テーブル形式等のデータにより与えることができる。
制御部11は、対象物6の属性(属性値)とニューラルネットワーク7の出力値との対応関係を示す情報を参照することで、ステップS103で得られた出力値に基づいて、対象物6の属性(属性値)を特定する。特定する対象物6の属性の数は、実施の形態に応じて適宜選択されてよい。具体例は後述する。これにより、制御部11は、本動作例に係る対象物6の解析処理を終了する。
<解析例>
次に、図8A〜図8Cを用いて、上記対象物解析装置1を利用した対象物6の属性解析の3つの具体例を示す。
次に、図8A〜図8Cを用いて、上記対象物解析装置1を利用した対象物6の属性解析の3つの具体例を示す。
(1)第1具体例(車両外部の状況解析)
まず、図8Aを用いて、第1具体例について説明する。図8Aは、第1具体例として、自動車等の車両の外部の状況を解析するのに上記対象物解析装置1を利用する場面を模式的に例示する。この場合、図8Aに示されるとおり、カメラ3は、車両外部(例えば、車両前方)の状況を撮影可能に設置された車載カメラである。また、対象物解析装置1は、カメラ3に接続可能な車載装置、汎用のPC等の情報処理装置である。
まず、図8Aを用いて、第1具体例について説明する。図8Aは、第1具体例として、自動車等の車両の外部の状況を解析するのに上記対象物解析装置1を利用する場面を模式的に例示する。この場合、図8Aに示されるとおり、カメラ3は、車両外部(例えば、車両前方)の状況を撮影可能に設置された車載カメラである。また、対象物解析装置1は、カメラ3に接続可能な車載装置、汎用のPC等の情報処理装置である。
上記ステップS101では、制御部11は、利用者から車両外部の状況解析の指定を受け付けたことに応じて、対応する学習済みデータ122に基づき、ニューラルネットワーク7Aの設定を行う。続いて、上記ステップS102では、制御部11は、車両外部の状況を対象物6Aとして撮影することにより得られた画像データ123A及び距離データ124Aをカメラ3から取得する。
次に、上記ステップS103では、制御部11は、画像データ123Aに含まれる各画素の画素値及び距離データ124Aに含まれる各画素の距離の値を、ニューラルネットワーク7Aの入力層71Aに含まれる各ニューロンに入力する。更に、制御部11は、順伝搬の方向に、入力層71A、中間層72A、及び出力層73Aに含まれる各ニューロンの発火判定の演算を行い、出力層73Aに含まれる各ニューロンから出力値を得る。
そして、上記ステップS104では、制御部11は、ニューラルネットワーク7Aから得られた出力値に基づいて、路面の状態、障害物の有無、及び障害物の種類の少なくとも1つを対象物6Aの属性として特定する。解析対象とする車両外部の状況の種類は、実施の形態に応じて適宜選択されてよい。
例えば、図8Aに示されるように、出力層73Aに含まれるニューロンの数が3つ以上であり、対象物解析装置1は、「路面の状態」及び「障害物の有無」の2種類の属性を少なくとも解析対象とするように設定されていてもよい。加えて、解析対象とする「路面の状態」の属性値は「平坦」「凸凹」「坂道(上り)」及び「坂道(下り)」の4種類であり、路面の各状態が出力値「(0,0)」「(0,1)」「(1,0)」及び「(1,1)」に対応付けられていてよい。更に、解析対象とする「障害物の有無」の属性値は「障害物がない」及び「障害物がある」の2種類であり、それぞれが出力値「0」及び「1」に対応付けられていてよい。
この場合、制御部11は、ニューラルネットワーク7Aの「路面の状態」に対応する出力値が「(0,0)」「(0,1)」「(1,0)」又は「(1,1)」であることに基づいて、撮影範囲内の路面の状態が「平坦」「凸凹」「坂道(上り)」又は「坂道(下り)」であることを認識することができる。また、制御部11は、ニューラルネットワーク7Aの「障害物の有無」に対応する出力値が「0」又は「1」であることに基づいて、撮影範囲内に「障害物がない」又は「障害物がある」ことを認識することができる。
なお、この「路面の状態」及び「障害物の有無」の認識結果は、車両の自動運転に利用されてもよい。例えば、「路面の状態」の認識結果に基づいて、制御部11は、車両の運転速度を制御してもよい。また、例えば、「障害物がある」と認識したときに、制御部11は、その障害物の前で停止するように車両を制御してもよい。
(2)第2具体例(製造ラインで製造される製品の状態解析)
次に、図8Bを用いて、第2具体例について説明する。図8Bは、第2具体例として、製造ラインで製造される製品の状態を解析するのに上記対象物解析装置1を利用する場面を模式的に例示する。この場合、図8Bに示されるとおり、カメラ3は、製造ラインを流れる製品を撮影可能に設置される。
次に、図8Bを用いて、第2具体例について説明する。図8Bは、第2具体例として、製造ラインで製造される製品の状態を解析するのに上記対象物解析装置1を利用する場面を模式的に例示する。この場合、図8Bに示されるとおり、カメラ3は、製造ラインを流れる製品を撮影可能に設置される。
上記ステップS101では、制御部11は、製造ラインで製造される製品の状態解析の指定を利用者から受け付けたことに応じて、対応する学習済みデータ122に基づき、ニューラルネットワーク7Bの設定を行う。続いて、上記ステップS102では、制御部11は、製造ラインで製造される製品を対象物6Bとして撮影することにより得られた画像データ123B及び距離データ124Bをカメラ3から取得する。
次に、上記ステップS103では、制御部11は、画像データ123Bに含まれる各画素の画素値及び距離データ124Bに含まれる各画素の距離の値を、ニューラルネットワーク7Bの入力層71Bに含まれる各ニューロンに入力する。更に、制御部11は、順伝搬の方向に、入力層71B、中間層72B、及び出力層73Bに含まれる各ニューロンの発火判定の演算を行い、出力層73Bに含まれる各ニューロンから出力値を得る。
そして、上記ステップS104では、制御部11は、ニューラルネットワーク7Bから得られた出力値に基づいて、前記製品の大きさ、形状、及び傷の有無の少なくとも1つを対象物6Bの属性として特定する。解析対象とする製品の状態の種類は、上記第1具体例と同様に、実施の形態に応じて適宜選択されてよい。例えば、図8Bでは、出力層73Bの各出力値に基づいて、「製品の形状」及び「傷の有無」の2種類の属性を少なくとも解析対象とする場面が示されている。各属性値と出力値との対応関係は実施の形態に応じて適宜設定されてよい。
なお、この製品状態の認識結果は、製造された製品に異常があるか否かの判定に利用されてもよい。例えば、製品に「傷がある」と認識したときに、制御部11は、その画像データ123B及び距離データ124Bに写る製品に異常があると判定し、そうではないときに、対象の製品に異常はないと判定してもよい。そして、制御部11は、異常があると判定した製品を異常のない製品とは別のラインに流すように製造ラインを制御してもよい。
(3)第3具体例(人間の特徴解析)
次に、図8Cを用いて、第3具体例について説明する。図8Cは、第3具体例として、人間の特徴を解析するのに上記対象物解析装置1を利用する場面を模式的に例示する。この場合、図8Cに示されるとおり、カメラ3は、特徴を解析する対象となる人物を撮影可能に設置される。
次に、図8Cを用いて、第3具体例について説明する。図8Cは、第3具体例として、人間の特徴を解析するのに上記対象物解析装置1を利用する場面を模式的に例示する。この場合、図8Cに示されるとおり、カメラ3は、特徴を解析する対象となる人物を撮影可能に設置される。
上記ステップS101では、制御部11は、対象人物の特徴解析の指定を利用者から受け付けたことに応じて、対応する学習済みデータ122に基づき、ニューラルネットワーク7Cの設定を行う。続いて、上記ステップS102では、制御部11は、対象人物を対象物6Cとして撮影することにより得られた画像データ123C及び距離データ124Cをカメラ3から取得する。
次に、上記ステップS103では、制御部11は、画像データ123Cに含まれる各画素の画素値及び距離データ124Cに含まれる各画素の距離の値を、ニューラルネットワーク7Cの入力層71Cに含まれる各ニューロンに入力する。更に、制御部11は、順伝搬の方向に、入力層71C、中間層72C、及び出力層73Cに含まれる各ニューロンの発火判定の演算を行い、出力層73Cに含まれる各ニューロンから出力値を得る。
そして、上記ステップS104では、制御部11は、ニューラルネットワーク7Cから得られた出力値に基づいて、前記人間の体型、表情、及び姿勢の少なくとも1つを対象物6Cの属性として特定する。解析対象とする人間の特徴の種類は、上記第1及び第2具体例と同様に、実施の形態に応じて適宜選択されてよい。例えば、図8Cでは、出力層73Cの各出力値に基づいて、「体型」及び「姿勢」の2種類の属性を少なくとも解析対象とする場面が示されている。各属性値と出力値との対応関係は実施の形態に応じて適宜設定されてよい。
なお、この人物の特徴の認識結果は、健康状態の判定等に利用されてもよい。例えば、制御部11は、対象人物の体型が肥満型であると認識したときに、肥満の注意を促す警告を通知するようにしてもよい。
(4)その他
上記3つの具体例はそれぞれ、上記対象物解析装置1の利用方法の一例である。上記対象物解析装置1の利用方法は、実施の形態に応じて適宜変更可能である。例えば、対象物解析装置1は、対象物6を部分的に写した画像データ及び距離データを入力することでニューラルネットワーク7から得られる出力値に基づいて、対象物6の三次元形状を特定するように構成されてもよい。
上記3つの具体例はそれぞれ、上記対象物解析装置1の利用方法の一例である。上記対象物解析装置1の利用方法は、実施の形態に応じて適宜変更可能である。例えば、対象物解析装置1は、対象物6を部分的に写した画像データ及び距離データを入力することでニューラルネットワーク7から得られる出力値に基づいて、対象物6の三次元形状を特定するように構成されてもよい。
なお、上記3つの具体例に例示されるように、対象物解析装置1は、上記ステップS104において、対象物6の属性として、対象物6の複数の物理的特性を特定するように構成されてもよい。物理的特性とは、対象物6の大きさ、形状、姿勢等、対象物6に物理的に表れる特徴のことである。物理的特性は、対象物6の大きさ、形状、姿勢等の幾何学的特徴、及び対象物6の組成等の材質的特徴を含む。本実施形態では、ニューラルネットワーク7の入力に、画素毎に距離の値を有する距離画像を構成する距離データ124を用いており、この距離画像には、対象物6の物理的特性(特に、幾何学的特徴)が比較的に現れやすい。そのため、対象物6の複数の物理的特性を特定するように構成することで、対象物解析装置1は、対象物6を比較的に精度よく識別することができる。
また、対象物解析装置1は、上記ステップS104において、対象物6の物理的特性として、対象物6の凹凸状態、材質、三次元形状、及び平面状態の少なくとも1つを特定するように構成されてもよい。凹凸状態は、対象物6に存在する突起等の凸部、及び開口、孔等の凹部の形状、大きさ等を示す。平面状態は、対象物6の面の広がり具合、傾斜具合等を示す。
例えば、上記第1具体例のケースでは、対象物解析装置1は、凹凸状態として、路面の形状がカメラ3に向って凸となっているのか凹となっているのかを特定することができる。また、例えば、対象物解析装置1は、対象物6の属性として、路面に置かれた透明な物体がガラスであるか水たまりであるかを特定することができる。また、例えば、対象物解析装置1は、対象物6の三次元形状として、対象物6が看板のような平板状の物体であるか、それとも比較的に厚みのある立方体状の物体であるかを特定することができる。凹凸状態、材質、三次元形状、及び平面状態は、単一の画像からは解析し難い属性である。本実施形態によれば、画像データ123の他、距離データ124を利用しているため、単一の画像からは解析し難いこれらの属性を比較的に精度よく識別することができる。
[学習装置]
次に、図9を用いて、学習装置2の動作例を説明する。図9は、学習装置2の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図9を用いて、学習装置2の動作例を説明する。図9は、学習装置2の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS201)
ステップS201では、制御部21は、学習データ取得部211として機能し、対象物6の像を含む画像を示す画像データ223及び画像を構成する各画素の距離の値を示す距離データ224、並びに対象物6の属性を示す属性データ225の組を学習データ222として取得する。
ステップS201では、制御部21は、学習データ取得部211として機能し、対象物6の像を含む画像を示す画像データ223及び画像を構成する各画素の距離の値を示す距離データ224、並びに対象物6の属性を示す属性データ225の組を学習データ222として取得する。
学習データ222は、ニューラルネットワーク8に対して、所望する対象物6の属性を解析可能に学習させるためのデータである。このような学習データ222は、用意した対象物6をカメラ5により様々な撮影条件で撮影し、得られる画像に撮影条件を紐付けることで作成することができる。
具体的には、制御部21は、カメラ5により、解析対象の各属性が表れた状態の対象物6を撮影する。カメラ5は、上記カメラ3と同様に構成されているため、制御部21は、この撮影によって、解析対象の属性が表れた対象物6を写した画像を示す画像データ223及び距離データ224を取得することができる。そして、制御部21は、当該画像に表れる対象物6の属性を示す属性データ225(すなわち、教師データ)の入力を適宜受け付け、入力により与えられた属性データ225を、取得した画像データ223及び距離データ224に紐付けることで、各件の学習データ222を作成することができる。この学習データ222の作成は、オペレータ等により手動で行われてもよいし、ロボット等により自動で行われてもよい。
なお、この学習データ222の作成は、上記のように学習装置2により行われてもよいし、学習装置2以外の他の情報処理装置により行われてもよい。学習装置2が学習データ222を作成する場合には、制御部21は、本ステップS201において、学習データ222の作成処理を実行することで、学習データ222を取得することができる。一方、学習装置2以外の他の情報処理装置が学習データ222を作成する場合には、学習装置2は、ネットワーク、記憶媒体92等を介して、他の情報処理装置により作成された学習データ222を取得することができる。また、本ステップS201で取得する学習データ222の件数は、ニューラルネットワーク8の学習を行うことができるように、実施の形態に応じて適宜決定されてよい。
(ステップS202)
次のステップS202では、制御部21は、学習処理部212として機能して、ステップS201で取得した学習データ222を用いて、画像データ223及び距離データ224を入力すると属性データ225の示す属性に対応する出力値を出力するようにニューラルネットワーク8を学習させる。
次のステップS202では、制御部21は、学習処理部212として機能して、ステップS201で取得した学習データ222を用いて、画像データ223及び距離データ224を入力すると属性データ225の示す属性に対応する出力値を出力するようにニューラルネットワーク8を学習させる。
具体的には、まず、制御部21は、学習処理を行う対象となるニューラルネットワーク8を用意する。用意するニューラルネットワーク8の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部21は、再学習を行う対象となる学習済みデータ122に基づいて、ニューラルネットワーク8を用意してもよい。
次に、制御部21は、ステップS201で取得した各件の学習データ222に含まれる画像データ223及び距離データ224を入力データとし、属性データ225を教師データとして、ニューラルネットワーク8の学習を行う。このニューラルネットワーク8の学習は、勾配降下法、確率的勾配降下法等により行われてよい。
例えば、制御部21は、画像データ223及び距離データ224を入力層81に入力することで出力層83から出力される出力値と属性データ225の示す属性に対応する所望の値との誤差を算出する。続いて、制御部21は、誤差逆伝搬法により、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部21は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。
制御部21は、各件の学習データ222について、ニューラルネットワーク8から出力される出力値が属性データ225の示す属性に対応する所望の値と一致するまでこの一連の処理を繰り返すことにより、ニューラルネットワーク8の学習を行う。これにより、画像データ223及び距離データ224を入力すると属性データ225の示す属性に対応する出力値を出力するニューラルネットワーク8を構築することができる。
(ステップS203)
次のステップS203では、制御部21は、学習処理部212として機能して、構築したニューラルネットワーク8の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習済みデータ122として記憶部22に格納する。これにより、制御部21は、本動作例に係るニューラルネットワーク8の学習処理を終了する。
次のステップS203では、制御部21は、学習処理部212として機能して、構築したニューラルネットワーク8の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習済みデータ122として記憶部22に格納する。これにより、制御部21は、本動作例に係るニューラルネットワーク8の学習処理を終了する。
[作用・効果]
以上のように、本実施形態では、上記ステップS102により、対象物6の像を含む画像を示す画像データ123の他に、当該画像を構成する各画素の距離の値を示す距離データ124を取得する。そして、上記ステップS103及びS104により、この画像データ123及び距離データ124をニューラルネットワーク7に入力し、当該ニューラルネットワーク7から得られる出力値に基づいて対象物6の属性を特定する。
以上のように、本実施形態では、上記ステップS102により、対象物6の像を含む画像を示す画像データ123の他に、当該画像を構成する各画素の距離の値を示す距離データ124を取得する。そして、上記ステップS103及びS104により、この画像データ123及び距離データ124をニューラルネットワーク7に入力し、当該ニューラルネットワーク7から得られる出力値に基づいて対象物6の属性を特定する。
すなわち、本実施形態では、対象物6が写る二次元画像(画像データ123)と共に、同じく対象物6が写る距離画像(距離データ124)をニューラルネットワーク7の入力として用いることで、対象物6の属性に対するニューラルネットワーク7の認識精度を高めることができる。加えて、本実施形態では、上記解析処理のとおり、対象物6の写る画像に対する高度な画像処理を行うことなく、ステップS103において、画像データ123及び距離データ124をニューラルネットワーク7に入力するだけで、対象物6の属性を解析することができる。したがって、本実施形態によれば、対象物6の属性に対する認識精度を簡易な構成で高めることができ、CPUの処理負荷を下げて、使用メモリの容量を低減することができる。
また、本実施形態では、対象物解析装置1は複数件の学習済みデータ122を保持しており、ステップS101の処理により、利用者の指定に応じて、利用するニューラルネットワーク7の設定を行う。したがって、本実施形態によれば、対象物6の各属性に適した学習済みデータ122を予め用意しておくことができ、これによって、対象物6の各属性に適した解析処理を実現することができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<4.1>
例えば、上記実施形態では、対象物解析装置1は、複数件の学習済みデータ122を保持し、利用者の指定に応じて、所望の対象物6の属性を解析するニューラルネットワーク7を設定可能に構成されている。しかしながら、対象物解析装置1の構成は、このような例に限定されなくてもよく、対象物解析装置1は、1件の学習済みデータ122を保持するように構成されてもよい。この場合、上記ニューラルネットワーク選択部114及びステップS101は省略されてもよい。
例えば、上記実施形態では、対象物解析装置1は、複数件の学習済みデータ122を保持し、利用者の指定に応じて、所望の対象物6の属性を解析するニューラルネットワーク7を設定可能に構成されている。しかしながら、対象物解析装置1の構成は、このような例に限定されなくてもよく、対象物解析装置1は、1件の学習済みデータ122を保持するように構成されてもよい。この場合、上記ニューラルネットワーク選択部114及びステップS101は省略されてもよい。
<4.2>
また、上記実施形態では、対象物の属性を解析する対象物解析装置1とニューラルネットワークの学習を行う学習装置2とは別々のコンピュータで構成されている。しかしながら、対象物解析装置1及び学習装置2の構成はこのような例に限定されなくてもよく、対象物解析装置1及び学習装置2の両方の機能を有するシステムを1台又は複数台のコンピュータで実現してもよい。
また、上記実施形態では、対象物の属性を解析する対象物解析装置1とニューラルネットワークの学習を行う学習装置2とは別々のコンピュータで構成されている。しかしながら、対象物解析装置1及び学習装置2の構成はこのような例に限定されなくてもよく、対象物解析装置1及び学習装置2の両方の機能を有するシステムを1台又は複数台のコンピュータで実現してもよい。
<4.3>
また、上記実施形態では、図4及び図6に示されるとおり、各ニューラルネットワーク(7、8)の種類は、多層構造を有する一般的な順伝播型ニューラルネットワークである。しかしながら、各ニューラルネットワーク(7、8)の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク(7、8)は、入力層71及び中間層72を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク(7、8)は、中間層72から入力層71等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。
また、上記実施形態では、図4及び図6に示されるとおり、各ニューラルネットワーク(7、8)の種類は、多層構造を有する一般的な順伝播型ニューラルネットワークである。しかしながら、各ニューラルネットワーク(7、8)の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク(7、8)は、入力層71及び中間層72を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク(7、8)は、中間層72から入力層71等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。
(付記1)
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える対象物解析装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、
前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得る演算処理ステップと、
前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、
を実施するように構成される、
対象物解析装置。
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える対象物解析装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、
前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得る演算処理ステップと、
前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、
を実施するように構成される、
対象物解析装置。
(付記2)
ハードウェアプロセッサにより、対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、
ハードウェアプロセッサにより、前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得る演算処理ステップと、
ハードウェアプロセッサにより、前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、
を備える、
対象物解析方法。
ハードウェアプロセッサにより、対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、
ハードウェアプロセッサにより、前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得る演算処理ステップと、
ハードウェアプロセッサにより、前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、
を備える、
対象物解析方法。
(付記3)
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える学習装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、
前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、
を実施するように構成される、
学習装置。
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える学習装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、
前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、
を実施するように構成される、
学習装置。
(付記4)
ハードウェアプロセッサにより、対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサにより、前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、
を備える、
学習方法。
ハードウェアプロセッサにより、対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサにより、前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、
を備える、
学習方法。
1…対象物解析装置、
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…入出力インタフェース、
17…ドライブ、
111…データ取得部、112…ニューラルネットワーク演算部、
113…属性特定部、114…ニューラルネットワーク選択部、
121…対象物解析プログラム、122…学習済みデータ、
123…画像データ、124…距離データ、
2…学習装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…入出力インタフェース、
27…ドライブ、
211…学習データ取得部、212…学習処理部、
221…学習プログラム、222…学習データ、
223…画像データ、224…距離データ、225…属性データ、
3・5…カメラ、
6・6A・6B・6C…対象物、
7…ニューラルネットワーク、
71…入力層、72…中間層(隠れ層)、73…出力層、
8…ニューラルネットワーク、
81…入力層、82…中間層(隠れ層)、83…出力層、
91・92…記憶媒体
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…入出力インタフェース、
17…ドライブ、
111…データ取得部、112…ニューラルネットワーク演算部、
113…属性特定部、114…ニューラルネットワーク選択部、
121…対象物解析プログラム、122…学習済みデータ、
123…画像データ、124…距離データ、
2…学習装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…入出力インタフェース、
27…ドライブ、
211…学習データ取得部、212…学習処理部、
221…学習プログラム、222…学習データ、
223…画像データ、224…距離データ、225…属性データ、
3・5…カメラ、
6・6A・6B・6C…対象物、
7…ニューラルネットワーク、
71…入力層、72…中間層(隠れ層)、73…出力層、
8…ニューラルネットワーク、
81…入力層、82…中間層(隠れ層)、83…出力層、
91・92…記憶媒体
Claims (16)
- 対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得部と、
前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得るニューラルネットワーク演算部と、
前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定部と、
を備える、
対象物解析装置。 - 前記属性特定部は、前記対象物の属性として、前記対象物の凹凸状態、材質、三次元形状、及び平面状態の少なくとも1つを特定する、
請求項1に記載の対象物解析装置。 - 前記属性特定部は、前記対象物の属性として、前記対象物の複数の物理的特性を特定する、
請求項1又は2に記載の対象物解析装置。 - 利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークから前記ニューラルネットワーク演算部の利用するニューラルネットワークを選択するニューラルネットワーク選択部を更に備える、
請求項1から3のいずれか1項に記載の対象物解析装置。 - 前記画像データ及び前記距離データは、車両外部の状況を前記対象物として撮影することにより得られ、
前記属性特定部は、前記ニューラルネットワークから得られた前記出力値に基づいて、路面の状態、障害物の有無、及び障害物の種類の少なくとも1つを前記対象物の属性として特定する、
請求項1から4のいずれか1項に記載の対象物解析装置。 - 前記画像データ及び前記距離データは、製造ラインで製造される製品を前記対象物として撮影することにより得られ、
前記属性特定部は、前記ニューラルネットワークから得られた前記出力値に基づいて、前記製品の大きさ、形状、及び傷の有無の少なくとも1つを前記対象物の属性として特定する、
請求項1から5のいずれか1項に記載の対象物解析装置。 - 前記画像データ及び前記距離データは、前記対象物として人間を撮影することにより得られ、
前記属性特定部は、前記ニューラルネットワークから得られた前記出力値に基づいて、前記人間の体型、表情、及び姿勢の少なくとも1つを前記対象物の属性として特定する、
請求項1から6のいずれか1項に記載の対象物解析装置。 - コンピュータが、
対象物の像を含む画像を示す画像データ、及び前記画像を構成する各画素の距離の値を示す距離データを取得するデータ取得ステップと、
前記対象物の属性を判別するための学習済みのニューラルネットワークの入力として前記取得した画像データ及び前記距離データを用いて、当該ニューラルネットワークの演算処理を行うことにより、当該ニューラルネットワークから出力値を得る演算処理ステップと、
前記ニューラルネットワークから得られた前記出力値に基づいて、前記対象物の属性を特定する属性特定ステップと、
を実行する、
対象物解析方法。 - 前記属性特定ステップでは、前記コンピュータは、前記対象物の属性として、前記対象物の凹凸状態、材質、三次元形状、及び平面状態の少なくとも1つを特定する、
請求項8に記載の対象物解析方法。 - 前記属性特定ステップでは、前記コンピュータは、前記対象物の属性として、前記対象物の複数の物理的特性を特定する、
請求項8又は9に記載の対象物解析方法。 - 前記コンピュータは、利用者の指定に応じて、それぞれ異なる対象物の属性について判別するための学習を行った複数の学習済みのニューラルネットワークから前記演算処理ステップで利用するニューラルネットワークを選択する選択ステップを更に実行する、
請求項8から10のいずれか1項に記載の対象物解析方法。 - 前記画像データ及び前記距離データは、車両外部の状況を前記対象物として撮影することにより得られ、
前記属性特定ステップでは、前記コンピュータは、前記ニューラルネットワークから得られた前記出力値に基づいて、路面の状態、障害物の有無、及び障害物の種類の少なくとも1つを前記対象物の属性として特定する、
請求項8から11のいずれか1項に記載の対象物解析方法。 - 前記画像データ及び前記距離データは、製造ラインで製造される製品を前記対象物として撮影することにより得られ、
前記属性特定ステップでは、前記コンピュータは、前記ニューラルネットワークから得られた前記出力値に基づいて、前記製品の大きさ、形状、及び傷の有無の少なくとも1つを前記対象物の属性として特定する、
請求項8から12のいずれか1項に記載の対象物解析方法。 - 前記画像データ及び前記距離データは、前記対象物として人間を撮影することにより得られ、
前記属性特定ステップでは、前記コンピュータは、前記ニューラルネットワークから得られた前記出力値に基づいて、前記人間の体型、表情、及び姿勢の少なくとも1つを前記対象物の属性として特定する、
請求項8から13のいずれか1項に記載の対象物解析方法。 - 対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得部と、
前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理部と、
を備える、
学習装置。 - コンピュータが、
対象物の像を含む画像を示す画像データ及び前記画像を構成する各画素の距離の値を示す距離データ、並びに前記対象物の属性を示す属性データの組を学習データとして取得する学習データ取得ステップと、
前記学習データを用いて、前記画像データ及び前記距離データを入力すると前記属性データの示す属性に対応する出力値を出力するようにニューラルネットワークを学習させる学習処理ステップと、
を実行する、
学習方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017042661A JP2018147286A (ja) | 2017-03-07 | 2017-03-07 | 対象物解析装置、対象物解析方法、学習装置及び学習方法 |
PCT/JP2018/005819 WO2018163786A2 (en) | 2017-03-07 | 2018-02-20 | Target subject analysis apparatus, target subject analysis method, learning apparatus, and learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017042661A JP2018147286A (ja) | 2017-03-07 | 2017-03-07 | 対象物解析装置、対象物解析方法、学習装置及び学習方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018147286A true JP2018147286A (ja) | 2018-09-20 |
Family
ID=61656281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017042661A Pending JP2018147286A (ja) | 2017-03-07 | 2017-03-07 | 対象物解析装置、対象物解析方法、学習装置及び学習方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018147286A (ja) |
WO (1) | WO2018163786A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054366A1 (ja) * | 2018-09-10 | 2020-03-19 | 株式会社小松製作所 | 作業機械の制御システム及び方法 |
WO2020115866A1 (ja) * | 2018-12-06 | 2020-06-11 | 株式会社DeepX | 深度処理システム、深度処理プログラムおよび深度処理方法 |
US12020479B2 (en) | 2020-10-26 | 2024-06-25 | Seiko Epson Corporation | Identification method, identification system, and non-transitory computer-readable storage medium storing a program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111381663A (zh) * | 2018-12-28 | 2020-07-07 | 技嘉科技股份有限公司 | 处理器的效能优化方法以及使用其的主机板 |
CN114730458A (zh) * | 2019-12-27 | 2022-07-08 | 西门子股份公司 | 用于产品质量检测的方法和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02287860A (ja) * | 1989-04-28 | 1990-11-27 | Omron Corp | 情報処理装置 |
JP2007087345A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2011204195A (ja) * | 2010-03-26 | 2011-10-13 | Panasonic Electric Works Co Ltd | 凹凸検査装置、凹凸検査方法 |
JP2013105432A (ja) * | 2011-11-16 | 2013-05-30 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
JP2017010543A (ja) * | 2015-06-24 | 2017-01-12 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 顔認識方法及び装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3236361B2 (ja) | 1992-10-14 | 2001-12-10 | 株式会社リコー | 運動制御装置 |
US7840342B1 (en) * | 1997-10-22 | 2010-11-23 | Intelligent Technologies International, Inc. | Road physical condition monitoring techniques |
JP4532171B2 (ja) | 2004-06-01 | 2010-08-25 | 富士重工業株式会社 | 立体物認識装置 |
-
2017
- 2017-03-07 JP JP2017042661A patent/JP2018147286A/ja active Pending
-
2018
- 2018-02-20 WO PCT/JP2018/005819 patent/WO2018163786A2/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02287860A (ja) * | 1989-04-28 | 1990-11-27 | Omron Corp | 情報処理装置 |
JP2007087345A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2011204195A (ja) * | 2010-03-26 | 2011-10-13 | Panasonic Electric Works Co Ltd | 凹凸検査装置、凹凸検査方法 |
JP2013105432A (ja) * | 2011-11-16 | 2013-05-30 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
JP2017010543A (ja) * | 2015-06-24 | 2017-01-12 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 顔認識方法及び装置 |
Non-Patent Citations (1)
Title |
---|
ANDREAS EITEL, ET AL.: "Multimodal deep learning for robust RGB-D object recognition", 2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS(IROS), JPN6020011960, 2 October 2015 (2015-10-02), pages 681 - 687, ISSN: 0004361321 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054366A1 (ja) * | 2018-09-10 | 2020-03-19 | 株式会社小松製作所 | 作業機械の制御システム及び方法 |
WO2020115866A1 (ja) * | 2018-12-06 | 2020-06-11 | 株式会社DeepX | 深度処理システム、深度処理プログラムおよび深度処理方法 |
US12020479B2 (en) | 2020-10-26 | 2024-06-25 | Seiko Epson Corporation | Identification method, identification system, and non-transitory computer-readable storage medium storing a program |
Also Published As
Publication number | Publication date |
---|---|
WO2018163786A3 (en) | 2018-11-01 |
WO2018163786A2 (en) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102476294B1 (ko) | Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정 | |
JP5778237B2 (ja) | ポイントクラウド内の埋め戻しポイント | |
CN110689584B (zh) | 多相机环境中主动式刚体的位姿定位方法及相关设备 | |
US10366300B1 (en) | Systems and methods regarding 2D image and 3D image ensemble prediction models | |
US11068754B1 (en) | Systems and methods regarding image distification and prediction models | |
US11670097B2 (en) | Systems and methods for 3D image distification | |
JP2018147286A (ja) | 対象物解析装置、対象物解析方法、学習装置及び学習方法 | |
CN104252626B (zh) | 一种训练多图案识别和配准工具模型的半监督方法 | |
JP6684475B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN110115022B (zh) | 图像处理系统、光学传感器、以及学习装置 | |
US20210144357A1 (en) | Method and apparatus with depth image generation | |
CN110889426A (zh) | 三维表达体生成系统 | |
US20190387186A1 (en) | Optical sensor, learning apparatus, and image processing system | |
CN108876706A (zh) | 根据全景图像的缩略图生成 | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
WO2015172097A1 (en) | Systems and methods for determining pupillary distance and scale | |
WO2016010798A1 (en) | Wide field-of-view depth imaging | |
JP2017199278A (ja) | 検出装置、検出方法、およびプログラム | |
JP2019086473A (ja) | 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置 | |
WO2023188919A1 (ja) | スクリュ構成推定装置、スクリュ構成推定方法及びコンピュータプログラム | |
JPWO2020075237A1 (ja) | 画像処理装置および画像処理方法 | |
CN115953762B (zh) | 基于多视图像的3d可行驶空间检测方法、装置、设备 | |
TW202407639A (zh) | 螺件裝配誤差檢測裝置、螺件裝配誤差檢測方法及電腦程式產品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201006 |