JP2017182129A - 情報処理装置。 - Google Patents

情報処理装置。 Download PDF

Info

Publication number
JP2017182129A
JP2017182129A JP2016063379A JP2016063379A JP2017182129A JP 2017182129 A JP2017182129 A JP 2017182129A JP 2016063379 A JP2016063379 A JP 2016063379A JP 2016063379 A JP2016063379 A JP 2016063379A JP 2017182129 A JP2017182129 A JP 2017182129A
Authority
JP
Japan
Prior art keywords
parameter
information processing
processing apparatus
image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016063379A
Other languages
English (en)
Inventor
章 中村
Akira Nakamura
章 中村
拓也 成平
Takuya Narihira
拓也 成平
拓也 藤田
Takuya Fujita
拓也 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016063379A priority Critical patent/JP2017182129A/ja
Priority to US15/566,327 priority patent/US10430707B2/en
Priority to EP16897113.3A priority patent/EP3438892A4/en
Priority to PCT/JP2016/088889 priority patent/WO2017168898A1/ja
Priority to CN201680029428.6A priority patent/CN107615310A/zh
Publication of JP2017182129A publication Critical patent/JP2017182129A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V20/00—Geomodelling in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ニューラルネットワークの汎化性能をより向上させる。
【解決手段】
物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、前記画像情報に基づいて機械学習を行う機械学習部と、を備え、前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、情報処理装置が提供される。
【選択図】図１４

Description

本開示は、情報処理装置に関する。
近年、脳神経系の仕組みを模したニューラルネットワークが注目されている。また、物理シミュレータを利用してニューラルネットワークに機械学習を行わせる、いくつかの報告がなされている。例えば、非特許文献１には、シミュレータを用いたゲームの制御学習結果が記載されている。
DeepMind Technologies、外７名、「Playing Atariwith Deep Reinforcement Learning」、２０１５年１１月９日、［Online］、［平成２８年２月８日検索］、インターネット<https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf>
しかし、非特許文献１に記載の方法では、実世界で生じる種々の変化に対応した学習をニューラルネットワークに行わせることが困難である。
そこで、本開示では、ニューラルネットワークの汎化性能をより向上させることが可能な情報処理装置を提案する。
本開示によれば、物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、前記物理シミュレーションにおいて得られる画像情報と前記画像情報に関連付いた前記パラメータとを機械学習部に送信し、前記画像情報に基づいた判定結果を前記機械学習部から受信する通信部と、を備え、前記制御部は、前記判定結果と前記パラメータとを対応付けて表示部に表示させる、情報処理装置が提供される。
また、本開示によれば、物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、前記画像情報に基づいて機械学習を行う機械学習部と、を備え、前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、情報処理装置が提供される。
以上説明したように本開示によれば、ニューラルネットワークの汎化性能をより向上させることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る機械学習の概要を示す概念図である。 本開示に係る情報処理装置の機能構成を示す概念図である。 本開示の第１の実施形態に係るシステム構成例である。 同実施形態に係る情報処理装置の機能ブロック図である。 同実施形態に係るユーザインタフェースの構成例である。 同実施形態に係るオリジナル画像表示領域の表示例である。 同実施形態に係るパラメータ設定領域の表示例である。 同実施形態に係る物理シミュレーション画像表示領域の表示例である。 同実施形態に係る生成画像表示領域の表示例である。 同実施形態に係る判定結果表示領域の表示例である。 同実施形態に係る新たなパラメータの設定例である。 同実施形態に係る複数の認識結果の表示例である。 同実施形態に係る三次元モデルパラメータ設定領域の表示例である。 同実施形態に係る情報処理装置による制御の流れを示すフローチャートである。 本開示の第２の実施形態に係る機械学習装置の機能ブロック図である。 学習結果表示領域の表示例である。 本開示に係るハードウェア構成例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示に係る概要
１．１．ニューラルネットワークとは
１．２．ニューラルネットワークに係る汎化性能
１．３．汎化性能の向上に係る画像生成
１．４．本開示に係る情報処理装置の概要
２．第１の実施形態
２．１．第１の実施形態に係るシステム構成例
２．２．第１の実施形態に係る情報処理装置１０
２．３．第１の実施形態に係る制御の概要
２．４．ユーザインタフェースの構成例
２．５．ＳＬＡＭによる三次元モデルの生成
２．６．第１の施形態に係る制御の流れ
３．第２の実施形態
３．１．第２の実施形態に係るシステム構成
３．２．第２の実施形態に係る機械学習装置２０
３．３．第２の実施形態に係る学習結果表示
４．ハードウェア構成例
５．まとめ
＜１．本開示に係る概要＞
［１．１．ニューラルネットワークとは］
ニューラルネットワークとは、人間の脳神経回路を模したモデルであり、人間が持つ学習能力をコンピュータ上で実現しようとする技法である。上述したとおり、ニューラルネットワークは学習能力を有することを特徴の一つとする。ニューラルネットワークでは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によりシナプスの結合強度を変化させることで、問題に対する解決能力を獲得することが可能である。すなわち、ニューラルネットワークは、学習を重ねることで、問題に対する解決ルールを自動的に推論することができる。
ニューラルネットワークによる学習の例としては、画像認識や音声認識が挙げられる。ニューラルネットワークでは、例えば、入力される画像パターンを繰り返し学習することで、入力画像に含まれる物体等を認識することが可能となる。ニューラルネットワークの有する上記のような学習能力は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の発展を推し進める鍵としても注目されている。また、ニューラルネットワークの有する学習能力は、種々の産業分野における応用が期待される。
［１．２．ニューラルネットワークに係る汎化性能］
ここで、ニューラルネットワークに係る汎化性能について述べる。ニューラルネットに係る汎化性能とは、より多くの状況に対応できる能力と解してもよい。すなわち、汎化性能とは、入力データに対するニューラルネットワークの柔軟性を示す指標ともいえる。
上記の汎化性能は、ニューラルネットワークを応用した各種の装置にとって、非常に重要な意味を持つ。例えば、自動車の運転制御を行う自動運転ＡＩなどには、一般的に高い汎化性能が求められる。ここで、上記の自動運転ＡＩは、例えば、多層構造のニューラルネットワークを用いたディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：深層学習）により運転制御機能を獲得した学習器であってもよい。
自動運転ＡＩは、学習により獲得した環境認識能力や運転制御能力に基づいて、周囲環境に応じた自動車の運転制御を行うことができる。例えば、自動運転ＡＩは、センサから観測される観測情報に基づいて他の自動車や歩行者を認識し、自動車や歩行者を避けるためにハンドル制御やブレーキ制御などを行う。この際、自動運転ＡＩの汎化性能が重要な鍵となる。
例えば、自動運転ＡＩが他の自動車や歩行者を正しく認識できない場合、適切な運転制御を行うことができず、事故を引き起こす可能性も考えられる。このため、安全確保の観点からも、より高い汎化性能を持つＡＩが求められている。
［１．３．汎化性能の向上に係る画像生成］
以上、ニューラルネットワークに係る汎化性能について例を挙げて説明した。次に、汎化性能を高めるための手法について説明する。上述したとおり、汎化性能とは入力データに対するニューラルネットワークの柔軟性ともいえる。このため、汎化性能を高めるためには、学習時により多くのデータを与えることが望ましい。
しかし、学習に用いるデータを用意するためには、多くのコストや労力を要する場合が多い。このため、元となる画像から複数の異なる画像を生成し、当該生成した画像を学習に利用する手法も知られている。
上記のような手法には、例えば、パタベーション（Ｐｅｒｔｕｒｂａｔｉｏｎ）と呼ばれるものがある。パタベーションでは、元となる画像の縮尺や回転角度、輝度やコントラストを変更することにより複数の異なる画像を生成することができる。
しかし、パタベーションでは、実世界における環境では観測されないような画像を大量に生成するため、当該画像を用いた機械学習は効率的であるとは言い難い。例えば、パタベーションでは、画像のアスペクト比を変更することにより異なる画像を生成することができるが、このような現象は実世界の物質では観察されないものである。このため、汎化性能を向上させるためには、より実世界の環境に則した画像を生成する技術が求められている。
また、一般的に、パタベーションなどを用いた画像生成と機械学習に係る制御とは、異なる独立したユーザインタフェースを介して行われる。このため、生成した画像を学習器に入力する操作等は人手を介して行われており労力を要している。また、学習器の出力結果に応じて再度画像を生成する場合には、異なるユーザインタフェース間を往復することとなるため、作業効率の改善が求められる。
本開示に係る情報処理装置は、上記で説明したような画像生成手法及び学習手法に着目して発想されたものであり、実世界の環境に則した画像を生成することで、より効果の高い機械学習を実現するものである。このために、本開示に係る情報処理装置は、物理シミュレータを用いた画像の生成を行うことができる。さらに、本開示に係る情報処理装置は、上記の物理シミュレーションと機械学習とに係る情報を単一のユーザインタフェースを用いて提供することで、より効率的な機械学習を実現する。
［１．４．本開示に係る情報処理装置の概要］
以上、本開示に係る背景について説明した。次に、本開示に係る情報処理装置の概要について説明する。上述したとおり、本開示に係る情報処理装置は、物理シミュレータを利用した画像生成を行うことができる。ここで、上記の物理シミュレータとは、力学法則をシミュレートする物理エンジンを備えたシミュレータであってよい。物理シミュレータは、設定されたパラメータに基づいて、実世界で観測され得る種々の環境を再現することができる。
ここで、上記のパラメータには、視点、照明条件、背景、時間、または気象状態などに関するパラメータが含まれてもよい。物理シミュレータは、例えば、太陽の動き、雨や風の強さ、視点の角度などに係るパラメータに基づいて、様々な物理シミュレーションを行うことができる。すなわち、本開示に係る情報処理装置は、物理シミュレータを利用した画像生成を実現することで、より実世界の環境に近い画像を得ることが可能である。
図１は、本開示に係る情報処理装置が実現する機械学習の概要を示す概念図である。図１を参照すると、本実施形態に係る情報処理装置では、元となるオリジナル画像ＯＲから、複数の生成画像ＧＩを得ることができる。ここで、オリジナル画像ＯＲは、種々の方法により取得された二次元画像であってよい。本開示に係る情報処理装置は、オリジナル画像ＯＲから生成された三次元モデルを用いた物理シミュレーションを行うことで、複数の生成画像ＧＩを取得できる。
また、本開示に係る情報処理装置は、複数の生成画像ＧＩを学習器Ｉ１に学習させ、その学習結果を取得することができる。この際、本開示に係る情報処理装置は、上述した画像生成と学習に係る処理を単一のユーザインタフェースにより制御することができる。
図２は、本開示に係る情報処理装置の機能構成を示す概念図である。図２を参照すると、本開示に係る情報処理装置は、インタフェース制御機能Ｆ１、機械学習機能Ｆ２、物理シミュレータ機能Ｆ３、及び三次元モデル生成機能Ｆ４を有する。
ここで、インタフェース制御機能Ｆ１は、情報処理装置が提供するユーザインタフェースに係る制御を行う機能であってよい。具体的には、インタフェース制御機能Ｆ１は、機械学習機能Ｆ２、物理シミュレータ機能Ｆ３、及び三次元モデル生成機能Ｆ４との間の入出力を制御するユーザインタフェースをユーザに提供することができる。
また、機械学習機能Ｆ２は、入力された情報に対する機械学習を行う機能であってよい。機械学習機能Ｆ２は、例えば、インタフェース制御機能Ｆ１から入力された画像情報を識別し、識別結果をインタフェース制御機能Ｆ１に返してもよい。
また、物理シミュレータ機能Ｆ３は、入力された情報に基づいて物理シミュレーションを実行する機能であってよい。物理シミュレータ機能Ｆ３は、例えば、インタフェース制御機能Ｆ１から入力された三次元モデルとパラメータに基づいて物理シミュレーションを実行し、当該物理シミュレーションに係る画像情報をインタフェース制御機能Ｆ１に返してもよい。
また、三次元モデル生成機能Ｆ４は、入力された二次元画像から三次元モデルを生成する機能であってよい。三次元モデル生成機能Ｆ４は、例えば、インタフェース制御機能Ｆ１から入力された二次元画像から三次元モデルを生成し、当該三次元モデルに係る情報をインタフェース制御機能Ｆ１に返してもよい。
以上、本開示に係る情報処理装置の機能構成について概要を述べた。本開示に係る情報処理装置は、上記に挙げた機能を有する装置であってよい。なお、この際、情報処理装置の機能構成は、運用条件などにより適宜設計され得る。例えば、本開示に係る情報処理装置は、インタフェース制御機能Ｆ１と物理シミュレータ機能Ｆ３とを有してもよい。この場合、上記の情報処理装置は、機械学習機能Ｆ２や三次元モデル生成機能Ｆ４を有する別の装置と通信を行うことで、機械学習に係る汎化性能の向上を実現することができる。
＜２．第１の実施形態＞
［２．１．第１の実施形態に係るシステム構成例］
次に、第１の実施形態に係るシステム構成例について説明する。図３を参照すると、第１の実施形態に係るシステムは、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０を備える。また、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０は、互いに通信が行えるように、ネットワーク４０を介して接続される。
ここで、第１の実施形態に係る情報処理装置１０は、上述したインタフェース制御機能Ｆ１、及び物理シミュレータ機能Ｆ３を有する装置であってよい。すなわち、本実施形態に係る情報処理装置１０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する物理シミュレータであってよい。
また、機械学習装置２０は、情報処理装置１０から受信した情報に基づいて機械学習を行う装置であってよい。具体的には、機械学習装置２０は、情報処理装置１０から受信した画像情報に基づいて、当該画像情報に係る識別学習を行うことができる。また、機械学習装置２０は、情報処理装置１０から受信した画像情報に対する識別結果を情報処理装置１０に送信する機能を有する。
機械学習装置２０は、例えば、ディープラーニングにより上記の学習を行ってもよいし、強化学習による学習を行ってもよい。また、例えば、機械学習装置２０は、ディープラーニングとＱラーニング（Ｑ−Ｌｅａｒｎｉｎｇ：Ｑ学習）を組み合わせた学習を行うこともできる。
また、モデル生成装置３０は、情報処理装置１０から受信した二次元画像情報に基づいて、三次元モデルを生成する機能を有してよい。この際、モデル生成装置３０は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの技術を用いて、三次元モデル生成を行うことができる。なお、モデル生成装置３０は、ＳＬＡＭ以外の手法により三次元モデルを生成してもよい。この場合、モデル生成装置３０は広く利用される三次元モデリング手法を用いて三次元モデルを生成してよい。また、モデル生成装置３０は、生成した三次元モデルの情報を情報処理装置１０に送信する機能を有する。
また、ネットワーク４０は、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０を互いに接続する機能を有する。ネットワーク４０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
［２．２．第１の実施形態に係る情報処理装置１０］
次に、本実施形態に係る情報処理装置１０について詳細に説明する。上述したとおり、本実施形態に係る情報処理装置１０は、インタフェース制御機能Ｆ１及び物理シミュレーション機能Ｆ３を有する装置であってよい。すなわち、本実施形態に係る情報処理装置１０は、機械学習装置２０及びモデル生成装置３０との入出力を制御し、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する。また、本実施形態に係る情報処理装置１０は、機械学習に係る画像を生成するための物理シミュレーション機能を有する。
図４は、本実施形態に係る情報処理装置１０の機能ブロック図である。図４を参照すると、本実施形態に係る情報処理装置１０は、制御部１１０、シミュレータ部１２０、モデル取得部１３０、及び通信部１４０を備える。
（制御部１１０）
制御部１１０は、物理シミュレーションに係るパラメータの設定に関する表示を制御する機能を有する。また、制御部１１０は、機械学習装置２０から取得した判定結果を上記のパラメータと対応付けて、接続される表示部（図示しない）に表示させる機能を有する。ここで、上記の判定結果は、入力された画像情報に対する識別結果であってもよい。
また、制御部１１０は、上記のパラメータを動的に設定する機能を有してよい。具体的には、制御部１１０は、パラメータ値の範囲を指定するパラメータ範囲や、パラメータ範囲に係る分割情報などを設定することができる。制御部１１０が有するパラメータ設定機能の詳細については後述する。
また、制御部１１０は、ユーザの操作を認識し当該ユーザ操作に応じた処理を行う機能を有してよい。上記のユーザ操作には、例えば、パラメータの設定及び変更、オリジナル画像の選択、学習の開始や中断などに係る操作が含まれてよい。制御部１１０は接続される入力装置（図示しない）からユーザ操作に係る情報を取得し、当該ユーザ操作に応じた処理を行ってよい。
（シミュレータ部１２０）
シミュレータ部１２０は、力学法則に基づいた物理シミュレーションを行う機能を有する。具体的には、シミュレータ部１２０は、制御部１１０により設定されるパラメータ、及び後述するモデル取得部１３０が取得する三次元モデルに基づいて、物理シミュレーションを実行することができる。
また、シミュレータ部１２０は、上記の物理シミュレーションに係る三次元画像から二次元画像を取得する機能を有する。この際、シミュレータ部１２０は、制御部１１０が設定するパラメータに基づいて、二次元画像を取得してよい。なお、ここで、上記の二次元画像は、二次元ＣＧ画像であってもよい。シミュレータ部１２０が有する二次元画像の取得機能については詳細を後述する。
（モデル取得部１３０）
モデル取得部１３０は、二次元画像から生成された三次元モデルを取得する機能を有する。すなわち、モデル取得部１３０は、制御部１１０から引き渡されたオリジナル画像の情報に基づいてモデル生成装置３０に三次元モデルを生成させ、生成された三次元モデルを取得する機能を有してよい。特に、モデル生成装置３０がＳＬＡＭにより三次元モデルを生成する場合においては、モデル取得部１３０は、ＳＬＡＭにより生成された三次元モデルを取得することができる。
また、モデル取得部１３０は、取得した三次元モデルをシミュレータ部１２０に引き渡すことができる。なお、モデル取得部１３０は、モデル生成装置３０から直接的に三次元モデルを取得してもよいし、後述する通信部１４０を介して三次元モデルを取得してもよい。
（通信部１４０）
通信部１４０は、機械学習装置２０及びモデル生成装置３０との間の通信を行う機能を有する。例えば、通信部１４０は、物理シミュレーションにおいて得られるパラメータと関連付いた画像情報を機械学習装置２０に送信することができる。また、通信部１４０は、上記の画像情報に基づいた判定結果を機械学習装置２０から受信することができる。
また、通信部１４０は、機械学習装置２０から、ネットワーク構造の異なる複数のニューラルワークにより実行された複数の判定結果を受信してもよい。この場合、制御部１１０は、上記複数の判定結果をパラメータと対応付けて表示部に表示させることができる。
さらに、通信部１４０は、上記の画像情報に係る報酬をさらに機械学習装置２０に送信してもよい。この場合、機械学習装置２０は、受信した報酬を用いた強化学習を行うことができる。
［２．３．本実施形態に係る制御の概要］
次に、本実施形態に係る制御の概要について説明する。上述したとおり、本実施形態に係る情報処理装置１０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する。ユーザは、上記のユーザインタフェースを操作することで、機械学習に係る画像生成や、当該画像を用いた機械学習を機械学習装置２０に実行させることができる。また、ユーザは、機械学習装置２０による判定結果を同一のユーザインタフェースで確認することができるため、効率的に作業を行うことが可能である。
また、本実施形態に係る情報処理装置１０は、物理シミュレーションに係るパラメータを動的に設定することができる。例えば、情報処理装置１０は、まず、広いパラメータ間隔で物理シミュレーションを行い、得られた生成画像を機械学習装置２０に識別させてよい。この際、情報処理装置１０は、機械学習装置２０から識別結果を受信することで、機械学習装置２０が識別困難なパラメータ範囲を推定することができる。
この場合、情報処理装置１０は、誤判定された画像に関連付いたパラメータ値の周辺でより細かいパラメータ間隔で物理シミュレーションを行い、さらなる画像生成を行ってよい。すなわち、情報処理装置１０は、識別結果に基づいて新たなパラメータを設定することで、機械学習装置２０による識別が困難なパラメータ値の境界をより詳細に探索することができる。
また、情報処理装置１０は、誤判定された画像に関連付いたパラメータ値の周辺において画像生成を行うことで、機械学習装置２０が識別困難なパラメータ範囲に係る学習用画像を多量に生成することが可能である。すなわち、本実施形態に係る情報処理装置１０によれば、機械学習装置２０の現在の識別能力に応じた効果的な学習を実現することができる。
［２．４．ユーザインタフェースの構成例］
以上、本実施形態に係る制御の概要について説明した。次に、本実施形態に係るユーザインタフェースの構成を例示しながら、本実施形態に係る情報処理装置１０の有する機能をより詳細に説明する。図５は、本実施形態に係るユーザインタフェースの構成例である。
図５を参照すると、本実施形態に係るユーザインタフェースＵＩ１は、オリジナル画像表示領域Ｒ１、パラメータ設定領域Ｒ２、物理シミュレーション画像表示領域Ｒ３、生成画像表示領域Ｒ４、及び判定結果表示領域Ｒ５を有する。以降、図６〜図１２を参照しながら、各領域Ｒ１〜Ｒ５に表示される内容について詳細に説明する。
（オリジナル画像表示領域Ｒ１）
オリジナル画像表示領域Ｒ１は、ユーザがオリジナル画像を選択するための領域である。すなわち、オリジナル画像表示領域Ｒ１は、モデル生成装置３０に生成させる三次元モデルの元となる二次元画像（オリジナル画像）を指定するための領域であってよい。
図６は、オリジナル画像表示領域Ｒ１の表示例である。図６を参照すると、本実施形態に係るオリジナル画像表示領域Ｒ１には、複数のオリジナル画像ＯＲ１〜３が表示されている。ユーザは、オリジナル画像表示領域Ｒ１において任意のオリジナル画像を選択することで、三次元モデリングに用いる二次元画像を指定することができる。
なお、オリジナル画像表示領域Ｒ１に表示される二次元画像は、あらかじめユーザが取り込んだ二次元画像であってもよいし、ネットワーク４０を介して接続される各種の装置から、情報処理装置１０が収集した二次元画像であってもよい。例えば、情報処理装置１０は、自動車に搭載される車載装置が撮影した画像情報を収集し、オリジナル画像表示領域Ｒ１に表示させてもよい。
また、ユーザは、オリジナル画像表示領域Ｒ１において、複数のオリジナル画像を指定できてもよい。モデル生成装置３０がＳＬＡＭなどの技術を用いて三次元モデルの生成を行う場合、元となる複数のオリジナル画像が求められる。このため、ユーザは、モデル生成装置３０の三次元モデリング手法に合わせたオリジナル画像の指定を行えてよい。
なお、図示していないが、オリジナル画像表示領域Ｒ１には、モデル生成装置３０の三次元モデリング手法に合わせた各種のメッセージが表示されてもよい。上記のメッセージは、例えば、「連続撮影された複数の画像を指定してください」、などの内容であってもよい。ユーザは、上記のメッセージに従って、適切なオリジナル画像の指定を行うことができる。
（パラメータ設定領域Ｒ２）
パラメータ設定領域Ｒ２は、物理シミュレーションに係る各種のパラメータを設定するための領域である。パラメータ設定領域Ｒ２には、例えば、パラメータ範囲や、パラメータ範囲に係る分割情報を指定するための手段が備えられてよい。
図７は、本実施形態に係るパラメータ設定領域Ｒ２の表示例を示している。図７を参照すると、パラメータ設定領域Ｒ２には、複数のパラメータＰ１〜Ｐ３に係る設定項目が表示されている。図７に示す一例においては、パラメータＰ１は、太陽位置に係るパラメータであってもよい。また、パラメータＰ２は、雲の量に係るパラメータであってもよい。また、パラメータＰ３は、路面における日光の反射率に係るパラメータであってもよい。
なお、図７に示す一例においては、３つのパラメータＰ１〜Ｐ３に係る設定項目を示しているが、パラメータ設定領域Ｒ２には、４つ以上のパラメータに係る設定項目が表示されてもよい。また、ユーザは、ボタン操作などにより表示させるパラメータを切り替えることができてもよい。
また、パラメータ設定領域Ｒ２には、各パラメータＰ１〜Ｐ３に係る設定項目が表示される。ここで、上記の設定項目は、パラメータ範囲を含んでよい。図７を参照すると、パラメータ設定領域Ｒ２には、パラメータＰ１に係る最小値を設定するための項目Ｐｍｉｎ１、及びパラメータＰ１に係る最大値を設定するための項目Ｐｍａｘ１が表示されている。
また、この際、制御部１１０は、パラメータの値に係るインジケータを用いてパラメータ範囲を表示させることもできる。図７に示す一例においては、パラメータＰ１に係るパラメータ値が、Ｂａｒ１により視覚的に示されており、Ｂａｒ１上には、それぞれ項目Ｐｍｉｎ１に対応するボタンＢｍｉｎ１、及び項目Ｐｍａｘ１に対応するボタンＢｍａｘ１が表示されている。ユーザは、ボタンＢｍｉｎ１及びＢｍａｘ１を操作することで、パラメータＰ１に係るパラメータ範囲を変更することができる。
また、上記の設定項目は、パラメータ範囲に係る分割情報を含んでよい。ここで、上記の分割情報とは、パラメータ範囲を分割するための分割数であってもよい。図７に示す一例においては、パラメータＰ１に係る分割数を指定するための項目Ｐｄｉｖ１が表示されている。本実施形態に係るシミュレータ部１２０は、上記のパラメータ範囲及び分割数に基づいて、複数の生成画像を得ることができる。
また、制御部１１０は、初回の物理シミュレーションに係るパラメータ（以降、初期パラメータ、とも呼ぶ）を自動で設定することもできる。上述したとおり、本実施形態に係る制御部１１０は、機械学習装置２０の識別結果に基づいて新たなパラメータを設定することができる。この際、制御部１１０は、まず、初期パラメータとして広いパラメータ範囲を設定し機械学習装置２０から識別結果を取得してもよい。続いて、制御部１１０は、当該識別結果に基づいて、初期パラメータよりも狭いパラメータ範囲を設定し画像生成を行わせてもよい。これにより、機械学習装置２０による認識が困難なパラメータ値に係る生成画像を得ることが可能となる。
制御部１１０は、例えば、パラメータごとに定められたデフォルト値や、過去に実施された学習結果などに基づいて、初期パラメータを自動設定することができる。また、制御部１１０による初期パラメータの自動設定は、ユーザ設定により実行の要否を切り替えられるように設計されてもよい。ユーザは、上記の初期パラメータを自ら設定することができてよい。なお、制御部１１０が初期パラメータを自動で設定した場合にも、ユーザは各設定の値を変更することができてよい。これにより、ユーザの判断に対応したより柔軟なパラメータ設定が可能となる。
（物理シミュレーション画像表示領域Ｒ３）
物理シミュレーション画像表示領域Ｒ３は、シミュレータ部１２０による物理シミュレーションの状況を表示するための領域である。すなわち、物理シミュレーション画像表示領域Ｒ３には、オリジナル画像から生成された三次元モデルと、設定されたパラメータと、に基づく物理シミュレーションの過程がリアルタイムに表示されてよい。
図８は、本実施形態に係る物理シミュレーション画像表示領域Ｒ３の表示例である。上述したとおり、シミュレータ部１２０は、オリジナル画像から生成された三次元モデルと、設定されたパラメータと、に基づく物理シミュレーションを実行することができる。この際、上記の三次元モデルは、オリジナル画像表示領域Ｒ１において指定された二次元画像に基づきモデル生成装置３０が生成した三次元モデルであってよい。また、上記のパラメータは、パラメータ設定領域Ｒ２において制御部１１０またはユーザが設定したパラメータであってよい。
また、シミュレータ部１２０は、上記の物理シミュレーションにおいて、設定されたパラメータに基づいて二次元ＣＧ画像を生成することができる。より具体的には、シミュレータ部１２０は、パラメータ設定領域Ｒ２において設定されたパラメータ範囲と分割数に基づいて、上記の二次元ＣＧ画像を生成してよい。例えば、パラメータ範囲に数値１〜１００が設定され、分割数に１０が設定された場合、シミュレータ部１２０は、パラメータ値の１０の倍数で二次元ＣＧ画像を生成してもよい。
（生成画像表示領域Ｒ４）
生成画像表示領域Ｒ４は、シミュレータ部１２０のよる物理シミュレーションにおいて得られた生成画像を表示するための領域である。上述したとおり、上記の生成画像はパラメータ設定に基づいて取得された二次元ＣＧ画像であってよい。
図９は、本実施形態に係る生成画像表示領域Ｒ４の表示例である。図９を参照すると、生成画像表示領域Ｒ４には、物理シミュレーションにより得られた生成画像ＧＩ１〜ＧＩ３が表示されている。なお、生成画像表示領域Ｒ４は、物理シミュレーションの実行状況に応じてリアルタイムに更新されてよい。すなわち、生成画像表示領域Ｒ４には、物理シミュレーションの実行過程で得られた生成画像が順次追加されてよい。
なお、図９に示す一例においては、生成画像ＧＩ１〜ＧＩ３は、図７に示したパラメータＰ１の設定に基づいて実行された物理シミュレーションから得られた画像であってよい。図９を参照すると、生成画像ＧＩ１〜ＧＩ３では、太陽の位置が異なっていることがわかる。このように、本実施形態に係る情報処理装置１０によれば、実世界の環境変化に則した画像を効率的に生成し、機械学習装置２０に提供することが可能となる。
（判定結果表示領域Ｒ５）
判定結果表示領域Ｒ５は、生成画像に対する機械学習装置２０の判定結果を表示するための領域である。すなわち、判定結果表示領域Ｒ５には、機械学習装置２０が生成画像を識別できたか否かの識別結果が表示されてよい。
図１０は、本実施形態に係る判定結果表示領域Ｒ５の表示例である。図１０を参照すると、判定結果表示領域Ｒ５には、機械学習装置２０による識別結果がパラメータ値と対応付けられて表示されている。このように、本実施形態に係る制御部１１０は、生成画像の識別結果と当該生成画像に係るパラメータ値とを対応付けて表示部に表示させることができる。より具体的には、制御部１１０は、初期パラメータとして設定したパラメータ範囲及び分割数を、上記の判定結果と関連付けて表示させてよい。
図１０を参照すると、判定結果表示領域Ｒ５には、パラメータ値を視覚的に示すＢａｒ２と、識別結果ＲＲ１が表示されている。ここで、識別結果ＲＲ１は、初期パラメータとして設定されたパラメータ範囲及び分割数に基づいて得られた生成画像ごとの識別結果を含んでいる。すなわち、識別結果ＲＲ１において、各枠線により示される領域は、生成画像の識別結果であってよい。
なお、図１０に示す一例においては、機械学習装置２０が誤判定を示した生成画像に係る領域が斜線によるハッチングで示されている。このように、制御部１１０が生成画像の識別結果と、当該生成画像に係るパラメータと、を視覚的に対応付けて表示させることで、ユーザは直観的に機械学習装置２０による識別が困難なパラメータ範囲を知覚することができる。なお、図１０では、誤判定に係る表示をハッチングにより強調する例を示しているが、上記の識別結果は赤や青などの色分けにより示されてもよい。また、上記の識別結果は数値や文字により示されてもよい。制御部１１０は、例えば、「正」及び「誤」や、「１」及び「０」などのテキスト情報を用いて、識別結果を表示させてもよい。
また、上述したとおり、本実施形態に係る制御部１１０は、識別結果に基づいて新たなパラメータを設定することができる。この際、制御部１１０は、上記の識別結果と新たなパラメータとを対応付けて判定結果表示領域Ｒ５に表示させてよい。
図１０を参照すると、判定結果表示領域Ｒ５には、制御部１１０が設定した新たなパラメータが、項目Ｐｍｉｎ２、項目Ｐｍａｘ２、項目Ｐｄｉｖ２に示されている。また、Ｂａｒ２上には、項目Ｐｍｉｎ２に対応するボタンＢｍｉｎ２、及び項目Ｐｍａｘ２に対応するボタンＢｍａｘ２が示されている。ここで、上記で挙げた各項目は、図７を用いて各パラメータ項目と同一の機能を果たすものであってよい。また、図１０を参照すると、判定結果表示領域Ｒ５には、項目Ｐｄｉｖ２に設定された値に基づいて、分割線ＤｉｖＬが表示されている。なお、初期パラメータと同様に、上記で挙げた各パラメータは、ユーザにより変更され得る。
図１０に示すように、制御部１１０は、誤判定を示す識別結果に基づいて新たなパラメータ範囲を設定してもよい。この際、制御部１１０は、誤判定を示す識別結果に関連付いたパラメータ値を含むように新たなパラメータ範囲を設定することができる。また、この場合、制御部１１０は、識別結果ＲＲ１に関連付いたパラメータ範囲よりも狭い新たなパラメータ範囲を設定してよい。すなわち、本実施形態に係る制御部１１０は、誤判定結果に関連付いたパラメータ値の周辺において新たなパラメータ範囲を設定することで、機械学習装置２０による識別が困難なパラメータ値の境界をより詳細に探索することができる。
また、制御部１１０は、上記のように新たなパラメータ範囲を設定し画像生成を行わせることで、機械学習装置２０が識別困難なパラメータ範囲に係る学習用画像を多量に生成することが可能である。この際、制御部１１０は、分割数をより多く設定することで、得られる生成画像の数を調整することもできる。
また、制御部１１０は、設定した新たなパラメータ範囲に係る識別結果や、誤判定を示す識別結果が拡大されるように表示を制御してよい。図１０に示す一例では、誤判定を示す識別結果を含む新たなパラメータ範囲に係る識別結果が、拡大結果ＥＲ１として強調表示されている。
また、図１０に示すように、制御部１１０は、判定結果と生成画像とを対応付けて表示させることもできる。図１０に示す一例では、制御部１１０は、拡大結果ＥＲ１に関連付いた生成画像ＧＩ６〜ＧＩ１０の表示を制御している。なお、制御部１１０は、識別結果ＲＲ１に関連付いた生成画像の表示を制御してもよい。また、生成画像の表示は、ユーザ操作により切り替えられるように設定されてもよい。制御部１１０による識別結果の拡大表示制御や生成画像の表示制御は、適宜設計され得る。
以上、制御部１１０が誤判定を示す識別結果に基づいて新たなパラメータ範囲を設定する場合の表示例を説明した。一方、本実施形態に係る制御部１１０は、識別結果に関連付いたパラメータ範囲を含まない新たなパラメータ範囲を設定してもよい。すなわち、制御部１１０は、まだ識別に用いられていないパラメータ範囲を新たに設定することで、より広い範囲において機械学習装置２０の識別能力を調査することができる。
図１１は、制御部１１０が、識別結果に関連付いたパラメータ範囲を含まない新たなパラメータ範囲を設定する場合の表示例である。図１１を参照すると、制御部１１０は、識別結果ＲＲ２に関連付いたパラメータ範囲を含まない新たなパラメータ範囲を設定していることがわかる。
また、図１１を参照すると、識別結果ＲＲ２には、誤判定を示す識別結果が含まれていない。このように、本実施形態に係る制御部１１０は、識別結果ＲＲ２に誤判定を示す識別結果が含まれないことに基づいて、まだ識別に用いられていないパラメータ範囲を新たに設定してもよい。これにより、より効率的に機械学習装置２０の識別能力を調査することが可能となる。
さらに、本実施形態に係る制御部１１０は、ネットワーク構造の異なる複数のニューラルネットワークにより判定された複数の判定結果を比較して表示させることができる。図１２は、制御部１１０が上記の複数の判定結果を比較して表示させる場合の表示例である。
図１２を参照すると、判定結果表示領域Ｒ５には、図１０及び図１１で示した例とは異なり、複数の識別結果ＲＲ３及びＲＲ４が表示されていることがわかる。ここで識別結果ＲＲ３及びＲＲ４は、互いに異なるニューラルネットワークによる識別結果を示すものでよい。このように、本実施形態に係る制御部１１０は、複数のニューラルネットワークにより識別結果を比較して表示することができる。
この際、通信部１４０は、単一の機械学習装置２０から上記複数の識別結果を取得してもよいし、複数の機械学習装置２０から複数の識別結果を取得してもよい。ユーザは、判定結果領域Ｒ５に表示される複数の識別結果を確認することで、複数のニューラルネットワークに係る識別能力の差異を判断し、種々の対応を行うことが可能である。
また、この際、制御部１１０は、それぞれの識別結果に基づいて新たなパラメータを個別に設定してもよいし、複数の識別結果を統計処理し共通のパラメータを新たに設定してもよい。通信部１４０は、設定された新たなパラメータに基づいて得られた生成画像を、単一または複数の機械学習装置２０に送信することができる。
以上、本実施形態に係るユーザインタフェースの構成について詳細に説明した。上述したとおり、本実施形態に係る情報処理装置１０は、指定されたオリジナル画像に基づいてモデル生成装置３０に三次元モデルを生成させることができる。また、情報処理装置１０は、上記のパラメータと設定したパラメータとに基づいて物理シミュレーションを実行し、複数の生成画像を得ることができる。また、情報処理装置１０は、得られた複数の生成画像を機械学習装置２０に送信し、受信した識別結果を表示させることができる。
本実施形態に係る情報処理装置１０によれば、上記の処理を同一のユーザインタフェースにより制御することができ、作業効率を大幅に向上させることが可能となる。また、本実施形態に係る情報処理装置１０は、取得した識別結果に基づいて新たなパラメータを設定することができる。すなわち、本実施形態に係る情報処理装置１０によれば、識別が困難なパラメータ値に係る画像を自動で生成し、機械学習装置２０に学習させることが可能となる。
なお、上記の説明では、単一のパラメータに着目して説明を行ったが、本実施形態に係る情報処理装置１０は、複数のパラメータに着目して新たなパラメータを設定してよい。物理シミュレーションに係るパラメータには、密接に関連したパラメータが存在するため、情報処理装置１０が、当該密接に関連したパラメータに係る新たな設定を行うことで、機械学習装置２０に多様な学習を行わせることもできる。なお、上記の密接に関連したパラメータとは、例えば、路面における反射率と雨や日光の強さなどであってもよい。
また、情報処理装置１０は、複数のパラメータを同時に設定することで、トレーニング画像とバリデーション画像を同時に生成することもできる。この場合、情報処理装置１０は、トレーニング画像の生成に用いるパラメータとは別のパラメータの値を適宜調整することでバリデーション画像を生成してもよい。また、上記のような機能は、ユーザ設定により適宜変更され得る。
［２．５．ＳＬＡＭによる三次元モデルの生成］
次に、本実施形態に係るＳＬＡＭによる三次元モデルの生成について説明する。上述したとおり、本実施形態に係る情報処理装置１０は、ＳＬＡＭにより生成された三次元モデルを用いた物理シミュレーションを行ってよい。この際、本実施形態に係る情報処理装置１０は、連続撮影された複数の二次元画像をモデル生成装置３０に送信し、当該複数の二次元画像に係る三次元モデルを取得することができる。
（ＳＬＡＭに係る概要）
ここで、ＳＬＡＭについて概要を説明する。本実施形態に係るＳＬＡＭとは、同一のカメラにより連続で撮影された複数の画像から三次元モデルを生成する技術として解されてよい。
まず、モデル生成装置３０は、上記の複数の画像から特徴点を抽出する。この際、モデル生成装置３０は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などを用いて特徴点の検出を行ってもよい。また、例えば、モデル生成装置３０は、Ｈａｒｒｉｓのコーナー検出法などを用いることもできる。
次に、各画像で抽出した特徴点のマッチングを行う。この際、モデル生成装置３０は、特徴点検出に用いた手法に対応したマッチングを行ってよい。例えば、特徴点検出にＳＩＦＴやＳＵＲＦを用いた場合、モデル生成装置３０は検出した特徴点に係る特徴量ベクトルに基づいて、上記のマッチングを行ってもよい。
続いて、モデル生成装置３０は、上記のマッチング結果に基づいて、特徴点の三次元座標を算出し、当該特徴点の三次元座標から各画像に対応したカメラパラメータを算出する。ここで、上記のカメラパラメータは、カメラの有する自由度のベクトルであってよい。すなわち、本実施形態に係るカメラパラメータは、カメラの位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ、Φｙ、Φｚ）と、であってよい。
また、モデル生成装置３０は、上記で算出したカメラパラメータに基づいて、投影誤差の最小化を行ってもよい。具体的には、モデル生成装置３０は、各カメラパラメータと各特徴点の位置分布を最小化する統計処理を行うことができる。
以上、本実施形態に係るＳＬＡＭについて概要を説明した。本実施形態に係るモデル生成装置３０は、上記の処理を経て取得した特徴点の三次元座標に基づいて、三次元モデルの生成を行うことができる。
（三次元モデルパラメータの設定）
次に、本実施形態に係る三次元モデルパラメータの設定について説明する。本実施形態に係る情報処理装置１０は、モデル生成装置３０による三次元モデリングに関する三次元モデルパラメータをさらに設定することができる。ここで、上記の三次元モデルパラメータは、上述したＳＬＡＭに係るパラメータであってよい。具体的には、三次元モデルパラメータは、抽出される特徴点の数、特徴点のマッチング閾値、またはカメラパラメータ算出に用いる特徴点の範囲などを含んでよい。
本実施形態に係る情報処理装置１０は、上記の三次元モデルパラメータの設定に基づいてモデル生成装置３０に三次元モデルを生成させ、当該三次元モデルを取得することができる。このため、情報処理装置１０は、三次元モデルパラメータに係る設定領域をユーザインタフェースに含ませてよい。
図１３は、本実施形態に係る三次元モデルパラメータ設定領域Ｒ６に係る表示例である。図１３を参照すると、三次元モデルパラメータ設定領域Ｒ６には、項目Ｐｕｍ１、項目Ｐｔｈｒ１、及び項目Ｐｒａｎ１が表示されている。また、それぞれの設定項目には、設定項目の値を操作するためのＢａｒ３〜５、及びボタンＢ３〜５が表示されてもよい。
ここで、項目Ｐｕｍ１は、抽出される特徴点の数を指定するための設定項目であってよい。モデル生成装置３０は、項目Ｐｕｍ１に設定された値に基づいて、画像から特徴点を抽出してよい。
また、項目Ｐｔｈｒ１は、画像間でマッチングを行う際の特徴点マッチングに係る閾値を設定する設定項目であってよい。モデル生成装置３０は、項目Ｐｔｈｒ１に設定された値に基づいて、特徴点のマッチングを行ってよい。
また、項目Ｐｒａｎ１は、カメラパラメータの算出に用いる特徴点の範囲を設定する項目であってよい。モデル生成装置３０は、項目Ｐｒａｎ１に設定された値に基づいて、カメラパラメータの算出を行ってよい。
以上、本実施形態に係るＳＬＡＭによる三次元モデルの生成について述べた。本実施形態に係る情報処理装置１０は、上記の手法により生成された三次元モデルを用いて物理シミュレーションを実行することで、より実世界に近い生成画像を得ることが可能である。
［２．６．第１の施形態に係る制御の流れ］
次に、本実施形態に係る制御の流れについて詳細に説明する。図１４は、情報処理装置１０による制御の流れを示すフローチャートである。
図１４を参照すると、まず、制御部１１０は、ユーザにより指定されたオリジナル画像に係る情報を取得する（Ｓ１１０１）。この際、ユーザはＳＬＡＭによる三次元モデル生成を実現するために、複数のオリジナル画像を指定できてよい。
続いて、制御部１１０は、物理シミュレーションに係るパラメータを設定する（Ｓ１１０２）。この際、ユーザは、制御部１１０により設定されたパラメータを変更することができてよい。
次に、モデル取得部１３０は、ステップＳ１１０１で指定されたオリジナル画像とステップＳ１１０２で設定された三次元モデルパラメータに基づいて三次元モデルを取得する（Ｓ１１０３）。
次に、シミュレータ部１２０は、ステップＳ１１０２で設定されたパラメータとステップＳ１１０３で取得された三次元モデルに基づいて物理シミュレーションを実行する（Ｓ１１０４）。
続いて、シミュレータ部１２０は、ステップＳ１１０２で設定されたパラメータに基づいて生成画像を取得する（Ｓ１１０５）。上述したとおり、上記の生成画像は物理シミュレーションに基づいて取得される二次元ＣＧ画像であってよい。なお、ステップＳ１１０４及びＳ１１０５は、並行して実行されてよい。
次に、通信部１４０は、ステップＳ１１０５で取得された生成画像を機械学習装置２０に送信する（Ｓ１１０７）。また、通信部は、上記の生成画像に係る報酬を機械学習装置２０に送信してもよい。この場合、機械学習装置２０は、受信した報酬に基づく強化学習を行うことができる。
続いて、通信部１４０は、ステップＳ１１０７で送信した生成画像に対する機械学習装置２０の識別結果を受信する（Ｓ１１０８）。
次に、制御部１１０は、ステップＳ１１０８で受信した識別結果とＳ１１０２で設定したパラメータとを対応付けて表示させる（Ｓ１１０９）。
続いて、制御部１１０は、ステップＳ１１０７で取得された識別結果に基づいて、新たなパラメータを設定する。この際、ユーザは、制御部１１０により設定されたパラメータを変更することができてよい。
続いて、制御部１１０は、処理を終了するか否かを判定する（Ｓ１１１０）。この際、制御部１１０は、ユーザによる操作に基づいて、終了の判定を行ってもよい。
ここで、制御部１１０が処理を終了する場合（Ｓ１１１０：Ｙｅｓ）、情報処理装置１０は、一連の処理を終了し待機状態へと移行してもよい。一方、処理が終了されない場合（Ｓ１１１０：Ｎｏ）、情報処理装置１０は、ステップＳ１１０４〜Ｓ１１１０の処理を繰り返し実行してよい。
以上、本実施形態に係る情報処理装置１０による制御の流れを説明した。上記の説明では、ユーザによるパラメータの変更などが行われる場合を例に説明したが、本実施形態に係る情報処理装置は、オリジナル画像の指定後、自動でステップＳ１１０４〜Ｓ１１１０の処理を繰り返してもよい。本実施形態に係る情報処理装置１０は、上記の処理を繰り返すことで、機械学習装置２０に継続的な学習を行わせることが可能である。すなわち、本実施形態に係る情報処理装置１０は、識別結果に基づく画像生成を繰り返すことで、機械学習装置２０の汎化性能を効率的に向上させ続けることが可能である。
＜３．第２の実施形態＞
［３．１．第２の実施形態に係るシステム構成］
次に、本開示に係る第２の実施形態について説明する。本開示に係る第２の実施形態では、機械学習装置２０がインタフェース制御機能Ｆ１を有してよい。また、第２の実施形態においては、情報処理装置１０は、物理シミュレータ機能Ｆ３を有する物理シミュレータであってよい。すなわち、本開示に係る第２の実施形態では、機械学習装置２０がユーザインタフェースの制御を行い、情報処理装置１０による物理シミュレーションで得られた生成画像を取得することができる。
本実施形態に係るシステムは、機械学習装置２０、情報処理装置１０、及びモデル生成装置３０を備えてよい。また、上記の各装置は、互いに通信が行えるように、ネットワーク４０を介して接続される。
（機械学習装置２０）
上述したとおり、第２の実施形態に係る機械学習装置２０は、インタフェース制御機能Ｆ１、及び機械学習機能Ｆ２を有する情報処理装置であってよい。すなわち、本実施形態に係る機械学習装置２０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する学習器であってよい。
（情報処理装置１０）
また、本実施形態に係る情報処理装置１０は、物理シミュレータ機能Ｆ３を有する物理シミュレータであってよい。本実施形態に係る情報処理装置１０は、機械学習装置２０から受信したパラメータに基づいて物理シミュレーションを行い、当該物理シミュレーションによって得られた生成画像を機械学習装置２０に送信する機能を有する。
以上、本実施形態に係るシステム構成例について説明した。なお、本実施形態に係るモデル生成装置３０については、第１の実施形態に係るモデル生成装置３０と同等の機能を有してよいため、説明を省略する。
［３．２．第２の実施形態に係る機械学習装置２０］
次に、本実施形態に係る機械学習装置２０について説明する。図１５は、本実施形態に係る機械学習装置２０の機能ブロック図である。図１５を参照すると、本実施形態に係る機械学習装置２０は、制御部２１０、機械学習部２２０、モデル取得部２３０、通信部２４０を備える。なお、以降の説明においては、第１の実施形態との差異について中心に述べ、重複する機能の説明については省略する。
（制御部２１０）
制御部２１０は、物理シミュレーションに係るパラメータの設定に関する表示を制御する機能を有する。また、制御部２１０は、情報処理装置１０から取得した生成画像に対する機械学習部２２０の学習結果と上記のパラメータとを対応付けて、接続される表示部（図示しない）に表示させる機能を有する。
（機械学習部２２０）
機械学習部２２０は、情報処理装置１０による物理シミュレーションにおいて得られた生成画像に基づいて機械学習を行う機能を有する。
（通信部２４０）
通信部２４０は、情報処理装置１０及びモデル生成装置３０との間の通信を行う機能を有する。例えば、通信部２４０は、制御部２１０により設定されたパラメータを情報処理装置１０に送信することができる。また、通信部２４０は、上記の物理シミュレーションにおいて得られた生成画像を情報処理装置１０から受信することができる。
以上、本実施形態に係る機械学習装置２０備える各構成について説明した。なお、モデル取得部２３０については、第１の実施形態に係るモデル取得部１３０と同等の機能を有してよいため、説明を省略する。
［３．３．第２の実施形態に係る学習結果表示］
次に、本実施形態に係る学習結果の表示について説明する。上述したとおり、機械学習装置２０の制御部２１０は、生成画像に係るパラメータと、当該生成画像に対する機械学習部２２０の学習結果を対応付けて表示させることができる。
図１６は、本実施形態に係る学習結果表示領域Ｒ７の表示例である。図１６を参照すると、学習結果表示領域Ｒ７には、生成画像ＧＩ１１〜１３と、生成画像ＧＩ１１〜１３のそれぞれに関連付いたパラメータ値、及び生成画像ＧＩ１１〜１３に対する機械学習部２２０の学習結果が表示されている。
なお、図１６に示す一例では、「０」または「１」により学習結果が表示されているが、制御部２１０は、例えば、機械学習部２２０が生成画像に基づき再構成した画像を学習結果表示領域Ｒ７に表示させてもよい。また、図１６に示す一例では、生成画像に係る単一のパラメータＰ１の値が表示されているが、制御部２１０は、複数のパラメータを学習結果と対応付けて表示させてもよい。
また、本実施形態に係る学習結果表示領域Ｒ７には、図１７に示した例に限定されず、種々の学習結果が表示されてよい。例えば、制御部２１０は、ネットワーク構造の異なる複数のニューラルネットワークによる学習結果を比較して表示させることもできる。また、制御部２１０は、生成画像に関連付いたパラメータと、当該生成画像に対するトレーニング結果及びバリデーション結果と、を対応づけて表示させることもできる。
また、制御部２１０は、機械学習部２２０による学習経過をパラメータ値と対応付けて表示させてもよい。この際、制御部２１０は、例えば、所定のパラメータ値に対する学習誤差やトレーニング誤差などを学習曲線により示すこともできる。
以上、本開示に係る第２の実施形態について説明した。上述したとおり、本実施形態に係る制御部２１０は、生成画像に係るパラメータ値と、当該生成画像に対する学習結果を対応付けて表示させることができる。ユーザは、学習結果表示領域Ｒ７を確認することで、機械学習部２２０による認識が困難なパラメータ領域を知覚することができる。また、ユーザは、機械学習部２２０の学習結果を確認し、種々の機械学習に係る制御を行ってよい。ユーザは、例えば、機械学習部２２０に係るネットワーク構造の変更を同一のユーザインタフェース上で実行することができる。本実施形態に係る機械学習装置２０によれば、機械学習制御に係るユーザの作業効率を大幅に改善することが可能となる。
＜４．ハードウェア構成例＞
次に、本開示に係る情報処理装置１０、機械学習装置２０、及びモデル生成装置３０に共通するハードウェア構成例について説明する。図１７は、本開示に係る情報処理装置１０、機械学習装置２０、及びモデル生成装置３０のハードウェア構成例を示すブロック図である。図１７を参照すると、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
（出力装置８７９）
出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜５．まとめ＞
以上、説明したように、本開示に係る情報処理装置１０は、機械学習装置２０及びモデル生成装置３０との入出力を制御し、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有してよい。また、情報処理装置１０は、機械学習に係る画像を生成するための物理シミュレーション機能を有してよい。また、本開示に係る機械学習装置２０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する学習器であってよい。係る構成によれば、ニューラルネットワークの汎化性能をより向上させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、画像認識に関する例を中心に説明したが、本技術はかかる例に限定されない。本開示に係る技術は、例えば、工作機械、手術ロボット、病理診断、及び農業収穫に係る機械学習にも適用され得る。
例えば、工作機械に係る機械学習を行う場合では、マシンビジョンでは認識が困難な環境を物理シミュレータに取り込むことで、種々の環境条件を再現した二次元ＣＧ画像を生成し、当該環境条件に応じた制御学習などを実現することができる。
また、例えば、手術ロボットに係る機械学習を行う場合には、臓器や術具の認識が困難な環境を物理シミュレータに取り込むことで、臓器の反応や照明を変化させた二次元ＣＧ画像を生成し、種々の状況に応じた学習を実現することができる。
また、例えば、病理診断に係る機械学習を行う場合には、病理スライドなどを物理シミュレータに取り込むことで、染色の強さなどを変化させた二次元ＣＧ画像を生成し、種々の検体に対応した癌判定学習などを実現することができる。
また、例えば、農業収穫に係る機械学習を行う場合には、各種のセンサから取得したセンサ情報を物理シミュレータに取り込み、出力結果と共に学習させることで、農業収穫に係る学習を実現することができる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、
前記物理シミュレーションにおいて得られる前記パラメータと関連付いた画像情報を機械学習部に送信し、前記画像情報に基づいた判定結果を前記機械学習部から受信する通信部と、
を備え、
前記制御部は、前記判定結果と前記パラメータとを対応付けて表示部に表示させる、
情報処理装置。
（２）
前記パラメータの設定は、前記パラメータの値の範囲を示すパラメータ範囲を含み、
前記制御部は、前記判定結果と前記パラメータ範囲とを対応付けて前記表示部に表示させる、
前記（１）に記載の情報処理装置。
（３）
前記パラメータの設定は、前記パラメータ範囲に係る分割情報をさらに含み、
前記制御部は、前記判定結果と前記分割情報とをさらに対応付けて前記表示部に表示させ、
前記画像情報は、前記パラメータ範囲と前記分割情報とに基づいて取得される、
前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記判定結果に基づいて新たなパラメータの設定を行い、
前記判定結果と前記新たなパラメータとを対応付けて前記表示部に表示させる、
前記（２）または（３）に記載の情報処理装置。
（５）
前記判定結果は、前記画像情報に対する判定の正誤情報であり、
前記制御部は、誤判定を示す判定結果に基づいて新たなパラメータ範囲を設定し、
前記新たなパラメータ範囲は、前記誤判定を示す判定結果に関連付いた前記パラメータの値を含み、かつ前記判定結果に関連付いた前記パラメータ範囲よりも狭い、
前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記誤判定を示す判定結果が拡大されるように表示を制御する、
前記（５）に記載の情報処理装置。
（７）
前記制御部は、前記判定結果に関連付いた前記パラメータ範囲を含まない新たなパラメータ範囲を設定する、
前記（４）〜（６）のいずれかに記載の情報処理装置。
（８）
前記制御部は、前記判定結果を前記パラメータの値に係るインジケータと共に前記表示部に表示させる、
前記（１）〜（７）のいずれかに記載の情報処理装置。
（９）
前記パラメータは、ユーザにより設定または変更される、
前記（１）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記制御部は、前記判定結果と前記画像情報に基づいて生成される画像とをさらに対応付けて表示させる、
前記（１）〜（９）のいずれかに記載の情報処理装置。
（１１）
物理シミュレーションを行うシミュレータ部、
をさらに備える、
前記（１）〜（１０）のいずれかに記載の情報処理装置。
（１２）
二次元画像から生成された三次元モデルを取得するモデル取得部、
をさらに備え、
前記シミュレータ部は、前記二次元画像から生成された三次元モデルを用いて物理シミュレーションを行う、
前記（１１）に記載の情報処理装置。
（１３）
前記モデル取得部は、ＳＬＡＭにより生成された三次元モデルを取得する、
前記（１２）に記載の情報処理装置。
（１４）
前記物理シミュレーションに係るパラメータは、三次元モデルパラメータをさらに含み、
前記モデル取得部は、前記三次元モデルパラメータに基づいて前記三次元モデルを取得し、
前記三次元モデルパラメータは、抽出される特徴点の数、特徴点のマッチング閾値、またはカメラパラメータ算出に用いる特徴点の範囲のうち少なくとも１つを含む、
前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記二次元画像、前記画像情報に基づいて生成される画像、または前記物理シミュレーションの実行画像のうち少なくとも１つを前記表示部に表示させる、
前記（１２）〜（１４）のいずれかに記載の情報処理装置。
（１６）
前記通信部は、前記画像情報に係る報酬を前記機械学習部に送信する、
前記（１）〜（１５）のいずれかに記載の情報処理装置。
（１７）
前記通信部は、ネットワーク構造の異なる複数のニューラルネットワークにより判定された複数の前記判定結果を受信する、
前記（１）〜（１６）のいずれかに記載の情報処理装置。
（１８）
物理シミュレーションに係るパラメータの設定に係る表示を制御する制御部と、
前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、
前記画像情報に基づいて機械学習を行う機械学習部と、
を備え、
前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、
情報処理装置。
１０ 情報処理装置
１１０ 制御部
１２０ シミュレータ部
１３０ モデル取得部
１４０ 通信部
２０ 機械学習装置
２１０ 制御部
２２０ 機械学習部
２３０ モデル取得部
２４０ 通信部
３０ モデル生成装置

Claims (18)

  1. 物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、
    前記物理シミュレーションにおいて得られる前記パラメータと関連付いた画像情報を機械学習部に送信し、前記画像情報に基づいた判定結果を前記機械学習部から受信する通信部と、
    を備え、
    前記制御部は、前記判定結果と前記パラメータとを対応付けて表示部に表示させる、
    情報処理装置。
  2. 前記パラメータの設定は、前記パラメータの値の範囲を示すパラメータ範囲を含み、
    前記制御部は、前記判定結果と前記パラメータ範囲とを対応付けて前記表示部に表示させる、
    請求項１に記載の情報処理装置。
  3. 前記パラメータの設定は、前記パラメータ範囲に係る分割情報をさらに含み、
    前記制御部は、前記判定結果と前記分割情報とをさらに対応付けて前記表示部に表示させ、
    前記画像情報は、前記パラメータ範囲と前記分割情報とに基づいて取得される、
    請求項２に記載の情報処理装置。
  4. 前記制御部は、前記判定結果に基づいて新たなパラメータの設定を行い、
    前記判定結果と前記新たなパラメータとを対応付けて前記表示部に表示させる、
    請求項２に記載の情報処理装置。
  5. 前記判定結果は、前記画像情報に対する判定の正誤情報であり、
    前記制御部は、誤判定を示す判定結果に基づいて新たなパラメータ範囲を設定し、
    前記新たなパラメータ範囲は、前記誤判定を示す判定結果に関連付いた前記パラメータの値を含み、かつ前記判定結果に関連付いた前記パラメータ範囲よりも狭い、
    請求項４に記載の情報処理装置。
  6. 前記制御部は、前記誤判定を示す判定結果が拡大されるように表示を制御する、
    請求項５に記載の情報処理装置。
  7. 前記制御部は、前記判定結果に関連付いた前記パラメータ範囲を含まない新たなパラメータ範囲を設定する、
    請求項４に記載の情報処理装置。
  8. 前記制御部は、前記判定結果を前記パラメータの値に係るインジケータと共に前記表示部に表示させる、
    請求項１に記載の情報処理装置。
  9. 前記パラメータは、ユーザにより設定または変更される、
    請求項１に記載の情報処理装置。
  10. 前記制御部は、前記判定結果と前記画像情報に基づいて生成される画像とをさらに対応付けて表示させる、
    請求項１に記載の情報処理装置。
  11. 物理シミュレーションを行うシミュレータ部、
    をさらに備える、
    請求項１に記載の情報処理装置。
  12. 二次元画像から生成された三次元モデルを取得するモデル取得部、
    をさらに備え、
    前記シミュレータ部は、前記二次元画像から生成された三次元モデルを用いて物理シミュレーションを行う、
    請求項１１に記載の情報処理装置。
  13. 前記モデル取得部は、ＳＬＡＭにより生成された三次元モデルを取得する、
    請求項１２に記載の情報処理装置。
  14. 前記物理シミュレーションに係るパラメータは、三次元モデルパラメータをさらに含み、
    前記モデル取得部は、前記三次元モデルパラメータに基づいて前記三次元モデルを取得し、
    前記三次元モデルパラメータは、抽出される特徴点の数、特徴点のマッチング閾値、またはカメラパラメータ算出に用いる特徴点の範囲のうち少なくとも１つを含む、
    請求項１３に記載の情報処理装置。
  15. 前記制御部は、前記二次元画像、前記画像情報に基づいて生成される画像、または前記物理シミュレーションの実行画像のうち少なくとも１つを前記表示部に表示させる、
    請求項１２に記載の情報処理装置。
  16. 前記通信部は、前記画像情報に係る報酬を前記機械学習部に送信する、
    請求項１に記載の情報処理装置。
  17. 前記通信部は、ネットワーク構造の異なる複数のニューラルネットワークにより判定された複数の前記判定結果を受信する、
    請求項１に記載の情報処理装置。
  18. 物理シミュレーションに係るパラメータの設定に係る表示を制御する制御部と、
    前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、
    前記画像情報に基づいて機械学習を行う機械学習部と、
    を備え、
    前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、
    情報処理装置。
JP2016063379A 2016-03-28 2016-03-28 情報処理装置。 Pending JP2017182129A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016063379A JP2017182129A (ja) 2016-03-28 2016-03-28 情報処理装置。
US15/566,327 US10430707B2 (en) 2016-03-28 2016-12-27 Information processing device
EP16897113.3A EP3438892A4 (en) 2016-03-28 2016-12-27 INFORMATION PROCESSING DEVICE
PCT/JP2016/088889 WO2017168898A1 (ja) 2016-03-28 2016-12-27 情報処理装置
CN201680029428.6A CN107615310A (zh) 2016-03-28 2016-12-27 信息处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016063379A JP2017182129A (ja) 2016-03-28 2016-03-28 情報処理装置。

Publications (1)

Publication Number Publication Date
JP2017182129A true JP2017182129A (ja) 2017-10-05

Family

ID=59963932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016063379A Pending JP2017182129A (ja) 2016-03-28 2016-03-28 情報処理装置。

Country Status (5)

Country Link
US (1) US10430707B2 (ja)
EP (1) EP3438892A4 (ja)
JP (1) JP2017182129A (ja)
CN (1) CN107615310A (ja)
WO (1) WO2017168898A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885562B1 (ko) * 2017-12-18 2018-08-06 주식회사 뷰노 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
WO2019164125A1 (ko) * 2018-02-23 2019-08-29 주식회사 모비스 강화학습과 머신러닝 기법을 이용한 가속기 성능 최적화를 위한 제어 패러미터 결정 시스템
JP2019153277A (ja) * 2017-12-07 2019-09-12 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ エンドツーエンド深層ニューラルネットワークを使用する危険ランク付け
JP6724267B1 (ja) * 2018-09-03 2020-07-15 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、推論装置、学習モデルの生成方法及び推論方法
WO2020213748A1 (ja) * 2019-04-15 2020-10-22 株式会社シンクアウト 充血グレード提示装置および充血グレード提示方法
JP2021024457A (ja) * 2019-08-06 2021-02-22 株式会社Ｓｕｂａｒｕ 車両の走行制御システム
KR20210038665A (ko) * 2018-09-03 2021-04-07 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치 및 학습 완료 모델
US11967081B2 (en) 2019-01-22 2024-04-23 Mitsubishi Electric Corporation Information processing apparatus, non-transitory computer-readable storage medium, and information processing method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110050243B (zh) * 2016-12-21 2022-09-20 英特尔公司 通过使用自主机器中的中间层特征的增强神经回归进行相机重新定位
JP6950505B2 (ja) * 2017-12-08 2021-10-13 富士通株式会社 判別プログラム、判別方法および判別装置
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
CN108921893B (zh) * 2018-04-24 2022-03-25 华南理工大学 一种基于在线深度学习slam的图像云计算方法及系统
US20210309234A1 (en) * 2018-08-03 2021-10-07 Nec Corporation Information processing apparatus, information processing method, and information processing program
KR102536763B1 (ko) 2018-08-20 2023-05-26 지멘스 악티엔게젤샤프트 인공 지능을 위한 프로그래밍가능 로직 제어기-기반 모듈식 가속 모듈
CN109345614B (zh) * 2018-09-20 2023-04-07 山东师范大学 基于深度强化学习的ar增强现实大屏互动的动画仿真方法
JP7110884B2 (ja) * 2018-10-01 2022-08-02 オムロン株式会社 学習装置、制御装置、学習方法、及び学習プログラム
CN112997214B (zh) * 2018-11-13 2024-04-26 索尼公司 信息处理装置、信息处理方法和程序
US11200458B1 (en) 2020-06-15 2021-12-14 Bank Of America Corporation System for integration of a hexagonal image processing framework within a technical environment

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
CN101853399B (zh) * 2010-05-11 2013-01-09 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US9332953B2 (en) * 2012-08-31 2016-05-10 The University Of Chicago Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
US9031317B2 (en) * 2012-09-18 2015-05-12 Seiko Epson Corporation Method and apparatus for improved training of object detecting system
US9418467B2 (en) * 2012-12-21 2016-08-16 Honda Motor Co., Ltd. 3D human models applied to pedestrian pose classification
JP6664579B2 (ja) * 2014-06-20 2020-03-13 ヤフー株式会社 学習装置、学習方法及び学習プログラム
CN104268539B (zh) * 2014-10-17 2017-10-31 中国科学技术大学 一种高性能的人脸识别方法及系统
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10627470B2 (en) * 2015-12-08 2020-04-21 Siemens Healthcare Gmbh System and method for learning based magnetic resonance fingerprinting

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153277A (ja) * 2017-12-07 2019-09-12 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ エンドツーエンド深層ニューラルネットワークを使用する危険ランク付け
JP7217138B2 (ja) 2017-12-07 2023-02-02 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ エンドツーエンド深層ニューラルネットワークを使用する危険ランク付け
KR101885562B1 (ko) * 2017-12-18 2018-08-06 주식회사 뷰노 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
WO2019124836A1 (ko) * 2017-12-18 2019-06-27 주식회사 뷰노 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
WO2019164125A1 (ko) * 2018-02-23 2019-08-29 주식회사 모비스 강화학습과 머신러닝 기법을 이용한 가속기 성능 최적화를 위한 제어 패러미터 결정 시스템
KR20210036391A (ko) * 2018-09-03 2021-04-02 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
JP2020191096A (ja) * 2018-09-03 2020-11-26 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、推論装置、学習モデルの生成方法及び推論方法
KR20210038665A (ko) * 2018-09-03 2021-04-07 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치 및 학습 완료 모델
JP6724267B1 (ja) * 2018-09-03 2020-07-15 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、推論装置、学習モデルの生成方法及び推論方法
KR102513707B1 (ko) 2018-09-03 2023-03-23 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
KR102541743B1 (ko) 2018-09-03 2023-06-13 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치 및 학습 완료 모델
JP7291670B2 (ja) 2018-09-03 2023-06-15 株式会社Preferred Networks 推論方法、推論プログラム、モデル生成方法、モデル生成プログラム、推論装置及び学習装置
US11967081B2 (en) 2019-01-22 2024-04-23 Mitsubishi Electric Corporation Information processing apparatus, non-transitory computer-readable storage medium, and information processing method
WO2020213748A1 (ja) * 2019-04-15 2020-10-22 株式会社シンクアウト 充血グレード提示装置および充血グレード提示方法
JP2021024457A (ja) * 2019-08-06 2021-02-22 株式会社Ｓｕｂａｒｕ 車両の走行制御システム
US11661080B2 (en) 2019-08-06 2023-05-30 Subaru Corporation Vehicle traveling control system
JP7312054B2 (ja) 2019-08-06 2023-07-20 株式会社Subaru 車両の走行制御システム

Also Published As

Publication number Publication date
EP3438892A4 (en) 2019-11-06
US10430707B2 (en) 2019-10-01
EP3438892A1 (en) 2019-02-06
CN107615310A (zh) 2018-01-19
US20180082178A1 (en) 2018-03-22
WO2017168898A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
WO2017168898A1 (ja) 情報処理装置
CN107428004B (zh) 对象数据的自动收集和标记
WO2019113510A1 (en) Techniques for training machine learning
US12008686B2 (en) Augmented reality map curation
US20170277559A1 (en) Classifying work processes
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN115880560A (zh) 经由等渗卷积神经网络的图像处理
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
JP6052533B2 (ja) 特徴量抽出装置および特徴量抽出方法
CN117115917A (zh) 基于多模态特征融合的教师行为识别方法、设备以及介质
WO2020059564A1 (ja) 情報処理方法、プログラム、および情報処理システム
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
Sabbaghi et al. Learning of gestures by imitation using a monocular vision system on a humanoid robot
KR20210155600A (ko) 사용자 정의 제스처 모델을 이용한 가상훈련 콘텐츠의 동작 방법 및 시스템
CN116523952A (zh) 利用2d和3d逐点特征估计6d目标姿态
CN116894799A (zh) 用于域泛化的数据增强
CN113808192B (zh) 一种户型图生成方法、装置、设备及存储介质
CN114860072A (zh) 一种基于单目摄像头的手势识别交互设备
CN115428013A (zh) 信息处理装置和程序
Ansari et al. Air Pose Canvas with Hand Pose Estimation using Machine Learning
WO2021075102A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111325984B (zh) 样本数据的获取方法、装置和电子设备
CN115861596A (zh) 一种基于视觉-语言-动作联合建模的杂乱场景目标物体抓取的方法
CN117940954A (zh) 用于修复任务的引导的上下文注意力映射
CN118537507A (zh) 图像渲染方法与相关方法、装置、设备及存储介质