JP2021163042A - 学習システム、学習方法、および、検知装置 - Google Patents

Abstract

【課題】高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成する。【解決手段】生成装置２０は、目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて画像を生成する生成部２２と更新部２５とを備え、検知装置３０は、生成部２２が生成した画像と、目標種別を示す情報とを含む教師データを用いて、教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習部３１と、検知モデルを用いて評価用画像に映っているオブジェクトを検知し、オブジェクトを示す評価情報を出力する検知部３２と、評価情報と評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出部３３とを備え、更新部２５は、差異情報を用いて、更新後の生成モデルを用いて算出される新たな差異情報を小さくするように生成モデルを更新する。【選択図】図３

Description

本発明は、学習システム、学習方法、および、検知装置に関する。

従来、ベクトルモデルまたは３Ｄモデル等のデータから機械学習の訓練用画像を生成し、生成された訓練用画像を用いて機械学習を行う技術がある（特許文献１）。機械学習により構築された認識モデルは、例えば物体を検知する検知処理に利用される検知モデルである。

国際公開第２０１９／１７６２３５号

しかしながら、上記技術などにより生成される訓練用画像が、その技術に固有の特徴を有する場合、その画像の生成に係る技術と異なる技術により生成された画像に対して適切な検知処理を行うことができず、検知処理の精度が低いという問題がある。

そこで、本発明は、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成する学習システムなどを提供することを目的とする。

本発明の一態様に係る学習システムは、生成装置と検知装置とを備える学習システムであって、前記生成装置は、目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて、前記画像を生成する生成部と、前記生成モデルを更新する更新部とを備え、前記検知装置は、前記生成部が生成した前記画像と、前記目標種別を示す情報とを少なくとも含む教師データを用いて、前記教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習部と、前記学習部が構築した前記検知モデルを用いて、評価用画像に映っているオブジェクトを検知し、検知した前記オブジェクトを示す評価情報を出力する検知部と、前記検知部が出力した前記評価情報と、前記評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出部とを備え、前記更新部は、前記差異情報を用いて、更新後の前記生成モデルを用いて前記生成部が生成する新たな画像に基づいて前記算出部が算出する新たな差異情報を小さくするように、前記生成モデルを更新する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明に係る学習システムは、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

図１は、実施の形態に係る検知装置の利用シーンの例を示す説明図である。 図２は、実施の形態に係る検知装置が検知するオブジェクトの例を示す説明図である。 図３は、実施の形態に係る学習システムの構成を示すブロック図である。 図４は、実施の形態に係る生成モデルの構築に用いられる目標画像の例を示す説明図である。 図５は、実施の形態に係る提供部が提供するノイズ画像の例を示す説明図である。 図６は、実施の形態に係る生成部が生成する画像の例を示す説明図である。 図７は、実施の形態に係る学習部による検知モデルの構築に用いられる教師データの例を示す説明図である。 図８は、実施の形態に係る学習システムが実行する学習方法を示すフロー図である。 図９は、実施の形態に係る、オブジェクトを検知する検知装置の構成を示すブロック図である。

本発明の一態様に係る学習システムは、生成装置と検知装置とを備える学習システムであって、前記生成装置は、目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて、前記画像を生成する生成部と、前記生成モデルを更新する更新部とを備え、前記検知装置は、前記生成部が生成した前記画像と、前記目標種別を示す情報とを少なくとも含む教師データを用いて、前記教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習部と、前記学習部が構築した前記検知モデルを用いて、評価用画像に映っているオブジェクトを検知し、検知した前記オブジェクトを示す評価情報を出力する検知部と、前記検知部が出力した前記評価情報と、前記評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出部とを備え、前記更新部は、前記差異情報を用いて、更新後の前記生成モデルを用いて前記生成部が生成する新たな画像に基づいて前記算出部が算出する新たな差異情報を小さくするように、前記生成モデルを更新する。

上記態様によれば、更新部は、算出部が算出する差異情報を小さくするように生成モデルを更新するので、更新後に生成部が生成モデルを用いて生成する画像が、検知部によって目標種別のオブジェクトが検知される傾向が高い画像になる。そして、このように更新部が更新した後の生成モデルを用いて生成した画像を訓練用画像として用いた機械学習により、高い精度で、目標種別のオブジェクトを検知できる検知モデルを構築することができる。このように、学習システムは、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

例えば、前記生成部は、前記更新部が更新した後の前記生成モデルを用いて前記新たな画像を生成し、前記学習システムは、前記生成部が生成した前記新たな画像を前記画像として用いて、前記学習部による前記検知モデルの構築と、前記算出部による前記差異情報の算出と、前記更新部による前記生成モデルの更新とを、繰り返し実行してもよい。

上記態様によれば、更新部が生成モデルの更新を繰り返すことによって、生成部がより高い精度で目標種別のオブジェクトが映っている画像を生成することができるようになり、その結果、検知部がより高い精度で目標種別のオブジェクトを検知できる検知モデルを構築することができるようになる。よって、学習システムは、より高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

例えば、前記目標画像は、実写画像であり、前記生成モデルは、入力されたノイズ画像に基づいて、前記目標画像と同じ特徴としての実写画像の特徴を有する画像を生成するための生成モデルであってもよい。

上記態様によれば、更新部による生成モデルの更新によって、生成部が目標種別のオブジェクトが映っている実写画像を生成することができるようになり、その結果、検知部がより高い精度で実写画像において目標種別のオブジェクトを検知できる検知モデルを構築することができるようになる。よって、学習システムは、実写画像においてより高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

例えば、前記目標画像は、目標種別のオブジェクトとしての人間が映っている画像であってもよい。

上記態様によれば、更新部による生成モデルの更新によって、生成部が目標種別のオブジェクトとしての人間が映っている画像を生成することができるようになり、その結果、検知部がより高い精度で画像において人間を検知できる検知モデルを構築することができる。よって、学習システムは、より高い精度で画像における人間を検知する検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

例えば、前記目標画像は、所定の画風の画像であり、前記生成モデルは、入力された画像に基づいて、前記目標画像としての前記所定の画風の画像と同じ特徴を有する画像を生成するための生成モデルであってもよい。

上記態様によれば、更新部による生成モデルの更新によって、生成部が目標種別のオブジェクトが映っている、所定の画風の画像を生成することができるようになり、その結果、検知部がより高い精度で所定の画風の画像において目標種別のオブジェクトを検知できる検知モデルを構築することができるようになる。よって、学習システムは、実写画像においてより高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

例えば、前記生成装置は、さらに、（ａ）前記生成部が生成した画像である第一学習用画像であって、非実写画像であるとのラベルが付与された第一学習用画像と、（ｂ）実写画像であるとのラベルが付与された前記目標画像とを教師データとして学習することで構築された認識モデルを用いて、入力画像が実写画像であるか否かを示す情報を出力する認識部を備え、前記更新部は、さらに、更新後の前記生成モデルを用いて前記生成部が生成する画像である第二学習用画像が、前記認識部によって実写画像と識別されるように、前記生成モデルを更新し、入力画像が実写画像であるか否かをより適切に認識できるように、前記認識モデルを更新してもよい。

上記態様によれば、更新部は、識別モデルが実写画像であると識別するような画像を生成するように生成モデルを更新し、かつ、入力画像が実写画像であるか否かをより適切に認識できるように認識モデルを更新する。その結果、生成モデルは、実写画像であると識別される可能性が高い画像を生成するように更新される。このように、学習システムは、高い精度で実写画像において検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、本発明の一態様に係る学習方法は、目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて、前記画像を生成する生成ステップと、前記生成モデルを更新する更新ステップと、前記生成ステップで生成した前記画像と、前記目標種別を示す情報とを少なくとも含む教師データを用いて、前記教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習ステップと、前記学習ステップで構築した前記検知モデルを用いて、評価用画像に映っているオブジェクトを検知し、検知した前記オブジェクトを示す評価情報を出力する検知ステップと、前記検知ステップで出力した前記評価情報と、前記評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出ステップとを含み、前記更新ステップでは、前記差異情報を用いて、更新後の前記生成モデルを用いて前記生成ステップで生成する新たな画像に基づいて前記算出ステップで算出する新たな差異情報を小さくするように、前記生成モデルを更新する。

上記態様によれば、上記学習システムと同様の効果を奏する。

また、本発明の一態様に係る検知装置は、上記の学習部により構築された前記検知モデルを用いて、入力された入力画像に映っているオブジェクトの種別を検知する検知部を備える。

上記態様によれば、検知装置は、高い精度で検知処理を実行できる検知モデルを有する。また、上記検知モデルを有する検知装置は、検知と異なるタスク（例えば、ポーズの推定、または、画像セグメンテーション）に利用可能となる。よって、検知装置は、検知モデルを用いて、画像に対して、高い精度で検知処理を実行できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態において、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成する学習システムなどについて説明する。本実施の形態における学習システムは、実写画像に映っているオブジェクトを検知する検知装置が、その検知処理に用いる検知モデルを、機械学習によって構築するシステムである。

図１は、本実施の形態に係る検知装置４の利用シーンの例を示す説明図である。図２は、本実施の形態に係る検知装置４が検知するオブジェクトの例を示す説明図である。

図１に示されるように、検知装置４は、例えば車両２に搭載される。検知装置４は、車両２が搭載しているカメラが撮影した画像を取得し、取得した画像に映っている所定の種別のオブジェクトをコンピュータ処理によって検知する。所定の種別とは、例えば、人間、自動車、自転車およびバイクなどであり、ここでは、所定の種別が人間である場合を例として説明する。車両２に搭載されているカメラは、例えば車両２の前方を撮影する向きで設置されるが（図１参照）、これに限られず、車両２の側方、後方または上方を撮影するカメラであってもよい。

車両２が搭載しているカメラが撮影した画像の一例である画像６と、画像６に映っているオブジェクトの例とが図２に示されている。画像６には、オブジェクトとして人間６Ａ、６Ｂ、６Ｃおよび６Ｄ、ならびに、自動車６Ｅが映っている。

検知装置４は、所定の種別のオブジェクトとしての人間が画像６に映っていることを検知すると、車両２の運転者に通知したり、ネットワークを通じて他の装置または人などに通知することが想定される。この通知は、例えば、自車両に自動車または人が近接していることを通知するものであってもよいし、所定速度以上で移動する自動車が存在することを通知するものであってもよい。

なお、検知装置４は、車両２とネットワークを介して通信可能である場所に配置されていてもよい。その場合、検知装置４は、車両２が搭載しているカメラが撮影した画像をネットワークを介して取得し、取得した画像に映っている所定の種別のオブジェクトが映っていることを検知する。

検知装置４は、上記所定の種別のオブジェクトを検知する際には、機械学習によって構築された検知モデルを用いた検知処理を実行する。

一般に、画像に映っている所定の種別のオブジェクトを検知する検知モデルを構築するためには、膨大な数（例えば数千〜数百万）の訓練用画像を用いた機械学習が必要である。検知モデルの構築に必要な訓練用画像は、実際の光景を撮影した実写画像であることが想定されるが、上記のように膨大な数の実写画像を訓練用画像として用意することは難しい。

そこで、例えば、ＣＧ（コンピュータグラフィックス）技術によって訓練用画像を生成する技術がある。このような技術を利用すれば、膨大な数の訓練用画像を得ることができる。

しかしながら、上記技術などにより生成される訓練用画像が、その技術に固有の特徴を有する場合、その画像の生成に係る技術と異なる技術により生成された画像に対して適切な検知処理を行うことができず、検知処理の精度が低いという問題がある。

具体的には、ＣＧ技術により訓練用画像を生成する場合、生成された訓練用画像は、ＣＧ技術に固有の特徴を有している。例えば、ＣＧ技術により生成された訓練用画像と、実写画像とでは、物体表面の光沢または質感の表現、反射の様子または反射の有無が異なり、つまり、ＣＧ技術により生成された訓練用画像は、ＣＧ技術に固有の特徴を有しているといえる。

そのため、このような訓練用画像を用いて機械学習によって構築された検知モデルは、ＣＧ固有の特徴を学習していることがあり得る。その場合、構築された検知モデルは、ＣＧ技術によらないで生成された画像、例えば実写画像を対象とした検知処理の精度が低いという問題が生じ得る。

そこで、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成する学習システムなどを提供することが求められる。

本実施の形態に係る学習システム１は、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成する。

図３は、本実施の形態に係る学習システム１の構成を示すブロック図である。

図３に示されるように、学習システム１は、生成装置２０と、検知装置３０とを備える。生成装置２０と検知装置３０とは、互いに通信可能に接続されている。例えば、生成装置２０と検知装置３０とは、ネットワーク（不図示）を介して接続されており、ネットワークを介して情報の授受（提供および取得）を行う。

生成装置２０は、提供部２１と、生成部２２と、認識部２３と、算出部２４と、更新部２５とを備える。生成装置２０が備える各機能部は、生成装置２０が備えるプロセッサ（不図示）がメモリ（不図示）を用いて所定のプログラムを実行することで実現され得る。

生成装置２０は、適切な訓練用画像を生成できる生成モデル２２Ｍ（後述）を機械学習により構築する装置である。

提供部２１は、生成部２２が画像の生成の元画像として用いる画像を生成し、生成した画像を生成部２２に提供する機能部である。元画像の一例は、各画素をランダム値としたノイズ画像であり、この場合を例として説明するが、元画像としてどのような画像を用いてもよい。

生成部２２は、生成モデル２２Ｍを用いて画像を生成する機能部である。生成モデル２２Ｍは、目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルである。生成モデル２２Ｍは、例えば、多層構造のニューラルネットワークモデルである。

目標画像の一例は、実写画像であり、生成モデル２２Ｍは、入力されたノイズ画像に基づいて実写画像の特徴を有する画像を生成するための生成モデルであり、この場合を例として説明するが、目標画像は実写画像に限られない。

また、目標種別のオブジェクトの一例は、人間であり、目標画像の一例は、目標種別のオブジェクトとしての人間が映っている画像である。目標種別および目標画像は、上記に限られない。

生成部２２は、提供部２１が提供するノイズ画像を取得し、取得したノイズ画像に基づいて生成モデル２２Ｍを用いて画像を生成する。ここで、ノイズ画像は、生成モデル２２Ｍにより画像を生成するためのシード（種）として機能している。生成モデル２２Ｍは、生成された当初（初期段階）には、目標画像と同じ特徴を有する画像を生成することができないことが想定される。生成モデル２２Ｍを用いて生成部２２が生成する画像に基づいて、後述する更新部２５が生成モデル２２Ｍを繰り返し更新することで、生成モデル２２Ｍは、目標画像と同じ特徴を有する画像を生成することができるようになる。

認識部２３は、認識モデル２３Ｍを用いて、入力画像が実写画像であるか否かを示す情報（認識結果情報ともいう）を出力する機能部である。認識モデル２３Ｍは、（ａ）生成部２２が生成した画像（第一学習用画像に相当）であって、非実写画像であるとのラベルが付与された第一学習用画像と、（ｂ）実写画像であるとのラベルが付与された目標画像とを教師データとして、機械学習により構築された認識モデルである。認識部２３は、第一学習用画像が実写画像であるか否かを示す認識結果情報を算出部２４に提供する。認識モデル２３Ｍは、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルである。

ここで、実写画像であるとのラベルを１と表現し、非実写画像であるとのラベルを０と表現する。また、認識部２３が提供する認識結果情報は、例えば、実写画像である場合に１であり、非実写画像である場合に０である情報である。なお、認識結果情報は、実写画像か非実写画像かを確率的に示す情報であってもよく、その場合、０から１までの範囲の値をとる。目標画像は、生成装置２０が記憶しているものであってもよいし、生成装置２０の外部の装置から取得したものであってもよい。目標画像の数は、例えば数千〜数百万程度である。

算出部２４は、認識部２３が出力した、第一学習用画像が実写画像であるか否かを示す認識結果情報を取得し、取得した認識結果情報と、実写画像であることを示す情報（つまり１）との差異を算出する機能部である。例えば、認識部２３が、実写画像か非実写画像かを確率的に示す情報として０．７を出力した場合、０．３（＝１−０．７）に相当する情報を、上記差異として算出する。

更新部２５は、生成モデル２２Ｍおよび認識モデル２３Ｍを更新する機能部である。更新部２５による生成モデル２２Ｍおよび認識モデル２３Ｍの更新については、後で詳しく説明する。

次に、検知装置３０について説明する。

検知装置３０は、学習部３１と、検知部３２と、算出部３３とを備える。検知装置３０が備える各機能部は、検知装置３０が備えるプロセッサ（不図示）がメモリ（不図示）を用いて所定のプログラムを実行することで実現され得る。

学習部３１は、画像に映っているオブジェクトの種別を学習することで検知モデル３２Ｍを構築する機能部である。学習部３１は、生成部２２が生成した画像と、その画像の目標種別を示す情報とを少なくとも含む教師データを用いて、その教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデル３２Ｍを構築する。教師データには、上記の他にも、検知モデル３２Ｍで検知することになる他の種別のオブジェクト（例えば、自動車、自転車およびバイクなど）が含まれてよい。

検知部３２は、学習部３１が構築した検知モデル３２Ｍを用いて、評価用画像に映っているオブジェクトを検知し、検知したオブジェクトを示す情報を出力する機能部である。検知部３２は、例えば、所定の複数のオブジェクトそれぞれが評価用画像に映っている確率を上記情報として出力する。所定の複数のオブジェクトの具体例は、人間、自動車、自転車、バイク、および、その他とすることができる。この場合、検知部３２は、例えば、評価用画像に映っているオブジェクトの種別を示す情報として、「人間：８０％、自動車：５％、自転車：５％、バイク：５％、その他：５％」という情報を出力する。評価用画像の数は、例えば、数千〜数百万である。検知部３２による検知モデル３２Ｍを用いた物体検知処理には、物体検知アルゴリズムであるＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）またはＭａｓｋ−ＲＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を利用できる。

算出部３３は、検知部３２が出力した評価情報と、評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する機能部である。評価用画像に映っているオブジェクトを示す情報が上記「人間：８０％、自動車：５％、自転車：５％、バイク：５％、その他：５％」であり、かつ、評価用画像に映っているオブジェクトが人間である、つまり正解情報が「人間：１００％」である場合、算出部３３は、「人間：２０％、自動車：−５％、自転車：−５％、バイク：−５％、その他：−５％」に相当する情報を、上記差異として算出する。算出部３３は、算出した差異情報を更新部２５に提供する。

生成装置２０の更新部２５による生成モデル２２Ｍおよび認識モデル２３Ｍの更新について詳しく説明する。

更新部２５は、生成モデル２２Ｍを更新するときに、（１）生成部２２が生成した画像が認識部２３により実写画像と認識されるように生成モデル２２Ｍを更新し、かつ、（２）目標種別のオブジェクトが検知部３２により検知されるように生成モデル２２Ｍを更新する。更新部２５は、認識モデル２３Ｍを更新するときに、（３）入力画像が実写画像であるか、または、生成部２２により生成された画像であるかをより適切に認識できるように、認識モデル２３Ｍを更新する。

上記（１）のように生成モデル２２Ｍを更新する際に、更新部２５は、第一学習用画像が実写画像であるか否かを示す情報と、実写画像であることを示す情報（つまり１）とが一致するときに値が最小となる損失関数を用いて、算出部２４が算出した差異に基づいて損失関数の値を小さくするように生成モデル２２Ｍの係数（重み）を調整することで、生成モデル２２Ｍを更新する。損失関数を用いた係数の調整には、例えば、Ｓｏｆｔｍａｘ−Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ誤差関数を用いる方法を利用できる。

このようにすることで、生成モデル２２Ｍは、更新後の生成モデル２２Ｍを用いて生成部２２が生成する画像（第二学習用画像に相当）が、認識部２３によって実写画像と認識されるように更新される。具体的には、認識部２３が出力する認識結果情報が、入力画像が実写画像であることを示す情報（つまり１）に近づくように、つまり、上記差異が０に近づくように更新される。

そして、このような更新処理が複数回繰り返し行われることで、生成モデル２２Ｍは、実写画像と識別される画像を生成できるモデルになる。生成モデル２２Ｍの更新の繰り返しの回数は、例えば１００万回程度である。これは、学習用画像の個数を１０万とし、バッチサイズを１０とし、エポック数を１００とした場合に、全体の更新回数が１０万÷１０×１００で１００万と算出されることによる。なお、バッチサイズおよびエポック数は機械学習において一般的なパラメータである。バッチサイズとは、学習データセットをいくつかのサブセットに分けた際の分割サイズを意味する。エポック数とは、バッチサイズをＮとしたときにＮ回学習を繰り返した時の単位を意味する。

また、上記（２）のように生成モデル２２Ｍを更新する際に、更新部２５は、正解情報と評価情報とが一致するときに値が最小となる損失関数を用いて、算出部３３が算出した差異情報に基づいて損失関数の値を小さくするように生成モデル２２Ｍの係数を調整することで、生成モデル２２Ｍを更新する。

また、上記（３）のように認識モデル２３Ｍを更新する際に、更新部２５は、実写画像が入力された場合に１との差異が最小となる損失関数を用いて、認識部２３が出力する認識結果情報と１との差異を小さくするように、かつ、生成部２２が生成した画像が入力された場合に０との差異が最小となる損失関数を用いて、認識部２３が出力する認識結果情報と０との差異を小さくするように、認識モデル２３Ｍを更新する。

なお、上記（１）および（３）の更新は、公知のＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）技術における方法と同様である。

このようにすることで、生成モデル２２Ｍは、更新後の生成モデル２２Ｍを用いて生成部２２が生成する画像（第二学習用画像に相当）に、検知部３２によって所定の種別のオブジェクトが検出されるように更新される。具体的には、検知部３２が出力する情報が、人間の種別のオブジェクトを検出したことを示す情報「人間：１００％」に近づくように、つまり、人間のオブジェクトを検出する確率を上昇させ、かつ、人間以外のオブジェクトを検出する確率を低下させるように、更新される。

そして、このような更新処理が複数回繰り返し行われることで、生成モデル２２Ｍは、検知部３２によって所定の種別のオブジェクトが検出される画像を生成できるモデルになる。生成モデル２２Ｍの更新の繰り返しの回数は、上記と同様である。

以降において、学習システム１が学習に用いる画像について詳しく説明する。

図４は、本実施の形態に係る生成モデル２２Ｍの構築に用いられる目標画像の例を示す説明図である。図４の（ａ）および（ｂ）に示される目標画像は、それぞれ、目標種別のオブジェクトとしての人間が映っている実写画像である。

例えば、図４の（ａ）には、紙面上の奥を向いて歩いている人間が映っている実写画像が示されている。また、図４の（ｂ）には、紙面上の左を向いて歩いている人間が映っている実写画像が示されている。このように、目標画像には、いろいろな方向を向いて歩いている人間が映っている実写画像が含まれる。また、上記人間の体型、または、当該画像における寸法もさまざまである。

図４の（ａ）および（ｂ）に示される目標画像は、認識部２３の認識モデル２３Ｍの構築のために教師データとして利用される。なお、教師データとして利用される目標画像のそれぞれは、異なる特徴（姿勢、服装および体型など）を有しているほうが適切な機械学習がなされ得る。

図５は、本実施の形態に係る提供部２１が提供するノイズ画像の例を示す説明図である。図５の（ａ）および（ｂ）に示されるノイズ画像は、それぞれ、各画素にランダム値が設定されることで生成されたものである。なお、上記ランダム値は、真乱数または疑似乱数から得られるものでもよいし、多少の規則性を有する値であってもよい。

ノイズ画像は、提供部２１によって生成され、生成部２２に提供される。生成部２２は、提供されたノイズ画像に基づいて生成モデル２２Ｍを用いて画像を生成するので、異なるノイズ画像が生成部２２に入力されると異なる画像を生成することが想定される。ただし、異なるノイズ画像が生成部２２に入力された場合に、必ず異なる画像を生成することまでは要しない。

図６は、本実施の形態に係る生成部２２が生成する画像の例を示す説明図である。図６のに示される画像は、生成部２２がノイズ画像に基づいて生成モデル２２Ｍを用いて生成した画像の例である。なお、生成部２２が生成する画像を、生成画像ともいう。

例えば、図６の（ａ）および（ｂ）に示される画像は、それぞれ、図５の（ａ）および（ｂ）に示されるノイズ画像それぞれが入力された場合に、入力されたノイズ画像に基づいて生成部２２が生成モデル２２Ｍを用いて生成した画像の例である。生成部２２が生成した画像は、認識部２３と学習部３１とに提供される。

図７は、本実施の形態に係る学習部３１による検知モデル３２Ｍの構築に用いられる教師データの例を示す説明図である。

図７に示されるように、教師データには、検知部３２により検知されることになる複数の所定の種別のオブジェクトが映っている画像と、その種別を示す情報であるラベルとが含まれる。

具体的には、図７の（ａ）は、「人間」の種別のオブジェクトが映っている画像を示している。図７の（ａ）の画像には、「人間」のラベルが付されている。図７の（ａ）に示される画像は、生成部２２が生成した画像である。

図７の（ｂ）は、「自動車」の種別のオブジェクトが映っている画像を示している。図７の（ｂ）の画像には、「自動車」のラベルが付されている。

図７の（ｃ）は、「自転車」の種別のオブジェクトが映っている画像を示している。図７の（ｃ）の画像には、「自転車」のラベルが付されている。

図７の（ｄ）は、「バイク」の種別のオブジェクトが映っている画像を示している。図７の（ｄ）の画像には、「バイク」のラベルが付されている。

図７の（ｂ）、（ｃ）および（ｄ）に示される画像およびラベルは、学習部３１が予め記憶しているものであってもよいし、学習に際して検知装置３０の外部の装置から取得して記憶しているものであってもよい。

なお、複数の種別それぞれについて、教師データとして数千〜数百万の画像およびラベルが用いられ得る。

学習部３１は、図７に示される画像及びラベルを少なくとも含む教師データを用いて、画像に映っているオブジェクトの種別を学習することで、検知モデル３２Ｍを構築する。

以上のように構成された学習システム１の処理について以降で説明する。

図８は、本実施の形態に係る学習システム１が実行する学習方法を示すフロー図である。

ステップＳ１０１において、提供部２１は、ノイズ画像を生成し、生成したノイズ画像を生成部２２に提供する。生成されるノイズ画像の個数は、例えば数千〜数百万である。

ステップＳ１０２において、生成部２２は、ステップＳ１０１で提供部２１から提供されたノイズ画像に基づいて生成モデル２２Ｍを用いて画像を生成する。生成部２２は、提供されたノイズ画像それぞれに基づいて画像を生成するので、提供されたノイズ画像と同数の画像が生成される。生成部２２は、生成した画像を、認識部２３と検知装置３０の学習部３１とに提供する。

ステップＳ１０３において、認識部２３は、ステップＳ１０２で生成部２２が生成した画像について、認識モデル２３Ｍを用いて、実写画像であるか否かを認識する認識処理を行う。

ステップＳ１０４において、算出部２４は、ステップＳ１０３で行った認識処理の結果として得られる、ステップＳ１０２で生成部２２が生成した画像の評価情報と、目標種別を示す情報との差異を示す差異情報（第一差異情報ともいう）を算出する。算出部２４は、算出した第一差異情報を更新部２５に提供する。

ここから、検知装置３０の処理の説明に移る。

ステップＳ１２１において、学習部３１は、ステップＳ１０２で生成部２２が生成した画像を取得する。

ステップＳ１２２において、学習部３１は、ステップＳ１２１で取得した画像を少なくとも含む教師データを用いて機械学習を行い、検知モデル３２Ｍを構築する。学習部３１は、構築した検知モデル３２Ｍを検知部３２に提供する。

ステップＳ１２３において、検知部３２は、ステップＳ１２２で構築された検知モデル３２Ｍを用いて、評価用画像に対して検知処理を実行し、評価情報を取得する。

ステップＳ１２４において、算出部３３は、ステップＳ１２３で取得した評価情報と、正解情報との差異を示す差異情報（第二差異情報ともいう）を算出する。

ステップＳ１２５において、算出部３３は、ステップＳ１２４で算出した第二差異情報を、生成装置２０の更新部２５に送信することで提供する。

ここから、生成装置２０の処理の説明に移る。

ステップＳ１０５において、更新部２５は、ステップＳ１２５で検知装置３０の算出部３３が送信した第二差異情報を取得する。

ステップＳ１０６において、更新部２５は、ステップＳ１０４で算出した第一差異情報と、ステップＳ１０５で取得した第二差異情報とに基づいて、損失関数を用いて、生成モデル２２Ｍの係数を算出する。更新部２５が算出する生成モデル２２Ｍの係数は、当該係数により生成モデル２２Ｍを更新した場合に、その更新後に生成部２２が生成する新たな画像に基づいて算出部２４が算出する差異つまり第一差異情報を小さくし、また、その更新後に生成部２２が生成する新たな画像に基づいて算出部３３が算出する差異つまり第二差異情報を小さくする係数である。

ステップＳ１０７において、更新部２５は、ステップＳ１０６で算出した係数を用いて生成モデル２２Ｍを更新する。

ステップＳ１０８において、算出部２４は、目標画像を認識処理した結果と１との差異、および、生成画像を認識処理した結果と０との差異を算出する。

ステップＳ１０９において、更新部２５は、ステップＳ１０８で算出した差異に基づいて、損失関数を用いて、認識モデル２３Ｍの係数を算出する。更新部２５が算出する認識モデル２３Ｍの係数は、当該係数により認識モデル２３Ｍを更新した場合に、その更新後に認識部２３が、入力画像が実写画像であるか、または、生成部２２により生成された画像であるかをより適切に認識できるようにする係数である。

ステップＳ１１０において、更新部２５は、ステップＳ１０９で算出した係数を用いて認識モデル２３Ｍを更新する。

ステップＳ１１１において、更新部２５は、所定の終了条件を満たすか否かを判定する。所定の終了条件を満たすと判定した場合（ステップＳ１０８でＹｅｓ）には、図８に示される一連の処理を終了し、そうでない場合（ステップＳ１０８でＮｏ）には、ステップＳ１０１に戻って繰り返し処理を実行する。所定の終了条件とは、例えば、更新処理（つまりステップＳ１０７）を所定回数実行したこと、第一差異情報および第二差異情報の一方または両方が、所定以下の差異を示すようになったこと、などである。

図８に示される一連の処理により、学習システム１は、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

以降において、学習システム１により生成された検知モデル３２Ｍを用いて入力画像に映っているオブジェクトを検知する検知装置４について説明する。

図９は、本実施の形態に係る、画像に映っているオブジェクトを検知する検知装置４の構成を示すブロック図である。検知装置４は、入力される入力画像に映っているオブジェクトについて検知処理を行い、入力情報に映っているオブジェクトを示す結果情報を出力する。

図９に示されるように、検知装置４は、検知部３２を備える。検知部３２は、学習システム１による機械学習により構築された検知モデル３２Ｍを有する。

検知部３２は、検知装置４に入力された入力画像に対して、検知モデル３２Ｍを用いて検知処理を実行する。そして、検知処理の結果として出力される結果情報を出力する。結果情報は、例えば、入力画像に複数の所定の種別のオブジェクトそれぞれが映っている確率を示す情報であり、例えば「人間：８０％、自動車：５％、自転車：５％、バイク：５％、その他：５％」のような情報である。

検知モデル３２Ｍが、学習システム１により、高い精度で検知処理を実行できる検知モデルであるので、検知装置４は、入力画像に対して、高い精度で検知処理を実行できる。

また、検知装置４は、検知と異なるタスク（例えば、ポーズの推定、または、画像セグメンテーション）に利用されることも可能である。

（実施の形態の変形例）
本実施の形態において、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成する学習システムなどについて、上記実施の形態とは異なる構成を説明する。本変形例における学習システムは、特定の画風を有する画像を生成する。

本変形例に係る学習システムの構成は、上記実施の形態の学習システム１と同様であるが、生成装置２０の提供部２１が提供する画像と、認識部２３が用いる目標画像とが、上記実施の形態における場合と異なる。本変形例について、上記実施の形態の学習システム１と異なる部分について説明する。

本変形例に係る学習システムの提供部２１は、被写体が映っている画像を提供する。ここで、被写体とは、特定のオブジェクトであってもよいし、画像に表現されている風景であってもよい。また、画像は、実写画像であってもよいし、ＣＧ技術によって生成された画像であってもよい。

本変形例に係る学習システムにおける目標画像は、所定の画風を有する画像である。ここで、画風とは、画像の作風を意味し、より具体的には、画像に表現される特徴を意味している。例えば、画風とは、色の特徴、筆使いの特徴、画材の特徴、表現に用いた道具の特徴などを含む。画風とは、過去の作家の画風（ゴッホ風、モネ風など）であってもよいし、適当な画像を用いてもよい。このような目標画像を用いると、生成モデル２２Ｍは、入力された画像に基づいて、目標画像としての所定の画風の画像と同じ特徴を有する画像を生成するための生成モデルになる。

このような提供部２１と目標画像とを用いると、学習システム１は、入力画像に基づいて、目標画像の画風と同じ画風の画像を生成することで、入力画像を目標画像の画風に変換することができ、また、特定種別のオブジェクトが映っている画像に変換することができる。

以上のように、上記実施の形態および上記変形例に係る学習システムによれば、更新部は、算出部が算出する差異情報を小さくするように生成モデルを更新するので、更新後に生成部が生成モデルを用いて生成する画像が、検知部によって目標種別のオブジェクトが検知される傾向が高い画像になる。そして、このように更新部が更新した後の生成モデルを用いて生成した画像を訓練用画像として用いた機械学習により、高い精度で、目標種別のオブジェクトを検知できる検知モデルを構築することができる。このように、学習システムは、高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、更新部が生成モデルの更新を繰り返すことによって、生成部がより高い精度で目標種別のオブジェクトが映っている画像を生成することができるようになり、その結果、検知部がより高い精度で目標種別のオブジェクトを検知できる検知モデルを構築することができるようになる。よって、学習システムは、より高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、更新部による生成モデルの更新によって、生成部が目標種別のオブジェクトが映っている実写画像を生成することができるようになり、その結果、検知部がより高い精度で実写画像において目標種別のオブジェクトを検知できる検知モデルを構築することができるようになる。よって、学習システムは、実写画像においてより高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、更新部による生成モデルの更新によって、生成部が目標種別のオブジェクトとしての人間が映っている画像を生成することができるようになり、その結果、検知部がより高い精度で画像において人間を検知できる検知モデルを構築することができる。よって、学習システムは、より高い精度で画像における人間を検知する検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、更新部による生成モデルの更新によって、生成部が目標種別のオブジェクトが映っている、所定の画風の画像を生成することができるようになり、その結果、検知部がより高い精度で所定の画風の画像において目標種別のオブジェクトを検知できる検知モデルを構築することができるようになる。よって、学習システムは、実写画像においてより高い精度で検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、更新部は、識別モデルが実写画像であると識別するような画像を生成するように生成モデルを更新し、かつ、入力画像が実写画像であるか否かをより適切に認識できるように認識モデルを更新する。その結果、生成モデルは、実写画像であると識別される可能性が高い画像を生成するように更新される。このように、学習システムは、高い精度で実写画像において検知処理を実行できる検知モデルを構築できる訓練用画像を生成することができる。

また、検知装置は、高い精度で検知処理を実行できる検知モデルを有する。そして、上記検知モデルを有する検知装置は、検知と異なるタスク（例えば、ポーズの推定、または、画像セグメンテーション）に利用可能となる。よって、検知装置は、検知モデルを用いて、画像に対して、高い精度で検知処理を実行できる。

なお、上記実施の形態および変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および各変形例の情報処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて、前記画像を生成する生成ステップと、前記生成モデルを更新する更新ステップと、前記生成ステップで生成した前記画像と、前記目標種別を示す情報とを少なくとも含む教師データを用いて、前記教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習ステップと、前記学習ステップで構築した前記検知モデルを用いて、評価用画像に映っているオブジェクトを検知し、検知した前記オブジェクトを示す評価情報を出力する検知ステップと、前記検知ステップで出力した前記評価情報と、前記評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出ステップとを含み、前記更新ステップでは、前記差異情報を用いて、更新後の前記生成モデルを用いて前記生成ステップで生成する新たな画像に基づいて前記算出ステップで算出する新たな差異情報を小さくするように、前記生成モデルを更新する学習方法を実行させるプログラムである。

以上、一つまたは複数の態様に係る学習システムなどについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、検知装置が物体検知処理に用いる検知モデルを構築する学習システムに利用可能である。

１ 学習システム
２ 車両
４、３０ 検知装置
６ 画像
６Ａ、６Ｂ、６Ｃ、６Ｄ 人間
６Ｅ 自動車
２０ 生成装置
２１ 提供部
２２ 生成部
２２Ｍ 生成モデル
２３ 認識部
２３Ｍ 認識モデル
２４、３３ 算出部
２５ 更新部
３１ 学習部
３２ 検知部
３２Ｍ 検知モデル

Claims (8)

1. 生成装置と検知装置とを備える学習システムであって、
   前記生成装置は、
   目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて、前記画像を生成する生成部と、
   前記生成モデルを更新する更新部とを備え、
   前記検知装置は、
   前記生成部が生成した前記画像と、前記目標種別を示す情報とを少なくとも含む教師データを用いて、前記教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習部と、
   前記学習部が構築した前記検知モデルを用いて、評価用画像に映っているオブジェクトを検知し、検知した前記オブジェクトを示す評価情報を出力する検知部と、
   前記検知部が出力した前記評価情報と、前記評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出部とを備え、
   前記更新部は、
   前記差異情報を用いて、更新後の前記生成モデルを用いて前記生成部が生成する新たな画像に基づいて前記算出部が算出する新たな差異情報を小さくするように、前記生成モデルを更新する
   学習システム。
2. 前記生成部は、
   前記更新部が更新した後の前記生成モデルを用いて前記新たな画像を生成し、
   前記学習システムは、
   前記生成部が生成した前記新たな画像を前記画像として用いて、前記学習部による前記検知モデルの構築と、前記算出部による前記差異情報の算出と、前記更新部による前記生成モデルの更新とを、繰り返し実行する
   請求項１に記載の学習システム。
3. 前記目標画像は、実写画像であり、
   前記生成モデルは、入力されたノイズ画像に基づいて、前記目標画像と同じ特徴としての実写画像の特徴を有する画像を生成するための生成モデルである
   請求項１または２に記載の学習システム。
4. 前記目標画像は、目標種別のオブジェクトとしての人間が映っている画像である
   請求項１〜３のいずれか１項に記載の学習システム。
5. 前記目標画像は、所定の画風の画像であり、
   前記生成モデルは、入力された画像に基づいて、前記目標画像としての前記所定の画風の画像と同じ特徴を有する画像を生成するための生成モデルである
   請求項１または２に記載の学習システム。
6. 前記生成装置は、さらに、
   （ａ）前記生成部が生成した画像である第一学習用画像であって、非実写画像であるとのラベルが付与された第一学習用画像と、（ｂ）実写画像であるとのラベルが付与された前記目標画像とを教師データとして学習することで構築された認識モデルを用いて、入力画像が実写画像であるか否かを示す情報を出力する認識部を備え、
   前記更新部は、さらに、
   更新後の前記生成モデルを用いて前記生成部が生成する画像である第二学習用画像が、前記認識部によって実写画像と識別されるように、前記生成モデルを更新し、
   入力画像が実写画像であるか否かをより適切に認識できるように、前記認識モデルを更新する
   請求項１〜５のいずれか１項に記載の学習システム。
7. 目標種別のオブジェクトが映っている目標画像と同じ特徴を有する画像を生成するための生成モデルを用いて、前記画像を生成する生成ステップと、
   前記生成モデルを更新する更新ステップと、
   前記生成ステップで生成した前記画像と、前記目標種別を示す情報とを少なくとも含む教師データを用いて、前記教師データに含まれている画像に映っているオブジェクトの種別を学習することで検知モデルを構築する学習ステップと、
   前記学習ステップで構築した前記検知モデルを用いて、評価用画像に映っているオブジェクトを検知し、検知した前記オブジェクトを示す評価情報を出力する検知ステップと、
   前記検知ステップで出力した前記評価情報と、前記評価用画像に映っているオブジェクトを予め示す正解情報との差異を示す差異情報を算出する算出ステップとを含み、
   前記更新ステップでは、
   前記差異情報を用いて、更新後の前記生成モデルを用いて前記生成ステップで生成する新たな画像に基づいて前記算出ステップで算出する新たな差異情報を小さくするように、前記生成モデルを更新する
   学習方法。
8. 請求項１〜６のいずれか１項に記載の学習部により構築された前記検知モデルを用いて、入力された入力画像に映っているオブジェクトの種別を検知する検知部を備える
   検知装置。

Images