JP2020140446A

JP2020140446A - 制御装置、移動体、および学習方法

Info

Publication number: JP2020140446A
Application number: JP2019035577A
Authority: JP
Inventors: 直樹長坂; Naoki Nagasaka
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2020-09-03
Anticipated expiration: 2039-02-28
Also published as: JP7006635B2

Abstract

【課題】取得された画像に基づいて所定の制御を実行する技術において、環境の変化に伴って取得された画像が変化しても、所定の制御を精度よく実行させる。【解決手段】制御装置は、異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化する画像処理部と、画像処理部により正規化された画像を用いて、正規化された画像と所定の制御との関連付けを学習する制御学習部と、を備え、画像処理部は、所定の制御に関連付けられていない複数の画像を用いて、違いを正規化するための変換関数を学習し、制御学習部は、任意の環境下で所定の制御に関連付けて取得された教示画像と、正規化された画像とを用いて、関連付けを学習する。【選択図】図１

Description

本発明は、制御装置、移動体、および学習方法に関する。

工場内などを自律走行する移動体が知られている（例えば、特許文献１参照）。特許文献１に開示された移動体は、工場内の照明がオンである状態とオフである状態との異なる光環境条件のもとでそれぞれ教示走行を行ない教示画像群を取得して、移動体の進行方向を制御する。移動体は、自律走行時に、教示走行の際に取得された画像に基づいて、工場内の照明がオンと、オフとの場合を区別して走行することで、走行経路の光環境が変化しても精度よく教示された走行経路を走行できる。また、特許文献２に開示された車両検出方法は、センサにより取得されたＲＧＢ画像を、ＬＡＢ色空間に変換することにより、取得された画像全体の明るさが不十分でも車両を検出する。

特開２０１０−１５７２０１号公報米国特許出願公開第２０１８／２１１１２１号明細書

しかしながら、特に屋外環境では、撮像された画像における物の見え方は、照明条件や、天候、季節などによって変化する。このため、特許文献１に開示された方法で全ての条件下における教示画像を網羅的に取得するには、莫大なコストと時間が掛かるという課題があった。また、特許文献２に開示された検出方法は、ＬＡＢ色空間に変換することにより画像全体の明るさに対して対応できるものの、屋外において画像内の一部に発生する遮蔽物の影、および、季節の変化による見え方の違い等については、対応できないという課題があった。そのため、天候、日照条件、および季節などの環境に依存する見え方の違いにかかわらず、精度よく教示された経路を自律走行する車両を、コストを抑制した上で実現したいという課題があった。また、このような課題は、自律走行する車両の分野にかかわらず、環境の変化に伴って取得された画像が変化する画像処理の学習技術全般に共通する課題であった。

本発明は、上述した課題を解決するためになされたものであり、取得された画像に基づいて所定の制御を実行する技術において、環境の変化に伴って取得された画像が変化しても、所定の制御を精度よく実行させることを目的とする。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現できる。

（１）本発明の一形態によれば、制御装置が提供される。この制御装置は、異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化する画像処理部と、前記画像処理部により正規化された画像を用いて、前記正規化された画像と所定の制御との関連付けを学習する制御学習部と、を備え、前記画像処理部は、前記所定の制御に関連付けられていない前記複数の画像を用いて、前記違いを正規化するための変換関数を学習し、前記制御学習部は、任意の環境下で前記所定の制御に関連付けて取得された教示画像と、前記正規化された画像とを用いて、前記関連付けを学習する。

この構成によれば、所定の制御を実行するための入力である複数の画像を処理する画像処理部と、入力としての教示画像と所定の制御との関連付けを学習する制御学習部と、が分けられている。画像処理部は、所定の制御（例えば、交差点における左折指令）に関連付けられていない複数の画像を、環境（例えば、天候の違い）に依存しない画像に正規化する。さらに、画像処理部は、複数の画像を正規化すると共に、正規化のための変換関数を学習する。制御学習部は、画像処理部によって見え方の違いが取り除かれている正規化された画像と、取得された教示画像ごとに関連付けられた所定の制御との関連付けを学習する。すなわち、制御部学習は、環境の変化によって異なる複数の画像ではなく、正規化された画像と所定の制御との関連付けを行えばよい。そのため、制御学習部は、見え方の違いに影響を受けずに同じ所定の制御を出力するため、精度の高い所定の制御を実行できる。また、異なる環境に応じた複数の画像ではなく、正規化された画像に所定の制御が関連付けられるため、画像に対するラベル付けの手間が軽減され、開発コストを抑制できる。

（２）上記態様の制御装置において、前記画像処理部は、前記複数の画像に対して畳み込みを行った特徴マップを出力し、前記制御学習部は、前記正規化された画像に代えて前記特徴マップと、前記所定の制御との関連付けを学習してもよい。
この構成によれば、画像処理部は、場所や所定の条件ごとに正規化した画像を出力せずに、複数の入力画像を畳み込んだ特徴マップを出力する。制御学習部は、特徴マップと、任意の環境で取得された所定の制御とを関連付ける。特徴マップＦＭは、逆畳み込みによって正規化された画像を取得するために必要な情報を含んでいる。これにより、画像処理部は、特徴マップに逆畳み込みを行う処理を省略した上で、実質的に、正規化された画像と所定の制御とを関連付けられる。そのため、複数の画像の取得から関連付けの学習までの処理を高速化できる。

（３）上記態様の制御装置において、前記所定の制御は、自律走行車両の制御であってもよい。
本態様の制御装置は、自律走行車両の制御に用いられる。車両が走行する環境は、天候、日照条件、および季節の変化などによって、同じ撮影範囲であっても見え方が異なる。この構成によれば、制御学習部から出力された所定の制御に基づいて、自律走行車両を制御する。これにより、制御装置は、環境の変化に影響されずに、同じ場所で、同じ制御を出力できる。

（４）上記態様の制御装置において、前記制御学習部は、前記複数の画像を取得する画像取得部の位置情報を用いて、前記正規化された画像と、前記自律走行車両の経路情報を用いた前記所定の制御との関連付けを学習してもよい。
異なる複数の環境で取得される画像は、車両において画像を取得する画像取得部の位置によって変化する。また、例えば、操舵角に基づく所定の制御は、車両が進行する経路情報によって変化する。この構成によれば、画像取得部により取得される画像の範囲が特定され、車両の経路情報を用いた所定の制御が学習されるため、制御学習部は、車両に対してより適した自律走行支援を行う所定の制御を出力できる。

（５）上記態様の制御装置において、さらに、画像を表示する表示部を備え、前記制御学習部は、前記正規化された画像と、前記所定の制御との関連付けの出力結果を前記表示部に表示させてもよい。
この構成によれば、表示部に表示された出力結果を確認することにより、画像の正規化および所定の制御の出力が、適切に行われているかを確認できる。

（６）上記態様の制御装置において、前記異なる複数の環境は、天候と、日照条件と、季節との内の少なくとも１つが異なる環境であってもよい。
この構成によれば、画像処理部は、天候と、日照条件と、季節との内の少なくとも１つについて、画像における見え方の違いを正規化する。これにより、環境の違いによって生じる制御の相違を抑制できる。

（７）上記態様の制御装置において、前記画像処理部は、前記正規化された画像として、天候が曇りの環境で取得された画像を用いてもよい。
この構成によれば、雨が降っていて画像が不明確な場合や、晴天時の影の有無により明確な画像を取得できない場合と比較して、画像全体の明るさが均一の画像を得ることができる。これにより、制御学習部は、異なる複数の環境で取得された画像を、正規化された明確な画像に変換できる。

（８）本発明の他の一態様によれば、移動体が提供される。この移動体は、上記記載の制御装置と、前記移動体の前方画像を少なくとも取得する画像取得部と、前記制御装置を用いて、前記移動体の走行を制御するための制御指令を出力する制御指令部と、を備え、前記制御指令部は、前記画像取得部により取得された前記前方画像を、前記制御装置の前記画像処理部によって正規化し、前記正規化された画像と、前記制御装置の前記制御学習部とを用いて、前記正規化された画像に対応する前記制御指令を求める。
この構成によれば、画像取得部により取得された移動体の前方画像を、制御装置の入力画像とすることにより、制御指令部は、制御学習部を用いて、前方画像が正規化された画像に対応する制御指令を求めることができる。これにより、異なる環境において見え方の違いを排除した精度の高い移動体の制御を実行できる。

（９）本発明の他の一態様によれば、学習方法が提供される。この学習方法は、異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化し、かつ、正規化された複数の画像を用いて、前記違いを正規化するための変換関数を学習する画像処理工程と、任意の環境で取得された教示画像に関連付けられた前記所定の制御と、前記教示画像が正規化された画像と、を用いて、正規化された画像と前記所定の制御との関連付けを学習する制御学習工程と、を備える。
この構成によれば、画像処理工程では、複数の画像における見え方の違いが正規化され、かつ、正規化された複数の画像から正規化のための変換関数が学習される。制御学習工程では、環境の変化によって異なる複数の画像ではなく、正規化された画像と、教示画像に関連付けられた所定の制御との関連付けが行われる。環境の違いによる見え方が取り除かれた状態で、同じ所定の制御が正規化された画像に関連付けられるため、見え方の違いを原因とする誤った制御が出力されずに済む。また、異なる環境に応じた複数の画像ではなく、正規化された画像に所定の制御が関連付けられるため、画像に対するラベル付けの手間が軽減され、開発コストを抑制できる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、制御装置、画像処理装置、およびこれらの装置を備える車両および各種装置、および装置の学習方法、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

本発明の一実施形態としての制御装置を備える車両の概略図である。第１実施形態の制御学習部が実行する学習の説明図である。第１実施形態における学習方法のフローチャートである。第１実施形態の制御装置による処理の効果を示す図である。比較例の制御装置による処理の効果を示す図である。第２実施形態における制御装置を備える車両の概略図である。特徴マップの作成についての説明図である。第２実施形態の制御学習部が実行する学習の説明図である。特徴マップについての畳み込み及び逆畳み込みの説明図である。

＜第１実施形態＞
図１は、本発明の一実施形態としての制御装置１００を備える車両１の概略図である。車両（移動体）１は、運転手による手動運転と、車両１に搭載されたコンピュータによる自動運転と、を実行できる自動車である。図１に示されるように、車両１は、車両１の前方の画像を取得する２つのカメラ（画像取得部）２，３と、各種画像を表示するモニタ５（表示部）と、運転手などからの入力を受け付ける操作部４と、カメラ２，３により取得された取得画像および操作部４が受け付けた入力によって各種制御を実行する制御装置１００と、を備えている。

カメラ２は、ルームミラーにおいて車両１の前方側を向くように設置されている。カメラ３は、サイドミラーにおいて車両１の前方側を向くように設置されている。カメラ２，３の位置情報は、制御装置１００に取得される。モニタ５は、ダッシュボードに配置されている。モニタ５は、各種制御内容および経路情報などを表示する。操作部４は、モニタ５に表示されるタッチパネル式の操作パネル４１と、モニタ５の下方に取り付けられ、音声を取得するマイク４２と、を備えている。運転手は、操作パネル４１の操作、および、マイク４２による音声入力によって、車両１の運転や空調制御を実行できる。

制御装置１００は、図１に示されるように、ＣＰＵ（Central Proccesing Unit）１０と、ＲＯＭ（Read Only Memory）２０と、ＲＡＭ（Random Access Memory）３０と、記憶部５０とを備えている。記憶部５０は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）などで構成されている。記憶部５０は、地図情報を記憶している地図データベース（地図ＤＢ）５１と、カメラ２，３により取得された取得画像を記憶する画像データベース（画像ＤＢ）５２と、を備えている。カメラ２，３の取得画像は、手動運転時に取得されると、取得時の運転制御を関連付けた教示画像として画像ＤＢ５２に記憶される。一方、カメラ２，３により自動運転時に取得された取得画像は、手動運転時に取得されていないため、運転制御に関連付けられていない。以降では、運転制御が関連付けられた教示画像を「ラベル付き画像」とも呼び、運転制御が関連付けられていない取得画像を「ラベルなし画像」とも呼ぶ。なお、本実施形態における運転制御とは、車両１の自律走行に影響する所定の制御である。運転制御として、例えば、他の車両との所定の車間距離の場合に１．０ｍ／ｓ²の減速制御、特定の場所で操舵角を５度傾ける制御などが挙げられる。

ＣＰＵ１０は、ＲＯＭ２０に記憶された各種プログラムを、ＲＡＭ３０に展開することにより実行する。ＣＰＵ１０は、他の装置などと情報を無線通信する通信部１１と、車両１の位置を特定する位置特定部１２と、車両１の運転を制御する運転制御部１３と、カメラ２，３の取得画像を用いて正規化された画像を作成する画像処理部１４と、自動運転時における運転制御を学習する制御学習部１５と、を備えている。

通信部１１は、ＧＰＳ（Grobal Positioning System）を用いて車両１の位置を特定するために、衛星の位置情報を受信している。位置特定部１２は、地図ＤＢ５１に記憶された地図情報と、通信部１１により取得された車両１の位置情報とを用いて、車両１の地図中の位置を特定する。運転制御部１３は、車両１のハンドル、アクセル、およびブレーキが受け付けた入力に基づき、車両１の運転を制御する。また、運転制御部１３は、自律走行時には、制御学習部１５により生成された運転制御の出力に基づいて、車両１を自律走行させる。換言すると、運転制御部１３は、車両１の走行を制御するための制御指令を出力しており、制御指令部として機能している。

画像処理部１４は、異なる環境でカメラ２，３により取得された複数の取得画像に対して、環境の変化（例えば、日照条件、天候、および季節など）に依存する見え方の違いを正規化する。換言すると、画像処理部１４は、複数の取得画像を用いて、見え方の違いを正規化するための変換関数を学習する。画像処理部１４は、正規化された画像として、季節が春、日照条件が正午、天候が曇りである画像を出力している。画像処理部１４は、取得された複数の教示画像を基とするラベルなし画像を用いて、正規化された画像変換精度を向上させるように学習する。なお、画像処理部１４に入力される教示画像は、車両１の手動運転時における取得画像である必要はなく、例えば、車両１の出荷前にメーカーから事前に記憶された画像であってもよい。

図２は、第１実施形態の制御学習部１５が実行する学習の説明図である。制御学習部１５は、正規化された画像ＩＭ３と、手動運転時の教示画像（ラベル付き画像）ＩＭ１と、教示画像を取得したカメラ２，３の位置情報と、車両１の経路情報とを用いて、正規化された画像と運転制御との関連付けを学習する。図２に示されるように、カメラ２，３が教示画像ＩＭ１を取得すると、画像処理部１４には、教示画像ＩＭ１から運転制御ＤＣ１が取り除かれたラベルなし画像ＩＭ２が入力する。画像処理部１４は、ラベルなし画像ＩＭ２を正規化して、正規化された画像ＩＭ３を出力する。制御学習部１５は、正規化された画像ＩＭ３と、カメラ２，３の位置情報とを用いて、正規化された画像ＩＭ３が車両１におけるどの視点からの画像であるかを特定する。制御学習部１５は、正規化された画像ＩＭ３と、車両１の経路情報とを用いて、過去の教示画像から学習していた内容を基に、正規化された画像ＩＭ３に関連付ける運転制御ＤＣ２を生成する。なお、本実施形態における車両１の経路情報は、車両１に予め設定された運転開始地点から目標地点までの経路を含んでいる。制御学習部１５は、他の実施形態において、設定された経路情報がない場合には、経路情報を用いないで運転制御ＤＣ２を生成してもよい。

制御学習部１５は、生成した運転制御ＤＣ２と、教示画像ＩＭ１に関連付けられた運転制御ＤＣ１とに対して、誤差逆伝播法を用いる。これにより、制御学習部１５は、生成した運転制御ＤＣ２と、手動運転時の運転制御ＤＣ１とが同じになるように学習していく。誤差逆伝播法を用いた学習結果は、運転制御ＤＣ２を生成する際の変換関数にフィードバックされる。車両１の自動走行時には、運転制御部１３が、カメラ２，３の取得画像（ラベルなし画像）を入力として制御学習部１５が出力した運転制御ＤＣ２に基づいて、車両１の運転を制御する。

図３は、第１実施形態における学習方法のフローチャートである。図３に示されるように、学習方法では、初めに、画像処理部１４が、異なる複数の環境で取得された複数のラベルなし画像を用いて、画像取得時の環境に依存する見え方の違いを正規化し、かつ、正規化された複数の画像を用いて、正規化のための変換関数を学習する画像処理工程を行う（ステップＳ１）。

画像処理工程が終了すると、制御学習部１５は、教示画像に関連付けられた運転制御と、画像処理部１４により教示画像が正規化された画像とを関連付ける制御学習工程を行う（ステップＳ２）。制御学習部１５は、図２を用いて説明したように、正規化された画像ＩＭ３に基づく運転制御ＤＣ２と、教示画像ＩＭ１に関連付けられた運転制御ＤＣ１とを近づけるように学習する。

図４は、第１実施形態の制御装置１００による処理の効果を示す図である。図５は、比較例の制御装置による処理の効果を示す図である。操作部４が所定の操作を受け付けると、モニタ５は、制御学習部１５による運転制御の出力結果を表示する。図４，５において、破線は、夕方に所定の経路を手動運転で走行した場合における操舵角（ｄｅｇ）の変化を示し、実線は、夕方に、同じ経路を自動運転で走行した場合における操舵角の変化を示している。図４，５における破線は、同じ操舵角の変化である。そのため、実線が破線に近いほど、自動運転時の制御が優れていることを意味する。比較例の制御装置は、本実施形態におけるラベルなし画像を正規化する画像処理部１４を備えていない。図５に実線で示される操舵角は、比較例の制御装置が昼の手動運転時に取得されたラベル付き画像を用いて学習し、夕方の取得画像を入力として出力された運転制御である。

図４，５における横軸は、カメラ２，３の取得画像のフレーム番号である。フレーム番号は、時系列ごとに順番に付けられているため、横軸は、車両走行時の時間経過を表している。図４，５における縦軸は、操舵角である。図４の実線と、図５の実線と比べると、明らかに図４の実線の方が、破線に近い。そのため、本実施形態の制御学習部１５により出力された運転制御の精度は、比較例によって出力された運転制御よりも良いことがわかる。

以上説明したように、本実施形態の制御装置１００では、ラベルなし画像を正規化する画像処理部１４と、正規化された画像と運転制御とを関連付ける制御学習部１５とが別々に構成されている。画像処理部１４は、ラベルなし画像を用いて、ラベルなし画像が取得された環境に依存する見え方を正規化するための変換関数を学習する。制御学習部１５は、画像処理部１４により正規化された画像と、ラベル付き画像である教示画像に関連付けられた運転制御との関連付けを学習する。制御学習部１５は、環境の変化によって異なる複数の画像の代わりに正規化された画像と、運転制御とを関連付ける。これにより、制御学習部１５は、見え方の違いに影響を受けずに同じ運転制御を出力するため、精度の高い運転制御を出力できる。また、本実施形態では、異なる環境に応じた画像ではなく、正規化された画像に運転制御が関連付けられるため、画像に対するラベル付けの手間が軽減され、開発コストを抑制できる。

また、本実施形態の制御装置１００の制御学習部１５は、車両１の自動運転のための運転制御の指令を出力している。車両１が走行する屋外の環境は、天候、日照条件、および季節の変化などによって、同じ環境（例えば、撮影範囲）であっても見え方が異なる。制御学習部１５の運転制御が車両１の自律走行制御に用いられることにより、制御学習部１５は、見え方の異なる同じ環境でも、同じ運転制御を出力できる。

また、本実施形態の制御装置１００の制御学習部１５は、カメラ２，３の位置情報を用いて、正規化された画像と、車両１の経路情報を用いた運転制御との関連付けを学習する。正規化された画像は、車両１におけるカメラ２，３の位置および向きに応じて変化する。また、運転制御の一例である操舵角の制御は、車両１が進行する経路によって変化する。そのため、制御学習部１５は、カメラ２，３の位置情報および車両１の経路情報を用いることにより、車両１に対してより精度の高い運転制御を出力できる。

また、本実施形態の制御装置１００のモニタ５は、図４に示されるような制御学習部１５の出力結果を表示する。これにより、車両１の運転手は、実際の自動運転を行わなくても、事前に制御学習部１５の運転制御の精度を確認できる。

また、本実施形態の制御装置１００では、異なる環境における見え方の違いとして、天候、日照条件、および季節における変化である。それらの変化の中で、画像処理部１４は、正規化された画像として、曇りの環境で取得された画像を用いる。これにより、天候が雨や晴天の場合と比較して、画像全体の明るさが均一である正規化された画像が出力される。すなわち、制御学習部１５は、異なる環境下での取得画像を、明確な正規化された画像に変換できる。

＜第２実施形態＞
図６は、第２実施形態における制御装置１００ａを備える車両１ａの概略図である。図６に示されるように、第２実施形態の記憶部５０ａは、画像処理部１４ａにより作成される特徴マップＦＭを記憶する変換記憶部５３を備えている。第２実施形態では、第１実施形態と異なり、画像処理部１４ａは、複数の画像に対して畳み込み（Convolution）を行った特徴マップＦＭ（Feature Map）を作成する。また、制御学習部１５ａは、特徴マップＦＭと、運転制御との関連付けを学習する。第２実施形態では、第１実施形態と異なる構成および制御について説明し、第１実施形態と同じ構成および制御についての説明を省略する。

図７は、特徴マップＦＭの作成についての説明図である。特徴マップＦＭは、異なる環境でカメラ２，３により取得された複数の取得画像から、環境の変化（例えば、日照条件、天候、および季節など）に依存する見え方の違いを正規化するまでの途中で得られるＮ次元の行列やベクトルである。図７に示されるように、特徴マップＦＭは、入力画像を畳み込むことによって得られ、特徴マップＦＭに逆畳み込み（Deconvolution）を行うことによって正規化された画像が得られる。ラベルあり画像の教示画像に関連付けられた運転制御を取り除いたラベルなし画像を入力として受け付ける。画像処理部１４ａは、入力画像としてのラベルなし画像に畳み込みを行って、特徴マップＦＭを作成する。第２実施形態では、制御学習部１５ａが、特徴マップＦＭと運転制御との関連付け、および、関連付けの学習を行う。すなわち、第２実施形態の制御学習部１５ａは、正規化された画像に代えて特徴マップＦＭと、運転制御との関連付けを学習する。

図８は、第２実施形態の制御学習部１５が実行する学習の説明図である。図８に示されるように、第２実施形態では、画像処理部１４ａにラベルなし画像ＩＭ２が入力されると、画像処理部１４は、ラベルなし画像ＩＭ２に畳み込みを行って、特徴マップＦＭを出力する。制御学習部１５ａは、特徴マップＦＭと、カメラ２，３の位置情報と、車両１の経路情報とを用いて、特徴マップＦＭに関連付ける運転制御ＤＣ２ａを生成する。制御学習部１５ａは、運転制御ＤＣ２ａと、運転制御ＤＣ１とに対して、誤差逆伝播法を用いて、生成した運転制御ＤＣ２ａと、手動運転時の運転制御ＤＣ１とが同じになるように学習していく。

図９は、特徴マップＦＭについての畳み込み及び逆畳み込みの説明図である。図９には、一例として、昼の画像群Ｘ₁と、夕方の画像群Ｘ₂と、道路構造を表現する潜在共有空間Ｚとが示されている。ネットワークＥ₁，Ｅ₂のそれぞれは、画像群Ｘ₁，Ｘ₂に含まれる画像ｘ₁，ｘ₂から潜在共有空間Ｚに投影するネットワークである。潜在共有空間Ｚは、特徴マップＦＭとしての複数の特徴マップｚの集合である。そのため、ネットワークＥ₁，Ｅ₂は、入力画像を特徴マップＦＭへと畳み込むための変換関数である。ネットワークＧ₁，Ｇ₂のそれぞれは、潜在共有空間Ｚから画像ｘ₁，ｘ₂を復元するネットワークである。すなわち、ネットワークＧ₁，Ｇ₂は、特徴マップＦＭから逆畳み込みを行って正規化された画像を出力するための変換関数である。

図９に示す例において、画像処理部１４ａは、夕方の画像ｘ₂から、昼の画像ｘ₁を得るために、式（１）の計算を行う。
ｘ₁＝Ｇ₁（Ｅ₂（ｘ₂））・・・（１）
画像処理部１４ａは、複数の画像を用いて、ネットワークＥ₁，Ｅ₂，Ｇ₁，Ｇ₂の学習と、復元により得られた画像か取得画像かを判別する識別器Ｄ₁，Ｄ₂の学習と、を敵対的に行う。これにより、画像処理部１４ａは、ラベルなし画像ＩＭ２が入力される度に、特徴マップＦＭを作成し、ネットワークＥ₁，Ｅ₂，Ｇ₁，Ｇ₂および識別器Ｄ₁，Ｄ₂を更新する。

以上説明したように、第２実施形態の制御装置１００ａの画像処理部１４ａが、ラベルなし画像を畳み込んだ特徴マップＦＭを出力する。制御学習部１５ａは、特徴マップＦＭと、教示画像に関連付けられた運転制御との関連付けを学習する。そのため、画像処理部１４ａは、正規化された画像ＩＭ３を取得するために、特徴マップＦＭに逆畳み込みを行う処理を省略できる。これにより、教示画像の取得から、特徴マップＦＭと運転制御との関連付けまでの処理を高速化できる。

＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

［変形例１］
上記第１実施形態の制御装置１００および第２実施形態の制御装置１００ａは、画像処理部１４，１４ａおよび制御学習部１５，１５ａの構成に加えて、運転制御部１３や記憶部５０，５０ａを備えていたが、制御装置１００，１００ａの構成については、種々変形可能である。例えば、変形例の制御装置は、画像処理部１４および制御学習部１５を備えていれば、運転制御部１３および記憶部５０を備えていなくてもよい。画像処理部１４は、ラベルなし画像に対して、環境に依存する見え方の違いを正規化するための変換関数を学習すればよい。制御学習部１５は、画像処理部１４により正規化された画像と、教示画像に関連付けられた運転制御との関連付けを学習すればよく、カメラ２，３の位置情報や車両１の経路情報を用いなくてもよい。

画像処理部１４の正規化によって出力される態様は、例えば、画像処理部１４は、同じ場所や同じ走行状況ごとに、正規化された画像であり、これらの画像が画像ＤＢ５２に記憶されてもよい。上記第１実施形態では、正規化された画像として、季節が春、日照条件が正午、天候が曇りである画像を採用したが、正規化される画像が取得される各種条件は、種々変形可能である。また、画像処理部１４，１４ａは、季節、日照条件、および天候以外で、見え方の違いに影響する環境の変化を考慮した変換関数を学習してもよい。

上記第１実施形態および第２実施形態では、制御装置１００，１００ａを備えるシステムとして、自律走行可能な車両１，１ａを例に挙げたが、制御装置１００，１００ａを備えるシステムについては、種々変形可能である。例えば、変形例の制御装置は、必ずしも車両１に搭載されていなくてもよく、制御装置単体として流通し、いかなるシステムなどに組み込まれてもよい。制御装置１００，１００ａは、車両１，１ａの自動運転以外に用いられてもよく、他の移動体の制御、取得した画像から各種学習を行う装置全般に用いられてもよい。また、上記第１実施形態および第２実施形態における車両１，１ａが備える制御装置１００，１００ａ以外の構成についても、種々変形可能である。画像取得部としてのカメラ２，３は、１つであってもよいし、３つ以上であってもよい。カメラ２，３は、必ずしも車両１，１ａの前方の画像を取得するのではなく、側方、上方、後方の画像を取得してもよい。車両１，１ａは、モニタ５および操作部４を備えていなくてもよい。操作部４の操作パネル４１は、タッチパネル式ではなく、プッシュボタン式であってもよい。

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

１，１ａ…車両（移動体）
２，３…カメラ（画像取得部）
４…操作部
５…モニタ（表示部）
１０，１０ａ…ＣＰＵ
１１…通信部
１２…位置特定部
１３…運転制御部（制御指令部）
１４，１４ａ…画像処理部
１５，１５ａ…制御学習部
２０…ＲＯＭ
３０…ＲＡＭ
４１…操作パネル
４２…マイク
５０，５０ａ…記憶部
５１…地図データベース
５２…画像データベース
５３…変換記憶部
１００，１００ａ…制御装置
ＦＭ，ｚ…特徴マップ
Ｄ₁，Ｄ₂…識別器
Ｅ₁，Ｅ₂，Ｇ₁，Ｇ₂…ネットワーク（変換関数）
ＤＣ１，ＤＣ２，ＤＣ２ａ…運転制御
ＩＭ１…教示画像
ＩＭ２…ラベル付き画像
ＩＭ３…正規化された画像
Ｘ₁，Ｘ₂…画像群
ｘ₁，ｘ₂…画像
Ｚ…潜在共有空間

Claims

制御装置であって、
異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化する画像処理部と、
前記画像処理部により正規化された画像を用いて、前記正規化された画像と所定の制御との関連付けを学習する制御学習部と、を備え、
前記画像処理部は、前記所定の制御に関連付けられていない前記複数の画像を用いて、前記違いを正規化するための変換関数を学習し、
前記制御学習部は、任意の環境下で前記所定の制御に関連付けて取得された教示画像と、前記正規化された画像とを用いて、前記関連付けを学習する、制御装置。
請求項１に記載の制御装置であって、
前記画像処理部は、前記複数の画像に対して畳み込みを行った特徴マップを出力し、
前記制御学習部は、前記正規化された画像に代えて前記特徴マップと、前記所定の制御との関連付けを学習する、制御装置。
請求項１または請求項２に記載の制御装置であって、
前記所定の制御は、自律走行車両の制御である、制御装置。
請求項３に記載の制御装置であって、
前記制御学習部は、前記複数の画像を取得する画像取得部の位置情報を用いて、前記正規化された画像と、前記自律走行車両の経路情報を用いた前記所定の制御との関連付けを学習する、制御装置。
請求項１から請求項４までのいずれか一項に記載の制御装置であって、さらに、
画像を表示する表示部を備え、
前記制御学習部は、前記正規化された画像と、前記所定の制御との関連付けの出力結果を前記表示部に表示させる、制御装置。
請求項１から請求項５までのいずれか一項に記載の制御装置であって、
前記異なる複数の環境は、天候と、日照条件と、季節との内の少なくとも１つが異なる環境である、制御装置。
請求項６に記載の制御装置であって、
前記画像処理部は、前記正規化された画像として、天候が曇りの環境で取得された画像を用いる、制御装置。
移動体であって、
請求項１から請求項７までのいずれか一項に記載の制御装置と、
前記移動体の前方画像を少なくとも取得する画像取得部と、
前記制御装置を用いて、前記移動体の走行を制御するための制御指令を出力する制御指令部と、を備え、
前記制御指令部は、
前記画像取得部により取得された前記前方画像を、前記制御装置の前記画像処理部によって正規化し、
前記正規化された画像と、前記制御装置の前記制御学習部とを用いて、前記正規化された画像に対応する前記制御指令を求める、移動体。
学習方法であって、
異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化し、かつ、正規化された複数の画像を用いて、前記違いを正規化するための変換関数を学習する画像処理工程と、
任意の環境で取得された教示画像に関連付けられた前記所定の制御と、前記教示画像が正規化された画像と、を用いて、正規化された画像と前記所定の制御との関連付けを学習する制御学習工程と、を備える、学習方法。