JP2018136211A - 環境認識システム及び学習装置 - Google Patents

Abstract

【課題】周囲の環境の複雑な状況に対応可能にする技術を提供する。【解決手段】本発明の一側面に係る環境認識システムは、周囲の環境の明るさに関する明るさ情報を検出するセンサ装置と、前記周囲の環境の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器に、前記センサ装置により得られた前記明るさ情報を入力することで、前記周囲の環境における明るさの程度及び明るさの決定因子の情報を含む環境情報群を算出する情報処理装置と、を備える。【選択図】図５

Description

本発明は、環境認識システム及び学習装置に関する。

特許文献１には、日射量検出手段により検出した日射量に基づいて、車両用空調の風量を制御する車両用空調制御装置が提案されている。また、特許文献２には、赤外線センサにより検出した赤外線照度と可視光センサにより検出した可視光照度とに基づいて、車両のヘッドライトの点灯及び消灯を制御する車両用ライト制御装置が提案されている。

特開平０５−１６９９６３号公報 特開２０１５−０５１６８７号公報

特許文献１及び２に例示されるように、従来、周囲の環境の明るさを示す情報が様々な装置で利用されている。しかしながら、本件発明者は、これらの装置において次のような問題点があることを見出した。すなわち、従来の装置では、基本的には、各種センサにより検出可能な明るさの程度を示す情報のみを利用している。そのため、周囲の環境の単純な状況しか認識することができず、複雑な状況に対応することができない、という問題点があることを本件発明者は見出した。

例えば、センサにより検出した明るさの程度を示す情報に基づいて、車両のヘッドライトを制御するケースを想定したとする。このケースにおいて、陸橋、ビル等の建築物に光を遮られた場面と、トンネル等の構造物内に進入した場面とで、同じ程度の明るさであったとする。このとき、単純な方法では、前者の場面で点灯させず、後者の場面で点灯させるようにヘッドライトを制御するのは困難であった。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、周囲の環境の複雑な状況に対応可能にする技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る環境認識システムは、周囲の環境の明るさに関する明るさ情報を検出するセンサ装置と、前記周囲の環境の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器に、前記センサ装置により得られた前記明るさ情報を入力することで、前記周囲の環境における明るさの程度及び明るさの決定因子の情報を含む環境情報群を取得する情報処理装置と、を備える。

上記構成によれば、周囲の環境の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器を用いることで、明るさの程度だけではなく、その明るさを決定付ける決定因子をも特定することができる。したがって、同じ程度の明るさであったとしても、そのシーンの状況を識別することができるため、周囲の環境の複雑な状況に対応することができる。なお、明るさ情報とは、明るさを示す何らかの情報であればよく、例えば、画像、明るさの測定値等であってよい。環境情報群とは、複数件の環境情報を含んでいる状態を指し、少なくとも明るさの程度を示す１件の情報及び明るさの決定因子を示す１件の情報を含む。また、環境情報とは、周囲の環境の明るさの程度又はその明るさを決定付ける決定因子を示す情報を指す。

上記一側面に係る環境認識システムにおいて、前記環境情報群は、異なる種類の複数件の環境情報を含んでよく、前記学習器は、前記各件の環境情報毎に設けられ、対応する前記各件の環境情報をそれぞれ出力する複数の出力部を含んでよい。当該構成によれば、異なる種類の複数件の環境情報を出力することができる。

上記一側面に係る環境認識システムにおいて、前記情報処理装置は、前記環境情報を利用するモジュールに対して前記環境情報群に含まれる複数件の環境情報を選択的に出力する出力選択部を備えてよく、前記出力選択部は、前記各出力部から出力される環境情報の中から利用する環境情報を選択し、選択した環境情報を前記モジュールに対して出力してもよい。当該構成によれば、出力する環境情報により、モジュールの制御を行うことができる。なお、モジュールは、環境情報を利用可能な装置であれば、特に限定されなくてもよく、例えば、空調装置、車両のヘッドライト、ディスプレイのバックライト等、何らかの物理状態を変化させるハードウェア若しくはソフトウェアの一単位、又は、ハードウェア若しくはソフトウェアの一単位の組合せ、を含む。また、モジュールは、例えば、車両におけるＥＣＵ（Engine Control Unit）のように、ハードウェア若しくはソフトウェアの一単位、又は、これらの組合せの複数個について、統合的に制御する統合制御装置を含むものである。なお、出力選択部は、モジュールに対して、直接的、又は、間接的に環境情報を出力することができる。すなわち、情報処理装置とモジュールとが直接的に接続されることにより、出力選択部の出力が、直接的にモジュールに対して出力されてもよく、情報処理装置とモジュールとが所定の中継器を介して接続されることにより、出力選択部の出力が間接的にモジュールに対して出力されてもよい。

上記一側面に係る環境認識システムにおいて、前記出力選択部は、前記各出力部から出力される環境情報の内容に基づいて、前記各出力部から出力される環境情報の中から利用する環境情報を選択し、選択した環境情報を前記モジュールに対して出力してもよい。当該構成によれば、環境情報の内容に基づいてその環境情報の出力先を決定することで、モジュールの複雑な制御を可能にする。

上記一側面に係る環境認識システムにおいて、前記複数の出力部は、前記環境情報を利用する複数のモジュールに対応付けられており、それぞれ対応する当該各モジュールに前記各件の環境情報を出力してもよい。当該構成によれば、出力する環境情報により、モジュールの制御を行うことができる。

上記一側面に係る環境認識システムにおいて、前記センサ装置は、３つ以上の異なる方向からそれぞれ明るさ情報を検出するように構成されてよい。当該構成によれば、３つ以上の異なる方向から明るさ情報を検出するようにすることで、周囲の環境の解析精度を高めることができる。

上記一側面に係る環境認識システムにおいて、前記センサ装置は、前記周囲の環境からの光をそれぞれ集光する複数の集光部を有する光学部材、及びそれぞれ前記各集光部に対応して設けられ、前記各集光部の集光した光を受けて、前記周囲の環境を映した撮像画像を前記明るさ情報としてそれぞれ形成可能に構成された複数の撮像素子を備える光学センサにより構成されてよい。当該構成によれば、複数件の撮像画像を明るさ情報として取得するようにすることで、周囲の環境の解析精度を高めることができる。

上記一側面に係る環境認識システムにおいて、前記複数の集光部のうち少なくとも１つの集光部はその他の集光部と異なる光学特性を有してよい。当該構成によれば、多様な光学特性が反映された複数件の撮像画像を明るさ情報として取得するようにすることで、周囲の環境の解析精度を高めることができる。なお、光学特性とは、集光部の光学的な特性のことであり、例えば、集光角度、屈折率、透過する光の帯域（光学濃度）、透明性の尺度である濁度、透過率、白さの度合いを示す白色度、色味を示す色調等、集光部の前後で光の状態を変動させる何らかの特性である。

上記一側面に係る環境認識システムにおいて、前記複数の集光部のうち少なくとも一部の光学特性は不規則性を有してよい。当該構成によれば、多様な光学特性が反映された複数件の撮像画像を明るさ情報として取得するようにすることで、周囲の環境の解析精度を高めることができる。なお、「複数の集光部のうち少なくとも一部の光学特性が不規則性を有している」とは、いずれかの隣接する集光部同士で光学特性が相違する状態を指す。ただし、不規則性を有する範囲は、光学部材の一部に限られなくてもよく、光学部材の全体であってもよい。

上記一側面に係る環境認識システムにおいて、前記光学部材は、レンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよい。当該構成によれば、多様な光学特性が反映された複数件の撮像画像を明るさ情報として取得可能な光学センサを簡易に作製することができる。

上記一側面に係る環境認識システムにおいて、前記センサ装置は、１又は複数の照度センサにより構成されてよい。当該構成によれば、明るさ情報を取得可能なセンサ装置を簡易に作製することができる。

上記一側面に係る環境認識システムにおいて、前記学習器は、ニューラルネットワーク、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成されてよい。当該構成によれば、周囲の環境の明るさの程度及び明るさの決定因子を出力する学習器を簡易に構築することができる。

上記一側面に係る環境認識システムにおいて、前記明るさの程度は、所定の物理単位を用いた連続量、及び／又は明るさを段階的に示す明るさレベルで示されてよい。当該構成によれば、明るさの程度を示す環境情報として、所定の物理単位を用いた連続量、及び／又は明るさを段階的に示す明るさレベルを出力する環境認識システムを提供することができる。

上記一側面に係る環境認識システムにおいて、前記所定の物理単位は、照度、日射量、光束、光度、輝度、光度エネルギ、及び視感度の少なくともいずれかで示されてよい。当該構成によれば、明るさの程度を示す環境情報として、照度、日射量、光束、光度、輝度、光度エネルギ、及び視感度の少なくともいずれかで示された連続量を出力する環境認識システムを提供することができる。

上記一側面に係る環境認識システムにおいて、前記明るさの決定因子は、光を遮る遮蔽物の有無、当該遮蔽物の種類、太陽の有無、天候、時刻、及び都市度の少なくともいずれかで示されてよい。当該構成によれば、明るさの決定因子を示す環境情報として、光を遮る遮蔽物の有無、当該遮蔽物の種類、太陽の有無、天候、時刻、及び都市度の少なくともいずれかを出力する環境認識システムを提供することができる。なお、都市度とは、都市の発展度合を示すものであり、例えば、大都会、都会、中小都市、農村、郊外、人里離れた場所等を識別するのに利用可能な情報である。

また、本発明の一側面に係る学習装置は、周囲の環境の明るさに関する明るさ情報を検出するセンサ装置から当該明るさ情報を取得する情報取得部と、取得した前記明るさ情報を入力すると、前記周囲の環境の明るさの程度及び明るさの決定因子の情報を含む環境情報群を出力するように学習器を学習させる学習処理部と、を備える。当該構成によれば、周囲の環境の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器を構築する学習装置を提供することができる。

本発明によれば、周囲の環境の複雑な状況に対応可能にする技術を提供することができる。

図１は、実施の形態に係る環境認識システム及び学習装置の適用場面の一例を模式的に例示する。 図２は、実施の形態に係る車載装置のハードウェア構成の一例を模式的に例示する。 図３Ａは、実施の形態に係る光学センサの構成の一例を模式的に例示する。 図３Ｂは、実施の形態に係る光学センサの構成の一例を模式的に例示する。 図４は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。 図５は、実施の形態に係る車載装置の機能構成の一例を模式的に例示する。 図６は、実施の形態に係る学習装置の機能構成の一例を模式的に例示する。 図７は、実施の形態に係る車載装置の処理手順の一例を例示する。 図８は、実施の形態に係る学習装置の処理手順の一例を例示する。 図９は、変形例に係る車載装置の構成の一例を模式的に例示する。 図１０は、変形例に係る車載装置の構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。例えば、以下では、本実施形態として、車両に搭載する車載システムに本発明を適用した例を示す。しかしながら、本発明の適用対象は、車載システムに限定される訳ではなく、実施の形態に応じて適宜選択されてよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る環境認識システム１００及び学習装置２の適用場面の一例を模式的に例示する。本実施形態に係る環境認識システム１００は、自動車等の車両に搭載され、周囲の環境６における明るさの程度及び明るさの決定因子を解析する情報処理システムである。

図１に示されるとおり、環境認識システム１００は、光学センサ３と車載装置１とを備えている。光学センサ３は、周囲の環境６の撮像を行うことで、当該周囲の環境６の明るさに関する明るさ情報として、当該周囲の環境６を映した撮像画像を形成する。光学センサ３は、本発明の「センサ装置」に相当する。光学センサ３は、例えば、走行方向前方の状況を撮像可能なように車両に搭載される。

車載装置１は、周囲の環境６における明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器（後述するニューラルネットワーク７）を有している。車載装置１は、光学センサ３により得られた明るさ情報（本実施形態では、撮像画像）を当該学習器に入力することで、周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む環境情報群を取得する。車載装置１は、本発明の「情報処理装置」に相当する。また、車載装置１は、学習済みの学習器を利用して有して所定の情報処理を行う「学習結果利用装置」に相当する。環境情報群は、複数件の環境情報を含んでいる状態を指す。また、環境情報は、周囲の環境の明るさの程度又はその明るさを決定付ける決定因子を示す情報を指す。なお、本実施形態に係る車載装置１は、これにより得られる環境情報群を利用して、車両に搭載される空調装置１０１及びヘッドライト１０２を制御する。空調装置１０１及びヘッドライト１０２はそれぞれ本発明の「モジュール」に相当する。

一方、本実施形態に係る学習装置２は、環境認識システム１００が利用する学習器を構築する、すなわち、光学センサ３により得られた明るさ情報の入力に応じて周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む環境情報群を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記光学センサ３から明るさ情報を取得し、取得した明るさ情報を入力すると、周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む環境情報群を出力するように学習器（後述するニューラルネットワーク８）を学習させる。

これにより、上記環境認識システム１００で利用する学習済みの学習器が作成される。車載装置１は、例えば、ネットワーク１０を介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワーク１０の種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

以上のとおり、本実施形態によれば、周囲の環境６の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器を用いることで、明るさの程度だけではなく、その明るさを決定付ける決定因子をも特定することができる。したがって、同じ程度の明るさであったとしても、そのシーンの状況を識別することができるため、周囲の環境６の複雑な状況に対応することができる。例えば、車載装置１は、同じ程度の明るさであったとしても、その明るさを決定付ける決定因子に基づいて、空調装置１０１及びヘッドライト１０２の制御を変えることができる。

§２ 構成例
［ハードウェア構成］
＜車載装置＞
次に、図２を用いて、本実施形態に係る車載装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る車載装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る車載装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、外部インタフェース１６、及びドライブ１７が電気的に接続されたコンピュータである。本実施形態に係る車載装置１は、本発明の「情報処理装置」に相当する。なお、図２では、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される環境認識処理プログラム１２１、学習済みの学習器に関する情報を示す学習結果データ１２２等を記憶する。

環境認識処理プログラム１２１は、後述する周囲の環境６における明るさの程度及び明るさの決定因子を解析する処理（図７）を車載装置１に実行させるためのプログラムである。また、学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。

通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。入力装置１４は、例えば、ボタン、タッチパネル、マイクロフォン等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。外部インタフェース１６は、ＵＳＢ（Universal Serial Bus）ポート等であり、光学センサ３、空調装置１０１、ヘッドライト１０２等の外部装置と接続するためのインタフェースである。なお、通信インタフェース１３と外部インタフェース１６とは、同一の接続形式のインタフェースであってもよい。

ドライブ１７は、例えば、ＣＤ（Compact Disk）ドライブ、ＤＶＤ（Digital Versatile Disk）ドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むための装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記環境認識処理プログラム１２１及び／又は学習結果データ１２２は、この記憶媒体９１に記憶されていてもよい。

記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。車載装置１は、この記憶媒体９１から、環境認識処理プログラム１２１及び／又は学習結果データ１２２を取得してもよい。

ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、車載装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。車載装置１は、複数台の情報処理装置で構成されてもよい。また、車載装置１は、提供されるサービス専用に設計されたＰＬＣ（programmable logic controller）等の情報処理装置の他、汎用のデスクトップＰＣ（Personal Computer）、タブレットＰＣ、携帯電話等が用いられてもよい。

＜光学センサ＞
次に、図３Ａ及び図３Ｂを用いて、本実施形態に係る光学センサ３の構成の一例について説明する。図３Ａは、本実施形態に係る光学センサ３の構成の一例を模式的に例示する。図３Ｂは、本実施形態に係る光学センサ３のレンズアレイ３１及び各撮像素子３２の関係を模式的に例示する。

図３Ａ及び図３Ｂに示されるとおり、本実施形態に係る光学センサ３は、３×３個のレンズ３１１を備えるレンズアレイ３１と、それぞれ各レンズ３１１に対応して設けられる３×３個の撮像素子３２と、各撮像素子３２における撮像画像の形成を制御する制御部３３と、制御部３３で実行されるプログラム等を記憶する記憶部３４と、を備えている。

（レンズアレイ）
本実施形態に係るレンズアレイ３１は、本発明の「光学部材」に相当し、例えば、マイクロレンズアレイである。ただし、レンズアレイ３１の各レンズ３１１の寸法は、マイクロスケールに限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、各レンズ３１１の大きさは、使用する各撮像素子３２に対応して決定可能である。

各レンズ３１１は、本発明の「集光部」に相当し、各撮像素子３２に周囲の環境６からの光を集光するように適宜構成される。各レンズ３１１の光学特性は、実施の形態に応じて適宜決定されてよい。光学特性は、集光部の光学的な特性のことであり、例えば、集光角度、屈折率、透過する光の帯域（光学濃度）、透明性の尺度である濁度、透過率、白さの度合いを示す白色度、色味を示す色調等、集光部の前後で光の状態を変動させる何らかの特性である。全てのレンズ３１１の光学特性は、同一であってもよいし、各レンズ３１１の光学特性は相違していてもよい。各レンズ３１１の所望の光学特性は、各レンズの大きさ、素材、及び形状の少なくともいずれかを適宜調節して設計することで実現可能である。

このようなレンズアレイ３１は、公知の材料及び公知の加工方法により適宜作製することができる。例えば、レンズアレイ３１は、樹脂材料、ガラス材料等の光を透過可能な材料を、射出成形、切削加工、溶接等の加工方法で加工することで作製することができる。なお、レンズアレイ３１は、モータ（不図示）等により、入射する光の光軸方向に適宜変動して、焦点を調整可能に構成されてよい。

（撮像素子）
図３Ｂに示されるとおり、本実施形態に係る各撮像素子３２は、５×５個の受光素子３２１を備えるイメージセンサである。各受光素子３２１は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等で構成される。これにより、各撮像素子３２は、レンズアレイ３１の各レンズ３１１の集光した光を受けて、周囲の環境６を映した撮像画像を形成可能に構成される。なお、図３Ｂの例では、各撮像素子３２は、５×５の画素数の撮像画像を形成可能に構成されている。

各撮像素子３２の大きさは、例えば、撮像対象とする周囲の環境６における被写体の大きさ、被写体内の識別対象部分の大きさ、被写体までの距離等の要因に基づいて適宜決定することができる。なお、各撮像素子３２としては、被写体の大きさ及び被写体までの距離に応じて、鉛直方向に１００〜数１００ピクセル及び水平方向に１００〜数１００ピクセルの解像度を有する撮像素子を用いるのが好ましい。このとき、各撮像素子の縦横比（アスペクト比）は、検出範囲の縦横比により決定することができる。

（制御部及び記憶部）
制御部３３は、例えば、ＣＰＵを含むマイクロプロセッサにより構成され、記憶部３４は、ＲＡＭ、ＲＯＭ等のメモリにより構成される。制御部３３は、記憶部３４に記憶されるプログラムに従って、各撮像素子３２における撮像画像の形成を制御する。そして、制御部３３は、各撮像素子３２により形成した撮像画像を、記憶部３４及び／又は接続される外部装置（本実施形態では、車載装置１又は学習装置２）に転送する。

＜学習装置＞
次に、図４を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図４は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。

図４に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、外部インタフェース２６、及びドライブ２７が電気的に接続されたコンピュータである。なお、図４では、図２と同様に、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部２１〜ドライブ２７及び記憶媒体９２はそれぞれ、上記車載装置１の制御部１１〜ドライブ１７及び記憶媒体９１と同様である。ただし、学習装置２の記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。

学習プログラム２２１は、学習装置２に後述するニューラルネットワークの学習処理（図８）を実行させるためのプログラムである。また、学習データ２２２は、周囲の環境６における明るさの程度及び明るさの決定因子を解析可能に学習器の学習を行うためのデータである。詳細は後述する。

なお、上記車載装置１と同様に、学習プログラム２２１及び／又は学習データ２２２は、記憶媒体９２に記憶されていてもよい。これに応じて、学習装置２は、利用する学習プログラム２２１及び／又は学習データ２２２を記憶媒体９２から取得してもよい。

また、上記車載装置１と同様に、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。更に、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップＰＣ等が用いられてもよい。

［機能構成］
＜車載装置＞
次に、図５を用いて、本実施形態に係る車載装置１の機能構成の一例を説明する。図５は、本実施形態に係る車載装置１の機能構成の一例を模式的に例示する。

車載装置１の制御部１１は、記憶部１２に記憶された環境認識処理プログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された環境認識処理プログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図５に示されるとおり、本実施形態に係る車載装置１は、明るさ情報取得部１１１、環境情報取得部１１２、及び出力選択部１１３を備えるコンピュータとして機能する。

明るさ情報取得部１１１は、周囲の環境６の明るさに関する明るさ情報として、各撮像素子３２により形成された各撮像画像１２３を光学センサ３から取得する。環境情報取得部１１２は、各撮像素子３２により得られた各撮像画像１２３を、周囲の環境６の明るさの程度及び明るさの決定因子を識別するための学習を行った学習器の入力として用いて、当該学習器の演算処理を行うことにより、当該学習器から出力値を得る。そして、環境情報取得部１１２は、学習器から得られた出力値に基づいて周囲の環境６における明るさの程度及び明るさの決定因子を特定することで、当該周囲の環境６の明るさの程度及び明るさの決定因子の情報を含む環境情報群（すなわち、複数件の環境情報）を取得する。出力選択部１１３は、環境情報を利用するモジュール（本実施形態では、空調装置１０１及びヘッドライト１０２）に対して環境情報群に含まれる複数件の環境情報を選択的に出力する。

次に、学習器について説明する。図５に示されるとおり、本実施形態に係る車載装置１は、周囲の環境６における明るさの程度及び明るさの決定因子を示す情報を含む所望の環境情報群を出力可能に学習した学習器として、ニューラルネットワーク７を利用する。ニューラルネットワーク７は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層７１、中間層（隠れ層）７２、及び出力層７３を備えている。

図５では、ニューラルネットワーク７は１層の中間層７２を備えており、入力層７１の出力が中間層７２の入力となり、中間層７２の出力が出力層７３の入力となっている。ただし、中間層７２の数は１層に限られなくてもよく、ニューラルネットワーク７は、中間層７２を２層以上備えてもよい。

各層７１〜７３は、１又は複数のニューロンを備えている。例えば、入力層７１のニューロンの数は、各撮像画像１２３の画素数に応じて設定することができる。中間層７２のニューロンの数は、実施の形態に応じて適宜設定することができる。また、出力層７３のニューロンの数は、解析対象とする環境情報の種類数に応じて設定することができる。

なお、出力層７３のニューロンは、本発明の「出力部」に相当する。本実施形態では、出力層７３は、異なる種類の複数件の環境情報を環境情報群として出力可能なように複数のニューロンを含む。出力層７３の各ニューロンは、環境情報毎に設けられ、対応する各件の環境情報を示す出力値を出力するように構成される。

隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図５の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。車載装置１は、このようなニューラルネットワーク７の入力層７１に上記各撮像画像１２３を入力することで出力層７３の各ニューロンから得られる出力値に基づいて周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む複数件の環境情報を特定する。

なお、このようなニューラルネットワーク７の構成（例えば、ニューラルネットワーク７の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。車載装置１は、学習結果データ１２２を参照して、周囲の環境６における明るさの程度及び明るさの決定因子を解析する処理に用いる学習済みニューラルネットワーク７の設定を行う。

＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２の機能構成の一例を説明する。図６は、本実施形態に係る学習装置２の機能構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして機能する。

学習データ取得部２１１は、学習データ２２２として、光学センサ３の各撮像素子３２の撮像した各撮像画像２２３及び各撮像画像２２３に映る周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む複数件の環境情報２２４（環境情報群）の組を取得する。学習処理部２１２は、学習データ２２２を用いて、取得した各撮像画像２２３を入力すると、各件の環境情報２２４に対応する出力値を出力するように学習器を学習させる。

図６に示されるとおり、本実施形態では、学習対象となる学習器は、ニューラルネットワーク８である。学習器の一例であるニューラルネットワーク８は、入力層８１、中間層（隠れ層）８２、及び出力層８３を備え、上記ニューラルネットワーク７と同様に構成される。各層８１〜８３は、上記各層７１〜７３と同様である。

学習処理部２１２は、ニューラルネットワークの学習処理により、３×３件分の撮像画像２２３を入力すると、周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む複数件の環境情報それぞれを出力層８３の各ニューロンから出力するニューラルネットワーク８を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。

＜その他＞
車載装置１及び学習装置２の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、車載装置１及び学習装置２の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、車載装置１及び学習装置２それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
［車載装置］
次に、図７を用いて、車載装置１の動作例を説明する。図７は、車載装置１の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、利用者は、車載装置１を起動し、起動した車載装置１に環境認識処理プログラム１２１を実行させる。車載装置１の制御部１１は、学習結果データ１２２を参照して、ニューラルネットワーク７の構造、各ニューロン間の結合の重み及び各ニューロンの閾値の設定を行う。そして、制御部１１は、以下の処理手順に従って、周囲の環境６における明るさの程度及び明るさの決定因子の解析を行う。なお、車載装置１の起動は、車両のエンジンスタートにより行われてよい。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、明るさ情報取得部１１１として機能し、外部インタフェース１６を介して接続される光学センサ３の各撮像素子３２から、当該各撮像素子３２により撮像した撮像画像１２３を明るさ情報として取得する。本実施形態では、光学センサ３は、３×３個の撮像素子３２を備えているため、本ステップＳ１０１では、制御部１１は、基本的には１回の撮像毎に３×３件の撮像画像１２３を取得する。

（ステップＳ１０２）
次のステップＳ１０２では、制御部１１は、環境情報取得部１１２として機能し、ステップＳ１０１で取得した各撮像画像１２３をニューラルネットワーク７の入力として用いて、当該ニューラルネットワーク７の演算処理を行うことにより、当該ニューラルネットワーク７から出力値を得る。

本実施形態では、制御部１１は、上記ステップＳ１０１で取得した３×３件の撮像画像１２３それぞれに含まれる各画素の画素値をニューラルネットワーク７の入力層７１に含まれる各ニューロンに入力する。入力となる各画素値と入力層７１の各ニューロンとの対応関係は、実施の形態に応じて適宜設定されてよい。次に、制御部１１は、順伝搬の方向に各層７１〜７３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、ニューラルネットワーク７の出力層７３に含まれる複数のニューロンそれぞれから出力値を得る。

（ステップＳ１０３）
次のステップＳ１０３では、制御部１１は、環境情報取得部１１２として機能し、ステップＳ１０２でニューラルネットワーク７から得られた出力値に基づいて周囲の環境６における明るさの程度及び明るさの決定因子を特定することで、当該周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む環境情報群を取得する。

上記のとおり、ニューラルネットワーク７は、光学センサ３の各撮像素子３２から得られる各撮像画像１２３を入力すると、明るさの程度を示す情報及び明るさの決定因子を示す情報を含む異なる種類の複数件の所望の環境情報それぞれに対応する出力値を出力するように学習済みである。出力層７３に含まれる複数のニューロンはそれぞれ、環境情報毎に設けられ、対応する各件の環境情報を示す出力値を出力する。ニューラルネットワーク７の各出力値と各件の環境情報の内容との対応関係は、適宜設定可能であり、例えば、テーブル形式等のデータにより与えることができる。

そこで、制御部１１は、ニューラルネットワーク７の各出力値と各件の環境情報の内容との対応関係を示す情報を参照することで、ステップＳ１０２で出力層７３の各ニューロンから得られた各出力値に基づいて、各件の環境情報の内容を特定する。これにより、制御部１１は、明るさの程度を示す情報及び明るさの決定因子を示す情報を含む異なる種類の複数件の環境情報（環境情報群）を取得することができる。

環境情報群に含まれる環境情報の件数は、明るさの程度を示す情報及び明るさの決定因子を示す情報それぞれが少なくとも１件ずつ含まれているのであれば、実施の形態に応じて適宜設定されてよい。例えば、制御部１１は、明るさの程度を示す環境情報として、所定の物理単位を用いた連続量を示す情報、及び／又は明るさを段階的に示す明るさレベルを示す情報を取得することができる。所定の物理単位は、照度、日射量、光束、光度、輝度、光度エネルギ、及び視感度の少なくともいずれかで示されてよい。

また、例えば、制御部１１は、明るさの決定因子を示す環境情報として、光を遮る遮蔽物の有無、当該遮蔽物の種類、太陽の有無、天候、時刻、及び都市度の少なくともいずれかを示す情報を取得することができる。なお、都市度とは、都市の発展度合を示すものであり、例えば、大都会、都会、中小都市、農村、郊外、人里離れた場所等を識別するのに利用可能な情報である。

（ステップＳ１０４）
次のステップＳ１０４では、制御部１１は、出力選択部１１３として機能し、環境情報を利用するモジュールに対して、上記ステップＳ１０３で取得した環境情報群に含まれる複数件の環境情報を選択的に出力する。

具体的には、本実施形態では、環境情報を利用するモジュールとして、空調装置１０１及びヘッドライト１０２が車両に搭載されている。そこで、制御部１１は、上記ステップＳ１０３で取得した複数件の環境情報の中から空調装置１０１及びヘッドライト１０２で利用する環境情報をそれぞれ選択する。そして、制御部１１は、選択した環境情報を空調装置１０１及びヘッドライト１０２それぞれに出力する。

例えば、上記ステップＳ１０３で取得される複数件の環境情報には、明るさの程度を示す環境情報として日射量を示す情報が含まれ、明るさの決定因子を示す環境情報として天候を示す情報が含まれていてもよい。この場合、制御部１１は、上記ステップＳ１０３で取得される複数件の環境情報の中から日射量を示す情報及び天候を示す情報を選択し、選択した日射量を示す情報及び天候を示す情報を空調装置１０１に出力してもよい。

これにより、制御部１１は、日射量及び天候に基づいて、空調装置１０１を制御することができる。例えば、各件の環境情報に基づいて周囲の環境６における日射量が一定値以上であり、かつ天候が晴れであると判定できるときに、制御部１１は、車内の温度を下げるように空調装置１０１を制御してもよい。一方、各件の環境情報に基づいて周囲の環境６における日射量が一定値以下であり、かつ天候が雨であると判定できるときに、車内の温度を上げるように空調装置１０１を制御してもよい。

また、例えば、上記ステップＳ１０３で取得される複数件の環境情報には、明るさの程度を示す環境情報として日射量を示す情報が含まれ、明るさの決定因子を示す情報として日差しの向きを示す情報が含まれてもよい。この場合、制御部１１は、上記ステップＳ１０３で取得される複数件の環境情報の中から日射量を示す情報及び日差しの向きを示す情報を選択し、選択した日射量を示す情報及び日差しの向きを示す情報を空調装置１０１に出力してもよい。

これにより、制御部１１は、日射量及日差しの向きに基づいて、空調装置１０１を制御することができる。例えば、日射量に基づいて風量及び／又は温度を変動させる制御を実行する場合において、制御部１１は、日差しの向きに基づき、朝方、夕方等の直射日光が直接的に車両内に差し込む時間帯に、風量及び／又は温度の変動量を更に増減させることができる。また、制御部１１は、日差しの向きに基づき、当該日差しが指し込む方向側の空調制御を変動させることができる。このとき、制御部１１は、日差しが指し込む方向側の空調制御として、維持制御、当該日差しが指し込む方向側の空調制御とは反対の量に制御、若しくは、当該日差しが指し込む方向側の空調制御における制御量よりも少ない変動量に制御、の少なくとも何れかを実行することができる。

また、例えば、上記ステップＳ１０３で取得される複数件の環境情報には、明るさの程度を示す環境情報として照度を示す情報が含まれ、明るさの決定因子を示す環境情報として遮蔽物の種類を示す情報が含まれていてもよい。この場合、制御部１１は、上記ステップＳ１０３で取得される複数件の環境情報の中から照度を示す情報及び遮蔽物の種類を示す情報を選択し、選択した照度を示す情報及び遮蔽物の種類を示す情報をヘッドライト１０２に出力してもよい。

これにより、制御部１１は、照度及び遮蔽物の種類に基づいて、ヘッドライト１０２を制御することができる。例えば、各件の環境情報に基づいて周囲の環境６における照度が一定値以下であり、かつ遮蔽物がトンネルであると判定できるときに、制御部１１は、これらの環境情報をヘッドライト１０２に出力することで、ヘッドライト１０２を点灯するように制御してもよい。一方、各件の環境情報に基づいて周囲の環境６における照度が一定値以下であり、かつ遮蔽物がビルであると判定できるときに、制御部１１は、これらの環境情報をヘッドライト１０２に出力することで、ヘッドライト１０２を点灯させないように制御してもよい。

また、上記のように各モジュールに対して環境情報を固定的に割り当てるのではなく、制御部１１は、各モジュールに対して環境情報を流動的に割り当ててもよい。具体的には、制御部１１は、上記ステップＳ１０３で取得した各件の環境情報の内容に基づいて、上記ステップＳ１０３で取得した複数件の環境情報の中から空調装置１０１及びヘッドライト１０２で利用する環境情報をそれぞれ選択するようにしてもよい。

例えば、上記ステップＳ１０３で取得される複数件の環境情報には、明るさの程度を示す環境情報として日射量を示す情報及び光度エネルギを示す情報の２種類の情報が含まれ、明るさの決定因子を示す環境情報として天候を示す情報が含まれてもよい。この場合、制御部１１は、天候を示す情報の内容に基づいて、空調装置１０１で利用する環境情報を選択してもよい。

これにより、制御部１１は、天候に基づいて、空調装置１０１に出力する環境情報を変更することができる。例えば、天候を示す情報に基づいて天候が晴れと判定できるときに、制御部１１は、日射量を示す情報を空調装置１０１に出力してもよい。一方、天候を示す情報に基づいて天候が雨であると判定できるときに、制御部１１は、光度エネルギを示す情報を空調装置１０１に出力してもよい。このケースでは、空調装置１０１は、晴れの時には日射量に基づいて車内温度を制御し、雨の時には光度エネルギに基づいて車内温度を制御することができる。

以上のように、複数件の環境情報の中から選択した環境情報を空調装置１０１及びヘッドライト１０２それぞれに出力した後、制御部１１は、本動作例に係る処理を終了する。

［学習装置］
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、学習データ取得部２１１として機能し、光学センサ３により撮像した複数件の撮像画像２２３並びに各撮像画像２２３に映る周囲の環境６における明るさの程度及び明るさの決定因子の情報を含む複数件の環境情報２２４の組を学習データ２２２として取得する。

学習データ２２２は、ニューラルネットワーク８に対して、明るさの程度を示す情報及び明るさの決定因子を示す情報を含む所望の環境情報群を解析可能に学習させるためのデータである。このような学習データ２２２は、例えば、車両の走行中に、当該車両に搭載した光学センサ３により周囲の環境６を様々な条件で撮像し、得られる各撮像画像に撮像条件を紐付けることで作成することができる。

詳細には、制御部２１は、光学センサ３により、所定の決定因子に基づき明るさが所定の程度となっている周囲の環境６を撮像する。これにより、制御部２１は、光学センサ３の各撮像素子３２から、解析対象となる所定の明るさの程度及び所定の明るさの決定因子が表れた周囲の環境６を映した複数件の撮像画像２２３を取得することができる。本実施形態では、光学センサ３は、３×３個の撮像素子３２を備えているため、制御部２１は、１回の撮像毎に３×３件の撮像画像２２３を取得することができる。

次に、制御部２１は、各撮像画像２２３に表れる所定の明るさの程度を示す情報及び所定の明るさの決定因子を示す情報を含む複数件の環境情報２２４の内容（すなわち、教師データ）の入力を適宜受け付ける。そして、制御部２１は、入力により与えられた複数件の環境情報２２４を各撮像画像２２３に紐付けることで、学習データ２２２を作成することができる。この学習データ２２２の作成は、オペレータ等が入力装置２４を用いて手動で行ってもよいし、ロボット等により自動で行われてもよい。

ここで、この学習データ２２２の作成は、上記のように学習装置２により行われてもよいし、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合には、制御部２１は、本ステップＳ２０１において、上記学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置２は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。なお、本ステップＳ２０１で取得する学習データ２２２の件数は、ニューラルネットワーク８の学習を行うことができるように、実施の形態に応じて適宜決定されてよい。

（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として機能して、ステップＳ２０１で取得した学習データ２２２を用いて、各撮像画像２２３を入力すると各件の環境情報２２４に対応する出力値を出力するようにニューラルネットワーク８を学習させる。

具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク８を用意する。用意するニューラルネットワーク８の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク８を用意してもよい。

次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる複数件の撮像画像２２３を入力データとし、複数件の環境情報２２４を教師データとして、ニューラルネットワーク８の学習を行う。このニューラルネットワーク８の学習には、勾配降下法、確率的勾配降下法等が用いられてよい。

例えば、制御部２１は、各撮像画像２２３の各画素値を入力層８１の入力として用いて、ニューラルネットワーク８の順伝播方向の演算処理を行う。これにより、制御部２１は、ニューラルネットワーク８の出力層８３に含まれる各ニューロンから出力される出力値を得る。次に、制御部２１は、出力層８３の各ニューロンから出力された出力値と当該各ニューロンに対応する環境情報２２４の示す値との誤差を算出する。続いて、制御部２１は、誤差逆伝搬法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

制御部２１は、各件の学習データ２２２について、出力層８３に含まれる各ニューロンから出力される各出力値が対応する環境情報２２４の示す値と一致するまでこの一例の処理を繰り返すことにより、ニューラルネットワーク８の学習を行う。これにより、各撮像画像２２３を入力すると各件の環境情報２２４に対応する出力値を出力するニューラルネットワーク８を構築することができる。

（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として機能して、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク８の学習処理を終了する。

なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を車載装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に車載装置１に転送することで、車載装置１の保持する学習結果データ１２２を定期的に更新してもよい。

［作用・効果］
以上のように、本実施形態では、上記ステップＳ１０２において、周囲の環境６の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みのニューラルネットワーク７を用いている。学習のパートでも同様に、周囲の環境６の明るさの程度及び明るさの決定因子を識別可能なようにニューラルネットワーク８の学習が行われる。これにより、上記ステップＳ１０３では、明るさの程度を示す情報だけではなく、明るさを決定付ける決定因子を示す情報をも取得することができる。

したがって、本実施形態によれば、同じ程度の明るさであったとしても、明るさの決定因子を示す情報に基づいてそのシーンの状況を識別することができるため、周囲の環境６の複雑な状況に対応することができる。例えば、上記ステップＳ１０４では、車載装置１は、同じ程度の明るさである場合に、遮蔽物がトンネルであるときにはヘッドライト１０２を点灯させ、遮蔽物がビルであるときにはヘッドライト１０２を点灯させないようにすることができる。

また、本実施形態では、上記ステップ１０４において、制御部１１は、環境情報の内容に基づいて、各モジュールで利用する環境情報を選択してもよい。これにより、モジュールの複雑な制御が可能になる。例えば、上記のとおり、晴れの時には日射量に基づいて空調装置１０１を制御し、雨の時には光度エネルギに基づいて空調装置１０１を制御することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
例えば、上記実施形態では、図５及び図６に示されるとおり、各ニューラルネットワーク（７、８）として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、各ニューラルネットワーク（７、８）の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク（７、８）は、入力層及び中間層を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク（７、８）は、中間層から入力層等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。なお、各ニューラルネットワーク（７、８）の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。

＜４．２＞
また、上記実施形態では、周囲の環境６における明るさの程度及び明るさの決定因子を解析する車載装置１と学習器（ニューラルネットワーク）の学習を行う学習装置２とは別々のコンピュータで構成されている。しかしながら、車載装置１及び学習装置２の構成はこのような例に限定されなくてもよく、車載装置１及び学習装置２の両方の機能を有するシステムを１台又は複数台のコンピュータで実現してもよい。例えば、上記環境認識システム１００自体が、学習装置２による学習器の生成機能を備えていてもよい。このとき、車載装置１と学習装置２とは内部通信（内部バス）を介して情報通信可能に接続される。

＜４．３＞
また、上記実施形態では、車載装置１は、各件の環境情報を空調装置１０１及びヘッドライト１０２に出力している。しかしながら、環境情報の出力先は、空調装置１０１及びヘッドライト１０２のようなモジュールに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、車載装置１は、出力装置１５により利用者に対して各件の環境情報を出力してもよい。環境情報の出力先となり得るモジュールは、何らかの物理状態を変化させるハードウェア若しくはソフトウェアの一単位、又は、ハードウェア若しくはソフトウェアの一単位の組合せ、を含んでよい。また、当該モジュールは、例えば、車両におけるＥＣＵ（Engine Control Unit）のように、ハードウェア若しくはソフトウェアの一単位、又は、これらの組合せの複数個について、統合的に制御する統合制御装置を含んでもよい。

また、上記実施形態では、出力選択部１１３により、各件の環境情報を空調装置１０１及びヘッドライト１０２に出力している。出力選択部１１３は、モジュールに対して、直接的、又は、間接的に環境情報を出力してよい。すなわち、情報処理装置とモジュールとが直接的に接続されることにより、出力選択部１１３の出力が、直接的にモジュールに対して出力されてもよいし、情報処理装置とモジュールとが所定の中継器を介して接続されることにより、出力選択部１１３の出力が間接的にモジュールに対して出力されてもよい。ただし、各件の環境情報をモジュールに出力する方法は、このような例に限定されなくてもよく、上記出力選択部１１３は省略されてもよい。

図９は、本変形例に係る車載装置１Ａを模式的に例示する。図９の例では、ニューラルネットワーク７の出力層７３に含まれる複数のニューロンがそれぞれ、環境情報を利用する２つのモジュール（空調装置１０１及びヘッドライト１０２）に対応付けられている。そして、各ニューロンは、対応する各モジュールに各件の環境情報（出力値）を出力する。これらの点を除き、車載装置１Ａは、上記車載装置１と同様の構成を有する。これにより、出力選択部１１３の処理を省略できる分だけ、環境情報に基づくモジュールの制御を高速に実行することができる。

なお、本変形例において、環境情報を利用するモジュールの数は、２つに限定されなくてもよく、３つ以上であってよい。また、出力層７３に含まれるニューロンの数は、環境情報を利用するモジュールの数及び各モジュールで利用する出力値の数に応じて適宜決定されてよい。

＜４．４＞
また、上記実施形態では、周囲の環境６の明るさに関する明るさ情報を検出するセンサ装置として、光学センサ３を利用している。しかしながら、本発明で利用可能なセンサ装置は、光学センサに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、明るさ情報は、明るさを示す何らかの情報であればよく、上記実施形態に係る撮像画像の他、明るさの測定値等であってもよい。例えば、センサ装置として、赤外線センサ、一般のカメラ等を用いることができる。また、図１０に例示するとおり、センサ装置として、照度センサを利用することができる。

図１０は、本変形例に係る車載装置１Ｂを模式的に例示する。車載装置１Ｂは、外部インタフェース１６を介して照度センサ３００に接続している。この点を除き、車載装置１Ｂは、上記車載装置１と同様の構成を有する。照度センサ３００は、例えば、フォトトランジスタ等により照度を測定可能に構成される。本変形例では、照度センサ３００が本発明の「センサ装置」に相当し、車載装置１Ｂは、照度センサ３００による照度の測定値を明るさ情報としてニューラルネットワーク７の入力に用いる。

なお、車載装置１Ｂに接続される照度センサ３００の数は、１つに限定されなくてもよく、２つ以上であってもよい。車載装置１Ｂは、異なる方向を向いて配置された複数の照度センサ３００に接続することで、異なる方向の明るさ情報を検出することができるようになる。

また、上記実施形態では、光学センサ３は、３×３個の撮像素子３２を有しているため、３つ以上の異なる方向からそれぞれ明るさ情報（撮像画像）を検出することができる。本変形例においても、３つ以上の照度センサ３００をそれぞれ異なる方向に向けて配置することで、３つ以上の異なる方向からそれぞれ明るさ情報を検出可能にしてもよい。３つ以上の異なる方向から明るさ情報を検出するようにすることで、ニューラルネットワーク７に入力する入力データの多様性を高めることができ、これによって、周囲の環境６における明るさの程度及び明るさの決定因子の解析精度を高めることができる。

＜４．５＞
また、上記実施形態では、学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、明るさ情報を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。複数の撮像画像１２３を入力可能な学習器として、例えば、上記ニューラルネットワークの他、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成された学習器を挙げることができる。

＜４．６＞
また、例えば、上記実施形態では、環境認識システムの情報処理装置として車載装置１を例示した。すなわち、車両に搭載する車載システムに本発明を適用した例を示した。しかしながら、情報処理装置の種類は、車載装置に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、ビル等の建築物に設置されたモジュールを制御する制御装置に本発明が適用されてもよい。

また、例えば、上記実施形態では、環境情報を利用するモジュールとして、空調装置１０１及びヘッドライト１０２を例示した。しかしながら、環境情報を利用するモジュールは、環境情報を利用可能な装置であれば、このような例に限定されなくてもよく、例えば、カーナビゲーション装置のディスプレイのバックライト等であってもよい。また、環境情報を利用するモジュールは、自動車等の車両に搭載される装置に限られなくてもよく、例えば、室内に設置される空調装置、ブラインド装置、照明等であってよい。

＜４．７＞
また、例えば、上記実施形態では、レンズアレイ３１は、３×３個のレンズ３１１を備え、これに対応して、光学センサ３は、３×３個の撮像素子３２を備えている。しかしながら、レンズアレイ３１の備えるレンズ３１１の個数及び撮像素子３２の個数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。加えて、レンズ３１１と撮像素子３２とは１対１で対応していなくてもよい。

また、例えば、上記実施形態では、各撮像素子３２は、５×５個の受光素子３２１を備えることで、５×５の画素数の撮像画像を形成可能に構成されている。しかしながら、各撮像素子３２の形成する撮像画像の画素数、すなわち、撮像素子３２の備える受光素子３２１の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。加えて、各撮像素子３２の画素数は異なっていてもよい。

＜４．８＞
また、例えば、上記実施形態では、被写体からの光をそれぞれ集光する複数の集光部を有する光学部材の一例として、レンズアレイを利用した。しかしながら、光学部材の種類は、レンズアレイに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。光学部材は、例えば、レンズアレイの他、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよく、また、レンズ状でなくとも、透過する光を不規則に撮像素子に対して入光させる光学部材、例えば、すりガラス状の板を用いてもよい。ここで、例えば、回折格子、拡散レンズ、ホログラムレンズの場合にはそれぞれ、１つの撮像素子に対して光を入光させる部分が集光部となる。すなわち、回折格子、拡散レンズ、ホログラムレンズはそれぞれ平板状に形成されていることが一般的であるが、このような平板状の光学部材には、当該光学部材を通して光を受光する各撮像素子に対応して、複数の集光部が存在することになる。なお、各撮像素子に対応して設けられる各集光部の集光角度、屈折率、透過する光の帯域等の光学特性は、一致していなくてもよい。

＜４．９＞
また、例えば、上記実施形態では、各レンズ３１１の光学特性は、実施の形態に応じて適宜決定されてよい。そこで、複数（実施形態では、３×３個）のレンズ３１１のうち少なくとも１つのレンズ３１１はその他のレンズ３１１と異なる光学特性を有するように構成してもよい。これにより、得られる撮像画像の多様性を高めることができる。

また、複数のレンズ３１１のうち少なくとも一部の光学特性は不規則性を有していてもよい。例えば、各レンズ３１１の光学特性をランダムに設定してもよい。各レンズ３１１の所望の光学特性は、各レンズ３１１の大きさ、素材、及び形状の少なくともいずれかを適宜調節して設計することで実現可能である。

これにより、得られる撮像画像の多様性を更に高めることができるため、周囲の環境６における明るさの程度及び明るさの決定因子の解析精度を高めることができる。なお、複数のレンズ３１１のうちの少なくとも一部の光学特性が不規則性を有しているとは、いずれか隣接するレンズ３１１同士で光学特性が相違する状態を指す。

ただし、不規則性を有する範囲は、レンズアレイ３１の一部に限られなくてもよく、レンズアレイ３１の全体であってもよい。例えば、レンズアレイ３１全体で光学特性をランダムに設定することで、全てのレンズ３１１の光学特性が不規則性を有するように構成されてもよい。

また、上記変形例のとおり、このような少なくとも一部の集光部の光学特性が不規則性を有する光学部材は、レンズアレイ以外でも構成可能である。例えば、すりガラス状の光学部材において、表面に不規則な凹凸又は溝を設けることで、凹凸又は溝を設けた範囲で光学特性を不規則に設定することができる。

＜４．１０＞
また、例えば、上記車載装置１は、複数件の学習結果データ１２２を保持し、利用者の指定に応じて、利用するニューラルネットワーク７を切り替え可能に構成されていてもよい。この場合、車載装置１は、利用者による入力装置１４の操作に応じて、各件の学習結果データ１２２を、ネットワーク１０を介して学習装置２から取得してもよいし、ドライブ１７を介して記憶媒体９１から取得してもよい。また、車載装置１は、学習装置２からの配信を受け付けることで、各件の学習結果データ１２２を取得してもよい。更に、各件の学習結果データ１２２はＮＡＳ（Network Attached Storage）等のその他の情報処理装置（記憶装置）に格納されていてもよく、車載装置１は、当該その他の情報処理装置にアクセスすることで、各件の学習結果データ１２２を取得してもよい。

１…車載装置（情報処理装置）、１００…環境認識システム、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…入力装置、１５…出力装置、１６…外部インタフェース、
１７…ドライブ、
１１１…明るさ情報取得部、１１２…環境情報取得部、
１２１…環境認識処理プログラム、１２２…学習結果データ、
１２３…撮像画像、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…外部インタフェース、
２７…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…撮像画像、２２４…環境情報、
３…光学センサ（センサ装置）、
３１…レンズアレイ（光学部材）、３１１…レンズ（集光部）、
３２…撮像素子、３２１…受光素子、
６…周囲の環境、
７…ニューラルネットワーク、
７１…入力層、７２…中間層（隠れ層）、７３…出力層、
８…ニューラルネットワーク、
８１…入力層、８２…中間層（隠れ層）、８３…出力層、
９１・９２…記憶媒体

Claims (16)

1. 周囲の環境の明るさに関する明るさ情報を検出するセンサ装置と、
   前記周囲の環境の明るさの程度及び明るさの決定因子を識別するための学習を行った学習済みの学習器に、前記センサ装置により得られた前記明るさ情報を入力することで、前記周囲の環境における明るさの程度及び明るさの決定因子の情報を含む環境情報群を取得する情報処理装置と、
   を備える、
   環境認識システム。
2. 前記環境情報群は、異なる種類の複数件の環境情報を含み、
   前記学習器は、前記各件の環境情報毎に設けられ、対応する前記各件の環境情報をそれぞれ出力する複数の出力部を含む、
   請求項１に記載の環境認識システム。
3. 前記情報処理装置は、前記環境情報を利用するモジュールに対して前記環境情報群に含まれる複数件の環境情報を選択的に出力する出力選択部を備え、
   前記出力選択部は、前記各出力部から出力される環境情報の中から利用する環境情報を選択し、選択した環境情報を前記モジュールに対して出力する、
   請求項２に記載の環境認識システム。
4. 前記出力選択部は、前記各出力部から出力される環境情報の内容に基づいて、前記各出力部から出力される環境情報の中から利用する環境情報を選択し、選択した環境情報を前記モジュールに対して出力する、
   請求項３に記載の環境認識システム。
5. 前記複数の出力部は、前記環境情報を利用する複数のモジュールに対応付けられており、それぞれ対応する当該各モジュールに前記各件の環境情報を出力する、
   請求項２に記載の環境認識システム。
6. 前記センサ装置は、３つ以上の異なる方向からそれぞれ明るさ情報を検出するように構成される、
   請求項１から５のいずれか１項に記載の環境認識システム。
7. 前記センサ装置は、前記周囲の環境からの光をそれぞれ集光する複数の集光部を有する光学部材、及びそれぞれ前記各集光部に対応して設けられ、前記各集光部の集光した光を受けて、前記周囲の環境を映した撮像画像を前記明るさ情報としてそれぞれ形成可能に構成された複数の撮像素子を備える光学センサにより構成される、
   請求項１から６のいずれか１項に記載の環境認識システム。
8. 前記複数の集光部のうち少なくとも１つの集光部はその他の集光部と異なる光学特性を有する、
   請求項７に記載の環境認識システム。
9. 前記複数の集光部のうち少なくとも一部の光学特性は不規則性を有している、
   請求項７又は８に記載の環境認識システム。
10. 前記光学部材は、レンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含む、
    請求項７から９のいずれか１項に記載の環境認識システム。
11. 前記センサ装置は、１又は複数の照度センサにより構成される、
    請求項１から６のいずれか１項に記載の環境認識システム。
12. 前記学習器は、ニューラルネットワーク、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成される、
    請求項１から１１のいずれか１項に記載の環境認識システム。
13. 前記明るさの程度は、所定の物理単位を用いた連続量、及び／又は明るさを段階的に示す明るさレベルで示される、
    請求項１から１２のいずれか１項に記載の環境認識システム。
14. 前記所定の物理単位は、照度、日射量、光束、光度、輝度、光度エネルギ、及び視感度の少なくともいずれかで示される、
    請求項１３に記載の環境認識システム。
15. 前記明るさの決定因子は、光を遮る遮蔽物の有無、当該遮蔽物の種類、太陽の有無、天候、時刻、及び都市度の少なくともいずれかで示される、
    請求項１から１４のいずれか１項に記載の環境認識システム。
16. 周囲の環境の明るさに関する明るさ情報を検出するセンサ装置から当該明るさ情報を取得する情報取得部と、
    取得した前記明るさ情報を入力すると、前記周囲の環境の明るさの程度及び明るさの決定因子の情報を含む環境情報群を出力するように学習器を学習させる学習処理部と、
    を備える、
    学習装置。