JP2018077786A - 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両 - Google Patents

Abstract

【課題】ＣＮＮを用いた画像処理をより高精度に実行する。
【解決手段】画像処理装置は、分割部と、生成部と、画像処理部と、を備える。分割部は、第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割する。生成部は、複数の領域に含まれる第１の領域の画素の画素値を第１の値に変更した第１の画像を生成する。画像処理部は、第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する。
【選択図】図１

Description

本実施形態は、画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両に関する。

可視光カメラ、赤外線カメラ、および、レーザカメラなどの撮影機器によって得られた画像は、機器自身や外部環境等に起因するノイズによって画質が低下する。この画質低下を低減する方法として、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Networks）を用いて、画像のノイズを低減する技術が開示されている。この技術は、人工的にノイズを付加した大量の自然画像を用いて、入力画像からノイズを付加する前の画像を推定する処理をＣＮＮで高精度に学習する。

Chao Dong, Yubin Deng, Chen Change Loy, Xiaoou Tang. Compression Artifacts Reduction by a Deep Convolutional Network, Proc. of International Conference on Computer Vision (ICCV), 2015. Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. He, Kaiming, et al. "Deep residual learning for image recognition." Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. Jiwon Kim, Jung Kwon Lee and Kyoung Mu Lee, "Accurate Image Super-Resolution Using Very Deep Convolutional Networks", Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

しかしながら、従来技術では、画像に含まれるノイズが適切に低減されない場合があった。

実施形態の画像処理装置は、分割部と、生成部と、画像処理部と、を備える。分割部は、第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割する。生成部は、複数の領域に含まれる第１の領域の画素の画素値を第１の値に変更した第１の画像を生成する。画像処理部は、第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する。

第１の実施形態の画像処理装置のブロック図。 第１の実施形態における画像処理のフローチャート。 領域分割処理の一例を説明する図。 画像生成処理およびノイズ低減処理の一例を説明する図。 画像生成処理およびノイズ低減処理の一例を説明する図。 ノイズが多い領域の補間処理を画像処理として実行する例を示す図。 領域ごとに異なる第１の値を用いる例を示す図。 第２の実施形態にかかる画像処理装置のブロック図。 第２の実施形態における画像処理のフローチャート。 画像生成処理およびノイズ低減処理の一例を説明する図。 ノイズを低減する領域が重複する例を示す図。 入力画像の領域の画素値を統合する例を示す図。 画像処理装置のハードウェア構成図。 画像処理装置を搭載する車両の構成例を示す図。

以下に添付図面を参照して、この発明にかかる画像処理装置の好適な実施形態を詳細に説明する。

ＣＮＮで用いられる畳み込み演算では、注目画素の近傍の画素値の重み付和を出力する処理が、注目画素の位置を移動させながら入力画像に適用される。近傍の画素値に対する重みは、注目画像の位置によらず画像全体で同じ値が用いられる。したがって、畳み込み演算は、入出力の応答が画像内の位置に依存しない。ＣＮＮは、このように位置に依存しない畳み込み演算に基づいているため、画像内の位置によって処理を変えることが難しい。このため、従来技術では、画像の領域によって性質の異なるノイズが発生している場合など、画像の領域ごとに異なるノイズ低減処理を行うことが望ましい場合には、一部の領域のノイズが適切に低減されない問題があった。

例えば、レーザの反射光を分析することで距離計測するＬＩＤＡＲ（Light Detection And Ranging）により得られた距離画像（以下、ＬＩＤＡＲ距離画像という）のノイズ低減を考える。ＬＩＤＡＲ距離画像には、ノイズが多い領域およびノイズが少ないが含まれる。ノイズが多い領域例えば、空および斜面などレーザの反射光が正常に得られない領域は、ノイズが大きな領域となる。レーザの反射光が得られやすい領域は、ノイズが小さい領域である。ノイズが大きな領域は、例えば、ＳＮ比（受光されるレーザの反射光（Ｓ）の、その他に受光される環境光や回路等のノイズ（Ｎ）に対する割合）が小さい画素を多く含む。ノイズが大きな領域は、例えば画素のＳＮ比の平均値が小さい。ノイズが大きな領域は、例えばノイズ誤差が大きい領域である。ノイズが大きな領域は、例えばノイズ頻度が大きい領域である。

入力画像のノイズを適切に低減するためには、ノイズが多いと推定される領域を特定し、領域ごとに適切にノイズ除去の処理をすることが望ましい。例えば、領域ごとに異なるノイズ除去の処理を行う。しかし、位置に依存しない畳み込み演算に基づくＣＮＮでは、領域の特定、および、処理の分岐の２つを同時に学習することが難しい。このため、ＬＩＤＡＲ距離画像のノイズ低減処理を学習すると、相対的にノイズが大きいノイズが多い領域のノイズ低減処理に学習が偏り、ノイズが小さいノイズが少ない領域のノイズが十分に低減されない。またノイズが多い領域とノイズが少ない領域の境界は、２つの領域にまたがって畳み込み演算がされるのでぼやけやすい。

（第１の実施形態）
そこで、第１の実施形態の画像処理装置は、入力画像を領域分割し、領域を識別する情報を入力画像に埋めこむために、領域分割結果に基づいて入力画像の１つ以上の特定の領域の値を第１の値に変換して第１の画像を生成する。このようにして領域を識別する情報を埋め込んだ第１の画像に対して、ＣＮＮを用いてノイズ低減などの画像処理を実行する。これにより、画像処理をより高精度に実行することができる。例えばノイズ低減処理を実行する場合、特定の領域のノイズをより高精度に低減することが可能となる。

なお、以下の説明の一部では入力画像はＬＩＤＡＲ距離画像としているが、入力画像はＬＩＤＡＲ距離画像に限られるものではない。入力画像は、ＬＩＤＡＲ以外の方法で得られた距離画像であってもよい。距離画像とは、画素が距離を示す値を有する画像である。また、入力画像は、可視光カメラおよび赤外線カメラなどのＬＩＤＡＲ以外の撮影機器により得られた画像でもよい。

図１は、第１の実施形態の画像処理装置１００の機能構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、受付部１０１と、分割部１０２と、生成部１０３と、画像処理部１０４と、記憶部１２１と、を備えている。

受付部１０１は、処理対象となる画像の入力を受け付ける。例えばＬＩＤＡＲ距離画像を入力画像とする場合は、受付部１０１は、ＬＩＤＡＲにより距離を測定して距離画像を出力する測定装置から、ＬＩＤＡＲ距離画像を受け付ける。測定装置は、画像処理装置の内部および外部のいずれに備えられていてもよい。

記憶部１２１は、画像処理装置１００の各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、受け付けられた入力画像を記憶する。

分割部１０２は、入力画像を複数の領域に分割する。例えば分割部１０２は、ＣＮＮ（第１のＣＮＮ）を用いて入力画像を複数の領域に分割する。入力画像を複数の領域に分割する手法は、ＣＮＮを用いる手法に限られるものではなく、他の任意の手法を適用できる。例えば分割部１０２は、サポートベクターマシーン（ＳＶＭ）などのＣＮＮ以外の機械学習のモデルを用いる手法、および、画素値または画素値の統計値と閾値との比較結果に応じて領域に分割する手法などを適用してもよい。画素値の統計値は、例えば、矩形および円形などの領域内の画素値の分散および平均値などである。分割部１０２は、例えば入力画像のうちノイズが多いと推定される領域と他の領域を分割する。

生成部１０３は、複数の領域に含まれる特定の領域（第１の領域）の画素の画素値を、特定の値（第１の値）に変更した画像（第１の画像）を生成する。第１の値の代わりに、第１の範囲に含まれる値を用いてもよい。

画像処理部１０４は、生成された画像（第１の画像）に対して分割部１０２が用いるＣＮＮ（第１のＣＮＮ）と異なるＣＮＮ（第２のＣＮＮ）を用いる画像処理を実行して画像（第２の画像）を生成する。画像処理はＣＮＮを用いた画像処理であればどのような処理であってもよい。画像処理部１０４は、例えば、ノイズ低減処理、超解像処理、および、補間処理などの画像処理を実行する。以下では、主にノイズ低減処理を画像処理として実行する例を説明する。第１のＣＮＮと第２のＣＮＮは、同じ手法であってもよいし異なる手法であってもよい。

なお、受付部１０１、分割部１０２、生成部１０３、および、画像処理部１０４の機能の一部または全部は、１つの機能部が実現するように構成してもよい。例えば、画像処理部１０４が、分割部１０２および生成部１０３の機能をさらに備えていてもよい。すなわち、画像処理部１０４が、第１のＣＮＮを用いて入力画像を複数の領域に分割し、複数の領域に含まれる特定の領域（第１の領域）の画素の画素値を特定の値（第１の値）に変更した第１の画像を生成し、第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成してもよい。

受付部１０１、分割部１０２、生成部１０３、および、画像処理部１０４は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

次に、このように構成された第１の実施形態にかかる画像処理装置１００による画像処理について図２を用いて説明する。図２は、第１の実施形態における画像処理の一例を示すフローチャートである。

処理対象となる入力画像は受付部１０１により受付けられる。まず分割部１０２が、入力画像に対する領域分割処理を実行する（ステップＳ１０１）。領域分割処理では、分割部１０２には、ノイズを含む入力画像が入力される。また、入力画像の各画素が属する領域を識別する記号であるラベルが、第１のＣＮＮを用いて出力される。第１のＣＮＮは、入力層で入力画像を受け付け、出力層で入力画像の各画素の各ラベルのスコア（距離値がラベルの領域に属する確率・尤度等）を出力する。第１のＣＮＮの入出力構造は、例えば非特許文献２のＦＣＮと同様とすることができる。第１のＣＮＮには、非特許文献２のＦＣＮの他、非特許文献３のＲｅｓＮｅｔを用いることもできるし、認識処理で用いられる他のＣＮＮを用いても構わない。

分割部１０２は、複数のラベルのうち、入力画像の各画素について第１のＣＮＮの出力したスコアが最も高いラベルを、当該画素のラベルとして与える。ラベルの種類（領域の種類）は、例えば設計者が事前に決めればよい。

図３は、領域分割処理の一例を説明する図である。例えば入力画像３０１がＬＩＤＡＲ距離画像の場合、分割部１０２は、空などの物体がないノイズが多い領域（図３の領域Ａ）、斜面などの物体があるノイズが多い領域（図３の領域Ｃ）、および、その他のノイズが少ない領域（図３の領域Ｂ）の３つの領域に分割してもよい。図３の出力３０２は、入力画像を分割した３つの領域Ａ、Ｂ、Ｃを模式的に示している。領域Ａ、Ｂ、および、Ｃには、例えば、「ノイズが多い領域（物体なし）」、「ノイズが少ない領域」、および、「ノイズが多い領域（物体あり）」を示すラベルがそれぞれ付与される。

分割方法はこれに限定されず、例えば図３の領域Ａおよび領域Ｃは、ノイズが多い領域として１つラベルで表しても構わない。また、人や道路などの属性、ノイズの強弱、明暗、前景と背景、および、後段の画像処理の必要性の有無など、設計者が定める任意の基準に基づいて分割しても構わない。

第１のＣＮＮは、例えば、各画素が属する領域の正解ラベルを付与した入力画像を用いた学習により事前に作成される。第１のＣＮＮには少なくとも入力画像が入力されるが、入力画像以外の画像をさらに入力してもよい。例えば、ＬＩＤＡＲ距離画像のノイズ低減の場合、レーザの反射光の強さを示す反射強度画像や可視光カメラによる撮影画像を新たに加えてもよい。この場合、第１のＣＮＮは、入力画像と入力画像以外の画像を用いた学習により作成されてもよい。分割部１０２は、このようにして作成された第１のＣＮＮに、入力画像と入力画像以外の画像を入力することにより、入力画像を複数の領域に分割する。

図２に戻り、生成部１０３は、画像生成処理を実行する（ステップＳ１０２）。画像生成処理では、生成部１０３は、特定のラベルが付与された特定の領域（第１の領域）の画素値を、特定の値（第１の値）に置き換えた画像（第１の画像）を生成する。例えば生成部１０３は、ノイズが多い領域を示すラベルが付与された領域を特定の領域とし、この領域の画素値を特定の値に置き換えた画像を生成する。特定のラベルは１つであってもよいし、複数であってもよい。特定のラベルが複数の場合、画素値を置き換える特定の値が複数の異なる値であってもよい。

画像処理部１０４は、第１の画像を入力し、第２のＣＮＮによるノイズ低減処理を実行して画像（第２の画像）を出力する（ステップＳ１０３）。ノイズ低減処理では、第１の画像に含まれる１つ以上の領域のノイズが低減された第２の画像が、第２のＣＮＮを用いて出力される。

第２のＣＮＮは、入力層で第１の画像を受けつけ、出力層で第２の画像を出力する。第２のＣＮＮには、例えば、非特許文献１のＡＲＣＮＮ、非特許文献４のＶＤＳＲ、および、ＶＤＳＲにＲｅｓＮｅｔを組み合わせた構造を用いることができる。画像処理部１０４は、第２のＣＮＮとして、画像処理で用いられる他のＣＮＮを用いても構わない。第２の画像に領域の情報を第１の値として埋め込むことで、第２のＣＮＮが領域を区別して特定の領域のノイズを低減しやすくすることが可能となる。

図４は、画像生成処理およびノイズ低減処理の一例を説明する図である。画像生成処理で第１の値に置き換えられる領域のラベル（特定のラベル）、第１の値、および、ノイズ低減処理の対象とする領域のラベルは、設計者が事前に決めればよい。

例えば、ＬＩＤＡＲ距離画像のノイズ低減の場合、生成部１０３は、図４のように第１の値を０として、ノイズが多い領域である領域Ａと領域Ｃを０に置き換えることで第１の画像４０１を生成する。また、画像処理部１０４は、ノイズが少ない領域のノイズ低減を学習した第２のＣＮＮに第１の画像を入力する。これによりノイズが少ない領域である領域Ｂのノイズを低減した第２の画像４０２を出力することができる。

なお、第２のＣＮＮでノイズ低減する領域は複数でもよく、また画素値を第１の値で置き換えた領域が含まれてもよい。例えばノイズが少ない領域である領域Ｂに囲まれているノイズが多い領域である領域Ｃは、周囲の画素値から真値を推定可能である。このため、ノイズが少ない領域のノイズ低減とともに領域Ｃの補間処理を画像処理として実行してもよい。

図５は、このように構成する場合の画像生成処理およびノイズ低減処理の一例を説明する図である。画像処理部１０４は、ノイズ低減および補間を学習した第２のＣＮＮに第１の画像を入力することにより、ノイズが少ない領域である領域Ｂのノイズを低減するとともに、領域Ｃの画素値を補間した第２の画像４０２ｂを出力することができる。領域Ｃがノイズが多い領域であるという情報は、第１の値を入力画像に埋め込むことでＣＮＮに伝達できるため、本来ＣＮＮが苦手な分岐処理を実現できる。

図６は、ノイズ低減処理を実行せずノイズが多い領域の補間処理を画像処理として実行する例を示す図である。画像処理部１０４は、補間を学習した第２のＣＮＮに第１の画像を入力することにより、領域Ｃの画素値を補間した第２の画像４０２ｃを出力することができる。

第１の値は領域ごとに変えてもよいし、０でなくともよい。図７は、領域ごとに異なる第１の値を用いる例を示す図である。生成部１０３は、例えば領域Ａに対して第１の値として０を付与し、領域Ｂに対して第１の値として０以外の値を付与した第１の画像４０１ｄを生成する。画像処理部１０４は、第２のＣＮＮに第１の画像４０１ｄを入力することにより第２の画像４０２ｄを出力する。第２の画像４０２ｄにおいて、例えばノイズが少ない領域である領域Ｂのノイズが低減されている。第２の画像４０２ｄにおいて、例えばノイズが多い領域である領域Ｃの画素値が補完されている。第２の画像４０２ｄにおいて、例えばノイズが少ない領域である領域Ｂのノイズが低減され、かつノイズが多い領域である領域Ｃの画素値が補完されてもよい。

入力画像の画素値の第１の値への置換は、分岐処理に適さないＣＮＮに領域の判別をしやすくさせる情報を与えることに相当する。このため、第１の値は、第２のＣＮＮでノイズを低減する領域に含まれる頻度が少ない値を選ぶとよい。

なお、ＬＩＤＡＲ距離画像では、空などのノイズが多い領域は真値が不明である。この領域の仮の距離の正解値を０とすれば、ノイズが多い領域の画素値を第１の値である０で置き換えることで、ノイズが多い領域のノイズが低減できたと考えることができる。従って、追加でノイズ低減を実行する必要はない。

なお、第２のＣＮＮには少なくとも第１の画像が入力されるが、第１の画像以外の画像をさらに入力してもよい。例えば、ＬＩＤＡＲ距離画像のノイズ低減の場合、入力画像、反射強度画像、および、可視光カメラによる撮影画像を新たに加えてもよい。この場合、第２のＣＮＮは、第１の画像と第１の画像以外の画像を用いた学習により作成される。画像処理部１０４は、このようにして作成された第２のＣＮＮに、第１の画像と第１の画像以外の画像を入力することにより画像処理を実行して第２の画像を出力する。

第１のＣＮＮおよび第２のＣＮＮは、ノイズを含む入力画像、ノイズを含まない正解画像、および、入力画像の各画素が属する領域の正解ラベルの組である複数の学習データを用いて学習される。第１のＣＮＮおよび第２のＣＮＮの学習は個別に行うこともできるし、同時に行うこともできる。

個別に学習する場合、第１のＣＮＮは、例えば非特許文献２のように、入力画像を入力した際に出力されるラベルが正解ラベルに近づくほど値が小さくなる誤差関数を最小化することで学習される。誤差関数は、例えば、画像認識で一般に用いられる交差エントロピー誤差関数を用いることができる。誤差関数の最小化には、例えば、勾配降下法、共役勾配法、および、ニュートン法など任意の最小化手法を用いることができる。

第２のＣＮＮの個別学習では、正解ラベル、または、事前に学習した第１のＣＮＮが出力したラベルを用いて入力画像から第１の画像を生成し、例えば非特許文献１のように第１の画像を入力として第２のＣＮＮによって出力される第２の画像が正解画像に近づくほど値が小さくなる誤差関数を最小化する。誤差関数は、例えば平均２乗誤差関数および平均絶対値誤差関数を用いることができる。

第１のＣＮＮと第２のＣＮＮを同時に学習する場合、第１のＣＮＮが出力したラベルと正解ラベルとの誤差を測る誤差関数と、第１のＣＮＮが出力したラベルを用いて生成した第１の画像を入力として第２のＣＮＮによって出力される第２の画像と正解画像の誤差を測る誤差関数と、の重み付和を最小化する。重みは、設計者が適宜決定してよい。最小化の方法は個別に行う場合と同様である。

このように、第１の実施形態にかかる画像処理装置では、入力画像を複数の領域に分割し、複数の領域のうち画像処理の対象とする特定の領域の値を第１の値に変換して第１の画像を生成する。そして、第１の画像に対してＣＮＮを用いてノイズ低減などの画像処理を実行する。これにより、画像処理をより高精度に実行することが可能となる。

（第２の実施形態）
第１の実施形態では、領域を分割した後の１つの画像（第１の画像）に対して、１つのＣＮＮ（第２のＣＮＮ）を用いた画像処理を実行する。このような構成では、例えば、領域ごとに異なるＣＮＮを用いた画像処理を適用することができない。そこで第２の実施形態にかかる画像処理装置は、複数の第１の画像を生成し、複数の第１の画像それぞれに対して異なる第２のＣＮＮを適用した結果である複数の第２の画像を統合し、第３の画像を生成する。これにより、領域ごとに異なる画像処理を実行することができる。

図８は、第２の実施形態にかかる画像処理装置１００−２の構成の一例を示すブロック図である。図８に示すように、画像処理装置１００−２は、受付部１０１と、分割部１０２と、生成部１０３−２と、画像処理部１０４−２と、統合部１０５−２と、を備えている。

第２の実施形態では、生成部１０３−２と画像処理部１０４−２の機能、および、統合部１０５−２を追加したことが第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる画像処理装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

生成部１０３−２は、複数の第１の画像を生成する点が、第１の実施形態の生成部１０３と異なっている。第１の画像の個数は任意である。また、生成する複数の第１の画像の一部または全部は相互に異なっていてもよいし、同一であってもよい。

画像処理部１０４−２は、生成された複数の第１の画像それぞれに対して、複数の第２のＣＮＮのうちいずれかを用いる画像処理を実行して複数の第２の画像を生成する。

統合部１０５−２は、生成された複数の第２の画像を統合した第３の画像を生成する。例えば統合部１０５−２は、複数の第２の画像の対応する画素の画素値を重み付け平均した値を、第３の画像の対応する画素の画素値とすることにより、複数の第２の画像を統合する。

受付部１０１、分割部１０２、生成部１０３−２、画像処理部１０４−２、および、統合部１０５−２の機能の一部または全部は、１つの機能部が実現するように構成してもよい。例えば、画像処理部１０４−２が、分割部１０２、生成部１０３−２および統合部１０５−２の機能をさらに備えていてもよい。すなわち、画像処理部１０４−２が、第１のＣＮＮを用いて入力画像を複数の領域に分割し、複数の領域に含まれる特定の領域（第１の領域）の画素の画素値を特定の値（第１の値）に変更した複数の第１の画像を生成し、複数の第１の画像それぞれに対して複数の第２のＣＮＮにうちのいずれかを用いる画像処理を実行して複数の第２の画像を生成し、複数の第２の画像を統合した第３の画像を生成してもよい。

次に、このように構成された第２の実施形態にかかる画像処理装置１００−２による画像処理について図９を用いて説明する。図９は、第２の実施形態における画像処理の一例を示すフローチャートである。

ステップＳ２０１の領域分割処理は、第１の実施形態にかかる画像処理装置１００におけるステップＳ１０１と同様の処理なので、その説明を省略する。

生成部１０３−２は、画像生成処理を実行する（ステップＳ２０２）。本実施形態の画像生成処理では、生成部１０３−２は、第１の画像を複数生成する。次に画像処理部１０４−２は、複数の第１の画像のそれぞれについて、複数の第２のＣＮＮのうち対応する第２のＣＮＮによるノイズ低減処理を実行して画像（第２の画像）を出力する（ステップＳ２０３）。ノイズ低減処理により、特定の領域のノイズが低減された複数の第２の画像が、複数の第２のＣＮＮそれぞれを用いて出力される。この際、例えば、複数の第１の画像のそれぞれに対して、ノイズを低減できるように学習された異なる第２のＣＮＮが用いられる。複数の第２のＣＮＮの一部または全部は、同一であってもよい。個々の第１の画像の生成処理、および、第２のＣＮＮの処理は、第１の実施形態と同じである。

なお、第１の画像は他の第１の画像と第１の値で置き換える領域が同じでも構わない。また、第２のＣＮＮで処理する領域は、他の第２のＣＮＮで処理する領域と重複しても構わない。各第１の画像で第１の値に置き換える領域、第１の値、および、第２のＣＮＮで処理する領域は、設計者が事前に決定すればよい。

複数の第２のＣＮＮのそれぞれには少なくとも第１の画像が入力されるが、第１の画像以外の画像をさらに入力してもよい。例えば、ＬＩＤＡＲ距離画像のノイズ低減の場合、入力画像、他の第２のＣＮＮが出力した第２の画像、反射強度画像、および、可視光カメラによる撮影画像を新たに加えてもよい。この場合、第２のＣＮＮは、第１の画像と第１の画像以外の画像を用いた学習により作成される。画像処理部１０４−２は、このようにして作成された第２のＣＮＮに、第１の画像と第１の画像以外の画像を入力することにより画像処理を実行して第２の画像を出力する。

図１０は、本実施形態の画像生成処理およびノイズ低減処理の一例を説明する図である。本実施形態では、生成部１０３−２は、複数の第１の画像１００１、１００２、１００３を生成する。第１の画像１００１は、例えば領域Ａ、Ｃ、Ｄの画素値を０に置き換えた画像である。第１の画像１００２は、領域Ａ、Ｂ、Ｄの画素値を０に置き換えた画像である。第１の画像１００３は、領域Ａ、Ｂ、Ｃの画素値を０に置き換えた画像である。

画像処理部１０４−２は、第１の画像１００１、１００２、および、１００３に対して、それぞれ第２のＣＮＮ１０４−２−１、１０４−２−２、および、１０４−２−３を適用して、第２の画像１０１１、１０１２、および、１０１３を生成する。

第２のＣＮＮ１０４−２−１は、例えば、領域ＡおよびＢのノイズを低減するために用いられる。第２のＣＮＮ１０４−２−１を適用することにより、領域ＡおよびＢのノイズが低減された第２の画像１０１１が生成される。第２のＣＮＮ１０４−２−２は、例えば、領域Ｃのノイズを低減するために用いられる。第２のＣＮＮ１０４−２−２を適用することにより、領域Ｃのノイズが低減された第２の画像１０１２が生成される。第２のＣＮＮ１０４−２−３は、例えば、領域Ｄのノイズを低減するために用いられる。第２のＣＮＮ１０４−２−３を適用することにより、領域Ｄのノイズが低減された第２の画像１０１３が生成される。第２のＣＮＮそれぞれが、いずれのラベルに対応する領域を処理するかは、例えば設計者が事前に決定しておく。

図９に戻り、統合部１０５−２は、複数の第２の画像を統合し、特定の領域のノイズが低減された第３の画像を生成する（ステップＳ２０４）。例えば統合部１０５−２は、複数の第２の画像のそれぞれでノイズが低減された領域の画素値を、第３の画像の画素値とすることにより、第３の画像を生成する。図１０の例では、統合部１０５−２は、第２の画像１０１１内の領域Ａ、Ｂ、第２の画像１０１２内の領域Ｃ、および、第２の画像１０１３内の領域Ｄの画素値を、それぞれ対応する領域の画素値とする第３の画像を生成してもよい。

画像処理部１０４−２は、複数の第２の画像で重複する領域のノイズを低減してもよい。この場合、統合部１０５−２は、例えば複数の第２の画像の対応する画素の画素値を重み付け平均した値を、第３の画像の対応する画素の画素値とする。重みは、全ての第２の画像で等しい定数値でもよいし、第２のＣＮＮの該当領域の処理精度が高いほど大きな値としてもよい。

図１１は、ノイズを低減する領域が重複する例を示す図である。第２の画像１０１１−２は、領域Ａ、Ｂ、Ｄのノイズが低減された画像である。領域Ｄは、第２の画像１０１３でもノイズが低減されている。すなわち、第２の画像１０１１−２と第２の画像１０１３では、ノイズを低減した領域（領域Ｄ）が重複する。統合部１０５−２は、領域Ｄに対応する領域については、第２の画像１０１１−２と第２の画像１０１３の領域Ｄの画素値の重み付け平均した値を画素値とする第３の画像１１１１を生成する。

なお、図１１の画像１１０１は、各領域の画素値として採用する画像を模式的に示す。Ｙ１、Ｙ２およびＹ３は、それぞれ第２の画像１０１１−２、第２の画像１０１２、および、第２の画像１０１３の画素値を採用することを示す。ｗ１およびｗ３は、それぞれ第２の画像１０１１−２および第２の画像１０１３の画素値に対して付与する重みを示す。

第２のＣＮＮによってノイズが低減されない領域がある場合、入力画像の領域の画素値を第３の画像の画素値として統合してもよい。図１２は、入力画像の領域の画素値を統合する例を示す図である。画像１１０１ｂは、各領域の画素値として採用する画像を模式的に示す。Ｉは、入力画像の画素値を採用することを示す。画像１１０１ｂに示すように、この例では、領域Ｄに対応する領域については、入力画像の画素値を第３の画像の画素値とする。これにより、入力画像にノイズの低減が必要のない領域があれば、その領域の入力画像の画素値を第３の画像の画素値として出力できる。

以上説明したとおり、第１および第２の実施形態によれば、ＣＮＮを用いた画像処理をより高精度に実行することが可能となる。

次に、第１および第２の実施形態の画像処理装置のハードウェア構成について図１３を参照して説明する。画像処理装置は、ＣＰＵ（Central Processing Unit）８０１、操作装置８０２、表示装置８０３、ＲＯＭ（Read Only Memory）８０４、ＲＡＭ（Random Access Memory）８０５、記憶装置８０６を備え、各部はバス８１０により接続されている。

ＣＰＵ８０１は、ＲＡＭ８０５の所定領域を作業領域として、ＲＯＭ８０４に予め記憶された各種制御プログラムとの協働により各種処理を実行し、画像処理装置を構成する各部の動作を統括的に制御する。また、ＣＰＵ８０１は、ＲＯＭ８０４に予め記憶されたプログラムとの協働により、上述した各部の機能を実現させる。操作装置８０２は、画像を電気信号に変換し、信号としてＣＰＵ８０１に出力する。表示装置８０３は、各種情報を表示するディスプレイ装置などである。

ＲＯＭ８０４は、画像処理装置の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ８０５は、ＳＤＲＡＭ等の記憶媒体であって、ＣＰＵ８０１の作業エリアとして機能し、バッファ等の役割を果たす。記憶装置８０６は、磁気的または光学的に記録可能な記憶媒体を有し、操作装置８０２を介して取得された画像信号、および、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される画像等のデータを記憶する。なお、これに限らず、例えば画像処理装置の上述の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路）で実現される形態であってもよい。

第１または第２の実施形態にかかる画像処理装置で実行されるプログラムは、ＲＯＭ８０４等に予め組み込まれて提供される。

第１または第２の実施形態にかかる画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１または第２の実施形態にかかる画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる画像処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１または第２の実施形態にかかる画像処理装置で実行されるプログラムは、コンピュータを上述した画像処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ８０１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

上記実施形態の画像処理装置は、例えば、距離画像等に基づき自律的に走行する車両の運転制御システムの一部として実現することができる。図１４は、上記実施形態の画像処理装置を搭載する車両１４００の構成例を示す図である。

車両１４００は、運転制御システムとして、測定装置１４０１と、制御部１４０２と、画像処理装置１００とを含む。なお画像処理装置１００の代わりに第２の実施形態の画像処理装置１００−２を搭載するように構成してもよい。

測定装置１４０１は、例えば、ＬＩＤＡＲにより車両１４００の前方の物体までの距離を測定して距離画像を出力する装置である。画像処理装置１００は、測定装置１４０１から出力された距離画像を入力し、上記の各処理を実行して第２の画像を出力する。制御部１４０２は、第２の画像に基づいて車両１４００の運転を制御する。

車両１４００は、図１４のように自動四輪車に限られるものではなく、自動二輪車、自転車、鉄道車両などであってもよい。また車両１４００の代わりに、飛行体（ドローンなど）、および、ロボットなどの移動体に適用してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００−２ 画像処理装置
１０１ 受付部
１０２ 分割部
１０３、１０３−２ 生成部
１０４、１０４−２ 画像処理部
１０５−２ 統合部
８０１ ＣＰＵ
８０２ 操作装置
８０３ 表示装置
８０４ ＲＯＭ
８０５ ＲＡＭ
８０６ 記憶装置
８１０ バス
１４００ 車両
１４０１ 測定装置
１４０２ 制御部

Claims (10)

1. 入力画像を記憶する記憶部と、
   第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割し、
   前記複数の領域に含まれる第１の領域の画素の画素値を第１の値に変更した第１の画像を生成し、
   前記第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する画像処理部と、
   を備える画像処理装置。
2. 前記入力画像は、画素が距離を示す値を有する距離画像であり、
   前記第１の領域は、前記第１のＣＮＮによりノイズが多いと推定される領域である、
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、複数の前記第１の画像を生成し、
   複数の前記第１の画像それぞれに対して、複数の第２のＣＮＮのうちのいずれかを用いる画像処理を実行して複数の第２の画像を生成し、
   前記複数の第２の画像を統合した第３の画像を生成する、
   請求項１に記載の画像処理装置。
4. 前記画像処理部は、前記複数の第２の画像の対応する画素の画素値を重み付け平均した値を、前記第３の画像の対応する画素の画素値とする、
   請求項３に記載の画像処理装置。
5. 前記画像処理は、第２のＣＮＮを用いて前記第１の画像のノイズを低減する処理である、
   請求項１に記載の画像処理装置。
6. 前記画像処理は、第２のＣＮＮを用いてノイズを低減するとともに、前記第１の領域の画素値を補間する処理である、
   請求項１に記載の画像処理装置。
7. 第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割する分割ステップと、
   前記複数の領域に含まれる第１の領域の画素の画素値を第１の値に変更した第１の画像を生成する生成ステップと、
   前記第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する画像処理ステップと、
   を含む画像処理方法。
8. コンピュータを、
   第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割する分割部と、
   前記複数の領域に含まれる第１の領域の画素の画素値を第１の値に変更した第１の画像を生成する生成部と、
   前記第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する画像処理部と、
   として機能させるためのプログラム。
9. 第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割する分割部と、
   前記複数の領域に含まれる第１の領域の画素の画素値を第１の値とした第１の画像を生成する生成部と、
   前記第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する画像処理部と、
   前記第２の画像に基づいて車両の運転を制御する制御部と、
   を備える運転制御システム。
10. 車両であって、
    第１のＣＮＮ（Convolutional Neural Networks）を用いて、入力画像を複数の領域に分割する分割部と、
    前記複数の領域に含まれる第１の領域の画素の画素値を第１の値とした第１の画像を生成する生成部と、
    前記第１の画像に対して第２のＣＮＮを用いる画像処理を実行して第２の画像を生成する画像処理部と、
    前記第２の画像に基づいて前記車両の運転を制御する制御部と、
    を備える車両。

Images