JP2022154264A - 撮像装置、画像処理装置、移動装置、制御方法およびコンピュータプログラム - Google Patents

Abstract

【課題】例えばＲＣＣＢセンサまたは特定の光学系に適した画像補正処理（歪曲補正など）を行えるようにする。【解決手段】撮像装置は、撮像素子と、前記撮像素子の撮像面に像を形成すると共に、前記撮像面内の位置に応じて結像倍率が異なる特性を有する光学系と、前記撮像素子から出力されたデータから少なくとも２色のカラー画像データを生成するデモザイク部と、前記デモザイク部により生成された前記少なくとも２色のカラー画像データの歪曲を補正する歪曲補正部とを有する。【選択図】 図１

Description

本発明は、歪曲補正処理を行う撮像装置、制御方法などに関するものである。

撮像装置では、撮像素子から得られる画像データに対し、光学特性補正（周辺光量落ち補正、色収差補正を含む）および現像処理（ホワイトバランス調整、デモザイク処理を含む）を行うことで、カラー画像データを生成することができる。なお、現像処理が行われる前の画像データは一般的にＲＡＷデータと呼ばれている。

ＲＡＷデータの生成には、ＲＧＧＢセンサを利用することが一般的である。ＲＧＧＢセンサとは、Ｒフィルタ、ＧフィルタおよびＢフィルタがモザイク状にベイヤー配列で配列されている光学フィルタが、撮像素子の前面に配置された撮像素子である。一方、特許文献１には、画素回路の高感度化のために、Ｇ（緑）フィルタを無色（Ｃｌｅａｒ）フィルタに変更したＲＣＣＢセンサを利用してＲＡＷデータを生成する方法が記載されている。ＲＣＣＢセンサとは、Ｒフィルタ、ＣフィルタおよびＢフィルタがモザイク状にベイヤー配列で配列されている光学フィルタが、撮像素子の前面に配置された撮像素子である。

特許文献２には、他の車両、障害物、信号機、標識などを視認するために、中心画角領域での結像倍率を大きくした特殊な光学系を用いて前方の画像を取得する方法が記載されている。

特開２０１８－９３４８０号公報 特開２００４－３５４５７２号公報

しかし、ＲＣＣＢセンサを利用した撮像装置または中心画角領域での結像倍率を大きくした特殊な光学系を利用した撮像装置で生成されたＲＡＷデータは、既存の現像処理回路またはレタッチソフトでは適切な画像補正処理を行うことができない場合がある。そのため、既存の現像処理回路またはレタッチソフトでは、所望の画質の画像データを得ることが困難であった。

そこで、本発明は、例えばＲＣＣＢセンサまたは特定の光学系に適した画像補正処理（歪曲補正など）を行えるようにすることを目的とする。

上記課題を解決するために、本発明に係る撮像装置は、撮像素子と、前記撮像素子の撮像面に像を形成すると共に、前記撮像面内の位置に応じて結像倍率が異なる特性を有する光学系と、前記撮像素子から出力されたデータから少なくとも２色のカラー画像データを生成するデモザイク部と、前記デモザイク部により生成された前記少なくとも２色のカラー画像データの歪曲を補正する歪曲補正部とを有する。

本発明によれば、例えばＲＣＣＢセンサまたは特定の光学系に適した画像補正処理（歪曲補正など）を行うことができる。

実施形態１における撮像装置の構成要素を説明するためのブロック図である。 実施形態１における撮像レンズユニットの画角毎の画素密度の一例を説明するための図である。 実施形態１における撮像素子の前面に配置される光学フィルタの例を説明するための図である。 実施形態１におけるデモザイク部における処理の一例を説明するための図である。 実施形態１における歪曲補正処理の一例を説明するための図である。 実施形態１における撮像装置で行われる処理を説明するためのフローチャートである。 実施形態２における撮像装置の構成要素を説明するためのブロック図である。 実施形態２における歪曲補正部の構成要素を説明するためのブロック図である。 実施形態２におけるレンズ特性データの一例を説明するための図である。 実施形態２における撮像装置で行われる処理を説明するためのフローチャートである。 実施形態２における撮像装置で行われる処理を説明するためのフローチャートである。 実施形態３における撮像装置の構成要素を説明するためのブロック図である。 実施形態３における歪曲補正部の構成要素を説明するためのブロック図である。 実施形態３における撮像装置で行われる処理を説明するためのフローチャートである。 実施形態３における撮像装置で行われる処理を説明するためのフローチャートである。

以下、添付図面を参照して、本発明の実施形態を説明する。

以下の実施形態において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。また、以下の実施形態においては、移動装置（自動車など）に搭載される撮像装置（車載カメラ）を撮像装置の例として説明する。しかしながら、以下の実施形態における撮像装置は、デジタルスチルカメラ、デジタルムービーカメラ、スマートフォン、タブレットコンピュータ、ネットワークカメラ、ドローン、ロボットまたはその他の電子機器に搭載された撮像装置であってもよい。

［実施形態１］
図１は、実施形態１における撮像装置の構成要素を説明するためのブロック図である。
撮像レンズユニット１００は、後述の撮像素子１０１の撮像面に光学像を形成すると共に、撮像面内の位置に応じて結像倍率が異なる特性を有する光学系としての撮像レンズユニットである。

撮像レンズユニット１００は、例えば、撮像素子１０１の撮像面の中央部（視野中央部、中心画角領域）の解像度が高く、撮像面の周辺部（視野周辺部、周辺画角領域）の解像度が低くなるように画角毎に結像倍率が異なるような光学特性を有する。そして、撮像装置は、撮像レンズユニット１００を用いて被写体の光学像を撮像素子１０１の撮像面に形成する。なお、撮像レンズユニット１００は、複数のレンズ群および絞りなどから構成されている。

図２は、撮像レンズユニット１００の画角毎の画素密度の一例を説明するための図である。図２に示すように、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）撮像レンズユニット１００では、撮像面の中央部（視野中央部、中心画角領域）は画角が小さいため画素密度が高くなる。一方、撮像面の周辺部（視野周辺部、周辺画角領域）では画角が大きくなるほど画素密度が低くなる。

例えば、画像中心では１度あたり８０画素弱の解像度があるが、画角６０°の画像端では１度あたり２０画素弱程度の解像度になる。車載カメラにおいては、視野中央ほど遠くまで物体を認識することが望ましいので視野中央部に画素数を割り当てて中心部を高解像度化している。

当然ながら、周辺部（周辺画角領域）では割り当てる画素数が少なくなるので遠くの物体を認識することは困難になる。しかしながら、視野中央部で遠くの前方車を認識し、視野周辺部で近くの歩行者を認識する必要がある撮像装置（車載カメラなど）では、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）光学系は有用である。

撮像素子１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（電荷結合素子）から構成される撮像素子である。撮像素子１０１は、撮像レンズユニット１００を介して撮像素子１０１の撮像面に結像された被写体の光学像を撮像（光電変換）し、撮像画像に対応する画像データ（ＲＡＷデータ）を生成する。撮像素子１０１の前面にはＲフィルタ、Ｇフィルタ、ＢフィルタまたはＣフィルタがモザイク状に、例えばベイヤー配列で配置されている。

Ｒフィルタは赤色の光を透過させるカラーフィルタであり、Ｇフィルタは緑色の光を透過させるカラーフィルタであり、Ｂフィルタは青色の光を透過させるカラーフィルタである。Ｃフィルタは、無色の光を透過させる無色フィルタである。これらの光学フィルタを撮像素子１０１の前面に配置することにより、撮像素子１０１の各画素で赤色、緑色、青色または無色の光が受光される。

図３（Ａ）および図３（Ｂ）は、実施形態１における撮像素子１０１の前面に配置される光学フィルタの例を説明するための図である。図３（Ａ）は、Ｒフィルタ、ＧフィルタおよびＢフィルタがモザイク状にベイヤー配列で配置されている光学フィルタの例を示す。図３（Ｂ）は、Ｒフィルタ、ＣフィルタおよびＢフィルタがモザイク状にベイヤー配列で配置されている光学フィルタの例を示す。ここで、ベイヤー配列とは、隣接する色（無色を含む）が互いに異なる色配列を指す。

実施形態１では、撮像素子１０１がＲＣＣＢセンサである場合を想定して説明するが、撮像素子１０１はＲＧＧＢセンサであってもよい。ＲＣＣＢセンサとは、Ｒフィルタ、ＣフィルタおよびＢフィルタがモザイク状にベイヤー配列で配列されている光学フィルタが、撮像素子の前面に配置された撮像素子である。ＲＧＧＢセンサとは、Ｒフィルタ、ＧフィルタおよびＢフィルタがモザイク状にベイヤー配列で配列されている光学フィルタが、撮像素子の前面に配置された撮像素子である。

撮像素子１０１がＲＣＣＢセンサである場合に、撮像素子１０１で生成される画像データ（ＲＡＷデータ）をＲＣＣＢ画像データと呼ぶ。撮像素子１０１がＲＧＧＢセンサである場合に、撮像素子１０１で生成される画像データ（ＲＡＷデータ）をＲＧＧＢ画像データと呼ぶ。

なお、撮像素子１０１は、ＲＣＣＢセンサおよびＲＧＧＢセンサに限定されるものではない。例えば、撮像素子１０１は、補色フィルタと原色フィルタの組み合わせからなるベイヤー配列の光学フィルタが撮像素子の前面に配置された撮像素子であってもよい。或いは、撮像素子１０１は、ＲＧＢ－ＩＲフィルタが撮像素子の全面に配置された撮像素子（ＲＧＢ－ＩＲ型撮像素子）であってもよい。ここで、ＲＧＢ－ＩＲフィルタとは、Ｒ、ＧおよびＢフィルタの配列内に所定の周期で離散的にＩＲフィルタ（赤外光を透過させる光学フィルタ）を配置したものである。

画像受信部１０２は、撮像素子１０１で生成されたＲＣＣＢ画像データを受信し、後段のセンサ補正部１０３に送信する。なお、撮像素子１０１がＲＧＧＢセンサである場合、画像受信部１０２は、撮像素子１０１で生成されたＲＧＧＢ画像データを受信し、後段のセンサ補正部１０３に送信する。

センサ補正部１０３は、撮像素子１０１で生成されたＲＣＣＢ画像データに対し、撮像素子１０１に固有のセンサ特性に関する補正であるセンサ特性補正を行う。センサ特性補正は、例えば、固定パターンノイズ補正、キズ補正、ノイズ抑制のためのダーク補正の少なくとも一つを含む。なお、撮像素子１０１がＲＧＧＢセンサである場合、センサ補正部１０３は、撮像素子１０１で生成されたＲＧＧＢ画像データに対し、センサ特性補正を行う。

光学補正部１０４は、センサ補正部１０３で処理されたＲＣＣＢ画像データに対し、撮像レンズユニット１００の光学特性に関する補正である光学特性補正を行う。光学特性補正は、例えば、周辺画角領域の光量が低下することを補正する周辺光量落ち補正、レンズの色収差を補正する色収差補正の少なくとも一つを含む。なお、センサ補正部１０３および光学補正部１０４は、後述のデモザイク部１０５の前段に配置することが望ましい。撮像素子１０１がＲＧＧＢセンサである場合、光学補正部１０４は、撮像素子１０１で生成されたＲＧＧＢ画像データに対し、光学特性補正を行う。

ベイヤー配列型光学フィルタが配置された撮像素子１０１で生成されたＲＣＣＢ画像データでは、画素毎のデータは夫々Ｒ（赤）、Ｃ（無色）またはＢ（青）に対応している。したがって、デモザイク部１０５は、光学補正部１０４で処理されたＲＣＣＢ画像データからＲＧＧＢ画像データを生成し、生成されたＲＧＧＢ画像データに対してデモザイク処理（または色同時化処理）を行う。

デモザイク処理を行うことにより、デモザイク部１０５は、全ての画素に対して３つの色データ（Ｒ、ＧおよびＢデータ）を生成し、ＲＧＢカラー画像データを生成することができる。ここで、ＲＧＢカラー画像データは、全ての画素のＲ成分から構成されたカラー画像データと、全ての画素のＧ成分から構成されたカラー画像データと、全ての画素のＢ成分から構成されたカラー画像データとを含む。

デモザイク部１０５は、光学補正部１０４で処理されたＲＣＣＢ画像データからＲＧＧＢ画像データを生成し、生成されたＲＧＧＢ画像データをデモザイク処理せずに画像送信部１０８に供給することもできる。
なお、撮像素子１０１がＲＧＧＢセンサである場合、デモザイク部１０５は、光学補正部１０４で処理されたＲＧＧＢ画像データに対してデモザイク処理（または色同時化処理）を行い、ＲＧＢカラー画像データを生成する。撮像素子１０１がＲＧＧＢセンサである場合、デモザイク部１０５は、光学補正部１０４で処理されたＲＧＧＢ画像データからＲＣＣＢ画像データを生成し、生成されたＲＣＣＢ画像データをデモザイク処理せずに画像送信部１０８に供給することもできる。このように、デモザイク部１０５は、光学補正部１０４で処理されたＲＣＣＢ画像データ（またはＲＧＧＢ画像データ）から少なくとも２色（ＲおよびＢ）のカラー画像データを生成することができる。

歪曲補正部１０６は、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）光学系を用いて生成されたＲＧＢカラー画像データに対し、歪曲補正を行う。デモザイク処理が行われる前の画像データに対して歪曲補正を行うと偽色が発生するため、実施形態１においては、デモザイク処理が行われたＲＧＢカラー画像データに対して歪曲補正を行う。このように、歪曲補正部１０６は、デモザイク部１０５により生成された少なくとも２色（ＲおよびＢ）のカラー画像データに対して歪曲補正を行うことができる。

モザイク部１０７は、歪曲補正部１０６で歪曲補正が行われたＲＧＢカラー画像データに対してモザイク処理（点順次化処理）を行う。これにより、モザイク部１０７は、歪曲補正が行われたＲＧＧＢ画像データを生成することができる。さらに、モザイク部１０７は、歪曲補正されたＲＧＧＢ画像データからＲＣＣＢ画像データを生成することもできる。これにより、歪曲補正が行われたＲＧＧＢ画像データ（またはＲＣＣＢ画像データ）がモザイク部１０７から画像送信部１０８に供給される。

画像送信部１０８は、光学補正部１０４で処理されたＲＣＣＢ画像データ、デモザイク部１０５で生成されたＲＧＧＢ画像データをＲＡＷデータとして撮像装置とは別体の画像処理装置に送信することができる。画像送信部１０８は、デモザイク部１０５で生成されたＲＧＢカラー画像データを画像処理装置に送信することもできる。さらに、画像送信部１０８は、モザイク部１０７で生成されたＲＧＧＢ画像データまたはＲＣＣＢ画像データを画像処理装置に送信することもできる。

画像送信部１０８は、画像処理装置と無線通信ネットワークまたは有線通信ネットワークを介して通信可能である。なお、撮像素子１０１がＲＧＧＢセンサである場合、画像送信部１０８は、光学補正部１０４で処理されたＲＧＧＢ画像データ、デモザイク部１０５で生成されたＲＣＣＢ画像データをＲＡＷデータとして撮像装置とは別体の画像処理装置に送信することができる。

撮像素子１０１がＲＧＧＢセンサである場合、画像送信部１０８は、デモザイク部１０５で生成されたＲＧＢカラー画像データを画像処理装置に送信することもできる。さらに、撮像素子１０１がＲＧＧＢセンサである場合、画像送信部１０８は、モザイク部１０７で生成されたＲＣＣＢ画像データまたはＲＧＧＢ画像データを画像処理装置に送信することもできる。

撮像装置はさらに、プロセッサ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコンピュータなどのコンピュータと、コンピュータで実行されるプログラムを記憶したメモリとを有する。撮像装置のコンピュータは、メモリが記憶しているプログラムを実行することにより、後述する撮像装置の動作を制御することができる。撮像装置のコンピュータは、撮像装置の制御部として動作することができる。

画像処理装置は、物体を画像認識するための物体認識部１０９を有する。画像処理装置はさらに、プロセッサ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコンピュータなどのコンピュータと、コンピュータで実行されるプログラムを記憶したメモリとを有する。画像処理装置のコンピュータは、メモリが記憶しているプログラムを実行することにより、後述する画像処理装置の動作を制御することができる。画像処理装置のコンピュータは、画像処理装置の制御部として動作することができる。

一般的な撮像装置は、汎用の撮像素子または汎用の光学系に対する補正は可能であるが、実施形態１のような画角毎に結像倍率が異なる特性を有する特殊な光学系には十分に対応することができない。そのため、実施形態１で説明したような構成の歪曲補正部１０６を用いて歪曲補正をすることで後段の物体認識率などを向上することができる。

実施形態１における撮像装置は、このような特殊な特性を有する光学系に合わせた歪曲補正をデモザイク処理後に行うことで、少なくとも画像認識装置が有する物体認識部１０９が画像認識できる程度まで画像の歪曲補正を行うことができる。さらに撮像装置は、歪曲補正が行われたＲＧＢカラー画像データを物体認識部１０９に出力することができる。なお、実施形態１の撮像装置では、画像処理装置の物体認識部１０９が、ＲＧＧＢ画素配列のベイヤー配列順の画像データを用いて認識処理をする。したがって、モザイク部１０７によって、ＲＧＢカラー画像データを、ＲＧＧＢ画素配列のベイヤー配列順の画像データになるように逆変換（色情報を間引いてベイヤー配列に戻してから転送するデータ量を削減）する。

なお、撮像素子１０１の各画素の前面にＲ、Ｇ、ＢまたはＣフィルタが所定の配列で配置されている場合、モザイク部１０７は、少なくとも２色（ＲおよびＢ）のカラー画像データに対してモザイク処理（点順次化処理）を行う。これにより、少なくとも２色のカラー画像データは、撮像素子１０１の前面に配置された光学フィルタの配列と同じ順番となる。

その後、画像送信部１０８を介して画像処理装置に画像データ（ＲＡＷ画像データ、ＲＧＧＢ画像データ、ＲＣＣＢ画像データまたはＲＧＢカラー画像データ）を送信する。但し、画像処理装置の物体認識部１０９が、ＲＧＢカラー画像データを用いて認識処理をする場合などにおいては、モザイク部１０７による逆変換をせずに歪曲補正部１０６の出力を画像処理装置に供給してもよい。

図４は、実施形態１におけるデモザイク部１０５における処理の一例を説明するための図である。

実施形態１では、まず、図４（Ａ）に示すＲＣＣＢ画像データから図４（Ｂ）で示す一般的なＲＧＧＢ画像データへの変換を行う。ＲＣＣＢ画像データからＲＧＧＢ画像データへの変換は以下のような式（１）～式（３）を用いて、Ｃ画素データとＲＢ画素データからＧ画素データを生成することで実現する。

≪Ｃ画素データ（１画素）とその上下左右のＲＢ画素データ（４画素）からＧ画素データを生成する場合≫
Ｒ＝Ｒ１＋Ｒ２ （１）
Ｂ＝Ｂ１＋Ｂ２ （２）
Ｇ＝（２Ｃ－０．２９９Ｒ－０．１１４Ｂ）／０．５８７／２ （３）

このように、図４（Ａ）のブロックＡ１内のＣに対応するＧを算出する場合、まず上下のＲ１＋Ｒ２を加算しＲを求め、次に左右のＢ１＋Ｂ２を加算しＢを求め、ＲとＢとＣからＧを算出する。また、図４（Ａ）のブロックＡ２内のＣに対応するＧを算出する場合も、ＲとＢの位置が逆になっているだけなので同様に算出することが可能である。

なお、実施形態１では、上述した式（１）～式（３）を用いてＧを求めたが、算出の係数は上記に限らず、適宜、撮像環境に合わせて調整してもよい。

上記のような方法で一般的なＲＧＧＢ画像データを生成した後は、一般的なデモザイク方法を使用して容易にＲＧＢカラー画像データを生成することが可能となる。実施形態１で利用可能なデモザイク方法としては、他にも例えば、ＡＣＰＩ（Ａｄａｐｔｉｖｅ ｃｏｌｏｒ ｐｌａｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）がある。ＡＣＰＩでは欠落画素におけるエッジ方向を垂直と水平のいずれかであると判定し、空間的な勾配量の小さいエッジの方向に沿って補間を行い、連続性の強い値を得ることで偽色の発生を抑制することができる。

なお、実施形態１では、ＣＨＢＩ（Ｃｏｎｓｔａｎｔ ｈｕｅ ｂａｓｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）またはＰＣＳＤ（Ｐｒｉｍａｒｙ－ｃｏｎｓｉｓｔｅｎｔ ｓｏｆｔ ｄｅｃｉｓｉｏｎ）をデモザイク処理に利用してもよい。さらに、実施形態１では、ＧＢＴＦ（ｇｒａｄｉｅｎｔ ｂａｓｅｄ ｔｈｒｅｓｈｏｌｄ ｆｒｅｅ）をデモザイク処理に利用してもよい。

以上の説明では、撮像素子１０１からＲＣＣＢ画素配列の画像データであるＲＡＷデータに対して説明した。しかし、赤外光成分を撮像できる、ＲＧＢ－ＩＲ画素配列の画像データに対しても、一旦、一般的なＲＧＧＢ画素配列に変換することで、前述の様々なデモザイク方法を幅広く利用することができる。

図５は、実施形態１の歪曲補正処理の一例を説明するための図である。

実施形態１のような、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）光学系で撮像すると、図５（Ａ）に示すような歪曲画像となる。図の市松模様の黒い領域と白い領域は実際の被写体においては同じ大きさであるが、画角毎に結像倍率が異なる光学系のため、視野中央部（中心画角領域）の市松模様は拡大され、視野周辺部（周辺画角領域）の市松模様は縮小される。また、図２の画角毎の画素密度で示した通り、視野中央部（中心画角領域）は解像度が高く、視野周辺部（周辺画角領域）は解像度が低くなる。

車載システムの画像処理装置では、入力された画像に対してＡＩなどの認識処理を行い、物体（前方車、歩行者など）を検知する。このような特殊な光学系の歪曲画像をそのまま後段の画像処理装置などに入力した場合、事前の学習データに用いた入力画像と歪曲した入力画像との乖離が大きく、物体認識が正しく機能しない懸念がある。実施形態１における、画角毎に結像倍率が異なる光学系は、前述のように前方と周辺に対して車載システムに有用になるように光学的な設計がなされているため、一般的な物体認識をそのままで利用すると認識率が低下してしまう。

そこで、実施形態１のような構成の歪曲補正を行うことで、一般的な物体認識処理でも所望の物体認識ができるようになる。図５（Ｂ）は、図５（Ａ）の歪曲画像を補正した円筒画像である。横線に歪みは残るが、縦線がまっすぐになり、画像端部（周辺部）も比較的歪みが緩和されており、図５（Ａ）の歪曲画像に比べて、物体認識の認識率は十分に改善する。また、実施形態１では、デモザイク処理後に歪曲補正を行うため偽色の発生を抑制でき、物体認識の認識率を改善することもできる。

次に、図６のフローチャートを参照して、実施形態１における撮像装置で行われる処理を説明する。なお、撮像装置の制御部は、撮像装置のメモリに記憶されたプログラムを実行することにより、図６に示す処理を制御することができる。

ステップＳ６００にて、被写体の光学像が撮像レンズユニット１００を介して撮像素子１０１の撮像面に形成され、ステップＳ６０１に進む。

ステップＳ６０１にて、撮像素子１０１は、撮像面に結像された被写体の光学像を撮像し、撮像画像に対応するＲＣＣＢ画像データ（ＲＡＷデータ）を生成し、ステップＳ６０２に進む。

ステップＳ６０２にて、センサ補正部１０３は、撮像素子１０１で生成されたＲＣＣＢ画像データに対してセンサ特性補正（撮像素子１０１に固有のセンサ特性に関する補正）を行い、ステップＳ６０３に進む。センサ特性補正は、例えば、固定パターンノイズ補正、キズ補正、ダーク補正の少なくとも一つを含む。

ステップＳ６０３にて、光学補正部１０４は、センサ補正部１０３で処理されたＲＣＣＢ画像データに対して光学特性補正（撮像レンズユニット１００の光学特性に関する補正）を行い、ステップＳ６０４に進む。光学特性補正は、例えば、周辺光量落ち補正、色収差補正の少なくとも一つを含む。色収差補正は、輝度ムラ補正、色ズレ補正の少なくとも一つを含む。輝度ムラ補正は、色収差などの光学特性に起因して生じた複数のカラー画像データの輝度のムラを補正する補正処理である。色ズレ補正は、色収差などの光学特性に起因して生じた複数のカラー画像データの色のズレを補正する補正処理である。

ステップＳ６０４にて、撮像装置の制御部は、ユーザー設定がＲＧＧＢ変換を行う設定になっているか否かを判定する。そして、ユーザー設定がＲＧＧＢ変換を行う設定になっている場合はステップＳ６０５に進む。ユーザー設定がＲＧＧＢ変換を行う設定になっていない場合はステップＳ６０６に進む。

ステップＳ６０５にて、デモザイク部１０５は、光学補正部１０４で処理されたＲＣＣＢ画像データからＲＧＧＢ画像データを生成し、ステップＳ６０６に進む。
ステップＳ６０６にて、撮像装置の制御部は、ユーザー設定がデモザイク処理を行う設定になっているか否かを判定する。ユーザー設定がデモザイク処理を行う設定になっていない場合はステップＳ６０７に進む。ユーザー設定がデモザイク処理を行う設定になっている場合はステップＳ６０８に進む。

ステップＳ６０７にて、画像送信部１０８は、光学補正部１０４で処理されたＲＣＣＢ画像データまたはデモザイク部１０５で生成されたＲＧＧＢ画像データをＲＡＷデータとして画像処理装置に送信する。ユーザー設定がＲＧＧＢ変換を行う設定になっていない場合、画像送信部１０８は、光学補正部１０４で処理されたＲＣＣＢ画像データをＲＡＷデータとして画像処理装置に送信する。ユーザー設定がＲＧＧＢ変換を行う設定になっている場合、画像送信部１０８は、デモザイク部１０５で生成されたＲＧＧＢ画像データをＲＡＷデータとして画像処理装置に送信する。なお、撮像素子１０１で生成された画像データをそのまま画像処理装置に送信する場合は、ステップＳ６０２のセンサ特性補正およびステップＳ６０３の光学特性補正をスキップしてもよい。

ステップＳ６０８にて、デモザイク部１０５は、光学補正部１０４で処理されたＲＣＣＢ画像データからＲＧＧＢ画像データを生成し、生成されたＲＧＧＢ画像データに対してデモザイク処理（または色同時化処理）を行い、ＲＧＢカラー画像データを生成する。ステップＳ６０８にて、歪曲補正部１０６は、デモザイク部１０５で生成されたＲＧＢカラー画像データに対し、撮像レンズユニット１００の歪曲率を考慮した歪曲補正を行い、ステップＳ６０９に進む。

ステップＳ６０９にて、撮像装置の制御部は、ユーザー設定がモザイク処理を行う設定になっているか否かを判定する。ユーザー設定がモザイク処理を行う設定になっている場合は、歪曲補正が行われたＲＧＧＢ画像データ（またはＲＣＣＢ画像データ）を画像処理装置に送信するためにステップＳ６１０に進む。ユーザー設定がモザイク処理を行う設定になっていない場合は、歪曲補正が行われたＲＧＢカラー画像データをそのまま画像処理装置に送信するためにステップＳ６１１に進む。

ステップＳ６１０にて、モザイク部１０７は、歪曲補正部１０６で歪曲補正が行われたＲＧＢカラー画像データに対してモザイク処理（点順次化処理）を行い、歪曲補正が行われたＲＧＧＢ画像データを生成する。ユーザー設定がＲＧＧＢ変換を行う設定になっている場合、モザイク部１０７は、歪曲補正が行われたＲＧＧＢ画像データを画像送信部１０８に供給する。ユーザー設定がＲＧＧＢ変換を行う設定になっている場合、画像送信部１０８は、歪曲補正が行われたＲＧＧＢ画像データを画像処理装置に送信する。

一方、ユーザー設定がＲＧＧＢ変換を行う設定になっていない場合、モザイク部１０７は、歪曲補正が行われたＲＧＧＢ画像データから歪曲補正が行われたＲＣＣＢ画像データを生成し、歪曲補正が行われたＲＣＣＢ画像データを画像送信部１０８に供給する。ユーザー設定がＲＧＧＢ変換を行う設定になっていない場合、画像送信部１０８は、歪曲補正が行われたＲＣＣＢ画像データを画像処理装置に送信する。
ステップＳ６１１にて、画像送信部１０８は、歪曲補正部１０６で歪曲補正が行われたＲＧＢカラー画像データを画像処理装置に送信する。

以上、説明したように、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）ように設計された特殊な光学系を用いると共に、デモザイク処理後に歪曲補正を行っている。そして、歪曲補正されたＲＧＢカラー画像データを生成し、そのＲＧＢカラー画像データからさらにモザイク処理で画像データを生成することもできる。このような構成を用いることで撮像面中央部の解像度を重点的に高めることができ、しかも偽色の発生を抑制しつつ、後段の画像処理装置における物体認識率を大幅に向上することができる。

また、ＲＣＣＢまたはＲＧＢ－ＩＲの特殊な画素配列の撮像素子を、一旦、一般的なＲＧＧＢ画素配列に変換してデモザイク処理と歪曲補正を行っているため、各種特性の光学系に対応できる。また、異なる種類の撮像素子にも、異なる種類のデモザイク処理にも柔軟に対応することができる。また、ＲＧＢカラー画像データを逆変換（モザイク）処理して、ＲＧＧＢ画素配列の点順次の画像データを生成することによって、撮像装置から画像処理装置への通信帯域を削減することもできる。

［実施形態２］
次に、実施形態２における撮像装置を説明する。
図７Ａは、実施形態２における撮像装置の構成要素を説明するためのブロック図である。図７Ｂは、実施形態２における歪曲補正部１０６の構成要素を説明するためのブロック図である。
図１に示した実施形態１における撮像装置の構成要素と同じ構成要素については、同じ符号を付加し、それらの説明を省略する。

一般的に、広角な撮像レンズユニットで撮像した歪曲画像では、前述のように視認性が低下し、物体認識処理における認識率も低下する。そのため、実施形態１では、図５で示したように広角な光学系で撮像された画像に対して高解像な歪曲補正を行っている。

しかしながら、歪曲補正は、各画素データの入力座標と出力座標の対応関係の算出を伴う補正であって、像高に応じてその画素データの参照すべき座標の移動量が複雑に変化する。したがって、画像データの画素数が多いほどその計算負荷および出力される画像データ量が増大するという課題がある。特に、実施形態１で示したように、画角中心付近が高解像度な光学系で撮像された画像に対して歪曲補正すると、広角な画角も含めた全画角が高解像度な出力画像データになり、出力画像データ量が増大してしまう。

そこで、実施形態２では、画角毎の画素密度に応じて適切な解像度で歪曲補正することで出力画像データのデータ量を削減する。そのための歪曲補正部１０６の構成について説明する。
画像データ蓄積部１０６Ａは、デモザイク部１０５にてデモザイク処理され生成された少なくとも２色（ＲおよびＢ）のカラー画像データが蓄積される。

レンズ特性情報保持部１０６Ｂは、レンズ特性データを保持する。図８は、実施形態２におけるレンズ特性データの一例を説明するための図である。図８では、画角に対する理想像高と、撮像素子１０１から入力される画像データの画角に対する像高の関係を示している。この例では、画角が広がるにつれて撮像素子１０１から入力される画像データの像高変化率が小さくなっている。歪曲補正部１０６では、撮像素子１０１から入力される画像データを、理想像高となるように補正する処理を行う。

レンズ特性情報保持部１０６Ｂでは、図８に示したようなレンズ特性データを、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）などの形式で保持しており、画角情報が入力されると理想像高と実像高の情報が出力される。
読出し領域算出部１０６Ｃは、出力領域選択部１０６Ｆにより選択され入力された情報に基づき、出力画像データの座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）に対応した入力画像データの座標（Ｘ_ｉｎ，Ｙ_ｉｎ）を以下の数１に示す計算式に基づき算出する。

（Ｘ_ｉｎｃ，Ｙ_ｉｎｃ）は、入力画像の光軸中心座標で、撮像レンズユニット１００および撮像素子１０１の設置位置によって決まる。（Ｘ_ｏｕｔｃ，Ｙ_ｏｕｔｃ）は、出力画像の光軸中心座標であり、出力したい画像領域に応じて任意に設定可能である。Ｒ_ｏｕｔは、出力画像の光軸中心からの像高であり、以下の数２に示す計算式で計算できる。

Ｒ_ｉｎは、理想像高に対する実像高である。Ｒ_ｏｕｔに対応するＲ_ｉｎの値は、前述したレンズ特性情報保持部１０６Ｂに保持されている。読出し領域算出部１０６Ｃは出力画像データの座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）から画角を算出し、算出した画角情報をレンズ特性情報保持部１０６Ｂへ入力する。レンズ特性情報保持部１０６Ｂは、入力された画角に対応する実像高Ｒ_ｉｎを出力し、読出し領域算出部１０６Ｃへ供給する。

αについては後述するが、出力画像データの解像度を変えたい場合に使う。実像高を理想像高にする場合には、α＝１でよい。
このようにして算出された入力画像データの座標（Ｘ_ｉｎ，Ｙ_ｉｎ）は小数点を含む座標になるため、入力画像データには存在しない。そのため、算出された座標（Ｘ_ｉｎ，Ｙ_ｉｎ）の近傍で実際に入力画像データが存在する画像データから、後述する補間処理部１０６Ｅで出力画像データを算出する。

読出し領域算出部１０６Ｃでは、補間処理部１０６Ｅでの補間演算で必要となる近傍画素の座標を算出する。補間処理部１０６Ｅにて、近傍４画素から補間演算するのであれば、算出された座標（Ｘ_ｉｎ，Ｙ_ｉｎ）の小数部を切り捨てた座標と、切り上げた座標の４つの座標を算出する。

画像データ読出し部１０６Ｄは、読出し領域算出部１０６Ｃから入力された入力画像データ座標（Ｘ_ｉｎ，Ｙ_ｉｎ）に基づき、画像データ蓄積部１０６Ａから対応する座標の入力画像データを読み出し、補間処理部１０６Ｅへ出力する。
補間処理部１０６Ｅでは、画像データ読出し部１０６Ｄが画像データ蓄積部１０６Ａから読み出した入力画像データを用いて、出力画像データの補間演算を行う。補間演算には、ニアレストネイバー補間、バイリニア補間またはバイキュービック補間を用いることができる。補間演算が行われた後の出力画像データはモザイク部１０７に出力される。

出力領域選択部１０６Ｆは、後述する物体認識部１０９へ所定の解像度で出力する画像データの領域を選択する。図８に示したように画角毎に実像高は異なっており、図２で示したように画角毎に画素密度は異なる。画素密度が最も高い画角０°の画素密度を保ったまま入力画像データ全体を歪曲補正した場合、画素密度の低い領域においては、出力画像データの解像度を入力画像データの解像度よりも上げて出力することになってしまう。

図２に示した例では、画素密度が最も低い画角６０°と画素密度が最も高い画角０°とでは、画素密度に約４倍の差がある。縦方向についても横方向と同じとした場合、出力画像データの解像度は入力画像データの解像度の１６倍になる。入力画像データのデータ量に対して、出力画像データのデータ量が増加するため、必要なデータ転送帯域が増加し、コストが増加してしまう。

そこで、実施形態２では、入力画像データに対して、画角全体領域を示す低解像度な出力画像データと、領域を限定した高解像度な出力画像データの２つの出力画像データとの２種類の画像データを出力する。そうすることで、出力画像データの全体的なデータ量を削減する。
全体領域を示す低解像度な出力画像データの解像度と、高解像度な出力画像データの領域は、歪曲補正部１０６から出力した画像データを用いて物体認識を行う物体認識部１０９での処理内容から決定する。

物体認識部１０９にて物体認識するためには、物体の大きさに応じた解像度が必要となる。例えば５０ｍ先にある幅０．３ｍの物体を認識するために物体の解像度として１０画必要といった具合である。遠方になればなるほど物体は小さく撮像されるため、遠方の物体の解像度を保つためには、画素密度を高くする必要がある。そのため、図８に示したような特性を持つ撮像レンズユニットは、図２で示したように、遠方の物体を撮像する画角０°付近は画素密度を高くし、近距離・中距離を撮像する画角６０°付近は画素密度を低く設計している。

近距離・中距離の物体を検出するためには、遠距離（画角０°付近）のような高い解像度は不要であるため、全体領域を示す出力画像データの解像度は、近距離・中距離の物体を検出するために必要な最小限の解像度にする。そうした場合、画角０°付近の遠方にある物体については、物体認識に必要な解像度が得られない。遠方にある物体を検出したい画角は限定されるため、画角を限定した領域のみの高解像度な出力画像データを生成する。

≪領域を限定した高解像度な画像データ生成≫
領域を限定した高解像度な画像データを生成する際は、前述した読出し領域算出部１０６Ｃにおいて、出力画像データの座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）を限定した領域のみ算出する。出力領域選択部１０６Ｆからは、算出したい領域の出力画像データの座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）を出力し、読出し領域算出部１０６Ｃにて読出し領域を算出する。

≪低解像度な出力画像データ生成≫
低解像度な出力画像データを生成する際は、前述の数１において、αを変更する。例えば、入力画像データの解像度が８Ｍｅｇａピクセルで、歪曲補正にて実像高を理想像高にした場合の出力画像データの解像度が１６倍の１２８Ｍｅｇａピクセルだとする。これに対して、出力画像データの解像度を１２８Ｍｅｇａピクセルに対して２５分の１にしたい場合は、α＝５にして、対応する入力画像データの座標（Ｘ_ｉｎ，Ｙ_ｉｎ）を算出する。

物体認識部１０９では、歪曲補正部１０６により歪曲が補正されたカラー画像データに基づき物体認識を行う。例えば、入力された画像データに対して、例えば畳み込みニューラルネットワーク（ＣＮＮ）を用いた深層学習などによる物体認識を行う。但し、物体認識方法はこれに限定されない。なお、実施形態２において、物体認識部１０９は、実施形態１と同様に、撮像装置とは別体の画像処理装置が有する。実施形態２において、画像送信部１０８は、実施形態１と同様に、撮像装置とは別体の画像処理装置と無線通信ネットワークまたは有線通信ネットワークを介して通信可能である。

実施形態２では、物体認識部１０９に対して、領域を限定した高解像度な画像データと、低解像度な出力画像データが入力される。前述したとおり、遠方の物体を撮像する画角０°付近の物体認識をする際には、領域を限定した高解像度な画像データを用いて物体認識する。近距離・中距離を撮像する画角６０°付近の物体認識をする際には、低解像度な出力画像データを用いて物体認識する。

次に、図９および図１０のフローチャートを参照して、実施形態２における撮像装置で行われる処理を説明する。なお、撮像装置の制御部は、撮像装置のメモリに記憶されたプログラムを実行することにより、図９および図１０に示す処理を制御することができる。
図９のステップＳ９０１からステップＳ９０８では、撮像面内の結像倍率が高い領域から高解像度な出力画像データを生成する場合に行われる処理である。

ステップＳ９０１において、出力領域を限定する。前述したように、遠方の物体を認識するために必要な高解像度な画像を出力する領域を出力領域選択部１０６Ｆで選択し決定する。
ステップＳ９０２において、読出し領域算出部１０６ＣはステップＳ９０１にて限定した領域のある出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）＝（Ａ，Ｂ）を指定する。

ステップＳ９０３では、読出し領域算出部１０６Ｃは、レンズ特性情報保持部１０６Ｂに保持されたレンズ特性に基づき、ステップＳ９０２で指定した出力座標に対して、理想像高に対する実像高Ｒ_ｉｎおよび出力画像の光軸中心からの像高Ｒ_ｏｕｔを算出する。
ステップＳ９０４において、読出し領域算出部１０６Ｃは、ステップＳ９０３で算出したＲ_ｉｎおよびＲ_ｏｕｔを用いて、出力座標に対応する入力座標（Ｘ_ｉｎ，Ｙ_ｉｎ）を算出する。

このように、ステップＳ９０３、Ｓ９０４において、読出し領域算出部１０６Ｃは、出力領域選択部から入力された情報に基づき、光学特性情報保持部から光学特性情報を取得し、画像データ蓄積部１０６Ａから読み出す領域を算出する。

ステップＳ９０５において、画像データ読出し部１０６Ｄは、ステップＳ９０４で算出した入力座標（Ｘ_ｉｎ，Ｙ_ｉｎ）の近傍画素を、入力画像データが蓄積された場所から読み出す。このように、画像データ読出し部１０６Ｄは、読出し領域算出部から入力された情報に基づいて画像データ蓄積部１０６Ａから画像データを読み出す。この際に、どのような近傍画素を読み出すかは、後述するステップＳ９０６で行う補間演算方法によって異なる。

ステップＳ９０６において、補間処理部１０６Ｅは、ステップＳ９０５で読み出した近傍画素を使って補間演算を行い、出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）の画素値を算出する。補間演算には、ニアレストネイバー補間、バイリニア補間またはバイキュービック補間を用いることができる。このように、補間処理部１０６Ｅは、画像データ読出し部から出力された画像データを使って補間処理を行う。

ステップＳ９０７では、ステップＳ９０６で算出した出力画像データを出力する。
ステップＳ９０８では、ステップＳ９０１で決定した出力領域に対して、全出力画素の算出が完了したか否かを判定する。全出力画素の算出が完了した場合は図１０のステップＳ９０９に進み、全出力画素の算出が完了していない場合はステップＳ９０２に戻る。

図１０のステップＳ９０９からステップＳ９１６は、撮像面内の全領域（全画素）から低解像度な出力画像データを生成する場合に行われる処理である。撮像面内の全領域は、撮像面内の結像倍率が高い領域と撮像面内の結像倍率が低い領域とを含む。
ステップＳ９０９では、出力画像の解像度を決定して縮小率を算出する。縮小率は、近距離・中距離の物体を検出するのに必要な解像度によって決定する。

ステップＳ９１０では、ステップＳ９０９で決定した出力解像度に対応した出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）＝（Ａ，Ｂ）を指定する。
ステップＳ９１１～ステップＳ９１５は、ステップＳ９０３～ステップＳ９０７と同様な処理であり、ステップＳ９１０で指定した出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）に対応する出力画像データを算出し、出力する。

ステップＳ９１６では、ステップＳ９０９で決定した出力解像度で、全出力画素の算出が完了したか否かを判定する。全出力画素の算出が完了した場合は図１０の処理を終了し、全出力画素の算出が完了していない場合はステップＳ９１０に戻る。
なお、図９および図１０に示す処理では、領域を限定した高解像度な出力画像データを生成してから低解像度な出力画像データを生成して転送しているが、逆の順番でもよい。

また、画像転送のための帯域が十分にあるのであれば高解像度の画像と低解像度の画像などの２種類以上の画像を同時に算出して出力してもよい。
以上、説明したように、実施形態２では、画角毎に結像倍率が異なるように設計された特殊な光学系の歪曲補正において、領域を限定した高解像度な画像データ出力と、画角全体領域を対象にした低解像度な画像データ出力を出力する。

このように、歪曲補正部１０６は、少なくとも２色（ＲおよびＢ）のカラー画像データの歪曲を補正すると共に、解像度が異なる複数の画像データを生成することができる。さらに、歪曲補正部１０６は、撮像素子１０１の撮像面内の結像倍率が高い位置から解像度の高い画像データを生成し、撮像面内の結像倍率が高い位置と撮像面内の結像倍率が低い位置とを含む領域から解像度の低い画像データを生成することができる。これにより、実施形態２によれば、撮像画像の周辺部および中央部の夫々において必要な認識精度を維持しながら、データ転送量を削減することができるため、メモリ削減などの実装コストの抑制することができる。

［実施形態３］
次に、実施形態３における撮像装置を説明する。
実施形態２では、撮像面内の結像倍率が高い領域から高解像度な画像データを生成し、撮像面内の全領域（全画素）から低解像度な出力画像データを生成することで、適切な歪曲補正処理を実現した。実施形態３では、画角を複数領域に分割した画像データを生成し、画角に応じた適切な解像度を選択する。

図１１Ａは、実施形態３における撮像装置の構成要素を説明するためのブロック図である。図１１Ｂは、実施形態３における歪曲補正部１０６の構成要素を説明するためのブロック図である。実施形態３における歪曲補正部１０６の構成要素は、出力領域選択部２０６Ｆを除き、図７Ｂに示した構成要素と同じである。出力領域選択部２０６Ｆの動作は、出力領域選択部１０６Ｆの動作とは異なる。図７Ａおよび図７Ｂに示した実施形態２における構成要素と同じ構成要素については、同じ符号を付加し、それらの説明を省略する。

実施形態３における出力領域選択部２０６Ｆについて説明する。実施形態３における出力領域選択部２０６Ｆは、後述する物体認識部１０９へ出力する画像データの領域を選択する。実施形態３では、出力する画像データを例えば３つの画角領域に分けて出力をする。中心付近である－２０°～２０°付近の領域と、周辺付近である画角－６０°～－２０°および２０°～６０°の３つの画角の画像データを生成する。

≪中心付近である－２０°～２０°付近の画像データ生成≫
図８に示したように、中心付近は遠方の物体を検出するために画角密度が高くなっている。よって、領域の範囲は最小限にして解像度が高い画像データを生成する。生成方法は、実施形態２において領域を限定した高解像度な画像データを生成した方法と同じ方法で生成する。

≪周辺付近である－６０°～－２０°付近、または６０°～２０°付近の画像データ生成≫
周辺付近の領域については、中心付近のような解像度は不要なため低解像度な出力画像を生成する。生成方法を以下に説明する。

前述したように、読出し領域算出部１０６Ｃに関して説明した数１において、αを変更する。実施形態２では、撮像面内の全領域から低解像度な出力画像を生成するために、低解像度な出力画像の全座標に対する入力画像データの座標を算出したのに対し、実施形態３では限定した領域に対する入力画像データの座標のみを算出する。

次に、図１２および図１３のフローチャートを参照して、実施形態３における撮像装置で行われる処理を説明する。なお、撮像装置の制御部は、撮像装置のメモリに記憶されたプログラムを実行することにより、図１２および図１３に示す処理を制御することができる。

図１２のステップＳ１１０１からステップＳ１１０８は、中心付近に限定した高解像度な出力画像データを生成する場合に行われる処理である。
ステップＳ１１０１では、出力領域を中央付近（実施形態３では―２０°～２０°）に限定する。前述したように、遠方の物体を認識する必要があるために解像度は高解像度とする。

ステップＳ１１０２では、ステップＳ１１０１にて限定した領域に対応する出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）＝（Ａ，Ｂ）を指定する。
ステップＳ１１０３では、ステップＳ１１０２で指定した出力座標に対して、理想像高に対する実像高Ｒ_ｉｎおよび出力画像の光軸中心からの像高Ｒ_ｏｕｔを算出する。

ステップＳ１１０４では、ステップＳ１１０３で算出したＲ_ｉｎおよびＲ_ｏｕｔを用いて、出力座標に対応する入力座標（Ｘ_ｉｎ，Ｙ_ｉｎ）を算出する。
ステップＳ１１０５では、ステップＳ１１０４で算出した入力座標（Ｘ_ｉｎ，Ｙ_ｉｎ）の近傍画素を、入力画像データが蓄積された場所から読み出す。その際に、どのような近傍画素を読み出すかは、後述するステップＳ１１０６で行う補間演算方法によって異なる。

ステップＳ１１０６では、ステップＳ１１０５で読み出した近傍画素を使って補間演算を行い、出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）の画素値を算出する。補間演算には、ニアレストネイバー補間、バイリニア補間またはバイキュービック補間を用いることができる。
ステップＳ１１０７では、ステップＳ１１０６で算出した出力領域の出力画像データを出力する。

ステップＳ１１０８では、ステップＳ１１０１で決定した出力領域に対して、全出力画素の算出が完了したか否かを判定する。全出力画素の算出が完了した場合は図１３のステップＳ１１０９に進み、全出力画素の算出が完了していない場合はステップＳ１１０２に戻る。

図１３のステップＳ１１０９からステップＳ１１１７は、周辺付近の領域に対応した低解像度な出力画像データを生成する場合に行われる処理である。
ステップＳ１１０９では、周辺付近の領域（例えば－６０°～－２０°と６０°～２０°の２つの領域）の出力画像の解像度および領域を決定して縮小率を算出する。

ステップＳ１１１０では、ステップＳ１１０９で決定した出力解像度に対応した出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）＝（Ａ，Ｂ）を指定する。
ステップＳ１１１１～ステップＳ１１１５は、ステップＳ１１０３～ステップＳ１１０７と同様な処理であり、ステップＳ１１１０で指定した出力座標（Ｘ_ｏｕｔ，Ｙ_ｏｕｔ）に対応する出力画像データを算出し、出力する。

ステップＳ１１１６では、ステップＳ１１０９で決定した出力領域に対して、全出力画素の算出が完了したか否かを判定する。全出力画素の算出が完了した場合は図１３の処理を終了し、全出力画素の算出が完了していない場合はステップＳ１１１０に戻る。
ステップＳ１１１７では、ステップＳ１１０９で決定した２つの出力領域に対して出力画像データの出力が完了したか否かを判定する。出力画像データの出力が完了した場合は図１３の処理を終了し、出力画像データの出力が完了していない場合はステップＳ１１１０に戻る。

以上説明したように、実施形態３では、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）ように設計された特殊な光学系の歪曲補正において、画角を複数領域に分割した画像データを生成する。そして、画角毎の必要な認識精度を維持しながら画素密度に応じた適切な解像度での歪曲補正を行う。

このように、歪曲補正部１０６は、少なくとも２色（ＲおよびＢ）のカラー画像データの歪曲を補正すると共に、解像度が異なる複数の画像データを生成することができる。さらに、歪曲補正部１０６は、撮像素子１０１の撮像面内の結像倍率が高い位置から解像度の高い一つの画像データを生成し、撮像面内の結像倍率が低い位置から解像度の低い複数の画像データを生成することができる。これにより、実施形態３においても、撮像画像の周辺部および中央部の夫々において必要な認識精度を維持しながら、データ転送量を削減することができるため、メモリ削減などの実装コストを抑制することができる。

上述したように、実施形態１～３における撮像装置では、画角毎に結像倍率が異なる（撮像素子１０１の撮像面内の位置に応じて結像倍率が異なる）光学系を用いることができる。これにより、視野中央部で遠くの前方車などをより早く認識することができ、視野周辺部で近くの歩行者を認識することができる。しかも、そのような特殊な光学系に適した歪曲補正を精度よく行うことができるので、視野に応じた適切な物体認識ができ、事故を速やかに回避できるなどの優れた効果が得られる。

なお、上述した実施形態において、歪曲補正部１０６は、物体認識部１０９における認識率が所定の閾値を上回るように歪曲補正を行っている。しかしながら、さらに追加的な歪曲補正を行うための第２の歪曲補正部を、図７Ａまたは図１１Ａに示す物体認識部１０９の前段またはその内部に追加してもよい。例えば物体認識部１０９における認識率が十分なレベルであっても、画像として鑑賞するには不十分な場合があり、その場合には、上記のような第２の歪曲補正部を図７Ａまたは図１１Ａに示す物体認識部１０９の前段またはその内部に追加してもよい。

図７Ａまたは図１１Ａに示す物体認識部１０９の前段またはその内部に第２の歪曲補正部を追加する場合は、第２の歪曲補正部の前段に第２のデモザイク部が追加され、第２の歪曲補正部の後段に第２のモザイク部が追加される。第２のデモザイク部はデモザイク部１０５と同様の構成を有し、第２の歪曲補正部は歪曲補正部１０６と同様の構成を有し、第２のモザイク部はモザイク部１０７と同様の構成を有する。第２のデモザイク部で行われるデモザイク処理は、デモザイク部１０５で行われるデモザイク処理と同じものであっても異なるものであってよい。

第２の歪曲補正部で行われる歪曲補正は、歪曲補正部１０６で行われる歪曲補正と同じものであっても異なるものであってよい。第２のモザイク部で行われるモザイク処理は、モザイク部１０７で行われるモザイク処理と同じものであっても異なるものであってよい。なお、第２の歪曲補正部が図７Ａまたは図１１Ａに示す物体認識部１０９の前段またはその内部に追加される場合、第２のデモザイク部、第２の歪曲補正部および第２のモザイク部は、例えば、上述した画像処理装置に追加される。

尚、物体認識部１０９を有する画像処理装置を、自動車などの移動装置に搭載した場合、物体認識部１０９による物体認識結果に基づき、警告動作を制御したり、移動装置の移動方向または移動速度を制御したりする制御部を設けてもよい。

また、上述した実施形態における移動装置は、例えば、船舶、飛行機、ロボット、ドローンなどの移動をする装置であればどのようなものであってもよい。

上述した実施形態における画像処理装置は、撮像装置とは別体の画像処理装置であっても、撮像装置が有する画像処理装置であってもよい。

［実施形態４］
上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態４では、上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態４では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における撮像装置または画像処理装置のコンピュータも、コンピュータＹの一例である。

上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

１００ 撮像レンズユニット
１０１ 撮像素子
１０２ 画像受信部
１０３ センサ補正部
１０４ 光学補正部
１０５ デモザイク部
１０６ 歪曲補正部
１０７ モザイク部
１０８ 画像送信部

Claims (18)

1. 撮像素子と、
   前記撮像素子の撮像面に像を形成すると共に、前記撮像面内の位置に応じて結像倍率が異なる特性を有する光学系と、
   前記撮像素子から出力されたデータから少なくとも２色のカラー画像データを生成するデモザイク部と、
   前記デモザイク部により生成された前記少なくとも２色のカラー画像データの歪曲を補正する歪曲補正部と
   を有することを特徴とする撮像装置。
2. 前記歪曲補正部で歪曲が補正された前記少なくとも２色のカラー画像データをモザイク処理するモザイク部を有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の前面に光学フィルタが所定の配列で配置されており、前記モザイク部は、前記少なくとも２色のカラー画像データを前記所定の配列に基づいてモザイク処理することを特徴とする請求項２に記載の撮像装置。
4. 前記撮像素子から出力されたデータの固定パターンノイズ補正、キズ補正、ダーク補正の少なくとも１つ行うセンサ補正部を前記デモザイク部の前に有することを特徴とする請求項１に記載の撮像装置。
5. 前記撮像素子から出力されたデータの周辺光量落ち補正または色収差補正を行う光学補正部を前記デモザイク部の前に有することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像素子の前面に光学フィルタが所定の配列で配置されていることを特徴とする請求項１に記載の撮像装置。
7. 前記光学フィルタは、ＲフィルタとＢフィルタを含むことを特徴とする請求項６に記載の撮像装置。
8. 前記光学フィルタは、Ｒフィルタ、Ｇフィルタ、Ｂフィルタをベイヤー配列で配置したものであることを特徴とする請求項７に記載の撮像装置。
9. 前記光学フィルタは、Ｒフィルタ、Ｂフィルタ、無色フィルタをベイヤー配列で配置したものであることを特徴とする請求項７に記載の撮像装置。
10. 前記歪曲補正部は、前記少なくとも２色のカラー画像データの歪曲を補正すると共に、解像度が異なる複数の画像データを生成することを特徴とする請求項１に記載の撮像装置。
11. 前記歪曲補正部は、前記撮像面内の結像倍率が高い位置から解像度の高い画像データを生成し、前記撮像面内の結像倍率が高い位置と前記撮像面内の結像倍率が低い位置とを含む領域から解像度の低い画像データを生成することを特徴とする請求項１０に記載の撮像装置。
12. 前記歪曲補正部は、前記撮像面内の結像倍率が高い位置から解像度の高い画像データを生成し、前記撮像面内の結像倍率が低い位置から解像度の低い画像データを生成することを特徴とする請求項１０に記載の撮像装置。
13. 前記歪曲補正部は、
    前記デモザイク部により生成された前記少なくとも２色のカラー画像データを蓄積する画像データ蓄積部と、
    所定の解像度で出力する画像データの領域を選択する出力領域選択部と、
    前記光学系の光学特性を保持する光学特性情報保持部と、
    前記出力領域選択部から入力された情報に基づき、前記光学特性情報保持部から光学特性情報を取得し、前記画像データ蓄積部から読み出す領域を算出する読出し領域算出部と、
    前記読出し領域算出部から入力された情報に基づいて前記画像データ蓄積部から画像データを読み出す画像データ読出し部と、
    前記画像データ読出し部から出力された画像データを使って補間処理を行う補間処理部と
    を有することを特徴とする請求項１に記載の撮像装置。
14. 請求項１～１３のいずれか1項に記載の撮像装置からのデータを処理する画像処理装置であって、
    前記歪曲補正部により歪曲が補正された前記カラー画像データに基づき物体認識を行う物体認識部を有することを特徴とする画像処理装置。
15. 前記物体認識部に入力される前記カラー画像データをさらに歪曲補正するための第２の歪曲補正部を有することを特徴とする請求項１４に記載の画像処理装置。
16. 請求項１４または１５のいずれか１項に記載の画像処理装置を搭載した移動装置であって、
    前記物体認識部による認識結果に基づき、警告動作を制御するか、移動装置の移動方向またはや移動速度を制御する制御部と
    を有することを特徴とする移動装置。
17. 撮像素子と、前記撮像素子の撮像面に像を形成すると共に、前記撮像面内の領域に応じて結像倍率が異なる特性を有する光学系とを有する撮像装置の制御方法であって、
    前記撮像素子から出力されたデータから少なくとも２色のカラー画像データを生成するデモザイクステップと、
    前記デモザイクステップにより生成された前記少なくとも２色のカラー画像データの歪曲を補正するステップと
    を有することを特徴とする制御方法。
18. 撮像素子と、前記撮像素子の撮像面に像を形成すると共に、前記撮像面内の領域に応じて結像倍率が異なる特性を有する光学系とを有する撮像装置のコンピュータに、
    前記撮像素子から出力されたデータから少なくとも２色のカラー画像データを生成するデモザイクステップと、
    前記デモザイクステップにより生成された前記少なくとも２色のカラー画像データの歪曲を補正するステップと
    を行わせるためのプログラム。
    
    

Images