JP2023178051A - 移動体、移動体の制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】側方を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーとして表示できる移動体を提供する。【解決手段】移動体において、高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、高解像度領域の垂直画角をθｖ、水平画角をθｈ、光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、移動体の長軸方向のドライバの視点位置とカメラユニットのオフセットをｘ１、移動体の短軸方向のカメラユニットの移動体の側面からのオフセットをｚ、カメラユニットの地面からの高さ方向のオフセットをｈ１、長軸方向におけるドライバの視点位置からの距離をｄ１、ｄ２、距離ｄ１、ｄ２における地面上の所定の幅をｗ１、ｗ２とするとき、式２～式４を満たすようにした。【選択図】 図８

Description

本発明は、移動体、移動体の制御方法、及びコンピュータプログラム等に関する。

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。例えば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段を有し、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

又、特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバが確認できるようにするための後方確認システムが開示されている。

特開２０１０－９５２０２号公報 特開２００４－３４５５５４号公報

上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、側方衝突検知システム用カメラは、左折時などの衝突、巻き込みを回避するために、車両側方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

又、電子ルームミラーシステムと側方衝突検知システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、側方衝突検知システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。

これに対して、例えば特殊な超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができる。しかし、超広角レンズなどを用いた場合には、広い画角は得られるものの周辺部の歪曲が大きく、高解像度で低歪曲の画像を電子サイドミラーなどに表示することが難しいという問題がある。

従って本発明では、上記の課題を鑑みて、側方を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーとして表示できる移動体を提供することを１つの目的とする。

上記目的を達成するために、本発明の１つの側面の移動体は、
高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、
前記高解像度領域の垂直画角をθｖ、水平画角をθｈ、前記光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、前記移動体の長軸方向のドライバの視点位置と前記カメラユニットのオフセットをｘ１、前記移動体の短軸方向の前記カメラユニットの前記移動体の側面からのオフセットをｚ、前記カメラユニットの地面からの高さ方向のオフセットをｈ１、前記長軸方向における、前記ドライバの前記視点位置からの距離をｄ１、ｄ２、距離ｄ１、ｄ２における地面上の所定の幅をｗ１、ｗ２とするとき、
Ａｔａｎ（ｈ１／（ｄ１＋ｘ１））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ１／（ｄ２＋ｘ１））＋θｖ／２・・・（式２）
Φｈ＿ｌｉｍｉｔ＝ｍａｘ（Ａｔａｎ（（ｗ１－ｚ）／（ｄ１＋ｘ１））－θｈ／２，Ａｔａｎ（（ｗ２－ｚ）／（ｄ２＋ｘ１））－θｈ／２）・・・（式３）
Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｚ／（ｄ１＋ｘ１））＋θｈ／２・・（式４）
を満たし、更に、
前記低解像度領域の垂直画角をθｌｖ、水平画角をθｌｈ、
地面から所定の高さｈ２、
前記ドライバの前記視点位置から前記移動体の前端までの距離ｘ２、
前記移動体の全長をｄ７、
地面上の所定の幅をｗ７とするとき、
ｘ２＜ｘ１の場合、
Ａｔａｎ（ｈ１／（ｘ１－ｘ２））－θｌｖ／２＜φｖ・・・（式５）
Ａｔａｎ（（ｗ７－ｚ）／（ｘ１－ｘ２））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ１－ｘ２））＋θｌｈ／２・・・（式６）
ｘ２＞ｘ１の場合、
－Ａｔａｎ（（ｈ１－ｈ２）／（ｘ２－ｘ１））－θｌｖ／２＋１８０°＜φｖ・・・（式７）
－Ａｔａｎ（（ｗ７－ｚ）／（ｘ２－ｘ１））－θｌｈ／２＋１８０°＜φｈ・・・（式８）
ｘ２＝ｘ１の場合、
＋９０°＜φｖ＋θｌｖ／２・・・・（式９）
－９０＞φｈ－θｌｈ／２・・・・（式１０）
＋９０＜φｈ＋θｌｈ／２・・・・（式１１）
を満たすように前記カメラユニットを設置したことを特徴とする。

本発明によれば、側方を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーとして表示できる移動体を実現することができる。

実施形態１のカメラユニットと車両の位置関係を説明する図である。 （Ａ）、（Ｂ）は、実施形態１における撮像部の光学特性を説明するための図である。 実施形態１における画像処理システムの構成を説明するための機能ブロック図である。 実施形態１のカメラユニットの車両１への設置条件について説明するための図である。 中型貨物車等における規定領域とカメラユニットの設置条件の例を説明するための図である。 図５の一部を拡大した図である。 図５，図６の中型貨物車を側面から見た図である。 実施形態６における画像処理システムの構成を説明するための機能ブロック図である。 実施形態６に係る自車両を上方から見下ろしたときの側方検知に必要な検知領域を説明するための図である。 実施形態６にかかる自車両を側面から見たときの側方検知に必要な検知領域を示した図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

［実施形態１］
実施形態１では、高精細な電子ルームミラーや電子サイドミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立すると共に、画角の割り当てを最適化できる画像処理システムについて説明する。

図１は、実施形態１のカメラユニットと車両の位置関係を説明する図である。
本実施形態では、図１に示すように、移動体としての例えば自動車の車両１の前方、右側方、後方、左側方にそれぞれカメラユニット１１、１２、１３、１４が設置されている。なお、本実施形態では４つのカメラユニットを有するが、カメラユニットの数は４に限定されず、少なくとも１つのカメラユニットがあれば良い。

カメラユニット１１～１４は、移動体としての車両１のそれぞれ前方、右側方、左側方、後方を撮像範囲とするように設置されている。
本実施形態では、カメラユニット１１～１４は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
なお、例えばカメラユニット１１、１３が有する光学系の光軸は、車両１が略水平状態の場合に、略水平となるように設置し、カメラユニット１２、１４が有する光学系の光軸は水平よりも若干下方を向くか、或いは真下を向くように設置されている。

又、本実施形態で使用するカメラユニット１１～１４が有する光学系はそれぞれ光軸周辺の狭い画角において高精細な画像を得ることができ、かつ広い画角において低解像度の撮像画像を得ることができるように構成されている。なお、１１ａ～１４ａは高解像度で低歪曲な像を撮像可能な撮像画角であり、１１ｂ～１４ｂは低解像度で高歪曲な像を撮像可能な撮像画角を示している。なお、１１ｂ～１４ｂは、１１ａ～１４ａの領域を含む。即ち、広い撮像画角１１ｂ～１４ｂの内、中央の狭い撮像画角１１ａ～１４ａにおいては高解像度の撮像画像が得られる。

次に、本実施形態におけるカメラユニット１１～１４が有する光学系について図２を用いて説明する。なお、それぞれのカメラユニット１１～１４の光学系の特性は同じでなくても良いが、本実施形態においては、カメラユニット１１～１４が有する光学系は略同じ特性を有するものとし、カメラユニット１１が有する光学系について例示的に説明する。

図２（Ａ）、（Ｂ）は、実施形態１における撮像部の光学特性を説明するための図であり、図２（Ａ）は、実施形態１におけるカメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。

図２（Ｂ）は、本実施形態におけるカメラユニット１１が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

本実施形態におけるカメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。従って、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。又、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

本実施形態においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄り（中央部）の領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄り（周辺部）の領域を低解像度領域１０ｂと呼ぶ。なお、高解像度領域１０ａは撮像画角１１ａに対応しており、高解像度領域１０ａと低解像度領域１０ｂを含む画角は撮像画角１１ｂに対応している。

なお、本実施形態では、高解像度領域１０ａと低解像度領域１０ｂの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界又は単に境界画像と呼ぶ。なお、表示画面に表示される境界画像（表示解像度境界）は円状でなくても良い。便宜的に長方形などにして表示しても良い。又、高解像度領域１０ａと低解像度領域１０ｂの境界は円状でなくてもよく、楕円でもよく、或いは歪んだ形状でも良い。

又、境界９３（高解像度領域１０ａ）の重心は、光学系の光軸が受光面と交わる位置と一致していなくても良い。但し、本実施形態では、境界９３（高解像度領域１０ａ）の重心は、光学系の光軸が受光面と交わる位置とほぼ一致しているので光学系の設計が容易であると共に、安定的な光学特性が得られ、歪曲補正の負荷も抑制することができる効果がある。

なお、本実施形態において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。従って、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。

本実施形態におけるカメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。又、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。

又、θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

又、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。
更に、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の式１も満足するように構成されている。

１＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９・・・・・（式１）
ｆは、前述のようにカメラユニット１１が有する光学系の焦点距離である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（即ち、ｙ＝ｆ×ｓｉｎθの場合）の魚眼レンズよりも中心解像度を高くすることができる。又、上限値を１．９とすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。上限値は、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．９～１．４の範囲で設定するのが望ましい。

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

更に、本実施形態では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。従って、周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

なお、上述の式１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、本発明は図２に示した射影特性に限定されない。なお、本実施形態では上述の式１の条件を満たす射影特性ｙ（θ）を有する光学系を異画角レンズと呼ぶ場合がある。
なお、カメラユニット１１～１４のそれぞれの光学系の高解像度領域１０ａは撮像画角１１ａ～１４ａに対応しており、撮像画角１１ａ～１４ａと低解像度領域１０ｂを含む画角は撮像画角１１ｂ～１４ｂに対応している。

なお、前述のように、本実施形態では、カメラユニット１１～１４の撮像素子の受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）はほぼ重なっており、高解像度領域１０ａの重心は光学系の光軸が受光面と交わる位置と一致している。
しかし、例えば撮像素子の受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）は所定の方向（第１の方向）にずれていても良い。又、高解像度領域１０ａの重心は光学系の光軸が受光面と交わる位置とずれていても良い。

次に本実施形態における画像処理システムの構成について図３を用いて説明する。図３は実施形態１における画像処理システムの構成を説明するための機能ブロック図である。
図３において画像処理システム１００は、移動体としての車両１に搭載されており、カメラユニット１１～１４の筐体内にはそれぞれ撮像部２１～２４とカメラ処理部３１～３４が配置されている。

撮像部２１～２４はそれぞれ異画角レンズ２１ｃ～２４ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２４ｄを有する。
光学系としての異画角レンズ２１ｃ～２４ｃは、１枚以上の光学レンズから構成されており、式１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子２１ｄ～２４ｄの受光面に形成する。

撮像素子２１ｄ～２４ｄは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。
従って、撮像素子からは、ベイヤー配列に従って例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。

３１～３４はカメラ処理部であり、撮像部２１～２４と共にそれぞれ同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号をそれぞれ処理する。なお、図３では撮像部２４、カメラ処理部３４の詳細及びその配線は便宜上省略されている。

カメラ処理部３１～３４はそれぞれ画像処理部３１ａ～３４ａ、認識部３１ｂ～３４ｂ、カメラ情報部３１ｃ～３４ｃを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号をそれぞれ画像処理する。なお、カメラ処理部３１の一部又は全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行っても良い。

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列に従って入力された画像データをそれぞれデベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。更に、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、非可逆圧縮処理などは行わず、いわゆるＲＡＷ画像信号を形成する。

認識部３１ｂ～３４ｂは画像処理部３１ａ～３４ａで画像処理された歪曲補正されていないＲＡＷ画像信号からそれぞれ所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部３１ｂ～３４ｂは、低歪曲領域に対応する画像信号を歪曲補正せずにＲＡＷ画像信号の状態で画像認識して第１の画像認識結果を出力する。

なお、本実施形態の認識部３１ｂ～３４ｂは少なくとも高解像度領域１０ａから得られたＲＡＷ画像信号に対して画像認識処理を行い、所定の対象物を認識する。なお、この時、認識部３１ｂ～３４ｂは、低解像度領域１０ｂから得られたＲＡＷ画像信号についても画像認識処理をしても良い。但し、ＲＡＷ画像信号は歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。

或いは、認識部３１ｂ～３４ｂは、高解像度領域１０ａから得られたＲＡＷ画像信号を切り出して、その高解像度領域１０ａから得られたＲＡＷ画像信号に対してだけ画像認識処理を行っても良い。

なお、その際画像認識のために切り出す領域は、画像認識処理に適した形状である矩形にすることが望ましい。又、切り出す矩形領域は高解像度領域１０ａ内の一部だけ（例えば高解像度領域１０ａに内接する矩形）でも良いし、高解像度領域１０ａと低解像度領域１０ｂの両方を含んだ矩形でも良い。

ここで、認識部３１ｂ～３４ｂは撮像手段により取得された画像信号の内、少なくとも一部領域の画像信号に基づき画像認識して第１の画像認識結果を出力する第１の画像認識手段として機能している。なお、本実施形態において、前記一部領域は低歪曲領域に対応する領域である。

認識部３１ｂ～３４ｂは、対象物の種類と座標のセットを認識結果として統合処理部４０に送信する。
一方、認識部３１ｂ～３４ｂは、統合処理部４０の統合制御部４１ｃから、対象物の種類と、その対象物の移動方向に関する情報又は優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。

ここで、車両１の正面に設置されたカメラユニット１１の認識部３１ｂの出力は走行制御部（ＥＣＵ）６０にも直接供給されている。これは、認識部３１ｂの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御したりする必要が生じる場合があるからである。

カメラ情報部３１ｃ～３４ｃはそれぞれカメラユニット１１～１４に関するカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット１１～１４内に設けた各種センサ等からの情報を一時的に保持することもできる。カメラ情報は、例えば異画角レンズ２１ｃ～２４ｃが形成する光学像の図２に示されるような特性情報（解像度境界情報など）を含む。

又、撮像素子２１ｄ～２４ｄの画素数、カメラユニットの車両座標における取り付け位置座標及び姿勢（ピッチ、ロール、ヨーなど）の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。更に、カメラ情報は、画像処理部３１ａ～３４ａにおいてＲＡＷ画像信号を生成する際の画像処理方法や画像フォーマットに関する情報を含んでも良い。

なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいても良い。又、カメラユニットの姿勢座標は車両１に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得しても良い。或いは３次元加速度センサなどを用いて取得しても良い。

又、撮像方向に関する情報は例えば地磁気センサを用いて取得しても良い。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。

なお、カメラ情報は撮像部２１～２４の固有の情報であり、互いに異なり、それらの情報は統合処理部４０に送信され、統合処理部４０において画像処理などをする際に参照される。ここで、カメラ情報部３１ｃ～３４ｃは、光学像の特性に関する特性情報やカメラユニットの位置姿勢情報を保持する保持手段として機能している。

なお、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。又、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

なお、本実施形態では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。なお、画像処理部３１ａ～３４ａは歪曲補正機能を持っていても良い。

なお、カメラ処理部３１～３４の内部の機能ブロックの一部又は全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現しても良いが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

４０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う。なお、本実施形態では統合処理部４０はカメラユニットとは別の筐体で収納されている。

ＳＯＣ／ＦＰＧＡ４１は画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃを有する。
画像処理部４１ａはカメラ処理部３１～３４からそれぞれのＲＡＷ画像信号を取得すると共に、カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。

カメラ情報は、前述のように、異画角レンズ２１ｃ～２４ｃの光学特性や撮像素子２１ｄ～２４ｄの画素数、光電変換特性、γ特性、感度特性、ＲＡＷ画像信号のフォーマット情報、カメラユニットの車両座標における取り付け位置の座標や姿勢情報などを含む。

画像処理手段としての画像処理部４１ａは光学系の特性情報などのカメラ情報を取得する。そしてカメラ情報に基づきカメラ処理部３１～３４からのそれぞれのＲＡＷ画像信号に対して解像度変換を行うと共に、撮像部２１～２４のそれぞれの低解像度領域１０ｂから得られた画像信号に対して歪曲補正等の画像処理ステップを実行する。

即ち、光学像の特性に基づき、歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。即ち、画像処理部４１ａは表示信号生成手段としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。なお、本実施形態において歪曲補正領域はユーザにより、又は自動で設定可能である。

本実施形態では画像処理部４１ａは、高解像度領域１０ａから得られた画像信号は歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像信号に対しても簡略的な歪曲補正を行っても良い。又、画像処理部４１ａはカメラ処理部３１～３４からのそれぞれのＲＡＷ画像信号に対して適宜非可逆圧縮処理などを行う。

又、画像処理部４１ａは歪曲補正を行った撮像部２１～２４のそれぞれの低解像度領域１０ｂの画像信号と、高解像度領域１０ａの画像信号をスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の全体画像を形成する。

なお、低解像度領域１０ｂの画像信号と高解像度領域１０ａから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａでそれぞれ得られたＲＡＷ画像信号をそのまま歪曲補正しても良い。
なお、画像処理部４１ａでは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき画像の回転等の画像処理を行う。これについては後述する。

認識部４１ｂは少なくとも低解像度領域を歪曲補正した後の、撮像部２１～２４毎の全体画像に対して画像認識処理を行い、撮像部２１～２４毎の全体画像における所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部４１ｂは、少なくとも低解像度領域（高歪曲領域）に対応する画像信号を歪曲補正した後で画像認識して第２の画像認識結果を出力する。

その際に、認識部３１ｂ～３４ｂによる認識結果（対象物の種類や座標）も参照する。なお、本実施形態では、認識部４１ｂは撮像部２１～２４毎の全体画像に対して画像認識をしているが、必ずしも全体画像に対して画像認識をしなくても良い。例えば画像の周辺部については画像認識しなくても良い。
即ち、認識部４１ｂは、例えば認識部３１ｂ～３４ｂにより認識した領域を含む、より広い領域を認識するものであれば良い。

即ち、認識部４１ｂは、画像取得手段により取得された画像信号の内、第１の画像認識手段で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第２の画像認識結果を出力する第２の画像認識手段として機能している。なお、第２の画像認識手段は、低歪曲領域としての高解像度領域１０ａと高歪曲領域としての低解像度領域１０ｂに対応した画像信号を合成した合成画像について画像認識して第２の画像認識結果を出力している。

なお、本実施形態では、画像処理部４１ａは、複数の撮像部としてのカメラユニット１２～１４からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成する。
その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。

なお、本実施形態では、カメラユニット１２と１３の撮影範囲は互いに重複するようにそれぞれ配置されている。又、カメラユニット１３と１４の撮影範囲が互いに重複するようにそれぞれ配置されている。しかも、その際、少なくとも２つの画像取得手段の低歪曲領域の撮影範囲が互いに重複するように配置されている。

又、認識部４１ｂは、そのパノラマ的な合成画像に対して画像認識を行う。そうすることによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。即ち、それぞれの撮像部からの個別の全体画像では、対象物の全体像が分からず画像認識できない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。

統合制御部４１ｃは、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。
例えば認識部３１ｂ～３４ｂにより認識された画像内の対象物の占める割合と認識部４１ｂにより認識された同じ対象物の、画面内に閉める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用する。

或いは高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部３１ｂ～３４ｂによる認識結果よりも認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用しても良い。或いは、認識部３１ｂ～３４ｂにより認識された対象物の位置が画面の周辺部の場合には、信頼性が低いと判断して、認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用しても良い。

或いは、認識部４１ｂでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしても良い。又、高解像度領域だけに存在する対象物に対しては認識部３１ｂ～３４ｂによる認識の信頼性の方が高いとみなして認識部４１ｂでは画像認識処理をしないように制御しても良い。
ここで、統合制御部４１ｃは、第１の画像認識結果の信頼性と第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理手段として機能している。

又、統合制御部４１ｃは、撮像部２１～２４毎の全体画像や、パノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１などに表示するための信号を形成する。又、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。更に、カメラ情報部３１ｃ～３４ｃから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のＣＧを生成しても良い。

又、これらのＣＧや文字を画像に重畳するための表示処理などを行う。ここで第１表示部５０，第２表示部５１などは表示手段として機能しており、画像信号や統合された画像認識結果を表示する表示ステップを実行可能である。

更に又、本実施形態においては、統合制御部４１ｃは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。即ち、例えばカメラユニット１４において認識された対象物がカメラユニット１１の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部４１ｃはその対象物の種類と、その対象物の移動方向に関する情報又は優先認識領域情報を含む予測情報をカメラユニット１１の認識部３１ｂに送信する。

このような予測情報をカメラユニット１１～１４の認識部３１ｂ～３４ｂで共有することによってカメラユニット１１～１４の認識部３１ｂ～３４ｂにおける画像認識精度を向上させることができる。なお、このような予測情報を共有するメリットは、カメラユニット１１～１４の認識部３１ｂ～３４ｂが統合処理部４０の認識部４１ｂと別体の場合に特に効果が大きい。

又、統合制御部４１ｃは走行制御部（ＥＣＵ）６０などとＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて、内部に設けられた不図示の通信手段を介して通信を行う。それによって、走行制御部（ＥＣＵ）６０などから受信した車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示手段に表示する画像の範囲などを変化させる。

なお、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバーのシフト位置、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

逆に統合制御部４１ｃは、認識部４１ｂで認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。それによって走行制御部（ＥＣＵ）６０は、車両の停止、駆動、走行方向の変更などの、障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、統合された画像認識結果に基づき移動体としての車両の移動を制御する移動制御手段として機能している。

第１表示部５０は例えば車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され電子ルームミラーとして機能する。なお、ハーフミラーなどを用いて、画像表示用のディスプレイとして使用しないときは鏡として使用できる構成としても良い。又、第１表示部５０はタッチパネルや操作ボタンを備え、ユーザからの指示を取得し、統合制御部４１ｃへ出力可能な構成としても良い。又、第１表示部５０を例えば従来の光学的なサイドミラーの代わりに、左右の障害物などを確認するための電子サイドミラーとして用いることもできる。

第２表示部５１は、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両１には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。又、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成としている。

なお、第２表示部５１は例えば外部のタブレット端末の表示部であってもよく、統合処理部４０に対して有線で接続することにより画像の表示ができるようにしても良いし、通信部６２を介して無線で画像を受信して表示することもできるようにしても良い。なお、第１表示部５０、第２表示部５１のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。なお、表示部の数は３つに限定されない。

なお、統合処理部４０などに含まれる機能ブロックの一部又は全部をハードウェアで実現するようにしても良いし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現しても良い。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

なお、画像処理部３１ａ～３４ａで行っている画像処理の一部又は全部を統合処理部４０の画像処理部４１ａで行っても良い。即ち、本実施形態では、例えば画像取得手段と第１の画像認識手段とは同じカメラユニットの筐体に収納されており、カメラユニットと第２の画像認識手段はそれぞれ別の筐体に収納されている。しかし、例えば第１の画像認識手段を第２の画像認識手段と共に統合処理部４０の筐体に収納しても良い。

なお、本実施形態では統合処理部４０は移動体としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行っても良い。その場合、例えば画像取得手段としての撮像部２１～２４は移動体としての車両１に搭載されるが、例えばカメラ処理部３１～３４や統合処理部４０の機能の一部を外部サーバなどで処理することが可能になる。又、統合処理部４０の一部又は全部の機能を走行制御部（ＥＣＵ）６０に持たせることも可能である。

６１は記録部であり、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記録する。更に、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記録する。
統合処理部４０は記録部６１に記録された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

６２は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記録部６１に記録される前の情報や記録部６１に記録された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。

又、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第２表示部５１に画像を表示することもできる。又、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１に表示することも可能である。
６３は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。

図４は実施形態１のカメラユニットの車両１への設置条件について説明するための図である。
図４において１４は左側方に設置されたカメラユニットであり、電子サイドミラー表示用の画像を撮像する。

又、ドライバが、電子サイドミラーの表示により車両周辺の安全を確認するためには、図４の網掛けで示すような車両側方や後方の地面上の領域を表示する必要がある。以降、本実施形態では図４における網掛け領域を規定領域とも記載する。図４では、ドライバの視点位置Ｅから後方の距離ｄ１において幅ｗ１の領域を、距離ｄ２の距離において幅ｗ２の地面上の領域を、規定領域とする。この規定領域が第１表示部５０に表示されることが望ましい。即ちｄ１、ｄ２は、図４のＸ方向における、ドライバの視点位置Ｅから後方の距離であり、ｗ１，ｗ２はそれぞれ距離ｄ１、ｄ２における地面上の幅である。

図４に示す規定領域を電子サイドミラーに表示するためには、少なくとも規定領域をカメラユニット１４の撮像領域に含めるように設置する必要がある。従って本実施形態では、カメラユニット１４の、式１の条件を満たす高解像度領域１０ａに対応した撮像画角で、規定領域が撮像可能なようにカメラユニット１４を設置する。なお、図４ではカメラユニット１４はＸ軸、Ｙ軸、Ｚ軸の交点に配置されており、図４で示されるような撮像画角を有するものとする。

ここで、式１の条件を満たす高解像度領域１０ａを用いて、規定領域を表示するようにサイドミラー用の画像を形成するためには、カメラユニット１４を垂直方向について、以下の式２の条件を満たすように設置することが望ましい。

Ａｔａｎ（ｈ／（ｄ１＋ｘ））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ／（ｄ２＋ｘ））＋θｖ／２・・・・・（式２）
又、水平方向については以下の式３、式４の条件を満たすように設置することが望ましい。

Φｈ＿ｌｉｍｉｔ
＝ｍａｘ（Ａｔａｎ（（ｗ１－ｚ）／（ｄ１＋ｘ））－θｈ／２，Ａｔａｎ（（ｗ２－ｚ）／（ｄ２＋ｘ））－θｈ／２）・・・（式３）
Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｚ／（ｄ１＋ｘ））＋θｈ／２・・・（式４）

ここで、図４に示すように、θｖは高解像度領域１０ａの垂直画角、θｈは高解像度領域１０ａの水平画角、φｖはカメラユニット１４の光学系の光軸の垂直方向角度、φｈはカメラユニット１４の光学系の光軸の水平方向角度とする。又、ｘは車両１の長軸方向（図４のＸ方向）におけるドライバの視点位置Ｅとカメラユニット１４のオフセット、ｚはカメラユニット１４の車両側面からの短軸方向（図４のＺ方向）のオフセットとする。又、ｈはカメラユニット１４の地面からの高さ方向（図４のＹ方向）のオフセットとする。

なお、ドライバの視点位置Ｅは、ドライバの着座位置での目の位置又はドライバの座席面の中央位置とする。
なお、以上の説明では左側方のカメラユニット１４の設置条件について説明したが、右側方のカメラユニット１２についても同じ条件となる。

以上のように式１～式４の条件を全て満たすことによって、図４に示すような、ドライバが安全を確認すべき規定領域を高解像度領域１０ａの画角内に含めて撮像することができる。従って、電子サイドミラーにより高解像度で低歪曲の画像を適切に表示することができる。

このように、本実施形態では上記式１～式４の条件を満たすようにすることで、高解像度領域１０ａの画角に車両後側方の規定領域を撮像範囲に含めて撮像することが可能となる。従って、車両後側方の規定領域を電子サイドミラーに表示することができドライバーが安全を確認することができる。更に高解像度領域１０ａは、歪曲が小さく解像度が高いためドライバーは高解像度で低歪曲の画像によってタイムリーに障害物等を目視することができる。

しかも、高解像度領域１０ａについてはＲＡＷ画像信号の状態で画像認識を行うようにすることで、遅延なく画像認識ができるので障害物などに関する情報をドライバーに速やかに通知することもできる。又、このように上記式１～式４の条件が満たされることで、自動車は、ドライバーが安全を確認しやすい映像を電子サイドミラーに表示できる。

以上説明したように本実施形態では、高解像度領域（低歪曲領域）１０ａにおいては、通常の撮像用の光学系の射影特性である中心射影方式（即ち、ｙ＝ｆ×ｔａｎθである場合）や等距離射影方式（即ち、ｙ＝ｆ×θである場合）に近い特性としている。従って、光学歪曲が小さく、高解像度で表示することが可能となる。又、周囲の車両などを目視する際における自然な遠近感が得られる。更に、画質の劣化を抑えて良好な視認性を得ることができると共に画像認識も歪曲補正せずに行える。

なお、上述の式１の条件を満たさない射影特性ｙ（θ）であっても、光学系が高解像度領域１０ａと低解像度領域１０ｂを有する光学像を形成するものであって、かつ式２～式４の条件を満たすように設置しても良い。その場合であっても、ある程度高解像で低歪曲の画像を目視或いは画像認識することができる。

なお、例えば乗員が９人以下の乗用車や小型の貨物車（例えば車両重量が３．５トン以下）の場合にはｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝２０ｍ、ｗ２＝４ｍの規定領域をドライバーが電子サイドミラーで確認できることが望ましい。

この場合に、例えば高解像度領域１０ａの垂直画角θｖと水平画角θｈがそれぞれ４７．２度のカメラユニットを用い、ｘ＝０．５ｍ、ｚ＝０．２ｍ、ｈ＝１ｍの位置にカメラユニットを設置することを想定する。その場合、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、－１１．０７°＜φｖ＜２６．４°、－１３．１°＜φｈ＜２６．１°となる。カメラユニットは、これらの条件を満たすように、カメラの光軸を合わせて設置される。

又乗員が１０人以上の乗用車や、中型や大型の貨物車の場合には、より後方が確認できることが望ましいため、ｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝３０ｍ、ｗ２＝５ｍの規定領域をドライバーが電子サイドミラーで確認できることが望ましい。その場合、高解像度領域１０ａの垂直画角θｖと水平画角θｈがそれぞれ４７．２度のカメラユニットを用い、ｘ＝０．５ｍ、ｚ＝０．２ｍ、ｈ＝１ｍの位置にカメラユニットを設置するとする。すると、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、－１１．１°＜φｖ＜２５．５°、－１３．５°＜φｈ＜２６．１°となる。

なお、上述の数値例では、カメラユニットの設置位置（ｘ、ｚ、ｈ）を固定の条件として、その場合のカメラユニットの光軸の角度条件を算出したが、式２～３の条件を満たしていればよく、設置条件の算出方法はこれに限定しない。例えば、車両設計上の制約条件として、カメラユニットの光軸の角度が予め決まっている場合、それに基づいて、式２～３の条件を満たすカメラユニットの設置位置の範囲を決定する。

それにより、規定領域をカメラユニットの高解像度領域の撮像範囲に含めることができる。両設計上の制約条件としてカメラユニットの設置位置（ｘ、ｚ、ｈ）とカメラユニットの光軸の角度が予め決まっている場合、それに基づいて、式２～３の条件を満たすカメラユニットの高解像度領域１０ａの垂直画角θｖと水平画角θｈを夫々決定しても良い。

［実施形態２］
実施形態２では、中型貨物車にカメラユニットを設置する場合の設置条件を説明する。中型貨物車としては、例えば車両総重量が３．５トンを超え１２トン以下の車両とする。なお、３．５トンを超え７．５トン以下の車両としても良い。中型貨物車では、乗用車や小型貨物車に比較して側方方向により広い範囲の安全をドライバーが確認する必要がある。

図５は中型貨物車等における規定領域とカメラユニットの設置条件の例を説明するための図であり、図６は図５の一部を拡大した図である。又、図７は、図５，図６の中型貨物車を側面から見た図である。図５～図７に示すように、ドライバの視点位置Ｅからの距離ｄ１～ｄ６とそれぞれの距離に対応する幅ｗ１～ｗ６が電子サイドミラーに表示されてドライバが確認できることが望ましい。

なお、ｄ１～ｄ６とそれぞれの距離に対応する幅ｗ１～ｗ６で規定されている領域を本実施形態における規定領域として記載する。又、本実施形態においては、規定領域の全てをカメラユニットの高解像度領域１０ａで撮像できるようにカメラユニットを設置する。なお、図５において、Ｐ３～Ｐ５はＰ３’～Ｐ５’と対応しており、車両１の長軸方向（Ｘ方向）の中心線に対してそれぞれ対称な位置関係にある。

なお、図６に示されるように、サイドミラー表示のために設置されるカメラユニット１４の位置はドライバの視点位置Ｅからｘだけ前に配置され、車両の側面からｚだけオフセットしているものとする。尚、図７に示されるように、カメラユニット１４は、車両１に対して斜め前方に突き出された支持アームに取付けられている。

本実施形態において、図５に示す規定領域の全てをカメラユニットの高解像度領域１０ａで撮像できるように設置するためには、カメラユニット１４の位置や角度は上記の式１～式４の条件に加え、更に、以下の式５～式９の条件を満たすことが望ましい。

即ち、垂直方向については、以下の式５を満たすことが望ましい。
Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
又、水平方向については、距離ｄ３の車体側の点Ｐ１を撮像するために、以下の式６を満たすことが望ましい。
－Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
又、距離ｄ３の外側の点Ｐ３を撮像するために、以下の式７を満たすことが望ましい。
Ａｔａｎ（（ｗ３－ｚ）／（ｄ３＋ｘ））－θｈ／２＜φｈ・・・・（式７）

又、距離ｄ４の外側の点Ｐ４を撮像するために、以下の式８を満たすことが望ましい。
Ａｔａｎ（（ｗ４－ｚ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（式８）
又、距離ｄ５の外側の点Ｐ５を撮像するために、以下の式９を満たすことが望ましい。
Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
ここでｄ３～ｄ５は、図５に示すＸ方向についての、ドライバの視点位置Ｅから後方の距離であり、ｗ３～ｗ５は、図５に示すＺ方向の車両１の側面から外側に広がる幅である。

又、ｘは車両の長軸方向（図５、図６のＸ方向）におけるドライバの視点位置Ｅとカメラユニット１４のオフセット、ｚはカメラユニット１４の車両側面からの短軸方向（図５～７のＹ方向）のオフセットとする。又、ｈはカメラユニット１４の地面からの高さ方向（図７のＺ方向）のオフセットとする。なお、本実施形態では、ｗ４＝ｗ５である。

［実施形態３］
実施形態３では、大型貨物車にカメラユニットを設置する場合の設置条件を説明する。大型貨物車として例えば車両総重量が１２トンを超える車両とする。７．５トンを超える車両としても良い。実施形態２の規定領域のうち距離ｄ１の幅ｗ１と、距離ｄ２の幅ｗ２、距離ｄ５の幅ｗ５の領域をカメラユニットの高解像度領域の撮像範囲に含めるようにカメラユニットを設置する。

その場合の設置条件として、上記の式２～式４の条件の他に式５、式６、式９を満たすようにする。即ち、垂直方向については式５の条件とし、水平方向について、距離ｄ３の車両１の側の点を撮像するための条件は式６とし、距離ｄ５の外側の点を撮像するための条件は式９とする。

［実施形態４］
実施形態４では、実施形態２の規定領域のうち距離ｄ４の幅ｗ４とｄ５の幅ｗ５の領域をカメラユニットの高解像度領域の撮像範囲に含めるようにする。その場合の設置条件として、上記の式２～式４の条件の他に式５、式６、式８、式９の条件を満たすようにする。
即ち、垂直方向については式５の条件とし、水平方向については、距離ｄ３の車両１の側の点を撮像するために式６の条件とし、距離ｄ４の外側の点を撮像するために式８の条件とし、距離ｄ５の外側の点を撮像するために式９の条件とする。

［実施形態５］
実施形態５では、実施形態１の規定領域に加え、図６～図７に示す距離ｄ６、ｄ３の位置で幅ｗ６で規定される領域を低解像度領域１０ｂで撮像できるように構成する。運転席とは反対側の地面を確認するためこの規定領域を撮像範囲に含めることが望ましい。

この場合、上記の式１～式４の条件の他に以下の式１０～式１６の条件を満たすことが望ましい。又、その際、実施形態２～４のうちのいずれかの実施形態の条件も満たすようにしても良い。そのようにすることで、１つのカメラユニットで各規定領域を撮像範囲に含めることができる。

即ち、ｘ＞ｄ６の場合、垂直方向については、以下の式１０を満たすことが望ましい。
Ａｔａｎ（ｈ／（ｘ－ｄ６））－θｌｖ／２＜φｖ・・・・（式１０）
又、水平方向については、以下の式１１を満たすことが望ましい。
Ａｔａｎ（（ｗ６－ｚ）／（ｘ－ｄ６））－θｌｈ／２＜φｈ
＜－Ａｔａｎ（ｚ／（ｘ－ｄ６））＋θｌｈ／２・・・・（式１１）

又、ｘ＜ｄ６の場合、
垂直方向については、以下の式１２を満たすことが望ましい。
Ａｔａｎ（ｈ／（ｄ６－ｘ））＋９０°－θｌｖ／２＜φｖ・・・・（式１２）
又、水平方向については、以下の式１３を満たすことが望ましい。
Ａｔａｎ（（ｗ６－ｚ）／（ｘ－ｄ６））－θｌｈ／２＋９０°＜φｈ＜－Ａｔａｎ（ｚ／（ｘ－ｄ６））＋θｌｈ／２－９０°・・・・（式１３）

又、ｘ＝ｄ６の場合、
垂直方向については、以下の式１４を満たすことが望ましい。
＋９０°＜φｖ＋θｌｖ／２・・・・（式１４）
又、水平方向の車体側については、以下の式１５を満たすことが望ましい。
－９０°＞φｈ－θｌｈ／２・・・・（式１５）
又、水平方向の外側については、以下の式１６を満たすことが望ましい。
＋９０°＜φｈ＋θｌｈ／２・・・・（式１６）

なお、ここで、θｌｖは低解像度領域１０ｂの垂直画角、θｌｈは低解像度領域１０ｂの水平画角とする。
なお、以上の実施形態１～５の説明では左側方のカメラユニット１４について説明したが右側方のカメラユニット１２についても同様の条件が成り立つ。

以上のような実施形態２～５の規定領域の具体例として、例えばｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝２０ｍ、Ｗ２＝４ｍ、ｄ３＝１．５ｍ、ｗ３＝４．５ｍ、ｄ４＝１０ｍ、ｗ４＝１５ｍをドライバーが電子サイドミラーで確認できることが望ましい。更に又、ｄ５＝２５ｍ、ｗ５＝１５ｍ、ｄ６＝１ｍ、ｗ６＝２ｍの規定領域をドライバーが電子サイドミラーで確認できることが望ましい。

例えば、カメラユニットの設置位置をｘ＝１．１ｍ、ｚ＝０．３ｍ、ｈ＝２．３ｍとすると、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、０．６７度＜φｖ＜１７．９度、－３．３７度＜φｈ＜１７度などになる。

なお、以上の説明では、カメラユニット１１～１４の撮像素子の受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）はほぼ重なっており、高解像度領域１０ａの重心は光学系の光軸が受光面と交わる位置と一致しているものとした。しかし、前述のように、受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）はずれていても良いし、高解像度領域１０ａの重心と、光学系の光軸が受光面と交わる位置とは一致していなくても良い。

即ち、例えばカメラユニット１４の高解像度領域（低歪曲領域）１０ａの重心を撮像素子の受光面１４０の中心から上側（第１の方向）にずれるように配置して、けられが生じるようにしても良い。

そして、上記のけられの方向（第１の方向）を例えば車両１の方向を向くように配置すれば、車体の外側の撮像可能な画角は広がることになり、撮像画角を最適化でき撮像素子の画素を最大限有効に用いることができる。

なお、けられが生じている部分は、θｌｖやθｌｈの範囲から除外される。即ち、θｌｖやθｌｈの端のけられが生じている部分が含まれないように、実施形態１～５において、上記の式１～１６は計算される。

以上のように、実施形態１～５では、高解像度領域（低歪曲領域）１０ａは、通常の撮像用の光学系の中心射影方式（即ち、ｙ＝ｆ×ｔａｎθの場合）又は等距離射影方式（即ち、ｙ＝ｆ×θの場合）に近似した射影特性となるように構成されている。従って、例えば第１表示部５０などの電子サイドミラーに表示される高解像度領域（低歪曲領域）１０ａの画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１の側方の遠方を、より精細に表示することができる。しかも画角の異なる複数のカメラユニットを用いて側方を撮像する場合に比べてコスト、処理効率、小型化等において優れている。

なお、各規定領域を表示できれば表示の仕方は限定しない。例えば、距離ｄ６、ｄ３の幅ｗ６で規定される規定領域と、距離ｄ３～ｄ５の幅ｗ３～ｗ５で規定される領域と、距離ｄ１、ｄ２の幅ｗ１、ｗ２で規定される領域をカメラユニットの撮像画像から夫々個別の画像として切り出して異なる表示部に表示しても良い。このようにすることで各規定領域の目的に合った表示を行うことができる。

又、距離ｄ６、ｄ３の幅ｗ６で規定される領域と、距離ｄ３～ｄ５の幅ｗ３～ｗ５で規定される領域と、距離ｄ１、ｄ２の幅ｗ１、ｗ２で規定される領域を撮像範囲に含んでいるため、カメラユニットの撮像画像をそのまま１つの表示部に表示しても良い。このようにすることで、規定領域をドライバーが確認できるようにしつつ画像切り出しの処理を簡易化することができる。

又、本実施形態の高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラーや電子サイドミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。
又、高解像度領域１０ａは、光学歪みが小さいので、歪曲補正をしないＲＡＷ画像信号の状態で画像認識ができ、画像認識のための処理負荷を低減し高速で画像認識をすることができる。

従って画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、以上の実施形態の条件式を満たすように構成した場合には、特に高速道路などでの高速走行時において大きな効果を得ることができる。
なお、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。

［実施形態６］
実施形態６においては、トラックの遠方用電子サイドミラー（ＵＮＲ４６、クラス２）と側方衝突警報装置（ＷＰ２９）を両立させるように構成している。

即ち、実施形態６では、大型貨物車両で電子サイドミラー用の表示のための撮像領域と車両側方の移動物体を検知し、衝突の可能性がある場合にドライバーに警報する側方衝突警報のための検知領域を１つのカメラで撮像できるようにしている。
一般的に車両が大型になるほど車両側方の死角が増えるので、このような構成による効果は大きい。なお、ここでは、大型貨物車両は、例えば車両総重量８．０トン以上の車両とする。

先ず、本実施形態における画像処理システムを図８を参照しながら説明する。図８は実施形態６における画像処理システムの構成を説明するための機能ブロック図である。
本実施例における画像処理システム１００は、実施形態１の画像処理システムの構成に対して更に警告表示部５２と音声通知部５３を含むよう構成している。以下、実施形態１と動作や構成が異なる機能ブロックについて説明する。又、実施形態１と動作や構成が同様な機能ブロックについての説明は省略する。

本実施例における画像処理システム１００は、右左折時の巻き込みや衝突を防止するために車両側方の移動物体を検知する。ここでの移動物体とは、例えば自転車、歩行者、その他の車両などであり、本実施形態においては、検知対象と呼ぶ。

統合制御部４１ｃは、認識部３１ｂ～３４ｂ、認識部４１ｂが出力した認識結果に基づいて検知対象が含まれているか判断し、認識結果を出力する。統合制御部４１ｃが出力する認識結果は、検知対象の有無、検知対象の種類や座標、速度情報を含む。

警告表示部５２と音声通知部５３は警告手段として機能しており、統合制御部４１ｃから出力された認識結果に基づいて、視覚情報によりドライバーに側方衝突警報を行う。
警告表示部５２は、例えばＬＥＤ等で構成し、検知対象が存在するという情報が認識結果に含まれる場合に、点灯や点滅を行う構成としても良い。

又、警告表示部５２を液晶などのディスプレイで構成しても良い。その場合、検知対象が存在するという情報が認識結果に含まれる場合に、ディスプレイ上にアイコンや文字情報などで出力しても良い。又、警告表示部５２は例えば車両１の運転席の前方の車幅方向端付近に、表示画面をドライバー方向に向けて設置するように構成しても良い。又、警告表示部５２は例えば第１表示部５０、第２表示部５１の付近に設置、或いは第１表示部５０、第２表示部５１と代用又は兼用する構成としても良い。

音声通知部５３は音声通知手段として機能しており、統合制御部４１ｃから出力された認識結果に基づいて例えばスピーカーを用いて音を出力する。音声通知部５３は例えば車両１の運転席の前方の車幅方向端付近などに設置しても良い。

又、統合制御部４１ｃは警告条件判断手段としても機能しており、認識部３１ｂ～３４ｂ、認識部４１ｂで得られた検知対象の座標や速度に基づいて警告表示部５２又は音声通知部５３が出力する警報の内容を変更するよう制御する。

又、統合制御部４１ｃは、警告表示部５２で警告表示する内容を検知対象と車両側方の距離に応じて色相を変更して表示するようにしても良い。例えば、統合制御部４１ｃは、検知対象との距離が小さい場合は赤色、検知対象との距離が中程度の場合は黄色、検体対象との距離が所定値より大きい場合は青色、又は緑色で表示するよう制御しても良い。

又、統合制御部４１ｃは、検知対象との距離が近いほど警報表示の輝度を高くするよう警告表示部５２を制御する構成としても良い。
又、統合制御部４１ｃは、例えば検知対象と車両側方の距離が近い程、通知の音量が大きくなるように音声通知部５３を制御しても良い。

なお、統合制御部４１ｃは、走行制御部（ＥＣＵ）６０から入力された自車両の走行速度が所定の速度以下であるか判断し、所定の速度以下である場合にのみ警告表示部５２で警告表示、又は、音声通知部５３で警告通知を行う構成としても良い。即ち、自車両の走行速度が所定の速度より速い場合、正しく検知対象を認識できない可能性があるため、このような構成とすることで、正しく側方検知を行える。尚、上記の所定の速度は例えば３０ｋｍ／ｈ程度とすることが望ましい。

又、検知対象が移動している場合は、車両と衝突する可能性が高いため、統合制御部４１ｃは検知対象の速度が所定の範囲内であるか判断しても良い。そして、検知対象の速度が所定の範囲内（所定の速度以上）であると判断した場合にのみ警告表示部５２で警告表示、又は、音声通知部５３で警告通知を行う構成としても良い。この場合、所定検知対象の速度の所定範囲として、例えば５ｋｍ／ｈ以上２０ｋｍ／以下などとすることが望ましい。

又、統合制御部４１ｃは走行制御部（ＥＣＵ）６０から出力された自車両の移動方向情報から自車両が右左折しているかを判断し、車両が右左折している場合にのみ５２警告表示部で警告表示、又は、５３音声通知部で警告通知を行うようにしても良い。

次に、本実施形態におけるカメラユニットの設置条件について図５、図９、図１０を参照しながら説明する。
前述のように、図５はドライバが、電子サイドミラーの表示により車両周辺の安全を確認すべき規定領域を表している。

図９は実施形態６に係る自車両を上方から見下ろしたときの側方検知に必要な検知領域を説明するための図である。本実施形態においては、規定領域をカメラユニットの高解像度領域１０ａで撮像、更に検知領域を低解像度領域で１０ｂで撮像できるようにカメラユニットを設置する。図５で示したドライバの視点位置Ｅからの距離ｄ１、ｄ２とそれぞれの距離に対応する幅ｗ１、ｗ２で規定されている領域を本実施形態における規定領域とよぶ。

又、図１０は実施形態６にかかる自車両を側面から見たときの側方検知に必要な検知領域を示した図である。図９、図１０で示すように、車両全長ｄ７と車の側面からの距離ｗ７で規定されている領域を本実施形態における検知領域と呼ぶ。この検知領域は、自車両が右左折する時に前記検知領域内に物体があった場合巻き込みや衝突が起こる可能性が高い領域である。そのため、目視確認が難しい運転席と反対側の車両側方に存在する検知対象を検知するために検知領域をカメラユニットの撮像範囲に含める。

なお、図９で示すようにサイドミラー表示のために設置されているカメラユニット１４の位置はドライバの視点位置Ｅからｘ１だけ前方に配置され、車両の側面からｚだけオフセットしているものとする。又、ドライバの視点位置Ｅから車両前端までの距離をｘ２とする。
カメラユニット１４の高さ方向のオフセットｈ１については、式１７のように、所定の高さｈ２より高くすることが望ましい。尚、ｈ２は検知対象の高さに対応している。

即ち、
ｈ１＞＝ｈ２・・・（式１７）
の条件を満たすことが望ましい。このような設置条件とすることで、所定の高さｈ２以下の検知対象の高さ方向を撮像範囲に含めることができる。例えば、自転車を検知対象に含める場合、ｈ２を約１．７メートルとすることが望ましい。又、歩行者を検知対象に含める場合は、ｈ２を約２メートルとすることが望ましい。

即ち、高解像度領域で撮像した映像を電子サイドミラーに表示するために、規定領域をカメラユニットの高解像度領域１０ａで撮像する。更に車両側方にある検知対象との衝突や巻き込みを防ぐために車両前端側方を含めた検知領域全てを同時に撮像できるようにカメラユニットを設置する。そのために、カメラユニット１４の位置と角度が、上記式１～４の条件に加えて下記式１８～２４の条件を満たすように設置する。それによって車両側方の検知対象の検知と電子サイドミラーへの高解像度映像の表示の両立が可能となる。

ドライバの視点位置Ｅから車両前端までの距離ｘ２よりカメラユニットのオフセットｘ１が大きい場合、検知領域内にいる検知対象を映すためには車両前端の位置で幅ｗ７全てを地面を撮像範囲に含める必要がある。
従って、ｘ２＜ｘ１の場合、垂直方向については、以下の式１８を満たすように設置することで車両前端と地面との接点を撮像することができる。
Ａｔａｎ（ｈ１／（ｘ１－ｘ２））－θｌｖ／２＜φｖ・・・（式１８）

又、水平方向については、以下の式１９を満たすことで図９の点Ｐ６、Ｐ７にある検知対象を撮像することができる。
Ａｔａｎ（（ｗ７－ｚ）／（ｘ１－ｘ２））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ１－ｘ２））＋θｌｈ／２・・・（式１９）

一方、移動体の前端までの距離ｘ２よりカメラユニットのオフセットｘ１が小さい場合、検知領域内にいる検知対象を映すためには移動体の前端までの距離ｘ２の位置で所定の高さｈ２の検知対象を撮像範囲に含める必要がある。

従って、ｘ２＞ｘ１の場合、
垂直方向については、以下の式２０を満たすことで図９の点Ｐ７にある検知対象を撮像することができる。
－Ａｔａｎ（（ｈ１－ｈ２）／（ｘ２－ｘ１））－θｌｖ／２＋１８０°＜φｖ・・・（式２０）

一方、水平方向については、以下の式２１を満たすことで図９の点Ｐ６にある検知対象を撮像することができる。
－Ａｔａｎ（（ｗ７－ｚ）／（ｘ２－ｘ１））－θｌｈ／２＋１８０°＜φｈ・・・（式２１）

又、移動体の前端までの距離ｘ２とカメラユニットのオフセットｘ１が同じ場合は検知対象をとらえるためにカメラユニットの真下、外側を映すことが望ましい。
従って、ｘ２＝ｘ１の場合、
垂直方向については、以下の式２２を満たすことが望ましい。
＋９０°＜φｖ＋θｌｖ／２・・・・（式２２）

又、水平方向の車体側については、以下の式２３を満たすことが望ましい。
－９０＞φｈ－θｌｈ／２・・・・（式２３）
又、水平方向の外側については、以下の式２４を満たすことが望ましい。
＋９０＜φｈ＋θｌｈ／２・・・・（式２４）
上記の式２２～式２４の条件を満たすことで図９の点Ｐ６、点Ｐ７にある検知対象を撮像範囲に含めることができる。

以上の実施形態６の説明では運転席が右側の場合の車両左側方のカメラユニット１４の設置条件を例にとって説明したが、運転席が左側の場合の車両右側方のカメラユニット１２についても同様の条件を満たすことで成り立つ。

以上のような実施形態６の規定領域の具体例として例えばｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝３０ｍ、ｗ２＝５ｍの規定領域をドライバーが電子サイドミラーで確認できることが望ましい。更に、検知領域の具体例として例えばｗ７＝３ｍ、車両の全長ｄ７＝１２ｍの検知領域内の検知対象を撮像できることが望ましい。又、例えば高解像度領域１０ａの垂直画角θｖと水平画角θｈがそれぞれ４７．２度のカメラユニットを用い、ｘ１＝１．１ｍ、ｘ２＝０．９ｍ、ｚ＝０．３ｍ、ｈ１＝２．３ｍの位置にカメラユニットを設置し、検知対象の高さをｈ２＝１．７ｍとする。

その場合には、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、
０．６７°＜φｖ＜２７．８３°、
－４．２４°＜φｈ＜２７．００°
を満たすように設置する。それによって、側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。

又、上記具体例で検知領域の幅を広げて、例えばｗ７＝４．２５ｍとすると、より広範囲で検知対象を検知できるためより望ましい。その場合には、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、
０．６７°＜φｖ＜２７．８３°、
－２．９０°＜φｈ＜２７．００°
を満たすように設置する。それによって、より広範囲な側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。

以上のように、本実施形態の高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラーや電子サイドミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。
又、車両側方の検知領域を撮像することで車両側方の移動物体を検知し、警告を行うことでドライバーは巻き込みや衝突する可能性を低減することができる。従って、本実施形態によれば、側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。

［実施形態７］
実施形態７においては、トラックの遠方確認用電子サイドミラー（ＵＮＲ４６、クラス２）と側方衝突警報装置（ＷＰ２９）を有し、図９のＰ８地点を高解像度領域に含め、１つの異画角カメラで撮像できるシステムとしている。
実施形態７では、実施形態６の検知領域のうち、図９の点Ｐ８にある検知対象をカメラユニットの高解像度領域の撮像範囲に含めるようにカメラユニットを設置する。以下、実施形態６と動作や構成が異なる機能ブロックについて説明する。又、実施形態６と動作や構成が同様な機能ブロックについての説明は省略する。

実施形態７では、実施形態６の検知領域のうち、図９の点Ｐ８にある検知対象をカメラユニットの高解像度領域の撮像範囲に含めるようにカメラユニットを設置しているので、検知対象の認識処理の前処理としての歪曲補正量を小さくすることができる。よって、計算リソースや処理に要する時間を小さくできるというメリットがある。

本実施形態において、実施形態６の検知領域を低解像度領域で撮像しつつ、実施形態６の規定領域と検知領域のうち、図９の点Ｐ８をカメラユニットの高解像度領域１０ａで撮像できるように設置する。その場合の設置条件として、上記式１～４、式１７～２４の条件に加えて以下の式２５の条件を満たすようにする。

即ち、水平方向について、図９の点Ｐ８をカメラユニットの高解像度領域で１０ａで撮像するために、以下の式２５の条件満たすようにする。
Ａｔａｎ（（ｗ７－ｚ）／（ｘ１－ｘ２＋ｄ７））－θｈ／２＜φｈ・・・（式２５）

以上のような実施形態７の規定領域の具体例として例えばｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝３０ｍ、ｗ２＝５ｍの規定領域をドライバーが電子サイドミラーで確認できることが望ましい。更に、検知領域の具体例として例えばｗ７＝３ｍ、車両の全長ｄ７＝７ｍの検知領域内の検知対象を撮像できることが望ましい。又、例えば高解像度領域１０ａの垂直画角θｖと水平画角θｈが夫々４７．２度のカメラユニットを用い、ｘ１＝１．１ｍ、ｘ２＝０．９ｍ、ｚ＝０．３ｍ、ｈ１＝２．３ｍの位置にカメラユニットを設置し、検知対象の高さをｈ２＝１．７ｍとする。

その場合、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、
０．６７°＜φｖ＜２７．８３°、
－３．０４°＜φｈ＜２７．００°
を満たすように設置する。それにより、より広範囲な側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。

更に、本実施形態固有の利点として、検知対象の認識処理の前処理としての歪曲補正量を小さくすることができるため、計算リソースや処理に要する時間を小さくできるというメリットがある。

［実施形態８］
実施形態８においては、トラックの遠方確認用電子サイドミラー（ＵＮＲ４６、クラス２）とトラックの広角確認用電子サイドミラー（ＵＮＲ４６、クラス４高解像度領域）と側方衝突警報装置（ＷＰ２９）を１つの異画角カメラを用いて実現する。

即ち、実施形態８では、実施形態６の検知領域に加えて実施形態２で規定された領域で撮像できるように構成する。一般に、大型貨物車では、乗用車や小型貨物車に比較して側方方向により広い範囲の安全をドライバーが確認する必要があり、又、車両が右左折時の巻き込みや衝突の可能性を低減するために車両側方に存在する検知対象を検知してドライバに警告する必要がある。

以下、実施形態６と動作や構成が異なる機能ブロックについて説明する。なお、実施形態６と動作や構成が同様な機能ブロックについての説明は省略する。又、本実施形態の規定領域については実施形態２と同様であるため説明を省略する。本実施形態においては、図５に示す規定領域を全てをカメラユニットの高解像度領域で１０ａで撮像しつつ、図９で示す検知領域すべてをカメラユニットで撮像できるように設置する。そのために、設置条件として、上記式１～９、式１７～２４の条件を満たすようにする。

実施形態８においては例えばｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝３０ｍ、ｗ２＝５ｍ、ｄ３＝１．５、ｗ３＝４．５、ｄ４＝１０、ｗ４＝１５、ｄ５＝２５、ｗ５＝１５の規定領域をドライバーが電子サイドミラーで確認できることが望ましい。更に、検知領域の具体例として例えばｗ７＝３ｍ、車両の全長ｄ７＝１２ｍの検知領域内の検知対象を撮像できることが望ましい。そして、例えば高解像度領域１０ａの垂直画角θｖと水平画角θｈが夫々４７．２度のカメラユニットを用い、ｘ１＝１．１ｍ、ｘ２＝０．９ｍ、ｚ＝０．３ｍ、ｈ１＝２．３ｍの位置にカメラユニットを設置し、検知対象をの高さをｈ２＝１．７ｍとする。

その場合、
カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈを、それぞれ、
０．６７°＜φｖ＜１７．９０°、
－４．２４°＜φｈ＜１７．０２°
を満たすように設置する。

それによって、より広範囲な側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。本実施形態のようにカメラユニットを設置することにより、側方方向の、より広い範囲の領域と、巻き込みや衝突を防止するために検知領域の両方を撮像することができる。

［実施形態９］
実施形態９においては、トラックの遠方確認用電子サイドミラー（ＵＮＲ４６、クラス２）とトラックの広角確認用電子サイドミラー（ＵＮＲ４６、クラス４）を有する。又、図５の点Ｐ５、Ｐ５´を高解像度領域で捉え、側方衝突警報装置（ＷＰ２９）を１つの異画角カメラを用いて実現する。

即ち、実施形態９では、実施形態６の検知領域に加えて実施形態３で規定された領域を撮像できるように構成する。そして本実施形態では実施形態８の規定領域の中で図５の点Ｐ５、Ｐ５´を高解像度領域で撮像範囲に含めるようにカメラユニットを設置する。これにより、点Ｐ５、Ｐ５´にある物体を高解像度で確認でき、更に巻き込みや衝突を防止するために検知領域の撮像を両立できる。

又、実施形態８と比較して光軸の条件を緩和できる設置方向の自由度が高くできるため、例えば、高解像度領域の画角が狭いカメラユニットでも規定領域と検知領域の撮像をより容易に両立することできる。

なお、実施形態９の画像処理システム１００の各機能ブロックは、実施形態６と同様であるため説明は省略する。又、本実施形態の規定領域については実施形態３と同様であるため省略する。本実施形態での設置条件として、上記の式２～式４の条件の他に式５、式６、式９、式１７～２４を満たすように構成する。

本実施形態のようにカメラユニットを設置することにより、側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。更に、点Ｐ５、Ｐ５´にある物体の高解像度での撮像と巻き込みや衝突を防止するために検知領域の撮像の両方が可能とできる。

［実施形態１０］
実施形態１０においては、トラックの遠方確認用電子サイドミラー（ＵＮＲ４６、クラス２）とトラックの広角確認用電子サイドミラー（ＵＮＲ４６、クラス４）を有する。又、図５の点Ｐ４、Ｐ４´、Ｐ５、Ｐ５´を高解像度領域で捉え、側方衝突警報装置（ＷＰ２９）を１つの異画角カメラで撮像できるように構成している。

実施形態１０では、実施形態６の検知領域に加えて、実施形態４で規定された領域で撮像できるように構成する。本実施形態では実施形態８の規定領域の中で図５の点Ｐ４、Ｐ４´、Ｐ５、Ｐ５´を高解像度領域の撮像範囲に含めるようにカメラユニットを設置する。これにより、点Ｐ４、Ｐ４´、Ｐ５、Ｐ５´にある物体を高解像度で確認でき、更に巻き込みや衝突を防止するために検知領域を撮像できる。又、実施形態８と比較して設置条件を緩和できるため、高解像度領域が狭い画角のカメラユニットでも規定領域と検知領域の撮像を両立できる。

以下、本実施形態の画像処理システム１００の各機能ブロックは、実施形態６と同様であるため説明は省略する。又、本実施形態の規定領域については実施形態４と同様であるため省略する。本実施形態の設置条件として、上記の式２～式４の条件の他に式５、式６、式８、式９、式１７～２４の条件を満たすように構成する。

本実施形態のようにカメラユニットを設置することにより、側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。更に、点Ｐ４、Ｐ４´、Ｐ５、Ｐ５´にある物体の高解像度での撮像と巻き込みや衝突を防止するために検知領域の撮像の両方が可能となる。

［実施形態１１］
実施形態１１においては、トラックの遠方確認用電子サイドミラー（ＵＮＲ４６、クラス２）とトラックの側近傍確認用電子サイドミラー（ＵＮＲ４６、クラス５）と側方衝突警報装置（ＷＰ２９）を１つの異画角カメラを用いて実現している。

即ち、本実施形態では、実施形態６の検知領域に加えて実施形態５で規定された領域で撮像できるように構成する。なお、運転席とは反対側の地面をドライバーが画像で確認するための規定領域と、車両が右左折時の巻き込みや衝突の可能性を低減するために車両側方を検知する検知領域の両方を撮像範囲に含めることが望ましい。本実施形態の構成は実施形態６の構成と同様であるため省略する。又、本実施形態の規定領域については実施形態５と同様であるため省略する。

本実施形態において、図５に示す規定領域の全てをカメラユニットの高解像度領域１０ａで撮像しつつ、図６～図７に示す距離ｄ６、ｄ３の位置で幅ｗ６で規定される領域と図９で示す検知領域のすべてをカメラユニットで撮像できるように設置する。
その場合の設置条件として、上記の式１～式４の条件の他に式１０～式２４の条件を満たすように構成する。

実施形態１１においては、例えばｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝３０ｍ、ｗ２＝５ｍ、ｄ３＝１．５、ｗ３＝４．５、ｄ４＝１０、ｗ４＝１５、ｄ５＝２５、ｗ５＝１５の規定領域をドライバーが電子サイドミラーで確認できることが望ましい。更に、検知領域の具体例として例えばｗ７＝３ｍ、車両の全長ｄ７＝１２ｍの検知領域内の検知対象を撮像できることが望ましい。例えば高解像度領域１０ａの垂直画角θｖと水平画角θｈがそれぞれ４７．２度のカメラユニットを用い、ｘ１＝１．１ｍ、ｘ２＝０．９ｍ、ｚ＝０．３ｍ、ｈ１＝２．３ｍ位置にカメラユニットを設置し、検知対象をの高さをｈ２＝１．７ｍとする。その場合、
カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈはそれぞれ、
０．６７°＜φｖ＜１７．９０°、
－３．３７°＜φｈ＜１７．０２°
を満たすように設置する。それによって、より広範囲な側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。

又、その際、実施形態７～１０のうちのいずれかの実施形態の条件も満たすようにしても良い。そのようにすることで、１つのカメラユニットで各規定領域を撮像範囲に含めることができる。

本実施形態のようにカメラユニットを設置することにより、側方衝突検知システムに必要な画角を撮像しつつ、高解像度で低歪曲の画像を電子サイドミラーに表示するための画像の撮像を同時に行うことができる。更に、運転席とは反対側の地面をドライバーが画像で確認するための規定領域と、車両が右左折時の巻き込みや衝突の可能性を低減するために車両側方を検知する検知領域の両方を撮像範囲に含めることができる。

［実施形態１２］
上述した実施形態１～１１において説明された様々な機能、処理及び方法の少なくとも１つは、プログラムを用いて実現することができる。以下、実施形態１２では、上述した実施形態１～１１において説明された様々な機能、処理及び方法の少なくとも１つを実現するためのプログラムを「プログラムＸ」と呼ぶ。更に、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などは、コンピュータＹの１例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータＹの１例である。

上述した実施形態１～１１において説明された様々な機能、処理及び方法の少なくとも１つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態１２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも１つを含む。更に、実施形態１２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
尚、以上の実施形態１～１２を適宜組み合わせても良く、例えば以下のような構成を少なくとも含む。

（構成１）
高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、
前記高解像度領域の垂直画角をθｖ、水平画角をθｈ、前記光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、前記移動体の長軸方向のドライバの視点位置と前記カメラユニットのオフセットをｘ１、前記移動体の短軸方向の前記カメラユニットの前記移動体の側面からのオフセットをｚ、前記カメラユニットの地面からの高さ方向のオフセットをｈ１、前記長軸方向における、前記ドライバの前記視点位置からの距離をｄ１、ｄ２、距離ｄ１、ｄ２における地面上の所定の幅をｗ１、ｗ２とするとき、
Ａｔａｎ（ｈ１／（ｄ１＋ｘ１））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ１／（ｄ２＋ｘ１））＋θｖ／２・・・（式２）
Φｈ＿ｌｉｍｉｔ
＝ｍａｘ（Ａｔａｎ（（ｗ１－ｚ）／（ｄ１＋ｘ１））－θｈ／２，Ａｔａｎ（（ｗ２－ｚ）／（ｄ２＋ｘ１））－θｈ／２）・・・（式３）
Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｚ／（ｄ１＋ｘ１））＋θｈ／２・・（式４）
を満たし、更に、
前記低解像度領域の垂直画角をθｌｖ、水平画角をθｌｈ、
地面から所定の高さｈ２、
前記ドライバの前記視点位置から前記移動体の前端までの距離ｘ２、
前記移動体の全長をｄ７、
地面上の所定の幅をｗ７とするとき、
ｘ２＜ｘ１の場合、
Ａｔａｎ（ｈ１／（ｘ１－ｘ２））－θｌｖ／２＜φｖ・・・（式１８）
Ａｔａｎ（（ｗ７－ｚ）／（ｘ１－ｘ２））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ１－ｘ２））＋θｌｈ／２・・・（式１９）
ｘ２＞ｘ１の場合、
－Ａｔａｎ（（ｈ１－ｈ２）／（ｘ２－ｘ１））－θｌｖ／２＋１８０°＜φｖ・・・（式２０）
－Ａｔａｎ（（ｗ７－ｚ）／（ｘ２－ｘ１））－θｌｈ／２＋１８０°＜φｈ・・・（式２１）
ｘ２＝ｘ１の場合、
＋９０°＜φｖ＋θｌｖ／２・・・・（式２２）
－９０＞φｈ－θｌｈ／２・・・・（式２３）
＋９０＜φｈ＋θｌｈ／２・・・・（式２４）
を満たすように前記カメラユニットを設置したことを特徴とする移動体。
（構成２）
前記ｈ２は、検知対象の高さに対応しており、
ｈ１＞＝ｈ２を満たすように前記カメラユニットを設置することを特徴とする構成１に記載の移動体。
（構成３）
前記ドライバの前記視点位置は、前記ドライバの着座位置での目の位置又は前記ドライバの座席面の中央位置であることを特徴とする構成１又は２に記載の移動体。
（構成４）
前記高解像度領域と前記低解像度領域は低歪曲領域と高歪曲領域にそれぞれ対応していることを特徴とする構成１～３のいずれか１項に記載の移動体。
（構成５）
前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする構成４に記載の移動体。
（構成６）
前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）又は等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする構成５に記載の移動体。
（構成７）
θｍａｘを前記光学系が有する最大の半画角とするとき、前記光学系は、
１＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９・・・（式１）
を満足するように構成されていることを特徴とする構成５又は６に記載の移動体。
（構成８）
前記ｗ１は１ｍ、ｗ２は４ｍ、前記距離ｄ１は４ｍ、ｄ２は２０ｍであることを特徴とする構成１から７のいずれか１項に記載の移動体。
（構成９）
前記ｗ７は３ｍであることを特徴とする構成1～８のいずれか１項に記載の移動体。
（構成１０）
前記ｗ７は４．２５ｍであることを特徴とする構成1～８のいずれか１項に記載の移動体。
（構成１１）
更に、ｄ３～ｄ５を前記長軸方向についての前記ドライバの前記視点位置からの距離、ｗ３～ｗ５を距離ｄ３～ｄ５における地面上の所定の幅とするときに、
前記カメラユニットを
Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
－Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
Ａｔａｎ（（ｗ３－ｚ）／（ｄ３＋ｘ））－θｈ／２＜φｈ・・・・（式７）
Ａｔａｎ（（ｗ４－ｚ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（式８）
Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
の条件を満たすように配置したことを特徴とする構成１～１０のいずれか１項に記載の移動体。
（構成１２）
更に、ｄ３、ｄ５を前記長軸方向についての、前記ドライバの前記視点位置からの距離、ｗ５を距離ｄ５における地面上の所定の幅とするときに、
前記カメラユニットを
Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
－Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
の条件を満たすように配置したことを特徴とする構成１～１０のいずれか１項に記載の移動体。
（構成１３）
更に、ｄ３～ｄ５を前記長軸方向についての、前記ドライバの前記視点位置から後方の距離、ｗ４、ｗ５をそれぞれ距離ｄ４、ｄ５における地面上の所定の幅とするときに、
前記カメラユニットを
Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
－Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
Ａｔａｎ（（ｗ４－ｚ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（式８）
Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
の条件を満たすように配置したことを特徴とする構成１～１０のいずれか１項に記載の移動体。
（構成１４）
更に、ｄ６を前記長軸方向についての、前記ドライバの前記視点位置からの距離、ｗ６を距離ｄ６における地面上の所定の幅とするときに、
前記カメラユニットを
ｘ＞ｄ６の場合、
Ａｔａｎ（ｈ／（ｘ－ｄ６））－θｌｖ／２＜φｖ・・・・（式１０）
Ａｔａｎ（（ｗ６－ｚ）／（ｘ－ｄ６））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ－ｄ６））＋θｌｈ／２・・・・（式１８）
ｘ＜ｄ６の場合、
Ａｔａｎ（ｈ／（ｄ６－ｘ））＋９０°－θｌｖ／２＜φｖ・・・・（式１９）
Ａｔａｎ（（ｗ６－ｚ）／（ｘ－ｄ６））－θｌｈ／２＋９０°＜φｈ＜－Ａｔａｎ（ｚ／（ｘ－ｄ６））＋θｌｈ／２－９０°・・・・（式２０）
ｘ＝ｄ６の場合、
＋９０°＜φｖ＋θｌｖ／２・・・・（式９）
－９０＞φｈ－θｌｈ／２・・・・（式１０）
＋９０＜φｈ＋θｌｈ／２・・・・（式１１）
の条件を満たすように配置したことを特徴とする構成１～１０のいずれか１項に記載の移動体。
（構成１５）
前記光学系の特性情報に基づき前記撮像手段から得られた画像信号に対して歪曲補正をする画像処理手段を有することを特徴とする構成１～１４のいずれか１項に記載の移動体。
（構成１６）
前記画像処理手段は、前記撮像手段から得られた前記画像信号に対して画像認識をする画像認識手段を含むことを特徴とする構成１５に記載の移動体。
（構成１７）
前記画像認識手段は自転車を検知することを特徴とする構成１６に記載の移動体。
（構成１８）
前記画像認識手段による画像認識の結果に基づいて警告を行う警告手段を有することを特徴とする構成１６に記載の移動体。
（構成１９）
前記警告手段は音声による警告をする音声通知手段を含むことを特徴とする構成１８に記載の移動体。
（構成２０）
前記警告手段は、前記移動体の速度が所定の速度以下のときに、前記画像認識手段による画像認識の結果に基づいて前記警告を行うことを特徴とする構成１８又は１９に記載の移動体。
（構成２１）
前記警告手段は、前記画像認識手段による画像認識により検知された検知対象の速度が所定の速度以下のときに前記警告を行うことを特徴とする構成１８～２０のいずれか１項に記載の移動体。
（構成２２）
少なくとも前記高解像度領域に対応する画像を表示する表示手段を有することを特徴とする構成１～２１のいずれか１項に記載の移動体。

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
４１ｂ：認識部
５０：第１表示部
５１：第２表示部
５２：警告表示部
５３：音声通知部
６０：走行制御部ＥＣＵ
１００：画像処理システム１００

Claims (24)

1. 高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、
   前記高解像度領域の垂直画角をθｖ、水平画角をθｈ、前記光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、前記移動体の長軸方向のドライバの視点位置と前記カメラユニットのオフセットをｘ１、前記移動体の短軸方向の前記カメラユニットの前記移動体の側面からのオフセットをｚ、前記カメラユニットの地面からの高さ方向のオフセットをｈ１、前記長軸方向における、前記ドライバの前記視点位置からの距離をｄ１、ｄ２、距離ｄ１、ｄ２における地面上の所定の幅をｗ１、ｗ２とするとき、
   Ａｔａｎ（ｈ１／（ｄ１＋ｘ１））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ１／（ｄ２＋ｘ１））＋θｖ／２・・・（式２）
   Φｈ＿ｌｉｍｉｔ
   ＝ｍａｘ（Ａｔａｎ（（ｗ１－ｚ）／（ｄ１＋ｘ１））－θｈ／２，Ａｔａｎ（（ｗ２－ｚ）／（ｄ２＋ｘ１））－θｈ／２）・・・（式３）
   Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｚ／（ｄ１＋ｘ１））＋θｈ／２・・（式４）
   を満たし、更に、
   前記低解像度領域の垂直画角をθｌｖ、水平画角をθｌｈ、
   地面から所定の高さｈ２、
   前記ドライバの前記視点位置から前記移動体の前端までの距離ｘ２、
   前記移動体の全長をｄ７、
   地面上の所定の幅をｗ７とするとき、
   ｘ２＜ｘ１の場合、
   Ａｔａｎ（ｈ１／（ｘ１－ｘ２））－θｌｖ／２＜φｖ・・・（式１８）
   Ａｔａｎ（（ｗ７－ｚ）／（ｘ１－ｘ２））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ１－ｘ２））＋θｌｈ／２・・・（式１９）
   ｘ２＞ｘ１の場合、
   －Ａｔａｎ（（ｈ１－ｈ２）／（ｘ２－ｘ１））－θｌｖ／２＋１８０°＜φｖ・・・（式２０）
   －Ａｔａｎ（（ｗ７－ｚ）／（ｘ２－ｘ１））－θｌｈ／２＋１８０°＜φｈ・・・（式２１）
   ｘ２＝ｘ１の場合、
   ＋９０°＜φｖ＋θｌｖ／２・・・・（式２２）
   －９０＞φｈ－θｌｈ／２・・・・（式２３）
   ＋９０＜φｈ＋θｌｈ／２・・・・（式２４）
   を満たすように前記カメラユニットを設置したことを特徴とする移動体。
2. 前記ｈ２は、検知対象の高さに対応しており、
   ｈ１＞＝ｈ２を満たすように前記カメラユニットを設置することを特徴とする請求項１に記載の移動体。
3. 前記ドライバの前記視点位置は、前記ドライバの着座位置での目の位置又は前記ドライバの座席面の中央位置であることを特徴とする請求項１に記載の移動体。
4. 前記高解像度領域と前記低解像度領域は低歪曲領域と高歪曲領域にそれぞれ対応していることを特徴とする請求項１に記載の移動体。
5. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
   前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項４に記載の移動体。
6. 前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）又は等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項５に記載の移動体。
7. θｍａｘを前記光学系が有する最大の半画角とするとき、前記光学系は、
   １＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９・・・（式１）
   を満足するように構成されていることを特徴とする請求項５に記載の移動体。
8. 前記ｗ１は１ｍ、ｗ２は４ｍ、前記距離ｄ１は４ｍ、ｄ２は２０ｍであることを特徴とする請求項７に記載の移動体。
9. 前記ｗ７は３ｍであることを特徴とする請求項８に記載の移動体。
10. 前記ｗ７は４．２５ｍであることを特徴とする請求項８に記載の移動体。
11. 更に、ｄ３～ｄ５を前記長軸方向についての前記ドライバの前記視点位置からの距離、ｗ３～ｗ５を距離ｄ３～ｄ５における地面上の所定の幅とするときに、
    前記カメラユニットを
    Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
    －Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
    Ａｔａｎ（（ｗ３－ｚ）／（ｄ３＋ｘ））－θｈ／２＜φｈ・・・・（式７）
    Ａｔａｎ（（ｗ４－ｚ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（式８）
    Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
    の条件を満たすように配置したことを特徴とする請求項１に記載の移動体。
12. 更に、ｄ３、ｄ５を前記長軸方向についての、前記ドライバの前記視点位置からの距離、ｗ５を距離ｄ５における地面上の所定の幅とするときに、
    前記カメラユニットを
    Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
    －Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
    Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
    の条件を満たすように配置したことを特徴とする請求項１に記載の移動体。
13. 更に、ｄ３～ｄ５を前記長軸方向についての、前記ドライバの前記視点位置から後方の距離、ｗ４、ｗ５をそれぞれ距離ｄ４、ｄ５における地面上の所定の幅とするときに、
    前記カメラユニットを
    Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（式５）
    －Ａｔａｎ（ｚ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（式６）
    Ａｔａｎ（（ｗ４－ｚ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（式８）
    Ａｔａｎ（（ｗ５－ｚ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（式９）
    の条件を満たすように配置したことを特徴とする請求項１に記載の移動体。
14. 更に、ｄ６を前記長軸方向についての、前記ドライバの前記視点位置からの距離、ｗ６を距離ｄ６における地面上の所定の幅とするときに、
    前記カメラユニットを
    ｘ＞ｄ６の場合、
    Ａｔａｎ（ｈ／（ｘ－ｄ６））－θｌｖ／２＜φｖ・・・・（式１０）
    Ａｔａｎ（（ｗ６－ｚ）／（ｘ－ｄ６））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ－ｄ６））＋θｌｈ／２・・・・（式１８）
    ｘ＜ｄ６の場合、
    Ａｔａｎ（ｈ／（ｄ６－ｘ））＋９０°－θｌｖ／２＜φｖ・・・・（式１９）
    Ａｔａｎ（（ｗ６－ｚ）／（ｘ－ｄ６））－θｌｈ／２＋９０°＜φｈ＜－Ａｔａｎ（ｚ／（ｘ－ｄ６））＋θｌｈ／２－９０°・・・・（式２０）
    ｘ＝ｄ６の場合、
    ＋９０°＜φｖ＋θｌｖ／２・・・・（式９）
    －９０＞φｈ－θｌｈ／２・・・・（式１０）
    ＋９０＜φｈ＋θｌｈ／２・・・・（式１１）
    の条件を満たすように配置したことを特徴とする請求項１に記載の移動体。
15. 前記光学系の特性情報に基づき前記撮像手段から得られた画像信号に対して歪曲補正をする画像処理手段を有することを特徴とする請求項１に記載の移動体。
16. 前記画像処理手段は、前記撮像手段から得られた前記画像信号に対して画像認識をする画像認識手段を含むことを特徴とする請求項１５に記載の移動体。
17. 前記画像認識手段は自転車を検知することを特徴とする請求項１６に記載の移動体。
18. 前記画像認識手段による画像認識の結果に基づいて警告を行う警告手段を有することを特徴とする請求項１６に記載の移動体。
19. 前記警告手段は音声による警告をする音声通知手段を含むことを特徴とする請求項１８に記載の移動体。
20. 前記警告手段は、前記移動体の速度が所定の速度以下のときに、前記画像認識手段による画像認識の結果に基づいて前記警告を行うことを特徴とする請求項１８に記載の移動体。
21. 前記警告手段は、前記画像認識手段による画像認識により検知された検知対象の速度が所定の速度以下のときに前記警告を行うことを特徴とする請求項１８に記載の移動体。
22. 少なくとも前記高解像度領域に対応する画像を表示する表示手段を有することを特徴とする請求項１に記載の移動体。
23. 高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、
    前記高解像度領域の垂直画角をθｖ、水平画角をθｈ、前記光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、前記移動体の長軸方向のドライバの視点位置と前記カメラユニットのオフセットをｘ１、前記移動体の短軸方向の前記カメラユニットの前記移動体の側面からのオフセットをｚ、前記カメラユニットの地面からの高さ方向のオフセットをｈ１、前記長軸方向における、前記ドライバの前記視点位置からの距離をｄ１、ｄ２、距離ｄ１、ｄ２における地面上の所定の幅をｗ１、ｗ２とするとき、
    Ａｔａｎ（ｈ１／（ｄ１＋ｘ１））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ１／（ｄ２＋ｘ１））＋θｖ／２・・・（式２）
    Φｈ＿ｌｉｍｉｔ
    ＝ｍａｘ（Ａｔａｎ（（ｗ１－ｚ）／（ｄ１＋ｘ１））－θｈ／２，Ａｔａｎ（（ｗ２－ｚ）／（ｄ２＋ｘ１））－θｈ／２）・・・（式３）
    Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｚ／（ｄ１＋ｘ１））＋θｈ／２・・（式４）
    を満たし、更に、
    前記低解像度領域の垂直画角をθｌｖ、水平画角をθｌｈ、
    地面から所定の高さｈ２、
    前記ドライバの前記視点位置から前記移動体の前端までの距離ｘ２、
    前記移動体の全長をｄ７、
    地面上の所定の幅をｗ７とするとき、
    ｘ２＜ｘ１の場合、
    Ａｔａｎ（ｈ１／（ｘ１－ｘ２））－θｌｖ／２＜φｖ・・・（式５）
    Ａｔａｎ（（ｗ７－ｚ）／（ｘ１－ｘ２））－θｌｈ／２＜φｈ＜－Ａｔａｎ（ｚ／（ｘ１－ｘ２））＋θｌｈ／２・・・（式６）
    ｘ２＞ｘ１の場合、
    －Ａｔａｎ（（ｈ１－ｈ２）／（ｘ２－ｘ１））－θｌｖ／２＋１８０°＜φｖ・・・（式７）
    －Ａｔａｎ（（ｗ７－ｚ）／（ｘ２－ｘ１））－θｌｈ／２＋１８０°＜φｈ・・・（式８）
    ｘ２＝ｘ１の場合、
    ＋９０°＜φｖ＋θｌｖ／２・・・・（式９）
    －９０＞φｈ－θｌｈ／２・・・・（式１０）
    ＋９０＜φｈ＋θｌｈ／２・・・・（式１１）
    を満たすように前記カメラユニットを設置し、
    前記撮像手段から得られた画像を画像処理する画像処理ステップと、
    前記画像処理ステップにより画像処理された画像を表示する表示ステップとを有することを特徴とする移動体の制御方法。
24. 請求項２３に記載の制御方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
    
    

Images