JP2023066813A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】
ドアミラーでは視認しにくい死角の画像を表示できるようにする。
【解決手段】
画像処理装置は、低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有すると共に移動装置の後方を撮影する撮像手段と、前記撮像手段で生成された撮像データから画像データを生成する画像処理手段と、前記移動装置の後側方の移動装置を検出する検出手段と、前記検出手段によって前記後側方の移動装置が検出された場合に、前記後側方の前記移動装置が含まれる前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御手段とを有する。
【選択図】 図１

Description

本発明は、移動装置の後側方を表示可能な画像処理装置、画像処理方法およびプログラムに関するものである。

特許文献１には、複数の画角を取得する撮像装置により、バック走行時は広角の画像を撮像し、通常走行中は広角よりも狭い画角で自車後方を高解像度かつ高フレームの画像を撮像する方法が記載されている。

ＷＯ１８／２０７３９３号

しかしながら、特許文献１では、バック走行時は広角の画像を取得しているものの、通常走行中は自車後方のみを撮像対象としているため、取得した広角の画像の大部分を活用できていないという課題があった。また、ドアミラーでは自車の後側方といった視認しにくいという課題があった。

そこで、本発明は、ドアミラーでは視認しにくい死角の画像を表示できるようにすることを目的とする。

上記の課題を解決するために、本発明に係る画像処理装置は、低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有すると共に移動装置の後方を撮影する撮像手段と、前記撮像手段で生成された撮像データから画像データを生成する画像処理手段と、前記移動装置の後側方の移動装置を検出する検出手段と、前記検出手段によって前記後側方の移動装置が検出された場合に、前記後側方の前記移動装置が含まれる前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御手段とを有する。

本発明によれば、ドアミラーでは視認しにくい死角の画像を表示できるようになる。

実施形態１における画像処理装置２００の構成例を説明するためのブロック図である。 図２（Ａ）は、光学系１０による撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図、図２（Ｂ）は、光学系１０の像高ｙと半画角θとの関係を表す射影特性を表した図である。 図３（Ａ）は第１の領域Ｒ１、第２の領域Ｒ２を図示したイメージ図、図３（Ｂ）は第３の領域Ｒ３と第２の領域Ｒ２を図示したイメージ図である。 実施形態１の、取得した画像より自車後側方の車両３１０を検出した際に、画像の切り出し位置を変更する制御を示すフローチャートである。 実施形態２における画像処理装置の構成例を説明するためのブロック図である。 実施形態３における画像処理装置の構成例を説明するためのブロック図である。 実施形態４における画像処理装置の構成例を説明するためのブロック図である。 実施形態４の、方向指示器の操作を検出した際に、画像の切り出し位置を変更する制御を示すフローチャートである。 実施形態５における画像処理装置の構成例を説明するためのブロック図である。 実施形態５の、画像切り出し設定保存部１２０の設定に応じて、画像の切り出し位置を変更するか否かを制御するフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

［実施形態１］
以下、実施形態１について、図面を参照しながら詳細に説明する。自車の後側方といったドアミラーで確認しにくい死角部分の車両を確認するためには、後側方を撮像する撮像装置や後側方の車両３１０を検出する検出部を用いる必要があった。実施形態１では、自車後方を撮像する撮像装置を用いだけで、自車の後側方といったドアミラーで確認しにくい死角部分の車両を表示する方法について説明する。

図１は、実施形態１における画像処理装置２００の構成例を説明するためのブロック図である。なお、図１に示す１つ以上の構成要素は、ＡＳＩＣまたはプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。後述の図５、図６，図７、図９についても同様である。画像処理装置２００に含まれるコンピュータ（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコンピュータなど）は、記憶媒体に記憶されたコンピュータプログラムに基づき、装置２００の各構成要素の動作を制御する制御部として機能している。

実施形態１において、画像処理装置２００は、不図示の自車両（移動装置）の後方に設置され、後方画像を撮像する撮像装置にて撮像した画像を、例えば車内の表示装置に表示する画像処理手段である。画像処理装置２００は、光学系１０、撮像部２０、画像処理部３０、画像切り出し処理部４０、画像切り出し位置変更部５０、リアモニター６０、電子ルームミラー７０、後側方車両認識部８０を有している。なお、光学系１０および撮像部２０は、移動装置としての自車両の後方を撮影するために、自車両の後方に向けて設置されている。

光学系１０は、例えば複数枚のレンズを組み合わせて、光軸周辺の狭い画角１１ａにおいて高精細な画像を得ることができ、広い画角１１ｂは狭い画角１１ａを含み、低解像度の撮像画像を得ることができるように構成されている。例えば、光学系１０は、低歪曲領域と高歪曲領域を有する光学像を撮像部２０の受光面に形成することができる。

広い画角１１ｂは、バック走行時などにおいて自車後方を広角に撮像するのに適している。また、ドアミラーで確認しにくい死角部分である自車の後側方の車両を撮像可能である。狭い画角１１ａは、通常走行時に自車の後方の車両３００を、高解像度で観測するために用いることができる。

撮像部２０は、撮像素子（ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等）であり、光学系１０により結像された光学的な被写体像を撮像データに変換し、画像処理部３０に伝送する。例えば、撮像部２０は、低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を用いて移動装置の後方を撮影する撮像ステップを実行する撮像手段として機能している。

図２（Ａ）および図２（Ｂ）を参照して、光学系１０の光学特性を説明する。図２（Ａ）は、撮像部２０に含まれる撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。図２（Ｂ）は、光学系１０の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、撮像部２０に含まれる撮像素子の受光面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

光学系１０は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。従って、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。例えば、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

実施形態１においては、半画角θが所定の半画角θａ未満のときに撮像素子の受光面上に生成される中心寄りの領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域１０ｂと呼ぶ。なお、高解像度領域１０ａの画角は前述の狭い画角１１ａに対応しており、高解像度領域１０ａの画角と低解像度領域１０ｂの画角を合わせた画角は、広い撮像画角１１ｂに対応している。また、実施形態１において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。従って、実施形態１においては、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。

光学系１０は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θよりも大きくなるように構成されている（ｆは光学系１０の焦点距離）。また、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。

θｍａｘを光学系１０が有する最大の半画角とする場合は、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θａを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。

さらに、光学系１０は、その射影特性ｙ（θ）が、以下の数式１も満足するように構成されている。

ここで、ｆは前述のように光学系１０の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

以上のように光学系１０を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

実施形態１では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性としている。従って、光学歪曲が小さく、精細に表示することが可能となる。従って、後方車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

なお、上述の数式１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、実施形態１は図２に示した射影特性に限定されない。なお、実施形態１では、上述の数式１の条件を満たす射影特性ｙ（θ）を有する光学系１０を異画角レンズと呼ぶ場合がある。

図１に戻り、画像処理部３０は、撮像部２０で生成された撮像データを現像し、ＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）補正、ガンマ補正、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）処理、歪曲補正等の処理を行い画像データを生成する。例えば、画像処理部３０は、撮像ステップにより得られた撮像データから画像データを生成する画像処理ステップを実行する。この処理により、リアモニター６０および電子ルームミラー７０に表示した際に視認しやすい画像を得ることができる。

なお、光学系１０は、高解像度領域においては歪が少ないので、歪曲補正をせずに画像認識をすることが可能であるが、低解像度領域は歪曲補正をすることにより後側方車両認識部８０の認識率を向上させることができる。画像処理部３０が処理した画像はリアモニター６０、画像切り出し処理部４０および後側方車両認識部８０に供給される。

画像切り出し処理部４０は、画像処理部３０にて処理された画像の一部の切り出しを行う。画像の切り出しは、画像処理部３０にて処理された画像のデータをＲＡＭ等のメモリに格納し、切り出したい画像のデータのみを読みだすことによって行われる。

実施形態１では、切り出しを行う位置は、光学系１０にて結像された、バック走行時に自車後方を広角に撮像するための画角に対応する第２の領域Ｒ２を有する。また、通常走行時に自車後方の車両３００を観測するための高解像度の画角に対応する第１の領域Ｒ１を有する。実施形態１では、第１の領域Ｒ１は、高解像度領域１０ａ内から切り出される領域としている。従って、第１の領域Ｒ１の画像は、歪曲補正をせずに表示することができるので、高速走行時などにおいて少ない遅延で表示や画像認識をすることができ、緊急時の危険回避等において有利である。

図３（Ａ）は、第１の領域Ｒ１と第２の領域Ｒ２を図示したイメージ図である。
電子ルームミラー７０に表示する領域を第１の領域Ｒ１、リアモニター６０に表示する領域を第２の領域Ｒ２とする。

画像切り出し位置変更部５０は、後側方車両認識部８０が図３（Ｂ）のように進行方向に対して右後側方の車両３１０を検出した場合、画像の切り出し位置を図３（Ａ）の第１の領域Ｒ１から後側方の車両３１０を表示可能な第３の領域Ｒ３に変更する。そして、第３の領域Ｒ３の画像データを電子ルームミラー７０に表示する。画像の切り出し位置の変更は、ＲＡＭ等のメモリに格納された画像処理部３０にて画像処理された画像のデータのうち読み出すデータを変更することで行う。ここで、画像切り出し位置変更部５０は、リアモニター６０および電子ルームミラー７０の表示を制御するための表示制御部（表示制御手段）として機能している。

このように、実施形態１では、画像切り出し位置変更部５０は、後側方の移動装置が検出された場合に、後側方の移動装置が含まれる高歪曲領域を含む所定の切り出し領域（第３の領域Ｒ３）の画像データを表示させる。図３（Ｂ）は第３の領域Ｒ３と第２の領域Ｒ２を図示したイメージ図である。図３（Ｂ）では第３の領域Ｒ３を自車の右後側方としているが、右後側方に限定するものではない。例えば、画像切り出し位置変更部５０は、後側方車両認識部８０が左後側方の車両を検出した場合には自車の左後側方の領域を第３の領域Ｒ３とする。例えば、第３の領域Ｒ３は、後側方の移動装置が含まれる高歪曲領域を含む領域である。

画像切り出し位置変更部５０は、第１の領域Ｒ１の画像と、第３の領域Ｒ３の画像をＰｂｙＰやＰｉｎＰといった手法で、同時に電子ルームミラー７０に表示させてもよい。画像切り出し位置変更部５０は、第１の領域Ｒ１の画像から第３の領域Ｒ３の画像へ切り替える際に、音や切り替わる際のアニメーション等にて、第３の領域Ｒ３の画像へ切り替えた旨をユーザーに通知してもよい。

リアモニター６０は、液晶ディスプレイ等の表示部で、自車両の例えばセンターコンソールに配置されており、通常走行時はナビゲーション画面等を表示するために用いられる。また、リアモニター６０は、ユーザーによる選択操作によって、画像処理部３０によって歪曲補正等の処理がされた第２の領域Ｒ２の画像を表示することもできる。

電子ルームミラー７０は、液晶ディスプレイ等の表示部で、自車両の例えばウインドシールドの上側に配置される。また、画像切り出し処理部４０によって切り出された第１の領域Ｒ１の画像または第３の領域Ｒ３の画像、或いはその両方を同時に表示する。

後側方車両認識部８０は、後側方車両の画像を含む学習データを学習して得た後側方車両認識用の学習済モデルを用いて、画像処理部３０が処理した画像の第２の領域Ｒ２に、自車の後側方の車両３１０が存在することを画像認識により検出する。なお、その際、第１の領域Ｒ１については検出を行わない。ここで、後側方車両認識部８０は、高歪曲領域を含む画像データに基づき画像認識をすることによって移動装置の後側方の移動装置を検出する検出部（検出手段）として機能している。

そして、自車の後側方の車両３１０を検出した場合には、そのことを画像切り出し位置変更部５０へ通知する。自車の右後側方および左後側方の両方に車両３１０を検出した場合は、例えば後に検出した方の自車の後側方に車両があることを画像切り出し位置変更部５０へ通知する。また、後側方車両認識部８０が頻繁に自車の後側方の車両３１０の存否を画像切り出し位置変更部５０へ通知し、その都度切り出し位置変更を行うと、頻繁に画像の切り出し位置の変更が行われ、煩わしい場合がある。よって、自車の後側方に車両３１０があることを検出し、画像切り出し位置変更部５０へ通知した後は、一定時間経過するまで画像切り出し位置変更部５０における切り出し位置変更は行わないようにしてもよい。

次に、後側方車両認識部８０が取得した画像より自車後側方の車両３１０を検出した際に、画像の切り出し位置を変更する制御について順に説明する。

画像処理部３０は、撮像部２０が取得した画像に対し画像処理を施し、後側方車両認識部８０へ伝送する。

後側方車両認識部８０は、入力された画像の第２の領域Ｒ２のうち第１の領域Ｒ１以外の領域に車両があるかどうかを監視する。後側方車両認識部８０が、第２の領域Ｒ２のうち第１の領域Ｒ１以外の領域に車両があると検出した場合は、検出したことを画像切り出し位置変更部５０へ通知する。画像切り出し位置変更部５０は、画像切り出し処理部４０が切り出した画像の切り出し位置を、第１の領域Ｒ１から後側方の車両３１０を表示可能な位置（右後側方の車両の場合には第３の領域Ｒ３）に変更する。

図４に、取得した画像より自車後側方の車両３１０を検出した際に、画像切り出し位置変更部５０が画像の切り出し位置を変更する制御のフローチャートを示す。なお、図４に示す各ステップの動作は、画像処理装置２００に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ１において、後側方車両認識部８０は、自車の後側方の所定の距離以内に車両３１０があるかどうかを判定する。ここで、ステップＳ１は、後側方の移動装置を検出する検出ステップとして機能している。
ステップＳ１にて、後側方車両認識部８０が、自車の後側方の所定の距離以内に車両３１０があると判定した場合、ステップＳ２に進む。

そして、ステップＳ２において、画像切り出し位置変更部５０は、第１の領域Ｒ１から後側方の移動装置としての車両３１０を表示可能な位置（右後側方の車両の場合には第３の領域Ｒ３）に変更し、電子ルームミラー７０に画像を表示する。なお、第３の領域Ｒ３は、後側方の移動装置が含まれる高歪曲領域を含む領域である。

ステップＳ１にて、後側方車両認識部８０が、自車の後側方の所定の距離以内に車両３１０がないと判定した場合、ステップＳ３に進む。そして、ステップＳ３において、画像切り出し位置変更部５０は、切り出し位置を第１の領域Ｒ１として電子ルームミラー７０に第１の領域Ｒ１の画像を表示させる。ここで、ステップＳ１～Ｓ３は表示制御ステップとして機能している。

なお、ステップＳ２で、画像切り出し位置変更部５０が、画像の切り出し位置を後側方の車両３１０を表示可能な位置（右後側方の車両の場合には第３の領域Ｒ３）に変更した後、自車の後側方から車両３１０が移動したとする。その場合には、ステップＳ１で、後側方車両認識部８０が、自車の後側方の所定の距離以内に車両３１０が存在しないと判定する。そして後側方の車両３１０を表示可能な位置への変更を継続する必要がないので、画像切り出し位置変更部５０は画像の切り出し位置を、ステップＳ３で第１の領域Ｒ１へ戻す。なお、第１の領域Ｒ１から第３の領域に変更する際の変更速度に比べて、第３の領域から第１の領域Ｒ１に戻す変更速度は遅くてもよい。

実施形態１では、取得した画像より自車後側方の所定の距離以内の車両３１０を検出した際に、画像の切り出し位置を変更する制御について説明した。これにより、自車後方を撮像する撮像装置以外の、撮像装置または検出部を用いることなく、自車の後側方といったドアミラーで確認しにくい死角部分の車両を確認することが可能となる。

［実施形態２］
実施形態１では、自車の後側方の車両３１０を、車両後方に設置された撮像装置が撮像した画像を画像認識することで検出した。実施形態２では、撮像装置ではなく別のセンサーで、自車の後側方の車両３１０を検出する方法について説明する。

図５は、実施形態２における画像処理装置２０１の構成例を説明するためのブロック図である。実施形態２の画像処理装置２０１は、光学系１０、撮像部２０、画像処理部３１、画像切り出し処理部４０、画像切り出し位置変更部５１、リアモニター６０、電子ルームミラー７０、後側方車両検出部９０を有している。

後側方車両検出部９０は、自車の車両の後方に配置された赤外線センサまたはレーダー等の検出部で、自車の右後側方または左後側方の所定の距離以内にある車両３１０を検出する。後側方車両検出部９０は、自車の車両の右後側方または左後側方の所定の距離以内に車両があること検出したことを、画像切り出し位置変更部５１へ通知する。

画像切り出し位置変更部５１は、後側方車両検出部９０が右後側方または左後側方の所定の距離以内にある車両３１０を検出した場合、画像の切り出し位置を第１の領域Ｒ１から右後側方または左後側方の車両を表示可能な所定の切り出し位置に変更する。そして、電子ルームミラー７０に表示する。

なお、後側方車両検出部９０および画像切り出し位置変更部５１以外の構成は、実施形態１と同一であるため、それらの説明は省略する。

以上のように、実施形態２によれば、自車の車両の後方に配置された赤外線センサやレーダー等の検出部により、自車後側方の所定の距離以内の車両３１０を検出し、自車の後側方の、死角部分の車両を画像にて確認することが可能となる。

［実施形態３］
実施形態１および２では、自車後側方の所定の距離以内に車両３１０を検出した際に、画像の切り出し位置を変更する制御について説明した。自車後側方の所定の距離以内の車両３１０の大きさによっては、切り出しした画像の大きさを変更した方が、より自車の後側方といったドアミラーで確認しにくい死角部分の車両を確認しやすい場合がある。

例えば、自車後側方の所定の距離以内の車両３１０が大型トラックであった場合、切り出した画像の大きさによっては、車両の全体が確認できないため、画像の大きさを大きくして、車両の全体を確認可能であった方がより安全確認に寄与できる。従って実施形態３では、検出した自車後側方の所定の距離以内の車両３１０の大きさに応じて、切り出し画像の大きさを変更する。

図６は、実施形態３における画像処理装置２０２の構成例を説明するためのブロック図である。画像処理装置２０２は、光学系１０、撮像部２０、画像処理部３０、画像切り出し処理部４１、画像切り出し位置変更部５０、リアモニター６０、電子ルームミラー７０、後側方車両認識部８１を有している。

後側方車両認識部８１は、画像処理部３０が処理した画像に対し、後側方車両の画像を含む学習データを学習して得た後側方車両認識用の学習済モデルを用いて自車の後側方の所定の距離以内に車両３１０があることを画像認識により検出する。そして画像認識結果を画像切り出し位置変更部５０へ通知する。さらに、様々な大きさの後側方車両の所定の距離以内の画像を含む学習データを学習して得た後側方車両の所定の距離以内の大きさ認識用の学習済モデルを用いて自車の後側方の所定の距離以内の車両３１０の大きさを検出可能である。そして、自車の後側方の所定の距離以内の車両３１０の大きさの情報を画像切り出し処理部４１へ通知する。

後側方車両認識部８１が検出する自車の後側方の所定の距離以内の車両３１０の大きさは、自車の後側方の車両３１０が撮像可能な任意の大きさとして情報を通知してもよいし、大中小等の複数の段階に部別して情報を通知してもよい。なお、自車の右後側方および左後側方の所定の距離以内の両方に車両３１０を検出した場合は、後に検出した方の自車の後側方の所定の距離以内に車両があることを画像切り出し位置変更部５０へ通知する。

画像切り出し処理部４１は、画像処理部３０にて処理された画像の一部の切り出しを行う。画像の切り出しは、画像処理部３０にて画像処理された画像のデータをＲＡＭ等のメモリに格納し、切り出したい画像のデータのみを読みだすことによって行われる。切り出しを行う位置は、光学系１０にて結像された、バック走行時に自車後方を広角に撮像するための画角に対応する第２の領域のうち、通常走行時に自車後方の車両３００を観測するための高解像度の狭い画角に対応する第１の領域Ｒ１である。また、後側方車両認識部８１より通知された自車の後側方の所定の距離以内の車両３１０の大きさの情報より、切り出す第３の領域Ｒ３の大きさを変更する。

なお、後側方車両認識部８１および画像切り出し処理部４１以外の構成は、実施形態１と同一であるため、それらの説明は省略する。

実施形態３では、自車後側方の所定の距離以内の車両３１０の大きさに応じて、切り出す画像の大きさを変更するので、自車の後側方の所定の距離以内の車両３１０の大きさによらず、車両の全体を確認可能となる。画像切り出し処理部４１にて切り出す画像を大きくすることにより、画像のデータ容量が増加するので、画像のフレームレートを落としたり、画像をダウンスケーリングしたりして、画像のデータ容量を減少させてもよい。なお、画像のフレームレートを落としたり、画像をダウンスケーリングしたりしたくない場合に、自車の後側方の車両３１０の大きさに応じて切り出す画像の大きさを変更する制御を選択的にオフにできるようにしてもよい。

［実施形態４］
実施形態４では、自車が右左折や車線変更を行う際に、自車の後側方といったドアミラーで確認しにくい死角部分を画像にて確認する方法について説明する。

図７は、実施形態４における画像処理装置２０３の構成例を説明するためのブロック図である。画像処理装置２０３は、光学系１０、撮像部２０、画像処理部３０、画像切り出し処理部４０、画像切り出し位置変更部５２、リアモニター６０、電子ルームミラー７０、方向指示操作検出部１００を有している。

方向指示操作検出部１００は、車両の右左折時や、一時的な進行方向の変更を伴う車線変更時に方向指示器を出す操作および方向指示を出した方向を検出し、画像切り出し位置変更部５２に通知する。ここで、方向指示操作検出部１００は、移動装置に設けられた方向指示器の操作方向を検出することで移動装置の進行方向の変更を検出するための方向検出ステップを実行する方向検出部（方向検出手段）として機能している。

画像切り出し位置変更部５２は、画像切り出し処理部４０が切り出した画像の切り出し位置を、方向指示器を出した方向の後側方が撮像可能な所定の切り出し位置（第４の領域Ｒ４）へ変更し、電子ルームミラー７０に表示する。例えば、実施形態４では、画像切り出し位置変更部５０は、移動装置の進行方向の変更が検出された場合に、変更された進行方向側の高歪曲領域を含む所定の切り出し領域（第４の領域Ｒ４）の画像データを表示させる。

例えば、右または左に方向指示器を出した場合は、自車の右または左の後側方の、ドアミラーでは確認しにくい死角部分が撮像可能なように切り出し位置を所定の切り出し位置（第４の領域Ｒ４）に変更する。このとき所定の切り出し位置（第４の領域Ｒ４）は進行方向側の前記高歪曲領域を含む。画像の切り出し位置の変更は、ＲＡＭ等のメモリに格納された画像処理部３０にて処理された画像のデータのうち読み出すデータを変更することで行う。

なお、画像切り出し位置変更部５２および方向指示操作検出部１００以外の構成は実施形態１と同一であるため、それらの説明は省略する。

図８に、方向指示器の操作を検出した際に、画像の切り出し位置を変更する制御のフローチャートを示す。なお、図８に示す各ステップは、画像処理装置２００に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ７において、方向指示操作検出部１００は、方向指示器を出す操作がなされたかどうかおよび方向指示器を出した方向を判定する。方向指示器を出す操作がなされたと判定した場合、方向指示操作検出部１００は、方向指示器を出す操作がなされたことと、方向指示器を出した方向とを画像切り出し位置変更部５２へ通知する。

ステップＳ７にて、方向指示操作検出部１００が、方向指示器を出す操作がなされたと判定した場合、ステップＳ８に進む。そしてステップＳ８において画像切り出し位置変更部５２は、切り出した画像を第１の領域Ｒ１から方向指示器を出した方向の自車の後側方が撮像可能な所定の切り出し位置（第４の領域Ｒ４）に変更する。そして、画像切り出し位置変更部５２は変更後の所定の切り出し位置（第４の領域Ｒ４）の画像を電子ルームミラー７０に表示する。

ステップＳ７にて、方向指示操作検出部１００が、方向指示器を出す操作がなされていないと判定した場合、ステップＳ９に進む。そしてステップＳ９において画像切り出し位置変更部５２は、画像切り出し処理部４０が切り出した画像を切り出し位置を第１の領域Ｒ１として電子ルームミラー７０に表示する。

方向指示操作検出部１００にて方向指示器の操作を検出し、画像の切り出し位置を変更した後、自車が右左折または車線変更が完了した場合には、画像の切り出し位置を変更を継続する必要がない。よって、画像切り出し位置変更部５２は画像の切り出し位置を、第１の領域Ｒ１へ戻す。自車が右左折または車線変更が完了したことは、方向指示器の操作が検出されなくなったことより判定する。

このように実施形態４では、方向指示器の操作を検出した際に、画像の切り出し位置を変更しているので、自車が右左折や車線変更を行う際に、自車の右左の後側方といったドアミラーで確認しにくい死角部分を画像にて確実に確認することが可能となる。

［実施形態５］
実施形態１から４では、自車後方の撮像装置にて自車の後側方といったドアミラーで確認しにくい死角部分を画像にて確認する例について説明した。本来自車後方の撮像装置は自車後方（真後ろ）の様子を確認するためのものである。従って、自車後方に車両３００がある場合は、自車に後側方に車両３１０があっても、画像の切り出し位置を変更せずに自車後方の様子を継続して確認したい場合がある。実施形態５では、ユーザーによる設定に応じて、自車後方に車両３００がある場合に、画像の切り出し位置を変更するか否かを制御する例について説明する。

図９は、実施形態５における画像処理装置２０４の構成例を説明するためのブロック図である。画像処理装置２０４は、光学系１０、撮像部２０、画像処理部３２、画像切り出し処理部４０、画像切り出し位置変更部５３を有している。さらに、リアモニター６０、電子ルームミラー７０、後側方車両認識部８０、後方車両認識部１１０、画像切り出し設定保存部１２０を有している。

画像処理部３２は、撮像部２０から伝送されたデジタルデータに対し、ＷＤＲ（ＷｉｄｅＤｙｎａｍｉｃＲａｎｇｅ）補正、ガンマ補正、ＬＵＴ処理、歪曲補正等の処理を行う。この処理により、リアモニター６０および電子ルームミラー７０に表示した際に視認しやすく、後側方車両認識部８０の認識率が向上するようになる。画像処理部３２が処理した画像はリアモニター６０、画像切り出し処理部４０、後側方車両認識部８０および後方車両認識部１１０に入力される。

後方車両認識部１１０は、画像処理部３２が画像処理した画像に対し、後方車両の画像を含む学習データを学習して得た後方車両認識用の学習済モデルを用いて自車の後方に車両３００があることを検出し、画像切り出し位置変更部５３へ通知する。

画像切り出し設定保存部１２０は、後方車両認識部１１０が自車の後方に車両３００があることを検出した場合に、画像切り出し位置変更部５３により画像の切り出し位置を変更させるか否かの設定を保存し、設定内容を画像切り出し位置変更部５３に通知する。ここで、画像切り出し設定保存部１２０は、所定の切り出し領域の画像データの表示をさせるか否かを設定するための設定部（設定手段）として機能している。

後方車両認識部１１０が自車の後方に車両３００があることを検出した場合に、画像切り出し位置変更部５３により画像の切り出し位置を変更させる設定を、以降は変更設定と定義する。後方車両認識部１１０が自車の後方に車両３００があることを検出した場合に、画像切り出し位置変更部５３により画像の切り出し位置を変更しない設定を、以降は非変更設定と定義する。

画像切り出し位置変更部５３は、後側方車両認識部８０が後側方の車両３１０を検出した通知と、後方車両認識部１１０が自車の後方に車両３００を検出した通知と、画像切り出し設定保存部１２０に保存されている設定の通知を受けとる。そして画像切り出し位置変更部５３は、通知された情報より、画像の切り出し位置を第１の領域Ｒ１から後側方の車両３１０を表示可能な位置に変更するかどうかを判定する。

画像切り出し位置変更部５３は、判定結果より、第１の領域Ｒ１の画像、切り出し位置を変更した後の第３の領域Ｒ３の画像、その両方のいずれかを電子ルームミラー７０に表示する。判定の詳細は、図１０のフローチャートにて説明する。画像の切り出し位置の変更は、ＲＡＭ等のメモリに格納された画像処理部３２にて画像処理された画像のデータのうち読み出すデータを変更することで行う。

なお、画像処理部３２、画像切り出し位置変更部５３、後方車両認識部１１０および画像切り出し設定保存部１２０以外の構成は実施形態１と同一であるため、それらの説明は省略する。

次に、画像切り出し設定保存部１２０の設定に応じて、画像の切り出し位置を変更するか否かを判定する制御について順に説明する。ユーザーは画像切り出し設定保存部１２０に、前記の変更設定または非変更設定を保存する。

画像切り出し設定保存部１２０に変更設定が保存された場合、自車後方の車両３００を検出したか否かに関わらず、後側方車両認識部８０が自車後側方の所定の距離以内に車両３１０を検出すると画像切り出し位置変更部５３は画像の切り出し位置を変更する。

画像切り出し設定保存部１２０に非変更設定が保存された場合、自車後方の車両３００が検出された場合、後側方車両認識部８０が自車後側方の所定の距離以内に車両３１０を検出しても、画像切り出し位置変更部５３は画像の切り出し位置を変更しない。

図１０に、画像切り出し設定保存部１２０の設定に応じて、画像の切り出し位置を変更するか否かを制御するフローチャートを示す。なお、図１０に示す各ステップは、画像処理装置２００に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ１０において、後方車両認識部１１０は、自車の後方に車両３００があることを判定する。

ステップＳ１０にて、後方車両認識部１１０が自車の後方に車両３００があると判定した場合には、ステップＳ１１において、後側方車両認識部８０が自車の後側方の所定の距離以内に車両３１０があることを判定する。

ステップＳ１１にて後側方車両認識部８０が自車の後側方の所定の距離以内に車両３１０がないと判定した場合、画像切り出し位置変更部５０は画像の切り出し位置を変更しない。

ステップＳ１０にて、後方車両認識部１１０が、自車の後方に車両３００がないと判定した場合は、ステップＳ１３における処理を行う。

ステップＳ１１にて後側方車両認識部８０が自車の後側方の所定の距離以内に車両３１０があると判定した場合、ステップＳ１２において画像切り出し設定保存部１２０に非変更設定が保存されているか判定する。

変更設定が保存されている場合は、ステップＳ１５において画像切り出し位置変更部５０は切り出し位置を変更する。ステップＳ１２において、画像切り出し設定保存部１２０に非変更設定が保存されている場合は、ステップＳ１３において画像切り出し位置変更部５０は切り出し位置を変更しない。

実施形態５では、画像切り出し設定保存部１２０の設定に応じて、画像の切り出し位置を変更するか否かを判定しているので、ユーザーの意図に反して、画像の切り出し位置が変更してしまうことを防ぐことが可能となる。なお、実施形態２では、自車後側方の車両の検出部を後側方車両認識部８０としているが、実施形態２のように別センサで検出してもよい。

実施形態５では、自車後側方に車両３１０を検出した場合に、切り出し位置の変更設定と非変更設定を選択できるようにした例を述べたが、方向指示器を出す操作がなされた場合に切り出し位置の変更設定と非変更設定を選択できるようにしてもよい。例えば、画像切り出し設定保存部１２０は、所定の切り出し領域（第３の領域Ｒ３または第４の領域Ｒ４）の画像データの表示をさせるか否かを選択的に設定できる。

［実施形態６］
上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態６では、上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態６では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理装置のコンピュータも、コンピュータＹの一例である。

上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態６におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態６におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

［実施形態７］
上述の実施形態における移動装置４００（自車両）は、自動車に限るものではなく、自動二輪車、自転車、車椅子、船舶、飛行機、ロボット、ドローンなどの移動が可能な装置であれば、どのようなものであってもよい。

２００～２０４：画像処理装置
１０：光学部
２０：撮像部
３０～３２：画像処理部
４０～４１：画像切り出し処理部
５０～５３：画像切り出し位置変更部
６０：リアモニター
７０：電子ルームミラー
８０～８１：後側方車両認識部
９０：後側方車両検出部
１００：方向指示操作検出部
１１０：後方車両認識部
１２０：画像切り出し設定保存部
３００：自車後方車両
３１０：自車後側方車両
Ｒ１：第１の領域
Ｒ２：第２の領域
Ｒ３：第３の領域

Claims (21)

1. 低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有すると共に移動装置の後方を撮影する撮像手段と、
   前記撮像手段で生成された撮像データから画像データを生成する画像処理手段と、
   前記移動装置の後側方の移動装置を検出する検出手段と、
   前記検出手段によって前記後側方の移動装置が検出された場合に、前記後側方の前記移動装置が含まれる前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御手段と
   を有することを特徴とする画像処理装置。
2. 前記検出手段によって前記後側方の移動装置が検出されない場合に、前記画像データのうち前記低歪曲領域に対応する第１の領域の前記画像データを表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とする場合に、
   前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項３に記載の画像処理装置。
5. θｍａｘを前記光学系が有する最大の半画角とする場合に、
   １＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９
   を満足するように構成されていることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記検出手段は、前記後側方の前記移動装置の大きさを検出可能であって、前記表示制御手段は、前記検出手段が検出した前記後側方の前記移動装置の大きさに応じて前記所定の切り出し領域の大きさを変更することを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、前記高歪曲領域を含む前記画像データに基づき画像認識をすることによって前記後側方の前記移動装置を検出することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記検出手段は、赤外線センサまたはレーダーを含むことを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
9. 前記表示制御手段により前記所定の切り出し領域の前記画像データの表示をさせるか否かを設定するための設定手段を有することを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
10. 前記移動装置の進行方向の変更を検出する方向検出手段と、
    前記表示制御手段は、前記方向検出手段によって前記移動装置の進行方向の変更が検出された場合に、変更された前記進行方向の側の前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させることを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
11. 低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有すると共に移動装置の後方を撮影する撮像手段と、
    前記撮像手段で生成された撮像データから画像データを生成する画像処理手段と、
    前記移動装置の進行方向の変更を検出する方向検出手段と、
    前記方向検出手段によって前記移動装置の進行方向の変更が検出された場合に、変更された前記進行方向の側の前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御手段と
    を有することを特徴とする画像処理装置。
12. 前記方向検出手段によって前記移動装置の進行方向の変更が検出されない場合に、前記画像データのうち前記低歪曲領域に対応する第１の領域の前記画像データを表示させることを特徴とする請求項１１に記載の画像処理装置。
13. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とする場合に、
    前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項１３に記載の画像処理装置。
15. θｍａｘを前記光学系が有する最大の半画角とする場合に、
    １＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９
    を満足するように構成されていることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記方向検出手段は、前記移動装置に設けられた方向指示器の操作方向を検出することを特徴とする請求項１１～１５のいずれか１項に記載の画像処理装置。
17. 前記表示制御手段により前記所定の切り出し領域の前記画像データの表示をさせるか否かを設定するための設定手段を有することを特徴とする請求項１１～１６のいずれか１項に記載の画像処理装置。
18. 低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を用いて移動装置の後方を撮影する撮像ステップと、
    前記撮像ステップにより得られた撮像データから画像データを生成する画像処理ステップと
    前記移動装置の後側方の移動装置を検出する検出ステップと、
    前記検出ステップによって前記後側方の移動装置が検出された場合に、前記後側方の前記移動装置が含まれる前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御ステップと
    を有することを特徴とする画像処理方法。
19. 低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を用いて移動装置の後方を撮影する撮像ステップと、
    前記撮像ステップにより得られた撮像データから画像データを生成する画像処理ステップと
    前記移動装置の進行方向の変更を検出する方向検出ステップと、
    前記方向検出ステップによって前記移動装置の進行方向の変更が検出された場合に、変更された前記進行方向の側の前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御ステップと
    を有することを特徴とする画像処理方法。
20. 画像処理装置のコンピュータに、
    低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を用いて移動装置の後方を撮影する撮像ステップと
    前記撮像ステップにより得られた撮像データから画像データを生成する画像処理ステップと
    前記移動装置の後側方の移動装置を検出する検出ステップと、
    前記検出ステップによって前記後側方の移動装置が検出された場合に、前記後側方の前記移動装置が含まれる前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御ステップと
    を実行させるためのプログラム。
21. 画像処理装置のコンピュータに、
    低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を用いて移動装置の後方を撮影する撮像ステップと
    前記撮像ステップにより得られた撮像データから画像データを生成する画像処理ステップと
    前記移動装置の進行方向の変更を検出する方向検出ステップと、
    前記方向検出ステップによって前記移動装置の進行方向の変更が検出された場合に、変更された前記進行方向の側の前記高歪曲領域を含む所定の切り出し領域の前記画像データを表示させる表示制御ステップと
    を実行させるためのプログラム。

Images