JP2020166792A - 視界支援画像生成装置および画像変換プログラム - Google Patents

Abstract

【課題】違和感が少なく、また、外界の適切な状況把握ができる表示画像を提供する。【解決手段】車両の視界支援画像を生成する視界支援画像生成装置が、車両からの画像を撮像するカメラと、処理部を備え、前記カメラが撮像した撮像画像を、前記処理部が画像変換することで、前記視界支援画像を生成し、前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向における圧縮率が、前記撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮するものである。【選択図】図２

Description

本発明は、車両の乗員に対して表示する視界支援画像を生成する装置、および画像変換プログラムに関する。

車両のドアミラーにつき、横方向（車両のドライバーから見た左右方向の、自車両から離れる方向）の死角を減らす為に、光学ミラーであるアスフェリカルミラーを用いるものがある。図１は、既存技術である光学アスフェリカルミラーの模式図であり、ドアミラーＭが通常のミラー部Ｍ１とアスフェリカル部Ｍ２を備える。アスフェリカル部Ｍ２は、曲率を変化させ、前記横方向についてより広範囲の像が映るようにしている。

ドアミラーＭに撮像用のカメラをさらに備えたＣＭＳ（カメラモニタリングシステム）においても、上記の光学ミラーであるアスフェリカルミラーを模した原理により、前記横方向に画角を広げている。すなわち、カメラが撮像した画像における、上記ドアミラーＭのアスフェリカル部Ｍ２に相当する領域に、前記横方向に圧縮をかけ、当該圧縮後の画像を表示器に表示している。

特許文献１には、車両の後側方の撮像画像を、横方向に変化する倍率で拡大又は圧縮してなる画像を表示器に表示させる場合に、自車両の前後方向に延在するはずの白線等の走行領域区分線が表示器に表示される画像中で曲がって表示されるのを防止するために、設定された横方向拡縮倍率で撮像画像の各部を横方向にスケール修正する横スケール修正処理と、横スケールが修正された画像中で曲がって表示される走行領域区分線の画像が直線状に延在するように設定された縦方向拡縮倍率でさらに部分的に縦方向にスケール修正する縦スケール修正処理を実行することが開示されている。

特開２０１３−８５１４２号公報

ところで、車両の乗員、特にドライバー（以下、ドライバー等と表記する）の視点で考えると、当該ドライバー等は、車載モニタ等に表示された表示画像を見ることになる。この表示画像の元となる画像は、ドアミラー等に備えられたカメラによって撮像されたものである。この表示画像は違和感の少ない状態で表示されるのが好ましい。

また、ドアミラーは車両の外（以下、外界と表記する）の状況を把握するためのものであるから、外界の適切な状況把握ができる表示画像であることも望まれる。

本開示は上記の観点から、違和感が少なく、また、外界の適切な状況把握ができる表示画像を提供することを目的とする。

車両の視界支援画像を生成する視界支援画像生成装置が、車両からの画像を撮像するカメラと、処理部を備え、前記カメラが撮像した撮像画像を、前記処理部が画像変換することで、前記視界支援画像を生成し、前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向における圧縮率が、前記撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮するものである。前記構成により、生成した視界支援画像が、違和感が少なく、かつ、外界の適切な状況把握ができるものになる。

違和感が少なく、外界の適切な状況把握ができる表示画像を提供することができる。

既存技術である光学アスフェリカルミラーの模式図。 本開示の視界支援画像生成装置１による画像生成の原理を示す模式図であり、（ａ）レンズモデルの一例を示す図、（ｂ）撮像画像（入力画像）を示す図、（ｃ）表示画像（出力画像）を示す図。 本開示の視界支援画像生成装置１の実施例を示す構成図。 処理部１１が行う画像処理の一例を示すフロー図。 真円レンズモデルの説明図。 入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との比較図。 入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第２の比較図。 入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第３の比較図。

以下、車両は右ハンドルの自動車であり、ドライバーの死角になりやすい右側のドアミラーに設けたカメラによって撮像した撮像画像を用いて、車内に設けた表示装置に表示画像を表示する、という前提で、適宜図面を参照しながら詳細に説明する。ただし、特許請求の範囲に記載の主題をこの前提のみに限定することは意図されていない。例えば、車両以外の移動体や、車両が有するハンドルの位置（左ハンドル、右ハンドル、ハンドルがそもそも存在しない自動運転）や、カメラを取り付ける位置（左ドアミラー、右ドアミラー、その他）等の、種々の変形があり得る。

添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図２は、本開示の視界支援画像生成装置１（図３に基づき後述）による画像生成の原理を示す模式図であり、（ａ）レンズモデルの一例を示す図、（ｂ）撮像画像（入力画像）を示す図、（ｃ）表示画像（出力画像）を示す図である。

本開示の視界支援画像生成装置１においては、撮像画像内に含まれる深消失点を中心として、撮像画像の横方向における圧縮率が、撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮できるような幾何学形状レンズモデルを用いる。幾何学形状レンズモデルとして、本実施形態においては、図２（ａ）に示した縦長楕円レンズモデルＥを用いる。

この縦長楕円レンズモデルＥにおける長軸（縦軸）の長さをｂ、短軸（横軸）の長さをｃとすると、ｂ＞ｃである。そして、後述するが、この縦長楕円レンズモデルＥを用いると、画像の圧縮率は横方向から縦方向に線形に変化することになる。これを言い換えると、横方向を偏角０度、縦方向を偏角９０度とした場合、偏角が０度から９０度へと増加するにつれて、圧縮率は線形に減少する。また、これも後述するが、楕円の中心からの距離が遠いほどに、圧縮率が増加するものとなる。

図２（ｂ）は、入力画像Ｉ_ｉｎを示す図であり、本実施形態においては、自車両１００の右ドアミラーに取り付けられたカメラが撮像した撮像画像に相当する。

入力画像Ｉ_ｉｎの中には、その左側に、自車両１００の車体が映り込んでいる。また、説明の為の一例にすぎないが、入力画像Ｉ_ｉｎの中には、物体ＯＢＪ１〜ＯＢＪ４が映りこんでいる。この例においては、物体ＯＢＪ１〜ＯＢＪ４はそれぞれ、自車両１００の隣のレーンを走行中の、自車両１００とは異なる車両である。

図２（ｃ）は、出力画像Ｉ_ｏｕｔを示す図であり、本実施形態においては、自車両１００の内部に取り付けられたモニタによって、右ハンドルを握るドライバーへ向けて表示される表示画像に相当する。

図２（ｃ）から分かるように、出力画像Ｉ_ｏｕｔにも、自車両１００の車体と、物体ＯＢＪ１〜ＯＢＪ４とが映り込んでいる。ここで、入力画像Ｉ_ｉｎ（図２（ｂ））と出力画像Ｉ_ｏｕｔ（図２（ｃ））とを比較すると、出力画像Ｉ_ｏｕｔに映りこんでいる物体ＯＢＪ１〜ＯＢＪ４は、横方向の圧縮率の方が、縦方向の圧縮率よりも高くなっている。すなわち、横方向に画角が広がる。なお、このような出力画像Ｉ_ｏｕｔが、違和感が少なく、また、外界の適切な状況把握ができる表示画像である事については、後述する。

図３は、本開示の視界支援画像生成装置１の実施例を示す構成図である。本開示の視界支援画像生成装置１は、処理部１１とカメラ１２とを備える。なお、これら以外の構成要素を備えていてもよい。図示しているように、視界支援画像生成装置１が不揮発性メモリ１４等を更に備えるようにすることもできる。

処理部１１は、視界支援画像生成装置１における情報処理を行う構成要素である。処理部１１は画像処理を行い、装置内の他の構成要素や装置外部から入力された指令や信号の処理を行い、逆に、装置内の他の構成要素や装置外部へと指令や信号を送信してよい。

カメラ１２は、車両からの画像を撮像して上述の入力画像Ｉ_ｉｎを取得するための手段である。本実施形態においては、カメラ１２は車両の後側方を撮像するための、ドアミラーに取り付けられたカメラであるが、これには限定されない。例えば、車両の前方や後方を撮像するカメラ等であってもよい。

表示装置１３は、視界支援画像生成装置１によって生成された表示画像を表示することができる装置である。典型的には、表示装置１３は自車両１００内に設けられたモニタ等であるが、これには限定されない。ドライバー等は、この表示装置１３に表示された表示画像を見ることとなる。図３においては、表示装置１３は視界支援画像生成装置１とは別体となっている。しかし、表示装置１３を視界支援画像生成装置１の中に含めてもよい。

不揮発性メモリ１４は、処理部１１が行う画像処理に用いるプログラムや、各種パラメータ情報、真円レンズモデル（後述）に基づく変換テーブル等を記憶していてよい。

なお、視界支援画像生成装置１に含まれる構成要素は、さらに一体化されていてもよく、逆に複数のサブコンポーネントへとさらに分割されていてもよい。

図４は、処理部１１が行う画像処理の一例を示すフロー図である。

図４は、入力画像Ｉ_ｉｎに基づいて出力画像Ｉ_ｏｕｔ生成する画像変換処理に用いられる、変換テーブルを作成する為の処理の一例を示している。前提条件として、本例においては、図２（ａ）に示した縦長楕円レンズモデルＥを用いる。また、図５に基づき後述するように、本例においては、レンズ歪みの除去も併せて行うこととする。

ステップＳ０１において、処理部１１が、入力画像Ｉ_ｉｎを取り込む。取り込まれた画像は、図示を省略するメモリ等に保持されてよい。

ステップＳ０２では、処理部１１が、処理すべき次の画素が残っているか否かを判断している。次の画素がある場合（図中のｙｅｓ）は、ステップＳ０３へと進む。次の画素が残っていない場合（図中のｎｏ）は、入力画像Ｉ_ｉｎの全てについて処理が終了した状況を示しており、変換テーブル作成処理は終了となる。

ステップＳ０３において、処理部１１が、処理対象となる次の画素を選択する。選択された画素の座標を、便宜的に座標Ｐとする。

ステップＳ０４において、処理部１１が、中央座標Ｏと座標Ｐとの間の距離Ｄｏを算出する。ここで、中央座標Ｏは、入力画像Ｉ_ｉｎ内に含まれる深消失点を意味している。例えば図２（ｂ）を用いて例示すると、自動車が走行している路面には白線Ｗが複数引かれている。これら複数の白線Ｗの延長線上に、それらの延長線が１点に交わる点がある。この交点が、深消失点である。図２（ｂ）においては、画像内部、左上側に深消失点（中央座標О）がある。

ステップＳ０５において、処理部１１が、距離Ｄｏを真円レンズモデルの変換テーブルで変換し、変換後の距離Ｄｏ’を決定する。このステップＳ０５については、図５も併せて参照しつつ、下記でさらに詳述する。

図５に、真円レンズモデルの説明図を示している。図５に示されるレンズ５０は、ピンホールカメラ等で用いられる一般的な真円状のレンズである。なお、図５は、真円レンズを正面ではなく横から見た状態を示している。

光学系の評価面５１上での像位置を、光軸からの距離で表した値を像高と呼ぶが、像高には理想像高５３と実像高５２の２種類がある。理想像高５３は理想的な像高である。しかし、通常の光学系の像高は、レンズ歪み等の影響を受けるため、理想像高５３とはならない。一方、実像高５２は、評価面で実際に結像している位置を指す像高である。なお、前記ステップＳ０４で算出した中央座標Ｏと座標Ｐとの間の距離Ｄｏは、実像高５２に相当する。

そして、各座標における実像高５２と、各座標における理想像高５３とを組み合わせて、１つの変換テーブルとする。図５に示した例において、レンズ５０は真円レンズである。したがって、図５に示してある実像高５２と、真円レンズの理想像高５３とを組み合わせた変換テーブルは、真円レンズモデルの変換テーブルとなる。真円レンズモデルの変換テーブルを用いれば、レンズ歪みの影響を受けた実像高５２を、レンズ歪みの除去された（真円レンズモデルの）理想像高５３へと変換することができる。

上述のような真円レンズモデルの変換テーブルは、例えば不揮発性メモリ１４等に保存されていてよい。そして処理部１１が、上記ステップＳ０５において、この真円レンズモデルの変換テーブルを用いて、実像高５２である距離Ｄｏから、真円レンズモデルの理想像高５３に相当する変換後の距離Ｄｏ’を決定する。

ステップＳ０６において、処理部１１が、真円レンズモデルによる、像高変化割合ａを算出する。なお、ａ＝（Ｄｏ’／Ｄｏ）−１である。

像高変化割合ａは、真円レンズモデルの理想像高５３である距離Ｄｏ’を、実像高５２である距離Ｄｏで除算し、そこから１を引いた値である。例えば、理想像高５３である距離Ｄｏ’＝１２０、実像高５２である距離Ｄｏ＝１００である場合、像高変化割合ａ＝（１２０／１００）−１＝０．２となる。これは、実像高５２に対して（真円レンズモデルの）理想像高５３が２０％変化（この場合は増加）していることを意味する。

ここで、本開示における視界支援画像生成装置１は、既に述べたように、縦長楕円レンズモデルＥ（図２（ａ））を用いる。そのため、ステップＳ０６で計算した像高変化割合ａに、縦長楕円の要素を混入させる必要がある。そこで、後続のステップＳ０７以降において、以下のような処理を行う。

ステップＳ０７において、処理部１１が、座標Ｏから座標Ｐへと延びる直線と、長軸ｂおよび短軸ｃで定義される縦長楕円関数Ｅとの交点Ｐ１の座標を計算する。次のステップＳ０８において、処理部１１が、座標Ｏと座標Ｐ１との間の距離Ｄ１を算出する。

なお、長軸ｂおよび短軸ｃの長さは、適宜決定することができる。本例においては縦長楕円レンズモデルＥを用いているので、長軸ｂが縦方向（Ｙ軸方向）に延び、短軸ｃが横方向（Ｘ軸方向）に延びる。ｃ＜ｂである。

ここで、理解をより容易とするために、具体例を２つ示す。

まず、第１の具体例を示す。座標Ｐが、座標Оを原点とした場合のＸ軸上に存在していたとする。つまり、座標Ｐ＝（ｍ，０）であったとする。ｍは任意の正の実数である。この時、座標Ｏから座標Ｐへと延びる直線と、上記縦長楕円関数Ｅとの交点Ｐ１の座標は（ｃ／２，０）であるので、Ｄ１＝ｃ／２である。

第２の具体例を示す。座標Ｐが、座標Оを原点とした場合のＹ軸上に存在していたとする。つまり、座標Ｐ＝（０，ｎ）であったとする。ｎは任意の正の実数である。この時、座標Ｏから座標Ｐへと延びる直線と、上記縦長楕円関数Ｅとの交点Ｐ１の座標は（０，ｂ／２）であるので、Ｄ１＝ｂ／２である。

ここで、上述の２つの具体例同士を比較すると、ｃ＜ｂであるから、ｃ／２＜ｂ／２となる。すなわち、第１の具体例よりも、第２の具体例の方が、距離Ｄ１の値が大きい。

続くステップＳ０９において、処理部１１が、座標Ｐについての圧縮係数Ａ_ｐ＝（ａ／Ｄ１）＋１を算出する。上述のように、ａは像高変化割合、Ｄ１は座標Ｏから座標Ｐ１までの距離である。ここでＤ１が逆数として用いられているので、上記２つの具体例の間で、値の大小関係は逆転する。すなわち、第２の具体例におけるＡ_ｐ＝（２ａ／ｂ）＋１よりも、第１の具体例におけるＡ_ｐ＝（２ａ／ｃ）＋１の方が、圧縮係数Ａ_ｐの値が大きい。この圧縮係数Ａ_ｐは、圧縮率に相当する。

つまり、横方向にある座標Ｐ＝（ｍ，０）である第１の具体例の方が、縦方向にある座標Ｐ＝（０，ｎ）である第２の具体例よりも、圧縮係数Ａ_ｐの値が大きい。これは、座標Ｏ（深消失点）を中心として、横方向の圧縮率が、縦方向の圧縮率よりも高いことを示している。

続くステップＳ１０において、処理部１１は、座標Ｐについての圧縮係数Ａ_ｐを、縦長楕円レンズモデルの理想像高５３として、縦長楕円レンズモデルＥの変換テーブルに書き入れる。つまり、実像高５２と、縦長楕円レンズモデルＥの理想像高５３とを組み合わせて記録する。ここまでの説明から分かるように、縦長楕円レンズモデルＥの変換テーブルは、上述の真円レンズモデルの変換テーブルを変形したものとなる。

そして、処理はステップＳ０２へと戻る。つまり、上述のステップＳ０１で処理部１１が取り込んだ入力画像Ｉ_ｉｎに含まれる、すべての画素（座標Ｐ）に対して、実像高５２と、縦長楕円レンズモデルＥの理想像高５３との組み合わせを記録して、これを縦長楕円レンズモデルＥの変換テーブルとする。

以上のようにして、真円レンズモデルの変換テーブルを変形して、縦長楕円レンズモデルＥの変換テーブルを作成することができる。

そして、入力画像Ｉ_ｉｎに対して、縦長楕円レンズモデルＥの変換テーブルを適用することにより、出力画像Ｉ_ｏｕｔを生成することができる。より詳しくは、入力画像Ｉ_ｉｎにおける座標Ｏから座標Ｐまでの線分を、Ａ_ｐ倍圧縮する（距離Ｄｏを、距離Ｄｏ／Ａ_ｐへと変える）。この圧縮は、座標Ｏ（深消失点）を中心とした横方向の圧縮率が、縦方向の圧縮率よりも高いものである。

なお、縦長楕円レンズモデルＥの長軸ｂおよび短軸ｃの長さは、適宜変更が可能である。つまり、本開示の視界支援画像生成装置１は、座標Ｏ（深消失点）を中心とした横方向の圧縮率と、縦方向の圧縮率とを、別個独立に調整することができる。

図６は、入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との比較図である。図６（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図６（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１を用いて生成した出力画像Ｉ_ｏｕｔが図６（ｃ）である。

図６（ａ）に示す入力画像Ｉ_ｉｎの中には、その左側に、自車両１００の車体が映り込んでいる。また、説明の為の一例ではあるが、入力画像Ｉ_ｉｎの中には、物体ＯＢＪ１〜ＯＢＪ４が映り込んでいる。この例においては、物体ＯＢＪ１〜ＯＢＪ４は、自車両の隣のレーンを走行中の、自車両１００とは異なる車両である。

図６（ｂ）に示す、従来技術により生成された出力画像Ｉ_ｏｕｔは、入力画像Ｉ_ｉｎに映り込んだレーン上の白線Ｗを直線化するために、横方向の拡縮を行った後に、縦方向の拡縮をさらに行って生成されている。つまり、横方向と縦方向の、２段階の拡縮を行っている。これは、後述の図７（ｂ）および図８（ｂ）についても同様である。

図６（ｂ）に示した出力画像Ｉ_ｏｕｔをみると、車両であるＯＢＪ１、ＯＢＪ２の形状が、入力画像Ｉ_ｉｎとは大きく異なっている。これらは横方向に大きく潰れ、原形を認識し難いものとなっている。また、横方向の距離感も大きく変動しており、ＯＢＪ１からＯＢＪ２までの車間距離が、極端に短縮化している。これをドライバー等の視点で見た場合、そこに何かしらの物体が存在していること自体は知覚できるものの、その物体がはたして何であるかが判別困難になることがある。また、ＯＢＪ１とＯＢＪ２との間の車間距離は、本来は充分にあけられている（図６（ａ））。しかし、図６（ｂ）では互いに衝突しそうであるように見える。

一方、図６（ｃ）に示す、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔの場合は、立体の形状変化が緩和される。また、横方向の距離感の変化も緩やかである。よって、ドライバー等の視点では、隣のレーンを移動する物体ＯＢＪ１〜ＯＢＪ４の形を認識しやすい。また、距離感の急激な変動によって混乱することもない。

図７は、入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第２の比較図である。図７（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図７（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１を用いて生成した出力画像Ｉ_ｏｕｔが図７（ｃ）である。

図７においては、自車両１００の進行方向に対して直交する直線Ｌ１、Ｌ２を、補助線として付加した。直線Ｌ１が、自車両１００の近傍における線、直線Ｌ２が、自車両１００の遠方における線である。

図７（ａ）に示す入力画像Ｉ_ｉｎにおいては、２つの直線Ｌ１とＬ２は平行になっている。

図７（ｂ）に示す、従来技術により生成された出力画像Ｉ_ｏｕｔを見ると、２つの直線Ｌ１とＬ２は、その傾きが大きく異なっている。この傾きの相違は、ドライバー等の視点では、画像の歪みや違和感として認識される。また、画像内に映り込んだ複数台の車両は、２つの直線Ｌ１、Ｌ２と直交する方向に進行している。つまり、出力画像Ｉ_ｏｕｔが動画であった場合、この動画内に映り込んだ車両は、実際には直進しているはずであるが、画像の右側へと進むにつれ、カーブしながら進行しているように映る。これもまた、ドライバー等に違和感を覚えさせる。

一方、図７（ｃ）に示す、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔであれば、２つの直線Ｌ１とＬ２との間の傾きの違いが、従来よりも緩やかになる。よって、ドライバー等にとっての違和感が少ない。また、出力画像Ｉ_ｏｕｔが動画であった場合、当該動画に映り込んでいる車両の進行がより自然に見えるので、やはり違和感が少ない。

図８は、入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第３の比較図である。図８（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図８（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１を用いて生成した出力画像Ｉ_ｏｕｔが図８（ｃ）である。

図８においては、車両であるＯＢＪ２のフロントバンパー付近に説明用の矢印Ｌ３を入れている。この矢印Ｌ３は、画像に映り込む物体が備えている、自車両１００の進行方向に直交する直線を示している。

図８（ｂ）に示す、従来技術により生成された出力画像Ｉ_ｏｕｔを見ると、矢印Ｌ３が湾曲していることが見て取れる。つまりドライバー等の視点では、物体ＯＢＪ２を構成する、直線状に形成されている部材（フロントバンパー等）が、湾曲して見えることになる。これもまた、ドライバー等に違和感を覚えさせる。

一方、図８（ｃ）に示す、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔであれば、上述の湾曲も緩和され、直線状に形成されている部材（フロントバンパー等）が、直線に近い形状としてドライバー等の目に映る。すなわち、ドライバー等にとって違和感が少ない。

以上、例示したように、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔは、違和感の少ない画像となる。

これに加えて、本開示の視界支援画像生成装置１によって生成される出力画像Ｉ_ｏｕｔは、撮像画像内に含まれる深消失点を中心として、撮像画像の横方向における圧縮率が、撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮するものである（図１〜図５参照）。よって、画角を横方向に拡大するという、光学アスフェリカルミラーが有する利点も、依然として享受することができる。

すなわち、本開示の視界支援画像生成装置１は、違和感が少なく、また、外界の適切な状況把握ができる出力画像Ｉ_ｏｕｔを生成することができる。

なお、下記にて、補足事項をいくつか説明する。

図４に基づき説明したフロー図は、真円レンズモデルの変換テーブルに基づいて縦長楕円レンズモデルＥの変換テーブルを作成し、縦長楕円レンズモデルＥの変換テーブルを用いて出力画像Ｉ_ｏｕｔを生成する例であった。この縦長楕円レンズモデルＥの変換テーブルを不揮発性メモリ１４等に保存しておけば、入力画像Ｉ_ｉｎが入力される都度、新たに変換テーブルを生成する必要が無くなる。つまり、入力画像Ｉ_ｉｎに対して、既に保存されている縦長楕円レンズモデルＥの変換テーブルを参照して、出力画像Ｉ_ｏｕｔを生成することができるようになる。逆に、入力画像Ｉ_ｉｎが入力される都度、上記のように圧縮係数Ａ_ｐを動的に計算した上で、出力画像Ｉ_ｏｕｔを生成してもよい。

また、上記の実施形態においては、ステップＳ０１〜Ｓ１０に係る処理を、処理部１１が行っている。この処理に係るプログラムが不揮発性メモリ１４等に保存され、処理部１１がこのプログラムを読み出して画像処理を行ってよい。一方、上述の処理を、ソフトウェア処理ではなく、ハードウェア処理によって行ってもよい。例えば、専用の回路等によって当該処理を行ってよい。

次に、圧縮率についての補足説明を行う。図４のステップＳ０９につき、具体例を２つ示した。すなわち、圧縮率（圧縮係数Ａ_ｐ）について、横方向（第１の具体例）と縦方向（第２の具体例）との２方向を比較した。しかし、その中間である斜め方向の圧縮率もある。上述のように、縦長楕円レンズモデルＥの変換テーブルは、上述の真円レンズモデルの変換テーブルを変形したものある。真円を縦長楕円に変換しているので、圧縮率（圧縮係数Ａ_ｐ）は横方向から縦方向に、線形に変化することになる（図２（ａ）参照）。これを言い換えると、横方向を偏角０度、縦方向を偏角９０度とした場合、偏角が増加するにつれて、圧縮率（圧縮係数Ａ_ｐ）は線形に減少する。

また、真円レンズモデルとして、中心からの距離が遠いほどに圧縮率が増加するレンズモデルを用いることができる。そのような真円レンズモデルに基づいて作成した縦長楕円レンズモデルＥもまた、中心（深消失点）からの距離が遠いほどに圧縮率が増加するものとなる。

上記構成において、前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向から前記撮像画像の縦方向へと偏角が変わるにつれて、圧縮率が線形に変化するものであってよい。線形変化であれば、偏角に応じて圧縮率が徐々に変動するので、生成された視界支援画像も自然なものとなる。

上記構成において、前記画像変換は、前記深消失点からの距離が遠いほどに圧縮率が増加するものであってよい。この構成により、深消失点の周辺部は低圧縮として画像の情報量を保ちつつ、画角を自然に広げることが可能となる。

上記構成において、前記画像変換は縦長楕円レンズモデルを用いた圧縮であってよい。縦長楕円モデルであれば、通常用いられる真円レンズモデルと形状が近く、画像変換後の表示画像における違和感が少ない。また、真円を規定するパラメータは半径ｒの１つのみであったのに対して、縦長楕円であれば長軸ｂ、短軸ｃの２つのパラメータにすることができる。この２つのパラメータを適宜調節することで、従来では生じていた表示画像の違和感を少なくしつつ、画像の縦方向および横方向の圧縮率を柔軟に変動させることができる。

上記構成において、視界支援画像生成装置１は、前記視界支援画像を表示する表示部を更に備えてよい。かかる表示部に視界支援画像を表示することにより、ドライバー等が、横方向に視野の広がった自然な視覚支援画像を見ることができる。

また、本開示は、車両の視界支援画像を生成するための画像変換プログラムにも関する。前記画像変換プログラムは、装置が有する処理部に、画像の実像高と、真円レンズモデルの理想像高との対応関係を示すデータに基づいて、前記画像の実像高と、幾何学形状レンズモデルの理想像高との対応関係を算出するステップと、前記画像の実像高と、前記幾何学形状レンズモデルの理想像高との対応関係に基づいて、前記画像に含まれる各画素の圧縮率を算出するステップと、前記各画素の圧縮率に基づいて、前記画像を圧縮するステップとを実行させ、前記幾何学形状は、前記幾何学形状の中心から横方向に向かう長さが、前記幾何学形状の中心から縦方向に向かう長さよりも短いものであってよい。前記構成により、車両のドアミラー等に設けたカメラが撮像した入力画像から、ドライバー等にとって違和感が少なく、また、外界の適切な状況把握ができる視界支援画像を提供することができる。

上記構成において、前記幾何学形状は、前記幾何学形状の中心からの距離が、前記幾何学形状の横方向から縦方向へと偏角が変わるにつれて、線形に変化するものであってよい。線形変化であれば、偏角に応じて圧縮率が徐々に変動するので、当該プログラムを用いて生成された画像も、ドライバー等にとって自然なものとなる。

上記構成において、前記幾何学形状は縦長楕円であってよい。縦長楕円モデルであれば、通常用いられる真円レンズモデルと形状が近く、画像変換後の視界支援画像における違和感が少ない。また、真円を規定するパラメータは半径ｒの１つのみであったのに対して、縦長楕円であれば長軸ｂ、短軸ｃの２つのパラメータにすることができる。この２つのパラメータを適宜調節することで、従来では生じていた表示画像の違和感を少なくしつつ、画像の縦方向および横方向の圧縮率を柔軟に変動させることができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

１ 視界支援画像生成装置
１１ 処理部
１２ カメラ
１３ 表示装置
１４ 不揮発性メモリ
５０ レンズ
５１ 評価面
５２ 実像高
５３ 理想像高
１００ 自車両
Ｉ_ｉｎ 入力画像
Ｉ_ｏｕｔ 出力画像
Ｅ 縦長楕円レンズモデル
Ｍ ドアミラー
Ｍ１ ミラー部
Ｍ２ アスフェリカル部
ＯＢＪ１〜ＯＢＪ４ 物体

Claims (8)

1. 車両の視界支援画像を生成する視界支援画像生成装置であって、
   車両からの画像を撮像するカメラと、
   処理部を備え、
   前記カメラが撮像した撮像画像を、前記処理部が画像変換することで、前記視界支援画像を生成し、
   前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向における圧縮率が、前記撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮するものである、
   視界支援画像生成装置。
2. 請求項１に記載の視界支援画像生成装置であって、
   前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向から前記撮像画像の縦方向へと偏角が変わるにつれて、圧縮率が線形に変化するものである、
   視界支援画像生成装置。
3. 請求項１または請求項２に記載の視界支援画像生成装置であって、
   前記画像変換は、前記深消失点からの距離が遠いほどに圧縮率が増加する、
   視界支援画像生成装置。
4. 請求項１から請求項３のいずれか１項に記載の視界支援画像生成装置であって、
   前記画像変換は、縦長楕円レンズモデルを用いた圧縮である、
   視界支援画像生成装置。
5. 請求項１から請求項４のいずれか１項に記載の視界支援画像生成装置であって、
   前記視界支援画像を表示する表示部を更に備える、
   視界支援画像生成装置。
6. 車両の視界支援画像を生成するための画像変換プログラムであって、
   装置が有する処理部に、
   真円レンズの実像高と、真円レンズモデルの理想像高との対応関係を示すデータに基づいて、前記実像高と、幾何学形状レンズモデルの理想像高との対応関係を算出するステップと、
   前記実像高と、前記幾何学形状レンズモデルの理想像高との対応関係に基づいて、前記画像に含まれる各画素の圧縮率を算出するステップと、
   前記各画素の圧縮率に基づいて、画像を圧縮するステップと、
   を実行させ、
   前記幾何学形状は、前記幾何学形状の中心から横方向に向かう長さが、前記幾何学形状の中心から縦方向に向かう長さよりも短い、
   画像変換プログラム。
7. 請求項６に記載の画像変換プログラムであって、
   前記幾何学形状は、前記幾何学形状の中心からの距離が、前記幾何学形状の横方向から縦方向へと偏角が変わるにつれて、線形に変化するものである、
   画像変換プログラム。
8. 請求項６または請求項７に記載の画像変換プログラムであって、
   前記幾何学形状が縦長楕円である、
   画像変換プログラム。

Images