JP2019140518A - 画像生成装置 - Google Patents

Abstract

【課題】複数の撮像部で得られた撮像画像を合成した合成画像を生成する画像生成装置において、合成画像の視認性を向上できるようにする。【解決手段】画像生成システムにおいて制御部は、Ｓ１１０で、車両に搭載された複数の撮像部によって車両の周囲が撮像された複数の撮像画像を取得するように構成される。制御部は、Ｓ１２０，Ｓ１３０で、複数の撮像画像に含まれる１または複数の障害物であって、重複領域に位置する障害物を表す特定障害物の位置をそれぞれ認識するように構成される。制御部は、Ｓ１４０，Ｓ１６０で、特定障害物を避けて重複領域内において境界線を設定するように構成される。制御部は、Ｓ１７０で、境界線を複数の撮像画像を結合する際の境界にして、複数の撮像画像を組み合わせた合成画像を生成するように構成される。【選択図】図３

Description

本開示は、複数の撮像部で得られた撮像画像を合成した合成画像を生成する画像生成装置に関する。

下記の特許文献１には、上記の画像生成装置において、最も近い障害物を切断しないように撮像画像間の境界線を設定し、この境界線を複数の撮像画像を合成する構成が開示されている。

特許第５５０３６６０号公報

しかしながら、上記技術では、複数の障害物がある場合、他の障害物が切断された合成画像となる可能性があり、この場合、合成画像の視認性が劣化するという課題が生じる。

本開示は、複数の撮像部で得られた撮像画像を合成した合成画像を生成する画像生成装置において、合成画像の視認性を向上できるようにすることを目的とする。

本開示の一態様は、画像生成装置（１）であって、画像取得部（Ｓ１１０）と、位置認識部（Ｓ１２０，Ｓ１３０）と、境界線設定部（Ｓ１４０，Ｓ１６０）と、画像合成部（Ｓ１７０）と、を備える。画像取得部は、車両に搭載された複数の撮像部によって車両の周囲が撮像された複数の撮像画像を取得するように構成される。位置認識部は、複数の撮像画像に含まれる１または複数の障害物であって、重複領域に位置する障害物を表す特定障害物の位置をそれぞれ認識するように構成される。境界線設定部は、特定障害物を避けて重複領域内において境界線を設定するように構成される。画像合成部は、境界線を複数の撮像画像を結合する際の境界にして、複数の撮像画像を組み合わせた合成画像を生成するように構成される。

このような構成によれば、合成画像において境界線によって障害物が切断されないようにすることができるので、合成画像の視認性を向上させることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像生成システムの構成を示すブロック図である。 カメラの配置例を示す鳥瞰図である。 画像生成処理のフローチャートである。 境界線設定条件を示す説明図である。 実施形態において重複領域での境界線の設定方法を示す鳥瞰図である。 障害物変換処理のフローチャートである。 障害物が引き伸ばされる領域を示す鳥瞰図である。 第１変形例において重複領域での境界線の設定方法を示す鳥瞰図である。 第２変形例において重複領域での境界線の設定方法を示す鳥瞰図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示すように、本実施形態の画像生成システム１は、乗用車等の車両に搭載されたシステムであり、少なくとも制御部１０を備える。また、画像生成システム１は、前方カメラ２１Ｆ、後方カメラ２１Ｂ、右カメラ２１Ｒ、左カメラ２１Ｌ、各種センサ２５、表示装置３０、等を備えてもよい。なお、画像生成システム１が搭載された車両を自車両ともいう。

各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒは、図２に示すように、車両の周囲に配置される。すなわち、前方カメラ２１Ｆおよび後方カメラ２１Ｂは、それぞれ、自車両の前方および後方の道路を撮像するためのものであり、自車両の前部および後部に取り付けられている。また、右カメラ２１Ｒおよび左カメラ２１Ｌは、それぞれ、自車両の右側および左側の道路を撮像するためのものであり、自車両の右側面のミラーおよび左側面のミラーに取り付けられている。

具体的には、前方カメラ２１Ｆは、自車両の前面よりも前方側の全域を前方撮像領域２２Ｆとする。後方カメラ２１Ｂは、自車両の後面よりも後方側の全域を後方撮像領域２２Ｂとする。右カメラ２１Ｒは、自車両の右側面よりも右側の全域を右撮像領域２２Ｒとする。左カメラ２１Ｌは、自車両の左側面よりも左側の全域を左撮像領域２２Ｌとする。

また、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒは、撮像領域の少なくとも一部が重複し、撮像画像に重複領域を含むように設定される。なお、重複領域とは、複数のカメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像領域が重複することによって、複数の撮像画像に重複して含まれる領域を表す。図２に示す例では、自車両の前方側の左右、自車両の後方側の左右に撮像領域が重複する領域がそれぞれ生じる。この領域は、鳥瞰図にしたときに、重複領域２２Ｄとなる。

各種センサ２５は、自車両の状態を検知する周知のセンサである。例えば、車速、加速度、ヨーレート、現在地、周囲の障害物、シフトレバーの位置等を検知する。各種センサ２５は、これらの検知結果を制御部１０に送る。

表示装置３０は、液晶ディスプレイ等の周知のディスプレイとして構成される。表示装置３０は、車室内に配置される。
制御部１０は、ＣＰＵ１１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１２）と、を有するマイクロコンピュータを備える。制御部１０の各機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、制御部１０は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

制御部１０は、図１に示すように、入力信号処理部１６と、画像処理部１７と、出力信号処理部１８と、を備える。制御部１０に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

入力信号処理部１６の機能では、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像画像、および各種センサ２５による検知結果を取得し、メモリ１２に格納する。
画像処理部１７の機能では、後述する画像生成処理等を実行することによって、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像画像から、車両周囲の道路を鉛直方向から俯瞰した画像である鳥瞰画像を生成する。この鳥瞰画像には、道路上の障害物が含まれる。なお、障害物とは、自車両を除く車両である他車両、歩行者、自転車、縁石、壁等、車両の走行に障害となり得る任意の物体を表す。

出力信号処理部１８の機能では、生成した鳥瞰画像を表示装置３０に表示させる。
［１−２．処理］
制御部１０が実行する画像生成処理について、図３のフローチャートを用いて説明する。画像生成処理は、例えば、車両のシフトレバーがリバースに入れられると開始する処理である。なお、画像生成処理は、車両の速度が低下したとき等、他の任意のタイミングで開始してもよい。

まず、Ｓ１１０で、制御部１０は、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒから撮像画像を取得する。撮像画像はメモリ１２から取得してもよい。
続いて、Ｓ１２０で、制御部１０は、それぞれの撮像画像から障害物を抽出する。この際、撮像画像に含まれる障害物の全てを画像処理によって検出する。そして、障害物の下端位置の座標に基づいて障害物の位置を検出する。

ここで、障害物の下端位置とは、障害物が地面に設置する部位を示す。すなわち、障害物が車両の場合には車輪の下端、障害物が歩行者の場合には靴の部位の下端等が地面に設置する部位に該当する。撮像画像中の下端位置の座標は、平面座標における位置と対応付けられており、撮像画像中の座標を特定することで障害物までの距離が認識できるように構成される。

続いて、Ｓ１３０で、制御部１０は、撮像画像の重複領域に障害物があるか否かを判定する。制御部１０は、Ｓ１３０で撮像画像の重複領域に障害物があると判定した場合には、Ｓ１４０へ移行し、境界線設定条件に従って境界線を設定する。

ここで、本実施形態での境界線設定条件は、図４の上段に示す境界線設定条件Ａを採用する。
すなわち、境界線設定条件Ａでは、（１）障害物が、それぞれ、複数のカメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒのうちのこの障害物までの距離が最も近いカメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像画像に含まれるように境界線を設定する。この際、（２）障害物の下端部を避け、かつ（３）境界線を既定の位置に近づけるようにする。

例えば、図５に示す例では、重複領域２２Ｄにて、４人の歩行者５０１，５０２，５０３，５０４を検出している。この際、最も右側の歩行者５０４は、カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒのうち右カメラ２１Ｒに最も近いため、右カメラ２１Ｒによる撮像画像に含まれるよう設定される。

一方、最も右側の歩行者５０４以外の歩行者５０１，５０２，５０３は、カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒのうち前方カメラ２１Ｆに最も近いため、前方カメラ２１Ｆによる撮像画像に含まれるよう設定される。

このため、ここでの境界線２３Ａは、最も右側の歩行者５０４とその左側の歩行者５０３との間に設定される。この際、境界線２３Ａは、それぞれの歩行者を撮像するカメラから見たときの下端部５０１Ｕ，５０２Ｕ，５０３Ｕ，５０４Ｕと重ならないように設定される。なお、境界線２３Ａは、障害物の全てを避けて設定されてもよいし、本実施形態のように、少なくとも下端部５０１Ｕ，５０２Ｕ，５０３Ｕ，５０４Ｕを避けて設定されてもよい。特に、本実施形態では、後述する障害物変換処理で、障害物を視認しやすくなるように変換するので、障害物が境界線で切断されたとしても視認しやすくすることができる。

また、境界線２３Ａは、規定の位置２３Ｋになるべく近づけて設定される。図５に示す例の場合、境界線２３Ａは、最も右側の歩行者５０４よりもその左側の歩行者５０３に近くなるように設定される。なお、規定の位置２３Ｋは、例えば、車両の四隅の各端部から、車両の進行方向に対して車両の外側に向けて４５度（ｄｅｇ）となる線分とする。

続いて、Ｓ１５０で、制御部１０は、図６のフローチャートにて示す障害物変換処理を実施する。
まず、障害物変換処理のＳ２１０で、制御部１０は、障害物の領域を抽出する。この処理では、周知の画像処理によって、障害物の輪郭を特定し、この輪郭で囲まれた領域を障害物の領域として抽出する。障害物の輪郭を特定する際には、例えば、セマンティックセグメンテーションのディープラーニングを用いることができる。

続いて、Ｓ２２０で、制御部１０は、撮像画像中の障害物が起きるように変換する。詳細には、制御部１０は、俯瞰画像にて引き伸ばされる障害物を、引き伸ばされないように座標変換することで、縮められた他の画像に置換する。すると、引き伸ばされることで寝ているように表示された障害物が起き上がったかのように表現することができる。

続いて、Ｓ２３０で、制御部１０は、上記の変換によって空白になった領域を他の撮像画像により補完する。すなわち、制御部１０は、障害物を縮めることによって、画像データが無くなり空白となる領域が生じるが、この領域を、障害物までの距離が最も近いカメラによる撮像画像以外の撮像画像を用いて補完する。

詳細には、図７に示すように、２人の歩行者５１１，５１２が重複領域２２Ｄに含まれる場合において、左側の歩行者５１１は前方カメラ２１Ｆの撮像画像に含まれ、右側の歩行者５１２は右カメラ２１Ｒの撮像画像に含まれるものとする。

この場合、左側の歩行者５１１については、領域５１１Ａが引き伸ばされる領域となり、右側の歩行者５１２について、領域５１２Ａが引き伸ばされる領域となる。ただし、各歩行者５１１，５１２は、他のカメラでも撮像されており、他のカメラの撮像画像では、領域５１１Ｂ，５１２Ｂがそれぞれ引き伸ばされる領域になり、領域５１１Ａ，５１２Ａは良好に撮像される。

このため、歩行者５１１，５１２が含まれる撮像画像での領域５１１Ａ，５１２Ａを、歩行者５１１，５１２が含まれない撮像画像に含まれる領域５１１Ａ，５１２Ａに置換することによって補完する。この構成では、他のカメラで撮像した画像をそのまま利用するので、実際の撮像風景を忠実に再現できる。

このような処理が終了すると、障害物変換処理を終了し、図３のＳ１７０に移行する。
一方、制御部１０は、Ｓ１３０で撮像画像の重複領域に障害物があるでないと判定した場合には、Ｓ１６０へ移行し、既定の位置に境界線を設定する。

続いて、Ｓ１７０で、制御部１０は、変換後の各撮像画像を設定された境界線で繋ぐことによって、鳥瞰図である合成画像を生成した後、図３の画像生成処理を終了する。
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。

（１ａ）上記の画像生成システム１は、制御部１０を備える。制御部１０は、Ｓ１１０で、車両に搭載された複数の撮像部によって車両の周囲が撮像された複数の撮像画像を取得するように構成される。制御部１０は、Ｓ１２０，Ｓ１３０で、複数の撮像画像に含まれる１または複数の障害物であって、重複領域に位置する障害物を表す特定障害物の位置をそれぞれ認識するように構成される。制御部１０は、Ｓ１４０，Ｓ１６０で、特定障害物を避けて重複領域内において境界線を設定するように構成される。制御部１０は、Ｓ１７０で、境界線を複数の撮像画像を結合する際の境界にして、複数の撮像画像を組み合わせた合成画像を生成するように構成される。

このような構成によれば、合成画像において境界線によって障害物が切断されないようにすることができるので、合成画像の視認性を向上させることができる。
（１ｂ）上記の画像生成システム１において制御部１０は、Ｓ１２０，Ｓ１３０で、障害物のうちの少なくとも地面に接地する部位を特定障害物として認識する。

このような構成によれば、特定障害物の位置を認識する際に重要な、接地する部位を避けて境界線を設定するので、障害物を切断しなければ境界線を設定できない場合であっても、特定障害物を認識しやすい合成画像とすることができる。

（１ｃ）上記の画像生成システム１において制御部１０は、Ｓ１４０，Ｓ１６０で、特定障害物が、それぞれ、複数の撮像部のうちの特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように境界線を設定する。

このような構成によれば、特定障害物の歪みを小さくし、極力鮮明に表示することができる。
（１ｄ）上記の画像生成システム１において制御部１０は、Ｓ１７０で、合成画像として、車両の周囲を上方から俯瞰した俯瞰画像を生成するように構成される。制御部１０は、Ｓ２２０で、俯瞰画像にて引き伸ばされる特定障害物を他の画像に置換するように構成される。

このような構成によれば、俯瞰画像にて引き伸ばされる特定障害物を他の画像に置換するので、俯瞰画像中の特定障害物をより見やすく表示することができる。
（１ｅ）上記の画像生成システム１において制御部１０は、Ｓ２３０で、特定障害物を他の画像に置換することによって生じる領域を、特定障害物までの距離が最も近い撮像部による撮像画像以外の撮像画像を用いて補完するように構成される。

このような構成によれば、俯瞰画像にて引き伸ばされる特定障害物の陰になる部位を他の撮像部による撮像画像を用いて補完することができる。特に、ある特定障害物の陰となる部位を他の撮像画像で撮像して補完するので、補完する部位の状況を実際の状況通りに再現することができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、制御部１０は、俯瞰画像にて引き伸ばされる障害物が引き伸ばされないように座標変換することで、障害物を縮められた他の画像に置換するように構成したが、これに限定されるものではない。例えば、他の画像として、障害物を図柄で示すアイコンに置換してもよい。障害物の種別を認識する構成を備えるのであれば、障害物の種別に応じて異なる図柄のアイコンに置換してもよい。

（２ｂ）上記の画像生成システム１において制御部１０は、Ｓ１４０，Ｓ１６０で、特定障害物を避けて重複領域内において複数の境界線候補を仮に設定し、複数の境界線候補のうちの予め設定された基準位置により近い境界線候補を境界線として設定してもよい。

この場合、例えば、図４の中段に示す境界線設定条件Ｂを採用し、図８に示すように、複数の境界線を仮に設定する。境界線設定条件Ｂでは、（１）障害物の領域を避けて、複数の境界線を仮に設定する。この際、（２）障害物の領域としては障害物の下端部を避けるようにする。例えば、図８の例では、歩行者５０１，５０２，５０３，５０４，５０５の間を通る境界線２３Ａ，２３Ｂ，２３Ｃ，２３Ｄ，２３Ｅが境界線の候補として設定される。

なお、境界線は、直線である必要はなく、例えば、重複領域２２Ｄの対角となる２カ所の端部を通過する円弧、任意の曲線等であってもよい。図８に示す例の場合には、これらの境界線の候補のうちの規定の位置に最も近い境界線２３Ｂが境界線として採用される。

このような構成によれば、障害物を避けつつ基準位置に近い位置に境界線を設定することができる。
（２ｃ）また、上記（２ｂ）の構成では、障害物からより近いカメラによる撮像画像から障害物の部位を切り出し、障害物については境界線の位置に拘らず、切り出した障害物を合成して表示させるようにしてもよい。つまり、障害物は前方カメラ２１Ｆで撮像された画像を採用し、障害物の周囲は右カメラ２１Ｒで撮像された画像を採用するようにしてもよい。

（２ｄ）また、撮像画像から障害物を抽出する際に、撮像画像によって重複領域での障害物の検出数に差がある場合、障害物の検出数が最も多い撮像画像に障害物の全てが含まれるように境界線を設定してもよい。この場合、例えば、図４の下段に示す境界線設定条件Ｃを採用し、図９に示すように境界線２３Ｇを設定するとよい。

すなわち、図９に示す例では、２人の歩行者５２１，５２２が重複領域内に位置するが、前方カメラ２１Ｆの撮像画像では、右側の歩行者５２２が左側の歩行者５２１の陰になる領域５２１Ａに入るため認識されない。この場合、前方カメラ２１Ｆの撮像画像では障害物の認識数が１となり、一方で、右カメラ２１Ｒの撮像画像では障害物の認識数が２となる。この場合、境界線設定条件Ｃに示すように、（１）重複領域での障害物の検出数が多い撮像画像に障害物が含まれるように境界を決定し、この際、（２）障害物の下端部を避け、（３）規定の位置に近づけるようにするとよい。

このようにすると、図９に示すように、歩行者５２１，５２２が右カメラ２１Ｒの撮像画像に含まれるように境界線２３Ｇが設定される。
（２ｅ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２ｆ）上述した画像生成システム１の他、当該画像生成システム１の構成要素となる制御装置、当該画像生成システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像生成方法など、種々の形態で本開示を実現することもできる。

［３．実施形態の構成と本開示の構成との対応関係］
上記実施形態において制御部１０は本開示でいう画像生成装置に相当する。また、上記実施形態において制御部１０が実行する処理のうちのＳ１１０の処理は本開示でいう画像取得部に相当し、Ｓ１２０，Ｓ１３０の処理は本開示でいう位置認識部に相当する。

また、Ｓ１４０，Ｓ１６０の処理は本開示でいう境界線設定部に相当し、Ｓ１７０の処理は本開示でいう画像合成部に相当する。また、Ｓ２２０の処理は本開示でいう画像置換部に相当し、Ｓ２３０の処理は本開示でいう画像補完部に相当する。

１…画像生成システム、１０…制御部、１１…ＣＰＵ、１２…メモリ、１６…入力信号処理部、１７…画像処理部、１８…出力信号処理部、２２Ｄ…重複領域、２３Ａ，２３Ｂ，２３Ｃ，２３Ｄ，２３Ｅ，２３Ｆ，２３Ｇ…境界線、３０…表示装置。

Claims (6)

1. 車両に搭載された複数の撮像部によって前記車両の周囲が撮像された複数の撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
   前記複数の撮像画像に含まれる１または複数の障害物であって、重複領域に位置する障害物を表す特定障害物の位置をそれぞれ認識するように構成された位置認識部（Ｓ１２０，Ｓ１３０）と、
   前記特定障害物を避けて前記重複領域内において境界線を設定するように構成された境界線設定部（Ｓ１４０，Ｓ１６０）と、
   前記境界線を前記複数の撮像画像を結合する際の境界にして、前記複数の撮像画像を組み合わせた合成画像を生成するように構成された画像合成部（Ｓ１７０）と、
   を備える画像生成装置（１０）。
2. 請求項１に記載の画像生成装置であって、
   前記境界線設定部は、前記特定障害物が、それぞれ、前記複数の撮像部のうちの前記特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように前記境界線を設定する
   ように構成された画像生成装置。
3. 請求項１に記載の画像生成装置であって、
   前記境界線設定部は、前記特定障害物を避けて前記重複領域内において複数の境界線候補を仮に設定し、該複数の境界線候補のうちの予め設定された基準位置により近い境界線候補を前記境界線として設定する
   ように構成された画像生成装置。
4. 請求項１から請求項３までのいずれか１項に記載の画像生成装置であって、
   前記位置認識部は、前記障害物のうちの少なくとも地面に接地する部位を前記特定障害物として認識する
   ように構成された画像生成装置。
5. 請求項１から請求項４までのいずれか１項に記載の画像生成装置であって、
   前記画像合成部は、前記合成画像として、前記車両の周囲を上方から俯瞰した俯瞰画像を生成するように構成され、
   前記俯瞰画像にて引き伸ばされる特定障害物を他の画像に置換するように構成された画像置換部（Ｓ２２０）、
   をさらに備える画像生成装置。
6. 請求項５に記載の画像生成装置であって、
   前記特定障害物を他の画像に置換することによって生じる領域を、前記特定障害物までの距離が最も近い撮像部による撮像画像以外の撮像画像を用いて補完するように構成された画像補完部（Ｓ２３０）、
   をさらに備える画像生成装置。

Images