JP2020150306A - 表示制御装置 - Google Patents

Abstract

【課題】連節バスの２つの車両の間の連節角度を把握する。【解決手段】前側車両と、後側車両とを連結させた連節バス１００における、前側車両と後側車両との間の連節角度を特定する特定部４２２と、前側車両の周囲の路面を撮影した前側撮影画像と、後側車両の周囲の路面を撮影した後側撮影画像とを合成して、連節バス１００を俯瞰し、且つ、連節角度を示す文字又は記号を含む俯瞰画像を生成する合成部と、俯瞰画像を表示部３に表示させる表示制御部４２４と、を備える。【選択図】図３

Description

本発明は、画像の表示制御を行う表示制御装置に関する。

近年、前側車両と後側車両とを連結させた連節バスが普及している。連節バスでは、後側車両が運転席から離れていることから、後側車両の向きが確認しにくいことがある。

特許文献１では、牽引車の周囲の撮像部で撮像された各画像を用いて、牽引車を俯瞰した複数の第１俯瞰画像を生成し、被牽引車の周囲の撮像部で撮像された各画像を用いて、被牽引車を俯瞰した複数の第２俯瞰画像を生成することが提案されている。また、画像合成部が、牽引車に対する被牽引車の姿勢に基づいて、複数の第１俯瞰画像と、複数の第２俯瞰画像とを合成して１枚の第３俯瞰画像を生成することが提案されている。

特開２０１５−１５４４０６号公報

特許文献１において提案されている方法によれば、牽引車及び非牽引車の両方を俯瞰する第３俯瞰画像を生成するので、牽引車と被牽引車とのなす角度を確認することが可能である。しかしながら、特許文献１において提案されている方法では、比較的多数の画像を合成することにより１枚の第３俯瞰画像を生成するため、第３俯瞰画像には、元の画像間の境界が多数形成される。このため、運転者が第３俯瞰画像を参照した際に牽引車と被牽引車とのなす角度が把握しにくいことがあった。

そこで、本発明はこれらの点に鑑みてなされたものであり、連節バスの２つの車両の間の連節角度を容易に把握することができる表示制御装置を提供することを目的とする。

本発明の第１の態様の表示制御装置は、前側車両と、後側車両とを連結させた連節バスにおける、前記前側車両と前記後側車両との間の連節角度を特定する特定部と、前記前側車両の周囲の路面を撮影した前側撮影画像と、前記後側車両の周囲の路面を撮影した後側撮影画像とを合成して、前記連節バスを俯瞰し、且つ、前記連節角度を示す文字又は記号を含む俯瞰画像を生成する合成部と、前記俯瞰画像を表示部に表示させる表示制御部と、を備える。

前記合成部は、前記連節角度に応じて、前記俯瞰画像において前記前側撮影画像に対応する部分と前記後側撮影画像に対応する部分との境界を決定してもよい。前記合成部は、前記前側撮影画像及び前記後側撮影画像が重複する部分において画質がより高い撮影画像が前記俯瞰画像に反映されるように前記境界を決定してもよい。

前記表示制御装置は、移動体を検知する検知部をさらに備え、前記合成部は、前記検知部が検知した前記移動体を他の部分に比べて高い倍率で表示する前記俯瞰画像を生成してもよい。前記合成部は、前記前側撮影画像と、前記後側撮影画像と、車内を撮影した車内撮影画像とを合成して前記俯瞰画像を生成してもよい。前記合成部は、前記前側撮影画像に写っているラインと、前記後側撮影画像に写っているラインとが前記俯瞰画像において途切れなく連結されるように、前記前側撮影画像と前記後側撮影画像とを合成してもよい。

本発明によれば、連節バスの２つの車両の間の連節角度を容易に把握することができるという効果を奏する。

本実施形態の表示制御装置の概要を説明するための図である。 本実施形態の表示制御装置の概要を説明するための図である。 連節バスの構成を示す図である。 合成部による俯瞰画像の修正の様子を示す。 表示制御装置による俯瞰画像の生成手順を示したフローチャートである。

［表示制御装置の概要］
図１及び図２は、本実施形態の表示制御装置の概要を説明するための図である。図１は、表示制御装置が搭載された連節バス１００を示す。図１（ａ）には、連節バス１００の側面を示し、図１（ｂ）には、連節バス１００の上面を示す。

連節バス１００は、互いに連結された前側車両１００ａと後側車両１００ｂとを備える。図１の例では、前側車両１００ａは、後側車両１００ｂよりも長い。連節バス１００の上部には、連節バス１００の周囲の路面を撮影するためのカメラ１ａ〜カメラ１ｆが設置されている。カメラ１ａ〜カメラ１ｆは、本実施形態では、魚眼カメラである。図１（ａ）の破線は、カメラ１ａ〜カメラ１ｆにより撮影可能な撮影範囲を示し、図１（ｂ）の破線は、カメラ１ａ〜カメラ１ｆの路面における撮影範囲を示す。

カメラ１ａ〜カメラ１ｆの撮影範囲は、図１（ｂ）に示すように、それぞれ隣接する撮影範囲と一部重複している。カメラ１ａ〜カメラ１ｆの撮影範囲全体では、連節バス１００の周囲をほぼ網羅している。カメラ１ａ〜カメラ１ｆの撮影画像の画質は、撮影範囲の中央付近において比較的高く、撮影範囲の周縁部において比較的低い。

図２は、連節バス１００に搭載された表示制御装置が連節バス１００の表示部に表示させる俯瞰画像の例を示す。俯瞰画像は、カメラ１ａ〜カメラ１ｆの撮影画像を合成した画像であり、連節バス１００を上方から俯瞰したように連節バス１００の周囲を示す。

図２（ａ）は、前側車両１００ａと後側車両１００ｂとの連節角度が０°であるときの俯瞰画像を示す。連節角度が０°であるとは、前側車両１００ａと後側車両１００ｂとが一直線上の同じ向きであることを意味する。俯瞰画像の表示エリアＡ１〜表示エリアＡ６は、それぞれカメラ１ａ〜カメラ１ｆにより撮影された撮影画像に対応する部分である。表示エリアＡ１〜表示エリアＡ６の境界は、カメラ１ａ〜カメラ１ｆの撮影画像を切れ目なく合成されるように定められる。俯瞰画像は、前側車両１００ａの上面を模式的に示すシンボルＳ１と、後側車両１００ｂの上面をその向きが分かるように模式的に示すシンボルＳ２とを含む。図２（ａ）は、停車中の連節バス１００に複数の乗客Ｐが昇降する様子を示している。右下の数字「０°」は、連節角度を示す。

図２（ｂ）は、前側車両１００ａと後側車両１００ｂとの連節角度が１１°であるときの俯瞰画像を示す。連節角度が１１°であるとは、前側車両１００ａ（シンボルＳ１として表記）の向きを基準として後側車両１００ｂ（シンボルＳ２として表記）が左回りに１１°回転した状態であることを示す。図２（ｂ）は、連節バス１００がカーブを旋回している状態を示している。

表示エリアＡ３、Ａ４及びＡ６は、図１（ｂ）の後側車両１００ｂに設置されたカメラ１ｃ、１ｄ及び１ｆにより撮影された後側撮影画像に対応する部分である。連節バス１００では、走行中に連節角度が変動するので、前側車両１００ａに対して、後側車両１００ｂに設置されたカメラ１ｃ、１ｄ及び１ｆの相対的な位置及び向きが変化する。

そこで、連節バス１００の表示制御装置では、走行中に連節角度が変動した場合に、図２（ａ）及び図２（ｂ）に示すように、俯瞰画像の表示エリアＡ３、Ａ４及びＡ６の周囲の境界を移動させる。このような構成により、表示制御装置は、図１（ｂ）の前側車両１００ａに設置されたカメラ１ａ、１ｂ及び１ｅにより撮影された前側撮影画像に対応する表示エリアＡ１、Ａ２及びＡ５と、後側撮影画像に対応する表示エリアＡ３、Ａ４及びＡ６との境界において画像が途切れたり重複したりすることを抑制している。

連節バス１００の表示制御装置は、図２（ａ）及び図２（ｂ）の左下に示すように、連節角度を示す文字又は記号を俯瞰画像に含める。連節バス１００では、運転席から後側車両１００ｂまでの距離が大きいので、運転者が視認により連節角度を確認することは比較的難しい。表示制御装置は、連節角度を示す文字等を含む俯瞰画像を表示させるので、運転者は、連節バス１００の連節角度を容易に把握することができる。したがって、表示制御装置は、連節バス１００の操作性を向上させることができる。

［連節バスの構成］
図３は、連節バス１００の構成を示す図である。連節バス１００は、方向センサ２ａ、方向センサ２ｂ、カメラ１ａ〜カメラ１ｆ、表示部３及び表示制御装置４を備える。

方向センサ２ａ及び方向センサ２ｂは、それぞれ前側車両１００ａ及び後側車両１００ｂの向きを測定する。表示部３は、俯瞰画像を表示するためのディスプレイである。

表示制御装置４は、記憶部４１及び制御部４２を備える。記憶部４１は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成される。記憶部４１は、制御部４２を機能させるための各種プログラムや各種データを記憶する。

制御部４２は、例えばＥＣＵ（Electronic Control Unit）である。制御部４２は、記憶部４１に記憶されている各種プログラムを実行することにより、検知部４２１、特定部４２２、合成部４２３及び表示制御部４２４として機能する。

検知部４２１は、連節バス１００の周囲の移動体を検知する。例えば、検知部４２１は、連節バス１００が停車している間、カメラ１ａ〜１ｆが撮影した撮影画像を所定時間ごとに監視し、撮影画像に変化があった場合にこの変化の位置に移動体が存在するものとして検知する。検知部４２１は、移動体を検知するための機械学習の学習済みモデルに撮影画像を読み込ませ、移動体の位置を出力させることにより実現されてもよい。

特定部４２２は、前側車両１００ａと後側車両１００ｂとの間の連節角度を特定する。例えば、特定部４２２は、方向センサ２ａが測定した前側車両１００ａの向きと、方向センサ２ｂが測定した後側車両１００ｂの向きとがなす角度を連節角度として特定する。また、特定部４２２は、前側車両１００ａと後側車両１００ｂとの連節部において連節角度を測定する角度センサの測定結果を取得することによって連節角度を特定してもよい。

［俯瞰画像の生成］
合成部４２３は、前側車両１００ａの周囲の路面を撮影した前側撮影画像と、後側車両１００ｂの周囲の路面を撮影した後側撮影画像とをカメラ１ａ〜カメラ１ｆから取得する。合成部４２３は、取得した前側撮影画像及び後側撮影画像を合成して、連節バス１００を俯瞰する俯瞰画像を生成する。合成部４２３は、この俯瞰画像に連節角度を示す文字又は記号を含める。

前側車両１００ａの向きと後側車両１００ｂの向きとが一致していない状態では、合成部４２３が前側撮影画像と後側撮影画像とをそのまま合成すると、これらの撮影画像の境界において不整合が生じる。例えば、路面に引かれたラインが表示エリアの境界において折れ曲がったようにみえることがある。そこで、合成部４２３は、連節角度に応じて、後側撮影画像を回転させ、前側撮影画像及び後側撮影画像の向きを一致させる。

その後、合成部４２３は、俯瞰画像において前側撮影画像に対応する部分と回転後の後側撮影画像に対応する部分との境界を決定する。図１（ｂ）に示すように、前側撮影画像の撮影範囲と、後側撮影画像の撮影範囲とは一部重複している。カメラ１ａ〜カメラ１ｆが魚眼レンズである場合、撮影範囲の中央付近の画質は、周縁部の画質に比べて高い。このため、合成部４２３は、前側撮影画像及び後側撮影画像が重複する部分において画質がより高い撮影画像が俯瞰画像に反映され、画質がより低い撮影画像が俯瞰画像に反映されないように表示エリアの境界を決定する。

［車内の表示］
合成部４２３は、図２に示すように、前側車両１００ａ及び後側車両１００ｂの上面を模式的に示すシンボルＳ１及びＳ２を含む俯瞰画像を生成する。合成部４２３は、前側撮影画像と、後側撮影画像とに加えて、車内を撮影した車内撮影画像を合成して俯瞰画像を生成してもよい。例えば、車内撮影画像は、前側車両１００ａ及び後側車両１００ｂにそれぞれ設置された車内撮影用のカメラにより撮影される。このような構成により、運転者は、連節バス１００の車内及び車外の様子を同時に確認することができる。なお、車内撮影画像は、昇降用のドア付近のみ撮影したものであってもよい。また、車内撮影用のカメラにより車内を撮影する場合には、本発明は、連節バスに限定されず、一つの車両からなるバスであってもよい。

［移動体の表示］
また、合成部４２３は、検知部４２１が検知した移動体を他の部分に比べて高い倍率で表示する俯瞰画像を生成してもよい。例えば、合成部４２３は、俯瞰画像において移動体を含む表示エリアを他の表示エリアに比べて高い倍率で表示する。また、合成部４２３は、俯瞰画像において移動体を含む表示エリアを他の表示エリアと異なる色で表示してもよい。このような構成により、合成部４２３は、運転者が連節バス１００の周囲の移動体を見落とすことを抑制することができる。

［ラインに基づく俯瞰画像の修正］
合成部４２３は、前側撮影画像に写っているラインと、後側撮影画像に写っているラインとが俯瞰画像において途切れなく連結されるように、前側撮影画像と後側撮影画像とを合成してもよい。図４は、合成部４２３による俯瞰画像の修正の様子を示す。図４（ａ）は、修正前の俯瞰画像を示す。図４（ａ）に示す俯瞰画像では、連節バス１００の左側の路面に引かれているラインが表示エリアＡ２と表示エリアＡ３との境界において途切れている。また、連節バス１００の右側の路面に引かれているラインが表示エリアＡ５と表示エリアＡ６との境界において途切れている。

合成部４２３は、俯瞰画像の生成後に前側撮影画像に写っているラインと、後側撮影画像に写っているラインとが俯瞰画像において途切れなく連結されているか否かを判定する。図４（ａ）の例では、合成部４２３は、連節バス１００の左側の路面に引かれているラインが途切れていると判定し、連節バス１００の右側の路面に引かれているラインも途切れていると判定する。

合成部４２３は、２つのラインがいずれも途切れなく連結されるように、後側撮影画像に対応する表示エリアＡ３、Ａ４及びＡ６を回転させ、これらの表示エリアＡ３、Ａ４及びＡ６の境界を移動させる。図４（ｂ）は、合成部４２３による修正後の俯瞰画像を示す。修正後の俯瞰画像では、連節バス１００の左右の路面に引かれているラインがいずれも途切れなく連結されている。

合成部４２３は、連節バス１００の出荷前に俯瞰画像の生成のための各種設定の調整のためにラインに基づく俯瞰画像の修正を行ってもよく、連節バス１００の走行中に生成した俯瞰画像の修正を適宜行ってもよい。また、合成部４２３は、連節バス１００の変速機において後進ギヤが接続されている場合に、ラインに基づく俯瞰画像の修正を行ってもよい。このような構成により、合成部４２３は、俯瞰画像において２つの車両の向きの違いに起因する不整合が生じることを精度よく抑制することができる。表示制御部４２４は、合成部４２３が生成した俯瞰画像を表示部３に表示させる。

［俯瞰画像の生成手順］
図５は、表示制御装置４による俯瞰画像の生成手順を示したフローチャートである。この処理手順は、例えば、制御部４２の操作受付部（不図示）が、運転者から俯瞰画像の表示を指示する操作を受け付けたときに開始する。

まず、特定部４２２は、前側車両１００ａと後側車両１００ｂとの間の連節角度を特定する（Ｓ１０１）。次に、合成部４２３は、前側車両１００ａの周囲の路面を撮影した前側撮影画像と、後側車両１００ｂの周囲の路面を撮影した後側撮影画像とをカメラ１ａ〜カメラ１ｆから取得する（Ｓ１０２）。合成部４２３は、取得した前側撮影画像及び後側撮影画像を合成して、連節バス１００を俯瞰する俯瞰画像を生成する（Ｓ１０３）。合成部４２３は、この俯瞰画像に連節角度を示す文字又は記号を含める。表示制御部４２４は、合成部４２３が生成した俯瞰画像を表示部３に表示させ（Ｓ１０４）、処理を終了する。

本実施形態によれば、表示制御装置４は、連節角度を示す文字又は記号を含む俯瞰画像を表示するので、運転者は、連節バス１００の連節角度を容易に確認することができる。したがって、表示制御装置４は、連節バス１００の操作性を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１ａ カメラ
１ｂ カメラ
１ｃ カメラ
１ｄ カメラ
１ｅ カメラ
１ｆ カメラ
３ 表示部
４ 表示制御装置
４１ 記憶部
４２ 制御部
１００ 連節バス
１００ａ 前側車両
１００ｂ 後側車両
４２１ 検知部
４２２ 特定部
４２３ 合成部
４２４ 表示制御部

Claims (6)

1. 前側車両と、後側車両とを連結させた連節バスにおける、前記前側車両と前記後側車両との間の連節角度を特定する特定部と、
   前記前側車両の周囲の路面を撮影した前側撮影画像と、前記後側車両の周囲の路面を撮影した後側撮影画像とを合成して、前記連節バスを俯瞰し、且つ、前記連節角度を示す文字又は記号を含む俯瞰画像を生成する合成部と、
   前記俯瞰画像を表示部に表示させる表示制御部と、
   を備える、表示制御装置。
2. 前記合成部は、前記連節角度に応じて、前記俯瞰画像において前記前側撮影画像に対応する部分と前記後側撮影画像に対応する部分との境界を決定する、請求項１に記載の表示制御装置。
3. 前記合成部は、前記前側撮影画像及び前記後側撮影画像が重複する部分において画質がより高い撮影画像が前記俯瞰画像に反映されるように前記境界を決定する、請求項２に記載の表示制御装置。
4. 移動体を検知する検知部をさらに備え、
   前記合成部は、前記検知部が検知した前記移動体を他の部分に比べて高い倍率で表示する前記俯瞰画像を生成する、請求項１から３のいずれか一項に記載の表示制御装置。
5. 前記合成部は、前記前側撮影画像と、前記後側撮影画像と、車内を撮影した車内撮影画像とを合成して前記俯瞰画像を生成する、請求項１から４のいずれか一項に記載の表示制御装置。
6. 前記合成部は、前記前側撮影画像に写っているラインと、前記後側撮影画像に写っているラインとが前記俯瞰画像において途切れなく連結されるように、前記前側撮影画像と前記後側撮影画像とを合成する、請求項１から５のいずれか一項に記載の表示制御装置。

Images