JP2018029229A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】表示される画像の視認性を向上する技術を提供する。
【解決手段】情報処理装置１３は、画像取得部２１と、画像処理部２３と、出力部２５と、を備える。画像取得部２１は、少なくとも１つの撮影装置１１ａ〜１１ｄにより撮影された撮影画像を取得する。画像処理部２３は、画像取得部２１により取得された１つ以上の上記撮影画像に基づく画像である少なくとも２つの表示画像と、少なくとも上記少なくとも２つの表示画像の間の領域において表示される境界画像と、を含む合成画像を生成する。出力部２５は、画像処理部２３により生成された合成画像を外部に出力する。また画像処理部２３は、合成画像に含まれる上記少なくとも２つの表示画像の有する所定の特徴量に応じて、境界画像の表示態様を設定する。
【選択図】図１

Description

本発明は、撮影した画像を表示する技術に関する。

１つの表示装置にて、異なる撮影範囲を撮影した複数の画像を同時に表示する場合、表示される画像同士の境界を明確にすることでユーザの視認性が向上する。例えば、特許文献１では、車両外部の明るさに応じて境界の色を変化させる技術が提案されている。

特開２００１−２３９８８２号公報

車両外部の明るさに応じて境界の色を変化させても、視認性が十分に向上しない場合があった。特に近年では、撮影した画像の視点を変更したり、撮影した画像の一部分のみを表示したりするなど、撮影された画像をそのまま表示しない場面も多く、上述した問題が顕著になっている。

本開示は、表示される画像の視認性を向上する技術を提供する。

本開示の第１の態様は、画像取得部（２１）と、画像処理部（２３）と、出力部（２５）と、を備える情報処理装置（１３）である。
画像取得部は、少なくとも１つの撮影装置（１１ａ〜１１ｄ）により撮影された撮影画像を取得するように構成されている。画像処理部は、上記画像取得部により取得された１つ以上の上記撮影画像に基づく画像である少なくとも２つの表示画像（１０２、１０３、１４２、１４３、１４４）と、少なくとも上記少なくとも２つの表示画像の間の領域において表示される境界画像（１０４、１２１、１３２、１４５、１４６）と、を含む合成画像（１０１、１３１、１４１）を生成するように構成されている。出力部は、上記画像処理部により生成された上記合成画像を外部に出力するように構成されている。

そして上記画像処理部は、上記合成画像に含まれる上記少なくとも２つの表示画像の有する所定の特徴量に応じて、上記境界画像の表示態様を設定する。
このような構成によれば、合成画像に含まれる複数の表示画像の境界を示す境界画像の表示態様が、表示画像に基づいて設定される。よって、表示画像を視認しやすい境界画像とすることで、ユーザによる表示画像の視認しやすさを向上させることができる。

本発明の第２の態様は、コンピュータに、画像取得機能（２１）と、画像処理機能（２３）と、出力機能（２５）と、を実現させるプログラムである。
画像取得機能は、少なくとも１つの撮影装置（１１ａ〜１１ｄ）により撮影された撮影画像を取得する。画像処理機能は、上記画像取得機能により取得された１つ以上の上記撮影画像に基づく画像である少なくとも２つの表示画像（１０２、１０３、１４２、１４３、１４４）と、少なくとも上記少なくとも２つの表示画像の間の領域において表示される境界画像（１０４、１２１、１３２、１４５、１４６）と、を含む合成画像（１０１、１３１、１４１）を生成する。出力機能は、上記画像処理機能により生成された上記合成画像を外部に出力する。また画像処理機能は、上記合成画像に含まれる上記少なくとも２つの表示画像の有する所定の特徴量に応じて、上記境界画像の表示態様を設定する。

このような構成であれば、コンピュータを、上記第１の態様の情報処理装置として機能させることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

表示システムの構成を示すブロック図である。 情報処理装置の構成を示すブロック図である。 合成画像の一例を示す図である。 特徴量を取得する領域を説明する図である。 特徴量を取得する領域を説明する図である。 境界領域の一例を示す図である。 表示態様の設定方法の一例を示す表である。 合成画像出力処理のフローチャートである。 合成画像の変形例を示す図である。 合成画像の変形例を示す図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．実施形態］
［１−１．構成］
図１に示す表示システム１は、車両に搭載して用いられるシステムであって、前カメラ１１ａ，後カメラ１１ｂ，左カメラ１１ｃ，右カメラ１１ｄの４つのカメラと、情報処理装置１３と、ディスプレイ１５と、を備える。以下、上述した各カメラ全てを指す場合に、単にカメラ１１と記載する場合がある。

カメラ１１は、車両に設けられた撮像装置であって、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。各カメラは所定の時間間隔（一例として１／１５ｓ）で車両周辺を撮影し、撮影した撮影画像を情報処理装置１３に出力する。前カメラ１１ａ，後カメラ１１ｂ，左カメラ１１ｃ，右カメラ１１ｄは、それぞれ、車両の前方、後方、左方、右方を撮影するように配置されている。カメラ１１が撮影装置の一例である。

情報処理装置１３は、図２に示されるように、ＣＰＵ１７と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１９）と、を有する周知のマイクロコンピュータを中心に構成される。情報処理装置１３の各種機能は、ＣＰＵ１７が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１９が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、情報処理装置１３を構成するマイクロコンピュータの数は１つでも複数でもよい。

情報処理装置１３は、ＣＰＵ１７がプログラムを実行することで実現される機能の構成として、図１に示すように、画像取得部２１と、画像処理部２３と、出力部２５と、を備える。情報処理装置１３を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

画像取得部２１は、カメラ１１により撮影された撮影画像を取得する。画像処理部２３は、後述する合成画像を生成する。出力部２５は、画像処理部２３により生成された合成画像を、ディスプレイ１５に出力する。

ディスプレイ１５は、画像を表示する液晶ディスプレイなどの表示装置であって、情報処理装置１３から入力される信号に従って、生成された合成画像を表示する。なお合成画像は画像取得部２１、画像処理部２３、及び出力部２５の外部に出力される構成であればよい。例えば合成画像を記憶可能な記憶領域を有する記憶装置に出力され、上述した記憶領域に記憶される構成であってもよい。

[１−２．合成画像]
画像処理部２３により生成される合成画像について説明する。
＜合成画像の概要＞
図３に示される合成画像１０１は、第１表示画像１０２と、第２表示画像１０３と、境界画像１０４と、を含む画像である。

第１表示画像１０２及び第２表示画像１０３は、画像取得部２１により取得された１つ以上の撮影画像に基づく視点の異なる画像である。以下では、第１表示画像１０２及び第２表示画像１０３を区別しないときに、それらを単に表示画像とも記載する。

第１表示画像１０２は、車両１０５の上方から見下ろす視点の画像であって、全てのカメラ１１の撮影画像を合成して生成する。なお車両１０５の姿はカメラ１１により撮影されないので、予め取得された画像と合成させる。

第２表示画像１０３は車両の後方視点の画像であって、後カメラ１１ｂにより撮影された撮像画像に基づいて生成される。
境界画像１０４は、上述した第１表示画像１０２及び第２表示画像１０３の間の領域において表示される画像であって、これら２つの表示画像の境界を明確にする画像である。

画像処理部２３は、合成画像１０１に含まれる２つの表示画像の有する特徴量に基づいて、２つの表示画像の境界が明確になるように境界画像１０４の表示態様を設定する。
＜特徴量＞
本実施形態における特徴量とは、表示画像が有する、言い換えると表示画像により示される画像の具体的な内容によって定まるパラメータであって、例えば、「明るさ」と「色彩」が該当する。以下では「明るさ」と「色彩」を特徴量として説明するが、これら以外のパラメータを特徴量として用いてもよい。

特徴量としての明るさは、例えば、輝度、又は輝度から算出されるパラメータを用いることができる。輝度の算出方法は特に限定されないが、例えば、表示画像におけるある画素のＲ，Ｇ，Ｂそれぞれのレベルに計数をつけて重み付けをして加算した値を用いることができる。もちろん、明るさを特定できるパラメータであればこれに限らず、様々なパラメータを用いることができる。

特徴量としての色彩は、例えば、Ｒ，Ｇ，Ｂのレベル、またはそれらから算出されるパラメータを用いることができる。なおＲ，Ｇ，Ｂに限らず、ＨＳＶの色空間で示されるパラメータを用いてもよい。例えば、色相、明度、彩度などを用いてもよい。

続いて、特徴量を取得する表示画像上の領域について説明する。表示画像の全体を対象として特徴量を取得する構成としてもよいが、例えば表示画像が明るさや色合いの大きく異なる部分を含んでいる場合には、境界画像が適切な表示態様にならない場合がある。そこで、特徴量を取得する対象となる表示画像上の領域である対象領域は、表示画像における所定の一部の領域とする構成とすることが考えられる。

表示画像における所定の一部の領域から特徴量を取得する場合は、その領域を、境界画像に隣接する領域とすることが考えられる。例えば、図４に示されるように、境界画像１０４の近傍であって境界画像１０４に隣接する近傍領域１１１から取得する方法と、境界画像１０４と隣接し、また画面の上下中央の領域である中央領域１１３から取得する方法と、が考えられる。中央領域１１３は、例えば表示画像が上下に並ぶ場合には、左右方向の中央とすることができる。

また、図５に示されるように、境界画像１０４に隣接した境界画像１０４の近傍の領域であって、境界画像１０４の長さ方向に分割された分割領域１１５ａ〜１１５ｄのように、複数に分割された領域それぞれにおいて特徴量を算出することも考えられる。なお、この場合には、分割領域ごとに、境界画像１０４における対応する境界画像要素１０４ａ〜１０４ｄを定めておき、算出された特徴量に基づいて、対応する境界画像要素が後述する表示態様の変化を行うように構成されていてもよい。

なお、第１表示画像１０２と第２表示画像１０３とで、異なる領域、方法にて特徴量を算出してもよい。
ところで、表示画像全体又は表示画像の一部から特徴量を取得する場合において、対象領域の画素それぞれについて特徴量を算出し、その平均値を算出することで特徴量を取得することが考えられる。また、対象領域の全ての画素について特徴量を算出せず、標本として設定された一部の画素の特徴量を取得してもよい。

また、平均値の算出するにあたっては、相加平均、相乗平均や加重平均など様々な平均値を用いることができる。平均値を用いず、代表として設定された画素の特徴量をそのまま用いてもよいし、平均を算出する以外の手法で対象領域の特徴量を算出してもよい。

また、複数の画素から取得した特徴量に基づいて対象領域の特徴量を算出する際に、位置に応じた重み付けを行ってもよい。例えば境界画像からの距離が近いほど重要度が高いので、重みのパラメータが大きくなるように設定することができる。そのように重み付けを考慮して特徴量を合算することで、表示画像の特徴量を、境界画像を設定するために用いる値として好適なものとすることができる。

＜境界画像の表示態様＞
境界画像は、算出された特徴量に応じてその形状や表示色を設定することができる。
境界画像の形状の例としては、例えば、図６に示される境界画像１２１のように、色が相違する複数の層を有する線や、境界画像の幅が異なる線、直線形状ではない形状の線、例えば波型にしたりすることができる。

境界画像の表示色の例としては、取得した特徴量に応じて表示画像との差異が明確になるような色に設定することが考えられるが、２つの表示画像それぞれに対応するように境界画像の中で色を変化させてもよい。具体的には、図６のように色の異なる層を組み合わせてもよいし、色を段階的に変化させた所謂グラデーションで表現してもよい。

境界画像の表示態様の設定方法を例示する。例えば、２つの表示画像がいずれも所定の閾値以上に明るい場合には境界画像の色を黒くし、いずれか一方が所定の閾値以上に明るくない場合には境界画像の色を黄色とすることが考えられる。また、２つの表示画像が何れも所定の閾値以上に明るい場合には境界画像の幅を相対的に細くし、いずれか一方が所定の閾値以上に明るくない場合には境界画像の幅を相対的に太くすることが考えられる。

具体的には、明るさのパラメータを、最も暗いものを０、最も明るいものを１００としてその間の範囲で特定するように構成されており、また閾値が５０である場合において、２つの表示画像における対象領域の明るさがいずれも５０以上であれば境界画像の色を黒くし、いずれか一方でも５０未満であれば境界画像の色を黄色とする。

なお、上述した「２つの表示画像がいずれも所定の閾値以上に明るい場合」を「いずれか一方が所定の閾値以上に明るい場合」とし、上述した「いずれか一方が所定の閾値以上に明るくない場合」を「いずれも所定の閾値以上明るくない場合」としてもよい。

また、表示色や形状は、２つの異なる設定に切り換えるのみでなく、複数の段階に設定される構成としたり、そのときの表示画像の特徴量に応じて滑らかに切り替わるように構成されたりしていてもよい。また、合成画像を視認する人の年齢を取得して、年齢に応じて表示の態様を変化させてもよい。

図７に、境界画像を設定する具体例を示す。また境界画像の設定ルールは、以下の方針とすることができる。
・境界画像が３層である場合、即ち２つの表示画像の間に３色存在する場合は、外側の層は明るさ・色ともに表示画像と近い明るさ・色として、内側の１層を逆の明るさ・色とすることで内側の１層を目立たせる。
・２つの表示画像の間で明るさの差が大きいときは、境界画像が目立たなくても別の画像であることを容易に認識できるので、特別なことはしない。ただし、２つの表示画像における境界画像を介して隣り合う領域の中に、相手側の表示画像と明るさや色の差が小さい部分があれば、差が小さい部分を優先して判定する。
・境界画像の表示色を徐々に変化させる場合は、表示画像と境界画像との隣接する部分の色相が反対になるように設定する。
・境界画像の表示色と明るさ、及び形態は組み合わせて変化させてもよい。
・表示画像の色は色相で、明るさは輝度で判定する。

なお、上述した表示態様及び表示態様の設定ルールは一例であって、表示画像同士の境界を明確にする機能を発揮できる範囲において様々な態様とすることができる。
［１−２．処理］
次に、情報処理装置１３のＣＰＵ１７が実行する合成画像出力処理について、図８のフローチャートを用いて説明する。

Ｓ１０では、ＣＰＵ１７は、カメラ１１から、車両の周辺を撮影した画像を取得する。
Ｓ２０では、ＣＰＵ１７は、Ｓ１０にて取得された画像を、最終的に出力される合成画像に含まれる画像の視点に変換する。このとき、各画像の輝度や色などを調整してもよい。このＳ２０にて生成される画像が、表示画像となる。

Ｓ３０では、ＣＰＵ１７は、Ｓ２０にて変換された表示画像それぞれにおいて、特徴量を取得する対象である対象領域から特徴量を抽出する。
Ｓ４０では、ＣＰＵ１７は、Ｓ３０にて抽出された特徴量に応じて、図３〜図７を用いて既に説明した手法を用いて、境界画像の表示形態を決定する。

Ｓ５０では、ＣＰＵ１７は、Ｓ４０にて表示形態が決定された特徴量と、Ｓ２０にて視点が変更された表示画像と、を合成し、合成画像を生成する。
Ｓ６０では、ＣＰＵ１７は、Ｓ５０にて生成された合成画像をディスプレイ１５に出力する。これにより、搭乗者はディスプレイ１５を見ることにより車両の周辺を容易に確認することができる。

以上説明したＳ１０〜Ｓ６０までの処理を短い時間間隔で繰り返すことで、搭乗者は、車両周辺の状況をほぼ即時に認識することができる。
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。

（１ａ）本実施形態の情報処理装置１３は、ディスプレイ１５に出力される合成画像に含まれる表示画像の特徴量に応じて、境界画像の具体的な表示態様を設定する。よって、搭乗者による表示画像の視認しやすさを顕著に向上させることができる。

（１ｂ）特徴量は、表示画像における境界画像に隣接する領域から取得することができる。また特徴量は、表示画像における位置に応じて重み付けを行うことができる。これらのように特徴量を取得することで、境界画像を表示画像の区切りを明確にするための適切な態様とすることができる。

（１ｃ）上述した特徴量は、明るさ、又は色彩を示すパラメータであるため、これらのパラメータに基づいて境界画像の表示態様を定めることで、搭乗者による合成画像の見易さを好適なものとすることができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、表示システム１として、車両の周辺を撮影した画像を当該車両に設置されたディスプレイ１５に表示させる構成を例示したが、車両の周辺の画像以外を表示するシステムであってもよい。また、車両以外において用いられるシステムであってもよい。

（２ｂ）上記実施形態では、合成画像において、境界画像が表示画像の間にのみ配置される構成を例示したが、少なくとも表示画像の間の領域において表示されていれば、それ以外の部分にも及んでいてもよい。例えば、図９に示される合成画像１３１のように、境界画像１３２が第１表示画像１０２、第２表示画像１０３の周囲を囲うように構成されていてもよい。

（２ｃ）上記実施形態では、合成画像に２つの表示画像が含まれる構成を例示したが、３つ以上の表示画像が含まれていてもよい。
図１０に示される合成画像１４１は、車両の後方を向く視点の画像である表示画像１４２と、車両の左側の後方を向く視点の画像である表示画像１４３と、車両の右側の後方を向く視点の画像である表示画像１４４と、を含む画像であり、表示画像１４２と表示画像１４３との間に境界画像１４５が表示され、表示画像１４２と表示画像１４４との間に境界画像１４６が表示される。

この合成画像１４１は、搭乗者が車両のルームミラー及びドアミラーによって視認できる車両周囲の範囲に対応する範囲を示すものである。境界画像１４５，境界画像１４６によって、表示画像間の区切りを明確にすることができる。

（２ｄ）上記実施形態では、４つのカメラ１１ａ〜１１ｄの撮影画像に基づいて表示画像を生成する構成を例示したが、カメラの数は特に限定されず、１つでもよいし、２つ以上でもよい。

また、表示画像の数は特に限定されない。表示画像はそれぞれ視点が異なる画像とすることができる。カメラの数が１つである場合には、撮影された１つの画像から、画像処理によって視点の異なる複数の画像を生成し、それらを表示画像とすることができる。

なお、ここでいう視点の異なる画像とは、表示画像を撮影対象とする仮想的なカメラの位置や角度が異なる画像であって、例えば、前後方向を向いて撮影された画像に対する俯瞰画像や、異なる撮影範囲が撮影された画像などが該当する。

（２ｅ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２ｆ）上述した情報処理装置１３の他、当該情報処理装置１３を構成要素とするシステム、当該情報処理装置１３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像合成方法など、種々の形態で本発明を実現することもできる。

１１ａ〜１１ｄ…カメラ、１３…情報処理装置、２１…画像取得部、２３…画像処理部、２５…出力部、１０１…合成画像、１０２…第１表示画像、１０３…第２表示画像、１０４…境界画像、１２１…境界画像、１３１…合成画像、１３２…境界画像、１４１…合成画像、１４２〜１４４…表示画像、１４５〜１４６…境界画像

Claims (7)

1. 少なくとも１つの撮影装置（１１ａ〜１１ｄ）により撮影された撮影画像を取得するように構成された画像取得部（２１）と、
   前記画像取得部により取得された１つ以上の前記撮影画像に基づく画像である少なくとも２つの表示画像（１０２、１０３、１４２、１４３、１４４）と、少なくとも前記少なくとも２つの表示画像の間の領域において表示される境界画像（１０４、１２１、１３２、１４５、１４６）と、を含む合成画像を生成するように構成された画像処理部（２３）と、
   前記画像処理部により生成された前記合成画像を外部に出力するように構成された出力部（２５）と、を備え、
   前記画像処理部は、前記合成画像に含まれる前記少なくとも２つの表示画像の有する所定の特徴量に応じて、前記境界画像の表示態様を設定する、情報処理装置（１３）。
2. 請求項１に記載の情報処理装置であって、
   前記画像処理部は、前記少なくとも２つの表示画像のうちの少なくともいずれか一方において、前記特徴量を前記表示画像における前記境界画像に隣接する一部の領域から取得する、情報処理装置。
3. 請求項１又は請求項２に記載の情報処理装置であって、
   前記画像処理部は、前記少なくとも２つの表示画像のうちの少なくともいずれか一方において、前記表示画像を分割した複数の領域ごとに前記特徴量を算出し、該算出された前記複数の領域ごとの特徴量を、前記複数の領域ごとに設定された重み付けを考慮して合算して当該表示画像の前記特徴量を算出する、情報処理装置。
4. 請求項１から請求項３のいずれかに記載の情報処理装置であって、
   前記特徴量は、少なくとも、明るさを示すパラメータ、及び、色彩を示すパラメータ、のうちのいずれか一方を含む、情報処理装置。
5. 請求項１から請求項４のいずれかに記載の情報処理装置であって、
   前記画像処理部は、前記特徴量に応じて、前記境界画像の形状及び表示色の少なくともいずれか一方の表示態様を設定する、情報処理装置。
6. 請求項１から請求項５のいずれかに記載の情報処理装置であって、
   前記撮影装置は、車両の周辺を撮影するものであり、
   当該情報処理装置は、車両に搭載して用いられる、情報処理装置。
7. コンピュータに、
   少なくとも１つの撮影装置（１１ａ〜１１ｄ）により撮影された撮影画像を取得するように構成された画像取得機能（２１）と、
   前記画像取得機能により取得された１つ以上の前記撮影画像に基づく画像である少なくとも２つの表示画像（１０２、１０３、１４２、１４３、１４４）と、少なくとも前記少なくとも２つの表示画像の間の領域において表示される境界画像（１０４、１２１、１３２、１４５、１４６）と、を含む合成画像を生成するように構成された画像処理機能（２３）と、
   前記画像処理機能により生成された前記合成画像を外部に出力するように構成された出力機能（２５）と、を実現させ、
   前記画像処理機能は、前記合成画像に含まれる前記少なくとも２つの表示画像の有する所定の特徴量に応じて、前記境界画像の表示態様を設定する、プログラム。