JP2019191853A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像を適切に処理することの可能な画像処理装置及び画像処理方法を提供する。【解決手段】車両Ｔの側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、所定の領域を含む第２の領域を撮像して得られる第２の画像を取得する画像取得部２０と、第１の画像に含まれる所定の領域に対応する所定の画像に第１の透過度を設定し、第２の画像に含まれる所定の領域に対応する所定の画像に第２の透過度を設定する透過度設定部２１と、第１の透過度及び第２の透過度を適用して第１の画像及び第２の画像を連続した画像として合成する合成部２２とを有する。【選択図】図３

Description

本発明は、車両の側部に位置する所定の領域を撮像して得られる画像に基づいて画像処理を行う画像処理装置及び画像処理方法に関するものである。

このような画像処理装置としては、例えば特許文献１に開示された技術がある。この特許文献１では、鉄道車両の側面に複数のカメラが設置されており、車両の外側を撮像範囲とし、列車が駅に停車中にホーム上の人物を撮像し、撮影したカメラの映像を俯瞰変換し、運転席のモニタにパノラマ表示している。

特開２０１６−２２００１１号公報

しかしながら、上述の特許文献１に開示された技術では、複数のカメラで画像をつなぎ合わせる際に、このつなぎ目に映った人物等が消失する可能性があった。

そこで、本発明は、画像を適切に処理することの可能な画像処理装置及び画像処理方法を提供することを目的としている。

前記目的を達成するために、本発明の画像処理装置は、車両の側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、所定の領域を含む第２の領域を撮像して得られる第２の画像を取得する画像取得部と、第１の画像に含まれる所定の領域に対応する所定の画像に第１の透過度を設定し、第２の画像に含まれる所定の領域に対応する所定の画像に第２の透過度を設定する透過度設定部と、透過度設定部により設定された第１の透過度及び第２の透過度を適用して第１の画像及び第２の画像を連続した画像として合成する合成部とを有することを特徴とする。

このように構成された本発明の画像処理装置では、透過度設定部により設定された第１の透過度及び第２の透過度を適用して、合成部が第１の画像及び第２の画像を連続した画像として合成する。

このようにすることで、第１の画像及び第２の画像を合成処理する作業において画像を適切に処理することが可能となる。

本発明の実施の形態である画像処理装置に用いられる撮像部の配置位置の概要を示す図である。 実施の形態である画像処理装置及びその周辺機器を示すブロック図である。 実施の形態である画像処理装置の概略構成を示す機能ブロック図である。 実施の形態に用いられる撮像部から出力される画像の一例と実際の人物の状態との関係を示す図である。 人物の位置と実施の形態に用いられる撮像部から出力される画像の一例との関係を示す図である。 人物の位置と実施の形態である画像処理装置から出力される画像の一例との関係を示す図である。 実施の形態である画像処理装置から出力される画像の一例を示す図である。 プラットホームの形状が異なる場合に撮像部から得られる画像の例を示す図である。 実施の形態である画像処理装置による、基準画像に基づいた画像の加工手順の一例を説明するための図である。 人物の位置と実施の形態である画像処理装置から出力されるアイコン画像が重畳された画像の一例との関係を示す図である。 実施の形態である画像処理装置による、撮像部から取得した画像にアイコン画像を重畳させる手順の一例を説明するための図である。 実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。 実施の形態である画像処理装置の動作の他の例を説明するためのフローチャートである。

以下、この発明の実施の形態を図面に基づいて説明する。図３は、本発明の実施の形態である画像処理装置の概略構成を示す機能ブロック図である。

本実施の形態である画像処理装置１は、一例として図１、２に示すように、鉄道車両Ｔの側部に設けられた検知部である撮像部Ｃから取得した画像を画像処理して表示部Ｍに画像処理後の画像を表示させるものである。

撮像部Ｃは、本実施の形態においてはカメラ等、その前方にある被写体を撮像してこの被写体に関する画像を出力するものであり、一例として図１（ａ）に示すように、鉄道車両Ｔの側面上部に複数個（図１に示す例では１車両Ｔ毎にその一側面に２個）配置されている。各々の撮像部Ｃは、図１（ｂ）に示すように、車両Ｔの側面から下方にかつ外方に（図１（ｂ）において右下方に）延びる撮像範囲Ａを有し、この撮像範囲Ａ内に存在する被写体（人物、プラットホームなど）を撮像して得られた画像を出力する。

図１（ａ）に示すように、隣り合う撮像部Ｃの撮像範囲Ａの一部は重複範囲ＡＤを有するように設定されており、これにより、一編成全体でみると、車両Ｔの編成の側部に位置する領域全体をカバーする撮像範囲Ａが設定されていることになる。

なお、図示の関係で車両Ｔの一側面に設けられた撮像部Ｃのみ図示しているが、実際には、車両Ｔの他方の側面にも同様に撮像部Ｃが設けられている。但し、後述するように、画像処理装置１が、停車した状態におけるプラットホーム上の人物等が撮像された画像の画像処理を行うのであれば、車両Ｔの一方の側面に設けられた撮像部Ｃからの画像について画像処理を行えば足りるので、この一方の側面、より詳細にはプラットホームに対向する側面に設けられた撮像部Ｃのみ動作させれば足りる。

図２に示すように、各々の撮像部Ｃから出力される画像は全て本実施の形態である画像処理装置１に入力され、この画像処理装置１により画像処理された画像が表示部Ｍに出力される。

表示部Ｍは液晶ディスプレイ、ＣＲＴ等その種類や表示形式に限定はない。表示部Ｍの設置場所にも特段の限定はなく、車両Ｔの運転手、車掌、駅員、運行管理者といった鉄道係員が視認可能な位置に設けられればよい。従って、表示部Ｍは車両Ｔの運転席または車掌席において運転手または車掌が視認可能な位置や、プラットホームの上方であって同様に運転手または車掌が視認可能な位置、さらには、駅の駅員控室や運行管理部において駅員や運行管理者が視認可能な位置などに設けられる。加えて、表示部Ｍは、例えば運転手や車掌が所持するスマートフォン、タブレット等の情報処理装置であってもよい。

図２に示す例では、４両編成の車両Ｔのそれぞれに２個の撮像部Ｃが設けられており、従って、８個の撮像部Ｃからの画像が画像処理装置１に入力され、画像処理装置１によって画像処理された画像が表示部Ｍに表示される。表示部Ｍは４つの表示画面Ｐを有し、各々の表示画面Ｐは１両の車両Ｔに設けられた撮像部Ｃから取得された画像を画像処理したものに対応している。なお、図２に示す撮像部Ａで撮影された画像を撮影画像Ａ、撮像部Ｂで撮影された画像を撮影画像Ｂ、撮像部Ｃで撮影された画像を撮影画像Ｃ、撮像部Ｄで撮影された画像を撮影画像Ｄ、撮像部Ｅで撮影された画像を撮影画像Ｅ、撮像部Ｆで撮影された画像を撮影画像Ｆ、撮像部Ｇで撮影された画像を撮影画像Ｇ、撮像部Ｈで撮影された画像を撮影画像Ｈとする。

画像処理装置１は車両Ｔ内に設けられ、制御部１０と記憶部１１とを有する。制御部１０はＣＰＵ等の演算素子を備える。記憶部１１内に格納されている図略の制御用プログラムが画像処理装置１の起動時に実行され、この制御用プログラムに基づいて、制御部１０は記憶部１１等を含む画像処理装置１全体の制御を行うとともに、画像取得部２０と、透過度設定部２１と、合成部２２と、算出部２３としての機能を実行する。これら各機能部の動作については後述する。

記憶部１１はハードディスクドライブ等の大容量記憶媒体、及びＲＯＭ、ＲＡＭ等の半導体記憶媒体を備える。この記憶部１１には上述の制御用プログラムが格納されているとともに、制御部１０の制御動作時に必要とされる各種データが一時的に格納される。また、この記憶部１１にはマップデータ１１ａ、アイコンデータ１１ｂ及びプラットホームデータ１１ｃが格納されている。

マップデータ１１ａは、車両Ｔが停車する駅のプラットホームに関するデータであり、より詳細には、撮像部Ｃが撮像する画像が図１（ｂ）に示すような画像である（車両Ｔの側面上部から図１（ｂ）において右下方に延びる撮像範囲Ａにある被写体を撮像した画像）ので、これを、プラットホームを平面視した俯瞰画像に変換するためのデータである。従って、このマップデータ１１ａは、プラットホームの形状（凹凸、傾斜、プラットホームの車両Ｔ側の端部形状（長さ、曲率など））を反映したものである。マップデータ１１ａは、撮像部Ｃから取得した画像の画素単位の変換位置を示すデータを含む。

アイコンデータ１１ｂは、後述する制御部１０の合成部２２により、人物等の移動体が撮像された領域に重畳して合成されるアイコン画像を表示部Ｍに表示するためのデータである。このアイコンデータ１１ｂは、車両Ｔから移動体までの距離、及び移動体の属性（移動体の種別など）などに応じて複数種類記憶部１１に格納されている。

プラットホームデータ１１ｃは、マップデータ１１ａと同様に、車両Ｔが停車する駅のプラットホームに関するデータであり、より詳細には、車両Ｔの停止位置に関する基準画像のデータである。合成部２２は、マップデータ１１ａ及びプラットホームデータ１１ｃを用いて、撮像部Ｃから取得した画像を俯瞰画像に変換する。

なお、制御部１０と記憶部１１とがいずれも車両Ｔ内に設けられる必要はなく、これら制御部１０と記憶部１１との間を通信回線で結び、記憶部１１のみ車両Ｔの外に設置された外部サーバにより構成してもよい。

次に、制御部１０に構成される各機能部の説明をする。

画像取得部２０は、車両Ｔの側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、所定の領域を含む第２の領域を撮像して得られる第２の画像を取得する。

より詳細には、画像取得部２０は、車両Ｔの側部に設けられた撮像部Ｃが撮像した画像を取得する。ここで、図１及び図２に示すように、本実施の形態の撮像部Ｃのうち隣り合う一対の撮像部Ｃ（例えば、図２における撮像部Ａと撮像部Ｂ）は重複した撮像範囲（例えば、図１における重複範囲ＡＤ）を有するので、この重複範囲ＡＤに対応する重複領域が上述の所定の領域に相当し、この重複範囲ＡＤを共有する一対の撮像部Ｃ（例えば、図２における撮像部Ａと撮像部Ｂ）の撮像範囲Ａに対応する領域が第１の領域及び第２の領域に相当する。そして、これら一対の撮像部Ｃから取得した画像が第１の画像（例えば、図２における撮影画像Ａ）及び第２の画像（例えば、図２における撮影画像Ｂ）に相当する。

透過度設定部２１は、第１の画像に含まれる所定の領域に対応する所定の画像に第１の透過度を設定し、第２の画像に含まれる所定の領域に対応する所定の画像に第２の透過度を設定する。

より詳細には、透過度設定部２１は、隣り合う一対の撮像部Ｃから取得した第１の画像及び第２の画像に対して、これら一対の撮像部Ｃの撮像範囲Ａの重複範囲ＡＤに対応する重複領域（つまりは所定の領域）に対応する領域の画像にそれぞれ第１及び第２の透過度を設定する。

ここに、透過度とは、重複部分を有する一対の画像をこの重複部分で重複表示する際に、この重複部分に属する画素の画素値をどの程度透過させるかの値であり、言い換えれば、一対の画像をそれぞれ重なり合うレイヤ上に配置した際に、上方に位置するレイヤ上の画像をどの程度透過させるか（つまりは下方に位置するレイヤ上の画像をどの程度見せるか）を示す値である。透過度は０から１の実数値を持ち、０が完全透過（透明）、１が完全不透過（不透明）である。

透過度設定部２１による透過度設定動作は、いわゆるブレンド処理（アルファブレンディング）として公知の動作である。第１の透過度及び第２の透過度をどのように設定するかは、この所定の領域において撮像される被写体、特に移動体をどの程度視認させるかによって設定される。また、第１の透過度及び第２の透過度は所定の領域内で一定値に設定されてもよく、あるいは、所定の領域の座標値で定義される一次関数またはそれ以上の高次関数の関数値として定義されてもよい。

合成部２２は、透過度設定部２１により設定された第１の透過度及び第２の透過度を適用して第１の画像及び第２の画像を連続した画像として合成する。

より詳細には、合成部２２は、透過度設定部２１により設定された第１の透過度及び第２の透過度を適用して、隣り合う一対の撮像部Ｃから取得した第１の画像及び第２の画像について、所定の領域に対応する所定の画像に対してそれぞれ第１の透過度及び第２の透過度を適用し、この所定の領域においてブレンド処理を行った合成画像を生成する。

特に、本実施の形態の画像処理装置１では、車両Ｔの側部に設けられた撮像部Ｃは、隣り合う一対の撮像部Ｃにおいてその撮像範囲Ａに重複範囲ＡＤが設けられているので、図２に示す例では、合成部２２は一編成（つまり４両）分の一体となった合成画像を生成することも可能であるが、本実施の形態の画像処理装置１では、既に説明したように、表示部Ｍが４つの表示画面Ｐを有し、各々の表示画面Ｐは１両の車両Ｔに設けられた撮像部Ｃから取得された画像を画像合成したものとしている。当然、合成部２２がどのように合成画像を生成するかは任意である。

ここで、合成部２２は、検知部である撮像部Ｃにより移動体に関する情報が検知されたら、この情報に基づいて、連続した画像中の移動体と重畳する位置に所定のアイコン画像を合成する。

より詳細には、検知部である撮像部Ｃが移動体である人物等を撮像したら、合成部２２は第１の画像、第２の画像中における人物等の撮像位置を検出し、上述の手順により生成した合成画像中に、この人物等の撮像位置と重複する一に所定のアイコン画像を合成する。

ここに、検知部は撮像部Ｃに限定されず、車両の側部に位置する移動体に関する情報を検知できるものであれば限定はない。一例として、人物等の移動体の存在を検知する人感センサや、人物が所持するスマートフォン、タブレット等の通信機能を有する情報処理装置から発信される電波（移動体通信の電波でもよいし、いわゆる無線ＬＡＮの電波でもよい）を検出するセンサ等もここにいう検知部に含みうる。

また、移動体に関する情報とは、上述したように第１の画像、第２の画像中における移動体の撮像位置に関する情報であってもよいし、車両の側部に移動体が位置するか否かに関する情報であってもよい。

合成部２２は、検知部から移動体に関する情報を取得したら、この情報に基づいて連続した画像中の移動体と重畳する位置に所定のアイコン画像を合成する。このためには、合成部２２は、連続した画像、つまり、第１の画像と第２の画像とを合成した画像中における移動体の位置を検出することが好ましい。このような検出手法の一例としては、周知の画像認識手法が好適に挙げられる。画像認識は、検知部が撮像部Ｃであれば、移動体である人物等を撮像した画像中においてこの人物等の撮像位置を検出することにより行われる。画像認識手法自体は公知であるので、ここではこれ以上の詳細な説明を省略する。

算出部２３は、移動体に関する所定の値を算出する。ここに、所定の値は、車両から移動体までの距離、または移動体の属性を含むことが好ましい。そして、合成部２２は、連続した画像中の移動体と重畳する位置に、算出部２３により算出された所定の値に基づいた所定のアイコン画像を合成する。

より詳細には、算出部２３は、検知部により検知された移動体に関する情報を用いて、この移動体に関する所定の値、好ましくは車両Ｔから移動体までの距離、または移動体の属性を算出する。

検知部が撮像部Ｃであれば、算出部２３は、上述の合成部２２と同様に、画像認識手法を用いて、連続した画像中における移動体の撮像位置を検知し、この撮像位置に基づいて車両Ｔから移動体までの距離、または移動体の属性を算出する。

そして、合成部２２は、算出部２３により算出された車両Ｔから移動体までの距離、または移動体の属性に基づいた所定のアイコン画像を合成する。一例として、車両Ｔから移動体までの距離が、移動体が車両Ｔに接近しすぎて当接、接触する可能性があると考えられる距離（例えば１．５ｍ以内）である場合、この距離よりも離れた距離にある移動体とは異なる色のアイコン画像を合成する。

加えて、算出部２３が画像認識の結果、移動体に関する情報として移動体の移動速度まで算出するならば、車両Ｔから移動体までの距離と移動体の移動速度とに基づいて所定のアイコン画像を合成してもよい。

ここで、移動体の属性とは、検知部により検知されると考えられる移動体の種類（例えば人物、ベビーカー、車椅子など）を含む。好ましくは、合成部２２は、検知部により検知されると考えられる移動体の種類を予め用意しておき、この種類毎にテンプレートとなる参照画像を用意しておき、この参照画像と連続した画像とのパターンマッチングを行い、移動体の撮像位置及び移動体の種類をともに検出して、種類毎に異なるアイコン画像を合成する。このため、合成部２２がパターンマッチングを行う場合は、アイコンデータ１１ｂとしてこの移動体の種類毎に異なるアイコン画像が用意され、記憶部１１に格納される。

これら各機能部の動作についてはさらに詳細に後述する。

次に、図４〜図１１を参照して、本実施の形態である画像処理装置１の動作の一例について説明する。

図１（ｂ）に示すように、撮像部Ｃは車両Ｔの側部上方の一点から車両Ｔの側方を見下ろすように撮像しているので、表示部Ｍを視認する運転手等が違和感なく人物等の移動物を視認し、また、合成部２２により各種画像処理を適切に行うために、撮像部Ｃの撮像画像を、プラットホームを平面視した俯瞰画像に変換する必要がある。

ここで考慮すべきは、車両Ｔが停車する駅のプラットホームは駅毎にその高さ、平面形状、さらには傾斜が異なりうるので、撮像部Ｃが撮像した画像を俯瞰画像に変換する際の具体的なパラメータ等も駅毎に用意する必要がある。撮像部Ｃとプラットホームの高さ等がアンマッチな状態で単純に合成部２２により連続した画像を形成すると、異なる撮像部Ｃで撮像した画像同士のつなぎ目部分がずれて表示されてしまう。

一例として、図８（ａ）に示す例では、プラットホームが直線状であるので、撮像部Ｃによる撮像範囲Ａの重複範囲ＡＤも単純なものとなる。従って、プラットホームの高さ等を考慮して俯瞰画像を生成すれば、複数（図示例では一対）の撮像部Ｃの撮像画像のつなぎ目をスムースに合成して連続した画像を生成することができる。一方、図８（ｂ）に示すように、プラットホームが所定の曲率を有する、言い換えれば平面視した状態で曲がっている場合、撮像部Ｃによる撮像範囲Ａの重複範囲ＡＤはプラットホームの曲率に依存して変形される。従って、プラットホームの高さ等を考慮して俯瞰画像を生成しても、一対の撮像部Ｃの撮像画像のつなぎ目がずれてしまう。

そこで、本実施の形態である画像処理装置１では、合成部２２が記憶部１１内のマップデータ１１ａを用いて、プラットホームの高さ、形状、傾斜を考慮した上で一様な俯瞰画像を生成している。これにより、複数の撮像部Ｃで撮像した画像のつなぎ目部分がずれて表示されることを防ぐことができる。

加えて、プラットホームを平面視した際の曲率が場所によって異なる、一例として、編成の先頭部のみ曲がっているようなプラットホームであると、車両Ｔの停止位置によって車両Ｔの連結部分のなす角度が変化してしまう可能性がある。

そこで、プラットホーム及び車両Ｔに停止位置目標となる目印を用意しておき、合成部２２は、撮像部Ｃが撮像した画像とプラットホームデータ１１ｃである基準画像とを比較することで停止位置目標と実際の停止位置とのずれを算出し、車両Ｔの実際の停止位置を考慮して連続した画像を生成している。これによって、車両Ｔの連結部の角度が停止位置によって変化することによる、複数の撮像部Ｃで撮像した画像のつなぎ目部分がずれて表示されることを防ぐことができる。

なお、停止位置目標は編成の先頭車両及びこれに対応するプラットホームの箇所にのみ設ければ足りる。

合成部２２による俯瞰画像の生成手法の一例について、図９を参照して説明する。

まず、各駅のプラットホーム上に図９（ａ）に示すような図形を白線で描き、この図形を撮像部Ｃにより撮像する。撮像部Ｃにより図形を撮像して得られる画像の一例を図９（ｂ）に示す。撮像部Ｃが車両Ｔの側部上方から見下ろすように撮像しているので、撮像して得られた画像は図中上方に消失点を有する遠近法に従ったものになる。

合成部２２は、画像認識手法等に基づいて、図９（ｃ）に示すように、撮像して得られた画像から白線の交点ＣＰを抽出（検出）し、この交点ＣＰの画素の位置（座標値）を求める。一例として、撮像画像中の交点ＣＰの画素の位置は図９（ｄ）のハッチングで示す位置であるとする。

次いで、合成部２２は、画像処理装置１の出力である表示部Ｍの表示画面において、図９（ａ）に示すような図形が表示される、つまり俯瞰画像が表示されるように、撮像画像中の交点ＣＰの画素の位置を表示部Ｍの表示画面の画素に変換するための変換式（変換テーブル）を求める。目標となる表示部Ｍの表示画面上での交点ＣＰの画素の位置を図９（ｅ）に示す。この変換式を求めるパラメータとしては、表示部の表示画面の画素数（好ましくは縦×横）、撮像部Ｃの撮像画像の画素数（好ましくは縦×横）、白線図形の大きさがある。この変換式は、記憶部１１内のマップデータ１１ａとして格納される。

そして、合成部２２は、図９（ｅ）で求めた変換式に基づいて、図９（ｂ）に示す撮像部Ｃの撮像画像を変換し、図９（ｆ）に示すような俯瞰画像を生成する。

図９に示す変換式算出動作は、車両Ｔが駅から発車する時点よりやや早く完了していることが好ましい。これは、本実施の形態における画像処理装置１からの出力を表示部Ｍの表示画面で運転手等が視認する目的に、車両Ｔの発車時点で車両Ｔのドアの閉止動作を行ってよいかどうか、つまり、プラットホーム上の乗客が全て車両Ｔに乗車したかどうかを確認することが含まれ、加えて、ドアの閉止後に車両Ｔを発車させる際に、プラットホーム上の乗客が車両Ｔに接触するかどうかを確認することが含まれるからである。

加えて、駅毎にプラットホーム形状は異なるので、合成部２２は、次の駅への移動中にこの次の駅に用いるための変換式を算出することが好ましい。このように、駅毎に合成部２２が都度変換式を算出することにより、全ての駅に対応する変換式を事前に算出して記憶部１１に格納しておく必要がないため、記憶部１１の記憶容量が小さくて足りる。

なお、このように次の駅への移動中に変換式を算出した場合、駅に停止した後に、合成部２２は、停止位置目標の画像認識結果を用いてこの変換式を修正する。あるいは、次の駅への移動中には変換式を算出せず、車両Ｔが停止した後に、合成部２２が停止位置目標の画像認識結果を用いて変換式を算出してもよい。

次に、上述した手順により俯瞰画像を得た後の、合成部２２による連続した画像の生成手順について説明する。

図４（ａ）は、車両Ｔの側部、例えばプラットホーム上に立っている移動体である人物Ｈを肉眼で見た状態を示す図であり、図４（ｂ）は、図４（ａ）に示す状態の人物Ｈを撮像部Ｃにより撮像して得られた俯瞰画像を示す図である。撮像された画像中における人物Ｈの画像ＨＰは、撮像画像の周辺部（図４（ｂ）において左右端部）に行くに従って放射状に歪んでいる。

図４（ｂ）に示すように、俯瞰画像に変換した後でも移動体（人物Ｈ）の画像ＨＰが歪むことを前提として、図５（ａ）に示すように、人物Ｈが地点Ａから地点Ｂまで時間ｔ０〜ｔ４の時間をかけて移動した際に、隣り合う一対の撮像部Ｃにより撮像された画像に基づく俯瞰画像を単純につなぎ合わせた場合の画像を図５（ｂ）に示す。なお、図５（ｂ）に示す例では、隣り合う一対の撮像部Ｃの撮像範囲Ａに重複範囲ＡＤを設けていない。

時刻ｔ０及びｔ４における人物Ｈの画像ＨＰに歪みは生じていないが、人物Ｈが撮像画像の端部、つまりつなぎ目部分に近付くに従って画像ＨＰに歪みが生じ、ちょうどつなぎ目部分（時刻ｔ２）において人物Ｈの画像ＨＰが撮像画像から消失する現象が生じる。従って、時刻ｔ２の位置にいる人物等の移動体を運転手等が視認できない可能性が生じる。

そこで、本実施の形態である画像処理装置１では、既に説明したように、第１の画像に含まれる所定の領域、つまり撮像範囲Ａの重複範囲ＡＤに対応する領域に第１の透過度を透過度設定部２１が設定するとともに、第２の画像に含まれる所定の領域に第２の透過度を設定し、これら第１及び第２の透過度を適用して合成部２２が第１の画像及び第２の画像を連続した画像として合成している。合成部２２による連続した画像の合成手順について以下詳細に説明する。

図６（ａ）では、図５（ａ）と同様に、人物Ｈが地点Ａから地点Ｂまで時間ｔ０〜ｔ４の時間をかけて移動する様子を示している。このとき、隣り合う一対の撮像部Ｃにより撮像された画像に基づく連続した画像（つまり合成部２２により合成された画像）の一例を図６（ｂ）に示す。図６（ｂ）に示す例では、既に説明したように、隣り合う一対の撮像部Ｃの撮像範囲Ａには重複範囲ＡＤが設けられている。

図６（ｂ）において、撮像範囲Ａの重複範囲ＡＤに相当する領域を隣り合う一対の撮像部Ｃが撮像して得られた一対の画像について、その透過度を、例えば、重複範囲ＡＤの図中左端（図６（ｂ）において直線Ｌ１で示す）においては図中左側の撮像部Ｃからの画像の透過度を１００％、右側の撮像部Ｃからの画像の透過度を０％とし、重複範囲ＡＤの図中右端（図６（ｂ）において直線Ｌ２で示す）においては図中左側の撮像部Ｃからの画像の透過度を０％、右側の撮像部Ｃからの画像の透過度を１００％に設定し、その中間においては図中左端から右端に進むに従って図中左側の撮像部Ｃからの画像の透過度を漸減し、図中右側の撮像部Ｃからの画像の透過度を漸増して設定して合成した結果を、図６（ｂ）において合成部画像ＭＰとして示す。図６（ｂ）に示すように、合成部画像ＭＰにおいて人物が消失する現象を排除できていることがわかる。

合成部２２による実際の合成画像、すなわち連続した画像の生成結果を図７に示す。つなぎ目部分（図中楕円で示した部分）において移動体が消失していないことが確認できる。

ここで、図６（ｂ）に示す例では図中左側の撮像部Ｃからの画像を上位レイヤに、図中右側の撮像部Ｃからの画像を下位レイヤにして重畳していたが、進行方向前方に位置する撮像部Ｃからの画像を上位レイヤにして重畳してもよい。

さらに合成部２２は、図６（ｂ）に示すような合成画像に対して、画像認識手法を用いてこの合成画像中に撮像された移動体である人物を認識し、合成画像中における人物に重畳する位置にアイコン画像を合成する。一例として、図１０（ａ）に示すように人物Ｈが移動するならば、その移動に伴って、合成部２２は合成画像、つまり連続した画像中にアイコン画像ＩＰを図１０（ｂ）に示すように表示する。

加えて、算出部２３は移動体に関する所定の値、一例として車両Ｔから移動体である人物Ｈまでの距離、移動体の属性、さらには移動体の移動速度を算出し、合成部２２は算出部２３の算出結果に基づいて所定のアイコン画像を合成する。図１１を参照してこの手順を説明する。なお、図１１に示す例では、単一の撮像部Ｃからの画像を用いているが、隣り合う一対の撮像部Ｃからの画像に基づく合成画像を用いてもよいことは言うまでもない。

図１１（ａ）に示すような画像が撮像部Ｃにより撮像されると、合成部２２はこの画像に対して画像認識手法を用いて人物Ｈの画像認識を行う。合成部２２による画像認識の結果を図１１（ｂ）に示す。画像認識により人物Ｈが撮像されているとされた領域を枠Ｒで示す。

算出部２３は、図１１（ｂ）に示す画像認識結果に基づいて、車両Ｔから人物Ｈまでの距離及び人物Ｈの移動速度を算出する。そして、合成部２２は、この算出部２３の算出結果に基づいて、図１１（ｃ）に示すように、車両Ｔから人物Ｈまでの距離に応じた異なるアイコン画像ＩＰを合成する。図１１（ｃ）に示す例では、車両Ｔ側のプラットホームの端部からの距離が１．５ｍ以内であるか否か（その境界を図中に直線Ｌ３で示している）に応じて、合成部２２が異なるアイコン画像ＩＰを合成している。

あるいは、合成部２２は、画像認識結果に基づいて人物Ｈの輪郭を抽出し、この輪郭を有する形状のアイコン画像ＩＰを合成してもよい。

次に、本実施の形態である画像処理装置１の動作の一例の概要を図１２のフローチャートを参照して説明する。

まず、ステップＳ１では、画像処理装置１が次に到着する駅を確認する。次に到着する駅に関する情報は、例えば車両Ｔの運行管理システム等から取得すればよい。

ステップＳ２では、合成部２２が記憶部１１内のマップデータ１１ａのうち、ステップＳ１で確認した次の駅に対応するデータを読み込み、ステップＳ３では、合成部２２が変換式を算出する。

ステップＳ４では、車両Ｔが駅に停止するのを画像処理装置１が待機し、車両Ｔが駅に停止したことが判定されたら（ステップＳ４においてＹＥＳ）プログラムはステップＳ５に移行する。なお、車両Ｔが駅に停止したかどうかの情報は、例えば車両Ｔの運行管理システム等から取得すればよい。

ステップＳ５では、撮像部Ｃ等の検出部から画像取得部２０が画像を取得する。ステップＳ６では、ステップＳ３で算出した変換式に基づいて合成部２２が俯瞰画像を生成する。ステップＳ７では、透過度設定部２１が設定した透過度に基づいて、合成部２２が隣り合う一対の撮像部Ｃからの画像を用いた合成画像（連続した画像）を生成する。

ステップＳ８では、ステップＳ８において生成された合成画像に対して合成部２２が画像認識を行うことで、合成画像中の移動体（人物Ｈなど）の位置を検出する。ステップＳ９では、ステップＳ８で検出された移動体について、算出部２３が車両Ｔからの距離や移動体の属性を算出する。ステップＳ１０では、ステップＳ９において算出部２３により算出された距離等に基づいて、合成部２２がアイコン画像ＩＰを合成画像に合成する。

そして、ステップＳ１１では、画像処理装置１がステップＳ１０で生成された画像を表示部Ｍの表示画面に表示する。

また、図１２に示す例では、車両Ｔの駅への到着前に変換式を算出していたが（ステップＳ３）、図１３に示すように、車両Ｔの駅停止を検出してから（ステップＳ２２）、合成部２２が車両Ｔの実際の停止位置を検出し（ステップＳ２３）、この実際の停止位置にも基づいて合成部２２が変換式作成動作を行ってもよい（ステップＳ２４）。これ以外のステップについては、図１２のステップと同一であるので、説明を省略する。

以上のように構成された本実施の形態である画像処理装置１は、車両Ｔの側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、前記所定の領域を含む第２の領域を撮像して得られる第２の画像を取得する画像取得部２０と、第１の画像に含まれる所定の領域に対応する所定の画像に第１の透過度を設定し、第２の画像に含まれる所定の領域に対応する所定の画像に第２の透過度を設定する透過度設定部２１と、透過度設定部２１により設定された第１の透過度及び第２の透過度を適用して第１の画像及び第２の画像を連続した画像として合成する合成部２２とを有する。

従って、この所定の領域に移動体がある場合であっても、合成部２２による画像合成によって移動体が消失する現象を防ぐことができ、合成された画像を適切に処理することの可能な画像処理装置及び画像処理方法を提供することが可能となる。

ここで、本実施の形態である画像処理装置１は車両Ｔの側部に位置する移動体に関する情報を検知する検知部である撮像部Ｃを有し、合成部２２が、検知部により移動体に関する情報が検知されたら、この情報に基づいて、連続した画像中の移動体と重畳する位置に所定のアイコン画像を合成しているので、所定の領域にある移動体を運転手等が視認しやすくなる。

また、本実施の形態である画像処理装置１は移動体に関する所定の値を算出する算出部２３を有し、合成部２２が、連続した画像中の移動体と重畳する位置に、算出部により算出された所定の値に基づいた所定のアイコン画像を合成するので、移動体に関する所定の値、一例として車両から移動体までの距離、または移動体の属性に基づいて異なるアイコン画像を合成することができ、これにより、駆け込み乗車や接触の可能性がある移動体を運転手等に容易に識別させることができ、運転手等による識別をより容易にさせることができる。

さらに、本実施の形態である画像処理装置１は所定の基準データが格納された記憶部１１を有し、合成部２２が、基準データに基づいて第１の画像及び第２の画像の少なくとも一方を加工するので、車両Ｔの停止位置がずれても第１の画像及び第２の画像を適切に合成することができ、合成部２２による画像合成によって移動体が消失する現象をより効果的に防ぐことができる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

一例として、上述の実施の形態である画像処理装置１では、合成部２２が第１の透過度及び第２の透過度を設定する範囲を撮像部Ｃの重複範囲ＡＤの図６（ｂ）における図中左端Ｌ１及び図中右端Ｌ２を基準とした範囲としていたが、Ｌ１からＬ２までの範囲を指定するものであってもよい。

また、合成部２２が、所定の情報に基づいて撮像範囲Ａの重複範囲ＡＤに相当する領域を隣り合う一対の撮像部Ｃが撮像して得られた一対の画像について、これら画像の透過度の漸増・漸減の程度を変化させてもよい。例えば、既知の画像認識手法やセンサ等を用いて認識された移動体の移動方向に基づいて、透過度の漸増・漸減の程度を変化させてもよい。このような合成部２２による合成処理によって、人物等が消失する現象を排除でき、さらにより見やすい画像を合成することができる。

さらに、図６（ｂ）において、合成部２２が第１の透過度及び第２の透過度を設定する範囲を規定する位置として図中直線Ｌ１、Ｌ２を用いて説明したが、位置を規定する外縁を曲線で規定してもよい。また、第１及び第２の透過度を設定する範囲を規定する位置Ｌ１、Ｌ２は任意の位置に設定可能である。

さらに、上述の実施の形態である画像処理装置１では、車両Ｔが駅に停止した際にこの駅のプラットホーム上にいる人物Ｈ等の移動体を撮像していたが、例えば車両Ｔが駅と駅との間で緊急停止した場合のように、プラットホーム以外の場所で車両が停止した際にも用いることができる。

この際、マップデータ１１ａに、プラットホーム以外の場所に関するデータを予め用意しておくとよい。鉄道車両Ｔであるので、プラットホーム以外の場所はほぼ鉄道線路の路盤であるから、例えばバラスト路盤、コンクリート路盤といった典型的な路盤形状に基づくマップデータ１１ａを予め用意すれば足りる。

より好ましくは、画像処理装置１がＧＰＳ部等の車両Ｔの現在位置が取得可能な現在位置取得部を備え、マップデータ１１ａに、現在位置取得部が取得した現在位置に対応したレール形状に関するデータも用意しておくと、より精密な合成画像生成を行うことができる。

ここに、本実施形態は以下の技術思想を包含する。
（１）車両の側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、前記所定の領域を含む第２の領域を撮像して得られる第２の画像を取得する画像取得部と、前記第１の画像に含まれる前記所定の領域に対応する所定の画像に第１の透過度を設定し、前記第２の画像に含まれる前記所定の領域に対応する前記所定の画像に第２の透過度を設定する透過度設定部と、前記透過度設定部により設定された前記第１の透過度及び前記第２の透過度を適用して前記第１の画像及び前記第２の画像を連続した画像として合成する合成部とを有する画像処理装置。
（２）前記第１の画像及び前記第２の画像は、前記車両の側部に設けられた撮像部によりそれぞれ撮像される（１）に記載の画像処理装置。
（３）前記車両の側部に位置する移動体に関する情報を検知する検知部を有し、前記合成部は、前記検知部により前記移動体に関する前記情報が検知されたら、この情報に基づいて、前記連続した画像中の前記移動体と重畳する位置に所定のアイコン画像を合成する（１）または（２）に記載の画像処理装置。
（４）前記移動体に関する所定の値を算出する算出部を有し、前記合成部は、前記連続した画像中の前記移動体と重畳する位置に、前記算出部により算出された前記所定の値に基づいた所定のアイコン画像を合成する（３）に記載の画像処理装置。
（５）前記所定の値は、前記車両から前記移動体までの距離、または前記移動体の属性を含む（４）に記載の画像処理装置。
（６）所定の基準データが格納された記憶部を有し、前記合成部は、前記基準データに基づいて前記第１の画像及び前記第２の画像の少なくとも一方を加工する（１）〜（３）のいずれかに記載の画像処理装置。
（７）画像処理装置により実行される画像処理方法であって、車両の側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、前記所定の領域を含む第２の領域を撮像して得られる第２の画像を取得し、前記第１の画像に含まれる前記所定の領域に対応する所定の画像に第１の透過度を設定し、前記第２の画像に含まれる前記所定の領域に対応する前記所定の画像に第２の透過度を設定し、前記第１の透過度及び前記第２の透過度を適用して前記第１の画像及び前記第２の画像を連続した画像として合成する画像処理方法。
（８）回路を有する画像処理装置であって、この回路は、車両の側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、前記所定の領域を含む第２の領域を撮像して得られる第２の画像を取得し、前記第１の画像に含まれる前記所定の領域に対応する所定の画像に第１の透過度を設定し、前記第２の画像に含まれる前記所定の領域に対応する前記所定の画像に第２の透過度を設定し、前記第１の透過度及び前記第２の透過度を適用して前記第１の画像及び前記第２の画像を連続した画像として合成する画像処理装置。

Ｃ 撮像部
Ｍ 表示部
１ 画像処理装置
１０ 制御部
１１ 記憶部
１１ａ マップデータ
１１ｂ アイコンデータ
１１ｃ プラットホームデータ
２０ 画像取得部
２１ 透過度設定部
２２ 合成部
２３ 算出部

Claims (7)

1. 車両の側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、前記所定の領域を含む第２の領域を撮像して得られる第２の画像を取得する画像取得部と、
   前記第１の画像に含まれる前記所定の領域に対応する所定の画像に第１の透過度を設定し、前記第２の画像に含まれる前記所定の領域に対応する前記所定の画像に第２の透過度を設定する透過度設定部と、
   前記透過度設定部により設定された前記第１の透過度及び前記第２の透過度を適用して前記第１の画像及び前記第２の画像を連続した画像として合成する合成部と
   を有することを特徴とする画像処理装置。
2. 前記第１の画像及び前記第２の画像は、前記車両の側部に設けられた撮像部によりそれぞれ撮像されることを特徴とする請求項１に記載の画像処理装置。
3. 前記車両の側部に位置する移動体に関する情報を検知する検知部を有し、
   前記合成部は、前記検知部により前記移動体に関する前記情報が検知されたら、この情報に基づいて、前記連続した画像中の前記移動体と重畳する位置に所定のアイコン画像を合成する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記移動体に関する所定の値を算出する算出部を有し、
   前記合成部は、前記連続した画像中の前記移動体と重畳する位置に、前記算出部により算出された前記所定の値に基づいた所定のアイコン画像を合成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記所定の値は、前記車両から前記移動体までの距離、または前記移動体の属性を含むことを特徴とする請求項４に記載の画像処理装置。
6. 所定の基準データが格納された記憶部を有し、
   前記合成部は、前記基準データに基づいて前記第１の画像及び前記第２の画像の少なくとも一方を加工する
   ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
7. 画像処理装置により実行される画像処理方法であって、
   車両の側部に位置する所定の領域を含む第１の領域を撮像して得られる第１の画像、及び、前記所定の領域を含む第２の領域を撮像して得られる第２の画像を取得し、
   前記第１の画像に含まれる前記所定の領域に対応する所定の画像に第１の透過度を設定し、前記第２の画像に含まれる前記所定の領域に対応する前記所定の画像に第２の透過度を設定し、
   前記第１の透過度及び前記第２の透過度を適用して前記第１の画像及び前記第２の画像を連続した画像として合成する
   ことを特徴とする画像処理方法。