JP2017034638A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】利用者が利用しやすい画像情報を生成することができる画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置２０は、収集部４１と、解析部４３と、抽出部４４と、生成部４５とを備える。収集部４１は、複数の車両のそれぞれに設けられた撮像装置の撮像画像を収集する。解析部４３は、収集部４１によって収集された撮像画像を解析し、車両が走行した道路の道路構成物および当該道路の周辺構成物のうち少なくとも一方に対する視認性を判定する。抽出部４４は、収集部４１によって収集された撮像画像から視認性の条件を満たす画像を抽出する。生成部４５は、抽出部４４によって抽出された画像を組み合わせて画像情報を生成する。【選択図】図６

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、車両に設けられた撮像装置によって撮影された動画情報を車両に設けられたドライブレコーダからサーバに送信し、サーバで収集された動画情報に基づいて経路動画情報を生成する技術が提案されている（例えば、特許文献１参照）。

特開２０１３−０１６００４号公報

上記技術は、渋滞走行時の動画が表示されないように経路動画情報を生成することができるが、必ずしも利用者の要望に添った条件の経路動画情報が生成されるとは限られない。例えば、経路動画情報の利用者が地図メーカである場合、撮像画像に含まれる周辺車両によって信号や標識等などの道路構成物を認識できない場合がある。

本発明は、上記に鑑みてなされたものであって、利用者が利用しやすい画像情報を生成することができる画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決し、目的を達成するために、本発明は、画像処理装置において、複数の車両のそれぞれに設けられた撮像装置の撮像画像を収集する収集部と、前記収集部によって収集された前記撮像画像を解析し、前記車両が走行した道路の道路構成物および当該道路の周辺構成物のうち少なくとも一方に対する視認性を判定する解析部と、前記収集部によって収集された前記撮像画像から前記視認性の条件を満たす画像を抽出する抽出部と、前記抽出部によって抽出された画像を組み合わせて画像情報を生成する生成部と、を備えることを特徴とする。

本発明によれば、利用者が利用しやすい画像情報を生成することができる画像処理装置および画像処理方法を提供することができるという効果を奏する。

図１は、実施形態に係る画像処理方法を示す説明図である。 図２は、実施形態に係る画像提供システムの構成例を示す図である。 図３は、図２に示す車載装置の構成例を示す図である。 図４は、図３に示す撮像部の配置例を示す図である。 図５は、図３に示す記憶部に記憶される撮像情報の一例を示す図である。 図６は、図２に示す画像処理装置の構成例を示す図である。 図７は、条件入力画面の一例を示す図である。 図８は、視認性の条件を満たす画像が抽出される様子を示す図である。 図９は、抽出部によって行われる視認性の比較処理の説明図である。 図１０は、生成部による画像情報の生成方法の一例を示す図である。 図１１は、画像処理装置が実行する画像処理手順を示すフローチャートである。 図１２は、図１１のステップＳ５に示す画像情報生成処理の流れを示す図である。

以下に、本発明にかかる画像処理装置および画像処理方法の実施形態を図面に基づいて詳細に説明する。なお、かかる実施形態によりこの発明が限定されるものではない。

［１．画像処理方法］
図１は、本発明の実施形態に係る画像処理方法を示す説明図であり、かかる画像処理方法は、例えば、複数の車両にそれぞれ設けられる車載装置と画像処理装置とを含む画像提供システムによって実行される。車載装置と画像処理装置とは、例えば、ネットワークを介して接続される。

図１に示す例では、画像処理装置は、区間Ｘの道路を走行する複数の車両Ａ、Ｂにそれぞれ設けられた車載装置から画像情報を収集する。かかる画像情報には、複数の車両Ａ、Ｂにそれぞれ設けられた撮像装置によって撮像された画像である撮像画像が含まれる。

画像処理装置は、複数の車載装置から収集した撮像画像を解析し、車載装置が設けられた車両Ａ、Ｂが走行した区間Ｘにおける判定対象物の視認性を判定する。判定対象物は、例えば、区間Ｘの道路構成物や周辺構成物である。

道路構成物は、道路の構成物であり、例えば、道路、道路に設けられた標識や信号などである。また、周辺構成物は、道路の周辺の構成物であり、例えば、店舗、マンション、住宅、公共施設（学校、警察、消防署、公園など）、病院、体育館、寺院などである。

画像処理装置は、複数の車載装置から収集した撮像画像から視認性の条件を満たす画像を抽出する。例えば、視認性の条件が、視認性が高いものを優先して抽出することである場合、画像処理装置は、例えば、車両Ａ、Ｂの撮像画像の視認性を比較し、区間Ｘ内の複数の位置それぞれに対応する撮像位置毎に車両Ａ、Ｂの撮像画像のうち視認性が高い方の画像を抽出する。例えば、画像処理装置は、所定距離毎に車両Ａ、Ｂの撮像画像の視認性を比較し、所定距離毎に視認性が高い方の画像を抽出する。

画像処理装置は、視認性の条件に基づいて抽出した画像を組み合わせた画像情報を生成する。かかる画像情報により、例えば、道路構成物や周辺構成物の視認性が高い画像を確認することができる。そのため、例えば、利用者が地図メーカの従業員である場合、地図を作成するための道路構成物や周辺構成物を容易に抽出可能な画像情報を提供することができる。

画像情報は、例えば、撮像位置や撮像時間に従って配列して生成することができる。例えば、画像処理装置は、視認性の条件に基づいて抽出した所定距離毎の画像を撮像位置の順（例えば、撮像位置が区間Ｘの起点および終点の一方から他方に向かう順）に配列して区間Ｘの画像情報を生成することができる。

なお、画像情報は、静止画によって構成してもよく、また、動画によって構成してもよい。また、視認性の条件は、視認性が高いものを優先して抽出することに限定されず、例えば、視認性が低いものを優先して抽出することもできる。道路構成物の視認性を確保する責務を持つ自治体等の道路管理者にとっては有用となる場合もあるからである。

また、画像情報は、区間に関する画像情報に限定されず、領域の画像情報などであってもよい。以下、画像提供システムについてさらに詳細に説明する。

［２．画像提供システム１］
図２は、本発明の実施形態に係る画像提供システム１の構成例を示す図である。図２に示すように、画像提供システム１は、複数の車載装置１０と、画像処理装置２０と、端末装置３０とを備える。

これら車載装置１０、画像処理装置２０および端末装置３０は、通信ネットワーク４０を介して通信可能に接続される。なお、通信ネットワーク４０は、例えば、無線通信網やデータ通信網を含む。

複数の車載装置１０は、それぞれ異なる車両に搭載される。各車載装置１０は、車両に設置された撮像装置の撮像画像を含む撮像情報を通信ネットワーク４０経由で画像処理装置２０に送信する。画像処理装置２０は、車載装置１０から収集した撮像情報に基づいて、画像情報を生成する。なお、車載装置１０において、撮像情報を記憶する記憶手段を着脱自在に構成することもでき、この場合、画像処理装置２０は、かかる記憶手段から撮像情報を収集することもできる。

端末装置３０は、画像処理装置２０に対して、例えば、所望の区間または領域を指定した画像情報要求を画像処理装置２０に送信し、画像処理装置２０から画像情報要求に応じた画像情報を取得することができる。以下、車載装置１０および画像処理装置２０について詳細に説明する。

［３．車載装置１０］
図３は、車載装置１０の構成例を示す図である。図３に示すように、車載装置１０は、通信部１１と、位置検出部１２と、制御部１３と、記憶部１４とを備え、例えば、ドライブレコーダの機能を有する。かかる車載装置１０が搭載された車両には、撮像装置２が設置される。

通信部１１は、通信インタフェースであり、通信ネットワーク４０に接続される。かかる通信部１１は、通信ネットワーク４０を介して画像処理装置２０との間で情報の送受信を行うことができる。

位置検出部１２は、ＧＰＳ（Global Positioning System）アンテナとＧＰＳレシーバとを備える。ＧＰＳアンテナは、複数のＧＰＳ衛星から出力される信号を受信する。ＧＰＳレシーバは、ＧＰＳアンテナによって受信された信号に基づいて車載装置１０が搭載される車両の位置（例えば、緯度経度）を検出する。

制御部１３は、時計部１５と、取得部１６と、送信部１７とを備える。時計部１５は、現時刻の情報を出力する。現時刻の情報は、例えば、西暦、年月日、時、分、秒の情報を含む。時計部１５は、たとえば、ＧＰＳ衛星から出力される信号に基づいて、時刻の情報を取得することができ、また、時刻を計時する計時手段を備える構成であってもよい。

取得部１６は、車両の位置の情報を位置検出部１２から取得し、現時刻の情報を時計部１５から取得し、撮像装置２によって撮像された画像である撮像画像の情報を撮像装置２から取得する。

撮像装置２は、前方撮像部２ａと、後方撮像部２ｂと、右方撮像部２ｃと、左方撮像部２ｄとを備える。撮像部２ａ〜２ｄは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した車両周辺の画像（以下、撮像画像と記載する）を、車載装置１０に出力する。

図４は、撮像部２ａ〜２ｄの配置例を示す図である。図４に示すように、前方撮像部２ａは、車両の前方を撮像方向として、車両の前方に配置され、後方撮像部２ｂは、車両の後方を撮像方向として、車両の後方に配置される。また、右方撮像部２ｃは、車両の右方を撮像方向として、車両の右方に配置され、左方撮像部２ｄは、車両の左方を撮像方向として、車両の左方に配置される。なお、撮像装置２の撮像部は、図４に示す例に限定されず、例えば、車両の天板上に配置された撮像部であってもよい。

取得部１６は、位置検出部１２によって検出された車両の位置の情報と、時計部１５から取得した現時刻の情報と、撮像装置２から取得した撮像画像の情報とを関連付けて記憶部１４に記憶する。

例えば、取得部１６は、撮像装置２の撮像画像が静止画である場合、例えば、１枚またはｎ枚（ｎは２以上の整数）の静止画毎に撮像日時、撮像位置、撮像方向、車種、車両の識別情報などの情報を関連付けた撮像情報を生成し、記憶部１４に記憶する。また、撮像装置２の撮像画像が動画である場合、取得部１６は、例えば、所定時間（例えば、０．５秒毎や１秒毎）の動画毎に撮像日時、撮像位置、撮像方向、車種、車両の識別情報などの情報を関連付けた撮像情報を生成し、記憶部１４に記憶する。

なお、取得部１６は、撮像部２ａ〜２ｄから取得した撮像画像を合成してパノラマ画像や３次元画像を生成することもでき、このように生成した画像を撮像画像に撮像日時、撮像位置、撮像方向、車速などの情報を関連付けた撮像情報を生成することもできる。

記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって構成される。かかる記憶部１４は、着脱自在に構成することもできる。

図５は、記憶部１４に記憶される撮像情報の一例を示す図である。図５に示すように、各撮像情報は、撮像画像、撮像日時、撮像位置、撮像方向、車種および識別情報の情報を関連付けた情報である。

撮像情報に含まれる撮像画像は、例えば、撮像装置２から取得した撮像画像が静止画の場合、１枚またはｎ枚の静止画のデータまたは所定時間に撮像された静止画のデータであり、撮像装置２から取得した撮像画像が動画である場合、所定時間に撮像された動画のデータである。なお、撮像情報に含まれる撮像画像は、例えば、所定距離毎の撮像画像であってもよい。

また、撮像情報に含まれる撮像日時は、時計部１５から取得した時刻であり、撮像情報の撮像位置は、位置検出部１２によって検出された車両の位置である。撮像情報に含まれる撮像方向は、撮像画像を出力した撮像部の撮像方向であり、例えば、前方撮像部２ａの場合、撮像方向は、車両の前方である。

撮像情報に含まれる車種および識別情報は、車載装置１０が搭載された車両の車種および識別情報（例えば、車両登録番号や車体番号）であり、記憶部１４に記憶された車種の情報および識別情報が取得部１６によって記憶部１４から取得され、撮像画像等に関連付けられる。

送信部１７は、記憶部１４に記憶された撮像情報を所定期間（例えば、３０分）毎に通信部１１から通信ネットワーク４０経由で画像処理装置２０に出力する。なお、送信部１７は、取得部１６が撮像情報を生成する毎に、生成された撮像情報を画像処理装置２０に出力することもできる。

なお、取得部１６は、車両に搭載されたナビゲーション装置から情報（例えば、車両が走行しているリンクのリンクＩＤ、現在位置の情報、天気の情報など）を取得し、撮像画像に関連付けて撮像情報を生成することもできる。リンクは、交差点などのノード間を結ぶ道路を意味し、リンクＩＤは、リンクの固有情報である。

［４．画像処理装置２０］
図６は、画像処理装置２０の構成例を示す図である。図６に示すように、画像処理装置２０は、通信部２１と、記憶部２２と、制御部２３と、入力部２４とを備える。

通信部２１は、通信インタフェースであり、通信ネットワーク４０に例えば無線通信によって接続される。かかる通信部２１は、通信ネットワーク４０を介して車載装置１０や端末装置３０との間で情報の送受信を行うことができる。

記憶部２２は、収集情報記憶領域３１と、条件記憶領域３２と、画面情報記憶領域３３とを備える。収集情報記憶領域３１は、制御部２３によって車載装置１０から収集された撮像情報が記憶される領域である。条件記憶領域３２は、視認性の条件などの情報が記憶される領域である。画面情報記憶領域３３は、端末装置３０へ提供される画面情報（条件選択画面のフォーム情報や地図情報）が記憶される領域である。

かかる記憶部２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって構成される。

制御部２３は、収集部４１と、要求受付部４２（受付部の一例）と、解析部４３と、抽出部４４と、生成部４５と、情報提供部４６とを備える。かかる制御部２３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。

かかるマイクロコンピュータのＣＰＵは、ＲＯＭに記憶されているプログラムを読み出して実行することにより、収集部４１、要求受付部４２、解析部４３、抽出部４４、生成部４５および情報提供部４６の機能を実現することができる。なお、収集部４１、要求受付部４２、解析部４３、抽出部４４、生成部４５および情報提供部４６は、それぞれ一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

［４．１．収集部４１］
収集部４１は、複数の車両のそれぞれに設けられた撮像装置２の撮像画像を収集する。例えば、収集部４１は、複数の車載装置１０から通信ネットワーク４０を介して通信部２１で取得される撮像情報を収集し、収集した撮像情報を記憶部２２の収集情報記憶領域３１に記憶する。かかる撮像情報は、上述したように、例えば、撮像画像、撮像日時、撮像位置、撮像方向、車種および車両の識別情報などの情報を含む。

［４．２．要求受付部４２］
要求受付部４２は、通信ネットワーク４０経由で通信部２１により取得される端末装置３０の要求を受け付ける。端末装置３０の要求には、例えば、画像要求が含まれ、かかる画像要求には、条件指定情報が含まれる。

要求受付部４２は、端末装置３０から画像要求を受け付けると、画像要求に含まれる条件指定情報を記憶部２２の条件記憶領域３２に記憶する。条件指定情報は、例えば、視認性の条件を指定する情報、画像種別を指定する情報、時間的範囲を指定する情報、地理的範囲を指定する情報などである。

図７は、端末装置３０の表示部（図示せず）によって表示される条件入力画面の一例を示す図である。図７に示す条件入力画面８０には、視認性条件の指定、画像種別の指定、時間的範囲の指定および地理的範囲の指定を行うための領域８１〜８４が設定される。

例えば、視認性条件の指定を行うための領域８１には、道路構成物に対する視認性条件と周辺構成物に対する視認性条件を選択するためのチェックボックスが配置される。端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して、道路構成物に対する視認性条件と周辺構成物に対する視認性条件をそれぞれ選択することができる。

図７に示す例では、視認性条件として、視認性が高いものを優先するという条件と視認性が平均的なものを選択するという条件のいずれか一方を選択することができるが、かかる条件に限定されない。例えば、視認性条件として、視認性が低いものを優先するという条件を選択することもでき、また、視認性の度合いを数値で入力して視認精度の度合いを選択することもできる。

また、画像種別の指定を行うための領域８２には、画像種別として、画像情報を構成する画像を動画とするのか静止画とするのかを選択することができる。端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して、画像種別を選択することができる。

なお、図示しないが、画像種別として、撮像方向（例えば、車両の後方、前方、右方、左方のいずれか）を選択するための領域を設けてもよく、また、画像種別として、画像の解像度、所定時間当たりの静止画の数、撮像装置２の設置位置の高さなどを選択するための領域を設けてもよい。

また、時間的範囲の指定を行うための領域８３には、撮像画像が撮像された時刻の範囲を指定するための入力枠８６が設定される。端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して、入力枠８６に時間的範囲を設定することができる。なお、領域８３には、図７に示す入力枠８６に代えて、今日、昨日、１週間以内、１ヶ月以内などの予め設定された範囲を選択するチェックボックスが設定されてもよい。

また、地理的範囲の指定を行うための領域８４には、撮像画像が撮像された位置（例えば、緯度経度）の範囲を指定するためのチェックボックス８７ａ〜８７ｃおよび地図８８が設定される。図７に示す例では、地理的範囲の指定として、「区間」、「領域」、「位置」のいずれか一つを選択することができる。

「区間」は、端末装置３０のユーザによる操作によって地図８８上に設定することができ、図７に示す例では、区間Ｘが設定されている。端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して地図上で始点Ｐ１と終点Ｐ２を指定することによって、区間Ｘを設定することができる。

また、「領域」は、端末装置３０のユーザによる操作によって地図８８上に設定することができ、図７に示す例では、領域ＡＲ１で指定される領域である。端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して地図８８上で領域ＡＲ１を指定することによって、領域ＡＲ１を設定することができる。また、「位置」は、地図８８上の１点の位置であり、端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して地図８８上で１点の位置（例えば、図７に示す位置Ｐｘ）を指定することができる。

図７に示す条件入力画面８０には、設定ボタン８５が設けられており、端末装置３０のユーザは、例えば、端末装置３０の入力部を操作して設定ボタン８５を操作することによって、領域８１〜８４において設定された情報を含む画像要求が端末装置３０から画像処理装置２０に通知される。

例えば、領域８１において設定された情報が視認性の条件を指定する情報として含まれ、領域８２において設定された情報が画像種別を指定する情報に含まれる。また、領域８３において設定された情報が時間的範囲を指定する情報に含まれ、領域８４において設定された情報が、地理的範囲を指定する情報に含まれる。

［４．３．解析部４３］
図６に戻って、制御部２３の説明を続ける。解析部４３は、収集部４１によって収集された撮像画像を解析し、車載装置１０が搭載された車両が走行する道路の道路構成物および周辺構成物のうち少なくとも一方に対する視認性を判定する。

かかる解析部４３は、例えば、要求受付部４２によって、画像要求が受け付けられた場合に、画像要求に含まれる情報に基づいて、収集情報記憶領域３１に記憶された撮像情報を抽出する。

例えば、解析部４３は、画像種別を指定する情報、時間的範囲を指定する情報および地理的範囲を指定する情報に基づいて、解析対象にする撮像情報を収集情報記憶領域３１から抽出する。解析部４３は、例えば、指定された画像種別の画像を有し、指定された時間的範囲に撮像日時が含まれ、かつ、指定された地理的範囲に撮像位置を含む撮像情報を解析対象として収集情報記憶領域３１から選択する。

解析部４３は、解析対象として選択した各撮像情報に含まれる撮像画像に対し、道路構成物の視認性および周辺構成物の視認性を判定する。道路構成物の視認性は、道路構成物がどのくらい視認しやすいかを示す指標であり、周辺構成物の視認性は、周辺構成物がどのくらい視認しやすいかを示す指標である。かかる指標は、例えば、道路構成物や周辺構成物の視認しやすさを数値化したものである。

解析部４３は、例えば、撮像画像内の道路の画像、車両（自動車、オートバイ、路面電車など）の画像、道路構成物の画像、周辺構成物の画像などを判定することができ、かかる判定結果に基づいて、道路構成物の視認性および周辺構成物の視認性を判定する。

例えば、解析部４３は撮像画像に含まれている他の車両（例えば、前方車両、対向車両、駐車車両など）の割合に基づき、道路構成物の視認性を判定することができる。また、解析部４３は、他の車両に加え、他の車両以外の障害物（自転車や歩行者）、撮像画像の明るさ、撮像画像を撮像した撮像装置２の設置位置の高さなどに基づいて、道路構成物の視認性を判定することもできる。なお、解析部４３は、例えば、撮像情報に含まれる車種に基づいて撮像装置２の設置位置の高さを判定することができる。

また、解析部４３は、例えば、道路周辺に歩行者や自転車などの障害物が存在する割合に基づいて、周辺構成物の視認性を判定することができる。さらに、解析部４３は、道路周辺に歩行者や自転車などの障害物が存在する割合に加え、周辺構成物の視認性を低下させる位置にあるその他の障害物（例えば、駐車車両）に基づいて、周辺構成物の視認性を判定することができる。また、解析部４３は、撮像画像の明るさ、および、撮像画像を撮像した撮像装置２の設置位置の高さを判定要素に加えて、周辺構成物の視認性を判定することができる。

なお、解析部４３は、画像要求に含まれる情報に基づいて、収集情報記憶領域３１に記憶された撮像情報を抽出し、視認性を判定するものとして説明したが、解析部４３は、収集情報記憶領域３１に記憶されるすべての撮像情報に対して視認性を判定することもできる。例えば、解析部４３は、収集情報記憶領域３１に新たに撮像情報が所定のデータ容量分記憶された場合に、新たな記憶された撮像情報に対して道路構成物の視認性および周辺構成物の視認性を判定することもできる。

［４．４．抽出部４４］
抽出部４４は、収集部４１によって収集された撮像画像から視認性の条件を含む抽出条件を満たす画像を抽出する。かかる抽出条件は、記憶部２２の条件記憶領域３２に記憶された条件指定情報によって特定される。

抽出部４４は、記憶部２２の条件記憶領域３２に記憶された条件指定情報を取得し、解析部４３の判定結果に基づき、条件指定情報に応じた条件を満たす画像を記憶部２２の収集情報記憶領域３１から抽出する。

条件指定情報には、上述したように、視認性の条件、画像種別、時間的範囲および地理的範囲を指定する条件が含まれており、抽出部４４は、これらの条件を満たす画像を記憶部２２から抽出する。

例えば、画像種別の条件が「動画」であり、時間的範囲が「１ヶ月以内」であり、地理的範囲が「区間Ｘ」であり、視認性の条件が道路構成物および周辺構成物の「視認性が高い」であるとする。この場合、抽出部４４は、撮像時間が１ヶ月以内であって、撮像位置が区間Ｘに含まれる動画の撮像画像のうち道路構成物および周辺構成物の視認性が高い部分の動画を抽出する。なお、抽出部４４は、撮像位置やリンクＩＤに基づいて、指定された区間や領域に撮像位置が含まれる撮像画像を抽出することができる。

図８は、区間Ｘに撮像位置が含まれる撮像画像のうち画像種別、時間的範囲および地理的範囲を満たす撮像画像Ａ〜Ｄから抽出部４４によって、視認性の条件を満たす画像が抽出される様子を示す図である。

図８に示す区間Ｘのうち、区間Ｘａ、Ｘｅでは、撮像画像Ａのうち区間Ｘａ、Ｘｅに撮像位置が含まれる画像が視認性の条件を満たし、区間Ｘｂでは、撮像画像Ｃのうち区間Ｘｂに撮像位置が含まれる画像が視認性の条件を満たすとする。また、区間Ｘｃでは、撮像画像Ｂのうち区間Ｘｃに撮像位置が含まれる画像が視認性の条件を満たし、区間Ｘｄでは、撮像画像Ｄのうち区間Ｘｄに撮像位置が含まれる画像が視認性の条件を満たすとする。

この場合、抽出部４４は、区間Ｘａ、Ｘｅでは、撮像画像Ａのうち区間Ｘａ、Ｘｅに撮像位置が含まれる画像を抽出し、区間Ｘｂでは、撮像画像Ｃのうち区間Ｘｂに撮像位置が含まれる画像を抽出する。また、区間Ｘｃでは、撮像画像Ｂのうち区間Ｘｃに撮像位置が含まれる画像を抽出し、区間Ｘｄでは、撮像画像Ｄのうち区間Ｘｄに撮像位置が含まれる画像を抽出する。

したがって、視認性の条件が、例えば、道路構成物および周辺構成物の視認性が高いものを優先して抽出することである場合、抽出部４４によって道路構成物および周辺構成物の視認性が高い画像が抽出される。

抽出部４４は、条件指定情報に基づいて、道路構成物および周辺構成物の一方のみを視認性の条件とすることができるため、条件に合致する画像を抽出しやすくなる。また、視認性の条件が、例えば、道路構成物および周辺構成物の視認性が平均的なものを優先することである場合、車両からみた平均的な視認性の画像を抽出することができる。

ここで、「視認性が高い」とする条件は、例えば、視認性の閾値以上である場合に満たされる。抽出部４４は、視認性の閾値以上である画像が複数ある場合、例えば、同一の車載装置１０の撮像画像を優先して抽出したり、撮像装置２の設置位置の高さが高い画像を優先して抽出したりすることができる。抽出部４４は、例えば、撮像情報に含まれる車種に基づいて撮像装置２の設置位置の高さを判定することができる。

また、「視認性が高い」とする条件は、例えば、視認性が最も高い場合に満たされるようにすることもできる。この場合、抽出部４４は、例えば、所定距離単位または撮像位置単位で視認性が最も高い画像を抽出する。図９は、抽出部４４によって行われる視認性の比較処理の説明図である。図９に示す例では、抽出部４４は、撮像画像Ａと撮像画像Ｂとを比較し、視認性が高い撮像画像Ａの画像を抽出している。なお、所定距離単位での比較の場合、撮像画像に含まれる複数フレームの平均的な視認性を比較対象とすることができる。

なお、解析部４３は、複数の撮像方向（例えば、車両の先方、後方、右方、左方）の撮像画像が撮像情報に含まれる場合、撮像方向毎に視認性を判定することができる。この場合、抽出部４４は、撮像方向毎に視認性の条件を満たす画像を抽出することができ、また、撮像画像の視認性の平均値（例えば、車両の先方、後方、右方、左方の撮像画像の視認性の平均値）が視認性の条件を満たす画像を抽出することもできる。

また、解析部４３は、例えば、撮像時間によって視認性を判定することもできる。例えば、街路樹が予め存在する位置の撮像画像であることを撮像位置で判定し、かかる撮像位置の撮像画像のうち、所定期間に撮像時間がある撮像画像は視認性が高いと判定することもできる。

例えば、街路樹は、夏に生い茂る場合が多く、このような場合、解析部４３は、例えば、撮像時間が冬に含まれる場合、視認性が高いと判定し、撮像時間が春または秋に含まれる場合、視認性が中程度と判定し、撮像時間が夏に含まれる場合、視認性が低いと判定することもできる。

［４．５．生成部４５］
図６に戻って、制御部２３の説明を続ける。生成部４５は、抽出部４４によって抽出された画像を組み合わせて画像情報を生成する。

生成部４５は、条件指定情報によって指定される地理的範囲が区間や領域である場合、抽出部４４によって抽出された画像を、画像の撮像位置に従って配列して画像情報を生成する。生成部４５は、例えば、図８に示すように抽出部４４によって区間Ｘａ〜Ｘｅの画像が抽出される場合、画像をＸａ、Ｘｂ、Ｘｃ、Ｘｄ、Ｘｅの順に配列して画像情報を生成する。

生成部４５は、抽出部４４によって抽出される区間Ｘａ〜Ｘｅの画像が動画である場合、例えば、動画を区間Ｘａ、Ｘｂ、Ｘｃ、Ｘｄ、Ｘｅの順に合成した動画の情報を画像情報として生成する。これにより、区間Ｘａ、Ｘｂ、Ｘｃ、Ｘｄ、Ｘｅの順に再生される画像情報が生成される。なお、画像の撮像位置に従って配列すればよく、生成部４５は、例えば、動画を区間Ｘｅ、Ｘｄ、Ｘｃ、Ｘｂ、Ｘａの順に合成した動画の情報を画像情報として生成することもできる。

また、抽出部４４によって抽出された画像が、図１０（ａ）に示すように、区間Ｘを所定距離で区分した区間Ｘ_１〜Ｘ_ｎのそれぞれの画像である場合、生成部４５は、区間Ｘ_１〜Ｘ_ｎ（ｎは、２以上の整数）の順または逆順で画像を配列して画像情報を生成する。図１０（ａ）は、生成部４５による画像情報の生成方法の一例を示す図である。

また、生成部４５は、条件指定情報によって指定される地理的範囲が１つの位置である場合、抽出部４４によって抽出された画像を、画像の撮像時間に従って配列して画像情報を生成することができる。

例えば、図７に示す条件入力画面８０の領域８４で位置Ｐｘを指定し、「位置」のチェックボックスを選択した場合、位置Ｐｘを撮像位置とした撮像画像から視認性の条件などの抽出条件を満たす画像が抽出部４４によって抽出される。生成部４５は、抽出部４４によって抽出された画像を、指定された時間的範囲内で最も古い順から最新のものにかけて順に再生されるように画像情報を生成する。なお、位置Ｐｘを指定した場合、生成部４５は、抽出部４４によって抽出された位置Ｐｘの画像を、静止画像として生成してもよい。

例えば、指定された時間的範囲が時間Ｔ_Ａ〜Ｔ_Ｂであり、抽出部４４によって抽出された画像の撮像時間が、図１０（ｂ）に示すように、古い順に時間Ｔ_１、Ｔ_２、・・・、Ｔ_ｍ（ｍは、３以上の整数）であるとする。この場合、生成部４５は、撮像時間が時間Ｔ_１、Ｔ_２、Ｔ_ｍの順に再生されるように、画像情報を生成する。図１０（ｂ）は、生成部４５による画像情報の生成方法の他の一例を示す図である。なお、位置Ｐｘを撮像位置とした撮像画像は、例えば、位置Ｐｘと厳密に同一位置の撮像画像でなくてもよく、位置Ｐｘから所定範囲（例えば、１ｍ）に撮像位置がある撮像画像であってもよい。

生成部４５は、抽出部４４によって抽出された画像が静止画である場合、画像の撮像位置または撮像時間が連続的に変化する順に再生されるように画像情報を生成する。例えば、生成部４５は、画像の撮像位置または撮像時間が連続的に変化する順に再生されるように画像を合成したり、画像の撮像位置に応じた識別情報（例えば、ファイル名）を画像に付したりすることで、画像情報を生成することもできる。

また、生成部４５は、例えば、専用または汎用のアプリケーションソフト（例えば、静止画ビューアや動画ビューア）によって撮像位置または撮像時間が連続的に変化する順に再生されるようにかかるアプリケーション用のデータ形式で画像情報を生成することもできる。

なお、撮像装置の取り付け位置は車両ごとに異なるため、異なる車両で撮像した動画や画像をつなぎ合わせると、そのつなぎ目で画像が不自然に切り替わる恐れがある。例えば、図８のように画像Ａから画像Ｃに切り替える場合、画像における道路上の白線位置が画像Ａと画像Ｃとで異なる場合は、そのつなぎ目が不自然になる。それを防止するには、画像認識を行いつなぎ目を合わせる補正を行うつなぎ目補正処理部を生成部４５に持たせることが望ましい。

［４．６．情報提供部４６］
図６に戻って、制御部２３の説明を続ける。情報提供部４６は、端末装置３０に対して各種の情報を提供する。

例えば、情報提供部４６は、記憶部２２の画面情報記憶領域３３に記憶された画面情報に基づいて条件入力画面８０（図７参照）の情報を生成し、端末装置３０に通信部２１から通信ネットワーク４０を介して送信する。これにより、端末装置３０の表示部に条件入力画面８０が表示され、端末装置３０のユーザは、取得したい画像情報の条件を設定することができる。

また、情報提供部４６は、端末装置３０からの画像要求に従って生成部４５によって生成された画像情報を端末装置３０に通信部２１から通信ネットワーク４０を介して送信する。これにより、端末装置３０のユーザは、画像要求に応じた画像情報を取得することができる。

例えば、画像要求によって指定された地理的範囲が「区間」（例えば、図７に示す区間Ｘ）や「領域」（例えば、図７に示す領域ＡＲ１）であり、視認性の条件が道路構成物および周辺構成物の「視認性が高い」であるとする。この場合、情報提供部４６は、画像要求に応じた画像情報として、画像要求で指定された区間や領域での撮像画像であって視認性が高い画像を組み合わせた画像情報を送信する。

これにより、端末装置３０のユーザは、例えば、指定した区間や領域の道路構成物および周辺構成物の視認性が高い撮像画像を確認することができる。そのため、例えば、端末装置３０のユーザが地図作成作業を行う場合、道路構成物および周辺構成物を容易に把握することができ、道路構成物および周辺構成物のデータベース化を容易に行うことができる。

また、画像要求によって指定された地理的範囲が「区間」や「領域」であり、視認性の条件が「視認性平均」であるとする。この場合、情報提供部４６は、画像要求に応じた画像情報として、画像要求で指定された区間や領域での撮像画像のうち視認性が平均である画像を組み合わせた画像情報を送信する。

これにより、端末装置３０のユーザは、指定した領域や区間において道路構成物および周辺構成物の視認性が平均である撮像画像を確認することができる。そのため、端末装置３０のユーザは、例えば、指定した領域や区間の平均的な混雑度合いを把握することができる。

また、画像要求によって指定された地理的範囲が「位置」（例えば、図７に示す位置Ｐｘ）である場合、情報提供部４６は、画像要求に応じた画像情報として、画像要求で指定された位置での撮像画像であって視認性の条件を満たす画像を組み合わせた画像情報を送信する。

これにより、端末装置３０のユーザは、特定の位置において定点観測されたような画像であってかつ視認性の条件を満たす画像を確認することができる。そのため、視認性の条件を例えば「視認性が悪い」とすることで、道路構成物および周辺構成物の視認性が低い撮像画像を確認することができ、これにより、端末装置３０のユーザは、障害物をより多く確認することができ、どのような障害物が存在するかを把握することが容易になる。

なお、上述した例では、端末装置３０からの画像要求に応じた画像情報を制御部２３が生成する例を説明したが、例えば、入力部２４から、視認性の条件、画像種別、時間的範囲および地理的範囲を指定する情報を入力することもできる。この場合、制御部２３は、入力部２４から入力された、視認性の条件、画像種別、時間的範囲および地理的範囲の条件に基づいて画像情報を生成することができる。

また、上述では、地理的範囲の条件として「領域」、「区間」、「位置」を例に挙げて説明したが、地理的範囲の条件として、「車両」を選択することができる。例えば、「車両」の識別情報により「車両」を選択することができる。

この場合、画像処理装置２０の要求受付部４２は、地理的範囲の条件として、「車両」が選択された画像要求を端末装置３０から取得し、記憶部２２の条件記憶領域３２に記憶することができる。

抽出部４４は、地理的範囲の条件として特定の車両（以下、指定車両と記載する）が指定されている場合、指定車両の識別情報を含む撮像情報を収集情報記憶領域３１から抽出する。抽出部４４は、特定の車両の識別情報を含む撮像情報から指定車両の走行履歴を判定する。抽出部４４は、例えば、撮像画像の撮像位置と撮像時間とに基づいて、指定車両の時刻毎の位置を走行履歴として判定することができる。

抽出部４４は、判定した指定車両の走行履歴に基づいて、指定車両の周辺に存在する車両の車載装置から送信される撮像情報を地理的範囲の条件を満たす撮像情報として扱う。例えば、走行履歴により特定される指定車両の時刻毎の位置から同時刻に指定車両の位置から所定範囲内に撮像位置がある撮像画像を地理的範囲の条件を満たすと判定し、かかる地理的範囲の条件を満たす撮像画像のうちその他の条件（視認性の条件、画像種別の条件、時間的範囲の条件など）を満たす画像を抽出する。

これにより、例えば、端末装置３０のユーザが特定車両の周囲を移動している車両に搭載された撮像装置２の撮像画像を含む画像情報を生成部４５によって生成することができる。そのため、例えば、端末装置３０のユーザは、例えば自己の車両の周囲を移動している車両に搭載された撮像装置２の撮像画像を確認することができる。なお、この場合、抽出部４４は、視認性を阻害する障害物から特定車両を除くことで、特定車両を含む撮像画像をより取得しやすくなる。

［５．画像処理装置２０の画像処理］
次に、図１１を参照して画像処理装置２０によって実行される画像処理について説明する。図１１は、画像処理装置２０が実行する画像処理手順を示すフローチャートであり、例えば、制御部２３によって所定期間毎に繰り返し実行される。

図１１に示すように、制御部２３は、車載装置１０から撮像情報を取得したか否かを判定する（ステップＳ１）。車載装置１０から撮像情報を取得した場合（ステップＳ１；Ｙｅｓ）、制御部２３は、取得した撮像情報を記憶部２２に記憶する（ステップＳ２）。

ステップＳ２の処理が終了した場合、または、制御部２３が車載装置１０から撮像情報を取得していない場合（ステップＳ１；Ｎｏ）、制御部２３は、端末装置３０から画像要求があるか否かを判定する（ステップＳ３）。画像要求があると判定した場合（ステップＳ３；Ｙｅｓ）、制御部２３は、画像要求に含まれる指定条件情報を記憶部２２に記憶する（ステップＳ４）。

次に、制御部２３は、記憶部２２に記憶された撮像情報と指定条件情報とに基づいて画像情報を生成する画像情報生成処理を実行する（ステップＳ５）。かかるステップＳ５の処理は、図１２に示すステップＳ１０〜Ｓ１４の処理であり、後で詳述する。

画像情報生成処理が終了すると、制御部２３は、画像要求を行った端末装置３０に対して、ステップＳ５で生成した画像情報を通信ネットワーク４０経由で送信する（ステップＳ６）。ステップＳ６の処理が終了した場合、または、ステップＳ３において、画像要求がないと判定した場合（ステップＳ３；Ｎｏ）、制御部２３は、図１１に示す処理を終了し、所定期間後に、図１１に示すステップＳ１の処理から繰り返し実行する。

次に、ステップＳ５における処理の詳細について説明する。図１２は、ステップＳ５に示す画像情報生成処理の流れを示す図である。

図１２に示すように、制御部２３は、指定条件情報を記憶部２２から取得し（ステップＳ１０）、かかる指定条件情報に基づいて、画像種別、地理的範囲および時間的範囲のそれぞれの条件を満たす撮像画像を選択する（ステップＳ１１）。

次に、制御部２３は、ステップＳ１１で選択した撮像画像毎に、道路構成物の視認性
や周辺構成物の視認性を判定し（ステップＳ１２）、ステップＳ１１で選択した撮像画像のうち視認性の条件を満たす画像を抽出する（ステップＳ１３）。そして、制御部２３は、ステップＳ１３で抽出した画像を組み合わせて画像情報を生成する（ステップＳ１４）。

以上のように、実施形態に係る画像処理装置２０は、収集部４１と、解析部４３と、抽出部４４と、生成部４５とを備える。収集部４１は、複数の車両のそれぞれに設けられた撮像装置２の撮像画像を収集し、解析部４３は、収集部４１によって収集された撮像画像を解析し、車両が走行した道路の道路構成物および当該道路の周辺構成物のうち少なくとも一方に対する視認性を判定する。抽出部４４は、収集部４１によって収集された撮像画像から視認性の条件を満たす画像を抽出し、生成部４５は、抽出部４４によって抽出された画像を組み合わせた画像情報を生成する。

これにより、例えば、道路構成物および周辺構成物のうち少なくとも一方に対する視認性が高い画像を抽出して画像情報を生成できるため、画像情報の利用者は、例えば、道路構成物や周辺構成物の視認性が高い画像を確認することができ、利用しやすい画像情報を生成することができる。

また、生成部４５は、抽出部４４によって抽出された画像を撮像位置に従って配列した画像情報を生成することができる。これにより、画像情報の利用者は、例えば、視認性が高い画像であって撮像位置が連続的に変化する画像を確認することができ、道路構成物や周辺構成物を連続的に迅速かつ容易に把握できる。

また、抽出部４４は、所定の区間、領域または位置に撮像位置がある撮像画像のうち視認性の条件を満たす撮像画像を抽出し、生成部４５は、抽出部４４によって抽出された画像を所定の区間、領域または位置における撮像位置に従って配列して画像情報を生成することができる。これにより、例えば、所定の区間、領域または位置の道路構成物や周辺構成物を連続的に迅速かつ容易に把握できる。

また、要求受付部４２は、区間、領域または位置の指定を受け付け、抽出部４４は、収集部４１によって収集された撮像画像のうち、要求受付部４２によって受け付けられた区間、領域または位置に撮像位置がある撮像画像のうち視認性の条件を満たす撮像画像を抽出することができる。これにより、利用者は、所望の区間、領域または位置の道路構成物や周辺構成物を連続的に迅速かつ容易に把握できる。

また、生成部４５は、抽出部４４によって抽出された画像を撮像時間に従って配列して画像情報を生成する。これにより、例えば、ある位置の撮像画像のうち視認性の高い画像を撮像時間順に把握することができ、道路構成物や周辺構成物の変化を容易に把握することができる。

また、撮像画像が動画である場合、抽出部４４は、収集部４１によって収集された動画のうち視認性の条件を満たす部分の動画を抽出し、生成部４５は、抽出部４４によって抽出された動画を組み合わせて画像情報を生成する。これにより、動画像によって道路構成物や周辺構成物を容易に把握することができる。

また、撮像画像が静止画である場合、抽出部４４は、収集部４１によって収集された静止画のうち視認性の条件を満たす静止画を抽出し、生成部４５は、抽出部４４によって抽出された静止画を組み合わせて画像情報を生成する。これにより、動画像に比べ画像情報のデータサイズを大幅に小さくすることができ、また、静止画によって道路構成物や周辺構成物をじっくりと確認することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像提供システム
２ 撮像装置
１０ 車載装置
２０ 画像処理装置
２２ 記憶部
２３ 制御部
４１ 収集部
４２ 要求受付部
４３ 解析部
４４ 抽出部
４５ 生成部
４６ 情報提供部

Claims (8)

1. 複数の車両のそれぞれに設けられた撮像装置の撮像画像を収集する収集部と、
   前記収集部によって収集された前記撮像画像を解析し、前記車両が走行した道路の道路構成物および当該道路の周辺構成物のうち少なくとも一方に対する視認性を判定する解析部と、
   前記収集部によって収集された前記撮像画像から前記視認性の条件を満たす画像を抽出する抽出部と、
   前記抽出部によって抽出された画像を組み合わせて画像情報を生成する生成部と、を備える
   ことを特徴とする画像処理装置。
2. 前記生成部は、
   前記抽出部によって抽出された画像を当該画像の撮像位置に従って配列した前記画像情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出部は、
   所定の区間、領域または位置に撮像位置がある前記撮像画像のうち前記視認性の条件を満たす撮像画像を抽出し、
   前記生成部は、
   前記抽出部によって抽出された画像を前記所定の区間、領域または位置における撮像位置に従って配列して前記画像情報を生成する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 区間、領域または位置の指定を受け付ける受付部を備え、
   前記抽出部は、
   前記収集部によって収集された前記撮像画像のうち、前記受付部によって受け付けられた前記区間、前記領域または前記位置に撮像位置がある前記撮像画像のうち前記視認性の条件を満たす撮像画像を抽出する
   ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記生成部は、
   前記抽出部によって抽出された画像を撮像時間に従って配列した前記画像情報を生成する
   ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記撮像画像は、動画であり、
   前記抽出部は、
   前記収集部によって収集された前記動画のうち前記視認性の条件を満たす部分の動画を抽出し、
   前記生成部は、
   前記抽出部によって抽出された前記動画を組み合わせて前記画像情報を生成する
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記撮像画像は、静止画であり、
   前記抽出部は、
   前記収集部によって収集された前記静止画のうち前記視認性の条件を満たす静止画を抽出し、
   前記生成部は、
   前記抽出部によって抽出された前記静止画を組み合わせて前記画像情報を生成する
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
8. 複数の車両のそれぞれに設けられた撮像装置の撮像画像を収集する収集工程と、
   前記収集工程によって収集された前記撮像画像を解析し、前記車両が走行した道路の道路構成物および当該道路の周辺構成物のうち少なくとも一方に対する視認性を判定する解析工程と、
   前記収集工程によって収集された前記撮像画像から前記視認性の条件を満たす画像を抽出する抽出工程と、
   前記抽出工程によって抽出された画像を組み合わせた画像情報を生成する生成工程と、を含む
   ことを特徴とする画像処理方法。

Images