JP2021092967A - 画像処理システム、画像処理装置及びプログラム - Google Patents

Abstract

【課題】車両における撮像画像を基に障害物に係る情報を収集する場合に、画像処理を行う装置の処理負荷を低減する。【解決手段】画像処理システム１０は、複数の制御装置２０及びセンタサーバ３０を備えている。制御装置２０はカメラで撮像された撮像画像に障害物が含まれている可能性の有無を判定し、障害物があると判定された撮像画像に係る画像情報をセンタサーバ３０に送信する。センタサーバ３０は受信した画像情報に係る撮像画像に対して画像処理を行い、当該撮像画像に含まれる障害物を特定する。また、センタサーバ３０は受信された他の画像情報に係る他の撮像画像に、特定された障害物が含まれるか否かを判定し、特定された障害物が含まれていないと判定された前記他の撮像画像に対して画像処理を実行する。【選択図】図１

Description

本発明は、画像の処理を行う画像処理システム、画像処理装置及びプログラムに関する。

特許文献１には、外界認識手段による認識結果に基づいて制御されるコネクティッドカーである車両に対し、適切な情報を提供することを目的とする情報処理装置が開示されている。

特開２０１７−１７４２４４号公報

ここで、路上障害物を特定すべく、特許文献１の情報処理装置において車両で撮像された撮像画像に対する画像処理が実行される場合、当該情報処理装置において車両側から送信された全ての撮像画像を画像処理すると、情報処理装置側の負荷が高くなる。

本発明は、車両における撮像画像を基に障害物に係る情報を収集する場合に、画像処理を行う装置の処理負荷を低減可能な画像処理システム、画像処理装置及びプログラムを提供することを目的とする。

請求項１に記載の画像処理システムは、車両に設けられた撮像装置で撮像された撮像画像に障害物が含まれている可能性の有無を判定する可能性判定部と、前記可能性判定部により障害物があると判定された前記撮像画像に係る画像情報を送信する送信部と、複数の前記車両から前記画像情報を受信する受信部と、前記画像情報に係る撮像画像に含まれる障害物を特定する画像処理を行う処理部と、前記受信部において受信された他の画像情報に係る他の撮像画像に、特定された障害物が含まれるか否かを判定する重複判定部と、を備え、前記処理部は、前記重複判定部により、特定された障害物が含まれていないと判定された前記他の撮像画像に対して前記画像処理を実行する。

請求項１に記載の画像処理システムは、送信側の装置において、可能性判定部が撮像画像に障害物が含まれている可能性の有無を判定し、受信側の装置において、処理部が撮像画像に含まれる障害物を特定する画像処理を行う。さらに、受信側の装置においては重複判定部が、受信された新たな撮像画像に特定された障害物が含まれるか否かを判定し、特定された障害物が含まれていないと判定された新たな撮像画像に対して処理部が画像処理を実行する。

送信側の装置から受信側の装置に向けては、障害物があると判定された撮像画像に係る画像情報、及び当該撮像画像に付与された位置情報が送信される。そのため、当該画像処理システムによれば、画像処理を行う受信側の装置に対する画像情報の送信量を低減でき、当該装置における処理負荷を低減することができる。また、当該画像処理システムによれば、障害物が特定されているにも係らず、同じ障害物を対象とした画像処理が繰り返し実行されることが抑制されるため、画像処理を行う受信側の装置における処理負荷を低減することができる。

請求項２に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記受信部は画像情報と共に、撮像画像に付与された位置情報を受信し、前記重複判定部は、少なくとも前記撮像画像と同じ位置における前記他の撮像画像に、前記特定された障害物が含まれるか否かを判定する。

請求項２に記載の画像処理システムでは、受信側の装置において重複判定部が、撮像画像に付与された位置情報を加味して特定された障害物が含まれるかの判定を実行する。当該画像処理システムによれば、障害物を特定する精度を向上させることができるため、受信側の装置における処理負荷を低減することができる。

請求項３に記載の画像処理システムは、請求項１又は２に記載の画像処理システムにおいて、前記受信部が他の車両の他の位置情報を受信し、前記他の位置情報を有する前記他の車両が前記位置情報に対応する前記特定された障害物に近づいたかを判定する接近判定部と、前記接近判定部が前記特定された障害物に近づいたと判定した場合に前記他の車両に向けて危険情報を通知する通知部と、を備えている。

請求項３に記載の画像処理システムでは、受信部が撮像画像の位置情報及び他の車両の他の位置情報を受信し、接近判定部は他の車両が障害物に近づいたかを判定する。そして、他の車両が障害物に近づいたと判定した場合、通知部は他の車両に向けて危険情報を通知する。当該画像処理システムによれば、障害物の位置情報に基づいて他の車両に対して路上の障害物に対する注意を喚起することができる。

請求項４に記載の画像処理装置は、複数の車両から障害物があると判定された前記車両の撮像画像に係る画像情報を受信する受信部と、前記画像情報に係る撮像画像に含まれる障害物を特定する画像処理を行う処理部と、前記受信部において受信された他の画像情報に係る他の撮像画像に特定された障害物が含まれるか否かを判定する重複判定部と、を備え、前記処理部は、前記重複判定部により、特定された障害物が含まれていないと判定された前記他の撮像画像に対して前記画像処理を実行する。

請求項４に記載の画像処理装置では、受信部が複数の車両から障害物があると判定された車両の撮像画像に係る画像情報を受信する。また、当該画像処理装置では、重複判定部が、受信された新たな撮像画像に特定された障害物が含まれるか否かを判定し、特定された障害物が含まれていないと判定された新たな撮像画像に対して処理部が画像処理を実行して障害物を特定する。そのため、当該画像処理装置によれば、障害物が特定されているにも係らず、同じ障害物を対象とした画像処理が繰り返し実行されることが抑制されるため、当該装置における処理負荷を低減することができる。

請求項５に記載のプログラムは、複数の車両から障害物があると判定された前記車両の撮像画像に係る画像情報を受信する受信ステップと、前記画像情報に係る撮像画像に含まれる障害物を特定する画像処理を行う処理ステップと、前記受信ステップにおいて受信された他の画像情報に係る他の撮像画像に特定された障害物が含まれるか否かを判定する重複判定ステップと、を備え、前記処理ステップでは、前記重複判定ステップにより、特定された障害物が含まれていないと判定された前記他の撮像画像に対して前記画像処理を実行する処理をコンピュータに実行させる。

請求項５に記載のプログラムでは、次のステップの処理が実行される。すなわち、受信ステップにおいて複数の車両から障害物があると判定された車両の撮像画像に係る画像情報が受信される。また、重複判定ステップにおいて受信された新たな撮像画像に特定された障害物が含まれるか否かが判定され、処理ステップにおいて特定された障害物が含まれていないと判定された新たな撮像画像に対して画像処理が実行されて障害物が特定される。そのため、当該プログラムによれば、画像処理を行う装置において、障害物が特定されているにも係らず、同じ障害物を対象とした画像処理が繰り返し実行されることが抑制されるため、当該装置における処理負荷を低減することができる。

本発明によれば、車両における撮像画像を基に障害物に係る情報を収集する場合に、画像処理を行う装置の処理負荷を低減することができる。

実施形態に係る画像処理システムの概略構成を示す図である。 障害物を通過する通過車両を説明する図である。 実施形態の車両のハードウェア構成を示すブロック図である。 実施形態の制御装置におけるＣＰＵの機能構成の例を示すブロック図である。 実施形態のセンタサーバのハードウェア構成を示すブロック図である。 実施形態のセンタサーバであって、（Ａ）はストレージに記憶されたデータの例を示すブロック図であり、（Ｂ）はＣＰＵの機能構成の例を示すブロック図である。 実施形態の制御装置において実行される推定処理の流れを示すフローチャートである。 実施形態のセンタサーバにおいて実行される情報化処理の流れを示すフローチャートである。 実施形態のセンタサーバにおいて実行される通知処理の流れを示すフローチャートである。 通知処理が実行される状態を説明する図である。

図１に示されるように、本実施形態の画像処理システム１０は、複数の車両１２と、画像処理装置としてのセンタサーバ３０と、を含んで構成されている。各車両１２には制御装置２０が搭載されている。

図２に示されるように、車両１２は、走行路Ｔを走行する通過車両１２Ａと、通過車両１２Ａの周辺を走行する周辺車両１２Ｂ（図１０参照）とを有している。ここで、通過車両１２Ａは障害物Ｏが何かが特定される前に障害物Ｏを通過する車両１２とし、周辺車両１２Ｂは障害物Ｏが特定された後に障害物Ｏに接近した車両１２とする。

本実施形態では、通過車両１２Ａが本発明の「車両」に相当し、周辺車両１２Ｂが本発明の「他の車両」に相当する。なお、周辺車両１２Ｂは、走行路Ｔにおいて通過車両１２Ａと同じ車線を走行する後続車両に限らず、対向車線を走行する対向車両や、走行路Ｔに接続される他の走行路を走行する車両を含む。また、障害物Ｏは本発明の「特定された障害物」に相当する。

各車両１２の制御装置２０とセンタサーバ３０とは、ネットワークＮ１を介して相互に接続されている。

なお、図１の画像処理システム１０では、一台のセンタサーバ３０に対して５台の車両１２が接続されているが、この限りではない。すなわち、一台のセンタサーバ３０に対しては、一又は複数台の車両１２（詳しくは、制御装置２０）が接続可能である。

（車両）
図３に示されるように、本実施形態に係る車両１２は、制御装置２０と、撮像装置としてのカメラ２２と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機２４と、報知装置２６とを含んで構成されている。

制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅ及び入出力Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、バス２０Ｇを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、制御プログラム２００及び基準画像データ２１０が記憶されている。制御プログラム２００は、後述する推定処理を行うためのプログラムである。基準画像データ２１０には、既知の障害物に係る複数の画像情報が記憶されている。なお、基準画像データ２１０は、制御装置２０に接続されたＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等に記憶されていてもよい。

ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

通信Ｉ／Ｆ２０Ｅは、センタサーバ３０と通信するためにネットワークＮ１に接続するためのインタフェースである。センタサーバ３０との通信には、例えば、５Ｇ、ＬＴＥ、Ｗｉ−Ｆｉ（登録商標）等の通信規格が用いられる。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるカメラ２２、ＧＰＳ受信機２４、及び報知装置２６と通信するためのインタフェースである。

カメラ２２は、例えば、車両１２のフロントウインドウの上部に固定され、車両１２の前方を撮像する。なお、カメラ２２は、車両１２の前方を撮像するだけでなく、車両１２の後方や車室内を撮像してもよい。

ＧＰＳ受信機２４は、複数のＧＰＳ衛星からＧＰＳ信号を受信して車両１２の現在位置を測位する。

報知装置２６は、車両１２の車室内に設けられ、運転者に対して障害物Ｏに係る情報を報知する装置である。報知装置２６は、メータユニット又はカーナビケーションシステムであってもよいし、独立した装置であってもよい。

図４は、制御装置２０の機能構成の例を示すブロック図である。各機能構成は、ＣＰＵ２０ＡがＲＯＭ２０Ｂに記憶された制御プログラム２００を読み出し、これを実行することによって実現される。本実施形態のＣＰＵ２０Ａは、制御プログラム２００の実行により取得部２５０、可能性判定部２５５、送信部２６０、通知受付部２７０及び報知部２８０として機能する。

取得部２５０は、カメラ２２において撮像された撮像画像に係る画像情報、ＧＰＳ受信機２４が検知した車両１２の位置情報、及び現在時刻等を取得する機能を有している。取得部２５０は、カメラ２２が走行路Ｔ上の障害物を撮像した場合、又は運転者による撮像指示（例えば、撮像用のスイッチの操作）を契機に画像情報、位置情報、及び現在時刻等の情報を取得する。なお、本実施形態では、通過車両１２Ａの位置情報が本発明の「位置情報」に相当し、周辺車両１２Ｂの位置情報が本発明の「他の位置情報」に相当する。また、本実施形態において取得される撮像画像は動画でも静止画でもよい。

可能性判定部２５５は、車両１２に設けられたカメラ２２で撮像された撮像画像に障害物が含まれている可能性の有無を判定する機能を有している。可能性判定部２５５は、基準画像データ２１０に記憶されている既知の障害物毎に、カメラ２２で撮像された撮像画像の類似度を算出する。ここで、類似度の算出は、公知の方法が用いられる。例えば、撮像画像の特徴点及び既知の障害物の特徴点をそれぞれ抽出し、両者の特徴点の合致度合いから類似度を算出することができる。そして、可能性判定部２５５は、類似度が所定の閾値を超えた場合に撮像画像に障害物が含まれている可能性があると判定する。

送信部２６０は、取得部２５０において取得された画像情報をセンタサーバ３０に送信する機能を有している。具体的に、可能性判定部２５５は、撮像画像に障害物が含まれている可能性があると判定された撮像画像に係る画像情報をセンタサーバ３０に送信する。ここで、送信部２６０において送信される画像情報には、画像情報に対応する付属情報が付与されている。この付属情報には、撮像画像が撮像されたときの車両１２の位置情報、走行する走行路Ｔの情報、走行方向、走行時刻が含まれている。

通知受付部２７０は、センタサーバ３０から送信された後述する危険情報を受け付ける機能を有している。危険情報は、車両１２が周辺車両１２Ｂである場合に、通過車両１２Ａにおいて撮像された撮像画像に基づいて特定された障害物Ｏに接近した場合にセンタサーバ３０から通知される。

報知部２８０は、センタサーバ３０から受け付けた危険情報を基に、障害物Ｏに接近している旨を運転者に対して報知する機能を有している。報知部２８０は、危険情報を受け付けたタイミングで報知装置２６を作動させる。

（センタサーバ）
図５に示されるようにセンタサーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ、及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、バス３０Ｇを介して相互に通信可能に接続されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ及び通信Ｉ／Ｆ３０Ｅの機能は、上述した制御装置２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ及び通信Ｉ／Ｆ２０Ｅと同じである。

ストレージ３０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。

ＣＰＵ３０Ａは、ストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。

本実施形態のセンタサーバ３０には、図６（Ａ）に示されるように、ストレージ３０Ｄに処理プログラム３２０、学習済みモデル３３０及び障害物データベース３４０が記憶されている。処理プログラム３２０は、後述する情報化処理及び通知処理を行うためのプログラムである。ＣＰＵ３０Ａは、処理プログラム３２０を実行することで、図６（Ｂ）に示す受信部３６０、画像処理部３６２、重複判定部３６３、接近判定部３６４及び通知部３６６として機能する。

受信部３６０は、一又は複数の制御装置２０から送信された、付属情報が付与された画像情報を受信する機能を有している。

処理部としての画像処理部３６２は、撮像画像に対して障害物を特定する画像処理を行う機能を有している。画像処理では、予め既知の障害物を教師データとして機械学習を行った学習済みモデル３３０に対して、画像情報を入力することで実行される。画像処理の結果、障害物Ｏが何であるかが特定できた場合、障害物情報として障害物Ｏの形状や大きさの情報、及び位置情報等が障害物データベース３４０に記憶される。

重複判定部３６３は、受信部３６０において受信された画像情報に係る撮像画像に特定された障害物Ｏが含まれるか否かを判定する機能を有している。具体的に重複判定部３６３は、受信された新たな画像情報から付属情報を抽出し、当該新たな画像情報に係る新たな撮像画像に障害物Ｏと同じ位置情報、同じ走行路Ｔ、近似する走行時刻の情報が含まれていないかの検索を行う。なお、新たな画像情報は、本発明の「他の画像情報」に相当し、新たな撮像画像は、本発明の「他の撮像画像」に相当する。

そして検索の結果、重複判定部３６３は、障害物Ｏと同じ位置、同じ走行路Ｔ、同じ時間帯に存在する障害物を撮像した撮像画像を、障害物Ｏを含む重複画像と判定する。この重複画像に対しては画像処理部３６２における画像処理は実行されない。また、重複判定部３６３は、重複画像に対応する画像情報をストレージ３０Ｄに記憶することなく、ＲＡＭ３０Ｂから消去する。なお、上記判定の条件となる「時間帯」としては、朝方夕方等の数時間単位の幅を設定してもよいし、数十分程度の時間の幅を設定してもよい。設定された時間帯を経過した場合、同じ位置情報を有する撮像画像であっても、再度の画像処理が実行される。

接近判定部３６４は、周辺車両１２Ｂが障害物Ｏに近づいたかを判定する機能を有している。接近判定部３６４は、障害物Ｏに付与された位置情報から所定距離（例えば、距離Ｒの範囲内、図１０参照）に周辺車両１２Ｂが存在する場合に障害物Ｏに近づいたと判定する。

通知部３６６は、周辺車両１２Ｂに向けて危険情報を通知する機能を有している。本実施形態の通知部３６６は、接近判定部３６４により障害物Ｏに近づいたと判定された場合に、周辺車両１２Ｂに向けて危険情報を通知する。つまり、センタサーバ３０は、周辺車両１２Ｂの制御装置２０に危険情報を送信する。

（制御の流れ）
本実施形態の画像処理システム１０において実行される処理の流れの例を図７〜図９のフローチャートを用いて説明する。

まず、走行路Ｔに障害物Ｏが落下している場合に障害物Ｏを回避する等して通過した通過車両１２Ａ（図２参照）の制御装置２０において実行される推定処理の流れは以下のとおりである。

図７のステップＳ１００において、ＣＰＵ２０Ａはカメラ２２から撮像画像を取得する。

ステップＳ１０１において、ＣＰＵ２０Ａは撮像画像に障害物が含まれているか否かの可能性を判定する。具体的に、ＣＰＵ２０Ａは、基準画像データ２１０に記憶されている既知の障害物毎に、カメラ２２で撮像された撮像画像の類似度を算出する。そして、ＣＰＵ２０Ａは、類似度が所定の閾値を超えた場合に撮像画像に障害物が含まれている可能性があると判定する。なお、この時点において可能性があるとされた障害物が何であるかは必ずしも特定されている必要はない。

ステップＳ１０２において、ＣＰＵ２０Ａは撮像画像に障害物が含まれている可能性があるか否かの判定を行う。ＣＰＵ２０Ａは撮像画像に障害物が含まれている可能性があると判定した場合、ステップＳ１０３に進む。一方、ＣＰＵ２０Ａは撮像画像に障害物が含まれている可能性がない判定した場合、推定処理を終了させる。

ステップＳ１０３において、ＣＰＵ２０Ａは、付属情報として車両１２（通過車両１２Ａ）の位置情報、走行する走行路Ｔの情報、走行方向、走行時刻を撮像画像に対して付与する。

ステップＳ１０４において、ＣＰＵ２０Ａは付属情報が付与された画像情報をセンタサーバ３０に向けて送信する。そして、推定処理は終了する。

次に、センタサーバ３０において実行される情報化処理の流れは以下のとおりである。
図８のステップＳ２００において、ＣＰＵ３０Ａは制御装置２０から画像情報を受信したか否かの判定を行う。ＣＰＵ３０Ａは画像情報を受信したと判定した場合、ステップＳ２０１に進む。一方、ＣＰＵ３０Ａは画像情報を受信していないと判定した場合、情報化処理を終了させる。

ステップＳ２０１において、ＣＰＵ３０Ａは既に特定された障害物Ｏと同一の障害物の情報があるか否かの判定を行う。具体的に、ＣＰＵ３０Ａは既に特定された障害物Ｏと同じ位置、同じ走行路Ｔ、同じ時間帯に存在する障害物を撮像した重複画像が含まれているか否かの判定を行う。ＣＰＵ３０Ａは障害物Ｏと同一の障害物の情報があると判定した場合、情報化処理を終了させる。一方、ＣＰＵ３０Ａは障害物Ｏと同一の障害物の情報がないと判定した場合、ステップＳ２０２に進む。

ステップＳ２０２において、ＣＰＵ３０Ａは画像処理を実行する。すなわち、ＣＰＵ３０Ａは学習済みモデル３３０に画像情報を入力し、障害物Ｏの特定を試みる。

ステップＳ２０３において、ＣＰＵ３０Ａは障害物Ｏを特定したか否かの判定を行う。ＣＰＵ３０Ａは障害物Ｏを特定したと判定した場合、ステップＳ２０４に進む。一方、ＣＰＵ３０Ａは障害物Ｏを特定していない判定した場合、情報化処理を終了させる。

ステップＳ２０４において、ＣＰＵ３０Ａは障害物情報を保存する。具体的にＣＰＵ３０Ａは障害物情報として、特定された障害物Ｏの種類や大きさに係る情報、及び位置情報を障害物データベース３４０に記憶する。そして、情報化処理は終了する。

なお、情報化処理では、障害物Ｏと同一の障害物の情報を一定時間受信しない場合に当該障害物Ｏは既に走行路Ｔ上から撤去されたとして、障害物Ｏに係る情報を障害物データベース３４０から消去してもよい。

一方、障害物Ｏが特定された後、センタサーバ３０において実行される通知処理の流れは以下のとおりである。

図９のステップＳ３１０において、ＣＰＵ３０Ａは周辺車両１２Ｂの位置情報を取得する。

ステップＳ３１１において、ＣＰＵ３０Ａは周辺車両１２Ｂが障害物Ｏに接近したか否かの判定を行う。例えば、図１０に示されるように、走行路Ｔ上に角材、段ボール箱、コンテナボックス等、車両１２の走行に支障が生じる可能性がある障害物Ｏがある場合、当該障害物Ｏから距離Ｒの範囲内に入った周辺車両１２Ｂがあるか否かの判定が行われる。ＣＰＵ３０Ａは周辺車両１２Ｂが障害物Ｏに接近したと判定した場合、図９のステップＳ３１２に進む。一方、ＣＰＵ３０Ａは周辺車両１２Ｂが障害物Ｏに接近していないと判定した場合、通知処理を終了させる。

ステップＳ３１２において、ＣＰＵ３０Ａは障害物Ｏに接近した周辺車両１２Ｂに対して、危険情報として障害物情報を通知する。そして、通知処理は終了する。

以上の通知処理により、障害物情報を受信した周辺車両１２Ｂでは、運転者に向けて障害物Ｏに対する注意喚起が行われる。

なお、周辺車両１２Ｂの制御装置２０が、障害物情報を受信したにもかかわらず、走行路Ｔ上の障害物Ｏを検知できなかった場合、障害物Ｏが存在しない旨をセンタサーバ３０に対して通知してもよい。これにより、センタサーバ３０では、撤去等された障害物Ｏに係る情報を障害物データベース３４０から消去することができる。

（まとめ）
本実施形態の画像処理システム１０は、車両１２に搭載された制御装置２０と、センタサーバ３０との組み合わせにより構成されている。制御装置２０では、可能性判定部２５５が撮像画像に障害物が含まれている可能性の有無を判定し、障害物があると判定された撮像画像に係る画像情報がセンタサーバ３０に向けて送信される。一方、センタサーバ３０では、画像処理部３６２が画像処理を実行して撮像画像に含まれる障害物を特定する。

以上のように、本実施形態の画像処理システム１０によれば、画像処理を行うセンタサーバ３０に対して障害物がないと判定された撮像画像に係る画像情報は送信されない。すなわち、全ての通過車両１２Ａから全ての撮像画像に係る画像情報がセンタサーバ３０に対して送信されることがないため、センタサーバ３０において、処理の遅延が抑制でき、処理負荷を低減することができる。

また、本実施形態では、センタサーバ３０において重複判定部３６３が、受信された新たな撮像画像に特定された障害物Ｏが含まれるか否かを判定し、特定された障害物Ｏが含まれていないと判定された撮像画像に対して画像処理部３６２が画像処理を実行する。したがって、本実施形態によれば、障害物Ｏが特定されているにも係らず、同じ障害物を対象とした画像処理が繰り返し実行されることが抑制されるため、センタサーバ３０における処理負荷を低減することができる。

また、本実施形態では、センタサーバ３０において重複判定部３６３が、撮像画像に付与された付属情報を加味して特定された障害物Ｏが含まれるかの判定を実行する。本実施形態によれば、障害物を特定する精度を向上させることができるため、センタサーバ３０における処理負荷を低減することができる。

なお、センタサーバ３０における画像処理により最初に特定された障害物Ｏの特定の精度が悪い場合、重複判定部３６３は受信された新たな撮像画像に既に特定された障害物Ｏが含まれているにもかかわらず、含まれていないと判定する可能性がある。この場合、画像処理が再度実行されて障害物Ｏが再度特定される。したがって、解像度の高い撮像画像により改めて画像処理が実行されることにより、障害物Ｏの位置、形状、大きさ等に係る特定の精度を高めることができる。

また、本実施形態の画像処理システム１０では、センタサーバ３０において受信部３６０が周辺車両１２Ｂの位置情報を受信し、接近判定部３６４は周辺車両１２Ｂが障害物Ｏに近づいたかを判定する。そして、周辺車両１２Ｂが障害物Ｏに近づいたと判定した場合、通知部３６６は周辺車両１２Ｂに向けて危険情報を通知する。本実施形態によれば、障害物Ｏの位置情報に基づいて周辺車両１２Ｂに対して走行路Ｔ上の障害物Ｏに対する注意を喚起することができる。

［備考］
本実施形態の画像処理システム１０は、車両１２に搭載された制御装置２０と、センタサーバ３０との組み合わせにより構成されているが、この限りではない。例えば、制御装置２０とセンタサーバ３０との通信を中継するエッジサーバを両者の間に設けてもよい。この場合、エッジサーバは車両１２が走行する複数のエリア毎に設置される。

またエッジサーバを設けた場合、車両１２に搭載された制御装置２０において撮像画像に障害物が含まれている可能性の有無を判定し、エッジサーバにおいて受信された新たな撮像画像に特定された障害物Ｏが含まれるか否かを判定してもよい。つまり、エッジサーバに重複判定部３６３の機能を与えることができる。

また、本実施形態では、各車両１２に搭載された制御装置２０において、撮像画像に障害物が含まれている可能性の有無が判定されている。これに対し、上記のようにエッジサーバを設置した場合、制御装置２０からエッジサーバに向けて付属情報が付与された画像情報が送信され、エッジサーバにおいて撮像画像に障害物が含まれている可能性の有無を判定してもよい。この場合はセンタサーバ３０のみならず、制御装置２０における処理負担が軽減される。

なお、上記実施形態でＣＰＵ２０Ａ、３０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、制御装置２０において制御プログラム２００は、ＲＯＭ２０Ｂに予め記憶されている。また例えば、センタサーバ３０における処理プログラム３２０は、ストレージ３０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

１０ 画像処理システム
１２Ａ 通過車両（車両）
１２Ｂ 周辺車両（他の車両）
２０ 制御装置
２２ カメラ（撮像装置）
３０ センタサーバ（画像処理装置）
２５５ 可能性判定部
２６０ 送信部
３２０ 処理プログラム（プログラム）
３６０ 受信部
３６２ 処理部（画像処理部）
３６３ 重複判定部
３６４ 接近判定部
３６６ 通知部
Ｏ 障害物（特定された障害物）

Claims (5)

1. 車両に設けられた撮像装置で撮像された撮像画像に障害物が含まれている可能性の有無を判定する可能性判定部と、
   前記可能性判定部により障害物があると判定された前記撮像画像に係る画像情報を送信する送信部と、
   複数の前記車両から前記画像情報を受信する受信部と、
   前記画像情報に係る撮像画像に含まれる障害物を特定する画像処理を行う処理部と、
   前記受信部において受信された他の画像情報に係る他の撮像画像に、特定された障害物が含まれるか否かを判定する重複判定部と、を備え、
   前記処理部は、前記重複判定部により、特定された障害物が含まれていないと判定された前記他の撮像画像に対して前記画像処理を実行する画像処理システム。
2. 前記受信部は画像情報と共に、撮像画像に付与された位置情報を受信し、
   前記重複判定部は、少なくとも前記撮像画像と同じ位置における前記他の撮像画像に、前記特定された障害物が含まれるか否かを判定する請求項１に記載の画像処理システム。
3. 前記受信部が他の車両の他の位置情報を受信し、
   前記他の位置情報を有する前記他の車両が前記位置情報に対応する前記特定された障害物に近づいたかを判定する接近判定部と、
   前記接近判定部が前記特定された障害物に近づいたと判定した場合に前記他の車両に向けて危険情報を通知する通知部と、
   を備える請求項１又は２に記載の画像処理システム。
4. 複数の車両から障害物があると判定された前記車両の撮像画像に係る画像情報を受信する受信部と、
   前記画像情報に係る撮像画像に含まれる障害物を特定する画像処理を行う処理部と、
   前記受信部において受信された他の画像情報に係る他の撮像画像に特定された障害物が含まれるか否かを判定する重複判定部と、を備え、
   前記処理部は、前記重複判定部により、特定された障害物が含まれていないと判定された前記他の撮像画像に対して前記画像処理を実行する画像処理装置。
5. 複数の車両から障害物があると判定された前記車両の撮像画像に係る画像情報を受信する受信ステップと、
   前記画像情報に係る撮像画像に含まれる障害物を特定する画像処理を行う処理ステップと、
   前記受信ステップにおいて受信された他の画像情報に係る他の撮像画像に特定された障害物が含まれるか否かを判定する重複判定ステップと、を備え、
   前記処理ステップでは、前記重複判定ステップにより、特定された障害物が含まれていないと判定された前記他の撮像画像に対して前記画像処理を実行する
   処理をコンピュータに実行させるためのプログラム。

Images