JP2016085619A - 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム - Google Patents

Abstract

【課題】映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を的確に分離して、背景内の物体検出を実現する。【解決手段】本発明による画像処理装置は、処理の対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、対象画像において、検出すべき物体を含む対象領域における色情報の明るさの平均値を算出する処理と、対象領域において、各画素の色情報の明るさと算出した平均値とを比較し、明暗を補正した補正画像を生成する処理と、補正画像に基づいて物体を抽出する処理と、を実行する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、ＰＯＩ情報作成システム、警告システム、及び誘導システムに関し、例えば、走行車両に搭載したスマートホンなどの撮影装置によって撮影された映像内に含まれる物体を検出するための画像処理技術に関するものである。

近年、スマートホンやドライブレコーダーなどの撮像装置によって撮像された映像を用いて、画像内の道路上付属物を検出することで、地図情報などの付加情報として提供可能なリッチコンテンツを生成したいというニーズが高まっている。このような道路上付属物を検出するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、画像内のエッジ検出および画像の色変換を行い、画像内の色の平均値と速度標識などの形状を参考にして、車載映像内から速度標識を検出している。

特開２０１０−０４４４４５号公報

しかしながら、車載撮像装置で撮影した画像においては、道路の経路に応じて車両の走行方向が変わり、順光、逆光、直射日光等へ変化することにより、映像内の画像の明るさが徐々に変わってしまう。このため、特許文献１の「画像毎に画像内の色の平均値で対象物を検出する技術」を用いたとしても、画像内の背景と背景内の物体を分離できず、背景内の物体を検出できないという課題が存在する。

本発明はこのような状況に鑑みてなされたものであり、映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を的確に分離して、背景内の物体検出を実現するための技術を提供するものである。

上記課題を解決するために、本発明による画像処理装置は、処理の対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、対象画像において、検出すべき物体を含む対象領域における色情報の明るさの平均値を算出する処理と、対象領域において、各画素の色情報の明るさと算出した平均値とを比較し、明暗を補正した補正画像を生成する処理と、補正画像に基づいて物体を抽出する処理と、を実行する。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

本発明によれば、映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を的確に分離して、背景内の物体を検出することができるようになる。

本発明の実施形態による画像処理装置の機能を示すブロック図である。 本発明の実施形態による画像処理装置のハードウェア構成例を示す図である。 明暗補正部１３の動作の一例を説明するための図である。 物体検出部１４の動作の一例を説明するための図である。 物体検出部１４のビットレートに応じた階調数の一例を説明するための図である。 信頼度判定部１５の動作の一例を説明するための図である。 描画部１６の動作の一例を説明するための図である。 画像処理装置１の全体動作を説明するためのフローチャートである。 本発明の画像処理装置を搭載したＰＯＩ情報作成システムの概略構成を示す図である。 本発明の画像処理装置を搭載した警告システムの概略構成を示す図である。 本発明の画像処理装置を搭載した簡易誘導システムの概略構成を示す図である。

一般に、地図情報などの付加情報として道路上付属物を検出するためには、全てのルートを車両で走行し、道路付属物を撮影しなければならず、多額の調査費用がかかってしまう。また、新設された道路や工事により変更となった道路上の道路付属物をタイムリーに地図情報に反映できない。そこで、本発明の実施形態では、複数（不特定多数）のスマートホンユーザが撮影した画像を用いて道路付属物をタイムリーに検出することを可能としている。

ところで、スマートホンで撮影した映像をサーバーに転送する場合、データ通信量の上限制限により、不特定多数のユーザから効率的に映像データを集められないという課題がある。また、スマートホンでのデータ伝送量の月額の上限制限を超えないように、低ビットレートの映像データを伝送した場合、ブロックノイズ等の影響により物体の輪郭が不鮮明となり、背景内の道路付属物を検出できないという課題がある。特に、上述の特許文献１では、低ビットレートの画像を伝送したとすると、画像内の一部の輪郭（縦線、横線、文字等）が不鮮明となってしまう。従って、画像毎に画像内の色の平均値を用いても、画像内に含まれる背景と背景内の物体を分離できず、背景内の物体を検出できない。そこで、本発明の実施形態では、低ビットレートの画像データを用いても、所望の対象物の検出を可能とするための技術を提案する。

つまり、本発明の実施形態は、映像内の画像の明るさが変わる場合でも、また、低ビットレートの画像の伝送によって画像の一部の輪郭が不鮮明になる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体検出を実現する画像処理装置およびその方法を提供する。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

以下では「プログラムとしての各処理部（例えば、明暗補正部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

（１）第１の実施形態
＜画像処理装置の機能構成＞
図１は、本発明の実施形態による画像処理装置の機能構成を示すブロック図である。画像処理装置１は、入力部１０と、画像補正部１１と、色空間変換部１２と、明暗補正部１３と、物体検出部１４と、信頼度判定部１５と、描画部１６と、記録部１７と、制御部９１と、を有している。当該画像処理装置は、スマートホン等の携帯移動端末装置内に実装しても良いし、後述する（第２乃至第４の実施形態）ように、携帯移動端末装置とネットワークを介して接続されるサーバー内に実装しても良い。

画像処理装置１における、入力部１０、画像補正部１１、色空間変換部１２、明暗補正部１３、物体検出部１４、信頼度判定部１５、描画部１６、及び記録部１７は、プログラムによって実現しても良いし、モジュール化して実現しても良い。

入力部１０には動画像データが入力される。例えば、入力部１０は、ドライブレコーダー等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、後述するように、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。

画像補正部１１は、画像のアスペクト比の補正を行って、間延びしない補正後の画像を作成する。

色空間変換部１２は、入力画像の色空間を変換した画像を作成する。

明暗補正部１３は、メモリ９０に記憶した過去画像の色の明るさ情報と現在の画像の色の明るさ情報を用いて、現在の画像の色の明るさ変化量を求め、その明るさ変化量を用いて明暗を補正した画像を作成する。

物体検出部１４は、明暗補正後の画像から対象物体分離用の閾値を求め、その閾値を用いて、その画像内の背景と背景内の物体を分離して、背景内の物体を検出する。また、物体検出部１４は、基準画像と階調数を削減したヒストグラムを用いて、検出した物体を識別する。

信頼度判定部１５は、検出した物体の緯度、経度から検出頻度を求め、その検出頻度から検出した物体の信頼度を判定する。

描画部１６は、前記物体検出部１４で検出した物体を囲むように検出枠を画像上に描画する。

記録部１７は、前記描画部１６で原画像上に検出枠を描画した画像をメモリに保存する。

制御部９１は、プロセッサで実現され、画像処理装置１内の各要素に接続される。画像処理装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。

このように本実施形態の画像処理装置１では、色空間変換部１２で求めた色空間変換後の画像と、明暗補正部１３で算出した画像の明るさ（色の明るさ）の変化量を用いて、画像毎に画像の明暗強調割合を変更し、物体検出部１４で明暗補正後の画像から閾値を求め、その閾値を用いて、画像内の背景と背景内の物体を分離して背景内の物体を検出し、基準画像と階調数を削減したヒストグラムを用いて、検出した物体を識別することを特徴とする。

＜画像処理装置のハードウェア構成＞
図２は、本発明の実施形態による画像処理装置１のハードウェア構成例を示す図である。画像処理装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。

メモリ２０２は、プログラムとしての、入力部１０と、画像補正部１１と、色空間変換部１２と、明暗補正部１３と、物体検出部１４と、信頼度判定部１５と、描画部１６と、記録部１７と、を格納する。

記憶装置２０３は、処理対象画像（後述の画像Ｎ）よりも前に撮影された過去画像（後述の画像Ｎ−１までの画像）、明暗補正部１３によって生成された画像の各画素値、算出された画像毎の閾値、基準画像のデータ等を記憶している。

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１６によって生成されたデータをディスプレイ画面上に表示する。

入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像処理装置１に入力されたりする。

通信デバイス２０６は、画像処理装置１としては必須の構成ではなく、携帯移動端末に通信デバイスが含まれる場合には、画像処理装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。

＜各部の構成と動作＞
以下、各要素の構成と動作について詳細に説明する。

（i）画像補正部１１
映像を撮影する際に画面上に表示される画像のアスペクト比と撮影した映像をメモリに保存するときのアスペクト比が異なる場合があり、画像補正部１１はこのアスペクト比の違いによって間延びした画像を補正する処理を実行する。ここで、スマートホンやドライブレコーダーなどによって映像を撮影する時に画面上に表示される画像の幅をd_h、画像の高さをd_vとし、当該映像をメモリに保存する時の画像の幅をs_h、画像の高さをs_vとする。このとき、画像補正部１１は、式１を用いて画像幅の比率ｈｒを算出し、式２を用いて画像高さの比率ｖｒを算出する。

ｈｒ≧ｖｒの場合、画像補正部１１は、下記式３及び式４を用いて、補正後の画像幅c_hと画像高さc_vを求める。一方、ｈｒ＜ｖｒの場合、画像補正部１１は、下記式５と式６を用いて、補正後の画像幅c_hと画像高さc_vを求める。

このように、画像補正部１１によって、入力画像の幅と高さが画像幅c_hと画像高さc_vとなるように画像のアスペクト比を補正することにより、間延びを補正した画像を作成する。なお、撮影時のアスペクト比とメモリ保存時のアスペクト比が同じの場合には、メモリ保存された画像がそのまま入力画像として使えるので（間延びした画像となっていないので）、画像補正部１１によるアスペクト比補正処理は不要である。

（ii）色空間変換部１２
色空間変換部１２は、例えば、入力画像のＲＧＢ色空間をＬａｂ色空間に変換した画像を生成する。Ｌａｂ色空間変換により、当該画像のＬ値、ａ値、及びｂ値が取得される。Ｌ値は明度のような情報であり、ａ及びｂ値は色情報である。

（iii）明暗補正部１３
図３は、明暗補正部１３の動作の一例を説明するための図である。色空間変換部１２で求めた、画像ＮをＬａｂ色空間に変換した後の画像を画像ＮＡとすると、明暗補正部１３は、画像ＮＡの色情報（ａ値又はｂ値）を用いて、画像ＮＡの領域Ｒ２内の色情報（色の明るさ：ａ値又はｂ値）の平均値ａｖｅＲ２を算出する。また、明暗補正部１３は、メモリ９０（記憶装置２０３に相当）から画像Ｎ−１の領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を読込む。

次に、明暗補正部１３は、下記式７を用いて、画像Ｎ−１までの過去の画像の色の明るさ（ａ値又はｂ値）の平均値をブレンドしたａｖｅＲ１と画像Ｎの色の明るさの平均値ａｖｅＲ２をブレンドした平均値ａｖｅＲＮを算出する。ただし、式７において、Ｃ１＝Ｃ２＋Ｃ３である。ここで、過去の画像からの色の明るさの変化を緩やかにしたい場合には過去の画像の重みＣ２を大きくし、現画像の方に色の明るさを劇的に変化させたい場合には現画像の重みＣ３を大きくすればよい。ただし、Ｃ３を大きくして現画像ばかり重視し過ぎると正確に明暗補正できない場合もあるため、ある程度は過去の画像も考慮する必要がある（重みＣ２をあまり小さくし過ぎない必要がある）。例えば、過去の画像からの色の明るさの変化を緩やかにしたい場合にはＣ２を０．９、Ｃ３を０．１に設定する。また、現画像の方に色の明るさを劇的に変化させたい場合には、Ｃ２及びＣ３を０．５に設定することが考えられる。

また、明暗補正部１３は、下記式８を用いて、倍率値ｖを算出する。ただし、式８において、ａｖｅＲ１の値がａｖｅＲ２の値以上の場合には、Ｅ１をａｖｅＲ２、Ｅ２をａｖｅＲ１とし、ａｖｅＲ１の値がａｖｅＲ２の値より小さい場合には、Ｅ１をａｖｅＲ１、Ｅ２をａｖｅＲ２とする。なお、倍率値ｖは固定値であっても良い。

さらに、明暗補正部１３は、下記式９を用いて、画像Ｎの領域Ｒ２内の色の明るさの平均値よりも暗い画素についてはより暗く、画像Ｎの領域Ｒ２内の色の明るさの平均値よりも明るい画素についてはより明るくなるように画像Ｎを補正する。このような補正をすることにより、入力された画像のままでは埋もれていて見えづらい物が検出できるようになる。ただし、式９において、ｃｎは、画像ＮＡの各画素のａ値もしくはｂ値を示す。

明暗補正部１３により、画素毎にｃｎＣｏｒ値を求め、画像ＮＡの明暗を補正した画像ＮＢを作成する。

（iv）物体検出部１４
物体検出部１４は、下記式１０を用いて、画像毎に閾値Ｔｈを求める。

ここで、αは、より明るい画素或いはより暗い画素だけを抽出した場合の閾値の補正値であり、対象の物体をより切り出しやすくするためのパラメータである。

画像ＮＡの各画素がａ値の場合、物体検出部１４は、αをプラス値として画像毎に求めた閾値Ｔｈを用いて、各画素値≧Ｔｈの場合はｓ値（例えば、ｓ＝２５５）、各画素値＜Ｔｈの場合はｔ値（例えば、ｔ＝０）に各画素値を設定し、背景と物体を分離した画像を作成する。これにより、より明るい物体を効率よく分離可能となる。或いは、画像ＮＡの各画素がｂ値の場合、物体検出部１４は、αをマイナス値として画像毎に求めた閾値Ｔｈを用いて、各画素値≦Ｔｈの場合はｓ値（例えば、ｓ＝２５５）、各画素値＞Ｔｈの場合はｔ値（例えば、ｔ＝０）に各画像値を設定し、背景と物体を分離した画像を作成する。これにより、より暗い物体を効率よく分離可能となる。

従って、物体検出部１４の処理により、例えば、図４の画像Ｎの領域Ｒ２について、物体検出後の画像ＮＤに示す背景と物体に分離可能となる。

さらに、物体検出部１４は、検出した物体が何の標識かを識別するための処理を実行する。この場合、物体検出部１４は、例えば、識別したい標識の基準画像（予めデータベース等として用意されている）をメモリ９０から読込み、基準画像と検出した物体の画像（ＲＧＢの画像で比較する）の各々について、図５に示すように、ビットレートに応じて（基準画像のビットレートを処理対象の画像Ｎのビットレートに調整する）、階調数を削減したヒストグラムＡ（例えば、基準画像のヒストグラム）とＢ（検出した画像のヒストグラム）を作成する。そして、物体検出部１４は、作成したヒストグラムＡとＢの類似度を算出することにより、識別したい標識か否かを判定する（ヒストグラムの形状が近い（Bhattacharyya距離が短い）か否かで類似度を判定する）。類似度については、例えば、下記式１１に示すように、ＲＧＢ毎に、ヒストグラム間のBhattacharyya距離によるＢ３２（ｃ）を求め、求めたｒ成分に関するＢ３２（ｒ）とｇ成分に関するＢ３２（ｇ）とｂ成分に関するＢ３２（ｂ）を用いて類似度Ｒを算出する。なお、ここで、ｃは、ｒ、ｇ、ｂのどれかを表す。

図５によれば、例えばビットレートが１０Ｍ／ｂｐｓの画像については、階調数を１２８に削減（階調数を調整）して、ヒストグラム間の類似度を判定することが好ましい。また、ビットレートが７Ｍ／ｂｐｓの画像については、階調数を６４以上１２８以下の間の値に削減して、ヒストグラム間の類似度を判定することが好ましい。このように、階調数を削減したヒストグラム間の類似度を算出することで、ビットレートが低い画像のブロック歪みによる影響を抑制して、基準画像と検出した物体の画像の類似度を判定することが可能となる。つまり、検出した物体の画像が劣化していても類似度を判定することができる。さらに、ヒストグラム間の類似度判定に対して、従来技術であるニューラルネットワークを用いて機械学習により画像の特徴量から識別器を作成し、その識別器を用いて、検出した物体を識別する判定を加えてもよい。つまり、類似度が高いと判定された基準画像が複数検出された場合、ニューラルネットワークを用いた識別器により、検出物体としてどの画像が正しい（確からしい）かを識別する。

（v）信頼度判定部１５
信頼度判定部１５は、図６に示すように、検出した物体の撮影時のＧＰＳ情報から緯度、経度を求め、その位置の検出頻度を累積して、メモリ９０（記憶装置２０３に相当）に格納する。つまり、複数のユーザによる検出結果や同じユーザによる複数回の検出結果が蓄積される。そして、信頼度判定部１５は、累積した検出頻度を予め設定された閾値Ｔｈ_ｈと比較し、検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した物体の（緯度、経度）の信頼度Ｃが高いと判定する。このように信頼度を判定するのは、撮影する移動体（例えば、自動車）によって移動速度や撮影位置（高さや道路の走行位置）が異なる場合があり、計測される緯度及び経度が微妙に異なることがあるためである。

（vi）描画部１６
描画部１６は、信頼度Ｃが高いと判定された場合、図７に示されるように、図３の画像Ｎに対して、物体検出部１４で検出した物体を囲むように検出枠を画像Ｎ上に描画する（画像ＮＥ参照）。一方、信頼度Ｃが低いと判定された場合（検出頻度が閾値Ｔｈ_ｈに達していない場合）、描画部１６は、検出枠を画像Ｎ上に描画しない。

（vii）記録部１７
記録部１７は、描画部１６で原画像Ｎ上に検出枠を描画した画像をメモリ９０に保存する。

＜画像処理装置の処理手順＞
図８は、本発明の実施形態による画像処理装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、画像補正部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ８０１
入力部１０は、入力された画像を受け付け、当該入力画像を画像補正部１１に出力する。

（ii）ステップ８０２
画像補正部１１は、上述の式１〜式６を用いて、画像のアスペクト比の補正を行って、補正後の画像を作成する。

（iii）ステップ８０３
色空間変換部１２は、画像補正部１１が出力した補正後の画像Ｎ、すなわち、ＲＧＢの色空間画像を一例として、Ｌａｂ色空間画像に変換した画像ＮＡを求める。

（iv）ステップ８０４
明暗補正部１３は、色空間変換部１２で求めた画像ＮＡから、画像Ｎの領域Ｒ２内の色の明るさの平均値ａｖｅＲ２を算出する。また、明暗補正部１３は、メモリ９０から画像Ｎ−１（時間的に１つ前の画像）の領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を読込む。そして、明暗補正部１３は、上述の式７〜式９を用いて、明暗を補正した画像ＮＢを生成する。

（v）ステップ８０５
物体検出部１４は、上述の式１０を用いて、画像毎に閾値Ｔｈを求める。

（vi）ステップ８０６
物体検出部１４は、明暗を補正した画像ＮＢの各画素値ｃｎＣｏｒについて、閾値Ｔｈと比較する。すなわち、画像ＮＢの各画素がａ値のとき、ｃｎＣｏｒ≧閾値Ｔｈの場合、処理はステップ８０７に移行する。一方、ｃｎＣｏｒ＜閾値Ｔｈの場合、処理はステップ８０８に移行する。なお、画像ＮＢの各画素がｂ値のとき、ｃｎＣｏｒ≦閾値Ｔｈの場合、処理はステップ８０７に移行する。一方、ｃｎＣｏｒ＞閾値Ｔｈの場合、処理はステップ８０８に移行する。

（vii）ステップ８０７
画像ＮＢの各画素がａ値及びｂ値の何れの場合でも、物体検出部１４は、補正値にｓ値（例えば、２５５）を設定する。

（viii）ステップ８０８
画像ＮＢの各画素がａ値及びｂ値の何れの場合でも、物体検出部１４は、補正値にｔ値（例えば、０）を設定する。

（ix）ステップ８０９
物体検出部１４は、対象画像内の全ての画素について補正値が求まるまで、上記ステップ８０６から８０８を繰り返す。ステップ８０６から８０９のステップを繰り返すことにより、例えば、図４の画像Ｎの領域Ｒ２は、物体検出後の画像ＮＤに示す背景と物体に分離可能となる。

（x）ステップ８１０
物体検出部１４は、基準画像をメモリ９０（記憶装置２０３）から読み出し、検出した物体の画像と基準画像に対して階調数を削減したヒストグラムを作成し、上述の式１１を用いて、類似度Ｒを算出する。類似度Ｒが高い場合（類似度Ｒ≦閾値Ｔｈ_Ｒ：類似度Ｒは上記Bhattacharyya距離として算出されるため、「類似度が高い＝距離が短い」を意味する）に、物体検出部１４は、検出した物体を識別したい標識と判定する。なお、上述したように、ニューラルネットワークを用いた機械学習により求めた識別器を用い、その識別器による判別結果を上記判定に加えて、識別したい標識か否かを判定してもよい。

（xi）ステップ８１１
信頼度判定部１５は、検出した物体の撮影時の位置情報（緯度、経度）を累積し、累積した検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した物体の（緯度、経度）の信頼度Ｃが高いと判定する。一方、検出頻度が閾値Ｔｈ_ｈ未満であれば、信頼度Ｃは低いと判定される。

（xii）ステップ８１２
描画部１６は、信頼度Ｃが高い場合に、物体検出部１４で検出した物体を囲むように検出枠を画像Ｎ上に描画する。信頼度Ｃが低い場合には、描画部１６は、検出枠を画像Ｎ上に描画することはしない。

（xiii）ステップ８１３
記録部１７は、物体の検出枠を描画した画像をメモリ９０（記憶装置２０３に相当）に保存する。

本発明の実施形態によれば、画像Ｎ−１までの過去の画像の色の明るさの平均値をブレンドしたａｖｅＲ１、及び処理対象の画像Ｎの色の明るさの平均値ａｖｅＲ２を用いて、画像Ｎの明暗を補正した画像ＮＢを作成し、画像ＮＢ毎に閾値Ｔｈを求めている。したがって、閾値Ｔｈを用いて、画像Ｎ内の背景と背景内の物体を分離することが可能となる。

また、ビットレートに応じて階調数を削減したヒストグラムを用いて、検出した物体と識別したい標識との類似度を判定しているため、ビットレートの低い画像に含まれるブロックノイズの影響を抑制して、画像内の物体の輪郭が不鮮明な場合でも、検出した物体を識別することが可能となる。また、検出した物体の位置情報を累積し、検出頻度を判定することで、検出した物体の位置情報をより正確に求めることが可能となる。

このように、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像毎に画像内の領域を分離する閾値を求めることで、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することが可能となる。また、スマートホン等のデータ通信量を抑え、より正確な位置情報と共に、ビットレートの低い画像内から物体を検出し、かつ検出した物体を識別することが可能となる。さらに、不特定多数のユーザが撮影した車載スマートホンの映像内から物体を検出し、位置情報の検出頻度からより正確な位置を求めることで、新設さえた道路や工事により変更となった道路上の道路付属物をタイムリーに検出することが可能となる。

（２）第２の実施形態
図９は、本発明の第２の実施形態によるＰＯＩ(Point of Interest)情報作成システム９００の構成を示す機能ブロック図である。ＰＯＩ情報作成システム９００は、サーバー等９０３と、移動端末装置９０５と、を有する。

移動端末装置９０５は、例えばスマートホンのような装置であり、画像データを撮影する撮像部９０１と、サーバー等９０３から伝送されてきた検出後画像を表示するための表示部９０４と、を有している。なお、移動端末装置９０５は、図示されてはいないが、画像データをサーバー等９０３に送信したり、サーバー等９０３から送信されてきたデータを受信したりする通信デバイスを有している。

サーバー等９０３は、移動端末装置９０５から伝送されてきた画像データに対して、本発明の第１の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された検出後画像を格納する格納部９０２と、を有している。なお、サーバー等９０３は、図示されてはいないが、移動端末装置９０５から送信されてきた画像データを受信したり、移動端末装置９０５に検出後画像データを送信したりする通信デバイスを有している。

画像処理装置１は、撮像部９０１で撮影した画像データ内から道路付属物等の物体を検出する。画像処理装置１は、基準画像に、施設情報やスポット情報などの特定看板を設定することで、画像データ内から特定看板を検出する。

表示部９０４は、サーバー等９０３から伝送された特定看板等の検出後画像を、移動端末装置（例えばスマートホンなど）９０５の表示画面に表示する。

第２の実施形態によれば、車載スマートホンで撮影した映像内から特定看板を検出し、特定看板の検出画像と位置情報をセットで格納することで、ＰＯＩ情報作成システムを提供することが可能となる。

（３）第３の実施形態
図１０は、本発明の第３の実施形態による警告システム１０００の構成を示す機能ブロック図である。警告システム１０００は、サーバー等１００３と、移動端末装置１００６と、を有している。

移動端末装置１００６は、例えばスマートホンのような装置であり、画像データを撮影する撮像部１００１と、サーバー等１００３から伝送された検出後画像を表示する表示部１００４と、サーバー等１００３から伝送されたアラート情報を出力する出力部１００５と、を有している。なお、移動端末装置１００６は、図示されてはいないが、画像データをサーバー等１００３に送信したり、サーバー等１００３から送信されてきたデータを受信したりする通信デバイスを有している。

サーバー等１００３は、移動端末装置１００６から伝送されてきた画像データに対して、本発明の第１の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された検出後画像を格納する格納部１００２と、を有している。なお、サーバー等１００３は、図示されてはいないが、移動端末装置１００６から送信されてきた画像データを受信したり、移動端末装置１００６に検出後画像データやアラート情報を送信したりする通信デバイスを有している。

画像処理装置１は、撮像部１００１で撮影した画像データ内から道路付属物などの物体を検出する。また、画像処理装置１は、基準画像に、速度標識などの標識を設定することで、画像データ内から標識を検出する。

表示部１００４は、サーバー等１００３から伝送された速度標識等の検出後画像を、移動端末装置１００６（例えば、スマートホンなど）の表示画面（図示せず）に表示する。

出力部１００５は、サーバー等１００３から伝送されたアラート情報を、移動端末装置１００６のスピーカーから出力したり、表示画面（図示せず）に表示したりする。

さらに、アラートが出された地点の画像（検出された画像）をサーバー等１００３及び／又は移動端末装置１００６において登録するようにしても良い。このとき、第１の実施形態で説明したように、検出頻度が所定の閾値Ｔｈ_ｈ以上である場合に登録するようにしても良い。

第３の実施形態によれば、車載スマートホンで撮影した映像内から速度標識などの標識を検出し、標識の検出後画像とアラート情報をセットにしてスマートホンなどに伝送することで、警告システムを提供することが可能となる。

（４）第４の実施形態
図１１は、本発明の第４の実施形態による簡易誘導システム１１００の構成を示す機能ブロック図である。簡易誘導システム１１００は、サーバー等１１０３と、移動端末装置１１０６と、を有している。

移動端末装置１１０６は、例えばスマートホンのような装置であり、画像データを撮影する撮像部１１０１と、サーバー等１１０３から伝送された検出後画像を表示する表示部１１０４と、サーバー等１１０３から伝送された誘導情報を出力する出力部１１０５と、を有している。なお、移動端末装置１１０６は、図示されてはいないが、画像データをサーバー等１１０３に送信したり、サーバー等１１０３から送信されてきたデータを受信したりする通信デバイスを有している。

移動端末装置１１０６は、その時々の使用可能帯域により、低画質な画像データ（例えば５Ｍｂｐｓ以下）と、高画質な画像データ（例えば１０Ｍｂｐｓ以上）とを切り替えて送信することができる。これにより、帯域制限がある場合でも画像データを送信することができる。

さらに、高画質な画像データを送る場合には、看板が写っている可能性が高い領域をトリミングしたり、画像サイズの縮小をして送信することもできる。低画質な画像データと、高画質な画像データを縮小した場合では、後者の方が高精度に画像処理を行うことができるためである。これにより、画像処理装置での検出処理の精度を向上させることができる。

サーバー等１１０３は、移動端末装置１１０６から伝送されてきた画像データに対して、本発明の第１の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された検出後画像を格納する格納部１１０２と、を有している。なお、サーバー等１１０３は、図示されてはいないが、移動端末装置１１０６から送信されてきた画像データを受信したり、移動端末装置１１０６に検出後画像データや誘導情報を送信したりする通信デバイスを有している。

サーバー等１１０３は、移動端末装置１１０６から送られてきた画像データを処理した後、ユーザーから指示があった場合など必要に応じて、移動端末装置１１０６に対し、先に受信した画像データよりも高画質の画像データを送るよう指示を出すことができる。これにより、必要な位置の画像のみを高画質な画像データを使って解析し、それ以外の位置の画像は低画質な画像データを使って解析することで、画像処理装置の負荷を減らすことができる。

画像処理装置１は、撮像部１１０１で撮影した画像データ内から道路付属物などの物体を検出する。また、画像処理装置１は、基準画像に、方面看板（道路案内標識）などの標識を設定することで、画像データ内から方面看板を検出する。また、方面看板の矢印や文字から、矢印や文字のパターンマッチング等により誘導方向を検出する。

表示部１１０４は、サーバー等１１０３から伝送された方面看板等の検出後画像を、移動端末装置１１０６（例えばスマートホンなど）の表示画面（図示せず）に表示する。

出力部１１０５は、サーバー等１１０３から伝送された誘導情報を、移動端末装置１１０６のスピーカーから出力したり、表示画面（図示せず）に表示したりする。

第４の実施形態によれば、車載スマートホンで撮影した映像内から方面看板などの標識を検出し、標識の検出後画像と誘導情報をセットにしてスマートホンなどに伝送することで、簡易誘導システムを提供することが可能となる。

（５）まとめ
（i）本発明による画像処理装置は、対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、対象画像において、検出すべき物体を含む対象領域における色情報の明るさの平均値を示す第１の平均値を算出する処理と、対象領域において、各画素の色情報の明るさと第１の平均値とを比較し、明暗を補正した補正画像を生成する処理と、補正画像に基づいて物体を抽出する処理と、を実行する。より具体的には、式９に示されるように、対象画像（画像Ｎ：現画像）の情報を用いて、色情報（ａ値やｂ値）の明るさの平均値よりも暗い画素はより暗く、当該平均値よりも明るい画素はより明るくなるように明暗補正されて補正画像（明暗をさらに強調した画像）が生成される。この際、倍率値ｖを導入し、過去の画像（画像Ｎ−１までの画像）の色情報の明るさの平均値をも考慮して明暗補正を行っても良い。このように明暗補正をして対象画像から所望の物体を抽出（検出）するので、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することができるようになる。過去の画像を考慮する場合には、時系列に変化する画像の明るさに応じて画像毎に画像内の領域を分離することができるようになる。

そして、画像処理装置は、予め用意された基準画像と対象画像の中から抽出（検出）された物体とを比較することにより物体を識別する。これにより、抽出した物体が何であるか識別することができるようになる。

また、画像が例えばスマートホン等によって撮影された低ビットレートの画像であった場合には、基準画像の階調数を削減（調整）し、階調数を削減した基準画像と検出された物体の画像とを比較し、両者のヒストグラムのBhattacharyya距離を算出する。そして、その距離が所定の閾値（Ｔｈ_Ｒ）よりも小さい場合に類似度が高いと判定するようにする。このようにすることにより、低ビットレートの画像の伝送によってブロックノイズにより画像の一部の輪郭が不鮮明になる場合でも、ビットレートの低い画像に含まれるブロックノイズの影響を抑制することができ、画像内の背景と背景内の物体を分離して、背景内の物体を検出することが可能となる。

さらに、画像処理装置は、対象画像Ｎを撮影した時に取得された位置情報（ＧＰＳ情報）を用いて、例えば不特定多数のユーザによる識別物体の位置や同一ユーザによる複数回の処理結果による識別物体の位置を累積し、当該累積の結果得られる検出頻度に応じて、識別した物体の信頼度を判定するようにしても良い。このようにすることにより、識別物体の正しい位置の情報をユーザに提供することができるようになる。

なお、スマートホンによって画像が撮影される場合、撮影されるアスペクト比とメモリに格納されるアスペクト比が異なることがある。このようにアスペクト比が実際の撮影時と異なる場合に、メモリから画像が読み込まれて対象画像とされるときには、画像処理装置は、画像のアスペクト比を調整して当該対象画像の間延びを補正する処理を実行する。このようにすることにより、間延びした画像を修正して、正確に所望の物体を抽出し、識別することができるようになる。

（ii）第２の実施形態によれば、車載スマートホンで撮影した映像内から施設情報やスポット情報を示す特定看板を検出し、特定看板認識によるＰＯＩ情報作成システムを提供することが可能となる。

（iii）第３の実施形態によれば、車載スマートホンで撮影した映像内から速度標識などの標識を検出し、標識認識による警告システムを提供することが可能となる。

（iv）第４の実施形態によれば、車載スマートホンで撮影した映像内から方面看板などの標識を検出し、方面看板認識による簡易誘導システムを提供することが可能となる。

（v）以上説明した各実施形態については、次のような変形が可能である。

色空間変換部１２では、入力画像をＬａｂ色空間に変換した画像を作成したが、ＨＳＶ色空間等の他の色空間の画像に変換してもよく、同様の効果を有する。

物体検出部１４では、式１１を用いて、基準画像と検出した物体の画像との類似度を判定したが、Ｂ３２（ｒ）、Ｂ３２（ｇ）、Ｂ３２（ｂ）のどれか１つを用いてもよく、また、それぞれの組合せを用いて類似度を判定してもよく、同様の効果を有する。

（vi）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１・・・画像処理装置
１０・・・入力部
１１・・・画像補正部
１２・・・色空間変換部
１３・・・明暗補正部
１４・・・物体検出部
１５・・・信頼度判定部
１６・・・描画部
１７・・・記録部
９１・・・制御部
９００・・・ＰＯＩ情報作成システム
１０００・・・警告システム
１１００・・・簡易誘導システム。

Claims (15)

1. 対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、
   画像処理の結果を格納するためのメモリと、を有し、
   前記プロセッサは、
   前記対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、
   前記対象画像において、検出すべき物体を含む対象領域における色情報の明るさの平均値を示す第１の平均値を算出する処理と、
   前記対象領域において、各画素の前記色情報の明るさと前記第１の平均値とを比較し、明暗を補正した補正画像を生成する処理と、
   前記補正画像に基づいて前記物体を抽出する処理と、
   を実行することを特徴とする画像処理装置。
2. 請求項１において、
   前記プロセッサは、前記補正画像において背景と前記物体とを分離することにより前記物体を抽出することを特徴とする画像処理装置。
3. 請求項１において、
   前記プロセッサは、前記対象画像よりも前に撮影された過去画像において、前記対象画像の前記対象領域に対応する領域における色情報の明るさの平均値を示す第２の平均値を算出し、前記第１の平均値と前記第２の平均値の大きさの比率を考慮して前記補正画像を生成することを特徴とする画像処理装置。
4. 請求項１において、
   前記プロセッサは、予め用意された基準画像と前記抽出された物体とを比較することにより前記物体を識別することを特徴とする画像処理装置。
5. 請求項４において、
   前記プロセッサは、前記対象画像のビットレートに応じて、前記基準画像の階調度を調整し、当該調整された基準画像と前記物体の画像の類似度を判定することにより、前記物体を識別することを特徴とする画像処理装置。
6. 請求項４において、
   前記プロセッサは、前記対象画像を撮影した時に取得された位置情報を用いて、前記識別した物体の位置を累積し、当該累積の結果得られる検出頻度に応じて、前記識別した物体の信頼度を判定する処理を実行することを特徴とする画像処理装置。
7. 請求項１において、
   前記プロセッサは、入力された前記対象画像について、画像のアスペクト比を調整して前記対象画像の間延びを補正する処理を実行することを特徴とする画像処理装置。
8. 対象画像において所望の物体を識別する画像処理方法であって、
   前記対象画像に対して画像処理するための各種プログラムを実行するプロセッサが、前記対象画像の色空間を変換し、変換された色空間における色情報を取得するステップと、
   前記プロセッサが、前記対象画像において、検出すべき物体を含む対象領域における色情報の明るさの平均値を示す第１の平均値を算出するステップと、
   前記プロセッサが、前記対象領域において、各画素の前記色情報の明るさと前記第１の平均値とを比較し、明暗を補正した補正画像を生成するステップと、
   前記プロセッサが、前記補正画像において背景と前記物体とを分離することにより前記物体を抽出し、予め用意された基準画像と前記抽出された物体とを比較することにより前記物体を識別するステップと、
   を含むことを特徴とする画像処理方法。
9. 請求項８において、
   前記プロセッサは、前記対象画像よりも前に撮影された過去画像において、前記対象画像の前記対象領域に対応する領域における色情報の明るさの平均値を示す第２の平均値を算出し、前記第１の平均値と前記第２の平均値の大きさの比率を考慮して前記補正画像を生成することを特徴とする画像処理方法。
10. 請求項８において、
    前記プロセッサは、前記対象画像のビットレートに応じて、前記基準画像の階調度を調整し、当該調整された基準画像と前記物体の画像の類似度を判定することにより、前記物体を識別することを特徴とする画像処理方法。
11. 請求項８において、さらに、
    前記プロセッサが、前記対象画像を撮影した時に取得された位置情報を用いて、前記識別した物体の位置を累積し、当該累積の結果得られる検出頻度に応じて、前記識別した物体の信頼度を判定するステップを含むことを特徴とする画像処理方法。
12. 請求項８において、さらに、
    前記プロセッサが、入力された前記対象画像について、画像のアスペクト比を調整して前記対象画像の間延びを補正するステップを含むことを特徴とする画像処理方法。
13. 画像データを撮影する撮像装置を有する移動端末装置と、
    請求項１に記載の画像処理装置を有するサーバーと、を有し、
    前記移動端末装置は、前記サーバーに前記画像データを送信し、
    前記サーバーは、受信した前記画像データを前記画像処理装置で処理して前記抽出された物体の画像をメモリに格納するとともに、前記移動端末装置に送信し、
    前記移動端末装置は、受信した前記抽出された物体の画像を表示装置に表示することを特徴とするＰＯＩ情報作成システム。
14. 画像データを撮影する撮像装置を有する移動端末装置と、
    請求項１に記載の画像処理装置を有するサーバーと、を有し、
    前記移動端末装置は、前記サーバーに前記画像データを送信し、
    前記サーバーは、受信した前記画像データを前記画像処理装置で処理して前記抽出された物体の画像をメモリに格納するとともに、前記抽出された物体の画像とアラート情報を前記移動端末装置に送信し、
    前記移動端末装置は、受信した前記抽出された物体の画像を表示装置に表示するとともに、前記アラート情報を出力することを特徴とする警告システム。
15. 画像データを撮影する撮像装置を有する移動端末装置と、
    請求項１に記載の画像処理装置を有するサーバーと、を有し、
    前記移動端末装置は、前記サーバーに前記画像データを送信し、
    前記サーバーは、受信した前記画像データを前記画像処理装置で処理して道路案内標識の画像を抽出し、当該抽出された道路案内標識の画像をメモリに格納するとともに、前記抽出された道路案内標識の画像と誘導情報を前記移動端末装置に送信し、
    前記移動端末装置は、受信した前記抽出された道路案内標識の画像を表示装置に表示するとともに、前記誘導情報を出力することを特徴とする誘導システム。

Images