JP2016218760A - 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム - Google Patents

Abstract

【課題】映像内の画像の明るさが変わる場合でも画像内の背景と背景内の物体を的確に分離して効率よく検出対象物の画像を収集すると共に、端末装置及びサーバー間におけるデータ通信量を抑制することを実現するための技術を提供する。【解決手段】本発明では、端末装置において、画像内の背景と背景内の物体（検出対象物）を的確に分離して背景内の物体を簡易的に検出し、検出した物体を含む候補画像のみをサーバーへ転送する。一方、簡易的な対象物検出では一部誤検出の可能性もあるため、サーバーでは、候補画像を精査して検出対象物を特定し、認識する。【選択図】図１

Description

本発明は、物体検出システム、物体検出方法、ＰＯＩ情報作成システム、警告システム、及び誘導システムに関する。

近年、スマートホンやドライブレコーダーなどの撮像装置によって撮像された映像を用いて、画像内の道路上付属物を検出することで、地図情報などの付加情報として提供可能なリッチコンテンツを生成したいというニーズが高まっている。このような道路上付属物を検出するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、画像内のエッジ検出および画像の色変換を行い、画像内の色の平均値と速度標識などの形状を参考にして、車載映像内から速度標識を検出している。

特開２０１０−０４４４４５号公報

しかしながら、車載撮像装置で撮影した画像においては、道路の経路に応じて車両の走行方向が変わり、順光、逆光、直射日光等へ変化することにより、映像内の画像の明るさが徐々に変わってしまう。このため、特許文献１の「画像毎に画像内の色の平均値で対象物を検出する技術」を用いたとしても、画像内の背景と背景内の物体を分離できず、背景内の物体を検出できないという課題が存在する。また、車載映像には多くのテクスチャが含まれており、様々な物体のエッジが結合してしまうため、エッジ情報を用いて映像内の物体の位置を特定できず、背景内の物体を検出できないという課題が存在する。

さらに、スマートホンなどの撮像装置によって撮影された映像（撮影された全ての画像）を携帯回線でサーバー等に送信した場合、上限値(例えば、7GB/月)のデータ通信量を超えてしまい、その月のスマートホン等の通信速度が低速度(例えば、128Kbps)に抑えられ、スマートホンの利便性が低下し、ユーザに負担をかけるため、ユーザから映像データを入手できないという課題が存在する。

本発明はこのような状況に鑑みてなされたものであり、映像内の画像の明るさが変わる場合でも画像内の背景と背景内の物体を的確に分離して効率よく検出対象物の画像を収集すると共に、端末装置及びサーバー間におけるデータ通信量を抑制することを実現するための技術を提供するものである。

上記課題を解決するために、本発明では、端末装置において、画像内の背景と背景内の物体（検出対象物）を的確に分離して、背景内の物体を検出し、検出した物体を含む候補画像のみをサーバーへ転送する。サーバーでは、候補画像を精査して検出対象物を特定し、認識する。

即ち、本発明による物体検出システムは、画像を撮像する撮像装置と、撮像装置から画像を受け取り、画像から検出対象を含む画像を検出する第１の画像処理装置と、サーバーとの間でデータを送受信する第１の通信装置と、を含む端末装置と、端末装置との間でデータを送受信する第２の通信装置と、端末装置から受信した画像から検出対象を認識する第２の画像処理装置と、認識した検出対象のデータを保存する格納デバイスと、を含むサーバーと、を有している。端末装置は、第１の画像処理装置を用いて、撮像した画像から、第１の評価基準に基づいて検出対象を含む候補画像を検出する処理と、第１の通信装置を用いて、第１の評価基準に基づいて検出された候補画像を前記サーバーへ送信する処理と、を実行する。サーバーは、第２の通信装置を用いて候補画像を受信する処理と、第２の画像処理装置を用いて、第１の評価基準とは異なる第２の評価基準に基づいて、候補画像から候補画像に含まれる検出対象を認識する処理と、検出対象の画像と候補画像とを格納デバイスに記憶する処理と、を実行する。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

本発明によれば、映像内の画像の明るさが変わる場合でも画像内の背景と背景内の物体を的確に分離して検出対象物の画像を効率よく収集することができ、端末装置及びサーバー間におけるデータ通信量を抑制することができるようになる。

本発明の実施形態による物体検出システムの概略構成を示すブロック図である。 本発明の実施形態による画像処理装置の機能を示すブロック図である。 本発明の実施形態による画像処理装置のハードウェア構成例を示す図である。 明暗補正部１２の動作の一例を説明するための図である。 物体検出部１３の動作の一例を説明するための図である。 物体判定部１４の動作の一例を説明するための図である。 描画部１５の動作の一例を説明するための図である。 画像処理装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態によるＰＯＩ情報作成システムの概略構成を示す図である。 本発明の第３の実施形態による警告システムの概略構成を示す図である。 本発明の第４の実施形態による簡易誘導システムの概略構成を示す図である。 本発明の実施形態による物体検出システムの処理概要を説明するためのフローチャートである。

本発明の実施形態は、例えば、走行車両に搭載したスマートホンなどの撮影装置によって撮影された映像内に含まれる物体を検出してサーバーに送信し、サーバー側で物体を認識するための物体検出技術に関する。

一般に、地図情報などの付加情報として道路上付属物を検出するためには、全てのルートを車両で走行し、道路上付属物を撮影しなければならず、多額の調査費用がかかってしまう。また、新設された道路や工事により変更となった道路上の道路上付属物をタイムリーに地図情報に反映できない。そこで、本発明の実施形態では、複数（不特定多数）のスマートホンユーザが撮影した画像を用いて道路上付属物をタイムリーに検出すること、及び携帯回線で送信するデータ量を削減することを可能としている。

ところで、スマートホンで撮影した映像をサーバーに転送する場合、データ通信量の上限制限により、不特定多数のユーザから効率的に映像データを集められないという課題がある。つまり、各ユーザの端末装置で撮影した映像をそのままサーバーに送信する場合、直ぐにデータ通信量の上限値に達してしまい、各ユーザから必要かつ十分な画像を収集できない可能性が高いのである。また、スマートホンで撮影した映像には、様々な物体が含まれており、ブロックノイズ等により、物体同士が繋がって見えるために物体の輪郭の境界が不鮮明となり、背景内の道路上付属物（例えば、標識）を検出できないという課題がある。特に、スマートホンで撮影した映像を伝送したとすると、映像によっては画像内の一部の輪郭（縦線、横線、文字等）が不鮮明となってしまう。従って、上述の特許文献１では、画像毎に画像内の色の平均値やエッジ情報を用いても、画像内に含まれる背景と背景内の物体を分離できず、背景内の物体を検出できない。

そこで、本発明の実施形態では、端末装置４０側で対象物（例えば、道路標識らしき物体）を簡易的に検出し（対象物と背景とを区別（分離）するための基準（第１の評価基準）に基づいて対象物らしき候補物体を検出する）、対象物（候補物体）を含む画像（フレーム）のみを端末装置からサーバーに送信する。対象物を含む画像のみをサーバーに送信するので、各ユーザの端末装置における通信量を比較的少なく抑えることができ、各ユーザから効率的に多くの必要なデータを収集することができる。一方、簡易的な対象物検出では一部誤検出の可能性もあるため、サーバー６０側では端末装置から受信した画像を精査して対象物を認識する（対象物が何かを認識するための基準（第２の評価基準）に基づいて対象物を特定し、認識する）。これにより、所望の対象物の効率的検出およびデータ通信量の削減を可能とする（対象物の効率検出とデータ通信量の削減の両立）。

つまり、本発明の実施形態は、映像内の画像の明るさが変わる場合、また、画像の圧縮によるブロックノイズ等によって画像の一部の輪郭が不鮮明になる場合でも、画像内の背景と背景内の物体を効率よく分離して背景内の対象物を簡易的に検出する。そして、検出した物体を含む画像のみをサーバーに送信し、サーバー６０側で受信した画像内の正確な対象物認識を実現する物体検出システムおよびその方法を提供する。

なお、端末装置は、対象物を含む画像であっても位置情報（ＧＰＳ情報）が同じであればサーバーに送信しなくても良い。例えば、信号待ちで停止している場合等は撮影される画像が一定時間同じであるので撮影される画像（対象物を含む画像）群を全てサーバーに送信する必要はなく、そのうち少なくとも１フレームのみを送信すれば良い。また、位置情報が少し変化しただけでも検出すべき対象物を含む画像に変化がない場合も多い。よって、このような場合にも代表的な画像のみをサーバーに送信するようにしても良い。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

以下では「プログラムとしての各処理部（例えば、明暗補正部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

（１）第１の実施形態
＜物体検出システムの機能構成＞
図１は、本発明の実施形態による物体検出システムの機能構成を示すブロック図である。物体検出システム１００は、撮像デバイス３０と、端末装置４０と、サーバー６０と、を有している。端末装置４０とサーバー６０は、ネットワーク５０を介して接続されている。端末装置４０は、画像処理装置１と、通信デバイス４１と、を有している。また、サーバー６０は、画像処理装置２と、通信デバイス６１と、メモリ（格納デバイス）６２と、を有している。

撮像デバイス３０は、撮影した映像を画像処理装置１に出力する。なお、端末装置４０は、ＧＰＳ機能等の位置情報取得機能を備えている場合には、撮像された映像の各画像（フレーム単位）に対して位置情報を付与して画像処理装置１のメモリ９０に格納するようにしても良い。

画像処理装置１は、映像内に検出すべき物体（対象物、候補物体とも言う）が含まれているか否かを判定し、検出すべき物体を含む画像のみを通信デバイス４１に出力する。

通信デバイス４１は、検出すべき物体を含む画像のみを携帯回線等のネットワーク５０を介して、サーバー６０側の通信デバイス６１へ送信する。

通信デバイス６１は、端末装置の通信デバイス４１から送信された画像を受信し、その画像をサーバー６０側の画像処理装置２に出力する。

画像処理装置２は、受信した画像から物体を認識し、認識した結果の情報（画像および画像内の位置情報等）をメモリ６２に保存する。

このように本実施形態の物体検出システム１００では、端末装置４０側の画像処理装置１で検出した画像のみを通信デバイス４１でサーバー６０側に送信し、サーバー６０側の通信デバイス６１で画像を受信し、サーバー６０側の画像処理装置２で受信した画像から物体を認識することを特徴とする。

＜物体検出システムの処理概要＞
図１２は、本発明の実施形態による物体検出システムの処理概要を説明するためのフローチャートである。
（i）ステップ１２０１
撮像デバイス３０は、スマートホン等のカメラを用いて、車載画像を撮影し、車載映像を画像処理装置１に出力する。
（ii）ステップ１２０２
画像処理装置１は、車載映像の中から検出対象を含む候補画像を検出する。
（iii）ステップ１２０３
通信デバイス４１は、検出した候補画像を端末装置からサーバーに送信する。
（iv）ステップ１２０４
通信デバイス６１は、端末装置から送信された候補画像を受信し、受信した画像を画像処理装置２に出力する。
（v）ステップ１２０５
画像処理装置２は、基準画像と受信した画像のヒストグラムを作成し、そのヒストグラムの類似度を判定して、候補画像内の物体を認識する。
（vi）ステップ１２０６
認識した物体と検出情報をメモリ６２に保存する。

＜画像処理装置１の機能構成及び動作概要＞
以下、画像処理装置１の構成と動作について詳細に説明する。
図２は、本発明の実施形態による画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、入力部１０と、色空間変換部１１と、明暗補正部１２と、物体検出部１３と、物体判定部１４と、描画部１５と、記録部１６と、メモリ９０と、制御部９１と、を有している。なお、図２では、物体判定部１４／９４と表現されているが、画像処理装置１及び画像処理装置２は構成がほぼ同じであり、物体判定部の処理動作のみが異なるためである（ただし、後述のように、サーバー６０側の画像処理装置２においては色変換処理や明暗補正処理を必ずしも実行しなくても良い）。物体判定部１４は画像処理装置１に含まれ、物体判定部９４は画像処理装置２に含まれる。

画像処理装置１における、入力部１０、色空間変換部１１、明暗補正部１２、物体検出部１３、物体判定部１４、描画部１５、及び記録部１６は、プログラムによって実現しても良いし、モジュール化して実現しても良い。画像処理装置２においても同様である。

入力部１０には動画像データが入力される。例えば、入力部１０は、撮像デバイス３０に示すスマートホンやドライブレコーダー等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。さらに、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。

色空間変換部１１は、入力画像の色空間を変換した画像を作成する。
明暗補正部１２は、メモリ９０に記憶した過去画像の色の明るさ情報と現在の画像の色の明るさ情報を用いて、現在の画像の色の明るさ変化量を求め、その明るさ変化量を用いて明暗を補正した画像を作成する。

物体検出部１３は、明暗補正後の画像から対象物分離用の閾値を求め、その閾値を用いて、その画像内の背景と背景内の物体を分離して、背景内の物体を検出する。

物体判定部１４は、検出した物体が検出すべき対象物であるか否かを判定する。対象物を含むと判定した場合、物体判定部１４は、当該対象物を含む画像をメモリ９０に保存する。

描画部１５は、前記物体検出部１３で検出した物体を囲むように検出枠を画像上に描画する。
記録部１６は、前記描画部１５で原画像上に検出枠を描画するための位置情報とその画像をメモリに保存する。

制御部９１は、例えばプロセッサで実現され、画像処理装置１内の各要素に接続される。画像処理装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。

このように本実施形態の画像処理装置１では、色空間変換部１１によって求めた色空間変換後の画像と、明暗補正部１２によって算出された画像の明るさ（色の明るさ）の変化量を用いて、画像毎に画像の明暗強調割合が変更される。また、物体検出部１３では、明暗補正後の画像から閾値が求められ、その閾値を用いて、画像内の背景と背景内の物体を分離して背景内の対象物が検出される。そして、物体判定部１４では、検出した物体が検出すべき対象物であるか否かが判定され、検出すべき対象物を含む画像のみがサーバーに送信される。

＜画像処理装置１のハードウェア構成＞
図３は、本発明の実施形態による画像処理装置１のハードウェア構成例を示す図である。なお、図３でも物体判定部１４／９４と表現されているが、画像処理装置１及び画像処理装置２は構成がほぼ同じであり、物体判定部の処理動作のみが異なるためである。物体判定部１４は画像処理装置１に含まれ、物体判定部９４は画像処理装置２に含まれる。

画像処理装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（格納デバイス：メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、を有し、これらがバス２０６によって相互に接続されている。

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。
メモリ２０２は、プログラムとしての、入力部１０と、色空間変換部１１と、明暗補正部１２と、物体検出部１３と、物体判定部１４と、を格納する。

記憶装置２０３は、処理対象画像（後述の画像Ｎ（フレームＮ））よりも前に撮影された過去画像（後述の画像Ｎ−１（フレームＮ−１）までの画像）、明暗補正部１２によって生成された画像の各画素値、算出された画像毎の閾値等を記憶している。

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１５によって生成されたデータをディスプレイ画面上に表示する。

入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像処理装置１に入力されたりする。

通信デバイス４１は、例えば、記憶装置２０３からデータを取得してネットワークを介して接続される他の装置（例えば、サーバー）に当該データを送信する動作、及び送信されてきたデータ（画像を含む）を受信して記憶装置２０３に格納する動作を実行する。

＜画像処理装置１の各部の動作（詳細）＞
以下、各要素の構成と動作について詳細に説明する。
（i）色空間変換部１１
色空間変換部１１は、例えば、入力画像のＲＧＢ色空間をＬａｂ色空間に変換した画像を生成する。Ｌａｂ色空間変換により、当該画像のＬ値、ａ値、及びｂ値が取得される。Ｌ値は明度のような情報であり、ａ及びｂ値は色情報である。
（ii）明暗補正部１２
図４は、明暗補正部１２の動作の一例を説明するための図である。色空間変換部１１で求めた、画像ＮをＬａｂ色空間に変換した後の画像を画像ＮＡとすると、明暗補正部１２は、画像ＮＡの色情報（ａ値又はｂ値）を用いて、画像ＮＡの領域Ｒ２内の色情報（色の明るさ：ａ値又はｂ値）の平均値ａｖｅＲ２を算出する。また、明暗補正部１２は、メモリ９０（格納デバイス：記憶装置２０３に相当）から画像Ｎ−１の領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を読込む。

次に、明暗補正部１２は、下記式１を用いて、画像Ｎ−１までの過去の画像の色の明るさ（ａ値又はｂ値）の平均値をブレンドしたａｖｅＲ１と画像Ｎの色の明るさの平均値ａｖｅＲ２をブレンドした平均値ａｖｅＲＮを算出する。ただし、式１において、Ｃ１＝Ｃ２＋Ｃ３である。ここで、過去の画像からの色の明るさの変化を緩やかにしたい場合には過去の画像の重みＣ２を大きくし、現画像の方に色の明るさを劇的に変化させたい場合には現画像の重みＣ３を大きくすればよい。ただし、Ｃ３を大きくして現画像ばかり重視し過ぎると正確に明暗補正できない場合もあるため、ある程度は過去の画像も考慮する必要がある（重みＣ２をあまり小さくし過ぎない必要がある）。例えば、過去の画像からの色の明るさの変化を緩やかにしたい場合にはＣ２を０．９、Ｃ３を０．１に設定する。また、現画像の方に色の明るさを劇的に変化させたい場合には、Ｃ２及びＣ３を０．５に設定することが考えられる。

また、明暗補正部１２は、下記式２を用いて、倍率値ｖを算出する。ただし、式２において、ａｖｅＲ１の値がａｖｅＲ２の値以上の場合には、Ｅ１をａｖｅＲ２、Ｅ２をａｖｅＲ１とし、ａｖｅＲ１の値がａｖｅＲ２の値より小さい場合には、Ｅ１をａｖｅＲ１、Ｅ２をａｖｅＲ２とする。なお、倍率値ｖは固定値であっても良い。

さらに、明暗補正部１２は、下記式３を用いて、画像Ｎの領域Ｒ２内の色の明るさの平均値よりも暗い画素についてはより暗く、画像Ｎの領域Ｒ２内の色の明るさの平均値よりも明るい画素についてはより明るくなるように画像Ｎを補正する。このような補正をすることにより、入力された画像のままでは埋もれていて見えづらい物が検出できるようになる。ただし、式３において、ｃｎは、画像ＮＡの各画素のａ値もしくはｂ値を示す。

明暗補正部１２により、画素毎にｃｎＣｏｒ値を求め、画像ＮＡの明暗を補正した画像ＮＢを作成する。

なお、本実施形態では、理解を単純にするため、及び標識等の検出対象物は画像の上部にあることが多いため、図４における領域Ｒ１及びＲ２は固定の領域として表現されているが、サーチ領域としては画面全体でもよい。ただし、一部の領域に限定することにより、端末装置における処理を軽くすることが可能となる。

（iii）物体検出部１３
物体検出部１３は、下記式４を用いて、画像毎に閾値Ｔｈを求める。

ここで、αは、より明るい画素或いはより暗い画素だけを抽出する場合の閾値の補正値であり、対象の物体をより切り出しやすくするためのパラメータである。

画像ＮＡの各画素がａ値の場合、物体検出部１３は、αをプラス値として画像毎に求めた閾値Ｔｈを用いて、各画素値≧Ｔｈの場合はｓ値（例えば、ｓ＝２５５）、各画素値＜Ｔｈの場合はｔ値（例えば、ｔ＝０）に各画素値を設定し、背景と物体を分離した画像を作成する。これにより、より明るい物体を効率よく分離可能となる。或いは、画像ＮＡの各画素がｂ値の場合、物体検出部１３は、αをマイナス値として画像毎に求めた閾値Ｔｈを用いて、各画素値≦Ｔｈの場合はｓ値（例えば、ｓ＝２５５）、各画素値＞Ｔｈの場合はｔ値（例えば、ｔ＝０）に各画像値を設定し、背景と物体を分離した画像を作成する。これにより、より暗い物体を効率よく分離可能となる。
従って、物体検出部１３の処理により、例えば、図５の画像Ｎの領域Ｒ２について、物体検出後の画像ＮＤに示す背景と物体に分離可能となる。

（iv）物体判定部１４
明暗補正後の画像を閾値判定することにより、標識（対象物）らしき物体をある程度は特定し抜き出すことができるようになる。ただし、このままだと標識に類似した非標識物体（例えば、道路近傍に設置された看板等の物体）も抽出される可能性がある。このため、より正確に対象物（標識）らしき物体を抽出するため、以下説明するように、物体判定部１４で楕円検出処理を実行するようにしている。誤検出（類似物体を対象物として検出すること）を未然に防止できるため、データ量の削減に資するものである。

物体判定部１４は、検出した物体が検出すべき対象物であるか否かを判定する。この場合、物体判定部１４は、例えば、検出した画像Ｎ上の領域の画像をエッジ画像に変換し、確率的ハフ変換を用いて、図６に示すように、そのエッジ画像の画素値の集合から、楕円が構成可能か否かを判定する。すなわち、確率的ハフ変換は、円の中心位置を投票することで、円を検出する。従って、投票する閾値を小さな値（例えば、３５）に設定することで楕円を検出する。ただし、スマートホン等で撮影した映像には、様々な物体が映っており、物体同士の輪郭が重なってしまうため、画像全体のエッジ画像に対して、確率的ハフ変換を行っても、楕円を検出することはできない。もしくは、様々なテクスチャを楕円として検出してしまい、物体の領域を判定できない。物体検出部１３で、物体の領域を特定しているため、その領域の画像のみを使うことで、物体判定部１４にて、楕円を検出することが可能となる。したがって、例えば、図６(a)の四角形の看板や標識は、図６(b)に示す楕円として検出できる。また、図６(c)の三角形の看板や標識は、図６(d)に示す楕円として検出できる。また、同様に、図６(e)の円形の看板や標識は、図６(f)に示す楕円として検出できる。つまり、検出した物体の画像が劣化や変形して物体の情報が一部欠落していても、検出した限られた領域の物体のエッジ情報を用いて楕円を推定するため、検出すべき対象物を含む画像を検出することが可能となる。そして、物体判定部１４は、検出した物体の撮影時のＧＰＳ情報から緯度、経度を求め、その位置情報と画像をメモリ９０（記憶装置２０３に相当）に格納する。ただし、物体判定部１４は、同じ緯度、経度で撮影された画像を重複してメモリ９０に格納しない。これにより、赤信号等で車両が停止中の重複画像の検出を抑制する。

（v）描画部１５
描画部１５は、図７に示されるように、図４の画像Ｎに対して、物体検出部１３で検出した物体を囲むように検出枠を画像Ｎ上に描画する（画像ＮＥ参照）。

（vi）記録部１６
記録部１６は、描画部１５で原画像Ｎ上に検出枠を描画した画像をメモリ９０に保存する。なお、記録部１６は、当該画像と同じ位置情報（例えば、ＧＰＳデータ）を有する画像（例えば、端末装置４０を搭載する自動車等の車両が停止しているときに撮影された複数の画像）については対象物を含むと判定されたとしてもメモリ９０には格納しない、或いは格納したとしてもサーバー６０に送信すべきデータとはしない。また、多少の時間差があっても複数の画像（フレーム）に同じ対象物が含まれる場合がある。そこで、所定時間間隔内において対象物が複数の画像（フレーム）において検出された場合には、そのうち少なくとも１枚の画像をサーバー６０に送信すべき画像としても良い。このようにすることにより、さらにデータ通信量を削減することが可能となる。ただし、サーバー６０側で過去の画像を用いてより緻密に明暗補正処理を実行する場合には上記候補画像の前後数フレームの画像をサーバー６０に送るようにしても良い。

そして、通信デバイス４１は、メモリ９０に保存された検出すべき対象物（物体判定部１４で楕円として検出された物体）を含む画像のみをサーバー６０に送信する。

＜画像処理装置１の処理内容＞
図８は、本発明の実施形態による画像処理装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、色空間変換部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ８０１
入力部１０は、入力された画像を受け付け、当該入力画像を色空間変換部１１に出力する。
（ii）ステップ８０２
色空間変換部１１は、入力部１０が出力した画像Ｎ、すなわち、ＲＧＢの色空間画像を一例として、Ｌａｂ色空間画像に変換した画像ＮＡを求める。

（iii）ステップ８０３
明暗補正部１２は、色空間変換部１１で求めた画像ＮＡから、画像Ｎの領域Ｒ２内の色の明るさの平均値ａｖｅＲ２を算出する。また、明暗補正部１２は、メモリ９０から画像Ｎ−１（時間的に１つ前の画像）の領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を読込む。そして、明暗補正部１２は、上述の式１〜式３を用いて、明暗を補正した画像ＮＢを生成する。
（iv）ステップ８０４
物体検出部１３は、上述の式４を用いて、画像毎に閾値Ｔｈを求める。

（v）ステップ８０５
物体検出部１３は、明暗を補正した画像ＮＢの各画素値ｃｎＣｏｒについて、閾値Ｔｈと比較する。すなわち、画像ＮＢの各画素がａ値のとき、ｃｎＣｏｒ≧閾値Ｔｈの場合、処理はステップ８０６に移行する。一方、ｃｎＣｏｒ＜閾値Ｔｈの場合、処理はステップ８０７に移行する。なお、画像ＮＢの各画素がｂ値のとき、ｃｎＣｏｒ≦閾値Ｔｈの場合、処理はステップ８０６に移行する。一方、ｃｎＣｏｒ＞閾値Ｔｈの場合、処理はステップ８０７に移行する。

（vi）ステップ８０６
画像ＮＢの各画素がａ値及びｂ値の何れの場合でも、物体検出部１３は、補正値にｓ値（例えば、２５５）を設定する。
（vii）ステップ８０７
画像ＮＢの各画素がａ値及びｂ値の何れの場合でも、物体検出部１３は、補正値にｔ値（例えば、０）を設定する。

（viii）ステップ８０８
物体検出部１３は、対象画像内の全ての画素について補正値が求まるまで、上記ステップ８０５から８０７を繰り返す。ステップ８０５から８０７のステップを繰り返すことにより、例えば、図５の画像Ｎの領域Ｒ２は、物体検出後の画像ＮＤに示す背景と物体に分離可能となる。

（ix）ステップ８０９
物体判定部１４は、物体検出部１３で検出した画像Ｎ上の領域の画像をエッジ画像に変換し、確率的ハフ変換を用いて、そのエッジ画像の画素値の集合から、楕円が構成可能か否かを判定する。楕円を推定できた場合、検出した領域内の物体を検出すべき対象物と判定する。また、検出すべき対象物を含む画像を、通信デバイス４１に出力する。

（x）ステップ８１０
描画部１５は、物体検出部１３で検出した物体を囲むように検出枠を画像Ｎ上に描画する。
（xi）ステップ８１１
記録部１６は、物体の検出枠を描画した画像をメモリ９０（記憶装置２０３に相当）に保存する。

端末装置４０側の通信デバイス４１から送信された画像をサーバー６０側の通信デバイス６１で受信し、通信デバイス６１は、受信した画像をサーバー６０側の画像処理装置２に出力する。

＜画像処理装置２の機能構成と動作概要＞
図２は、本発明の実施形態による画像処理装置２の機能構成をも示すブロック図である。画像処理装置２は、画像処理装置１と同様の機能を有しているが、物体判定部９４の機能が画像処理装置１の物体判定部１４とは異なっている。以下で、画像処理装置１と機能の異なる物体判定部９４について説明する。

物体判定部９４は、物体検出部１３で検出した物体を精査して識別し、領域内の物体を認識する。また、物体判定部９４は、認識した画像をメモリ９０に保存する。

このように本実施形態の画像処理装置２では、色空間変換部１１で求めた色空間変換後の画像と、明暗補正部１２で算出した画像の明るさ（色の明るさ）の変化量を用いて、画像毎に画像の明暗強調割合を変更し、物体検出部１３で明暗補正後の画像から閾値を求め、その閾値を用いて、画像内の背景と背景内の物体を分離して背景内の物体を検出し、物体判定部９４で検出した物体を識別し、領域内の物体を認識することを特徴とする。

なお、画像処理装置２では、色空間変換処理及び明暗補正処理は必須の処理ではない。つまり、必ずしも色空間変換部１１及び明暗補正部１２を設けなくても良い。この場合、物体検出部１３による処理、及び物体判定部９４による処理は、例えば輝度情報を用いて実行されることになる。より具体的には、物体検出部１３では、輝度に関する閾値設定処理がなされ、物体判定部９４では、輝度に関するヒストグラムを用いて類似度を算出する処理がなされることになる。ただし、色空間変換処理及び明暗補正処理を実行した方がより正確に対象物を検出し、認識することができるという利点がある。

＜画像処理装置２のハードウェア構成＞
図３は、本発明の実施形態による画像処理装置２のハードウェア構成例をも示す図である。画像処理装置２は、画像処理装置１と同様の構成を有しているが、メモリ２０２内の物体判定部９４の機能が物体判定部１４と異なっている。以下で、画像処理装置１と構成および動作の異なるメモリ２０２、記憶装置２０３について説明する。

メモリ２０２は、プログラムとしての、入力部１０と、色空間変換部１１と、明暗補正部１２と、物体検出部１３と、物体判定部９４と、を格納する。

通信デバイス４１は、例えば、ネットワークを介して接続される他の装置（例えば、端末装置）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。

＜画像処理装置２の構成と動作（詳細）＞
以下、画像処理装置１と異なる画像処理装置２の構成と動作について詳細に説明する。上述のように、両者で異なる点は物体判定部の機能である。従って、以下では、物体判定部９４の動作について説明する。

物体判定部９４は、物体検出部１３で検出した物体が何の標識かを識別するための処理を実行する。この場合、物体判定部９４は、例えば、識別したい標識の基準画像（予めデータベース等として用意されている）をメモリ９０から読込み、基準画像と検出した物体の画像（ＲＧＢの画像で比較する）の各々について、ヒストグラムＡ（例えば、基準画像のヒストグラム）とＢ（検出した画像のヒストグラム）を作成する。そして、物体判定部９４は、作成したヒストグラムＡとＢの類似度を算出することにより、識別したい標識か否かを判定する（ヒストグラムの形状が近いか（Bhattacharyya距離が短い）否かで類似度を判定する）。類似度については、例えば、下記式５に示すように、ＲＧＢ毎に、ヒストグラム間のBhattacharyya距離によるＢ３２（ｃ）を求め、求めたｒ成分に関するＢ３２（ｒ）とｇ成分に関するＢ３２（ｇ）とｂ成分に関するＢ３２（ｂ）を用いて類似度Ｒを算出する。なお、ここで、ｃは、ｒ、ｇ、ｂのどれかを表す。

このように、ヒストグラム間の類似度Ｒを算出することにより、基準画像と検出した物体の画像の類似度を判定することが可能となる。また、ヒストグラムとして、階調数を削減したヒストグラム(例えば、２５６階調を１２８階調に削減)を用いてもよい。この場合、ビットレートが低い画像のブロック歪みによる影響を抑制して、基準画像と検出した物体の画像の類似度を判定することが可能となる。つまり、検出した物体の画像が劣化していても類似度を判定することができる。さらに、ヒストグラム間の類似度判定に対して、従来技術であるニューラルネットワークを用いて機械学習により画像の特徴量から識別器を作成し、その識別器を用いて、検出した物体を識別する判定を加えてもよい。つまり、類似度が高いと判定された基準画像が複数検出された場合、ニューラルネットワークを用いた識別器により、検出物体としてどの画像が正しい（確からしい）かを識別する。そして、物体判定部９４は、識別した物体の撮影時のＧＰＳ情報から緯度、経度を求め、その位置情報と画像をメモリ９０（記憶装置２０３に相当）およびサーバー６０側のメモリ６２に格納する。

＜画像処理装置２の処理内容＞
図８は、本発明の実施形態による画像処理装置２の動作をも説明するためのフローチャートでもある。以下では、処理部（物体判定部９４）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。画像処理装置２は、画像処理装置１と同様のステップを有しているが、ステップ８０９が下記のステップ９０９に変わっている。以下で、画像処理装置１と処理の異なるステップ９０９について説明する。

ステップ９０９では、物体判定部９４は、基準画像をメモリ９０（記憶装置２０３）から読み出し、検出した物体の画像と基準画像に対してヒストグラムを作成し、上述の式５を用いて、類似度Ｒを算出する。類似度Ｒが高い場合（類似度Ｒ≦閾値Ｔｈ_Ｒ：類似度Ｒは上記Bhattacharyya距離として算出されるため、「類似度が高い＝距離が短い」を意味する）に、物体判定部９４は、検出した物体を認識したい標識と判定する。なお、上述したように、ニューラルネットワークを用いた機械学習により求めた識別器を用い、その識別器による判別結果を上記判定に加えて、認識したい標識か否かを判定してもよい。
また、認識した物体を含む画像を、メモリ６２に格納する。

本発明の実施形態によれば、端末装置４０側の画像処理装置１によって、検出対象の物体が含まれる画像を検出してその画像のみをサーバー６０側に送信し、サーバー６０側の画像処理装置２によって、受信した画像内から物体を識別しているため、所望の対象物を検出およびデータ通信量を削減することが可能となる。

本発明の実施形態の画像処理装置１によれば、画像Ｎ−１までの過去の画像の色の明るさの平均値をブレンドしたａｖｅＲ１、及び処理対象の画像Ｎの色の明るさの平均値ａｖｅＲ２を用いて、画像Ｎの明暗を補正した画像ＮＢを作成し、画像ＮＢ毎に閾値Ｔｈを求めている。したがって、閾値Ｔｈを用いて、画像Ｎ内の背景と背景内の物体を分離し、検出対象の物体を含む画像を検出することが可能となる。

本発明の実施形態の画像処理装置２によれば、ヒストグラムを用いて、検出した物体と識別したい標識との類似度を判定しているため、検出した物体をより正確に認識することが可能となる。

また、本発明の実施形態の画像処理装置２によれば、階調数を削減したヒストグラムを用いて、検出した物体と識別したい標識との類似度を判定しているため、ビットレートの低い画像に含まれるブロックノイズの影響を抑制して、画像内の物体の輪郭が不鮮明な場合でも、検出した物体を認識することが可能となる。

このように、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像毎に画像内の領域を分離する閾値を求めることで、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して背景内の物体を検出し、検出対象の物体を含む画像のみを検出することが可能となる。また、スマートホン等のデータ通信量を抑え、サーバー６０側で受信した画像内から物体を検出し、かつ検出した物体を認識することが可能となる。さらに、不特定多数のユーザが撮影した車載スマートホンの映像内から検出対象の物体を含む画像を検出してサーバー６０側に送信し、サーバー６０側で受信した画像内から物体を認識することで、新設さえた道路や工事により変更となった道路上の道路上付属物をタイムリーに検出することが可能となる。

（２）第２の実施形態
図９は、本発明の第２の実施形態によるＰＯＩ(Point of Interest)情報作成システム９００の構成を示す機能ブロック図である。ＰＯＩ情報作成システム９００は、サーバー９０３と、移動端末装置９０７と、を有する。

移動端末装置９０７は、例えばスマートホンのような装置であり、画像データを撮影する撮像デバイス９０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１と、検出後画像をサーバー等９０３に送信する通信デバイス９０２と、サーバー等９０３から伝送されてきた認識後画像を表示する表示デバイス９０５と、を有している。ここで、撮像デバイス９０１は、例えばＣＭＯＳセンサやＣＣＤカメラ等によって構成しても良い。画像処理装置１は、第１の実施形態で説明した端末装置４０における画像処理装置１に相当するものである。通信デバイス９０２は、上述の端末装置４０における通信デバイス４１に相当するものである。

サーバー等９０３は、移動端末装置９０７から送信されてきた画像データを受信する通信デバイス９０４と、受信した画像データに対して、本発明の第１の実施形態による画像処理（対象物か否かを精査して認識する画像処理）を行う画像処理装置２と、画像処理装置２から出力された認識後画像を格納する格納デバイス（メモリや記憶装置等）９０６と、を有している。ここで、通信デバイス９０４は、第１の実施形態で説明したサーバー６０の通信デバイス６１に相当する。画像処理装置２は、上述のサーバー６０における画像処理装置２に相当するものである。

画像処理装置２は、撮像デバイス９０１で撮影した画像データ内から道路上付属物等の物体を認識する。画像処理装置２は、基準画像に、施設情報やスポット情報などの特定看板を設定することで、画像データ内から特定看板を認識する。

通信デバイス９０４は、特定看板等の認識後画像を移動端末装置９０７の通信デバイス９０２に送信する。
通信デバイス９０２は、受信した特定看板等の認識後画像を表示デバイス９０５に送信する。

表示デバイス９０５は、サーバー等９０３から伝送された特定看板等の認識後画像を、移動端末装置（例えばスマートホンなど）９０７の表示画面に表示する。より具体的には、表示デバイス９０５は、例えば、画面上に表示された地図情報上に特定された対象物の存在を示す情報（マーク）を表示する。

第２の実施形態によれば、車載スマートホンで撮影した映像内から特定看板を認識し、特定看板の認識後画像と位置情報をセットで格納することで、ＰＯＩ情報作成システムを提供することが可能となる。

（３）第３の実施形態
図１０は、本発明の第３の実施形態による警告システム１０００の構成を示す機能ブロック図である。警告システム１０００は、サーバー等１００３と、移動端末装置１００８と、を有する。当該警告システム１０００は、例えば、ユーザを地図上で目的地までの経路を誘導し（ナビゲーションシステム）、リアルタイムで標識等の対象物の情報を当該ユーザから収集しつつ、所定マークの場所に近づいたときに警告（アラート）を出力（例えば、画面上の表示、或いは音声によって出力）する。なお、ここで、所定マークは、例えば、予め決められた場所（例えば、役所や警察署など汎用的な建物やランドマーク的な建物）であっても良いし、過去の車両走行中に当該ユーザがマーキングした場所であっても良い。第３の実施形態によるシステムは、ユーザから情報を収集しながら（吸い上げながら）ユーザにとって有益な情報を提供するものである。

移動端末装置１００８は、例えばスマートホンのような装置であり、画像データを撮影する撮像デバイス１００１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１と、サーバー等１００３とデータを送受信する通信デバイス１００２と、サーバー等１００３から伝送された認識後画像を表示する表示デバイス１００５と、サーバー等１００３から伝送されたアラート情報を出力する出力デバイス１００６と、を有している。ここで、撮像デバイス１００１は、例えばＣＭＯＳセンサやＣＣＤカメラ等によって構成しても良い。画像処理装置１は、第１の実施形態で説明した端末装置４０における画像処理装置１に相当するものである。通信デバイス１００２は、上述の端末装置４０における通信デバイス４１に相当するものである。

サーバー等１００３は、移動端末装置１００８から送信されてきた画像データを受信、もしくは、移動端末装置１００８に認識後画像データやアラート情報を送信する通信デバイス１００４と、受信した画像データに対して、本発明の第１の実施形態による画像処理（対象物か否かを精査して認識する画像処理）を行う画像処理装置２と、画像処理装置２から出力された認識後画像等を格納する格納デバイス（メモリや記憶装置等）１００７と、を有している。ここで、通信デバイス１００４は、第１の実施形態で説明したサーバー６０の通信デバイス６１に相当する。画像処理装置２は、上述のサーバー６０における画像処理装置２に相当するものである。

画像処理装置２は、撮像デバイス１００１で撮影した画像データ内から道路上付属物などの物体を認識する。また、画像処理装置２は、基準画像に、速度標識などの標識を設定することで、画像データ内から標識を認識する。

表示デバイス１００５は、サーバー等１００３から伝送された速度標識等の認識後画像を、移動端末装置１００８（例えば、スマートホンなど）の表示画面（図示せず）に表示する。

出力デバイス１００６は、サーバー等１００３から伝送されたアラート情報を、移動端末装置１００８のスピーカーから出力したり、表示画面（図示せず）に表示したりする。

さらに、アラートが出された地点の画像（検出、もしくは認識された画像）をサーバー１００３及び／又は移動端末装置１００８において登録するようにしても良い。

第３の実施形態によれば、車載スマートホンで撮影した映像内から速度標識などの標識を認識し、標識の認識後画像とアラート情報をセットにしてスマートホンなどに伝送することで、警告システムを提供することが可能となる。

（４）第４の実施形態
図１１は、本発明の第４の実施形態による簡易誘導システム１１００の構成を示す機能ブロック図である。簡易誘導システム１１００は、サーバー等１１０３と、移動端末装置１１０８と、を有している。簡易誘導システム１１００は、例えば、ユーザによって走行ルートが設定されると、当該ルート上に存在する標識等の対象物の情報をリアルタイムで収集しながら検出された標識を当該ユーザに提示し、当該ルート上で当該ユーザを誘導する。例えば、当該システムは、地図上でユーザを誘導するのではなく、設定ルート上で左折すべき個所の標識を検出したら「ここを左折です」などの音声で誘導するものである。

移動端末装置１１０８は、例えばスマートホンのような装置であり、画像データを撮影する撮像デバイス１１０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１と、サーバー等１１０３とデータを送受信する通信デバイス１１０２と、サーバー等１１０３から伝送された認識後画像を表示する表示デバイス１１０５と、サーバー等１１０３から伝送された誘導情報を出力する出力デバイス１１０６と、を有している。ここで、撮像デバイス１１０１は、例えばＣＭＯＳセンサやＣＣＤカメラ等によって構成しても良い。画像処理装置１は、第１の実施形態で説明した端末装置４０における画像処理装置１に相当するものである。通信デバイス１１０２は、上述の端末装置４０における通信デバイス４１に相当するものである。

サーバー等１１０３は、移動端末装置１１０８から送信されてきた画像データを受信、もしくは、移動端末装置１１０８に認識後画像データや誘導情報を送信する通信デバイス１１０４と、受信した画像データに対して、本発明の第１の実施形態による画像処理（対象物か否かを精査して認識する画像処理）を行う画像処理装置２と、画像処理装置２から出力された認識後画像等を格納する格納デバイス（メモリや記憶装置等）１１０７と、を有している。ここで、通信デバイス１１０４は、第１の実施形態で説明したサーバー６０の通信デバイス６１に相当する。画像処理装置２は、上述のサーバー６０における画像処理装置２に相当するものである。

画像処理装置２は、撮像デバイス１１０１で撮影した画像データ内から道路上付属物などの物体を認識する。また、画像処理装置２は、基準画像に、方面看板（道路案内標識）などの標識を設定することで、画像データ内から方面看板を認識する。また、方面看板の矢印や文字から、矢印や文字のパターンマッチング等により誘導方向を検出する。

表示デバイス１１０５は、サーバー等１１０３から伝送された方面看板等の認識後画像を、移動端末装置１１０８（例えばスマートホンなど）の表示画面（図示せず）に表示する。

出力デバイス１１０６は、サーバー等１１０３から伝送された誘導情報を、移動端末装置１１０８のスピーカーから出力したり、表示画面（図示せず）に表示したりする。

第４の実施形態によれば、車載スマートホンで撮影した映像内から方面看板などの標識を認識し、標識の認識後画像と誘導情報をセットにしてスマートホンなどに伝送することで、簡易誘導システムを提供することが可能となる。

（５）まとめ
（i）本実施形態による物体検出システムは、端末装置４０側の画像処理装置１によって、検出対象の物体が含まれる画像（候補画像）を検出してその画像のみをサーバー６０側に送信し、サーバー６０側の画像処理装置２によって、受信した画像内から物体を認識しているため、所望の対象物を検出およびデータ通信量を削減することが可能となる。

ここで、画像処理装置１は、撮像した画像において、検出対象を撮像画像の背景から分離する簡易検出のための基準である第１の評価基準に基づいて検出対象を検出する。一方、画像処理装置２は、候補画像を精査して検出対象を特定する対象認識のための基準である第２の評価基準に基づいて検出対象を特定・認識する。

（ii）本実施形態による画像処理装置１は、対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、対象画像において、検出すべき対象物を含む対象領域における色情報の明るさの平均値を示す第１の平均値を算出する処理と、対象領域において、各画素の色情報の明るさと第１の平均値とを比較し、明暗を補正した補正画像を生成する処理と、補正画像に基づいて物体の領域を抽出する処理と、抽出した領域内の楕円を推定して物体を検出する処理と、を実行する。より具体的には、式３に示されるように、対象画像（画像Ｎ：現画像）の情報を用いて、色情報（ａ値やｂ値）の明るさの平均値よりも暗い画素はより暗く、当該平均値よりも明るい画素はより明るくなるように明暗補正されて補正画像（明暗をさらに強調した画像）が生成される。この際、倍率値ｖを導入し、過去の画像（画像Ｎ−１までの画像）の色情報の明るさの平均値をも考慮して明暗補正を行っても良い。このように明暗補正をして対象画像から物体の領域を抽出する。そして、その領域内の楕円を推定して、所望の物体を抽出（検出）するので、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することができるようになる。過去の画像を考慮する場合には、時系列に変化する画像の明るさに応じて画像毎に画像内の領域を分離することができるようになる。

（iii）本実施形態による画像処理装置２は、予め用意された基準画像と対象画像の中から抽出（検出）された物体とを比較することにより物体を認識する。これにより、抽出した物体が何であるか認識することができるようになる。

（iv）第２の実施形態によれば、車載スマートホンで撮影した映像内から施設情報やスポット情報を示す特定看板を認識し、特定看板認識によるＰＯＩ情報作成システムを提供することが可能となる。
（v）第３の実施形態によれば、車載スマートホンで撮影した映像内から速度標識などの標識を認識し、標識認識による警告システムを提供することが可能となる。
（vi）第４の実施形態によれば、車載スマートホンで撮影した映像内から方面看板などの標識を認識し、方面看板認識による簡易誘導システムを提供することが可能となる。
（vii）なお、以上説明した各実施形態については、次のような変形が可能である。
色空間変換部１１では、入力画像をＬａｂ色空間に変換した画像を作成したが、ＨＳＶ色空間等の他の色空間の画像に変換してもよく、同様の効果を有する。
物体判定部９４では、式５を用いて、基準画像と検出した物体の画像との類似度を判定したが、Ｂ３２（ｒ）、Ｂ３２（ｇ）、Ｂ３２（ｂ）のどれか１つを用いてもよく、また、それぞれの組合せを用いて類似度を判定してもよく、同様の効果を有する。

（viii）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１ 画像処理装置
２ 画像処理装置
１０ 入力部
１１ 色空間変換部
１２ 明暗補正部
１３ 物体検出部
１４ 物体判定部
１５ 描画部
１６ 記録部
３０ 撮像デバイス
４０ 端末装置
４１ 通信デバイス
６０ サーバー
６１ 通信デバイス
６２ メモリ
９１ 制御部
９４ 物体判定部
１００ 物体検出システム
９００ ＰＯＩ情報作成システム
１０００ 警告システム
１１００ 簡易誘導システム。

Claims (12)

1. 画像を撮像する撮像装置と、前記撮像装置から前記画像を受け取り、当該画像から検出対象を含む画像を検出する第１の画像処理装置と、サーバーとの間でデータを送受信する第１の通信装置と、を含む端末装置と、
   前記端末装置との間でデータを送受信する第２の通信装置と、前記端末装置から受信した画像から前記検出対象を認識する第２の画像処理装置と、前記認識した検出対象のデータを保存する格納デバイスと、を含むサーバーと、を有し、
   前記端末装置は、
   前記第１の画像処理装置を用いて、前記撮像した画像から、第１の評価基準に基づいて前記検出対象を含む候補画像を検出する処理と、
   前記第１の通信装置を用いて、前記第１の評価基準に基づいて検出された前記候補画像を前記サーバーへ送信する処理と、を実行し、
   前記サーバーは、
   前記第２の通信装置を用いて前記候補画像を受信する処理と、
   前記第２の画像処理装置を用いて、前記第１の評価基準とは異なる第２の評価基準に基づいて、前記候補画像から前記候補画像に含まれる前記検出対象を認識する処理と、
   前記検出対象の画像と前記候補画像とを前記格納デバイスに記憶する処理と、
   を実行する、物体検出システム。
2. 請求項１において、
   前記第１の評価基準は、前記撮像した画像において、前記検出対象を当該画像の背景から分離する簡易検出のための基準であり、
   前記第２の評価基準は、前記候補画像を精査して前記検出対象を特定する対象認識のための基準である、物体検出システム。
3. 請求項１において、
   前記第１の画像処理装置は、
   前記対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、
   前記対象画像において、前記検出対象の領域における色情報の明るさの平均値を示す第１の平均値を算出する処理と、
   前記領域において、各画素の前記色情報の明るさと前記第１の平均値とを比較し、明暗を補正した補正画像を生成する処理と、
   前記補正画像に基づいて前記検出対象の領域を抽出する処理と、
   前記領域内において前記検出対象を検出する処理と、
   を実行する、物体検出システム。
4. 請求項３において、
   前記第１の画像処理装置は、前記補正画像において背景と前記検出対象とを分離することにより前記検出対象を抽出する、物体検出システム。
5. 請求項３において、
   前記第１の画像処理装置は、前記対象画像よりも前に撮影された過去画像において、前記対象画像の領域に対応する領域における色情報の明るさの平均値を示す第２の平均値を算出し、前記第１の平均値と前記第２の平均値の大きさの比率を考慮して前記補正画像を生成する、物体検出システム。
6. 請求項３において、
   前記第１の画像処理装置は、前記抽出した検出対象の領域内の楕円を推定することにより、前記検出対象を含む画像を検出する、物体検出システム。
7. 請求項３において、
   前記第２の画像処理装置は、予め用意された基準画像と前記検出対象とを比較することにより前記検出対象を識別する、物体検出システム。
8. 請求項１において、
   前記端末装置は、前記撮像装置によって撮像された前記画像の位置情報を考慮して前記候補画像を前記サーバーに送信する、物体検出システム。
9. 対象画像において所望の物体を認識する物体検出方法であって、
   端末装置で画像を撮像するステップと、
   前記端末装置で撮像した前記画像から検出対象を含む画像を検出するステップと、
   前記端末装置からサーバーに前記画像を送信するステップと、
   前記サーバーにおいて、前記端末装置から受信した画像内から前記検出対象を認識するステップと、
   認識した前記検出対象を含む画像を格納デバイスに保存するステップと、を有し、
   前記検出対象を検出するステップは、前記画像から、第１の評価基準に基づいて前記検出対象を含む候補画像を検出するステップを含み、
   前記検出対象を認識するステップは、前記第１の評価基準とは異なる第２の評価基準に基づいて、前記候補画像から前記候補画像に含まれる前記検出対象を認識するステップを含み、
   前記保存するステップは、前記物体領域と前記画像とを前記格納デバイスに記憶するステップを含む、物体検出方法。
10. 請求項１に記載の物体検出システムを有するＰＯＩ情報作成システムであって、
    前記サーバーは、さらに、前記認識した検出対象の画像を前記端末装置に送信し、
    前記端末装置は、さらに、前記サーバーから受信した前記検出対象の画像を用いてＰＯＩ情報を作成し、当該ＰＯＩ情報を表示画面上に表示する、ＰＯＩ情報作成システム。
11. 請求項１に記載の物体検出システムを有する警告システムであって、
    前記サーバーは、さらに、前記認識した検出対象に対応するアラート情報を生成し、当該アラート情報と前記認識した検出対象の画像を前記端末装置に送信し、
    前記端末装置は、さらに、前記サーバーから受信した前記検出対象の画像を表示画面上に表示すると共に、前記アラート情報を出力する、警告システム。
12. 請求項１に記載の物体検出システムを有する誘導システムであって、
    前記検出対象は道路案内標識であり、
    前記サーバーは、さらに、前記認識した道路案内標識に対応する誘導情報を生成し、当該誘導情報と前記認識した道路案内標識の画像を前記端末装置に送信し、
    前記端末装置は、さらに、前記サーバーから受信した前記道路案内標識の画像を表示画面上に表示すると共に、前記誘導情報を出力する、誘導システム。
    

Images