JP2017182200A - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】歩行者等の移動体の位置を認識するための画像認識処理をカメラ画像全体に行わなくてすむように、画像における画像認識処理を行うべき一部の領域を決定することができる画像処理装置等を提供する。【解決手段】撮影手段及び移動体の各々の位置を含む位置情報を取得し、各々の位置において、撮影手段が撮影した移動体を含む画像から移動体が写っている領域を、位置情報及び設定された対応情報に基づいて、決定する。【選択図】図９

Description

本願は、画像内における移動体を含む領域を決定する画像処理装置等の技術分野に関する。

従来、車両の前方に歩行者がいることをドライバーに警告するために、車両の前方を撮影したカメラ画像における歩行者の位置を自動的に認識する技術が知られている。こうした自動認識では、歩行者を表すテンプレート画像をカメラ画像全体に対して一部領域ずつテンプレートマッチングする画像認識処理が行われているが、当該処理は処理装置にとって負荷が大きいという問題がある。

そこで、特許文献１では、ＣＣＤ（Charge Coupled Device）カメラ及び熱画像センサカメラを用い、両カメラから得られる映像情報を映像信号処理して歩行者の発する熱に基づいて歩行者の位置を検知する画像式歩行者検出装置が開示されている。

特開平７−２００９８６号公報

しかしながら、歩行者検知のためにＣＣＤカメラに加えて熱画像センサカメラを車両に設置することは費用が掛かること、設置場所を要することなどを考慮すると容易にできない。

本願発明は、こうした事情に鑑み、歩行者等の移動体の位置を認識するための画像認識処理をカメラ画像全体に行わなくてすむように、画像における画像認識処理を行うべき一部の領域を決定することができる画像処理装置等を提供することを課題とする。

請求項１に記載の発明は、撮影手段及び移動体の各々の位置を含む位置情報を取得する取得手段と、前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定手段と、を備えることを特徴とする。

請求項８に記載の発明は、画像処理装置による画像処理方法であって、撮影手段及び移動体の各々の位置を含む位置情報を取得する取得工程と、前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定工程と、を含むことを特徴とする。

請求項９に記載の発明は、コンピュータを、撮影手段及び移動体の各々の位置を含む位置情報を取得する取得手段、前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定手段、として機能させることを特徴とする。

請求項１０に記載の発明は、コンピュータを、撮影手段及び移動体の各々の位置を含む位置情報を取得する取得手段、前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定手段、として機能させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

画像処理装置１のブロック図である。 画像処理システムＳの構成例を示す概要図である。 サーバ装置ＳＶの構成例を示す図である。 携帯端末ＭＴの構成例を示すブロック図である。 ナビゲーション装置ＮＶの構成例を示すブロック図である。 カメラＣの撮影範囲の例を示す図である。 実空間におけるカメラＣｒと歩行者Ｗｒの位置関係の例を示す図である。 カメラ画像上におけるカメラＣｉと歩行者Ｗｉの位置関係の例を示す図である。 ナビゲーション装置ＮＶの動作例を示すフローチャートである。

本願発明を実施するための形態について、図１を用いて説明する。

図１に示すように、画像処理装置１は取得手段１１１Ａと、決定手段１１１Ｂと、を備えている。

取得手段１１１Ａは、撮影手段及び移動体の各々の位置を含む位置情報を取得する。移動体とは、例えば、人、動物、自動車、自転車、自動二輪車、鉄道車両、船、航空機など、移動する物体のことである。

決定手段１１１Ｂは、各々の位置において、撮影手段が撮影した移動体を含む画像から移動体が写っている領域を、位置情報及び設定された対応情報に基づいて、決定する。

したがって、画像処理装置１によれば、画像における移動体が写っている領域が決定されることから、移動体の位置を認識するための画像認識処理を画像全体に行わなくてすみ、画像認識処理に関する処理負担を軽減することができる。

また、決定手段１１１Ｂは、画像における移動体が写っている領域と消失点との長さに応じて、移動体が写っている領域の大きさを決定する。例えば、消失点と移動体が写っている領域の長さが短ければ移動体が写っている領域の大きさを小さくし、消失点と移動体が写っている領域の長さが長ければ移動体が写っている領域の大きさを大きくする。これにより、消失点と移動体が写っている領域の長さに応じて移動体が写っている領域の大きさを適切な大きさにすることができる。

なお、画像処理装置１は、撮影手段の撮影範囲と位置情報に基づいて、画像に写る範囲を特定する画像範囲特定手段１１１Ｃを更に備えることとしてもよい。そして、取得手段１１１Ａは、画像に写る範囲に含まれる移動体の位置情報を取得する。この場合、画像に写る範囲外の移動体の位置情報を取得しないことから、画像に写らない移動体に関する処理を省くことができ、処理負担を軽減することができる。

また、画像処理装置１は、決定手段１１１Ｂが決定した領域に対して、移動体を認識する処理を行う認識手段１１１Ｄを更に備えることとしてもよい。

更に、画像処理装置１は、取得手段１１１Ａが取得した移動体の位置の変化に基づいて、移動体の状態を特定する特定手段１１１Ｅを更に備えることとしてもよい。そして、決定手段１１１Ｂは、特定手段１１１Ｅによって所定の状態にあると特定された移動体に対して移動体が写っている領域を決定することとしてもよい。所定の状態は、少なくとも車道内に存在している状態又は歩道に存在している状態の何れかであってもよい。

次に、上述した実施形態に対応する具体的な実施例について説明する。

図２−図９を用いて実施例について説明する。なお以下に説明する実施例は、本願発明を、画像処理システムＳにおけるナビゲーション装置ＮＶに適用した場合の実施例である。

［１．画像処理システムＳの概要］
画像処理システムＳは、歩行者Ｗが携帯する携帯端末ＭＴと、サーバ装置ＳＶと、車両Ｖに搭載されたナビゲーション装置ＮＶとを含んで構成されており、サーバ装置ＳＶがネットワークＮＷを介して携帯端末ＭＴ及びナビゲーション装置ＮＶと接続されている。携帯端末ＭＴ及びナビゲーション装置ＮＶは、ＧＰＳ受信機を備え、複数のＧＰＳ衛星から受信されたＧＰＳ信号に基づいて現在位置を測位する。

携帯端末ＭＴは歩行者Ｗ（携帯端末ＭＴ）の現在位置を示す現在位置情報（緯度、経度、高度情報）をサーバ装置ＳＶに適宜送信し、サーバ装置ＳＶはこれを携帯端末ＭＴを識別するための識別情報と対応付けて記憶する。

一方、ナビゲーション装置ＮＶは、車両Ｖの前方を撮影するカメラを備えており、カメラで撮影した画像に写る範囲を特定し、当該範囲内に存在する歩行者Ｗの現在位置情報をサーバ装置ＳＶから取得する。そして、ナビゲーション装置ＮＶは、ナビゲーション装置ＮＶ（又はカメラ）の位置と、歩行者Ｗの位置に基づいて、両者間の距離及び方位角を算出し、これに基づいて、カメラで撮影した画像における歩行者Ｗが写っていると推定される範囲を決定する。

［２．サーバ装置ＳＶの構成］
次に、サーバ装置ＳＶの構成について説明する。図３に示すように、サーバ装置ＳＶは、大別して、制御部３１１、記憶部３１２、通信部３１３、表示部３１４及び操作部３１５を含んで構成されている。

記憶部３１２は、例えばハードディスクドライブ等により構成されており、ＯＳ（Operating System）、サーバプログラム及び各種データを記憶する。また、記憶部３１２は、携帯端末ＭＴから受信した現在位置情報を送信元の携帯端末ＭＴを識別するための識別情報と対応付けて記憶する。

通信部３１３は、ネットワークＮＷに接続して、ナビゲーション装置ＮＶや携帯端末ＭＴとの通信状態を制御する。

表示部３１４は、例えば、液晶ディスプレイ等により構成されており、文字や画像等の情報を表示するようになっている。

操作部３１５は、例えば、キーボード、マウス等により構成されており、オペレータからの操作指示を受け付け、その指示内容を指示信号として制御部３１１に出力するようになっている。

制御部３１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部３１２に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

制御部３１１は、携帯端末ＭＴから現在位置情報を受信すると、送信元の携帯端末ＭＴを識別するための識別情報と対応付けて記憶部３１２に記憶させる。また、制御部３１１は、ナビゲーション装置ＮＶからカメラで撮影した画像に写る範囲を示す情報を受信すると、当該範囲内の地点を示す現在位置情報を抽出し、ナビゲーション装置ＮＶに対して送信する。

［３．携帯端末ＭＴの構成］
次に、携帯端末ＭＴの構成について説明する。図４に示すように、携帯端末ＭＴは、大別して、制御部４１１、記憶部４１２、通信部４１３、表示部４１４及び操作部４１５を含んで構成されている。

記憶部４１２は、例えばハードディスクドライブ等により構成されており、ＯＳ、各種プログラム（ウェブブラウザ）及び各種データを記憶する。

通信部４１３は、ネットワークＮＷに接続して、サーバ装置ＳＶとの通信状態を制御する。

表示部４１４は、例えば、液晶ディスプレイ等により構成されており、文字や画像等の情報を表示するようになっている。

操作部４１５は、例えば、キーボード、マウス等により構成されており、オペレータからの操作指示を受け付け、その指示内容を指示信号として制御部３１１に出力するようになっている。

ＧＰＳ受信部４１６は、ＧＰＳ衛星からの航法電波を受信し、ＧＰＳ測位データとして現在位置情報である緯度、経度、高度データ、歩行者Ｗの進行方向の絶対方位データ及びＧＰＳ速度データ等を制御部４１１に出力する。

制御部４１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部４１２に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

制御部４１１は、現在位置情報を所定の規則に従って、携帯端末ＭＴの識別情報とともにサーバ装置ＳＶに送信する。所定の規則としては、例えば、所定時間が経過する度といった規則や、所定距離を移動する度といった規則を設定することができる。

［４．ナビゲーション装置ＮＶの構成］
次に、図５を用いて本実施例に係るナビゲーション装置ＮＶの構成について説明する。図５に示すように、ナビゲーション装置ＮＶは、制御部２１１と、ＨＤＤ等からなる記憶装置２１２と、入力装置２１３と、表示ユニット２１４と、バスライン２１５と、入出力インターフェース部２２０と、車速センサ２２１と、角速度センサ２２２と、加速度センサ２２３と、舵角センサ２２４と、ＧＰＳ受信部２２５と、データ送受信部２２６と、カメラＣを備えて構成されている。

車速センサ２２１は、例えばナビゲーション装置ＮＶが搭載されている車両から取得される車速パルス等を用いた速度検出処理等を用いて当該車両の現在速度を検出し、速度データを出力する。角速度センサ２２２は、当該車両の、例えば方向変化の角速度を検出し、単位時間当たりの角速度データ及び相対方位データを出力する。加速度センサ２２３は、当該車両の例えば前後方向の加速度を検出し、単位時間当たりの加速度データ等を出力する。舵角センサ２２４は、当該車両の舵角を検出し、舵角データ等を出力する。ＧＰＳ受信部２２５は、ＧＰＳ衛星からの航法電波を受信し、ＧＰＳ測位データとして自車位置情報である緯度、経度、高度データ、車両の進行方向の絶対方位データ及びＧＰＳ速度データ等を出力する。データ送受信部２２６は、ネットワークＮＷを介してサーバ装置ＳＶとの間のデータの送受信に係る処理を行う。カメラＣは、ナビゲーション装置ＮＶが搭載されている車両に設けられ、車両の前方を撮影するためのカメラ（例えばＣＣＤカメラ）であり、撮影した画像を制御部２１１に出力する。

記憶装置２１２は、オペレーティングシステムや、アプリケーションプログラム等の各種プログラム、これらプログラムで使用されるデータ、情報を記憶する。なお、各種プログラムは、例えば、サーバ装置等からネットワークを介して取得されるようにしても良いし、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記録媒体に記録されたものを読み込んで実行することとしてもよい。

また、記憶装置２１２は、表示ユニット２１４に地図を表示するための地図画像データや、経路を探索する際に用いる地図情報、道路リンク情報などが格納される。なお、記憶装置２１２が記憶する情報は、ナビゲーション装置ＮＶ外のサーバ装置に記憶させ、適宜、受信して利用することとしてもよい。

入力装置２１３は、タッチセンサ、タッチパネル、キーボード、マウス、圧力検知センサ、ジョグダイヤル、その他のコントローラ等により構成され、利用者の入力操作を受け付けて、操作内容を示す操作信号を制御部２１１に送信する。

表示ユニット２１４は、制御部２１１の制御下で各種表示データを表示する。表示ユニット２１４は、グラフィックスコントローラ２１４ａと、ＶＲＡＭ（Video RAM）等のメモリからなるバッファメモリ２１４ｂと、液晶ディスプレイ等からなるディスプレイ２１４ｃ等を備えて構成されている。この構成においてグラフィックスコントローラ２１４ａは、バスライン２１５を介して制御部２１１から送られる制御データに基づいて、表示ユニット２１４全体の制御を行う。また、バッファメモリ２１４ｂは、即時表示可能な画像情報を一時的に記憶する。そして、グラフィックスコントローラ２１４ａから出力される画像データに基づいて、ディスプレイ２１４ｃに画像が表示される。

制御部２１１は、制御部２１１全体を制御するＣＰＵ２１１ａと、制御部２１１を制御する制御プログラム等が予め記憶されているＲＯＭ２１１ｂと、各種データを一時的に格納するＲＡＭ２１１ｃと、により構成されている。制御部２１１は、車速センサ２２１、角速度センサ２２２、加速度センサ２２３、舵角センサ２２４及びＧＰＳ受信部２２５と、バスライン２１５及び入出力インターフェース部２２０を介して接続されており、それぞれから出力される速度データ、角速度データ及び相対方位データ、舵角データ、ＧＰＳ測位データ及び車両の進行方向の絶対方位データ、加速度データ等に基づいて、ナビゲーション装置全体の制御を行うとともに、表示ユニット２１４等の各種構成部材における夫々の動作を制御する。

制御部２１１は、カメラＣが撮影したカメラ画像に写る範囲を特定する。具体的には、カメラＣのカメラ位置情報（本実施例では、自車位置情報で代用する）と、カメラＣの撮影範囲を特定するための撮影範囲特定情報とに基づいて特定する。撮影範囲特定情報は、カメラＣのイメージセンサやカメラレンズの焦点距離等に基づいて予め作成された情報であり、記憶装置２１２により記憶されている。例えば、撮影範囲特定情報は、図６に示すように、カメラＣの正面を０°とした場合の左右３０°までの範囲であって、且つ、カメラＣの位置から２００ｍまでの範囲といった範囲を示す。制御部２１１は、図６におけるカメラＣの位置をカメラ位置情報の示す位置と対応付けることにより、カメラＣが撮影したカメラ画像に写る範囲を特定する。そして、制御部２１１は、カメラ画像に写る範囲を示す情報をサーバ装置ＳＶに送信し、その応答として、当該カメラ画像に写る範囲内の地点を示す現在位置情報（ナビゲーション装置ＮＶ側では「歩行者位置情報」という）をサーバ装置ＳＶから受信する。

また、制御部２１１は、カメラ位置情報と歩行者位置情報に基づいて、実空間におけるカメラＣと歩行者Ｗの距離及び方位角を算出する。具体的には、図７に示すような、カメラ位置情報の示すカメラＣの位置Ｃｒ、歩行者位置情報の示す歩行者Ｗの位置Ｗｒである場合、カメラＣと歩行者Ｗの距離Ｒｒ及び方位角θｒは、カメラ位置情報及び歩行者位置情報の緯度、経度情報から算出する。２点の緯度、経度から２点間の距離及び方位角を算出する手法は従来公知の手法を採用することができる。また、制御部２１１は、カメラＣの位置Ｃｒと点Ｐｒの距離Ｚｒ（「正面成分距離Ｚｒ」という）を三平方の定理により算出する。

更に、制御部２１１は、実空間における正面成分距離Ｚｒ及び方位角θｒを、カメラ画像における正面成分距離及び方位角に変換する。例えば、図８に示すように、カメラ画像Ｉの下端中央をカメラ位置Ｃｉとした場合、実空間における正面成分距離Ｚｒに対応するカメラ画像Ｉにおける正面成分距離Ｚｉは従来公知の手法（自車両に設置したカメラにより撮影されたカメラ画像から自車両と先方車両との距離を算出する公知技術を利用することができる）により取得することができる。すなわち、実空間におけるカメラＣｒから点Ｐｒまでの正面成分距離Ｚｒは、カメラ画像ＩにおけるカメラＣｉから点Ｐｉまでの正面成分距離Ｚｉ（カメラ画像Ｉにおける距離はピクセル数に変換することもできる）に変換することができる。ナビゲーション装置ＮＶでは、実空間における正面成分距離Ｚｒからカメラ画像Ｉにおける正面成分距離Ｚｉへの距離変換テーブルを予め作成して記憶装置２１２に記憶させておくこととする。そして、制御部２１１は、正面成分距離Ｚｒを算出すると、距離変換テーブルに基づいて正面成分距離Ｚｒに対応する正面成分距離Ｚｉを取得する。ナビゲーション装置ＮＶは、実空間における方位角θｒについても同様に、実空間における方位角θｒからカメラ画像Ｉにおける方位角θｉへの方位角変換テーブルを予め作成して記憶装置２１２に記憶させておくこととする。そして、制御部２１１は、方位角θｒを算出すると、方位角変換テーブルに基づいて方位角θｒに対応する方位角θｉを取得する。制御部２１１は、このようにカメラ画像Ｉにおける正面成分距離Ｚｉ及び方位角θｉを取得することにより、カメラ画像Ｉにおける歩行者Ｗの位置Ｗｉを推定する。すなわち、点Ｐｉを通る水平線Ｈと、カメラ位置Ｃｉから方位角θｉだけ傾けた線の交点を歩行者Ｗの位置Ｗｉと推定する。

更にまた、制御部２１１は、カメラ画像Ｉにおける消失点Ｑを特定する。消失点Ｑの特定方法は従来公知の手法（参考：特開２０１０−１６０５６７号公報）を採用することができる。そして、制御部２１１は、カメラ画像Ｉにおける歩行者Ｗの位置Ｗｉと消失点Ｑの距離ＱＷに応じて、後述する画像認識処理を行う範囲を示す認識領域Ｔの大きさ（例えば、認識領域Ｔを正方形とする場合の一辺の長さ）を取得する。具体的には、歩行者Ｗの位置Ｗｉと消失点Ｑとの距離ＱＷが長いほど認識領域Ｔの大きさを大きくする。ここで、ナビゲーション装置ＮＶでは、歩行者Ｗの位置Ｗｉと消失点Ｑとの距離ＱＷから認識領域Ｔの大きさを取得するための認識領域取得テーブルを予め作成して記憶装置２１２に記憶させておくこととする。そして、制御部２１１は、消失点Ｑを特定すると、認識領域取得テーブルに基づいて歩行者Ｗの位置Ｗｉと消失点Ｑとの距離ＱＷに対応する認識領域Ｔの大きさを取得する。

更にまた、制御部２１１は、カメラ画像Ｉにおける歩行者Ｗの位置Ｗｉを推定し、認識領域Ｔの大きさを決定すると、カメラ画像Ｉにおける認識領域Ｔを決定する。すなわち、歩行者Ｗの位置Ｗｉを中心とし、且つ、先に取得した大きさをその大きさとする認識領域Ｔを決定する。

更にまた、制御部２１１は、認識領域Ｔを決定すると、認識領域Ｔに対して歩行者の位置を認識するための認識処理を行う。認識処理としては、例えば、従来公知の歩行者を表すテンプレート画像を認識領域Ｔに対してテンプレートマッチングする画像認識処理を行うことができる。このように、カメラ画像Ｉの全体にではなく、カメラ画像Ｉの一部（すなわち、認識領域Ｔ）についてのみ認識処理をすればよいので、カメラ画像Ｉの全体に対して認識処理をする場合と比較して、制御部２１１の処理負担は大幅に軽減される。

［５．ナビゲーション装置ＮＶの動作例］
次に、図９のフローチャートを用いて、ナビゲーション装置ＮＶが認識領域を決定する認識領域決定処理の動作例について説明する。

まず、制御部２１１は、カメラ位置情報及び撮影範囲特定情報を取得する（ステップＳ１１）。具体的には、カメラ位置情報はＧＰＳ受信部２２５により出力された自車位置情報を使用する。一方、撮影範囲特定情報は記憶装置２１２から取得する。

次に、制御部２１１は、ステップＳ１１の処理で取得したカメラ位置情報及び撮影範囲特定情報に基づいて、カメラ画像に写る範囲を特定する（ステップＳ１２）。

次に、制御部２１１は、カメラ画像に写る範囲に存在する歩行者位置情報を取得する（ステップＳ１３）。具体的には、制御部２１１は、カメラ画像に写る範囲を示す情報をサーバ装置ＳＶに送信し、その応答として、当該カメラ画像に写る範囲内の地点を示す現在位置情報（ナビゲーション装置ＮＶ側では「歩行者位置情報」という）をサーバ装置ＳＶから取得する。

次に、制御部２１１は、ステップＳ１１の処理で取得したカメラ位置情報とステップＳ１３の処理で取得した歩行者位置情報に基づいて、実空間におけるカメラＣｒと歩行者Ｗｒの正面成分距離Ｚｒ及び方位角θｒを算出する（ステップＳ１４）。

次に、制御部２１１は、距離変換テーブルと方位角変換テーブルに基づいて、ステップＳ１４の処理で算出した実空間におけるカメラの位置Ｃｒと歩行者の位置Ｗｒに対応する正面成分距離Ｚｒ及び方位角θｒから、カメラ画像Ｉにおけるカメラの位置Ｃｉと歩行者の位置Ｗｉに対応する正面成分距離Ｚｉ及び方位角θｉを取得する（ステップＳ１５）。

次に、制御部２１１は、ステップＳ１５の処理で取得したカメラ画像Ｉにおける正面成分距離Ｚｉ及び方位角θｉに基づいて、カメラ画像Ｉにおける正面成分距離Ｚｉ及び方位角θｉを算出して、カメラ画像Ｉにおける歩行者の位置Ｗｉを推定する（ステップＳ１６）。

次に、制御部２１１は、カメラ画像Ｉにおける消失点Ｑを特定する（ステップＳ１７）。

次に、制御部２１１は、認識領域取得テーブルに基づいて、ステップＳ１６の処理で推定したカメラ画像Ｉにおける歩行者の位置ＷｉとステップＳ１７の処理で特定した消失点Ｑのカメラ画像Ｉにおける距離ＱＲから認識領域Ｔの大きさを取得する（ステップＳ１８）。

次に、制御部２１１は、認識領域Ｔとして、ステップＳ１６の処理で推定したカメラ画像Ｉにおける歩行者の位置Ｗｉを中心とするステップＳ１８の処理で取得した大きさの認識領域Ｔを決定する（ステップＳ１９）。

以上説明したように、ナビゲーション装置ＮＶ（「画像処理装置」の一例）の制御部２１１（「取得手段」、「決定手段」の一例）は、カメラＣの位置Ｃｒを示すカメラ位置情報と、歩行者Ｗ（「移動体」の一例）の位置Ｗｒを示す歩行者位置情報を取得し、実空間におけるカメラＣｒと歩行者Ｗｒの位置関係と、カメラＣで撮影した画像Ｉ上におけるカメラＣｉと歩行者Ｗｉの位置関係を対応付ける距離変換テーブル及び方位角変換テーブル（「対応情報」の一例）に基づいて、カメラ位置情報の示す位置Ｃｒ及び歩行者位置情報の示す位置Ｗｒから、画像Ｉ上における歩行者Ｗｉを含む認識領域Ｔ（「領域」の一例）を決定する。

したがって、ナビゲーション装置ＮＶによれば、カメラ画像Ｉ上における歩行者Ｗｉを含む認識領域Ｔが決定されることから、歩行者の位置を認識するための画像認識処理をカメラ画像Ｉ全体に行わなくてすみ、画像認識処理に関する処理負担を軽減することができる。

また、制御部２１１は、認識領域Ｔが画像における消失点Ｑの位置との距離が長いほど認識領域Ｔの大きさを大きく決定する。この場合、消失点Ｑと認識領域Ｔの距離が短ければ領域の大きさは小さくなり、消失点Ｑと認識領域Ｔの距離が長ければ認識領域Ｔの大きさは大きくなり、消失点Ｑと認識領域Ｔの距離に応じて認識領域Ｔの大きさを適切な大きさにすることができる。

更に、制御部２１１（「画像範囲特定手段」の一例）は、カメラＣの撮影範囲を特定するための撮影範囲特定情報とカメラ位置情報とに基づいて、カメラ画像Ｉに写る範囲を特定する。そして、制御部２１１は、カメラ画像Ｉに写る範囲に含まれる歩行者位置情報のみを取得する。これにより、カメラ画像Ｉに写る範囲外の歩行者位置情報を取得しないことから、カメラ画像Ｉ上に存在しない歩行者に関する処理を省くことができ、処理負担を軽減することができる。

更にまた、制御部２１１（「認識手段」の一例）は、認識領域Ｔに対して、歩行者Ｗを認識するための認識処理を行う。これにより、カメラ画像Ｉにおける歩行者Ｗｉの位置を正確に把握することができる。

なお、制御部２１１（「特定手段」の一例）は、歩行者の位置の変化に基づいて、歩行者の状態を特定し、歩行者の状態が所定の状態にあると特定された歩行者に対して認識領域Ｔを決定する。例えば、車道内に存在している状態である歩行者、又は、歩道内に存在している状態である歩行者に対して認識領域Ｔを決定する。この場合、車道又は歩道を移動している歩行者について認識処理を行い、例えば、運転手に車道又は歩道を移動している歩行者がいることを警告することができる。

また、制御部２１１がサーバ装置ＳＶから歩行者位置情報を取得するに当たり、カメラ画像に写る範囲を示す情報をサーバ装置ＳＶに送信する際に、車両Ｖの自車位置情報の高度情報を送信することとしてもよい。そして、サーバ装置ＳＶは、当該高度情報の示す高さレベルと同レベルの高さを示す歩行者位置情報のみをナビゲーション装置ＮＶに送信することとしてもよい。すなわち、車両Ｖが地上の道路を走行している場合に、建物の地下や２階以上の高さを示す歩行者位置情報を取得しないようにする。これにより、車両Ｖに危険を及ぼさない、車両と異なる高さレベルにいる人について認識領域決定処理を行わずにすむことから、制御部２１１の処理負担を軽減することができる。

更に、制御部２１１は、サーバ装置ＳＶから同一歩行者の歩行者位置情報を経時的に取得し、歩行者の移動方向と車両Ｖの移動方向が平行である場合には、歩行者が車両Ｖに危険を及ぼす可能性が低いとして、認識領域決定処理を行わないこととしてもよい。これにより、車両Ｖに危険を及ぼす可能性が低い歩行者について認識領域決定処理を行わずにすむことから、制御部２１１の処理負担を軽減することができる。

１ 画像処理装置
１１１Ａ 取得手段
１１１Ｂ 決定手段
１１１Ｃ 画像範囲特定手段
１１１Ｄ 認識手段
１１１Ｅ 特定手段
ＮＶ ナビゲーション装置
２１１ 制御部
２１１ａ ＣＰＵ
２１１ｂ ＲＯＭ
２１１ｃ ＲＡＭ
２１２ 記憶装置
２１３ 入力装置
２１４ 表示ユニット
２１４ａ グラフィックスコントローラ
２１４ｂ バッファメモリ
２１４ｃ ディスプレイ
２１５ バスライン
２２０ 入出力インターフェース部
２２１ 車速センサ
２２２ 角速度センサ
２２３ 加速度センサ
２２４ 舵角センサ
２２５ ＧＰＳ受信部
２２６ データ送受信部
Ｃ カメラ

Claims (10)

1. 撮影手段及び移動体の各々の位置を含む位置情報を取得する取得手段と、
   前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記決定手段は、前記画像における前記領域と消失点との長さに応じて、前記領域の大きさを決定することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記撮影手段の撮影範囲と前記位置情報に基づいて、前記画像に写る範囲を特定する画像範囲特定手段を更に備え、
   前記取得手段は、前記画像に写る範囲に含まれる移動体の位置情報を取得することを特徴とする画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記決定手段が決定した前記領域に対して、前記移動体を認識する処理を行う認識手段を更に備えることを特徴とする画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記取得手段が取得した移動体の位置の変化に基づいて、前記移動体の状態を特定する特定手段を更に備え、
   前記決定手段は、前記特定手段によって所定の状態にあると特定された移動体に対して前記領域を決定することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記所定の状態は、車道内に存在している状態であることを特徴とする画像処理装置。
7. 請求項５又は６に記載の画像処理装置であって、
   前記所定の状態は、歩道に存在している状態であることを特徴とする画像処理装置。
8. 画像処理装置による画像処理方法であって、
   撮影手段及び移動体の各々の位置を含む位置情報を取得する取得工程と、
   前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定工程と、
   を含むことを特徴とする画像処理方法。
9. コンピュータを、
   撮影手段及び移動体の各々の位置を含む位置情報を取得する取得手段、
   前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定手段、
   として機能させることを特徴とする画像処理プログラム。
10. コンピュータを、
    撮影手段及び移動体の各々の位置を含む位置情報を取得する取得手段、
    前記各々の位置において、前記撮影手段が撮影した前記移動体を含む画像から前記移動体が写っている領域を、前記位置情報及び設定された対応情報に基づいて決定する決定手段、
    として機能させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images