JP2022153492A - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】道路画像に含まれる情報を適宜更新することができる情報処理装置等を提供することを目的とする。【解決手段】ナビゲーション装置の制御部による画像更新処理は、道路に関する事物を撮影範囲に含む新規道路画像を取得し、記憶手段に記憶された道路画像のうち新規道路画像と同じ地点を撮像した道路画像を特定し、当該特定した道路画像に含まれる情報の一部を新規道路画像により更新する。【選択図】図７

Description

本願は、記憶装置に記憶されている道路画像を更新する情報処理装置等に関する。

従来、車両の進行方向を撮像して得た撮像画像を用いて運転者の運転を支援する技術が普及している。例えば、駐車時に車両の後方を撮像した撮像画像をディスプレイに表示することによって、運転者に対して駐車操作を支援する技術がある。こうした駐車操作支援技術では、夜間や暗所での駐車時には撮像画像の明度が低くなり、撮像画像で駐車区画線を判別することができず、運転者を充分に支援できないという問題があった。

これに対して、特許文献１には、カメラによって撮像された撮像画像に基づいて駐車枠の輪郭を検出し、検出された駐車枠の輪郭に基づく図形を撮像画像に重畳したり、駐車枠の枠線を延長したりすることにより、駐車区画線を疑似的に運転者に提示し、駐車操作を支援する技術が開示されている。しかしながら、当該技術は、駐車枠が途中で途切れている等の不完全な形状であった場合、それ自体の形状を修正しないため、運転者に正しい枠線を認識させることができないおそれがあった。

そうした中、特許文献２には、検出した駐車区画線が不完全である場合に、検出した駐車区画線と同一形状を有する駐車区画線を撮像した過去画像を読み出し、現在撮像中の画像の駐車区画線に対して、過去画像の駐車区画線の位置を合わせて現在撮像中の画像に重畳表示する技術が開示されている。これにより、不完全な駐車区画線を過去画像により補完した撮像画像を運転者に提示することができる。

特開２００３－６３３３９号公報 特許第４６７０４６３号公報

しかしながら、特許文献１に記載の技術では、過去画像においても駐車区画線が不完全である場合には、過去画像により駐車区画線を補完することができないという問題がある。

本願は、上記問題点に鑑みてなされたものであり、その課題の一例は、道路画像に含まれる情報を適宜更新することができる情報処理装置等を提供することにある。

請求項１に記載の発明は、道路に関する事物を含む新規道路画像を取得する画像取得手段と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新手段と、を備える。

請求項２に記載の発明は、道路に関する事物を含む新規道路画像を取得する画像取得手段と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記新規道路画像における欠損部分を前記道路画像に基づき補完する補完手段と、を備える。

請求項３に記載の発明は、情報処理装置によって利用される情報処理方法であって、道路に関する事物を含む新規道路画像を取得する画像取得工程と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新工程と、を含む。

請求項４に記載の発明は、情報処理装置によって利用される情報処理方法であって、道路に関する事物を含む新規道路画像を取得する画像取得工程と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記新規道路画像における欠損部分を前記道路画像に基づき補完する補完工程と、を含む。

請求項５に記載の発明は、コンピュータを、道路に関する事物を含む新規道路画像を取得する画像取得手段と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新手段と、として機能させる。

請求項６に記載の発明は、請求項５に記載の情報処理プログラムを記録したコンピュー
タ読み取り可能な記録媒体である。

本実施形態における情報処理装置１のブロック図である。 本実施形態における過去道路画像の一例を示す図である。 本実施形態における新規道路画像の一例を示す図である。 本実施形態における新規道路画像により更新された過去道路画像の一例を示す図である。 本実施形態における過去道路画像により補完された新規道路画像の一例を示す図である。 本実施形態におけるナビゲーション装置ＮＶのブロック図である。 本実施形態のナビゲーション装置ＮＶの制御部２１１による画像更新処理の一例を示すフローチャートである。 本実施形態における新規道路画像の白線の一例を示す図である。 本実施形態における過去道路画像の白線の一例を示す図である。 本実施形態における新規道路画像と過去道路画像から算出した差分白線の一例を示す図である。

本願発明を実施するための形態について、図１－図５を用いて説明する。

図１に示すように、情報処理装置１は、画像取得手段１１１Ａと、特定手段１１１Ｂと、更新手段１１１Ｃを備えている。

この構成において画像取得手段１１１Ａは、道路に関する事物を撮影範囲に含む新規道路画像を取得する。

特定手段１１１Ｂは、情報処理装置１の内部又は外部に設けられた記憶手段に記憶された道路画像のうち、画像取得手段１１１Ａにより取得された新規道路画像と同じ地点を撮像した道路画像を特定する。

更新手段１１１Ｃは、特定手段１１１Ｂにより特定された道路画像に含まれる情報の一部を、画像取得手段１１１Ａにより取得された新規道路画像により更新する。

以上説明した通り、実施形態に係る情報処理装置１の動作によれば、記憶手段に記憶された道路画像の情報の一部が新規道路画像により更新されることから、道路画像に含まれる情報を最新のものとすることができる。

例えば、図２に示す道路画像５００において３本の白線５０１Ｌ、５０１Ｃ、５０１Ｒのうち、白線５０１Ｌ上の一部（「道路画像の情報の一部」の一例）が水たまり５０２で隠されている場合において、当該白線５０１Ｌ上の一部を、図３に示す、道路画像５００と同じ地点を撮影した新規道路画像６００により更新する。これにより、図４に示すように、道路画像５００は白線５０１Ｌの水たまり５０２があった白線部分５０３が補完される。つまり、道路画像５００の情報を新規道路画像６００により充実させることができる。また、後述するように、道路画像は新規道路画像を補完する際に用いられるため、情報を充実させておくことで、補完時の精度を向上させることができる。

一方で、図３に示す新規道路画像６００をディスプレイに表示させる場合において、３本の白線６０１Ｌ、６０１Ｃ、６０１Ｒの一部が濃霧６０２で隠蔽されている場合には、当該白線６０１Ｌ、６０１Ｃ、６０１Ｒの一部を、道路画像５００により補完する。これにより、図５に示す新規道路画像６００とすることができる。これにより、情報処理装置１のユーザは実際には濃霧６０２で隠蔽されて視認することのできない白線部分６０３Ｌ、６０３Ｃ、６０３Ｒを視認することができる。なお、図５に示す新規道路画像６００においては、補完がなされた白線部分６０３Ｌ、６０３Ｃ、６０３Ｒを他の部分に対して識別可能に表示することにより、何れの部分について補完がなされたかをユーザが判別することができるとともに、白線部分を視認しやすくなる。

次に、上述した実施形態に対応する具体的な実施例について説明する。

図６－図１０を用いて実施例について説明する。なお以下に説明する実施例は、本願発明を、ナビゲーション装置（「情報処理装置」の一例）に適用した場合の実施例である。

［１．ナビゲーション装置ＮＶの構成］
まず、本実施例に係るナビゲーション装置ＮＶの構成について説明する。

図６に示すように、ナビゲーション装置ＮＶは、制御部２１１と、ＨＤＤ等からなる記憶装置２１２と、キーボード又はリモートコントローラ、タッチパネル等からなる入力装置２１３と、表示ユニット２１４と、バスライン２１５と、入出力インターフェース部２２０と、車速センサ２２１と、角速度センサ２２２と、加速度センサ２２３と、舵角センサ２２４と、アンテナ２２６が接続されたＧＰＳ（Global Positioning System）受信部２２５と、データ送受信部２２７と、カメラ２２８と、を備えて構成されている。

車速センサ２２１は、例えばナビゲーション装置ＮＶが搭載されている自動車から取得される車速パルス等を用いた速度検出処理等を用いて当該車両の現在速度を検出し、速度データを出力する。角速度センサ２２２は、当該車両の、例えば方向変化の角速度を検出し、単位時間当たりの角速度データ及び相対方位データを出力する。加速度センサ２２３は、当該車両の例えば前後方向の加速度を検出し、単位時間当たりの加速度データ等を出力する。舵角センサ２２４は、当該車両の舵角を検出し、舵角データ等を出力する。ＧＰＳ受信部２２５は、ＧＰＳ衛星からの航法電波を受信し、ＧＰＳ測位データとして自車位置情報である緯度、経度、高度データ、車両の進行方向の絶対方位データ及びＧＰＳ速度データ等を出力する。データ送受信部２２７は、ネットワークを介したサーバ装置との間のデータの送受信に係る処理を行う。

カメラ２２８は、ナビゲーション装置ＮＶが搭載されている自動車の車外に向けて設置され、自動車の走行する道路に関する事物を撮影範囲に含む道路画像を撮影する。本実施例では、カメラ２２８は、車内に１台設置され、車両前方（進行方向）の風景を撮影するものとする。

記憶装置２１２（「記憶手段」の一例）は、表示ユニット２１４に地図を表示するための地図画像データや、経路を探索する際に用いる地図情報、道路リンク情報などが格納される。また、記憶装置２１２は、カメラ２２８又は他のカメラにより撮影された道路画像を過去道路画像として記憶する。なお、記憶装置２１２は、過去道路画像を、撮影時の位置、道路ＩＤ（全ての道路に割り振られた識別情報）及び進行方向を示す撮影条件情報と対応付けて記憶する。更に、記憶装置２１２は、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。なお、各種プログラム及び過去道路画像は、例えば、サーバ装置等からネットワークを介して取得されるようにしても良いし、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記録媒体に記録されたものを読み込むようにしても良い。

入力装置２１３は、利用者の入力操作を受け付けて、操作内容を示す操作信号を制御部２１１に送信する。

表示ユニット２１４は、制御部２１１の制御下で各種表示データを表示する。表示ユニット２１４は、グラフィックスコントローラ２１４ａと、ＶＲＡＭ（Video RAM）等のメモリからなるバッファメモリ２１４ｂと、液晶ディスプレイ等からなるディスプレイ２１４ｃ等を備えて構成されている。この構成においてグラフィックスコントローラ２１４ａは、バスライン２１５を介して制御部２１１から送られる制御データに基づいて、表示ユニット２１４全体の制御を行う。また、バッファメモリ２１４ｂは、即時表示可能な画像情報を一時的に記憶する。そして、グラフィックスコントローラ２１４ａから出力される画像データに基づいて、ディスプレイ２１４ｃに画像が表示される。

制御部２１１は、制御部２１１全体を制御するＣＰＵ２１１ａと、制御部２１１を制御する制御プログラム等が予め記憶されているＲＯＭ２１１ｂと、各種データを一時的に格納するＲＡＭ２１１ｃと、により構成されている。制御部２１１は、車速センサ２２１、角速度センサ２２２、加速度センサ２２３、舵角センサ２２４及びＧＰＳ受信部２２５と、バスライン２１５及び入出力インターフェース部２２０を介して接続されており、それぞれから出力される速度データ、角速度データ及び相対方位データ、舵角データ、ＧＰＳ測位データ及び車両の進行方向の絶対方位データ、加速度データ等に基づいて、ナビゲーション装置ＮＶ全体の制御を行うとともに、表示ユニット２１４等の各種構成部材における夫々の動作を制御する。

制御部２１１は、カメラ２２８が撮影した新規道路画像をリアルタイムで取得し、記憶装置２１２に記憶された過去道路画像のうち、カメラ２２８から取得した新規道路画像と同じ地点を撮像した過去道路画像を特定し、当該特定した過去道路画像に含まれる情報の一部（本実施例では、白線）を、カメラ２２８から取得した新規道路画像により更新する。具体的には、制御部２１１は、過去道路画像と新規道路画像を照合し、過去道路画像に存在しない白線が検出された場合に更新する。このとき、制御部２１１は、撮影時の位置、道路ＩＤ及び進行方向を示す情報等を更新記録として対応付けて記憶させる。

それとともに、制御部２１１は、カメラ２２８から取得した新規道路画像に含まれる情報の一部（本実施例では、白線）を、先に特定した過去道路画像により補完して、表示ユニット２１４にリアルタイムで表示させる。このとき、制御部２１１は、補完した部分を他の部分に対して識別可能に表示する。これにより、表示ユニット２１４のディスプレイ２１４ｃには、情報の一部が補完されたリアルタイムの新規道路画像が表示される。なお、制御部２１１が、過去道路画像の更新又は新規道路画像の補完を行うのは、それぞれ更新又は補完を行う必要がある場合のみである。すなわち、上述したように、白線の一部が何らかの事情により隠蔽されている場合などに、当該隠蔽されている部分を更新又は補完する。また、制御部２１１は、カメラ２２８から新規道路画像を動画像として取得して（例えば、１秒間に３０枚取得して）、表示ユニット２１４に表示させるため、ディスプレイ２１４ｃには道路画像が動画像として表示される。

この構成において、制御部２１１のＣＰＵ２１１ａは「画像取得手段」、「特定手段」、「更新手段」、「補完手段」、「出力手段」の一例である。

［２．ナビゲーション装置ＮＶの制御部２１１による画像更新処理］
次に、図７－図１０を用いて、制御部２１１を中心として実行される画像更新処理について説明する。なお、ここでは、道路画像に含まれる白線部分を更新対象又は補完対象とする。

制御部２１１は、カメラ２２８が撮影した新規道路画像を取得する（ステップＳ１１）。制御部２１１は、新規道路画像を取得する際には、撮影位置（ＧＰＳ受信部２２５が出力する自車位置情報）、走行中の道路ＩＤ、その道路における進行方向（ＧＰＳ受信部２２５が出力する絶対方位データ）を示す撮影条件情報をそれぞれ取得する。

次に、制御部２１１は、新規道路画像における白線部分を検出する（ステップＳ１２）。検出方法としては、従来公知の一般的な画像処理を適用する。例えば、画像中の輝度値を参照して白色部分を抽出し、その中で線状となっている領域を白線部分とする。

次に、制御部２１１は、記憶装置２１２に記憶されている過去道路画像の中から、新規道路画像に対応する過去道路画像を特定する（ステップＳ１３）。具体的には、制御部２１１は、ステップＳ１１で取得した撮影時の位置、道路ＩＤ及び進行方向を示す撮影条件情報を検索キーとして検索する。但し、ＧＰＳの精度によっては適切な過去道路画像を特定することができない場合がある。そこで、制御部２１１は、所望の過去道路画像を特定する方法として、以下の手順に従って処理を行う。
（１）撮影条件情報を検索キーとして、候補となる複数の過去道路画像を絞り込む。
（２）上記（１）で絞り込んだ各過去道路画像と、ステップＳ１１で取得した新規道路画像との画像の特徴から算出した類似度（必ずしも数値である必要はない）を算出し、最も類似度が高い過去道路画像を特定する。

ここで（２）の処理について詳述する。まず、制御部２１１は、（１）の処理で絞り込んだ過去道路画像と新規道路画像について、それぞれ画像特徴量を抽出し、両画像間でその特徴量の対応点を探索する。ここで、画像特徴量としてはＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることできる。対応点の数が少ないということは、両画像間で類似している特徴が少ないことを意味し、画像の見た目も大きく異なる。そのため、制御部２１１は、上記の対応点の探索を、（１）の処理で絞り込んだ全ての過去道路画像に対して行い、対応点の数が、経験的に設定される閾値Ｔよりも少ないものを特定対象の候補から除外する。次に、制御部２１１は、残った過去道路画像の中から、先に抽出した画像特徴量の対応点の位置関係を考慮し、最終的な１つの過去道路画像を特定する。具体的には、制御部２１１は、新規道路画像と過去道路画像とで、全ての対応点について、その画像上の画素位置の差を積算する。この積算値は、両画像間で画像の見た目が類似しているほど小さい値となり、画像の見た目が全く同じであった場合、積算値は０になる。そこで、制御部２１１は、特定対象の候補である各過去道路画像について当該積算値を算出し、最小値であるものを過去道路画像として特定する。但し、制御部２１１は、当該積算値についても閾値処理を行い、画像の見た目が大きく異なる過去道路画像については除外することが好適である。

次に、制御部２１１は、ステップＳ１２に処理で検出した白線部分と、記憶装置２１２に記憶されている各過去道路画像の白線部分を比較し（ステップＳ１４）、相違部分があるか否かを判定する（ステップＳ１５）。

ここで、ステップＳ１５の処理について図８－図１０を用いて詳述する。制御部２１１は、ステップＳ１１の処理で取得した新規道路画像と、ステップＳ１３の処理で特定した過去道路画像について、それぞれの白線部分を照合し、その差分の有無を判断する。以下に、その照合方法の一例について説明する。

ここでは、図８（Ａ）に示す新規道路画像７００と、図９（Ａ）に示す過去道路画像について照合する場合について説明する。新規道路画像７００では、白線７０１は一本検出されており、それに対して図９（Ａ）に示す過去道路画像８００では、二本の白線８０１、８０２が検出されている。それぞれ白線の情報として、図８（Ｂ）及び図９（Ｂ）に示すように、白線の画像上の角度と、白線の始点と終点の座標から情報が算出される。

上記の例において、制御部２１１は、新規道路画像７００の白線７０１の角度に基づいて、過去道路画像８００において同様の角度を持つ白線を検索する。この例では、新規道路画像７００の白線７０１の角度が３５°で、過去道路画像８００における白線８０１、８０２の角度は、白線７０１と同じ角度であることから、白線８０１及び白線８０２を検索する。この検索においては、角度に±εの誤差を許容するようにしてもよい。

次に、制御部２１１は、新規道路画像７００の白線７０１と、過去道路画像８００において検索した白線８０１及び白線８０２に対して、その視点と終点を元に、白線領域の差分を計算する。この例では、新規道路画像７００の白線７０１は（０,４８０）から（５００,２００）であり、過去道路画像８００の白線８０１と白線８０２は、白線７０１の一部分だけ取り除いて分割された線となっている。制御部２１１は、始点と終点から差分となる範囲を計算することにより、図１０に示す差分画像９００における差分白線９０１を得る。

制御部２１１は、差分白線９０１が得られた場合には、ステップＳ１５の処理で「ＹＥＳ」と判定する。なお、この例では、過去道路画像８００に白線の未検出部分があり、その部分を補充するための差分白線を得る場合について説明したが、逆に、新規道路画像に白線の未検出部分がある場合についても同様に差分白線を得ることとして、差分白線が得られた場合にも制御部２１１はステップＳ１５の処理で「ＹＥＳ」と判定することとする。すなわち、制御部２１１は、新規道路画像と過去道路画像を比較し、何れか一方に未検出部分があり差分白線が得られた場合には、相違部分があると判定する。また、差分白線を得た場合には、当該差分白線に関する情報を退避しておき、後述するステップＳ１６の処理又はステップＳ１７の処理で使用する。

制御部２１１は、ステップＳ１５の処理において、相違部分はないと判定した場合には（ステップＳ１５：ＮＯ）、ステップＳ１１で取得した新規道路画像をそのまま表示ユニット２１４に表示させ（ステップＳ１８）、画像更新処理を終了する。一方、制御部２１１は、相違部分があると判定した場合には（ステップＳ１５：ＹＥＳ）、次いで、過去道路画像を新規道路画像により更新する（ステップＳ１６）。具体的には、制御部２１１は、ステップＳ１５の処理で判定した相違部分が新規道路画像において検出でき、且つ、過去道路画像において検出できない白線部分である場合には、過去道路画像において検出できない白線部分を新規道路画像において同じ位置にある白線部分（ステップＳ１４の処理により退避した差分白線）により更新する。

一方、制御部２１１は、ステップＳ１５の処理で判定した相違部分が過去道路画像において検出でき、且つ、新規道路画像において検出できない白線部分である場合には、新規道路画像において検出できない白線部分を過去道路画像において同じ位置にある白線部分（ステップＳ１４の処理により退避した差分白線）により補完する（ステップＳ１７）。このとき、制御部２１１は、補完した部分を他の部分に対して識別可能とするために、例えば、緑色で白線部分を補完する。制御部２１１は、ステップＳ１７の処理を終えると、ステップＳ１７の処理で補完処理を行った新規道路画像を表示ユニット２１４に表示させ（ステップＳ１８）、画像更新処理を終了する。

以上説明したように、本実施例に係るナビゲーション装置ＮＶの動作によれば、制御部２１１が、カメラ２２８から道路に関する事物を撮影範囲に含む新規道路画像を取得し（ステップＳ１１）、記憶装置２１２に記憶された過去道路画像のうち、カメラ２２８から取得した新規道路画像と同じ地点を撮像した過去道路画像を特定し（ステップＳ１３）、当該特定した過去道路画像に含まれる白線部分を、カメラ２２８から取得した新規道路画像により更新する（ステップＳ１６）。

したがって、ナビゲーション装置ＮＶによれば、記憶装置２１２に記憶された過去道路画像の白線部分を最新の新規道路画像により補充することができる。

また、制御部２１１は、カメラ２２８から取得した新規道路画像に含まれる白線部分を、ステップＳ１３の処理で特定した過去道路画像により補完する（ステップＳ１７）。これにより、カメラ２２８から取得した新規道路画像の白線部分を過去道路画像により補完した上で表示させることができる。カメラ２２８から取得した新規道路画像に白線部分が表示されていないということは、ナビゲーション装置ＮＶのユーザも道路上の白線部分を直接視認できていない可能性が高い。よって、白線部分を補完した新規道路画像を表示させることにより、ユーザは白線の位置を推測して運転することができることから、安全性が向上する。

［３．変形例］
次に、上記実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。

［３．１．変形例１］
上述した実施例では、過去道路画像を記憶装置２１２に記憶させておく構成としたが、これに代えて、過去道路画像をナビゲーション装置ＮＶ外のサーバ装置の記憶装置に記憶させておき、ネットワークを介して当該記憶装置にアクセスしつつ、図７に示した画像更新処理を行う構成としてもよい。

［３．２．変形例２］
上述した実施例では、更新又は補完の対象が道路上の白線である場合について説明したが、白線に限らず、道路画像に含まれるあらゆる事物がその対象となる。例えば、道路上の速度表示、横断歩道、停止位置表示、道路沿いの看板、標識、信号機、建築物等がその対象となる。また、複数種類の対象について更新又は補完を行うこととしてもよい。

［３．３．変形例３］
上述した実施例では、表示装置がディスプレイ２１４ｃである場合について説明したが、これに代えて、その他の表示装置を採用することができる。例えば、ヘッドアップディスプレイ（HUD：Head-Up Display）を用いても良い。ヘッドアップディスプレイによれば、人間の視野に直接情報が映し出されることから、視線をナビゲーション装置ＮＶのディスプレイ２１４ｃに視点を移動させなくても、新規道路画像を随時視認することができる。

１ 情報処理装置
１１１Ａ 画像取得手段
１１１Ｂ 特定手段
１１１Ｃ 更新手段
ＮＶ ナビゲーション装置
２１１ 制御部
２１１ａ ＣＰＵ
２１１ｂ ＲＯＭ
２１１ｃ ＲＡＭ
２１２ 記憶装置
２１３ 入力装置
２１４ 表示ユニット
２１４ａ グラフィックスコントローラ
２１４ｂ バッファメモリ
２１４ｃ ディスプレイ
２１５ バスライン
２２０ 入出力インターフェース部
２２１ 車速センサ
２２２ 角速度センサ
２２３ 加速度センサ
２２４ 舵角センサ
２２５ ＧＰＳ受信部
２２６ アンテナ
２２７ データ送受信部
２２８ カメラ

Claims (1)

1. 道路に関する事物を含む新規道路画像を取得する画像取得手段と、
   記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新手段と、
   を備える情報処理装置。

Images