JP2022149109A - 処理装置、処理方法、およびプログラム - Google Patents

Abstract

【課題】カメラの取付方向や角度に関わらず、適切なオルソ変換を可能とすることが一例として挙げられる。【解決手段】処理装置１０は、取得部１２０および算出部１４０を備える。取得部１２０は、基準画像を取得する。算出部１４０は、基準画像内の対象物の形状および大きさに基づいて、射影変換のためのパラメータを算出する。基準画像に含まれる対象物はたとえば道路に描かれたマークである。算出部１４０は、たとえば基準画像からマークを含む部分領域を抽出し、部分領域に含まれるマークに基づいてパラメータを算出する。【選択図】図１

Description

本発明は、処理装置、処理方法、およびプログラムに関する。

自動運転やナビゲーションシステムに用いられる地図の作成や、道路の管理等のために路面のオルソ画像が用いられている。

特許文献１には、移動計測車両による収集データに基づいて路面オルソ画像を生成する装置が開示されている。

特開２０１５－９０５９１号公報

たとえば様々な車載カメラで得られた画像を用いてオルソ画像を生成しようとする場合、オルソ化のための変換パラメータはカメラの取付方向や角度により異なる。また、カメラの取付方向や角度を調整したとしても、振動や衝撃で変化する場合もある。

本発明が解決しようとする課題としては、カメラの取付方向や角度に関わらず、適切なオルソ変換を可能とすることが一例として挙げられる。

請求項１に記載の発明は、
基準画像を取得する取得部と、
前記基準画像内の対象物の形状および大きさに基づいて、射影変換のためのパラメータを算出する算出部とを備える
処理装置である。

請求項１４に記載の発明は、
基準画像を取得する取得ステップと、
前記基準画像内の対象物の形状および大きさに基づいて、射影変換のためのパラメータを算出する算出ステップとを備える
処理方法である。

請求項１５に記載の発明は、
請求項１４に記載の処理方法の各ステップをコンピュータに実行させるプログラムである。

第１の実施形態に係る処理装置の構成を例示するブロック図である。 基準画像の例を示す図である。 基準画像に対してエッジ検出をして得られるエッジ検出画像を例示する図である。 （ａ）は基準画像内における部分領域の外縁の頂点座標を示す図であり、（ｂ）はオルソ変換後の部分領域の外縁の頂点座標を示す図である。 第１の実施形態に係る処理方法の流れを例示するフローチャートである。 第１の実施形態に係る処理装置の使用環境を例示する図である。 処理装置を実現するための計算機を例示する図である。 第２の実施形態に係る処理装置の構成を例示するブロック図である。 第２の実施形態に係る処理装置が実行する処理方法を例示するフローチャートである。 対象物に対して検出されるエッジを例示する図である。 形状スコアの導出方法を説明するための図である。 第３の実施形態に係る算出部が対象物のサイズを導出する方法を例示するフローチャートである。 第４の実施形態に係る算出部が対象物のサイズを導出する方法を例示する図である。 第５の実施形態に係る処理装置の構成を例示する図である。 変換部が対象画像を決定し、対象画像を射影変換する方法について説明するための図である。 第５の実施形態に係る処理装置が行う処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

以下に示す説明において、処理装置１０の各構成要素は、特に説明する場合を除き、ハードウエア単位の構成ではなく、機能単位のブロックを示している。処理装置１０の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。

（第１の実施形態）
図１は、第１の実施形態に係る処理装置１０の構成を例示するブロック図である。図２は、基準画像２０の例を示す図である。処理装置１０は、取得部１２０および算出部１４０を備える。取得部１２０は、基準画像２０を取得する。算出部１４０は、基準画像２０内の対象物２００の形状および大きさに基づいて、射影変換のためのパラメータを算出する。以下に詳しく説明する。

たとえば車両や二輪車等の移動体が道路を走行する間、カメラで周囲の画像が撮影される。このように取得された画像には道路が写っている。専用車に限らず任意の移動体のカメラで得られた画像を射影変換（オルソ変換）できれば、路面オルソ画像の生成に必要な画像データを、多量にかつ容易に収集できる。

ただし、移動体にカメラを設置しても、振動や人が触れてしまうこと等でカメラの姿勢が変わってしまうことがある。たとえば移動体が走行する度にカメラの位置の調整や姿勢の計測を行おうとすると非常に手間がかかる。それに対し、本実施形態に係る処理装置１０によれば、基準となる対象物２００を撮影した基準画像２０を用いて、射影変換に必要なパラメータを算出することができる。そして算出したパラメータを用いて適切に射影変換が行えるため、省力化が可能である。

詳しく後述するように、算出部１４０は、基準画像２０からマークを含む部分領域２２を抽出し、部分領域２２に含まれるマークに基づいてパラメータを算出する。基準画像２０に含まれる対象物２００はたとえば地面に設けられたマークである。なお、地面はたとえば地下や高架上、構造物内の面であっても良く、移動体がその上を移動し得る面であればよい。対象物２００としては、たとえば道路に描かれた区画線、横断歩道等が挙げられる。他にも、対象物２００は車庫床面の敷設物であっても良い。対象物２００は、専用に、または他の用途を兼ねて設置された基準物であっても良い。そうであれば、予期せぬ変化が生じないよう基準物を管理することができる。対象物２００はたとえば実空間において平面視で矩形である。

図２～図４（ｂ）を参照して、算出部１４０がパラメータを算出する方法について説明する。図２は基準画像２０の例を示す図である。基準画像２０には道路が写っており、道路上の対象物２００が写っている。本例において、対象物２００は道路上の白線である。この白線は破線を構成しており、所定の長さで区切られている。また、各白線の長さおよび幅は予め定められている。算出部１４０は、基準画像２０に対してエッジ検出を行う。図３は、基準画像２０に対してエッジ検出をして得られたエッジ検出画像を例示する図である。次いで、算出部１４０は、エッジ検出画像内の対象物２００が含まれる部分領域２２を抽出する。算出部１４０は、既存の画像処理方法を用いて基準画像２０から対象物２００を検出することができる。本図の例では、部分領域２２は、二つの対象物２００およびその二つの対象物２００に挟まれた領域を含む。また、部分領域２２の外縁は少なくとも一部が対象物２００の外縁に重なっている。部分領域２２の外縁の少なくとも一部は、二つの対象物２００の端をつないでいる。ただし、部分領域２２は対象物２００を一つのみ含んでも良いし、対象物２００の外縁と部分領域２２の外縁は全体が一致していてもよい。ただし、部分領域２２が、二つの対象物２００およびその二つの対象物２００に挟まれた領域を含むことにより、広い部分領域２２を用いた高精度なパラメータ算出が可能である。

次いで算出部１４０は、基準画像２０内における部分領域２２の外縁の頂点座標を取得する。ここでの座標系は、基準画像２０をｘｙ平面内に置いたものとする。図４（ａ）は基準画像２０内における部分領域２２の外縁の頂点座標を示す図である。本図において、部分領域２２の４つの頂点座標（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）および（ｘ_４，ｙ_４）が示されている。

また、算出部１４０は、対象物２００の実空間での太さ（幅）および長さに基づいて、オルソ変換後の部分領域２２の外縁の頂点座標を導出する。ここでの座標系は、オルソ変換後の画像をＸＹ平面内に置いたものとする。図４（ｂ）はオルソ変換後の部分領域２２の外縁の頂点座標を示す図である。本図において、部分領域２２の４つの頂点座標（Ｘ_１，Ｙ_１）、（Ｘ_２，Ｙ_２）、（Ｘ_３，Ｙ_３）および（Ｘ_４，Ｙ_４）が示されている。たとえば（Ｘ_１，Ｙ_１）と（Ｘ_４，Ｙ_４）との距離ｄ_１は、実際の対象物２００の長さＬ_ｔに基づいて定められる。また、（Ｘ_１，Ｙ_１）と（Ｘ_２，Ｙ_２）との距離ｄ_２は、実際の対象物２００の幅Ｗ_ｔおよび、二つの対象物２００間の実際の距離ｄ_ｔに基づいて定められる。すなわち、ｄ_１／ｄ_２＝Ｌ_ｔ／（２×Ｗ_ｔ＋ｄ_ｔ）が成り立つ。そして、算出部１４０は、このように射影変換前後の部分領域２２の頂点座標を算出することで、射影変換に用いる変換パラメータを得ることができる。

なお、距離ｄ_ｔが不明の場合、基準画像２０中で二つの対象物２００間の距離と対象物２００の幅との比率を算出し、その比率に基づいて距離ｄ_２を定めても良い。すなわち、基準画像２０中で二つの対象物２００間の距離が対象物２００の幅のα倍である場合、ｄ_１／ｄ_２＝Ｌ_ｔ／（２×Ｗ_ｔ＋α×Ｗ_ｔ）が成り立つように各座標を設定すればよい。

算出されたパラメータは、同じ移動体の同じカメラで撮影された画像を射影変換する際に用いることができる。たとえばパラメータ算出は一連の動画ごとに行われる。具体的には、一連の動画の中で、その動画を構成する画像の一枚を基準画像２０として用い、パラメータを算出する。算出されたパラメータを用いて、その動画を構成する他の画像や基準画像２０を射影変換することができる。なお、パラメータ算出は必ずしも一連の動画ごとに行われる必要はない。ただし、ある程度以上の時間が経過するとカメラの姿勢が変化することがあり得るため、同一のカメラに対し、少なくとも予め定められた期間ごとにパラメータ算出が行われることが好ましい。

図５は、本実施形態に係る処理方法の流れを例示するフローチャートである。本実施形態に係る処理方法は、取得ステップＳ１０および算出ステップＳ３０を備える。取得ステップＳ１０では、基準画像２０が取得される。算出ステップＳ３０では、基準画像２０内の対象物２００の形状および大きさに基づいて、射影変換のためのパラメータが算出される。本実施形態に係る処理方法は、処理装置１０により実行される。以下に、本実施形態に係る処理装置１０が行う処理について詳しく説明する。

取得ステップＳ１０において、取得部１２０は基準画像２０を取得する。取得部１２０は、基準画像２０をたとえば移動体に搭載されたカメラ（撮像装置）から取得することができる。カメラはたとえば車載カメラである。基準画像２０はたとえば道路を含む画像である。また、基準画像２０は動画を構成する複数の画像のうちの一枚であってもよい。なお、基準画像２０は予め記憶装置に保持されており、取得部１２０は基準画像２０を取得部１２０からアクセス可能な記憶装置から読み出して取得しても良い。基準画像２０は、移動体に搭載されたカメラ以外のカメラで撮影された画像でも良い。ただし基準画像２０には対象物２００が含まれる。

図６は、本実施形態に係る処理装置１０の使用環境を例示する図である。たとえば、複数の移動体４０に搭載されたカメラ４２から、サーバマシン５０が画像を収集し、処理装置１０の取得部１２０がそのサーバマシン５０から基準画像２０を取得しても良い。

算出部１４０は、対象物２００の実空間での大きさを示すサイズ情報を取得し、サイズ情報を用いてパラメータを算出する。具体的には算出部１４０は、算出部１４０からアクセス可能な記憶部に保持されたサイズ情報を読み出して取得する。本実施形態において、対象物２００の形状、対象物２００の大きさ、および２つの対象物２００間の距離は既知である。たとえば対象物２００が道路に描かれた白線である場合、サイズ情報は道路標示規格に基づいて定められる。また、対象物２００が設置された基準物である場合、その基準物の大きさに基づいて定められる。また、サイズ情報には、複数の対象物２００間の距離を示す情報がさらに含まれても良い。なお、高速道路とそれ以外の道路など、サイズ情報が位置によって異なる場合がある。この場合、記憶部にはたとえば位置ごとのサイズ情報が保持されている。そして算出部１４０は基準画像２０の撮影位置に応じたサイズ情報を記憶部から選択して読み出すことができる。

算出ステップＳ３０において算出部１４０は、図２～図４（ｂ）を用いて上述したように、基準画像２０とサイズ情報を用いて射影変換に必要なパラメータを算出する。すなわち、算出部１４０は基準画像２０から対象物２００を抽出し、基準画像２０内の対象物２００の大きさと、サイズ情報に基づく対象物２００の実空間での大きさとを少なくとも用いてパラメータを算出する。たとえば対象物２００が実空間で平面視して矩形である場合、対象物２００の長辺と短辺の比が、実空間における対象物２００と、そのパラメータを用いて得られるオルソ画像における対象物２００とで同じになるように、算出部１４０はパラメータを算出する。なお、算出部１４０は、部分領域２２が複数の対象物２００を含む場合、複数の対象物２００間の距離をさらに用いてパラメータを算出しても良い。

詳しくはたとえば、算出部１４０は基準画像２０に対してレンズ歪を補正する処理を施し、さらにエッジ検出を行う。そして、検出したエッジに基づき対象物２００を検出する。そして対象物２００を含む部分領域２２を抽出する。部分領域２２はたとえば射影変換したときに矩形となる領域である。算出部１４０は基準画像２０における部分領域２２の外縁を示すｘｙ座標（たとえば四角形の４頂点の座標）を算出する。また、算出部１４０は、取得したサイズ情報に基づいて射影変換後のオルソ画像における部分領域２２の外縁を示すＸＹ座標（たとえば四角形の４頂点の座標）を算出する。算出したｘｙ座標とＸＹ座標とに基づいて、算出部１４０は変換パラメータを導出する。算出したｘｙ座標とＸＹ座標とに基づいて、変換パラメータを導出する方法としては、既存の方法を用いることができる。

以上のように本実施形態に係る処理装置１０は、取得した基準画像２０を用いて適切なパラメータを算出する。したがって、画像を撮影したカメラ等の向きや角度にかかわらず、射影変換を行い、良好なオルソ画像を得ることができる。

処理装置１０のハードウエア構成について以下に説明する。処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図７は、処理装置１０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、処理装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、処理装置１０の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

以上、本実施形態によれば、算出部１４０は、基準画像２０内の対象物２００の形状および大きさに基づいて、射影変換のためのパラメータを算出する。したがって、カメラの取付方向や角度に関わらず、適切なオルソ変換が可能となる。

（第２の実施形態）
図８は、第２の実施形態に係る処理装置１０の構成を例示するブロック図である。本実施形態に係る処理装置１０は、以下に説明する点を除いて第１の実施形態に係る処理装置１０と同じである。本実施形態に係る処理装置１０では、取得部１２０は、基準画像２０を含む複数の画像を取得する。また、本実施形態に係る処理装置１０は、取得部１２０が取得した複数の画像から基準画像２０を選択する選択部１３０をさらに備える。以下に詳しく説明する。

処理装置１０は、基準画像２０を用いてパラメータを算出する。ここで、パラメータの精度は基準画像２０の質に依存する。したがって、パラメータの算出に適した基準画像２０を選択して用いることが好ましい。本実施形態に係る処理装置１０では、取得部１２０が複数の画像を選択し、それらの画像の中から選択部１３０が基準画像２０として適したものを選択する。そして、選択された基準画像２０を用いて算出部１４０がパラメータを算出する。

図９は、本実施形態に係る処理装置１０が実行する処理方法を例示するフローチャートである。本実施形態に係る処理方法は、取得ステップＳ１０と算出ステップＳ３０との間に選択ステップＳ２０を行う。本実施形態に係る処理方法では、取得ステップＳ１０において基準画像２０を含む複数の画像が取得される。そして選択ステップＳ２０では、複数の画像から基準画像２０が選択される。

取得部１２０はたとえば移動体に設けられたカメラから、そのカメラで撮影された動画を取得する。動画は、複数の画像からなる。ただし取得部１２０は、動画を構成しない複数の画像を取得しても良い。なお、複数の画像は予め記憶装置に保持されており、取得部１２０は基準画像２０を取得部１２０からアクセス可能な記憶装置から読み出して取得しても良い。たとえば、図６に示したように、複数の移動体４０に搭載されたカメラ４２から、サーバマシン５０が複数の画像を収集し、処理装置１０の取得部１２０がそのサーバマシン５０から複数の画像を取得しても良い。取得部１２０が取得する複数の画像には、対象物２００が含まれない画像が含まれても良い。

選択部１３０が基準画像２０を選択する方法について以下に説明する。以下に説明するように、好ましい基準画像２０を選択するための観点は複数存在する。選択部１３０は、いずれかの観点に基づいて基準画像２０を選択しても良いし、複数の観点に基づいて基準画像２０を選択しても良い。複数の観点に基づいて基準画像２０を選択する場合、たとえば選択部１３０は、観点ごとにスコアを算出し、それらのスコアを総合した総合スコアを算出し、総合スコアに基づいて基準画像２０を選択することができる。

選択部１３０はまず、複数の画像から、対象物２００の全体が含まれる画像を抽出する。具体的には選択部１３０は、複数の画像に対してレンズ歪を補正する処理を施し、さらにエッジ検出を行う。次いで、選択部１３０は検出したエッジに基づき画像中の対象物２００を検出する。そして、複数の画像の中から、対象物２００の全体が画像に含まれる画像を抽出し、抽出した画像の中から、基準画像２０を選択する。

＜対象物２００の位置に基づく方法＞
選択部１３０は、対象物２００の画像内の位置に基づいて基準画像２０を選択することができる。具体的には対象物２００が、カメラから近い領域、すなわち画像中のより下の方に写っている画像を基準画像２０として選択することが好ましい。そうすればエッジの検出精度が高くなるとともに、その領域を射影変換した場合に生成されるオルソ画像の画質も良くなるためである。なお、画像中下側が、実空間で移動体に近い側であり、画像中上側が、実空間で移動体から遠い側である。

たとえば選択部１３０は、対象物２００の画像中の位置が最も下である画像を基準画像２０として選択する。スコアを算出する場合、選択部１３０は、対象物２００の画像中の位置が下である画像にほど、高いスコアを付す。

＜移動体の状態に基づく方法＞
複数の画像が、移動体に取り付けられたカメラ（撮像装置）で得られた画像である場合、選択部１３０は、画像が得られたときの移動体の状況に基づいて基準画像２０を選択することができる。移動体の状況とは、たとえば撮影時の移動体の車速や姿勢であり、具体的には、撮影時の移動体の向き、速度、ロール、およびピッチの少なくともいずれかである。撮影時の移動体の状況が安定的であったかを評価し、安定的な状況で撮影された画像を基準画像２０として選択することが好ましい。処理装置１０は、移動体の状況を示すセンサ情報を、移動体に設けられたセンサから取得することができる。

たとえば選択部１３０は、各画像の撮影時刻に基づき、その画像が撮影されたタイミングを含む所定期間内の移動体のセンサ情報を取得する。センサ情報にはたとえば、速度センサ、方位センサ、ロールセンサ、ピッチセンサのうち一以上のセンサのセンサ値が含まれる。選択部１３０は、取得したセンサ情報に含まれる各センサ値について、所定期間内の標準偏差を算出する。そして、一以上のセンサの標準偏差を合算する。選択部１３０はたとえば標準偏差の合算値が最も小さい画像を基準画像２０として選択する。また、スコアを算出する場合、選択部１３０は標準偏差の合算値が小さい画像にほど高いスコアを付す。

＜エッジ検出の結果に基づく方法＞
選択部１３０は、画像に対しエッジ検出を行った結果に基づいて基準画像２０を選択することができる。対象物２００が道路に描かれた白線や横断歩道等のマークである場合、塗装のかすれ等が生じていることもあり得る。そこで、エッジ検出時の強度や、検出されたエッジの位置関係が対象物２００の輪郭に近い配置になっているか等に基づいて、エッジが明確に検出できる画像を基準画像２０として選択することが好ましい。

具体的には選択部１３０は、以下のようにエッジの直線度スコア、形状スコア、強度スコアを算出する。そして、算出した直線度スコア、形状スコア、強度スコアの合計をエッジ検出に基づくスコアとする。選択部１３０は、エッジ検出に基づくスコアが最も高い画像を基準画像２０として選択することができる。

＜＜直線度スコア＞＞
選択部１３０は、対象物２００に対して検出されたエッジの長さを導出する。そして、導出されたエッジの長さが上限値以下の範囲で長い画像ほど、高い直線度スコアを付与する。一方、導出されたエッジの長さが上限値を超える画像には、最低のスコアを付与する。

図１０（ａ）～図１０（ｃ）は、対象物２００に対して検出されるエッジを例示する図である。図１０（ａ）は良好な対象物２００に対する検出結果である。対象物２００の長さに応じて長いエッジ２１０が検出されている。図１０（ｂ）は対象物２００にかすれが生じている場合の検出結果である。エッジ２１０が一部で途切れている。図１０（ｃ）はノイズや対象物２００以外のものを検出している例である。エッジ２１０が過度に長くなっている。

＜＜形状スコア＞＞
図１１は、形状スコアの導出方法を説明するための図である。選択部１３０は、対象物２００に対して検出されたエッジ２１０の傾きを全画像について導出し、導出された傾きの平均値を算出する。そして、全画像のエッジの傾きの平均値（本図中ライン２２０で示す傾き）と、各画像で対象物２００に対して検出されたエッジ２１０の傾きとを比較し、平均値に近い傾きのエッジが検出されている画像ほど、高い形状スコアを付与する。なお、各画像に傾きの異なる複数の対象物２００が含まれる場合、選択部１３０は、複数の画像の中で互いに傾きの近い対象物２００を同一線上の対象物２００とみなしてグループ化する。そして、グループ化された対象物２００のエッジを用いて、グループごとに平均値を算出する。そして、各画像の対象物２００のエッジ２１０の傾きと、その対象物２００が含まれるグループの平均値とを比較する。

＜＜強度スコア＞＞
選択部１３０は、対象物２００に対して検出されるエッジについて、検出時の強度を導出する。そして、強度が高い画像ほど、高い強度スコアを付与する。

＜撮影位置に基づく方法＞
選択部１３０は、撮影位置が予め定められた条件を満たす画像を基準画像２０として選択することができる。この場合、複数の画像には、その画像の撮影位置を示す情報が関連付けられている。そして、取得部１２０は複数の画像とともに、各画像の撮影位置を示す情報を取得する。

たとえば対象物２００が道路に描かれた白線である場合、白線の間隔は一般道等では特定の値に定められていない。また、路面の傾斜や道路の曲がり具合によっては、白線が長方形になっていないケースもあり得る。そこで、高精度な地図データや航空写真等から予め各位置の対象物２００の形状を調べ、基準とする対象物２００を決めておき、その対象物２００が撮影された画像を基準画像２０として選択することが好ましい。

選択部１３０からアクセス可能な記憶部には予め、基準とする対象物２００を撮影可能な地図上の領域を示す推奨領域情報が保持されている。選択部１３０は、記憶部からその推奨領域情報を取得する。そして、選択部１３０は、撮影位置が推奨領域情報に示された領域内にある画像を、基準画像２０として選択することができる。また、スコアを算出する場合、選択部１３０撮影位置が推奨領域情報に示された領域内にある画像に対し、領域内にない画像よりも高いスコアを付す。

＜総合スコアに基づく方法＞
選択部１３０は、上述した各観点、すなわち対象物２００の位置、移動体の状態、エッジ検出の結果、および撮影位置に基づく各評価結果を総合して基準画像２０を選択することができる。具体的には、選択部１３０は、各観点で導出されたスコアの重み付け和を、総合スコアとして算出する。重み付け和の各スコアに対する重みは予め定められている。選択部１３０は、総合スコアが最も高い画像を、基準画像２０として選択する。

なお、選択部１３０が基準画像２０を選択する方法の例を上述したが、選択部１３０はこれらの例以外の方法で基準画像２０を選択しても良い。

算出部１４０は、選択部１３０に選択された基準画像２０を用いて、第１の実施形態と同様の方法でパラメータを算出する。なお、算出部１４０は選択部１３０で補正やエッジ検出、対象物２００の検出等の処理が行われた結果を用いてパラメータ算出をすればよく、再度これらの処理を行う必要はない。

本実施形態に係る処理装置１０を実現する計算機のハードウエア構成は、第１の実施形態と同様に、例えば図７によって表される。ただし、本実施形態の処理装置１０を実現する計算機１０００のストレージデバイス１０８０には、選択部１３０の機能を実現するプログラムモジュールがさらに記憶される。

以上、本実施形態によれば、第１の実施形態と同様の作用および効果が得られる。くわえて、本実施形態によれば、処理装置１０は取得部１２０が取得した複数の画像から基準画像２０を選択する選択部１３０をさらに備える。したがって、パラメータ算出に適した基準画像２０を用いて高精度のパラメータを算出できる。

（第３の実施形態）
図１２は、第３の実施形態に係る算出部１４０が対象物２００のサイズを導出する方法を例示するフローチャートである。本実施形態に係る処理装置１０は、以下に説明する点を除いて第１または第２の実施形態に係る処理装置１０と同じである。本実施形態において取得部１２０は、基準画像２０を含み、動画を構成する複数の画像を取得する。この動画は、移動体に取り付けられたカメラ（撮像装置）で得られた動画である。そして算出部１４０は、動画が得られたときの移動体の速度と動画とを用いて対象物２００の実空間での大きさを算出する。また、対象物２００の実空間での大きさを用いてパラメータを算出する。以下に詳しく説明する。

第１および第２の実施形態では、対象物２００のサイズは既知であり、算出部１４０は予め準備されたサイズ情報を用いてパラメータの算出を行う。これに対し、本実施形態に係る処理装置１０では、算出部１４０は、複数の画像を用いて対象物２００のサイズ（実空間での大きさ）を特定する。そして、特定したサイズと基準画像２０とを用いてパラメータを算出する。したがって、対象物２００のサイズが未知の場合でもパラメータを算出できる。

本実施形態に係る処理装置１０では、取得部１２０は第２の実施形態と同様に複数の画像を取得する。本実施形態において、部分領域２２はたとえば実空間において平面視で矩形である。そして、算出部１４０は部分領域２２の長さＬと部分領域２２の幅Ｗを複数仮定して、その中から適切な長さＬと幅Ｗを特定する。具体的には、算出部１４０は、連続する複数の画像間で想定される移動体の移動距離を、長さＬの仮定値と幅Ｗの仮定値を用いて算出し、移動体のセンサの検出値から算出される移動距離と比較する。そうすることで、最も確からしい長さＬと幅Ｗを特定する。

取得部１２０が取得する複数の画像は、一連の動画を構成する。そして、算出部１４０は、複数の画像に対し撮影された時系列で以下の処理を行う。すなわち、後述するＳ３０３では、撮影された時系列で複数の画像を順に読み込む。

図１２を参照して、算出部１４０が部分領域２２のサイズを特定する方法を説明する。取得部１２０が複数の画像を取得すると、算出部１４０は以下の処理を行って部分領域２２のサイズを特定する。Ｓ３０１からＳ３１２はループ処理Ａである。ループ処理Ａでは、Ｌの仮定値をループごとに変更しながら繰り返し処理が行われる。Ｌの仮定値は予め複数定められており、それらの仮定値の全てに対して処理が行われた場合、ループ処理Ａが終了する。Ｓ３０２からＳ３１１はループ処理Ｂである。ループ処理Ｂでは、Ｗの仮定値をループごとに変更しながら繰り返し処理が行われる。Ｗの仮定値は予め複数定められており、それらの仮定値の全てに対して処理が行われた場合、ループ処理Ｂが終了する。ＬとＷの仮定値は、実際に部分領域２２のサイズとしてあり得る範囲で設定されている。

Ｓ３０３からＳ３１０はループ処理Ｃである。ループ処理Ｃでは、取得部１２０で取得された複数の画像を、ループごとに順に読み込みながら繰り返し処理が行われる。複数の画像の全てに対して処理が行われた場合、ループ処理Ｃが終了する。

Ｓ３０４では、読み込まれた画像に対して対象物２００の検出および部分領域２２の抽出が試みられる。ここで、検出に先立ち、画像の補正およびエッジ検出が適宜行われても良い。部分領域２２が抽出された場合、算出部１４０は画像上での対象物２００の位置を読み取る。なおここで、部分領域２２に複数の対象物２００が含まれる場合でも、算出部１４０は少なくとも一つの対象物２００の位置を読み取れば良い。

次いで、Ｓ３０５において算出部１４０は、Ｓ３０４での対象物２００の位置の読み取りが成功したか否かを判定する。読み取りが成功しなかった場合、処理はＳ３１０へ進む。一方、読み取りが成功した場合、Ｓ３０６において算出部１４０は、Ｌの仮定値およびＷの仮定値および画像上の対象物２００の位置に基づいて、画像を撮影したカメラと対象物２００との距離を算出する。なお、実際の矩形の対象物２００の４頂点の座標、画像上の対象物２００の４頂点の座標、および、カメラ特性に基づいて、カメラと対象物２００との距離を算出する方法には、既存の方法を用いることができる。ここで、カメラ特性を示す情報は、処理装置１０が画像を撮影したカメラから取得することができる。

次いで、Ｓ３０７において算出部１４０は、今回のＳ３０６で得られたカメラと対象物２００との距離と一つ前のループ処理の画像で得られたカメラと対象物２００との距離とを比較して、移動体の移動距離Ｄｃを算出する。

また、Ｓ３０８において算出部１４０は、移動体のセンサから画像を撮影した時の移動体の速度を示す情報を取得する。そして、算出部１４０は、画像を撮影した時の速さに基づいて、一つ前の画像が撮影されてから今回の画像が撮影されるまでの間の移動体の移動距離Ｄａを算出する。

そしてＳ３０９において算出部１４０は、移動距離Ｄｃと移動距離Ｄａとの差が小さいほど高くなるよう、スコアを算出する。

Ｓ３１２においてループ処理Ａが終了すると、すなわち全てのＬの仮定値、全てのＷの仮定値、および全ての画像について処理が完了すると、算出部１４０はＳ３１３において、Ｌの仮定値とＷの仮定値の組み合わせごとにスコアの平均値を算出する。そして、算出した平均値が最も高い組み合わせのＬの仮定値とＷの仮定値を、パラメータ算出に用いる対象物２００のサイズとして特定する。なお、算出部１４０は、Ｌの仮定値とＷの仮定値の組み合わせごとにスコアの平均値を算出する代わりに、Ｌの仮定値ごとにスコアの平均値を算出してもよい。その場合、最も平均値が高いＬの仮定値を対象物２００のＬと特定する。また、算出部１４０は、Ｗの仮定値ごとにスコアの平均値を算出して、最も平均値が高いＷの仮定値を対象物２００のＷと特定してもよい。

以上のようにして算出部１４０は部分領域２２のサイズを特定し、特定したサイズをサイズ情報の代わりに用いて、第１の実施形態で説明したのと同様の方法でパラメータを算出する。

なお、算出部１４０は、上述した方法において、画像を撮影したカメラと対象物２００との距離を算出する代わりに、カメラと、部分領域２２に対応する実際の路面上の領域との距離を算出してもよい。その場合でも、同様に部分領域２２のサイズを特定できる。

なお、図２～図４（ｂ）に示した例において、対象物２００の長さＬ_ｔと部分領域２２の長さＬは同じである。よって、部分領域２２の長さＬが特定されることで対象物２００の長さＬ_ｔが特定される。また、図２～図４（ｂ）に示した例において、Ｗ＝２×Ｗ_ｔ＋ｄ_ｔが成り立つ。算出部１４０は、対象物２００の少なくともいずれかの方向のサイズを特定すれば良い。たとえば算出部１４０は部分領域２２のサイズを特定することで、対象物２００の長さＬ_ｔと対象物２００の幅Ｗ_ｔの両方を特定しても良いし、一方のみを特定しても良い。

以上、本実施形態によれば、第１の実施形態と同様の作用および効果が得られる。くわえて、本実施形態によれば、算出部１４０は、複数の画像を用いて対象物２００のサイズを特定する。したがって、対象物２００のサイズが未知の場合でもパラメータを算出できる。

（第４の実施形態）
第４の実施形態に係る処理装置１０は、算出部１４０が対象物２００の長さＬ_ｔを導出する方法を除いて第３の実施形態に係る処理装置１０と同じである。

本実施形態に係る処理装置１０において、取得部１２０は動画を構成する複数の画像を取得する。算出部１４０は必要に応じて、複数の画像に対し補正やエッジ検出の処理を行う。算出部１４０は、複数の画像から、以下のような第１画像と第２画像を抽出する。第１画像と第２画像には同じ対象物２００が含まれる。そして、第１画像におけるその対象物２００の長さＬ_ｔ方向の一端の位置と、第２画像におけるその対象物２００の長さＬ_ｔ方向の他端の位置とが同じである。算出部１４０は既存の方法を用いて複数の画像から第１画像と第２画像を抽出することができる。対象物２００はたとえば道路に描かれた白線である。

算出部１４０は、抽出した第１画像の撮影タイミングと第２画像の撮影タイミングとの差を算出する。また、算出部１４０はこれらの撮影タイミングの間の移動体の速度を取得する。そして算出部１４０は、算出したタイミングの差（時間）と、移動体の速度を用いて、第１画像の撮影タイミングと第２画像の撮影タイミングとの間の移動体の移動量を算出する。算出部１４０は、算出した移動量を対象物２００の長さＬ_ｔとして特定する。なお、対象物２００の長さＬ_ｔは、移動体の進行方向に略平行な方向の長さである。

図１３は、本実施形態に係る算出部１４０が部分領域２２のサイズを導出する方法を例示する図である。本図の例においてＳ３０２～Ｓ３１１は第３の実施形態で説明した通りである。本図の例では、Ｓ３２０において算出部１４０は上述した方法で対象物２００の長さＬ_ｔを特定する。そして、特定された長さＬ_ｔを用いてＳ３０２～Ｓ３１１の処理を行う。なお、対象物２００の長さＬ_ｔと部分領域２２の長さＬとは同じであるとする。本例では、Ｌを変更したループ処理を行う必要はない。そして、Ｓ３１１にてループ処理Ｂが終了すると、算出部１４０はＳ３２１において、Ｗの仮定値ごとにスコアの平均値を算出する。そして、算出した平均値が最も高いＷの仮定値を、パラメータ算出に用いる対象物２００の幅Ｗとして特定する。こうして特定した長さＬと幅Ｗを用いて算出部１４０はパラメータ算出を行う。

なお、幅Ｗは既知であっても良い。すなわち、算出部１４０は、予め記憶部に保持された幅Ｗを示す情報を読み出して取得し、上述の通り導出した長さＬの値と合わせてパラメータ算出に用いても良い。

以上、本実施形態によれば、第１の実施形態と同様の作用および効果が得られる。くわえて、本実施形態によれば、算出部１４０は、複数の画像を用いて対象物２００のサイズを特定する。したがって、対象物２００のサイズが未知の場合でもパラメータを算出できる。

（第５の実施形態）
図１４は、第５の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、算出されたパラメータを用いて対象画像を射影変換する変換部１６０をさらに備える点を除いて第１から第４の実施形態の少なくともいずれかに係る処理装置１０と同じである。以下に詳しく説明する。

本実施形態において変換部１６０は、射影変換する対象画像を決定しても良い。変換部１６０はたとえば、部分領域２２を射影変換し、射影変換された部分領域２２を拡張し、拡張された部分領域２２を射影変換の逆変換し、逆変換の結果を用いて対象画像を決定することができる。

たとえば車載カメラで撮影された画像から路面オルソ画像を生成する場合、撮影画像内で射影変換を施す範囲を定める必要がある。しかし、射影変換を施すのに適正な範囲はカメラの取り付け位置、角度、路面の傾きなどにより異なる。画像に応じて変換範囲を適切に指定することで、高精度なオルソ画像を得られる。

図１５は、変換部１６０が対象画像３０を決定し、対象画像３０を射影変換する方法について説明するための図である。変換部１６０は、算出部１４０が算出したパラメータを用いて部分領域２２を射影変換する。そして、射影変換された部分領域２２を、予め定められた倍率で拡張する。本図の例において変換部１６０は、射影変換された部分領域２２を画像の上方向および左右方向に拡張している。変換部１６０は、拡張された部分領域２２の外縁ライン２２０を特定する。部分領域２２が多角形である場合、拡張された部分領域２２の外縁ライン２２０は、ライン２２０の頂点を示す座標により特定できる。次いで、変換部１６０は、拡張された部分領域２２を逆変換する。すなわち、逆変換後のライン２２０を、その頂点の座標を算出することにより特定する。次いで、変換部１６０は、基準画像２０の内、逆変換後のライン２２０の内側の部分を対象画像３０として決定する。そして、変換部１６０は、決定した対象画像３０を射影変換してオルソ画像を得る。なお、逆変換後のライン２２０が基準画像２０からはみ出す場合、はみ出した部分の画素にはたとえば予め定められた値が設定される。このようにして、変換部１６０はオルソ画像を生成できる。

射影変換された部分領域２２を拡張する際の拡張倍率は、たとえば撮影された道路の車線数などに基づき予め定めておくことができる。

なお、対象画像３０は上記の例に限定されない。変換部１６０は任意の画像を対象画像３０として射影変換することができる。ただし、対象画像３０はたとえば道路を含む。対象画像３０と、基準画像２０とは、同じ移動体の同じカメラを用いて得られた画像であることが好ましい。また、基準画像２０と対象画像３０は、同じ動画を構成することが好ましい。

図１５の例において、対象画像３０は基準画像２０の一部である。すなわち、基準画像２０と対象画像３０とは異なる画像である。ただし基準画像２０と対象画像３０は同じ画像であっても良い。また、変換部１６０は部分領域２２を拡張せずに対象画像３０としてもよい。

変換部１６０は算出部１４０が算出したパラメータを用いて、既存の方法で対象画像３０を射影変換することができる。変換部１６０はさらに、複数の対象画像３０から複数のオルソ画像を生成し、生成した複数のオルソ画像を移動体から取得したセンサ情報に基づいて位置合わせし、一枚の画像に統合しても良い。

本実施形態に係る処理装置１０を実現する計算機のハードウエア構成は、第１の実施形態と同様に、例えば図７によって表される。ただし、本実施形態の処理装置１０を実現する計算機１０００のストレージデバイス１０８０には、変換部１６０の機能を実現するプログラムモジュールがさらに記憶される。

図１６は、本実施形態に係る処理装置１０が行う処理の流れを例示するフローチャートである。本実施形態に係る処理法は、取得ステップＳ１０、算出ステップＳ３０および変換ステップＳ４０を含む。変換ステップＳ４０では、算出されたパラメータを用いて対象画像が射影変換される。

以上、本実施形態によれば、第１の実施形態と同様の作用および効果が得られる。くわえて、本実施形態によれば、処理装置１０は、算出されたパラメータを用いて対象画像を射影変換する変換部１６０をさらに備える。したがって、カメラの取付方向や角度に関わらず、高精度なオルソ画像を得られる。

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１０ 処理装置
２０ 基準画像
２２ 部分領域
３０ 対象画像
４０ 移動体
４２ カメラ
５０ サーバマシン
１２０ 取得部
１３０ 選択部
１４０ 算出部
１６０ 変換部
２００ 対象物
２１０ エッジ
１０００ 計算機

Claims (15)

1. 基準画像を取得する取得部と、
   前記基準画像内の対象物の形状および大きさに基づいて、射影変換のためのパラメータを算出する算出部とを備える
   処理装置。
2. 請求項１に記載の処理装置において、
   前記対象物は地面に設けられたマークであり、
   前記算出部は、
   前記基準画像から前記マークを含む部分領域を抽出し、
   前記部分領域に含まれるマークに基づいて前記パラメータを算出する
   処理装置。
3. 請求項１または２に記載の処理装置において、
   算出された前記パラメータを用いて対象画像を射影変換する変換部をさらに備える
   処理装置。
4. 請求項２に記載の処理装置において、
   算出された前記パラメータを用いて対象画像を射影変換する変換部をさらに備え、
   前記変換部は、
   前記部分領域を射影変換し、
   射影変換された前記部分領域を拡張し、
   拡張された前記部分領域を射影変換の逆変換し、
   前記逆変換の結果を用いて前記対象画像を決定する
   処理装置。
5. 請求項３または４に記載の処理装置において、
   前記基準画像と、前記対象画像は異なる画像である
   処理装置。
6. 請求項１～５のいずれか一項に記載の処理装置において、
   前記対象物は道路に描かれた区画線である
   処理装置。
7. 請求項１～６のいずれか一項に記載の処理装置において、
   前記取得部は、前記基準画像を含む複数の画像を取得し、
   前記取得部が取得した前記複数の画像から前記基準画像を選択する選択部をさらに備える
   処理装置。
8. 請求項７に記載の処理装置において、
   前記選択部は、前記対象物の画像内の位置に基づいて前記基準画像を選択する
   処理装置。
9. 請求項７または８に記載の処理装置において、
   前記複数の画像は、移動体に取り付けられた撮像装置で得られた画像であり、
   前記選択部は、画像が得られたときの前記移動体の状況に基づいて前記基準画像を選択する
   処理装置。
10. 請求項７～９のいずれか一項に記載の処理装置において、
    前記選択部は、画像に対しエッジ検出を行った結果に基づいて前記基準画像を選択する
    処理装置。
11. 請求項７～１０のいずれか一項に記載の処理装置において、
    前記複数の画像には、その画像の撮影位置を示す情報が関連付けられており、
    前記選択部は、前記撮影位置が予め定められた条件を満たす画像を前記基準画像として選択する
    処理装置。
12. 請求項１～１１のいずれか一項に記載の処理装置において、
    前記算出部は、前記対象物の実空間での大きさを示すサイズ情報を取得し、前記サイズ情報を用いて前記パラメータを算出する
    処理装置。
13. 請求項１～１１のいずれか一項に記載の処理装置において、
    前記取得部は、前記基準画像を含み、動画を構成する複数の画像を取得し、
    前記動画は、移動体に取り付けられた撮像装置で得られた動画であり、
    前記算出部は、
    前記動画が得られたときの前記移動体の速度と前記動画とを用いて前記対象物の実空間での大きさを算出し、
    前記対象物の実空間での大きさを用いて前記パラメータを算出する
    処理装置。
14. 基準画像を取得する取得ステップと、
    前記基準画像内の対象物の形状および大きさに基づいて、射影変換のためのパラメータを算出する算出ステップとを備える
    処理方法。
15. 請求項１４に記載の処理方法の各ステップをコンピュータに実行させるプログラム。

Images