JP2021051717A - 情報出力及びカメラキャリブレーションのための方法並びに装置 - Google Patents

Abstract

【課題】情報を出力するための方法及び装置並びにカメラをキャリブレーションするための方法及び装置を提供する。【解決手段】方法は、キャリブレーション対象のカメラにより撮像された第１画像と、前記第１画像が示す対象領域を含む高精細地図画像である第２画像と、前記対象領域を含む反射率画像である第３画像とを取得するステップと、前記第２画像及び前記第３画像を融合して、融合画像を得るステップと、前記第１画像及び前記融合画像においてユーザにより選定された点に基づいてマッチング点ペアを確定するステップと、前記マッチング点ペアの座標に基づいて前記キャリブレーション対象のカメラをキャリブレーションするステップと、を含む。【選択図】図４

Description

本願の実施例は、コンピュータ技術分野に関し、具体的には情報出力及びカメラキャリブレーションのための方法並びに装置に関する。

カメラキャリブレーションは写真測量、視覚検出、コンピュータ・ビジョン等の分野における重要な研究課題の１つであり、測量および図化、工業制御、ナビゲーション、軍事等の分野において極めて大幅に応用されている。カメラキャリブレーションは、視覚画像の２次元情報と実際の３次元物体世界に対して、対応するか、変換するかのための定量的な関係を提供している。

本願の実施例は、情報出力及びカメラキャリブレーションのための方法及び装置を提供している。

第１態様において、本願の実施例は、ユーザの第１画像取り込み操作に応答して、上記ユーザにより選定された第１画像を表示するステップであって、上記第１画像はキャリブレーション対象のカメラにより撮像された画像であるステップと、上記ユーザの第２画像取り込み操作に応答して、上記ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像を表示するステップであって、上記第２画像は上記第１画像が示す対象領域を含む高精細地図画像であり、上記第３画像は上記対象領域を含む反射率画像であるステップと、上記ユーザの上記第１画像及び／又は上記融合画像に対する点選択操作に応答して、上記ユーザにより選定された点を上記第１画像及び／又は上記融合画像に表示するステップと、選定された点の座標を出力するステップと、を含む情報を出力するための方法を提供している。

いくつかの実施例において、上記ユーザにより選定された第２画像及び第３画像を融合するステップは、高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、上記第２画像及び上記第３画像を融合することを含む。

いくつかの実施例において、上記点選択操作は、上記第１画像に対する第１点選択操作と、上記融合画像に対する第２点選択操作とを含み、上記ユーザの上記第１画像及び／又は上記融合画像に対する点選択操作に応答して、上記ユーザにより選定された点を上記第１画像及び／又は上記融合画像に表示するステップは、上記第１点選択操作及び上記第１点選択操作の後の第２点選択操作に応答して、上記第１点選択操作が指示する第１点と上記第２点選択操作が指示する第２点とをマッチング点ペアとすることと、上記第１画像及び上記融合画像において上記マッチング点ペアを関連付けて表示することとを含む。

いくつかの実施例において、上記方法は、上記マッチング点ペアに対する追加操作に応答して、上記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するステップと、上記マッチング点ペアの集合に対する記憶操作に応答して、上記マッチング点ペアの集合をローカルで記憶するステップとをさらに含む。

いくつかの実施例において、上記点選択操作は、上記第１画像又は上記融合画像に対する第３点選択操作及び第４点選択操作を含み、上記ユーザの上記第１画像及び／又は上記融合画像に対する点選択操作に応答して、上記ユーザにより選定された点を上記第１画像及び／又は上記融合画像に表示するステップは、上記第３点選択操作に応答して、上記第３点選択操作が指示する第３点を補助線の始点とすることと、上記第４点選択操作に応答して、上記第４点選択操作が指示する第４点を補助線の終点とすることと、上記始点及び上記終点に対する線引き操作に応答して、上記始点及び上記終点を結ぶことと、上記始点、上記終点及び連結された直線を上記第１画像又は上記融合画像に表示することと、を含む。

いくつかの実施例において、上記方法は、上記ユーザの選定された点に対するキャンセル操作に応答して、キャンセル対象の点を再び表示しないステップをさらに含む。

第２態様において、本願の実施例は、キャリブレーション対象のカメラにより撮像された画像である第１画像と、上記第１画像が示す対象領域を含む高精細地図画像である第２画像と、上記対象領域を含む反射率画像である第３画像とを取得するステップと、上記第２画像及び上記第３画像を融合して、融合画像を得るステップと、上記第１画像及び上記融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するステップと、上記マッチング点ペアの座標に基づいて、上記キャリブレーション対象のカメラをキャリブレーションするステップと、を含むカメラをキャリブレーションするための方法を提供している。

いくつかの実施例において、上記第２画像及び上記第３画像を融合して、融合画像を得るステップは、高精細地図画像における画素点の座標及び反射率画像における画素点それぞれの座標に基づいて、上記第２画像及び上記第３画像を融合することを含む。

いくつかの実施例において、上記第１画像及び上記融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するステップは、ユーザにより上記第１画像において選定された第１点及び上記第１点を選定した後に上記融合画像において選定された第２点を確定することと、上記第１点及び上記第２点をマッチング点ペアとすることと、を含む。

いくつかの実施例において、上記方法は、上記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するステップと、上記マッチング点ペアの集合をローカルで記憶するステップと、をさらに含む。

第３態様において、本願の実施例は、ユーザの第１画像取り込み操作に応答して、上記ユーザにより選定された第１画像を表示するように構成される第１表示ユニットであって、上記第１画像はキャリブレーション対象のカメラにより撮像された画像である第１表示ユニットと、上記ユーザの第２画像取り込み操作に応答して、上記ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像を表示するように構成される第２表示ユニットであって、上記第２画像は上記第１画像が示す対象領域を含む高精細地図画像であり、上記第３画像は上記対象領域を含む反射率画像である第２表示ユニットと、上記ユーザの上記第１画像及び／又は上記融合画像に対する点選択操作に応答して、上記ユーザにより選定された点を上記第１画像及び／又は上記融合画像に表示するように構成される点選択ユニットと、選定された点の座標を出力するように構成される出力ユニットと、を含む情報を出力するための装置を提供している。

いくつかの実施例において、上記第２表示ユニットはさらに、上記高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、上記第２画像及び上記第３画像を融合するように構成される。

いくつかの実施例において、上記点選択操作は、上記第１画像に対する第１点選択操作と、上記融合画像に対する第２点選択操作とを含み、上記第２表示ユニットはさらに、上記第１点選択操作及び上記第１点選択操作の後の第２点選択操作に応答して、上記第１点選択操作が指示する第１点と上記第２点選択操作が指示する第２点とをマッチング点ペアとし、上記第１画像及び上記融合画像において上記マッチング点ペアを関連付けて表示するように構成される。

いくつかの実施例において、上記装置は、上記マッチング点ペアに対する追加操作に応答して、上記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するように構成される追加ユニットと、上記マッチング点ペアの集合に対する記憶操作に応答して、上記マッチング点ペアの集合をローカルで記憶するように構成される記憶ユニットと、をさらに含む。

いくつかの実施例において、上記点選択操作は、上記第１画像又は上記融合画像に対する第３点選択操作及び第４点選択操作を含み、上記第２表示ユニットはさらに、上記第３点選択操作に応答して、上記第３点選択操作が指示する第３点を補助線の始点とし、上記第４点選択操作に応答して、上記第４点選択操作が指示する第４点を補助線の終点とし、上記始点及び上記終点に対する線引き操作に応答して、上記始点及び上記終点を結び、上記始点、上記終点及び連結された直線を上記第１画像又は上記融合画像に表示するように構成される。

いくつかの実施例において、上記装置は、上記ユーザの選択された点に対するキャンセル操作に応答して、キャンセル対象の点を再び表示しないように構成されるキャンセルユニットをさらに含む。

第４態様において、本願の実施例は、キャリブレーション対象のカメラにより撮像された画像である第１画像と、上記第１画像が示す対象領域を含む高精細地図画像である第２画像と、上記対象領域を含む反射率画像である第３画像とを取得するように構成される取得ユニットと、上記第２画像及び上記第３画像を融合して、融合画像を得るように構成される融合ユニットと、上記第１画像及び上記融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するように構成される確定ユニットと、上記マッチング点ペアの座標に基づいて、上記キャリブレーション対象のカメラをキャリブレーションするように構成されるキャリブレーションユニットと、を含むカメラをキャリブレーションするための装置を提供している。

いくつかの実施例において、上記融合ユニットはさらに、高精細地図画像における画素点の座標及び反射率画像における画素点それぞれの座標に基づいて、上記第２画像及び上記第３画像を融合するように構成される。

いくつかの実施例において、上記確定ユニットはさらに、ユーザにより上記第１画像において選定された第１点及び上記第１点の選定後に上記融合画像において選択された第２点を確定し、上記第１点及び上記第２点をマッチング点ペアとするように構成される。

いくつかの実施例において、上記装置は、上記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するように構成される追加ユニットと、上記マッチング点ペアの集合をローカルで記憶するように構成される記憶ユニットと、をさらに含む。

第５態様において、本願の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、上記１つ又は複数のプログラムが上記１つ又は複数のプロセッサによって実行される場合に、上記１つ又は複数のプロセッサに第１態様のいずれかの実施例に記載の方法を実現させる電子機器を提供している。

第６態様において、本願の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、上記１つ又は複数のプログラムが上記１つ又は複数のプロセッサによって実行される場合に、上記１つ又は複数のプロセッサに第２態様のいずれかの実施例に記載の方法を実現させる電子機器を提供している。

第７態様において、本願の実施例は、コンピュータプログラムが格納されているコンピュータ可読媒体であって、該コンピュータプログラムがプロセッサによって実行される場合に、第１態様のいずれかの実施例に記載の方法を実現するコンピュータ可読媒体を提供している。

第８態様において、本願の実施例は、コンピュータプログラムが格納されているコンピュータ可読媒体であって、該コンピュータプログラムがプロセッサによって実行される場合に、第２態様のいずれかの実施例に記載の方法を実現するコンピュータ可読媒体を提供している。

本願の上記実施例に係る情報を出力するための方法及び装置並びにカメラをキャリブレーションするための方法及び装置は、ユーザのキャリブレーション対象のカメラにより撮像された第１画像及び融合画像に対する点選択操作をサポートすることができ、さらにカメラをキャリブレーションするために、選定された点の座標を出力することができる。本実施例の方法によれば、ユーザがカメラをキャリブレーションするためにペアとなる点の選定に役立つ。

本願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。
本願の一実施例を適用できる例示的なシステムアーキテクチャを示す図である。 本願に係る情報を出力するための方法の一実施例を示すフローチャートである。 本願に係る情報を出力するための方法におけるキャリブレーションツールの概略図である。 本願に係るカメラをキャリブレーションするための方法の一実施例を示すフローチャートである。 本願に係る情報を出力するための装置の一実施例を示す構造概略図である。 本願に係るカメラをキャリブレーションするための装置の一実施例を示す構造概略図である。 本願の実施例を実施するための電子機器に適するコンピュータシステムを示す構造概略図である。

以下、添付図面及び実施例を参照しながら、本願をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。

なお、本願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本願を詳細に説明する。

図１は、本願に係る、情報を出力するための方法、カメラをキャリブレーションするための方法、情報を出力するための装置又はカメラをキャリブレーションするための装置の実施例を適用できる例示的なシステムアーキテクチャ１００が示されている。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０４は、有線、無線通信リンク又は光ファイバケーブル等のような、様々な接続タイプを含んでもよい。

ユーザは、メッセージを受信又は送信する等のために、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５とやり取りすることができる。端末装置１０１、１０２、１０３には、例えば、画像閲覧アプリケーション、画像処理アプリケーション、ウェブブラウザアプリケーション、インスタントメッセンジャー、メールボックスクライアント、ソーシャルプラットフォームソフトウェア等の各種通信クライアントアプリケーションがインストールされていてもよい。

端末装置１０１、１０２、１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである場合には、表示画面を有するとともに画像処理をサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、これらに限定されない。端末装置１０１、１０２、１０３がソフトウェアである場合には、上記に挙げられる電子機器にインストールされてもよい。これは、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するために用いられる）として実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは、特に限定されない。

サーバ１０５は、例えば、端末装置１０１、１０２、１０３に表示される画像をサポートするバックグラウンド画像サーバ等の、様々なサービスを提供するサーバであってもよい。バックグラウンド画像サーバは、受信された画像等のデータを解析する等の処理を行うことができる。

なお、サーバ１０５は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０５がハードウェアである場合には、複数のサーバからなる分散サーバクラスタとして実現されてもよいし、単一のサーバとして実現されてもよい。サーバ１０５がソフトウェアである場合には、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供する）として実現されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは特に限定されない。

なお、本願の実施例に係る情報を出力するための方法は、一般的に端末装置１０１、１０２、１０３によって実行され、カメラをキャリブレーションするための方法は、端末装置１０１、１０２、１０３によって実行されてもよいし、サーバ１０５によって実行されてもよい。したがって、情報を出力するための装置が一般的に端末装置１０１、１０２、１０３に設けられてもよく、カメラをキャリブレーションするための装置が端末装置１０１、１０２、１０３に設けられてもよいし、サーバ１０５に設けられてもよい。

図１における端末装置、ネットワーク及びサーバの数は、単なる例示的なものに過ぎないことを理解されたい。必要に応じて、端末装置、ネットワーク及びサーバの数を任意に加減してもよい。

引き続き図２を参照して、本願に係る情報を出力するための方法の一実施例を示すフロー２００が示されている。本実施例の情報を出力するための方法は、ステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４を含む。

ステップ２０１：ユーザの第１画像取り込み操作に応答して、ユーザにより選定された第１画像を表示する。

本実施例において、情報を出力するための方法の実行主体（例えば、図１に示す端末装置１０１、１０２、１０３）が、ユーザの操作を検出することができる。ユーザの第１画像取り込み操作が検出されると、ユーザにより選定された第１画像を表示することができる。具体的には、実行主体に第１画像取り込みボタンを含み得るキャリブレーションツールがインストールされてもよい。ユーザは、前記第１画像取り込みボタンをクリックすることにより、又は予め設定されたショートカットキーにより、第１画像取り込み操作を実行することができる。実行主体は第１画像取り込み操作が検出された後に、ユーザがキャリブレーションツールを取り込む必要がある第１画像を選定することに供して、画像取り込みウィンドウを表示することができる。前記キャリブレーションツールは、実行主体が第１画像を表示することができる表示ウィンドウをさらに備えてもよい。

本実施例において、前記第１画像は、キャリブレーション対象のカメラにより撮像された画像である。前記キャリブレーション対象のカメラは、路面の画像を撮像するために、道路又は交差点のある位置に固定されてもよい。

ステップ２０２：ユーザの第２画像取り込み操作に応答して、ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像を表示する。

実行主体はユーザの第２画像取り込み操作をさらに検出することができる。第２画像取り込み操作が検出された場合に、ユーザにより選定された第２画像及び第３画像を融合して、融合画像を得ることができる。得られた融合画像を表示する。具体的には、キャリブレーションツールが第２画像取り込みボタンを含み得る。ユーザは、前記第２画像取り込みボタンをクリックすることにより、又は予め設定されたショートカットキーにより、第２画像取り込み操作を実行する。実行主体は第２画像取り込み操作が検出された後に、ユーザが融合する必要がある第２画像及び第３画像を選定することに供して、画像取り込みウィンドウを表示することができる。

本実施例において、第２画像は第１画像が示す対象領域を含む高精細地図画像であり、第３画像は対象領域を含む反射率画像である。ここで、高精細地図とは、車線区画線、車線境界、横断歩道、停止線、信号機及び交通標識などの通常の地図よりも豊富な地図情報を有し、さらに高度、勾配距離などの情報を有する地図である。反射率画像とは、点群データを地面に投影した画像である。点群データには、建物の情報、道路情報等が含まれる。高精細地図画像及び反射率画像は、いずれも座標情報を有することを理解されたい。

実行主体は、高精細地図画像及び反射率画像における座標情報に基づいて両者を融合してもよいし、高精細地図画像及び反射率画像における道路情報に基づいて融合してもよい。ここで、融合とは、高精細地図画像及び反射率画像を画像処理し、得られた融合画像に高精細地図画像と反射率画像とに含まれる情報を同時に表示させることをいう。これにより、ユーザは融合画像において点を容易に選定することができる。

本実施例のいくつかの任意選択実施形態において、実行主体は、高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、第２画像及び第３画像を融合するステップ（図２に示されていない）により第２画像及び第３画像を融合することができる。

本実施形態において、実行主体は、高精細地図画像における画素点の座標に基づいて、該座標と同じ反射率画像における画素点の座標を決定することができる。同じ座標の画素点を位置合わせすると、融合画像が得られる。

本実施例のいくつかの任意選択実施形態において、第１画像を表示するウィンドウと融合画像を表示するウィンドウとは、左右に配列されてもよいし、上下に配列されてもよい。これにより、ユーザは、第１画像及び融合画像をより容易に対照して、ペアとなる点を容易に選定することができる。

ステップ２０３：ユーザの第１画像及び／又は融合画像に対する点選択操作に応答して、ユーザにより選定された点を第１画像及び／又は融合画像に表示する。

ユーザによる表示される第１画像及び／又は融合画像に対する点選択操作は、具体的にキャリブレーションツールにおけるボタンをクリックするか、又はショートカットキーを使用することで、点選択操作を実行することができる。ユーザは、第１画像又は融合画像のみにおいて点を選定してもよいし、第１画像において点の選定後に融合画像において点を選定してもよい。本実施例において、実行主体は、ユーザにより選定された点を第１画像及び／又は融合画像に表示させてもよい。ユーザが第１画像において点を選定すると、選定された点は第１画像のみに表示できることが理解されよう。同様に、ユーザが融合画像のみにおいて点を選定すると、選定された点は融合画像のみにて表示できる。

ステップ２０４：選定された点の座標を出力する。

点選択操作終了後に、実行主体は選定された点の座標を出力することができる。具体的に、実行主体には、第１画像においてユーザにより選定された点に対して、その点の第１画像における座標を出力することができる。融合画像においてユーザにより選定された点に対して、実行主体は、その点の融合画像における投影座標を出力してもよいし、その点の３次元座標を出力してもよい。即ち、実行主体は、融合画像において選定される点に対して、点の高さ情報を出力してもよいし、出力しなくてもよい。

本実施例において、実行主体は、サーバがキャリブレーション対象のカメラをキャリブレーションすることに供して、前記選定された点の座標をサーバに出力してもよい。前記選定された点の座標を、キャリブレーション対象のカメラをキャリブレーションすることに供して、ローカルで実行されるキャリブレーションアルゴリズムに出力してもよい。

本願の前記実施例に係る情報を出力するための方法によれば、ユーザがペアとなる点をより容易に選定でき、カメラのキャリブレーションを容易にすることができる。

本実施例のいくつかの任意選択実施形態において、前記点選択操作は、第１画像に対する第１点選択操作と、融合画像に対する第２点選択操作とを含む。前記ステップ２０３は具体的に、第１点選択操作と、第１点選択操作の後の第２点選択操作とに応答して、第１点選択操作が指示する第１点と、第２点選択操作が指示する第２点とをマッチング点ペアとし、第１画像及び融合画像においてマッチング点ペアを関連付けて表示するステップ（図２に示されていない）を含んでもよい。

実行主体は、第１点選択操作を検出するとともに、第１点選択操作の後に第２点選択操作を検出すると、第１点選択操作が指示する第１点と、第２点選択操作が指示する第２点とをマッチング点ペアとすることができる。即ち、ユーザが第１画像において第１点を選定した後に、さらに続けて融合画像において第２点を選定した場合に、実行主体は、第１点及び第２点をマッチング点ペアとすることができる。実行主体はさらに第１画像及び融合画像においてマッチング点ペアを関連付けて表示してもよい。ここで、関連付けて表示することは、同じ色で表示されることを指してもよいし、同じマークで表示されることを指してもよい。

本実施例のいくつかの任意選択実施形態において、前記方法は、図２に示されていないが、マッチング点ペアに対する追加操作に応答して、マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するステップと、マッチング点ペアの集合に対する記憶操作に応答して、マッチング点ペアの集合をローカルで記憶するステップとをさらに含むことができる。

本実施形態において、ユーザはさらに、マッチング点ペアに対して追加操作を実行することができる。ユーザは、キャリブレーションツールにおける追加ボタン又はショートカットキーによって追加操作を実行することができる。実行主体は、追加操作を検出した後に、予め設定されたマッチング点ペアの集合にマッチング点ペアを追加することができる。なお、マッチング点ペアの集合におけるマッチング点ペアの数が十分に多い場合に、実行主体は、各マッチング点ペアを利用してキャリブレーション対象のカメラをキャリブレーションすることができる。

実行主体は、ユーザがマッチング点ペアの集合に対する記憶操作を実行したか否かをさらに検出することができる。ユーザは、キャリブレーションツールにおける追加ボタン又はショートカットキーによって記憶操作を実行することができる。実行主体は、記憶操作を検出した後に、マッチング点ペアの集合をローカルで記憶することができる。

本実施例のいくつかの任意選択実施形態において、前記点選択操作は、第１画像又は融合画像に対する第３点選択操作及び第４点選択操作をさらに含むことができる。実行主体は、第３点選択操作に応答して、第３点選択操作が指示する第３点を補助線の始点とし、第４点選択操作に応答して、第４点選択操作が指示する第４点を補助線の終点とし、始点及び終点に対する線引き操作に応答して、始点及び終点を結び、始点、終点及び連結された直線を第１画像又は融合画像に表示するステップ（図２に示されていない）によってステップ２０３を実現することができる。

本実施形態において、ユーザはさらに、第１画像又は融合画像において２つの点を選定し、選定された２つの点を結んで直線を得ることができる。実際の応用において、第１画像又は融合画像にはっきり見えない箇所がある場合があり、ユーザは、補助線を作成することで実際に選択すべき点を確定することができる。具体的には、実行主体は、第３点選択操作が指示する第３点を補助線の始点とし、第４点選択操作が指示する第４点を補助線の終点としてもよい。始点及び終点に対する線引き操作が検出された後に、始点及び終点を結ぶ。連結された直線を第１画像又は融合画像に表示する。

本実施例のいくつかの任意選択実施形態において、前記方法は、ユーザの選定された点に対するキャンセル操作に応答して、キャンセル対象の点を再び表示しないステップ（図２に示されていない）をさらに含むことができる。

本実施形態において、ユーザは、点を選定した後に、選定された点をキャンセルしたい場合に、削除操作を実行することができる。実行主体は、キャンセル操作を検出すると、キャンセル対象の点を再び表示しなくてもよい。

本実施例において、ユーザはさらに、第１画像及び／又は融合画像において点を容易に選定するために、表示された第１画像及び／又は融合画像に対してズーム操作を行うことができる。

本実施例に係る情報を出力するための方法におけるキャリブレーションツールのユーザインターフェースを示す概略図である図３を参照する。ユーザは、ユーザインターフェースにおける各ボタンにより、第１画像（左側）及び融合画像（右側）において点をそれぞれ選定するために、様々な操作を実行することができる。

引き続き本願に係るカメラをキャリブレーションするための方法の一実施例を示すフロー４００が示されている図４を参照する。図４に示すように、本実施例に係るカメラをキャリブレーションするための方法は、ステップ４０１、ステップ４０２、ステップ４０３及びステップ４０４を含むことができる。

ステップ４０１：第１画像、第２画像及び第３画像を取得する。

本実施例において、カメラをキャリブレーションするための方法の実行主体（例えば、図１に示す端末装置１０１、１０２、１０３又はサーバ１０５）が、第１画像、第２画像及び第３画像を取得することができる。実行主体が端末装置である場合に、ユーザの操作に応じて、第１画像、第２画像及び第３画像をローカルから取得することができる。例えば、端末装置にキャリブレーションツールが搭載されると、ユーザはキャリブレーションツールにおけるボタン又はショートカットキーをクリックすることにより、第１画像、第２画像及び第３画像をローカルから選定することができる。実行主体がサーバである場合に、第１画像、第２画像及び第３画像を他のデバイスから取得することができる。

前記第１画像は、キャリブレーション対象のカメラにより撮像された画像である。前記キャリブレーション対象のカメラは、路面の画像を撮像するために、道路又は交差点の特定の位置に固定されてもよい。第２画像は、第１画像が示す対象領域を含む高精細地図画像である。第３画像は、対象領域を含む反射率画像である。ここで、高精細地図とは、車線区画線、車線境界、横断歩道、停止線、信号機及び交通標識などの通常の地図よりも豊富な地図情報を有し、さらに高さ、勾配距離などの情報を有する地図である。反射率画像とは、点群データを地面に投影した画像である。点群データには、建物の情報、道路情報等が含まれる。高精細地図画像及び反射率画像は、いずれも座標情報を有することを理解されたい。

ステップ４０２：第２画像及び第３画像を融合して、融合画像を得る。

実行主体は、高精細地図画像及び反射率画像における座標情報に基づいて両者を融合してもよいし、高精細地図画像及び反射率画像における道路情報に基づいて融合してもよい。ここで、融合とは、両者を位置合わせして、得られた融合画像において両者の情報を表示することを意味することができる。これにより、ユーザは融合画像において点を容易に選定することができる。

本実施例のいくつかの任意選択実施形態において、実行主体は、高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、第２画像及び第３画像を融合するステップ（図４に示されていない）により第２画像及び第３画像を融合することができる。

本実施形態において、実行主体は、高精細地図画像における画素点の座標に基づいて、該座標と同じ反射率画像における画素点の座標を確定することができる。同じ座標の画素点を重畳すると、融合画像が得られる。

ステップ４０３：第１画像及び融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定する。

本実施例において、ユーザは、第１画像及び融合画像のそれぞれにおいて点を選定することができ、実行主体は、ユーザにより選定された点をマッチング点ペアとすることができる。具体的には、実行主体が端末装置である場合に、第１画像及び融合画像を画面に表示することができ、ユーザは端末装置の入力装置を介して第１画像及び融合画像のそれぞれにおいて点を選定することができる。実行主体がサーバである場合に、ユーザが使用する端末装置に第１画像及び融合画像を送信し、ユーザは、点を選定した後に、選定された点を含む第１画像及び融合画像をサーバに送信することができる。

本実施例のいくつかの任意選択実施形態において、実行主体は、ユーザにより第１画像において選定された第１点及び第１点が選定された後に融合画像において選定された第２点を確定し、第１点及び第２点をマッチング点ペアとするステップ（図４に示されていない）により、前記ステップ４０２を実現することができる。

実行主体は、第１画像においてユーザが第１点を選定したことを検出した後に、融合画像においてユーザが第２点を選定したことを検出した場合に、第１点及び第２点をマッチング点ペアとすることができる。即ち、ユーザが第１画像において第１点を選定した後に、さらに続けて融合画像において第２点を選定した場合に、実行主体は、第１点及び第２点をマッチング点ペアとすることができる。

ステップ４０４：マッチング点ペアの座標に基づいて、キャリブレーション対象のカメラをキャリブレーションする。

本実施例において、実行主体は、マッチング点ペアを確定した後に、まず、マッチング点ペアの座標を確定することができる。実行主体は、第１画像においてユーザにより選定された点の、第１画像における座標を出力することができる。融合画像においてユーザにより選定された点に対して、実行主体は、その融合画像における投影座標を出力してもよいし、その３次元座標を出力してもよい。即ち、実行主体は、融合画像において選定された点に対して、点の高さ情報を出力してもよいし、出力しなくてもよい。

本実施例において、融合画像における各点の座標は、測地座標系における座標であるため、第１画像における各点の座標は、カメラ座標系における座標であるため、従来のキャリブレーションアルゴリズムにより、カメラ座標系と測地座標系とにおけるキャリブレーションパラメータが得られ、キャリブレーション対象のカメラのキャリブレーションが実現される。

本実施例のいくつかの任意選択実施形態において、前記方法は、マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するステップ（図４に示されていない）と、マッチング点ペアの集合をローカルで記憶するステップ（図４に示されていない）とをさらに含むことができる。

本実施形態において、実行主体はさらに、得られたマッチング点ペアを予め設定されたマッチング点ペアの集合に追加することができる。さらにマッチング点ペアの集合を実行主体にローカルで記憶することができる。このようにして、マッチング点ペアの集合におけるマッチング点ペアの数が十分に多い場合に、実行主体は、各マッチング点ペアの座標を利用してキャリブレーション対象のカメラをキャリブレーションすることができる。

本願の前記実施例に係るカメラをキャリブレーションするための方法は、キャリブレーション対象のカメラにより取り込まれた画像と、同一領域の高精細地図画像及び反射率画像とを利用して、ユーザによるマッチング点ペアの選定をサポートし、マッチング点ペアを利用してカメラをキャリブレーションすることができ、カメラを手動でキャリブレーションするキャリブレーション効率が向上された。

さらに図５を参照して、前記図２に示される方法の実施態様として、本願は、図２に示される方法の実施例に対応する情報を出力するための装置の一実施例を提供し、当該装置は、具体的に様々な電子機器に適用されてもよい。

図５に示すように、本実施例に係る情報を出力するための装置５００は、第１表示ユニット５０１、第２表示ユニット５０２、点選択ユニット５０３及び出力ユニット５０４を備える。

第１表示ユニット５０１は、ユーザの第１画像取り込み操作に応答して、ユーザにより選定された第１画像を表示するように構成される。ここで、第１画像は、キャリブレーション対象のカメラにより撮像された画像である。

第２表示ユニット５０２は、ユーザの第２画像取り込み操作に応答して、ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像を表示するように構成される。ここで、第２画像は第１画像が示す対象領域を含む高精細地図画像であり、第３画像は対象領域を含む反射率画像である。

点選択ユニット５０３は、ユーザの第１画像及び／又は融合画像に対する点選択操作に応答して、ユーザにより選定された点を第１画像及び／又は融合画像に表示するように構成される。

出力ユニット５０４は、選定された点の座標を出力するように構成される。

本実施例のいくつかの任意選択実施形態において、第２表示ユニット５０２はさらに、高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、第２画像及び第３画像を融合するように構成される。

本実施例のいくつかの任意選択実施形態において、点選択操作は、第１画像に対する第１点選択操作と、融合画像に対する第２点選択操作とを含む。第２表示ユニット５０２はさらに、第１点選択操作と、第１点選択操作の後の第２点選択操作とに応答して、第１点選択操作が指示する第１点と、第２点選択操作が指示する第２点とをマッチング点ペアとし、第１画像及び融合画像においてマッチング点ペアを関連付けて表示するように構成され得る。

本実施例のいくつかの任意選択実施形態において、前記装置５００は、図５に示されていない追加ユニット及び記憶ユニットをさらに含むことができる。

追加ユニットは、マッチング点ペアに対する追加操作に応答して、マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するように構成される。

記憶ユニットは、マッチング点ペアの集合に対する記憶操作に応答して、マッチング点ペアの集合をローカルで記憶するように構成される。

本実施例のいくつかの任意選択実施形態において、点選択操作は、第１画像又は融合画像に対する第３点選択操作及び第４点選択操作を含む。第２表示ユニット５０２はさらに、第３点選択操作に応答して、第３点選択操作が指示する第３点を補助線の始点とし、第４点選択操作に応答して、第４点選択操作が指示する第４点を補助線の終点とし、始点及び終点に対する線引き操作に応答して、始点と終点を結び、始点、終点及び連結された直線を第１画像又は融合画像に表示するように構成され得る。

本実施例のいくつかの任意選択実施形態において、前記装置５００は、ユーザによる選定された点に対するキャンセル操作に応答して、キャンセル対象の点を再び表示しないように構成されるキャンセルユニット（図５に示されていない）をさらに含んでもよい。

なお、情報を出力するための装置５００に記載されたユニット５０１〜ユニット５０４はそれぞれ、図２を参照して記述した方法における各ステップに対応するものである。したがって、以上、情報を出力するための方法について説明された動作及び特徴は、装置５００及び装置５００に含まれるユニットにも同様に適しており、ここではその説明が省略される。

さらに図６を参照して、前記図６に示される方法の実施態様として、本願は、図４に示される方法の実施例に対応するカメラをキャリブレーションするための装置の一実施例を提供し、当該装置は、具体的に様々な電子機器に適用されてもよい。

図６に示すように、本実施例に係るカメラをキャリブレーションするための装置６００は、取得ユニット６０１と、融合ユニット６０２と、確定ユニット６０３と、キャリブレーションユニット６０４とを含む。

取得ユニット６０１は、第１画像、第２画像及び第３画像を取得するように構成される。ここで、第１画像はキャリブレーション対象のカメラにより撮像された画像であり、第２画像は第１画像が示す対象領域を含む高精細地図画像であり、第３画像は対象領域を含む反射率画像である。

融合ユニット６０２は、第２画像及び第３画像を融合して、融合画像を得るように構成される。

確定ユニット６０３は、第１画像及び融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するように構成される。

キャリブレーションユニット６０４は、マッチング点ペアの座標に基づいて、キャリブレーション対象のカメラをキャリブレーションするように構成される。

本実施例のいくつかの任意選択実施形態において、融合ユニット６０２はさらに、高精細地図画像における画素点の座標及び反射率画像における画素点それぞれの座標に基づいて、第２画像及び第３画像を融合するように構成され得る。

本実施例のいくつかの任意選択実施形態において、確定ユニット６０３はさらに、ユーザにより第１画像において選定された第１点及び第１点確定後に融合画像において選定された第２点を確定し、第１点及び第２点をマッチング点ペアとするように構成され得る。

本実施例のいくつかの任意選択実施形態において、前記装置６００は、図６に示されていない追加ユニット及び記憶ユニットをさらに含むことができる。

追加ユニットは、マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するように構成される。

記憶ユニットは、マッチング点ペアの集合をローカルで記憶するように構成される。

なお、カメラをキャリブレーションするための装置６００に記載されたユニット６０１〜ユニット６０４はそれぞれ、図４を参照して記述した方法における各ステップに対応する。したがって、以上、カメラをキャリブレーションするための方法について説明された動作及び特徴は、装置６００及び装置６００に含まれるユニットにも同様に適しており、ここでその説明が省略される。

以下、本開示の実施例を実現するのに適した電子機器（例えば、図１におけるサーバ又は端末装置）７００の構造概略図が示される図７を参照する。本開示の実施例における端末装置は、携帯電話、ラップトップコンピュータ、車載端末（例えば、カーナビゲーション端末）などの携帯端末、及びデスクトップコンピュータなどの固定端末を含み得るが、これらに限定されない。図７に示された電子機器はただの例示に過ぎず、本開示の実施例の機能及び使用範囲にいかなる限定を加えるものではない。

図７に示すように、電子機器７００は、読み出し専用メモリ（ＲＯＭ）７０２に格納されているプログラム又は記憶デバイス７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムによって様々で、適当な動作及び処理を実行することができる処理デバイス（例えば、中央処理装置、グラフィックプロセッサ等）７０１を含んでもよい。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに格納されている。処理デバイス７０１、ＲＯＭ７０２及びＲＡＭ７０３がバス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

通常、Ｉ／Ｏインターフェース７０５には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力デバイス７０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータ等を含む出力デバイス７０７、例えば磁気テープ、ハードディスク等を含む記憶デバイス７０８及び通信デバイス７０９が接続されてもよい。通信デバイス７０９は、電子機器７００が他のデバイスと無線又は有線で通信してデータを交換することを可能にする。図７には、様々なデバイスを有する電子機器７００が示されているが、示されたデバイスの全てを実施又は具備するように要求しないことを理解されたい。これより多い又は少ないデバイスが代替的に実施され又は具備されてもよい。図７に示すそれぞれのブロックは、１つのデバイスを表すものであってもよいし、必要に応じて複数のデバイスを表すものであってもよい。

特に、本開示の実施例によれば、以上でフローチャートを参照して記述されたプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ可読媒体に担持されるコンピュータプログラムを備えるコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信デバイス７０９を介してネットワークからダウンロードされてインストールされてもよく、又は記憶デバイス７０８からインストールされてもよく、又はＲＯＭ７０２からインストールされてもよい。該コンピュータプログラムが処理デバイス７０１によって実行される場合に、本開示の実施例の方法で限定された上記の機能を実行する。なお、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数本の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスで使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本開示の実施例において、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードが担持され、ベースバンド内で、又はキャリアの一部として伝送されるデータ信号を含んでもよい。このような伝送されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外のあらゆるコンピュータ可読媒体であってもよい。該コンピュータ可読信号媒体は、命令実行システム、装置若しくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝播、又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、有線、光ケーブル、ＲＦ（無線周波数）など、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。

上記のコンピュータ可読媒体は、上記の電子機器に含まれるものであってもよく、独立に存在して該電子機器に組み込まれていないものであってもよい。前記コンピュータ可読媒体には１つ又は複数のプログラムが担持され、前記１つ又は複数のプログラムが該電子機器によって実行される場合に、ユーザの第１画像取り込み操作に応答して、ユーザにより選定された第１画像をキャリブレーションツールに表示するステップであって、第１画像はキャリブレーション対象のカメラにより撮像された画像であるステップと、ユーザの第２画像取り込み操作に応答して、ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像をキャリブレーションツールに表示するステップであって、第２画像は第１画像が示す対象領域を含む高精細地図画像であり、第３画像は対象領域を含む反射率画像であるステップと、ユーザの第１画像及び／又は融合画像に対する点選択操作に応答して、ユーザにより選定された点を第１画像及び／又は融合画像に表示するステップと、選定された点の座標を出力するステップと、を含む動作を該電子機器に実行させる。又は、キャリブレーション対象のカメラにより撮像された第１画像と、第１画像が示す対象領域を含む高精細地図画像である第２画像と、対象領域を含む反射率画像である第３画像とを取得し、第２画像及び第３画像を融合して、融合画像を得、第１画像及び融合画像においてユーザにより選定された点に基づいてマッチング点ペアを確定し、マッチング点ペアの座標に基づいてキャリブレーション対象のカメラをキャリブレーションする。

１つ又は複数の種類のプログラミング言語又はそれらの組み合わせで、本開示の実施例の操作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語には、オブジェクト指向プログラミング言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、従来の手続き型プログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語も含まれる。プログラムコードは、完全にユーザコンピュータに実行されてもよく、部分的にユーザコンピュータに実行されてもよく、１つのスタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータに実行され且つ部分的にリモートコンピュータに実行されてもよく、又は完全にリモートコンピュータ又はサーバに実行されてもよい。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダによりインターネットを介して接続できる）。

図面におけるフローチャート及びブロック図は、本開示の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント若しくはコードの一部を示してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定されたロジック機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様において、ブロック内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、連続して示された２つのブロックは、実際には関連する機能によって、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能若しくは操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。

本開示の実施例に係るユニットは、ソフトウェアの形式で実現されてもよいし、ハードウェアの形式で実現されてもよい。記述されたユニットは、プロセッサに設けられてもよく、例えば、第１表示ユニット、第２表示ユニット、点選択ユニット及び出力ユニットを備えるプロセッサ、又は、取得ユニット、融合ユニット、確定ユニット及びキャリブレーションユニットを含むプロセッサと記述されてもよい。ここで、これらのユニットの名称は、該ユニット自体を限定するものではなく、例えば、取得ユニットがさらに「第１画像、第２画像及び第３画像を取得するユニット」と記述されてもよい。

以上の記載は、本開示の好ましい実施例、及び使用される技術的原理に関する説明に過ぎない。本開示に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、上記の発明趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含むべきであることを、当業者に理解されたい。例えば、上記の特徴と、本開示の実施例に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims (24)

1. 情報を出力するための方法であって、
   ユーザの第１画像取り込み操作に応答して、前記ユーザにより選定された第１画像を表示するステップであって、前記第１画像はキャリブレーション対象のカメラにより撮像された画像であるステップと、
   前記ユーザの第２画像取り込み操作に応答して、前記ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像を表示するステップであって、前記第２画像は前記第１画像が示す対象領域を含む高精細地図画像であり、前記第３画像は前記対象領域を含む反射率画像であるステップと、
   前記ユーザの前記第１画像及び／又は前記融合画像に対する点選択操作に応答して、前記ユーザにより選定された点を前記第１画像及び／又は前記融合画像に表示するステップと、
   選定された点の座標を出力するステップと、を含む情報を出力するための方法。
2. 前記ユーザにより選定された第２画像及び第３画像を融合するステップは、
   高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、前記第２画像及び前記第３画像を融合することを含む請求項１に記載の方法。
3. 前記点選択操作は、前記第１画像に対する第１点選択操作と、前記融合画像に対する第２点選択操作とを含み、
   前記ユーザの前記第１画像及び／又は前記融合画像に対する点選択操作に応答して、前記ユーザにより選定された点を前記第１画像及び／又は前記融合画像に表示するステップは、
   前記第１点選択操作及び前記第１点選択操作の後の第２点選択操作に応答して、前記第１点選択操作が指示する第１点と前記第２点選択操作が指示する第２点とをマッチング点ペアとすることと、
   前記第１画像及び前記融合画像において前記マッチング点ペアを関連付けて表示することとを含む請求項１に記載の方法。
4. 前記方法は、
   前記マッチング点ペアに対する追加操作に応答して、前記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するステップと、
   前記マッチング点ペアの集合に対する記憶操作に応答して、前記マッチング点ペアの集合をローカルで記憶するステップとをさらに含む請求項３に記載の方法。
5. 前記点選択操作は、前記第１画像又は前記融合画像に対する第３点選択操作及び第４点選択操作を含み、
   前記ユーザの前記第１画像及び／又は前記融合画像に対する点選択操作に応答して、前記ユーザにより選定された点を前記第１画像及び／又は前記融合画像に表示するステップは、
   前記第３点選択操作に応答して、前記第３点選択操作が指示する第３点を補助線の始点とすることと、
   前記第４点選択操作に応答して、前記第４点選択操作が指示する第４点を補助線の終点とすることと、
   前記始点及び前記終点に対する線引き操作に応答して、前記始点と前記終点を連結することと、
   前記始点、前記終点及び連結された直線を前記第１画像又は前記融合画像に表示することと、を含む請求項４に記載の方法。
6. 前記方法は、
   前記ユーザの選定された点に対するキャンセル操作に応答して、キャンセル対象の点を再び表示しないステップをさらに含む請求項１に記載の方法。
7. カメラをキャリブレーションするための方法であって、
   キャリブレーション対象のカメラにより撮像された画像である第１画像と、前記第１画像が示す対象領域を含む高精細地図画像である第２画像と、前記対象領域を含む反射率画像である第３画像とを取得するステップと、
   前記第２画像及び前記第３画像を融合して、融合画像を得るステップと、
   前記第１画像及び前記融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するステップと、
   前記マッチング点ペアの座標に基づいて、前記キャリブレーション対象のカメラをキャリブレーションするステップと、を含むカメラをキャリブレーションするための方法。
8. 前記第２画像及び前記第３画像を融合して、融合画像を得るステップは、
   高精細地図画像における画素点の座標及び反射率画像における画素点それぞれの座標に基づいて、前記第２画像及び前記第３画像を融合することを含む請求項７に記載の方法。
9. 前記第１画像及び前記融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するステップは、
   ユーザにより前記第１画像において選定された第１点及び前記第１点の選定後に前記融合画像において選定された第２点を確定することと、
   前記第１点及び前記第２点をマッチング点ペアとすることと、を含む請求項７に記載の方法。
10. 前記方法は、
    前記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するステップと、
    前記マッチング点ペアの集合をローカルで記憶するステップと、をさらに含む請求項９に記載の方法。
11. 情報を出力するための装置であって、
    ユーザの第１画像取り込み操作に応答して、前記ユーザにより選定された第１画像を表示するように構成される第１表示ユニットであって、前記第１画像はキャリブレーション対象のカメラにより撮像された画像である第１表示ユニットと、
    前記ユーザの第２画像取り込み操作に応答して、前記ユーザにより選定された第２画像及び第３画像を融合して、得られた融合画像を表示するように構成される第２表示ユニットであって、前記第２画像は前記第１画像が示す対象領域を含む高精細地図画像であり、前記第３画像は前記対象領域を含む反射率画像である第２表示ユニットと、
    前記ユーザの前記第１画像及び／又は前記融合画像に対する点選択操作に応答して、前記ユーザにより選定された点を前記第１画像及び／又は前記融合画像に表示するように構成される点選択ユニットと、
    選定された点の座標を出力するように構成される出力ユニットと、を含む情報を出力するための装置。
12. 前記第２表示ユニットはさらに、
    前記高精細地図画像における画素点の座標及び反射率画像における画素点の座標に基づいて、前記第２画像及び前記第３画像を融合するように構成される請求項１１に記載の装置。
13. 前記点選択操作は、前記第１画像に対する第１点選択操作と、前記融合画像に対する第２点選択操作とを含み、
    前記第２表示ユニットはさらに、
    前記第１点選択操作及び前記第１点選択操作の後の第２点選択操作に応答して、前記第１点選択操作が指示する第１点と前記第２点選択操作が指示する第２点とをマッチング点ペアとし、
    前記第１画像及び前記融合画像において前記マッチング点ペアを関連付けて表示するように構成される請求項１１に記載の装置。
14. 前記装置は、
    前記マッチング点ペアに対する追加操作に応答して、前記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するように構成される追加ユニットと、
    前記マッチング点ペアの集合に対する記憶操作に応答して、前記マッチング点ペアの集合をローカルで記憶するように構成される記憶ユニットと、をさらに含む請求項１３に記載の装置。
15. 前記点選択操作は、前記第１画像又は前記融合画像に対する第３点選択操作及び第４点選択操作を含み、
    前記第２表示ユニットはさらに、
    前記第３点選択操作に応答して、前記第３点選択操作が指示する第３点を補助線の始点とし、
    前記第４点選択操作に応答して、前記第４点選択操作が指示する第４点を補助線の終点とし、
    前記始点及び前記終点に対する線引き操作に応答して、前記始点と前記終点を連結し、
    前記始点、前記終点及び連結された直線を前記第１画像又は前記融合画像に表示するように構成される請求項１４に記載の装置。
16. 前記装置は、
    前記ユーザの選定された点に対するキャンセル操作に応答して、キャンセル対象の点を再び表示しないように構成されるキャンセルユニットをさらに含む請求項１１に記載の装置。
17. カメラをキャリブレーションするための装置であって、
    キャリブレーション対象のカメラにより撮像された画像である第１画像と、前記第１画像が示す対象領域を含む高精細地図画像である第２画像と、前記対象領域を含む反射率画像である第３画像とを取得するように構成される取得ユニットと、
    前記第２画像及び前記第３画像を融合して、融合画像を得るように構成される融合ユニットと、
    前記第１画像及び前記融合画像においてユーザにより選定された点に基づいて、マッチング点ペアを確定するように構成される確定ユニットと、
    前記マッチング点ペアの座標に基づいて、前記キャリブレーション対象のカメラをキャリブレーションするように構成されるキャリブレーションユニットと、を含むカメラをキャリブレーションするための装置。
18. 前記融合ユニットはさらに、
    高精細地図画像における画素点の座標及び反射率画像における画素点それぞれの座標に基づいて、前記第２画像及び前記第３画像を融合するように構成される請求項１７に記載の装置。
19. 前記確定ユニットはさらに、
    ユーザにより前記第１画像において選定された第１点及び前記第１点の選定後に前記融合画像において選定された第２点を確定し、
    前記第１点及び前記第２点をマッチング点ペアとするように構成される請求項１７に記載の装置。
20. 前記装置は、
    前記マッチング点ペアを予め設定されたマッチング点ペアの集合に追加するように構成される追加ユニットと、
    前記マッチング点ペアの集合をローカルで記憶するように構成される記憶ユニットと、をさらに含む請求項１９に記載の装置。
21. １つ又は複数のプロセッサと、
    １つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合に、前記１つ又は複数のプロセッサに請求項１〜６のいずれか一項に記載の方法を実現させる電子機器。
22. １つ又は複数のプロセッサと、
    １つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合に、前記１つ又は複数のプロセッサに請求項７〜１０のいずれか一項に記載の方法を実現させる電子機器。
23. コンピュータプログラムが格納されているコンピュータ可読媒体であって、
    該プログラムがプロセッサによって実行される場合に、請求項１〜６のいずれか一項に記載の方法を実現するコンピュータ可読媒体。
24. コンピュータプログラムが格納されているコンピュータ可読媒体であって、
    該プログラムがプロセッサによって実行される場合に、請求項７〜１０のいずれか一項に記載の方法を実現するコンピュータ可読媒体。

Images