JP2023125005A - キャリブレーション処理装置、キャリブレーション処理方法およびプログラム - Google Patents

Abstract

【課題】カメラのキャリブレーションの精度を向上させることを可能とする技術が提供されることが要求される。【解決手段】ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する取得部と、前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、を備える、キャリブレーション処理装置が提供される。【選択図】図３

Description

本発明は、キャリブレーション処理装置、キャリブレーション処理方法およびプログラムに関するものである。

近年、カメラのキャリブレーションに係る技術が知られている。例えば、電子地図上においてユーザによって指定された２点と、カメラによって撮像された画像において指定された２点とに基づいてキャリブレーションを行う技術が開示されている（例えば、特許文献１参照）。

また、道路などを監視するカメラのキャリブレーション技術が開示されている。一例として、専用車両を用意し、その専用車両を撮像することによって得られる画像における専用車両の複数の特徴点を特定し、当該複数の特徴点の位置関係に基づいてキャリブレーションを行う技術が開示されている（例えば、特許文献２参照）。

さらに、ダイナミックマップの座標系における移動機の現在位置を推定するために用いられるパラメータを、衛星信号を用いた移動機（例えば、車両など）の測位情報に基づいて校正するキャリブレーション技術が開示されている（例えば、特許文献３参照）。

特許第６０２２４２３号公報 特開２００２－２３２８６９号公報 特許第６４３７１７４号公報

しかし、カメラのキャリブレーションの精度を向上させることを可能とする技術が提供されることが要求される。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、カメラのキャリブレーションの精度を向上させることを可能とする技術を提供することにある。

上記問題を解決するために、本発明のある観点によれば、ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する取得部と、前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、を備える、キャリブレーション処理装置が提供される。

前記取得部は、前記ダイナミックマップの静的情報に基づいて前記実距離を取得してもよい。

前記キャリブレーション処理部は、前記撮像部の向きの変更に基づいて、前記キャリブレーションを再実行してもよい。

前記キャリブレーション処理部は、前記撮像部の焦点距離の変更に基づいて、前記キャリブレーションを再実行してもよい。

前記キャリブレーション処理部は、前記キャリブレーションの結果として、実空間に存在する道路平面を示す式を道路平面式として得てもよい。

前記第１の点および前記第２の点それぞれは、実空間に存在する道路平面上の点であってもよい。

また、本発明のある観点によれば、ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得することと、前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行することと、を備える、キャリブレーション処理方法が提供される。

また、本発明のある観点によれば、コンピュータを、ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する取得部と、前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、を備えるキャリブレーション処理装置として機能させるプログラムが提供される。

以上説明したように本発明によれば、カメラのキャリブレーションの精度を向上させることが可能である。

本発明の実施形態の概要を説明するための図である。 同実施形態に係る計測システムの機能構成例を示す図である。 同実施形態に係る監視カメラの機能構成例を示す図である。 同実施形態に係る操作端末の機能構成例を示す図である。 ダイナミックマップの構成例を示す図である。 キャリブレーション処理部により使用されるパラメータを示す図である。 キャリブレーション処理部の機能を説明するための図である。 同実施形態に係る計測システムの動作例を示すフローチャートである。 同実施形態に係る監視カメラの例としての情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

［概要の説明］
続いて、本発明の実施形態の概要を説明する。図１は、本発明の実施形態の概要を説明するための図である。図１に示すように、撮像部が組み込まれた監視カメラ１０および道路平面が実空間に存在する。また、撮像部が組み込まれた監視カメラ１０は、撮像方向が道路平面に向けられた状態で設置されている。監視カメラ１０により撮像された撮像画像Ｉｍｇ’には道路に設けられたレーンの境界線が写っている。また、図１に示すように、監視カメラ１０のレンズの中心が原点Ｏに設定されている。

図１には、監視カメラ１０に撮像部が組み込まれている例が示されているが、撮像部は監視カメラ１０に組み込まれていなくてもよく、監視カメラ１０の外部に設置されていてもよい。かかる場合、例えば、監視カメラ１０は、撮像部から送信された撮像画像Ｉｍｇ’を受信することにより撮像画像Ｉｍｇ’を取得してもよい。また、例えば、監視カメラ１０は、記録媒体に記録された撮像画像Ｉｍｇ’を読み込むことにより撮像画像Ｉｍｇ’を取得してもよい。

撮像部によって道路平面が撮像されて得られた撮像画像Ｉｍｇ’は、単位時間あたりに所定の基準位置を通過する車両の台数（交通量）の計測に用いられ得る。あるいは、撮像画像Ｉｍｇ’は、所定の基準位置を通過する車両速度を計測するために用いられ得る。あるいは、撮像画像Ｉｍｇ’は、所定の基準位置を通過する車両の種別を検出するために用いられ得る。かかる交通量の計測、車両速度の計測または車両の種別の検出が行われる前には、撮像部のキャリブレーションが実行される必要がある。

近年、撮像部のキャリブレーションに係る技術として上記したように様々な先行技術が知られている。しかし、これらの先行技術には、幾つかの課題が存在し得る。

第１の課題として、先行技術ではキャリブレーションの精度が向上しないという課題が挙げられる。例えば、手動によってキャリブレーションを実施することが想定されるが、キャリブレーションの実施者によってキャリブレーション結果（キャリブレーションによって設定される値）が異なる可能性がある。また、同一の人物によってキャリブレーションが実施されたとしても、実施されるタイミングによってキャリブレーション結果が異なる可能性もある。

そのため、キャリブレーションを複数回実施し、複数回実施されたキャリブレーション結果それぞれを用いて実際に計測を行い、計測結果が一番望ましいキャリブレーション結果を採用する手法も想定され得る。しかし、計測結果に対する評価方法および評価指標が不明確である限りは、どのキャリブレーション結果が採用されるかが安定しないため、キャリブレーションの精度が向上しない。

したがって、キャリブレーションの精度を向上させることを可能とする技術が提供されることが要求される。

第２の課題として、撮像部の画角の変化に対する耐性がないことが課題として挙げられる。例えば、ＣＣＴＶ（Ｃｌｏｓｅｄ－ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）カメラなどは、道路管理者が道路状況を確認するためにカメラを旋回させることがある。カメラが旋回した場合には、カメラの画角が変わってしまうため、手動によるキャリブレーションの実施だけでは、画角の変化に対応できない。そのため、カメラの画角が変わってしまった場合には、キャリブレーションを再度実施する必要が生じる。

したがって、撮像部の画角の変化に対する耐性を有するキャリブレーションを実現する技術が提供されることが要求される。

第３の課題として、キャリブレーションの精度を向上させるために専用車両を準備する必要があることが課題として挙げられる。特許文献２に記載の技術では、キャリブレーションの都度、対象となるカメラ設置現場に専用のリファレンス車両を移動しなければならない。

また、対象となるカメラ設置現場に専用のリファレンス車両を移動したとしても、使用中の高速道路におけるキャリブレーションでは、高速走行環境でのキャリブレーションが必要となってしまう。そのため、キャリブレーションが1回の車両走行で完了するとは限らない。さらに、道路の使用を中断してまで専用のリファレンス車両を用いてキャリブレーションを行うのは現実的ではない。

したがって、専用車両を準備せずともキャリブレーションの精度を向上させることが可能な技術が提供されることが要求される。

以上、本発明の実施形態の概要を説明した。

［実施形態の詳細］
続いて、本発明の実施形態の詳細について説明する。まず、本発明の実施形態に係る計測システムの機能構成例について説明する。図２は、本発明の実施形態に係る計測システムの機能構成例を示す図である。図２に示すように、本発明の実施形態に係る計測システム１は、監視カメラ１０、操作端末２０、ダイナミックマップＤＢ（データベース）３０、監視画像ストレージ４０および交通量計測装置５０を備える。

監視カメラ１０、操作端末２０、ダイナミックマップＤＢ３０、監視画像ストレージ４０および交通量計測装置５０は、ネットワークに接続されており、ネットワークを介して互いに通信可能に構成されている。

（監視カメラ１０）
監視カメラ１０は、キャリブレーション処理装置の例として機能し得る。ここで、図３を参照しながら、監視カメラ１０の機能構成例について説明する。図３は、本発明の実施形態に係る監視カメラ１０の機能構成例を示す図である。図３に示すように、本発明の実施形態に係る監視カメラ１０は、制御部１２０、撮像部１１０、記憶部１３０および通信部１４０を備える。

（撮像部１１０）
撮像部１１０は、実空間を撮像することにより撮像画像を取得する機能を有する。例えば、撮像部１１０は、単眼カメラにより構成される。

（制御部１２０）
制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置（プロセッサ）を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

演算装置による演算に必要なデータは、記憶部１３０によって適宜記憶される。図３に示すように、制御部１２０は、取得部１２１と、キャリブレーション処理部１２２とを備える。取得部１２１およびキャリブレーション処理部１２２の詳細については、後に説明する。

（記憶部１３０）
記憶部１３０は、制御部１２０を実現するためのプログラムおよびデータを記憶することが可能な記録媒体である。また、記憶部１３０は、制御部１２０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性メモリであってよい。

（通信部１４０）
通信部１４０は、通信インタフェースによって構成され、制御部１２０による制御に従って通信を行う機能を有する。例えば、通信部１４０は、ネットワークを介して、操作端末２０、ダイナミックマップＤＢ３０、監視画像ストレージ４０および交通量計測装置５０それぞれと通信を行うことが可能である。

なお、図３に示した例では、撮像部１１０、制御部１２０、記憶部１３０および通信部１４０は、監視カメラ１０の内部に存在するが、撮像部１１０、記憶部１３０および通信部１４０の全部または一部は、監視カメラ１０の外部に備えられていてもよい。

（操作端末２０）
図４は、本発明の実施形態に係る操作端末２０の機能構成例を示す図である。操作端末２０は、コンピュータによって構成され、道路管理者によって操作される。図４に示すように、操作端末２０は、入力部２１０、制御部２２０、記憶部２３０、通信部２４０および表示部２５０を備える。

（入力部２１０）
入力部２１０は、入力デバイスによって構成され、道路管理者から各種操作の入力を受け付ける。例えば、入力部２１０は、撮像部１１０の旋回操作および撮像部１１０のズーム操作の入力を受け付ける。例えば、入力デバイスの種類は、キーボードであってもよいし、マウスであってもよいし、タッチパネルであってもよいし、他のデバイスであってもよい。

旋回操作は、撮像部１１０の向き（例えば、パンおよびチルト）の変更指示に該当し得る。例えば、撮像部１１０の向きの変更指示は、基準となる向きに対する差分を含んでもよい。基準となる向きは、撮像部１１０の現在の向き（すなわち、変更前の向き）であってもよいし、他の向きであってもよい。例えば、基準となる向きは、記憶部１３０に記憶されており、撮像部１１０の向きの変更に伴って適宜に更新されてよい。

ズーム操作は、撮像部１１０の焦点距離の変更指示に該当し得る。例えば、撮像部１１０の焦点距離の変更指示は、基準となる焦点距離に対する差分を含んでもよい。基準となる焦点距離は、撮像部１１０の現在の焦点距離（すなわち、変更前の焦点距離）であってもよいし、他の焦点距離であってもよい。例えば、基準となる焦点距離は、記憶部１３０に記憶されており、撮像部１１０の焦点距離の変更に伴って適宜に更新されてよい。

（制御部２２０）
制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置（プロセッサ）を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

演算装置による演算に必要なデータは、記憶部２３０によって適宜記憶される。

（記憶部２３０）
記憶部２３０は、制御部２２０を実現するためのプログラムおよびデータを記憶することが可能な記録媒体である。また、記憶部２３０は、制御部２２０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性メモリであってよい。

（通信部２４０）
通信部２４０は、通信インタフェースによって構成され、制御部２２０による制御に従って通信を行う機能を有する。例えば、通信部２４０は、ネットワークを介して、監視カメラ１０、ダイナミックマップＤＢ３０、監視画像ストレージ４０および交通量計測装置５０それぞれと通信を行うことが可能である。

（表示部２５０）
表示部２５０は、制御部２２０による制御に従って表示を行う機能を有する。表示部２５０による表示内容は、道路管理者によって視認され得る。ここで、表示部２５０の形態は特に限定されない。例えば、表示部２５０は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。

なお、図４に示した例では、入力部２１０、制御部２２０、記憶部２３０、通信部２４０および表示部２５０は、操作端末２０の内部に存在するが、入力部２１０、記憶部２３０、通信部２４０および表示部２５０の全部または一部は、操作端末２０の外部に備えられていてもよい。

（ダイナミックマップＤＢ３０）
ダイナミックマップＤＢ３０は、ダイナミックマップを保持するデータベースである。ここで、図５を参照しながら、ダイナミックマップの構成例について説明する。図５は、ダイナミックマップの構成例を示す図である。

図５に示すように、ダイナミックマップ３１は、静的情報Ｌ１、準静的情報Ｌ２、準動的情報Ｌ３および動的情報Ｌ４を備える。

静的情報Ｌ１は、道路の形状を示す路面情報、車線の位置を示す車線情報、構造物（標識など）の位置を示す構造物情報などを含んだ３次元地図情報である。静的情報Ｌ１は、ＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）と呼ばれる計測システムによって構築される。ＭＭＳは、カメラまたはレーザースキャナなどの３次元計測器、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの衛星測位機器などによって構成され得る。静的情報Ｌ１は、所定の頻度（例えば、１カ月に１回以上の頻度）で更新され得る。

準静的情報Ｌ２は、交通規制の予定情報、道路工事予定情報、広域気象予報情報などを含んだ情報である。例えば、準静的情報Ｌ２は、外部から得られる情報であり、準静的情報Ｌ２としては、道路管理者から提供される交通情報、気象情報、プローブ情報などがある。準静的情報Ｌ２は、所定の頻度（例えば、１時間に１回以上の頻度）で更新され得る。

準動的情報Ｌ３は、事故情報、渋滞情報、交通規制情報、狭域気象情報などを含んだ情報である。例えば、準動的情報Ｌ３は、外部から得られる情報であり、準動的情報Ｌ３としては、道路管理者から提供される交通情報、気象情報、プローブ情報などがある。準動的情報Ｌ３は、所定の頻度（例えば、１分に１回以上の頻度）で更新され得る。

動的情報Ｌ４は、周辺車両の情報、歩行者の情報、信号情報といった、リアルタイムに変化する情報である。例えば、動的情報Ｌ４は、カメラまたはレーダーなどの車載センサーによって車両が直接収集する周辺状況の情報と、「ＩＴＳ先読み情報」と呼ばれる周辺車両または歩行者の情報とを含み得る。これらの情報は、車車間通信、路車間通信または５Ｇ（第５世代移動通信システム）を介して取得され得る。動的情報Ｌ４は、所定の頻度（例えば、１秒に１回以上の頻度）で更新され得る。

図２に戻って説明を続ける。

（監視画像ストレージ４０）
監視画像ストレージ４０は、監視カメラ１０によって撮像された撮像画像を、ネットワークを介して監視カメラ１０から受信する。そして、監視画像ストレージ４０は、監視カメラ１０から受信した撮像画像を記憶する。例えば、監視画像ストレージ４０によって記憶された撮像画像は、交通量計測装置５０に提供され得る。また、監視画像ストレージ４０によって記憶された撮像画像は、操作端末２０によって表示されることにより、道路管理者によって視認され得る。

（交通量計測装置５０）
交通量計測装置５０は、監視画像ストレージ４０から提供された撮像画像を取得する。そして、交通量計測装置５０は、監視画像ストレージ４０から取得した撮像画像と、監視カメラ１０によるキャリブレーションの結果とに基づいて、車両の台数（交通量）および車両速度を計測する。また、交通量計測装置５０は、監視画像ストレージ４０から取得した撮像画像と、監視カメラ１０によるキャリブレーションの結果とに基づいて、所定の基準位置を通過する車両の種別を検出する。

なお、交通量の計測、車両速度の計測および車両の種別の検出は、公知の技術であるため、詳細な説明を省略する。

（取得部１２１）
取得部１２１は、ダイナミックマップＤＢ３０からダイナミックマップ３１（図５）を取得し、ダイナミックマップ３１に基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する。例えば、操作端末２０が備える表示部２５０によってダイナミックマップ３１が表示され、道路管理者によってダイナミックマップ３１における２点を指定する操作が入力部２１０に入力された場合、取得部１２１は、その２点を第１の点および第２の点として認識してもよい。

ここでは、取得部１２１が、ダイナミックマップ３１の静的情報Ｌ１に基づいて、第１の点と第２の点との距離を実距離として取得する場合を主に想定する。例えば、第１の点および第２の点それぞれは、実空間に存在する道路平面上の２点（特に、道路平面上の平行な２直線の各々上の点）であってもよい。道路平面上の平行な２直線は、車両が走行する車線を構成し得る。

一例として、上記したように、静的情報Ｌ１には、車線情報が含まれ得る。そこで、道路管理者によってダイナミックマップ３１における車線を指定する操作が入力された場合には、取得部１２１は、その車線の幅の実距離をダイナミックマップ３１の静的情報Ｌ１から取得してもよい。

他の一例として、上記したように、静的情報Ｌ１には、構造物情報が含まれ得る。そこで、道路管理者によってダイナミックマップ３１における構造物を指定する操作が入力された場合には、取得部１２１は、その構造物の実寸を実距離としてダイナミックマップ３１の静的情報Ｌ１から取得してもよい。例えば、取得部１２１は、構造物の実寸の例として標識の高さを実距離として取得してもよい。

以下では、取得部１２１が、道路管理者によって指定された車線の幅の実距離をダイナミックマップ３１の静的情報Ｌ１から取得する場合を主に想定する。なお、以下の説明において、車線の幅の実距離は、点Ｑ１（第１の点）と点Ｑ２（第２の点）との実距離Ｑ＿ｄｉｓに該当する。

（キャリブレーション処理部１２２）
キャリブレーション処理部１２２は、キャリブレーションを行う。より詳細に、キャリブレーション処理部１２２は、キャリブレーションの一例として、道路平面を示す式（以下、「道路平面式」とも言う）を算出する処理を行うとともに、キャリブレーションの他の一例として、車両の進行方向を算出する処理を行う。すなわち、キャリブレーション処理部１２２は、キャリブレーションの結果の一例として、道路平面式を得るとともに、キャリブレーションの結果の他の一例として、車両の進行方向を得る。

キャリブレーション処理部１２２は、取得部１２１から点Ｑ１と点Ｑ２との実距離Ｑ＿ｄｉｓを取得する。さらに、キャリブレーション処理部１２２は、点Ｑ１と点Ｑ２とが撮像部１１０によって少なくとも写された撮像画像を撮像部１１０から取得する。そして、キャリブレーション処理部１２２は、点Ｑ１と点Ｑ２との実距離Ｑ＿ｄｉｓと、撮像画像とに基づいて、キャリブレーションを実行する。

これによって、キャリブレーションの精度が向上し得るとともに、キャリブレーションの精度を向上させるために専用車両を準備する必要がなくなる。

以下では、図６および図７を参照しながら、キャリブレーション処理部１２２により行われるキャリブレーションの例について説明する。

図６は、キャリブレーション処理部１２２により使用されるパラメータを示す図である。キャリブレーション処理部１２２は、撮像部１１０を構成する撮像素子のサイズと制御部１２０に提供される撮像画像Ｉｍｇ’のサイズとに基づいて、撮像素子の単位ｐｉｘｅｌ当たりの撮像画像Ｉｍｇ’のサイズｐｉｘ＿ｄｏｔをパラメータとして算出する。撮像画像Ｉｍｇ’は、原点Ｏから焦点距離だけ離れた撮像素子の撮像面上に撮像された撮像画像Ｉｍｇ（図７）に基づいて生成される。また、制御部１２０に提供された撮像画像Ｉｍｇ’は、取得部１２１によって取得されてキャリブレーション処理部１２２によって利用され得る。

図６に示すように、ここでは、撮像素子がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である場合を例として説明するが、ＣＣＤは撮像素子の一例に過ぎない。したがって、撮像素子はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。

ここで、ＣＣＤサイズをｃｃｄ＿ｓｉｚｅとし、撮像画像Ｉｍｇ’（横：ｗｉｄｔｈ×縦：ｈｅｉｇｈｔ）のサイズをｉｍｇ＿ｓｉｚｅとすると、キャリブレーション処理部１２２は、以下の数式（１）によりｐｉｘ＿ｄｏｔを算出することができる。一般的に、ＣＣＤサイズは、ＣＣＤの対角線の長さで表されるため、この数式（１）に示されるように、ＣＣＤサイズが撮像画像Ｉｍｇ’の縦横の２乗和の平方根で除されることにより算出される。しかし、このような手法によるパラメータｐｉｘ＿ｄｏｔの算出は一例に過ぎないため、他の手法によりパラメータｐｉｘ＿ｄｏｔが算出されてもよい。例えば、ＣＣＤの対角線の代わりにＣＣＤの縦または横の長さが用いられてもよい。

なお、ＣＣＤサイズは、例えば、撮像部１１０から容易に取得される。また、撮像画像Ｉｍｇ’のサイズは、例えば、記憶部１３０から取得される。したがって、制御部１２０は、これらのサイズに基づいて、ＣＣＤの撮像面に撮像される撮像画像Ｉｍｇの実空間における３次元座標と制御部１２０に提供される撮像画像Ｉｍｇ’の２次元座標との対応関係を把握することができる。すなわち、制御部１２０は、この対応関係に基づいて、制御部１２０に提供される撮像画像Ｉｍｇ’の２次元座標からＣＣＤの撮像面に撮像される撮像画像Ｉｍｇの実空間における３次元座標を把握することができる。

このように算出されたパラメータを用いてキャリブレーションが行われ得る。以下、図７を参照しながら、キャリブレーション処理部１２２によりパラメータを用いて行われるキャリブレーションの例について説明する。

図７は、キャリブレーション処理部１２２の機能を説明するための図である。図７に示したように、原点Ｏを基準としたｘｙｚ座標系（実空間）を想定する。このｘｙｚ座標系において、道路平面式をＲ１ｘ＋Ｒ２ｘ＋Ｒ３ｚ＋Ｒ４＝０とする。また、車両の進行方向を示すベクトルである進行方向ベクトルｖを（ｖｘ，ｖｙ，ｖｚ）とする。なお、以下の説明では、図７に示したように、原点Ｏから焦点距離ｆだけ離れた点（焦点）をｙ軸上に設定し、この焦点を通りｙ軸に垂直な平面を撮像面とし、この撮像面上に撮像画像Ｉｍｇが撮像されるものとして説明を続けるが、各座標軸の設定はこのような例に限定されない。

道路平面上には、平行な２直線があらかじめ描かれている。したがって、撮像画像Ｉｍｇには、この平行な２直線が写されている。また、道路平面上には、既知の大きさＱ＿ｄｉｓ離れた２点Ｑ１，Ｑ２があらかじめ描かれている。撮像画像Ｉｍｇには、２点Ｑ１，Ｑ２が、Ｑ１’（ｘｓ１，ｆ，ｚｓ１），Ｑ２’（ｘｓ２，ｆ，ｚｓ２）として写される。なお、図７に示した例では、Ｑ１，Ｑ２が道路平面上の平行な２直線の各々上の点として描かれているが、Ｑ１，Ｑ２は、道路平面上の点であれば、特に限定されない。

また、撮像画像Ｉｍｇに写る２直線のうち、第１の直線が通る２点をＴ１（ｘ１，ｙ１，ｚ１）およびＴ４（ｘ４，ｙ４，ｚ４）とし、第２の直線が通る２点をＴ２（ｘ２，ｙ２，ｚ２）およびＴ３（ｘ３，ｙ３，ｚ３）とする。すると、図７に示すように、Ｔ１、Ｔ２、Ｔ３およびＴ４の各々と原点Ｏとを結ぶ直線と道路平面との交点の座標は、ｔ１・Ｔ１、ｔ２・Ｔ２、ｔ３・Ｔ３およびｔ４・Ｔ４と表される。キャリブレーション処理部１２２は、例えば、以下に示す（前提条件１）に基づいて、キャリブレーションを行うことができる。

（前提条件１）
（条件１）道路平面上の平行な２直線の方向ベクトルは同じである。
（条件２）撮像部１１０のロールは０である。
（条件３）原点Ｏから道路平面までの距離を高さＨとする。
（条件４）道路平面上にＱ＿ｄｉｓ離れたＱ１およびＱ２が存在する。
なお、上記ロールが０であるとは、道路平面に対して垂直な方向に設置されている物体が撮像画像Ｉｍｇ上においても縦方向に写るように撮像部１１０が設置されている状態を意味する。

キャリブレーション処理部１２２は、以上に示したように取得される各種データと（条件１）とに基づいて、以下の数式（２）および数式（３）に示される関係式を導き出すことができる。

また、キャリブレーション処理部１２２は、以上に示したように取得される各種データと（条件２）とに基づいて、以下の数式（４）に示される関係式を導き出すことができる。なお、ロールが０の状態であれば、道路平面式と平行な軸方向（図７に示した例では、ｘ軸方向）への道路平面に対する垂線の成分が０になるため、計算式が簡略化される（例えば、ｘ軸方向への垂線の成分が０であれば、Ｒ１＝０として計算できる）。

また、キャリブレーション処理部１２２は、以上に示したように取得される各種データと（条件３）とに基づいて、以下の数式（５）に示される関係式を導き出すことができる。

また、キャリブレーション処理部１２２は、以上に示したように取得される各種データと（条件４）とに基づいて、以下の数式（６）および数式（７）に示される関係式を導き出すことができる。

ここで、Ｋ１は、原点Ｏから道路平面上のＱ１（ｘｒ１，ｙｒ１，ｚｒ１）までの距離が原点Ｏから撮像画像Ｉｍｇ上のＱ１’（ｘｓ１，ｆ，ｚｓ１）までの距離の何倍になっているかを示す値である。同様に、Ｋ２は、原点Ｏから道路平面上のＱ２（ｘｒ２，ｙｒ２，ｚｒ２）までの距離が原点Ｏから撮像画像Ｉｍｇ上のＱ２’（ｘｓ２，ｆ，ｚｓ２）までの距離の何倍になっているかを示す値である。したがって、以下の数式（８）に示される関係式を導き出すことができる。

キャリブレーション処理部１２２は、数式（８）に示される関係式から、道路平面上の２点（Ｑ１およびＱ２）の距離の測定値Ｑ＿ｄｉｓ’を、以下の数式（９）により算出することができる。

キャリブレーション処理部１２２は、測定値Ｑ＿ｄｉｓ’と既知の大きさＱ＿ｄｉｓとの差分が最も小さくなる場合におけるＲ１、Ｒ２、Ｒ３およびＲ４を、数式（１）～数式（９）に基づいて算出することができる。このようにＲ１、Ｒ２、Ｒ３およびＲ４が算出されることにより、道路平面式Ｒ１ｘ＋Ｒ２ｘ＋Ｒ３ｚ＋Ｒ４＝０が決定される。

以上に説明したような道路平面式の算出手法は、一例に過ぎない。したがって、キャリブレーション処理部１２２は、他の手法により道路平面式を算出することも可能である。例えば、道路平面上の平行な２直線間の距離が既知であれば、この道路平面上の平行な２直線間の距離を用いることにより、（条件２）を使用しないで道路平面式を算出することができる。

また、キャリブレーション処理部１２２は、進行方向ベクトルｖ（ｖｘ，ｖｙ，ｖｚ）を算出することもできる。より詳細には、キャリブレーション処理部１２２は、道路平面上の平行な２直線のうちの少なくともいずれか一方の直線の方向を算出することにより、進行方向ベクトルｖを算出することができる。例えば、キャリブレーション処理部１２２は、座標ｔ２・Ｔ２と座標ｔ３・Ｔ３との差分を進行方向ベクトルｖとして算出してもよいし、座標ｔ１・Ｔ１と座標ｔ４・Ｔ４との差分を進行方向ベクトルｖとして算出してもよい。

以上に説明したような手法により、キャリブレーション処理部１２２は、キャリブレーションを行うことができる。このようなキャリブレーションにより算出された道路平面式Ｒ１ｘ＋Ｒ２ｘ＋Ｒ３ｚ＋Ｒ４＝０および進行方向ベクトルｖ（ｖｘ，ｖｙ，ｖｚ）を交通量および車両速度の計測のために利用することができる。図７に示すように、キャリブレーション処理部１２２は、進行方向ベクトルｖ（ｖｘ，ｖｙ，ｖｚ）と平行な車両走行軸Ａを設定してもよい。上記のようにｘｙｚ座標が実空間の実サイズに合わせて設定されれば、車両走行軸Ａも実空間において実サイズに合わせて設定され得る。

また、図７に示すように、キャリブレーション処理部１２２は、計測範囲Ｅ１を設定してもよい。そうすれば、計測範囲Ｅ１から抽出される車両領域に基づいて交通量および車両速度が計測され得る。例えば、キャリブレーション処理部１２２は、入力操作に基づいて計測範囲Ｅ１を設定してもよいし、進行方向ベクトルｖ（ｖｘ，ｖｙ，ｖｚ）に基づいて自動的に計測範囲Ｅ１を設定してもよい。ただし、撮像範囲自体を計測範囲とする場合などには、計測範囲の設定は特になされなくてもよい。

キャリブレーション処理部１２２は、設定した各種情報を、通信部１４０を介して交通量計測装置５０に出力してもよい。キャリブレーション処理部１２２によって設定された各種情報は、交通量計測装置５０による交通量の計測、車両速度の計測および車両の種別の検出に用いられる。

なお、上記したように、道路管理者は、撮像部１１０の旋回操作を入力部２１０に入力し得る。旋回操作は、撮像部１１０の向きの変更指示に該当し得る。例えば、撮像部１１０の向きの変更指示は、基準となる向きに対する差分を含んでもよい。制御部１２０は、撮像部１１０の向きの変更指示の通知を操作端末２０から受けると、撮像部１１０の向きの変更指示に含まれる差分だけ撮像部１１０の向きが基準となる向きから変化するように撮像部１１０の向きを調整する。

このとき、キャリブレーション処理部１２２は、撮像部１１０の向きの変更に基づいて、キャリブレーションを再実行してもよい。より詳細に、キャリブレーション処理部１２２は、撮像部１１０の向きの変更指示の通知を操作端末２０から受けると、キャリブレーションを再実行してもよい。これによって、撮像部１１０の画角に対する耐性が発揮されるようになる。

あるいは、上記したように、道路管理者は、撮像部１１０のズーム操作を入力部２１０に入力し得る。ズーム操作は、撮像部１１０の焦点距離の変更指示に該当し得る。例えば、撮像部１１０の焦点距離の変更指示は、基準となる焦点距離に対する差分を含んでもよい。制御部１２０は、撮像部１１０の焦点距離の変更指示の通知を操作端末２０から受けると、撮像部１１０の焦点距離の変更指示に含まれる差分だけ撮像部１１０の焦点距離が基準となる焦点距離から変化するように撮像部１１０の焦点距離を調整する。

このとき、キャリブレーション処理部１２２は、撮像部１１０の焦点距離の変更に基づいて、キャリブレーションを再実行してもよい。より詳細に、キャリブレーション処理部１２２は、撮像部１１０の焦点距離の変更指示の通知を操作端末２０から受けると、キャリブレーションを再実行してもよい。これによって、撮像部１１０の画角に対する耐性が発揮されるようになる。

（計測システム１の動作例）
続いて、本発明の実施形態に係る計測システム１の動作例について説明する。図８は、本発明の実施形態に係る計測システム１の動作例を示すフローチャートである。なお、図８に示したフローチャートは、計測システム１の動作の一例を示したに過ぎない。したがって、計測システム１の動作は、図８のフローチャートによって示される動作例に限定されない。

図８に示すように、監視カメラ１０において、取得部１２１は、ダイナミックマップ３１の静的情報Ｌ１に基づいて、実空間に存在する道路平面上の２点の距離を実距離として取得する（Ｓ１１）。続いて、キャリブレーション処理部１２２は、取得部１２１から２点の実距離を取得する。さらに、キャリブレーション処理部１２２は、２点が撮像部１１０によって少なくとも写された撮像画像を撮像部１１０から取得する（Ｓ１２）。そして、キャリブレーション処理部１２２は、２点の実距離と撮像画像とに基づいて、キャリブレーションを実行する（Ｓ１３）。

続いて、キャリブレーション処理部１２２は、キャリブレーションの結果を、通信部１４０を介して交通量計測装置５０に出力する。交通量計測装置５０は、キャリブレーション処理部１２２からキャリブレーションの結果を取得するとともに、撮像部１１０によって新たに撮像された撮像画像を撮像部１１０から取得する。交通量計測装置５０は、キャリブレーションの結果と撮像画像とに基づいて、交通量の計測を行う（Ｓ１５）。このとき、交通量計測装置５０は、キャリブレーションの結果と撮像画像とに基づいて、車両速度の計測および車両の種別の検出をさらに行ってもよい。

道路管理者によって、撮像部１１０の向きの変更指示または撮像部１１０の焦点距離の変更指示が入力された場合（Ｓ１６において「ＹＥＳ」）、Ｓ１１に動作が移行され、キャリブレーションが再度実行される。一方、道路管理者によって、撮像部１１０の向きの変更指示および撮像部１１０の焦点距離の変更指示のいずれも入力されない場合（Ｓ１６において「ＮＯ」）、Ｓ１７に動作が移行される。

交通量計測を継続する場合には（Ｓ１７において「ＮＯ」）、Ｓ１４に動作が移行され、交通量計測が継続される。一方、交通量計測が継続しない場合には（Ｓ１７において「ＹＥＳ」）、動作が終了する。

（ハードウェア構成例）
続いて、本発明の実施形態に係る監視カメラ１０の例としての情報処理装置のハードウェア構成例について説明する。図９は、本発明の実施形態に係る監視カメラ１０の例としての情報処理装置のハードウェア構成を示す図である。なお、操作端末２０のハードウェア構成も、図９に示された情報処理装置９００のハードウェア構成と同様に実現されてよい。

図９に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等、利用者が情報を入力するための入力手段と、利用者による入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作する利用者は、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカー等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の実施形態に係る監視カメラ１０の例としての情報処理装置９００のハードウェア構成例について説明した。

以上、本発明の実施形態の詳細について説明した。

［効果の説明］
以上に説明したように、本発明の実施形態によれば、ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する取得部１２１と、前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部１２２と、を備える、監視カメラ１０が提供される。

かかる構成によれば、カメラのキャリブレーションの精度を向上させることが可能となる。さらに、かかる構成によれば、キャリブレーションの精度を向上させるために専用車両を準備する必要がなくなる。

［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

１ 計測システム
１０ 監視カメラ
１１０ 撮像部
１２０ 制御部
１２１ 取得部
１２２ キャリブレーション処理部
１３０ 記憶部
１４０ 通信部
２０ 操作端末
２１０ 入力部
２２０ 制御部
２３０ 記憶部
２４０ 通信部
２５０ 表示部
３０ ダイナミックマップＤＢ
３１ ダイナミックマップ

Claims (8)

1. ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する取得部と、
   前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、
   を備える、キャリブレーション処理装置。
2. 前記取得部は、前記ダイナミックマップの静的情報に基づいて前記実距離を取得する、
   請求項１に記載のキャリブレーション処理装置。
3. 前記キャリブレーション処理部は、前記撮像部の向きの変更に基づいて、前記キャリブレーションを再実行する、
   請求項１または２に記載のキャリブレーション処理装置。
4. 前記キャリブレーション処理部は、前記撮像部の焦点距離の変更に基づいて、前記キャリブレーションを再実行する、
   請求項１～３のいずれか一項に記載のキャリブレーション処理装置。
5. 前記キャリブレーション処理部は、前記キャリブレーションの結果として、実空間に存在する道路平面を示す式を道路平面式として得る、
   請求項１～４のいずれか一項に記載のキャリブレーション処理装置。
6. 前記第１の点および前記第２の点それぞれは、実空間に存在する道路平面上の点である、
   請求項５に記載のキャリブレーション処理装置。
7. ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得することと、
   前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行することと、
   を備える、キャリブレーション処理方法。
8. コンピュータを、
   ダイナミックマップに基づいて実空間に存在する第１の点と第２の点との距離を実距離として取得する取得部と、
   前記実距離と、前記第１の点と前記第２の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、
   を備えるキャリブレーション処理装置として機能させるプログラム。
   
   

Images