JP2015032069A - 監視装置及び監視装置の制御プログラム - Google Patents

監視装置及び監視装置の制御プログラム Download PDF

Info

Publication number
JP2015032069A
JP2015032069A JP2013159987A JP2013159987A JP2015032069A JP 2015032069 A JP2015032069 A JP 2015032069A JP 2013159987 A JP2013159987 A JP 2013159987A JP 2013159987 A JP2013159987 A JP 2013159987A JP 2015032069 A JP2015032069 A JP 2015032069A
Authority
JP
Japan
Prior art keywords
image
map
camera
target point
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013159987A
Other languages
English (en)
Other versions
JP6022423B2 (ja
Inventor
小川 雄三
Yuzo Ogawa
雄三 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2013159987A priority Critical patent/JP6022423B2/ja
Publication of JP2015032069A publication Critical patent/JP2015032069A/ja
Application granted granted Critical
Publication of JP6022423B2 publication Critical patent/JP6022423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる監視装置及び監視装置の制御プログラムを提供する。【解決手段】平面地図に対し、カメラ画像を射影変換し、マッピング画像を生成する射影変換部103と、平面地図及びマッピング画像を合成した画像合成地図を生成する画像合成部104と、カメラ画像上の予め指定された2以上の参照点、及び、平面地図上の予め指定された2以上の目標点に基づいて、参照点を対応する目標点に一致させる射影変換の変換係数を求める第1キャリブレーション部108と、目標点と共に画像合成地図を表示するディスプレイ装置11と、ユーザ操作に基づいて、目標点の位置を変更する目標点変更部109と、目標点変更部109による変更後の目標点に基づいて、変換係数を補正する第2キャリブレーション部110により構成される。【選択図】図2

Description

本発明は、監視装置及び監視装置の制御プログラムに係り、さらに詳しくは、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置の改良に関する。
監視装置は、監視カメラによって撮影されたカメラ画像をモニター上に表示する端末装置であり、監視カメラの撮影範囲内を監視することができる。この様な監視装置には、平面地図上に監視カメラの位置及び撮影範囲を表示し、ユーザが平面地図上で設置位置を指定した監視カメラの向きや撮影倍率を制御するものがある。また、カメラ画像を射影変換してマッピング画像を生成し、このマッピング画像を平面地図上に重畳させた画像合成地図を表示することができる監視装置も知られている(例えば、特許文献1)。
通常、カメラ画像と平面地図とを合成する場合、カメラ画像上の位置と平面地図上の位置とを互いに対応づけるカメラキャリブレーションを行う必要がある。例えば、カメラキャリブレーションは、ユーザがカメラ画像上の複数の参照点と平面地図上の複数の目標点とをそれぞれ指定するとともに、これらの位置情報をカメラ画像及び平面地図間で互いに関連づけることによって行われ、上記射影変換の変換係数が求められる。
この様な従来の監視装置では、カメラキャリブレーションの精度が低いという問題があった。例えば、カメラのレンズ収差に起因してカメラ画像にはレンズ歪みがある。また、カメラから水平面上の参照点までの実際の距離に応じてカメラ画像の分解能が異なり、カメラから遠ざかるほど、参照点の位置情報に含まれる誤差が大きくなる。さらに、位置情報から変換係数を求める際のデジタル演算には、計算誤差が含まれる。これらの影響により、カメラキャリブレーションを正確に行うことは困難であった。
特開2005−286685号公報
本発明は、上記事情に鑑みてなされたものであり、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる監視装置を提供することを目的とする。また、本発明は、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させた監視装置の制御プログラムを提供することを目的とする。
本発明の第一の態様による監視装置は、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置であって、上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手段と、上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手段と、上記カメラ画像上の予め指定された2以上の参照点、及び、上記平面地図上の予め指定された2以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第1キャリブレーション手段と、上記目標点と共に上記画像合成地図を表示する合成地図表示手段と、ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手段と、上記目標点変更手段による変更後の目標点に基づいて、上記変換係数を補正する第2キャリブレーション手段とを備えて構成される。
この監視装置では、第1キャリブレーションによって求められた変換係数を用いて射影変換を行うことにより、カメラ画像上の任意の位置が平面地図上の位置に対応づけられたマッピング画像をカメラ画像から得ることができる。その様なマッピング画像と平面地図とを合成した画像合成地図を表示することにより、ユーザは、マッピング画像及び平面地図間において特徴部分の位置にずれがあるか否か、また、ずれがある場合にずれの大きさや方向を容易に認識することができる。この様な第1キャリブレーションに対する精度検証の結果、ユーザが画像合成地図上の目標点の位置を変更すれば、射影変換の変換係数が補正されるので、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる。
本発明の第二の態様による監視装置は、上記構成に加え、上記画像合成手段が、透明化した上記マッピング画像を上記平面地図上に重畳させた画像合成地図を生成するように構成される。この様な構成によれば、透明化したマッピング画像を介して平面地図上の表示オブジェクトが認識可能になるので、マッピング画像及び平面地図間で特徴部分のずれ具合を容易に認識することができる。
特に、マッピング画像の全体にわたってずれ具合を認識でき、マッピング画像上のどの辺りが大きくずれているのかといったことを容易に識別することができる。従って、画像合成地図上で目標点の位置を変更する際に、マッピング画像の全体にわたってずれが小さくなるような位置を容易に見つけることができる。
本発明の第三の態様による監視装置は、上記構成に加え、ユーザ操作に基づいて、上記画像合成地図における上記マッピング画像の透明度を調整する透明度調整手段を備えて構成される。この様な構成によれば、カメラ画像及び平面地図の明るさやコントラストに応じてマッピング画像の透明度を調整することにより、第1キャリブレーションの上述した精度検証を容易化することができるとともに、画像合成地図上で目標点の位置を変更する際に適切な位置を容易に見つけることができる。
本発明の第四の態様による監視装置は、上記構成に加え、上記カメラ画像に対し、レンズ歪みを補正する歪み補正変換を行う歪み補正手段と、ユーザ操作に基づいて、上記歪み補正変換の変換係数を調整する補正係数調整手段とを備え、上記射影変換手段が、上記歪み補正手段による歪み補正変換後のカメラ画像に対し、上記射影変換を行うように構成される。
この様な構成によれば、カメラ画像の歪み具合に応じて歪み補正変換の変換係数を調整することにより、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度をさらに向上させることができる。
本発明の第五の態様による監視装置の制御プログラムは、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置の制御プログラムであって、上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手順と、上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手順と、上記カメラ画像上の予め指定された2以上の参照点、及び、上記平面地図上の予め指定された2以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第1キャリブレーション手順と、上記目標点と共に上記画像合成地図を表示する合成地図表示手順と、ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手順と、上記目標点変更手順における変更後の目標点に基づいて、上記変換係数を補正する第2キャリブレーション手順とにより構成される。
本発明による監視装置では、ユーザが画像合成地図上の目標点を変更すれば、射影変換の変換係数が補正されるので、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる。また、本発明による制御プログラムでは、コンピュータを上述した様な監視装置として機能させることができる。
本発明の実施の形態による監視装置10を含む監視システム1の一構成例を示したシステム図である。 図1の監視装置10内の機能構成の一例を示したブロック図である。 図2の監視装置10の動作の一例を示した図であり、ディスプレイ装置11上に表示されるカメラ画像13及びマップ画像14が示されている。 図2の監視装置10の動作の一例を示した図であり、マップ画像14及びマッピング画像15を合成した画像合成地図16が示されている。 図2の監視装置10の動作の一例を示した図であり、ディスプレイ装置11上に表示されるカメラ設定画面30が示されている。 図2の監視装置10の動作の一例を示した図であり、第1キャリブレーション後に表示される精度検証画面40が示されている。 図2の監視装置10の動作の一例を示した図であり、マッピング画像15の透明度を50%にした場合が示されている。 図2の監視装置10の動作の一例を示した図であり、マップ画像14及びマッピング画像15間で特徴部分の位置にずれが生じている場合が示されている。
<監視システム1>
図1は、本発明の実施の形態による監視装置10を含む監視システム1の一構成例を示したシステム図である。この監視システム1は、2以上の監視カメラ2と、これらの監視カメラ2がLAN(ローカルエリアネットワーク)20を介して接続され、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置10とからなる。
監視カメラ2は、被写体を撮影し、カメラ画像を生成する撮像装置であり、LAN20を介してエリア監視装置10へ画像データを送信する機能を有する。例えば、カメラ画像は、リアルタイムの動画像からなり、ライブ映像として送信される。監視カメラ2は、屋外又は屋内のいずれにも設置可能であり、屋外設置の場合は、地面、舗装道路の路面などの水平面に向けて設置され、水平面上の移動体が撮影される。移動体には、人や自動車がある。屋内設置の場合には、床面などの水平面に向けて設置される。例えば、監視カメラ2は、向き及び撮影倍率が固定された固定カメラである。
監視装置10は、監視カメラ2から取得したカメラ画像や平面地図を表示するディスプレイ装置11と、ユーザ操作を受け付ける操作部12とを備えた端末装置であり、カメラ画像を用いてエリア監視を行うとともに、LAN20上の監視カメラ2を制御する機能を有する。操作部12は、マウスやキーボードからなる。
この監視装置10は、カメラマップ表示機能、検知物体マッピング機能及び複数映像統合機能を有する。カメラマップ表示機能は、平面地図上に監視カメラ2の位置及び撮影範囲を表示する機能である。検知物体マッピング機能は、カメラ画像を解析して移動体を検知し、検知した移動体やその軌跡を平面地図上にリアルタイムに表示する機能である。
複数映像統合機能は、カメラ画像に対し、当該カメラ画像上の位置を平面地図上の位置に対応づける射影変換を行ってマッピング画像を生成し、このマッピング画像及び平面地図を合成した画像合成地図を表示する機能である。例えば、2以上の監視カメラ2から取得した複数のカメラ画像を共通の平面地図に埋め込んだ画像合成地図を表示することができる。この様な画像合成地図を閲覧すれば、複数の監視カメラ2の撮影範囲を跨って移動する移動体を容易に監視し、或いは、追跡することができる。
検知物体マッピング機能や複数映像統合機能を実現するには、カメラ画像及び平面地図間において位置情報を互いに対応づけるカメラキャリブレーションを行う必要がある。監視装置10では、ユーザがカメラ画像上の2以上の参照点と平面地図上の2以上の目標点とをそれぞれ指定するとともに、これらの位置情報をカメラ画像及び平面地図間で互いに関連づけることによってカメラキャリブレーションが行われ、上記射影変換の変換係数が求められる。
<監視装置10>
図2は、図1の監視装置10内の機能構成の一例を示したブロック図である。この監視装置10は、ディスプレイ装置11、地図情報記憶部101、設定画面表示部102、射影変換部103、画像合成部104、変換係数記憶部105,113、位置指定部106、位置情報記憶部107、第1キャリブレーション部108、目標点変更部109、第2キャリブレーション部110、透明度調整部111、歪み補正部112及び補正係数調整部114により構成される。
例えば、監視装置10は、制御プログラムに基づいてコンピュータを動作させることにより実現することができる。また、その様な制御プログラムは、CD−ROMなどのコンピュータ読み取り可能な記録媒体に記録して提供され、或いは、ネットワークを介して提供される。
地図情報記憶部101には、平面地図を画面表示するための地図情報が保持される。例えば、上空から撮影された静止画像からなるマップ画像が平面地図として用いられる。平面地図には、マップ画像のように撮影画像からなるものの他に、建物の輪郭線、道路の境界線、駐車区画を示すペイント線などの図形のみで構成されるものや、図形と建物、構造物などを示すシンボルとで構成されるものを用いることができる。
設定画面表示部102は、カメラキャリブレーションのためのカメラ設定画面をディスプレイ装置11上に表示する。カメラ設定画面は、監視カメラ2から取得したカメラ画像と、地図情報記憶部101内に保持されているマップ画像とを並べて表示し、参照点及び目標点の位置指定を受け付ける校正用入力画面である。
射影変換部103は、平面地図に対し、カメラ画像を射影変換し、平面地図に貼り付けるためのマッピング画像を生成するマッピング画像生成部である。この射影変換は、カメラ画像上の2以上の参照点を平面地図上の2以上の目標点に対応づけることにより、カメラ画像における水平面上の任意の幾何形状を平面地図に一致させる幾何変換である。
例えば、カメラ画像上にx軸及びy軸からなる座標軸を定め、参照点の位置を(x,y)と表し、また、平面地図上にX軸及びY軸からなる座標軸を定め、目標点の位置を(X,Y)と表せば、カメラ画像の射影変換は、次式(1)により表される。
X=(ax+by+c)/(ax+by+c
Y=(ax+by+c)/(ax+by+c) ・・・(1)
上式(1)には、射影変換の変換係数を表す9つのパラメータa〜a,b〜b,c〜cが含まれている。上式(1)は、パラメータa〜cのうちのゼロでないパラメータ、例えば、cで分母子を除算しても数式の関係は変わらない。そこで、c=1と固定すれば、残りの独立変数は8個である。従って、8つのパラメータa〜a,b〜b,c,cを指定することにより、1つの射影変換が決定される。変換係数記憶部105には、この様な射影変換を規定するパラメータが保持される。
画像合成部104は、地図情報記憶部101内に保持されている平面地図と、射影変換部103により生成されたマッピング画像とを合成した画像合成地図を生成する合成地図生成部である。具体的には、マッピング画像を平面地図上に重畳させることにより、画像合成地図を生成する。ディスプレイ装置11は、目標点と共に画像合成地図を表示する。
位置指定部106は、ユーザ操作に基づいて、カメラ画像上の2以上の参照点と、平面地図上の2以上の目標点とをそれぞれ指定するとともに、これらの位置情報をカメラ画像及び平面地図間で互いに関連づける。位置情報記憶部107には、参照点及び目標点の位置情報と、関連づけの情報とが保持される。
第1キャリブレーション部108は、位置情報記憶部107内に保持されている参照点及び目標点の位置情報と関連づけの情報とに基づいて、参照点を対応する目標点に一致させる射影変換の変換係数を求めるカメラ画像校正部である。どの3点も同一直線上にない4つの参照点と、対応する4つの目標点とが指定されれば、変換係数を求めることができる。
具体的には、参照点及び目標点の各組合せに対し、数式(1)を用いれば、8つの方程式が導出される。すなわち、1組の参照点と目標点とで、x及びy座標に関して2つの方程式が立てられるので、合計4組の参照点及び目標点から8つの方程式が得られる。これらの方程式を連立させて解くことにより、8つのパラメータa〜a,b〜b,c,cを求めることができる。カメラキャリブレーションによって求められた変換係数を用いて射影変換を行うことにより、カメラ画像上の任意の位置が平面地図上の位置に対応づけられたマッピング画像をカメラ画像から得ることができる。
ここで、2以上の監視カメラ2からカメラ画像を取得し、これらのカメラ画像を共通の平面地図上に埋め込んで画像合成地図を作成する場合、射影変換の変換係数は、監視カメラ2ごとに求められる。また、画像合成部104は、複数のマッピング画像を共通の平面地図上に重畳させて画像合成地図を生成する。
目標点変更部109は、ユーザ操作に基づいて、目標点の位置を変更し、位置情報記憶部107内に保持されている目標点の位置情報を更新する位置情報編集部である。この目標点変更部109は、ユーザ操作に基づいて、画像合成地図上における目標点の変更に伴う参照点の変更を受け付け、位置情報記憶部107内に保持されている参照点の位置情報を更新する。
第2キャリブレーション部110は、目標点変更部109による変更後の目標点に基づいて、射影変換の変換係数を補正し、変換係数記憶部105内に保持されているパラメータを更新するカメラ画像校正部である。なお、第1キャリブレーションや第2キャリブレーションに用いるカメラ画像には、ライブ映像に代えて、ライブ映像を構成する静止画像や、ライブ映像とは別個に撮影された静止画像を用いることができる。
透明度調整部111は、ユーザ操作に基づいて、画像合成地図におけるマッピング画像の透明度を調整する。画像合成部104は、透明化したマッピング画像を平面地図上に重畳させた画像合成地図を生成する。ディスプレイ装置11には、マッピング画像が透明化された画像合成地図が表示される。
歪み補正部112は、監視カメラ2から取得したカメラ画像に対し、レンズ歪みを補正する歪み補正変換を行い、歪み補正変換後のカメラ画像を設定画面表示部102及び射影変換部103へ出力する画像処理部である。レンズ歪みは、光学レンズの径方向の歪み(歪曲収差)である。
例えば、カメラ画像上にx軸及びy軸からなる座標軸を定め、光学レンズの中心軸の位置に対応するカメラ画像上の位置を原点として、歪み補正変換前後のカメラ画像上の位置をそれぞれ(x,y)、(x,y)と表せば、カメラ画像の歪み補正変換は、次式(2)により表される。
=(1+k+k)×x
=(1+k+k)×y ・・・(2)
=x +y
上式(2)には、歪み補正変換の変換係数を表す2つのパラメータk,kが含まれている。これらのパラメータk,kを指定することにより、歪み補正変換が決定される。ただし、レンズ歪みは、パラメータkが実際的には支配的であることから、レンズ歪みの補正は、パラメータkのみを調整することにより、簡易的に行うことが可能である。そこで、本実施の形態では、パラメータkのみを変更可能とし、パラメータkを固定し、或いは、無視して上式(2)を用いることにより、歪み補正変換が行われる。変換係数記憶部113には、この様な歪み補正変換を規定するパラメータが保持される。補正係数調整部114は、ユーザ操作に基づいて、歪み補正変換の変換係数を調整し、変換係数記憶部113内に保持されているパラメータを更新する。
<カメラ画像13及びマップ画像14>
図3は、図2の監視装置10の動作の一例を示した図であり、ディスプレイ装置11上に表示されるカメラ画像13及びマップ画像14が示されている。図中の(a)には、監視カメラ2から取得したカメラ画像13が示され、(b)には、マップ画像14が示されている。
監視カメラ2は、屋外、例えば、建物の屋上に設置され、路面上の移動体を撮影する。このカメラ画像13には、舗装道路13a、建物13b、駐車区画内に停車中の自動車13cなどが撮影されている。第1キャリブレーションのための参照点4には、マップ画像14との対応づけが容易なカメラ画像13上の特徴部分が指定される。
例えば、駐車区画を示すペイント線の角(かど)部、建物13bの角、街路灯などの構造物の根元等が参照点4として指定される。参照点4の指定は、マウスポインタ6をカメラ画像13上で移動させて位置を指示することにより行われる。具体的には、カメラ画像13の中央に4つの参照点4を頂点とする矩形がデフォルト設定として表示され、ドラッグ操作により参照点4を所望の位置まで移動させる。
マップ画像14は、監視カメラ2の撮影範囲の一部又は全部を含む平面地図であり、路面上の建物13bや構造物を鉛直方向の上方向から見た様子が描画されている。このマップ画像14には、建物13b、走行車線、駐車区画、監視カメラ2の撮影方向を表す図形と、監視カメラ2の設置位置を示すシンボル3とが描画されている。
目標点5には、参照点4に対応するマップ画像14上の位置が指定される。目標点5の指定は、マウスポインタ6をマップ画像14上で移動させて位置を指示することにより行われる。第1キャリブレーションは、参照点4及び目標点5からなる4つの組合せに基づいて、射影変換の変換係数を求めることにより行われる。
カメラ画像13上において、2つの参照点4を結ぶ線分(図中では、破線により表示)上にマウスポインタ6を合わせ、クリック操作を行えば、参照点4を追加することができる。参照点4を追加した場合、参照点4及び目標点5からなる5以上の組合せに基づいて射影変換の変換係数を求めることになる。例えば、5以上の組合せから4つの組合せを抽出して変換係数を求めることを繰り返し、得られた変換係数から統計的手法を用いて変換係数の最適値又は平均値が算出される。
なお、ここでは、参照点4及び目標点5からなる4つの組合せ又は5以上の組合せを指定することにより、射影変換の変換係数が求められるものとして説明した。しかし、ユーザがカメラ画像13やマップ画像14上で指定する参照点4や目標点5の個数はこれに限定されるものではない。例えば、監視カメラ2の水平面(路面)からの高さ、仰俯角方向の角度が既知である場合や、水平面上の基準とするマーク、構造物がカメラ画像上の特定の位置に撮影されるように、監視カメラ2の位置、向きが予め調整されている場合には、ユーザが指定する参照点4や目標点5の個数は4未満であっても良い。つまり、撮影状況が限定的であれば、ユーザが2つ又は3つの参照点4又は目標点5を指定することにより、射影変換の変換係数が決定される場合もある。
<画像合成地図16>
図4は、図2の監視装置10の動作の一例を示した図であり、マップ画像14及びマッピング画像15を合成した画像合成地図16が示されている。マッピング画像15は、カメラ画像13に対し、射影変換を行うことによって作成される。すなわち、カメラ画像13における任意の画素の位置情報が、射影変換によってマップ画像14における画素の位置情報に変換される。
この射影変換では、路面上の幾何学的な形状がマップ画像14に合わせ込まれる。このため、舗装道路や駐車区画のペイント線、舗装道路の境界線といった路面近傍の静止物は、その形状が真上から見た場合の形状に変換され、マップ画像14における形状と一致する。
一方、路面から高さ方向に突出した静止物や移動体は、その形状が路面に射影した形状に変換され、歪んで見える。画像合成地図16は、マッピング画像15における任意の画素をマップ画像14上の対応する位置に配置することにより、マッピング画像15をマップ画像14上に重畳させた合成画像として作成される。この様な画像合成地図16をディスプレイ装置11上に表示することにより、ユーザは、マッピング画像15及びマップ画像14間において特徴部分の位置にずれがあるか否か、また、ずれがある場合にずれの大きさや方向を容易に認識することができる。
<カメラ設定画面30>
図5は、図2の監視装置10の動作の一例を示した図であり、ディスプレイ装置11上に表示されるカメラ設定画面30が示されている。カメラ設定画面30は、カメラキャリブレーションのための校正用入力画面であり、カメラ画像13の表示領域31と、歪み補正調整用のスライダー32と、マップ画像14の表示領域33と、参照点4及び目標点5の表示ボタン34とが配置されている。
スライダー32を操作することにより、表示領域31内のカメラ画像13に対し、レンズ歪みを補正する歪み補正変換の変換係数を調整することができる。歪み補正変換の変換係数は、補正量=ゼロから補正量=上限値までの範囲内で調整することができる。補正量=0では、歪み補正変換を行わず、カメラ画像13が歪み補正部112をスルーして射影変換部103に入力される。一方、補正量=上限値では、歪み補正変換を規定するパラメータkが最大になる。
カメラのレンズ収差に起因してカメラ画像13にはレンズ歪みがある。特に、広角レンズを使用した監視カメラ2の場合、カメラ画像13の中央部に比べ、周縁部の歪みが大きい。このため、水平面上の直線は、カメラ画像13の周縁部において曲がって映し出される。この様なカメラ画像13上に撮影されている幾何学的な形状の歪みは、スライダー32を操作して補正量を調整することにより、除去することができる。
表示ボタン34を操作すれば、第1キャリブレーション用の参照点4及び目標点5をカメラ画像13及びマップ画像14上にそれぞれ表示させることができる。カメラ画像13を歪み補正してから参照点4を指定し、第1キャリブレーションを行うことにより、第1キャリブレーションの精度を向上させることができる。
<精度検証画面40>
図6は、図2の監視装置10の動作の一例を示した図であり、第1キャリブレーション後に表示される精度検証画面40が示されている。また、図7は、図2の監視装置10の動作の一例を示した図であり、マッピング画像15の透明度を50%にした場合が示されている。
この精度検証画面40は、カメラ画像13及びマップ画像14間における位置情報の対応づけの精度を検証するためのカメラキャリブレーション編集画面であり、カメラ画像13の表示領域41と、画像合成地図16の表示領域42と、マッピング画像15の透明度調整用のスライダー43と、修正キャリブレーションボタン44とが配置されている。
スライダー43を操作することにより、表示領域42内の画像合成地図16に対し、マッピング画像15の透明度を調整することができる。マッピング画像15の透明度は、透明度=100%から透明度=0%までの範囲内で調整することができる。透明度=100%では、マッピング画像15が完全に透明であり、マップ画像14の全体を視認することができる。一方、透明度=0%では、マッピング画像15が完全に不透明であり、マッピング画像15との重複部分について、マップ画像14を視認することができない。
透明度を50%程度にすれば、マッピング画像15は半透明な状態である。この様に透明化したマッピング画像15がマップ画像14上に重畳された画像合成地図16を表示することにより、透明化したマッピング画像15を介してマップ画像14上の表示オブジェクトが認識可能になるので、マッピング画像15及びマップ画像14間で特徴部分のずれ具合を容易に認識することができる。
表示領域41には、第1キャリブレーションにおいて使用した複数の参照点4がカメラ画像13と共に表示されている。また、表示領域42には、第1キャリブレーションにおいて使用した複数の目標点5が画像合成地図16と共に表示されている。そこで、マップ画像14及びマッピング画像15間で特徴部分の位置にずれが生じていれば、マウスポインタ6を移動させて、カメラ画像13上の参照点4の位置と、画像合成地図16上の目標点5の位置とを変更することができる。
図8は、図2の監視装置10の動作の一例を示した図であり、マップ画像14及びマッピング画像15間で特徴部分の位置にずれが生じている場合が示されている。監視カメラ2から所定の距離の水平面に関し、カメラ画像13上における水平面内の幾何形状は、カメラ画像13のレンズ歪みに起因して、実際の幾何形状と異なっている。また、監視カメラ2から水平面上の参照点4までの実際の距離に応じてカメラ画像13の分解能が異なることから、監視カメラ2から遠い参照点4の位置情報には、大きな誤差が含まれる。さらに、位置情報から射影変換の変換係数を求める際のデジタル演算には、計算誤差が含まれる。
このため、画像合成地図16において、マッピング画像15上の特徴部分の位置と、マップ画像14上の対応する特徴部分の位置との間に、ずれが生じる場合がある。この例では、建物13bの角(かど)の位置がマッピング画像15とマップ画像14との間で大きくずれている。この様なずれは、透明化したマッピング画像15が埋め込まれた画像合成地図16を閲覧することにより、容易に識別することができる。
第1キャリブレーションは、駐車区画を示すペイント線を目印にして参照点4及び目標点5を指定することにより行われた。この第1キャリブレーションでは、駐車区画付近ではずれが少ないが、カメラ画像13の周縁部に撮影されている建物13bの角ではずれが大きいことが、画像合成地図16から容易に確認できる。建物13bの角のずれが大きいのは、レンズ歪みや計算誤差の影響である。
そこで、画像合成地図16上で駐車区画内の目標点5の位置を微調整し、或いは、カメラ画像13上で駐車区画内の参照点4の位置を微調整し、第2キャリブレーションを行う。第2キャリブレーションは、精度検証画面40内の修正キャリブレーションボタン44を操作することにより実行され、射影変換の変換係数が補正される。この修正キャリブレーションの後、建物13bの角のずれ具合も、画像合成地図16によって容易に確認することができる。この様な修正キャリブレーションを繰り返すことにより、第1キャリブレーションにおいて使用した4点以外の地点についても位置ずれが減少し、マッピング画像15の全体にわたってマップ画像14との位置ずれを少なくすることができる。
さらに、必要であれば、建物13bの角付近に目標点5を追加指定し、カメラ画像13上にも対応する参照点4を指定し、参照点4及び目標点5の5つの組によって修正キャリブレーションを行うこともできる。なお、参照点4又は目標点5が変更されれば、修正キャリブレーションを自動的に実行するような構成であっても良い。
本実施の形態によれば、第1キャリブレーションによって求められた変換係数を用いて射影変換を行うことにより、カメラ画像13上の任意の位置が平面地図上の位置に対応づけられたマッピング画像15をカメラ画像13から得ることができる。その様なマッピング画像15と平面地図とを合成した画像合成地図16を表示することにより、第1キャリブレーションの精度検証を容易化することができる。また、第1キャリブレーションに対する精度検証の結果、ユーザが画像合成地図16上の目標点5の位置を変更すれば、射影変換の変換係数が補正されるので、カメラ画像13及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる。
さらに、透明化したマッピング画像15を介して平面地図上の表示オブジェクトが認識可能になるので、マッピング画像15及び平面地図間で特徴部分のずれ具合を容易に認識することができる。また、カメラ画像13及び平面地図の明るさやコントラストに応じてマッピング画像15の透明度を調整することにより、第1キャリブレーションの精度検証を容易化することができるとともに、画像合成地図16上で目標点5の位置を変更する際に適切な位置を容易に見つけることができる。
なお、本実施の形態では、マッピング画像15を平面地図上に重畳させて画像合成地図16が作成される場合の例について説明したが、本発明は平面地図及びマッピング画像を合成した画像合成地図の構成をこれに限定するものではない。例えば、平面地図が図形又はシンボルからなる場合や、透明化した平面地図を用いる場合には、平面地図をマッピング画像上に重畳させることによって画像合成地図が形成されるような構成であっても良い。
また、本実施の形態では、第1キャリブレーションに使用する参照点4及び目標点5の位置をユーザが指定する場合の例について説明したが、本発明は参照点4及び目標点5の指定方法をこれに限定するものではない。例えば、カメラ画像13及びマップ画像14から特徴部分を自動抽出し、抽出された特徴部分に基づいて参照点4及び目標点5を指定するような構成であっても良い。
画像上の特徴部分には、エッジや、2つのエッジが交差したコーナーがあり、輝度分布や輝度の変化率に基づいて抽出される。また、カメラ画像13やマップ画像14から抽出したエッジやコーナーを画像合成地図16上に表示することにより、マッピング画像15及びマップ画像14間で特徴部分のずれ具合を容易に認識することができる。
また、カメラ画像13から抽出したエッジやコーナーの位置と、マップ画像14から抽出したエッジやコーナーの位置との間でずれがあれば、カメラ画像13とマップ画像14との合致度合をユーザに認識させるために、エッジやコーナーを表すシンボルの表示態様、例えば、色をずれの大きさに応じて異ならせるような構成であっても良い。
また、本実施の形態では、監視装置10がディスプレイ装置11及び操作部12を備えた端末装置からなる場合の例について説明したが、本発明は監視装置10の構成をこれに限定するものではない。例えば、監視カメラ2からカメラ画像を取得して処理する演算装置と、カメラ画像や処理結果を表示し、ユーザ操作を受け付ける端末装置とが、インターネットなどの通信ネットワークを介して接続された監視システムにも本発明は適用することができる。
1 監視システム
2 監視カメラ
4 参照点
5 目標点
6 マウスポインタ
10 監視装置
11 ディスプレイ装置
12 操作部
13 カメラ画像
14 マップ画像
15 マッピング画像
16 画像合成地図
101 地図情報記憶部
102 設定画面表示部
103 射影変換部
104 画像合成部
105,113 変換係数記憶部
106 位置指定部
107 位置情報記憶部
108 第1キャリブレーション部
109 目標点変更部
110 第2キャリブレーション部
111 透明度調整部
112 歪み補正部
114 補正係数調整部
20 LAN

Claims (5)

  1. カメラ撮影されたカメラ画像を平面地図上に表示する監視装置において、
    上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手段と、
    上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手段と、
    上記カメラ画像上の予め指定された2以上の参照点、及び、上記平面地図上の予め指定された2以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第1キャリブレーション手段と、
    上記目標点と共に上記画像合成地図を表示する合成地図表示手段と、
    ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手段と、
    上記目標点変更手段による変更後の目標点に基づいて、上記変換係数を補正する第2キャリブレーション手段とを備えたことを特徴とする監視装置。
  2. 上記画像合成手段は、透明化した上記マッピング画像を上記平面地図上に重畳させた画像合成地図を生成することを特徴とする請求項1に記載の監視装置。
  3. ユーザ操作に基づいて、上記画像合成地図における上記マッピング画像の透明度を調整する透明度調整手段を備えたことを特徴とする請求項2に記載の監視装置。
  4. 上記カメラ画像に対し、レンズ歪みを補正する歪み補正変換を行う歪み補正手段と、
    ユーザ操作に基づいて、上記歪み補正変換の変換係数を調整する補正係数調整手段とを備え、
    上記射影変換手段は、上記歪み補正手段による歪み補正変換後のカメラ画像に対し、上記射影変換を行うことを特徴とする請求項1〜3のいずれかに記載の監視装置。
  5. カメラ撮影されたカメラ画像を平面地図上に表示する監視装置の制御プログラムであって、
    上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手順と、
    上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手順と、
    上記カメラ画像上の予め指定された2以上の参照点、及び、上記平面地図上の予め指定された2以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第1キャリブレーション手順と、
    上記目標点と共に上記画像合成地図を表示する合成地図表示手順と、
    ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手順と、
    上記目標点変更手順における変更後の目標点に基づいて、上記変換係数を補正する第2キャリブレーション手順とをコンピュータに実行させることを特徴とする監視装置の制御プログラム。
JP2013159987A 2013-07-31 2013-07-31 監視装置及び監視装置の制御プログラム Active JP6022423B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013159987A JP6022423B2 (ja) 2013-07-31 2013-07-31 監視装置及び監視装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013159987A JP6022423B2 (ja) 2013-07-31 2013-07-31 監視装置及び監視装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2015032069A true JP2015032069A (ja) 2015-02-16
JP6022423B2 JP6022423B2 (ja) 2016-11-09

Family

ID=52517350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013159987A Active JP6022423B2 (ja) 2013-07-31 2013-07-31 監視装置及び監視装置の制御プログラム

Country Status (1)

Country Link
JP (1) JP6022423B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018004541A (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2021044549A1 (ja) * 2019-09-04 2021-03-11
JP7375149B2 (ja) 2021-11-30 2023-11-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
WO2024042995A1 (ja) * 2022-08-24 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および光検出システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363750B2 (ja) 2020-11-19 2023-10-18 トヨタ車体株式会社 車体の水抜き構造

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319218A (ja) * 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
JP2005286685A (ja) * 2004-03-30 2005-10-13 Hitachi Ltd 画像生成装置、システムまたは画像合成方法。
JP2009230235A (ja) * 2008-03-19 2009-10-08 Sanyo Electric Co Ltd 画像処理装置及び方法、運転支援システム、車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319218A (ja) * 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
JP2005286685A (ja) * 2004-03-30 2005-10-13 Hitachi Ltd 画像生成装置、システムまたは画像合成方法。
JP2009230235A (ja) * 2008-03-19 2009-10-08 Sanyo Electric Co Ltd 画像処理装置及び方法、運転支援システム、車両

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018004541A (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018008370A1 (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11105749B2 (en) 2016-07-06 2021-08-31 Canon Kabushiki Kaisha Information processing apparatus, information processing method and program
JPWO2021044549A1 (ja) * 2019-09-04 2021-03-11
WO2021044549A1 (ja) * 2019-09-04 2021-03-11 日本電気株式会社 位置推定方法、位置推定システム、及び位置推定装置
JP7251638B2 (ja) 2019-09-04 2023-04-04 日本電気株式会社 位置推定方法、位置推定システム、及び位置推定装置
JP7375149B2 (ja) 2021-11-30 2023-11-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
WO2024042995A1 (ja) * 2022-08-24 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および光検出システム

Also Published As

Publication number Publication date
JP6022423B2 (ja) 2016-11-09

Similar Documents

Publication Publication Date Title
US10602102B2 (en) Projection system, image processing apparatus, projection method
US9818377B2 (en) Projection system, image processing apparatus, and correction method
US9836829B2 (en) Image processing apparatus and image processing method
US9706135B2 (en) Method and apparatus for generating an image cut-out
CN105979234B (zh) 一种投影图像校正的方法及投影装置
CN108475437B (zh) 具有角落放置摄像机的车辆360°环视系统,校准系统和方法
JP4637845B2 (ja) マルチプロジェクションシステムにおける幾何補正方法
JP4507307B2 (ja) 映像投影装置
JP6022423B2 (ja) 監視装置及び監視装置の制御プログラム
US9349157B2 (en) Method and apparatus for controlling a virtual camera
CN111083457B (zh) 多光机投影图像的校正方法、装置和多光机投影仪
CN105308503A (zh) 利用短程相机校准显示系统的系统和方法
US8491128B2 (en) System and method for projection correction by capturing projection image
US20130222776A1 (en) Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection
JP2015056834A (ja) 投影システム、画像処理装置、投影方法およびプログラム
JP2007183949A (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
JP2011182236A (ja) カメラキャリブレーション装置
JP2008061260A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
JP2012142669A (ja) 投写制御装置、投写システム、テストチャート、投写領域判定方法
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP2013246606A (ja) データ導出装置、及び、データ導出方法
US20220006989A1 (en) Method for Automatically Restoring a Calibrated State of a Projection System
JP2011228857A (ja) 車載カメラ用キャリブレーション装置
JP5515405B2 (ja) 映像処理装置、映像表示装置および映像処理方法
JP2014225182A (ja) 画像投影システム、画像処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161005

R150 Certificate of patent or registration of utility model

Ref document number: 6022423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250