JP2009017026A - 座標変換方法及びパラメータ調整方法及び監視システム - Google Patents

座標変換方法及びパラメータ調整方法及び監視システム Download PDF

Info

Publication number
JP2009017026A
JP2009017026A JP2007174258A JP2007174258A JP2009017026A JP 2009017026 A JP2009017026 A JP 2009017026A JP 2007174258 A JP2007174258 A JP 2007174258A JP 2007174258 A JP2007174258 A JP 2007174258A JP 2009017026 A JP2009017026 A JP 2009017026A
Authority
JP
Japan
Prior art keywords
image
imaging device
coordinate system
height
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007174258A
Other languages
English (en)
Other versions
JP5105972B2 (ja
Inventor
Kazunari Iwanaga
一成 岩永
Mitsue Ito
光恵 伊藤
Wataru Ito
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2007174258A priority Critical patent/JP5105972B2/ja
Publication of JP2009017026A publication Critical patent/JP2009017026A/ja
Application granted granted Critical
Publication of JP5105972B2 publication Critical patent/JP5105972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】入力画像抽出物体が検出すべき物体か否かを誤差を少なく判定するために、入力画像上の物体の見かけの大きさの違いを補間する多くの情報を設定する必要があり、設定作業が非常に煩雑になる。
【解決手段】入力画像の第一の座標系を、撮像装置の設置高さと、撮像装置の俯角と、撮像装置の視野角もしくは焦点距離のパラメータに基づいて第二の座標系に変換する座標系変換手段を有し、視野角もしくは焦点距離は、撮像素子の大きさ及び撮像レンズの焦点距離に基づいて算出され、俯角は、第一の座標系で設定された矩形もしくは線分の座標の幅情報のに基づいて算出され、設置高さは、第一の座標系で設定された矩形もしくは線分の座標の高さ情報に基づいて算出されるパラメータ調整方法。
【選択図】図7

Description

本発明は、監視システムに関するものである。
例えば、テレビジョンカメラ(TVカメラ)等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来より広く用いられている。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、当該検出値が所定の閾値(しきい値)と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行なう。検出すべき物体を監視する方法として、背景差分法以外にも、異なる時刻に得られた複数の入力画像の差分を用いるフレーム間差分や、2つの画像間の局所部分の動きを算出することで画像内の動きの流れを検出するオプティカルフロー法などがあり、監視対象領域の環境条件に応じて適切な方法が実装される。
監視システムでは、撮像した画像から前記方法によって検出した物体が、本当に検出すべき物体であるか判定するために、基準となる情報(例えば検出すべき物体の大きさ情報が広く用いられる)と、入力画像から抽出した物体の情報を比較して判断する。この基準となる情報は、監視システムを動作させる前に予め設定する必要がある。例えば、上記例で用いた基準となる情報として大きさ情報を用いた場合、画像上の物体の見かけの大きさがカメラと物体の距離に応じて変わってしまう。すなわち、物体がカメラに近い場所(画像下部)に存在する場合は画像上大きく見え、カメラから離れている場所(画像上部)に存在する場合は小さく見えてしまうため、画像上の各位置において検出すべき物体が見える大きさを設定しなければならない。従来の方式では、画像上の少なくとも2つの位置において検出すべき物体の画像上での大きさを指定し、指定されなかった位置に存在する物体の画像上の大きさは、指定された位置の画像上の大きさから補間するという方法が取られる。この方法では、原理上2つの位置において検出すべき物体の大きさ情報があれば、画像上の任意の位置での大きさ情報を補間できるが、通常、画像上で指定する物体の位置の数を増やして大きさ設定の誤差を減らす必要があり、非常に煩雑な作業となる。
特開2001−273500号公報 特開2005−57743号公報
従来の監視システムでは、前述のとおり、入力画像から抽出した物体が検出すべき物体か否かを判定するために、画像上で検出すべき物体の情報を設定する必要がある。この設定では、誤差を少なくするために、数多くの情報を設定する必要があるため、設定作業が非常に煩雑になるという問題がある。
本発明は、このような従来の事情に鑑みなされたもので、撮像した入力画像から抽出した第1の座標系で表現される物体を、監視領域の地図に相似する第2の座標系に変換するようにして、画像上の位置による見かけの情報の変化を解決し、より少ない作業でも監視システムを設定できる座標変換方法及びパラメータ調整方法及び監視システムを提供することを目的とする。
本発明は、上述の問題を解決するために、監視領域を撮像レンズおよび撮像素子を有する撮像装置などの手段によって撮像して得られた入力画像を処理し、検出すべき物体の情報に基づいて画像から抽出した物体が検出すべき物体か否かを判定し、前記撮像装置などの手段によって得られた入力画像の第一の座標系を、前記撮像装置などの手段の設置の高さと、前記撮像装置などの手段の設置の高さから見下ろす俯角と、前記撮像装置などの手段の視野角もしくは焦点距離の少なくとも3つのパラメータに基づいて第二の座標系に変換する座標系変換手段を有する監視システムにおいて、
前記視野角もしくは焦点距離は、前記撮像装置などの手段が有する撮像素子の大きさ、及び前記撮像装置などの手段が有する撮像レンズの焦点距離に基づいて算出される、または、
前記前記設置高さからみ下ろす俯角は、前記第一の座標系で設定された矩形もしくは線分のいずれか1つの座標の幅情報の少なくとも2つに基づいて算出される、または、
前記設置高さは、前記前記第一の座標系で設定された矩形もしくは線分のいずれか1つの座標の高さ情報の少なくとも1つに基づいて算出されることの少なくとも一方を実施することを特徴とするパラメータ調整方法である。
また上記のパラメータ調整方法を用いたことを特徴とする監視システムである。
本発明によれば、前記撮像装置などの手段の設置の高さと、前記撮像設置などの手段の設置の高さから見下ろす俯角と、前記撮像装置などの手段の視野角もしくは焦点距離の少なくとも3つのパラメータに基づいて入力画像から抽出した物体の情報を第一の座標系から第二の座標系に変換するようにし、3つのパラメータで入力画像から抽出した物体を検出すべき物体か否かを判定できるようにすることで、監視システムの設定の作業を削減し、オペレータが容易に設定を行える座標変換方法及びパラメータ調整方法及び監視システムを実現できる。
本発明に係る第一の実施例を、図面を参照して説明する。図1は、本発明に係る監視システムの構成を示すブロック図である。本例の監視システムは、撮像装置101、物体検出装置102、表示装置103、設定装置104、アクセスライン105〜107によって構成されている。撮像装置101は、監視の対象となる領域を撮像し、撮像された入力画像は、物体検出装置102で監視対象領域内に侵入する物体を検出し、検出画像と、検出結果および設定装置104で予め設定されたカメラパラメータより算出された値とを用いて得られた情報が表示装置103に表示される。アクセスライン105〜107は、例えばアナログ電話網やISDN網、デジタル専用線網、インターネットなどのネットワークに接続されていても良い。
侵入物体を追尾し、監視するTVカメラに監視対象ではない民家やプライバシー等の監視対象以外の領域をTVカメラの視野内に映さないようにTVカメラを制御し、監視領域に侵入した物体を正確に検出、追尾する。
撮像方向及びズームの少なくとも一方を制御可能に構成された撮像装置で侵入物体を追尾する追尾方法は、該撮像装置からの画像を1フレーム取り込み、該画像から侵入物体の現在位置を検出し、前記撮像装置の現在のまたは予測視野範囲を算出し、該算出した現在または予測視野範囲が撮像禁止領域を含むか否かを判定し、含まないとき、前記侵入物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御し、前記撮像装置で前記現在または予測視野範囲を撮像して警報/追尾情報を表示するように構成される。
次に、設定装置104の動作について図2を用いて説明する。図2は、設定装置104の操作画面の一例である。操作画面201は、画像表示部202、俯角パラメータ設定203、高さパラメータ設定204、視野角パラメータ設定205、パラメータ設定ボタン206、ライブボタン207、ファイル選択ボタン208を持つ。以下、俯角パラメータ設定203、高さパラメータ設定204、視野角パラメータ設定205の3つによって設定される3つの値をカメラパラメータと呼ぶ。また、初めてカメラパラメータを設定する時には、予めカメラパラメータにはデフォルト値(例えば、俯角パラメータを45 [°]、高さパラメータを1.0 [m]、視野角パラメータを45 [°])が設定されているものとする。
画像表示部202には、撮像装置101によって得られた第1の座標系(以下、カメラ座標系と呼ぶ)で表される入力画像を、カメラパラメータに基づく第2の座標系(以下、ワールド座標系と呼ぶ)に変換した画像が表示される。
ここで、画像表示部202に画像を表示する2つの方法について説明する。第1の方法として、ライブボタン207を押下することにより、撮像装置101で撮像された最新の画像が領域設定装置より送信され、取得した画像をワールド座標系の画像に変換して表示する。第2の方法として、予め撮像装置101で撮像した静止画像を用意しておき、ファイル選択ボタンを押下することでファイル選択ダイアログを表示し、表示する画像を選択すると該当する画像をワールド座標系の画像に変換して表示する。例えば、図4の画像を操作画面201表示すると、画像表示部202の画像のようにワールド座標系の画像に変換されて表示される。画像をワールド座標系の画像に変換する手段については後述する。
上記では使用する画像を静止画としたが、動画像を用いるようにしても良い。その場合は、操作画面201には動画像を再生するためのボタンや一時停止するボタンを追加し(図示しない)、動画像を一時停止した状態でカメラパラメータの設定を行なう。
次に、カメラパラメータを設定する方法について図2、5および6を用いて説明する。カメラパラメータは、俯角パラメータ設定203、高さパラメータ設定204および横方向視野角パラメータ設定205の3つを使用して変更する。俯角パラメータ設定203では、撮像装置101の俯角501を設定する。高さパラメータ設定204では、撮像装置101を設置した高さ502を設定する。視野角設定205では、撮像装置101の横方向の視野角601を設定する。オペレータは、設置した撮像装置101の俯角、高さ、視野角の各パラメータを、各設定を用いて設定する。なお、撮像装置101の縦方向の視野角503は、使用する撮像装置101の撮像素子のアスペクト比(縦横比)によって決定され、例えば縦3に対して横4の比率の素子を使用する場合、縦方向の視野角503は、横方向の視野角601の75%になる。したがって、撮像装置101の縦方向と横方向の視野角は本質的に1つの情報になるため、撮像装置101の視野角は、横方向の視野角601で代表して設定される。また、各設定のパラメータを変更した時、変更したパラメータに基づいて画像表示部202のワールド座標系の画像が更新される。
カメラパラメータを設定する別の方法について説明する。設置した撮像装置101の俯角、高さ、視野角のカメラパラメータを入力画像から算出する場合、画像表示部202に表示されたワールド座標系の画像を見ながら、画像の位置に係らず幅および高さが一定になるように、俯角パラメータ設定203、高さパラメータ設定204、横方向視野角パラメータ設定205を変更することでカメラパラメータを設定することができる。例えば図3に示す画像表示部202の画像のように、道路などは平行な線にすることで幅を一定にし、異なる場所に設置されている同じ高さの道路標識の高さを一定にすることで高さを一定になるように、各設定スライダーを調節する。この時、平行な線となっているか確認するための補助線を表示するようにしても良い。また、入力画像に写る、例えば窓やフェンス、橋の欄干など、高さが一定であるとみなせる構造物が、画像表示202に表示される変換後の画像上で同じ高さになっているか確認することで、カメラパラメータの設定が容易になる。この場合、高さが一定であるとみなせる構造物が、画像表示202に表示される変換後の画像上で同じ高さになっているか確認するために、例えば画像上に線を描画してその線の長さを操作画面201上に表示するようにしても良い。
ここで、設定したカメラパラメータの保存方法について説明する。パラメータ設定ボタン206を押下することによって、俯角パラメータ設定203、高さパラメータ設定204および横方向視野角パラメータ設定205の3つで設定した3つのパラメータが、例えばファイルなどに保存され、アクセスライン106を介して物体検出装置102へ送信される。物体検出装置102では、カメラパラメータを保存したファイルを受信した場合、そのファイルの各パラメータを読み出し、入力画像から抽出した物体が検出すべき物体か否かを判定するカメラパラメータとして使用する。
次に、設定したカメラパラメータを用いて画像座標から実座標を求める方法について説明する。ここで、撮像装置101の俯角をθT、撮像装置101の設置の高さをH、撮像装置101の横方向の視野角をθH、撮像装置101の縦方向の視野角をθVとする。なお、撮像装置101の縦方向の視野角θVは、前述の通り、撮像装置101の横方向の視野角θHから算出されるため、説明した俯角θT、高さH、視野角θHが図3で説明されるカメラパラメータに一致している。
撮像装置の俯角θT、高さh、横方向の視野角である画角θH、縦方向の視野角である画角θVを用いて視野範囲に含まれるカメラ座標系の画像上の各位置をワールド座標系へ変換することができる。
例えば、入力画像上のある点(x',y')を、ワールド座標(x,y)に変換する一例を以下に示す。
例えば、画像上(x',y')で表される画素を撮像する俯角θyは、入力画像の縦方向の画素数を480画素とすると、(式1)で表される。
(式1)


また、カメラ座標における画素(x',y') を撮像する回転角θxは、入力画像の画素数を640とすると、点Dを撮像する回転角θxは、(式2)で表される。
(式2)


したがって、カメラ座標系の入力画像上の(x',y')で表される任意の位置の画素は、ワールド座標系のワールド画像の座標(x,y)として、(式3)により求められる。
(式3)






すなわち、ワールド画像は、入力画像を(式1)〜(式3)に従って座標変換することで得られる。なお、視野範囲の位置の座標は、撮像装置のパンやチルトやズームにより変化し得る。また、ワールド座標系に変換した画像は、(式1)〜(式3)で表される変換の逆変換を行うことで、カメラ座標系に戻すことができる。
また、撮像装置の横方向の視野角である画角θH、及び縦方向の視野角である画角θVは、焦点距離f、及び撮像素子サイズ横幅H,撮像素子サイズ縦幅Vを用いて、例えば、図式4及び図式5で表現する事が可能である。
(式4)



(式5)



すなわち、焦点距離及び撮像素子の大きさ情報があれば、視野角の情報に代替するカメラパラメータとして、焦点距離をワールド座標系への変換に利用することが可能である。
画像表示部202には、上記式によって算出されるワールド座標系で表される4点P1、P2、P3、P4に基づいて、入力画像を変換した画像が表示される。図2の画像表示部202に表示される画像は、前記4点P1、P2、P3、P4に対応する画像表示部202上の4点P1’、P2’、P3’、P4’を頂点として入力画像を変換して表示される。例えば、P1’及びP2’を画像表示部202の下部に、P3’及びP4’を画像表示部202の上部になるように表示させることができる。また、撮像装置101から画像表示202に表示される奥行きの距離(上記式中LFで表される距離)に制限を設けて画像を表示することも可能で、例えば、奥行きを25[m]と制限した場合、変換後の画素のY座標が25[m]以上になる部分は、画像表示部202に表示されないようにする。さらに、撮像装置101から画像表示202に表示される手前までの距離(上記式中LNで表される距離)制限を設けて画像を表示することも可能で、例えば、手前までの距離を10[m]と制限した場合、変換後の画素のY座標が10[m]以上になる部分は、画像表示部202に表示されないようにする。
以上のようにすることで、カメラ座標系からワールド座標系に変換するカメラパラメータを設定することが可能となり、さらには、従来カメラ座標系で、入力画像から抽出した物体の位置、大きさ、領域などの判定を行っていたものを、ワールド座標系で判定することが可能となる。すなわち、従来入力画像上の各位置において物体の見かけの大きさの違いを考慮しながら入力画像から抽出した物体の判定を行わなければならなかったものを、地図に相似するワールド座標系(各位置において、同一物体の大きさは同じになる)で判定できるようになる。従って、物体の見かけの大きさの違いを監視システムに設定する必要がなくなる。
本発明では、領域設定において設置した撮像装置101の俯角、高さ、視野角をカメラパラメータとしたが、俯角の代わりに仰角を、また視野角の代わりに焦点距離(この場合、使用する撮像装置101の撮像素子の大きさの情報が必要となる)をパラメータとして設定を行なうことも可能である。
本発明に関わる第二の実施例を、図面を参照して説明する。
本実施例では、本発明(当該座標変換方法及びパラメータ調整方法及び監視システム)を利用するために必要となるカメラパラメータ(ピクセル単位の焦点距離、カメラの俯角、カメラの高さ)を、撮像装置より撮像された画像中において大きさが既知の物体や撮像装置の素子サイズなどを用いて推定することで、対話形式(ウィザードと呼ぶ)で簡単に設定し、カメラパラメータが未知の場合でも物体の位置や大きさをワールド座標系で判定することを可能とする方法である。
本発明に関わる監視システムの構成は、設定装置104の内部構成を除いて、第一の実施例と同等である。第二の実施例における設定装置104の動作について図7を用いて説明する。
図7は、設定装置104の操作画面の一例である。操作画面700は、画像表示部701、パラメータ決定ウィザード表示部702の2つの表示部を持つ。画像表示部701には、撮像装置101によって得られたカメラ座標系での入力画像が表示される。本例における入力画像のサイズ(幅:w×高さ:h)は640×480(pix)であるとする。ウィザード表示部702は、設定装置104を扱うユーザーへの指示703、ステップ番号704、情報設定ウィンドウ705、”次へ進む”ボタン706を持つ。本例では、ウィザード表示部702に表示されるユーザへの指示703に従って、画像表示部701及び情報設定ウィンドウ705に対して数回の入出力動作を実施することで、カメラパラメータを決定、及び設定する。
本設定装置104のカメラパラメータ設定操作の一例を以下に示す。
ウィザードでの最初の操作をステップ1とする。ステップ1では本監視システムに用いる撮像装置のピクセル単位の焦点距離のカメラパラメータを設定する。カメラパラメータ設定操作の開始時は、一例として、図7のようにステップ1を実行するためのユーザへの指示703、及び情報設定ウィンドウ705が表示されているとし、情報設定ウィンドウ705は、焦点距離入力フォーム707、CCDサイズ選択フォーム708を持つとする。ステップ1では、ユーザは焦点距離入力フォーム707に撮像装置が持つレンズの焦点距離をmm単位で入力する。また、撮像装置に用いられているCCD撮像素子の大きさをCCDサイズ選択フォーム708より1つ選択する。CCDサイズ選択フォーム708では、一般的に用いられるCCDサイズ、例えば2/3インチ(幅W:8.8mm×高さH:6.6mm)、1/2インチ(W:6.4mm×H:4.8mm)などをウィザード上に記載し、選択式で選べるようにしてあるが、任意のCCD撮像素子の大きさW, Hをユーザが直接入力できるようにしてもよい。入力が完了したら、”次へ進む”ボタン706を押すことで入力情報は設定装置に記憶されて、次の処理、例えばステップ2へ進む。本例で用いる撮像装置は、焦点距離8.4mm、CCDサイズ2/3インチであるとし、図8のように情報設定ウィンドウ704に該情報を入力する。本例のステップ1で得た焦点距離Fmmは、カメラパラメータの計算に用いるための便宜的な措置として、CCD撮像素子の大きさH,V 、入力画像のピクセルサイズw, hを用いて、ピクセル単位の値Fpに変換する。(式6)はその計算式の一例である。
(式6)


次にステップ2の操作を説明する。ステップ2では、画像表示部701上に、実際の幅[m]が既知の矩形領域もしくは線分を少なくとも2つ以上選択し、それぞれの矩形及び線分の座標と実際の幅との対応関係からカメラの俯角のカメラパラメータを設定する。前述で得た値により、例えば、撮像装置101の俯角を計算する事が出来る。例えば、表示部701における道路709が、画像上での見かけの幅によらず実際の幅3[m]と一定であることが既知の時、図9のように、画像表示部701の道路709上の近方と遠方に、矩形901、902を描く。矩形901、902は、例えばマウスなどの入力装置を用いて直線もしくは多角形の形で描写する。選択した2つの矩形901、902の座標情報などは、ウィザード表示部702において、自動的に表示される。例えば、矩形によって設定する場合は、矩形901については、矩形の座標903、ピクセル幅904、ピクセル高さ905、矩形902は、矩形の座標906、ピクセル幅907、ピクセル高さ908がそれぞれウィザード表示部702に表示される。また、線分の場合は端点の座標、ピクセル幅、ピクセル高さがウィザード表示部702に表示される(図示しない)。次に、該矩形901、902または線分の実際の幅を、それぞれ実幅入力フォーム909、910に入力する。本例では、矩形901、矩形902の実際の幅を3[m]としていたので、それぞれのフォーム909、910に入力する。入力終了後、”次に進む”ボタン706を押す事で、矩形901、902の座標、及び実際の幅の値を用いて撮像装置101の俯角が瞬時に計算され、ウィザード表示部702が、次の処理、例えばステップ3の操作を行うための画面に更新される。
一例として、撮像装置101の俯角θelvは、ステップ2で入力した選択矩形(1)901のカメラ座標の始点(左上)を(x11,y11)、終点(右下)を(x12,y12)、実際の幅909をW1、選択矩形(2)902のカメラ座標の始点(左上)を(x21,y21)、終点(右下)を(x22,y22)、実際の幅910をW2、撮像装置101の焦点距離をFpとした時、(式7)により計算される。
(式7)





次にステップ3の操作を説明する。ステップ3では、画像表示部701上に、実の高さ[m]が既知の矩形領域もしくは線分を少なくとも1つ以上選択し、選択領域の座標と実際の高さとの対応関係からカメラの高さのカメラパラメータを設定する。これにより、例えば、撮像装置101の高さを計算する事が出来る。例として、表示部701における人型のオブジェクトの実際の高さが1.8[m]と既知の時、図10のように、画像表示部701上で該オブジェクトを囲うように矩形131を描く。矩形131は、例えばマウスなどの入力装置を用いて直線もしくは多角形の形で描写する。選択した矩形131の情報は、ウィザード表示部702において、例えば、座標132やピクセルサイズ133が自動的に表示される。次に、該矩形132の実際の高さを、それぞれ実高さ入力フォーム134に入力する。本例では、矩形132の実際の幅は1.8[m]と既知であるので、入力フォーム134に該値を入力する。入力終了後、”次に進む”ボタン706を押す事で、矩形132の座標、実際の高さ134、及びステップ2で算出した撮像装置101の俯角を用いて、撮像装置101の高さについて瞬時に算出される。
一例として、撮像装置101の高さHcは、ステップ3で入力した選択矩形131のカメラ座標132の始点(左上)を(x31,y31)、終点(右下)を(x32,y32)、実際の高さ134をH3、とした時、撮像装置101の焦点距離Fp及び俯角θelvを用いて、以下のように計算される。
(式8)


以上、ステップ1、ステップ2及びステップ3により、撮像装置101の高さHc、俯角θelvといったカメラパラメータの推定値が得られた。尚、本実施例では、これらの処理をステップ1〜3と三段階に分けて処理を行ったが、ステップ1〜3で入力を求めた値について、例えば1回のステップでまとめて入力する形し、一段階で処理を行ってもよい。
次にステップ4の操作を説明する。ステップ4では、前述で算出したカメラパラメータ推定値を用いて、画像中に存在する物体の大きさが正しく推定できるかどうかを確認する。すなわち、カメラパラメータ推定値に基づいて、入力画像をカメラ座標系を仮のワールド座標系に変換し、画像中の任意のオブジェクトの大きさが仮のワールド座標系上で正しく推定されているかどうかを確認することで、カメラパラメータ推定値の妥当性を検討する。本操作が必要となる理由は、ステップ1〜3における入力、例えば矩形の選択などが人の手によるものであることなどから、計算に誤差が生じ、所望する値が正しく推定出来ない可能性があることによる。本例では、ユーザが画像表示部701上の任意の領域を、例えば、図11における矩形141のように選択する。選択する矩形141は、大きさ情報が既知、もしくは主観的な判断などによりおよその大きさ情報が推定できる領域であることが望ましい。本例で選択した矩形141は、人型のオブジェクトであり、高さが1.8m前後、幅が0.7m前後であることが主観的に推測可能もしくは既知であるとする。次に、選択した矩形141のカメラ座標系での座標142を用いて、カメラパラメータ推定値で変換したワールド座標系に基づいて、該矩形141の実際の幅推定値144及び高さ推定値145を算出し、瞬時にウィザード702上に表示する。表示された推定値144、145の値と、既知もしくは推測可能な大きさ情報とを比較し、その差が許容範囲内であるかを特定の判断基準などにより判断する。一例として、本実施例の選択矩形141について、高さ1.7m、幅0.7mという推定値が得られた時、ユーザが推定値の誤差の許容範囲をそれぞれ±0.3mとしていた場合、推定値は許容範囲内であり、カメラパラメータ推定値で大きさ情報が正しく推定出来ていると言える。画像表示部701上に任意の矩形を選択し、幅推定値144及び高さ推定値145を得るまでの一連の動作は、ステップ4において何度でも実施する事が出来る。従って、距離や大きさの異なるオブジェクトなど、あらゆる領域について、カメラパラメータ推定値の評価を行える。カメラパラメータ推定値が十分に正しい事を確認できた場合、”確定”ボタン146を押すことで、カメラパラメータ推定値を本監視システムにおけるカメラパラメータとして決定する。決定されたパラメータは例えば図12におけるカメラ設定値150のように表示され、物体検出装置102に設定する事が出来る。一方で、カメラパラメータ推定値が適切であると判断できない場合、”やり直す”ボタン147を押し、ステップを途中からやり直してカメラパラメータを推定しなおす。
尚、ステップ4は推定したカメラパラメータを確認するためのものであるため、ウィザードにより推定したカメラパラメータの誤差が実用上考えなくてもよい場合は、ステップ4を省略してもよい。
以上により、カメラ座標系からワールド座標系に変換するカメラパラメータを設定することが可能となり、第一の実施例で説明した座標変換方法により、入力画像中の任意の画像座標より実座標を求めることが出来る。本実施例では、特に、カメラパラメータが未知であり、従来であればワールド座標系を用いることが出来ない場合であっても、ウィザード形式で簡単にカメラパラメータを推定及び設定することが可能で、大きさ判定などワールド座標系に基づく処理を、監視システム上でより容易に用いることが出来るようになる。
本発明の監視システムの構成例を示すである。 本発明の設定装置の操作画面の一例を説明するための図である。 本発明の設定装置の操作画面の一例を説明するための図である。 本発明の設定装置の表示を説明するための図である。 本発明の設定方法を説明するための図である。 本発明の設定方法を説明するための図である。 本発明の設定装置の操作画面の一例を示す図である。 本発明の設定方法を説明するための図である。 本発明の設定方法を説明するための図である。 本発明の設定方法を説明するための図である。 本発明の設定方法を説明するための図である。 本発明の設定方法を説明するための図である。
符号の説明
101:撮像装置、102:物体検出装置、103:表示装置、104:設定装置、105:アクセスライン、106:アクセスライン、107:アクセスライン、203:俯角パラメータ設定、204:高さパラメータ設定、205:視野角パラメータ設定、206:パラメータ設定ボタン、207:ライブボタン、208:ファイル選択ボタン208、501:撮像装置の俯角、502:撮像装置の設置の高さ、503:撮像装置の縦方向の視野角、601:撮像装置の横方向の視野角、700:操作画面、701:画像表示部、702:ウィザード表示部、703:ユーザへの指示、704:ステップ番号、705:情報設定ウィンドウ、706:"次へ進む"ボタン、707:焦点距離入力フォーム、708:CCDサイズ選択フォーム、709:道路、901:選択矩形、902:選択矩形、903:選択矩形の座標、904:選択矩形のピクセル幅、905:選択矩形のピクセル高さ、906:選択矩形の座標、907:選択矩形のピクセル幅、908:選択矩形のピクセル高さ、909:選択矩形の実幅入力フォーム、910:選択矩形の実幅入力フォーム、131:選択矩形、132:選択矩形の座標、133:選択矩形のピクセル幅、134:選択矩形のピクセル高さ、141:選択矩形、142:選択矩形の座標情報、143:選択矩形のピクセルサイズ、144:選択矩形の実幅推定値、145:選択矩形の実高さ推定値、146:確定ボタン、147:やりなおすボタン、150:カメラ設定値

Claims (2)

  1. 監視領域を撮像レンズおよび撮像素子を有する撮像装置などの手段によって撮像して得られた入力画像を処理し、検出すべき物体の情報に基づいて画像から抽出した物体が検出すべき物体か否かを判定し、前記撮像装置などの手段によって得られた入力画像の第一の座標系を、前記撮像装置などの手段の設置の高さと、前記撮像装置などの手段の設置の高さから見下ろす俯角と、前記撮像装置などの手段の視野角もしくは焦点距離の少なくとも3つのパラメータに基づいて第二の座標系に変換する座標系変換手段を有する監視システムにおいて、
    前記視野角もしくは焦点距離は、前記撮像装置などの手段が有する撮像素子の大きさ、及び前記撮像装置などの手段が有する撮像レンズの焦点距離に基づいて算出される、または、
    前記前記設置高さからみ下ろす俯角は、前記第一の座標系で設定された矩形もしくは線分のいずれか1つの座標の幅情報の少なくとも2つに基づいて算出される、または、
    前記設置高さは、前記前記第一の座標系で設定された矩形もしくは線分のいずれか1つの座標の高さ情報の少なくとも1つに基づいて算出されることの少なくとも一方を実施することを特徴とするパラメータ調整方法。
  2. 請求項1記載のパラメータ調整方法を用いたことを特徴とする監視システム。
JP2007174258A 2007-07-02 2007-07-02 座標変換方法及びパラメータ調整方法及び監視システム Active JP5105972B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007174258A JP5105972B2 (ja) 2007-07-02 2007-07-02 座標変換方法及びパラメータ調整方法及び監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007174258A JP5105972B2 (ja) 2007-07-02 2007-07-02 座標変換方法及びパラメータ調整方法及び監視システム

Publications (2)

Publication Number Publication Date
JP2009017026A true JP2009017026A (ja) 2009-01-22
JP5105972B2 JP5105972B2 (ja) 2012-12-26

Family

ID=40357409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007174258A Active JP5105972B2 (ja) 2007-07-02 2007-07-02 座標変換方法及びパラメータ調整方法及び監視システム

Country Status (1)

Country Link
JP (1) JP5105972B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112556A (ja) * 2009-11-27 2011-06-09 Nec Corp 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
JP2012182597A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 計算装置、計算方法及び計算プログラム
JP2012205229A (ja) * 2011-03-28 2012-10-22 Hitachi Ltd カメラ設置支援方法、画像認識方法
CN103065412A (zh) * 2012-12-06 2013-04-24 广东省林业科学研究院 一种应用于林火监测系统的干扰源智能屏蔽方法及装置
WO2016035211A1 (ja) * 2014-09-05 2016-03-10 堺ディスプレイプロダクト株式会社 画像生成装置、画像生成方法及びコンピュータプログラム
JP2016144167A (ja) * 2015-02-05 2016-08-08 住友電気工業株式会社 撮像パラメータ決定装置、携帯端末装置、撮像パラメータ決定システム、撮像パラメータ決定方法および撮像パラメータ決定プログラム
US9909736B2 (en) 2011-07-15 2018-03-06 Lg Innotek Co., Ltd. Lighting device
JP2018142907A (ja) * 2017-02-28 2018-09-13 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2020056644A (ja) * 2018-10-01 2020-04-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN114925333A (zh) * 2022-06-13 2022-08-19 千寻位置网络有限公司 坐标转换的方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991439A (ja) * 1995-09-26 1997-04-04 Fuji Electric Co Ltd 物体監視装置
JP2000137790A (ja) * 1998-10-29 2000-05-16 Hitachi Ltd マンコンベアの画像監視方法および装置
JP2001320699A (ja) * 2000-02-28 2001-11-16 Hitachi Kokusai Electric Inc 侵入物体監視方法及び侵入物体監視システム
JP2002056381A (ja) * 2000-08-11 2002-02-20 Fujitsu Ltd 道路状況画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991439A (ja) * 1995-09-26 1997-04-04 Fuji Electric Co Ltd 物体監視装置
JP2000137790A (ja) * 1998-10-29 2000-05-16 Hitachi Ltd マンコンベアの画像監視方法および装置
JP2001320699A (ja) * 2000-02-28 2001-11-16 Hitachi Kokusai Electric Inc 侵入物体監視方法及び侵入物体監視システム
JP2002056381A (ja) * 2000-08-11 2002-02-20 Fujitsu Ltd 道路状況画像処理装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112556A (ja) * 2009-11-27 2011-06-09 Nec Corp 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
JP2012182597A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 計算装置、計算方法及び計算プログラム
JP2012205229A (ja) * 2011-03-28 2012-10-22 Hitachi Ltd カメラ設置支援方法、画像認識方法
US9909736B2 (en) 2011-07-15 2018-03-06 Lg Innotek Co., Ltd. Lighting device
CN103065412A (zh) * 2012-12-06 2013-04-24 广东省林业科学研究院 一种应用于林火监测系统的干扰源智能屏蔽方法及装置
JP6091720B2 (ja) * 2014-09-05 2017-03-08 堺ディスプレイプロダクト株式会社 画像生成装置、画像生成方法及びコンピュータプログラム
JPWO2016035211A1 (ja) * 2014-09-05 2017-04-27 堺ディスプレイプロダクト株式会社 画像生成装置、画像生成方法及びコンピュータプログラム
WO2016035211A1 (ja) * 2014-09-05 2016-03-10 堺ディスプレイプロダクト株式会社 画像生成装置、画像生成方法及びコンピュータプログラム
US10032249B2 (en) 2014-09-05 2018-07-24 Sakai Display Products Corporation Image generating apparatus, image generating method, and computer program
JP2016144167A (ja) * 2015-02-05 2016-08-08 住友電気工業株式会社 撮像パラメータ決定装置、携帯端末装置、撮像パラメータ決定システム、撮像パラメータ決定方法および撮像パラメータ決定プログラム
JP2018142907A (ja) * 2017-02-28 2018-09-13 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2020056644A (ja) * 2018-10-01 2020-04-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7224832B2 (ja) 2018-10-01 2023-02-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN114925333A (zh) * 2022-06-13 2022-08-19 千寻位置网络有限公司 坐标转换的方法及其系统
CN114925333B (zh) * 2022-06-13 2024-05-31 千寻位置网络有限公司 坐标转换的方法及其系统

Also Published As

Publication number Publication date
JP5105972B2 (ja) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5105972B2 (ja) 座標変換方法及びパラメータ調整方法及び監視システム
US8798387B2 (en) Image processing device, image processing method, and program for image processing
US9001222B2 (en) Image processing device, image processing method, and program for image processing for correcting displacement between pictures obtained by temporally-continuous capturing
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
JP5958716B2 (ja) 最適カメラ設定装置及び最適カメラ設定方法
JP6568374B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9131155B1 (en) Digital video stabilization for multi-view systems
KR101053405B1 (ko) 구조물 변형 감지 시스템 및 방법
JP2007293722A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
JP5183152B2 (ja) 画像処理装置
US20200099854A1 (en) Image capturing apparatus and image recording method
US10432843B2 (en) Imaging apparatus, control method of imaging apparatus, and non-transitory recording medium for judging an interval between judgement targets
JP2008286638A (ja) 身長推定装置および身長推定方法
KR100623835B1 (ko) 물체 검출 방법 및 물체 검출 장치
JP2009260671A (ja) 画像処理装置及び撮像装置
US20160057446A1 (en) Method of generating a framed video system
JPH0993472A (ja) 自動監視装置
KR20160043484A (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
KR101670247B1 (ko) Cctv 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법
JP4744789B2 (ja) 物体識別方法及び物体識別装置
JP4812099B2 (ja) カメラ位置検出方法
JP4039423B2 (ja) エッジ位置算出装置、障害物検出システム
CN110059681B (zh) 信息处理装置、信息处理方法和存储介质
JP2017098851A (ja) 表示制御方法、表示制御プログラムおよび情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121002

R150 Certificate of patent or registration of utility model

Ref document number: 5105972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250