JP2010136113A - 撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 - Google Patents
撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2010136113A JP2010136113A JP2008310225A JP2008310225A JP2010136113A JP 2010136113 A JP2010136113 A JP 2010136113A JP 2008310225 A JP2008310225 A JP 2008310225A JP 2008310225 A JP2008310225 A JP 2008310225A JP 2010136113 A JP2010136113 A JP 2010136113A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- subjects
- parameter
- parameter adjustment
- imaging parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】事前のキャリブレーション作業を削減し、かつ、撮像現場の環境に適応してパラメータを調整し、時系列画像から被写体数を効率的に推定する。
【解決手段】撮像パラメータ調整装置1は単眼または複数のカメラ2で取得された画像から被写体の個数を計測するためにカメラ2の撮像パラメータを調整する。物体抽出処理部12は、カメラ2で取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出し、この抽出された被写体領域の各画素から算出された視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。パラメータ調整部14は前記推定された被写体数とカメラ2から取得された標本画像に存在する被写体の数との誤差に基づき前記撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的には前記誤差を適応度とする遺伝的アルゴリズムによって最適な撮像パラメータを選択する。
【選択図】図1
【解決手段】撮像パラメータ調整装置1は単眼または複数のカメラ2で取得された画像から被写体の個数を計測するためにカメラ2の撮像パラメータを調整する。物体抽出処理部12は、カメラ2で取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出し、この抽出された被写体領域の各画素から算出された視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。パラメータ調整部14は前記推定された被写体数とカメラ2から取得された標本画像に存在する被写体の数との誤差に基づき前記撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的には前記誤差を適応度とする遺伝的アルゴリズムによって最適な撮像パラメータを選択する。
【選択図】図1
Description
この発明は、単眼または複数の撮像装置で撮影された映像に利用可能であり、前記撮像装置で取得した映像から被写体単体の数を計測するとき、その計測に必要となる撮像装置の焦点距離、姿勢並びに位置を自動的に調整するための技術に関する。
イベント会場、駅・空港内、あるいは、街中に設置された定点観測カメラから、人の数を計測することは安全上、または、セキュリティ上重要になる。これまでの先行技術として、複数のカメラを使って歩行者の数や移動方向を計測する装置が公知となっている(特許文献1)。この公知技術ではカメラを通じて混雑度を計測するため、事前のカメラキャリブレーションが必要となる。
カメラキャリブレーションとは、校正対象のカメラで何らかの被写体を撮影し、その2次元画像から投影モデルに従って前記カメラの内部パラメータ(焦点距離,画像中心,レンズ歪など)、外部パラメータ(姿勢と位置)を推定する作業である。これまでに、多種多様なアプローチによるカメラキャリブレーションが提案されており、実空間でのカメラパラメータ(スケール倍の不定性が無い)を得るには既知の参照物体を使ったカメラキャリブレーションが常套手段である(非特許文献2)。
特開平10−334207号公報
Z.Zhang,"A flexible new technique for camera calibration",IEEE Trans.on Pattern Analysis and Machine Intelligence,Vol.22,No.11,pp.1330−1334,2000.
実環境でのカメラ配置や設置条件によっては参照物体を使ったカメラキャリブレーションが期待できない。特に、屋外カメラでは、カメラキャリブレーションに必要な撮影時間と作業時間が確保できない場合がある。例えば、混雑する公共の場所などではキャリブレーション作業のために人の進入を禁止し、参照物体を撮影することが必ずしも保証されていない。また、十分な精度のカメラパラメータを得るには、より多くの参照点を観測することが不可欠であり、対象カメラに対してどのように参照物体を空間中に配置すべきかを決め、それに適した大きさの参照物体を設計・準備しなくてはならない。
本発明は、屋内・屋外に設置された単眼の定点観測カメラを用い、撮影範囲内の被写体の数(人数など)を直接計測するとき、既知の参照物体を使ったカメラキャリブレーションを行わず、その計測に必要なカメラパラメータを自動的に調整することを課題とする。
前記課題を解決するための撮像パラメータ調整装置は、画像から被写体の数を推定するアルゴリズムを利用して被写体数の推定に必要な撮像パラメータを自己組織的に調整する。
すなわち、請求項1の撮像パラメータ調整装置は、単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整装置であって、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出する被写体抽出処理手段と、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する被写体数推定手段と、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するパラメータ調整手段を備える。
請求項2の撮像パラメータ調整装置は、請求項1の撮像パラメータ調整装置において、前記パラメータ調整手段は、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択する。
請求項3の撮像パラメータ調整装置は、請求項1または2の撮像パラメータ調整装置において、前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置である。
請求項4の撮像パラメータ調整方法は、単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整方法であって、被写体抽出処理手段が、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出するステップと、被写体数推定手段が、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定するステップと、パラメータ調整手段が、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するステップとを有する。
請求項5の撮像パラメータ調整方法は、請求項4の撮像パラメータ調整方法において、前記最適な撮像パラメータを選択するステップでは、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択する。
請求項6の撮像パラメータ調整方法は、請求項4または5の撮像パラメータ調整方法において、前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置である。
請求項7のプログラムは、請求項1から3のいずれかの撮像パラメータ調整装置を構成する各手段としてコンピュータを機能させるプログラムである。
請求項8の記録媒体は、請求項7のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
以上の発明によれば、事前のキャリブレーション作業を削減し、かつ、撮像現場の環境に適応してパラメータを調整でき、時系列画像から被写体数を効率的に推定できる。
発明の実施の形態について説明するにあたり、発明で取り扱われるカメラパラメータ(撮像パラメータ)について述べる。
図3(a)はカメラ(撮像装置)と被写体(人)の配置関係を説明したYW−ZW座標面図である。図3(b)はカメラ(撮像装置)と被写体(人)の配置関係を説明したXW−YW座標面図である。
一般的に、定点観測カメラを使って人数を測定する場合、そのカメラは人物の身長より高い位置から俯瞰する姿勢で設置される。図3はカメラと被写体(人物)を模式的に描いたものである。実空間の3次元座標を表現するため、任意に世界座標系XwYwZwを設定することができる。カメラは固定されており、カメラを通して観測できる画像上の投影点はピンホールカメラと呼ばれる透視投影モデルに従うと仮定する。すなわち、世界座標系上の3次元点をPj=(Xj,Yj,Zj)、カメラ視点の位置をC=(Tx,Ty,Tz)とすると、画像上で観測される点Pjの2次元座標pj=(xj,yj)は、単純に式(1),(2)の射影関係で結びつけることができる。
ここで、fは焦点距離であり、R11,R12,…,R33は3×3の回転行列の要素に対応する。φ,ω,θをそれぞれカメラ座標系XYZにおけるX軸、Y軸、Z軸周りの回転角とすると、各回転要素は式(3)〜(11)で与えられる。
式(1),(2)で定義される投影モデルにおいて、本発明で扱うカメラパラメータは焦点距離f、XYZ軸周りの回転角φ,ω,θ、視点位置(Tx,Ty,Tz)である。
本発明は荷重値積算による人数推定アルゴリズムを利用している。そこで、以降の説明を円滑にするため、カメラパラメータに基づいて算出される荷重値の算出方法と、この荷重値を用いた人数推定アルゴリズムについて説明する。
一般的に、定点観測カメラで被写体を撮影するとき、その像を構成する画素の集合pj,j=1,2,…,Pを得ることができる。その画素の集合pj,j=1,2,…,Pから人数を推定するには、各画素へ投影される実空間中の人の体積を推量することが直接的である。この発想から、画像座標(xj,yj)が式(1),(2)で表される投影モデルに従うと仮定した上で、各画素に投影される視体積(visual hull)を考える。視体積とは視点Cから外界へ向かう光束(錐体)の体積を指す。
観測された画像が正方格子の画素から構成されると仮定し、式(12)〜(16)で表される、画素pj=(xj,yj)の4近傍のサブ画像座標を考える。これら4近傍のサブ画素で囲まれた微小領域へ射影される視体積を図4に示す。ここで、人の高さをh(一定)とし、図示した視体積のうち、平面Zw=hと平面Zw=0で囲まれた四角錘台を実質的な視体積V(xj,yj)と考える。
図4において、4近傍のサブ画素pj (n),n=1〜4へ射影される平面Zw=h上の点をそれぞれAj (n)、平面Zw=0上の点をそれぞれBj (n)、並びに、画素pjへ投影される平面Zw=0上の点をQjとする。これら3次元座標の算出には、式(1),(2)を利用する。
つまり、式(1),(2)において、Zj=hとした場合、式(17)〜式(19)と書き直すことができるので、対象画素の画像座標pj、並びに、その4近傍のサブ画素の画像座標pj (n)が与えられれば、式(17)〜式(19)によりQj=(Xj,Yj,0)、並びに、位置Aj (n)=(Xj (n),Yj (n),h)がそれぞれ求められる(位置Bj (n)の算出にはh=0として求める)。
これらの点の位置が求まると、四角錐台の体積V(xj,yj)は、式(20)に示すオベリスク公式により算出することができる。Sa(xj,yj)、Sb(xj,yj)はそれぞれAj (n)で形成される四角形とBj (n)で形成される四角形の面積である。あるいは、四角錐台の体積V(xj,yj)は式(21)を使っても算出することができるので、どちらを使っても以降の計算結果には影響しないが、実施例では式(20)を使う場合を記述する。
式(20)で得られる視体積V(xj,yj)は画素pjの4近傍pj (n)で囲まれた微小な画像領域内へ射影されるが、V(xj,yj)は視点からの見かけ上の視体積であって、人の位置は考慮されていない。荷重値算出には、人の位置を特定するのではなく、以下の“簡易な見えモデル”を導入して、人数を推定するアプローチをとる。
・人の表面積はどの方向からでも面積S0とする。
・人の位置は平面Zw=0上において一様分布に従う。
・人の表面積はどの方向からでも面積S0とする。
・人の位置は平面Zw=0上において一様分布に従う。
この“簡易な見えモデル”の導入は、Zw=0上を一様分布する面積S0の板を単眼カメラで観測することを意味する。本発明はこのモデルを使って視体積V(xj,yj)から人数を推定する。
図5は図4のY’w軸(平面Zw=0上での視線方向)に垂直な方向から見た射影図である。図5において、平面Zw=h上の点Aj (n),n=1〜4のうち視点Cに最も近い点をAj、平面Zw=0上の点Bj (n),n=1〜4のうち視点Cから最も遠い点をBjとする。体積V(xj,yj)を視線方向に沿って面積S0の板でスライスすることを想像すると、視線方向に沿って点Ajで交差し始め、体積V(xj,yj)を順番にスライスして、最後に点Bjで交差を終える。ΔSj (k)は添え字kで示した位置での断面積である。面積S0の板は視線方向に対して一様に分布すると仮定しているので、視線方向に対する視体積の長さをL(xj,yj)とすると、添え字kの位置での“見えモデル”の存在確率は全て1/L(xj,yj)となる。尚、視点を平面Zw=0上へ射影した点C’=(Tx,Ty,0)から、平面Zw=0上での3次元座標Qj=(Xj,Yj,0)への単位ベクトルをujとすると、式(25)〜式(27)に示すように、長さL(xj,yj)は点Ajを平面Zw=0へ下した垂線の足A’j=(Xs,Ys,0)から点Bj=(Xe,Ye,0)へのベクトルbjとujの内積で求められる。
さらに、面積S0に対する面積比ΔSj (k)/S0(<<1)は添え字kで示した位置での“人数”に該当する。面積S0に対して各断面ΔSj (k)が十分に小さければ、この面積比は視線方向に対してのみ変化する。よって、“見えモデル”の一様分布とオクルージョンの影響を考慮すると、画素pjから式(22),(23)に示す面積比ΔSj (k)/S0の期待値を平均の人数として推量することができる。
人物像としてP個の画素pj,j=1,2,…,Pが抽出されているならば、各画素pjに対応するw(xj,yj)を積算して、式(24)に従って、“見かけ上の人数”が得られる。このように、w(xj,yj)を積算すれば人数が計測できるという意味から、本明細書ではw(xj,yj)を画素pjの“荷重値”と呼ぶ。
w(xj,yj)は、カメラの焦点距離f、カメラ座標軸での回転角:φ,ω,θ、世界座標系上での視点位置(Tx,Ty,Tz)、並びに、“簡易な見えモデル”のパラメータ:h,S0によって計算できる物理量であり、時間的に不変である。一般的に人は移動するので、その像として観測される画素pjの画像座標(xj,yj)も時間によって変化する。荷重値w(xj,yj)は画像座標(xj,yj)と一対一で結び付けられているので、事前に全ての画像座標に対してw(xj,yj)を求めておけば、それぞれの時間で観測された人物像の各画素に対応するw(xj,yj)を積算するだけで、その画像中の人数を逐次計測することができる。
以上述べた荷重値積算による人数推定は、カメラパラメータ:φ,ω,θ,Tx,Ty,Tz,fが既知であるという前提である。本発明はこれらのパラメータを自己組織的に調整するアルゴリズムとして、生物が環境に合わせて進化する過程をモデル化した遺伝的アルゴリズム(Genetic Algorithm)に着目している。すなわち、本発明におけるパラメータ調整とは、従来のカメラキャリブレーションのような参照点を一切使わずに、観測画像を利用して人数推定に十分なカメラパラメータを自動的に調整するものである。
以下に本発明の具体的な実施形態について説明する。
図1は発明の第一の実施形態(画像蓄積部を有する場合)に係る撮像パラメータ調整装置の概略構成図である。
撮像パラメータ調整装置1は画像蓄積部10と画像標本化部11と物体抽出処理部12と目標人数設定部13とパラメータ調整部14とを備える。撮像パラメータ調整装置1は既知の有線または無線の通信手段によってカメラ2と通信可能となっている(図2に開示された撮像パラメータ調整装置3も同様)。
画像蓄積部10はカメラ(撮像装置)2から取得された画像を蓄積する。画像蓄積部10などの記憶装置は撮像パラメータ調整装置1において必ずしもを必要としない。図2に示された発明の第二の実施形態に係る撮像パラメータ調整装置3はリアルタイムで画像処理するような形態となっている。
画像標本化部11は、画像蓄積部10から複数の画像を抜き取り、物体抽出処理部12に供する標本画像を抽出する。
物体抽出処理部12は発明に係る被写体抽出処理手段と被写体数推定手段の機能を有する。前記被写体抽出処理手段は画像蓄積部10から取得した画像データ群から選択した複数の画像から被写体領域を検出して抽出する。前記被写体数推定手段は前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。
目標人数設定部13は標本画像中に実際に存在する被写体の数をパラメータ調整部14に入力するための設定手段である。
パラメータ調整部14は発明に係るパラメータ調整手段の機能を有する。前記パラメータ調整手段は、物体抽出処理部12で推定された被写体数と目標人数設定部13で設定された標本画像に存在する被写体の数との比較に基づきカメラ2の撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的に、前記パラメータ調整手段は、物体抽出処理部12で推定された被写体数と目標人数設定部13で設定された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによってカメラ2の撮像パラメータの初期集団から最適な撮像パラメータを選択する。前記撮像パラメータとしては例えばカメラ2の焦点距離f、光軸の回転角φ,ω,θ、視点位置(Tx,Ty,Tz)が挙げられる。
パラメータ出力部15はパラメータ調整部14で選択された最適な撮像パラメータを出力する。
撮像パラメータ調整装置1,3は通常のコンピュータの構成要素、例えばCPU(Central Processor Unit)、メモリ(RAM)、ハードディスクドライブ装置、通信デバイスなどのハートウェア資源を備え、このハードウェア資源とインストール済みのソフトウェアとの協働によって前記各機能ブロック10〜15に係る処理が実行される。そして、この処理によって得られた画像は図示省略のディスプイ(表示装置)にて表示できるようにしてもよい。特に、画像蓄積部10はハードディスク、RAID装置、CD−ROMなどの記録媒体を利用すればよい。または、ネットワークを介してリモートなデータ資源を利用する形態を採ってもよい。尚、撮像パラメータ調整装置1,3はカメラ2本体に具備させてもよい。
図1、図6及び図7を参照しながら撮像パラメータ調整装置1に係る処理フロー(S1a,S1b〜S12)について説明する。
S1aでは、図1のカメラ2を経由して図6の画像の入力により取り込まれた画像が逐次的に図1の画像蓄積部10に格納される。
S2では、画像標本化部11が画像蓄積部10から図6の標本画像の抽出によってM枚の画像を抜き取る。
S3では、図1の物体抽出処理部12がこの標本画像移動物体または前景と判定された被写体領域を抽出する。この処理は背景差分と呼ばれる画像処理によるものである。
図9はS3での対象画素の抽出過程(背景差分による被写体領域検出)を説明する。図9の最初の処理として背景画像を構築する。背景画像は図6の画像の入力(S1a)によって標本画像以外の複数枚の時系列画像の平均値をとることで簡単に得られる。すなわち、静的なシーン以外は移動物体と考えて、時間平均を各画素に対して処理することで、移動する被写体あるいは物体を画像中からキャンセルする(画像観測で混入するランダム雑音を除去する目的にでも使用する)。ただし、屋外では朝と昼と夕方では照明が変化するため、静的シーンの濃淡にも変化が発生する場合がある。そこで、ここでの処理では、このような照明変化の効果を除去するため、背景画像を定期的に更新する。背景画像が構築されていると、M枚の標本画像から背景画像との差分をとり、移動する被写体領域あるいは前景画素領域を抽出する。以上の処理により、被写体領域を形成する各画素pij=(xij,yij),i=1,2,…,M,j=1,2,…,Pi(各画像あたりに抽出した領域の総画素数がPi個)を得る。
一方、M枚の標本画像において、被写体の個数(人数)をNi,i=1,2,…,Mとする。図6の処理フローでは、各画像あたりに抽出した被写体領域の総画素pij=(xij,yij),i=1,2,…,M,j=1,2,…,Piと各標本画像中の人数Ni,i=1,2,…,Mが入力データとなる。ここで、添え字について補足しておく。
上述のカメラパラメータの説明では、各画素の違いを表すために添え字jを使用していたが、本実施形態では1枚以上M≧1の標本画像を使うため、時系列での画像の違いを表す添え字としてiも添えた。なお、これまでに使用した図面や数式において、添え字jを添え字ijと書き換えるだけで共通的に以降の説明でも利用できる。
そこで、以降の説明では、各時系列画像から前景画素として抽出されたときは時系列画像の違いを表す意味で画素pij=(xij,yij)と表記し、各時系列画像での人数Ni、並びに推定人数をNi^と表記する。一方、時系列画像に依存せず、同じ数式を利用できる場合は、添え字をjのままとする。
本実施形態では遺伝的アルゴリズムを利用してカメラパラメータを調整する。このパラメータ調整にあたり、個体の集団モデルと個体の染色体の構成を図8に示す。本実施形態では、個体数をXとし、個体内の染色体は、カメラ回転角:φ,ω,θ、カメラ視点位置(Tx,Ty,Tz)、並びに、焦点距離fから構成される。
図6のS1bでは、この個体を定義する染色体情報に従い、図6の初期集団の発生において、各個体の染色体を構成する遺伝子配列をランダムに決定し、X個のカメラパラメータのそれぞれ異なる初期集団を生成する。
次に、S4では、図1の物体抽出処理部12が、各画像から抽出された画素pij=(xij,yij)から、式(21)で記述された数式に従い体積V(xj,yj)を計算し、式(23)の数式に従って荷重値w(xj,yj)を計算する。
さらに、S5で、物体抽出処理部12は前記荷重値算出による人数推定を行う。
図7はS5での荷重値算出による人数推定の手順(S501〜S512)を説明したフローチャートである。
S501では、最初に、前景画素として抽出された画素pijの画像座標(xij,yij)が順番に取り出される。この画像座標とは、画面上に設定された2次元座標系であり、画像中心を原点として水平方向にx軸、垂直方向にy軸が定義されている。以降では、この座標系上の各画素pijの座標値(xij,yij)が順番に処理される。
S502では、各画素pijの座標値(xij,yij)が与えられると、(xij,yij)を中心とした4近傍のサブ画像座標を式(12)から式(16)に従ってpj (n),n=1,2,3,4と設定する。
S503a,S503bでは、それぞれ4点の平面Z=0上での位置Bj (1),Bj (2),Bj (3),Bj (4)、並びに、高さZ=hでの平面上での位置Aj (1),Aj (2),Aj (3),Aj (4)を式(17)から式(19)を使って計算する。
S504aでは、Aj (n),n=1,2,3,4のうち、視点位置から最も近い点を探した結果、点Ajが該当したとし、その3次元座標をAj=(Xs,Ys,h)とする。S504bでは、Bj (n),n=1,2,3,4のうち、視点位置から最も遠い点を探した結果、点Bjが該当したとし、その3次元座標をBj=(Xe,Ye,0)とする。
S505aでは、面積Saの算出では平面Z=h上においてAj (n),n=1,2,3,4の4点が形成する四角形の面積を求める。S505bでは、面積Sbの算出では平面Z=0上においてBj (n),n=1,2,3,4の4点が形成する四角形の面積を求める。
一方、S506では、各画素pijの座標値(xij,yij)の平面Z=0上での位置Qj=(Xj,Yj,0)を式(17)から式(19)に従って求める。
S507では、図4に示すように長さLはA’jからBjへのベクトルbjの長さを視線方向(ベクトルuj=Qj−C’)に射影した長さであり、式(25)から式(27)を使って求める。
S508での体積Vの算出では、これまで得た面積Sa,Sb、並びに、被写体の高さhを式(20)に代入して算出する。
S509では、長さL(xj,yj)、体積V(xj,yj)、対象物の表面積S0を式(23)に代入して荷重値w(xj,yj)を計算する。
S510では、前記算出された荷重値が画素ごとに加算(荷重値積算)される。
次に、S511において処理対象の画素の有無が判断され、処理対象の画素がある場合は、S512で、次の画素の画像座標がセットされて、最初の処理ステップに戻る。
以上の処理(S501〜S511)を抽出された被写体領域の画素全てに対して行うことにより、それぞれの画像における人数Ni^が式(24)に示す荷重値積算により算出される(図6の荷重値積算による人数推定)。
再び、図6の処理フローに戻って、S6では、パラメータ調整部14は、S5の過程で算出した各画像での推定人数Ni^,i=1,2,…,Mと、目標人数設定部13で設定された目標人数Ni,i=1,2,…,Mの間の推定誤差ΔNを、環境にどれだけ適応しているかを評価する“適応度”として式(28)により算出する。
S7では、前記算出された適応度に従って全ての個体から“自然選択(淘汰)”を行う。この選択手段にルーレットルールを利用する。集団内の各個体jの適応度ΔNの逆数をfjとし、各個体について選択確率pjを式(29)により得て、その累積確率qjを式(30)により計算する。
そして、次の世代に残す個体を決めるために、各個体について乱数rを発生させ、
が満たされるとき、j番目の個体を選択する(但し、q0=0)。このプロセスをX回繰り返し、X個の個体を選択する。
続いて、S8では、前記のルーレットルールによって選ばれた各個体jに対して乱数rを発生させr<PC(交叉確率)を満たすとき、個体jを交叉させる親として選ぶ。これをX個の個体に対して繰り返す(選ばれた親の数が奇数のときは、もう一度選択して親の数を偶数にする)。次に、選ばれた順に交叉するペアとし、各ペアの個体を構成する染色体を順番に取り出し乱数を発生させて染色体長での交叉位置を決め各染色体について一点交叉を行う。
S9では、この新しい集団に含まれる全ての個体に、突然変異の可能性があると仮定する。各個体に対し、どの遺伝子に突然変異を発生させるかを決めるため、各遺伝子の先頭ビットから数えた位置において順番に乱数rを発生させr<Pm(突然変異率)が満足されたとき、その遺伝子座のビットを反転させる。
パラメータ調整部14は以上の自然選択(S7)、交叉(S8)、突然変異(S9)のステップを世代数がGを超えるまで繰り返し実行する(S10,S11)。そして、G世代後において式(28)に最も適応した個体をカメラパラメータとして出力させる(S12)。この最適なカメラパラメータはパラメータ出力部15から出力される。
以上のステップにより、標本画像において、被写体の像を形成する画素に該当する荷重値を積算し、その積算によって得られる推定人数とその画像中の目標とする人数との間の誤差を適応度として遺伝的アルゴリズムを使って評価し、この適応度に最も適応したカメラパラメータを得ることができる。
以上のように撮像パラメータ調整装置1は画像から被写体の数を推定するアルゴリズムを利用して被写体数の推定に必要なカメラパラメータを自己組織的に調整している。したがって、事前のキャリブレーション作業を大幅に削減し、撮影の環境に適応してパラメータを自動調整でき、時系列画像から被写体数を効率的に推定することに効果を発揮する。
尚、本発明は、上述の実施形態に限定されるものでなく、撮像パラメータ装置1,3を構成する各機能ブロック11〜14に係る処理としてコンピュータを機能させるプログラムの態様としてもよい。前記プログラムはコンピュータ読み取り可能な既知の記録媒体に格納して提供またはネットワークを通じて提供することもできる。
1,3…撮像パラメータ調整装置
2…カメラ(撮像装置)
10…画像蓄積部
11…画像標本化部
12…物体抽出処理部(被写体抽出処理手段、被写体数推定手段)
14…パラメータ調整部(パラメータ調整手段)
2…カメラ(撮像装置)
10…画像蓄積部
11…画像標本化部
12…物体抽出処理部(被写体抽出処理手段、被写体数推定手段)
14…パラメータ調整部(パラメータ調整手段)
Claims (8)
- 単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整装置であって、
前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出する被写体抽出処理手段と、
前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する被写体数推定手段と、
前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するパラメータ調整手段と、
を備えることを特徴とする撮像パラメータ調整装置。 - 前記パラメータ調整手段は、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択すること
を特徴とする請求項1に記載の撮像パラメータ調整装置。 - 前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置であること
を特徴とする請求項1または2に記載の撮像パラメータ調整装置。 - 単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整方法であって、
被写体抽出処理手段が、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出するステップと、
被写体数推定手段が、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定するステップと、
パラメータ調整手段が、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するステップと
を有することを特徴とする撮像パラメータ調整方法。 - 前記最適な撮像パラメータを選択するステップでは、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択すること
を特徴とする請求項4に記載の撮像パラメータ調整方法。 - 前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置であること
を特徴とする請求項4または5に記載の撮像パラメータ調整方法。 - 請求項1から3のいずれか1項に記載の撮像パラメータ調整装置を構成する各手段としてコンピュータを機能させることを特徴とするプログラム。
- 請求項7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008310225A JP2010136113A (ja) | 2008-12-04 | 2008-12-04 | 撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008310225A JP2010136113A (ja) | 2008-12-04 | 2008-12-04 | 撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010136113A true JP2010136113A (ja) | 2010-06-17 |
Family
ID=42346942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008310225A Pending JP2010136113A (ja) | 2008-12-04 | 2008-12-04 | 撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010136113A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242947A (ja) * | 2011-05-17 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 通過物体数計測方法、通過物体数計測装置、及びプログラム |
WO2019230307A1 (ja) * | 2018-05-28 | 2019-12-05 | パナソニックIpマネジメント株式会社 | 非接触センサを用いた生体検知装置、生体検知方法、および生体を検知するためのプログラムを格納した記録媒体 |
CN114245022A (zh) * | 2022-02-23 | 2022-03-25 | 浙江宇视系统技术有限公司 | 一种场景自适应拍摄方法、电子设备和存储介质 |
-
2008
- 2008-12-04 JP JP2008310225A patent/JP2010136113A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242947A (ja) * | 2011-05-17 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 通過物体数計測方法、通過物体数計測装置、及びプログラム |
WO2019230307A1 (ja) * | 2018-05-28 | 2019-12-05 | パナソニックIpマネジメント株式会社 | 非接触センサを用いた生体検知装置、生体検知方法、および生体を検知するためのプログラムを格納した記録媒体 |
CN114245022A (zh) * | 2022-02-23 | 2022-03-25 | 浙江宇视系统技术有限公司 | 一种场景自适应拍摄方法、电子设备和存储介质 |
CN114245022B (zh) * | 2022-02-23 | 2022-07-12 | 浙江宇视系统技术有限公司 | 一种场景自适应拍摄方法、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6534499B1 (ja) | 監視装置、監視システム、及び、監視方法 | |
JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
US7853038B2 (en) | Systems and methods for object dimension estimation | |
CN107079093B (zh) | 校准装置 | |
JP5743859B2 (ja) | 画像処理装置、方法、及び画像表示装置 | |
JP2007158829A (ja) | 画像処理装置、画像処理方法およびプログラム | |
RU2015109072A (ru) | Способ обнаружения человеческих объектов в видео (варианты) | |
US8599278B2 (en) | Method for estimating a plane in a range image and range image camera | |
CN112802208B (zh) | 一种航站楼内三维可视化方法及装置 | |
US20170109932A1 (en) | Content projection apparatus, content projection method, and computer readable storage medium | |
CN109840982A (zh) | 排队推荐方法及装置、计算机可读存储介质 | |
JP2012057974A (ja) | 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム | |
JP2016009432A (ja) | 画像形成装置、画像形成システム及び画像形成プログラム | |
JP2010136113A (ja) | 撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 | |
JP4914870B2 (ja) | 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体 | |
JP2019066909A (ja) | 物体分布推定装置 | |
JP2019029747A (ja) | 画像監視システム | |
JP2018063675A (ja) | 画像処理装置および制御方法 | |
JP2014164525A (ja) | 物体数推定方法、物体数推定装置、及び物体数推定プログラム | |
JP2007109126A (ja) | 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム | |
TW202020732A (zh) | 物體辨識方法及其裝置 | |
JP2011192220A (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP7370840B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JP2022123391A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5960471B2 (ja) | 画像監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100611 |