JP2010136113A - 撮像パラメータ調整装置、撮像パラメータ調整方法とそのプログラム及び記録媒体 - Google Patents

Abstract

【課題】事前のキャリブレーション作業を削減し、かつ、撮像現場の環境に適応してパラメータを調整し、時系列画像から被写体数を効率的に推定する。
【解決手段】撮像パラメータ調整装置１は単眼または複数のカメラ２で取得された画像から被写体の個数を計測するためにカメラ２の撮像パラメータを調整する。物体抽出処理部１２は、カメラ２で取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出し、この抽出された被写体領域の各画素から算出された視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。パラメータ調整部１４は前記推定された被写体数とカメラ２から取得された標本画像に存在する被写体の数との誤差に基づき前記撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的には前記誤差を適応度とする遺伝的アルゴリズムによって最適な撮像パラメータを選択する。
【選択図】図１

Description

この発明は、単眼または複数の撮像装置で撮影された映像に利用可能であり、前記撮像装置で取得した映像から被写体単体の数を計測するとき、その計測に必要となる撮像装置の焦点距離、姿勢並びに位置を自動的に調整するための技術に関する。

イベント会場、駅・空港内、あるいは、街中に設置された定点観測カメラから、人の数を計測することは安全上、または、セキュリティ上重要になる。これまでの先行技術として、複数のカメラを使って歩行者の数や移動方向を計測する装置が公知となっている（特許文献１）。この公知技術ではカメラを通じて混雑度を計測するため、事前のカメラキャリブレーションが必要となる。

カメラキャリブレーションとは、校正対象のカメラで何らかの被写体を撮影し、その２次元画像から投影モデルに従って前記カメラの内部パラメータ（焦点距離，画像中心，レンズ歪など）、外部パラメータ（姿勢と位置）を推定する作業である。これまでに、多種多様なアプローチによるカメラキャリブレーションが提案されており、実空間でのカメラパラメータ（スケール倍の不定性が無い）を得るには既知の参照物体を使ったカメラキャリブレーションが常套手段である（非特許文献２）。
特開平１０−３３４２０７号公報 Ｚ．Ｚｈａｎｇ，"Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．

実環境でのカメラ配置や設置条件によっては参照物体を使ったカメラキャリブレーションが期待できない。特に、屋外カメラでは、カメラキャリブレーションに必要な撮影時間と作業時間が確保できない場合がある。例えば、混雑する公共の場所などではキャリブレーション作業のために人の進入を禁止し、参照物体を撮影することが必ずしも保証されていない。また、十分な精度のカメラパラメータを得るには、より多くの参照点を観測することが不可欠であり、対象カメラに対してどのように参照物体を空間中に配置すべきかを決め、それに適した大きさの参照物体を設計・準備しなくてはならない。

本発明は、屋内・屋外に設置された単眼の定点観測カメラを用い、撮影範囲内の被写体の数（人数など）を直接計測するとき、既知の参照物体を使ったカメラキャリブレーションを行わず、その計測に必要なカメラパラメータを自動的に調整することを課題とする。

前記課題を解決するための撮像パラメータ調整装置は、画像から被写体の数を推定するアルゴリズムを利用して被写体数の推定に必要な撮像パラメータを自己組織的に調整する。

すなわち、請求項１の撮像パラメータ調整装置は、単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整装置であって、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出する被写体抽出処理手段と、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する被写体数推定手段と、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するパラメータ調整手段を備える。

請求項２の撮像パラメータ調整装置は、請求項１の撮像パラメータ調整装置において、前記パラメータ調整手段は、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択する。

請求項３の撮像パラメータ調整装置は、請求項１または２の撮像パラメータ調整装置において、前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置である。

請求項４の撮像パラメータ調整方法は、単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整方法であって、被写体抽出処理手段が、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出するステップと、被写体数推定手段が、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定するステップと、パラメータ調整手段が、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するステップとを有する。

請求項５の撮像パラメータ調整方法は、請求項４の撮像パラメータ調整方法において、前記最適な撮像パラメータを選択するステップでは、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択する。

請求項６の撮像パラメータ調整方法は、請求項４または５の撮像パラメータ調整方法において、前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置である。

請求項７のプログラムは、請求項１から３のいずれかの撮像パラメータ調整装置を構成する各手段としてコンピュータを機能させるプログラムである。

請求項８の記録媒体は、請求項７のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

以上の発明によれば、事前のキャリブレーション作業を削減し、かつ、撮像現場の環境に適応してパラメータを調整でき、時系列画像から被写体数を効率的に推定できる。

発明の実施の形態について説明するにあたり、発明で取り扱われるカメラパラメータ（撮像パラメータ）について述べる。

図３（ａ）はカメラ（撮像装置）と被写体（人）の配置関係を説明したＹ_W−Ｚ_W座標面図である。図３（ｂ）はカメラ（撮像装置）と被写体（人）の配置関係を説明したＸ_W−Ｙ_W座標面図である。

一般的に、定点観測カメラを使って人数を測定する場合、そのカメラは人物の身長より高い位置から俯瞰する姿勢で設置される。図３はカメラと被写体（人物）を模式的に描いたものである。実空間の３次元座標を表現するため、任意に世界座標系Ｘ_wＹ_wＺ_wを設定することができる。カメラは固定されており、カメラを通して観測できる画像上の投影点はピンホールカメラと呼ばれる透視投影モデルに従うと仮定する。すなわち、世界座標系上の３次元点をＰ_j＝（Ｘ_j，Ｙ_j，Ｚ_j）、カメラ視点の位置をＣ＝（Ｔｘ，Ｔｙ，Ｔｚ）とすると、画像上で観測される点Ｐ_jの２次元座標ｐ_j＝（ｘ_j，ｙ_j）は、単純に式（１），（２）の射影関係で結びつけることができる。

ここで、ｆは焦点距離であり、Ｒ₁₁，Ｒ₁₂，…，Ｒ３３は３×３の回転行列の要素に対応する。φ，ω，θをそれぞれカメラ座標系ＸＹＺにおけるＸ軸、Ｙ軸、Ｚ軸周りの回転角とすると、各回転要素は式（３）〜（１１）で与えられる。

式（１），（２）で定義される投影モデルにおいて、本発明で扱うカメラパラメータは焦点距離ｆ、ＸＹＺ軸周りの回転角φ，ω，θ、視点位置（Ｔｘ，Ｔｙ，Ｔｚ）である。

本発明は荷重値積算による人数推定アルゴリズムを利用している。そこで、以降の説明を円滑にするため、カメラパラメータに基づいて算出される荷重値の算出方法と、この荷重値を用いた人数推定アルゴリズムについて説明する。

一般的に、定点観測カメラで被写体を撮影するとき、その像を構成する画素の集合ｐ_j，ｊ＝１，２，…，Ｐを得ることができる。その画素の集合ｐ_j，ｊ＝１，２，…，Ｐから人数を推定するには、各画素へ投影される実空間中の人の体積を推量することが直接的である。この発想から、画像座標（ｘ_j，ｙ_j）が式（１），（２）で表される投影モデルに従うと仮定した上で、各画素に投影される視体積（ｖｉｓｕａｌ ｈｕｌｌ）を考える。視体積とは視点Ｃから外界へ向かう光束（錐体）の体積を指す。

観測された画像が正方格子の画素から構成されると仮定し、式（１２）〜（１６）で表される、画素ｐ_j＝（ｘ_j，ｙ_j）の４近傍のサブ画像座標を考える。これら４近傍のサブ画素で囲まれた微小領域へ射影される視体積を図４に示す。ここで、人の高さをｈ（一定）とし、図示した視体積のうち、平面Ｚ_w＝ｈと平面Ｚ_w＝０で囲まれた四角錘台を実質的な視体積Ｖ（ｘ_j，ｙ_j）と考える。

図４において、４近傍のサブ画素ｐ_j ⁽ⁿ⁾，ｎ＝１〜４へ射影される平面Ｚ_w＝ｈ上の点をそれぞれＡ_j ⁽ⁿ⁾、平面Ｚ_w＝０上の点をそれぞれＢ_j ⁽ⁿ⁾、並びに、画素ｐ_jへ投影される平面Ｚ_w＝０上の点をＱ_jとする。これら３次元座標の算出には、式（１），（２）を利用する。

つまり、式（１），（２）において、Ｚ_j＝ｈとした場合、式（１７）〜式（１９）と書き直すことができるので、対象画素の画像座標ｐ_j、並びに、その４近傍のサブ画素の画像座標ｐ_j ⁽ⁿ⁾が与えられれば、式（１７）〜式（１９）によりＱ_j＝（Ｘ_j，Ｙ_j，０）、並びに、位置Ａ_j ⁽ⁿ⁾＝（Ｘ_j ⁽ⁿ⁾，Ｙ_j ⁽ⁿ⁾，ｈ）がそれぞれ求められる（位置Ｂ_j ⁽ⁿ⁾の算出にはｈ＝０として求める）。

これらの点の位置が求まると、四角錐台の体積Ｖ（ｘ_j，ｙ_j）は、式（２０）に示すオベリスク公式により算出することができる。Ｓ_a（ｘ_j，ｙ_j）、Ｓ_b（ｘ_j，ｙ_j）はそれぞれＡ_j ⁽ⁿ⁾で形成される四角形とＢ_j ⁽ⁿ⁾で形成される四角形の面積である。あるいは、四角錐台の体積Ｖ（ｘ_j，ｙ_j）は式（２１）を使っても算出することができるので、どちらを使っても以降の計算結果には影響しないが、実施例では式（２０）を使う場合を記述する。

式（２０）で得られる視体積Ｖ（ｘ_j，ｙ_j）は画素ｐ_jの４近傍ｐ_j ⁽ⁿ⁾で囲まれた微小な画像領域内へ射影されるが、Ｖ（ｘ_j，ｙ_j）は視点からの見かけ上の視体積であって、人の位置は考慮されていない。荷重値算出には、人の位置を特定するのではなく、以下の“簡易な見えモデル”を導入して、人数を推定するアプローチをとる。
・人の表面積はどの方向からでも面積Ｓ₀とする。
・人の位置は平面Ｚ_w＝０上において一様分布に従う。

この“簡易な見えモデル”の導入は、Ｚ_w＝０上を一様分布する面積Ｓ₀の板を単眼カメラで観測することを意味する。本発明はこのモデルを使って視体積Ｖ（ｘ_j，ｙ_j）から人数を推定する。

図５は図４のＹ’_w軸（平面Ｚ_w＝０上での視線方向）に垂直な方向から見た射影図である。図５において、平面Ｚ_w＝ｈ上の点Ａ_j ⁽ⁿ⁾，ｎ＝１〜４のうち視点Ｃに最も近い点をＡ_j、平面Ｚ_w＝０上の点Ｂ_j ⁽ⁿ⁾，ｎ＝１〜４のうち視点Ｃから最も遠い点をＢ_jとする。体積Ｖ（ｘ_j，ｙ_j）を視線方向に沿って面積Ｓ₀の板でスライスすることを想像すると、視線方向に沿って点Ａ_jで交差し始め、体積Ｖ（ｘ_j，ｙ_j）を順番にスライスして、最後に点Ｂ_jで交差を終える。ΔＳ_j ^(k)は添え字ｋで示した位置での断面積である。面積Ｓ₀の板は視線方向に対して一様に分布すると仮定しているので、視線方向に対する視体積の長さをＬ（ｘ_j，ｙ_j）とすると、添え字ｋの位置での“見えモデル”の存在確率は全て１／Ｌ（ｘ_j，ｙ_j）となる。尚、視点を平面Ｚ_w＝０上へ射影した点Ｃ’＝（Ｔｘ，Ｔｙ，０）から、平面Ｚ_w＝０上での３次元座標Ｑ_j＝（Ｘ_j，Ｙ_j，０）への単位ベクトルをｕ_jとすると、式（２５）〜式（２７）に示すように、長さＬ（ｘ_j，ｙ_j）は点Ａ_jを平面Ｚ_w＝０へ下した垂線の足Ａ’_j＝（Ｘ_s，Ｙ_s，０）から点Ｂ_j＝（Ｘ_e，Ｙ_e，０）へのベクトルｂ_jとｕ_jの内積で求められる。

さらに、面積Ｓ₀に対する面積比ΔＳ_j ^(k)／Ｓ₀（＜＜１）は添え字ｋで示した位置での“人数”に該当する。面積Ｓ₀に対して各断面ΔＳ_j ^(k)が十分に小さければ、この面積比は視線方向に対してのみ変化する。よって、“見えモデル”の一様分布とオクルージョンの影響を考慮すると、画素ｐ_jから式（２２），（２３）に示す面積比ΔＳ_j ^(k)／Ｓ₀の期待値を平均の人数として推量することができる。

人物像としてＰ個の画素ｐ_j，ｊ＝１，２，…，Ｐが抽出されているならば、各画素ｐ_jに対応するｗ（ｘ_j，ｙ_j）を積算して、式（２４）に従って、“見かけ上の人数”が得られる。このように、ｗ（ｘ_j，ｙ_j）を積算すれば人数が計測できるという意味から、本明細書ではｗ（ｘ_j，ｙ_j）を画素ｐ_jの“荷重値”と呼ぶ。

ｗ（ｘ_j，ｙ_j）は、カメラの焦点距離ｆ、カメラ座標軸での回転角：φ，ω，θ、世界座標系上での視点位置（Ｔｘ，Ｔｙ，Ｔｚ）、並びに、“簡易な見えモデル”のパラメータ：ｈ，Ｓ₀によって計算できる物理量であり、時間的に不変である。一般的に人は移動するので、その像として観測される画素ｐ_jの画像座標（ｘ_j，ｙ_j）も時間によって変化する。荷重値ｗ（ｘ_j，ｙ_j）は画像座標（ｘ_j，ｙ_j）と一対一で結び付けられているので、事前に全ての画像座標に対してｗ（ｘ_j，ｙ_j）を求めておけば、それぞれの時間で観測された人物像の各画素に対応するｗ（ｘ_j，ｙ_j）を積算するだけで、その画像中の人数を逐次計測することができる。

以上述べた荷重値積算による人数推定は、カメラパラメータ：φ，ω，θ，Ｔｘ，Ｔｙ，Ｔｚ，ｆが既知であるという前提である。本発明はこれらのパラメータを自己組織的に調整するアルゴリズムとして、生物が環境に合わせて進化する過程をモデル化した遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）に着目している。すなわち、本発明におけるパラメータ調整とは、従来のカメラキャリブレーションのような参照点を一切使わずに、観測画像を利用して人数推定に十分なカメラパラメータを自動的に調整するものである。

以下に本発明の具体的な実施形態について説明する。

図１は発明の第一の実施形態（画像蓄積部を有する場合）に係る撮像パラメータ調整装置の概略構成図である。

撮像パラメータ調整装置１は画像蓄積部１０と画像標本化部１１と物体抽出処理部１２と目標人数設定部１３とパラメータ調整部１４とを備える。撮像パラメータ調整装置１は既知の有線または無線の通信手段によってカメラ２と通信可能となっている（図２に開示された撮像パラメータ調整装置３も同様）。

画像蓄積部１０はカメラ（撮像装置）２から取得された画像を蓄積する。画像蓄積部１０などの記憶装置は撮像パラメータ調整装置１において必ずしもを必要としない。図２に示された発明の第二の実施形態に係る撮像パラメータ調整装置３はリアルタイムで画像処理するような形態となっている。

画像標本化部１１は、画像蓄積部１０から複数の画像を抜き取り、物体抽出処理部１２に供する標本画像を抽出する。

物体抽出処理部１２は発明に係る被写体抽出処理手段と被写体数推定手段の機能を有する。前記被写体抽出処理手段は画像蓄積部１０から取得した画像データ群から選択した複数の画像から被写体領域を検出して抽出する。前記被写体数推定手段は前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。

目標人数設定部１３は標本画像中に実際に存在する被写体の数をパラメータ調整部１４に入力するための設定手段である。

パラメータ調整部１４は発明に係るパラメータ調整手段の機能を有する。前記パラメータ調整手段は、物体抽出処理部１２で推定された被写体数と目標人数設定部１３で設定された標本画像に存在する被写体の数との比較に基づきカメラ２の撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的に、前記パラメータ調整手段は、物体抽出処理部１２で推定された被写体数と目標人数設定部１３で設定された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによってカメラ２の撮像パラメータの初期集団から最適な撮像パラメータを選択する。前記撮像パラメータとしては例えばカメラ２の焦点距離ｆ、光軸の回転角φ，ω，θ、視点位置（Ｔｘ，Ｔｙ，Ｔｚ）が挙げられる。

パラメータ出力部１５はパラメータ調整部１４で選択された最適な撮像パラメータを出力する。

撮像パラメータ調整装置１，３は通常のコンピュータの構成要素、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、メモリ（ＲＡＭ）、ハードディスクドライブ装置、通信デバイスなどのハートウェア資源を備え、このハードウェア資源とインストール済みのソフトウェアとの協働によって前記各機能ブロック１０〜１５に係る処理が実行される。そして、この処理によって得られた画像は図示省略のディスプイ（表示装置）にて表示できるようにしてもよい。特に、画像蓄積部１０はハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用すればよい。または、ネットワークを介してリモートなデータ資源を利用する形態を採ってもよい。尚、撮像パラメータ調整装置１，３はカメラ２本体に具備させてもよい。

図１、図６及び図７を参照しながら撮像パラメータ調整装置１に係る処理フロー（Ｓ１ａ，Ｓ１ｂ〜Ｓ１２）について説明する。

Ｓ１ａでは、図１のカメラ２を経由して図６の画像の入力により取り込まれた画像が逐次的に図１の画像蓄積部１０に格納される。

Ｓ２では、画像標本化部１１が画像蓄積部１０から図６の標本画像の抽出によってＭ枚の画像を抜き取る。

Ｓ３では、図１の物体抽出処理部１２がこの標本画像移動物体または前景と判定された被写体領域を抽出する。この処理は背景差分と呼ばれる画像処理によるものである。

図９はＳ３での対象画素の抽出過程（背景差分による被写体領域検出）を説明する。図９の最初の処理として背景画像を構築する。背景画像は図６の画像の入力（Ｓ１ａ）によって標本画像以外の複数枚の時系列画像の平均値をとることで簡単に得られる。すなわち、静的なシーン以外は移動物体と考えて、時間平均を各画素に対して処理することで、移動する被写体あるいは物体を画像中からキャンセルする（画像観測で混入するランダム雑音を除去する目的にでも使用する）。ただし、屋外では朝と昼と夕方では照明が変化するため、静的シーンの濃淡にも変化が発生する場合がある。そこで、ここでの処理では、このような照明変化の効果を除去するため、背景画像を定期的に更新する。背景画像が構築されていると、Ｍ枚の標本画像から背景画像との差分をとり、移動する被写体領域あるいは前景画素領域を抽出する。以上の処理により、被写体領域を形成する各画素ｐ_ij＝（ｘ_ij，ｙ_ij），ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｐ_i（各画像あたりに抽出した領域の総画素数がＰ_i個）を得る。

一方、Ｍ枚の標本画像において、被写体の個数（人数）をＮ_i，ｉ＝１，２，…，Ｍとする。図６の処理フローでは、各画像あたりに抽出した被写体領域の総画素ｐ_ij＝（ｘ_ij，ｙ_ij），ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｐ_iと各標本画像中の人数Ｎ_i，ｉ＝１，２，…，Ｍが入力データとなる。ここで、添え字について補足しておく。

上述のカメラパラメータの説明では、各画素の違いを表すために添え字ｊを使用していたが、本実施形態では１枚以上Ｍ≧１の標本画像を使うため、時系列での画像の違いを表す添え字としてｉも添えた。なお、これまでに使用した図面や数式において、添え字ｊを添え字ｉｊと書き換えるだけで共通的に以降の説明でも利用できる。

そこで、以降の説明では、各時系列画像から前景画素として抽出されたときは時系列画像の違いを表す意味で画素ｐ_ij＝（ｘ_ij，ｙ_ij）と表記し、各時系列画像での人数Ｎ_i、並びに推定人数をＮ_i＾と表記する。一方、時系列画像に依存せず、同じ数式を利用できる場合は、添え字をｊのままとする。

本実施形態では遺伝的アルゴリズムを利用してカメラパラメータを調整する。このパラメータ調整にあたり、個体の集団モデルと個体の染色体の構成を図８に示す。本実施形態では、個体数をＸとし、個体内の染色体は、カメラ回転角：φ，ω，θ、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）、並びに、焦点距離ｆから構成される。

図６のＳ１ｂでは、この個体を定義する染色体情報に従い、図６の初期集団の発生において、各個体の染色体を構成する遺伝子配列をランダムに決定し、Ｘ個のカメラパラメータのそれぞれ異なる初期集団を生成する。

次に、Ｓ４では、図１の物体抽出処理部１２が、各画像から抽出された画素ｐ_ij＝（ｘ_ij，ｙ_ij）から、式（２１）で記述された数式に従い体積Ｖ（ｘ_j，ｙ_j）を計算し、式（２３）の数式に従って荷重値ｗ（ｘ_j，ｙ_j）を計算する。

さらに、Ｓ５で、物体抽出処理部１２は前記荷重値算出による人数推定を行う。

図７はＳ５での荷重値算出による人数推定の手順（Ｓ５０１〜Ｓ５１２）を説明したフローチャートである。

Ｓ５０１では、最初に、前景画素として抽出された画素ｐ_ijの画像座標（ｘ_ij，ｙ_ij）が順番に取り出される。この画像座標とは、画面上に設定された２次元座標系であり、画像中心を原点として水平方向にｘ軸、垂直方向にｙ軸が定義されている。以降では、この座標系上の各画素ｐ_ijの座標値（ｘ_ij，ｙ_ij）が順番に処理される。

Ｓ５０２では、各画素ｐ_ijの座標値（ｘ_ij，ｙ_ij）が与えられると、（ｘ_ij，ｙ_ij）を中心とした４近傍のサブ画像座標を式（１２）から式（１６）に従ってｐ_j ⁽ⁿ⁾，ｎ＝１，２，３，４と設定する。

Ｓ５０３ａ，Ｓ５０３ｂでは、それぞれ４点の平面Ｚ＝０上での位置Ｂ_j ⁽¹⁾，Ｂ_j ⁽²⁾，Ｂ_j ⁽³⁾，Ｂ_j ⁽⁴⁾、並びに、高さＺ＝ｈでの平面上での位置Ａ_j ⁽¹⁾，Ａ_j ⁽²⁾，Ａ_j ⁽³⁾，Ａ_j ⁽⁴⁾を式（１７）から式（１９）を使って計算する。

Ｓ５０４ａでは、Ａ_j ⁽ⁿ⁾，ｎ＝１，２，３，４のうち、視点位置から最も近い点を探した結果、点Ａ_jが該当したとし、その３次元座標をＡ_j＝（Ｘ_s，Ｙ_s，ｈ）とする。Ｓ５０４ｂでは、Ｂ_j ⁽ⁿ⁾，ｎ＝１，２，３，４のうち、視点位置から最も遠い点を探した結果、点Ｂ_jが該当したとし、その３次元座標をＢ_j＝（Ｘ_e，Ｙ_e，０）とする。

Ｓ５０５ａでは、面積Ｓ_aの算出では平面Ｚ＝ｈ上においてＡ_j ⁽ⁿ⁾，ｎ＝１，２，３，４の４点が形成する四角形の面積を求める。Ｓ５０５ｂでは、面積Ｓ_bの算出では平面Ｚ＝０上においてＢ_j ⁽ⁿ⁾，ｎ＝１，２，３，４の４点が形成する四角形の面積を求める。

一方、Ｓ５０６では、各画素ｐ_ijの座標値（ｘ_ij，ｙ_ij）の平面Ｚ＝０上での位置Ｑ_j＝（Ｘ_j，Ｙ_j，０）を式（１７）から式（１９）に従って求める。

Ｓ５０７では、図４に示すように長さＬはＡ’_jからＢ_jへのベクトルｂ_jの長さを視線方向（ベクトルｕ_j＝Ｑ_j−Ｃ’）に射影した長さであり、式（２５）から式（２７）を使って求める。

Ｓ５０８での体積Ｖの算出では、これまで得た面積Ｓ_a，Ｓ_b、並びに、被写体の高さｈを式（２０）に代入して算出する。

Ｓ５０９では、長さＬ（ｘ_j，ｙ_j）、体積Ｖ（ｘ_j，ｙ_j）、対象物の表面積Ｓ₀を式（２３）に代入して荷重値ｗ（ｘ_j，ｙ_j）を計算する。

Ｓ５１０では、前記算出された荷重値が画素ごとに加算（荷重値積算）される。

次に、Ｓ５１１において処理対象の画素の有無が判断され、処理対象の画素がある場合は、Ｓ５１２で、次の画素の画像座標がセットされて、最初の処理ステップに戻る。

以上の処理（Ｓ５０１〜Ｓ５１１）を抽出された被写体領域の画素全てに対して行うことにより、それぞれの画像における人数Ｎ_i＾が式（２４）に示す荷重値積算により算出される（図６の荷重値積算による人数推定）。

再び、図６の処理フローに戻って、Ｓ６では、パラメータ調整部１４は、Ｓ５の過程で算出した各画像での推定人数Ｎ_i＾，ｉ＝１，２，…，Ｍと、目標人数設定部１３で設定された目標人数Ｎ_i，ｉ＝１，２，…，Ｍの間の推定誤差ΔＮを、環境にどれだけ適応しているかを評価する“適応度”として式（２８）により算出する。

Ｓ７では、前記算出された適応度に従って全ての個体から“自然選択（淘汰）”を行う。この選択手段にルーレットルールを利用する。集団内の各個体ｊの適応度ΔＮの逆数をｆ_jとし、各個体について選択確率ｐ_jを式（２９）により得て、その累積確率ｑ_jを式（３０）により計算する。

そして、次の世代に残す個体を決めるために、各個体について乱数ｒを発生させ、

が満たされるとき、ｊ番目の個体を選択する（但し、ｑ₀＝０）。このプロセスをＸ回繰り返し、Ｘ個の個体を選択する。

続いて、Ｓ８では、前記のルーレットルールによって選ばれた各個体ｊに対して乱数ｒを発生させｒ＜Ｐ_C（交叉確率）を満たすとき、個体ｊを交叉させる親として選ぶ。これをＸ個の個体に対して繰り返す（選ばれた親の数が奇数のときは、もう一度選択して親の数を偶数にする）。次に、選ばれた順に交叉するペアとし、各ペアの個体を構成する染色体を順番に取り出し乱数を発生させて染色体長での交叉位置を決め各染色体について一点交叉を行う。

Ｓ９では、この新しい集団に含まれる全ての個体に、突然変異の可能性があると仮定する。各個体に対し、どの遺伝子に突然変異を発生させるかを決めるため、各遺伝子の先頭ビットから数えた位置において順番に乱数ｒを発生させｒ＜Ｐ_m（突然変異率）が満足されたとき、その遺伝子座のビットを反転させる。

パラメータ調整部１４は以上の自然選択（Ｓ７）、交叉（Ｓ８）、突然変異（Ｓ９）のステップを世代数がＧを超えるまで繰り返し実行する（Ｓ１０，Ｓ１１）。そして、Ｇ世代後において式（２８）に最も適応した個体をカメラパラメータとして出力させる（Ｓ１２）。この最適なカメラパラメータはパラメータ出力部１５から出力される。

以上のステップにより、標本画像において、被写体の像を形成する画素に該当する荷重値を積算し、その積算によって得られる推定人数とその画像中の目標とする人数との間の誤差を適応度として遺伝的アルゴリズムを使って評価し、この適応度に最も適応したカメラパラメータを得ることができる。

以上のように撮像パラメータ調整装置１は画像から被写体の数を推定するアルゴリズムを利用して被写体数の推定に必要なカメラパラメータを自己組織的に調整している。したがって、事前のキャリブレーション作業を大幅に削減し、撮影の環境に適応してパラメータを自動調整でき、時系列画像から被写体数を効率的に推定することに効果を発揮する。

尚、本発明は、上述の実施形態に限定されるものでなく、撮像パラメータ装置１，３を構成する各機能ブロック１１〜１４に係る処理としてコンピュータを機能させるプログラムの態様としてもよい。前記プログラムはコンピュータ読み取り可能な既知の記録媒体に格納して提供またはネットワークを通じて提供することもできる。

発明の第一の実施形態（画像蓄積部を有する場合）に係る撮像パラメータ調整装置の概略構成図。 発明の第二の実施形態（画像蓄積部を有しない場合）に係る撮像パラメータ調整装置の概略構成図。 （ａ）カメラ（撮像装置）と被写体（人）の配置関係を説明したＹ_W−Ｚ_W座標面図、（ｂ）カメラ（撮像装置）と被写体（人）の配置関係を説明したＸ_W−Ｙ_W座標面図。 １画素の視体積の説明図。 視線方向に沿った各断面の説明図。 発明の実施形態に係る撮像パラメータ調整装置の動作を説明したフローチャート。 発明の実施形態に係る撮像パラメータ調整装置によって実行される荷重値積算による人数推定の手順を説明したフローチャート。 遺伝的アルゴリズムを利用する際の集団と個体の構成の説明図。 背景差分による被写体領域検出の説明図。

符号の説明

１，３…撮像パラメータ調整装置
２…カメラ（撮像装置）
１０…画像蓄積部
１１…画像標本化部
１２…物体抽出処理部（被写体抽出処理手段、被写体数推定手段）
１４…パラメータ調整部（パラメータ調整手段）

Claims (8)

1. 単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整装置であって、
   前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出する被写体抽出処理手段と、
   前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する被写体数推定手段と、
   前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するパラメータ調整手段と、
   を備えることを特徴とする撮像パラメータ調整装置。
2. 前記パラメータ調整手段は、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択すること
   を特徴とする請求項１に記載の撮像パラメータ調整装置。
3. 前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置であること
   を特徴とする請求項１または２に記載の撮像パラメータ調整装置。
4. 単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整方法であって、
   被写体抽出処理手段が、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出するステップと、
   被写体数推定手段が、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定するステップと、
   パラメータ調整手段が、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するステップと
   を有することを特徴とする撮像パラメータ調整方法。
5. 前記最適な撮像パラメータを選択するステップでは、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択すること
   を特徴とする請求項４に記載の撮像パラメータ調整方法。
6. 前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置であること
   を特徴とする請求項４または５に記載の撮像パラメータ調整方法。
7. 請求項１から３のいずれか１項に記載の撮像パラメータ調整装置を構成する各手段としてコンピュータを機能させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images