JP2023070142A - 撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品 - Google Patents
撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP2023070142A JP2023070142A JP2022176108A JP2022176108A JP2023070142A JP 2023070142 A JP2023070142 A JP 2023070142A JP 2022176108 A JP2022176108 A JP 2022176108A JP 2022176108 A JP2022176108 A JP 2022176108A JP 2023070142 A JP2023070142 A JP 2023070142A
- Authority
- JP
- Japan
- Prior art keywords
- point
- calibration parameters
- imaging device
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 title claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品を提供する。【解決手段】少なくとも1人の人を含む少なくとも1つの画像に基づいて撮像装置用の較正パラメータを決定するための方法であって、少なくとも1つの画像内の、各対が人に関連する頭部点pt及び足点Ppを含む複数の点の対(pt,pp)を選択するステップと、人の足点の画像座標(xp,yp)及び較正パラメータに基づいて頭部点の推定画像座標の1つを決定可能な二次元推定器を使用し、較正パラメータを決定するステップと、を含む。決定するステップは、頭部点の推定画像座標と対応する頭部点の前述の画像座標との間の誤差を最小化する。【選択図】図3
Description
本発明は撮像による監視に関し、より具体的には、とりわけ撮像装置からの画像に基づいて実際の距離を推定するために撮像装置用の較正パラメータを自動で決定するための方法に関する。
従来技術は、画像内の関心要素を識別するために例えばニューラルネットワーク、具体的には畳み込みニューラルネットワーク又はCNNを使用して実装される検出アルゴリズムを開示する。
例えばセキュリティカメラ画像内で人又は顔を検出することが知られている。
ここから進み、カメラが配置される高さ、カメラの傾き、及びカメラの焦点距離等のカメラのパラメータ(較正パラメータと呼ぶ)が知られている場合、少しの簡単な幾何学的考察及び投影が、検出される関心要素の量を推定すること及び観察シーン内の任意の「実際の」距離を概して測定することを可能にする。
困難は、本質的に較正パラメータを容易に決定することに関係する。実際、数千台のカメラがそのパラメータが知られることなしに既に設置されている。当然ながら、それらのカメラの全てに対する測定を行うために人を派遣することは可能だが、かかる派遣は時間がかかり、高価であり、緊縮的なプロセスである。
その特性が知られていない撮像装置からの画像に基づいて、例えばインターネット上に投稿された映像に基づいて、或いはその高さ及び傾きが経時的に殆ど変わらないモバイル装置を使用して撮影された映像に基づいて実際の距離を推定する必要もある。
或る自動較正方法が提案されており、その方法は(非特許文献1)に記載されている。
この方法は、監視カメラ映像に基づいて人の身長を推定することになる。この方法ではカメラの前を歩いている既知の大きさの人を選択し、それにより空間内の様々な位置にその人がいる複数の画像を取得する。次に、前述の人の頭及び足の位置に対する回帰によって較正パラメータを決定することができる。
この方法は、人が画像内で本質的に縦方向の表現を有し、従って足-頭ベクトルの縦座標軸に沿ったコンポーネントは前述の足-頭ベクトルの横座標軸に沿ったコンポーネントよりも多くの情報を提供し、縦軸に沿った前述のコンポーネントは較正パラメータによって人の身長に関連付けることができるという想定に基づく。従って較正パラメータは、横軸に沿う項を無視する単純化された数学的方程式を使用して容易に決定することができる。
この方法は、カメラによって撮影される画像内の人の身長の実際の推定の限られた使用に適している欠点、及び既知の大きさの人がその間前述のカメラの前を移動する特定の事前較正シナリオを必要とする欠点を有する。
実際、この方法は画像に基づいて任意の実際の距離を計算するための満足な較正パラメータを与えない。画像内の人の表現が遠近法の効果によって傾く場合、推定される高さは不正確である。
代替策として、(非特許文献2)の文献は、カメラ用の較正パラメータを評価するために消失点の推定を使用することを提案した。従ってカメラからの任意の画像を、それらの画像が垂直だと考えられる多数の人を示す限り(対象者に歩くよう特に求める必要なしに)使用することができる。
しかし、消失点を推定すること自体が相変わらず複雑な作業であることが認められており、かかる推定は広く適用するのが困難な場合があり、過度に高価な目標を構成し、この方法が満足を与えないことを意味している。
"A simplified nonlinear regression method for human height estimation in video surveillance",Li,S.,Nguyen,V.H.,Ma,M.et al
"Surveillance Camera Autocalibration based on Pedestrian Height Distributions",Jingchen Liu,Robert T.Collins,Yanxi Li
本発明は、完全に自動で簡単、ロバスト、及び普遍的な撮像装置用の較正パラメータを決定するための方法を提案することによって従来技術の上述の問題を解決することを狙う。
本発明は、撮像装置によって取得され、複数の人を含む少なくとも1つの画像又は様々な瞬間において撮像装置(10)によって取得され、少なくとも1人の人を含む複数の画像(i,i1~iN)に基づいて撮像装置用の較正パラメータをコンピュータによって決定するための方法に関し、較正パラメータを決定するための方法は以下のステップ:
-少なくとも1つの画像内の複数の点の対をコンピュータによって選択するステップであって、点の各対は人の頭に関連する頭部点及び前述の人の足に関連する足点を含み、点の対の各点は画像横座標及び画像縦座標を含む画像座標によって少なくとも1つの画像内で参照され、点の各対は撮像装置の環境の三次元の現実世界における足-頭セグメントを定める、選択するステップと、
-較正パラメータをコンピュータによって決定するステップであって、コンピュータは撮像装置の環境の三次元の現実世界において全ての足-頭セグメントが同じ所定の高さを有し垂直だという推量により、人の足点の画像縦座標に基づいて及び較正パラメータに基づいて頭部点の推定画像縦座標を決定可能な推定器を含む、決定するステップと
を含み、
推定器は二次元であり、足点の画像座標に基づいて頭部点の推定画像横座標を決定することが更にでき、較正パラメータを決定することは二次元推定器によって推定される頭部点の前述の推定画像座標と対応する頭部点の前述の画像座標との間の誤差を最小化することを含む。
-少なくとも1つの画像内の複数の点の対をコンピュータによって選択するステップであって、点の各対は人の頭に関連する頭部点及び前述の人の足に関連する足点を含み、点の対の各点は画像横座標及び画像縦座標を含む画像座標によって少なくとも1つの画像内で参照され、点の各対は撮像装置の環境の三次元の現実世界における足-頭セグメントを定める、選択するステップと、
-較正パラメータをコンピュータによって決定するステップであって、コンピュータは撮像装置の環境の三次元の現実世界において全ての足-頭セグメントが同じ所定の高さを有し垂直だという推量により、人の足点の画像縦座標に基づいて及び較正パラメータに基づいて頭部点の推定画像縦座標を決定可能な推定器を含む、決定するステップと
を含み、
推定器は二次元であり、足点の画像座標に基づいて頭部点の推定画像横座標を決定することが更にでき、較正パラメータを決定することは二次元推定器によって推定される頭部点の前述の推定画像座標と対応する頭部点の前述の画像座標との間の誤差を最小化することを含む。
本発明の一態様によれば、選択ステップは右足点と左足点との間の中点として足点を決定することを含む。
本発明の一態様によれば、較正パラメータは:
-撮像装置の横の傾斜角θ、
-撮像装置の焦点距離f、
-撮像装置が配置される高さc
を含み、推定器は以下の方程式:
及び
を使用し、足点の画像座標(xp,yp)に基づいて推定画像座標(x’t,y’t)を決定する。
-撮像装置の横の傾斜角θ、
-撮像装置の焦点距離f、
-撮像装置が配置される高さc
を含み、推定器は以下の方程式:
本発明の一態様によれば、誤差最小化が、推定器によって推定される頭部点の前述の推定画像座標と対応する頭部点の前述の画像座標との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む。
本発明の一態様によれば、誤差最小化が所定の離散化領域にわたる較正パラメータ(f,θ,c)の全数探索を含む。
本発明の一態様によれば、誤差最小化が勾配降下法を使用することを含む。
本発明の一態様によれば、誤差最小化が、所定の離散化領域にわたる中間較正パラメータの全数探索を含む第1のステップ、及び第1のステップから生じる前述の中間較正パラメータに初期設定される勾配降下法を使用することを含む第2のステップという2つのステップを含む。
本発明の一態様によれば、選択ステップは、複数の点の対を選択するためにコンピュータが前述の点の可視性の基準に基づいて複数の点の対のうちの点の対をフィルタするフィルタリングステップを更に含む。
本発明の一態様によれば、撮像装置によって取得される少なくとも1つの画像が複数の領域に分割され、各領域が所定の閾値以下の点の対の数を含むように、選択ステップ内で複数の点の対がコンピュータによって選択されている。
本発明の一態様によれば、複数の点の対が撮像装置によって取得される複数の画像から生じ、画像の数は撮像装置によって画像が記録される既定の期間に対応する。
本発明の一態様によれば、複数の画像の各画像が、100msを上回る期間に対応するコンピュータによる撮像装置からの画像の選択から生じる。
本発明は、コンピュータによって実行されるとき較正パラメータを決定するための方法のステップを実装するプログラム命令を含む、コンピュータプログラム製品にも関する。
説明及び図面を読めば本発明の他の利点及び特徴が明らかになる。
図1を参照し、撮像装置用の較正パラメータは、地球基準座標系内で表されるので「実」座標と呼ばれる撮像装置のフィールド内の点の空間座標を、撮像装置によって取得される画像内のこの点の表現の「画像」座標と呼ばれる平面座標、つまりその投影とマッチするためのパラメータを意味すると理解される。
較正パラメータは図1に示されており、
-撮像装置10の横の傾斜角θ、つまりカメラの主軸Aと水平方向との間の角度によって定められるピッチ角、
-撮像装置10の焦点距離f、
-撮像装置10が配置される高さc
である。
-撮像装置10の横の傾斜角θ、つまりカメラの主軸Aと水平方向との間の角度によって定められるピッチ角、
-撮像装置10の焦点距離f、
-撮像装置10が配置される高さc
である。
本発明の方法は、これらの3つの較正パラメータのそれぞれを決定することを含む。これらの3つのパラメータのどれか一方が直接又は間接的に知られていることが依然として完全に可能であることに留意すべきであり、例えば撮像装置は較正された焦点距離fを有することができ、或いは高さcはカメラの設置時に明確に選択されている場合がある。
図1は、地上の或る高さに配置された撮像装置10を示す。撮像装置の環境は、その原点が撮像装置10に対して垂直な地上の点である地球基準座標系によって三次元の現実世界内で参照される。地球基準座標系の軸は、上向きであり撮像装置10を通過する軸Y、及び撮像装置10がその上に配置される地面内に位置する2つの軸X、Zを含む。撮像装置は地球基準系において座標(X,Y,Z)=(0,c,0)を有する。
撮像装置10の視野内に立っている人がいる。地球基準座標系においてこの人は、この人の頭部に関連する座標(Xt,Yt,Zt)を有する頭部点Pt及びこの人の足に関連する座標(Xp,Yp,Zp)を有する足点Ppによって参照される。頭部点Pt及び足点Ppは、撮像装置10の環境の三次元の現実世界における足-頭セグメントPTを定める。
撮像装置10によって取得される画像iの中で二次元画像基準系が定められる。この画像基準系は原点として画像iの中心を有し、横座標軸x及び縦座標軸yという2つの軸を含む。画像座標系では、人の頭部点ptが座標(xt,yt)を有し、人の足点ppが座標(xp,yp)を有する。
撮像装置10は、少なくとも較正パラメータに関して好ましくは固定される。例えば撮像装置10は、水平の並進運動を可能にするレール上に設置することができる。但し、その動きが知られているという条件で撮像装置は完全に可動式とすることができ、基準系を変更するための対応する方程式をどのように適用するのかは当業者なら明確に分かる。
この脈絡に関して幾つかの仮定を更に有利に行う:
-撮像装置10のロール角は無視できると仮定し、
-撮像装置10のヨー角は無視できると仮定し、
-撮像装置10によって取得される画像i内の歪みは無視できると仮定し、
-撮像装置10の光学的中心は画像iの中心に対応し、
-撮像装置10の環境の地面は撮像装置10の視野内で平らである。
-撮像装置10のロール角は無視できると仮定し、
-撮像装置10のヨー角は無視できると仮定し、
-撮像装置10によって取得される画像i内の歪みは無視できると仮定し、
-撮像装置10の光学的中心は画像iの中心に対応し、
-撮像装置10の環境の地面は撮像装置10の視野内で平らである。
図2は画像iを示し、頭部点pt、左足点ppg、及び右足点ppdを含む15点のスケルトンモデルによって人が画像i内でモデリングされている。
有利には、本発明の足点ppは左足点ppgと右足点ppdとの間の中点である。
図3は、撮像装置10、人検出器11、及びコンピュータ20を含むシステムを示す。
撮像装置10は、自らの環境のシーンの画像i1,i2,i3を取得することができる。撮像装置10は好ましくはビデオカメラだが、例えばシーンの画像を立て続けに撮影可能な写真用カメラでもよい。
人検出器11は撮像装置10によって取得される画像i1,i2,i3内の人を検出するように、及び例えば図2に示す15点のスケルトンを生成するために人のキーポイントを決定するように構成される。有利には、キーポイントは人の頭頂部に対応する頭部点pt、人の左のかかとに対応する左足点ppg、及び人の右のかかとに対応する右足点ppdを含む。
人検出器11は互いに通信可能な2つの別個の二次装置に分けることができ、第1の装置は画像i内の人を検出することができ、第2の装置は第1の装置によって検出される人に対応するスケルトン点を例えば回帰によって生成することができる。
各スケルトン点ppg、ppd、ptは画像i1,i2,i3内の二次元座標に関連する。
スケルトン点の二次元座標は本発明の方法を実行するために直接、又は二次元座標が図1に記載し図示した画像基準系内で参照されない場合は基準系の潜在的な変更後にコンピュータ20によって使用可能である。
有利には、各スケルトン点ppg、ppd、ptは画像i1,i2,i3内の可視性に関する可視性スコアに更に関連する。可視性スコアは画像内の前述のスケルトン点の可視性を評価することを可能にし、従ってスケルトン点の二次元座標に関する信頼性指標を表す。
コンピュータ20は、人検出器11によって検出されるそれぞれの人について、人検出器11によって提供されるスケルトン点の中から頭部点pt及び足点ppを抽出可能な抽出器24を含む。
コンピュータ20は、それらの頭部点pt及び足点ppの中から、それ自体で又は組み合わせて解釈される以下の複数の基準に基づいて同一人物に関連する頭部点pt及び足点ppを含む複数の点の対(pt,pp)を選択可能なセレクタ23を含む:
-頭部点pt及び/又は足点ppに関連する可視性スコアであって、人検出器11によって提供されるスケルトン点に関連する可視性スコアから推論することができる、可視性スコア、
-画像i1,i2,i3内の頭部点pt及び足点ppの分布、位置、及び/又は数、
-頭部点pt及び/又は足点ppの互いに対する時間的又は地理的な近接性。
-頭部点pt及び/又は足点ppに関連する可視性スコアであって、人検出器11によって提供されるスケルトン点に関連する可視性スコアから推論することができる、可視性スコア、
-画像i1,i2,i3内の頭部点pt及び足点ppの分布、位置、及び/又は数、
-頭部点pt及び/又は足点ppの互いに対する時間的又は地理的な近接性。
コンピュータ20は、前述の足点ppの画像座標(xp,yp)に基づいて及び較正パラメータf、θ、cに基づいて頭部点ptの推定画像座標を決定可能な二次元推定器21を含む。
コンピュータ20は、推定器21によって推定される頭部点ptの画像座標と人検出器11から生じる頭部点ptの画像座標(xt,yt)との間の誤差を最小化することができるミニマイザ22を含む。
抽出器24、セレクタ23、推定器21、及びミニマイザ22は、有利にはコンピュータ20のソフトウェアモジュールである。
図4a及び図4bは、
-コンピュータ20が複数の点の対(pt,pp)を選択する選択ステップ102であって、点の各対(pt,pp)は撮像装置10によって撮影される画像i,i1,i2,i3内の人に関連している、選択ステップ102、
-選択した複数の点の対(pt,pp)に基づいて撮像装置10用の較正パラメータを決定するステップ103
を含む、本発明による方法のステップを示す。
-コンピュータ20が複数の点の対(pt,pp)を選択する選択ステップ102であって、点の各対(pt,pp)は撮像装置10によって撮影される画像i,i1,i2,i3内の人に関連している、選択ステップ102、
-選択した複数の点の対(pt,pp)に基づいて撮像装置10用の較正パラメータを決定するステップ103
を含む、本発明による方法のステップを示す。
点の複数の対(pt,pp)を選択できるようにするために、コンピュータ20は様々な瞬間において取得される撮像装置10からの複数の画像i1,i2,i3、例えば撮像装置10によって取得される映像からの複数の画像を概して必要とする。複数の画像i1,i2,i3は、例えば単一の人がシーン内で移動していても、コンピュータ20が複数の点の対(pt,pp)を選択することを可能にする。
一例によれば、図6は3人の人を含む5つの画像i1~i5の重ね合わせを示し、画像i1~i5は撮像装置10によって様々な瞬間において撮影されている。撮像装置10のフィールド内で3人の人が移動しているので、この画像i1~i5の重ね合わせは15個の点の対(pt,pp)を含む。
例えば撮像装置10の視野内に大勢の人がいる場合、撮像装置10によって取得される単一の画像iはコンピュータ20が複数の点の対(pt,pp)を選択することを可能にする。かかる画像iは例えば図7に示されている。
従ってコンピュータ20は、撮像装置10によって取得され、少なくとも1人の人を含む少なくとも1つの画像i,i1,i2,i3、i4,i5から生じる点の対(pt,pp)を必要とする。これらの点の対(pt,pp)は、例えば上記の人検出器11によって提供される。
選択ステップ102において、コンピュータ20は少なくとも1つの画像i,i1,i2,i3、i4,i5内の複数の点の対(pt,pp)を選択し、点の各対(pt,pp)は人の頭に関連する頭部点pt及び前述の人の足に関連する足点ppを含む。
コンピュータ20は撮像装置によって画像が取得されるとき、具体的には人検出器11によって点が提供されるとき点の対(pt,pp)を選択することができる。
代替策として、コンピュータ20は複数の画像の取得後に、例えば撮像装置10によって画像が取得される既定の取得期間後に、具体的には人検出器11が複数の画像に対応する点を提供した後に複数の点の対(pt,pp)を選択することができる。
点の対(pt,pp)の各点pt、ppは、画像横座標xt、xp及び画像縦座標yt、ypを含む画像座標(xt,yt)、(xp,yp)によって少なくとも1つの画像i,i1,i2,i3、i4,i5内で参照される。
画像i内の頭部点ptの座標は(xt,yt)である。
画像i内の足点ppの座標は(xp,yp)である。
較正パラメータ(f,θ,c)をより信頼できるやり方で決定するために、複数の点の対(pt,pp)が1つ又は複数の画像i,i1,i2,i3内の均質分布に、つまり撮像装置10の視野内の人の相対的に均質な分布に可能な限り対応することが好ましい。
従って図5a及び図5bに示すように、特定の実施形態によれば、撮像装置10によって取得される少なくとも1つの画像i,i1,i2,i3、i4,i5が複数の領域Z1~Z9に、例えば図示のように9つの領域に分割される。
様々な領域Z1~Z9との間の、とりわけ別の領域Z1~Z7と比較して点の対(pt,pp)で過度に埋められた領域Z8、Z9との間の過大な不均衡を回避するために、各領域Z1~Z9が所定の閾値以下の点の対(pt,pp)の数を含むようにコンピュータ20は複数の点の対(pt,pp)を選択する。従って、2つの領域間の点の対の数の差はこの所定の閾値を上回ることができない。
この選択モードによれば、コンピュータ20は点の対(pt,pp)の数が所定の閾値以下の領域Z1~Z9の全ての点の対を保持する。
この選択モードによれば、コンピュータ20は、点の対(pt,pp)の数が所定の閾値を上回る領域Z1~Z9内の点の対(pt,pp)の数を、前述の領域Z1~Z9内の点の対(pt,pp)の数に関する前述の所定の閾値に達するまで減らす。
代替策として、コンピュータ20は、各領域Z1~Z9内の点の対(pt,pp)の数を、前述の領域Z1~Z9内の点の対(pt,pp)の数に関する前述の所定の閾値に達するまで選択し、例えば既定の持続時間が経過した後で点の対の選択を止める。従って、一部の領域は所定の閾値に対応する点の対(pt,pp)によって最大限まで埋められ、他の領域は、例えば撮像装置がそれらの他の領域内で既定の持続時間中により少ない人を捕捉したので、点の対(pt,pp)によってあまり埋められない。
図5aでは、図示の点の対(pt,pp)は、例えば10秒間にわたって撮像装置10によって取得される複数Nの画像i1~iNから生じ、図示の点pt、ppは人検出器11によって検出される人に対応する。
図5bでは、図示の点の対(pt,pp)は、各領域Z1~Z9がこの事例では2に等しい所定の閾値以下の点の対(pt,pp)の数を含むように、コンピュータ20によって選択された複数の点の対(pt,pp)を表す。
例えば領域Z1~Z9内の点の対(pt,pp)の数を所定の閾値以下の数まで制限するために点の対(pt,pp)を選択することはランダム又は疑似ランダムである。
例えば点の対(pt,pp)の数を所定の閾値以下の数まで制限するために点の対(pt,pp)を選択することは、領域内で可能な限り均一な点の対の分布を優先するものである。
例えば点の対(pt,pp)の数を所定の閾値以下の数まで制限するために点の対(pt,pp)を選択することは、画像内で地理的に近い画像座標を有する2つの点の対(pt,pp)について、2つの頭部点pt及び/又は2つの足点pp間の距離が所定の距離未満である場合、点の対(pt,pp)の1つを除去できるものである。
画像内で互いに過度に地理的に近い点の対(pt,pp)の冗長性又は疑似冗長性を回避するために、コンピュータは所定の期間、例えば100msから500msの期間の分だけ時間的に隔たったコンピュータによる撮像装置からの画像に対応する点の対(pt,pp)を選択することができる。
選択ステップ102は、複数の点の対(pt,pp)を選択するために、コンピュータ20が点の対(pt,pp)を前述の点の可視性の基準に基づいてフィルタする任意選択的なフィルタリングステップ101を含む。
例えば可視性の基準は、頭部点pt及び足点ppに関連し、人検出器11によって提供される可視性スコアに基づく。或る例示的実施形態によれば、人の頭部点pt又は足点ppに関連する可視性スコアの閾値未満では、対応する点の対(pt,pp)は複数の点の対の中に保持されない。
決定ステップ103では、人の足点ppの画像座標(xp,yp)に基づいて及び較正パラメータ(f,θ,c)に基づいて頭部点ptの推定画像座標(x’t,y’t)をコンピュータ20の二次元推定器21が決定する。
足点ppの画像座標(xp,yp)に基づいて頭部点ptの推定画像座標(x’t,y’t)を決定するために、推定器21は以下の推量を行う:
-撮像装置の環境の三次元の現実世界では人が全て同じ大きさであり、つまり全ての足-頭セグメントPTが同じ所定の高さHを有する。
-撮像装置の環境の三次元の現実世界では人が全て立っていて直立であり、つまり全ての足-頭セグメントPTが垂直である。
-撮像装置の環境の三次元の現実世界では人が全て同じ大きさであり、つまり全ての足-頭セグメントPTが同じ所定の高さHを有する。
-撮像装置の環境の三次元の現実世界では人が全て立っていて直立であり、つまり全ての足-頭セグメントPTが垂直である。
地球基準座標系及び画像基準系は図1に示されている。
画像基準系内の座標(x,y)を有する画像点は、較正パラメータ(f,θ,c)により、地球基準座標系内の座標(X,Y,Z)を有する実点に対応する。
コンピュータ20の推定器21によって行われる推量を使用し、装置10の視野内のどの人も高さHの垂直な足-頭セグメントPTを有する。
従って、地球基準座標系内の人について
Xp=Xt、Zp=Zt、Yp=0、及びYt=H
と書くことができる。
Xp=Xt、Zp=Zt、Yp=0、及びYt=H
と書くことができる。
従って頭部点(pt)の画像座標(xt,yt)及び足点(pp)の画像座標(xp,yp)は、その実座標(Xt,Yt,Zt)、(Xp,Yp,Zp)に基づいて及び較正パラメータ(f,θ,c)に基づいて以下のように表すことができる:
これらの方程式に関連する単位は以下の通りである:
-人の平均身長Hはセンチメートル単位、
-焦点距離fはピクセル単位、
-角度θはラジアン単位、
-高さcはセンチメートル単位。
-人の平均身長Hはセンチメートル単位、
-焦点距離fはピクセル単位、
-角度θはラジアン単位、
-高さcはセンチメートル単位。
高さHは調節されるべきパラメータである。高さHは人の平均身長を表す。
次にコンピュータ20のミニマイザ22が、二次元推定器21によって推定される頭部点(pt)の前述の推定画像座標(x’t,y’t)と対応する頭部点(pt)の前述の画像座標(xt,yt)との間の誤差の最小化を行うことによって較正パラメータ(f,θ,c)を決定する。
例えば高さHは、人の平均的な大きさに対応する所定値である160cmに固定される。
誤差最小化は、例えば推定器21によって推定される頭部点ptの前述の推定画像座標(x’t,y’t)と、対応する頭部点ptの前述の画像座標(xt,yt)との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む。
有利には、誤差最小化は所定の離散化領域にわたる較正パラメータ(f,θ,c)の全数探索を含む。
或る例示的実施形態によれば、この領域は次の3つの範囲、f∈[0.1・hi,6・hi]、
、c∈[50,4500]によって定められ、但しhiはピクセル単位で表される画像の高さであり、各範囲は範囲のそれぞれにわたって均一に分布する50個の値に離散化されている。
従って、較正パラメータ(f,θ,c)の三つ組の125 000の値が確認され、二次元推定器によって推定される頭部点ptの推定画像座標(x’t,y’t)と頭部点ptの画像座標(xt,yt)との間の誤差を最小化する較正パラメータ(f,θ,c)が、コンピュータ20のミニマイザ22によって保持されるものである。
平均二乗誤差関数を最小化する回帰アルゴリズムを使用する場合、平均二乗誤差関数を最小化する較正パラメータ(f,θ,c)が、コンピュータ20のミニマイザ22によって保持されるものである。
誤差最小化は例えば勾配降下法を使用することを含む。
具体的には、勾配降下法がL-BFGS-Bアルゴリズムに基づく。
有利には、誤差最小化は上記で提案した2つの例を組み合わせる。従って誤差最小化は、所定の離散化領域にわたる中間較正パラメータ(fi,θi,ci)の全数探索を含む第1のステップ103a、及び第1のステップから生じる前述の中間較正パラメータ(fi,θi,ci)に初期設定される勾配降下法を使用することを含む第2のステップ103bという2つのステップを含む。
本発明の方法に必要な画像の数はコンピュータの選択方法によって決まる。
本発明の方法によれば及び第1の方法によれば、コンピュータ20は撮像装置10によって画像が取得される既定の取得期間に対応する幾つかの画像i1~iNに関係する点の中から複数の点の対(pt,pp)を選択する。
撮像装置10によって画像が取得されるときコンピュータ20によって点の対(pt,pp)が選択される第2の方法によれば、幾つかの画像i1~iNは所定値に関して到達する幾つかの選択された点の対(pt,pp)に全体的に又は画像内の領域Z1~Z9に関して対応する。
10 撮像装置
11 人検出器
20 コンピュータ
21 推定器
22 ミニマイザ
23 セレクタ
24 抽出器
11 人検出器
20 コンピュータ
21 推定器
22 ミニマイザ
23 セレクタ
24 抽出器
Claims (10)
- 撮像装置(10)によって取得され、複数の人を含む少なくとも1つの画像(i,i1~iN)又は様々な瞬間において前記撮像装置(10)によって取得され、少なくとも1人の人を含む複数の画像(i,i1~iN)に基づいて前記撮像装置(10)用の較正パラメータ(f,θ,c)をコンピュータ(20)によって決定するための方法であって、
-前記少なくとも1つの画像(i,i1~iN)内の複数の点の対(pt,pp)を前記コンピュータ(20)によって選択するステップ(102)であって、点の各対(pt,pp)は人の頭に関連する頭部点(pt)及び前記人の足に関連する足点(pp)を含み、点の対(pt,pp)の各点(pt、pp)は画像横座標(xt,xp)及び画像縦座標(yt,yp)を含む画像座標によって前記少なくとも1つの画像(i,i1~iN)内で参照され、点の各対(pt,pp)は前記撮像装置(10)の環境の三次元の現実世界における足-頭セグメント(PT)を定める、選択するステップ(102)と、
-較正パラメータ(f,θ,c)を前記コンピュータ(20)によって決定するステップ(103)であって、前記コンピュータ(20)は前記撮像装置の前記環境の前記三次元の現実世界において全ての足-頭セグメントが同じ所定の高さ(H)を有し垂直だという推量により、人の前記足点(pp)の前記画像縦座標(yp)に基づいて及び前記較正パラメータ(f,θ,c)に基づいて頭部点(pt)の推定画像縦座標(y’t)を決定可能な推定器(21)を含む、決定するステップ(103)と
を含み、
前記推定器(21)は二次元であり、前記足点(pp)の前記画像座標(xp,yp)に基づいて頭部点(pt)の推定画像横座標(x’t)を決定することが更にでき、前記較正パラメータ(f,θ,c)を決定することは前記二次元推定器によって推定される前記頭部点(pt)の前記推定画像座標(x’t,y’t)と前記対応する頭部点(pt)の前記画像座標(xt,yt)との間の誤差を最小化することを含むことを特徴とする、
較正パラメータ(f,θ,c)を決定するための方法。 - 前記誤差最小化が、前記推定器(21)によって推定される前記頭部点(pt)の前記推定画像座標(x’t,y’t)と、前記対応する頭部点(pt)の前記画像座標(xt,yt)との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む、請求項1又は2に記載の較正パラメータ(f,θ,c)を決定するための方法。
- 前記誤差最小化が所定の離散化領域にわたる前記較正パラメータ(f,θ,c)の全数探索を含む、請求項1乃至3の何れか一項に記載の較正パラメータ(f,θ,c)を決定するための方法。
- 前記誤差最小化が勾配降下法を使用することを含む、請求項1乃至4の何れか一項に記載の較正パラメータ(f,θ,c)を決定するための方法。
- 前記誤差最小化が、所定の離散化領域にわたる中間較正パラメータ(fi,θi,ci)の全数探索を含む第1のステップ(103a)、及び前記第1のステップから生じる前記中間較正パラメータ(fi,θi,ci)に初期設定される勾配降下法を使用することを含む第2のステップ(103b)という2つのステップを含む、請求項1乃至3の何れか一項に記載の較正パラメータ(f,θ,c)を決定するための方法。
- 前記選択ステップは、前記複数の点の対(pt,pp)を選択するために前記コンピュータ(20)が前記点の可視性の基準に基づいて前記複数の点の対(pt,pp)のうちの点の対(pt,pp)をフィルタするフィルタリングステップ(101)を更に含む、請求項1乃至6の何れか一項に記載の較正パラメータを決定するための方法。
- 前記撮像装置(10)によって取得される前記少なくとも1つの画像(i,i1~iN)が複数の領域(Z1~Z9)に分割され、各領域(Z1~Z9)が所定の閾値以下の点の対(pt,pp)の数を含むように、前記選択ステップ(102)内で前記複数の点の対(pt,pp)が前記コンピュータ(20)によって選択されている、請求項1乃至7の何れか一項に記載の較正パラメータを決定するための方法。
- 前記複数の点の対(pt,pp)は前記撮像装置(10)によって取得される複数の画像から生じ、前記画像の数は前記撮像装置(10)によって画像が記録される既定の期間に対応する、請求項1乃至8の何れか一項に記載の較正パラメータを決定するための方法。
- コンピュータによって実行されるとき、請求項1乃至9の何れか一項に記載の較正パラメータを決定するための方法のステップを実装するプログラム命令を含む、コンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FRFR2111700 | 2021-11-04 | ||
FR2111700A FR3128806B1 (fr) | 2021-11-04 | 2021-11-04 | Procédé de détermination de paramètres de calibration d’un dispositif de prise de vue et produit programme d’ordinateur associé |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023070142A true JP2023070142A (ja) | 2023-05-18 |
Family
ID=80787251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022176108A Pending JP2023070142A (ja) | 2021-11-04 | 2022-11-02 | 撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230136084A1 (ja) |
EP (1) | EP4177839A1 (ja) |
JP (1) | JP2023070142A (ja) |
FR (1) | FR3128806B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI798601B (zh) * | 2020-11-27 | 2023-04-11 | 晶睿通訊股份有限公司 | 地面起伏偵測方法及其監控攝影機 |
-
2021
- 2021-11-04 FR FR2111700A patent/FR3128806B1/fr active Active
-
2022
- 2022-10-07 EP EP22200396.4A patent/EP4177839A1/fr active Pending
- 2022-10-28 US US18/050,744 patent/US20230136084A1/en active Pending
- 2022-11-02 JP JP2022176108A patent/JP2023070142A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4177839A1 (fr) | 2023-05-10 |
FR3128806A1 (fr) | 2023-05-05 |
FR3128806B1 (fr) | 2024-04-12 |
US20230136084A1 (en) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109151439B (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
US9189859B2 (en) | 3D image generation | |
US9710919B2 (en) | Image-based surface tracking | |
US7342669B2 (en) | Three-dimensional shape measuring method and its device | |
JPH01167610A (ja) | 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 | |
US20090208063A1 (en) | Dynamic calibration method for single and multiple vedio capture devices | |
CN112967337B (zh) | 双足机器人控制方法、装置以及双足机器人 | |
CN110415278A (zh) | 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法 | |
JP2023070142A (ja) | 撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品 | |
CN112862966B (zh) | 地表三维模型构建方法、装置、设备及存储介质 | |
CN111879414A (zh) | 一种红外测温的方法、装置、计算机设备和介质 | |
CN112132971B (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
JPH1144533A (ja) | 先行車両検出装置 | |
US20210055420A1 (en) | Base for spherical laser scanner and method for three-dimensional measurement of an area | |
CN116778094B (zh) | 一种基于优选视角拍摄的建筑物变形监测方法及装置 | |
KR101032098B1 (ko) | 열적외선을 이용한 환경독립형 교통검지시스템 | |
US20230045287A1 (en) | A method and system for generating a colored tridimensional map | |
KR101649181B1 (ko) | 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법 | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
Ascensão et al. | Distance measurement system for medical applications based on the NanEye stereo camera | |
JP2022099120A5 (ja) | ||
CN113538477B (zh) | 平面位姿的获取方法、装置、电子设备及存储介质 | |
CN114422715B (zh) | 一种线激光相机的自主调节方法及设备 | |
WO2018087545A1 (en) | Object location technique | |
CN118158528A (zh) | 基于地理分辨率的焦距控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |