JP2005258954A - 動物体検出装置、及び動物体検出方法 - Google Patents
動物体検出装置、及び動物体検出方法 Download PDFInfo
- Publication number
- JP2005258954A JP2005258954A JP2004071570A JP2004071570A JP2005258954A JP 2005258954 A JP2005258954 A JP 2005258954A JP 2004071570 A JP2004071570 A JP 2004071570A JP 2004071570 A JP2004071570 A JP 2004071570A JP 2005258954 A JP2005258954 A JP 2005258954A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- camera
- parallax
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】 複数のカメラにより撮影される被写界の画像から、撮影環境の影響を極力低減して、動物体を精度良く検出することである。
【解決手段】 本発明に係る動物体検出装置191は、時間的差分算出部19bにより、ステレオペアとなる2台のカメラ間に共通の撮影領域における時間的な差分画像から連結領域を抽出する。併せて、動物体検出装置191は、初期差分算出部19cにより、ステレオペアとなる2台のカメラ間に共通の撮影領域における参照視差画像(リファレンス画像)との差分画像から連結領域を抽出する。動物体検出部19dは、抽出された2つの上記連結領域のうち、少なくとも一方の領域の画素値が閾値を超える場合には、動物体を検出する。
【選択図】 図3
【解決手段】 本発明に係る動物体検出装置191は、時間的差分算出部19bにより、ステレオペアとなる2台のカメラ間に共通の撮影領域における時間的な差分画像から連結領域を抽出する。併せて、動物体検出装置191は、初期差分算出部19cにより、ステレオペアとなる2台のカメラ間に共通の撮影領域における参照視差画像(リファレンス画像)との差分画像から連結領域を抽出する。動物体検出部19dは、抽出された2つの上記連結領域のうち、少なくとも一方の領域の画素値が閾値を超える場合には、動物体を検出する。
【選択図】 図3
Description
本発明は、被写界に存在する動物体を撮影画像から検出する技術に関する。
従来、被写界を撮影した画像の中から、そこに存在する動物体を認識する技術が提案されている。例えば、特許文献1には、撮像画像と撮像方向の情報とを予め蓄積しておき、当該情報と現在の撮像方向の情報とから生成された予測画像を現在の撮影画像と比較して、その差分画像から移動体を検出する方法が開示されている。かかる方法では、可動式の雲台により撮像手段の撮像方向を変化させることで視差を低減し、静止物体の誤検出を回避する。
特開平9−91438号公報
しかしながら、上記従来技術においては、視差を低減するためにカメラ(撮像手段)自体の撮像方向を動的に制御するので、この制御に伴う処理負荷や処理時間の発生が懸念される。また、広い被写界における動体検出では、複数のカメラを設置しておき、動物体の移動を追従するような制御も行われることから、視差の低減のみを目的とした撮像方向の制御は、実施上あまり現実的とはいえない。更に、更新型背景画像との差分情報を利用した従来の動物体検出方法は、影などの照明条件の変動に伴って背景の静止物体を動物体と誤認識する、あるいは、静止状態にある動物体の検出漏れが発生する、といった懸念がある。これらは何れも、動物体の検出精度を低下させる要因となっていた。
そこで、本発明の課題は、複数のカメラにより撮影される被写界の画像から、撮影環境の影響を極力低減して、動物体を精度良く検出することである。
上記課題を解決するために、本発明に係る動物体検出装置は、第1のカメラによる撮影画像と、当該第1のカメラとステレオペアとなる第2のカメラによる撮影画像が射影変換された画像との視差を示す視差画像を算出する視差算出手段と、前記視差算出手段により算出された視差画像と、初期(動物体検出処理の試行前)の参照視差画像との差分を算出する初期差分算出手段と、前記初期差分算出手段による算出結果が閾値を超えた場合に、当該閾値を超えた算出結果に対応する画像領域を動物体として検出する検出手段とを備える。
本発明に係る動物体検出方法は、第1のカメラによる撮影画像と、当該第1のカメラとステレオペアとなる第2のカメラによる撮影画像が射影変換された画像との視差を示す視差画像を算出する視差算出ステップと、前記視差算出ステップにて算出された視差画像と、初期(動物体検出処理の試行前)の参照視差画像との差分を算出する初期差分算出ステップと、前記初期差分算出ステップにおける算出結果が閾値を超えた場合に、当該閾値を超えた算出結果に対応する画像領域を動物体として検出する検出ステップとを含む。
これらの発明によれば、動物体検出装置は、奥行きを有する背景物の視差画像の初期値を参照視差画像(リファレンス画像)として予め登録しておく。ステレオペアとなる2台のカメラ間における視差を画像化した視差画像が算出されると、この視差画像と上記参照視差画像との差分が監視される。監視の結果、この差分が閾値を超える程度に検知された場合には、視差画像が変化しているものと判断できるので、動物体検出装置は、その差分に相当する画像領域を動物体と認識する。
このように、動物体の検出に際しては、奥行きのない物(影や光、壁面など)の存在が反映されない参照視差画像が参照されるので、照明条件の変動の影響を受けにくい。更に、動物体の検出に際して、参照視差画像が参照されるので、初期(参照視差画像の取得時)に存在せず、かつ、奥行きのある物の存在は、差分画像に確実に反映される。したがって、動物体が一箇所に長時間停留した場合であっても、背景画像と共に動物体が静止物体と誤認される現象(いわゆる、画像の溶け込み)が起きにくい。つまり撮影環境の影響を抑制できるので、動物体を精度良く検出することが可能となる。
本発明に係る動物体検出装置においては、前記視差算出手段により算出された視差画像の時間的な差分を算出する時間的差分算出手段を更に備え、前記検出手段は、前記時間的差分算出手段による算出結果と、前記初期差分算出手段による算出結果との少なくとも一方が閾値を超えた場合に、当該閾値を超えた算出結果に対応する画像領域を動物体として検出するものとしてもよい。
本発明によれば、ステレオペアとなる2台のカメラ間における視差を画像化した視差画像が算出されると、この視差画像と参照視差画像との差分が監視される。これに併せて、視差画像の単位時間における経時的な差分も監視される。監視の結果、何れか一方若しくは双方の差分が閾値を超える程度に検知された場合には、動物体検出装置は、視差画像が変化しているものと判断し、その差分に相当する画像領域を動物体と認識する。すなわち、動物体の検出に際して、参照視差画像との差異のみならず、視差画像自体の経時的変化の有無も同時に判定されることにより、異なる二種類の動物体検出手法が相互に補完される。その結果、より精確な動物体検出が実現される。
本発明によれば、複数のカメラにより撮影される被写界の画像から、撮影環境の影響を極力低減して、動物体を精度良く検出することが可能となる。
以下、例示のみの為に添付された図面を参照しながら、本発明の一実施形態について説明する。まず、本実施の形態における画像処理システム1の構成について説明する。図1に示すように、画像処理システム1は、画像処理装置10(動物体検出装置に対応)と、被写界を同一とする5台のカメラC1〜C5とを備える。更に、画像処理装置10は、機能的な構成要素として、視者情報入力部11と、撮影環境設定部12と、視者位置特定部13(特定手段に対応)と、視者位置類似性演算部14(算出手段に対応)と、カメラ選択部15(選択手段に対応)と、任意視点画像生成部16(生成手段に対応)と、画像平滑化部17(画像処理手段に対応)と、キャリブレーション部18と、動物体自動追従部19とを備える。これら各部はバスを介して接続されている。
以下、画像処理システム1の各構成要素について詳細に説明する。
カメラC1〜C5は、各カメラに固有の撮影方向及び視野角を有し、動物体やその背景を含む被写界を撮影する。撮影された被写界の画像は、後述の任意視点画像生成部16に出力された後、所定の処理が施された提示画像としてユーザに提供される。カメラC1〜C5は、魚眼カメラ、ピンホールカメラ、全方位カメラなど、その種類を限定するものではないが、一度に獲得可能な撮像範囲を広くする観点から、魚眼レンズを搭載した広角カメラを使用することが望ましい。
カメラC1〜C5は、各カメラに固有の撮影方向及び視野角を有し、動物体やその背景を含む被写界を撮影する。撮影された被写界の画像は、後述の任意視点画像生成部16に出力された後、所定の処理が施された提示画像としてユーザに提供される。カメラC1〜C5は、魚眼カメラ、ピンホールカメラ、全方位カメラなど、その種類を限定するものではないが、一度に獲得可能な撮像範囲を広くする観点から、魚眼レンズを搭載した広角カメラを使用することが望ましい。
視者情報入力部11は、被写界に存在するユーザに関する情報を設定する。ユーザに関する情報とは、例えばユーザの位置や視線方向である。視者情報入力部11は、必要に応じて、動物体自動追従部19により追従される動物体の位置及び移動方向を視者情報として使用する。ユーザは、実存するユーザに限らず、仮想的なユーザであってもよい。また、被写界Aと外界との境界面に関しても、壁面に限らず、仮想面であってもよい。視者情報入力部11をネットワーク経由で外部機器と接続することで、遠隔監視(テレモニタリング)が実現される。
撮影環境設定部12は、ユーザによる指示操作に従って、撮影環境に関する情報の設定を行う。例えば、撮影環境設定部12には、カメラC1〜C5の配設された位置に関する情報が登録される。また、高さH0における被写界Aの断面がレイアウトマップとして定義付けされた情報が登録される。
本実施の形態では、図2に示すような形状の被写界Aを想定する。図2は、x軸とy軸とにより規定されるxy平面による被写界Aの断面図である。カメラC1〜C5は、被写界Aの一部を撮影可能な位置にそれぞれ配置されており、カメラC1〜C5の何れによっても撮影不能な位置は被写界A内に存在しないもとする。カメラC1の位置座標をC1(c1x,c1y)とし、以下同様に、カメラC2〜C5の位置座標をそれぞれC2(c2x,c2y)〜C5(c5x,c5y)とする。また、各カメラC1〜C5の光軸中心ベクトルをそれぞれベクトルe1⊥〜e5⊥とする。更に、視者の位置座標をP(x,y)、視者が視点Q(X,Y)を見ているときの光軸中心ベクトルに対する角度をαとする。このとき、△CkPQの面積は、式(1)により表される。
視者位置特定部13は、視者情報入力部11による設定内容を参照して、被写界Aにおける視者の位置P(x,y)を特定する。
視者位置類似性演算部14は、撮影環境設定部12により予め登録されている各カメラC1〜C5の位置座標C1(c1x,c1y)〜C5(c5x,c5y)の中から、視点Q(X,Y)に関して、現時点における視者位置P(x,y)と類似性の高いカメラを2台選択する。具体的な処理内容に関しては、動作説明において後述するが、視者位置類似性演算部14は、視者位置特定部13により特定された視者位置Pとカメラの位置(例えばC1,C2)と視点Qとが形成する三角形の面積、及び、カメラの光軸中心ベクトル(例えばe1⊥,e2⊥)とベクトルPQとの為す角度を算出する。
視者位置類似性演算部14は、撮影環境設定部12により予め登録されている各カメラC1〜C5の位置座標C1(c1x,c1y)〜C5(c5x,c5y)の中から、視点Q(X,Y)に関して、現時点における視者位置P(x,y)と類似性の高いカメラを2台選択する。具体的な処理内容に関しては、動作説明において後述するが、視者位置類似性演算部14は、視者位置特定部13により特定された視者位置Pとカメラの位置(例えばC1,C2)と視点Qとが形成する三角形の面積、及び、カメラの光軸中心ベクトル(例えばe1⊥,e2⊥)とベクトルPQとの為す角度を算出する。
カメラ選択部15は、視者位置類似性演算部14による演算結果から、最小二乗法を用いて、視点Qに関する視者位置Pとの類似性の高い2台のカメラ(例えばC1,C2)を選択する。選択された2台のカメラは、視点Qを中心として被写界Aを撮影し、任意視点画像生成部16に撮影画像を出力する。
任意視点画像生成部16は、提示画像の生成に際して、選択された2台のカメラによる撮影画像を個々に平面展開し、より画質の高い方のカメラによる撮影画像を優先的に使用する。画質の高い方のカメラとは、例えば、撮影画像の解像度が高いカメラである。但し、一方のカメラの視野角にオクルージョンが発生する場合には、任意視点画像生成部16は、画質の低いカメラの撮影画像により、死角部分を補う(合成する)こともできる。
画像平滑化部17は、任意視点画像生成部16により生成された画像に平滑化処理(スムージング)を施す。このとき、対象画像が、解像度の異なる複数の撮影画像を組み合わせたものである場合には、画像平滑化部17は、その解像度に応じた平滑化を行う。すなわち、解像度の低い画素に関しては、自画素の周辺画素(大きい画素)による平滑化を行うと共に、解像度の高い画素に関しては、当該画素の周辺画素(小さい画素)による平滑化を行う。これにより、高解像度部分の画質を劣化させることなく、画素の輪郭が消失した滑らかな提示画像を得る。
キャリブレーション部18は、補正変換用行列算出部181と基礎行列算出部182とを有する。補正変換用行列算出部181は、カメラC1〜C5により撮影された画像のうち、魚眼展開画像面(CCD(Charge-Coupled Device)面)に射影されない領域と、射影される領域との境界位置(境界特徴点)の座標を算出する。その後、当該座標から推定された、魚眼展開画像領域の輪郭の曲線係数から、補正変換用行列を算出し、この行列を用いて撮影画像のキャリブレーションを行う。基礎行列算出部182は、2台の魚眼カメラの視線方向を変化させて複数の境界特徴点を同時に撮影することで、同様の手法により、複数のカメラを利用したキャリブレーションを行う。
動物体自動追従部19は、動物体検出装置191と動物体撮影用データ算出部192とを有する。更に、図3に示すように、動物体検出装置191は、視差算出部19aと、時間的差分算出部19bと、初期差分算出部19cと、動物体検出部19dとを備える。これら各部はバスを介して接続されている。
視差算出部19aは、ステレオペアとなる2台のカメラ(例えばC1,C2)を選択した上で、一方のカメラC1による撮影画像B(後述の図14のS57参照)を取得する。そして、他方のカメラC2による撮影画像Aを射影変換することで、カメラC1と視点を同一とする撮影画像B’を算出し、撮影画像Bと撮影画像B’との間の視差を示す視差画像を求める。
時間的差分算出部19bは、視差算出部19aにより算出された視差画像の単位時間における差分画像TimeDiff(x,y)を算出する。また、2台のカメラ(例えばC1,C2)間に共通の撮影領域における時間的な差分画像TimeDiff(x,y)から連結領域STiを抽出する。これにより、視差画像の時間的な変化量を知る。
初期差分算出部19cは、視差算出部19aにより算出された視差画像の参照視差画像(リファレンス画像)に対する差分画像RefDiff(x,y)を、CAB(x,y,t)−Cref(x,y)により算出する。また、2台のカメラ(例えばC1,C2)間に共通の撮影領域における参照視差画像との差分画像RefDiff(x,y)に対して、二値化処理及び膨張縮退処理を施し、連結領域SRiを抽出する。これにより、参照視差画像の変化量を知る。
動物体検出部19dは、時間的差分算出部19bにより抽出された連結領域STiと、初期差分算出部19cにより抽出された連結領域SRiとのうち、画素値が閾値を超える領域の有無を判定する。そして、閾値を超える領域が有る場合には、その連結領域STiまたはSRiに外接する矩形領域Riを抽出し、この矩形領域Riの各頂点とカメラの中心点とを結んだ方向ベクトルの囲む画像領域を動物体と認識する。双方の連結領域に関して画素値が閾値を超えた場合には、連結領域STiを、動物体の存在領域の認識に優先的に使用する。
動物体撮影用データ算出部192は、各ステレオペアに対応する矩形領域の頂点とカメラの中心点とを結ぶベクトルの交点から、動物体が存在する画像領域を推定する。更に、この領域に外接する矩形領域の重心を算出することで、画像の中心に動物体を捉えることを可能とする。動物体撮影用データ算出部192は、上記矩形領域の重心の時間的変化を動物体の移動ベクトルとして抽出することで、これと反対方向、すなわち動物体に対峙する方向からの撮影を可能とする。
次に、画像処理システム1の動作、併せて、本発明に係る動物体検出方法を構成する各ステップについて説明する。まず、図2及び図4を参照しながら、カメラ選択部15により実行されるカメラ選択処理について説明する。
説明の前提として、本実施の形態におけるカメラ選択処理においては、図2に示した状況(被写界A、カメラ位置C1〜C5、視者位置P、視点Q)を想定し、カメラ選択部15は、視者位置Pから視点Qに対する視線に最も近いカメラの選択を試行するものとする。
説明の前提として、本実施の形態におけるカメラ選択処理においては、図2に示した状況(被写界A、カメラ位置C1〜C5、視者位置P、視点Q)を想定し、カメラ選択部15は、視者位置Pから視点Qに対する視線に最も近いカメラの選択を試行するものとする。
図4のS1では、撮影環境設定部12により、カメラ情報が定義される。カメラ情報としては、位置Ck(ckx,cky)と光軸中心ベクトルek⊥とが定義される。但し、本実施の形態では、被写界Aにおいて5台のカメラの存在を仮定しているので、kは1〜5の整数である。
続いてS2では、撮影環境設定部12により、高さH0における被写界Aの平面図がレイアウトマップとして定義される。ここで、高さH0は、地面から光軸中心ベクトルek⊥までの距離であり、固定値である。このレイアウトマップは、図2に示したように、外界との境界線が直線となるように定義される。
S3では、視者情報入力部11により、遠隔サイトにおける視者の仮想位置P(x,y)が入力される。仮想位置Pの視点方向水平面角をαとし、仰角をβとする。
撮影環境及び視者情報が確定すると、視者位置類似性演算部14により、視者位置Pを通りek⊥に対する傾きがαの直線と、レイアウトマップの境界線との交点Q(X,Y)が算出される(S4)。
撮影環境及び視者情報が確定すると、視者位置類似性演算部14により、視者位置Pを通りek⊥に対する傾きがαの直線と、レイアウトマップの境界線との交点Q(X,Y)が算出される(S4)。
S5では、視者位置類似性演算部14は、各カメラの位置Ckに関して、下記評価式E(Ck)を算出する。なお、λは、カメラCkの解像度特性を表す定数であり、魚眼カメラの場合には、例えばθ若しくはsinθが使用される。
E(Ck)=(△CkPQの面積)2+λ(ベクトルek⊥とベクトルCkQとのなす角θ)2
E(Ck)=(△CkPQの面積)2+λ(ベクトルek⊥とベクトルCkQとのなす角θ)2
S6では、カメラ選択部15が、S5における演算結果を基に、E(Ck)を最小にするものから順に2台のカメラを選択する。上記想定下では、kmin1=1とkmin2=2とが算出され、視者位置に最も類似性の高いカメラとしてC1が、二番目に類似性の高いカメラとしてC2が選択される。
カメラ選択部15は、S2で定義されたレイアウトマップの表示制御機能を有しており、S6で選択された2台のカメラと視者情報(視点や視野角)とをレイアウトマップ上に表示させる(S7)。これにより、ユーザは、配設された5台のカメラのうち、画像の提示に使用されているカメラ、及び視者に関する情報を簡易迅速に把握することができる。
カメラ選択部15は、ユーザによる終了指示を検知すると(S8;YES)、カメラ選択処理を終了させる。使用されるカメラや視点は、視者位置の移動に伴って経時的に変化するが、画像処理装置10が、上述した一連のカメラ選択処理を繰り返し実行することで、常に最新の情報をユーザに提示することができる。
続いて、図5〜図8を参照しながら、任意視点画像生成部16が、カメラより入力された撮影画像から提示画像を生成する処理について説明する。本任意視点画像生成処理においては、オクルージョンの発生を想定し、これを解決する手法についても併せて説明する。
本実施の形態では、高さH0における被写界Aのxy平面及びカメラC1〜C5の配設位置として、図5に示す状況を想定する。図5においては、視者の位置Pと視点Qとを三次元として捉え、それぞれの座標をP(x,y,0),Q(qx,qy,qz)とする。また、図中水平方向にx軸を規定し、垂直方向にy軸を規定した場合に、ベクトルPQがx軸と為す水平角度をθpとし、視者の視線水平角(z軸回り)をα、視野水平角幅をΔα、視者の視線仰角(y軸回り)をβ、視野仰角幅をΔβとする。このとき、θpは、図5に示す式(2)を満たす。また、PQ間の距離をdとすると、θpとqzとの間には、下記の式(3)に示す関係が成り立つ。
なお、ΔθC1は、視者の視野角に応じて決定されたカメラC1の視野角である。RM2,RM3は、カメラC2の光線と境界壁との交点である。θC1は、視点を点Qにおいた時のカメラ視線方向角である。S1〜S2は、オクルージョンの発生範囲を示す。ΔθC2は、オクルージョンの発生範囲に応じて決定されたカメラC2の視野角である。S1〜S2〜S3〜S4は、仮想的な展開画像面を示す。
図6のS11,S12では、撮影環境設定部12により、カメラ選択処理と同様の手法でカメラ情報が定義される。その結果、以降のカメラ情報として、位置Ck(ckx,cky)と光軸中心ベクトルek⊥とが使用され、高さH0における被写界Aの平面図がレイアウトマップとして使用される。
S13では、視者情報入力部11により、視者の仮想位置P(x,y)が入力される。
S13では、視者情報入力部11により、視者の仮想位置P(x,y)が入力される。
S14ではまず、任意視点画像生成部16は、視者位置座標Pを通りek⊥に対する傾きをαとする直線と、上記レイアウトマップの境界線との、交点であるQv(qvx,qvy,qvz)の座標を算出する。同様に、任意視点画像生成部16は、視者位置座標Pを通りek⊥に対する傾きをα±Δαとする直線と、上記レイアウトマップの境界線との、交点であるRs(qrsx,qrsy,qrsz),Re(qrex,qrey,qrez)の座標をそれぞれ算出する。
S15では、任意視点画像生成部16は、S14で算出された3つの座標とカメラ座標C1とから、直線C1Q,C1Rs,C1Reを算出し、これらの直線とレイアウトマップの境界線との全ての交点Rtmp(図示せず)の座標を算出する。
S16では、φpの初期値が設定される。φpは、ベクトルPQがx軸と為す仰角であり(図7参照)、φpとQ(qx,qy,qz)との間には、図7に示す条件式(4)が成立する。ここで設定されたφpは、視者の視野角(β−Δβ≦φp≦β+Δβ)の範囲内で、図8のS24をループ端として、Δφpの刻み幅で加算される。同様に、S17では、上記条件式(2)及び関係式(3)を満たすθpの初期値が設定された後、図8のS25をループ端としてΔθp単位で加算される。θpは、固定視野角(α−Δα≦θp≦α+Δα)の範囲内で更新される。
S18では、任意視点画像生成部16は、視者位置座標Pを通りベクトルek⊥に対する傾きがθpである直線と、上記レイアウトマップ上の対象となる(本実施の形態では視点側の)境界線との、交点であるQp_tmp(図示せず)の座標を算出する。更に、算出されたQp_tmpとカメラ位置C1とから|C1Qp_tmp|の最小値Qpが算出される(S19)。
図8に移り、S20では、任意視点画像生成部16は、S19で算出されたQpから、直線C1Qpと、レイアウトマップ上で対象となる境界線との交点であるQc1_tmpを算出する。同様の処理により、直線C2Qpと、境界線との交点であるQc2_tmpが算出される。続いて、任意視点画像生成部16は、算出されたQc1_tmpとカメラ位置C1とから|C1Qc1_tmp|の最小値Qc1を算出し、Qc2_tmpとカメラ位置C2とから|C2Qc2_tmp|の最小値Qc2を算出する(S21)。
S22では、任意視点画像生成部16は、S21で算出されたQc1が、S19で算出されたQpと一致するか否かを判定する。当該判定の結果、Qc1=Qpである場合には(S22;YES)、任意視点画像生成部16は、魚眼展開画像上においてQc1に対応する画素の値を、任意視点画像の画素値として抽出する(S23)。S17〜S23の一連の処理は、θpが上限値(α+Δα)に達するまで各θpに関して順次実行され、更に、S16〜S24の一連の処理は、φpが上限値(β+Δβ)に達するまで各φpに関して順次実行される。その結果、視者位置Pからの視点Qに対する画像が得られる。
一方、S22における判定の結果、Qc1=Qpでない場合には(S22;NO)、オクルージョンが発生しているものと判断できるため、カメラC2による撮影画像により、カメラC1の撮影画像を補完することが望ましい。したがって、任意視点画像生成部16は、Qc2とQpとの同一性を判定することで、Qc2に対応する画素値による撮影画像の補完が可能であるか否かの判定を行う(S25)。判定の結果、Qc2=Qpである場合には(S26;YES)、任意視点画像生成部16は、魚眼展開画像上においてQc2に対応する画素の値を、任意視点画像の画素値として抽出する(S27)。抽出された画素値は、カメラC1から死角となった被写界の一部分の画像生成に使用される。その後は、上述したS24以降の処理を実行する。
ここで、図9は、S23,S27において実行される処理、すなわち実空間上の点から、これに対応する魚眼展開画像面上の点を算出する手法を説明するための図である。図9に示すように、xy平面上に魚眼展開画像面が規定され、魚眼展開画像面の中心線にz軸が規定されている。なお、座標系の取り方と魚眼展開画像にはキャリブレーションが必要であるが、その方法に関しては後述する。図9において、魚眼レンズ上の任意の点をq(X,Y,Z)とし、射影後における魚眼展開画像面上の任意の点をp(ximage,yimage,0)とする。ここで、ベクトルqがz軸となす角度(入射角)をθとし、魚眼展開画像面上でベクトルpがx軸となす角度をφとすると、θとX,Y,Zとの間には式(5)が成立する。また、φとX,Yとの間には式(6)が成立する。
かかる条件下において焦点距離fを用いると、正射影方式によっては、p(ximage,yimage,0)が以下の式(7)により特定される。焦点距離fとしては、例えば、魚眼展開画像の垂直方向の解像度を使用できる。
また、等距離射影方式によっては、p(ximage,yimage,0)は以下の式(8)により特定される。
図8に戻り、S26における判定の結果、Qc2=Qpでない場合には(S26;NO)、任意視点画像生成部16は、カメラC2を使用してもオクルージョンを回避できないものと判断し、オクルージョン不可避の値を任意視点映像の画素値に代入する。その後は、S24以降の処理を実行する。
S16〜S25の一連の処理が終了すると、画像平滑化部17による平滑化処理(スムージング)が実行される(S29)。画像平滑化部17は、周知慣用の画像処理技術であるGaussianフィルタを用いて、上記得られた画像を平滑化する。得られた画像は、部分によっては、オクルージョンを回避した結果、他の画像部分よりも解像度が低くなっている。このため、全ての画素に関して、合成部分に依存しない均一なフィルタ処理を実行すると、その結果、高解像度であった部分まで他の低い解像度の部分の画質と同一になってしまう。そこで、画像平滑化部17は、処理の特長として、上記画像を構成する各画素の周辺画素に応じたフィルタリングを行う。換言すれば、広角カメラの撮影画像を平面展開した際の解像度特性を考慮したフィルタ形状の平滑化処理を施す。これにより、高解像度部分の画質を活かしつつ、画素間で滑らかな提示画像の生成を可能とする。
任意視点画像生成処理は、ユーザによる指示があると終了する(S30)。
任意視点画像生成処理は、ユーザによる指示があると終了する(S30)。
以上説明したように、本発明に係る画像処理装置10は、主要な機能の1つとして、最適カメラ選択機能を有する。最適カメラ選択機能によれば、画像処理装置10は、カメラ位置Ck(kは1〜5の自然数)と視者位置Pと視点Qとが形成する三角形の面積が極力小さくなるようなカメラを選択して画像生成を行う。△CkPQの面積を小さくとることで、距離PCkが短く、かつ、∠CkPQが狭くなり、視者の位置及び視者の視線に近いカメラが選択される。同時に、画像処理装置10は、カメラの光軸中心ベクトルek⊥とベクトルPQとの為す角度が極力小さくなるようなカメラを選択して画像生成を行う。つまり視者の視線方向に近い光軸方向を有するカメラが選択される。このため、より歪みの少ない画像を得ることができる。
すなわち、従来のカメラ選択技術においては、生成画像との視点の近さが考慮されていたが、カメラの視点に応じた光学特性に基づく解像度特性までは考慮されていなかった。上記のようなカメラの選択基準を採ることで、かかる特性に基づく解像度特性を提示画像に反映させることができるので、魚眼カメラのような広角カメラにも対応したカメラ選択が可能となる。また、オクルージョンを補うカメラの選択に際しても同様に、視点に応じた光学特性に基づく解像度特性を考慮することができ、広角カメラへの対応が可能となる。
任意視点画像生成部16は、任意視点画像の生成に際して、キャリブレーション部18により補正された魚眼カメラの撮影画像を使用することができる。以下、図10〜図12を参照しながら、魚眼カメラにおけるキャリブレーション処理について説明する。
複数のカメラC1〜C5の撮影画像がキャリブレーション部18に入力されると(図10のS31)、補正変換用行列の算出処理と基礎行列の算出処理とが並列に実行される。まず、補正変換用行列の算出処理を説明する。補正変換用行列算出部181は、魚眼展開画像面に投影されない黒色領域とそれ以外の領域との境界線上の点(境界特徴点)をエッジ位置座標として抽出する(S32)。例えば、レンズのずれ角をφ、光軸中心とxy平面との交点座標をO’(x’,y’)とする。この場合、図11に示すように、黒色領域B1〜B4と楕円状の魚眼展開画像領域D1との境界線を形成する複数の点Eが抽出される。このエッジ抽出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示(数式を含む)は省略し、好適な方法を簡略に説明する。補正変換用行列算出部181は、例えばソーベルフィルタを有し、取得された画像中の任意の1画素を中心とした上下左右の9(=3×3)の画素値に、水平及び垂直方向の2つの係数行列をそれぞれ乗算する。そして、乗算結果に基づいて上記各画素値の変化量を算定し、画素値の変化量が大きい部分(境界特徴点に該当)をエッジとして検出する。画素値は例えば、濃淡化後に計算された輝度値である。
S33では、キャリブレーション部18は、最小二乗法により、S32で抽出されたエッジ位置座標からconic係数(二次曲線係数)を推定する。
キャリブレーション部18は、推定されたconic係数に基づいて、各魚眼カメラの補正変換用行列R(=RθT)を算出する(S34)。算出に際しては、まず、推定されたconic係数が楕円の標準形のconic係数となるような回転角を算定し、この回転角から回転行列Rθを求める。更に、上記楕円の中心と魚眼展開画像面(CCD面)の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列Tを求める。そして、回転行列Rθと平行移動行列Tとを乗算して補正変換用行列Rを求める。この補正変換用行列Rは、各魚眼カメラ(本実施の形態ではカメラC1〜C5)に関して算出される(S35)。
キャリブレーション部18は、推定されたconic係数に基づいて、各魚眼カメラの補正変換用行列R(=RθT)を算出する(S34)。算出に際しては、まず、推定されたconic係数が楕円の標準形のconic係数となるような回転角を算定し、この回転角から回転行列Rθを求める。更に、上記楕円の中心と魚眼展開画像面(CCD面)の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列Tを求める。そして、回転行列Rθと平行移動行列Tとを乗算して補正変換用行列Rを求める。この補正変換用行列Rは、各魚眼カメラ(本実施の形態ではカメラC1〜C5)に関して算出される(S35)。
S36では、オクルージョン回避のための画像合成、あるいは、動物体の検出のために、更に他の魚眼カメラを利用するか否かが判定される。他の魚眼カメラを利用しない場合には(S36;NO)、キャリブレーション部18は、魚眼カメラにより撮影された画像を展開(射影)する時に、S34で算出された補正変換用行列R(=RθT)からP’を算出する。P’は、魚眼展開画像面の座標Pに補正変換用行列Rを乗算することで算出される(S37)。これにより、キャリブレーションが施された魚眼展開画像面が生成される。
続いて、基礎行列の算出処理を説明する。まず、基礎行列算出部182は、複数の魚眼カメラ(本実施の形態ではカメラC1〜C5)の中から任意の2台の魚眼カメラ(例えば、カメラC1,C2)を選択する(S38)。基礎行列算出部182は、選択された2台の魚眼カメラの視線方向を変化させることにより複数の特徴点を同時に撮影していき(S39)、各魚眼カメラで撮影された画像中の特徴点の位置座標を抽出する(S40)。特徴点の抽出は、マウス等の操作による手入力で行うことができる。
S41では、S33と同様の手順で、特徴点の位置座標を入力データとして、最小二乗法に基づく基礎行列Fが算出される。基礎行列算出部182は、射影行列で一致させた画像同士の色分布が同じになるように色空間(RGB空間)の規格化を行う(S42)。S39〜S42の一連の処理は、S43をループ端として、視線方向の可動範囲内で繰り返し実行される。更に、これら一連の処理は、S44をループ端として、魚眼カメラの全ての組合せに関して繰り返し実行される。その結果、魚眼カメラ単位の基礎行列Fが視点毎に算出される(S45)。
S46は、S36にて他の魚眼カメラを利用すると判定された場合(S36;YES)に実行される処理である。キャリブレーション部18は、魚眼カメラにより撮影された画像を展開する時に、S34で算出された補正変換用行列R(=RθT)と、S45で算出された基礎行列FとからP’を算出する。P’は、魚眼展開画像面の座標Pに、基礎行列Fと補正変換用行列Rとの積を乗算することで算出される(S46)。これにより、魚眼カメラにおけるキャリブレーション処理が完了する。
魚眼カメラキャリブレーション処理を実行した結果、補正された魚眼展開画像領域D2の一例を図12に示す。魚眼レンズが完全半球面であり、その屈折率が点(半球中心)対称であると仮定すると、図11に示した魚眼展開画像領域D1は、その中心がレンズの光軸中心となり、かつ、楕円状の領域の長軸・短軸がそれぞれx軸・y軸と平行になるように補正される。その結果、魚眼展開画像領域D2が得られる。このように、画像処理装置10は、カメラC1〜C5に魚眼カメラを使用した場合であっても、適切なキャリブレーションを適用できるので、撮影画像から生成された任意視点画像、ひいては提示画像の質を向上することができる。
次に、図13〜図16を参照しながら動物体自動追従処理について説明する。図13は、動物体自動追従機能を実現するシステム環境の概要を例示する図である。図13に示すように、画像処理システムは、動物体自動追従型のテレモニタリングシステムとして機能すべく、遠隔サイト、映像処理サービスサイト、及びユーザサイトを形成している。これら各サイトの構成要素である装置は、有線または無線のLAN(Local Area Network)を基点として双方向に信号の伝達が可能なように接続されている。
遠隔サイトにおいては、カメラC1〜C5が被写界Aを撮影し、これらの撮影画像を画像収集装置20が収集する。収集された撮影画像は、ネットワークN経由で画像処理装置10に送信された後、自律的なカメラワークや任意視点画像生成、あるいは動物体検出といった処理に使用される。映像処理サービスサイトでは、画像処理装置10は、複数の撮影画像から提示画像を生成し、画像配信装置30によりネットワークNを介して通信端末40にこれを配信させる。ユーザサイトにおいては、通信端末40が提示画像を受信及び表示することで、ユーザUによるモニタリングを可能とする。通信端末40は、例えば、通信機能を有するパーソナルコンピュータ、携帯電話、PDA(Personal Digital Assistant)である。
続いて、上記システムが画像処理装置10により実行する動物体自動追従処理について説明し、併せて、本発明に係る動物体検出方法を構成する各ステップについて説明する。
図14のS51では、撮影環境設定部12により、カメラ情報が定義される。カメラ情報としては、位置Ck(ckx,cky)と光軸中心ベクトルek⊥とが定義される。本実施の形態では、被写界Aにおいて5台のカメラの存在を仮定しているので、kは1〜5の整数である。また、カメラ間情報として、射影変換行列及び共通撮影領域が定義される(S52)。更に、光軸地上高H0における被写界Aの平面図がレイアウトマップとして定義される(S53)。ここで、高さH0は、地面から光軸中心ベクトルek⊥までの距離であり、固定値である。
図14のS51では、撮影環境設定部12により、カメラ情報が定義される。カメラ情報としては、位置Ck(ckx,cky)と光軸中心ベクトルek⊥とが定義される。本実施の形態では、被写界Aにおいて5台のカメラの存在を仮定しているので、kは1〜5の整数である。また、カメラ間情報として、射影変換行列及び共通撮影領域が定義される(S52)。更に、光軸地上高H0における被写界Aの平面図がレイアウトマップとして定義される(S53)。ここで、高さH0は、地面から光軸中心ベクトルek⊥までの距離であり、固定値である。
カメラC1〜C5による撮影画像が任意視点画像生成部16に入力されると(S54)、動物体検出装置191は、視差算出部19aにより、S55〜S58の処理を実行する。すなわち、動物体検出装置191は、時刻tを初期値として設定し(S55)、5台のカメラC1〜C5の中からステレオペアとなる2台のカメラを選択する(S56)。続いて、動物体検出装置191は、選択された2台のカメラのうち、一方の画像A(x,y,t)に射影変換行列HABを掛け合わせることで、他方の画像B(x,y,t)と同一の視点から見た画像B’(x,y,t)を生成する(S57)。S58では、上記画像B(x,y,t)と、S57で生成された画像B’(x,y,t)との視差画像CAB(x,y,t)が算出される。
更に、動物体検出装置191は、時間的差分算出部19bにより、S59〜S60の処理を実行する。S59では、CAB(x,y,t)−CAB(x,y,t−1)を算出することにより、単位時間における視差画像の差分画像TimeDiff(x,y)が算出される。動物体検出装置191は、上記2台のカメラ間に共通の撮影領域における時間的な差分画像TimeDiff(x,y)から連結領域STiを抽出し(S60)、閾値ThTを超える連結領域STiの有無を判定することにより、被写界Aにおける動物体の存否を確認する(図15のS61)。
上記判定の結果、STi>閾値ThTを満たす連結領域が有る場合には(S61;YES)、動物体検出装置191は、この時点で、x,y両軸への射影ヒストグラムを用いて、当該連結領域に外接する矩形領域Riの抽出を行う(S62)。この処理は、動物体検出部19dが実行する。
一方、STi>閾値ThTを満たす連結領域が無い場合には(S61;NO)、動物体検出装置191は、初期差分算出部19cにより、S63〜S64の処理を実行する。すなわち、動物体検出装置191は、S58で算出された視差画像と参照視差画像との時刻tにおける差分画像RefDiff(x,y)を、CAB(x,y,t)−Cref(x,y)により算出する(S63)。更に、動物体検出装置191は、上記2台のカメラ間に共通の撮影領域における参照視差画像との差分画像RefDiff(x,y)に対して、二値化処理及び膨張縮退処理を施し、連結領域SRiを抽出する(S64)。
その後、動物体検出部19dが、S61と同様の手順で、閾値ThRを超える連結領域SRiの有無を判定することにより、被写界Aにおける動物体の存否を確認する(S65)。上記判定の結果、SRi>閾値ThRを満たす連結領域が有る場合には(S65;YES)、動物体検出部19dは、当該連結領域SRiに外接する矩形領域Riの抽出を行う(S62)。
このように、画像処理装置10の動物体自動追従部19は、背景差分情報を用いることなく、視差情報の変動を実時間で捉えることで(S57〜S62)、照明条件に依存することのない動物体の検出を実現する。併せて、動物体自動追従部19は、環境固有の視差情報と、リアルタイムに検出される視差情報との差異を監視しながら動物体を抽出する(S63〜S65,S62)。これにより、動物体の状態に依存することなく、換言すれば動物体が停留していも移動していても、動物体の検出が可能となる。
S56〜S66の処理は、被写界Aを撮影するカメラC1〜C5のうち、全てのステレオペア(2台ずつのカメラ)に関して実行された後、図16のS67以降の処理、すなわち動物体撮影用データ算出モジュールに移行する。まずS67において、動物体撮影用データ算出部192は、S56で選択されたステレオペアの抽出した連結領域STi又はSRi毎に、矩形領域Riの各頂点とカメラの中心点とを結んだ4つの方向ベクトルを抽出する。続いて、抽出された4つの方向ベクトルの交点を算出した後、これらのベクトルで囲まれた領域を動物体の存在する領域と認識する(S68)。
動物体撮影用データ算出部192は、S68にて認識された領域に外接する矩形領域の重心Gi(t)を算出した後(S69)、その値を動物体の位置として抽出する。更に、時刻tにおけるGi(t)と、単位時間前の時刻t−1におけるGi(t−1)との差分ベクトルであるDiffGi(t)を動物体の移動ベクトルとして抽出する(S70)。上述したS55〜S70の一連の処理は、S71をループ端として、終了指示があるまで繰り返し実行される。続いて、動物体撮影用データ算出部192は、動物体の位置Gi(t)、及び、上記差分ベクトルDiffGi(t)の反対方向ベクトルを、任意視点画像生成部16に出力する(S72)。動物体は、通常、移動方向を正面として移動するので、移動方向の反対方向を撮影方向とするカメラ(動物体に対峙するカメラ)を画像生成に使用する。これにより、動物体の全貌を正面から捉えることを可能とする。
以上説明したように、本発明に係る画像処理装置10は、主要な機能の1つとして、動物体追従機能を有する。画像処理装置10は、フレーム間における時間的な差分を抽出するとともに、射影変換しても初期の視差情報(リファレンス画像)に戻らない画像部分(差分)をも抽出する。そして、1組のカメラが同時に捉えている画像から得られる視差の変動に、これら双方の差分のうち少なくとも一方を加味することで動物体を検出する。このため、更新型背景画像との差分情報を利用した従来の動物体検出方法に対しては、影などの照明条件の変動あるいは停留などの動物体の状態遷移による影響の少ない精確な動物体検出が可能となるという効果がある。また、ステレオカメラの視差情報に基づく従来の動物体検出方法に対しては、横断歩道やナンバープレートといった平面だけなく、立体形状を有する一般の場所への適用が可能となるという効果がある。
更に、画像処理装置10は、被写界Aにて検出された動物体の位置情報と移動ベクトルとを算定し、これに上記のカメラ選択基準を適用することで、自律的なカメラワークを実現する。これにより、動物体を常に正面から撮影することができるので、遠隔地からの効果的なモニタリングが可能となる。
なお、本発明は、本実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることもできる。
例えば、上記実施の形態では、ユーザの仮想視点を1点としたが、複数の通信端末を画像処理装置10に接続することで、複数のユーザが同時に自由な視点で遠隔モニタリングを行うことが可能となる。この態様においては、ユーザが通信端末を傾けた方向を視点方向として検出可能なように、通信端末は、360度視覚センサや方位センサ(例えばジャイロセンサ)を搭載することが特に効果的である。これにより、例えば、テレビ電話でコミュニケーションをとりながら、通話相手のいる環境を任意の視点でモニタリングするといった用途が可能となる。
例えば、上記実施の形態では、ユーザの仮想視点を1点としたが、複数の通信端末を画像処理装置10に接続することで、複数のユーザが同時に自由な視点で遠隔モニタリングを行うことが可能となる。この態様においては、ユーザが通信端末を傾けた方向を視点方向として検出可能なように、通信端末は、360度視覚センサや方位センサ(例えばジャイロセンサ)を搭載することが特に効果的である。これにより、例えば、テレビ電話でコミュニケーションをとりながら、通話相手のいる環境を任意の視点でモニタリングするといった用途が可能となる。
また、上記実施の形態では、カメラ選択部15の選択するカメラの台数を2台としたが、3台以上であっても勿論よい。また、視者位置Pからの視点Qにオクルージョンが発生しないことが被写界において明らかな場合には、1台のカメラであってもよい。
1…画像処理システム、C1,C2,C3〜Cn…カメラ、10…画像処理装置、11…視者情報入力部、12…撮影環境設定部、13…視者位置特定部、14…視者位置類似性演算部、15…カメラ選択部、16…任意視点画像生成部、17…画像平滑化部、18…キャリブレーション部、181…補正変換用行列算出部、182…基礎行列算出部、19…動物体自動追従部、191…動物体検出装置、19a…視差算出部、19b…時間的差分算出部、19c…初期差分算出部、19d…動物体検出部、192…動物体撮影用データ算出部、20…画像収集装置、30…画像配信装置、40…通信端末、A…被写界、M…動物体、N…ネットワーク
Claims (3)
- 第1のカメラによる撮影画像と、当該第1のカメラとステレオペアとなる第2のカメラによる撮影画像が射影変換された画像との視差を示す視差画像を算出する視差算出手段と、
前記視差算出手段により算出された視差画像と、初期の参照視差画像との差分を算出する初期差分算出手段と、
前記初期差分算出手段による算出結果が閾値を超えた場合に、当該閾値を超えた算出結果に対応する画像領域を動物体として検出する検出手段と
を備えることを特徴とする動物体検出装置。 - 前記視差算出手段により算出された視差画像の時間的な差分を算出する時間的差分算出手段を更に備え、
前記検出手段は、前記時間的差分算出手段による算出結果と、前記初期差分算出手段による算出結果との少なくとも一方が閾値を超えた場合に、当該閾値を超えた算出結果に対応する画像領域を動物体として検出することを特徴とする請求項1に記載の動物体検出装置。 - 第1のカメラによる撮影画像と、当該第1のカメラとステレオペアとなる第2のカメラによる撮影画像が射影変換された画像との視差を示す視差画像を算出する視差算出ステップと、
前記視差算出ステップにて算出された視差画像と、初期の参照視差画像との差分を算出する初期差分算出ステップと、
前記初期差分算出ステップにおける算出結果が閾値を超えた場合に、当該閾値を超えた算出結果に対応する画像領域を動物体として検出する検出ステップと
を含むことを特徴とする動物体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004071570A JP2005258954A (ja) | 2004-03-12 | 2004-03-12 | 動物体検出装置、及び動物体検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004071570A JP2005258954A (ja) | 2004-03-12 | 2004-03-12 | 動物体検出装置、及び動物体検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005258954A true JP2005258954A (ja) | 2005-09-22 |
Family
ID=35084581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004071570A Pending JP2005258954A (ja) | 2004-03-12 | 2004-03-12 | 動物体検出装置、及び動物体検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005258954A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8953152B2 (en) | 2011-03-24 | 2015-02-10 | Samsung Electronics Co., Ltd. | Depth sensors, depth information error compensation methods thereof, and signal processing systems having the depth sensors |
WO2018034304A1 (ja) * | 2016-08-18 | 2018-02-22 | マクセル株式会社 | 画像処理システム |
-
2004
- 2004-03-12 JP JP2004071570A patent/JP2005258954A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8953152B2 (en) | 2011-03-24 | 2015-02-10 | Samsung Electronics Co., Ltd. | Depth sensors, depth information error compensation methods thereof, and signal processing systems having the depth sensors |
WO2018034304A1 (ja) * | 2016-08-18 | 2018-02-22 | マクセル株式会社 | 画像処理システム |
CN109313808A (zh) * | 2016-08-18 | 2019-02-05 | 麦克赛尔株式会社 | 图像处理系统 |
US10867400B2 (en) | 2016-08-18 | 2020-12-15 | Maxell, Ltd. | System for processing an image obtained by using stereo photography |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
US8134608B2 (en) | Imaging apparatus | |
EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
KR102225617B1 (ko) | 영상 정합 알고리즘을 설정하는 방법 | |
CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
CN103971375A (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
EP3606059B1 (en) | Projector calibration method and projection system using the same | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
JP2002236918A (ja) | 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体 | |
KR101324250B1 (ko) | 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라 | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010217984A (ja) | 像検出装置及び像検出方法 | |
JP4581512B2 (ja) | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP2005258953A (ja) | 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法 | |
CN110738696B (zh) | 行车盲区透视视频的生成方法及行车盲区视野透视系统 | |
JP2005260753A (ja) | カメラ選択装置、及びカメラ選択方法 | |
WO2015141185A1 (ja) | 撮像制御装置、撮像制御方法および記録媒体 | |
JP2005258954A (ja) | 動物体検出装置、及び動物体検出方法 | |
Lin et al. | Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system | |
KR101132976B1 (ko) | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 | |
JP2005260731A (ja) | カメラ選択装置、及びカメラ選択方法 | |
KR101559739B1 (ko) | 가상 모델과 카메라 영상의 융합시스템 | |
KR100736565B1 (ko) | 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기 |