JP2004364212A - 物体撮影装置、物体撮影方法及び物体撮影プログラム - Google Patents
物体撮影装置、物体撮影方法及び物体撮影プログラム Download PDFInfo
- Publication number
- JP2004364212A JP2004364212A JP2003163174A JP2003163174A JP2004364212A JP 2004364212 A JP2004364212 A JP 2004364212A JP 2003163174 A JP2003163174 A JP 2003163174A JP 2003163174 A JP2003163174 A JP 2003163174A JP 2004364212 A JP2004364212 A JP 2004364212A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- photographing
- image
- magnification
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
Abstract
【課題】２つのカメラを用いてコンパクトな構成で精度良く（精度を落とすことなくコンパクト化が測れ）、距離等の物体位置を検出することができる物体撮影装置、物体撮影方法、及び物体撮影プログラムを提供する。
【解決手段】所定の範囲を撮影する広角カメラ１１と、撮影倍率の変更可能な望遠カメラ１２と、望遠カメラ１２を支持すると共に、望遠カメラ１２の光軸方向を変更する電動雲台１３と、広角カメラ１１及び望遠カメラ１２により撮影された映像に基づいて、所定の範囲において映された物体の位置と大きさを算出すると共に、物体を所定の大きさに拡大して映すように、望遠カメラ１２のカメラの倍率及び光軸の算出を行う映像解析部１４と、映像解析部１４により算出された方向に従って電動雲台１３の駆動制御を行う駆動制御部１５とを備えた。
【選択図】 図１
【解決手段】所定の範囲を撮影する広角カメラ１１と、撮影倍率の変更可能な望遠カメラ１２と、望遠カメラ１２を支持すると共に、望遠カメラ１２の光軸方向を変更する電動雲台１３と、広角カメラ１１及び望遠カメラ１２により撮影された映像に基づいて、所定の範囲において映された物体の位置と大きさを算出すると共に、物体を所定の大きさに拡大して映すように、望遠カメラ１２のカメラの倍率及び光軸の算出を行う映像解析部１４と、映像解析部１４により算出された方向に従って電動雲台１３の駆動制御を行う駆動制御部１５とを備えた。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、広範囲を撮影した全景映像中に存在する個々の物体を検出し、検出された物体の詳細映像を撮影する物体撮影装置、物体撮影方法、物体撮影プログラムに関するものである。
【０００２】
【従来の技術】
広範囲に分布する撮影対象の全領域を撮影した低解像度の映像である全景映像と、必要な領域だけを拡大して撮影した高解像度の映像である詳細映像とを同時に取得する技術が、これまでにいくつか提案されている。
【０００３】
第１の方式は、固定して設置され全景映像を撮影する１台の広角カメラと、パン・チルト機構を持つ雲台に設置され詳細映像を撮影する１台の望遠カメラとを用いる方式である。この第１の方式によれば、広角カメラが全景映像を取得し、利用者が全景映像を目視にて観察し、利用者が全景映像のうち必要な領域を指定し、望遠カメラが指定された領域だけの詳細映像を取得するように、望遠カメラが電動雲台を制御して望遠カメラの方向を調整するとともに、望遠カメラがズーム機構を制御して倍率を調整する（例えば、特許文献１，２，３参照）。
【０００４】
第２の方式は、全景映像に映る物体のうち必要な対象物体の詳細映像を自動的に取得する方式である。この第２の方式は、第１の方式において全景映像を取得する広角カメラを、１台のカメラからなる単眼カメラではなく、２台のカメラからなり各物体の距離が計測できるステレオカメラに置き換え、３眼カメラを用いる。この第２の方法によれば、ステレオカメラを用いて各物体の３次元位置を計測し、ズームカメラが対象物体の詳細映像を取得するように、計測した対象物の３次元位置に従って望遠カメラの方向と望遠カメラの倍率を調整する（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開２００２−２１８２８８号公報（第２−４頁、図１−図２）
【特許文献２】
特開平９−３２２０５１号公報（第３−６頁、図１）
【特許文献３】
実開平６−２９２８５号公報（第２頁、図１）
【０００６】
【発明が解決しようとする課題】
しかしながら第１の方式は、利用者が全景映像を目視で観察し、詳細映像を取得する領域を指定しており、対象物体の詳細映像を自動的に取得するためには、次の２点の問題がある。
第１に、望遠カメラを向ける方向を決定するためには、対象物体の３次元位置を対象物体までの距離を計測する必要がある。ところが、単眼カメラで取得した全景映像だけから対象物体の距離を計測することは不可能である。例えば図１５に示すように、広角カメラ１が撮影した全景映像上の点Ａと点Ｂについて、それぞれの詳細映像を得たい場合、点Ａと点Ｂの３次元位置、すなわち点Ａと点Ｂまでの距離が分からないと、望遠カメラ２を向ける方向を自動的に決定することはできない。ここで、従来のように利用者が詳細映像の領域を指定する場合には、詳細映像の領域がずれても利用者による修正が可能であるが、自動的に取得する場合には、詳細映像の領域がずれると修正が不可能である。
【０００７】
第２に、詳細映像を取得したい物体が複数存在し、それらの物体が隣接している場合や、それらの物体の一部が重なり合う場合に、個々の物体を切り分けられないという問題がある。ここで、映像から物体だけを検出するためには、物体が存在しない場合の背景を予め撮影し、背景映像として記憶しておき、この背景映像と取得される全景映像映像との間で、画素毎に差分操作を行い、その差分値が大きい箇所を物体として検出する背景差分と呼ばれる物体検出方式が一般的に用いられる。しかし、背景差分では隣接する物体や重なり合う物体は一つの塊として検出される。そのため、個々の物体に分離し、それぞれの物体の詳細映像を取得することは困難である。
【０００８】
また、個々の対象物体の方向に望遠カメラを向けることにより、個々の対象物体を中央とする詳細映像を撮影する必要があるが、異なる距離に存在する複数の物体が塊として検出された場合、個々の物体を分離できない上に、個々の物体までの距離が不明であることから、個々の物体を中央とする詳細映像を取得することができない。
【０００９】
また、第２の方式は、ステレオカメラから得られる対象物体の距離を用いて対象物体を検出しているが、対象物体の距離を得る上で次の問題がある。
全景映像を撮影するためのカメラは広範囲を撮影しなければならないことから、広角レンズを用いたカメラを使用する必要がある。例えば、幅２０ｍ、奥行き２０ｍの範囲を撮影するためには、６０度程度の画角が必要となる。しかし、画角が大きいカメラを使用したステレオカメラから得られる距離の分解能は低く、距離の違いを用いて複数の物体を分離することが困難となる。ここで、カメラの焦点距離をｆ［画素］、検出する最遠距離をＺ［ｍ］、２つの物体の分離に必要な距離差をΔＺとするとき、ステレオカメラを構成する２つのカメラに必要なカメラ間距離ｂ［ｍ］は、（１）式で与えられる。
【００１０】
ｂ＝（Ｚ＾２−ΔＺ・Ｚ）／（ΔＺ・ｆ）・・・（１）
ただし、ｆは、カメラの画角θ［ｒａｄ］と画像の横幅ｗ［画素］を用いた（２）式で与えられる。
ｆ＝ｗ／（２ｔａｎθ）・・・（２）
【００１１】
例えば、画角６０度のＶＧＡ（６４０×４８０画素）カメラを用いて、カメラから２０ｍ離れた場所に存在する互いに３０ｃｍ離れた２つの物体を、距離の違いにより個々の物体として分離するためには、ｗ＝６４０［画素］、θ＝６０［ｄｅｇ］、Ｚ＝２０［ｍ］、ΔＺ＝０．３［ｍ］を（式）に適用すると、ステレオカメラを構成する１つのカメラの間隔ｂは２．３ｍも必要となる。従ってステレオカメラを用いた撮影装置の規模は非常に大きいものとなり、設置が困難となる。
【００１２】
本発明は、このような問題を解決するためになされたものであり、２つのカメラを用いてコンパクトな構成で精度良く（精度を落とすことなくコンパクト化が測れ）、距離等の物体位置を検出することができる物体撮影装置、物体撮影方法、及び物体撮影プログラムを提供することを目的とする。また、本発明は、更に、自動的に対象物体の詳細映像をも得ることができる物体撮影装置、物体撮影方法、物体撮影プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決するため、本発明の物体撮影装置は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部とを備えてなるものである。
【００１４】
ここで、前記第１のカメラは広角カメラであり、前記第２のカメラは望遠カメラであることを特徴とすることができる。
【００１５】
また、前記映像解析部により算出される前記所定の位置パラメータは前記物体の３次元位置を定める３つの位置パラメータのうちの少なくとも１つの位置パラメータであることを特徴とすることができる。
【００１６】
更に、前記映像解析部は、前記第１のカメラと前記第２のカメラのカメラ間距離をｂ、前記第１のカメラの座標系をｏ１−ｘ１ｙ１ｚ１、焦点距離をｆ１、前記第２のカメラの座標系をｏ２−ｘ２ｙ２ｚ２、焦点距離をｆ２とし、また、前記第２のカメラをｙ軸の周りに回転させた角度をパン角、前記第２のカメラをｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第２のカメラをパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とし、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４とした場合に、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、前記第１のカメラの撮像面に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、前記第２のカメラの撮像面に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）、前記第２のカメラで得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）とし、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）とすると、物体点Ｐ（Ｘ，Ｙ，Ｚ）を
【数１】
と算出することを特徴とすることができる。
【００１７】
以上のような構成によれば、第２のカメラにおける拡大映像を用いて座標取得ができるため、３次元位置の計測において、装置の規模を大幅に小型化する、または距離分解能を大幅に向上させることが可能となる。
【００１８】
また、本発明の物体撮影装置は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部とを備えてなるものである。
このような構成によれば、第１のカメラで視野広く物体を検出し、更に、検出された物体の位置等を第１のカメラと第２のカメラを用いて精度良く検出することができる。そして、この場合、第１のカメラと第２のカメラの距離を従来に比べて小さくでき、従ってコンパクト化を図ることができる。
【００１９】
ここにおいて、前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする。この構成によれば、例えば、物体の距離、大きさに合わせて第２のカメラの撮影倍率を最も精度を高める撮影倍率に設定することができる。
【００２０】
また、前記映像解析部は更に前記物体の大きさを算出することを特徴とすることができる。この構成によれば、第２のカメラの撮影倍率の変更の指針を得ることができる。また、例えば大きさを用いて、撮影された物体が対象物体か非対象物体かについての区別をすることも可能となる。
【００２１】
さらに、前記映像解析部は、算出された前記位置パラメータに基づいて、更に前記第２のカメラにより前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき撮影倍率を算出することを特徴とすることができる。この構成によれば、撮影目的に合わせて、第２のカメラの撮影倍率を自動的に変更することができる。
【００２２】
また、前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出することを特徴とすることができる。この構成によれば、第２のカメラにおいて、確実に対象とする物体をその視野内に納める光軸方向を得ることができる。
【００２３】
更に、本発明の物体撮影装置において、前記第２のカメラの光軸方向を変更可能に支持する支持部と、前記映像解析部により算出された前記変更すべき光軸方向に従って前記第２のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とすることができる。このような構成によれば、第２のカメラにおいて、確実に対象とする物体をその視野内に自動的に納めることができる。
【００２４】
更に、前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。このような構成によれば、所定の視野内に存在する物体の有無を自動的に判断することができる。
【００２５】
また、本発明の物体撮影装置において、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とすることができる。この構成は、撮影映像に複数の物体が一連となって撮影されている場合、その映像形状は、一つの物体に一つの凸部が形成されるような形状になることが多いことに鑑みてなされたもので、この構成によれば、映像形状に複数の凸部が見出せないときは、それが一つの物体からなっていると見なすこととしたものである。
【００２６】
更に、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とすることができる。
この構成によれば、各凸部までの距離の差を検出することで、映像形状が複数の物体が一連となって形成されていることを確実に検出することができる。
【００２７】
そして、更に、前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とすることができる。
この構成によれば、複数の物体が一連となって撮影されている場合でも、各物体ごとに区別して扱うことができる。
【００２８】
なお、前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とすることができる。この構成によれば、容易に凸部を定義することができ、処理の容易化、迅速化を図ることができる。
【００２９】
また、本発明の物体撮影装置は、所定の範囲を撮影する第１のカメラと、撮影倍率の変更可能な第２のカメラと、前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部とを備えてなるものである。
このような構成によれば、自動的に対象物体の詳細映像をも得ることができる。
【００３０】
また、本発明は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとを備えてなるものである。
【００３１】
また、本発明の物体撮影方法において、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【００３２】
また、本発明の物体撮影方法において、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【００３３】
また、本発明の物体撮影方法において、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【００３４】
また、本発明の物体撮影方法において、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【００３５】
また、本発明の物体撮影方法において、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【００３６】
また、本発明の物体撮影方法において、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【００３７】
また、本発明は、カメラを用いて物体を撮影する物体撮影方法であって、第１のカメラを用いて第１映像を撮影するステップと、前記第１映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、前記第２のカメラを用いて前記第３映像を撮影するステップとを備えてなるものである。
【００３８】
また、本発明は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとをコンピュータに実行させるものである。
【００３９】
また、本発明の物体撮影プログラムにおいて、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【００４０】
また、本発明の物体撮影プログラムにおいて、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【００４１】
また、本発明の物体撮影プログラムにおいて、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【００４２】
また、本発明の物体撮影プログラムにおいて、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【００４３】
また、本発明の物体撮影プログラムにおいて、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【００４４】
また、本発明の物体撮影プログラムにおいて、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【００４５】
尚、実施の形態には、カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、第１のカメラを用いて第１映像を撮影するステップと、前記第１映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、前記第２のカメラを用いて前記第３映像を撮影するステップとをコンピュータに実行させる物体撮影プログラムが開示されている。
【００４６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の物体撮影装置の構成について説明する。図１は、本発明の物体撮影装置の構成例を示すブロック図である。物体撮影装置は、広角カメラ（第１のカメラ）１１、望遠カメラ（第２のカメラ）１２、電動雲台（カメラ支持台）１３、映像解析部１４、駆動制御部１５から構成される。
【００４７】
広角カメラ１１は、対象となる全領域（例えば設定された所定領域全域）を撮影し、全景映像として映像解析部１４と外部へ出力する。図２は、本発明の物体撮影装置により出力される全景映像の一例を示す図である。図２の例において、広角カメラ１１から得られる全景映像には、物体２１と物体２２が映し出されている。望遠カメラ１２は、ある領域だけを拡大して撮影し、詳細映像として映像解析部１４へ出力する。
【００４８】
映像解析部１４は、全景映像において対象となる物体（対象物体）が撮影されているか否かを判定する（全景映像から対象物体を検出する）と共に、物体が撮影されている場合（検出された場合）は全景映像上での対象物体の位置を取得する。更に、映像解析部１４は、対象物体が検出された場合に、全景映像と詳細映像を用いて対象物体の３次元位置情報を算出し、この位置情報を元に望遠カメラが対象物体の詳細映像を撮影するための望遠カメラの倍率と方向を生成し、駆動制御部１５へ出力する。なお、映像解析部は図示しないＣＰＵを備え、後述する映像解析や駆動制御部の制御信号を形成するための動作を図示しないメモリに記憶された物体撮影プログラムに従って行う。
【００４９】
駆動制御部１５は、映像解析部１４からの倍率と方向に従って、電動雲台１３と望遠カメラ１２を制御する。望遠カメラ１２は電動雲台１３上に設置され、駆動制御部１５が電動雲台１３のパン・チルトを制御することにより、望遠カメラ１２の方向を調整することができる。また、望遠カメラ１２はズーム機構を備え、駆動制御部１５がズーム機構を制御することにより、倍率を調整することできる。
【００５０】
また、映像解析部１４は望遠カメラ１２が対象物体の詳細映像を取得した場合に、その詳細映像を外部へ出力することができる。図３は、本発明の物体撮影装置により出力される詳細映像の一例を示す図である。図３の例において、望遠カメラ１２から得られる詳細映像には、物体２１が映し出されている。
【００５１】
次に、本発明の物体撮影装置の動作について説明する。図４は、本発明の物体撮影装置の動作の一例を示すフローチャートである。
まず映像解析部１４は、広角カメラ１１から全景映像を取得する（Ｓ１）。次に、全景映像を用いて、全景映像に映る物体領域について、映像画面上での大きさと位置を抽出（検出）する（Ｓ２）。物体領域の抽出の詳細については、後述する。次に映像解析部１４は、各物体領域について、物体領域の番号ｉ、大きさ、位置、既分割フラグを記述した物体位置情報Ｏｉを生成し、Ｌ＝｛Ｏ１，Ｏ２，…Ｏｎ｝を物体位置情報リストとして保持する（Ｓ３）。既分割フラグとは、Ｏｉにおいて分割の処理が行われたか否かを表すフラグであり、初期値をｆａｌｓｅとしておく。
【００５２】
次に映像解析部１４は、Ｌが空であるか否かの判断を行う（Ｓ４）。Ｌが空であれば（Ｓ４，Ｙｅｓ）、フローを終了する。一方、Ｌが空でなければ（Ｓ４，Ｎｏ）、Ｌから１つのＯｉを取り出すことにより、Ｏｉを対象物体領域として決定する（Ｓ５）。
次に映像解析部１４は、Ｏｉを元に対象物体領域を撮影するように望遠カメラの倍率と方向を決定し、これらを駆動制御部１５へ出力することにより、望遠カメラ１２の制御を行う（Ｓ６）。望遠カメラの制御の詳細については、後述する。次に映像解析部１４は、倍率と方向率が調整された望遠カメラ１２から詳細映像を取得する（Ｓ７）。
【００５３】
次に映像解析部１４は、対象物体領域が既に分割済みか否かの判断を行う（Ｓ８）。すなわち、Ｏｉの既分割フラグがｔｒｕｅであるか否かの判断を行う。
既分割フラグがｔｒｕｅである場合（Ｓ８，Ｙｅｓ）、詳細映像の出力を行い（Ｓ９）、ＯｉをＬから削除するとともに、処理Ｓ４へ戻る。一方、既分割フラグがｆａｌｓｅである場合（Ｓ８，Ｎｏ）、映像解析部１４は、対象物体領域において形状による分割が可能であるか否かの判断を行う（Ｓ１０）。形状による分割の詳細については、後述する。
【００５４】
形状による分割が不可能である場合（Ｓ１０，Ｎｏ）、既分割フラグをｔｒｕｅとし、処理Ｓ９へ移行する。一方、形状による分割が可能である場合（Ｓ１０，Ｙｅｓ）、対象物体領域において距離による分割が可能であるか否かの判断を行う（Ｓ１１）。
【００５５】
距離による分割が不可能である場合（Ｓ１１，Ｎｏ）、既分割フラグをｔｒｕｅとし、処理Ｓ９へ移行する。一方、距離による分割が可能である場合（Ｓ１１，Ｙｅｓ）、対象物体領域内の距離を用いて複数の物体に分割し（Ｓ１２）、ＯｉをＬから削除するとともに、分割して得られた複数の新たな物体情報Ｏｎ＋１，Ｏｎ＋１，…Ｏｎ＋ｍ（ｍは分割して得られた物体の数）をＬに加え、既分割フラグをｔｒｕｅとし、処理Ｓ４へ戻る。距離による分割の詳細については、後述する。
【００５６】
以上のようなフローにより、全ての物体領域についての詳細映像を出力することができる。
このようなステップＳ１からＳ１２までを物体撮影プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、物体撮影装置による物体撮影方法をコンピュータに実行させることが可能となる。なお、上記コンピュータにより読取り可能な記録媒体は、ＲＯＭやＲＡＭなどの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【００５７】
次に、処理Ｓ２の物体領域の抽出について詳細に説明する。映像解析部１４は、予め物体のない背景だけが撮影された全景映像である、背景映像を用意しておく。映像解析部１４は、全景映像を取得すると、背景映像と全景映像の輝度差を画素毎に求め、その輝度差が予め定められた閾値より大きい画素値を１とし、それ以外の画素値を０とする、２値画像の全景映像を生成する。次に、２値画像の全景映像において画素値が１となる画素の連続性を調べ、連続する画素を１つにまとめた領域を物体領域として抽出する。
【００５８】
次に、処理Ｓ６の望遠カメラの制御の一例について詳細に説明する。映像解析部１４は、対象物体の物体位置情報Ｏｉを元に望遠カメラ１２の方向と倍率を以下のように算出する。最初は、広角カメラ１１の光軸と平行になるように望遠カメラ１２の方向をパン角θ＝０、チルト角ψ＝０に合わせておき、広角カメラ１１の焦点距離ｆ１と等しくなるように望遠カメラ１２の焦点距離をｆ１に合わせておく。この状態で、カメラ間距離ｂの平行ステレオ視により、対象物体のおおよその３次元位置と大きさを算出しておく。対象物体のおおよその距離と大きさを用いて、対象物体が詳細映像に収まるようにパン角θ、チルト角ψ、倍率ｍを決定し、これらを用いて駆動制御部１５が電動雲台１３と望遠カメラ１２を制御し、再び詳細映像を取得する。具体的には、３次元での対象物体の中心位置を（Ｘ０，Ｙ０，Ｚ０）、大きさを表す幅、高さ、奥行きをそれぞれＷ，Ｈ，Ｄ、詳細映像に収める対象物体の横幅をｋとすると、パン角θ、チルト角ψ、倍率ｍは、それぞれ（３）〜（５）式で与えられる。
【００５９】
θ＝ｔａｎ＾（−１）｛（Ｘ０−ｂ）／Ｚ０｝・・・（３）
ψ＝ｔａｎ＾（−１）（Ｙ０／Ｚ０）・・・（４）
ｍ＝Ｚ０／Ｘ０・ｋ・・・（５）
【００６０】
倍率ｍが決定すると、望遠カメラ１２に設定すべき焦点距離ｆ２は、（６）式で与えられる。
ｆ２＝ｍ・ｆ１・・・（６）
なお、本発明は上述した望遠カメラ１２の制御に限定されることはなく、例えば、広角カメラで撮影する所定領域において、物体のその全景映像上での位置（２次元位置）及び大きさが分かればその物体のおよその位置及び大きさが分かるような場合は、その既知の値に基づいて望遠カメラ１２を制御するようにすればよい。例えば、ベルトコンベアなどにより搬送される物体を撮影する場合は、このような方式を採用することが可能である。
【００６１】
或いは、例えば望遠カメラ１２は所定の範囲を走査しながら映像を取り、各映像において、全景映像との比較処理を行って、共通対象物を取得することで、その位置や大きさを取得するようにしても良い。
【００６２】
次に、処理Ｓ１０の形状による物体の分割の判断について詳細に説明する。映像解析部１４は、全景映像における物体領域の外形から凸部を抽出することにより、複数の物体が重なった形状か、単一の物体の形状かを判断する。具体的には、例えば図５に示すように、全景映像のうち対象物体領域３０の上部の外形から凸部を抽出し、凸部が複数抽出された場合は、複数の物体に分割される可能性があると判断する。一方、凸部が１つ抽出された場合は、分割されない１つの物体であると判断する。従って図５の例では、対象物体領域３０から凸部Ａと凸部Ｂの２つの凸部が検出されることから、対象物体領域３０は２つの物体に分割される可能性があると判断する。
【００６３】
次に、処理Ｓ１１，Ｓ１２の距離による物体の分割について詳細に説明する。映像解析部１４は、処理Ｓ１０と同様にして詳細映像においても対象物体領域の外形から凸部を抽出し、それぞれの凸部の距離計測を行う。ここで、例えば図６に示す全景映像と詳細映像が得られた場合の距離による物体の分割について具体的に説明する。全景映像における対象物体領域３０の外形の上部に存在する２つの凸部をｗｘ１Ｌ，ｗｘ２Ｌ、詳細映像における対象物体領域３０の外形の上部に存在する２つの凸部をＺＸ１Ｒ，ＺＸ２Ｒ、広角カメラの焦点距離をｆ１、望遠カメラの焦点距離をｆ２、望遠カメラのパン角をθ、チルト角をψ、カメラ間距離をｂとするとき、２つの凸部の距離Ｚ１，Ｚ２は、図７に示す式で与えられる。
【００６４】
次に、映像解析部１４は、２つの距離Ｚ１，Ｚ２の差ΔＺ＝｜Ｚ１−Ｚ２｜が閾値以上であるか否かの判断を行い、閾値以上であれば２つの凸部の距離に有意な差があると判断し、対象物体領域の分割を行う。図８に示すように、２つの凸部Ａと凸部Ｂで挟まれた谷の位置で対象物体領域３０を分割し、分割したそれぞれの領域を新たな物体領域３１，３２とする。
【００６５】
ここで、距離計測の動作原理について詳細に説明する。従来のステレオカメラが２つの同じカメラを用いるのに対して、本発明の映像解析部１４は、異なる倍率を持つ広角カメラ１１と望遠カメラ１２を用いても、これら２つのカメラを用いて距離計測を行うことができる。
【００６６】
図９は、本発明の物体撮影装置における距離計測の動作原理を示す図である。ここでは説明を簡単にするために、雲台のパン角（またはヨー角）のみが変化する２次元平面内での回転を考えるが、パン角とチルト角（またはピッチング角）が変化する３次元空間での回転でも一般性は保たれる。
【００６７】
図９において、広角カメラＣ１と望遠カメラＣ２のカメラ間距離をｂ、広角カメラの撮像面をＩ１、望遠カメラＣ２の撮像面をＩ２とする。また、広角カメラＣ１の座標系をｏ１−ｘ１ｙ１ｚ１、広角カメラＣ１における撮像面Ｉ１までの焦点距離をｆ１、望遠カメラＣ２の座標系をｏ２−ｘ２ｙ２ｚ２、望遠カメラＣ２における撮像面Ｉ２までの焦点距離をｆ２とする。
【００６８】
また、望遠カメラＣ２をｙ軸の周りに回転させた角度をパン角、望遠カメラＣ２をｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、望遠カメラＣ２をパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とする。また、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４、仮想カメラの撮像面をＩ４とする。
【００６９】
このとき、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、広角カメラの撮像面Ｉ１に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、望遠カメラの撮像面Ｉ２に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）とすると、物体点と各投影点の間には、図１０に示す式の関係が成り立つ。
次に、光軸が広角カメラＣ１と平行になるように、望遠カメラＣ２の座標を変換するための回転行列Ｒは、図１１に示す式で与えられる。
この式を用いると、望遠カメラＣ２で得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）は、図１２に示す式で表される。
【００７０】
次に、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）は、図１３に示す式で表される。
すなわち、望遠カメラＣ２の投影点ｐ２は、広角カメラＣ１と光軸が平行で同じ焦点距離を持つ仮想カメラＣ３の投影点ｐ４へ変換することができる。従って、投影点ｐ１と投影点ｐ２を用いて物体点Ｐ（Ｘ，Ｙ，Ｚ）は、図１４に示す式で与えられる。
【００７１】
以上に示したように、広角カメラと望遠カメラが異なる倍率であっても、広角カメラＣ１における投影点（ｘ１，ｙ１）と望遠カメラＣ２における投影点（ｘ２，ｙ２）が特定できれば、物体点Ｐの３次元座標を直接算出することができる。このような算出方法を用いることにより、別途カメラを追加してステレオカメラを用意することなく、広角カメラと望遠カメラだけで対象物体までの距離を算出できる。
【００７２】
ここで、広角カメラＣ１で撮影される画像上の座標ｘ１と、望遠カメラＣ２で撮影される画像上の座標ｘ２，ｙ２，ｚ２から算出される座標ｘ４とを比較する。望遠カメラの焦点距離が広角カメラの焦点距離よりも十分大きいことを考慮すると、ｐ４の精度はｐ１の精度に比べて十分高い。例えば、望遠カメラＣ２が１０倍のズームを行うならば、ｘ４はｘ１のほぼ１０倍の分解能を持つ。
【００７３】
従って、２つの広角カメラＣ１をカメラ間距離ｂで用いるステレオカメラに比べて、本発明の物体撮影装置は、対象物体の距離Ｚにおいて１０倍の分解能を持つことになる。すなわち、同じ距離分解能を実現するためには、カメラ間距離ｂを１／１０にすることができることになる。
【００７４】
上述した例のように、カメラから２０ｍ離れた場所に存在する互いに３０ｃｍ離れた２つの物体を、距離の違いにより個々の物体として分離するためには、画角６０度のＶＧＡ（６４０×４８０画素）の広角カメラを２つ用いる場合のカメラ間距離ｂが２．３ｍ必要であるのに対して、この広角カメラと１０倍のズームを行う望遠カメラとを用いる場合のカメラ間距離ｂは、２３ｃｍで済み、同じ距離分解能を非常に小さい規模で実現できることが分かる。
【００７５】
なお、本発明の物体撮影装置は、全景映像を用いてコンベア上を流れる複数の物体を広範囲で識別し、詳細映像を用いて物体の外観を検査するシステムに用いることができる。
また、本発明の物体撮影装置は、予め小さなシール貼った物体について、詳細映像を用いてシールに書かれた文字を読みとることにより配送を管理するシステムに用いることができる。
また、本発明の物体撮影装置は、全景映像を用いて領域内に侵入する物体があるか否かを監視し、侵入した物体の詳細映像を蓄積する、または画像認識を用いて物体を識別し、物体の種類に応じて適切な通知を行うシステムに用いることができる。
また、本発明の物体撮影装置は、コンパクト化を図れる距離計としても用いることができる。
【００７６】
（付記１）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
（付記２）付記１に記載の物体撮影装置において、
前記第１のカメラは広角カメラであり、前記第２のカメラは望遠カメラであることを特徴とする物体撮影装置。
（付記３）付記１に記載の物体撮影装置において、
前記映像解析部により算出される前記所定の位置パラメータは前記物体の３次元位置を定める３つの位置パラメータのうちの少なくとも１つの位置パラメータであることを特徴とする物体撮影装置。
（付記４）付記３に記載の物体撮影装置において、
前記映像解析部は、前記第１のカメラと前記第２のカメラのカメラ間距離をｂ、前記第１のカメラの座標系をｏ１−ｘ１ｙ１ｚ１、焦点距離をｆ１、前記第２のカメラの座標系をｏ２−ｘ２ｙ２ｚ２、焦点距離をｆ２とし、また、前記第２のカメラをｙ軸の周りに回転させた角度をパン角、前記第２のカメラをｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第２のカメラをパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とし、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４とした場合に、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、前記第１のカメラの撮像面に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、前記第２のカメラの撮像面に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）、前記第２のカメラで得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）とし、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）とすると、
物体点Ｐ（Ｘ，Ｙ，Ｚ）を
【数２】
と算出することを特徴とする物体撮影装置。
（付記５）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
（付記６）付記５に記載の物体撮影装置において、
前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする物体撮影装置。
（付記７）付記５に記載の物体撮影装置において、
前記映像解析部は更に前記物体の大きさを算出することを特徴とする物体撮影装置。
（付記８）付記６に記載の物体撮影装置において、
前記映像解析部は、更に前記第２のカメラにより前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき撮影倍率を算出することを特徴とする物体撮影装置。
（付記９）付記８に記載の物体撮影装置において、
前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出することを特徴とする物体撮影装置。
（付記１０）付記９に記載の物体撮影装置において、
前記第２のカメラの光軸方向を変更可能に支持する支持部と、
前記映像解析部により算出された前記変更すべき光軸方向に従って前記第２のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とする物体撮影装置。
（付記１１）付記５に記載の物体撮影装置において、
前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影装置。
（付記１２）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とする物体撮影装置。
（付記１３）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とする物体撮影装置。
（付記１４）付記１３に記載の物体撮影装置において、
前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とする物体撮影装置。
（付記１５）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とする物体撮影装置。
（付記１６）所定の範囲を撮影する第１のカメラと、
撮影倍率の変更可能な第２のカメラと、
前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、
前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、
前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部と
を備えてなる物体撮影装置。
（付記１７）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
を備えてなる物体撮影方法。
（付記１８）付記１７に記載の物体撮影方法において、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影方法。
（付記１９）付記１７に記載の物体撮影方法において、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影方法。
（付記２０）付記１７に記載の物体撮影方法において、
算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影方法。（付記２１）付記１７に記載の物体撮影方法において、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影方法。
（付記２２）付記２１に記載の物体撮影方法において、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影方法。
（付記２３）付記２２に記載の物体撮影方法において、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影方法。
（付記２４）カメラを用いて物体を撮影する物体撮影方法であって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
を備えてなる物体撮影方法。
（付記２５）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
をコンピュータに実行させる物体撮影プログラム。
（付記２６）付記２５に記載の物体撮影プログラムにおいて、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２７）付記２５に記載の物体撮影プログラムにおいて、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２８）付記２５に記載の物体撮影プログラムにおいて、
算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２９）付記２５に記載の物体撮影プログラムにおいて、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影プログラム。
（付記３０）付記２９に記載の物体撮影プログラムにおいて、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影プログラム。
（付記３１）付記３０に記載の物体撮影プログラムにおいて、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影プログラム。
（付記３２）カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
をコンピュータに実行させる物体撮影プログラム。
【００７７】
【発明の効果】
以上説明したように、本発明によれば、異なる撮影倍率を有する広角カメラ（第１のカメラ）と望遠カメラ（第２のカメラ）とにより、測定精度を落とすことなく装置の規模を大幅に小型化し、または距離分解能を大幅に向上させて、対象物体の３次元位置を計測することができる。また、望遠カメラにより物体の詳細な映像を得ることもできる。更に、複数の物体からなる物体領域を個々の物体の物体領域へ高精度で分割することができるとともに、個々の物体を正確に拡大した詳細映像を取得することができる。
【図面の簡単な説明】
【図１】本発明の物体撮影装置の構成の一例を示すブロック図である。
【図２】本発明の物体撮影装置により出力される全景映像の一例を示す図である。
【図３】本発明の物体撮影装置により出力される詳細映像の一例を示す図である。
【図４】本発明の物体撮影装置の動作の一例を示すフローチャートである。
【図５】複数の物体から構成される対象物体領域の一例を示す図である。
【図６】複数の物体から構成される対象物体領域を撮影した全景映像と詳細映像の一例を示す図である。
【図７】凸部の距離Ｚ１，Ｚ２を求める式である。
【図８】形状による対象物体領域の分割の一例を示す図である。
【図９】本発明の物体撮影装置における距離計測の動作原理を示す図である。
【図１０】物体点位置と各投影点位置の関係を示す式である。
【図１１】望遠カメラＣ２の座標を変換するための回転行列Ｒを示す式である。
【図１２】ｏ２−ｘ２ｙ２ｚ２座標系をｏ２−ｘ３ｙ３ｚ３座標系へ変換する式である。
【図１３】投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４を示す式である。
【図１４】投影点ｐ１と投影点ｐ２を用いて物体点Ｐを示す式である。
【図１５】従来の第１の方式における問題点を表す図である。
【符号の説明】
１１ 広角カメラ、１２ 望遠カメラ、１３ 電動雲台、１４ 映像解析部、１５ 駆動制御部、２１，２２ 物体、３０ 対象物体領域、３１，３２ 物体領域。
【発明の属する技術分野】
本発明は、広範囲を撮影した全景映像中に存在する個々の物体を検出し、検出された物体の詳細映像を撮影する物体撮影装置、物体撮影方法、物体撮影プログラムに関するものである。
【０００２】
【従来の技術】
広範囲に分布する撮影対象の全領域を撮影した低解像度の映像である全景映像と、必要な領域だけを拡大して撮影した高解像度の映像である詳細映像とを同時に取得する技術が、これまでにいくつか提案されている。
【０００３】
第１の方式は、固定して設置され全景映像を撮影する１台の広角カメラと、パン・チルト機構を持つ雲台に設置され詳細映像を撮影する１台の望遠カメラとを用いる方式である。この第１の方式によれば、広角カメラが全景映像を取得し、利用者が全景映像を目視にて観察し、利用者が全景映像のうち必要な領域を指定し、望遠カメラが指定された領域だけの詳細映像を取得するように、望遠カメラが電動雲台を制御して望遠カメラの方向を調整するとともに、望遠カメラがズーム機構を制御して倍率を調整する（例えば、特許文献１，２，３参照）。
【０００４】
第２の方式は、全景映像に映る物体のうち必要な対象物体の詳細映像を自動的に取得する方式である。この第２の方式は、第１の方式において全景映像を取得する広角カメラを、１台のカメラからなる単眼カメラではなく、２台のカメラからなり各物体の距離が計測できるステレオカメラに置き換え、３眼カメラを用いる。この第２の方法によれば、ステレオカメラを用いて各物体の３次元位置を計測し、ズームカメラが対象物体の詳細映像を取得するように、計測した対象物の３次元位置に従って望遠カメラの方向と望遠カメラの倍率を調整する（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開２００２−２１８２８８号公報（第２−４頁、図１−図２）
【特許文献２】
特開平９−３２２０５１号公報（第３−６頁、図１）
【特許文献３】
実開平６−２９２８５号公報（第２頁、図１）
【０００６】
【発明が解決しようとする課題】
しかしながら第１の方式は、利用者が全景映像を目視で観察し、詳細映像を取得する領域を指定しており、対象物体の詳細映像を自動的に取得するためには、次の２点の問題がある。
第１に、望遠カメラを向ける方向を決定するためには、対象物体の３次元位置を対象物体までの距離を計測する必要がある。ところが、単眼カメラで取得した全景映像だけから対象物体の距離を計測することは不可能である。例えば図１５に示すように、広角カメラ１が撮影した全景映像上の点Ａと点Ｂについて、それぞれの詳細映像を得たい場合、点Ａと点Ｂの３次元位置、すなわち点Ａと点Ｂまでの距離が分からないと、望遠カメラ２を向ける方向を自動的に決定することはできない。ここで、従来のように利用者が詳細映像の領域を指定する場合には、詳細映像の領域がずれても利用者による修正が可能であるが、自動的に取得する場合には、詳細映像の領域がずれると修正が不可能である。
【０００７】
第２に、詳細映像を取得したい物体が複数存在し、それらの物体が隣接している場合や、それらの物体の一部が重なり合う場合に、個々の物体を切り分けられないという問題がある。ここで、映像から物体だけを検出するためには、物体が存在しない場合の背景を予め撮影し、背景映像として記憶しておき、この背景映像と取得される全景映像映像との間で、画素毎に差分操作を行い、その差分値が大きい箇所を物体として検出する背景差分と呼ばれる物体検出方式が一般的に用いられる。しかし、背景差分では隣接する物体や重なり合う物体は一つの塊として検出される。そのため、個々の物体に分離し、それぞれの物体の詳細映像を取得することは困難である。
【０００８】
また、個々の対象物体の方向に望遠カメラを向けることにより、個々の対象物体を中央とする詳細映像を撮影する必要があるが、異なる距離に存在する複数の物体が塊として検出された場合、個々の物体を分離できない上に、個々の物体までの距離が不明であることから、個々の物体を中央とする詳細映像を取得することができない。
【０００９】
また、第２の方式は、ステレオカメラから得られる対象物体の距離を用いて対象物体を検出しているが、対象物体の距離を得る上で次の問題がある。
全景映像を撮影するためのカメラは広範囲を撮影しなければならないことから、広角レンズを用いたカメラを使用する必要がある。例えば、幅２０ｍ、奥行き２０ｍの範囲を撮影するためには、６０度程度の画角が必要となる。しかし、画角が大きいカメラを使用したステレオカメラから得られる距離の分解能は低く、距離の違いを用いて複数の物体を分離することが困難となる。ここで、カメラの焦点距離をｆ［画素］、検出する最遠距離をＺ［ｍ］、２つの物体の分離に必要な距離差をΔＺとするとき、ステレオカメラを構成する２つのカメラに必要なカメラ間距離ｂ［ｍ］は、（１）式で与えられる。
【００１０】
ｂ＝（Ｚ＾２−ΔＺ・Ｚ）／（ΔＺ・ｆ）・・・（１）
ただし、ｆは、カメラの画角θ［ｒａｄ］と画像の横幅ｗ［画素］を用いた（２）式で与えられる。
ｆ＝ｗ／（２ｔａｎθ）・・・（２）
【００１１】
例えば、画角６０度のＶＧＡ（６４０×４８０画素）カメラを用いて、カメラから２０ｍ離れた場所に存在する互いに３０ｃｍ離れた２つの物体を、距離の違いにより個々の物体として分離するためには、ｗ＝６４０［画素］、θ＝６０［ｄｅｇ］、Ｚ＝２０［ｍ］、ΔＺ＝０．３［ｍ］を（式）に適用すると、ステレオカメラを構成する１つのカメラの間隔ｂは２．３ｍも必要となる。従ってステレオカメラを用いた撮影装置の規模は非常に大きいものとなり、設置が困難となる。
【００１２】
本発明は、このような問題を解決するためになされたものであり、２つのカメラを用いてコンパクトな構成で精度良く（精度を落とすことなくコンパクト化が測れ）、距離等の物体位置を検出することができる物体撮影装置、物体撮影方法、及び物体撮影プログラムを提供することを目的とする。また、本発明は、更に、自動的に対象物体の詳細映像をも得ることができる物体撮影装置、物体撮影方法、物体撮影プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決するため、本発明の物体撮影装置は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部とを備えてなるものである。
【００１４】
ここで、前記第１のカメラは広角カメラであり、前記第２のカメラは望遠カメラであることを特徴とすることができる。
【００１５】
また、前記映像解析部により算出される前記所定の位置パラメータは前記物体の３次元位置を定める３つの位置パラメータのうちの少なくとも１つの位置パラメータであることを特徴とすることができる。
【００１６】
更に、前記映像解析部は、前記第１のカメラと前記第２のカメラのカメラ間距離をｂ、前記第１のカメラの座標系をｏ１−ｘ１ｙ１ｚ１、焦点距離をｆ１、前記第２のカメラの座標系をｏ２−ｘ２ｙ２ｚ２、焦点距離をｆ２とし、また、前記第２のカメラをｙ軸の周りに回転させた角度をパン角、前記第２のカメラをｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第２のカメラをパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とし、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４とした場合に、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、前記第１のカメラの撮像面に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、前記第２のカメラの撮像面に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）、前記第２のカメラで得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）とし、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）とすると、物体点Ｐ（Ｘ，Ｙ，Ｚ）を
【数１】
【００１７】
以上のような構成によれば、第２のカメラにおける拡大映像を用いて座標取得ができるため、３次元位置の計測において、装置の規模を大幅に小型化する、または距離分解能を大幅に向上させることが可能となる。
【００１８】
また、本発明の物体撮影装置は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部とを備えてなるものである。
このような構成によれば、第１のカメラで視野広く物体を検出し、更に、検出された物体の位置等を第１のカメラと第２のカメラを用いて精度良く検出することができる。そして、この場合、第１のカメラと第２のカメラの距離を従来に比べて小さくでき、従ってコンパクト化を図ることができる。
【００１９】
ここにおいて、前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする。この構成によれば、例えば、物体の距離、大きさに合わせて第２のカメラの撮影倍率を最も精度を高める撮影倍率に設定することができる。
【００２０】
また、前記映像解析部は更に前記物体の大きさを算出することを特徴とすることができる。この構成によれば、第２のカメラの撮影倍率の変更の指針を得ることができる。また、例えば大きさを用いて、撮影された物体が対象物体か非対象物体かについての区別をすることも可能となる。
【００２１】
さらに、前記映像解析部は、算出された前記位置パラメータに基づいて、更に前記第２のカメラにより前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき撮影倍率を算出することを特徴とすることができる。この構成によれば、撮影目的に合わせて、第２のカメラの撮影倍率を自動的に変更することができる。
【００２２】
また、前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出することを特徴とすることができる。この構成によれば、第２のカメラにおいて、確実に対象とする物体をその視野内に納める光軸方向を得ることができる。
【００２３】
更に、本発明の物体撮影装置において、前記第２のカメラの光軸方向を変更可能に支持する支持部と、前記映像解析部により算出された前記変更すべき光軸方向に従って前記第２のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とすることができる。このような構成によれば、第２のカメラにおいて、確実に対象とする物体をその視野内に自動的に納めることができる。
【００２４】
更に、前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。このような構成によれば、所定の視野内に存在する物体の有無を自動的に判断することができる。
【００２５】
また、本発明の物体撮影装置において、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とすることができる。この構成は、撮影映像に複数の物体が一連となって撮影されている場合、その映像形状は、一つの物体に一つの凸部が形成されるような形状になることが多いことに鑑みてなされたもので、この構成によれば、映像形状に複数の凸部が見出せないときは、それが一つの物体からなっていると見なすこととしたものである。
【００２６】
更に、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とすることができる。
この構成によれば、各凸部までの距離の差を検出することで、映像形状が複数の物体が一連となって形成されていることを確実に検出することができる。
【００２７】
そして、更に、前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とすることができる。
この構成によれば、複数の物体が一連となって撮影されている場合でも、各物体ごとに区別して扱うことができる。
【００２８】
なお、前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とすることができる。この構成によれば、容易に凸部を定義することができ、処理の容易化、迅速化を図ることができる。
【００２９】
また、本発明の物体撮影装置は、所定の範囲を撮影する第１のカメラと、撮影倍率の変更可能な第２のカメラと、前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部とを備えてなるものである。
このような構成によれば、自動的に対象物体の詳細映像をも得ることができる。
【００３０】
また、本発明は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとを備えてなるものである。
【００３１】
また、本発明の物体撮影方法において、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【００３２】
また、本発明の物体撮影方法において、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【００３３】
また、本発明の物体撮影方法において、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【００３４】
また、本発明の物体撮影方法において、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【００３５】
また、本発明の物体撮影方法において、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【００３６】
また、本発明の物体撮影方法において、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【００３７】
また、本発明は、カメラを用いて物体を撮影する物体撮影方法であって、第１のカメラを用いて第１映像を撮影するステップと、前記第１映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、前記第２のカメラを用いて前記第３映像を撮影するステップとを備えてなるものである。
【００３８】
また、本発明は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとをコンピュータに実行させるものである。
【００３９】
また、本発明の物体撮影プログラムにおいて、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【００４０】
また、本発明の物体撮影プログラムにおいて、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【００４１】
また、本発明の物体撮影プログラムにおいて、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【００４２】
また、本発明の物体撮影プログラムにおいて、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【００４３】
また、本発明の物体撮影プログラムにおいて、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【００４４】
また、本発明の物体撮影プログラムにおいて、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【００４５】
尚、実施の形態には、カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、第１のカメラを用いて第１映像を撮影するステップと、前記第１映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、前記第２のカメラを用いて前記第３映像を撮影するステップとをコンピュータに実行させる物体撮影プログラムが開示されている。
【００４６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の物体撮影装置の構成について説明する。図１は、本発明の物体撮影装置の構成例を示すブロック図である。物体撮影装置は、広角カメラ（第１のカメラ）１１、望遠カメラ（第２のカメラ）１２、電動雲台（カメラ支持台）１３、映像解析部１４、駆動制御部１５から構成される。
【００４７】
広角カメラ１１は、対象となる全領域（例えば設定された所定領域全域）を撮影し、全景映像として映像解析部１４と外部へ出力する。図２は、本発明の物体撮影装置により出力される全景映像の一例を示す図である。図２の例において、広角カメラ１１から得られる全景映像には、物体２１と物体２２が映し出されている。望遠カメラ１２は、ある領域だけを拡大して撮影し、詳細映像として映像解析部１４へ出力する。
【００４８】
映像解析部１４は、全景映像において対象となる物体（対象物体）が撮影されているか否かを判定する（全景映像から対象物体を検出する）と共に、物体が撮影されている場合（検出された場合）は全景映像上での対象物体の位置を取得する。更に、映像解析部１４は、対象物体が検出された場合に、全景映像と詳細映像を用いて対象物体の３次元位置情報を算出し、この位置情報を元に望遠カメラが対象物体の詳細映像を撮影するための望遠カメラの倍率と方向を生成し、駆動制御部１５へ出力する。なお、映像解析部は図示しないＣＰＵを備え、後述する映像解析や駆動制御部の制御信号を形成するための動作を図示しないメモリに記憶された物体撮影プログラムに従って行う。
【００４９】
駆動制御部１５は、映像解析部１４からの倍率と方向に従って、電動雲台１３と望遠カメラ１２を制御する。望遠カメラ１２は電動雲台１３上に設置され、駆動制御部１５が電動雲台１３のパン・チルトを制御することにより、望遠カメラ１２の方向を調整することができる。また、望遠カメラ１２はズーム機構を備え、駆動制御部１５がズーム機構を制御することにより、倍率を調整することできる。
【００５０】
また、映像解析部１４は望遠カメラ１２が対象物体の詳細映像を取得した場合に、その詳細映像を外部へ出力することができる。図３は、本発明の物体撮影装置により出力される詳細映像の一例を示す図である。図３の例において、望遠カメラ１２から得られる詳細映像には、物体２１が映し出されている。
【００５１】
次に、本発明の物体撮影装置の動作について説明する。図４は、本発明の物体撮影装置の動作の一例を示すフローチャートである。
まず映像解析部１４は、広角カメラ１１から全景映像を取得する（Ｓ１）。次に、全景映像を用いて、全景映像に映る物体領域について、映像画面上での大きさと位置を抽出（検出）する（Ｓ２）。物体領域の抽出の詳細については、後述する。次に映像解析部１４は、各物体領域について、物体領域の番号ｉ、大きさ、位置、既分割フラグを記述した物体位置情報Ｏｉを生成し、Ｌ＝｛Ｏ１，Ｏ２，…Ｏｎ｝を物体位置情報リストとして保持する（Ｓ３）。既分割フラグとは、Ｏｉにおいて分割の処理が行われたか否かを表すフラグであり、初期値をｆａｌｓｅとしておく。
【００５２】
次に映像解析部１４は、Ｌが空であるか否かの判断を行う（Ｓ４）。Ｌが空であれば（Ｓ４，Ｙｅｓ）、フローを終了する。一方、Ｌが空でなければ（Ｓ４，Ｎｏ）、Ｌから１つのＯｉを取り出すことにより、Ｏｉを対象物体領域として決定する（Ｓ５）。
次に映像解析部１４は、Ｏｉを元に対象物体領域を撮影するように望遠カメラの倍率と方向を決定し、これらを駆動制御部１５へ出力することにより、望遠カメラ１２の制御を行う（Ｓ６）。望遠カメラの制御の詳細については、後述する。次に映像解析部１４は、倍率と方向率が調整された望遠カメラ１２から詳細映像を取得する（Ｓ７）。
【００５３】
次に映像解析部１４は、対象物体領域が既に分割済みか否かの判断を行う（Ｓ８）。すなわち、Ｏｉの既分割フラグがｔｒｕｅであるか否かの判断を行う。
既分割フラグがｔｒｕｅである場合（Ｓ８，Ｙｅｓ）、詳細映像の出力を行い（Ｓ９）、ＯｉをＬから削除するとともに、処理Ｓ４へ戻る。一方、既分割フラグがｆａｌｓｅである場合（Ｓ８，Ｎｏ）、映像解析部１４は、対象物体領域において形状による分割が可能であるか否かの判断を行う（Ｓ１０）。形状による分割の詳細については、後述する。
【００５４】
形状による分割が不可能である場合（Ｓ１０，Ｎｏ）、既分割フラグをｔｒｕｅとし、処理Ｓ９へ移行する。一方、形状による分割が可能である場合（Ｓ１０，Ｙｅｓ）、対象物体領域において距離による分割が可能であるか否かの判断を行う（Ｓ１１）。
【００５５】
距離による分割が不可能である場合（Ｓ１１，Ｎｏ）、既分割フラグをｔｒｕｅとし、処理Ｓ９へ移行する。一方、距離による分割が可能である場合（Ｓ１１，Ｙｅｓ）、対象物体領域内の距離を用いて複数の物体に分割し（Ｓ１２）、ＯｉをＬから削除するとともに、分割して得られた複数の新たな物体情報Ｏｎ＋１，Ｏｎ＋１，…Ｏｎ＋ｍ（ｍは分割して得られた物体の数）をＬに加え、既分割フラグをｔｒｕｅとし、処理Ｓ４へ戻る。距離による分割の詳細については、後述する。
【００５６】
以上のようなフローにより、全ての物体領域についての詳細映像を出力することができる。
このようなステップＳ１からＳ１２までを物体撮影プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、物体撮影装置による物体撮影方法をコンピュータに実行させることが可能となる。なお、上記コンピュータにより読取り可能な記録媒体は、ＲＯＭやＲＡＭなどの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【００５７】
次に、処理Ｓ２の物体領域の抽出について詳細に説明する。映像解析部１４は、予め物体のない背景だけが撮影された全景映像である、背景映像を用意しておく。映像解析部１４は、全景映像を取得すると、背景映像と全景映像の輝度差を画素毎に求め、その輝度差が予め定められた閾値より大きい画素値を１とし、それ以外の画素値を０とする、２値画像の全景映像を生成する。次に、２値画像の全景映像において画素値が１となる画素の連続性を調べ、連続する画素を１つにまとめた領域を物体領域として抽出する。
【００５８】
次に、処理Ｓ６の望遠カメラの制御の一例について詳細に説明する。映像解析部１４は、対象物体の物体位置情報Ｏｉを元に望遠カメラ１２の方向と倍率を以下のように算出する。最初は、広角カメラ１１の光軸と平行になるように望遠カメラ１２の方向をパン角θ＝０、チルト角ψ＝０に合わせておき、広角カメラ１１の焦点距離ｆ１と等しくなるように望遠カメラ１２の焦点距離をｆ１に合わせておく。この状態で、カメラ間距離ｂの平行ステレオ視により、対象物体のおおよその３次元位置と大きさを算出しておく。対象物体のおおよその距離と大きさを用いて、対象物体が詳細映像に収まるようにパン角θ、チルト角ψ、倍率ｍを決定し、これらを用いて駆動制御部１５が電動雲台１３と望遠カメラ１２を制御し、再び詳細映像を取得する。具体的には、３次元での対象物体の中心位置を（Ｘ０，Ｙ０，Ｚ０）、大きさを表す幅、高さ、奥行きをそれぞれＷ，Ｈ，Ｄ、詳細映像に収める対象物体の横幅をｋとすると、パン角θ、チルト角ψ、倍率ｍは、それぞれ（３）〜（５）式で与えられる。
【００５９】
θ＝ｔａｎ＾（−１）｛（Ｘ０−ｂ）／Ｚ０｝・・・（３）
ψ＝ｔａｎ＾（−１）（Ｙ０／Ｚ０）・・・（４）
ｍ＝Ｚ０／Ｘ０・ｋ・・・（５）
【００６０】
倍率ｍが決定すると、望遠カメラ１２に設定すべき焦点距離ｆ２は、（６）式で与えられる。
ｆ２＝ｍ・ｆ１・・・（６）
なお、本発明は上述した望遠カメラ１２の制御に限定されることはなく、例えば、広角カメラで撮影する所定領域において、物体のその全景映像上での位置（２次元位置）及び大きさが分かればその物体のおよその位置及び大きさが分かるような場合は、その既知の値に基づいて望遠カメラ１２を制御するようにすればよい。例えば、ベルトコンベアなどにより搬送される物体を撮影する場合は、このような方式を採用することが可能である。
【００６１】
或いは、例えば望遠カメラ１２は所定の範囲を走査しながら映像を取り、各映像において、全景映像との比較処理を行って、共通対象物を取得することで、その位置や大きさを取得するようにしても良い。
【００６２】
次に、処理Ｓ１０の形状による物体の分割の判断について詳細に説明する。映像解析部１４は、全景映像における物体領域の外形から凸部を抽出することにより、複数の物体が重なった形状か、単一の物体の形状かを判断する。具体的には、例えば図５に示すように、全景映像のうち対象物体領域３０の上部の外形から凸部を抽出し、凸部が複数抽出された場合は、複数の物体に分割される可能性があると判断する。一方、凸部が１つ抽出された場合は、分割されない１つの物体であると判断する。従って図５の例では、対象物体領域３０から凸部Ａと凸部Ｂの２つの凸部が検出されることから、対象物体領域３０は２つの物体に分割される可能性があると判断する。
【００６３】
次に、処理Ｓ１１，Ｓ１２の距離による物体の分割について詳細に説明する。映像解析部１４は、処理Ｓ１０と同様にして詳細映像においても対象物体領域の外形から凸部を抽出し、それぞれの凸部の距離計測を行う。ここで、例えば図６に示す全景映像と詳細映像が得られた場合の距離による物体の分割について具体的に説明する。全景映像における対象物体領域３０の外形の上部に存在する２つの凸部をｗｘ１Ｌ，ｗｘ２Ｌ、詳細映像における対象物体領域３０の外形の上部に存在する２つの凸部をＺＸ１Ｒ，ＺＸ２Ｒ、広角カメラの焦点距離をｆ１、望遠カメラの焦点距離をｆ２、望遠カメラのパン角をθ、チルト角をψ、カメラ間距離をｂとするとき、２つの凸部の距離Ｚ１，Ｚ２は、図７に示す式で与えられる。
【００６４】
次に、映像解析部１４は、２つの距離Ｚ１，Ｚ２の差ΔＺ＝｜Ｚ１−Ｚ２｜が閾値以上であるか否かの判断を行い、閾値以上であれば２つの凸部の距離に有意な差があると判断し、対象物体領域の分割を行う。図８に示すように、２つの凸部Ａと凸部Ｂで挟まれた谷の位置で対象物体領域３０を分割し、分割したそれぞれの領域を新たな物体領域３１，３２とする。
【００６５】
ここで、距離計測の動作原理について詳細に説明する。従来のステレオカメラが２つの同じカメラを用いるのに対して、本発明の映像解析部１４は、異なる倍率を持つ広角カメラ１１と望遠カメラ１２を用いても、これら２つのカメラを用いて距離計測を行うことができる。
【００６６】
図９は、本発明の物体撮影装置における距離計測の動作原理を示す図である。ここでは説明を簡単にするために、雲台のパン角（またはヨー角）のみが変化する２次元平面内での回転を考えるが、パン角とチルト角（またはピッチング角）が変化する３次元空間での回転でも一般性は保たれる。
【００６７】
図９において、広角カメラＣ１と望遠カメラＣ２のカメラ間距離をｂ、広角カメラの撮像面をＩ１、望遠カメラＣ２の撮像面をＩ２とする。また、広角カメラＣ１の座標系をｏ１−ｘ１ｙ１ｚ１、広角カメラＣ１における撮像面Ｉ１までの焦点距離をｆ１、望遠カメラＣ２の座標系をｏ２−ｘ２ｙ２ｚ２、望遠カメラＣ２における撮像面Ｉ２までの焦点距離をｆ２とする。
【００６８】
また、望遠カメラＣ２をｙ軸の周りに回転させた角度をパン角、望遠カメラＣ２をｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、望遠カメラＣ２をパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とする。また、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４、仮想カメラの撮像面をＩ４とする。
【００６９】
このとき、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、広角カメラの撮像面Ｉ１に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、望遠カメラの撮像面Ｉ２に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）とすると、物体点と各投影点の間には、図１０に示す式の関係が成り立つ。
次に、光軸が広角カメラＣ１と平行になるように、望遠カメラＣ２の座標を変換するための回転行列Ｒは、図１１に示す式で与えられる。
この式を用いると、望遠カメラＣ２で得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）は、図１２に示す式で表される。
【００７０】
次に、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）は、図１３に示す式で表される。
すなわち、望遠カメラＣ２の投影点ｐ２は、広角カメラＣ１と光軸が平行で同じ焦点距離を持つ仮想カメラＣ３の投影点ｐ４へ変換することができる。従って、投影点ｐ１と投影点ｐ２を用いて物体点Ｐ（Ｘ，Ｙ，Ｚ）は、図１４に示す式で与えられる。
【００７１】
以上に示したように、広角カメラと望遠カメラが異なる倍率であっても、広角カメラＣ１における投影点（ｘ１，ｙ１）と望遠カメラＣ２における投影点（ｘ２，ｙ２）が特定できれば、物体点Ｐの３次元座標を直接算出することができる。このような算出方法を用いることにより、別途カメラを追加してステレオカメラを用意することなく、広角カメラと望遠カメラだけで対象物体までの距離を算出できる。
【００７２】
ここで、広角カメラＣ１で撮影される画像上の座標ｘ１と、望遠カメラＣ２で撮影される画像上の座標ｘ２，ｙ２，ｚ２から算出される座標ｘ４とを比較する。望遠カメラの焦点距離が広角カメラの焦点距離よりも十分大きいことを考慮すると、ｐ４の精度はｐ１の精度に比べて十分高い。例えば、望遠カメラＣ２が１０倍のズームを行うならば、ｘ４はｘ１のほぼ１０倍の分解能を持つ。
【００７３】
従って、２つの広角カメラＣ１をカメラ間距離ｂで用いるステレオカメラに比べて、本発明の物体撮影装置は、対象物体の距離Ｚにおいて１０倍の分解能を持つことになる。すなわち、同じ距離分解能を実現するためには、カメラ間距離ｂを１／１０にすることができることになる。
【００７４】
上述した例のように、カメラから２０ｍ離れた場所に存在する互いに３０ｃｍ離れた２つの物体を、距離の違いにより個々の物体として分離するためには、画角６０度のＶＧＡ（６４０×４８０画素）の広角カメラを２つ用いる場合のカメラ間距離ｂが２．３ｍ必要であるのに対して、この広角カメラと１０倍のズームを行う望遠カメラとを用いる場合のカメラ間距離ｂは、２３ｃｍで済み、同じ距離分解能を非常に小さい規模で実現できることが分かる。
【００７５】
なお、本発明の物体撮影装置は、全景映像を用いてコンベア上を流れる複数の物体を広範囲で識別し、詳細映像を用いて物体の外観を検査するシステムに用いることができる。
また、本発明の物体撮影装置は、予め小さなシール貼った物体について、詳細映像を用いてシールに書かれた文字を読みとることにより配送を管理するシステムに用いることができる。
また、本発明の物体撮影装置は、全景映像を用いて領域内に侵入する物体があるか否かを監視し、侵入した物体の詳細映像を蓄積する、または画像認識を用いて物体を識別し、物体の種類に応じて適切な通知を行うシステムに用いることができる。
また、本発明の物体撮影装置は、コンパクト化を図れる距離計としても用いることができる。
【００７６】
（付記１）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
（付記２）付記１に記載の物体撮影装置において、
前記第１のカメラは広角カメラであり、前記第２のカメラは望遠カメラであることを特徴とする物体撮影装置。
（付記３）付記１に記載の物体撮影装置において、
前記映像解析部により算出される前記所定の位置パラメータは前記物体の３次元位置を定める３つの位置パラメータのうちの少なくとも１つの位置パラメータであることを特徴とする物体撮影装置。
（付記４）付記３に記載の物体撮影装置において、
前記映像解析部は、前記第１のカメラと前記第２のカメラのカメラ間距離をｂ、前記第１のカメラの座標系をｏ１−ｘ１ｙ１ｚ１、焦点距離をｆ１、前記第２のカメラの座標系をｏ２−ｘ２ｙ２ｚ２、焦点距離をｆ２とし、また、前記第２のカメラをｙ軸の周りに回転させた角度をパン角、前記第２のカメラをｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第２のカメラをパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とし、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４とした場合に、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、前記第１のカメラの撮像面に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、前記第２のカメラの撮像面に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）、前記第２のカメラで得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）とし、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）とすると、
物体点Ｐ（Ｘ，Ｙ，Ｚ）を
【数２】
（付記５）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
（付記６）付記５に記載の物体撮影装置において、
前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする物体撮影装置。
（付記７）付記５に記載の物体撮影装置において、
前記映像解析部は更に前記物体の大きさを算出することを特徴とする物体撮影装置。
（付記８）付記６に記載の物体撮影装置において、
前記映像解析部は、更に前記第２のカメラにより前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき撮影倍率を算出することを特徴とする物体撮影装置。
（付記９）付記８に記載の物体撮影装置において、
前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出することを特徴とする物体撮影装置。
（付記１０）付記９に記載の物体撮影装置において、
前記第２のカメラの光軸方向を変更可能に支持する支持部と、
前記映像解析部により算出された前記変更すべき光軸方向に従って前記第２のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とする物体撮影装置。
（付記１１）付記５に記載の物体撮影装置において、
前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影装置。
（付記１２）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とする物体撮影装置。
（付記１３）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とする物体撮影装置。
（付記１４）付記１３に記載の物体撮影装置において、
前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とする物体撮影装置。
（付記１５）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とする物体撮影装置。
（付記１６）所定の範囲を撮影する第１のカメラと、
撮影倍率の変更可能な第２のカメラと、
前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、
前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、
前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部と
を備えてなる物体撮影装置。
（付記１７）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
を備えてなる物体撮影方法。
（付記１８）付記１７に記載の物体撮影方法において、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影方法。
（付記１９）付記１７に記載の物体撮影方法において、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影方法。
（付記２０）付記１７に記載の物体撮影方法において、
算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影方法。（付記２１）付記１７に記載の物体撮影方法において、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影方法。
（付記２２）付記２１に記載の物体撮影方法において、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影方法。
（付記２３）付記２２に記載の物体撮影方法において、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影方法。
（付記２４）カメラを用いて物体を撮影する物体撮影方法であって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
を備えてなる物体撮影方法。
（付記２５）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
をコンピュータに実行させる物体撮影プログラム。
（付記２６）付記２５に記載の物体撮影プログラムにおいて、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２７）付記２５に記載の物体撮影プログラムにおいて、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２８）付記２５に記載の物体撮影プログラムにおいて、
算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２９）付記２５に記載の物体撮影プログラムにおいて、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影プログラム。
（付記３０）付記２９に記載の物体撮影プログラムにおいて、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影プログラム。
（付記３１）付記３０に記載の物体撮影プログラムにおいて、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影プログラム。
（付記３２）カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
をコンピュータに実行させる物体撮影プログラム。
【００７７】
【発明の効果】
以上説明したように、本発明によれば、異なる撮影倍率を有する広角カメラ（第１のカメラ）と望遠カメラ（第２のカメラ）とにより、測定精度を落とすことなく装置の規模を大幅に小型化し、または距離分解能を大幅に向上させて、対象物体の３次元位置を計測することができる。また、望遠カメラにより物体の詳細な映像を得ることもできる。更に、複数の物体からなる物体領域を個々の物体の物体領域へ高精度で分割することができるとともに、個々の物体を正確に拡大した詳細映像を取得することができる。
【図面の簡単な説明】
【図１】本発明の物体撮影装置の構成の一例を示すブロック図である。
【図２】本発明の物体撮影装置により出力される全景映像の一例を示す図である。
【図３】本発明の物体撮影装置により出力される詳細映像の一例を示す図である。
【図４】本発明の物体撮影装置の動作の一例を示すフローチャートである。
【図５】複数の物体から構成される対象物体領域の一例を示す図である。
【図６】複数の物体から構成される対象物体領域を撮影した全景映像と詳細映像の一例を示す図である。
【図７】凸部の距離Ｚ１，Ｚ２を求める式である。
【図８】形状による対象物体領域の分割の一例を示す図である。
【図９】本発明の物体撮影装置における距離計測の動作原理を示す図である。
【図１０】物体点位置と各投影点位置の関係を示す式である。
【図１１】望遠カメラＣ２の座標を変換するための回転行列Ｒを示す式である。
【図１２】ｏ２−ｘ２ｙ２ｚ２座標系をｏ２−ｘ３ｙ３ｚ３座標系へ変換する式である。
【図１３】投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４を示す式である。
【図１４】投影点ｐ１と投影点ｐ２を用いて物体点Ｐを示す式である。
【図１５】従来の第１の方式における問題点を表す図である。
【符号の説明】
１１ 広角カメラ、１２ 望遠カメラ、１３ 電動雲台、１４ 映像解析部、１５ 駆動制御部、２１，２２ 物体、３０ 対象物体領域、３１，３２ 物体領域。
Claims (10)
- 撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。 - 請求項１に記載の物体撮影装置において、
前記第１のカメラは広角カメラであり、前記第２のカメラは望遠カメラであることを特徴とする物体撮影装置。 - 撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。 - 請求項３に記載の物体撮影装置において、
前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする物体撮影装置。 - 所定の範囲を撮影する第１のカメラと、
撮影倍率の変更可能な第２のカメラと、
前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、
前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、
前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部と
を備えてなる物体撮影装置。 - 撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
を備えてなる物体撮影方法。 - 請求項６に記載の物体撮影方法において、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影方法。 - カメラを用いて物体を撮影する物体撮影方法であって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
を備えてなる物体撮影方法。 - 撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
をコンピュータに実行させる物体撮影プログラム。 - 請求項９に記載の物体撮影プログラムにおいて、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003163174A JP4198536B2 (ja) | 2003-06-09 | 2003-06-09 | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003163174A JP4198536B2 (ja) | 2003-06-09 | 2003-06-09 | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004364212A true JP2004364212A (ja) | 2004-12-24 |
| JP4198536B2 JP4198536B2 (ja) | 2008-12-17 |
Family
ID=34055065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003163174A Expired - Fee Related JP4198536B2 (ja) | 2003-06-09 | 2003-06-09 | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4198536B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014054753A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
| WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
| GB2541101A (en) * | 2015-06-23 | 2017-02-08 | Bosch Gmbh Robert | Method and camera system for determining the distance of objects in relation to a vehicle |
| WO2018173243A1 (ja) * | 2017-03-24 | 2018-09-27 | 株式会社日立製作所 | ステレオカメラ装置 |
| WO2019021393A1 (ja) * | 2017-07-26 | 2019-01-31 | 三菱電機株式会社 | 距離計測装置および距離計測方法 |
| KR101944705B1 (ko) * | 2017-04-13 | 2019-02-08 | 주식회사 스트로크플레이 | 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 |
| KR20190013104A (ko) * | 2017-07-31 | 2019-02-11 | 한화테크윈 주식회사 | 감시 시스템 및 그 동작 방법 |
| JP2020068423A (ja) * | 2018-10-22 | 2020-04-30 | 三菱重工業株式会社 | 表示装置および表示方法 |
| CN111141215A (zh) * | 2020-01-15 | 2020-05-12 | 大连理工大学 | 影像的目标尺寸测量系统及其使用方法 |
| CN111242988A (zh) * | 2020-01-14 | 2020-06-05 | 青岛联合创智科技有限公司 | 一种广角相机与长焦相机联动双云台跟踪目标的方法 |
| US20210374972A1 (en) * | 2019-02-20 | 2021-12-02 | Huawei Technologies Co., Ltd. | Panoramic video data processing method, terminal, and storage medium |
| WO2022064687A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 画像処理方法 |
-
2003
- 2003-06-09 JP JP2003163174A patent/JP4198536B2/ja not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
| WO2014054753A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
| GB2541101A (en) * | 2015-06-23 | 2017-02-08 | Bosch Gmbh Robert | Method and camera system for determining the distance of objects in relation to a vehicle |
| WO2018173243A1 (ja) * | 2017-03-24 | 2018-09-27 | 株式会社日立製作所 | ステレオカメラ装置 |
| KR101944705B1 (ko) * | 2017-04-13 | 2019-02-08 | 주식회사 스트로크플레이 | 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 |
| WO2019021393A1 (ja) * | 2017-07-26 | 2019-01-31 | 三菱電機株式会社 | 距離計測装置および距離計測方法 |
| JPWO2019021393A1 (ja) * | 2017-07-26 | 2019-11-07 | 三菱電機株式会社 | 距離計測装置および距離計測方法 |
| KR102315525B1 (ko) | 2017-07-31 | 2021-10-21 | 한화테크윈 주식회사 | 감시 시스템 및 그 동작 방법 |
| KR20190013104A (ko) * | 2017-07-31 | 2019-02-11 | 한화테크윈 주식회사 | 감시 시스템 및 그 동작 방법 |
| JP2020068423A (ja) * | 2018-10-22 | 2020-04-30 | 三菱重工業株式会社 | 表示装置および表示方法 |
| JP7266989B2 (ja) | 2018-10-22 | 2023-05-01 | 三菱重工業株式会社 | 表示装置および表示方法 |
| US20210374972A1 (en) * | 2019-02-20 | 2021-12-02 | Huawei Technologies Co., Ltd. | Panoramic video data processing method, terminal, and storage medium |
| CN111242988A (zh) * | 2020-01-14 | 2020-06-05 | 青岛联合创智科技有限公司 | 一种广角相机与长焦相机联动双云台跟踪目标的方法 |
| CN111141215A (zh) * | 2020-01-15 | 2020-05-12 | 大连理工大学 | 影像的目标尺寸测量系统及其使用方法 |
| WO2022064687A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 画像処理方法 |
| JP7487786B2 (ja) | 2020-09-28 | 2024-05-21 | 日本電気株式会社 | 画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4198536B2 (ja) | 2008-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6304244B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
| JP2008109552A (ja) | 追跡機能付き撮像装置 | |
| JP2012028949A (ja) | 画像処理装置及びその制御方法 | |
| EP3800451A1 (en) | Temperature measurement processing method and apparatus, and thermal imaging device | |
| JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
| JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
| JP5183152B2 (ja) | 画像処理装置 | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| JP2013218432A (ja) | 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 | |
| JP2003304561A (ja) | ステレオ画像処理装置 | |
| JP6409769B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| JP4871315B2 (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
| TW201342303A (zh) | 三維空間圖像的獲取系統及方法 | |
| JPWO2018012524A1 (ja) | 投影装置、投影方法および投影制御プログラム | |
| JP2006017632A (ja) | ３次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
| JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
| JP2009239391A (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
| JP4960442B2 (ja) | アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP2017028606A (ja) | 撮像装置 | |
| JP3519296B2 (ja) | 熱画像の自動測定方法及び自動測定装置 | |
| WO2023042604A1 (ja) | 寸法計測装置、寸法計測方法及びプログラム | |
| JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
| JP2013190938A (ja) | ステレオ画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081001 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |