JP2004364212A - 物体撮影装置、物体撮影方法及び物体撮影プログラム - Google Patents
物体撮影装置、物体撮影方法及び物体撮影プログラム Download PDFInfo
- Publication number
- JP2004364212A JP2004364212A JP2003163174A JP2003163174A JP2004364212A JP 2004364212 A JP2004364212 A JP 2004364212A JP 2003163174 A JP2003163174 A JP 2003163174A JP 2003163174 A JP2003163174 A JP 2003163174A JP 2004364212 A JP2004364212 A JP 2004364212A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- photographing
- image
- magnification
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
Abstract
【解決手段】所定の範囲を撮影する広角カメラ11と、撮影倍率の変更可能な望遠カメラ12と、望遠カメラ12を支持すると共に、望遠カメラ12の光軸方向を変更する電動雲台13と、広角カメラ11及び望遠カメラ12により撮影された映像に基づいて、所定の範囲において映された物体の位置と大きさを算出すると共に、物体を所定の大きさに拡大して映すように、望遠カメラ12のカメラの倍率及び光軸の算出を行う映像解析部14と、映像解析部14により算出された方向に従って電動雲台13の駆動制御を行う駆動制御部15とを備えた。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、広範囲を撮影した全景映像中に存在する個々の物体を検出し、検出された物体の詳細映像を撮影する物体撮影装置、物体撮影方法、物体撮影プログラムに関するものである。
【0002】
【従来の技術】
広範囲に分布する撮影対象の全領域を撮影した低解像度の映像である全景映像と、必要な領域だけを拡大して撮影した高解像度の映像である詳細映像とを同時に取得する技術が、これまでにいくつか提案されている。
【0003】
第1の方式は、固定して設置され全景映像を撮影する1台の広角カメラと、パン・チルト機構を持つ雲台に設置され詳細映像を撮影する1台の望遠カメラとを用いる方式である。この第1の方式によれば、広角カメラが全景映像を取得し、利用者が全景映像を目視にて観察し、利用者が全景映像のうち必要な領域を指定し、望遠カメラが指定された領域だけの詳細映像を取得するように、望遠カメラが電動雲台を制御して望遠カメラの方向を調整するとともに、望遠カメラがズーム機構を制御して倍率を調整する(例えば、特許文献1,2,3参照)。
【0004】
第2の方式は、全景映像に映る物体のうち必要な対象物体の詳細映像を自動的に取得する方式である。この第2の方式は、第1の方式において全景映像を取得する広角カメラを、1台のカメラからなる単眼カメラではなく、2台のカメラからなり各物体の距離が計測できるステレオカメラに置き換え、3眼カメラを用いる。この第2の方法によれば、ステレオカメラを用いて各物体の3次元位置を計測し、ズームカメラが対象物体の詳細映像を取得するように、計測した対象物の3次元位置に従って望遠カメラの方向と望遠カメラの倍率を調整する(例えば、特許文献2参照)。
【0005】
【特許文献1】
特開2002−218288号公報(第2−4頁、図1−図2)
【特許文献2】
特開平9−322051号公報(第3−6頁、図1)
【特許文献3】
実開平6−29285号公報(第2頁、図1)
【0006】
【発明が解決しようとする課題】
しかしながら第1の方式は、利用者が全景映像を目視で観察し、詳細映像を取得する領域を指定しており、対象物体の詳細映像を自動的に取得するためには、次の2点の問題がある。
第1に、望遠カメラを向ける方向を決定するためには、対象物体の3次元位置を対象物体までの距離を計測する必要がある。ところが、単眼カメラで取得した全景映像だけから対象物体の距離を計測することは不可能である。例えば図15に示すように、広角カメラ1が撮影した全景映像上の点Aと点Bについて、それぞれの詳細映像を得たい場合、点Aと点Bの3次元位置、すなわち点Aと点Bまでの距離が分からないと、望遠カメラ2を向ける方向を自動的に決定することはできない。ここで、従来のように利用者が詳細映像の領域を指定する場合には、詳細映像の領域がずれても利用者による修正が可能であるが、自動的に取得する場合には、詳細映像の領域がずれると修正が不可能である。
【0007】
第2に、詳細映像を取得したい物体が複数存在し、それらの物体が隣接している場合や、それらの物体の一部が重なり合う場合に、個々の物体を切り分けられないという問題がある。ここで、映像から物体だけを検出するためには、物体が存在しない場合の背景を予め撮影し、背景映像として記憶しておき、この背景映像と取得される全景映像映像との間で、画素毎に差分操作を行い、その差分値が大きい箇所を物体として検出する背景差分と呼ばれる物体検出方式が一般的に用いられる。しかし、背景差分では隣接する物体や重なり合う物体は一つの塊として検出される。そのため、個々の物体に分離し、それぞれの物体の詳細映像を取得することは困難である。
【0008】
また、個々の対象物体の方向に望遠カメラを向けることにより、個々の対象物体を中央とする詳細映像を撮影する必要があるが、異なる距離に存在する複数の物体が塊として検出された場合、個々の物体を分離できない上に、個々の物体までの距離が不明であることから、個々の物体を中央とする詳細映像を取得することができない。
【0009】
また、第2の方式は、ステレオカメラから得られる対象物体の距離を用いて対象物体を検出しているが、対象物体の距離を得る上で次の問題がある。
全景映像を撮影するためのカメラは広範囲を撮影しなければならないことから、広角レンズを用いたカメラを使用する必要がある。例えば、幅20m、奥行き20mの範囲を撮影するためには、60度程度の画角が必要となる。しかし、画角が大きいカメラを使用したステレオカメラから得られる距離の分解能は低く、距離の違いを用いて複数の物体を分離することが困難となる。ここで、カメラの焦点距離をf[画素]、検出する最遠距離をZ[m]、2つの物体の分離に必要な距離差をΔZとするとき、ステレオカメラを構成する2つのカメラに必要なカメラ間距離b[m]は、(1)式で与えられる。
【0010】
b=(Z^2−ΔZ・Z)/(ΔZ・f)・・・(1)
ただし、fは、カメラの画角θ[rad]と画像の横幅w[画素]を用いた(2)式で与えられる。
f=w/(2tanθ)・・・(2)
【0011】
例えば、画角60度のVGA(640×480画素)カメラを用いて、カメラから20m離れた場所に存在する互いに30cm離れた2つの物体を、距離の違いにより個々の物体として分離するためには、w=640[画素]、θ=60[deg]、Z=20[m]、ΔZ=0.3[m]を(式)に適用すると、ステレオカメラを構成する1つのカメラの間隔bは2.3mも必要となる。従ってステレオカメラを用いた撮影装置の規模は非常に大きいものとなり、設置が困難となる。
【0012】
本発明は、このような問題を解決するためになされたものであり、2つのカメラを用いてコンパクトな構成で精度良く(精度を落とすことなくコンパクト化が測れ)、距離等の物体位置を検出することができる物体撮影装置、物体撮影方法、及び物体撮影プログラムを提供することを目的とする。また、本発明は、更に、自動的に対象物体の詳細映像をも得ることができる物体撮影装置、物体撮影方法、物体撮影プログラムを提供することを目的とする。
【0013】
【課題を解決するための手段】
上述した課題を解決するため、本発明の物体撮影装置は、撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部とを備えてなるものである。
【0014】
ここで、前記第1のカメラは広角カメラであり、前記第2のカメラは望遠カメラであることを特徴とすることができる。
【0015】
また、前記映像解析部により算出される前記所定の位置パラメータは前記物体の3次元位置を定める3つの位置パラメータのうちの少なくとも1つの位置パラメータであることを特徴とすることができる。
【0016】
更に、前記映像解析部は、前記第1のカメラと前記第2のカメラのカメラ間距離をb、前記第1のカメラの座標系をo1−x1y1z1、焦点距離をf1、前記第2のカメラの座標系をo2−x2y2z2、焦点距離をf2とし、また、前記第2のカメラをy軸の周りに回転させた角度をパン角、前記第2のカメラをx軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第2のカメラをパン角θ、チルト角ψだけ回転させた座標系をo2−x3y3z3とし、原点と方向がo2−x3y3z3と同じで、焦点距離をf1とした仮想カメラの座標系をo2−x4y4z4とした場合に、3次元空間上の物体の位置である物体点P(X,Y,Z)が、前記第1のカメラの撮像面に投影される位置を投影点p1(x1,y1,z1)、前記第2のカメラの撮像面に投影される位置を投影点p2(x2,y2,z2)、前記第2のカメラで得られる投影点p2をo2−x3y3z3座標系で表した投影点p3(x3,y3,z3)とし、投影点p3において焦点距離をf1とした場合の投影点p4(x4,y4,z4)とすると、物体点P(X,Y,Z)を
【数1】
と算出することを特徴とすることができる。
【0017】
以上のような構成によれば、第2のカメラにおける拡大映像を用いて座標取得ができるため、3次元位置の計測において、装置の規模を大幅に小型化する、または距離分解能を大幅に向上させることが可能となる。
【0018】
また、本発明の物体撮影装置は、撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部とを備えてなるものである。
このような構成によれば、第1のカメラで視野広く物体を検出し、更に、検出された物体の位置等を第1のカメラと第2のカメラを用いて精度良く検出することができる。そして、この場合、第1のカメラと第2のカメラの距離を従来に比べて小さくでき、従ってコンパクト化を図ることができる。
【0019】
ここにおいて、前記第2のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする。この構成によれば、例えば、物体の距離、大きさに合わせて第2のカメラの撮影倍率を最も精度を高める撮影倍率に設定することができる。
【0020】
また、前記映像解析部は更に前記物体の大きさを算出することを特徴とすることができる。この構成によれば、第2のカメラの撮影倍率の変更の指針を得ることができる。また、例えば大きさを用いて、撮影された物体が対象物体か非対象物体かについての区別をすることも可能となる。
【0021】
さらに、前記映像解析部は、算出された前記位置パラメータに基づいて、更に前記第2のカメラにより前記物体を拡大又は縮小して撮影するために、前記第2のカメラについて変更すべき撮影倍率を算出することを特徴とすることができる。この構成によれば、撮影目的に合わせて、第2のカメラの撮影倍率を自動的に変更することができる。
【0022】
また、前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第2のカメラについて変更すべき光軸方向を算出することを特徴とすることができる。この構成によれば、第2のカメラにおいて、確実に対象とする物体をその視野内に納める光軸方向を得ることができる。
【0023】
更に、本発明の物体撮影装置において、前記第2のカメラの光軸方向を変更可能に支持する支持部と、前記映像解析部により算出された前記変更すべき光軸方向に従って前記第2のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とすることができる。このような構成によれば、第2のカメラにおいて、確実に対象とする物体をその視野内に自動的に納めることができる。
【0024】
更に、前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。このような構成によれば、所定の視野内に存在する物体の有無を自動的に判断することができる。
【0025】
また、本発明の物体撮影装置において、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とすることができる。この構成は、撮影映像に複数の物体が一連となって撮影されている場合、その映像形状は、一つの物体に一つの凸部が形成されるような形状になることが多いことに鑑みてなされたもので、この構成によれば、映像形状に複数の凸部が見出せないときは、それが一つの物体からなっていると見なすこととしたものである。
【0026】
更に、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第1のカメラにより撮影された第1の映像から検出された複数の凸部と、前記第2のカメラにより撮影された第2の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とすることができる。
この構成によれば、各凸部までの距離の差を検出することで、映像形状が複数の物体が一連となって形成されていることを確実に検出することができる。
【0027】
そして、更に、前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とすることができる。
この構成によれば、複数の物体が一連となって撮影されている場合でも、各物体ごとに区別して扱うことができる。
【0028】
なお、前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とすることができる。この構成によれば、容易に凸部を定義することができ、処理の容易化、迅速化を図ることができる。
【0029】
また、本発明の物体撮影装置は、所定の範囲を撮影する第1のカメラと、撮影倍率の変更可能な第2のカメラと、前記第2のカメラを支持すると共に、前記第2のカメラの光軸方向を変更するカメラ支持部と、前記第1のカメラ及び前記第2のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第2のカメラの倍率及び光軸の算出を行う映像解析部と、前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部とを備えてなるものである。
このような構成によれば、自動的に対象物体の詳細映像をも得ることができる。
【0030】
また、本発明は、撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとを備えてなるものである。
【0031】
また、本発明の物体撮影方法において、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【0032】
また、本発明の物体撮影方法において、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第2のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【0033】
また、本発明の物体撮影方法において、算出された前記物体の位置パラメータに基づいて、前記第2のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【0034】
また、本発明の物体撮影方法において、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【0035】
また、本発明の物体撮影方法において、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第1のカメラにより撮影された第1の映像から検出された複数の凸部と、前記第2のカメラにより撮影された第2の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【0036】
また、本発明の物体撮影方法において、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【0037】
また、本発明は、カメラを用いて物体を撮影する物体撮影方法であって、第1のカメラを用いて第1映像を撮影するステップと、前記第1映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第2のカメラを用いて前記物体を含む前記第1映像の少なくとも一部を撮影して第2映像を撮影するステップと、前記第1映像および前記第2映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第2のカメラにより前記物体を拡大した第3映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第2のカメラの制御を行うステップと、前記第2のカメラを用いて前記第3映像を撮影するステップとを備えてなるものである。
【0038】
また、本発明は、撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとをコンピュータに実行させるものである。
【0039】
また、本発明の物体撮影プログラムにおいて、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【0040】
また、本発明の物体撮影プログラムにおいて、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第2のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【0041】
また、本発明の物体撮影プログラムにおいて、算出された前記物体の位置パラメータに基づいて、前記第2のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【0042】
また、本発明の物体撮影プログラムにおいて、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【0043】
また、本発明の物体撮影プログラムにおいて、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第1のカメラにより撮影された第1の映像から検出された複数の凸部と、前記第2のカメラにより撮影された第2の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【0044】
また、本発明の物体撮影プログラムにおいて、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【0045】
尚、実施の形態には、カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、第1のカメラを用いて第1映像を撮影するステップと、前記第1映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第2のカメラを用いて前記物体を含む前記第1映像の少なくとも一部を撮影して第2映像を撮影するステップと、前記第1映像および前記第2映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第2のカメラにより前記物体を拡大した第3映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第2のカメラの制御を行うステップと、前記第2のカメラを用いて前記第3映像を撮影するステップとをコンピュータに実行させる物体撮影プログラムが開示されている。
【0046】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の物体撮影装置の構成について説明する。図1は、本発明の物体撮影装置の構成例を示すブロック図である。物体撮影装置は、広角カメラ(第1のカメラ)11、望遠カメラ(第2のカメラ)12、電動雲台(カメラ支持台)13、映像解析部14、駆動制御部15から構成される。
【0047】
広角カメラ11は、対象となる全領域(例えば設定された所定領域全域)を撮影し、全景映像として映像解析部14と外部へ出力する。図2は、本発明の物体撮影装置により出力される全景映像の一例を示す図である。図2の例において、広角カメラ11から得られる全景映像には、物体21と物体22が映し出されている。望遠カメラ12は、ある領域だけを拡大して撮影し、詳細映像として映像解析部14へ出力する。
【0048】
映像解析部14は、全景映像において対象となる物体(対象物体)が撮影されているか否かを判定する(全景映像から対象物体を検出する)と共に、物体が撮影されている場合(検出された場合)は全景映像上での対象物体の位置を取得する。更に、映像解析部14は、対象物体が検出された場合に、全景映像と詳細映像を用いて対象物体の3次元位置情報を算出し、この位置情報を元に望遠カメラが対象物体の詳細映像を撮影するための望遠カメラの倍率と方向を生成し、駆動制御部15へ出力する。なお、映像解析部は図示しないCPUを備え、後述する映像解析や駆動制御部の制御信号を形成するための動作を図示しないメモリに記憶された物体撮影プログラムに従って行う。
【0049】
駆動制御部15は、映像解析部14からの倍率と方向に従って、電動雲台13と望遠カメラ12を制御する。望遠カメラ12は電動雲台13上に設置され、駆動制御部15が電動雲台13のパン・チルトを制御することにより、望遠カメラ12の方向を調整することができる。また、望遠カメラ12はズーム機構を備え、駆動制御部15がズーム機構を制御することにより、倍率を調整することできる。
【0050】
また、映像解析部14は望遠カメラ12が対象物体の詳細映像を取得した場合に、その詳細映像を外部へ出力することができる。図3は、本発明の物体撮影装置により出力される詳細映像の一例を示す図である。図3の例において、望遠カメラ12から得られる詳細映像には、物体21が映し出されている。
【0051】
次に、本発明の物体撮影装置の動作について説明する。図4は、本発明の物体撮影装置の動作の一例を示すフローチャートである。
まず映像解析部14は、広角カメラ11から全景映像を取得する(S1)。次に、全景映像を用いて、全景映像に映る物体領域について、映像画面上での大きさと位置を抽出(検出)する(S2)。物体領域の抽出の詳細については、後述する。次に映像解析部14は、各物体領域について、物体領域の番号i、大きさ、位置、既分割フラグを記述した物体位置情報Oiを生成し、L={O1,O2,…On}を物体位置情報リストとして保持する(S3)。既分割フラグとは、Oiにおいて分割の処理が行われたか否かを表すフラグであり、初期値をfalseとしておく。
【0052】
次に映像解析部14は、Lが空であるか否かの判断を行う(S4)。Lが空であれば(S4,Yes)、フローを終了する。一方、Lが空でなければ(S4,No)、Lから1つのOiを取り出すことにより、Oiを対象物体領域として決定する(S5)。
次に映像解析部14は、Oiを元に対象物体領域を撮影するように望遠カメラの倍率と方向を決定し、これらを駆動制御部15へ出力することにより、望遠カメラ12の制御を行う(S6)。望遠カメラの制御の詳細については、後述する。次に映像解析部14は、倍率と方向率が調整された望遠カメラ12から詳細映像を取得する(S7)。
【0053】
次に映像解析部14は、対象物体領域が既に分割済みか否かの判断を行う(S8)。すなわち、Oiの既分割フラグがtrueであるか否かの判断を行う。
既分割フラグがtrueである場合(S8,Yes)、詳細映像の出力を行い(S9)、OiをLから削除するとともに、処理S4へ戻る。一方、既分割フラグがfalseである場合(S8,No)、映像解析部14は、対象物体領域において形状による分割が可能であるか否かの判断を行う(S10)。形状による分割の詳細については、後述する。
【0054】
形状による分割が不可能である場合(S10,No)、既分割フラグをtrueとし、処理S9へ移行する。一方、形状による分割が可能である場合(S10,Yes)、対象物体領域において距離による分割が可能であるか否かの判断を行う(S11)。
【0055】
距離による分割が不可能である場合(S11,No)、既分割フラグをtrueとし、処理S9へ移行する。一方、距離による分割が可能である場合(S11,Yes)、対象物体領域内の距離を用いて複数の物体に分割し(S12)、OiをLから削除するとともに、分割して得られた複数の新たな物体情報On+1,On+1,…On+m(mは分割して得られた物体の数)をLに加え、既分割フラグをtrueとし、処理S4へ戻る。距離による分割の詳細については、後述する。
【0056】
以上のようなフローにより、全ての物体領域についての詳細映像を出力することができる。
このようなステップS1からS12までを物体撮影プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、物体撮影装置による物体撮影方法をコンピュータに実行させることが可能となる。なお、上記コンピュータにより読取り可能な記録媒体は、ROMやRAMなどの半導体メモリの他、CD−ROMやフレキシブルディスク、DVDディスク、光磁気ディスク、ICカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【0057】
次に、処理S2の物体領域の抽出について詳細に説明する。映像解析部14は、予め物体のない背景だけが撮影された全景映像である、背景映像を用意しておく。映像解析部14は、全景映像を取得すると、背景映像と全景映像の輝度差を画素毎に求め、その輝度差が予め定められた閾値より大きい画素値を1とし、それ以外の画素値を0とする、2値画像の全景映像を生成する。次に、2値画像の全景映像において画素値が1となる画素の連続性を調べ、連続する画素を1つにまとめた領域を物体領域として抽出する。
【0058】
次に、処理S6の望遠カメラの制御の一例について詳細に説明する。映像解析部14は、対象物体の物体位置情報Oiを元に望遠カメラ12の方向と倍率を以下のように算出する。最初は、広角カメラ11の光軸と平行になるように望遠カメラ12の方向をパン角θ=0、チルト角ψ=0に合わせておき、広角カメラ11の焦点距離f1と等しくなるように望遠カメラ12の焦点距離をf1に合わせておく。この状態で、カメラ間距離bの平行ステレオ視により、対象物体のおおよその3次元位置と大きさを算出しておく。対象物体のおおよその距離と大きさを用いて、対象物体が詳細映像に収まるようにパン角θ、チルト角ψ、倍率mを決定し、これらを用いて駆動制御部15が電動雲台13と望遠カメラ12を制御し、再び詳細映像を取得する。具体的には、3次元での対象物体の中心位置を(X0,Y0,Z0)、大きさを表す幅、高さ、奥行きをそれぞれW,H,D、詳細映像に収める対象物体の横幅をkとすると、パン角θ、チルト角ψ、倍率mは、それぞれ(3)〜(5)式で与えられる。
【0059】
θ=tan^(−1){(X0−b)/Z0}・・・(3)
ψ=tan^(−1)(Y0/Z0)・・・(4)
m=Z0/X0・k・・・(5)
【0060】
倍率mが決定すると、望遠カメラ12に設定すべき焦点距離f2は、(6)式で与えられる。
f2=m・f1・・・(6)
なお、本発明は上述した望遠カメラ12の制御に限定されることはなく、例えば、広角カメラで撮影する所定領域において、物体のその全景映像上での位置(2次元位置)及び大きさが分かればその物体のおよその位置及び大きさが分かるような場合は、その既知の値に基づいて望遠カメラ12を制御するようにすればよい。例えば、ベルトコンベアなどにより搬送される物体を撮影する場合は、このような方式を採用することが可能である。
【0061】
或いは、例えば望遠カメラ12は所定の範囲を走査しながら映像を取り、各映像において、全景映像との比較処理を行って、共通対象物を取得することで、その位置や大きさを取得するようにしても良い。
【0062】
次に、処理S10の形状による物体の分割の判断について詳細に説明する。映像解析部14は、全景映像における物体領域の外形から凸部を抽出することにより、複数の物体が重なった形状か、単一の物体の形状かを判断する。具体的には、例えば図5に示すように、全景映像のうち対象物体領域30の上部の外形から凸部を抽出し、凸部が複数抽出された場合は、複数の物体に分割される可能性があると判断する。一方、凸部が1つ抽出された場合は、分割されない1つの物体であると判断する。従って図5の例では、対象物体領域30から凸部Aと凸部Bの2つの凸部が検出されることから、対象物体領域30は2つの物体に分割される可能性があると判断する。
【0063】
次に、処理S11,S12の距離による物体の分割について詳細に説明する。映像解析部14は、処理S10と同様にして詳細映像においても対象物体領域の外形から凸部を抽出し、それぞれの凸部の距離計測を行う。ここで、例えば図6に示す全景映像と詳細映像が得られた場合の距離による物体の分割について具体的に説明する。全景映像における対象物体領域30の外形の上部に存在する2つの凸部をwx1L,wx2L、詳細映像における対象物体領域30の外形の上部に存在する2つの凸部をZX1R,ZX2R、広角カメラの焦点距離をf1、望遠カメラの焦点距離をf2、望遠カメラのパン角をθ、チルト角をψ、カメラ間距離をbとするとき、2つの凸部の距離Z1,Z2は、図7に示す式で与えられる。
【0064】
次に、映像解析部14は、2つの距離Z1,Z2の差ΔZ=|Z1−Z2|が閾値以上であるか否かの判断を行い、閾値以上であれば2つの凸部の距離に有意な差があると判断し、対象物体領域の分割を行う。図8に示すように、2つの凸部Aと凸部Bで挟まれた谷の位置で対象物体領域30を分割し、分割したそれぞれの領域を新たな物体領域31,32とする。
【0065】
ここで、距離計測の動作原理について詳細に説明する。従来のステレオカメラが2つの同じカメラを用いるのに対して、本発明の映像解析部14は、異なる倍率を持つ広角カメラ11と望遠カメラ12を用いても、これら2つのカメラを用いて距離計測を行うことができる。
【0066】
図9は、本発明の物体撮影装置における距離計測の動作原理を示す図である。ここでは説明を簡単にするために、雲台のパン角(またはヨー角)のみが変化する2次元平面内での回転を考えるが、パン角とチルト角(またはピッチング角)が変化する3次元空間での回転でも一般性は保たれる。
【0067】
図9において、広角カメラC1と望遠カメラC2のカメラ間距離をb、広角カメラの撮像面をI1、望遠カメラC2の撮像面をI2とする。また、広角カメラC1の座標系をo1−x1y1z1、広角カメラC1における撮像面I1までの焦点距離をf1、望遠カメラC2の座標系をo2−x2y2z2、望遠カメラC2における撮像面I2までの焦点距離をf2とする。
【0068】
また、望遠カメラC2をy軸の周りに回転させた角度をパン角、望遠カメラC2をx軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、望遠カメラC2をパン角θ、チルト角ψだけ回転させた座標系をo2−x3y3z3とする。また、原点と方向がo2−x3y3z3と同じで、焦点距離をf1とした仮想カメラの座標系をo2−x4y4z4、仮想カメラの撮像面をI4とする。
【0069】
このとき、3次元空間上の物体の位置である物体点P(X,Y,Z)が、広角カメラの撮像面I1に投影される位置を投影点p1(x1,y1,z1)、望遠カメラの撮像面I2に投影される位置を投影点p2(x2,y2,z2)とすると、物体点と各投影点の間には、図10に示す式の関係が成り立つ。
次に、光軸が広角カメラC1と平行になるように、望遠カメラC2の座標を変換するための回転行列Rは、図11に示す式で与えられる。
この式を用いると、望遠カメラC2で得られる投影点p2をo2−x3y3z3座標系で表した投影点p3(x3,y3,z3)は、図12に示す式で表される。
【0070】
次に、投影点p3において焦点距離をf1とした場合の投影点p4(x4,y4,z4)は、図13に示す式で表される。
すなわち、望遠カメラC2の投影点p2は、広角カメラC1と光軸が平行で同じ焦点距離を持つ仮想カメラC3の投影点p4へ変換することができる。従って、投影点p1と投影点p2を用いて物体点P(X,Y,Z)は、図14に示す式で与えられる。
【0071】
以上に示したように、広角カメラと望遠カメラが異なる倍率であっても、広角カメラC1における投影点(x1,y1)と望遠カメラC2における投影点(x2,y2)が特定できれば、物体点Pの3次元座標を直接算出することができる。このような算出方法を用いることにより、別途カメラを追加してステレオカメラを用意することなく、広角カメラと望遠カメラだけで対象物体までの距離を算出できる。
【0072】
ここで、広角カメラC1で撮影される画像上の座標x1と、望遠カメラC2で撮影される画像上の座標x2,y2,z2から算出される座標x4とを比較する。望遠カメラの焦点距離が広角カメラの焦点距離よりも十分大きいことを考慮すると、p4の精度はp1の精度に比べて十分高い。例えば、望遠カメラC2が10倍のズームを行うならば、x4はx1のほぼ10倍の分解能を持つ。
【0073】
従って、2つの広角カメラC1をカメラ間距離bで用いるステレオカメラに比べて、本発明の物体撮影装置は、対象物体の距離Zにおいて10倍の分解能を持つことになる。すなわち、同じ距離分解能を実現するためには、カメラ間距離bを1/10にすることができることになる。
【0074】
上述した例のように、カメラから20m離れた場所に存在する互いに30cm離れた2つの物体を、距離の違いにより個々の物体として分離するためには、画角60度のVGA(640×480画素)の広角カメラを2つ用いる場合のカメラ間距離bが2.3m必要であるのに対して、この広角カメラと10倍のズームを行う望遠カメラとを用いる場合のカメラ間距離bは、23cmで済み、同じ距離分解能を非常に小さい規模で実現できることが分かる。
【0075】
なお、本発明の物体撮影装置は、全景映像を用いてコンベア上を流れる複数の物体を広範囲で識別し、詳細映像を用いて物体の外観を検査するシステムに用いることができる。
また、本発明の物体撮影装置は、予め小さなシール貼った物体について、詳細映像を用いてシールに書かれた文字を読みとることにより配送を管理するシステムに用いることができる。
また、本発明の物体撮影装置は、全景映像を用いて領域内に侵入する物体があるか否かを監視し、侵入した物体の詳細映像を蓄積する、または画像認識を用いて物体を識別し、物体の種類に応じて適切な通知を行うシステムに用いることができる。
また、本発明の物体撮影装置は、コンパクト化を図れる距離計としても用いることができる。
【0076】
(付記1)撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
(付記2)付記1に記載の物体撮影装置において、
前記第1のカメラは広角カメラであり、前記第2のカメラは望遠カメラであることを特徴とする物体撮影装置。
(付記3)付記1に記載の物体撮影装置において、
前記映像解析部により算出される前記所定の位置パラメータは前記物体の3次元位置を定める3つの位置パラメータのうちの少なくとも1つの位置パラメータであることを特徴とする物体撮影装置。
(付記4)付記3に記載の物体撮影装置において、
前記映像解析部は、前記第1のカメラと前記第2のカメラのカメラ間距離をb、前記第1のカメラの座標系をo1−x1y1z1、焦点距離をf1、前記第2のカメラの座標系をo2−x2y2z2、焦点距離をf2とし、また、前記第2のカメラをy軸の周りに回転させた角度をパン角、前記第2のカメラをx軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第2のカメラをパン角θ、チルト角ψだけ回転させた座標系をo2−x3y3z3とし、原点と方向がo2−x3y3z3と同じで、焦点距離をf1とした仮想カメラの座標系をo2−x4y4z4とした場合に、3次元空間上の物体の位置である物体点P(X,Y,Z)が、前記第1のカメラの撮像面に投影される位置を投影点p1(x1,y1,z1)、前記第2のカメラの撮像面に投影される位置を投影点p2(x2,y2,z2)、前記第2のカメラで得られる投影点p2をo2−x3y3z3座標系で表した投影点p3(x3,y3,z3)とし、投影点p3において焦点距離をf1とした場合の投影点p4(x4,y4,z4)とすると、
物体点P(X,Y,Z)を
【数2】
と算出することを特徴とする物体撮影装置。
(付記5)撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
(付記6)付記5に記載の物体撮影装置において、
前記第2のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする物体撮影装置。
(付記7)付記5に記載の物体撮影装置において、
前記映像解析部は更に前記物体の大きさを算出することを特徴とする物体撮影装置。
(付記8)付記6に記載の物体撮影装置において、
前記映像解析部は、更に前記第2のカメラにより前記物体を拡大又は縮小して撮影するために、前記第2のカメラについて変更すべき撮影倍率を算出することを特徴とする物体撮影装置。
(付記9)付記8に記載の物体撮影装置において、
前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第2のカメラについて変更すべき光軸方向を算出することを特徴とする物体撮影装置。
(付記10)付記9に記載の物体撮影装置において、
前記第2のカメラの光軸方向を変更可能に支持する支持部と、
前記映像解析部により算出された前記変更すべき光軸方向に従って前記第2のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とする物体撮影装置。
(付記11)付記5に記載の物体撮影装置において、
前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影装置。
(付記12)付記11に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とする物体撮影装置。
(付記13)付記11に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第1のカメラにより撮影された第1の映像から検出された複数の凸部と、前記第2のカメラにより撮影された第2の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とする物体撮影装置。
(付記14)付記13に記載の物体撮影装置において、
前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とする物体撮影装置。
(付記15)付記11に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とする物体撮影装置。
(付記16)所定の範囲を撮影する第1のカメラと、
撮影倍率の変更可能な第2のカメラと、
前記第2のカメラを支持すると共に、前記第2のカメラの光軸方向を変更するカメラ支持部と、
前記第1のカメラ及び前記第2のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第2のカメラの倍率及び光軸の算出を行う映像解析部と、
前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部と
を備えてなる物体撮影装置。
(付記17)撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
を備えてなる物体撮影方法。
(付記18)付記17に記載の物体撮影方法において、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影方法。
(付記19)付記17に記載の物体撮影方法において、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第2のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影方法。
(付記20)付記17に記載の物体撮影方法において、
算出された前記物体の位置パラメータに基づいて、前記第2のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影方法。(付記21)付記17に記載の物体撮影方法において、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影方法。
(付記22)付記21に記載の物体撮影方法において、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第1のカメラにより撮影された第1の映像から検出された複数の凸部と、前記第2のカメラにより撮影された第2の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影方法。
(付記23)付記22に記載の物体撮影方法において、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影方法。
(付記24)カメラを用いて物体を撮影する物体撮影方法であって、
第1のカメラを用いて第1映像を撮影するステップと、
前記第1映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第2のカメラを用いて前記物体を含む前記第1映像の少なくとも一部を撮影して第2映像を撮影するステップと、
前記第1映像および前記第2映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第2のカメラにより前記物体を拡大した第3映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第2のカメラの制御を行うステップと、
前記第2のカメラを用いて前記第3映像を撮影するステップと
を備えてなる物体撮影方法。
(付記25)撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
をコンピュータに実行させる物体撮影プログラム。
(付記26)付記25に記載の物体撮影プログラムにおいて、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影プログラム。
(付記27)付記25に記載の物体撮影プログラムにおいて、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第2のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影プログラム。
(付記28)付記25に記載の物体撮影プログラムにおいて、
算出された前記物体の位置パラメータに基づいて、前記第2のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影プログラム。
(付記29)付記25に記載の物体撮影プログラムにおいて、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影プログラム。
(付記30)付記29に記載の物体撮影プログラムにおいて、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第1のカメラにより撮影された第1の映像から検出された複数の凸部と、前記第2のカメラにより撮影された第2の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影プログラム。
(付記31)付記30に記載の物体撮影プログラムにおいて、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影プログラム。
(付記32)カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
第1のカメラを用いて第1映像を撮影するステップと、
前記第1映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第2のカメラを用いて前記物体を含む前記第1映像の少なくとも一部を撮影して第2映像を撮影するステップと、
前記第1映像および前記第2映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第2のカメラにより前記物体を拡大した第3映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第2のカメラの制御を行うステップと、
前記第2のカメラを用いて前記第3映像を撮影するステップと
をコンピュータに実行させる物体撮影プログラム。
【0077】
【発明の効果】
以上説明したように、本発明によれば、異なる撮影倍率を有する広角カメラ(第1のカメラ)と望遠カメラ(第2のカメラ)とにより、測定精度を落とすことなく装置の規模を大幅に小型化し、または距離分解能を大幅に向上させて、対象物体の3次元位置を計測することができる。また、望遠カメラにより物体の詳細な映像を得ることもできる。更に、複数の物体からなる物体領域を個々の物体の物体領域へ高精度で分割することができるとともに、個々の物体を正確に拡大した詳細映像を取得することができる。
【図面の簡単な説明】
【図1】本発明の物体撮影装置の構成の一例を示すブロック図である。
【図2】本発明の物体撮影装置により出力される全景映像の一例を示す図である。
【図3】本発明の物体撮影装置により出力される詳細映像の一例を示す図である。
【図4】本発明の物体撮影装置の動作の一例を示すフローチャートである。
【図5】複数の物体から構成される対象物体領域の一例を示す図である。
【図6】複数の物体から構成される対象物体領域を撮影した全景映像と詳細映像の一例を示す図である。
【図7】凸部の距離Z1,Z2を求める式である。
【図8】形状による対象物体領域の分割の一例を示す図である。
【図9】本発明の物体撮影装置における距離計測の動作原理を示す図である。
【図10】物体点位置と各投影点位置の関係を示す式である。
【図11】望遠カメラC2の座標を変換するための回転行列Rを示す式である。
【図12】o2−x2y2z2座標系をo2−x3y3z3座標系へ変換する式である。
【図13】投影点p3において焦点距離をf1とした場合の投影点p4を示す式である。
【図14】投影点p1と投影点p2を用いて物体点Pを示す式である。
【図15】従来の第1の方式における問題点を表す図である。
【符号の説明】
11 広角カメラ、12 望遠カメラ、13 電動雲台、14 映像解析部、15 駆動制御部、21,22 物体、30 対象物体領域、31,32 物体領域。
Claims (10)
- 撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。 - 請求項1に記載の物体撮影装置において、
前記第1のカメラは広角カメラであり、前記第2のカメラは望遠カメラであることを特徴とする物体撮影装置。 - 撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。 - 請求項3に記載の物体撮影装置において、
前記第2のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする物体撮影装置。 - 所定の範囲を撮影する第1のカメラと、
撮影倍率の変更可能な第2のカメラと、
前記第2のカメラを支持すると共に、前記第2のカメラの光軸方向を変更するカメラ支持部と、
前記第1のカメラ及び前記第2のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第2のカメラの倍率及び光軸の算出を行う映像解析部と、
前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部と
を備えてなる物体撮影装置。 - 撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
を備えてなる物体撮影方法。 - 請求項6に記載の物体撮影方法において、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影方法。 - カメラを用いて物体を撮影する物体撮影方法であって、
第1のカメラを用いて第1映像を撮影するステップと、
前記第1映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第2のカメラを用いて前記物体を含む前記第1映像の少なくとも一部を撮影して第2映像を撮影するステップと、
前記第1映像および前記第2映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第2のカメラにより前記物体を拡大した第3映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第2のカメラの制御を行うステップと、
前記第2のカメラを用いて前記第3映像を撮影するステップと
を備えてなる物体撮影方法。 - 撮影倍率が互いに異なる第1及び第2のカメラであって、前記第1のカメラの撮影倍率が前記第2のカメラの撮影倍率より小さい前記第1及び第2のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
前記第1のカメラと前記第2のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、
検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
をコンピュータに実行させる物体撮影プログラム。 - 請求項9に記載の物体撮影プログラムにおいて、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003163174A JP4198536B2 (ja) | 2003-06-09 | 2003-06-09 | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003163174A JP4198536B2 (ja) | 2003-06-09 | 2003-06-09 | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004364212A true JP2004364212A (ja) | 2004-12-24 |
JP4198536B2 JP4198536B2 (ja) | 2008-12-17 |
Family
ID=34055065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003163174A Expired - Fee Related JP4198536B2 (ja) | 2003-06-09 | 2003-06-09 | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4198536B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014054753A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
GB2541101A (en) * | 2015-06-23 | 2017-02-08 | Bosch Gmbh Robert | Method and camera system for determining the distance of objects in relation to a vehicle |
WO2018173243A1 (ja) * | 2017-03-24 | 2018-09-27 | 株式会社日立製作所 | ステレオカメラ装置 |
WO2019021393A1 (ja) * | 2017-07-26 | 2019-01-31 | 三菱電機株式会社 | 距離計測装置および距離計測方法 |
KR101944705B1 (ko) * | 2017-04-13 | 2019-02-08 | 주식회사 스트로크플레이 | 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 |
KR20190013104A (ko) * | 2017-07-31 | 2019-02-11 | 한화테크윈 주식회사 | 감시 시스템 및 그 동작 방법 |
JP2020068423A (ja) * | 2018-10-22 | 2020-04-30 | 三菱重工業株式会社 | 表示装置および表示方法 |
CN111141215A (zh) * | 2020-01-15 | 2020-05-12 | 大连理工大学 | 影像的目标尺寸测量系统及其使用方法 |
CN111242988A (zh) * | 2020-01-14 | 2020-06-05 | 青岛联合创智科技有限公司 | 一种广角相机与长焦相机联动双云台跟踪目标的方法 |
US20210374972A1 (en) * | 2019-02-20 | 2021-12-02 | Huawei Technologies Co., Ltd. | Panoramic video data processing method, terminal, and storage medium |
WO2022064687A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 画像処理方法 |
-
2003
- 2003-06-09 JP JP2003163174A patent/JP4198536B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
WO2014054753A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
GB2541101A (en) * | 2015-06-23 | 2017-02-08 | Bosch Gmbh Robert | Method and camera system for determining the distance of objects in relation to a vehicle |
WO2018173243A1 (ja) * | 2017-03-24 | 2018-09-27 | 株式会社日立製作所 | ステレオカメラ装置 |
KR101944705B1 (ko) * | 2017-04-13 | 2019-02-08 | 주식회사 스트로크플레이 | 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 |
WO2019021393A1 (ja) * | 2017-07-26 | 2019-01-31 | 三菱電機株式会社 | 距離計測装置および距離計測方法 |
JPWO2019021393A1 (ja) * | 2017-07-26 | 2019-11-07 | 三菱電機株式会社 | 距離計測装置および距離計測方法 |
KR102315525B1 (ko) | 2017-07-31 | 2021-10-21 | 한화테크윈 주식회사 | 감시 시스템 및 그 동작 방법 |
KR20190013104A (ko) * | 2017-07-31 | 2019-02-11 | 한화테크윈 주식회사 | 감시 시스템 및 그 동작 방법 |
JP2020068423A (ja) * | 2018-10-22 | 2020-04-30 | 三菱重工業株式会社 | 表示装置および表示方法 |
JP7266989B2 (ja) | 2018-10-22 | 2023-05-01 | 三菱重工業株式会社 | 表示装置および表示方法 |
US20210374972A1 (en) * | 2019-02-20 | 2021-12-02 | Huawei Technologies Co., Ltd. | Panoramic video data processing method, terminal, and storage medium |
CN111242988A (zh) * | 2020-01-14 | 2020-06-05 | 青岛联合创智科技有限公司 | 一种广角相机与长焦相机联动双云台跟踪目标的方法 |
CN111141215A (zh) * | 2020-01-15 | 2020-05-12 | 大连理工大学 | 影像的目标尺寸测量系统及其使用方法 |
WO2022064687A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 画像処理方法 |
JP7487786B2 (ja) | 2020-09-28 | 2024-05-21 | 日本電気株式会社 | 画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4198536B2 (ja) | 2008-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6304244B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
JP2008109552A (ja) | 追跡機能付き撮像装置 | |
JP2012028949A (ja) | 画像処理装置及びその制御方法 | |
EP3800451A1 (en) | Temperature measurement processing method and apparatus, and thermal imaging device | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
JP5183152B2 (ja) | 画像処理装置 | |
JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
JP2013218432A (ja) | 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 | |
JP2003304561A (ja) | ステレオ画像処理装置 | |
JP6409769B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP4871315B2 (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
TW201342303A (zh) | 三維空間圖像的獲取系統及方法 | |
JPWO2018012524A1 (ja) | 投影装置、投影方法および投影制御プログラム | |
JP2006017632A (ja) | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
JP2009239391A (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
JP4960442B2 (ja) | アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2017028606A (ja) | 撮像装置 | |
JP3519296B2 (ja) | 熱画像の自動測定方法及び自動測定装置 | |
WO2023042604A1 (ja) | 寸法計測装置、寸法計測方法及びプログラム | |
JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
JP2013190938A (ja) | ステレオ画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081001 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |