JP2011174799A - 撮影経路計算装置 - Google Patents
撮影経路計算装置 Download PDFInfo
- Publication number
- JP2011174799A JP2011174799A JP2010038738A JP2010038738A JP2011174799A JP 2011174799 A JP2011174799 A JP 2011174799A JP 2010038738 A JP2010038738 A JP 2010038738A JP 2010038738 A JP2010038738 A JP 2010038738A JP 2011174799 A JP2011174799 A JP 2011174799A
- Authority
- JP
- Japan
- Prior art keywords
- image
- omnidirectional
- photographing
- azimuth
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】未知空間内のランドマークや景観の特徴によらず、ロボットの移動に伴うカメラの撮影経路を正確に算出できる撮影経路計算装置を提供する。
【解決手段】撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置4による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット1の移動に伴って撮影装置4に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット1の移動に伴う撮影装置4の撮影経路を算出する。
【選択図】図3
【解決手段】撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置4による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット1の移動に伴って撮影装置4に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット1の移動に伴う撮影装置4の撮影経路を算出する。
【選択図】図3
Description
この発明は、ロボットに搭載されたカメラの撮影画像から当該ロボットの移動に伴ってカメラが撮影を行った撮影経路を算出する撮影経路計算装置に関するものである。
災害発生により倒壊の危険がある建物に残された被災者を探索するため、カメラを搭載した遠隔操縦ロボットの運用が望まれている。遠隔操縦ロボットのカメラで撮影した建物内部の画像を、屋外のコンピュータへ伝送することにより、救助隊は建物外から内部状況の観察が可能になる。
このようなロボットで建物内部を探索するには、建物内部の地図に基づいて移動経路を計画する必要がある。しかしながら、災害発生時には建物内部の地図を入手するのは困難であり、ロボットは地図の無い未知な環境で探索を強いられる場合が多い。ロボットが未知な環境の全域を探索するには、ロボットの移動に伴ってカメラが撮影を行った撮影経路を示す情報を記憶しておくことが必要となる。
ロボットが移動した空間内の構造物の位置を正確に表現するメトリック地図を構築するには、ロボットの自己位置が高精度に取得されなければならない。
ロボットが未知の空間において自己位置を取得する方法として、ロボットに搭載されたステレオカメラで撮影した画像から、未知の空間におけるドア、コーナー、照明、換気口等の構造物を認識してランドマークとみなし、ランドマークを基準として自己位置を算出するものがある。
ロボットが未知の空間において自己位置を取得する方法として、ロボットに搭載されたステレオカメラで撮影した画像から、未知の空間におけるドア、コーナー、照明、換気口等の構造物を認識してランドマークとみなし、ランドマークを基準として自己位置を算出するものがある。
また、レーザースキャナを用いてロボット周辺を観測して、観測されたロボット周辺の構造物をランドマークとみなし、このランドマークを基準として自己位置を算出する方法も提案されている。この方法には、ロボットがレーザースキャナを用い2地点でそれぞれ観測した周辺構造物の形状を照合して、2地点での観測結果の重なりが正確に重なるように、2地点間の位置や、構造物の姿勢変化を算出するスキャンマッチング手法が用いられている。
さらに、ロボットに搭載した全方位カメラで撮影した景観画像に映った構造物の特徴をランドマークとみなして自己位置を求める方法も研究されている。この方法では、異なる位置から全方位カメラで撮影した景観に映っている床領域の形状(凹凸形状)を、ランドマークとみなして照合するスキャンマッチングを行う。
また、特許文献1には、入力画像から検出した人の大きさ等に基づいて当該画像を撮像した撮像部から検出対象である人までの概距離を推定する警戒センサが開示されている。この概距離は、予め分かっている撮像部の撮像素子の画素数やレンズの焦点距離等の情報と、人の実サイズ(身長)の仮定条件と、入力画像から検出された人の大きさの画素数とに基づいて算出される。ここでは、入力画像に映る人がいわゆるランドマークとして利用され、画像に映る人の大きさを基にカメラから人までの距離が求められる。
特許文献2には、入力装置として、パン、チルト、ズーム操作が可能なビデオカメラを対象とした場合において、ズーム値を固定し、連続的にパン操作(チルト値固定)を行ったり、又は、連続的にチルト操作(パン値固定)を行って得られた連続的な映像データに対して、連続的にモザイキング処理することによってパノラマ映像を作成するビデオモザイキング装置が開示されている。この装置では、全方位画像を細かい方位角毎の短冊画像に分解し、1枚の全方位画像から生成した短冊画像を拡大して他の全方位画像から生成した短冊画像と照合し、一致すれば、同一方位であると判断する。このようにして、パン、チルト、ズームに対応した各種のパノラマ映像を得ることができる。
上述したロボットに搭載したステレオカメラで撮影された未知空間の画像におけるドアやコーナー、照明等をランドマークとして認識して、ロボットの自己位置を算出する方法では、特定のランドマークが無い場所では適用することができず、ロボットの自己位置を取得できない。
また、レーザースキャナで観測したロボット周辺の構造物をランドマークとみなして、ロボットの自己位置を算出する方法は、レーザースキャナの計測可能距離を超える広さの空間ではロボットの自己位置を求めることができないという課題がある。
さらに、ロボットに搭載した全方位カメラで撮影された景観画像に映った構造物の特徴をランドマークとみなして自己位置を求める方法では、撮影点の近くに適度な凹凸特徴がある床領域境界が無い地点では、ランドマークの正確な照合ができない。
特許文献1の発明においても同様に、検出対象となる人が撮像されなければ、撮像部と当該人との間の距離を算出できない。
また、特許文献2は、遠隔操作したビデオカメラを用いて監視対象空間のパノラマ画像を得ることができるが、撮影位置が異なる場合は、遠近の違いによって縦方向にも視差が生じるため、縦方向の視差に起因した誤差があるパノラマ画像が生成されるという課題がある。
また、特許文献2は、遠隔操作したビデオカメラを用いて監視対象空間のパノラマ画像を得ることができるが、撮影位置が異なる場合は、遠近の違いによって縦方向にも視差が生じるため、縦方向の視差に起因した誤差があるパノラマ画像が生成されるという課題がある。
この発明は、上記のような課題を解決するためになされたもので、未知空間内のランドマークや景観の特徴によらず、ロボットの移動に伴うカメラの撮影経路を正確に算出できる撮影経路計算装置を得ることを目的とする。
この発明に係る撮影経路計算装置は、移動体に搭載した撮影装置によって当該移動体の移動に伴い撮影された撮影点の全周囲の全方位画像を記憶する画像記憶部と、画像記憶部から読み出された全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、移動体の移動に伴って撮影装置に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定する画像照合部と、画像照合部によって推定された全方位画像間の相対方位に基づいて、移動体の移動に伴う撮影装置の撮影経路を算出する経路計算部とを備えるものである。
この発明によれば、撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、移動体の移動に伴って撮影装置に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、移動体の移動に伴う撮影装置の撮影経路を算出する。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果がある。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果がある。
実施の形態1.
この発明は、ロボットに搭載したカメラで一定の時間間隔で撮影された画像から、当該ロボット(移動体)の移動に伴いカメラが撮影を行った撮影経路を推定するものである。また、撮影経路の推定を、景観中の特定のランドマークに依存しないで実施するために、連続して撮影された2枚の画像を照合して、2つの撮影地点における相対方位を求める。この場合、2枚の画像をそれぞれ撮影した撮影点間の距離が長いと、景観が大きく異なり照合が困難になる恐れがある。
そこで、この実施の形態1では、ロボットの移動速度を時速3.6km/h以下と仮定して2秒間隔で景観を撮影し、連続する撮影点の距離を2m以下とした。
この発明は、ロボットに搭載したカメラで一定の時間間隔で撮影された画像から、当該ロボット(移動体)の移動に伴いカメラが撮影を行った撮影経路を推定するものである。また、撮影経路の推定を、景観中の特定のランドマークに依存しないで実施するために、連続して撮影された2枚の画像を照合して、2つの撮影地点における相対方位を求める。この場合、2枚の画像をそれぞれ撮影した撮影点間の距離が長いと、景観が大きく異なり照合が困難になる恐れがある。
そこで、この実施の形態1では、ロボットの移動速度を時速3.6km/h以下と仮定して2秒間隔で景観を撮影し、連続する撮影点の距離を2m以下とした。
図1は、室内の平面図と当該室内のロボットの移動経路の一例を示す図である。図1中の黒三角形記号はロボットAに搭載されたカメラによる景観の撮影点を示しており、黒四角形記号はロボットBに搭載したカメラによる景観の撮影点を示している。また、撮影点間の矢印はロボットの移動方向である。ロボットA,Bは、机、棚A,B、ドア1,2等の構造物がある室内を移動する。なお、連続した撮影点間の距離を短くし撮影位置の近い画像を照合するので、ロボットAとロボットBとが同時刻に撮影した画像の照合により、2つのロボットA,Bの接近を検出することができる。
図2は、実施の形態1におけるロボットの概略を示す図である。図2において、ロボット1は、遠隔操縦により駆動する移動台2を備え、撮影装置4の視界をロボット1自身で遮蔽しないように、ポール3を介した上部に撮影装置4が設置される。移動台2には、ステッピングモータ等の駆動部が実装された車輪が取り付けられており、外部の計算機(不図示)から出力される制御信号に従って、車輪を指定の角変位量だけ任意方向に回転駆動する。
全方位画像を得るにはロボット1に搭載する撮影装置4を水平に保持する必要がある。ここでは、移動台2が水平面上を移動すると仮定して、ポール3を介した一定の高さに撮影装置4を保持する。
また、撮影装置4には、屋内景観の画像取得を想定して、その撮影視野を数m先の地面から水平方向までを同時に撮影可能な、双曲線ミラーを装着したカメラを用いた。
ロボット1の移動に伴い撮影装置4により時系列に撮影された画像は、ロボット1から有線又は無線の通信を介して、図3を用いて後述する撮影経路計算装置へ送信され、撮影経路計算装置の画像記憶部に蓄積される。なお、以降の説明では、図2に示すようなカメラを搭載した遠隔操縦車両をロボットと呼ぶこととする。また、本発明は、当該ロボット1の構成に限定されるものではなく、図2に示す撮影経路4を搭載して移動する移動体であればよい。
また、撮影装置4には、屋内景観の画像取得を想定して、その撮影視野を数m先の地面から水平方向までを同時に撮影可能な、双曲線ミラーを装着したカメラを用いた。
ロボット1の移動に伴い撮影装置4により時系列に撮影された画像は、ロボット1から有線又は無線の通信を介して、図3を用いて後述する撮影経路計算装置へ送信され、撮影経路計算装置の画像記憶部に蓄積される。なお、以降の説明では、図2に示すようなカメラを搭載した遠隔操縦車両をロボットと呼ぶこととする。また、本発明は、当該ロボット1の構成に限定されるものではなく、図2に示す撮影経路4を搭載して移動する移動体であればよい。
図3は、実施の形態1による撮影経路計算装置の構成を示すブロック図である。図3において、撮影経路計算装置5は、画像記憶部6、画像照合部7、経路計算部8、及び経路記憶部9を備える。画像記憶部6は、図2に示したロボット1の移動に伴って撮影装置4が時系列に撮影した画像データを逐次記憶するメモリである。ここでは、連続して撮影された2枚の画像を照合して撮影方位の差異を求めるために、撮影装置4が、撮影点の周囲360度の景観が1枚の画像に収まる環状又は円形状の全方位画像を撮影し画像記憶部6に記憶する。
画像照合部7は、画像記憶部6から読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向に対するピッチ角とし、横軸を方位角とする画像(例えば、パノラマ画像)へ変換するとともに、連続した撮影点で撮影された2枚の全方位画像を変換した各パノラマ画像を照合してロボット1の進行方向に一致する方位を検出し、一方の画像の撮影点から他方の画像の撮影点を見た相対方位(図3中のθa及びθb)を求める構成部である。画像照合部7により全方位画像から変換された画像のデータは画像記憶部6に記憶される。画像照合部7は、画像記憶部6に記憶した画像データを読み出して照合処理を行う。
なお、図3に例示した全方位画像における基準方位は全方位画像を上記画像へ変換する際の基準となる方位である。ここで、変換画像の画像座標系の横軸は、この基準方位から撮影点の周囲90度(π)、360度(2π)までの方位角が規定される。また、連続した撮影点a,b間を直線で結んだ経路と各撮影点aにおける全方位画像の基準方位となす角θaが、撮影点aから撮影点bを見た相対方位であり、撮影点a,b間を直線で結んだ経路と各撮影点bにおける全方位画像の基準方位となす角θbが、撮影点bから撮影点aを見た相対方位である。
経路計算部8は、画像照合部7により複数の撮影点で求められた相対方位から撮影経路を算出する構成部である。経路計算部8では、ロボット1の移動に伴い時系列に順次撮影された全方位画像について、画像照合部7に求められた撮影点同士の相対方位を用いて、画像間で対応する方位を特定し、特定した方位に基づいた画像間の対応関係から撮影経路を算出する。経路記憶部9は、経路計算部8にて算出された撮影経路を示すデータを記憶するメモリである。
また、画像照合部7及び経路計算部8は、この発明の趣旨に従う経路計算用プログラムをコンピュータに実行させることで、ハードウエアとソフトウエアとが協働した具体的な手段として当該コンピュータ上で実現することができる。さらに、画像記憶部6及び経路記憶部9は、上記コンピュータに搭載された記憶装置、例えばハードディスク装置や外部記憶メディア等に構築される。
次に動作について説明する。
先ず、図1に示すように、ロボット1を未知空間内で走行させて、所定のタイミングで撮影装置4で空間内の景観を撮影して、得られた全方位画像データを画像記憶部6に順次記憶する。続いて、画像照合部7は、画像記憶部6から、連続した撮影点でそれぞれ撮影された全方位画像を順次読み出し、読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向の仰角とし、横軸を方位角とする画像へ変換する。
先ず、図1に示すように、ロボット1を未知空間内で走行させて、所定のタイミングで撮影装置4で空間内の景観を撮影して、得られた全方位画像データを画像記憶部6に順次記憶する。続いて、画像照合部7は、画像記憶部6から、連続した撮影点でそれぞれ撮影された全方位画像を順次読み出し、読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向の仰角とし、横軸を方位角とする画像へ変換する。
図4は、撮影装置4で撮影された全方位画像及びこれを変換した変換画像を示す図である。ここでは、撮影装置4として、双曲線ミラーを装着したカメラを使用する。撮影装置4において、双曲線ミラーが鉛直下向きに配置され、撮影部が鉛直上向きに配置され、双曲線ミラーの双曲面の軸と撮影部の光軸とが一致し、双曲面の焦点と撮影部のレンズの中心とは相対するように配置される。このような構成の撮影装置4により、図4(a)に示すような、自身(撮影点)を中心に全方位(周囲360度)の景観が撮影された全方位画像が得られる。
図4(a)において、符号A1で示す全方位画像の中心に近い画素は、俯角55度で観測された像であり、符号B1で示す画素は、仰角10度で観測された像である。ここで、従来の技術として、全方位画像の画像座標系の座標値を用いて、撮影部のレンズの焦点を原点とした俯角及び方位を表現する計算式がある(参考文献1)。この式を用いて、全方位画像から、俯角を縦軸とし、方位角度を横軸とする直交座標系で表現される画像へ射影する。
(参考文献1)山澤一誠,八木康史,谷内田正彦,“移動ロボットのナビゲーションのための全方位視覚センサ HyperOmni Visionの提案”,電子情報通信学会論文誌,D−II,J79−D−2(5) pp.698−707,1996.(当該参考文献1のpp.700における式(3)、式(4)及び図3、図4、図5を参照)。
(参考文献1)山澤一誠,八木康史,谷内田正彦,“移動ロボットのナビゲーションのための全方位視覚センサ HyperOmni Visionの提案”,電子情報通信学会論文誌,D−II,J79−D−2(5) pp.698−707,1996.(当該参考文献1のpp.700における式(3)、式(4)及び図3、図4、図5を参照)。
上述の計算式を用いて、画像照合部7は、撮影点を中心とした周辺の景観が環状に撮影された全方位画像を、図4(b)に示すような画像座標系の縦軸が仰角を示し、横軸が方位角を示す画像(パノラマ画像)へ変換する。
なお、図4(b)に示す変換画像の右端の方位が、図4(a)に示す全方位画像の基準方位に一致しており、符号C1で示す仰角の画素が変換画像の仰角の上限となっている。
なお、図4(b)に示す変換画像の右端の方位が、図4(a)に示す全方位画像の基準方位に一致しており、符号C1で示す仰角の画素が変換画像の仰角の上限となっている。
2地点で撮影された全方位画像に同一物体が映る場合には、各全方位画像の画像座標系における当該物体の像の位置に差異が生じる。
図5は、撮影点の違いによる物体像の視差を説明するための図である。画像照合部7が照合を行う変換画像は、画像座標系の横軸が撮影位置から景観を見た方位を示している。図5に示すように、撮影点a,bを結ぶ直線の延長上にない被写体Pを撮影点aから見た場合と撮影点bから見た場合では視差Pが生じ、撮影点a,bを結ぶ直線の延長上にない被写体Qを撮影点aから見た場合と撮影点bから見た場合では視差Qが生じる。これらの視差の大きさは、撮影点からみた被写体の方位によって変化する。
図5は、撮影点の違いによる物体像の視差を説明するための図である。画像照合部7が照合を行う変換画像は、画像座標系の横軸が撮影位置から景観を見た方位を示している。図5に示すように、撮影点a,bを結ぶ直線の延長上にない被写体Pを撮影点aから見た場合と撮影点bから見た場合では視差Pが生じ、撮影点a,bを結ぶ直線の延長上にない被写体Qを撮影点aから見た場合と撮影点bから見た場合では視差Qが生じる。これらの視差の大きさは、撮影点からみた被写体の方位によって変化する。
一方、2つの撮影点a,bを結ぶ直線の延長上にある被写体Rの像は、撮影点a,bでそれぞれ撮影された画像において方位方向の視差が無く表示される特徴がある。
本発明では、この特徴を利用して、全方位画像から変換した変換画像を方位毎(例えば5度毎)の幅の狭い領域に分割し、連続した2つの撮影点でそれぞれ撮影された全方位画像を変換した2枚の変換画像について分割領域毎に照合して、同じ景観が映る方位を検出する。
本発明では、この特徴を利用して、全方位画像から変換した変換画像を方位毎(例えば5度毎)の幅の狭い領域に分割し、連続した2つの撮影点でそれぞれ撮影された全方位画像を変換した2枚の変換画像について分割領域毎に照合して、同じ景観が映る方位を検出する。
また、撮影点a,bを結ぶ直線の延長上にない被写体(P又はQ)の方位は、撮影位置によって変化する。ここで、方位の変化方向は、撮影点の変化方向(ロボット1の進行方向)と相反する。例えば、撮影点aで撮影した全方位画像では、前方に像を作った被写体Pが、撮影点bで撮影した全方位画像では、撮影点aで撮影された画像よりも後方の方位に像を作る。つまり、2つの撮影点を結ぶ直線の延長上にない被写体の像は、ロボット1の移動に伴ってその進行方向と反対の方位へ近づくように表示される特徴がある。
本発明では、この特徴を利用して、2枚の変換画像間における物体像の方位の変位からロボット1の進行方位を推測する。
本発明では、この特徴を利用して、2枚の変換画像間における物体像の方位の変位からロボット1の進行方位を推測する。
先ず、変換画像を方位毎の領域に分割し、2枚の変換画像の領域を照合して同じ景観が映っている方位を検出する処理の詳細を説明する。
画像照合部7が、連続した2つの撮影点でそれぞれ撮影された全方位画像を、パノラマ画像に変換すると、変換した2枚の変換画像の一方の画像から、ある方位の景観として、画像座標系の縦軸方向のうちの一列の画素列を抽出し、この画素列ともう一方の画像から抽出した画素列との特徴を照合する。ここで、2つの画像から画素列を抽出した方位が、上記2つの撮影点を結ぶ直線の方位と一致する場合は、画素列間に方位方向の視差はないが、撮影点の位置が異なるので、ロボット1(又は撮影装置4)と被写体の距離によって画素列に映る像の大きさが異なる。これにより、単純に画素値を比較しても同じ景観が映っているか否かを照合できない。
画像照合部7が、連続した2つの撮影点でそれぞれ撮影された全方位画像を、パノラマ画像に変換すると、変換した2枚の変換画像の一方の画像から、ある方位の景観として、画像座標系の縦軸方向のうちの一列の画素列を抽出し、この画素列ともう一方の画像から抽出した画素列との特徴を照合する。ここで、2つの画像から画素列を抽出した方位が、上記2つの撮影点を結ぶ直線の方位と一致する場合は、画素列間に方位方向の視差はないが、撮影点の位置が異なるので、ロボット1(又は撮影装置4)と被写体の距離によって画素列に映る像の大きさが異なる。これにより、単純に画素値を比較しても同じ景観が映っているか否かを照合できない。
そこで、上述のように抽出した2つの画素列に映る被写体の像には、撮影点から被写体までの距離に応じて、縮尺が異なるものの、床と壁との色の違いによる大まかな輝度変化と被写体の表面のテクスチャパターンによる細かな輝度変化とが、同じ割合で含まれると仮定して、輝度変化の度合いを照合する。
具体的には、画像照合部7が、画素列の画素値(輝度値)に対して下記式(1)に示すフーリエ変換を施して画素列をフーリエ係数Fkに変換し、画素列の画素値の周波数成分の強さである|Fk|2を算出して、この周波数成分の強さ|Fk|2を比較対象として照合を行う。なお、下記式(1)において、kはフーリエ変換の次数を示し、Nは画素列の画素数を示しており、Inは、画素列のうち、n番目の画素の輝度を示している。
このようにフーリエ変換を施すことで、それぞれの画素列に含まれる大まかな輝度変化と細かな輝度変化の量が、周波数成分の強さによって比較可能となる。
具体的には、画像照合部7が、画素列の画素値(輝度値)に対して下記式(1)に示すフーリエ変換を施して画素列をフーリエ係数Fkに変換し、画素列の画素値の周波数成分の強さである|Fk|2を算出して、この周波数成分の強さ|Fk|2を比較対象として照合を行う。なお、下記式(1)において、kはフーリエ変換の次数を示し、Nは画素列の画素数を示しており、Inは、画素列のうち、n番目の画素の輝度を示している。
このようにフーリエ変換を施すことで、それぞれの画素列に含まれる大まかな輝度変化と細かな輝度変化の量が、周波数成分の強さによって比較可能となる。
図6は、画像照合部による画像照合の一例を示す図であり、比較対象である2枚の変換画像と各変換画像から方位毎の画素列を抽出しフーリエ変換を施して得られたスペクトルを画像形式で表示したスペクトル画像とを示している。図6(a)は、変換画像Aを示しており、図6(b)は、図6(a)中の変換画像Aをフーリエ変換して求めたスペクトル画像Aである。スペクトル画像は、横軸が撮影方位で、縦軸が次数kであり、周波数成分の強さが一定の閾値以上の場合に画素値を白とした2値画像で表現されている。
スペクトル画像のうち、次数の小さな座標における画素の輝度値は、画像中の同じ方位の画素列における濃淡変化の低周波数成分の量を示しており、次数の大きな座標における画素の輝度値は、高周波数成分の量を示している。
図6(d)に示す変換画像Bは、画像Aの元となる全方位画像の撮影点から2m以内の撮影点で撮影された全方位画像を元に得られた画像である。図6(c)は、図6(d)中の変換画像Bをフーリエ変換して求めたスペクトル画像Bである。
また、図6(b)と図6(c)では、スペクトル画像Aとスペクトル画像Bとにおける各輝度値の増減の特徴を比較した結果、一致すると判定された撮影方位を対応線で結んでいる。
また、図6(b)と図6(c)では、スペクトル画像Aとスペクトル画像Bとにおける各輝度値の増減の特徴を比較した結果、一致すると判定された撮影方位を対応線で結んでいる。
さらに、画像照合部7は、図6に示す2枚のスペクトル画像A,Bから対応する方位を見つけるため、下記式(2)に示す排他的論理和(exor)によって画像の差分を算出する。下記式(2)において、IAは、スペクトル画像Aの画像座標(x,y)における画素値であって、IBは、スペクトル画像Bの画像座標(x+s,y)における画素値を示している。sは、画素のシフト量を示しており、下記式(2)で算出した画像の差分が最小となるシフト量sが、2枚の画像を撮影した方位の差異に相当する。
2枚の変換画像を比較する場合、同じ方向にある景観であっても、撮影位置によっては見た目が変化するので、画素値同士の比較だけではシフト量を求められない。
そこで、本発明では、変換画像の上下方向(画像座標系の縦軸)の画素列の周波数特性を数値化したフーリエ変換スペクトル画像(周波数成分)を用いて比較することにより、景観の見た目と同じ周波数成分のテクスチャを含む方位の照合を可能にした。
図7は、変換画像とこれをs画素シフトしたシフト画像を示す図であり、図7(a)は図6(a)に示す画像Aであり、図7(b)は上記式(2)を用いて図7(a)の画像Aをs画素シフトした画像Bを示している。図7(a)及び図7(b)に示す変換画像A,Bは、上述したフーリエ変換スペクトル画像のマッチングによって、2つの撮影点でそれぞれ撮影された全方位画像の撮影方位が一致している。
次に、2枚の全方位画像の撮影点間を結ぶ方位(図5中の撮影点a,bを結ぶ直線の方位)を推測する方法について説明する。
図5で示したように、全方位画像に映る被写体の方位は、撮影位置によって変化する。方位が変化する方向は、撮影点の変化方向と相反する。例えば、図5に示す撮影点aで撮影した全方位画像では、前方に像を作った被写体Pが、撮影点bで撮影した全方位画像では、撮影点aで撮影された画像よりも後方の方位に像を作る。
この特徴を利用して、画像照合部7では、画像Aにおける特徴領域の方位と、対応する画像Bにおける特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、その方位をロボット1(又は撮影装置4)の進行方向と推定する。ここでは、比較する特徴量としてエッジを用いる。
図5で示したように、全方位画像に映る被写体の方位は、撮影位置によって変化する。方位が変化する方向は、撮影点の変化方向と相反する。例えば、図5に示す撮影点aで撮影した全方位画像では、前方に像を作った被写体Pが、撮影点bで撮影した全方位画像では、撮影点aで撮影された画像よりも後方の方位に像を作る。
この特徴を利用して、画像照合部7では、画像Aにおける特徴領域の方位と、対応する画像Bにおける特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、その方位をロボット1(又は撮影装置4)の進行方向と推定する。ここでは、比較する特徴量としてエッジを用いる。
一般に、2枚の画像のエッジ位置を対応付ける場合、対応付くエッジの画素位置に差異があり、かつ対応するエッジ間の距離に伸縮がある場合、正確な対応付けが困難である。
これに対して、図7に示す2枚の画像は、既にフーリエスペクトル画像の照合によって撮影方位が合っている。このため、エッジの探索範囲を制限することができ、対応付けが可能となっている。
これに対して、図7に示す2枚の画像は、既にフーリエスペクトル画像の照合によって撮影方位が合っている。このため、エッジの探索範囲を制限することができ、対応付けが可能となっている。
図8は、図7中の画像A,Bから求めたエッジ画像を示す図である。図8において、画像A,Bから抽出したエッジ画像Ae,Be上に、縦方向の画像座標値が同じ線(ベースライン)を設け、このベースライン上の画素値をそれぞれ比較する。このベースラインの位置には、撮影装置4の位置から被写体までの撮影方向においてピッチ方向(仰角方向)に誤差が生じないように、撮影装置4の高さと水平な画像座標値を選択している。
また、図8(a)及び図8(b)に示す符号a〜fは、2枚のエッジ画像Ae,Be間で対応するエッジを示している。
図9は、図8中のエッジ画像Ae,Be間で対応するエッジの画素距離を比較した結果を示す図である。図9において、エッジ画像Aeのエッジ間隔と比較してエッジ画像Beのエッジ間隔が広いのは、区間ef,faの2区間であり、エッジ画像Beのエッジ間隔と比べてエッジ画像Aeのエッジ間隔が広いのは、区間abである。この結果は、変換画像Aの元となる全方位画像の撮影点と変換画像Bの元となる全方位画像の撮影点とを見た方位が区間abの間にあり、その逆方向の方位は、区間ef,faの間にあることを示している。
図9は、図8中のエッジ画像Ae,Be間で対応するエッジの画素距離を比較した結果を示す図である。図9において、エッジ画像Aeのエッジ間隔と比較してエッジ画像Beのエッジ間隔が広いのは、区間ef,faの2区間であり、エッジ画像Beのエッジ間隔と比べてエッジ画像Aeのエッジ間隔が広いのは、区間abである。この結果は、変換画像Aの元となる全方位画像の撮影点と変換画像Bの元となる全方位画像の撮影点とを見た方位が区間abの間にあり、その逆方向の方位は、区間ef,faの間にあることを示している。
また、画像座標系の横軸は、撮影点を中心とした1周の方位を示しているので、ロボット1の進行方向とその逆方向の座標値の差分は、画像の横幅の半分に相当する。
ロボット1の進行方向をF、その逆方向をBとすると、画像照合部7は、区間aBの画素距離と区間Bbの画素距離との比率が、区間eFの画素距離と区間Faの画素距離との比率と等しくなる位置に進行方向F及びその逆方向Bの位置を推定する。これにより、図8(a)及び図8(b)に示す方位に進行方向Fとその逆方向Bが定まり、進行方向Fとその逆方向Bの画素距離を求めることができる。図7にも進行方向F及びその逆方向Bを図示した。なお、方位推定の精度は、2枚のエッジ画像Ae,Beから対応付けられるエッジ数により異なる。
ロボット1の進行方向をF、その逆方向をBとすると、画像照合部7は、区間aBの画素距離と区間Bbの画素距離との比率が、区間eFの画素距離と区間Faの画素距離との比率と等しくなる位置に進行方向F及びその逆方向Bの位置を推定する。これにより、図8(a)及び図8(b)に示す方位に進行方向Fとその逆方向Bが定まり、進行方向Fとその逆方向Bの画素距離を求めることができる。図7にも進行方向F及びその逆方向Bを図示した。なお、方位推定の精度は、2枚のエッジ画像Ae,Beから対応付けられるエッジ数により異なる。
経路計算部8は、画像照合部7によって、連続した撮影点で撮影された2枚の画像毎の相対方位が得られると、得られた相対方位を用いて、変換画像間の画像中で対応する方位を特定し、特定した方位に基づいた変換画像間の対応関係から撮影経路を算出する。
このように、本発明では、ロボット1の自己位置の算出が必要なメトリック地図を作成せず、撮影点同士の相対方位から撮影経路が算出される。以下に、経路データの算出方法の詳細を説明する。
このように、本発明では、ロボット1の自己位置の算出が必要なメトリック地図を作成せず、撮影点同士の相対方位から撮影経路が算出される。以下に、経路データの算出方法の詳細を説明する。
先ず、経路計算部8は、図10に示すように、連続した撮影点で撮影された2枚の全方位画像を地面平面の直交平面座標系へ射影した画像へそれぞれ変換する。この射影の方法は、上述した参考文献1の「解説」に記載された式を用いて、全方位画像の画像座標系における座標値を、実空間の座標系における地面の高さの座標値へ射影して作図する。
次に、経路計算部8は、図11に示すように、連続した撮影点で撮影された2枚の全方位画像を、地面の高さの像にそれぞれ射影した画像(画像1,2)を合成して経路を求める。合成方法は、以下の通りである。
次に、経路計算部8は、図11に示すように、連続した撮影点で撮影された2枚の全方位画像を、地面の高さの像にそれぞれ射影した画像(画像1,2)を合成して経路を求める。合成方法は、以下の通りである。
画像照合部7によって得られた相対方位をθとした場合、経路計算部8は、下記の行列式(3)を用いて座標系を変換する。ただし、画像1の画像座標系上の点がX1であり、Aは回転角度θの回転行列、bは平行移動行列である。図11の例では、下記式(3)を用いて画像1の画像座標の画素値をX2へ変換し、画像2の画素と合成している。
X2=AX1+b ・・・(3)
X2=AX1+b ・・・(3)
上記式(3)における平行移動行列bは、以下のように求める。
平行移動量を画像座標系の2軸に対して、予め定めた範囲で、予め定めたステップ分求める。例えば、縦方向に−10画像〜+10画像の1画素ステップ、横方向に−20画像〜+10画像の1画素ステップの場合、20×30=300パターンとなる。この各パターンに対して上記画像合成を試行し、画像1の画素と画像2の画素とが重なる画素に対して画素値を比較し、画素値の差異を、重なる画素数で割った値が最も小さくなる移動量を選択する。
平行移動量を画像座標系の2軸に対して、予め定めた範囲で、予め定めたステップ分求める。例えば、縦方向に−10画像〜+10画像の1画素ステップ、横方向に−20画像〜+10画像の1画素ステップの場合、20×30=300パターンとなる。この各パターンに対して上記画像合成を試行し、画像1の画素と画像2の画素とが重なる画素に対して画素値を比較し、画素値の差異を、重なる画素数で割った値が最も小さくなる移動量を選択する。
移動量の決定は、以下のようにしてもよい。
先ず、図12に示すように、連続した撮影点A,B,Cでそれぞれ撮影された3枚の全方位画像の方位角θa,θb,θcの差異が明確な場合、これらのうち、ある2枚の全方位画像(1ペア)に対して、上述のようにして距離を求める。これにより方位差分が拘束条件となるので、他の2ペアの画像間の距離が定まる。
先ず、図12に示すように、連続した撮影点A,B,Cでそれぞれ撮影された3枚の全方位画像の方位角θa,θb,θcの差異が明確な場合、これらのうち、ある2枚の全方位画像(1ペア)に対して、上述のようにして距離を求める。これにより方位差分が拘束条件となるので、他の2ペアの画像間の距離が定まる。
次に、経路データの説明とその活用について述べる。
全方位画像を射影して生成した地面平面の中心点は、撮影点である。地面平面の座標系を平行移動して、原点が移動する先の点は、次に撮影された全方位画像を射影して生成した地面平面の座標系の原点、すなわち次に撮影された全方位画像の撮影点となる。
本発明では、このようにして求めた回転行列及び平行移動行列を経路データと呼んでおり、さらに、撮影点を一つの座標系にプロットした点列又は点同士を結んだ折れ線を呼ぶこととする。
全方位画像を射影して生成した地面平面の中心点は、撮影点である。地面平面の座標系を平行移動して、原点が移動する先の点は、次に撮影された全方位画像を射影して生成した地面平面の座標系の原点、すなわち次に撮影された全方位画像の撮影点となる。
本発明では、このようにして求めた回転行列及び平行移動行列を経路データと呼んでおり、さらに、撮影点を一つの座標系にプロットした点列又は点同士を結んだ折れ線を呼ぶこととする。
経路計算部8が、連続した撮影点でそれぞれ撮影された全方位画像を地面平面へそれぞれ射影し、これら地面平面へ射影した各画像を、経路データの回転行列及び平行移動行列に忠実に座標系を変換して合成した画像は、図13に示すようになる。このように、経路データを用いることによって周辺の景観を表現可能である。
図13の表現では、撮影装置4の周辺の景観だけが表示されているが、さらに遠方も同時に表現する画像合成を行ってもよい。この画像合成は、例えば下記のように行う。
図14は、撮影装置の周辺及び遠方を表示した合成画像の生成処理を説明するための図である。図14(a)は地面平面へ射影した画像であり、図14(b)は図14(a)の射影前の全方位画像である。また、図14(a)中の弧ABと弧CDは、床面と構造物との境界を示している。
図14は、撮影装置の周辺及び遠方を表示した合成画像の生成処理を説明するための図である。図14(a)は地面平面へ射影した画像であり、図14(b)は図14(a)の射影前の全方位画像である。また、図14(a)中の弧ABと弧CDは、床面と構造物との境界を示している。
先ず、図14(a)に示すような地面平面へ射影した画像から直線エッジを抽出し、床面と構造物との境界を検出して、図14(b)に示す全方位画像における弧ABと弧CDの位置を決定する。又は、経路計算部8が、オペレータの指示を受け付けて床面と構造物との境界を決定するようにしてもよい。
次に、経路計算部8は、図14(b)中に示す天井に近い外周線と弧ABを含む太線で囲んだ画像領域及び天井に近い外周線と弧CDを含む太線で囲んだ画像領域を、上記参考文献1に記載される、画像座標系を俯角及び方位角へ変換する変換式を用いて、図14(d)に示す展開図へそれぞれ変換する。これらの展開図を、図14(a)の直線エッジ部分に合成することにより、図14(c)に示すような合成画像が得られる。この画像では、地面平面を表示するとともに、床面と構造物との境界がある場合に、地面平面に近い低い位置にある地物だけでなく、天井に近い俯角までの景観が再現可能である。
このように、全方位画像を地面平面へ射影した画像を単に合成した画像では、表示可能な景観が狭い範囲に限られるが、上述のように床面と構造物との境界から天井に近い外周線までの画像領域を全方位画像から切り取って展開図に変換し、地面平面へ射影した画像へ貼り付けることにより、撮影装置4の周辺とさらに遠方の景観も同時に表現することができる。なお、地面と地物との境界線だけでなく、床面(地面)の任意の2地点を結んだ線を用いて上記の合成処理を行えば、床面の任意の2地点を結んだ線から天井に近い俯角までの景観を再現することができる。
経路記憶部9は、経路計算部8にて算出された撮影経路を示すデータを記憶する。撮影経路を示すデータは、ロボット1の移動に伴って撮影された画像間の方位の対応関係を示すデータで規定され、図1において、矢印で示すデータに相当する。ロボット1の移動に伴い時系列に撮影された画像間の方位の対応関係に基づいて、上述のように各変換画像を順に接続することで、撮影経路の映像を得ることができる。
なお、経路記憶部9に記憶する撮影経路データは、異なる時刻に撮影された全方位画像間で照合したり、他のロボットが撮影した全方位画像と照合することにより、同じ場所で得られたデータを利用可能な点で、ライフログとしての利用価値がある。
以上のように、この実施の形態1によれば、撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置4による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット1の移動に伴って撮影装置4に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット1の移動に伴う撮影装置4の撮影経路を算出する。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果が得られる。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果が得られる。
また、この実施の形態1によれば、画像照合部7が、撮影装置4によって連続した撮影点でそれぞれ撮影された一方の全方位画像における特徴領域の方位と、もう一方の全方位画像における当該特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、当該一定の方位をロボット1の進行方向と推定する。このようにすることで、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から、ロボット1の進行方向を推定することができる。
さらに、この実施の形態1によれば、経路計算部8が、画像照合部7によって推定された全方位画像間の相対方位に相当する回転角度θの回転行列Aと、全方位画像を地面平面の直交平面座標系へ射影した射影画像の中心点のロボット1の移動に伴う移動量を示す平行移動行列bとを、経路データとして算出し、連続した撮影点でそれぞれ撮影された全方位画像を地面平面の直交平面座標系へ射影した各射影画像を、経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、ロボット1の移動に伴う撮影装置4の撮影経路を表示する合成画像を得る。このようにすることで、ロボット1の自己位置の算出が必要なメトリック地図を作成せずに、撮影経路を表示する合成画像を得ることができる。
さらに、この実施の形態1によれば、経路計算部8が、全方位画像を地面平面の直交平面座標系へ射影した射影画像から直線エッジを抽出するとともに、抽出した直線エッジに対応する全方位画像上の直線を含む画像領域を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置4による撮影方向に対するピッチ角である画像に変換して当該射影画像の直線エッジ部分へ合成し、当該合成処理を施した各射影画像を、経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、ロボット1の移動に伴う撮影装置4の撮影経路を表示する合成画像を得る。このようにすることで、任意の2地点を結んだ線から例えば天井に近い俯角までの景観を再現することができる。
1 ロボット(移動体)、2 移動台、3 ポール、4 撮影装置、5 撮影経路計算装置、6 画像記憶部、7 画像照合部、8 経路計算部、9 経路記憶部。
Claims (4)
- 移動体に搭載した撮影装置によって当該移動体の移動に伴い撮影された撮影点の全周囲の全方位画像を記憶する画像記憶部と、
前記画像記憶部から読み出された前記全方位画像を、画像座標系の横軸が方位であり、前記画像座標系の縦軸が前記撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎に前記ピッチ角で規定される上下方向の画素値の周波数成分を算出し、前記移動体の移動に伴って前記撮影装置に撮影された各全方位画像について前記周波数成分を基に方位を照合することにより、前記全方位画像間の相対方位を推定する画像照合部と、
前記画像照合部によって推定された前記全方位画像間の相対方位に基づいて、前記移動体の移動に伴う前記撮影装置の撮影経路を算出する経路計算部とを備えた撮影経路計算装置。 - 前記画像照合部は、前記撮影装置によって連続した撮影点でそれぞれ撮影された一方の全方位画像における特徴領域の方位と、もう一方の全方位画像における当該特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、当該一定の方位を前記移動体の進行方向と推定することを特徴とする請求項1記載の撮影経路計算装置。
- 前記経路計算部は、
前記画像照合部によって推定された前記撮影装置によって連続した撮影点でそれぞれ撮影された全方位画像間の相対方位に相当する回転角度の回転行列と、前記全方位画像を地面平面の直交平面座標系へ射影した射影画像の中心点の前記移動体の移動に伴う移動量を示す平行移動行列とを、経路データとして算出し、
前記連続した撮影点でそれぞれ撮影された前記全方位画像を地面平面の直交平面座標系へ射影した各射影画像を、前記経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、前記移動体の移動に伴う前記撮影装置の撮影経路を表示する合成画像を得ることを特徴とする請求項1記載の撮影経路計算装置。 - 前記経路計算部は、
前記射影画像から直線エッジを抽出するとともに、抽出した直線エッジに対応する前記全方位画像上の直線を含む画像領域を、画像座標系の横軸が方位であり、前記画像座標系の縦軸が前記撮影装置による撮影方向に対するピッチ角である画像に変換して、前記射影画像の前記直線エッジ部分へ合成し、
当該合成処理を施した各射影画像を、前記経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、前記移動体の移動に伴う前記撮影装置の撮影経路を表示する合成画像を得ることを特徴とする請求項3記載の撮影経路計算装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010038738A JP2011174799A (ja) | 2010-02-24 | 2010-02-24 | 撮影経路計算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010038738A JP2011174799A (ja) | 2010-02-24 | 2010-02-24 | 撮影経路計算装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011174799A true JP2011174799A (ja) | 2011-09-08 |
Family
ID=44687787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010038738A Pending JP2011174799A (ja) | 2010-02-24 | 2010-02-24 | 撮影経路計算装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011174799A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016035324A1 (en) * | 2014-09-03 | 2016-03-10 | Sharp Kabushiki Kaisha | Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion |
JP2016158186A (ja) * | 2015-02-26 | 2016-09-01 | カシオ計算機株式会社 | 撮像装置、撮像方法、撮像プログラム |
JP2018514879A (ja) * | 2015-05-13 | 2018-06-07 | ウニヴェルジテート・ビーレフェルトUniversitat Bielefeld | フロア処理デバイス及びそのナビゲーション方法、並びに、一群のフロア処理デバイス及びそれらの全体的なナビゲーション方法 |
JP2018174002A (ja) * | 2018-08-16 | 2018-11-08 | ソニー株式会社 | 移動体 |
JP2020170400A (ja) * | 2019-04-04 | 2020-10-15 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11520334B2 (en) | 2014-10-17 | 2022-12-06 | Sony Corporation | Control device, control method, and computer program |
CN116912302A (zh) * | 2023-09-12 | 2023-10-20 | 湖南大学 | 一种基于深度图像配准网络的高精度成像方法及系统 |
-
2010
- 2010-02-24 JP JP2010038738A patent/JP2011174799A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016035324A1 (en) * | 2014-09-03 | 2016-03-10 | Sharp Kabushiki Kaisha | Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion |
US11520334B2 (en) | 2014-10-17 | 2022-12-06 | Sony Corporation | Control device, control method, and computer program |
US11927960B2 (en) | 2014-10-17 | 2024-03-12 | Sony Group Corporation | Control device, control method, and computer program |
JP2016158186A (ja) * | 2015-02-26 | 2016-09-01 | カシオ計算機株式会社 | 撮像装置、撮像方法、撮像プログラム |
US10204276B2 (en) | 2015-02-26 | 2019-02-12 | Casio Computer Co., Ltd. | Imaging device, method and recording medium for capturing a three-dimensional field of view |
JP2018514879A (ja) * | 2015-05-13 | 2018-06-07 | ウニヴェルジテート・ビーレフェルトUniversitat Bielefeld | フロア処理デバイス及びそのナビゲーション方法、並びに、一群のフロア処理デバイス及びそれらの全体的なナビゲーション方法 |
JP2018174002A (ja) * | 2018-08-16 | 2018-11-08 | ソニー株式会社 | 移動体 |
JP2020170400A (ja) * | 2019-04-04 | 2020-10-15 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7259498B2 (ja) | 2019-04-04 | 2023-04-18 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN116912302A (zh) * | 2023-09-12 | 2023-10-20 | 湖南大学 | 一种基于深度图像配准网络的高精度成像方法及系统 |
CN116912302B (zh) * | 2023-09-12 | 2023-12-01 | 湖南大学 | 一种基于深度图像配准网络的高精度成像方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11979547B2 (en) | Multi-dimensional data capture of an environment using plural devices | |
EP2993490B1 (en) | Operating device, operating method, and program therefor | |
JP5872818B2 (ja) | 測位処理装置、測位処理方法、および画像処理装置 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP5593177B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
US20150116691A1 (en) | Indoor surveying apparatus and method | |
JP2011174799A (ja) | 撮影経路計算装置 | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
US20110157179A1 (en) | Method and system for providing augmented reality based on marker tracking, and computer program product thereof | |
JP6721112B2 (ja) | カメラパラメータ推定装置、方法およびプログラム | |
JP2006220521A (ja) | 自己位置計測装置及び自己位置計測方法を実行するためのプログラム | |
JP2012075060A (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP5388921B2 (ja) | 3次元距離計測装置及びその方法 | |
JPWO2008152740A1 (ja) | デジタル空撮3次元計測システム | |
JP6721111B2 (ja) | カメラパラメータ推定装置、方法およびプログラム | |
JP2011039968A (ja) | 車両可動領域検出装置 | |
US20190279384A1 (en) | Image processing apparatus, image processing method, and driving support system | |
JP2004028811A (ja) | 監視システムの距離補正装置および距離補正方法 | |
JP7542420B2 (ja) | カメラ位置調整情報生成装置及びプログラム | |
US11924561B2 (en) | Determining a camera control point for virtual production | |
JP5168313B2 (ja) | 画像表示装置 | |
JP2016224016A (ja) | 三次元位置計測方法、測量方法、面特定方法、三次元位置計測装置及び三次元位置計測プログラム |