JP2006059202A - 撮像装置及び画像補正方法 - Google Patents

撮像装置及び画像補正方法 Download PDF

Info

Publication number
JP2006059202A
JP2006059202A JP2004241656A JP2004241656A JP2006059202A JP 2006059202 A JP2006059202 A JP 2006059202A JP 2004241656 A JP2004241656 A JP 2004241656A JP 2004241656 A JP2004241656 A JP 2004241656A JP 2006059202 A JP2006059202 A JP 2006059202A
Authority
JP
Japan
Prior art keywords
image
spherical image
spherical
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004241656A
Other languages
English (en)
Inventor
Shigo Ri
仕剛 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate University
Original Assignee
Iwate University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate University filed Critical Iwate University
Priority to JP2004241656A priority Critical patent/JP2006059202A/ja
Publication of JP2006059202A publication Critical patent/JP2006059202A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】傾きが補正された球面画像を容易に精度良く形成可能な撮像装置及び画像補正方法を提供する。
【解決手段】 撮像装置１は、カメラ１０を有し、カメラ１０で取得された被写体像１６の画像データから球面画像形成手段３１が、カメラ１０のカメラ座標系Ｃｃで表される球面画像４０を形成する。また、撮像装置１は、実空間での重力方向に対するカメラ座標系Ｃｃの傾きを検出する傾き検出センサ５０を有し、撮像装置１の画像補正手段３２は、この傾き検出センサ５０の検出結果に基づいて、カメラ座標系Ｃｃを回転させて球面画像空間での重力ベクトルＧｓを重力方向と一致させることで、球面画像４０の傾きを補正する。
【選択図】図１

Description

本発明は、移動ロボット等に好適に利用される撮像装置及び画像補正方法に関するものである。
カメラで撮像した被写体像を、仮想球体の表面上に投影した画像は、球面画像として知られる。この球面画像は、カメラ周囲の情景を表示することができる結果、地上の障害物の回避や場所の同定などの種々のタスクを有する移動ロボットのナビゲーションシステムや、街のワークスルー（Walk through）のコンテンツ作製などへの応用が期待されている。
ところで、球面画像は、カメラを中心としたカメラ座標系で表示されるので、カメラの姿勢が変化してカメラが重力方向に対して傾くと、それに応じて球面画像も傾く。その結果、同じ被写体を違う時刻に撮影した場合や、車にカメラを取り付けて移動しながら街を撮影した場合等に、撮影毎にカメラの姿勢が変化すると、得られた球面画像毎の対応関係が取りにくい。そこで、例えば、非特許文献１では、フーリエ変換に基づいたフーリエ位相相関法を適用することで、実空間の３次元座標系が有する３つの軸からのカメラ座標系の回転角をそれぞれ求めて、球面画像の傾きを補正する手法が開示されている。
A. Makadia and K. Daniilidis, "Direct 3D-Rotation Estimation from Spherical Images via a generalized shift theorem," Proc. of Conf. on Computer Vision and Pattern Recognition(CVPR) , pp217-224, 2003.
しかしながら、非特許文献１に記載の技術では、球面画像の傾き補正をするための計算が煩雑であると共に計算に時間を要するため、容易に傾きが補正された球面画像を形成することができないという問題点や、３つの軸に対する回転角を計算で算出すると、算出過程で誤差が累積するため傾き補正の精度が悪くなるという問題点がある。
そこで、本発明は、傾きが補正された球面画像を容易に精度良く形成可能な撮像装置及び画像補正方法を提供することを目的とする。
上記課題を解決するために、本発明に係る撮像装置は、カメラと、カメラで取得された被写体像の画像データからカメラのカメラ座標系で表される球面画像を形成する球面画像形成手段と、実空間での重力方向に対するカメラ座標系の傾きを検出する傾き検出センサと、傾き検出センサの検出結果に基づいて、カメラ座標系を回転させて球面画像空間での重力ベクトルを重力方向と一致させることで、球面画像の傾きを補正する画像補正手段と、を備えたことを特徴とする。
この撮像装置では、カメラによって取得された被写体像を、球面画像形成手段によって、カメラ座標系で表示される球面画像に変換する。また、カメラで被写体像を取得しているときに、重力方向に対するカメラ座標系の傾きを傾き検出センサで検出する。そして、画像補正手段が、傾き検出センサの検出結果に基づいてカメラ座標系を回転させて、球面画像空間での重力ベクトルと実空間での重力方向とを一致させる。
これにより、例えば、撮影毎にカメラの姿勢が変化した場合でも、球面画像の対応関係が取りやすくなる。また、傾き検出センサの検出結果を利用して球面画像の傾きを補正しているので、球面画像の傾き補正を容易に実施することができる。更に、傾き検出センサの検出結果を利用しているため、精度良く傾きを補正することができる。
また、本発明に係る撮像装置のカメラは、画角が１８０度以上の魚眼レンズを有し、魚眼レンズによって結像された被写体像を取得することが好ましい。この場合、魚眼レンズを利用しているため、カメラを中心とした周囲３６０度のうち上記画角に含まれる領域の被写体像を一度に取得することができる。その結果、例えば、地上の傷害物の回避や場所の同定など種々のタスクに対応するため広い視野が要求される移動ロボットへの利用や、街のワークスルーのコンテンツ作製に有効である。
更に、本発明に係る撮像装置のカメラは、外光が入射する面が互いに反対側に位置するように配置されており画角が１８０度以上の一対の魚眼レンズを有し、カメラは、一対の魚眼レンズでそれぞれ結像された一対の被写体像を一度に取得し、球面画像形成手段は、一対の被写体像に基づいて、カメラの周囲３６０度の情景が投影された球面画像を形成することが好適である。この場合、カメラで一度撮像することでカメラを中心とした全方位の情景が投影された球面画像を得ることができる。そのため、この場合も、広い視野が要求される移動ロボットへの利用や、街のワークスルーのコンテンツ作製に有効である。
更にまた、本発明に係る撮像装置の傾き検出センサは、カメラ座標系の傾きとして、重力方向を重力参照軸として有する３次元座標系での重力参照軸に直交する２つの軸に対するカメラ座標系の第１及び第２の回転角をそれぞれ検出し、画像補正手段は、３次元座標系の２つの軸それぞれに対応するカメラ座標系の第１及び第２の軸周りにカメラ座標系を第１及び第２の回転角に基づいて回転させることで球面画像の重力方向に対する傾きを補正する傾き補正部を有することが好ましい。
この場合、カメラ座標系が、傾き検出センサで検出された第１及び第２の回転角に基づいて第１及び第２の軸周りに回転されるので、カメラ座標系の他の軸が重力参照軸と一致する。その結果、カメラ座標系の重力参照軸に対する傾きが確実に補正される傾向にある。
また、本発明に係る撮像装置において画像補正手段は、傾き検出センサのセンサ座標系に対するカメラ座標系の傾きを校正する校正部を有することが好ましい。これにより、カメラと傾き検出センサとが重力方向に対して互いに異なる方向に傾いていても、その傾きは校正部によって校正されるので、傾き検出センサの検出結果に基づいてカメラ座標系の傾きを回転させることで、球面画像の重力方向に対する傾きを確実に補正できる傾向にある。
また、本発明に係る撮像装置における画像補正手段は、傾きが補正された球面画像として第１球面画像と第２球面画像とが形成された場合、第１球面画像と第２球面画像とに対してフーリエ位相相関法を適用することによって、第１球面画像に対する第２球面画像の重力方向周りの第３の回転角を算出する回転角算出部と、第３の回転角に基づいて第２球面画像を重力方向周りに回転させることで第１球面画像に対する第２球面画像の重力方向周りの回転を補正する回転補正部と、を更に備えることが好ましい。
この場合、回転角算出部がフーリエ位相相関法を利用して算出した第３の回転角に基づいて、回転補正部が、第２球面画像を重力方向周りに回転させる結果、第１球面画像を表示するカメラ座標系と第２球面画像を表示するカメラ座標系とがほぼ一致する。その結果、第１球面画像と第２球面画像との視点が揃い画像間の対応関係が更に取りやすくなる。
また、本発明に係る撮像装置における画像補正手段は、球面画像が有する上半球面画像を抽出する画像抽出部を有し、回転角算出部は、画像抽出部によって第１球面画像から抽出された第１上半球面画像と第２球面画像から抽出された第２上半球面画像とに対してフーリエ位相相関法を適用して第３の回転角を算出することが好ましい。
球面画像は、カメラ座標系で表示されているため、球面画像空間での重力ベクトルと実空間での重力方向とが一致していると、上半球面画像には、地平線（horizon）より上方に位置する静的なもの（例えば、空や建物などの上部）が表示されやすい。そのため、第１上半球面画像と第２上半球面画像とに対してフーリエ位相相関法を適用した場合に、カメラの回転に伴う回転角のみが算出される傾向にある。その結果、より正確に第３の回転角を算出することができる。
更に、本発明に係る撮像装置においては、球面画像から、中心射影によって球面画像の中心を焦点とする平面画像を形成する平面画像形成手段を更に有することが好適である。この場合、球面画像が中心射影によって平面画像が形成されるので、任意の視点の平面画像を得ることができる。
また、本発明に係る画像補正方法は、カメラによって被写体像を取得する被写体像取得工程と、カメラで取得された被写体像を、カメラのカメラ座標系で表される仮想球体の表面に投影して球面画像を形成する球面画像形成工程と、実空間での重力方向に対するカメラ座標系の傾きを検出する傾き検出工程と、傾き検出工程で検出された検出結果に基づいて、球面画像空間での重力ベクトルが重力方向と一致するようにカメラ座標系を回転させることで球面画像の重力方向に対する傾きを補正する第１の画像補正工程と、を備えたことを特徴とする。
この場合、被写体像取得工程でカメラによって取得された被写体像が、球面画像形成工程で球面画像に変換される。また、傾き検出工程で、重力方向に対するカメラ座標系の傾きが、傾き検出センサで検出される。そして、その検出結果に基づいて、第１の画像補正工程において、カメラ座標系を回転させることで球面画像空間での重力ベクトルと実空間での重力方向とを一致させる。これにより、例えば、撮影毎にカメラの姿勢が変化した場合でも、球面画像の対応関係が取りやすくなる。また、傾き検出センサの検出結果を利用して球面画像の傾きを補正しているので、球面画像の傾き補正を容易に実施することができる。更に、傾き検出センサの検出結果を利用しているため、精度良く傾きを補正することができる。
また、本発明に係る画像補正方法の被写体像取得工程において、カメラは、画角が１８０度以上の魚眼レンズによって被写体像を取得することが好ましい。魚眼レンズを利用しているため、カメラを中心とした周囲３６０度のうち上記画角に含まれる領域の被写体像を一度に取得することができる。その結果、例えば、地上の傷害物の回避と場所の同定など種々のタスクに対応するため広い視野が要求される移動ロボットへの利用や、街のワークスルーのコンテンツ作製に有効である。
更に、本発明に係る画像補正方法では、被写体像取得工程において、カメラは、外光が入射する面が互いに反対側に位置するように配置されており画角が１８０度以上の一対の魚眼レンズによって結像された一対の被写体像を一度に取得し、球面画像形成工程において、一対の被写体像からそれぞれに対応する半球面画像を形成し、それらを結合してカメラの周囲３６０度の情景が投影された球面画像を形成することが好適である。
この場合、カメラで一度撮像することでカメラを中心とした全方位の情景が投影された球面画像を得ることができる。そのため、この場合も、移動ロボットへの利用や、街のワークスルーのコンテンツ作製に有効である。
更にまた、本発明に係る画像補正方法の傾き検出工程において、傾き検出センサは、重力方向を重力参照軸として有する３次元座標系での重力参照軸に直交する２つの軸に対するカメラ座標系の第１及び第２の回転角をそれぞれ検出し、第１の画像補正工程において、３次元座標系の上記２つの軸それぞれに対応するカメラ座標系の第１及び第２の軸周りにカメラ座標系を第１及び第２の回転角に基づいて回転させることによって、球面画像の重力方向に対する傾きを補正することが好適である。
この場合、カメラ座標系が、傾き検出センサで検出された第１及び第２の回転角に基づいてそれぞれ第１及び第２の軸周りに回転されることで、カメラ座標系の他の軸が重力参照軸に一致する。その結果、カメラ座標系の重力参照軸に対する傾きが確実に補正される傾向にある。
また、本発明に係る画像補正方法は、傾き検出センサのセンサ座標系に対するカメラ座標系の傾きを校正する校正工程を備え、第１の画像補正工程において、校正工程で校正されたカメラ座標系を回転させることで球面画像の重力方向に対する傾きを補正することが好適である。この場合、校正工程でセンサ座標系に対するカメラ座標系の傾きが校正され、その校正されたカメラ座標系を傾き検出センサの検出結果に応じて回転させるので、確実にカメラ座標系の傾きを補正することができる。
更にまた、本発明に係る画像補正方法では、第１の画像補正工程によって傾きが補正された球面画像として第１球面画像と第２球面画像とが形成された場合、第１球面画像と第２球面画像とに対してフーリエ位相相関法を適用することによって、第１球面画像に対する第２球面画像の重力方向周りの第３の回転角を算出する回転角算出工程と、第３の回転角に基づいて第２球面画像を重力方向周りに回転させることで第２球面画像の第１球面画像に対する重力方向周りの回転を補正する第２の画像補正工程と、を更に備えたことが好ましい。
この場合、回転角算出工程において、フーリエ位相相関法を利用して算出した第３の回転角に基づいて、第２の画像補正工程で、第２球面画像を重力方向周りに回転させる結果、第１球面画像のカメラ座標系と第２球面画像のカメラ座標系とがほぼ一致する。その結果、第１球面画像と第２球面画像との対応関係が更に取りやすくなる。
更にまた、本発明に係る画像補正方法においては、第１球面画像が有する第１上半球面画像を抽出すると共に、第２球面画像が有する第２上半球面画像を抽出する画像抽出工程を有し、回転角算出工程において、画像抽出工程で抽出された第１上半球面画像と第２上半球面画像とに対してフーリエ位相相関法を適用することが好ましい。
球面画像は、カメラを中心としたカメラ座標系で表示されているため、球面画像空間での重力ベクトルと実空間での重力方向とが一致していると、上半球面画像には、地平線より上方に位置する静的なもの（例えば、空や建物などの上部）が表示されやすい一方、車や人など動的なものが表示されにくい傾向にある。そのため、第１上半球面画像及び第２上半球面画像に対してフーリエ位相相関法を適用した場合に、カメラの回転に伴う回転角のみが算出される傾向にある。その結果、より正確に第３の回転角を算出することができる。
更にまた、本発明に係る画像補正方法は、球面画像から中心射影によって球面画像の中心を焦点とする平面画像を形成する平面画像形成工程を更に備えることが好適である。この場合、球面画像から中心射影によって平面画像が形成されるので、より見やすい画像を取得することができる。
本発明の撮像装置によれば、傾きが補正された球面画像を容易に精度良く形成することができる。また、本発明の画像補正方法によれば、球面画像の傾きを容易に精度よく補正することができる。
以下、図を参照して本発明の撮像装置及び画像補正方法の好適な実施形態について説明する。なお、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
図１は、本発明に係る撮像装置の一実施形態の構成を示すブロック図である。撮像装置１は、カメラ１０を有し、カメラ１０で取得された被写体像に基づいて、カメラ１０を中心した全方位の情景が投影された球面画像を形成する。そのため、撮像装置１は、例えば、傷害物の回避や場所の同定などのために広い視野を要する移動ロボットや、街のワークスルーのコンテンツ作製等に好適に利用される。
撮像装置１のカメラ１０は、一対の魚眼レンズ１１，１２と、各魚眼レンズ１１，１２で結像された被写体像を取得する像取得部１３とを備え、台２０上に配置されている。各魚眼レンズ１１，１２の画角ｗ（図２参照）は１８５度であって、等距離射影方式で被写体像を結像する。そして、魚眼レンズ１１，１２の入射面１１ａ，１２ｂは、互いに反対側に位置すると共に、各魚眼レンズ１１，１２の光軸Ｌ１，Ｌ２は略一致している。このような魚眼レンズ１１，１２の配置によって、図２に示すように、各魚眼レンズ１１，１２で結像され像取得部１３で取得された被写体像を合わせると、カメラ１０を中心とした全方位の情景の被写体像をほぼ取得できることになる。なお、図２に示したハッチングは、魚眼レンズ１１，１２の視野領域を模式的に示すものである。
また、図１に示すように、各魚眼レンズ１１，１２で結像された一対の被写体像を取得する像取得部１３は、各魚眼レンズ１１，１２の像面に受光面を有する撮像素子１３Ａ，１３Ｂを有し、撮像素子１３Ａと魚眼レンズ１１とは、第１の撮像部１４を構成し、撮像素子１３Ｂと魚眼レンズ１２とは、第２の撮像部１５を構成している。各撮像素子１３Ａ，１３Ｂは、例えば、ＣＣＤカメラであり、像取得部１３は、図３に示すように、撮像素子１３Ａ，１３Ｂ上に結像された被写体像１６，１７を、画像データとして同時に取得する。撮像素子１３Ａ，１３Ｂで取得された被写体像１６，１７の画像データは、撮像装置１の一部を構成する画像形成手段３０に入力される。
図１に示すように、画像形成手段３０は、ＣＰＵなどを備えたいわゆるコンピュータであり、撮像素子１３Ａ，１３Ｂからの被写体像１６，１７の画像データに基づいて球面画像を形成する球面画像形成部（球面画像形成手段）３１を有している。球面画像形成部３１は、被写体像１６，１７を一度半球面画像に変換した後、それらを結合して球面画像を形成する。
図４を利用して、被写体像を半球面画像に変換する方法について説明する。図４（ａ）は魚眼レンズの結像特性を説明するための図であり、魚眼レンズが中心Ｏに位置しており、魚眼レンズの視野内の点Ｐｉ（ｉは任意の整数）からの外光が魚眼レンズに入射している状態を示している。説明を簡便化するため、図４に記載の魚眼レンズの画角ｗは１８０度としている。
図４（ｂ）は、魚眼レンズの像面Ｑを示す図である。等距離射影方式の魚眼レンズでは、図４（ａ）に示す点Ｐｉは、図４（ｂ）の像面Ｑにおいて、位置座標（ｒi，φｉ）で表される点ｑｉに投影される。すなわち、魚眼レンズの焦点距離をｆしたときに、点Ｐｉは、Ｘ軸からの方位角φｉは変化せずに、画像中心ＯＩからの距離ｒｉが次の式で表される点ｑｉに投影される。
Figure 2006059202
 この（式１）より、
Figure 2006059202
 が成り立つ。
そこで、図４（ｃ）に示すように、画像中心ＯＩを原点とし、その原点を中心とした単位半径の仮想の半球体ＳＨを考えると、ｑｉに相当する半球体ＳＨの表面上の点ｐｉは、
Figure 2006059202
 と表される。この点ｐｉは、点Ｐｉの半球体ＳＨ上への投影点に対応する。したがって、式（３）は、被写体像を構成している各画素（すなわち、点ｑｉ）の位置座標を特定することによって被写体像を半球面画像に変換することができることを示している。
そして、球面画像形成部３１（図１参照）は、上記のようにして、各魚眼レンズ１１，１２で結像された被写体像１６，１７から変換された各半球面画像を結合することによって、１つの球面画像を形成する。
２つの半球面画像を結合する場合には、半球面画像の画像中心、魚眼レンズ１１，１２の焦点距離、及び、第１及び第２の撮像部１４，１５の相対姿勢などのカメラパラメータが校正されていることが好ましい。カメラ１０は、前述したカメラパラメータが次に説明する校正方法で校正されているものとする。以下の説明のために、魚眼レンズ１１，１２にそれぞれ対応する画像中心をＯ１，Ｏ２とし、焦点距離をｆ１，ｆ２とする。
魚眼レンズ１１，１２は、画角ｗが１８５度であることから、実空間の被写体に含まれる平行線群の一対の消失点が、被写体像１６，１７中に現れる。そのため、少なくとも２つの消失点対の交点として各画像中心Ｏｊ（ｊは１又は２）を校正する。なお、各画像中心Ｏ１，Ｏ２は、光軸Ｌ１，Ｌ２上に位置するので、画像中心Ｏ１，Ｏ２の校正は、光軸Ｌ１，Ｌ２に直交する面内における魚眼レンズ１１，１２の各焦点の位置の校正に相当する。
そして、各魚眼レンズ１１，１２で結像された被写体像１６，１７内の一対の消失点間の距離をπで除することで、各魚眼レンズ１１，１２の焦点距離ｆｋ（ｋは１又は２）を算出する。次に、上記のようにして求められた第１及び第２の撮像部１４，１５に対応する画像中心Ｏｊ及び焦点距離ｆｋに基づいて、各被写体像１６，１７をそれぞれ半球面画像に変換する。そして、各半球面画像に含まれている、実空間での水平線に略平行な直線群に対する消失点と、その水平線に直交する直線に略平行な直線群の消失点とに基づいて、２つの半球面画像を表示する座標系間の変換行列を算出する。この変換行列が、２つの半球面画像を表示する座標系間の相対姿勢に相当する。
次に、魚眼レンズ１１，１２の画角ｗが１８５度であることから、２つの半球面画像に重複している画像領域があることを利用して、上述のようにして算出された焦点距離ｆｋ及び変換行列を更に校正する。
以上のようにして、校正された画像中心Ｏｊ、焦点距離ｆｋ及び２つの半球面画像間の相対姿勢に基づいて、球面画像形成部３１は、２つの半球面画像を形成すると共に、それらを結合して、図５に示すように、１つの球面画像４０を形成する。この球面画像４０は、２つの半球体ＳＨが結合されてなる１つの仮想球体Ｓの表面に、魚眼レンズ１１，１２で結像された被写体像が投影されたものであり、球面画像４０は、カメラ１０を中心としたカメラ座標系Ｃｃで表示される。
このカメラ座標系Ｃｃは、カメラ１０が有する魚眼レンズ１１，１２の焦点Ｏｆを原点ＯＣとしており、魚眼レンズ１１の光軸Ｌ１（又は魚眼レンズ１１の光軸Ｌ２）をＺｃ軸（第２の軸）としている。なお、カメラ１０は２つの魚眼レンズ１１，１２を有しているので、その焦点は実際には２つあることになるが、カメラ１０に対して被写体は十分遠く離れているため、魚眼レンズ１１，１２の焦点はほぼ一致しているとみなせる結果、１つの焦点Ｏｆとしている。このカメラ座標系Ｃｃは、カメラ１０からみた実空間（世界）を球面画像４０として表示するものであるため、カメラ座標系Ｃｃを基準とした画像空間を球面画像空間と称する。そして、この球面画像空間での重力ベクトルＧＳは、Ｘｃ軸と略平行とする。
このように、カメラ座標系Ｃｃで表示される球面画像４０は、図５に示すように、実空間での重力方向をＸw軸（重力参照軸）として有し、Ｘw軸に直交する２つの軸であるYｗ軸、Ｚｗ軸からなる世界座標系（３次元座標系）Ｃｗに対して、カメラ座標系Ｃｃが傾いている（すなわち、カメラ１０が傾いている）と、その傾きに応じて球面画像４０も傾く。
そこで、図１に示す撮像装置１は、この傾きを補正するために、実空間での重力方向を検出する加速度センサ（傾き検出センサ）５０を有する。加速度センサ５０は、カメラ１０が搭載された台２０上に搭載されており、世界座標系ＣｗにおけるＸw軸方向（すなわち、実空間での重力方向）を検出する。そして、加速度センサ５０は、この重力方向に対するカメラ１０の傾きの検出結果として、Yｗ軸周りのカメラ座標系Ｃｃの第１の回転角（ピッチ角）β、及び、Ｚｗ軸周りのカメラ座標系Ｃｃの第２の回転角（ロール角）γを出力する。
この加速度センサ５０で検出されたピッチ角β及びロール角γは、画像形成手段３０が有する画像補正手段３２に入力される。画像補正手段３２は、傾き補正部３２Ａを有しており、傾き補正部３２Ａは、入力されたピッチ角β及びロール角γに基づいて、Yｗ軸及びＺｗ軸に対応するカメラ座標系Ｃｃの２つの軸であるＹｃ（第１の軸）軸及びＺｃ軸周りにカメラ座標系Ｃｃを回転させることによって、Ｘｃ軸をＸw軸に一致させる。
この傾き補正部３２Ａによる傾きの補正方法について、より具体的に説明する。通常、任意の座標系において、Ｘ軸周りの回転行列をＲＸ、Ｙ軸周りの回転行列をＲＹ、Ｚ軸周りの回転行列をＲＺとすると、その座標系の回転は、回転行列Ｒ、
Figure 2006059202
 で表される。
そのため、Ｘw軸，Yｗ軸，Ｚｗ軸に沿った単位ベクトルを、ｉＷ，ｊＷ，ｋＷとし、Ｘｃ軸、Ｙｃ軸、Ｚｃ軸に沿った単位ベクトルを、ｉＣ，ｊＣ，ｋＣとすると、
Figure 2006059202
 が成り立つ結果、
Figure 2006059202
 となる。
そこで、傾き補正部３２Ａは、加速度センサ５０の検出結果であるピッチ角β及びロール角γに基づいてカメラ座標系Ｃｃを前述したように回転させることで、球面画像空間内での重力ベクトルＧＳの方向（すなわち、Ｘｃ軸の方向）をＸw軸に一致させる。
ところで、加速度センサ５０が検出するのは、図６に示すように、実際には加速度センサ５０を中心としその姿勢の変化に応じて傾きが変わるセンサ座標系Ｃｓの重力方向（Ｘw軸）に対する傾きである。そのため、加速度センサ５０でカメラ座標系Ｃｃの傾きを検出するには、カメラ座標系Ｃｃとセンサ座標系Ｃｓとの相対姿勢を校正する必要がある。
図１に示す画像補正手段３２は、このセンサ座標系Ｃｓとカメラ座標系Ｃｃとの傾きを校正部３２Ｂによって校正する。図７を利用して、校正部３２Ｂによる校正方法について説明する。
球面画像４０には、カメラ１０を中心とした全方位の情景が投影されているので、その画像内には、実空間で重力方向に延びる平行線群６１が投影されており、それらは、消失点６２Ａ，６２Ｂを有する曲線群６２を形成している。この消失点６２Ａ，６２Ｂは、加速度センサ５０が重力方向に対して傾いていない（すなわち、β及びγが約０）とし、且つ、カメラ座標系Ｃｃがセンサ座標系Ｃｓに対して傾いていないとすれば、球面画像４０の両極（地球を例に説明すると、北極及び南極）４０ｎ，４０ｓに相当する位置に現れる。
そこで、カメラ座標系Ｃｃがセンサ座標系Ｃｓに対して傾いている場合、球面画像４０に現れる一対の消失点６２Ａ，６２Ｂの位置ベクトルをＶｎ，ＶＳとし、センサ座標系ＣｓのＹｓ軸周りのカメラ座標系Ｃｃの回転角をΔβとし、Ｚｓ軸周りのカメラ座標系Ｃｃの回転角をΔγとすると、カメラ座標系ＣｃをＹｃ軸周りに回転角Δβに基づいて回転させ、Ｚｃ軸周りに回転角Δγに基づいて回転させれば、Vｎ及びＶＳは、球面画像４０の極（北極、南極）４０ｎ，４０ｓの位置ベクトルと一致するため、
Figure 2006059202
Figure 2006059202
 が成り立つ。
そして、校正部３２Ｂは、この２つの方程式を最小二乗法を適用して解くことで、カメラ座標系Ｃｃとセンサ座標系Ｃｓとの間の傾きを表す回転角Δβ，Δγを算出する。そして、校正部３２Ｂは、このΔβ及びΔγを利用して、予めセンサ座標系Ｃｓに対するカメラ座標系Ｃｃの傾きを校正する。これにより、加速度センサ５０で算出されたピッチ角β及びロール角γに基づいて、重力方向に対するカメラ座標系Ｃｃの傾きは確実に補正される。以下の説明では、特に断らない限りカメラ座標系Ｃｃは校正されているものとする。
この校正方法において、消失点６２Ａ，６２Ｂの位置の特定は、図８（ａ）に示すような、ストライプ状のテストパターン６０を使用して行うことが好適である。すなわち、テストパターン６０の平行線群６１が延びる方向が重力方向となるようにテストパターン６０をカメラ１０に対して配置して、それをカメラ１０で撮影する。そして、形成された球面画像４０に現れる曲線群６２に対して円錐曲線をフィッティングして、その曲線の交点を求め、消失点６２Ａ，６２Ｂの位置とする。円錐曲線をフィッティングするための曲線群６２は、テストパターン６０を利用しなくても、球面画像４０に現れる建物や木などを利用しても良いが、テストパターン６０を利用する方が誤差が小さくなるため好ましい。なお、この消失点の算出の仕方は、カメラ１０のカメラパラメータを校正するときに、消失点を算出する方法と同様である。
図９（ａ）は、傾き補正部３２Ａによって、傾きが補正された球面画像４０の斜視図である。また、図９（ｂ）は、屋外で撮影され、傾き補正部３２Ａによって実際に傾きが補正された球面画像図である。この図９（ｂ）は、車の上にカメラ１０及び加速度センサ５０を搭載して撮影した場合の球面画像４０の一部を示しており、図中、向かって左側は、例えば、魚眼レンズ１２側の画像で、右側は、魚眼レンズ１１側の画像である。
図９（ａ），（ｂ）に示すように、球面画像空間での重力ベクトルＧＳと、実空間での重力方向（Ｘw軸）とが一致していると、球面画像４０において、その重力ベクトルＧＳ方向の半分の位置が地平線７０に相当する。そのため、球面画像４０が地平線７０より上の上半球領域に相当する上半球面画像４０Ａと地平線７０より下の下半球領域に相当する下半球面画像４０Ｂとに確実に分けられる。そして、複数の球面画像４０を取得した場合、球面画像４０間で地平線７０の位置がほぼ一致するので、球面画像４０間の比較を実施し易い。また、図９（ｂ）に示すように、上半球面画像４０Ａには、地上に固定された建物などランドマークとして有用なものが表示されるため、場所の同定などを実施し易い。
このように、重力方向に対する傾きの補正に加えて、図１に示す撮像装置１は、傾きが補正された球面画像４０に対して、Ｘｃ軸（すなわち、重力方向）周りの回転を更に補正する。以下、この重力方向周りの傾きの補正について説明する。
Ｘｃ軸周りの回転の補正は、少なくとも２つの球面画像４０を比較するときに有効であるため、図１０に示すようにカメラ１０の撮影範囲８０内に互いに重複領域（図１０のハッチング部分）を有する第１の地点９０Ａ及び第２の地点９０Ｂで撮影を実施したものとする。そして、図１１（ａ）に示すように、第１の地点９０Ａでの撮影で形成され、重力方向からの傾きが補正された球面画像４０を第１球面画像４１とする。同様に、図１１（ｂ）に示すように、第２の地点９０Ｂでの撮影で形成され、重力方向からの傾きが補正された球面画像４０を第２球面画像４２とする。この第１球面画像４１及び第２球面画像４２は、それぞれ第１カメラ座標系Ｃ１Ｃ及び第２カメラ座標系Ｃ２Ｃで表示されている。
図１に示す撮像装置１は、フーリエ位相相関法を利用して、参照球面画像としての第１球面画像４１に対する第２球面画像４２の重力方向周りの回転を補正する。このフーリエ位相相関法では、第１球面画像４１及び第２球面画像４２をフーリエ変換し、その相関値を取ることで、第１球面画像４１及び第２球面画像４２の重複領域（同じ被写体が含まれている領域）内にある同じ被写体（例えば、木や建物）の位置のズレを算出する。
そのため、この重複領域の画像には、地上に固定されもの（建物や木等）や空など時間的に変化しにくいものが含まれていることが誤差を小さくする観点から好ましい。前述したように、傾き補正された球面画像４０の上半球面画像４０Ａには、建物の上部など静的なものが多いため、フーリエ位相相関法に適している。
そこで、図１に示す画像補正手段３２は、球面画像４０からその上半球面画像４０Ａを抽出する画像抽出部３２Ｃを有する。画像抽出部３２Ｃは、傾き補正された第１球面画像４１及び第２球面画像４２が形成された場合、第１球面画像４１から第１上半球面画像４１Ａを抽出し、第２球面画像４２から第２上半球面画像４２Ａを抽出し、それらを回転角算出部３２Ｄに入力する。
回転角算出部３２Ｄは、第１球面画像４１に対する第２球面画像４２の重力方向周りの第３の回転角（ヨー角）αをフーリエ位相相関法を利用して算出する。より具体的には、例えば、傾き補正部３２Ａによって傾きが補正された球面画像４０（図９（ａ）参照）において、球面画像４０上の任意の画素ｐｉの位置を緯度ｕｉ、経度ｖｉで表示すれば、球面画像４０はＩ(u，v)と表される。そこで、第２球面画像４２が第１球面画像４１に対して、ヨー角αだけ回転したものとすれば、第１球面画像４１をＩ１（u，v）と表したとき、第２球面画像４２はＩ２（u，v＋α）と表され、
Figure 2006059202
 が成り立つ。
そこで、回転角算出部３２Ｄは、式（９）をフーリエ変換して、それらの位相項の相関を取ることで、ヨー角αを算出する。このヨー角αの算出するに当たって、前述したように誤差を小さくする観点から、回転角算出部３２Ｄは、画像抽出部３２Ｃから入力された第１上半球面画像４１Ａと第２上半球面画像４２Ａとに対してフーリエ位相相関法を適用してヨー角αを算出する。なお、このヨー角αを算出する際には、球面画像４０を一度平面画像に変換してからフーリエ位相相関法を適用することが、適用範囲などの設定の観点から好ましい。この回転角算出部３２Ｄで算出されたヨー角αは、回転補正部３２Ｅに入力される。回転補正部３２Ｅは、入力されたヨー角αに基づいて第２カメラ座標系Ｃ２ＣをＸ２Ｃ軸（重力方向）周りに回転させる。
これによって、第１カメラ座標系Ｃ１Ｃと第２カメラ座標系Ｃ２Ｃとが精度良く一致する。その結果、視点の揃った画像になる傾向にあるので、第１球面画像４１及び第２球面画像４２との対応関係が更に取りやすくなる。
このように撮像装置１では、視点の安定した球面画像４０が得られるが、球面画像４０は平面画像として表示された場合、更にユーザに見やすい。そこで、図１の画像形成手段３０は、球面画像４０を平面画像に変換する平面画像形成部（平面画像形成手段）３３を有する。この平面画像形成部３３は、球面画像４０から中心射影によって平面画像を形成する。
図１２を利用して平面画像を形成するための方法を説明する。球面画像４０と同じ焦点Ｏｆを有する、すなわち、球面画像４０の中心ＯＣを焦点とする平面画像１００を設定する。この際、平面画像１００の形状（交差する２つの辺間の角度δや、画像のサイズ）を設定しておく。図１２では、平面画像１００を球面画像４０に接するようにＺｃ＝１の位置に配置し、平面画像１００の形状を略長方形としている。
次に、平面画像１００の画素ｔｌ（ｌは任意の整数）と焦点Ｏｆとを直線で結び、その直線と球面画像４０との交点ｍｌを求める。そして、校正済みの魚眼レンズ１１，１２の焦点（画像中心Ｏ１，Ｏ２に対応）及び焦点距離ｆ１，ｆ２を利用して、球面画像４０を形成するために取得した被写体像１６，１７を表す画素であって、交点ｍｌに対応する画素ｑｌの輝度値を画素ｔｌの輝度値とする。これによって、被写体像１６，１７に対応する輝度を有する平面画像１００が形成される。なお、交点ｍｌに対応する被写体像の点の座標値が整数でない場合、内挿アルゴリズムで補間を行う。
このように、球面画像４０から中心射影によって平面画像１００を形成することで、ユーザの任意の視点方向に沿った平面画像を容易に形成することができる。
次に、上記撮像装置１の動作及び画像補正方法について説明する。
先ず、撮像装置１を組み立てたときに、カメラ座標系Ｃｃとセンサ座標系Ｃｓとの傾きを校正部３２Ｂによって校正する（校正工程）。
次に、カメラ１０を図１０に示した第１の地点９０Ａに設置してカメラ１０の周囲の情景を撮影する（被写体像取得工程）と、そのカメラ１０で取得された一対の被写体像１６，１７の画像データが、球面画像形成部３１に入力され、球面画像４０が形成される（球面画像形成工程）。加速度センサ５０は、撮影時にカメラ１０の姿勢（すなわち、カメラ座標系Ｃｃの傾き）を検出して、ピッチ角β及びロール角γを傾き補正部３２Ａに入力する（傾き検出工程）。傾き補正部３２Ａは、入力されたピッチ角β及びロール角γに基づいてカメラ座標系Ｃｃを回転させてＸｃ軸をＸw軸に一致させることで、球面画像４０の重力方向に対する傾きを補正する（第１の画像補正工程）。そして、傾き補正部３２Ａは、この傾き補正された球面画像４０を第１球面画像４１として画像抽出部３２Ｃに入力する。
次に、カメラ１０を第２の地点９０Ｂに設置してその周囲の情景を撮影し、傾き補正された球面画像４０（第１球面画像４１）を形成した場合と同様にして、すなわち、上述した球面画像形成工程、傾き検出工程及び第１の画像補正工程を実施して、その第２の地点９０Ｂで撮影された情景に対応し、傾き補正された球面画像４０を形成する。そして、傾き補正部３２Ａは、その球面画像４０を、第２球面画像４２として画像抽出部３２Ｃに入力する。
画像抽出部３２Ｃは、第１球面画像４１及び第２球面画像４２が入力されると、第１球面画像４１及び第２球面画像４２から第１上半球面画像４１Ａ及び第２上半球面画像４２Ａを抽出して、回転角算出部３２Ｄに入力する（画像抽出工程）。
回転角算出部３２Ｄは、第１上半球面画像４１Ａ及び第２上半球面画像４２Ａを一度平面画像に展開して、その平面画像に対してフーリエ位相相関法を適用して第１上半球面画像４１Ａに対する第２上半球面画像４２Ａの重力方向周りのヨー角αを算出する。そして、そのヨー角αを回転補正部３２Ｅに入力する（回転角算出工程）。なお、ヨー角αの算出にあたって、必ずしも、第１上半球面画像４１Ａ及び第２上半球面画像４２Ａを平面画像に展開しなくてもよい。
回転補正部３２Ｅは、そのヨー角αに基づいて第２球面画像４２を重力方向（Ｘ２ｃ軸）周りに回転させる（第２の画像補正工程）。これによって、第２カメラ座標系Ｃ２Ｃが第１カメラ座標系Ｃ１Ｃとほぼ完全に一致するので、補正された第１球面画像４１と第２球面画像４２との比較が容易になる。
更に、この重力方向に対する傾き及び重力方向周りの回転が補正された第１球面画像４１及び第２球面画像４２は、平面画像形成部３３に入力されて、上述した中心射影によって任意の視点に応じた平面画像１００に変換される（平面画像形成工程）。
この撮像装置１で実施する画像補正方法では、撮影時に、カメラ１０の重力方向の傾きを加速度センサ５０で検出し、その検出結果に基づいて球面画像４０の傾きを補正する結果、撮影時のカメラ１０の姿勢に応じた球面画像４０の傾きを精度良く補正できる。そして、撮影毎に、カメラ１０の傾きに依存しない、視点の安定した球面画像４０が得られるので、複数の球面画像４０の対応を取るのに有効である。また、加速度センサ５０の検出結果を直接利用しているので、補正に要する時間が短くてすむ結果、移動ロボットなどに好適に利用することができる。
また、撮像装置１で実施される画像補正方法では、２つの地点、又は同じ地点で異なる時刻に撮影を実施した結果、２つの球面画像４０として第１球面画像４１及び第２球面画像４２が形成されたとき、第１球面画像４１に対する第２球面画像４２の重力方向周りの回転も補正する。ところで、この重力方向周りの回転を表すヨー角αを、例えば、加速度センサの検出結果から算出すると、誤差が累積する傾向にある。これに対して、上記画像補正方法では、このヨー角αをフーリエ位相相関法を利用して求めているので、精度の良い補正が可能となっている。
更に、撮像装置１は、平面画像形成部３３を有しており、重力に対する傾きが補正された球面画像４０や、更に、重力方向周りの回転が補正された球面画像４０（すなわち、第２球面画像４２）を中心射影によって画像平面に投影することで平面画像１００を形成する。球面画像４０には、カメラ１０を中心とした全方位の情景が投影されているので、任意の視点に対応した平面画像１００を容易に形成することができる。この平面画像１００でも画像内の重力ベクトルと実空間での重力方向とはほぼ一致しているので、異なる球面画像４０から形成された平面画像１００の比較が容易になる。
ところで、撮像装置１が好適に利用される移動ロボットでは、地上の障害物の回避や、場所の同定など種々のタスクを有している。この障害物の回避には地上の観測が必要である一方、場所の同定は地面に立つランドマークを要する。
上記撮像装置１では、カメラ１０周囲の情景を同時に取得できることに加えて、移動ロボットの運動によらない安定した球面画像４０を得ることができる。そして、重力方向の傾きが補正されるので、球面画像４０は、地平線７０を境にして、ランドマークとなる静的なものが表示されやすい上半球面画像４０Ａと、障害物などが表示される下半球面画像４０Ｂとに確実に分かれる。そのため、上記撮像装置１で形成され画像補正が実施された球面画像４０を移動ロボットのナビゲーションシステムに利用すると、下半球面画像４０Ｂで障害物を観測しながら、上半球面画像４０Ａでランドマークを特定して場所の同定を確実に実施することができる。
更に、撮像装置１を街のワークスルーのコンテンツ作製に利用する場合にも、車などにカメラ１０を搭載してもカメラ１０の揺れに依存しにくい安定した球面画像４０を取得できるので、コンテンツ作製が容易になる。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。例えば、本実施形態において、魚眼レンズ１１，１２とは、必ずしも１つのレンズを意味するものではなく、画角ｗが１８０度以上になるように設計され魚眼レンズ特性を有するレンズ系をも含んでいる。
更に、撮像装置１は、２つの魚眼レンズ１１，１２を有しているとしたが、魚眼レンズは１つだけでも良い。この場合には、球面画像４０は、仮想球体Ｓの半分の領域に被写体像が投影された、半球面画像になる。また、カメラ１０が有するレンズは、魚眼レンズでなくてもよく、レンズで結像された被写体像を仮想球体Ｓの表面に投影できればよい。魚眼レンズ以外のレンズとしては、例えば、広角レンズが挙げられる。また、傾き検出センサは、加速度センサ５０としているが、カメラ１０の傾きが検出できれば特に限定されない。
更に、球面画像４０は、必ずしも、仮想球体Ｓの全表面に被写体像が投影されたものでなくてもよく、被写体像が仮想球体Ｓの一部に投影されたもの（例えば、上述した半球面画像）とすることもできる。
更に、撮像装置１のカメラ１０は、２つの撮像素子１３Ａ，１３Ｂを有する像取得部１３を備えているが、図１３に示すカメラ１１０のように、像取得部１１１は、１つの撮像素子１１２からなっていてもよい。この場合には、魚眼レンズ１１，１２を透過した外光をミラーなどの光路変換素子１１３で撮像素子１１１に入力し、撮像素子１１１の受光面の異なる領域でそれぞれ被写体像１６，１７をそれぞれ取得する。
また、撮像装置１で実施する画像補正方法では、ヨー角α（重力方向の回転角）を算出する際に、第１球面画像４１及び第２球面画像４２の上半球面画像４１Ａ及び第２上半球面画像４２に対してフーリエ位相相関法を適用しているが、第１球面画像４１及び第２上半球面画像に対してフーリエ位相相関法を適用してもよい。
更に、上記最良の実施形態では、２つの球面画像４０（すなわち、第１球面画像４１と第２球面画像４２）を例として重力方向周りの回転の補正について説明したが、球面画像４０が複数ある場合には、例えば、１つを参照用の球面画像とし、その球面画像に対する他の球面画像それぞれの重力方向周りの回転を上記２つの球面画像について説明した方法で補正すればよい。また、撮影毎に、１つ前の撮影時に形成された球面画像に対して重力方向周りの回転を補正することもできる。
また、重力方向周りの回転が補正された第１球面画像４１及び第２球面画像４２から平面画像１００を形成しているが、平面画像１００は、傾き補正部３２Ａによって傾きが補正された球面画像４０から形成しても良い。この場合でも、球面画像４０ですでに傾きが補正されているので、より見やすく、対応関係の取りやすい平面画像１００を得ることができる。
以下に、本発明に係る撮像装置及び画像補正方法を、実施例に基づいてより具体的に説明する。なお、本発明は、以下の実施例に限定されるものではない。
（実施例１）
図１４は、実際に試作した撮像装置１の一例の構成を示す写真図である。図１４に示すように、撮像装置１は、第１及び第２の撮像部１４，１５としての一対の「Sony Handycam」を台２０上に互いに反対向き配置して、その台２０上にＶＲセンサを搭載したものである。この２つの「Sony Handycam」が図１に示した撮像装置１のカメラ１０に相当する。 「Sony Handycam」が有する魚眼レンズとして、画角１８５度を有する「OlympusFCON-02」を使用した。更に、図１４の撮像装置１が有するＶＲセンサは、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の振動ジャイロと３軸の加速度センサ５０とからなり、３軸それぞれの加速度、３軸の角速度、３軸の回転角（ヨー角、ピッチ角、ロール角）を出力する。この実施例１では、ＶＲセンサの加速度センサ５０から出力されるピッチ角、ロール角を球面画像４０の傾き補正に利用し、ヨー角は、参照用とした。
この撮像装置１を組み立てたときに、先ず、図１４に示した第１及び第２の撮像部からなるカメラ１０と、ＶＲセンサが有する加速度センサ５０との間の傾きの校正を校正部３２Ｂによって実施した後、所定の場所に撮像装置１を設置して撮影を実施した。そして、同じ被写体を異なる時刻に、カメラ１０の姿勢を変化させながら撮影して球面画像４０を形成した。撮影毎に加速度センサ５０が出力した検出結果を表１に示す。
Figure 2006059202
 図１５は、図１４の撮像装置１で取得された球面画像４０である。図１５（ａ）〜（ｃ）は、それぞれ表１（ａ）〜（ｃ）に対応する撮影で得られた球面画像４０である。各図１５（ａ）〜（ｃ）において、左側の図は、補正前の球面画像４０を示している。そして、右側の図は、表１のロール角及びピッチ角を利用して、実施形態で説明した画像補正方法によって傾き補正した後の球面画像４０を示している。
表１に示すカメラ１０の傾きに応じて、図１５（ａ）〜（ｃ）の左側の球面画像４０は、傾いている一方、右側の図は、確かに傾きが補正されていることが分かる。そして、傾きが補正されることによって、画像毎に対応関係が取りやすくなっている。
（実施例２）
次に、重力方向周りの回転の補正まで含めた画像補正方法の実施例について説明する。図１６（ａ），（ｂ）は、撮像装置１の一例を示す写真図である。図１６（ａ）に示すように、撮像装置１は、魚眼レンズを有するカメラ１０としての「Sony Handycam」と、ＶＲセンサと、画像形成手段３０としてのパーソナルコンピュータとを有する。そして、図１６（ｂ）に示すように、カメラ１０とＶＲセンサとは、同じ台２０上に固定されている。カメラ１０としての「Sony Handycam」及びそれに取り付けられた魚眼レンズは、実施例１の撮像装置に使用したものと同じものである。また、ＶＲセンサも、第１の実施形態に使用したものと同じである。
図１６の撮像装置１では、魚眼レンズで上空を撮影するようにカメラ１０を配置し、上半球面画像４０Ａに相当する半球面画像を直接取得するようにした。なお、カメラ１０及びＶＲセンサを台２０上に設置したときに、カメラ１０と、ＶＲセンサが有する加速度センサ５０との間の傾きの校正を校正部３２Ｂによって実施した。
カメラ１０と加速度センサ５０との傾きが校正された状態で、４つの異なる時刻に、カメラ１０の姿勢を変化させながら撮影を実施した。各撮影時におけるＶＲセンサが有する加速度センサ５０の検出結果を、表２に示す。表２から理解されるように、表２の（ｂ）の場合には、表２の（ａ）の場合よりピッチ角が大きくずれており、（ｃ）の場合には、（ａ）の場合よりロール角が大きくずれている。更に、（ｄ）の場合には、ロール角、ピッチ角、ヨー角全てが（ａ）の場合よりも大きくずれている。
Figure 2006059202
 そして、撮影毎に、取得された被写体像に対応する球面画像４０を形成し、表２の（ｂ），（ｃ）の場合は、検出されたロール角及びピッチ角（表２参照）を利用して、画像補正手段３２によって重力方向に対する傾きを補正した。また、表２の（ｄ）の場合は、球面画像４０を形成した後、先ず、検出されたロール角及びピッチ角（表２参照）を利用して画像補正手段３２で重力方向に対する傾きを補正した。次いで、表２（ａ）の場合に形成された球面画像４０に対する重力方向周りのヨー角を算出した。算出結果は、表２の通りである。そして、その算出されたヨー角に基づいて重力方向周りの回転も補正した。
図１７（ａ）は、表２（ａ）の場合にカメラ１０の周囲の撮影をして形成された球面画像４０の図である。図１７（ｂ），（ｃ）は、カメラ１０の姿勢が表２の（ｂ），（ｃ）の状態でその周囲を撮影した後、重力方向に対する傾きが補正された球面画像４０の図である。更に、図１７（ｄ）は、カメラ１０の姿勢が表２の（ｄ）の状態で、その周囲を撮影した後、重力方向の傾き加えて、重力周りの回転が補正された球面画像４０の図である。また、図１８（ａ）〜（ｄ）は、図１７（ａ）〜（ｄ）の各図を平面画像に表したものである。
図１７（ａ）〜（ｄ）を比較すると、カメラ１０が表２の（ａ）〜（ｃ）のように姿勢が変化しているにも拘わらず、図１７（ａ）〜（ｃ）に関しては、建物の配置などがほぼ一致しており、傾き補正ができていることが分かる。また、図１７（ｄ）の建物の位置が図１７（ａ）の建物の位置に対して変わっており、重力方向周りの回転も補正できていることが分かる。
また、図１８（ａ）〜（ｄ）を比較すると、球面画像４０において球面画像空間での重力ベクトルＧｓが世界座標系Ｃｗでの重力参照軸であるＸw軸に沿っているため、建物の鉛直方向が揃っており図１８（ａ）〜（ｄ）の対応が取りやすくなっている。更に、図１８（ａ）と図１８（ｄ）とを比較すると、図１８（ｄ）では、建物が図面において右側に移動しており、ヨー角が補正されていことが分かる。
（実施例３）
次に、平面画像形成部３３によって、球面画像４０を中心射影によって平面画像に変換する場合の実施例について説明する。
実施例３で使用した撮像装置１は、図１４に示した実施例１の撮像装置１と同じである。この時にも、撮像装置１を組み立てたときに、ＶＲセンサの加速度センサ５０とカメラ１０との姿勢の校正を実施例１と同様に実施した。その後、撮像装置１の周囲の情景を撮影し、球面画像４０を形成した。魚眼レンズで撮影された被写体像１６，１７を図１９に示す。この一対の被写体像に基づいて球面画像４０を形成し、その球面画像４０に対して、実施形態で説明した画像補正方法によって重力方向に対する傾きを補正した。そして、傾き補正された球面画像４０を、平面画像形成部３３によって、中心射影して図２０に示す平面画像を形成した。
図２０に示す６つの平面画像１００は、球面画像４０を取り囲むと共に球面画像４０に外接する仮想の立方体の６つの平面にそれぞれ投影されたものである。このように、傾きが補正された１つの球面画像４０が形成されたことによって、任意の視点の平面画像１００を得ることができる。そして、球面画像４０は、重力方向に対する傾きが補正されているので、得られた平面画像１００ごとの対応関係も取りやすくなっている。
本発明に係る撮像装置及び画像補正方法は、移動ロボットのナビゲーションシステムや、街のワークスルーのコンテンツ作製に利用することができる。
本発明に係る撮像装置の一実施形態のブロック図である。 図１に示したカメラ１０の撮影範囲を示す概略図である。 （ａ）は、被写体像が結像された撮像素子１３Ａの受光面の平面図である。（ｂ）は、被写体像が結像された撮像素子１３Ａの受光面の平面図である。 （ａ）は、魚眼レンズの結像特性を示す概略図である。（ｂ）は、魚眼レンズの像面の平面図である。（ｃ）は、半球面画像の斜視図である。 図１に示した球面画像形成部で形成された球面画像の斜視図である。 世界座標系、センサ座標系及びカメラ座標系の配置関係を示す概略図である。 センサ座標系に対するカメラ座標系の傾きの校正工程図である。 図７に示した校正工程に使用するテストパターンの平面図である。 （ａ）重力方向に対する傾きが補正された球面画像の斜視図である。（ｂ）撮像装置１で形成され傾きが補正された球面画像図である。 カメラ１０の撮影位置を示す概略図である。 （ａ）は第１球面画像の斜視図である。（ｂ）は第２球面画像の斜視図である。 球面画像から平面画像を形成する平面画像形成工程図である。 カメラ１０の他の実施形態を示すブロック図である。 実施例１として組み立てた撮像装置の写真図である。 図１４に示した撮像装置で形成した球面画像図である。 実施例２として組み立てた撮像装置の写真図である。 図１６に示した撮像装置で形成した球面画像図である。 図１７に示した球面画像の平面画像図である。 実施例３で撮影して得られた被写体像図である。 実施例３で形成された球面画像から中心射影によって得られた平面画像図である。
符号の説明
１…撮像装置、１０…カメラ、１１，１２…魚眼レンズ、１１ａ，１２ｂ…入射面（外光が入射する面）、１６，１７…被写体像、３１…球面画像形成部（球面画像形成手段）、３２…画像補正手段、３２Ａ…傾き補正部、３２Ｃ…画像抽出部、３２Ｂ…校正部、３２Ｄ…回転角算出部、３２Ｅ…回転補正部、３３…平面画像形成部（平面画像形成手段）、４０…球面画像、４０Ａ…上半球面画像、４０Ｂ…下半球面画像、４１…第１球面画像、４１Ａ…第１上半球面画像、４２…第２球面画像、４２Ａ…第２上半球面画像、５０…加速度センサ（傾き検出センサ）、１００…平面画像、Ｃｃ…カメラ座標系、Ｃｓ…センサ座標系、Ｃｗ…世界座標系（３次元座標系）、Ｇｓ…重力ベクトル、Ｓ…仮想球体。

Claims (16)

  1. カメラと、
    前記カメラで取得された前記被写体像の画像データから前記カメラのカメラ座標系で表される球面画像を形成する球面画像形成手段と、
    実空間での重力方向に対する前記カメラ座標系の傾きを検出する傾き検出センサと、
    前記傾き検出センサの検出結果に基づいて、前記カメラ座標系を回転させて球面画像空間での重力ベクトルを前記重力方向と一致させることで、前記球面画像の傾きを補正する画像補正手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記カメラは、画角が１８０度以上の魚眼レンズを有し、前記魚眼レンズによって結像された被写体像を取得することを特徴とする請求項１に記載の撮像装置。
  3. 前記カメラは、外光が入射する面が互いに反対側に位置するように配置されており画角が１８０度以上の一対の魚眼レンズを有し、
    前記カメラは、前記一対の魚眼レンズでそれぞれ結像された一対の被写体像を一度に取得し、
    前記球面画像形成手段は、前記一対の被写体像に基づいて、前記カメラの周囲３６０度の情景が投影された球面画像を形成することを特徴とする請求項１に記載の撮像装置。
  4. 前記傾き検出センサは、前記カメラ座標系の傾きとして、重力方向を重力参照軸として有する３次元座標系での前記重力参照軸に直交する２つの軸に対する前記カメラ座標系の第１及び第２の回転角をそれぞれ検出し、
    前記画像補正手段は、前記３次元座標系の前記２つの軸それぞれに対応する前記カメラ座標系の第１及び第２の軸周りに前記カメラ座標系を前記第１及び第２の回転角に基づいて回転させることで前記球面画像の前記重力方向に対する傾きを補正する傾き補正部を有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
  5. 前記画像補正手段は、
    前記傾き検出センサのセンサ座標系に対する前記カメラ座標系の傾きを校正する校正部を有することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
  6. 前記画像補正手段は、
    傾きが補正された前記球面画像として第１球面画像と第２球面画像とが形成された場合、前記第１球面画像と前記第２球面画像とに対してフーリエ位相相関法を適用することによって、前記第１球面画像に対する前記第２球面画像の前記重力方向周りの第３の回転角を算出する回転角算出部と、
    前記第３の回転角に基づいて前記第２球面画像を前記重力方向周りに回転させることで前記第１球面画像に対する前記第２球面画像の前記重力方向周りの回転を補正する回転補正部と、
    を更に備えたことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
  7. 前記画像補正手段は、
    前記球面画像が有する上半球面画像を抽出する画像抽出部を有し、
    前記回転角算出部は、前記画像抽出部によって前記第１球面画像から抽出された第１上半球面画像と前記第２球面画像から抽出された前記第２上半球面画像とに対してフーリエ位相相関法を適用して前記第３の回転角を算出することを特徴とする請求項６に記載の撮像装置。
  8. 前記球面画像から、中心射影によって前記球面画像の中心を焦点とする平面画像を形成する平面画像形成手段を更に有することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
  9. カメラによって被写体像を取得する被写体像取得工程と、
    前記カメラで取得された前記被写体像を、前記カメラのカメラ座標系で表される仮想球体の表面に投影して球面画像を形成する球面画像形成工程と、
    実空間での重力方向に対する前記カメラ座標系の傾きを検出する傾き検出工程と、
    前記傾き検出工程で検出された検出結果に基づいて、球面画像空間での重力ベクトルが前記重力方向と一致するように前記カメラ座標系を回転させることで前記球面画像の前記重力方向に対する傾きを補正する第１の画像補正工程と、
    を備えたことを特徴とする画像補正方法。
  10. 前記被写体像取得工程において、前記カメラは、画角が１８０度以上の魚眼レンズによって被写体像を取得することを特徴とする請求項９に記載の画像補正方法。
  11. 前記被写体像取得工程において、前記カメラは、外光が入射する面が互いに反対側に位置するように配置されており画角が１８０度以上の一対の魚眼レンズによって結像された一対の被写体像を一度に取得し、
    前記球面画像形成工程において、前記一対の被写体像からそれぞれに対応する半球面画像を形成し、それらを結合して前記カメラの周囲３６０度の情景が投影された球面画像を形成することを特徴とする請求項９に記載の画像補正方法。
  12. 前記傾き検出工程において、前記傾き検出センサは、重力方向を重力参照軸として有する３次元座標系での前記重力参照軸に直交する２つの軸に対する前記カメラ座標系の第１及び第２の回転角をそれぞれ検出し、
    前記第１の画像補正工程において、前記３次元座標系の前記２つの軸それぞれに対応する前記カメラ座標系の第１及び第２の軸周りに前記カメラ座標系を前記第１及び第２の回転角に基づいて回転させることによって、前記球面画像の前記重力方向に対する傾きを補正することを特徴とする請求項９〜１１の何れか１項に記載の画像補正方法。
  13. 前記傾き検出センサのセンサ座標系に対する前記カメラ座標系の傾きを校正する校正工程を備え、
    前記第１の画像補正工程において、前記校正工程で校正された前記カメラ座標系を回転させることで前記球面画像の前記重力方向に対する傾きを補正することを特徴とする請求項９〜１２の何れか１項に記載の画像補正方法。
  14. 前記第１の画像補正工程によって傾きが補正された前記球面画像として第１球面画像と第２球面画像とが形成された場合、
    前記第１球面画像と前記第２球面画像とに対してフーリエ位相相関法を適用することによって、前記第１球面画像に対する前記第２球面画像の前記重力方向周りの第３の回転角を算出する回転角算出工程と、
    前記第３の回転角に基づいて前記第２球面画像を前記重力方向周りに回転させることで前記第１球面画像に対する前記第２球面画像の前記重力方向周りの回転を補正する第２の画像補正工程と、
    を更に備えたことを特徴とする請求項９〜１３の何れか１項に記載の画像補正方法。
  15. 前記第１球面画像が有する第１上半球面画像を抽出すると共に、前記第２球面画像が有する第２上半球面画像を抽出する画像抽出工程を有し、
    前記回転角算出工程において、前記画像抽出工程で抽出された前記第１上半球面画像と前記第２上半球面画像とに対してフーリエ位相相関法を適用して前記第３の回転角を算出することを特徴とする請求項１４に記載の画像補正方法。
  16. 前記球面画像から中心射影によって前記球面画像の中心を焦点とする平面画像を形成する平面画像形成工程を更に備えることを特徴とする請求項９〜１５の何れか１項に記載の画像補正方法。
JP2004241656A 2004-08-20 2004-08-20 撮像装置及び画像補正方法 Pending JP2006059202A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004241656A JP2006059202A (ja) 2004-08-20 2004-08-20 撮像装置及び画像補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004241656A JP2006059202A (ja) 2004-08-20 2004-08-20 撮像装置及び画像補正方法

Publications (1)

Publication Number Publication Date
JP2006059202A true JP2006059202A (ja) 2006-03-02

Family

ID=36106613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004241656A Pending JP2006059202A (ja) 2004-08-20 2004-08-20 撮像装置及び画像補正方法

Country Status (1)

Country Link
JP (1) JP2006059202A (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187497A (ja) * 2007-01-30 2008-08-14 Nikon Corp カメラ、画像記録プログラムおよび画像表示プログラム
JP2009033500A (ja) * 2007-07-27 2009-02-12 Ricoh Co Ltd 撮像装置とその制御方法
JP2010278813A (ja) * 2009-05-29 2010-12-09 M Soft:Kk 映像合成方法、映像合成システム
KR20120067049A (ko) * 2010-12-15 2012-06-25 엘지이노텍 주식회사 화각을 이용한 카메라 모듈의 중력 코드값 측정 시스템, 그 측정 방법 및 그 측정 방법의 기록매체
JP2013045089A (ja) * 2011-08-26 2013-03-04 Ricoh Co Ltd 撮像システムおよび結像光学系
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP2014099885A (ja) * 2013-12-27 2014-05-29 Olympus Imaging Corp 撮像装置および画像処理方法
KR20140147597A (ko) * 2013-06-20 2014-12-30 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2015019344A (ja) * 2012-09-11 2015-01-29 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP2015046813A (ja) * 2013-08-29 2015-03-12 株式会社リコー 撮像装置、撮像方法、及びプログラム
JP2015129973A (ja) * 2015-03-31 2015-07-16 株式会社リコー 広角レンズ及び撮像装置
US9110365B2 (en) 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
JP5843033B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
JP5843034B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
CN105765966A (zh) * 2013-12-19 2016-07-13 英特尔公司 碗形成像系统
WO2016159107A1 (ja) * 2015-03-30 2016-10-06 株式会社インタニヤ デジタルカメラ及びデジタルカメラ用記録カード
JP2018038087A (ja) * 2012-03-09 2018-03-08 株式会社リコー 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP2018195348A (ja) * 2013-05-16 2018-12-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2018201123A (ja) * 2017-05-26 2018-12-20 株式会社リコー 画像処理装置、画像処理方法、プログラム
CN109367483A (zh) * 2017-08-09 2019-02-22 安波福电子(苏州)有限公司 一种角度自适应的车载鸟瞰系统及其实现方法
KR20190080780A (ko) * 2017-12-28 2019-07-08 캐논 가부시끼가이샤 전자기기 및 그 제어 방법
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
JP2020061770A (ja) * 2019-12-26 2020-04-16 株式会社ザクティ 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
US20210027434A1 (en) * 2017-10-06 2021-01-28 Google Llc Systems and Methods for Leveling Images
JP2021097375A (ja) * 2019-12-19 2021-06-24 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
CN113643265A (zh) * 2021-08-19 2021-11-12 深圳赛安特技术服务有限公司 基于人工智能的质量等级确定方法、装置、设备及介质
CN115174879A (zh) * 2022-07-18 2022-10-11 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质
JP7443749B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443751B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508384A (ja) * 1995-06-23 1999-07-21 インタラクティブ ピクチャーズ コーポレーション 球形画像を作成する方法および装置
JP2003032597A (ja) * 2001-07-13 2003-01-31 Mega Chips Corp 撮像再生システム、撮像装置、再生装置及び撮像再生方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508384A (ja) * 1995-06-23 1999-07-21 インタラクティブ ピクチャーズ コーポレーション 球形画像を作成する方法および装置
JP2003032597A (ja) * 2001-07-13 2003-01-31 Mega Chips Corp 撮像再生システム、撮像装置、再生装置及び撮像再生方法

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187497A (ja) * 2007-01-30 2008-08-14 Nikon Corp カメラ、画像記録プログラムおよび画像表示プログラム
JP2009033500A (ja) * 2007-07-27 2009-02-12 Ricoh Co Ltd 撮像装置とその制御方法
EP2074817A1 (en) * 2007-07-27 2009-07-01 Ricoh Company, Ltd. Imaging apparatus and a control method of the imaging apparatus
US20100208080A1 (en) * 2007-07-27 2010-08-19 Ricoh Company, Ltd. Imaging apparatus and a control method of the imaging apparatus
EP2074817A4 (en) * 2007-07-27 2010-12-22 Ricoh Co Ltd IMAGING APPARATUS AND CONTROL METHOD FOR THE IMAGING APPARATUS
US8264554B2 (en) 2007-07-27 2012-09-11 Ricoh Company, Ltd. Imaging apparatus and method of obtaining a roll angle of the imaging apparatus, and correcting detected roll angle
JP2010278813A (ja) * 2009-05-29 2010-12-09 M Soft:Kk 映像合成方法、映像合成システム
US9110365B2 (en) 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
KR20120067049A (ko) * 2010-12-15 2012-06-25 엘지이노텍 주식회사 화각을 이용한 카메라 모듈의 중력 코드값 측정 시스템, 그 측정 방법 및 그 측정 방법의 기록매체
KR101669624B1 (ko) 2010-12-15 2016-10-26 엘지이노텍 주식회사 화각을 이용한 카메라 모듈의 중력 코드값 측정 시스템, 그 측정 방법 및 그 측정 방법의 기록매체
JP2013045089A (ja) * 2011-08-26 2013-03-04 Ricoh Co Ltd 撮像システムおよび結像光学系
KR20190031343A (ko) * 2012-03-09 2019-03-25 가부시키가이샤 리코 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체
KR101961364B1 (ko) 2012-03-09 2019-03-25 가부시키가이샤 리코 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체
US9607358B2 (en) 2012-03-09 2017-03-28 Ricoh Company, Limited Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
JP2018038087A (ja) * 2012-03-09 2018-03-08 株式会社リコー 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
CN104160693A (zh) * 2012-03-09 2014-11-19 株式会社理光 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质
US11049215B2 (en) 2012-03-09 2021-06-29 Ricoh Company, Ltd. Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
KR102046032B1 (ko) 2012-03-09 2019-11-19 가부시키가이샤 리코 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체
KR20180121691A (ko) * 2012-03-09 2018-11-07 가부시키가이샤 리코 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP2020129823A (ja) * 2012-03-09 2020-08-27 株式会社リコー 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
EP3182696A1 (en) 2012-03-09 2017-06-21 Ricoh Company, Ltd. Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
KR101916616B1 (ko) * 2012-03-09 2018-11-07 가부시키가이샤 리코 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체
JP2016027744A (ja) * 2012-09-11 2016-02-18 株式会社リコー 撮像装置および撮像システム
JP2019097178A (ja) * 2012-09-11 2019-06-20 株式会社リコー 撮像装置、画像処理装置および方法
US10666860B2 (en) 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP2015019344A (ja) * 2012-09-11 2015-01-29 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP2017175616A (ja) * 2012-09-11 2017-09-28 株式会社リコー 撮像装置、画像処理装置および方法
JP2018195348A (ja) * 2013-05-16 2018-12-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20140147597A (ko) * 2013-06-20 2014-12-30 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2015046813A (ja) * 2013-08-29 2015-03-12 株式会社リコー 撮像装置、撮像方法、及びプログラム
CN105765966A (zh) * 2013-12-19 2016-07-13 英特尔公司 碗形成像系统
JP2017502404A (ja) * 2013-12-19 2017-01-19 インテル コーポレイション ボウル形状イメージングシステム
US10692173B2 (en) 2013-12-19 2020-06-23 Intel Corporation Bowl-shaped imaging system
US10210597B2 (en) 2013-12-19 2019-02-19 Intel Corporation Bowl-shaped imaging system
JP2014099885A (ja) * 2013-12-27 2014-05-29 Olympus Imaging Corp 撮像装置および画像処理方法
JP2016149734A (ja) * 2014-05-15 2016-08-18 株式会社リコー 動画表示装置およびプログラム
JP5843034B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
CN106464804A (zh) * 2014-05-15 2017-02-22 株式会社理光 成像系统、成像装置、计算机程序和系统
JP5843033B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
EP3143761A4 (en) * 2014-05-15 2017-04-26 Ricoh Company, Ltd. Imaging system, imaging apparatus, computer program, and system
US10681268B2 (en) 2014-05-15 2020-06-09 Ricoh Company, Ltd. Imaging system, imaging apparatus, and system
JP2016149733A (ja) * 2014-05-15 2016-08-18 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
WO2016159107A1 (ja) * 2015-03-30 2016-10-06 株式会社インタニヤ デジタルカメラ及びデジタルカメラ用記録カード
JP2015129973A (ja) * 2015-03-31 2015-07-16 株式会社リコー 広角レンズ及び撮像装置
JP2018201123A (ja) * 2017-05-26 2018-12-20 株式会社リコー 画像処理装置、画像処理方法、プログラム
CN109367483A (zh) * 2017-08-09 2019-02-22 安波福电子(苏州)有限公司 一种角度自适应的车载鸟瞰系统及其实现方法
US20210027434A1 (en) * 2017-10-06 2021-01-28 Google Llc Systems and Methods for Leveling Images
US11823359B2 (en) * 2017-10-06 2023-11-21 Google Llc Systems and methods for leveling images
KR20190080780A (ko) * 2017-12-28 2019-07-08 캐논 가부시끼가이샤 전자기기 및 그 제어 방법
KR102415637B1 (ko) * 2017-12-28 2022-07-01 캐논 가부시끼가이샤 전자기기 및 그 제어 방법
JP2021097375A (ja) * 2019-12-19 2021-06-24 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7322692B2 (ja) 2019-12-19 2023-08-08 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443749B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443751B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
JP2020061770A (ja) * 2019-12-26 2020-04-16 株式会社ザクティ 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
JP7025042B2 (ja) 2019-12-26 2022-02-24 株式会社ザクティ 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
CN113643265A (zh) * 2021-08-19 2021-11-12 深圳赛安特技术服务有限公司 基于人工智能的质量等级确定方法、装置、设备及介质
CN115174879A (zh) * 2022-07-18 2022-10-11 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质
CN115174879B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
JP2006059202A (ja) 撮像装置及び画像補正方法
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
CN108876714B (zh) 图像捕获装置、信息处理装置和图像处理方法
US10594941B2 (en) Method and device of image processing and camera
Lobo et al. Vision and inertial sensor cooperation using gravity as a vertical reference
Burschka et al. V-GPS (SLAM): Vision-based inertial system for mobile robots
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
Aghayari et al. Geometric calibration of full spherical panoramic Ricoh-Theta camera
Li Full-view spherical image camera
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP2004531113A (ja) 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法
JP2005115420A (ja) 三次元形状生成装置
Li Monitoring around a vehicle by a spherical image sensor
CN113240615B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2017191022A (ja) 三次元点群データに実寸法を付与する方法とそれを用いた管路等の位置測定
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
Núnez et al. Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data.
Huttunen et al. A monocular camera gyroscope
JP2005244861A (ja) 撮像装置及び撮像系パラメータ校正方法
KR102389762B1 (ko) 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법
JP4631048B2 (ja) 撮像装置及び撮像系パラメータの校正方法
JP2014092922A (ja) 検出装置、検出方法及び検出プログラム
CN113450254A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2017179136A1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
JP2005275789A (ja) 三次元構造抽出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100727