JP2007072537A - 360°画像撮影装置 - Google Patents

360°画像撮影装置 Download PDF

Info

Publication number
JP2007072537A
JP2007072537A JP2005255825A JP2005255825A JP2007072537A JP 2007072537 A JP2007072537 A JP 2007072537A JP 2005255825 A JP2005255825 A JP 2005255825A JP 2005255825 A JP2005255825 A JP 2005255825A JP 2007072537 A JP2007072537 A JP 2007072537A
Authority
JP
Japan
Prior art keywords
image
viewpoint
coordinate system
posture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005255825A
Other languages
English (en)
Other versions
JP4508049B2 (ja
Inventor
Fumiko Kureyama
史子 紅山
Toshio Moriya
俊夫 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005255825A priority Critical patent/JP4508049B2/ja
Priority to US11/385,743 priority patent/US7440691B2/en
Publication of JP2007072537A publication Critical patent/JP2007072537A/ja
Application granted granted Critical
Publication of JP4508049B2 publication Critical patent/JP4508049B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03DAPPARATUS FOR PROCESSING EXPOSED PHOTOGRAPHIC MATERIALS; ACCESSORIES THEREFOR
    • G03D9/00Diffusion development apparatus
    • G03D9/02Diffusion development apparatus using rupturable ampoules of liquid

Abstract

【課題】
画像処理に面倒な作業を行うことなく、360°の方向から見た実物の画像を取得することができない。
【解決手段】
複数の撮影装置及び被写体が設置された回転台に接続された計算機は、入力された回転角に基づいて、回転台を回転させる回転制御部と、回転台が回転する毎に撮影を行い、複数の撮影装置から被写体の画像を取得する撮影部と、抽出された被写体の特徴点の位置を基準とした座標系を設定する座標系設定部と、座標系設定部により設定された座標系、及び、撮影装置の焦点距離や設置位置を含むカメラパラメータに基づき、撮影装置の位置座標を示す位置データと撮影装置が向いている方向を示す方向データを含む視点パラメータを算出する視点パラメータ算出部と、撮影部により取得された画像及び視点パラメータ算出部により算出された視点パラメータを関連付けて格納する対応データ格納部と、を備える。
【選択図】図1

Description

本発明は、複数カメラを用いた多視点画像撮影に関する。
ある対象物を任意の方向から見ることができるように画面に表示する技術として、Image Based Rendering等のCG(Computer Graphics)を応用した手法がある。
また、カメラで撮影した対象物を画面に表示する技術として、複数のカメラを3次元空間内に配置して、場所を選ばずに対象物の複数の映像を撮影することができると共に、複数のカメラの位置の調整を容易に行うことができる撮影装置に関する技術がある(特許文献1参照)。更に、使用にあたって特別な訓練を必要とせず、普通のポータブル撮影装置とコンピュータを使用してマルチビュー静止画像を取り込み、並べ換える技術もある(特許文献2参照)。
特開2004-264492号公報 特開2004-139294号公報
CGを応用した手法では、あたかも任意の方向から見ているように対象物を表示することはできるが、実物たる対象物を撮影した画像ではないため、信頼性に欠ける。
一方、特許文献1では、実物たる対象物を撮影した画像を表示することはできるが、装置自体が大掛かりである上、撮像装置の個数分しか視点数を得ることができず、また、撮影装置の配置が半球面上であり、対象物の姿勢を変更することは考慮されていないため、対象物を下から見上げた画像を得ることは困難である。
更に、特許文献2では、異なる種類のマーカを、被写体(対象物)を設置する平面上に円形又は楕円形に等間隔に設置し、1台のカメラで自由に撮影した画像からマーカの位置を検出し、マーカの位置関係より、カメラとマーカとの間の距離及び向き等を算出することにより複数視点の静止画像を得ることはできるが、マーカ位置が固定であり、対象物の姿勢を変更することも考慮されていないため、特許文献1と同様の課題が生じる。
即ち、上記従来技術では、上下方向を含む360°の方向から見た被写体画像を取得することは困難である。
以上の課題に対処するため、例えば、被写体の設置において、被写体を天井からピアノ線のようなもので吊るす方法が考えられるが、被写体によってはピアノ線の取り付けが困難であるし、被写体を取り付けたピアノ線を高い位置に括りつけるなど、面倒な作業が発生する。また、カメラの設置においても、大量のカメラで被写体を取り囲んで撮影を行うには、装置が大掛かりになり大量のカメラの撮影制御が面倒である上、仮に撮影できたとしても対面にある他のカメラが撮影画像に写ってしまうため、被写体のみを抜き出した画像を表示することは困難である。
以上より、本発明の目的は、被写体の設置やカメラの設置、その他画像処理に面倒な作業を行うことなく、360°の方向から見た実物の画像を取得することにある。
上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。
複数の撮影装置及び被写体が設置された回転台に接続された計算機は、入力された回転角に基づいて、回転台を回転させる回転制御部と、回転台が回転する毎に撮影を行い、複数の撮影装置から被写体の画像を取得する撮影部と、抽出された被写体の特徴点の位置を基準とした座標系を設定する座標系設定部と、座標系設定部により設定された座標系、及び、撮影装置の焦点距離や設置位置を含むカメラパラメータに基づき、撮影装置の位置座標を示す位置データと撮影装置が向いている方向を示す方向データを含む視点パラメータを算出する視点パラメータ算出部と、撮影部により取得された画像及び視点パラメータ算出部により算出された視点パラメータを関連付けて格納する対応データ格納部と、を備え、撮影部は、被写体の第一の姿勢及び第二の姿勢を撮影し、座標系設定部は、第一の姿勢における第一の座標系、及び、第二の姿勢における第二の座標系を設定し、視点パラメータ算出部は、第一及び第二の座標系の差異に基づいて、第二の座標系における視点パラメータを、第一の座標系における視点パラメータに変換する。
本発明によれば、被写体の設置やカメラの設置、その他画像処理に面倒な作業を行うことなく、360°の方向から見た実物の画像を取得することができる。
以下、実施形態の一例について、図面を参照しながら説明する。
図1は、本実施例のシステム構成を示す図である。
本システムは、計算機10、被写体1、設定角度毎に回転する回転台50、一度の撮影で多視点の画像を得るための複数の撮影装置40、及び、回転台50の垂直な円に沿って設置された円弧の撮影装置設置台41とからなり、計算機10は、複数の撮影装置40のそれぞれ、及び回転台50と接続される。
本システムにおいて、まず、被写体1を、回転台50の上に設置し、各撮影装置40を、撮影装置設置台41に等間隔に固定する。各撮影装置40は、回転台50の回転毎に被写体を撮影するが、回転台50が360°回転した時点で、水平方向360°垂直方向180°の画像を得るため、撮影装置設置台41は90°の円弧とする。また、撮影装置設置台41と回転台50の位置関係について、複数の撮影装置40と被写体1との距離が一定となり、また、回転台50を回転させてもどの回転角においても、撮影装置40と被写体1の距離を一定とするために、回転台50は、撮影装置設置台41の円弧中心に設置されるとよい。
図2は、計算機10のハードウェア構成を示す図である。
計算機10は、プログラムに基づいた計算や制御を行うCPU20、主記憶装置100、ハードディスク等の記憶装置200、ジョイスティックやキーボード等の入力装置30、表示装置70、及び、それらの構成要件や他の装置を相互に接続するバス60からなる。
記憶装置200は、各種プログラム及びデータを格納する。
回転台制御部110は、入力装置30より入力されたデータ(以下、入力データと称する)や予め記憶装置200に格納されている回転台制御データ210の値に応じて回転台50の回転を制御するためのプログラムである。
撮影部120は、複数の撮影装置40に対して撮影制御を行い、撮影画像230を取得するためのプログラムである。
特徴点抽出部130は、撮影画像230から、画像上の特徴となる位置、例えば被写体の模様やコーナ等、を抽出するためのプログラムである。尚、後述のマーカを使用して撮影した場合は、ほぼ自動的に特徴点を抽出できるが、マーカを使用せずに撮影した場合は、画像上の特徴点を人間の手で設定することもある。
座標系設定部135は、特徴点抽出部等により抽出された特徴点の位置を基準として座標系(該座標系に関するデータを座標系データ235と称する)を設定するためのプログラムである。
視点パラメータ算出部140は、複数の異なる撮影装置40の視点から確認される被写体1の特徴点位置と各撮影装置40との間の視点パラメータを算出するためのプログラムである。ここで、視点パラメータとは、被写体の特徴点を基準とした座標系(例えば、該特徴点を原点とした、xyz座標系)における、撮影装置の存在位置及び撮影装置の回転角を示す。視点パラメータは、(x,y,z,α,β,γ)の6つの値で表すことにする。(x,y,z)を位置データと、(α,β,γ)を方向データと称する。
対応データ格納部150は、視点パラメータ算出部140により算出された視点パラメータ、及び該視点パラメータを算出する基となった被写体の撮影画像、の2つのデータを対にして(対にされたデータを、対応データ240と称する)、記憶、更新するためのプログラムである。
入力部160は、入力データを読み込むためのプログラムである。
入力データ変換部165は、入力データを、撮影装置と被写体の特徴点との間の視点パラメータに変換するためのプログラムである。尚、明確に区別するため、本実施例では、入力データ変換部165により変換されたデータを入力視点パラメータ250と、視点パラメータ算出部140により算出され対応データ240の一部となったデータを視点パラメータと称する。
近隣画像探索部170は、対応データ240のうち、最も入力視点パラメータ250に近い視点パラメータを探索し、該当する画像を選択し、近接画像260として格納するためのプログラムである。
画像変換パラメータ算出部175は、入力視点パラメータ250と対応データ240に格納されている視点パラメータの差異を補正するためのプログラムである。
画像変形部180は、算出された画像変換パラメータ270に応じて近隣画像260を変形し、視点変換画像280として格納するためのプログラムである。
画像表示部190は、視点変換画像280を表示するためのプログラムである。
回転台制御データ210は、回転台の回転角を示すデータである。
カメラパラメータ220は、撮影装置40の焦点距離や設置位置など、既知の情報を示すデータである。尚、焦点距離は、カメラのレンズから像を結ぶ画像平面までの距離を、設置位置は、全てのカメラが固定であり各カメラの位置関係を既知としたときの、各カメラ設置位置の座標を示す。
撮影画像230は、複数の撮影装置40にて撮影された画像を示すデータである。
座標系データ235、対応データ240、及び入力視点パラメータ250は、先述の通りである。
近隣画像260は、対応データ240の一部である視点パラメータのうち、最も入力視点パラメータ250に近いパラメータと対になっている画像を示すデータである。
画像変換パラメータ270は、入力視点パラメータ250と、対応データ240の一部である視点パラメータの差異を補正するためのパラメータである。
視点変換画像280は、画像変換パラメータ270に応じて近隣画像260を変形した画像を示すデータである。
図3は、撮影時の機能モジュールを示す図である。
回転台制御データ210又は入力データ(ここでは、回転台50を何度毎に回転するかを示す回転ステップφ)に基づいて、回転台制御部110にて、回転台50をφ回転させる。次に、撮影部120にて、複数の撮影装置40で撮影した撮影画像230を、記憶装置200に格納する。撮影画像230の視点パラメータを算出するために、まず、基準となる撮影画像230を任意に設定し、その画像を撮影した撮影装置40と距離が近い位置にある撮影装置40で被写体1を撮影した撮影画像230を用いて、特徴点抽出部130にて、該被写体1を撮影する撮影装置40を変えた時に、同じ点として認識されるような被写体上の模様やコーナ等を特徴点として抽出する。座標系設定部135にて、前記抽出特徴点データを基に、被写体の基準座標系を設定し、座標系データ235を作成する。視点パラメータ算出部140では、カメラパラメータ220に含まれるカメラ設置位置や焦点距離などの既知のパラメータ及び、異なる撮影装置40間で撮影画像230上の同じ点として認識される特徴点位置から、ステレオの原理を用いて撮影装置40と特徴点との間の距離及び方向を算出し前記設定座標系235における視点パラメータを算出する。この時、対応データ240を、順次記憶更新していくものとする。
図4は、撮影に関するフロー図である。CPU20は、先述のプログラムを記憶装置200から主記憶装置100に読み込んで実行することにより、以下の処理を行う。尚、ステップ1100〜1210、1700、及び1800は、人間の手による処理である。また、先述のように、ステップ1400及び1450を人間の手により行うこともある。
まず、被写体1の姿勢を姿勢1に設定し(ステップ1100)、回転台角度θの初期値(例えば0°)を設定し(ステップ1200)、φを入力する(ステップ1210)。
次に、CPU20は、被写体1の撮影を実施し(ステップ1300)、撮影画像を記憶装置200に格納する(ステップ1310)。ここでφは、等間隔な撮影画像を得るために、360°の約数とすることが望ましい。
次に、θにφを足し(ステップ1320)、回転台が360°回転したか否かを判定する(ステップ1330)。θの値が360°未満である場合、回転台をφ回転し(ステップ1340)、回転後の被写体を再度撮影するためにステップ1300に戻る。回転台が360°回転するまで、撮影、格納、回転台回転、を繰り返す。
θの値が360°以上となった場合、被写体の姿勢1での撮影を終了し、ステップ1400に移行する。
以上で、被写体の姿勢1における水平方向360°垂直方向180°の画像を撮影できた。次に、撮影画像上の特徴点となる位置を複数抽出する(ステップ1400)。抽出された特徴点を基に座標系を設定し(ステップ1450)、設定した座標系における全ての画像における視点パラメータを算出する(ステップ1500)。そして、対応データ240を、記憶装置200に順次更新していく。
次に、算出された視点パラメータが姿勢1のものであるか否かを判定され(ステップ1510)、姿勢1であればそのままステップ1600に進み、対応データを更新する。姿勢1でなければ、姿勢1の座標系における視点パラメータを作成し(ステップ1520)、ステップ1600に進む。
次に、別の姿勢の撮影を実施されるか否か判定され(ステップ1700)、姿勢が変更された場合には(ステップ1800)、ステップ1200に戻る。姿勢の変更は不要と判定されれば(ステップ1700)、処理を終了する。ここで、姿勢変更は、図5の姿勢1、姿勢2、姿勢3に示すように任意で構わない。但し、被写体と全ての撮影装置40との距離を出来るだけ等しくするため、被写体の位置は回転台の中心付近であることが望ましい。尚、ステップ1700では、計算機10が、人間に対して、姿勢の変更を促す機能を備えてもよい。また、計算機10が、姿勢の変更をするか否かの判断を行うプログラムを備えてもよい。
図6は、被写体に特徴点となる複数のマーカを貼付した時の撮影手順を示す図である。
被写体の特徴点抽出において、被写体上の模様やコーナ等、判別しやすい特徴点がある場合は問題ないが、特徴点の判別が困難である被写体を用いた場合や特徴点をより明確にしたい場合は、被写体に複数のマーカを貼付する方法を用いる。
撮影1では、姿勢1の状態における被写体の撮影を水平360°分(回転台一周分)行う。
撮影2では、被写体上に数箇所マーカを貼付し、マーカを貼付した状態で、姿勢1の被写体の撮影を水平360°分行う。
撮影3では、貼付したマーカはそのままで、被写体の姿勢を姿勢1→姿勢2に変更し、マーカを貼付した状態で、姿勢2の被写体の撮影を水平360°分行う。
撮影4では、貼付したマーカを削除し、姿勢2の被写体の撮影を水平360°分行う。
撮影5では、被写体上に再度数箇所マーカを貼付し、マーカを貼付した状態で、姿勢2の被写体の撮影を水平360°分行う。この時、マーカの貼付場所は、撮影2や撮影3のマーカ位置と異なってもよい。
撮影6では、貼付したマーカはそのままで、被写体の姿勢を姿勢2→姿勢3に変更し、マーカを貼付した状態で、姿勢3の被写体の撮影を水平360°分行う。
撮影7では、貼付したマーカを削除し、姿勢3の被写体の撮影を水平360°分行う。
撮影8では、被写体上に再度数箇所マーカを貼付し、マーカを貼付した状態で、姿勢3の被写体の撮影を水平360°分行う。この時、マーカの貼付場所は、撮影2や撮影3、撮影5や撮影6のマーカ位置と異なってもよい。
以下、姿勢を変更しながら、マーカを貼付した状態の被写体、マーカのない状態の被写体の撮影を順次実施する。
図7は、マーカを用いた場合の撮影に関するフロー図である。
ステップ1100〜1330の処理は、基本的に、図4と同様であるが、ステップ1100において、マーカ有無を0、姿勢変更有無を0に設定する点が異なる。尚、マーカがない状態を「マーカ有無=0」、マーカがある状態を「マーカ有無=1」、被写体の姿勢が変更された状態を「姿勢変更有無=0」、被写体の姿勢が変更されなかった状態を「姿勢変更有無=1」とする。また、ステップ1100〜1210、1450の一部、1500、1510、1700、1810、及び1820は、人間の手による処理である。
ステップ1330でyesの場合、マーカの有無を判定し(ステップ1400)、「マーカ有無=0」の場合はステップ1500に進み、「マーカ有無=1」の場合はステップ1450に進む。
別姿勢で撮影すると判断されると(ステップ1500)、すなわち図6における撮影1、4、7が実施された状態であり別姿勢で撮影すると判断された場合、複数のマーカが被写体の任意の位置に貼付されるため、「マーカ有無=1」に変更し(ステップ1510)、ステップ1200に戻る。ステップ1200〜ステップ1340で、被写体姿勢は変えずにマーカの貼付された状態の被写体を撮影する。
被写体にマーカが貼付されていると判定した場合(ステップ1400)、撮影画像から特徴点を抽出し(ステップ1450)、姿勢変更がされたか否かを判定する(ステップ1600)。「姿勢変更有無=0」の場合、すなわち図6における撮影2、5が実施された状態である場合、抽出された特徴点を基に座標系の設定を行い(ステップ1700)、設定された座標系に基づいた視点パラメータの算出を行う(ステップ1710)。具体的には、隣接する撮影装置の画像上の同一の特徴点が表示されている位置と各撮影装置に格納されるカメラパラメータより、視点パラメータを算出する。次に、姿勢n=1であるか否か判定し(ステップ1720)、yesの場合、対応データ240を更新し(ステップ1800)、noの場合、姿勢n=1の座標系における視点パラメータを算出する(ステップ1750)。この時、マーカを貼付した被写体が写った画像から視点パラメータのデータを算出するが、対となる撮影画像は、一つ前に撮影したマーカの貼付されてない被写体が写った画像とする。即ち、図6における撮影2、5で取得した画像より視点パラメータを作成し、対となる撮影画像は、撮影1、4で取得した画像、ということになる。
次に、被写体を任意の姿勢に変更し、被写体姿勢nを1プラスし、「姿勢変更有無=1」に変更し(ステップ1810)、ステップ1200に戻る。ステップ1200〜ステップ1340で、被写体姿勢が変更され、マーカの貼付された状態の被写体の撮影を実施する。
ステップ1600にて、姿勢変更がされたと判定した場合、即ち、図6における撮影3、6が実施された状態である場合、一つ前の姿勢で同じマーカ位置にて撮影した画像より、一つ前の姿勢との相対的なカメラ位置関係を算出する(ステップ1730)。次に、一つ前の姿勢で撮影した画像、即ち、図6における撮影2、5で取得した画像を基に設定した座標系における視点パラメータを算出し(ステップ1740)、一つ前の姿勢の座標系と姿勢n=1の座標系との差異から、姿勢n=1の座標系における視点パラメータを算出し(ステップ1750)、対応データを更新する(ステップ1800)。この時、マーカを貼付した被写体が写った画像から視点パラメータを算出するが、対となる撮影画像は、一つ後に撮影するマーカの貼付されてない被写体が写った画像とする。即ち、図6における撮影3、6で取得した画像より視点パラメータを作成し、対となる撮影画像は、撮影4、7で取得した画像、となる。
次に、被写体に貼付したマーカを全て削除し、「マーカ有無=0」に変更し(ステップ1820)、ステップ1200に戻る。ステップ1200〜ステップ1340で、被写体姿勢は変えずにマーカの貼付されていない状態の被写体の撮影を実施する。
以上の撮影を、ステップ1500にて別姿勢の撮影実施の選択を止めるまで実施し、別姿勢の撮影を実施しないことを選択したところで、全てを終了する。
図8は、表示時における機能モジュールを示す図である。
入力部160にて取得した入力データを、入力視点パラメータ250に変換する。対応データ240に含まれる視点パラメータと、入力視点パラメータ250を基に、近隣画像探索部170にて、最も入力視点パラメータ250に近い対応データ240内の視点パラメータを探索し、選択された視点パラメータと対になっている撮影画像230を決定し、近隣画像260とする。また同時に、該近隣画像260と対になっている視点パラメータと、入力視点パラメータ250との差異を低減するため、入力視点パラメータ250と対応データ240に含まれる視点パラメータに基づいて、画像変換パラメータ算出部175にて、視点パラメータの差異を補正するための画像変換パラメータ270を算出する。ここで算出した画像変換パラメータ270と近隣画像260に基づいて、画像変換部180にて視点変換画像280を作成し、表示装置70に表示する。これらの作業を、入力データが変更される度に繰り返し、表示することにより、希望する方向の被写体画像を自由に観察することが可能となる。
尚、本稿で説明したプログラムによる機能を、ハードウェアにより実現してもよい。また、これらのプログラムは、CD−ROM等の記憶媒体から移してもよいし、ネットワーク経由で他の装置からダウンロードしてもよい。
本発明は、実写による全周囲画像の取得が可能であるため、部品の確認等を行う工業分野、自由な視点移動が可能なコンテンツ等を提供するアミューズメント分野、自動車や家具などの様々な製品のデザインをレビューするデザイン分野、などの各種産業への活用が考えられる。
システム構成を示す図。 計算機のハードウェア構成を示す図。 撮影時の機能モジュールを示す図。 撮影に関するフロー図。 被写体姿勢の例を示す図。 複数のマーカを貼付した時の撮影手順を示す図。 マーカを用いた場合の撮影に関するフロー図。 表示時における機能モジュールを示す図。
符号の説明
10・・・計算機、20・・・CPU、30・・・入力装置、40・・・撮影装置、50・・・回転台、60・・・バス、70・・・表示装置、100・・・主記憶装置、200・・・記憶装置。

Claims (9)

  1. 複数の撮影装置、及び被写体が設置された回転台、に接続された計算機において、
    入力された回転角に基づいて、前記回転台を回転させる回転制御部と、
    前記回転台が回転する毎に撮影を行い、前記複数の撮影装置から前記被写体の画像を取得する撮影部と、
    抽出された前記被写体の特徴点の位置を基準とした座標系を設定する座標系設定部と、
    前記座標系設定部により設定された座標系、及び、前記撮影装置の焦点距離や設置位置を含むカメラパラメータに基づき、前記撮影装置の位置座標を示す位置データと前記撮影装置が向いている方向を示す方向データを含む視点パラメータを算出する視点パラメータ算出部と、
    前記撮影部により取得された画像及び前記視点パラメータ算出部により算出された視点パラメータを関連付けて格納する対応データ格納部と、を備え、
    前記撮影部は、前記被写体の第一の姿勢及び第二の姿勢を撮影し、
    前記座標系設定部は、前記第一の姿勢における第一の座標系、及び、前記第二の姿勢における第二の座標系を設定し、
    前記視点パラメータ算出部は、前記第一及び第二の座標系の差異に基づいて、前記第二の座標系における視点パラメータを、前記第一の座標系における視点パラメータに変換する、計算機。
  2. 前記複数の撮影装置は、前記回転台に垂直な円に沿って配置される、請求項1記載の計算機。
  3. 前記複数の撮影装置は、それぞれ等間隔に配置される、請求項2記載の計算機。
  4. 前記被写体は、前記回転台の中心に設置される、請求項3記載の計算機。
  5. 前記被写体の特徴点を抽出する特徴点抽出部を更に備え、
    前記座標系設定部は、前記特徴点抽出部により抽出された前記特徴点の位置を基準として座標系を設定する、請求項1記載の計算機。
  6. 前記特徴点抽出部は、前記被写体に貼付されたマーカを特徴点として抽出する、請求項5記載の計算機。
  7. 前記撮影部は、
    マーカのない状態で前記第一の姿勢を撮影し、前記第一の姿勢の画像を第一の画像とし、
    前記マーカが貼付された状態で前記第一の姿勢を撮影し、前記第一の姿勢の画像を第二の画像とし、
    前記マーカが貼付された状態で前記第二の姿勢を撮影し、前記第二の姿勢の画像を第三の画像とし、
    前記マーカが削除された状態で前記第二の姿勢を撮影し、前記第二の姿勢の画像を第四の画像とし、
    前記視点パラメータ算出部は、
    前記第二の画像、前記第一の座標系、及び、前記撮影装置と前記マーカとの位置関係に基づき、第一の視点パラメータを算出し、
    前記第三の画像、前記第二の座標系、及び、前記撮影装置と前記マーカとの位置関係に基づき、第二の視点パラメータを算出し、
    前記第一及び第二の視点パラメータに基づいて、前記第一及び第二の座標系の差異を算出し、
    前記第一及び第二の座標系の差異に基づいて、前記第二の視点パラメータを、前記第一の座標系における視点パラメータに変換する、請求項6記載の計算機。
  8. 前記撮影部は、前記第一乃至第四の画像を複数回取得し、
    前記視点パラメータ算出部は、前記第一及び第二の視点パラメータを複数回算出し、
    前記対応データ格納部は、前記第一の画像と前記第一の視点パラメータ、及び、前記第四の画像と前記第二の視点パラメータを、それぞれ関連付けて、複数回格納する、請求項7記載の計算機。
  9. 入力されたデータを第一の視点パラメータに変換する入力データ変換部と、
    前記対応データ格納部により格納されている複数の視点パラメータに含まれる位置データのうち、前記第一の視点パラメータに含まれる位置データに関連性の高い位置データを含む第二の視点パラメータを探索し、前記第二の視点パラメータに対応する近隣画像を選択する近隣画像探索部と、
    前記第一及び第二の視点パラメータに含まれる位置データ及び方向データの差異を補正するための画像変換パラメータを算出する画像変換パラメータ算出部と、
    前記画像変換パラメータ算出部により算出された画像変換パラメータに基づいて、前記近隣画像を変形し、視点変換画像として格納する画像変形部と、
    前記視点変換画像を表示する表示部とを更に備える、請求項1記載の計算機。
JP2005255825A 2005-09-05 2005-09-05 360°画像撮影装置 Expired - Fee Related JP4508049B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005255825A JP4508049B2 (ja) 2005-09-05 2005-09-05 360°画像撮影装置
US11/385,743 US7440691B2 (en) 2005-09-05 2006-03-22 360-° image photographing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005255825A JP4508049B2 (ja) 2005-09-05 2005-09-05 360°画像撮影装置

Publications (2)

Publication Number Publication Date
JP2007072537A true JP2007072537A (ja) 2007-03-22
JP4508049B2 JP4508049B2 (ja) 2010-07-21

Family

ID=37830139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005255825A Expired - Fee Related JP4508049B2 (ja) 2005-09-05 2005-09-05 360°画像撮影装置

Country Status (2)

Country Link
US (1) US7440691B2 (ja)
JP (1) JP4508049B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012043345A (ja) * 2010-08-23 2012-03-01 Canon Inc 画像処理装置および方法
JP2015012375A (ja) * 2013-06-27 2015-01-19 貞彦 寺川 マルチアングル画像撮影システム、回転台装置、撮影装置およびマルチアングル画像撮影方法
US9053522B2 (en) 2010-05-26 2015-06-09 Nec Corporation Image processing device, image processing method, and image processing program
JP2015530788A (ja) * 2012-07-30 2015-10-15 バーソロミュー ジー ユキック 3次元画像メディアを生成するシステム及び方法
US9429418B2 (en) 2010-02-25 2016-08-30 Canon Kabushiki Kaisha Information processing method and information processing apparatus
US9554040B2 (en) 2014-03-25 2017-01-24 Panasonic Intellectual Property Management Co., Ltd. Multi-viewpoint image capturing method and image display method
JP2017505566A (ja) * 2013-12-09 2017-02-16 シゼイ シジブイ カンパニー リミテッド 多面映像の生成方法及びシステム
US9843789B2 (en) 2014-09-08 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Still-image extracting method and image processing device for implementing the same

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
JP4851406B2 (ja) * 2007-08-31 2012-01-11 富士フイルム株式会社 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
GB2471071A (en) * 2009-06-12 2010-12-22 Michael John Chantler System for producing virtual or digital interactive material swatches.
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US8971568B1 (en) 2012-10-08 2015-03-03 Gerard Dirk Smits Method, apparatus, and manufacture for document writing and annotation with virtual ink
JP6312991B2 (ja) * 2013-06-25 2018-04-18 株式会社東芝 画像出力装置
US9810913B2 (en) * 2014-03-28 2017-11-07 Gerard Dirk Smits Smart head-mounted projection system
RU2565851C1 (ru) * 2014-08-01 2015-10-20 Сергей Вячеславович Аксёнов Модульная установка для круговой фото- и видеосъемки
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
JP6854828B2 (ja) 2015-12-18 2021-04-07 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US9928595B2 (en) * 2016-02-01 2018-03-27 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
US10445898B2 (en) * 2016-02-05 2019-10-15 Sony Corporation System and method for camera calibration by use of rotatable three-dimensional calibration object
US10600240B2 (en) 2016-04-01 2020-03-24 Lego A/S Toy scanner
EP3532863A4 (en) 2016-10-31 2020-06-03 Gerard Dirk Smits FAST SCAN LIDAR WITH DYNAMIC VOXEL PROBE
EP3563347A4 (en) 2016-12-27 2020-06-24 Gerard Dirk Smits SYSTEMS AND METHODS FOR MACHINE PERCEPTION
CN110612465B (zh) 2017-05-10 2022-03-08 杰拉德·迪尔克·施密茨 扫描反射镜系统和方法
FR3070784A1 (fr) 2017-09-06 2019-03-08 Quantificare Dispositif et procede pour reconstruire la surface 3d du tour complet d'un sujet
WO2019079750A1 (en) 2017-10-19 2019-04-25 Gerard Dirk Smits METHODS AND SYSTEMS FOR NAVIGATING A VEHICLE EQUIPPED WITH A NEW MILITARY MARKER SYSTEM
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
JP2020042064A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
CN113141497A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d拍摄装置、3d拍摄方法及3d显示终端
WO2021174227A1 (en) 2020-02-27 2021-09-02 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296708A (ja) * 2002-03-29 2003-10-17 Minolta Co Ltd データ処理方法、データ処理プログラムおよび記録媒体
JP2004129003A (ja) * 2002-10-04 2004-04-22 Sony Corp 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69529548T2 (de) * 1994-04-22 2003-11-27 Canon Kk Bilderzeugungsverfahren und -gerät
DE69531583T2 (de) * 1994-10-14 2004-06-24 Canon K.K. Bildverarbeitungsverfahren und -gerät
JP2002098521A (ja) * 2000-09-26 2002-04-05 Minolta Co Ltd 3次元形状データ生成装置
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
JP2004139294A (ja) 2002-10-17 2004-05-13 Hitachi Ltd 多視点画像処理プログラム、システム及びマーカ
JP2004264492A (ja) 2003-02-28 2004-09-24 Sony Corp 撮影方法及び撮像装置
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296708A (ja) * 2002-03-29 2003-10-17 Minolta Co Ltd データ処理方法、データ処理プログラムおよび記録媒体
JP2004129003A (ja) * 2002-10-04 2004-04-22 Sony Corp 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9429418B2 (en) 2010-02-25 2016-08-30 Canon Kabushiki Kaisha Information processing method and information processing apparatus
US9053522B2 (en) 2010-05-26 2015-06-09 Nec Corporation Image processing device, image processing method, and image processing program
JP2012043345A (ja) * 2010-08-23 2012-03-01 Canon Inc 画像処理装置および方法
JP2015530788A (ja) * 2012-07-30 2015-10-15 バーソロミュー ジー ユキック 3次元画像メディアを生成するシステム及び方法
JP2015012375A (ja) * 2013-06-27 2015-01-19 貞彦 寺川 マルチアングル画像撮影システム、回転台装置、撮影装置およびマルチアングル画像撮影方法
JP2017505566A (ja) * 2013-12-09 2017-02-16 シゼイ シジブイ カンパニー リミテッド 多面映像の生成方法及びシステム
US9554040B2 (en) 2014-03-25 2017-01-24 Panasonic Intellectual Property Management Co., Ltd. Multi-viewpoint image capturing method and image display method
US9843789B2 (en) 2014-09-08 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Still-image extracting method and image processing device for implementing the same

Also Published As

Publication number Publication date
US7440691B2 (en) 2008-10-21
JP4508049B2 (ja) 2010-07-21
US20070053679A1 (en) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4508049B2 (ja) 360°画像撮影装置
JP7231306B2 (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP6476657B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
US9516223B2 (en) Motion-based image stitching
CN109416744A (zh) 改进的相机校准系统、目标和过程
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
JP2011239361A (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
JP2010109783A (ja) 電子カメラ
CN113240615B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2005256232A (ja) 3dデータ表示方法、装置、およびプログラム
WO2020040277A1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
CN113450254B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP4776983B2 (ja) 画像合成装置及び画像合成方法
JP2016139199A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP2008203991A (ja) 画像処理装置
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
JPWO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
JP2016224015A (ja) 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム
JP7059829B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2005284992A (ja) 電子機器
JP2016139201A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100426

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees