JP2003023562A - 画像撮影システムおよびカメラシステム - Google Patents

画像撮影システムおよびカメラシステム

Info

Publication number
JP2003023562A
JP2003023562A JP2001206823A JP2001206823A JP2003023562A JP 2003023562 A JP2003023562 A JP 2003023562A JP 2001206823 A JP2001206823 A JP 2001206823A JP 2001206823 A JP2001206823 A JP 2001206823A JP 2003023562 A JP2003023562 A JP 2003023562A
Authority
JP
Japan
Prior art keywords
camera
photographing
movement amount
image
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001206823A
Other languages
English (en)
Inventor
Hideo Fujii
英郎 藤井
Koji Fujiwara
浩次 藤原
Kunimitsu Sakakibara
邦光 榊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2001206823A priority Critical patent/JP2003023562A/ja
Priority to US10/151,184 priority patent/US7423666B2/en
Publication of JP2003023562A publication Critical patent/JP2003023562A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Gyroscopes (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 空間内における被写体撮影用カメラの撮影位
置と姿勢を精度よく容易に求めるためのシステムを提供
する。 【解決手段】 立体チャート2に、異なる複比で大きさ
をコーディングした複数の単位図形を配置し、その撮像
から単位図形の複比を算出し、実際の値と照合すること
で撮影地点の位置・姿勢が求まる。被写体用カメラ13
に可動式カメラ11とジャイロ14とを取り付け、ジャ
イロ14からカメラシステム10の回転移動量と平行移
動量とを得て、可動式カメラ11に立体チャート2を自
動追尾させ、被写体用カメラ13による被写体30の撮
影と同時に立体チャート2を撮影させる。その撮像から
上記の手順で求まる可動式カメラ11の位置・姿勢、予
め求めた両カメラ間の相対位置・姿勢、可動式カメラ1
1の回転角およびジャイロ14から得られる回転移動量
から、被写体用カメラ13の位置・姿勢が求まる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、空間内に固定され
たチャート(基準物体)と可動式撮影装置の撮影位置と
の相対関係を特定するための技術に関する。
【0002】
【従来の技術】人物や物体の空間内における相対位置と
相対姿勢を求める技術が、仮想現実(バーチャルリアリ
ティ)の分野等において求められている。例えば、「L.
Quan,Z.Lan, "Linear N-Point Camera Pose Determinat
ion", IEEE Trans.PAMI 21(8)1999」、および「高橋、
石井、牧野、中静、”人工現実感インターフェースのた
めの単眼画像からのマーカの位置と姿勢の計測"、電子
情報論文誌AJ79 1996」にそれらを求めるアルゴリズム
が開示されている。これらの技術によれば、基準となる
物体を撮影した場合、その撮影した画像を用いて撮影位
置の空間に対する相対位置と相対姿勢を求めることがで
きる。以下、ここで開示されているアルゴリズムを「多
点解析アルゴリズム」と呼ぶことにする。
【0003】また、立体的な被写体を複数の方向から撮
影し、それによって得られた複数の画像データを組み合
わせることによって、当該被写体の3次元画像モデルを
得るという技術が知られている。すなわち、複数の方向
から被写体を撮影したそれぞれの画像ごとに、カメラの
外部パラメータ(カメラの位置や姿勢等)と内部パラメ
ータ(焦点距離等)のデータを得ることができれば、シ
ェープ・フロム・シルエット法によって、被写体のシル
エット画像から3次元のモデルを再構成することができ
る。このシェープ・フロム・シルエット法についての詳
細は、W.Niem,"Robust and Fast Modelling of 3D Natu
ral Objects from Multiple Views" SPIE Proceedings
Image and Video Proceeding II vol.2182,1994,pp.388
-397に開示されている。以下、カメラの外部パラメータ
と内部パラメータとを「(カメラの)校正パラメータ」
と総称するが、この校正パラメータのうち内部パラメー
タが既知であって内部パラメータによるカメラの校正が
完了している場合には、カメラの外部パラメータが求ま
れば、被写体の3次元画像モデルの構築が可能となる。
【0004】ところで、このように複数の方向から被写
体を撮影するにあたっての1つの方法は、複数のカメラ
を異なる位置に固定配置して被写体を撮影する固定配置
方式である。しかしながら、この固定配置方式では複数
のカメラを撮影スタジオ内などに固定的に分散配置して
おかねばならないために、撮影設備が大がかりになる。
【0005】そこで、ユーザが1台の手持ちカメラを持
って被写体の周りを移動しつつ、複数の方向から被写体
を順次に撮影することによって被写体の全周囲の画像を
得る移動撮影方式が提案されている。
【0006】しかしながら、この移動撮影方式でカメラ
の外部パラメータを決定するには、それぞれの撮影に際
してのカメラの位置および姿勢をそのつど特定すること
が必要となる。
【0007】このような目的でカメラの外部パラメータ
を測定する方式については、磁気方式、超音波方式、光
学方式などが、従来から提案されている。このうち磁気
方式はカメラ位置における地磁気などを検出することに
よって、また、超音波方式は所定の超音波からの超音波
を検知することによって、それぞれカメラの位置や姿勢
などを特定する方式である。光学方式には、ステレオカ
メラを使う方法や、視野よりも大きな校正チャートを設
置する方法等がある。
【0008】これらの方式のうち、磁気方式では、被写
体が金属で構成されている場合に精度よく測定すること
が困難であり、超音波方式は装置が高価になってしま
う。
【0009】これに対して、従来の光学方式としては、
不均一マトリクスパターンが描かれた単一の平面チャー
トを所定位置に配置し、それをカメラで観測することに
よってその平面チャートとカメラとの位置や姿勢関係
を、「多点解析アルゴリズム」を用いて特定する方式が
特開2000−270343に開示されている。これに
よれば、平面チャートに固定された座標系に対するカメ
ラの位置および姿勢の相対的関係がわかるため、平面チ
ャートと被写体との位置および姿勢関係を固定しておけ
ば、複数の方向から被写体を撮影するたびごとに、平面
チャート上のパターンをカメラで観測することにより、
その時点でのカメラの位置および姿勢が絶対座標系で特
定できることになる。
【0010】
【発明が解決しようとする課題】ところが、特開200
0−270343公報の技術では、チャートを観測でき
る範囲内にカメラがあっても、カメラの画角の周辺部に
位置している場合には、チャート上のパターンの観測精
度が低下し、その結果としてカメラの外部パラメータの
決定精度が良くないといった欠点があった。
【0011】本発明は従来技術における上述の課題を解
決するために成されたものであり、光学方式を用いなが
らも、広い可動範囲を確保しつつ、ユーザに負担をかけ
ることなく、高い測定精度が得られるような、カメラの
外部パラメータの取得技術を実現することを目的として
いる。
【0012】
【課題を解決するための手段】請求項1に記載の発明
は、画像撮影システムであって、被写体に対して所定の
位置関係で配置される基準物体と、可搬性のカメラシス
テムとを備え、前記カメラシステムが、測定装置と、前
記測定装置に対して相対的に回転可能な撮影手段を備
え、前記基準物体の画像を追尾して撮影可能な可動式撮
影装置と、姿勢センサにより前記測定装置の回転移動量
を検出する検出装置と、前記検出装置により検出された
前記回転移動量に基づいて、前記可動式撮影装置による
前記撮影手段の回転駆動制御を行い、それによって前記
基準物体の追尾制御を行う制御手段とを備え、前記可動
式撮影装置による前記基準物体の撮影結果に基づいて前
記測定装置の校正用パラメータが算出される。
【0013】請求項2に記載の発明は、請求項1に記載
の画像撮影システムであって、前記検出装置が、前記姿
勢センサとして、前記測定装置の回転移動量を検出する
ジャイロセンサを備え、前記制御手段が、前記ジャイロ
センサからの前記回転移動量に基づいて前記回転駆動制
御を行う。
【0014】請求項3に記載の発明は、請求項1または
請求項2に記載の画像撮影システムであって、前記検出
装置が、加速度の積分によって前記測定装置の平行移動
量を検出する平行移動量検出手段をさらに備え、前記制
御手段が、前記平行移動量に基づいて前記回転駆動制御
を行う。
【0015】請求項4に記載の発明は、請求項1ないし
請求項3のいずれかに記載の画像撮影システムであっ
て、前記可動式撮影装置による前記基準物体の撮影結果
とともに、前記回転移動量も利用して前記パラメータを
計算する。
【0016】請求項5に記載の発明は、請求項1ないし
請求項4のいずれかに記載の画像撮影システムであっ
て、前記制御手段は、前記基準物体上の注視点を前記撮
影手段の画角中の特定の位置に合致させるべく追尾制御
を行う。
【0017】請求項6に記載の発明は、請求項1ないし
請求項5のいずれかに記載の画像撮影システムであっ
て、前記基準物体が、所定のパターンが表示された角錐
面を持つ立体チャートである。
【0018】請求項7に記載の発明は、可搬性のカメラ
システムであって、測定装置と、前記測定装置に対して
相対的に回転可能な撮影手段を備え、被写体に対して所
定の位置関係で配置された基準物体の画像を追尾して撮
影可能な可動式撮影装置と、姿勢センサにより前記測定
装置の回転移動量を検出する検出装置と、前記検出装置
により検出された前記回転移動量に基づいて、前記可動
式撮影装置による前記撮影手段の回転駆動制御を行い、
それによって前記基準物体の追尾制御を行う制御手段と
を備え、前記可動式撮影装置による前記基準物体の撮影
結果に基づいて前記測定装置の校正用パラメータを算出
可能である。
【0019】請求項8に記載の発明は、請求項7に記載
のカメラシステムであって、前記検出装置が、前記姿勢
センサとして、前記測定装置の回転移動量を検出するジ
ャイロセンサを備え、前記制御手段が、前記ジャイロセ
ンサからの前記回転移動量に基づいて前記回転駆動制御
を行う。
【0020】請求項9に記載の発明は、請求項7または
請求項8に記載のカメラシステムであって、前記検出装
置が、加速度の積分によって前記被写体用撮影装置の平
行移動量を検出する平行移動量検出手段をさらに備え、
前記制御手段が、前記平行移動量に基づいて前記回転駆
動制御を行う。
【0021】
【発明の実施の形態】以下、本発明の好適な実施の形態
について、添付の図面を参照しつつ、詳細に説明する。
【0022】<1.実施の形態> <システム構成の概要>図1は、本発明の実施形態が適
用された画像撮影システム1の構成を示す図であり、図
2はこの画像撮影システム1のブロック図である。図1
において、画像撮影システム1は、立体的な被写体30
の画像を撮像可能な可搬性のカメラシステム10と、被
写体30を収容した空間内において、被写体30の近傍
に配置されたカメラ校正用の立体チャート2とを備えて
いる。立体チャート2は、被写体30に対して所定の位
置関係で配置される基準物体であり、3次元上の既知の
形状を有するように構成される。本実施の形態における
立体チャート2は、後に詳述するように、略角錐状の本
体の各側面にチャートパターンが施された立体物であ
り、チャート支持具250から吊り下げられている。チ
ャート支持具250は台座251から伸びる逆L字状の
アーム252を備え、立体チャート2はそのアーム25
2の先端付近に固定されている。好ましくは、立体チャ
ート2は被写体30の略上方に吊り下げられる。
【0023】カメラシステム10は、デジタルカメラと
しての機能を有する被写体撮影用カメラ(以下、「被写
体用カメラ」と略す)13を備えている。被写体用カメ
ラ13は測定装置として機能する。また、被写体用カメ
ラ13は、各種演算機能をも有する。また、この被写体
用カメラ13の上部には、取付機構12を介して可動式
カメラ11が姿勢変更自在に取り付けられている。可動
式カメラ11は、立体チャート2の上のパターン(図3
参照)に含まれる複数の単位図形UPを撮影することに
より、立体チャート2と可動式カメラ11との相対的な
位置姿勢関係を特定し、さらには立体チャート2に対し
て相対的に固定された絶対座標系における、被写体用カ
メラ13の位置および姿勢を検出するために使用され
る。さらに、被写体用カメラ13の左側面部にはカメラ
システム10の回転移動量および平行移動量を検出する
検出装置としてのジャイロ14が取り付けられている。
カメラシステム10は、全体として可搬性のシステムと
されており、ユーザが手に持って移動しながら被写体3
0の撮影をすることができるようにされている。
【0024】図1には示されていないが、図2にあるよ
うに、この画像撮影システム1は、例えば、ノートブッ
ク型の可搬性コンピュータ15を備えていてもよい。コ
ンピュータ15は通信インターフェイス15aを介した
無線通信によってカメラシステム10との間でコマンド
やデータの授受が可能である。
【0025】<立体チャート2の概要>図3は立体チャ
ート2の側面図である。立体チャート2は、立体チャー
ト本体203と、この立体チャート本体203の表面上
に形成されたチャートパターンCPとを有している。
【0026】このうち立体チャート本体203は、多角
錐形状の表示部204と、角錐台状の支持部205とが
一体化されており、内部は中空となっている。チャート
パターンCPは、表示部204の各側面T1〜Tn(nは
3以上の整数)上に付されたパターンP1〜Pnの集合で
ある。好ましくは、多角錐の側面の数nは、n=3〜3
6であり、より好ましくはn=6〜12である。各側面
T1〜Tnに形成されたそれぞれのパターンP1〜Pnは平
面的パターンであるが、パターンP1〜Pnが立体的に配
置されることにより、このパターンP1〜Pnの集合とし
てのチャートパターンCPは立体的パターンとなってい
る。それぞれのパターンP1〜Pnは、それぞれが単位図
形として機能する複数の台形の集合であり、その詳細は
後述する。
【0027】また、表示部204を構成する多角錐の頂
点には、可動式カメラ11がチャートパターンCPを追
尾(トラッキング)する際に基準点とするマーカ201
として、発光ダイオード(LED)が取り付けられてお
り、これによって容易かつ正確に立体チャート2の位置
が可動式カメラ11で認識できるようになっている。図
3では図示されていないが、立体チャート2の内部に
は、この発光ダイオードに発光電力を供給するためのマ
ーカ用電源202(図2)が内蔵されている。
【0028】<ジャイロ14の概要>図4は、本画像撮
影システム1における検出装置であるジャイロ14が被
写体用カメラ13(左側面部のみ図示)に取り付けられ
る様子を示した図である。ジャイロ14は、第1取付爪
147および第2取付爪148を有している。また、被
写体用カメラ13は取付機構として、第3取付溝13
3、第4取付溝134、可動爪135およびバネ136
を有している。ジャイロ14を被写体用カメラ13に取
り付ける際には、まず、第1取付爪147を第3取付溝
133に押し込み、さらに第2取付爪148を第4取付
溝134に押し込む。その際、可動爪135がその形状
により図4において上向きに移動し、第2取付爪148
が完全に押し込まれるとバネ136により図4において
下向きに移動する。これらの機構によりジャイロ14
は、被写体用カメラ13に取付られる。
【0029】図5は、ジャイロ14の内部構成を示す図
である。ジャイロ14は、図5に示すように回転移動量
を検出するジャイロセンサ140、平行移動量を検出す
る加速度センサ143および通信部144から構成され
る。
【0030】ジャイロセンサ140は、姿勢センサとし
ての機能を有し、リング振動子を振動させ、角速度が加
わったときのコリオリの力による振動方向の変化を測定
して角速度を検出し、その姿勢検出出力に基づいて回転
移動量データDSを生成する。また、加速度センサ14
3は、その検出した加速度の積分値から相対的な平行移
動量を算出して平行移動量データDLを生成する。この
ようなジャイロセンサおよび加速度センサを有する装置
として、例えば、データテック社(東京都大田区)のV
RセンサGU−3013等がある。
【0031】通信部144は、回転移動量データDSお
よび平行移動量データDLを被写体用カメラ13を介し
て可動式カメラ11に送信する。
【0032】<可動式カメラ11の概要>図6は可動式
カメラ11の正面図であり、図7は可動式カメラ11の
ブロック図である。図7に示すように、可動式カメラ1
1では、レンズユニット110と、このレンズユニット
110によって結像した2次元画像を光電変換する2次
元受光素子111とが一体となって球状ユニット116
に納められている。2次元受光素子111はCCDアレ
イである。レンズユニット110は、固定レンズ110
aとズームレンズ110bとの組み合わせであり、それ
らの間に絞り/シャッタ機構部110eが存在する。
【0033】図6に示すように、球状ユニット116は
姿勢装置113を介して固定部114に連結されてお
り、球状ユニット116に内蔵された各要素とともに固
定部114に対してパン方向の±約70°の旋回(θ回
転)と、チルト方向への±約70°の俯仰(φ回転)と
が可能になっている。そして、これらのパン方向の回転
駆動とチルト方向の回転駆動とを行うために、複数のピ
エゾ素子を内蔵した姿勢装置113が球状ユニット11
6の基部に配置されている。また、ズームレンズ110
bの駆動に相当するズーム操作も、上記とは別のピエゾ
素子によって行われる。これらのピエゾ素子にノコギリ
波信号を与えることにより、ピエゾ素子による駆動の対
象要素が寸動し、その繰返しによって対象要素に所要の
動きが与えられる。パン方向の旋回角とチルト方向の俯
仰角とは、それぞれエンコーダなどの角度センサ126
p、126tによって検出され、ズームレンズ110b
の駆動量はやはりエンコーダで構成されたセンサ126
zによって検出される。これらの駆動機構については、
たとえば特開平11−18000や、特開平11−41
504に開示されている。
【0034】制御演算部120は、2次元受光素子11
1からの信号を入力して画像認識などの処理を行う画像
処理部121と、この画像処理部121で得られた画像
信号を記憶する画像メモリ122とを備えている。ま
た、ズームレンズ110b、姿勢装置113、および絞
り/シャッタ機構部110eの駆動信号を発生して、こ
れらに出力するカメラ制御部123が設けられており、
画像処理部121およびカメラ制御部123は、通信部
124および通信デバイス112を介して、被写体用カ
メラ13と無線通信が可能である。この通信により画像
データが被写体用カメラ13に送信されるほか、各種情
報が可動式カメラ11と被写体用カメラ13との間で送
受信される。この実施形態の可動式カメラ11では、通
信デバイス112として、赤外線通信を行うためのIR
DA(Infrared Data Association)インターフェイス
に対応した赤外線素子が使用されている。
【0035】図6に示すように、固定部114に設けら
れた第1取付溝115aおよび第2取付溝115bは、
被写体用カメラ13に固定部114を取り付けるために
用いられる。さらに、追尾ボタン117は、可動式カメ
ラ11に立体チャート2を自動的に追尾させるモード
(以下、「自動追尾モード」と略す)と被写体用カメラ
13からのユーザの指示により追尾させるモード(以
下、「手動モード」と略す)とを切り換えるためのボタ
ンである。
【0036】図8はハードウエア構成から見た可動式カ
メラ11の情報処理機能の要部を示す図であり、図9は
可動式カメラ11におけるデータの流れを示す図であ
る。図8において、可動式カメラ11の制御演算部12
0はCPU130、ROM131およびRAM132を
備えており、後記の各種の動作を実現するプログラム1
31aはROM131に記憶されている。
【0037】2次元受光素子111は、画素ごとにRG
Bのいずれかのフィルタが付設されており、2次元受光
素子111上に結像した光は、この2次元受光素子11
1によってRGB3原色成分ごとに光電変換される。こ
れによって得られた信号がA/D変換部141によって
デジタル画像信号に変換され、画像補正部142におい
てホワイトバランス補正やγ補正等を受ける。補正後の
画像信号は画像メモリ122に保存される。図9におけ
る第1画像データD1は、この補正後の画像信号に相当
する。
【0038】図9の認識部145、姿勢制御部146
は、CPU130、ROM131、RAM132などの
機能の一部として実現される。
【0039】認識部145は、追尾ボタン117からの
ユーザの指示に応答して能動化され、ジャイロ14が検
出した回転移動量データDSおよび平行移動量データD
Lから立体チャート2を追尾するための、追尾データD
Fを作成する。
【0040】姿勢制御部146は、手動モードにおいて
被写体用カメラ13から受信したユーザの指示に基づ
き、姿勢装置113を制御する。追尾ボタン117が押
下され、自動追尾モードに変更された後においては、追
尾データDFに基づいて、立体チャート2の像が2次元
受光素子111上に常に結像されるように、姿勢装置1
13を制御する。
【0041】CPU130はさらに、後述する処理によ
って図9の回転角データDRを作成する機能をも有す
る。
【0042】また、被写体用カメラ13のシャッタボタ
ンが押下されると、第1画像データD1と回転角データ
DRとは、通信部124を介して校正用情報処理装置と
しての被写体用カメラ13に送信され、各種演算に用い
られる。すなわち、可動式カメラ11は、被写体用カメ
ラ13のシャッタボタンに連動して第1画像データD1
の取得を行うことができるよう制御されている。
【0043】<自動追尾の原理>図10は、可動式カメ
ラ11における自動追尾動作の詳細を示す流れ図であ
る。まず、手動モードにおいて可動式カメラ11の画角
に立体チャート2のマーカ201が入るように調整し
(ステップS21)、追尾ボタン117を押下して(ス
テップS22)自動追尾モードにモードを変更する。
【0044】認識部145は、通信部124を介してジ
ャイロ14が検出した回転移動量データDSおよび平行
移動量データDLを取得し(ステップS23)、姿勢装
置113に必要な回転量を算出して(ステップS2
4)、追尾データDFを生成する(ステップS25)。
【0045】図11は、ジャイロセンサ140の検出し
た回転移動量および平行移動量に基づいて、可動式カメ
ラ11が立体チャート2の自動追尾を行う様子を示した
図である。図11の可動式カメラ11aは、位置Ck0
おいて立体チャート2の注視点P0を捉えている状態を
示し、可動式カメラ11bは、可動式カメラ11aの状
態から位置Ck1の位置に移動した直後の状態を示す。
【0046】可動式カメラ11aの状態での姿勢装置1
13による撮影方向を示すベクトルB1は、 B1=(P0−Ck0)/|P0−Ck0| ・・・ (数1) で表せる。
【0047】さらに、可動式カメラ11bの状態での姿
勢装置113による撮影方向を示すベクトルB2は、カ
メラシステム10全体の回転行列Rgcが加わっているた
め、ベクトルB1とは平行にはならず、 B2=Rgc・B1 ・・・ (数2) となる。
【0048】位置Ck1において、可動式カメラ11が立
体チャート2の注視点P0を捉えるためには、姿勢装置
113による撮影方向は図11に示すベクトルB3とな
らなければならない。ベクトルB3は、 B3=(P0−Ck1)/|P0−Ck1| ・・・ (数3) と表せるから、可動式カメラ11bが注視点P0を自動
追尾するために姿勢装置113に必要な回転は回転行列
Rを用いて、 B3=R・B2 ・・・ (数4) と表せる。すなわち、数1ないし数4により、 (P0−Ck1) / |P0−Ck1|=R・Rgc・(P0−Ck0) / |P0−Ck0| ・・・(数5) が得られる。ここで、加速度センサ143から得られる
平行移動ベクトルTgc(平行移動量データDL)と被写
体用カメラ13の回転中心Ccを用いると、 Ck1=Tgc+Rgc・(Cc−Ck0)+Ck0 ・・・ (数6) である。
【0049】したがって、数5および数6より姿勢装置
113を制御するために必要な回転を示す回転行列Rが
求まる。なお、可動式カメラ11の視点位置とレンズの
回転中心を一致させていれば姿勢装置113の回転は、 R・Rgc=R(θ,φ) ・・・ (数7) となるθ,φを求めて追尾データDFとし、姿勢制御部
146が追尾データDFに基づいて姿勢装置113を回
転制御すれば(ステップS26)、可動式カメラ11が
立体チャート2を常に撮影することができる。そして、
さらにステップS23からの処理を繰り返す。
【0050】これにより、可動式カメラ11が移動した
場合にも、ジャイロ14から得られた回転移動量データ
DSおよび平行移動量データDLに基づいて、高速かつ
容易に立体チャート2上の注視点を可動式カメラ11の
画角中の特定の位置に合致させるべく追尾制御を行うこ
とができ、後述の処理に必要な立体チャート2が画角の
中央に撮影されている第1画像データD1を、ユーザが
意識することなく常に撮影することができる。
【0051】<被写体用カメラ13の概要>図12は、
ハードウエア構成から見た、被写体用カメラ13の情報
処理機能の要部を示す図であり、図13は、被写体用カ
メラ13におけるデータの流れを示す図である。被写体
用カメラ13はCPU150、RAM151およびRO
M152を備えており、後述する被写体用カメラ13の
各種の動作を実現するプログラム152aは、ROM1
52に記憶されている。また、シャッタボタン161、
フラッシュ162、背面に設置されたモニタ用のカラー
ディスプレイ163、および操作ボタン類164などの
要素も、CPU150と電気的に結合している。
【0052】図12および図13に示すように、レンズ
ユニット155を介して被写体30から入射した光は、
画素ごとにRGBのいずれかのフィルタが付設された、
CCDアレイなどの2次元受光素子156上に結像し、
2次元受光素子156によってRGB3原色成分ごとに
光電変換される。これによって得られた信号が、A/D
変換部157によってデジタル画像信号に変換され、画
像補正部158においてホワイトバランス補正やγ補正
等を受ける。補正後の画像信号は画像メモリ159に記
憶される。シャッタボタン161が押下されることによ
り撮影は実行され、画像メモリ159に記憶された画像
信号が、第2画像データD2としてRAM151に保存
される。
【0053】通信部167は、通信デバイス168を介
して、可動式カメラ11との間で、可動式カメラ11の
各部の制御信号や、取得した画像データ等の各種情報を
送受信する。たとえば、手動モードにおいて、ユーザが
操作ボタン類164の一部を操作することにより得られ
た信号を、可動式カメラ11に送信することにより、可
動式カメラ11の姿勢装置113を、ユーザの手動によ
って操作することが可能となる。また、被写体用カメラ
13のシャッタボタン161の押下に応答して、被写体
用カメラ13と可動式カメラ11の同時撮影を行うこと
も可能となる。
【0054】通信デバイス168は、可動式カメラ11
と赤外線通信を行うためのIRDA(Infrared Data As
sociation)インターフェイスとしての赤外線素子であ
り、通信部167によって駆動される。
【0055】カードスロット165は被写体用カメラ1
3にメモリカード166を装着するために使用され、こ
のメモリカード166には撮影した画像データ等を保存
可能である。
【0056】図13の抽出部171、演算部173およ
び表示制御部174は、図12のCPU150、RAM
151、ROM152等により実現される機能である。
【0057】抽出部171は、通信部167を介して可
動式カメラ11から受信した第1画像データD1から、
立体チャート2上の4点の抽出を行い、第1抽出点デー
タDP1を作成する。また、抽出部171は、同様に、
被写体用カメラ13により取得された第2画像データD
2から立体チャート2上の4点の抽出を行い、第2抽出
点データDP2を作成する。
【0058】演算部173は、第1抽出点データDP
1、回転角データDR、および第2抽出点データDP2
から、可動式カメラ11と被写体用カメラ13との相対
的な位置と姿勢を求め、相対位置データDPSを作成す
る。さらに、第1抽出点データDP1、回転角データD
R、回転移動量データDS、および相対位置データDP
Sから、被写体用カメラ13と立体チャート2との相対
的な位置と姿勢を求め、撮影データDMを作成する。撮
影データDMは、RAM151に保存される。
【0059】表示制御部174は、操作ボタン類164
からのユーザの指示に基づいて、第2画像データD2
と、撮影データDMとを、RAM151から取得して、
メモリカード166に保存する。また、表示制御部17
4は、各種データに必要な処理を行ってディスプレイ1
63に表示させたり、メモリカード166に保存されて
いる各種データをRAM151上に読み出したりする機
能をも有する。
【0060】<カメラ校正の原理>任意の方向から被写
体用カメラ13で被写体30を撮影して画像を得たとき
には、その撮影を行った際の、立体チャート2またはそ
れに固定された絶対座標系に対する、被写体用カメラ1
3の相対的な位置および姿勢を、外部パラメータとして
特定しておく必要がある。それは、複数の方向からの撮
影で得た各画像を組み合わせて被写体30の3次元画像
モデルを構築するあたっては、各画像の空間的相互関係
が必要だからである。
【0061】しかしながら、実際に被写体30を撮影す
るときには、被写体用カメラ13の画角内に立体チャー
ト2を入れることが困難な場合がある。そこで、 X0:立体チャート2に固定された座標系(絶対座標
系); X1:可動式カメラ11に固定された座標系(第1ロー
カル座標系); X2:被写体用カメラ13に固定された座標系(第2ロ
ーカル座標系); τ01:第1ローカル座標系X1から絶対座標系X0への変
換関係; τ02:第2ローカル座標系X2から絶対座標系X0への変
換関係; τ12:第2ローカル座標系X2から第1ローカル座標系
1への変換関係; とするときに成り立つ、次の関係を利用する。(τ01
τ02、τ12および後述のQ0、Q2は図示していない) τ02 = τ01・τ12 ・・・ (数8) 変換関係τ01、τ12が既知であれば、変換関係τ02が求
められる。変換関係τ 02が求められれば、2次元画像を
撮影した被写体用カメラ13の第2ローカル座標系X2
における位置・姿勢は、この変換関係τ02を作用させる
ことにより、絶対座標系X0における位置・姿勢として
求められる。絶対座標系における被写体用カメラ13の
位置・姿勢を表す行列をQ0、第2ローカル座標系X2
おける被写体用カメラ13の位置・姿勢を表す行列をQ
2とすると、 Q0 = {τ01・τ12}Q2 = τ02・Q2 ・・・ (数9) のように求まることになる。
【0062】したがって、被写体30に対して移動しつ
つ被写体用カメラ13で被写体30を撮影するつど、そ
の撮影に対応する変換関係τ02を求めて、これを撮影画
像に付随させれば、複数の方向で撮影した画像をX0
組み合わせて被写体30の3次元画像モデルを得ること
ができる。
【0063】この原理を実現する具体的プロセス(詳細
は後述)は、第1サブプロセスと第2サブプロセスとに
大別される。
【0064】※第1サブプロセス:これは、2つのカメ
ラ座標系間の変換関係τ12を特定するための、サブプロ
セスである。
【0065】まず、立体チャート2を可動式カメラ11
と被写体用カメラ13とで同時に撮影し、それらの撮影
結果を用いて、それぞれのカメラの外部パラメータ、す
なわち絶対座標系X0でのそれぞれのカメラの位置およ
び姿勢を求める。
【0066】これは、その状態での変換関係τ02、τ01
を特定することに対応する。そして、数8から得られ
る、 τ12 = (τ01-1 τ02 ・・・ (数10) の関係から、第1ローカル座標系X1と第2ローカル座
標系X2との変換関係τ12を得る。
【0067】また、可動式カメラ11の回転角θ,φの
値は、それぞれ角度センサ126p、126tによって
検出される既知の値であるから、変換関係τ12から回転
角依存部分を分離して、可動式カメラ11が基準姿勢
(θ = 0、φ = 0)にあるときの基準変換関係τ
12(0,0)を求めることができる。この基準変換関係τ
12(0,0)は、カメラシステム10を移動させたり、可動
式カメラ11を回転させても不変なオペレータである。
基準変換関係τ12(0,0)が定まると、変換関係τ12は、
回転角θ,φを変数として持つことになる。
【0068】このようにして得られた変換関係τ12は、
絶対座標系X0におけるカメラシステム10全体の位置
や姿勢に依存しないので、カメラシステム10を他の場
所に移動させてもそこでの変換演算に利用できる。
【0069】※第2サブプロセス:これは、第1サブプ
ロセスの結果を使用しつつ、被写体30を複数の方向か
ら撮影して画像データを得るとともに、それらの画像デ
ータのそれぞれにつき、第2ローカル座標系X2から絶
対座標系X0への変換関係τ02に相当する情報を付加し
ていくサブプロセスである。
【0070】第2サブプロセスでは、被写体用カメラ1
3で被写体30を撮影すると同時に、可動式カメラ11
で立体チャート2を撮影する。可動式カメラ11で撮影
した立体チャート2の画像データから、第1ローカル座
標系X1から絶対座標系X0への変換関係τ01が特定され
る。
【0071】一方、第1サブプロセスによって、第2ロ
ーカル座標系X2から第1ローカル座標系X1への変換関
係τ12の回転角依存性は特定されているから、被写体3
0を撮影するときの回転角θ,φの値から、変換関係τ
12の具体的内容が特定される。したがって、変換関係τ
12およびτ01を合成した変換関係τ02を、数11から得
ることができる。
【0072】 τ02 = τ01・τ12 ・・・ (数11) そして、この変換関係τ02を表現する情報を、被写体用
カメラ13で得た画像に付随させて記憶する。
【0073】またこの第2サブプロセスは、複数の方向
から被写体30を撮影するつど実行され、それによっ
て、3次元画像モデルを得るための一群の情報が得られ
ることになる。
【0074】<撮影および校正プロセス>図14および
図15は、上記の原理にしたがった撮影および校正プロ
セスを示す図である。このうちステップS1からステッ
プS5までは、可動式カメラ11と被写体用カメラ13
とで立体チャート2を同時に撮影することによって、両
者の相対位置・姿勢を求める、上記第1サブプロセスに
対応する。また、ステップS6以後が、実際に被写体3
0の撮影を行う上記第2サブプロセスに対応する。
【0075】(1) カメラ間の相対位置の決定(第1
サブプロセス):まず、可動式カメラ11と被写体用カ
メラ13とのそれぞれが、自身で保持している内部パラ
メータの情報を読み出す(ステップS1)。なお、内部
パラメータは受光素子の各画素の視線方向を特定するた
めのパラメータであり、レンズシステムの焦点距離、レ
ンズ光軸と受光素子の位置関係、画素ピッチなどであ
る。これらのパラメータは予め校正されている。
【0076】この後、ユーザはカメラシステム10を手
に持ち、被写体用カメラ13を立体チャート2に向け
る。次に、この姿勢を保ちながら、立体チャート2が可
動式カメラ11の画角に入るように、レンズユニット1
10の回転角度を手動で指定する(ステップS2)。こ
の動作の際には、可動式カメラ11の出力画像がディス
プレイ163にライブ表示されており、これによってユ
ーザは、立体チャート2が可動式カメラ11の画角に入
ったかどうかを視覚的に確認できる。
【0077】立体チャート2が可動式カメラ11の画角
の中に入った後、ユーザが追尾ボタン117を押すと、
自動追尾プログラムが能動化される。姿勢制御部146
から姿勢装置113に駆動出力が与えられて、マーカ2
01を追尾しつつ、立体チャート2が常に画角の中央に
くるように、可動式カメラ11が自動制御されるように
なる(図10のフローチャート参照)。ここでユーザが
シャッタボタン161を押すと、可動式カメラ11にお
いて第1画像データD1が、被写体用カメラ13におい
て第2画像データD2が得られる(ステップS3)。図
16に可動式カメラ11と被写体用カメラ13とで同時
に得られた画像データの例を示す。このうち、図16
(a)が可動式カメラ11の撮像画像例、図16(b)
が被写体用カメラ13の撮像画像例である。図16
(a)、(b)のいずれにおいても、画像平面をxy直
交座標系で定義された平面とし、xy平面に垂直で、画
像より手前に向かう方向をz軸としている。なお、第i
層という呼び方については、後述する図22での定義に
準じている。
【0078】撮影が完了すると、第1画像データD1お
よび姿勢装置113の回転角データDRが、通信によっ
て可動式カメラ11から被写体用カメラ13に送られ、
図16(a)、(b)で共通の4つの格子点C1〜C4
の2次元座標値をそれぞれの画像平面上で特定し(第1
抽出点データDP1および第2抽出点データDP2を作
成することに相当する。)、それらの2次元座標値を前
述の多点アルゴリズムで処理することによって、第1画
像データD1および立体チャート2を撮影した第2画像
データD2に基づいて、可動式カメラ11、および被写
体用カメラ13の撮影位置と立体チャート2との相対位
置および相対姿勢に依存するそれぞれのカメラの外部パ
ラメータを計算することができ、絶対座標系におけるそ
れぞれのカメラの位置と姿勢を求めることができる(ス
テップS4)。なお、この計算に必要な情報が得られな
い場合には、ステップS3に戻って立体チャート2の撮
影を繰り返す。
【0079】この外部パラメータの算出は、 1) カメラの内部パラメータ、および 2) 絶対座標系に固定された同一平面上にある4点以上
の点の3次元座標値、が既知であり、かつ、 3) これらの点に対応する撮影画像上の点の2次元座標
値が算出可能、という条件の下で行うことができる。
【0080】次に、ステップS4で得られた可動式カメ
ラ11および被写体用カメラ13のそれぞれの外部パラ
メータと、可動式カメラ11の回転角データDRとか
ら、可動式カメラ11と被写体用カメラ13との相対位
置・姿勢(相対位置データDPS)が求められる(ステ
ップS5)。
【0081】ステップS5において用いられる座標変換
の様子を図17に示す。図17における各座標系などの
定義は以下の通りである。
【0082】X0 …立体チャート2に対して相対的に固
定された3次元直交座標系(絶対座標系); θ …可動式カメラ11の旋回角; φ …可動式カメラ11の俯仰角; X1(θ,φ) …可動式カメラ11からの観測空間に相当
する3次元直交座標系(第1ローカル座標系); X1h …角度θ,φの双方がゼロの場合の第1ローカル座
標系; X2 …被写体用カメラ13からの観測空間に相当する3
次元直交座標系(第2ローカル座標系)。
【0083】ステップS4によって可動式カメラ11お
よび被写体用カメラ13のそれぞれの外部パラメータが
得られるため、絶対座標系X0 における第1ローカル座
標系X 1(θ,φ)の位置および姿勢が決定され、したがっ
て第1ローカル座標系X1(θ,φ)から絶対座標系X0 への
座標変換が、回転行列RC1、および平行移動ベクトルTC1
を用いて、 X0 = RC1X1(θ、φ)+TC1 ・・・ (数12) のように定まる。同様に、第2ローカル座標系X2 から
絶対座標系X0 への座標変換が、回転行列RC2、および
平行移動ベクトルTC2 を用いて、 X0 = RC2X2+TC2 ・・・ (数13) のように定まる。これら数12、数13がそれぞれ、既
述した変換関係τ01、τ 02 に相当する。
【0084】回転角θ,φがゼロでないことによる回転
変換は、可動式カメラ11の姿勢装置113が有する回
転機構の設計データから、回転行列RX(θ,φ)および平
行移動ベクトルTX(θ,φ)を用いて、 X1 = RX(θ,φ)X1h+TX(θ,φ) ・・・ (数14) の形式で得られる。第2ローカル座標系X2 から、回転
角θ,φがともにゼロのときの第1ローカル座標系X1h
への座標変換が、回転行列Rh および平行移動ベクトル
Th を用いて、 X1h= RhX2+Th ・・・ (数15) と表されるとすると、数15が、変換関係τ12(0,0)に
相当する。また、数15を数14に代入すると、 X1 = Rm(θ,φ)X2+Tm(θ,φ) ・・・ (数16) が得られる。ただし、 Rm(θ,φ) = RX(θ,φ)Rh ・・・ (数17) Tm(θ,φ) = RX(θ,φ)Th +TX(θ,φ) ・・・ (数18) である。数16ないし数18が、変換関係τ12 に相当
する。
【0085】したがって、立体チャート2上を可動式カ
メラ11と被写体用カメラ13とで同時に撮影したそれ
ぞれの画像から、第1抽出点データDP1と第2抽出点
データDP2とを求め、さらにそれぞれのカメラの外部
パラメータを求めれば、既述した変換関係τ12 に相当
するものとしての数16ないし数18の変換式が特定さ
れる。これが図13の相対位置データDPSである。な
お、可動式カメラ11の外部パラメータを外部パラメー
タPM1、立体チャートを撮影したときの被写体用カメ
ラ13の外部パラメータを外部パラメータPM2とす
る。また、角度θ、φの具体的な値は角度センサ126
p、126tによって回転角データDRとして検出され
る。
【0086】これにより、外部パラメータPM1、外部
パラメータPM2および回転角データDRに基づいて、
可動式カメラ11の基準姿勢における撮影位置と被写体
用カメラ13の撮影位置との相対位置および相対姿勢に
依存する相対位置データDPSを計算することができ、
これを用いて後述の処理(第2サブプロセス)を行うこ
とによって、被写体用カメラ13の校正を行うことがで
きる。
【0087】(2) 被写体の撮影とカメラの校正(第
2サブプロセス):ステップS5が終了すると、被写体
30の撮影を行うため、カメラシステム10を適宜移動
させる。このとき、可動式カメラ11は、ジャイロ14
からの情報(回転移動量データDSおよび平行移動量デ
ータDL)に基づいて、自動追尾により常に立体チャー
ト2を画角に捉えている(ステップS6)。
【0088】被写体用カメラ13によって被写体30
が、可動式カメラ11によって立体チャート2がそれぞ
れ撮影可能な状態になったところで、被写体用カメラ1
3のシャッタボタン161を押下すると、それぞれのカ
メラで同時に撮影が行われる(ステップS7)。図18
に、可動式カメラ11および被写体用カメラ13で得ら
れた画像例を示す。図18(a)が可動式カメラ11の
撮像で得られる画像例であり、図18(b)が被写体用
カメラ13の撮像画像例である(楕円によって被写体3
0の画像を単純化してある)。座標軸の取り方について
は図16と同様である。図18(a)の状態では、立体
チャート2から可動式カメラ11までの距離や方向が図
16(a)とは異なっているため、可動式カメラ11は
立体チャート2のうち図16(a)とは異なる部分を撮
影している。しかしながら、可動式カメラ11がマーカ
201を自動追尾していることによって、マーカ201
は常に可動式カメラ11の画角内の同一位置に写ってい
る。
【0089】このとき、可動式カメラ11で得られた第
1画像データD1から、ステップS4と同様に、可動式
カメラ11の絶対座標系X0における位置および姿勢(外
部パラメータPM1)が求められる(ステップS8)。
【0090】この可動式カメラ11の外部パラメータP
M1と、ステップS5で求めた相対位置データDPS、
ステップS7における可動式カメラ11の回転角θ、φ
のそれぞれの値θ'、φ'、および回転移動量データDS
から、被写体用カメラ13の、立体チャート2に対する
相対位置・姿勢(すなわち被写体用カメラ13の外部パ
ラメータ)が求められる(ステップS9)。
【0091】上記のステップS9において用いられる座
標変換の様子を、図19に示す。図19において、座標
系X0、X1(θ,φ)、X2などの記号の定義は、図17と共
通である。被写体撮影時の、可動式カメラ11のカメラ
回転角をθ’、φ’とする。
【0092】可動式カメラ11によって得られる立体チ
ャート2の画像を、多点解析アルゴリズムで解析するこ
とにより、絶対座標系X0における可動式カメラ11の位
置と姿勢(すなわち可動式カメラ11の外部パラメータ
PM1)が特定され、それによって可動式カメラ11の
第1ローカル座標系X1(θ’,φ’)との変換関係: X0 = RCP1X1(θ',φ')+TCP1 ・・・ (数19) が定まる。
【0093】また、第1ローカル座標系X1(θ’,φ’)
と第2ローカル座標系X2 との変換関係は、数16ない
し数18によって、 X1(θ',φ') = Rm(θ',φ')X2+Tm(θ',φ') ・・・ (数20) Rm(θ',φ') = RX(θ',φ')Rh ・・・ (数21) Tm(θ',φ') = RX(θ',φ')Th +TX(θ',φ') ・・・ (数22) で与えられる。
【0094】よって、数19ないし数22により、第2
ローカル座標系X2 で表現された位置および姿勢から、
絶対座標系X0 での位置および姿勢に変換する変換関係
が、 X0 = RCP1 Rm(θ',φ')X2+RCP1Tm(θ',φ')+TCP1 ・・・ (数23) のように得られる。
【0095】ここで、ジャイロ14から得られる回転行
列Rgcを用いると、 Rgc = RCP1 Rm(θ',φ') ・・・ (数24) であるから、 RCP1 = RgcRm -1(θ',φ') ・・・ (数25) となり、回転行列RCP1 を画像から求めることなく得る
ことができる。すなわち、画像からはTCP1 のみを計算
すればよく、未知のパラメータが少なくなり、高速で安
定した計算が可能となる。
【0096】数23に現れている諸量のうち、平行移動
ベクトルTCP1 は可動式カメラ11についてのものであ
って、可動式カメラ11の外部パラメータPM1から決
定される。また、回転行列Rm(θ',φ')および平行移動
ベクトルTm(θ',φ')は、あらかじめ特定しておいた関
数形Rm(θ,φ)、Tm(θ,φ)に、角度センサ126p、
126tによって検出された角度値θ',φ'を代入して
決定される。
【0097】したがって、数23を、 X0 = RCP2X2+TCP2 ・・・ (数26) RCP2 = RCP1 Rm(θ',φ') = Rgc ・・・ (数27) TCP2 = RCP1Tm(θ',φ')+TCP1 ・・・ (数28) の形に変形すると、回転行列RCP2および平行移動ベクト
ルTCP2は、被写体用カメラ13の外部パラメータを表現
した内容となっている。それらは撮影データDM(図1
3)として、第2画像データD2とともに保存され、第
2画像データD2に基づいて3次元画像モデルを構築す
る際に、複数の方向から得られた被写体30の画像を組
み合わせるために使用される。この3次元画像モデルの
構築は、コンピュータ15で行ってもよく、他の演算シ
ステムで行ってもよい。
【0098】撮影データDMが求まると、被写体30の
第2画像データD2とともに、撮影時の被写体用カメラ
13の撮影データDMが、RAM151、あるいはメモ
リカード166に記録される(ステップS10)。
【0099】その後、必要な数の第2画像データD2、
およびそれぞれについての撮影データDMが得られるま
で撮影を繰り返し(ステップS11)、この第2サブプ
ロセスは完了する。
【0100】これにより、演算部173が、回転移動量
データDSに基づいて、被写体用カメラ13の撮影位置
と立体チャートとの相対位置および相対姿勢に依存する
被写体用カメラ13の校正用の撮影データDMを計算す
ることができ、撮影データDMを用いて前述のシェープ
・フロム・シルエット法によって被写体30の3次元画
像モデルを構築することができる。
【0101】<複比のコーディングによるチャートの識
別>ここからは、立体チャート2の側面のコーディング
の方法について説明する。図3に示すように、立体チャ
ート本体203の表示部204は正多角錐であり、その
各側面T1〜Tnは同一の二等辺三角形状をしている。そ
の表面には、当該側面を構成する三角形の底面方向DR
1(図20参照)に平行な複数の直線L1と、立体チャ
ート2の頂点に相当する頂点x0を通る放射線状の複数の
直線L2とが描画されている。これらの直線の交差によ
って作られる台形形状の単位図形UP(以下これを「単
位台形」という)は、画像処理の際に直線の抽出が容易
になるよう、交互に異なる明度の色で塗り分けられて高
コントラストパターンとされている。典型的には第1の
組の単位台形UP1が黒であり、第2の組の単位台形U
P2が白である。
【0102】そして、これらの単位台形UPのサイズ
が、複比によりコーディングされている。より具体的に
は、 1) これらの単位台形UPを成す直線群L1の相互間の
間隔と、 2) 直線群L1と直線群L2との交点(格子点)の底面
方向DR1における間隔と、のそれぞれを、複比により
コーディングする。図21にこの複比の概念を示すが、
複比は任意の視点を通した空間射影によって変化しない
値であり、3次元空間に存在する直線上の4点P1〜P4
から求められる複比DR: DR=Va/Vb ・・・ (数29) Va=dis(P0P1)・dis(P2P3) ・・・ (数30) Vb=dis(P0P2)・dis(P1P3) ・・・ (数31) ただし、記号dis(P0P1)は点P0と点P1との距離を示
す:は、その直線を視点Oを通して任意の平面上に射影
したときに、それら4点P1〜P4に対応する4点P'1〜
P'4から求まる複比DR': DR'=Va'/Vb' ・・・ (数32) Va’=dis(P'0P'1)・dis(P'2P'3) ・・・ (数33) Vb’=dis(P'0P'2)・dis(P'1P'3) ・・・ (数34) と等しいことが知られている。
【0103】この性質を利用すると、図3および図20
に示したような単位台形UPを成す直線群L1相互の間
隔を、各単位台形UPを形成する層ごとに複比でコーデ
ィングし、かつ底面方向DR1での格子点相互の間隔
を、各側面T1〜Tnごとに異なる複比でコーディングし
ておくと、立体チャート2を可動式カメラ11や被写体
用カメラ13で撮影した画像に含まれている各単位台形
UPが、立体チャート2の側面T1〜Tnのうちのどの側
面に存在する、どの単位台形であるかを、一意的に識別
できるようになる。以下にその一例を示す。
【0104】図20では、底面に垂直な方向(頂点方向
DR2)に配列する直線L1の間隔が、複比によってコ
ーディングされた例を示している。複数の単位台形のう
ち、互いに連続する3つの単位台形の高さの複比が、3
つの単位台形の組ごとに異なるようにコーディングされ
ている。
【0105】すなわち、立体チャート2の頂点x0を端点
として、底辺に平行な直線x1、x2…が定義されてお
り、「第i層」を、「直線xiと直線x(i+1)との間の領
域」として定義するとき、第i層〜第(i+3)層(i=1,
2,…)の、頂点方向DR2方向のそれぞれの位置の複比
DRiが、 DRi=Vai/(Vbi・Vb(i+1)) ・・・ (数35) Vai=dis(xix(i+1))・dis(x(i+2)x(i+3)) ・・・ (数36) Vbi=dis(xix(i+1))+dis(x(i+1)x(i+2)) ・・・ (数37) Vb(i+1)=dis(x(i+1)x(i+2))+dis(x(i+2)x(i+3)) ・・・ (数38 ) ないしは、これを書き換えて、 DRi=Vai/VBi ・・・ (数39) Vai=dis(xix(i+1))・dis(x(i+2)x(i+3)) ・・・ (数40) VBi=dis(xix(i+2))+dis(x(i+1)x(i+3)) ・・・ (数41) と定義され、それぞれの複比DRiが図22に示すよう
な値とされている。それぞれの単位台形は、角錐体の底
面に近いほどサイズ(幅および高さ)が増大している。
【0106】また、この実施形態では、頂点方向DR2
の直線x1、x2・・・の間隔の移動平均は、頂点からの
距離に略比例するように決められている。すなわち、図
22から各層の位置は、「17.000、22.500、31.000…」
であって、それらの差は 5.500(=22.500−17.000) 8.500(=31.000−22.500) … となっており、これら一連の差のうち連続した4つの移
動平均は図23のようになる。図23からわかるよう
に、各層の位置の差(層の厚さ)の移動平均は漸増して
いるが、「移動平均/(頂点からの層の)位置」すなわ
ち比例係数に相当する値の変動は、約20%以内であ
る。したがって、移動平均は、頂点からの距離にほぼ比
例している。
【0107】一方、頂点を中心として放射状に伸びる直
線y1、y2…と、上記直線x1、x2…の交点の、底面方
向DR1についての間隔については、立体チャート2の
各側面T1〜Tnが相互に識別できるように決定してお
く。図24に、立体チャート2が六角錐である場合の例
を示す。図20および図24においてa、b、c、dは
底辺における直線y1、y2…間の間隔である。
【0108】この例では、 DRα=(a・c)/{(a+b)・(b+c)} ・・・ (数42) DRβ=(b・d)/{(b+c)・(c+d)} ・・・ (数43) として定義される2種類の複比DRα、複比DRβのそ
れぞれが、 1) それぞれの側面Tj(j=1〜6)の中では、直線x
1、x2…のいずれにおいても、直線y1、y2…とのそれ
ぞれの交点の列について共通であり、かつ 2) 異なる側面の相互では互いに異なる、ように、それ
らの値がコーディングされている。
【0109】<撮影箇所の同定>図25は、可動式カメ
ラ11や被写体用カメラ13による立体チャート2の撮
影において、立体チャート2のどの部分が撮影されてい
るのかを同定するプロセスを示すフローチャートであ
る。図26は、直線のグルーピングについての説明図で
ある。
【0110】※直線のグルーピング:まず、撮像された
画像の濃淡のエッジを抽出する(ステップS91)。エ
ッジを抽出する方法は、Sobelオペレータなど様々な手
法が知られており、たとえば、長尾真著「画像認識論」
コロナ社,1983に開示されたアルゴリズムを使用する。
図26(a)の画像について、エッジを抽出した例が図
26(b)である。
【0111】次に、抽出されたエッジから直線を抽出す
る(ステップS92)。直線を抽出する方法は、HOUGH
変換が一般的な手法として知られており、たとえば上記
長尾真の文献に記載された方法を用いてエッジ画像から
複数の直線を抽出し、撮像上の2次元平面における直線
の式を決定できる。図26の(b)について、エッジを
抽出した例が図26(c)である。
【0112】抽出された複数の直線は、直線の性質ごと
に以下のような複数のグループにグルーピングされる
(ステップS93)。
【0113】・平行な直線群(以下これをαiとする。i
は傾きが同じ直線群を表す); ・αiに属する各々の直線の端点を通る直線(これをβ
とする); ・αiに交差する直線群(以下これをγiとする。iは交
差する直線群αiのiと対応している)。
【0114】図26(c)の例では、各直線が、傾きの
異なる2つの直線群α1、α2と、これらに対応する直線
群γ1およびγ2、さらに交差直線βにグルーピングされ
ることになる。
【0115】さらに、交差直線βおよびγiは1点で交
わっていることから、この交点が立体チャート2のマー
カ201に相当する。これより、立体チャート2を成す
錐の辺に相当する直線が直線β、底面に平行な直線が直
線αi、錐の側面を通る直線が直線γiであると判断する
ことができる。これにより、画像上の単位台形のそれぞ
れに関連する交点の複比を算出する。
【0116】※撮影箇所の同定:まず、撮影を行う前
に、立体チャート2の各側面T1〜Tnにおける直線群に
ついて、絶対座標系X0で表した交点(格子点)の座標
と、それらの交点の間隔から計算される複比のデータと
を、RAM151(図12)にあらかじめ記憶してお
く。そして、可動式カメラ11または被写体用カメラ1
3によって立体チャート2を撮影した際に、それによっ
て得られた画像から、頂点方向DR2に連続する3つの
層、ないしは単位台形を特定して、それらの高さから複
比を算出する。
【0117】図27に、立体チャート2の同じ側面を、
異なる距離から撮影したときの画像例を示す。図27
(a)は遠距離から、図27(b)は近距離から撮影し
た例である。単位台形の頂点方向DR2の間隔は、頂点
からの距離に略比例している。
【0118】直線の間隔についての複比を計算するに
は、同一直線上で連続する4点が観測できればよい。す
なわち、画角内にあり、かつ複比を精度よく計算するの
に十分な間隔で連続する4つの直線が、それらと交差す
る他の1直線との関係で観測できればよいことになる。
多数の直線が画像中に存在する場合は、たとえば次の直
線と所定の閾値間隔以上の間隔を持ち、かつ頂点(マー
カ201)の直上側において、頂点に最も近い位置で配
列している4直線を選択する。そしてその4本の直線
と、頂点方向DR2に沿って伸びる1つの直線との4交
点を抽出し、それらの間隔の複比を計算する。この抽出
において得られるデータのうち、可動式カメラ11の撮
影で得られるものが図13の第1抽出点データDP1で
あり、被写体用カメラ13の撮影で得られるものが第2
抽出点データDP2である。
【0119】図27(a)では、それぞれが底面方向D
R1に伸び、かつ第7層から第9層のそれぞれの上下を
規定する4直線x7〜x10を、また、図27(b)では
第3層から第5層のそれぞれの上下を規定する4直線x
3〜x6を、この4直線として選択できる。このようにし
て4直線を選択することにより、いずれの画像において
も、十分に複比の算出が可能となる。複数の側面が撮影
されていれば、たとえば最も画像中心に近い側面を選択
する。
【0120】また、立体チャート2が角錐形状であるた
め、種々の方向から立体チャート2の撮影を行っても、
自動追尾によりマーカ201を検出していれば、少なく
とも1つの側面を十分に観測することが可能である。
【0121】このようにして選択された4直線で挟まれ
るエリアに存在する、複数の単位台形のうちの1つを、
対象単位台形(対象単位図形)として選択する。対象単
位台形は、たとえば上記の4直線の中の中間側の2直線
で挟まれ、かつ画面の中央に最も近い単位台形を選択す
るというような選択規則によって選ぶことができる。図
27の例では、たとえば単位台形UPA、UPBを対象単
位台形として選択することができる。
【0122】そして、上記4直線につき、頂点方向DR
2について画像上の間隔から複比を対象複比として求
め、RAM151にあらかじめ記憶しておいた各側面の
直線間隔の複比の値(図22)を、対象複比と比較して
照合する。これにより、その4直線が、立体チャート2
の何層目から何層目を規定する4直線であり、かつ対象
単位台形が、立体チャート2のどの単位台形であるかを
特定することができる(ステップS94)。
【0123】ところで、角錐体の底面に近いほど、単位
台形の頂点方向のサイズを増大させていることによっ
て、以下のような利点がある。
【0124】まず、比較的近い距離から立体チャート2
を撮影することによって、比較的少数の単位台形だけが
画像内に存在する場合(図27(b))には、マーカ2
01に近い単位台形が比較的大きく撮影される。
【0125】逆に、比較的遠い距離から立体チャート2
を撮影することによって、各単位台形の撮影サイズが比
較的小さくなる場合には、角錐の底面に近い、実サイズ
が大きな単位台形が画像内に存在するため(図27
(a))、それは画像上の観測サイズとしてあまり小さ
くならない。
【0126】したがって、近距離からの撮影の場合と、
遠距離からの撮影の場合との双方において、常に画像処
理における精度を確保するために十分なサイズを持つ単
位図形が画像に含まれていることになり、その結果、撮
影距離にあまり依存せずに演算精度を高くできる。これ
が、角錐体の底面に近いほど、単位台形の頂点方向のサ
イズを増大させていることの利点である。
【0127】対照単位台形が同定されたことによって、
立体チャート2に対するカメラの相対位置・姿勢、すな
わち絶対座標系X0における外部パラメータの算出が可能
となる(ステップS95)。以下にこれを説明する。
【0128】まず、RAM151には、図24に示す角
錐の側面T1〜Tnごとの距離a、b、c、dの複比と、
角錐の各側面T1〜Tnが絶対座標系X0のどの方向に向い
ているかの情報とが、互いに関連づけられ、テーブルと
してあらかじめ記憶されている。したがって、上記4直
線のうちの1つ(たとえば図27(a)の例では、対象
単位台形の辺のうち頂点に近い辺が属する直線x7)上
で底面方向DR1に連続する4交点の画像上の座標を特
定し、それらの間隔の複比を計算して上記テーブルと照
合することにより、対象単位台形が属する側面を、その
時点でカメラにほぼ正対している観測側面として同定す
る。そして観測側面が側面T1〜Tnのうちのいずれかで
あるかによって、立体チャート2に対するカメラの相対
姿勢を絶対座標系X0において知ることができる。
【0129】立体チャート2に対するカメラの相対姿勢
をさらに詳細に知るには、たとえば対象単位台形の4頂
点の座標値から、その対象単位図形の外周を規定する4
辺の長さの比を求める。この比は、絶対座標系における
対象単位台形の法線方向からカメラの撮像軸線がどれだ
け傾いているかによって変化する。したがって、この比
から当該側面の法線方向からのカメラの撮像軸線の方向
を特定できる。
【0130】対象単位台形が特定され、立体チャート2
に対するカメラの相対姿勢が求められると、あらかじめ
RAM151に記憶させておいた各単位台形の実サイズ
情報のうち、その対象単位台形に対応する単位台形の実
サイズ情報を読み出す。そしてその対象単位台形につい
て、画像上のサイズとその実サイズとの比率rを求め
る。比率rは、立体チャート2とカメラとの距離L、お
よび立体チャート2に対するカメラの相対姿勢の関数で
あるが、相対姿勢は上記のように求められることから、
距離Lは結局、比率rの関数f(r)として表現できる
ことになる。よって、この関数f(r)に相当する演算
式または数値テーブルを記憶しておくことにより、比率
rから距離Lが計算できる。距離Lと、立体チャート2
に対するカメラの相対姿勢とから、立体チャート2に対
するカメラの相対位置が求められる。
【0131】以上のように、被写体30を撮影するカメ
ラと別のカメラを用いて立体チャート2を画角の中央に
撮影することによって、カメラの位置および姿勢の校正
のための校正パラメータのうち、外部パラメータを正確
に取得することができる。また、立体チャート2を撮影
するカメラがジャイロ14からの情報に基づいて立体チ
ャート2を自動追尾することにより、ユーザは可動式カ
メラ11の撮影を意識することなく、被写体30の撮影
を行うことができる。さらに、外部パラメータの演算に
ジャイロ14からの情報を用いることにより、演算量を
減らすことができ、画像撮影システム1の処理負荷を軽
減できる。
【0132】<2. 変形例>以上、本発明の実施の形
態について説明してきたが、本発明は上記実施の形態に
限定されるものではなく様々な変形が可能である。
【0133】例えば、ジャイロセンサや加速度センサ
は、上記実施の形態に用いられる方式のものに限られる
ものではなく、カメラシステム10の回転移動量と平行
移動量を出力できるものであればどのような方式が用い
られるものであってもよい。
【0134】また、各種演算を行うのは被写体用カメラ
13またはコンピュータ15に限られるものではなく、
例えば、可動式カメラ11またはジャイロ14において
演算が行われてもよい。
【0135】また、画像撮影システム1における各装置
間のデータのやり取りは、通信によるものに限られるも
のではない。例えば、メモリーカード等を介してデータ
の取得がされてもよい。
【0136】また、操作ボタン類164は、ジョイステ
ィックやコントロールボール等が用いられてもよい。
【0137】また、上記実施の形態に係る処理をCPU
に実行させるプログラムは、必ずしもROMに予め書き
込まれていなくてもよい。事前にメモリカードや通信に
よりプログラムが取得され、実行されてもよい。
【0138】また、上記実施の形態では、一連の画像処
理が全てCPUによるソフトウェア的処理で実行されて
いるが、それらの処理の一部または全部を専用の回路に
より実現することも可能である。
【0139】また、上記の実施例では、チャートに描か
れたパターン上の4点を検出することにより、カメラの
姿勢を求めるようにしているが、これに限らず、以下の
ようにカメラ姿勢を検出するようにしてもよい。
【0140】形状が既知である物体(例えば四角錐)を
上記実施例のチャートの代わりに配置しておく。カメラ
には、カメラ座標系にその形状のモデルデータを有し、
撮影された画像と撮像面に等価な面に投影したモデル画
像とが一致するときのモデルの姿勢を求めることにより
カメラ姿勢を検出する。
【0141】また、上記説明においては、2次元画像を
撮影する場合の構成について説明したが、それに限定す
るものでもなく、その他の測定装置(例えば、3次元測
定装置)等にも上記の技術を適用することは可能であ
る。
【0142】
【発明の効果】請求項1ないし6に記載の発明では、姿
勢センサにより測定装置の回転移動量を検出し、検出さ
れた回転移動量に基づいて、可動式撮影装置による撮影
手段の回転駆動制御を行い、それによって基準物体の追
尾制御を行うことにより、高速かつ容易に基準物体を撮
影した画像を得ることができる。
【0143】請求項3に記載の発明では、加速度の積分
によって測定装置の平行移動量を検出し、検出した平行
移動量に基づいて回転駆動制御を行うことにより、さら
に高速な追尾制御を行うことができる。
【0144】請求項4に記載の発明では、可動式撮影装
置による基準物体の撮影結果とともに、検出装置により
検出された回転移動量も利用して測定装置の校正用パラ
メータを計算することにより、高速かつ容易に校正用パ
ラメータを求めることができる。
【0145】請求項5に記載の発明では、基準物体上の
注視点を撮影手段の画角中の特定の位置に合致させるべ
く追尾制御を行うことにより、精度よく校正用パラメー
タを求めることができる。
【0146】請求項6に記載の発明では、基準物体が、
所定のパターンが表示された角錐面を持つ立体基準物体
であることから、さらに精度よく校正用パラメータを求
めることができる。
【0147】請求項7ないし9に記載の発明では、請求
項1ないし6に記載の画像撮影システムに最適なカメラ
システムを提供することができる。
【図面の簡単な説明】
【図1】本実施形態に係る校正用チャートを用いた撮像
演算システムの構成例を示す図である。
【図2】図1の撮像演算システムのブロック図である。
【図3】本実施形態に係る校正用立体チャートの側面の
例を示す図である。
【図4】被写体撮影用カメラとジャイロの取付機構を説
明する図である。
【図5】ジャイロの内部構成を示す図である。
【図6】チャート撮影用可動式カメラの正面図である。
【図7】チャート撮影用可動式カメラのブロック図であ
る。
【図8】チャート撮影用可動式カメラの情報処理機能の
要部を示す図である。
【図9】チャート撮影用可動式カメラのデータの流れを
示す図である。
【図10】チャート撮影用可動式カメラにおける自動追
尾動作を示す流れ図である。
【図11】チャート撮影用可動式カメラが立体チャート
の自動追尾を行う様子を示した図である。
【図12】被写体撮影用カメラの情報処理機能の要部を
示す図である。
【図13】被写体撮影用カメラのデータの流れを示す図
である。
【図14】本実施形態に係るカメラ校正用チャートを用
いた撮影および校正の手順のうち、第1サブプロセスに
相当する手順を示す図である。
【図15】本実施形態に係るカメラ校正用チャートを用
いた撮影および校正の手順のうち、第2サブプロセスに
相当する手順を示す図である。
【図16】チャート撮影用可動式カメラと被写体撮影用
カメラが、同時に本発明に係るカメラ校正用チャートを
撮影したときの、各々の撮像例を示す図である。
【図17】チャート撮影用可動式カメラに対する、被写
体撮影用カメラの相対位置・姿勢を算出する際に用い
る、座標変換の様子を示す図である。
【図18】被写体撮影用カメラが被写体を撮影するとき
の、チャート撮影用可動式カメラと被写体撮影用カメラ
の撮像例を示す図である。
【図19】チャート撮影用可動式カメラに対する、被写
体撮影用カメラの相対位置・姿勢を算出する際に用い
る、座標変換の様子を示す図である。
【図20】本実施形態に係る立体チャートの側面におい
て、単位台形のサイズが、複比によってコーディングさ
れた例を示す図である。
【図21】複比が射影により変化しないことを説明する
図である。
【図22】コーディングに用いられる複比の例を示す図
である。
【図23】図22から得られる直線の間隔の移動平均
が、頂点からの距離にほぼ比例していることを示す図で
ある。
【図24】本実施形態に係る立体チャートを六角錐とし
た場合に、各面に用いられるコーディングの例を示す図
である。
【図25】本実施形態に係る立体チャートを撮影した画
像から、立体チャート上の撮影箇所を同定する手順を示
す図である。
【図26】本実施形態に係る立体チャートの撮像におけ
る、直線の抽出の例を示す図である。
【図27】本実施形態に係る立体チャートの同じ側面
を、異なる距離から撮影したときの撮像の例を示す図で
ある。
【符号の説明】
1 画像撮影システム 10 カメラシステム 11,11a,11b 可動式カメラ 110 レンズユニット 110a 固定レンズ 110b ズームレンズ 110e 絞り/シャッタ機構部 111 2次元受光素子 112 通信デバイス 113 姿勢装置 114 固定部 115a 第1取付溝 115b 第2取付溝 116 球状ユニット 117 追尾ボタン 12 取付機構 126p,126t 角度センサ 126z センサ 13 被写体撮影用カメラ 133 第3取付溝 134 第4取付溝 135 可動爪 136 バネ 14 ジャイロ 147 第1取付爪 148 第2取付爪 15 コンピュータ 155 レンズユニット 156 2次元受光素子 15a 通信インターフェイス 2 立体チャート 201 マーカ 202 マーカ用電源 203 立体チャート本体 204 表示部 205 支持部 250 チャート支持具 251 台座 252 アーム 30 被写体
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G03B 15/00 G03B 17/00 B 5C061 17/00 17/56 B 17/56 Z H04N 7/18 G H04N 7/18 13/02 13/02 17/00 K 17/00 G01C 19/00 Z // G01C 19/00 G01B 11/24 K (72)発明者 榊原 邦光 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 Fターム(参考) 2F065 AA01 AA20 AA31 AA53 AA56 BB05 BB18 BB27 BB29 DD02 FF04 FF28 FF61 FF65 FF67 JJ03 JJ05 JJ26 LL04 LL06 NN20 PP05 QQ03 QQ21 QQ24 QQ25 QQ28 QQ31 QQ32 RR10 2F105 AA08 BB01 2H105 AA06 AA11 AA12 AA13 AA14 EE00 EE05 EE16 EE31 EE32 5C022 AB63 AC42 CA02 5C054 AA01 HA31 5C061 BB03 BB15 CC01

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 画像撮影システムであって、 a) 被写体に対して所定の位置関係で配置される基準物
    体と、 b) 可搬性のカメラシステムと、を備え、 前記カメラシステムが、 b-1) 測定装置と、 b-2) 前記測定装置に対して相対的に回転可能な撮影手
    段を備え、前記基準物体の画像を追尾して撮影可能な可
    動式撮影装置と、 b-3) 姿勢センサにより前記測定装置の回転移動量を検
    出する検出装置と、 b-4) 前記検出装置により検出された前記回転移動量に
    基づいて、前記可動式撮影装置による前記撮影手段の回
    転駆動制御を行い、それによって前記基準物体の追尾制
    御を行う制御手段と、を備え、 前記可動式撮影装置による前記基準物体の撮影結果に基
    づいて前記測定装置の校正用パラメータが算出されるこ
    とを特徴とする画像撮影システム。
  2. 【請求項2】 請求項1に記載の画像撮影システムであ
    って、 前記検出装置が、 前記姿勢センサとして、前記測定装置の回転移動量を検
    出するジャイロセンサを備え、 前記制御手段が、前記ジャイロセンサからの前記回転移
    動量に基づいて前記回転駆動制御を行うことを特徴とす
    る画像撮影システム。
  3. 【請求項3】 請求項1または請求項2に記載の画像撮
    影システムであって、 前記検出装置が、 加速度の積分によって前記測定装置の平行移動量を検出
    する平行移動量検出手段をさらに備え、 前記制御手段が、前記平行移動量に基づいて前記回転駆
    動制御を行うことを特徴とする画像撮影システム。
  4. 【請求項4】 請求項1ないし請求項3のいずれかに記
    載の画像撮影システムであって、 前記可動式撮影装置による前記基準物体の撮影結果とと
    もに、前記回転移動量も利用して前記パラメータを計算
    することを特徴とする画像撮影システム。
  5. 【請求項5】 請求項1ないし請求項4のいずれかに記
    載の画像撮影システムであって、 前記制御手段は、前記基準物体上の注視点を前記撮影手
    段の画角中の特定の位置に合致させるべく追尾制御を行
    うことを特徴とする画像撮影システム。
  6. 【請求項6】 請求項1ないし請求項5のいずれかに記
    載の画像撮影システムであって、 前記基準物体が、所定のパターンが表示された角錐面を
    持つ立体チャートであることを特徴とする画像撮影シス
    テム。
  7. 【請求項7】 可搬性のカメラシステムであって、 a) 測定装置と、 b) 前記測定装置に対して相対的に回転可能な撮影手段
    を備え、被写体に対して所定の位置関係で配置された基
    準物体の画像を追尾して撮影可能な可動式撮影装置と、 c) 姿勢センサにより前記測定装置の回転移動量を検出
    する検出装置と、 d) 前記検出装置により検出された前記回転移動量に基
    づいて、前記可動式撮影装置による前記撮影手段の回転
    駆動制御を行い、それによって前記基準物体の追尾制御
    を行う制御手段と、を備え、 前記可動式撮影装置による前記基準物体の撮影結果に基
    づいて前記測定装置の校正用パラメータを算出可能であ
    ることを特徴とするカメラシステム。
  8. 【請求項8】 請求項7に記載のカメラシステムであっ
    て、 前記検出装置が、 前記姿勢センサとして、前記測定装置の回転移動量を検
    出するジャイロセンサを備え、 前記制御手段が、前記ジャイロセンサからの前記回転移
    動量に基づいて前記回転駆動制御を行うことを特徴とす
    るカメラシステム。
  9. 【請求項9】 請求項7または請求項8に記載のカメラ
    システムであって、 前記検出装置が、 加速度の積分によって前記被写体用撮影装置の平行移動
    量を検出する平行移動量検出手段をさらに備え、 前記制御手段が、前記平行移動量に基づいて前記回転駆
    動制御を行うことを特徴とするカメラシステム。
JP2001206823A 2001-05-25 2001-07-06 画像撮影システムおよびカメラシステム Pending JP2003023562A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001206823A JP2003023562A (ja) 2001-07-06 2001-07-06 画像撮影システムおよびカメラシステム
US10/151,184 US7423666B2 (en) 2001-05-25 2002-05-20 Image pickup system employing a three-dimensional reference object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001206823A JP2003023562A (ja) 2001-07-06 2001-07-06 画像撮影システムおよびカメラシステム

Publications (1)

Publication Number Publication Date
JP2003023562A true JP2003023562A (ja) 2003-01-24

Family

ID=19042899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001206823A Pending JP2003023562A (ja) 2001-05-25 2001-07-06 画像撮影システムおよびカメラシステム

Country Status (1)

Country Link
JP (1) JP2003023562A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240441A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2007240439A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2007240440A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2007240442A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2008286756A (ja) * 2007-05-21 2008-11-27 Canon Inc 位置姿勢計測装置及びその制御方法
JP2013093738A (ja) * 2011-10-26 2013-05-16 Nippon Hoso Kyokai <Nhk> 移動距離計測装置及び撮影カメラ
WO2017042995A1 (ja) * 2015-09-07 2017-03-16 パナソニックIpマネジメント株式会社 車載用ステレオカメラ装置、およびその補正方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240441A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2007240439A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2007240440A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2007240442A (ja) * 2006-03-10 2007-09-20 Ntt Facilities Inc 撮影位置特定システム、撮影位置特定装置及び撮影位置特定方法
JP2008286756A (ja) * 2007-05-21 2008-11-27 Canon Inc 位置姿勢計測装置及びその制御方法
JP2013093738A (ja) * 2011-10-26 2013-05-16 Nippon Hoso Kyokai <Nhk> 移動距離計測装置及び撮影カメラ
WO2017042995A1 (ja) * 2015-09-07 2017-03-16 パナソニックIpマネジメント株式会社 車載用ステレオカメラ装置、およびその補正方法

Similar Documents

Publication Publication Date Title
US7423666B2 (en) Image pickup system employing a three-dimensional reference object
JP5586765B2 (ja) カメラキャリブレーション結果検証装置および方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
US20150369593A1 (en) Orthographic image capture system
US20130314688A1 (en) Indoor surveying apparatus
EP0782100A2 (en) Three-dimensional shape extraction apparatus and method
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
CN108257177B (zh) 基于空间标识的定位系统与方法
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
JP3690581B2 (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
JP5019478B2 (ja) マーカ自動登録方法及びシステム
JP6963295B2 (ja) 3次元情報取得装置
CN112686084A (zh) 图像标注系统
JP2009175012A (ja) 計測装置および計測方法
JP4590780B2 (ja) カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム
JP2003023562A (ja) 画像撮影システムおよびカメラシステム
JP4227037B2 (ja) 撮像システム及び校正方法
JP6027952B2 (ja) 拡張現実画像生成システム、3次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム
JP2003296708A (ja) データ処理方法、データ処理プログラムおよび記録媒体
CN113597362A (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN112254678B (zh) 一种室内3d信息采集设备及方法
JP4665350B2 (ja) 測定装置
JP2003021505A (ja) 画像撮影システム、及び、可動式撮影装置
JP4892793B2 (ja) 測定装置及び測定方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613