JP2017536711A - マルチターゲットカメラ較正 - Google Patents

マルチターゲットカメラ較正 Download PDF

Info

Publication number
JP2017536711A
JP2017536711A JP2017504362A JP2017504362A JP2017536711A JP 2017536711 A JP2017536711 A JP 2017536711A JP 2017504362 A JP2017504362 A JP 2017504362A JP 2017504362 A JP2017504362 A JP 2017504362A JP 2017536711 A JP2017536711 A JP 2017536711A
Authority
JP
Japan
Prior art keywords
target
images
camera system
captured
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2017504362A
Other languages
English (en)
Inventor
エイ. キーファバ、トッド
エイ. キーファバ、トッド
シー. ミドルトン、ダニエル
シー. ミドルトン、ダニエル
ディ リマ、ギルソン グォンカルヴズ
ディ リマ、ギルソン グォンカルヴズ
メロン、マ−ティン
ナーサリ、ヴァロン
シー、ジャンボー
アール. マンチャンダ、カビール
アール. マンチャンダ、カビール
シー. キム、フィリップ
シー. キム、フィリップ
バーナード、クリストファー
ニュ、イードン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2017536711A publication Critical patent/JP2017536711A/ja
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Abstract

画像取り込みデバイスを較正するための技法が本明細書で説明される。本技法は、第1のターゲットにおいて1つ以上の画像を取り込むことと、第2のターゲットにおいて1つ以上の画像を取り込むことと、第3のターゲットにおいて1つ以上の画像を取り込むことと、第4のターゲットにおいて1つ以上の画像を取り込むことと、取り込まれた画像に基づいてマルチカメラシステムを較正することとを含む。

Description

[関連出願の相互参照]
本出願は、参照により本明細書に組み込まれる、2014年9月26日に出願された米国特許出願第14/498,793号の出願日の利益を主張するものであり、該出願は、参照により本明細書に組み込まれる、2014年9月5日に出願された米国仮特許出願第62/046,787号の出願日の利益を主張するものである。
本開示は、全般的に、カメラ較正に関する。より具体的には、本開示は、マルチターゲット較正プロセスを説明する。
タブレット、スマートフォン、及び同類のものなどのモバイルデバイスは、画像を取り込むためのカメラなどの、非常に多くのデバイスを含む場合がある。数多くの事例において、タブレットは、移動、ノイズ、及び他の画像品質因子などの、カメラシステム許容度の較正を必要とする。いくつかの事例において、モバイルデバイスは、個々に、又は協調して機能するように構成される複数のカメラを含むことができる。マルチカメラシステムを有するモバイルデバイスは、較正中に問題を呈する場合がある。
マルチカメラ較正技法は、所与のマルチカメラシステムのカメラからの異なる角度及び距離で、多数の較正ターゲットの画像を取り込むことを必要とする。しかしながら、大量生産中に較正するために必要とされる物理的空間及び時間は、生産コストを増加させる。
較正されるマルチカメラシステムを有するコンピューティングデバイスのブロック図である。
較正において使用される第1のターゲットを例示する図である。
較正において使用される第2のターゲットを例示する図である。
スタンドによって保持されたターゲットを例示する図である。
較正において使用されるマルチボードターゲットを例示する図である。
マルチボードターゲットの異なるビューを例示する図である。
マルチボードターゲットの追加的なビューを例示する図である。
較正において使用される4つの異なるターゲットを含む環境を例示する図である。
第1のターゲットと関連付けられる第1の位置を含む環境を例示する図である。
第2のターゲットと関連付けられる第2の位置を含む環境を例示する図である。
第2のターゲットと関連付けられる第3の位置を含む環境を例示する図である。
第3のターゲットと関連付けられる第4の位置を含む環境を例示する図である。
第4のターゲットと関連付けられる第5の位置を含む環境を例示する図である。
第4のターゲットと関連付けられる第6の位置を含む環境を例示する図である。
ターゲットに対して異なる位置で取り込まれた6つの画像を例示する図である。
ターゲットに関連する、マルチカメラシステムを有するコンピューティングデバイスの方向を例示する図である。
較正における照明の悪影響を例示する図である。
コンピューティングデバイスのディスプレイにおいてレンダリングされるグラフィカルユーザインターフェースを例示する図である。
較正の成功時に有効画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。
較正の失敗時に失敗画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。
較正を失敗させた因子の一例を例示するグラフィカルユーザインターフェースの図である。
較正を失敗させた別の因子の一例を例示するグラフィカルユーザインターフェースの図である。
マルチカメラシステムを較正するように構成されたコンピュータ可読媒体の一例を示すブロック図である。
本明細書で開示される主題は、マルチカメラシステムを較正するための技法に関する。上で論じたように、較正は、カメラ及び他の画像取り込みデバイスの正しい機能のために重要である。しかしながら、多くの技法は、完了までに長い期間を必要とし、その期間中には、同じターゲットの複数の画像が取り込まれる。本明細書で説明される技法は、複数のターゲットを使用したマルチカメラシステムの較正を含み、カメラシステムを構成するために必要とされる画像の数を低減させることができ、それによって、較正に必要とされる時間を低減させる。
いくつかの事例において、本明細書で説明される技法は、処理デバイスによって実行可能であるコンピュータ可読コードとして実装することができる。本明細書で説明される技法は、工場の組み立て設備に統合することができる。実施形態において、本明細書で説明される技法は、マルチカメラシステムの較正に対する画像の必要数を低減させることができる。較正に必要とされる画像の数の減少は、大量生産環境における本明細書で説明される較正技法の実装を可能にすることができる。
図1は、較正されるマルチカメラシステムを有するコンピューティングデバイスのブロック図である。コンピューティングデバイス100は、プロセッサ102と、非一時的コンピュータ可読媒体を含む記憶デバイス104と、メモリデバイス106とを含むことができる。コンピューティングデバイス100は、ディスプレイデバイス110を動作させてグラフィカルユーザインターフェース(GUI:graphical user interface)において画像をレンダリングするように構成されるディスプレイドライバ108と、1又は複数のカメラデバイス114を含むマルチカメラシステム113を動作させるように構成されるカメラドライバ112とを含むことができる。
コンピューティングデバイス100は、較正アプリケーション116を含む。較正アプリケーション116は、マルチカメラシステム113を較正するように構成することができる。例において、較正アプリケーション116は、マルチカメラシステム113を較正するために使用される。較正アプリケーション116は、プロセッサ102などの処理デバイスによって実行されるように構成される、記憶媒体に記憶される命令とすることができる。更に他の例において、較正アプリケーション116は、ドライバ122を介して回転プラットフォーム120の回転モジュール118と連動して動作するように構成することができる。下でより詳細に説明されるように、回転プラットフォーム120は、複数のターゲットと関連付けられる異なる位置で画像を取り込むために回転させることができる。いくつかの事例において、較正アプリケーション116及び回転モジュール118は、コンピューティングデバイス100又は回転プラットフォーム120のいずれかで動作する同一のプログラムとして構成することができる。後者の場合、回転プラットフォーム120は、コンピューティングデバイス100を回転させること、及びマルチカメラシステム113と連動して画像を取り込むことを含む命令を実行するための論理又はソフトウェア命令及び処理デバイス、並びに、構成アプリケーション116の動作を実行するように構成される論理及び/又はソフトウェアを含むことができる。
回転モジュール118及び較正アプリケーション116は、親モジュールの別個のモジュール若しくはサブモジュール、又は個々のアプリケーションとみなすことができる。また、追加的なモジュール及び/又はアプリケーションを含むこともできる。いくつかのシナリオにおいて、コンピューティングデバイス100は、1又は複数のセンサ124を含むことができる。これらのシナリオでは、1又は複数のセンサ124を、較正中の画像取り込みにおいてエラーを引き起こす潜在的条件を検出するために使用することができる。例えば、センサ124は、コンピューティングデバイスが水平でなくなり、それによって、下で更に詳細に説明される較正プロセス中に画像を取り込む際に潜在的エラーを作り出すときを決定するように構成される、ジャイロメーターを含むことができる。別の例として、異物が所与のカメラと所与のターゲットとの間の視界を遮っているかどうかを判定するために、周辺光センサを使用することができる。
下で更に詳細に論じられるように、カメラデバイス114の較正は、2つ以上のターゲットにおいて画像を取り込むことによって提供される。回転プラットフォーム120は、複数のターゲットと関連付けられる異なる位置まで回転させるように構成することができる。回転は、自動とすることができ、又はいくつかのレベルの人間の入力を伴うことができる。例えば、オペレータは、較正プロセスを開始し、各画像が取り込まれた後に回転プラットフォーム120上のボタンを押し続けるように要求され得る。更に、画像取り込みは、自動化することもできるが、オペレータは、所与の位置において、及び所与のターゲットについて所与の画像を取り込むために、カメラデバイス114と関連付けられるシャッターボタンを押すことが有用である場合がある。
コンピューティングデバイス100は、本明細書で参照されるときには、モバイルコンピューティングデバイスとすることができ、処理デバイス、記憶デバイス、ディスプレイデバイスなどの構成要素が単一の筐体内に配置される。例えば、コンピューティングデバイス100は、タブレットコンピュータ、スマートフォン、ハンドヘルドビデオゲームシステム、携帯電話、オールインワンスレートコンピューティングデバイス、又はオールインワン機能性を有する任意のコンピューティングデバイスとすることができ、コンピューティングデバイスの筐体は、ディスプレイ、並びに記憶構成要素及び処理構成要素などの構成要素を収容する。
プロセッサ102は、記憶された命令を実行するように適合されるメインプロセッサとすることができる。プロセッサ102は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成とすることができる。プロセッサ102は、複合命令セットコンピュータ(CISC:Complex Instruction Set Computer)若しくは縮小命令セットコンピュータ(RISC:Reduced Instruction Set Computer)プロセッサ、x86命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ若しくは中央演算処理装置(CPU:central processing unit)として実現することができる。
メモリデバイス106としては、ランダムアクセスメモリ(RAM:random access memory)(例えば、スタティックランダムアクセスメモリ(SRAM:static random access memory)、ダイナミックランダムアクセスメモリ(DRAM:dynamic random access memory)、ゼロキャパシタRAM、シリコン−酸化物−窒化物−酸化物−シリコンSONOS、組み込み型DRAM、拡張データ出力RAM、ダブルデータレート(DDR:double data rate)RAM、抵抗性ランダムアクセスメモリ(RRAM(登録商標):resistive random access memory)、パラメータランダムアクセスメモリ(PRAM:parameter random access memory)、その他)、リードオンリーメモリ(ROM:read only memory)(例えば、マスクROM、プログラマブルリードオンリーメモリ(PROM:programmable read only memory)、消去可能プログラマブルリードオンリーメモリ(EPROM:erasable programmable read only memory)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM:electrically erasable programmable read only memory)、その他)、フラッシュメモリ、又は任意の他の適切なメモリシステムを挙げることができる。メインプロセッサ102は、システムバス134(例えば、周辺構成要素相互接続(PCI:Peripheral Component Interconnect)、業界標準アーキテクチャ(ISA:Industry Standard Architecture)、PCI−Express、HyperTransport(登録商標)、NuBus、その他)を通して、メモリ106及び記憶デバイス104を含む構成要素に接続することができる。
ディスプレイドライバ108は、コンピューティングデバイス100及びディスプレイデバイス110のソフトウェア又はハードウェアとの相互作用点とすることができる。例えば、ディスプレイドライバ108は、デジタルビデオインターフェース(DVI:digital video interface)、高解像度マルチメディアインターフェース(HDMI(登録商標):high−definition multimedia interface)、及び同類のものなどのインターフェースを含むことができる。ディスプレイデバイス110は、ビルトインディスプレイ又はコンピューティングデバイス100の周辺ディスプレイとすることができる。実施形態において、ディスプレイデバイス110は、タッチ画面機能を含む。
カメラドライバ112は、1又は複数のカメラデバイス114に、視覚情報を、又は換言すれば、マルチカメラシステム113を構成するために使用される画像セットの画像を取り込むように指示するように構成される。カメラデバイス114は、リアルタイムビデオを取り込むように構成されるビデオカメラ、深度カメラ、赤外線カメラ、及び同類のものとすることができる。
図1のブロック図は、コンピューティングデバイス100が図1に示される構成要素の全てを含むことを示すことを意図しない。更に、コンピューティングデバイス100は、具体的な実現形態の詳細に応じて、図1に示されない任意の数の追加的な構成要素を含むことができる。
図2は、較正において使用される第1のターゲットを例示する図である。第1のターゲット200は、約410ミリメートル(mm)×約620mmの寸法を有することができる。図2に例示されるように、第1のターゲット200は、複数の白黒の正方形を含むチェッカーボードパターンを有することができる。第1のターゲットの正方形サイズは、約30mm×約30mmとすることができる。合計で、第1のターゲット200は、20個の正方形×13個の正方形を含むことができる。約10mmの縁が第1のターゲット200のチェッカーボードを取り囲むことができる。いくつかのシナリオにおいて、第1のターゲット200は、地上約889mmに配置されるように構成することができる。
図3は、較正において使用される第2のターゲットを例示する図である。第2のターゲット300は、約40mm×40mmの正方形サイズを含み、22個の正方形×15個の正方形を有し、第2のターゲット300の寸法は、約620mm×900mmである。第1のターゲット200と同様に、第2のターゲット300は、約10mmの縁を含む。
図4は、スタンドによって保持されたターゲットを例示する図である。上で論じたように、第1のターゲットは、地上約889mmに配置することができる。この高さは、一例として与えられる。しかしながら、第1のターゲット200は、更には第2のターゲット300も、マルチカメラシステム113と同じ高さに配置されることが重要である。
実施形態において、本明細書で説明されるターゲットは、ターゲットが歪まない、又は曲がらないことを確実にする硬い材料で作製することができる。換言すれば、本明細書で説明されるターゲットは、平坦である。
図5は、較正において使用されるマルチボードターゲットを例示する図である。図5に例示されるように、マルチボードターゲット500は、互いから約40度の角度で配置される5つの別個のチェッカーボードを含む。5つの別個のチェッカーボードの各々は、約620mm×545mmの寸法、又は7個の正方形×8個の正方形を有することができ、各正方形は、約60mm×60mmである。マルチボードターゲット500の設計は、第3のターゲット及び第4のターゲットの各々に使用することができる。図5では全てのチェッカーボードに例示されていないが、マルチボードターゲット500は、各個々のボードの外周の周囲に赤色の縁502及び白色の縁504を含むことができる。第1のターゲット200及び第2のターゲット300と同様に、マルチボードターゲット500の中心506は、マルチカメラシステムと同じである高さに配置することができる。
図6Aは、マルチボードターゲットの異なるビューを例示する図である。602には、マルチボードターゲット500の正面図が例示される。マルチボードターゲット500の表側の各々が、図5に図示されるチェッカーボード設計などの、チェッカーボード設計を有することに留意されたい。ビュー604及び606の各々は、図5のマルチボードターゲット500の側面図を例示する。
図6Bは、マルチボードターゲットの追加的なビューを例示する図である。608及び610に例示されるように、個々のボードの各々の間の角度612は、同じとすることができる。1つの例において、角度612は、約40度である。いくつかのシナリオにおいて、マルチボードターゲットの高さは、610に例示されるように、マルチボードターゲットの中心に対して90センチメートル(cm)とすることができる。614に示されるように、図1のマルチカメラシステム113などのマルチカメラシステムは、下で更に詳細に論じられるように、第3のターゲット及び第4のターゲットが使用されるシナリオの各々において、マルチボードターゲットの前方に配置することができる。
図7Aは、較正において使用される4つの異なるターゲットを含む環境を例示する図である。環境700は、第1のターゲット200と、第2のターゲット300と、第3のターゲット702及び第4のターゲット704の各々のためのマルチボードターゲットとを含む。議論を簡単にするために、ターゲットの各々に割り当てられる数字は、以下に沿ったものとすることができる。図1に関して上記のマルチカメラシステム113を有するコンピューティングデバイス100などのコンピューティングデバイスは、コンピューティングデバイス100を少なくとも部分的に取り囲むターゲットとともに位置付けることができる。図7Aには例示されていないが、コンピューティングデバイス100は、図1に関して上で説明した、回転プラットフォーム120などの回転プラットフォーム上に配置することができる。下でより詳細に説明されるように、コンピューティングデバイス100は、各ターゲットの画像を取り込むために、回転プラットフォームによって回転させることができる。
図7Aに例示されるように、ターゲット200及びターゲット300の最初の配置は、706で示される中心線から45度とすることができる。実施形態において、コンピューティングデバイス100からターゲット200までの距離は、約800mmであり、コンピューティングデバイス100からターゲット300までの距離は、約1200mmである。ターゲット702は、コンピューティングデバイス100から2230mmの距離に配置することができ、一方で、ターゲット704は、コンピューティングデバイス100から3050mmの位置に配置される。
図7Bは、第1のターゲットと関連付けられる第1の位置を含む環境を例示する図である。図7Bに例示される第1の位置710において、マルチカメラシステム114は、第1のターゲット200において第1の画像を取り込む。ターゲット200は、708で示されるように、マルチカメラシステム114の視界を中心とする。ターゲット200全体を視界708の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界708に表すことができる。
図7Cは、第2のターゲットと関連付けられる第2の位置を含む環境を例示する図である。図7Cに例示される第2の位置712において、タブレットのマルチカメラシステム113は、第2のターゲット300において第2の画像を取り込む。実施形態において、コンピューティングデバイス100は、第1の位置710から第2の位置712まで約90度回転する。ターゲット300全体を視界708の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界708に表すことができる。
図7Dは、第2のターゲットと関連付けられる第3の位置を含む環境を例示する図である。図7Dに例示される第3の位置714において、マルチカメラシステム113は、第2のターゲット300において第3の画像を取り込む。このシナリオでは、第2のターゲット300から取り込まれる2つの画像があり、1つは、図7Cの第2の位置712であり、1つは、図7Dの第3の位置714である。第2の位置712と第3の位置714との間の差は、コンピューティングデバイス100の約10度の回転とすることができる。ターゲット300全体を視界708の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界708に表すことができる。
図7Eは、第3のターゲットと関連付けられる第4の位置を含む環境を例示する図である。図7Eに例示される第4の位置716において、マルチカメラシステム113は、第3のターゲット702において第4の画像を取り込む。第3の位置714と第4の位置716との間の差は、コンピューティングデバイス100の約135度の回転とすることができる。ターゲット702全体を視界708の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界708に表すことができる。
図7Fは、第4のターゲットと関連付けられる第5の位置を含む環境を例示する図である。図7Fに例示される第5の位置718において、マルチカメラシステム113は、第4のターゲット704において第5の画像を取り込む。第4の位置716と第5の位置718との間の差は、コンピューティングデバイス100の約180度の回転とすることができる。ターゲット704全体を視界708の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界708に表すことができる。
図7Gは、第4のターゲットと関連付けられる第6の位置を含む環境を例示する図である。図7Fに例示される第6の位置720において、マルチカメラシステム113は、第4のターゲット704において第6の画像を取り込む。第5の位置718と第6の位置720との間の差は、コンピューティングデバイス100の約10度の回転とすることができる。ターゲット704全体を視界708の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界708に表すことができる。このシナリオでは、第4のターゲット704から取り込まれる2つの画像があり、1つは、図7Fの第5の位置718であり、1つは、図7Gの第6の位置720である。第5の位置と第6の位置との間の差は、約10度の回転とすることができる。
図8は、ターゲットに対して異なる位置で取り込まれた6つの画像を例示する図である。図8に例示されるように、第1のターゲット200の1つの画像802、第2のターゲット300の2つの画像804、806、第3のターゲット702の1つの画像808、及び第4のターゲット704の2つの画像810、812がある。更に、図8に例示されるように、第3のターゲット702及び第4のターゲット704は、白色の縁及び赤色の縁によって構成されるマルチボードターゲットである。第3のターゲット又は第4のターゲットの画像を取り込むときには、一度に1つのチェッカーボードを取り込むことができる。したがって、本明細書で説明される技法は、他のボードに対するボードの場所によって個々のボードをともに識別することによって、マルチボードターゲットの各チェッカーボードをともに継ぎ合わせることを含む。換言すれば、マルチボードターゲットの各チェッカーボードは、個々に取り込むことができ、その後に、他のチェッカーボードが取り込まれる間は隠すことができる。次いで、チェッカーボード画像は、それらの相対的位置に基づいて、較正のためにともに継ぎ合わせることができる。
図9は、ターゲットに関連する、マルチカメラシステムを有するコンピューティングデバイスの方向を例示する図である。いくつかのシナリオにおいて、マルチカメラシステム113を有するコンピューティングデバイス100などのコンピューティングデバイスは、短軸902及び長軸904を有することができる。このシナリオにおいて、コンピューティングデバイス100の長軸904は、図9に例示されるように、ターゲットの長軸906と同じ方向に配置される。同様に、コンピューティングデバイス100の短軸902は、ターゲットの短軸908と同じ方向に配置される。
図10は、較正における照明の悪影響を例示する図である。いくつかのシナリオにおいて、過剰な照明又は不十分な照明は、較正の成功又は失敗に影響を及ぼし得る。図10に示されるように、1002における照明は、較正プロセスに悪影響を及ぼし得る。いくつかの実施形態において、照明は、約800ルクスの光強度制限によってターゲットを照明する。更に、光の過飽和を低減させるために、カメラに面するターゲットの背後に位置付けられる明るい光を除去することができる。
図11は、コンピューティングデバイスのディスプレイにおいてレンダリングされるグラフィカルユーザインターフェースを例示する図である。画像が取り込まれた後に、コンピューティングデバイス100は、較正の処理を始めることができる。これは、グラフィカルユーザインターフェース1100を介してオペレータにレンダリングすることができる。
図12は、較正の成功時に有効画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。較正に成功した場合は、グラフィカルユーザインターフェース1200をレンダリングすることができる。
図13は、較正の失敗時に失敗画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。較正に失敗した場合は、グラフィカルユーザインターフェース1300をレンダリングすることができ、円形の矢印を押すことで、プロセスを再開することができる。
図14は、較正を失敗させた因子の一例を例示するグラフィカルユーザインターフェースである。いくつかのシナリオにおいて、較正は、既知のエラーのため失敗する場合がある。較正アプリケーション116などのアプリケーションは、失敗した画像をグラフィカルユーザインターフェースにレンダリングすることができる。上で論じたように、図1のセンサ124などのセンサは、デバイスが水平でなかったときに画像が取り込まれたことを示すために、ジャイロメーターを含むことができる。この事例において、較正アプリケーション116は、プロセスを停止し、1400において示されるように、所与の画像が使用不可能である旨のメッセージをオペレータにレンダリングすることができる。
図15は、較正を失敗させた別の因子の一例を例示するグラフィカルユーザインターフェースである。失敗を引き起こす別の因子としては、カメラデバイス114のうちの1つなどのカメラデバイスが遮られたことが挙げられる。このシナリオにおいて、較正アプリケーション116は、図15に例示されるように、オペレータに使用不可能な画像を通知することができる。遮られた画像の検出は、いくつかのシナリオにおいて、図1に関して上で論じたように、周辺光センサを含むセンサ124を介して行うことができる。このシナリオにおいて、較正アプリケーション116は、プロセスを停止し、1500において示されるように、所与の画像が使用不可能である旨のメッセージをオペレータにレンダリングすることができる。
図16は、マルチカメラシステムを較正するように構成されたコンピュータ可読媒体の一例を示すブロック図である。コンピュータ可読媒体1600は、コンピュータバス1604を通じて、プロセッサ1600によってアクセスすることができる。いくつかの例において、コンピュータ可読媒体1600は、非一時的コンピュータ可読媒体とすることができる。いくつかの例において、コンピュータ可読媒体は、記憶媒体とすることができるが、搬送波、信号、及び同類のものを含まない。更にまた、コンピュータ可読媒体1600は、プロセッサ1602に本方法の工程を行うように指示するためのコンピュータ実行可能命令を含むことができる。
本明細書で論じられる様々なソフトウェア構成要素は、図11に示されるように、有形の非一時的なコンピュータ可読媒体1600に記憶することができる。例えば、較正アプリケーション1606は、第1のターゲットにおいて1又は複数の画像を取り込み、第2のターゲットにおいて1又は複数の画像を取り込み、第3のターゲットにおいて1又は複数の画像を取り込み、第4のターゲットにおいて1又は複数の画像を取り込み、そして、取り込まれた画像に基づいてマルチカメラシステムを較正するように構成することができる。
本明細書で説明される技法は、これらのターゲットの画像を自動的に取り込み、該画像を較正する、工場カメラ較正及びアプリケーションを含む。較正データは、試験されているデバイス上のfactoryパーティションに保存することができる。カメラは、ターゲットの方向を指し示す別個の取り付け具(モーター付リグプラットフォーム)の中に存在することになる。カメラの高さは、カメラアレイの中心が各ターゲットの中心と整列するような高さである。
較正方法工程は、第1のターゲットと整列させた取り付け具にタブレットを配置することを含むことができる。カメラアレイは、タブレットの裏にある。タッチ画面は、正面カメラを有するオペレータの右下に面している。タブレットは、取り付け具の中へ完全に挿入し、角度を持たせてはならない。タブレットの表面は、ターゲットの表面と平行でなければならない。取り付け具は、ユーザがタブレットの調整を必要としないように設定する。回転リグが始動すると、次いで、カメラシステムを、タブレットのディスプレイ上のシャッターボタンを押すことによって画像を取り込むために使用しなければならない。これらのアクションは、回転とカメラとの間のタイミングが同期するように間断なく起こらなければならない。ターゲット1において取り込まれた画像、ジグが45度回転すること、及び第2のターゲットにおいて第1の画像を取り込むことを含む、次の工程は、自動的に起こらなければならない。ジグが約10度回転し、第2のターゲットにおいて第2の画像が取り込まれる。ジグが第3のターゲットまで約135度回転し、第3のターゲットにおいて画像が取り込まれる。ジグが約180度回転し、第4のターゲットから第1の画像が取り込まれる。ジグが約10度回転し、第4のターゲットから第2の画像が取り込まれる。第4のターゲットから第2の画像が取り込まれた後に、較正を開始する。
デバイスは、較正プロセッシングが完了するのを待つ間、回転リグから取り外すことができる。較正に成功した場合は、バックアップのために、factoryパーティションから「.yml」ファイルをプルする。較正に失敗した場合は、較正プロセスを再度動作させる。
較正に成功すると、デバイス上のroot/factoryにおいて、「factorycameracalibration.yml」と称される較正ファイルを作成する。各デバイスは、一意のファイルを生成することができる。較正に失敗した場合は、いかなるファイルも作成されない。製造業者は、デバイスから較正ファイルをコピーし、それをバックアップサーバに記憶しなければならない。保管した較正は、較正プロセスを更に改善するために使用することができる。デバッギングは、アプリケーションを開始したときにマルチカメラシステムの全てのカメラがプレビューを示していることを確認することと、アプリケーションが動作しているときに第1のターゲットがプレビューウィンドウの中に正しく位置付けられていることを確認することと、ターゲットが正しい位置にあることを確認することとを含むことができる。ターゲットは、タブレットホルダーを、及びタブレットホルダーから正しい距離を直接指し示していなければならない。
全ての画像が正しく取り込まれているかどうかを確かめるために、取り込まれた画像を見るために掲示することができる。較正デバッグアプリケーションを開くことで、オペレータが、第1の較正が行われたかどうかを調べることを可能にすることができる。較正デバッグアプリケーションでは、オペレータが各ターゲットと関連付けられる画像を開くことを可能にするテキストをレンダリングすることができる。いくつかのシナリオにおいて、画像が正しく見えているが、それでも較正が失敗している場合は、更なるレビューのために、画像を分析チームに送信することができる。画像は、factoryパーティションの単一のtarファイルに記憶することができる。
カメラ較正は、複数の理由で失敗する可能性がある。いくつかの一般的な理由としては、コーナー検出の失敗、較正数値最適化が収束していないこと、正面のチェッカーボードがカメラに近過ぎる場合が挙げられる。較正の失敗が通知された場合は、較正デバッグアプリケーションをデバイスに含むことができ、また、較正プロセスをデバッグするために使用することができる。較正デバッグアプリケーションは、オペレータが、取り込まれた最後の画像セットに対する較正を再び行うことを可能にすることができ、また、重要なデバッグ情報を保存することができる。この情報は、タブレットを別のコンピューティングデバイスに接続し、コマンドラインから「adb pull」を行うことによって確認することができる。較正に失敗した理由は、タブレットのディレクトリのファイルを調べることによってデバッグすることができる。このファイルには、全ての警告テキストが書かれている。較正に失敗した場合は、「エラー」という行を視認することができ、その後にエラーメッセージが続く。
較正アプリケーションは、カメラの視界が遮られている場合、チェッカーボードに対する光の量が45度を超えて斜めになっている場合、及び/又は画像の中にぼやけがある場合に、チェッカーボードパターンの検出に失敗する。コーナー検出に成功した場合、全ての画像のコーナー上に青色の線をレンダリングすることができ、これは、デバッグフラグがアプリケーションにおいて真に設定されている場合にだけ真とすることができる。
コーナー検出に失敗した場合は、デバッグモードで較正を再度動作させた後に、結果ディレクトリの中に画像があるはずである。この画像を調べることで、アプリケーションがどのチェッカーボードの検出に失敗したのかが分かる。このファイル名の番号は、取り込み数に基づいて、0、1、又は3とすることができる。正しく検出されたボードには、青色の線がボードの内側コーナーに描かれるが、失敗したものには描かれない。また、FactoryCameraCalibration.logファイルを調べることもできる。「警告|パターンの検出に失敗しました」というタイトルを有する警告があるはずである。
正しくコーナーを検出した画像が少な過ぎる場合は、「エラー|BA中のアクティブな画像が少な過ぎます」などのメッセージを発生させることができる。正しくコーナーを検出した画像が少な過ぎることを示す別のメッセージとしては、「エラー|使用できる画像がありません」を挙げることができる。
失敗した場合に、オペレータは、チェッカーボードへの光が多過ぎる、又は少な過ぎることを確認することができ、そして、照明を調整することができる。マルチボードターゲットの底部ボードが反射している光が多過ぎる、又はチェッカーボードの頂部の光が少な過ぎる可能性がある。任意のチェッカーボードが斜めになり過ぎている場合は、角度が正しい値に設定されることを確認する。いくつかの事例において、これは、ヒンジが緩い場合に頂部/底部チェッカーボードによって起こり得る。
画像のいずれかにぼやけがある、取り込み中にジグが静止していなかった、照明の問題のためコーナーが正確に検出されなかった場合には、較正最適化が収束しない。失敗した場合に、オペレータは、ログファイルにおいて、ファイルの最後にある、「エラー|バンドル調整が設定に基づいて収束しませんでした」又は「エラー|BA中のアクティブな画像が少な過ぎます」といったメッセージを見出すことができる。オペレータはまた、ファイルの最後にある、「警告|ビューXが無効です。エラー閾値を超えています」又は「警告|ビュー番号Xがバンドル調整中に使用されていません」といった警告を視認することもできる。オペレータが、3回を超えてこれらの警告を視認した場合に、それがエラーとなる。失敗した場合には、現在の取り込みにおいて、どの画像にも誤った照明又はぼやけがなかったことを確認し、画像を再度取り込み、進行する。
正面チェッカーボードがカメラに近過ぎる場合、オペレータは、「調整シフトに提供されたアルバム上のコーナーに失敗しました(カメラX)」といった警告を視認することができる。オペレータはまた、デバッグモードにおいて再度較正を動作させた後に、結果ディレクトリの中にRectificationFailure.pngという名前の画像も視認する。この事例では、第1のチェッカーボードがカメラに近過ぎる可能性がある。チェッカーボードが頂部、右側、底部、及び左側からの画像の中央にあることを確実にする。チェッカーボードが既に中央にある場合は、チェッカーボードを約2インチ後方に移動させる。
例1は、マルチカメラシステムを較正するためのシステムを含む。本システムは、処理デバイス、及び処理デバイスによって実装されるモジュールを含む。本モジュールは、画像取り込みモジュール及び較正モジュールを含む。画像取り込みモジュールは、第1のターゲットにおいて1又は複数の画像を取り込み、第2のターゲットにおいて1又は複数の画像を取り込み、第4のターゲットにおいて1又は複数の画像を取り込むように構成される。較正モジュールは、取り込まれた画像に基づいてマルチカメラシステムを較正するためのものである。
画像取り込みモジュールは、第1のターゲットにおいて1つの画像を取り込み、第2のターゲットにおいて2つの画像を取り込むことができる。画像取り込みモジュールは、第3のターゲットにおいて1つの画像を取り込むが、第2のターゲットにおいて2つの画像を取り込むことができる。
例2は、マルチカメラシステムを較正するための方法を含む。本方法は、第1のターゲットにおいて1又は複数の画像を取り込むことと、第2のターゲットにおいて1又は複数の画像を取り込むことと、第3のターゲットにおいて1又は複数の画像を取り込むことと、第4のターゲットにおいて1又は複数の画像を取り込むこととを含む。本方法はまた、取り込まれた画像に基づいてマルチカメラシステムを較正することを含むこともできる。
いくつかの事例では、例2の方法を実行する手段を備える装置。更に、いくつかの事例では、実行可能コードを有するコンピュータ可読媒体をプロセッサによって実行することができ、また、プロセッサに例2の方法を実行させることができる。
例3は、コードを含むコンピュータ可読媒体を含み、該コードは、実行されたときに、処理デバイスに、第1のターゲットにおいて1又は複数の画像を取り込ませ、第2のターゲットにおいて1又は複数の画像を取り込ませ、第4のターゲットにおいて1又は複数の画像を取り込ませる。更に、このコードは、処理デバイスに、取り込まれた画像に基づいてマルチカメラシステムを較正させるように構成することができる。
例4は、マルチカメラシステムを較正するための装置を含む。本装置は、第1のターゲットにおいて1又は複数の画像を取り込み、第2のターゲットにおいて1又は複数の画像を取り込み、第3のターゲットにおいて1又は複数の画像を取り込み、また、第4のターゲットにおいて1又は複数の画像を取り込むための手段を含むことができる。本手段はまた、取り込まれた画像に基づいてマルチカメラシステムを較正するように構成することができる。
例5は、マルチカメラシステムを較正するための装置を含む。本装置は、ハードウェア論理を少なくとも部分的に備える論理を含む。本論理は、第1のターゲットにおいて1又は複数の画像を取り込み、第2のターゲットにおいて1又は複数の画像を取り込み、第3のターゲットにおいて1又は複数の画像を取り込み、また、第4のターゲットにおいて1又は複数の画像を取り込むように構成される。本論理はまた、取り込まれた画像に基づいてマルチカメラシステムを較正するように構成することができる。
一実施形態は、一実現形態又は一例である。明細書における「一実施形態」、「1つの実施形態」、「いくつかの実施形態」、「様々な実施形態」、又は「他の実施形態」に対する参照は、実施形態と関連して説明される特定の特徴、構造、又は特性が、本技法の、必ずしも全ての実施形態ではないが、少なくともいくつかの実施形態に含まれることを意味する。「一実施形態」、「1つの実施形態」、又は「いくつかの実施形態」の様々な出現は、必ずしも全てが同じ実施形態を指しているわけではない。
本明細書で説明され、例示される全ての構成要素、特徴、構造、特性、その他は、特定の一実施形態又は複数の実施形態に含まれる必要があるとは限らない。本明細書が、構成要素、特徴、構造、又は特性が、含まれ「得る」(may)、含まれる「場合がある」(might)、含む「ことができる」(「can」)、又は含まれる「可能性がある」(「could」)と述べている場合は、例えば、その特定の構成要素、特徴、構造、又は特性が含まれる必要はない。本明細書又は請求項が、「1つの」(「a」又は「an」)要素を参照している場合は、要素が1つだけ存在することを意味しない。本明細書又は請求項が、「1つの追加的な」要素を参照している場合は、追加的な要素が2つ以上存在する場合を排除しない。
いくつかの実施形態は、特定の実現形態を参照して説明されているが、いくつかの実施形態に従って他の実現形態が可能であることに留意されたい。加えて、図面に例示される、及び/又は本明細書で説明される回路要素又は他の特徴の配設及び/又は順序は、例示及び説明される特定の方法で配設する必要はない。いくつかの実施形態に従って数多くの他の配設が可能である。
図面に示される各システムにおいて、いくつかの事例における要素は、表される要素が異なる及び/又は類似し得ることを示唆するために、各々、同じ参照番号又は異なる参照番号を有する。しかしながら、要素は、異なる実現形態を有するように、また、本明細書で示される、又は説明されるシステムの一部又は全部とともに機能するように十分な柔軟性を有することができる。図面に示される様々な要素は、同じであっても、又は異なっていてもよい。どの要素が第1の要素として参照されるか、及びどの要素が第2の要素と称されるかは、任意である。
上述した例の詳細は、1又は複数の実施形態のどこででも使用することができることを理解されたい。例えば、上で説明したコンピューティングデバイスの全ての随意の特徴はまた、本明細書で説明される方法又はコンピュータ可読媒体のいずれかに関して実装することもできる。更に、フロー図及び/又は状態図が、実施形態を説明するために本明細書で使用されている場合があるが、本技術は、そのような図面に、又は本明細書の対応する説明に限定されない。例えば、フローは、各例示されるボックス又は状態を通して進める必要はなく、又は、本明細書で例示され、説明される順序と全く同じ順序で進める必要はない。
本技法は、本明細書に列記される特定の詳細に限定されない。実際に、本開示の利益を有する当業者は、前述の説明及び図面からの多くの他の変形を本技法の範囲内で行うことができることを認識するであろう。故に、本技法に対する任意の補正を含む以下の特許請求の範囲は、本技法の範囲を定義する。

Claims (25)

  1. マルチカメラシステムを較正するためのシステムであって、
    処理デバイスと、
    前記処理デバイスによって実装される複数のモジュールと
    を備え、
    前記複数のモジュールは、
    第1のターゲットにおいて1又は複数の画像を取り込み、
    第2のターゲットにおいて1又は複数の画像を取り込み、
    第3のターゲットにおいて1又は複数の画像を取り込み、
    第4のターゲットにおいて1又は複数の画像を取り込む画像取り込みモジュールと、
    前記取り込まれた複数の画像に基づいてマルチカメラシステムを較正する較正モジュールとを含む、システム。
  2. 記憶デバイスを更に備え、前記較正モジュールが、前記較正と関連付けられる較正データを記憶するためのものである、請求項1に記載のシステム。
  3. 1つの画像が、前記第1のターゲットにおいて取り込まれ、
    2つの画像が、前記第2のターゲットにおいて取り込まれ、
    1つの画像が、前記第3のターゲットにおいて取り込まれ、
    2つの画像が、前記第4のターゲットにおいて取り込まれる、請求項1〜2のいずれかの組み合わせに記載のシステム。
  4. 前記第1のターゲットと関連付けられる第1の位置において前記マルチカメラシステムを収容するデバイスを受容するための電動プラットフォームと、
    回転モジュールと
    を更に備え、
    前記回転モジュールは、
    前記デバイスを、前記第2のターゲットと関連付けられる第2の位置まで約45度回転させ、
    前記デバイスを、前記第2のターゲットと関連付けられる第3の位置まで約10度回転させ、
    前記デバイスを、前記第3のターゲットと関連付けられる第4の位置まで約135度回転させ、
    前記デバイスを、前記第4のターゲットと関連付けられる第5の位置まで約180度回転させ、
    前記デバイスを、前記第4のターゲットと関連付けられる第6の位置まで約10度回転させる、請求項1〜2のいずれかの組み合わせに記載のシステム。
  5. 前記複数のモジュールは、デバッギングモジュールを更に含み、
    前記デバッギングモジュールは、
    較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
    画像取り込みが行われる前に、前記第1のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
    全てのターゲットが、前記マルチカメラシステムからの所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
    これらの任意の組み合わせを行う、請求項1〜2のいずれかの組み合わせに記載のシステム。
  6. 前記第1のターゲットは、高さ約410ミリメートル(mm)及び幅約620mmのチェッカーボードパターンの長方形であり、
    前記第2のターゲットは、高さ約620mm及び幅約900mmのチェッカーボードパターンの長方形であり、
    前記第3のターゲットは、
    高さ約60mm及び幅60mmである第1のチェッカーボードパターンの長方形と、
    4つのチェッカーボードパターンの長方形であって、各々、前記第1のチェッカーボードパターンの長方形の縁部に取り付けられ、互いから約40度の角度で配置される、4つのチェッカーボードパターンの長方形と
    を含む5つのチェッカーボードパターンの長方形を有し、
    前記第4のターゲットは、前記第3のターゲットが配置される距離よりも遠い前記マルチカメラシステムからの距離に前記第4のターゲットが配置されることを除いて、前記第3のターゲットに類似する、請求項1〜2のいずれかの組み合わせに記載のシステム。
  7. 前記第3のターゲット、前記第4のターゲット、又はこれらの任意の組み合わせの各チェッカーボードパターンの画像を取り込むための位置決定モジュールを更に備える、請求項6に記載のシステム。
  8. 前記位置決定モジュールが、ターゲットにおける他のチェッカーボードパターンに対する各チェッカーボードパターンの位置に基づいて、各チェッカーボードパターンから取り込まれた個々の画像を共に継ぎ合わせるためのものである、請求項7に記載のシステム。
  9. 複数のターゲット及び前記マルチカメラシステムの各々の中心が、地上約90センチメートル(cm)に配置される、請求項1〜2のいずれかの組み合わせに記載のシステム。
  10. 前記マルチカメラシステムと前記第1のターゲットとの間の距離が、約800mmであり、
    前記マルチカメラシステムと前記第2のターゲットとの間の距離が、約1200mmであり、
    前記マルチカメラシステムと前記第3のターゲットの間の距離が、約2230mmであり、
    前記第4のターゲット上の前記マルチカメラシステムの間の距離が、約3050mmである、請求項1〜2のいずれかの組み合わせに記載のシステム。
  11. マルチカメラシステムを較正するための方法であって、
    第1のターゲットにおいて1又は複数の画像を取り込むことと、
    第2のターゲットにおいて1又は複数の画像を取り込むことと、
    第3のターゲットにおいて1又は複数の画像を取り込むことと、
    第4のターゲットにおいて1又は複数の画像を取り込むことと、
    前記取り込まれた複数の画像に基づいてマルチカメラシステムを較正することと
    を含む方法。
  12. 記憶デバイスを更に備え、前記較正モジュールが、前記較正と関連付けられる較正データを記憶するためのものである、請求項11に記載の方法。
  13. 1つの画像が、前記第1のターゲットにおいて取り込まれ、
    2つの画像が、前記第2のターゲットにおいて取り込まれ、
    1つの画像が、前記第3のターゲットにおいて取り込まれ、
    2つの画像が、前記第4のターゲットにおいて取り込まれる、請求項11〜12のいずれかの組み合わせに記載の方法。
  14. 前記第1のターゲットと関連付けられる第1の位置において前記マルチカメラシステムを収容するデバイスを受容するための電動プラットフォームと、
    回転モジュールと
    を更に備え、
    前記回転モジュールは、
    前記デバイスを、前記第2のターゲットと関連付けられる第2の位置まで約45度回転させ、
    前記デバイスを、前記第2のターゲットと関連付けられる第3の位置まで約10度回転させ、
    前記デバイスを、前記第3のターゲットと関連付けられる第4の位置まで約135度回転させ、
    前記デバイスを、前記第4のターゲットと関連付けられる第5の位置まで約180度回転させ、
    前記デバイスを、前記第4のターゲットと関連付けられる第6の位置まで約10度回転させる、請求項11から12のいずれかの組み合わせに記載の方法。
  15. 前記複数のモジュールは、デバッギングモジュールを更に含み、
    前記デバッギングモジュールは、
    較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
    画像取り込みが行われる前に、前記第1のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
    全てのターゲットが、前記マルチカメラシステムから所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
    これらの任意の組み合わせを行う、請求項11〜12のいずれかの組み合わせに記載の方法。
  16. 前記第1のターゲットは、高さ約410ミリメートル(mm)及び幅約620mmのチェッカーボードパターンの長方形であり、
    前記第2のターゲットは、高さ約620mm及び幅約900mmのチェッカーボードパターンの長方形であり、
    前記第3のターゲットは、
    高さ約60mm及び幅60mmである第1のチェッカーボードパターンの長方形と、
    4つのチェッカーボードパターンの長方形であって、各々、前記第1のチェッカーボードパターンの長方形の縁部に取り付けられ、互いから約40度の角度で配置される、4つのチェッカーボードパターンの長方形とを含む、5つのチェッカーボードパターンの長方形を有し、
    前記第4のターゲットは、前記第3のターゲットが配置される距離よりも遠い、前記マルチカメラシステムからの距離に前記第4のターゲットが配置されることを除いて、前記第3のターゲットに類似する、請求項11〜12のいずれかの組み合わせに記載の方法。
  17. 前記第3のターゲット、前記第4のターゲット、又はこれらの任意の組み合わせの各チェッカーボードパターンの画像を取り込むための位置決定モジュールを更に備える、請求項16に記載の方法。
  18. 前記位置決定モジュールが、ターゲットにおける他のチェッカーボードパターンに対する各チェッカーボードパターンの位置に基づいて、各チェッカーボードパターンから取り込まれた個々の画像を共に継ぎ合わせるためのものである、請求項17に記載の方法。
  19. 複数のターゲット及び前記マルチカメラシステムの各々の中心が、地上約90センチメートル(cm)に配置される、請求項11〜12のいずれかの組み合わせに記載の方法。
  20. 前記マルチカメラシステムと前記第1のターゲットとの間の距離が、約800mmであり、
    前記マルチカメラシステムと前記第2のターゲットとの間の距離が、約1200mmであり、
    前記マルチカメラシステムと前記第3のターゲットの間の距離が、約2230mmであり、
    前記第4のターゲット上の前記マルチカメラシステムの間の距離が、約3050mmである、請求項11〜12のいずれかの組み合わせに記載の方法。
  21. コードを含むコンピュータ可読媒体であって、該コードが実行されたときに、処理デバイスに、
    第1のターゲットにおいて1又は複数の画像を取り込ませ、
    第2のターゲットにおいて1又は複数の画像を取り込ませ、
    第3のターゲットにおいて1又は複数の画像を取り込ませ、
    第4のターゲットにおいて1又は複数の画像を取り込ませ、
    前記取り込まれた画像に基づいてマルチカメラシステムを較正させる、コンピュータ可読媒体。
  22. 前記較正と関連付けられる較正データを記憶するためのコードを更に備える、請求項21に記載のコンピュータ可読媒体。
  23. 1つの画像が、前記第1のターゲットにおいて取り込まれ、
    2つの画像が、前記第2のターゲットにおいて取り込まれ、
    1つの画像が、前記第3のターゲットにおいて取り込まれ、
    2つの画像が、前記第4のターゲットにおいて取り込まれる、請求項21〜22のいずれかの組み合わせに記載のコンピュータ可読媒体。
  24. 前記デバイスを、前記第1のターゲットと関連付けられる第1の位置から、前記第2のターゲットと関連付けられる第2の位置まで約45度を回転させ、
    前記デバイスを、前記第2のターゲットと関連付けられる第3の位置まで約10度回転させ、
    前記デバイスを、前記第3のターゲットと関連付けられる第4の位置まで約135度回転させ、
    前記デバイスを、前記第4のターゲットと関連付けられる第5の位置まで約180度回転させ、
    前記デバイスを、前記第4のターゲットと関連付けられる第6の位置まで約10度回転させるためのコードを更に備える、請求項21〜22のいずれかの組み合わせに記載のコンピュータ可読媒体。
  25. 較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
    画像取り込みが行われる前に、前記第1のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
    全てのターゲットが、前記マルチカメラシステムから所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
    これらの任意の組み合わせを行う、コードを更に備える、請求項21〜22のいずれかの組み合わせに記載のコンピュータ可読媒体。
JP2017504362A 2014-09-05 2015-08-06 マルチターゲットカメラ較正 Ceased JP2017536711A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462046787P 2014-09-05 2014-09-05
US62/046,787 2014-09-05
US14/498,793 2014-09-26
US14/498,793 US9596459B2 (en) 2014-09-05 2014-09-26 Multi-target camera calibration
PCT/US2015/044027 WO2016036471A1 (en) 2014-09-05 2015-08-06 Multi-target camera calibration

Publications (1)

Publication Number Publication Date
JP2017536711A true JP2017536711A (ja) 2017-12-07

Family

ID=55438743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504362A Ceased JP2017536711A (ja) 2014-09-05 2015-08-06 マルチターゲットカメラ較正

Country Status (7)

Country Link
US (1) US9596459B2 (ja)
EP (1) EP3189656A4 (ja)
JP (1) JP2017536711A (ja)
KR (1) KR102271596B1 (ja)
CN (1) CN106537907B (ja)
TW (1) TWI562634B (ja)
WO (1) WO2016036471A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235110A1 (ja) * 2019-05-23 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3262614B1 (en) 2015-02-24 2018-12-12 NEXTVR Inc. Calibration for immersive content systems
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP6721884B2 (ja) * 2015-09-29 2020-07-15 日本電気株式会社 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US10301019B1 (en) * 2015-12-17 2019-05-28 Amazon Technologies, Inc. Source location determination
US10140687B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10142544B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10853942B1 (en) * 2016-08-29 2020-12-01 Amazon Technologies, Inc. Camera calibration in a mobile environment
WO2018044584A1 (en) * 2016-08-31 2018-03-08 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CN106530359B (zh) * 2017-01-19 2023-08-18 浙江舜宇智领技术有限公司 用于摄像模组的标定装置
MX2019010030A (es) * 2017-02-24 2019-10-14 Pilkington Group Ltd Soporte universal para un objetivo para calibracion estatica adas, metodo para utilizar el mismo, placa del objetivo para el mismo y uso de una estera para el mismo.
WO2018195096A1 (en) * 2017-04-17 2018-10-25 Cognex Corporation High-accuracy calibration system and method
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
HU4982U (hu) 2017-07-05 2019-05-28 Aimotive Kft Tartószerkezet
US10089753B1 (en) 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
TWI668565B (zh) * 2018-02-09 2019-08-11 神雲科技股份有限公司 相機功能的自動測試及修復方法及其電子裝置
CN108881898A (zh) * 2018-06-07 2018-11-23 歌尔股份有限公司 景深模组非线性标定的测试方法
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
US10992921B1 (en) 2019-08-28 2021-04-27 Amazon Technologies, Inc. Self-calibrating stereo camera pairs provided aboard aerial vehicles
IT202100024218A1 (it) * 2021-09-21 2023-03-21 Flexsight S R L Apparato automatizzato di calibrazione di una pluralità di sensori di immagine appartenenti ad uno scanner 3d e metodo di calibrazione di detti sensori di immagine mediante detto apparato automatizzato di calibrazione
CN114419168B (zh) * 2022-01-21 2022-09-09 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置
GB2623505A (en) * 2022-10-14 2024-04-24 Belron Int Ltd Method for assessing illumination set-up for vehicle system calibration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60132083U (ja) * 1984-02-15 1985-09-04 ソニー株式会社 パタ−ン切換装置
JP2003307466A (ja) * 2002-02-18 2003-10-31 Topcon Corp キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2013214206A (ja) * 2012-04-02 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> 3次元形状計測装置とそのキャリブレーション方法
US20140240518A1 (en) * 2013-02-25 2014-08-28 Teradyne, Inc. Rotatable camera module testing system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
CN101226638B (zh) * 2007-01-18 2010-05-19 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
CN100470590C (zh) * 2007-02-05 2009-03-18 武汉大学 相机标定方法及所用标定装置
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
CN101505433A (zh) 2009-03-13 2009-08-12 四川大学 一种实拍实显多镜头数码立体系统
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
CN102438153B (zh) 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
TW201226237A (en) 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
US8872897B2 (en) 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US8619144B1 (en) 2012-03-14 2013-12-31 Rawles Llc Automatic camera calibration
JP5923422B2 (ja) 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60132083U (ja) * 1984-02-15 1985-09-04 ソニー株式会社 パタ−ン切換装置
JP2003307466A (ja) * 2002-02-18 2003-10-31 Topcon Corp キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2013214206A (ja) * 2012-04-02 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> 3次元形状計測装置とそのキャリブレーション方法
US20140240518A1 (en) * 2013-02-25 2014-08-28 Teradyne, Inc. Rotatable camera module testing system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235110A1 (ja) * 2019-05-23 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JPWO2020235110A1 (ja) * 2019-05-23 2020-11-26
JP7218435B2 (ja) 2019-05-23 2023-02-06 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
US11881001B2 (en) 2019-05-23 2024-01-23 Sony Interactive Entertainment Inc. Calibration apparatus, chart for calibration, and calibration method

Also Published As

Publication number Publication date
CN106537907B (zh) 2019-09-03
EP3189656A1 (en) 2017-07-12
EP3189656A4 (en) 2018-05-02
CN106537907A (zh) 2017-03-22
KR102271596B1 (ko) 2021-07-01
WO2016036471A1 (en) 2016-03-10
US9596459B2 (en) 2017-03-14
TWI562634B (en) 2016-12-11
KR20170026588A (ko) 2017-03-08
TW201618534A (zh) 2016-05-16
US20160073101A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
KR102271596B1 (ko) 멀티 타겟 카메라 교정
US9183620B2 (en) Automated tilt and shift optimization
US9674433B1 (en) Image center calibration for a quadric panoramic optical device
CN113489961B (zh) 投影校正方法、装置、存储介质和投影设备
WO2020147498A1 (zh) 自动驾驶传感器的检测方法、装置和电子设备
US10101817B2 (en) Display interaction detection
US9892488B1 (en) Multi-camera frame stitching
JP6693684B2 (ja) 異常検査装置および異常検査方法
TW201520540A (zh) 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品
JP2018081048A (ja) 三次元形状計測装置
US10148944B2 (en) Calibration method of an image capture system
US9628778B2 (en) Calibration system of a stereo camera and calibration method of a stereo camera
JP6207764B2 (ja) 作業支援システム、作業支援装置及び作業支援方法
US20140320638A1 (en) Electronic device and method for detecting surface flaw of sample
KR101893823B1 (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
KR101790994B1 (ko) 회전 가능한 360도 카메라 기반의 360도 영상 구현 시스템
US9847011B2 (en) Warning system for sub-optimal sensor settings
US20120300058A1 (en) Control computer and method for regulating mechanical arm using the same
US8665445B2 (en) Diagnostic system for optical touch control module and automatic diagnostic method thereof
US11393366B2 (en) Projection calibrations
US10735718B2 (en) Restoring components using data retrieved from a projector memory
KR20210047071A (ko) 카메라 모듈 검사 차트 및 이를 포함하는 시스템
JP2017073717A (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体
TWI549479B (zh) 立體照相機的校正系統和立體照相機的校正方法
JP2015187755A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20190528