JP2011060285A

JP2011060285A - 算出方法及び算出装置

Info

Publication number: JP2011060285A
Application number: JP2010199254A
Authority: JP
Inventors: Richard Jared Cooper; ジャレッドクーパーリチャード
Original assignee: Sony Europe Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 2009-09-04
Filing date: 2010-09-06
Publication date: 2011-03-24
Anticipated expiration: 2030-09-06
Also published as: JP5629536B2; GB0915495D0; US8526762B2; US20110058749A1; CN102013104A; GB2473248A

Abstract

【課題】セットアップが困難であり且つ高価な従来の３Ｄリグを必要とすることなく、所望のアライメントを行う。
【解決手段】
第１のカメラによって捕捉されるシーンの第１の画像の所定方向におけるミスアライメント量を算出する算出方法が記載される。上記算出方法は、上記第１の画像内の第１の点と上記第１の画像内の第２の点との間に、上記所定方向に延びる第１の線を画定し、上記第１の画像のアライメント処理の基準となる、第１の基準画像特徴を有する基準領域を上記シーンから画定し、上記第１の画像内の上記第１の線に沿った異なる点における画像特徴を識別し、上記第１の線に沿った各点における上記画像特徴を上記第１の基準画像特徴と比較し、且つ上記各点における上記画像特徴の位置と、上記基準領域の上記第１の基準画像特徴の位置との間の距離を算出することによって上記ミスアライメント量を算出する。
【選択図】図６Ａ

Description

本発明は、画像のミスアライメント量を算出する算出方法及び算出装置に関する。

３次元（３Ｄ）画像を作成するためには、同じシーンについて２枚の画像を撮影し、一方の画像を他方の画像に対してわずかにずらす必要がある。これは、上記画像を慎重にアライメントしてから当該画像をずらす必要があることを意味する。このアライメントを達成するために、通常、特別なカメラリグを用いて２枚の画像を捕捉する。このようなリグとして、3ality Digital社によって製造されたものがある。

しかし、アライメント処理は複雑であるため、上記リグはセットアップに時間がかかる。このことは、特に、撮影スケジュールが厳密に管理される生放送のテレビ番組の制作において全く望ましくない。

また、上記リグは非常に高価なものである。通常、３Ｄリグにかかる費用は高過ぎるため、番組制作者はこれを購入せずに借りることになる。

欧州特許出願第１９６４０６１号明細書米国特許公開第２００３／０１５２２６０号明細書米国特許公開第２００６／０２５６３９７号明細書国際公開ＷＯ２００７／０６３３５２号パンフレット韓国特許第１００７７８０８５号明細書米国特許公開第２００５／０１２９３２５号明細書

したがって、セットアップが困難であり且つ高価な従来の３Ｄリグを必要とすることなく、所望のアライメントを行うことが望まれている。本発明の目的はこれらの問題を緩和することにある。

本発明の第１の態様によれば、第１のカメラによって捕捉されるシーンの第１の画像の所定方向におけるミスアライメント量を算出する算出方法が提供される。上記算出方法は、上記第１の画像内の第１の点と上記第１の画像内の第２の点との間に、上記所定方向に延びる第１の線を画定し、上記第１の画像のアライメント処理の基準となる、第１の基準画像特徴を有する基準領域を上記シーンから画定し、上記第１の画像内の上記第１の線に沿った異なる点における画像特徴を識別し、上記第１の線に沿った各点における上記画像特徴を上記第１の基準画像特徴と比較する。

これによって、ミスアライメント量を迅速に算出することが可能になる、したがって、必要であれば任意の変換が画像に対してなされてそのようなミスアライメントを補正することが可能になるため、有利である。

上記算出方法は、さらに、第２のカメラを用いて、第２の画像を、上記第１の画像とオーバーラップエリアを有するように捕捉し、上記第２の画像の第１の点と上記第２の画像の第２の点との間に、上記所定方向に引かれて、第２の基準画像特徴を有する上記第１の基準領域と交差する第２の線を画定し、上記第２の画像内の上記第２の線に沿った異なる点における上記画像特徴を識別し、上記第１の画像内の上記第１の線に沿った各点における上記画像特徴を、上記第２の画像内の上記第２の線に沿った各点における上記画像特徴と比較してもよく、上記シーンの上記基準領域は上記オーバーラップエリア内に位置し、上記ミスアライメント量は、上記第１の画像内の上記第１の基準画像特徴の位置と、上記第２の画像内の上記第２の基準画像特徴の位置との差によって算出される。

これによって、２つの画像間のミスアライメントを測定することが可能になる。

上記第１の画像又は上記第２の画像内の上記画像特徴は、複数の画素値の補間によって形成されてもよい。これによって、任意方向のミスアライメントを補正することが可能になる。

上記補間は、最も近い４つの画素値のバイリニア補間であってもよい。

上記算出方法は、さらに、上記第１の画像及び上記第２の画像に極テンプレートを表示してもよく、上記極テンプレートは、円形テンプレート線と、上記画像を補足する上記カメラの光軸と一致する中心点を有する半径方向テンプレート線とを有し、上記第１の画像内の上記第１の点と上記第２の点との間の上記線は、上記円形テンプレート線及び上記半径方向テンプレート線のうちの一方又は両方によって画定される。

これによって、適切な境界を迅速に引くことが可能になる。したがって、ミスアライメント量を算出するのにかかる時間が短縮される。

上記算出方法は、さらに、上記第１の線又は上記第２の線を囲むエリアにおいて、上記画像を捕捉する上記カメラの光軸からの距離が互いに同じである位置における上記画像特徴を算出する。

実施形態によれば、画像をアライメントするアライメント方法が提供される。上記アライメント方法は、実施形態のいずれかによる上記ミスアライメント量を算出する算出方法を含み、上記各点における上記画像特徴と、上記基準領域の上記画像特徴との間の距離が所定の閾値内に入るまで、上記第１の画像を変換する。

上記第１の画像は、上記第１の点と上記第２の点との間の上記線に沿って変換されてもよい。

上記第１の画像内の上記線及び上記第２の画像内の上記線は円形の線であってもよく、上記第１の画像にはロール変換が適用される。

上記第１の画像内の上記線及び上記第２の画像内の上記線は半径方向線であってもよく、上記第１の画像には上記半径方向線の長さに沿って変換が適用される。

別の態様によれば、コンピュータに、本発明の任意の実施形態による算出方法を実行させるプログラムが提供される。

上記プログラムを記録した記録媒体も提供される。

別の態様によれば、第１のカメラによって捕捉されるシーンの第１の画像の所定方向におけるミスアライメント量を算出する算出装置が提供される。上記算出装置は、上記第１の画像内の第１の点と上記第１の画像内の第２の点との間に、上記所定方向に延びる第１の線を画定するように動作可能であり、且つ上記第１の画像のアライメント処理の基準となる、第１の基準画像特徴を有する基準領域を上記シーンから画定するようにさらに動作可能である画定器と、上記第１の画像内の上記第１の線に沿った異なる点における画像特徴を識別するように動作可能である識別子と、上記第１の線に沿った各点における上記画像特徴を上記第１の基準画像特徴と比較し、且つ上記各点における上記画像特徴の位置と、上記基準領域の上記第１の基準画像特徴の位置との間の距離を算出することによって上記ミスアライメント量を算出するように動作可能であるコンパレータと、上記第１の画像において、上記第１の点と上記第２の点との間に延びる円形サンプリング経路、及び、上記第１の画像の中心点と一致する中心点を有し当該中心点から半径方向に沿って延びる半径方向サンプリング経路のうちの少なくとも一方を画定するように動作可能である画定器とを具備する。

上記算出装置は、第２の画像を、上記第１の画像とオーバーラップエリアを有するように捕捉するように動作可能である第２のカメラと接続可能である入力端子をさらに具備ししてもよく、上記画定器は、上記第２の画像の第１の点と上記第２の画像の第２の点との間に、上記所定方向に引かれて、第２の基準画像特徴を有する上記第１の基準領域と交差する第２の線を画定するようにさらに動作可能であり、上記識別子は、上記第２の画像内の上記第２の線に沿った異なる点における上記画像特徴を識別するようにさらに動作可能であり、上記コンパレータは、上記第１の画像内の上記第１の線に沿った各点における上記画像特徴を、上記第２の画像内の上記第２の線に沿った各点における上記画像特徴と比較するようにさらに動作可能であり、上記シーンの上記基準領域は上記オーバーラップエリア内に位置し、上記ミスアライメント量は、上記第１の画像内の上記第１の基準画像特徴の位置と、上記第２の画像内の上記第２の基準画像特徴の位置との差によって算出される。

上記第１の画像又は上記第２の画像内の上記画像特徴は、複数の画素値の補間によって形成されてもよい。

上記算出装置は、上記第１の画像及び上記第2の画像に極テンプレートを表示するように動作可能であるディスプレイをさらに具備してもよく、上記極テンプレートは、円形テンプレート線と、上記画像を補足する上記カメラの光軸と一致する中心点を有する半径方向テンプレート線とを有し、上記第１の画像内の上記第１の点と上記第２の点との間に延びる上記線は、上記円形テンプレート線及び上記半径方向テンプレート線のうちの一方又は両方によって画定される。

上記識別子は、上記第１の線又は上記第２の線を囲むエリアにおいて、上記画像を捕捉する上記カメラの光軸からの距離が互いに同じである位置における上記画像特徴を算出するようにさらに動作可能であってもよい。

画像をアライメントするアライメント装置も提供される。上記アライメント装置は、本発明の実施形態による上記ミスアライメント量を算出する算出装置と、上記捕捉された領域の上記画像特徴と、上記基準領域の上記画像特徴との間の距離が所定の閾値距離を下回るまで、上記第１の画像を変換するように動作可能である変換機とを具備する。

上記第１の画像は、上記第１の点と上記第２の点との間に延びる上記線に沿って変換されてもよい。

任意の実施形態による算出装置又は任意の実施形態によるアライメント装置に接続される第１のカメラ及び第２のカメラを具備するシステムも提供される。

本発明の上記及び他の目的、特徴並びに利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになる。

本発明の一実施形態による３次元画像の生成に用いられる画像を捕捉するシステムを示す。図１のシステムに用いられるワークステーションを示す。図２のワークステーションを複数用いる、図１のシステムを示す。図２のワークステーションと共に用いられるインタフェースの図である。図２のユーザコントロールシステムにおけるセットアップモードの図である。本発明の実施形態によるロール歪み量を確定するためのトレースモードの図である。本発明の実施形態によるロール歪み量を確定するためのトレースモードの図である。本発明の実施形態によるロール歪み量を確定するためのトレースモードの図である。本発明の実施形態によるロール歪み量を確定するためのトレースモードの図である。本発明の実施形態によるレンズ歪み量を確定するためのトレースモードの図である。本発明の実施形態によるレンズ歪み量を確定するためのトレースモードの図である。本発明の実施形態によるレンズ歪み量を確定するためのトレースモードの図である。本発明の実施形態によるレンズ歪み量を確定するためのトレースモードの図である。極テンプレートを示す。

図１には、３Ｄ画像の生成に用いられるシーンの画像を捕捉するシステム１００が示されている。システム１００は、２台のカメラ１０５が載置されているカメラリグ１１５を有する。これらカメラ１０５は、ビデオカメラでもスチルカメラでもよい。図１には示されていないが、上記各カメラ１０５の互いに対するヨーは変更可能である。すなわち、リグ１１５に載置されている間、各カメラ１０５のピッチ及びロールは通常、互いに対して固定される。しかし、上記カメラ１０５のヨーは互いに独立して調整することができる。これによって、カメラ１０５のトーインを変化させることができる。所定の位置にロックされると（すなわち、リグ１１５に固定されると）、リグ１１５のヨー、ピッチ、及びロール運動は一体的に行うことができる。リグ１１５のヨー、ピッチ、及びロール運動は、アーム１２０によって行われる。リグ１１５の位置は、アーム１２０をひねることによって所定の位置にロックすることができる。

各カメラ１０５からの出力フィードは、本発明の実施形態によるワークステーション２００に供給される。これらの出力を、図１において符号ａ及びｂで示す。各カメラ１０５からの出力フィードａ及びｂは、画像データを含む。しかし、他のデータを各カメラ１０５から供給してもよい。例えば、メタデータを各カメラ１０５から供給することもできる。メタデータは、各カメラのアパーチャ設定、焦点距離及び／又はズーム等のカメラ設定に関するものであってもよい。さらに、メタデータは、カメラマン又はグッドショットマーカ（good shot marker）等の情報を含んでいてもよい。本実施形態では、各カメラ１０５からの出力フィードは、有線又はネットワークを介して接続してもよい。実際上は、カメラ１０５及びワークステーション２００間の接続はワイヤレスであってもよい。これは、ワークステーション２００がカメラリグ１１５から離れた位置にあってもよいことを意味する。

さらに、ワークステーション２００にはユーザ端末１２５が接続される。後述するように、ユーザ端末１２５によって、アライメント処理の間にユーザがワークステーション２００を制御することが可能になる。ワークステーション２００からも多数の出力フィードが出ている。後述するようにこの具体的な実施形態では４本の出力フィードが出ているが、本発明はこれに限定されず、４本未満又は５本以上の出力フィードを用いてもよい。

図２には、本実施形態によるワークステーション２００が示されている。本実施形態によるワークステーション２００は、大量のデータ処理を扱うように特殊設計されたＣｅｌｌプロセッサベースのアーキテクチャ（ソニー、東芝、及びIBMにより設計）を有する。これは、画像処理タスクに特に適している。ワークステーション２００は、各カメラ１０５につき１本、計２本の入力フィードを受け入れている（図２において、「左ｉ／ｐ」及び「右ｉ／ｐ」として示されている）。図１及び図２で述べたように、ワークステーション２００からは４本の出力フィードが出ており、これは、補正左出力フィード、補正右出力フィード、ステレオモニタ出力フィード、及び波形モニタ出力フィードから成る。これら出力フィードについては後述する。同図ではさらに、ユーザ端末１２５への接続が示されている。

これら入力フィード及び出力フィードの構成から、１つのワークステーションがカメラ対毎に（すなわち、左右一対のカメラ毎に）提供されるということが理解されるであろう。この構成は拡張することができる。特に、High Definition Serial Digital Interface（ＨＤ−ＳＤＩ）カードが入手可能であれば、上記構成を拡張してデュアルリンクによる４：４：４出力をサポートすることができる。この出力タイプは、ステレオモニタ出力フィードのアナグリフ出力を示すのに特に役立つ。ワークステーション２００の動作は、以下で図４〜図６を参照しながら説明する。

図３には、シングルリンクのＨＤ−ＳＤＩを用いる複数のワークステーションを有するシステム３００が示されている。この構成では、２つのワークステーション２００Ａ及び２００Ｂが示されている。しかし、本実施形態において、この構成は、あらゆる数のカメラ対からの入力を受け入れるようにどのようにも変形可能である。第１のワークステーション２００Ａは、第１の及び第２のカメラ対からの入力を受け入れる。つまり、第１のワークステーション２００Ａへの別個のカメラフィードが４本存在する。同様に、第２のワークステーション２００Ｂは、第３の及び第４のカメラ対からの入力を受け入れる。

第１のワークステーション２００Ａからの出力フィードは、第１のカメラ対用の補正左出力フィード及び第１のカメラ対用の補正右出力フィードと、第２のカメラ対用の補正左出力フィード及び第２のカメラ対用の補正右出力フィードである。同様に、第２のワークステーション２００Ｂからの出力フィードは、第３のカメラ対用の補正左出力フィード及び第３のカメラ対用の補正右出力フィードと、第４のカメラ対用の補正左出力フィード及び第４のカメラ対用の補正右出力フィードである。

第１のワークステーション２００Ａからの上記出力フィードと、第２のワークステーション２００Ｂからの上記出力フィードとは、クロスポイントスイッチャ（ＸＰＴ）３０５へ供給される。ＸＰＴ３０５は、クロスポイント又はスイッチャのいずれかであってもよい。当業者には理解されるように、クロスポイントは、任意の入力を任意の出力にマッピングすることができ、スイッチャは、入力から出力へのマッピングが変更される場合に効果を与えることができる。したがって、スイッチャは、ワイプイン効果またはフェードイン効果を有する出力カメラ対を変更することができる。

さらに、左出力フィード及び右出力フィードが、ＸＰＴ３０５によって提供される。ＸＰＴ３０５は、ＸＰＴ３０５の操作者によってなされた選択に従ってカメラ対のうちの１つから出力フィードをモニタリングのために選択する。しかし、ユーザ端末１２５が代わりにＸＰＴ３０５を制御することが可能である。つまり、ＸＰＴ３０５の操作者又はユーザ端末１２５は、左右のモニタ上に表示されるカメラ対のいずれかを選択することができ、ＸＰＴ３０５は、適切なカメラ対からの補正左フィード及び補正右フィードを選択する。

左右の出力フィード及び左右のモニタ出力フィードは、モニタリングワークステーション３１０へ供給される。モニタリングワークステーション３１０は、上述したように画像処理タスクを扱うのに特に適したＣｅｌｌプロセッサ等のＣｅｌｌプロセッサベースである。

モニタリングワークステーション３１０からの出力は、プログラムステレオモニタ出力、プレビューステレオモニタ出力、及びプログラム／プレビュー波形又はステレオモニタ出力である。当業者には理解されるように、プログラムステレオモニタ出力は、放送用に送信されるライブフィードであり、プレビューステレオモニタ出力は、「オフエアー」として様々な効果を試行することを可能にする、ライブフィードの１つであり、プログラム／プレビュー波形は、プログラムステレオモニタ出力又はプレビューステレオモニタ出力を含むデュアルフィードである。

図３で述べた実施形態の代替形態では、シングルリンクＨＤＳＤＩの代わりにデュアルリンクＨＤＳＤＩを用いることが可能である。

入力カメラフィードは高精細（詳細には１９２０×１０８０画素の解像度）であり、入力カメラフィードのフレームレートは、２３．９８プログレッシブセグメントフレーム（ＰｓＦ）、２４ＰｓＦ、２５ＰｓＦ、２９．９７ＰｓＦ、３０ＰｓＦ、５０インターレース（ｉ）、５９．９４ｉ又は６０ｉのうちの一つである。５０プログレッシブ（Ｐ）、５９．９４Ｐ及び６０Ｐもサポートすることができるが、この場合、各ワークステーション２００Ａ及び２００Ｂは、ワークステーション２００におけるＨＤ−ＳＤＩ入力の数に起因して一対のカメラ対しかサポートすることができないことが理解されるであろう。さらに、カメラの数が増加すると、必要とされる処理出力が増加することも理解されるであろう。代替的に、入力カメラフィードの解像度を１２８０×７２０画素とし、フレームレートを５０Ｐ、５９．９４又は６０Ｐのうちの一つとすることができる。モニタリングワークステーション３１０によって提供される出力フィードは、入力カメラフィードと同じタイプであってもよい。しかし、これは必須ではない。実際は、出力フィードは、入力カメラフィードと異なるタイプであってもよい。例えば、出力フィードを、記録媒体に記録することができる低解像度映像にダウンコンバートしてもよい。これは、「緊急の」編集にとって有用であり得る。この場合、捕捉されたマテリアルのラフカットが実行され、必要とされる全てのショットが捕捉されていることが保証される。

次に、本実施形態によるアライメント処理を説明する。この処理は、カメラリグ１１５に載置された左右のカメラ１０５が十分にアライメントされていなくても、カメラ対の左右のカメラ１０５からの出力フィードをアライメントさせることを可能にする。後述するように、アライメント処理には画素特徴情報が必要とされるため、左右のカメラ１０５からの出力フィードに対して、アライメント処理が開始される前にカラーマッチングが実行される場合がある。これは特に、３Ｄリグがビームスプリッタを有する場合に当てはまる。必須ではないが、カラーマッチングによって、位置アライメント処理を始める前に各出力カメラフィードにおける相応する画素の色特徴が一致することが保証される。これによって、画像のアライメント精度を高めることができる。カラーマッチングを実行するために、アライメントの前に、ユーザは、正確なカラーマッチングを要する、左右の出力カメラフィードの画像において少なくとも１つのエリアを識別する。この情報から、ユーザは当該エリア及び画像全体に適用されるカラーマッチングのレベルを算出することができる。これは、専用ユーザインタフェースを用いて１つ又は複数の色のパラメータを調整することによって達成される。本実施形態では、３つのコントローラセットを用いてカラーマッチングを制御する。すなわち、Ｒ特徴、Ｇ特徴及びＢ特徴のそれぞれに対して１つのセットを用いる。これらのタイプの制御は、放送映像処理の分野において既知であるため、ここではこれ以上言及しない。さらに、本実施形態ではこのコントローラはユーザ端末１２５に統合されているが、本発明はこれに限定されない。実際には、このようなコントローラは上記ユーザ端末１２５とは別個とすることもできる。

色差が算出されると、左右のカメラによって捕捉された色の差異に関する表示がなされ、これを出力フィードからの全ての画像に対して行うことできる。

図４に示すように、色補正後、カメラ対の左のカメラ１０５からの補正出力フィードが補正左カメラフィード４０１として表示される。同様に、同じカメラ対の右のカメラ１０５からの補正出力フィードが補正右カメラフィード４０２として表示される。ユーザ端末１２５のユーザによって、表示された補正左カメラフィード４０１内のエリア４０４と、表示された補正右カメラフィード４０２内のエリア４０３とが選択される。選択されたエリア４０３及び４０４は左右の画像４０１及び４０２をアライメントするのに用いるため、選択されるエリアは、左右両方のカメラによって捕捉されたシーンの特徴を含んでいる必要がある。具体的な本実施形態では、左右両方のカメラによって捕捉されたシーンは酷似しているため、左右両方のカメラによって捕捉された多数の特徴が存在する。しかし、左右両方のカメラによって捕捉されたシーンの少しのエリアのみがこれらのカメラの視野においてオーバーラップしている場合は、選択されるエリアは、このオーバーラップ部分の少なくとも一部を含む必要がある。

左のカメラからの補正出力フィード４０１の選択されたエリア４０４’が、左のカメラからの補正出力フィード４０１の真下に表示される。さらに、右のカメラからの補正出力フィード４０２の選択されたエリア４０３’が、右のカメラからの補正出力フィード４０２の真下に表示される。表示された選択エリア４０３’及び４０４’は、選択されたエリア４０３及び４０４をズームしたものである。つまり、選択されたエリア４０３及び４０４をデジタルズームし、ズームしたエリアの結果を左右それぞれのカメラからの補正出力フィードの真下に、選択エリア４０３’及び４０４’として表示する。ズームを適用することによって、選択されたエリアのサイズが増し、ユーザに見易くなる。

図４に示すように、左のカメラの補正出力フィードから表示された選択エリア４０４’内の第１の領域４０４Ａ及び第２の領域４０４Ｂと、右のカメラ４０２の補正出力フィードから表示された選択エリア４０３’内の第１の領域４０３Ａ及び第２の領域４０３Ｂとがユーザ端末１２５によって決定される。同図から明らかであるように、第１の領域４０３Ａ及び４０４Ａはいずれも画素の縦の行の範囲から選択され、第２の領域４０３Ｂ及び４０４Ｂはいずれも画素の横の列の範囲から選択される。しかし、本発明はこれに限定されない。第１の領域４０３Ａ及び４０４Ａの両方並びに第２の領域４０３Ｂ及び４０４Ｂの両方は、任意方向のサンプリング点の範囲から選択することができる。実際には、この方向は同じである必要はない。

ディスプレイ４００上には、波形を表示する区画４１０が表示される。波形表示区画４１０には、第１の波形４１５及び第２の波形４１７が表示される。上記波形は通常、画素又は画素群内の赤、緑及び青（ＲＧＢ）要素等の画素特徴を示す。しかし、本発明はこれに限定されない。実際には、上記波形は、画素又は画素群の任意の特徴を表示してもよい。この任意の特徴には、輝度レベル、色差レベル（Ｃｒ、Ｃｂレベル）等が含まれる。本実施形態において、第１の波形４１５は、図４のｘ方向における複数のトレースが重なった状態を示しており、各トレースはｘ方向に延びる画素の選択された列のうちの１つに対応している。第１の波形４１５のｘ軸上の各点は、第２の領域４０４Ｂのｘ軸に沿った画素位置に対応する。同図において、第２の領域４０４Ｂから生成された波形は破線で示されており、第１の波形の点４０４Ｃを有する。

これと重なって実線で示されているのが、領域４０３Ｂに同様の技術を適用することによって生成された波形であり、第１の波形の点４０３Ｃを有する。なお、ここでは、第１の波形における２本の線は、互いに区別できるようにそれぞれ実線と破線で示されている。しかし、２つの線を異なる色で示すことも可能であり、また２つの線がオーバーラップしている所を第３の線又は色で表示することも可能である。

第２の波形４１７は、図４のｙ方向における複数のトレースが重なった状態を示しており、各トレースはｙ方向に延びる画素の選択された列のうちの１つに対応している。第２の波形４１７のｙ軸の各点は、第１の領域４０４Ａのｙ軸に沿って延びる画素の選択された列のうちの１つに対応する。同図において、第１の領域４０４Ａから生成された波形は破線で示されており、第２の波形の点４０４Ｄを有する。

これと重なって実線で示されているのが、第２の領域４０３Ｂの同様のトレースを示す波形であり、点４０３Ｄを有する。上述と同様、任意の２色を用いて線を区別することが可能であり、第３の線または色を用いてオーバーラップしているトレースを示すこともできる。

点４０３Ｃ及び４０４Ｃにおいて、酷似した画素特徴が見られる。実際には、点４０３Ｃは、第２のズーム領域４０３’のシーンにおけるボタン４０３Ｅに対応する。同様に、点４０４Ｃは、第１のズーム領域４０４’のシーンにおけるボタン４０４Ｅに対応する。これらのボタンは、左右のカメラによって捕捉されたシーン内の同じ特徴である。しかし、第１の波形４１５を見ると、点４０３Ｃ及び４０４Ｃはｘ方向において同じ位置にないことがすぐに分かる。このことは、左のカメラからの補正出力フィード４０１及び右のカメラからの補正出力フィード４０２が十分にアライメントされていないことを意味する。つまり、左のカメラからの補正出力フィード４０１及び右のカメラからの補正出力フィード４０２が十分にオーバーラップしていない。第１の波形を同図のように重なった態様で提示することによって、左のカメラからの補正出力フィード４０１が右のカメラからの補正出力フィード４０２の右側にずれていることをユーザに把握させることができる。

同様に、点４０３Ｄ及び４０４Ｄは酷似した画素特徴を見せる。実際には、点４０３Ｄは、第１の領域４０４におけるボタン４０４Ｆに対応する。同様に、点４０４Ｄは、第２の領域４０３におけるボタン４０３Ｆに対応する。つまり、線４０３Ｄ及び４０４Ｄは、
左右のカメラによって捕捉されたシーン内の同じ特徴を表す。しかし、第２の波形４１７を見ると、点４０３Ｄ及び４０４Ｄはｙ方向において同じ位置にないことが明らかである。したがって、ボタン４０３Ｆ及び４０４Ｄはｙ方向において十分にアライメントされていない。このことは、左のカメラからの補正出力フィード４０１及び右のカメラからの補正出力フィード４０２がｙ方向において十分にアライメントされていないことを意味する。第２の波形４１７を同図のように重なった態様で提示することによって、左のカメラからの補正出力フィードがアライメントされておらず、実は、右のカメラからの補正出力フィード４０２の下方にずれていることをユーザに把握させることができる。

実際上、上述したように、第１の波形４１５のｘ方向における各点は、第２の領域４０３Ｂ及び４０４Ｂのｘ方向における画素位置に対応し、第２の波形４１７のｙ方向における各点は、第１の領域４０３Ａ及び４０４Ａのｙ方向における画素位置に対応する。このことは、点４０３Ｃ及び４０４Ｃ間の距離を知ることによって、左のカメラからの補正出力フィード４０１及び右のカメラからの補正出力フィード４０２間のｘ方向のずれを算出することができることを意味する。同様に、点４０３Ｄ及び４０４Ｄ間の距離を知ることによって、左のカメラからの補正出力フィード４０１及び右のカメラからの補正出力フィード４０２間のｙ方向のずれを算出することができる。このことは、単純に点４０３Ｃ及び４０４Ｃ間の距離と点４０３Ｄ及び４０４Ｄ間の距離とを分析することによって、左のカメラからの補正出力フィード４０１及び右のカメラからの補正出力フィード４０２が特定の方向において十分にアライメントされているかどうかを判定することができることを意味する。

したがって、補正出力を特定の方向に所定の距離だけずらせば十分にアライメントできることが理解されるであろう。例えば、３Ｄ映像を撮影する場合、画像をｙ方向に十分にアライメントさせながら、補正出力をｘ方向に所定の量だけずらす必要がある。しかし、画像スティッチングの場合、画像をｘ方向及びｙ方向の両方において十分にアライメントさせることが望まれる。本発明は、３Ｄ又は画像スティッチングに限定されず、あらゆる方向におけるあらゆるレベルのアライメントも想定されている。例えば、手振れ補正では、フルアライメントが有用である。異なる時間に撮影された画像をアライメントすることも可能である。

この情報を用いて、カメラリグ１１５に載置されたカメラ１０５のアライメントを調整することが可能である。これを行うために、サーボモータを制御するのに適切な情報がワークステーション２００によって生成され、サーボコントローラ（図示せず）に供給される。また、この情報は、手動でリグ１１５を操作する者に提供することができる。しかし、リグ１１５のコスト及び設計の複雑さを低減するために、本実施形態では、左のカメラからの補正出力フィード４０１又は右のカメラからの補正出力フィード４０２を変換してこのようなアライメントを実現することができる。左のカメラからの補正出力フィード４０１の上記変換を説明する。以下では１つの出力フィードのみの変換を説明するが、本発明はこれに限定されず、一方又は両方の画像を変換してもよい。

カメラがとることができる３つの動きは、ヨー（図４のｘ方向を中心とした回転）、ピッチ（図４のｙ方向を中心とした回転）、及びロール（カメラの光軸を中心とした回転）である。カメラの上記動きをカメラからの出力フィードに再現することができる。これを行うために、出力フィードは、４×４行列の回転、ズーム、変換及び投影をまとめて用いて変換される。このタイプの変換は、モデルビュープロジェクション行列と称されることもある。この変換は、左右のカメラの視野を必要とする。

上述したように、左のカメラからの出力フィード４０１が右のカメラからの出力フィード４０２の右側にあることを判定することが可能である。これを補正するために、必要に応じて、左のカメラからの出力４０１を右に移動させるヨー変換が左のカメラの出力フィード４０１に適用される。平面シフトも想定される。左のカメラ４０１からの出力フィードを変換した後、点４０３Ｃ及び４０４Ｃ間の距離を測定する。点４０３Ｃ及び４０４Ｃ間の距離が或る閾値以下、例えば、３Ｄ映像に所望されるカメラ間距離±１画素以下である場合、ヨー変換を停止する。しかし、点４０３Ｃ及び４０４Ｃ間の距離が閾値より大きい場合、ヨー変換を続行する。

さらに、上述したように、本実施形態では、２つの点４０３Ｃ及び４０４Ｃの距離を算出することによって、領域４０４Ｂ及び４０３Ｂの幅（すなわち、ｘ方向の長さ）、波形４１５の長さ（すなわち、波形が何個の画素を表しているか）、及びカメラの視野（又はこれと同等の情報）が分かるため、補正出力フィードを適切にアライメントするのにどの程度のヨー変換が必要とされているかを判定することが可能である。これによって、アライメント量を繰り返し計算する場合に比べて、アライメントをより迅速に行うことができる。

画像を適切にｘ方向においてアライメントした後、左のカメラからの補正出力フィード４０１にピッチ変換を適用して、当該フィードを上方に移動させる。これは、左のカメラからの出力フィードが右のカメラからの出力フィード４０２の下にアライメントされているからである。左のカメラからの出力フィード４０１を変換した後、点４０３Ｄ及び４０４Ｄ間の距離を測定する。点４０３Ｄ及び４０４Ｄ間の距離が或る閾値以下、例えば、十分にアライメントされる±１画素以下である場合、ピッチ変換を停止する。しかし、点４０３Ｄ及び４０４Ｄ間の距離が閾値より長い場合、ピッチ変換を続行する。

さらに、本実施形態では、２つの点４０３Ｄ及び４０４Ｄの距離を算出することによって、領域４０４Ａ及び４０３Ａの高さ（すなわち、ｙ方向の長さ）、波形４１７の長さ（すなわち、波形が何個の画素を表しているか）、及びカメラの視野（又はこれと同等の情報）が分かる。したがって、出力フィードを適切にアライメントするのにどの程度のピッチ変換が必要とされているかを判定することが可能である。これによって、アライメント量を繰り返し計算する場合に比べて、アライメントをより迅速に行うことができる。

なお、ここでは、上記適切なアライメントは、１つの画像を水平方向にシフトさせてから垂直方向にシフトさせることによって行われているが、本発明はこのように限定されない。例えば、カメラからの出力フィードにロール回転補正を加える必要がある場合もある。これによって、いずれかのカメラに発生した不適切なロール角がなくなる。ロール回転補正に関する本発明の一実施形態を、図６Ａを参照しながら後述する。また、上述のように、アライメント処理は、２台のカメラの焦点距離が同じであることを想定している。しかし、ピッチ補正、ヨー補正、及びロール補正を用いてアライメントを得ることができない場合、ズーム補正が適用される。これは、一方の又は両方の画像を拡大または縮小することによって達成される。各異なる焦点長において、必要であれば、ピッチ補正、ヨー補正、及びロール補正を適用する処理が行われる。

図４に示すように、第１の波形４１５及び第２の波形４１７に加え、ベクトルスコープ４２０が提示される。ベクトルスコープ４２０は既知であり、クロミナンス情報をプロットする。本発明の実施形態におけるベクトルスコープ４２０上では、第１の波形に対してプロットされた画素に関するクロミナンス情報が示されている。クロミナンス情報をプロットすることによって、カラーマッチングを実行することができる。したがって、同じ色を有すべきであった、シーン内の１つ又は複数の特徴を選択することによって、いずれかのカメラによって捕捉された特徴の色特徴をベクトルスコープ４２０上の色が同じになるまで変更することができる。

図４に示すように、さらに、第１のモニタ出力４０６及び第２のモニタ出力４０５が表示される。第１のモニタ出力４０６は、左のカメラからの出力フィード４０１及び右のカメラからの出力フィード４０２のアナグリフ表示を示す。ズーム領域４０３及び４０４のアナグリフ表示が第２のモニタ出力４０５に示されている。

第１のモニタ出力４０６に近接してボタン４２５（又はボタンが押されたというインジケータ）が設けられており、当該ボタン４２５によって、左右のカメラからの出力フィード４０１及び４０２間の差異をアナグリフ表示の代わりに示すことができる。同様のボタン４３０が、第１の領域４０３及び第２の領域４０４間の差異の表示を示す第２のモニタ出力４０５に近接して配置される。左右のカメラがアライメントされている場合、これは左右のカメラからの画像出力がアライメントされていることを意味し、出力フィード間の差異は０になる、換言すると、モニタ出力４０５及び４０６がグレーになることが理解されるであろう。しかし、画像が完全にアライメントされていない場合、各画素において差異値が示される。この差異値は、アライメントが正確ではない領域を示す色付きの影として第１のモニタ出力４０６に表示される。したがって、波形区画４１０を用いて判定されるアライメントの正確性を保証するために、差異特徴によって追加の検査を行うことができる。上記では、特定の色である差異信号について言及したが、本発明はこのように限定されない。実際には、正又は負の差異値を示すあらゆる色が考慮される。

画像が正確にアライメントされていると判定された後、左右のカメラフィードからの画像出力が拡大または縮小され、先行の調整によって生じた空白領域が全てなくなって出力フィードが利用可能な画面サイズを満たしていることが保証される。

左右のカメラからの出力フィードがアライメントされている場合、ユーザはセットアップ画面にアクセスすることができる。これは、別個のコンピュータ上で実行される。しかし、通常は別個のスクリーンで見るだろうが、ワークステーション２００によって実行することもできる。セットアップ画面の表示は図５に示されている。セットアップ画面５００はアライメントの制御に用いられるが、セットアップ画面５００は左右のカメラのグラフィック表示５１５も有する。これによって、ユーザにカメラの配置を視覚化する機会が与えられる。さらに、互いに上下に重ねられた左右のカメラの図５２０も表示される。また、アライメント処理中に算出され、ユーザ端末１２５によって制御される変換パラメータがエリア５０５に示されている。上記パラメータは、アライメントされた画像に適用すべきトーインの増加等の或る特別な効果が必要な場合、ユーザが手動で調整することができる。カメラ対のトーイン又は水平方向の平面シフトを調整することによって、見かけの３Ｄ輻輳（apparent 3D convergence）が変化する。これは、結果として生じる画像が表示される画面平面に対して前後にオブジェクトを移動させるという効果を有する。

さらに、画像を適切にアライメントして３Ｄ画像を撮影する場合、２つの画像のうち一方をｘ方向に変位させて３Ｄ画像を生成する必要がある。アライメントに対してなされる補正は、ユーザエリア５０５を用いて視覚化することができる。最後に、左右のカメラに適用する変換を表すグリッドも表示される。これは、ユーザが、どの変換が画像に適用されてアライメントが補正されたかを判定するのが可能になるため有用である。実際には、上記変換は、画像が映される平面の移動ではなくカメラの動きを再現することに留意されたい。画像を適切にアライメントするためにほんのわずかの補正が画像に適用されることが期待される場合、上記補正はシステムのユーザにとって識別が容易ではない可能性がある。したがって、グリッド上の変換を強調する重み付けが適用される。これによって、ユーザは容易に変換を確認することができる。さらに、これを提示することによって、ユーザは、カメラのアライメントが過度に悪く、カメラを手動で調節して補正処理を再び開始する必要があると決定することもできる。これは、画像を適切にアライメントするのにかかる時間を削減するのに有用である。

画像を適切にアライメントすることによって、アライメントされた画像から３Ｄ画像を作成することができることに言及して説明してきたが、本発明はこのように限定されない。実際には、２つ以上の画像のアライメントが有用である多数の応用が存在する。例えば、画像スティッチング（パノラマビューが複数の合成画像から作成される）では、オーバーラップエリアがアライメントされていることを保証する必要がある。この場合、各画像の異なる部分をアライメントすることが特に有用である。例えば、異なる画像の異なる領域の部分をアライメントすることが有用である。したがって、画像スティッチングの場合、１つの画像の左側端部の領域を、別の画像の右側端部の領域にアライメントさせることが有用である。つまり、互いにオーバーラップする画像の領域を十分にアライメントさせることが有用である。

上述したように、本発明の実施形態では、ロール歪み及びレンズ歪みを補正することができる。図４では、各画像内の２つの領域が選択された。画像は、この領域内の画素特徴を分析することによってアライメントされた。図６Ａ〜図６Ｄは、ロール歪み及びレンズ歪みをより容易に補正する別の実施形態を説明するものである。

図６Ａは、ロール歪みのない画像６００Ａを示す。図６Ｂは、図６Ａと同一だが反時計回りの２０度のロール歪みがある画像６００Ｂを示す。画像６００Ａにおいて、内側円形トレース６０５Ａ及び外側円形トレース６１０Ａが選択される。ロール歪みがある画像６００Ｂにおいて、内側円形トレース６０５Ｂ及び外側円形トレース６１０Ｂが選択される。内側円形トレース及び外側円形トレースは、分析対象の半径範囲の区域である。両方の画像の円形トレースは、シーン内の同じ特徴、すなわち、画像６００Ａ内のネットの第１の部分６１５Ａ及びロール歪みがある画像６００Ｂ内のネットの第１の部分６１５Ｂ、並びに画像６００Ａ内のネットの第２の部分６２０Ａ及びロール歪みがある画像６００Ｂ内のネットの第１の部分６２０Ｂと交差する。

図６Ａ及び図６Ｂから分かるように、５０画素幅である内側円形トレース及び外側円形トレース間のエリアが存在する（内側円形トレースは、画像の中心から１００画素の半径を有しており、外側円形トレースは画像の中心から１５０画素の半径を有する）。また、図６Ａ及び図６Ｂに示されるように、画像６００Ａ及び画像６００Ｂはそれぞれ、水平線６２５Ａ及び６２５Ｂによって二等分されている。直線であるこの水平線は、半径方向の特徴であり、０度を画定する。また、上記直線は、画像を捕捉するカメラの光軸を通っているが、これは必須ではない。

図６Ｃは、画像６００Ａにおける内側円形トレース及び外側円形トレース間のエリア内の円周方向のサンプリング点の画像特徴に対応する波形６５０Ｃを示す。図６Ｄは、ロール歪みがある画像６００Ｂにおける内側円形トレース及び外側円形トレース間のエリア内の円周方向のサンプリング点の画像特徴に対応する波形６５０Ｄを示す。さらに、図６Ｄには、図６Ｃの波形６５０Ｃが同軸上にプロットされている。これによって、波形同士を簡単に比較することができる。

とりわけ、この波形は、特定の範囲内の異なる半径における多数の個々のトレースの重なりから成る。個々のトレースは、当該半径において円形経路に沿って等間隔の点においてサンプリングした画素の角度に対する画素特徴の線グラフである。サンプリング点が画素位置に正確に当てはまらない場合、最も近くの４つの画素を取り、特徴をバイリニア補間して当該サンプリング点における特徴を推定する。上記と同様に、画像特徴は、画素毎のＲＧＢ値であるが、Ｃｒ値、Ｃｂ値等の任意の適切な特徴又は他の特徴も想定される。

本実施形態において、画像が画素から成り、且つ内側トレース及び外側トレースが円形である場合、特徴が測定される画像内の点は必ずしも画素点にあるわけではない。より詳細には、本実施形態において、画像が直交グリッドの画素から成り、且つ画素サンプリング点が極グリッド上にある場合、特徴が測定される画像内の点は必ずしも画素点にあるわけではない。したがって、サンプリング点における特徴は、最も近い画素位置から、又は最も近い４つの画素位置のバイリニア補間から、又は他の或る測定によって補間しなければならない。

０度から始めて、各半径における各サンプリング点の画像特徴の値を測定する。

画像６００Ａの周囲の全ての値を計算した後、波形６５０Ｃを生成する。波形６５０Ｃは実際には、異なる半径における多数のトレースの重なりである。波形６５０Ｃに示されるように、点６５５Ｃ及び６６０Ｃが特記されている。これらは、それぞれ画像６００Ａ内のネット６１５Ａ及び６２０Ａの区画に対応する。ｘ軸から見えるように、点６５５Ｃは約５度にあり、点６６０Ｃは約１８５度にある。

同様の手順をロール歪みがある画像６００Ｂに対して行う。このような分析によって、図６Ｄに示される波形６５０Ｄが生成される。図６Ｄで分かるように、点６６０Ｄは画像６００Ｂ内の区画６２０Ｂに対応し、点６５５Ｄは画像６００Ｂ内の区画６１５Ｂに対応する。図６Ｄにおいて、点６６０Ｄが約１６５度に位置しており、点６５５Ｄが約３４５度に位置していることが明らかである。波形６５０Ｃと６５０Ｄとを比較することによって、画像６００Ｂが画像６００Ａにロール歪みが加わったものであり、ロール歪み量が２０度であることが明らかである。さらに、波形６５０Ｃと６５０Ｄとを比較することによって、このロールが反時計回り方向のものであることも明らかである。

上記のロール歪み補正は、２つの画像間のロール歪みを測定することに言及して説明したが、単一のカメラに対するロール歪み量を算出することも可能である。これを達成するために、シーン内の特徴が既知の角度にあれば、上記技術を用いて、捕捉された画像内の上記特徴の角度を測定することができる。画像内の特徴の角度を測定することによって、カメラのロール量を算出することが可能である。

ロール歪みが計算されると、ロール歪み変換を画像に適用してロール歪みを補正することができる。上記ロール歪みは、トレースが一致するまで段階的な補正を適用することによって繰り返し補正してもよい。

図７Ａには、レンズ歪みのないチェッカー盤パターン７００Ａが示されている。このパターン７００Ａ上には、第１の半径方向線７０５Ａ及び第２の半径方向線７１０Ａが引かれている。これによって、レンズ歪み分析のための境界がもたらされている。第１の半径方向線７０５Ａ及び第２の半径方向線７１０Ａは、画像７００Ａの中心を通って延び、パターン７００Ａにわたって延びる。この場合の画像の中心は、カメラ７１５Ａの光軸である。しかし、本発明はこのように限定されない。実際には、当業者には理解されるように、画像の中心は画像７００Ａ内の任意の適切な点としてもよい。又は、画像内の任意の点を、半径方向線が延び始める点として用いてもよい。

レンズ歪みのないチェッカー盤パターン７００Ａに対応する波形７５０Ｃが図７Ｃに示されている。波形は、特定の範囲内の異なる角度における多数の個々のトレースの重なりから成る。個々のトレースは、当該角度において半径方向経路に沿って等間隔の点においてサンプリングした画素の角度に対する画素特徴の線グラフである。サンプリング点が極座標にあり、且つ画素が直交グリッドにレイアウトされるため、サンプリング点は、正確には画素位置に一致しない。サンプリング点が正確に画素位置に当てはまらない場合、最も近い４つの画素を取り、特徴をバイリニア補間して当該サンプリング点における特徴を推定する。しかし、最近傍補間等の他の補間方法も想定される。

図６Ａ〜図６Ｄに関して上述したように、線７０５Ａ及び７１０Ａは直線ではない場合もあるため、このような場合は、最も近い４つの画素のバイリニア補間として、中心７１５Ａからの位置における画像特徴値を計算する。上述したように、各位置の画像特徴を波形にプロットする。つまり、線７０５Ａ及び７１０Ａ間の各位置の画像特徴を波形７５０Ｃにプロットする。

図７Ｃで分かるように、区画７５５Ｃの波形は矩形波パルス列に似ている。これは、線７０５Ａ及び７１０Ａ間の距離が短く、チェッカー盤パターンは別個の白黒ブロックを有しており、当該白黒ブロックは、線７０５Ａ及び７１０Ａ間の短い距離を仮定すれば、中心から同じ距離の地点において白黒に変化するように見えるためである。しかし、画像７００Ａの外側に向かって、線７０５Ａ及び７１０Ａ間の距離が大きくなっている。このことは、区画７６０Ｃにおいて、白黒の変化が多数の異なる画素位置をまたいで起こることを意味する。その結果、多数の異なる移行を有する区画７６０Ｃが生じる。

図７Ｂは、チェッカー盤パターン７００Ａに大量の負のレンズ歪みが加わったチェッカー盤パターン７００Ｂを示す。第１の線７０５Ｂ及び第２の線７１０Ｂが画像７００Ｂにわたって引かれている。図７Ａと同様に、第１の線７０５Ｂ及び第２の線７１０Ｂは、点７１５Ｂにおける画像の中心を通る。第１の線７０５Ｂ及び第２の線７１０Ｂの位置は、図７Ａにおける画像７００Ａと同じである。

画像７００Ｂに対応する波形が図７Ｄに示されている。図７Ｃに関して説明したのと同様に、図７Ｄでは、区画７５５Ｄが図７Ｃにおける区画７５５Ｃと似ている。これは、画像７００Ｂの中心７１５Ｂに近い所では、第１の線７０５Ｂ及び第２の線７１０Ｂ間の距離が小さいためである。図７Ｃ及び図７Ｄの波形は通常、比較し易いように同軸上に描かれる。

しかし、画像７００Ｂの外側のエリアに向かって、レンズ歪みは、画像を「押し潰す」効果を有する。つまり、図７Ｄから分かるように、白黒の移行間の画素の数が、画像７００Ｂの縁に行くほど減る。上述したように、区画７５５Ｄは、図７Ｃの対応する区画７５５Ｃに似ている。しかし、区画７６０Ｄでは、白黒の移行間の距離が、互いに近くなるように変化する。図示していないが、大きな正のレンズ歪みがあれば、これも識別可能である。正のレンズ歪みの場合も、画像は「押し潰されている」ように見える。

また、上述した例のように、図７Ｄのｘ軸は画像内の位置を表すため、画像７００Ｂに加わったレンズ歪み量を特定することが可能である。これによって、必要とされている補正の量を容易に算出することができる。

円形経路の周囲及び半径方向経路に沿ってそれぞれサンプリング点を取ることに言及してきたが、当業者であれば、円形経路の周囲及び半径方向経路の両方に沿ったサンプリング点も想定されることが理解されることは明白である。

図８は極トレーステンプレート８００を示す。上記極トレーステンプレート８００は、２つの画像のアライメントを補助するために画像に適用することができる。極トレーステンプレート８００は、外側円形トレース８１０及び内側円形トレース８２０を有する。これは、円周方向波形における個々のトレースの半径範囲と、半径方向波形における個々のトレースの角度範囲とを示す。これらが囲う領域は、上述した選択領域４０４Ａ及び４０４Ｂに類似している。これは、２つのサイズの円形トレースのうちの１つを両方の画像に適用することを可能にする。これを用いて、図６Ａ〜図６Ｄを参照して説明したように回転誤差を補正する。さらに、外側円形トレース８１０において交差する半径方向線８２５が設けられる。上記２本の半径方向線は、レンズ歪みを、図７Ａ〜図７Ｄを参照して説明したように補正することを可能にする。なお、極線及び半径方向線の両方が図示されているが、極線及び／又は半径方向線のいずれかをテンプレート上に表示して適切な補正を行うこともできる。

上記実施形態は、ワークステーション及びユーザ端末に言及することによって説明した。しかし、本発明は異なる態様で具現化してもよい。例えば、ワークステーションと、ユーザ端末とを、必要な全てのユーザ入力デバイスを有する一製品に統合してもよい。また、本発明の実施形態を、コンピュータ読み取り可能な命令を含むコンピュータプログラムとして実現してもよい。また、コンピュータプログラムは、インターネット等のネットワークを介して転送することができる信号において具現化するか、又は光ディスク等の記憶媒体上に記憶してもよい。最後に、本発明を、コンピュータプログラムを有する記憶媒体として具現化してもよい。

Claims

第１のカメラによって捕捉されるシーンの第１の画像の所定方向におけるミスアライメント量を算出する算出方法であって、
前記第１の画像内の第１の点と前記第１の画像内の第２の点との間に、前記所定方向に延びる第１の線を画定し、
前記第１の画像のアライメント処理の基準となる、第１の基準画像特徴を有する基準領域を前記シーンから画定し、
前記第１の画像内の前記第１の線に沿った異なる点における画像特徴を識別し、
前記第１の線に沿った各点における前記画像特徴を前記第１の基準画像特徴と比較し、且つ前記各点における前記画像特徴の位置と、前記基準領域の前記第１の基準画像特徴の位置との間の距離を算出することによって前記ミスアライメント量を算出し、
前記第１の画像において、前記第１の点と前記第２の点との間に延びる円形サンプリング経路、及び、前記第１の画像の中心点と一致する中心点を有し当該中心点から半径方向に沿って延びる半径方向サンプリング経路のうちの少なくとも一方を画定し、
前記第１の線は、１つ又は複数の前記円形サンプリング経路又は前記半径方向サンプリング経路によって画定される
算出方法。
請求項１に記載の算出方法であって、さらに、
第２のカメラを用いて、第２の画像を、前記第１の画像とオーバーラップエリアを有するように捕捉し、
前記第２の画像の第１の点と前記第２の画像の第２の点との間に、前記所定方向に引かれて、第２の基準画像特徴を有する前記第１の基準領域と交差する第２の線を画定し、
前記第２の画像内の前記第２の線に沿った異なる点における前記画像特徴を識別し、
前記第１の画像内の前記第１の線に沿った各点における前記画像特徴を、前記第２の画像内の前記第２の線に沿った各点における前記画像特徴と比較し、
前記シーンの前記基準領域は前記オーバーラップエリア内に位置し、
前記ミスアライメント量は、前記第１の画像内の前記第１の基準画像特徴の位置と、前記第２の画像内の前記第２の基準画像特徴の位置との差によって算出される
算出方法。
請求項１に記載の算出方法であって、
前記第１の画像又は前記第２の画像内の前記画像特徴は、複数の画素値の補間によって形成される
算出方法。
請求項３に記載の算出方法であって、
前記補間は、最も近い４つの画素値のバイリニア補間である
算出方法。
請求項１に記載の算出方法であって、さらに、
前記第１の画像内に極テンプレート及び／又は半径方向テンプレートを表示し、
前記極テンプレートは、円形テンプレート線と、各画像内において対応する点と一致する中心点を有し、且つ前記中心点から半径方向線に沿って延びる半径方向テンプレート線とを有し、
前記第１の画像内の前記第１の点と前記第２の点との間の前記線は、前記円形テンプレート線及び前記半径方向テンプレート線のうちの一方又は両方によって画定される
算出方法。
請求項１に記載の算出方法であって、さらに、
前記第１の線又は前記第２の線を囲むエリアにおいて、前記画像を捕捉する前記カメラの光軸からの距離が互いに同じである位置における前記画像特徴を算出する
算出方法。
請求項１に記載の算出方法であって、
前記半径方向線が通る前記中心点は、前記画像を捕捉する前記カメラの前記光軸である
算出方法。
請求項１に記載の算出方法であって、
前記円形サンプリング経路の中心は、前記画像を捕捉する前記カメラの前記光軸に対応する
算出方法。
請求項１に記載の算出方法であって、さらに、
前記サンプリング経路に沿った各サンプリング点における画像特性の値を前記サンプリング経路に沿ったサンプリング点の位置に対してプロットする
算出方法。
画像をアライメントするアライメント方法であって、請求項１〜請求項９のいずれか一項に記載の前記ミスアライメント量を算出する算出方法を含み、
前記各点における前記画像特徴と、前記基準領域の前記画像特徴との間の距離が所定の閾値内に入るまで、前記第１の画像を変換する
アライメント方法。
請求項１０に記載のアライメント方法であって、
前記第１の画像は、前記第１の点と前記第２の点との間の前記線に沿って変換される
アライメント方法。
請求項１１に記載のアライメント方法であって、
前記第１の画像内の前記線及び前記第２の画像内の前記線は円形の線であり、前記第１の画像にはロール変換が適用される
アライメント方法。
請求項１１に記載のアライメント方法であって、
前記第１の画像内の前記線及び前記第２の画像内の前記線は半径方向線であり、前記第１の画像には前記半径方向線に長さに沿って変換が適用される
アライメント方法。
コンピュータに、請求項１に記載の算出方法を実行させるプログラム。
請求項１４に記載のプログラムを記録した記録媒体。
第１のカメラによって捕捉されるシーンの第１の画像の所定方向におけるミスアライメント量を算出する算出装置であって、
前記第１の画像内の第１の点と前記第１の画像内の第２の点との間に、前記所定方向に延びる第１の線を画定するように動作可能であり、且つ前記第１の画像のアライメント処理の基準となる、第１の基準画像特徴を有する基準領域を前記シーンから画定するようにさらに動作可能である画定器と、
前記第１の画像内の前記第１の線に沿った異なる点における画像特徴を識別するように動作可能である識別子と、
前記第１の線に沿った各点における前記画像特徴を前記第１の基準画像特徴と比較し、且つ前記各点における前記画像特徴の位置と、前記基準領域の前記第１の基準画像特徴の位置との間の距離を算出することによって前記ミスアライメント量を算出するように動作可能であるコンパレータと、
前記第１の画像において、前記第１の点と前記第２の点との間に延びる円形サンプリング経路、及び、前記第１の画像の中心点と一致する中心点を有し当該中心点から半径方向に沿って延びる半径方向サンプリング経路のうちの少なくとも一方を画定するように動作可能である画定器と
を具備し、
前記第１の線は、１つ又は複数の前記円形サンプリング経路又は前記半径方向サンプリング経路によって画定される
算出装置。
請求項１６に記載の算出装置であって、
第２の画像を、前記第１の画像とオーバーラップエリアを有するように捕捉するように動作可能である第２のカメラと接続可能である入力端子をさらに具備し、
前記画定器は、前記第２の画像の第１の点と前記第２の画像の第２の点との間に、前記所定方向に引かれて、第２の基準画像特徴を有する前記第１の基準領域と交差する第２の線を画定するようにさらに動作可能であり、
前記識別子は、前記第２の画像内の前記第２の線に沿った異なる点における前記画像特徴を識別するようにさらに動作可能であり、
前記コンパレータは、前記第１の画像内の前記第１の線に沿った各点における前記画像特徴を、前記第２の画像内の前記第２の線に沿った各点における前記画像特徴と比較するようにさらに動作可能であり、
前記シーンの前記基準領域は前記オーバーラップエリア内に位置し、
前記ミスアライメント量は、前記第１の画像内の前記第１の基準画像特徴の位置と、前記第２の画像内の前記第２の基準画像特徴の位置との差によって算出される
算出装置。
請求項１６に記載の算出装置であって、
前記第１の画像又は前記第２の画像内の前記画像特徴は、複数の画素値の補間によって形成される
算出装置。
請求項１８に記載の算出装置であって、
前記補間は、最も近い４つの画素値のバイリニア補間である
算出装置。
請求項１６に記載の算出装置であって、
前記第１の画像内に極テンプレート及び／又は半径方向テンプレートを表示するように動作可能であるディスプレイをさらに具備し、
前記極テンプレートは、円形テンプレート線と、各画像内において対応する点と一致する中心点を有し、且つ前記中心点から半径方向線に沿って延びる半径方向テンプレート線とを有し、
前記第１の画像内の前記第１の点と前記第２の点との間の前記線は、前記円形テンプレート線及び前記半径方向テンプレート線のうちの一方又は両方によって画定される
算出装置。
請求項１６に記載の算出装置であって、
前記識別子は、前記第１の線又は前記第２の線を囲むエリアにおいて、前記画像を捕捉する前記カメラの光軸からの距離が互いに同じである位置における前記画像特徴を算出するようにさらに動作可能である
算出装置。
請求項１６に記載の算出装置であって、
前記半径方向線が延び始める前記点は、前記画像を捕捉する前記カメラの前記光軸である
算出装置。
請求項１６に記載の算出装置であって、
前記円形サンプリング経路の中心は、前記画像を捕捉する前記カメラの前記光軸に対応する
算出装置。
請求項１６に記載の算出装置であって、
前記サンプリング経路に沿った各サンプリング点における画像特性の値を前記サンプリング経路に沿ったサンプリング点の位置に対してプロットするように動作可能であるプロッタをさらに具備する
算出装置。
画像をアライメントするアライメント装置であって、
請求項１６に記載の前記ミスアライメント量を算出する算出装置と、
前記捕捉された領域の前記画像特徴と、前記基準領域の前記画像特徴との間の距離が所定の閾値距離を下回るまで、前記第１の画像を変換するように動作可能である変換機と
を具備するアライメント装置。
請求項２５に記載のアライメント装置であって、
前記第１の画像は、前記第１の点と前記第２の点との間の前記線に沿って変換される
アライメント装置。
請求項２５に記載のアライメント装置であって、
前記第１の画像内の前記線及び前記第２の画像内の前記線は円形の線であり、前記第１の画像にはロール変換が適用される
アライメント装置。
請求項２６に記載のアライメント装置であって、
前記第１の画像内の前記線及び前記第２の画像内の前記線は半径方向線であり、前記第１の画像には前記半径方向線に長さに沿って変換が適用される
アライメント装置。
請求項１６に記載の算出装置に接続される第１のカメラ及び第２のカメラを具備するシステム。