JP2018136544A - ステレオフィルムのフレームのズーム設定および／または垂直オフセットを補正する方法、および２つのカメラを有するカメラリグの制御または調整システム - Google Patents

Abstract

【課題】ステレオフィルムをキャプチャする２つのカメラのズームのミスマッチまたは垂直オフセットを、長期間の動作中に、即時に補償する。
【解決手段】１つのサブフレームがカメラリグの第１のカメラによって提供され、第２のサブフレームがカメラリグの第２のカメラによって提供され、ステレオフィルムを記録している動作の間に、第２のサブフレームに対する第１のサブフレーム内の現在のズーム結果間の差が測定され、および／または第２のサブフレーム内の対応する像点に関して第１のサブフレーム内に存在する像点の垂直オフセットが測定され、この情報に基づいて補正値が計算され、ズームおよび／またはピッチ設定へ適切に適用され、この補正値を用いてズーム差および／または垂直オフセットが低減される、ステレオフィルムの２つのサブフレームから組み立てられた画像におけるズーム設定および／または垂直オフセットを補正する方法に関する。
【選択図】なし

Description

本発明は、１つのフレームがカメラリグの第１のカメラによって提供され、第２のフレームがカメラリグの第２のカメラによって提供され、ピッチ設定の変更を介して垂直オフセットが変更される場合の、ステレオフィルムの２つのフレームから組み立てられた画像におけるズーム設定および／または垂直オフセットを補正する方法に関する。言い換えれば、立体画像対の単一画像間のズーム差および／または垂直オフセットの調整に関する。

ズーム設定は、画像のサイズ、言い換えれば、或る一定数の充填可能ピクセルの上でコンテンツが分散されるように、どれほどの画像が表現されるかに影響する。垂直オフセットは、第１のサブフレームから第２のサブフレームへの２つの対応する像点の間のオフセットを意味するものと理解される。ここで、重ねられた双方のサブフレームは共に共通の画像を形成し、この共通の画像は、スクリーン上に投影され得るか、画像再生デバイス、たとえばテレビ上に表示され得る。そのような画像は、観察者のために３次元効果を引き起こし、ステレオフィルムとしても知られる３Ｄフィルムの一部分である。

３次元効果は、観察者の各々の眼が２つのサブフレームの１つの上に固定され、２つのサブフレームの他方における対応する像点に対して像点の水平オフセットが存在するため、空間効果が観察者の脳の中に生じることで達成される。この３Ｄ効果は、深度効果としても知られる。

ピッチ設定は、垂直平面で旋回するときのカメラの視線に影響する。

ステレオフィルムを記録する動作の前に、ステレオフィルムをキャプチャするために使用されるカメラリグの２つのカメラを較正することは、従来技術から知られている。そのため、ステレオフィルムを記録する前に、複数の焦点距離／ズームレベルが設定され、画像処理プロセッサによって各々の偏差がキャプチャされる。偏差は、いわゆる基本表の中に保存された補正値と比較される。

この基本表に従って、各々のズーム設定、すなわち各々の焦点距離について、補正値が使用される。

しかしながら、動作中に、多くの外部要因、たとえば、太陽放射またはカメラリグ内に存在して活動するモータからの温度上昇、慣性、バックラッシュ／公差などが補償されなければならない。本発明の目的は、撮影の間、すなわち、ステレオフィルムを記録している間でも、共同して画像を形成するサブフレームの双方が、常に最適に整列し、または、それらのズームオフセットおよび垂直オフセットに対してマッチするように、救済策および改善を提供することである。そのようなズームのミスマッチまたは垂直変位は、長期間の動作中に、および好ましくは即時に、補償されるべきである。

この目的は、本発明に従って、ステレオフィルムを記録している動作中に、第２のフレームに対して第１のフレーム内に存在するズーム結果間の差が測定され、および／または、第２のフレーム内の対応する像点に関して第１のフレーム内の像点の垂直オフセットが測定され、この情報に基づいて補正値が計算され、ズーム設定および／またはピッチ設定へ適切に適用されるならば、前記補正値を用いてズーム差および／または垂直オフセットが低減されることで達成される。

有利な実施形態は、従属請求項で請求され、下記で詳細に説明される。

したがって、補正値に対応して、カメラリグの制御が２つのサブフレーム間のズーム差および／または垂直オフセットを除去することが有利である。さらに、純粋なディジタル画像補正が可能である。

各々の補正値へ時間値を割り当てることが、さらに有利である。この時間値はタイムスタンプとして示され、補正値が生成された時点を表す。このようにして、ステレオ撮影中に、いつ補正値が実行／創出されたかを常に追跡し得る。

それぞれの補正値は、対応して関連づけられた信頼値を備える。そのような信頼値は、画像処理プロセッサによって遂行された画像解析の品質を表す。この画像解析に基づいて補正値が生成された。このようにして、信頼尺度も各々の補正値にリンクされる。前に行われた補正の間の区間は、横座標の上で既定の最大距離を超過しない限り、補間によって充填され、これらの非訪問区間についても補正値が利用可能にされる。明示的に選好されなかったズーム設定および／またはピッチ設定についても、補間によって、追加の新しい補正値を介する補足が、（対応的に）近接／または隣接した新しい補正値として達成される。補間は、好ましくは、付随する補正値の時間値および／または信頼値に依存して遂行される。

補正値は、常にモータにおいて創出または実現され、補正表の中に記録される。ここで、２つの変形が実現可能である。これらの変形は、補正値およびそれらの補間から形成された補正表が、カメラリグのカメラのズーム設定および／またはピッチ設定を補正するため即時に使用され、すなわち撮影中に即時に使用されて、積極的変更が達成されるか、それが時間遅延と共に、言い換えれば、操作者からの明確な承認の後でのみ使用されるかの点で異なる。こうして、前述した２番目の場合、不正確な動作または不正確な計算を防止する手動制御ループが確立され得る。明確にするため、モータの制御は調整システムを現実化することに注意すべきである。各々の補正は、このようにしてモータにおいて即時に実現される。それゆえに、２つの変形は、個々の補正から形成されて補間の助けにより取得された区間も格納する表が、即時に使用されるかどうかで異なる。即時の使用は、焦点距離の新たな訪問が起こるとき、補正を再び行う必要がない利点を有する。なぜなら、前のランで決定されたように、補正表の値が即時に適用されるからである。

補正値が計算されたとき有効であったズーム方向に依存して、第１または第２のズーム補正値表の中にズーム補正値を記憶することが有利であることが発見された。こうして、ズーム方向に依存した異なるカメラ行動が考慮される。ゆえに、たとえば、画像の中へズームしている間に、左および右のサブフレーム間にズームのミスマッチが存在することが確立されたとき、まだ十分に遠くまでズームされていない画像が、さらにズームされることが有利である。こうして、現在の終了位置をもたらした原初のズーム方向が、十分にズームされなかった画像の上で継続される。ズーム設定および／または垂直オフセットを補正する方法の品質は、こうして改善される。

有利な例示的実施形態は、補正値がグラフへ計算的にリンクされ、勾配／屈曲が既定の限度よりも大きいグラフ領域内の制御値がズーム設定および／またはピッチ設定へ適用されないこと、すなわち、それらの制御値が候補として記録されるだけで、補間値の形成には考慮されないことを特徴とする。明確にするため、各々の新しい補正の後、補間子はテストベースで調整されることに注意すべきである。しかしながら、もし既定値に対して大きすぎる勾配／屈曲を有する区域が存在するならば、最新すなわちトリガ中の補正は、候補状況を受け取り、新しく形成された補間子はまだ採用されない。それゆえに、補正は、隣接格子に関して最大許容勾配または最大許容屈曲を尊重しなければならない。最大許容勾配／最大許容屈曲に違反する補正は、モータで現実化され、適切な反復を待機するため候補として記録される。このようにしてからのみ、最大許容勾配／最大許容屈曲に違反する補正は、補正表およびその補間子の本格的成分となる。

或る時点でユーザによって規定されたグラフが新しい較正曲線として規定され、この曲線の補正値が、この時点からズーム設定および／またはピッチ設定に関するデフォルト設定として役立つことが、さらに有利である。こうして、古くてまだ補正されていない値および新しい値から形成された新しい基本較正曲線が規定される。ここで新しい値は、基本表内で前に格納された値を修正し、これによって自己設定補正値、それぞれのズーム設定および／またはピッチ設定が変更される。

補間された補正値は、前に発見された補正値への近接度に依存して計算されることが有利である。こうして、発見された補正値と補間される補正値との間で直接リンクが強化される。

本発明は、さらに、２つのカメラを有するカメラリグの制御または調整システムに関する。制御または調整システムは、本発明に従った方法ならびに純粋なディジタル画像補正の方法を実行するように設計される。

言い換えれば、次のようになる。

較正中に創出される基本表は、たとえば、温度、重力、バックラッシュ／公差などを介して老化プロセスへ供されるが、ここで本発明によって救済策が提供される。ズームおよび／または平均垂直オフセットのためのオンライン補正機能が提供され、この補正機能は、対応する画像誤差が固定量を超過してズームされないとき有効になる。全ての遂行された補正は補正表の中に収集され、定期的に規定される選択規準が経験されて、既存の基本表と最終的に組み合わせられ、少数のズーム設定の後、変更された状態に対応するようになる。なぜなら、補間された値が、訪問されていない焦点距離について利用可能になるからである。しかしながら、基本表を更新する意思決定はユーザによって行われる。平均的な垂直オフセットの場合、略対称の傾斜を有する補正表が存在する。しかしながら、ズーム設定のためには２つの補正表が存在する。１つは前方ズームのためであり、１つは後方ズームのためである。

遂行される補正は、点へ限定されて一過性であるか、補正表の局所的領域に影響を有するか、のいずれかである。

十分な信頼値を有する補正は局所的影響を有する。すなわち、それらの補正は、それらの周囲で補正表と連続的に適合し、同じ位置への新しい訪問の場合、補正されたモータ値は既に受け入れられている。

補間子の中で既定の最大勾配／最大屈曲を超過した補正、および低すぎる信頼値を有する補正は、単に局所的／一値用のみであって一過性である。すなわち、それらの補正はモータにおいて現実化され候補として記録されるが、補正表に影響を及ぼさず、いわゆる自動クリアが遂行される。すなわち、同じ位置の新しい訪問のとき、補正が再び行われなければならない。こうして、自動クリアは、導入される補正が、各々の後続するズーム変更と共に、さらに何度も低減されること、すなわち基本表の補正値へ再び戻ることを意味する。

もし局所的影響を有する２つの補正が、補正表の横座標への、言い換えれば、焦点距離への既定の最大距離を超過しなければ、２つの補正の間で補間が行われる。しかしながら、もし可能であれば、それは外挿されない。

古い補正への小さい距離を有する新しい補正は、古い補正と置き換わる。

補正は、補正表の横座標に関して最小距離を超過するとき、相互に置き換わり得る。置換が内部で起こる距離は、置換廊下と呼ばれ、その幅は、置き換えられるべき補正の年齢に依存する。すなわち、補正が古ければ、それだけ廊下は広くなる。

古い補正が局所的影響を有する限り、局所的影響を有する新しい補正は、古い補正と置き換わる。もし、古い補正が局所的／一値用のみであって一過性タイプ、言い換えれば、候補であれば、それは置換を経験しない。古い補正は候補として存在し続ける。

局所的／一値用のみであって一過性タイプの現在の補正は、古い補正も局所的／一値用のみであって一過性タイプである限り、この古い補正と置き換わる。もし古い補正が局所的影響を有するならば、それは置換を経験しない。より新しい補正は、古い補正に加えて候補となる。

補正の置換は記録される。同じ大きさの反復された置換、すなわち補正表の縦座標に関する反復された置換はカウントされる。それぞれのキャプチャされた補正は、そのようなカウンタを有する。その値は反復加重量と呼ばれる。

同様の大きさの隣接した補正は、相互を強化する。

もし横座標の点、すなわち焦点距離の点が訪問され、この点が、局所的影響を有するより古い補正の置換廊下の中に存在し、再補正が必要でなければ、この古い補正の反復加重量は増加する。

補間された位置に基づく小さな補正は、この補間を生じた２つの隣接した補正を確認する。その反復加重量は増加される。そのタイムスタンプは、現在の補正のタイムスタンプへ設定される。

規定された反復を有する候補のみが、補正表の構造に影響を及ぼす。候補の加重量および反復、および現存する隣接格子の年齢および加重量に依存して、最大勾配／最大屈曲が最終的に尊重されるように３つまでの補正が修正される。

既定値を超過する反復加重量を有する候補は、補間による最大許容勾配／最大許容屈曲への違反がないように減衰されることで補正表へ影響を及ぼす。もし候補が、局所的影響を有する補正の近くに存在するならば、それは候補の反復加重量が他の補正の反復加重量を既定値だけ超過する場合にのみ起こる。候補の２つの隣接格子も、それらの年齢および／または信頼加重量および／または反復加重量に従って一緒に減衰されること、すなわち、それらが或る一定の範囲まで候補に接近し、減衰が分散されることが有利である。

現在の形態の補正表は、制御値の数を既定の最大数へ限定するプロセスへ定期的に供され、より若い、および／または、より信頼性のある補正が残るようにされ得る。

既定値および／または意思決定パターンは、学習プロセスへ供される。たとえば、その場合、異なるパラメータ集合および／または意思決定パターンに基づいて、複数の可能な補間子が並列に管理され、各々の新しく行われた補正が、これらの補間子の全部の評価をもたらすようにされ得る。動作の過程で、パラメータ集合と規則収集との最良の実用的組み合わせが出現し得る。

一般的に、上記で説明された機構は、１次元ルックアップテーブル、たとえば高さオフセットによって表現され得る全ての補正へ適用可能である。

Claims (10)

1. １つのサブフレームがカメラリグの第１のカメラによって提供され、第２のサブフレームが前記カメラリグの第２のカメラによって提供され、ピッチ設定の変更を介して垂直オフセットが変更される場合の、ステレオフィルムの２つのサブフレームから組み立てられた画像におけるズーム設定および／または垂直オフセットを補正する方法であって、前記ステレオフィルムを記録している動作の間に、前記第２のサブフレームに対して前記第１のサブフレーム内の現在のズーム結果間の差が測定され、および／または前記第２のサブフレーム内の対応する像点に関して前記第１のサブフレーム内に存在する像点の垂直オフセットが測定され、この情報に基づいて補正値が計算され、前記ズームおよび／またはピッチ設定へ適切に適用されるならば、前記補正値を用いて前記ズーム差および／または前記垂直オフセットが低減されることを特徴とする方法。
2. 前記カメラリグの制御は、前記補正値に対応して、前記２つのサブフレーム間の、たとえば前記ズーム差および／または前記垂直オフセットを除去することを特徴とする、請求項１に記載の方法。
3. 時間値および／または信頼値が各々の補正値へ割り当てられることを特徴とする、請求項１または２に記載の方法。
4. １つまたは複数の更なる補正値が、２つの補正値の間で、好ましくはそれらの時間値および／または信頼値に依存して、補間により計算されることを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記補正値は、前記カメラリグの前記カメラの前記ズーム設定および／または前記ピッチ設定を補正するため即時に使用されるか、時間遅延、たとえば操作者からの明確な承認の後でのみ使用されることを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 前記ズーム補正値は、それらの決定の基礎であるズーム方向に依存して第１または第２のズーム補正値表の中に記憶されることを特徴とする、請求項１から５のいずれか一項に記載の方法。
7. 補正値はグラフへ計算的にリンクされ、勾配／屈曲が既定の限度よりも大きい前記グラフの領域内の制御値は、前記ズーム設定および／またはピッチ設定へ実際に適用されるが、後のランの補正値を備える補正表の補間はまだ調整されないことを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. 前記グラフは新しい較正曲線として規定され、前記較正曲線の補正値は、この時点から前記基本表の値と組み合わせられて前記ズーム設定および／またはピッチ設定に関するデフォルト設定として役立つことを特徴とする、請求項６または７に記載の方法。
9. 前記補間された補正値は、前に発見された補正値への近接度に依存して計算されることを特徴とする、請求項４から８のいずれか一項に記載の方法。
10. ２つのカメラを有するカメラリグのための制御手段または調整手段であって、請求項１から９のいずれか一項に記載の方法を実行するように構成された制御手段または調整手段。