JP2022517849A - モジュール式画像補間方法 - Google Patents

Abstract

本発明は、シナリオが、少なくとも一枚のロウ画像として少なくとも一台の、特に好ましくは、移動手段に搭載されている光学的捕捉手段を用いて撮影され、更に、該シナリオの画像データが、次のステップにおいてレンダリングされたレンダリング画像の少なくともその一領域において、不完全に、及び／或いは、欠陥を有して描写される場合に用いられる画像を処理するための方法を提供する。例えば自動車の一台乃至複数台のカメラと言った光学的捕捉手段のユーザに、視認性制限がある場合において、より快適な視覚的体験を伝えるために、本方法は、レンダリングされた画像内の、存在する視認性制限に起因する複数であり得る不完全及び／或いは欠陥のある写像の領域を認識するステップ、マスクされた領域（３０）となって、複数である得る不完全及び／或いは欠陥のある写像の領域を取り囲むためのマスクを生成するステップ、レンダリング画像のマスクされていない領域（１０）の画像データを、デジタル・インペインティングよって修復し、マスクされた領域（３０）と共に、一枚の補正画像に合成するステップ、並びに、補間された及び／或いは欠陥が取り除かれた補正画像を表示するステップを包含している。

Description

本発明は、シナリオが、少なくとも一枚のロウ画像として少なくとも一台の、特に好ましくは、移動手段に搭載されている光学的捕捉手段を用いて撮影され、更に、該シナリオの画像データが、次のステップにおいてレンダリングされたレンダリング画像の少なくともその一領域において、不完全に、及び／或いは、欠陥を有して描写される場合に用いられる方法に関する。更に本発明は、画像処理システム、その利用、並びに、移動手段にも関する。

移動手段、例えば、特に好ましくは、陸上用車両には、益々、アシスタントシステムが採用されるようになってきている。これらには、搭乗者と、中でも好ましくは、各々の車両運転者に、例えば、駐車プロセスを、サポートする、容易にする、乃至、監視するために、一つの乃至複数の車内空間の外側のシナリオの視覚的印象を伝えるカメラ手段も帰属している。

昨今では、ほとんどの駐車ソリューションが、車両を駐車する際に、周辺部の印象を良好に伝えるために、複数のカメラを使用している。しかしながら、車両の周りの全領域を、複数のカメラでも、カバーすることはできない。例えば、車両の下の領域のカメラ画像はない。これにより、観察者にとって不快と言える黒い領域が発生する。

よって本発明の課題は、不完全及び／或いは欠陥のある情報を正しく表示することにより、視認性制限を有する光学的捕捉手段、例えば、一台乃至複数台の車載カメラの使用者に、快適な視覚的体験を伝えることにある。

該課題は、請求項１記載の特徴を持つ方法によって達成される。更に、請求項１２に係る画像処理システム、請求項１３に係るその使用、並びに、請求項１４に係る移動手段が、上記課題の解決策を示している。それらによれば、これらの解決策は、第一ステップにおいて、レンダリングされた画像内の欠けている部分を、視認性制限を基にして識別するモジュール式の方法から構成されている。次のステップでは、レンダリングされた画像の欠けている部分からマスクを作成するが、レンダリングされた画像は、このマスク内においてのみ修復される。続いて、このマスクされた領域内の画像データは、デジタル補間（インペインティング）によって修復されるが、この修復を実施するには、表示ステップにおいて、補間された及び／或いはエラーが取り除かれた補正画像のデータが最終的に表示される複数の方法がある。要するに、ここでは、存在しているデータを基にした欠けているデータの修復によって改善された視覚的体験が、ユーザに伝えられる。

このユーザの視覚的体験が更に改善される有利なバリエーションでは、補正画像が更に、最適化画像とするための後処理によって最適化され、これが、各々の補正画像の代わりに表示される。その際、アーティファクトなどが残っている場合は、平滑化され、表示は、画像補正後にレンダリングされた画像を、例えば、シャープネスを高める、コントラストを下げる、及び／或いは、色を調和させるなどの後処理をすることにより、目にとってより快適になるように整えられる。

ユーザに対して、表示されている画像のシナリオに対する迅速な反応を可能にするため、本方法の有利なバリエーションでは、修復された補正画像乃至最適化された最適化画像が、各々表示可能な画像として、リアルタイムに或いは無視できる程度の遅延後に観察者に表示される。尚、その際、表示可能な画像のリフレッシュレートは、少なくとも５ｆｐｓであることが好ましい。

本発明に係る方法の取り扱いやすいバリエーションにおいては、レンダリングされた画像内の複数であり得る不完全及び／或いは欠陥のある写像領域を認識するために、視認性制限は、少なくともそれぞれの車両の三次元モデルによって、並びに、光学的捕捉手段を設けることによって割出される。相違するシナリオも、既知の視認性制限に基づいて、適切な方法を用いて説明することができる。一台の車両が存在しているシナリオでは、具体的には、該車両とカメラハウジングの３Ｄモデルを用いることで、レンダリングされたシーン内の画像データが無い部分を認識することができる。

複数回、乃至、恒常的な使用においては、視認性制限に関するデータ、周辺領域の幾何学的モデル（とパターン）、及び（特に好ましくは）、既に一度生成されたシナリオデータは、本方法の有利なバリエーションでは、少なくとも一つのデータベース内に予め用意しておくことができる。こうすることにより、複数であり得るマスクに対して、それぞれのレンダリング画像の修復を必要としない部分を、容易に、更なる加工が実施される前から予め、保護、乃至、隠しておくことができる。

既知の及び／或いは既に生成した画像データ、並びに、場合によっては、反復するマスクを予め用意しておくことにより、好ましいバリエーションでは、修復される画像データを、機械的学習アプローチの助けを借りて、生成することができる。

尚この際、画像データは、少なくとも一つのデータベースにアクセスし、そのデータを用いてトレーニングされる人工ニューラルネットワークを用いて修復できることが特に好ましい。

本発明に係る方法のある有利なバリエーションでは、不完全及び／或いは欠陥のある画像データは、エッジベースの方法によって修復することができる。その際、レンダリング画像内において、エッジ乃至オブジェクトの移行部が探される。アルゴリズムを用いた処理は、この際、閉じたエッジパスを提供しないことも頻繁にあるが、該エッジパスは、オブジェクトを取り囲むために付加的な方法を用いて互いにつなぎ合わせられなければならない。

この際、エッジベースの方法は、レベルセット（Ｌｅｖｅｌ Ｓｅｔ）法、特に好ましくは、高速マーチング（Ｆａｓｔ Ｍａｒｃｈｉｎｇ）法であることが好ましい。前者は、幾何学的オブジェクトとその動きを近似的に追跡するための数値法の一つであるが、これを用いれば、空間的に一定の座標系上のカーブや表面を、対象のオブジェクトをパラメータ化する必要なく、算出できる。また、境界値問題を数値的に解くための特別な方法である高速マーチング法は、境界値問題をアイコナール方程式によって解く方法であり、閉じた表面を時間と速度の関数として展開する。

更なる有利なバリエーションでは、エッジベースの方法は、次元削減乃至特徴抽出のために用いられ、後にこれらを、情報の予測を実施するために、不完全及び／或いは欠陥のある写像領域内に伝播する拡散アプローチを採用することができる。これには、適切な機械学習アプローチ、例えば、マルコフ確率場（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ （ＭＲＦ））を用いる事ができるが、該ＭＲＦは、デジタル画像や分類された面のセグメント化に用いる事ができ、且つ、フィールドのエレメント間の相互作用、乃至、互いに対する影響を想定するために使用できる。

既に上述した如く、上記の方法の一つのバリエーションを実施する画像処理システム、例えば、駐車工程を、制限された速度において実施する移動手段の駐車アシストシステム内におけるそれの使用、並びに、そのようなシステムを備えた移動手段、特に好ましくは、陸上用車両そのものも課せられた課題を解決する。

上記の実施形態やその発展形態は、有意義である限り、互いに自由に組み合わせることが可能である。更なる可能な形態や発展形態、並びに、本発明の実施形態には、上記の本発明に係る特徴や以下に実施例と関連して述べる本発明に係る特徴の具体的には記述されない組み合わせも包含される。更に、本発明の各々の基本形に対する改善や捕捉として当業者が個別的アスペクトを加えた場合も包含される。

以下本発明を、概略的な図に描かれている実施例を参照しながら詳しく説明する。

光学的捕捉手段によって捕捉された車両後方の外部領域の概略的、遠近法的な景色が、レンダリング画像として描写されている。 光学的捕捉手段によって捕捉された車両後方の外部領域の概略的、遠近法的な景色が、本発明に係る方法によって作成された補正画像として描写されている。 光学的捕捉手段によって捕捉された車両の他の外部領域の概略的、遠近法的な景色が、レンダリング画像として描写されている。 光学的捕捉手段によって捕捉された車両の他の外部領域の概略的、遠近法的な景色が、本発明に係る方法によって作成された補正画像（図２ｂ）として描写されている。

添付した図は、本発明の実施形態の更なる理解を提供することを意図している。これらは、実施形態を説明し、明細書との組合せによって、本発明の原理とコンセプトを説明する役割を担っている。他の実施形態と上記の多くの利点は、図を参照すれば、明らかになるであろう。図のエレメントは、必ずしも、それぞれ同じ縮尺で描かれているものではない。

図の描写においては、同じ、同じ機能の、及び、同じ作用を有するエレメント、特徴、コンポーネントには－特に記さない限り－それぞれ同じ符号がつけられている。

図１ａと１ｂは、光学的捕捉手段によって捕捉された車両後方の外部のシナリオを、概略的、遠近法的な構図で示している。図１ａに示されているシナリオのレンダリング画像には、シナリオの画像データが、カメラとして構成されている図示されていない光学的捕捉手段のハウジングがそこにあるために欠落していることに起因して不完全に描写された本質的に長方形の領域が認識できる。しかし、上記のハウジングの寸法が既知であり、データベースに用意しておくことができるため、欠落している画像データは、デジタル・インペインティングを応用した本発明に係る方法によって、修復することが可能である。その際、画像全体自身を基準とし、続いて観察の際にユーザに、より良い視覚的な体験を提供する自己矛盾のない画像が生成される。

上記の画像データが欠落している領域１０は、その領域を、画像データが既知な領域３０から、導入となる識別するためのステップである分離を実施するための縁２０によって、認識される。本方法の次のステップにおいては、画像データが既知な領域３０にマスクが施される、即ち、処理しない領域３０乃至、不完全及び／或いは欠陥のある写像の領域１０を囲むマスクが生成され、これにより、領域１０は、修復されることになるが、正しく捕捉されレンダリングされ出力可能な画像データがあるために既知の領域３０は、処理されない。続く修復ステップでは、レンダリング画像のマークされていない領域が、デジタル・インペインティングにより修復され、続いて、マークされている領域と合わせて、補正画像（図１ｂ）が合成される。マスクの縁２０に接触しているレンダリング画像の輪郭ラインは、その仮想的な拡張によって画像のマスクされていない領域１０内へ続いていると共に、領域のストラクチャもマスク縁２０の周りに続いている。その際、マスクされていない領域内において、輪郭ラインによって、様々な区域が定義され、それぞれに帰属する各々の色によって塗りつぶされ、必要に応じて、対象の領域にはテクスチャが加えられる。

図１ａと１ｂでは、補正画像内のエッジ４０ａ、４０ｂ、４０ｃが、正しく表示されていること、一方のエッジ４０ｄの延長には、上の領域の暗さに起因する、無視できる程度の不連続性が、見て取れる。

また、この例では動力車両の側方のシナリオを上から見たレンダリング画像（図２ａ）と補正画像（図２ｂ）である図２ａと２ｂでは、レンダリング画像内のその中の長方形の領域１０において欠如している画像データは、補正画像内において描写されているストラクチャ５０としてのみならず、図示されていない光源の逆側の影の領域６０でも、本発明に係る修復方法によって、満足できる程度に再現されていることが、見て取れる。

更に本発明は、シナリオが、少なくとも一枚のロウ画像として少なくとも一台の、特に好ましくは、移動手段に搭載されている光学的捕捉手段を用いて撮影され、且つ、該シナリオの画像データが、続いてレンダリングされたレンダリング画像において少なくともその一領域が不完全である及び／或いは欠陥のある描写がなされている場合に画像を処理するための方法に関する。本方法は、以下のステップを包含している：
－レンダリングされた画像内の、存在する視認性制限に起因する複数であり得る不完全及び／或いは欠陥のある写像領域を認識するステップ。
－マスクされた領域３０となって、不完全及び／或いは欠陥のある写像を取り囲むための複数である得るマスクを生成するステップ。
－レンダリング画像のマスクされていない領域１０の画像データ（の情報）を、デジタル・インペインティングよって修復し、マスクされた領域３０と共に、補正画像を合成するステップ；並びに、
－補間された及び／或いは欠陥が取り除かれた補正画像を表示するステップ。

これにより、シミも途切れも無いシーンの描写を補正画像に提供することができるため、光学的捕捉手段が装備されたシステムのユーザの視覚的体験を的確に改善することができる。

上記の説明では、描写の厳格性を改善するための様々な特徴が、一つ乃至複数の例に統合されている。しかし上記の説明が、ここでは、説明のための一例にすぎず、本件を制限するためのものでは決して無いことは、明記しておく。しかしそれらは、全ての代案、変更並びに様々な特徴および実施例と等価なものをカバーする役割を担っている。要するに、他の多くの例は、当業者には、専門知識があるため、上記の説明を基にすれば、瞬時かつ直接的に明確であろう。

これらの実施例は、本件発明をその根底にある原理と実践における応用の可能性を示すことができる様に選択され、記述されている。これにより当業者は、目的とされる用途に対して、本発明とその様々な実施例を最適に変更し、使用することができる。請求項と説明において「含んでいる（原文：ｂｅｉｎｈａｌｔｅｎｄ）」と「有している（原文：ａｕｆｗｅｉｓｅｎｄ）」は共に、対応する「包含している（原文：ｕｍｆａｓｓｅｎｄ）」の中立的な用語として用いられている。更に、「ｅｉｎ」、「ｅｉｎｅｒ」及び「ｅｉｎｅ」と言った（ドイツ語の「一つの」という意味を包含する）不定冠詞が使用されている場合も、該特徴や該コンポーネントが、複数である可能性を本質的に除外するものではない。

１０ マスキングされていない領域
２０ マスクの縁
３０ マスキングされている領域
４０ａ、４０ｂ、４０ｃ、４０ｄ エッジ
５０ ストラクチャ
６０ シャドウ領域

Claims (14)

1. シナリオが、少なくとも一枚のロウ画像として少なくとも一台の、特に好ましくは、移動手段に搭載されている光学的捕捉手段を用いて撮影され、更に、該シナリオの画像データが、次のステップにおいてレンダリングされたレンダリング画像の少なくともその一領域において、不完全に、及び／或いは、欠陥を有して描写される場合に用いられる方法であって、以下の、
   －レンダリングされた画像内の、存在する視認性制限に起因する複数であり得る不完全及び／或いは欠陥のある写像領域を認識するステップと、
   －マスクされた領域（３０）となって、不完全及び／或いは欠陥のある写像を取り囲むための複数である得るマスクを生成するステップと、
   －レンダリング画像のマスクされていない領域（１０）の画像データを、デジタル・インペインティングよって修復し、マスクされた領域（３０）と共に、補正画像を合成するステップと、
   －補間された及び／或いは欠陥が取り除かれた補正画像を表示するステップと、を含むことを特徴とする画像を処理するための方法。
2. 更なるステップとして以下の、
   －補正画像が更に、最適化画像とするための後処理によって最適化され、該最適化画像が、各々の補正画像の代わりに表示されるステップを含むことを特徴とする請求項１に記載の方法。
3. レンダリング画像、修復された補正画像、及び／或いは、最適化された最適化画像が、各々表示可能な画像として、観察者に対して、リアルタイムに乃至無視可能な遅延後に表示されることを特徴とする請求項１又は２に記載の方法。
4. 視認性制限が、レンダリングされた画像内の複数であり得る不完全及び／或いは欠陥のある写像領域を認識するために、少なくともそれぞれの車両の三次元モデルによって、並びに、光学的捕捉手段を設けることによって割出されることを特徴とする請求項１～３のいずれか１項に記載の方法。
5. 視認性制限に関するデータ、周辺領域の幾何学的モデル（とパターン）、及び（特に好ましくは）、既に一度生成されたシナリオデータが、少なくとも一つのデータベース内に予め用意されていることを特徴とする請求項１～４のいずれか１項に記載の方法。
6. 修復される画像データが、機械的学習アプローチの助けを借りて、生成されることを特徴とする請求項１～５のいずれか１項に記載の方法。
7. 該画像データが、少なくとも一つのデータベースにアクセスし、そのデータを用いてトレーニングされる人工ニューラルネットワークを用いて修復されることを特徴とする請求項１～６のいずれか１項に記載の方法。
8. 不完全及び／或いは欠陥のある画像データが、エッジベースの方法によって修復されることを特徴とすることを特徴とする請求項１～７のいずれか１項に記載の方法。
9. エッジベースの方法が、レベルセット法、特に好ましくは、高速マーチング法であることを特徴とする請求項８に記載の方法。
10. エッジベースの方法が、不完全及び／或いは欠陥のある写像領域内の情報を予測するために、拡散アプローチを採用していることを特徴とする請求項８又は９に記載の方法。
11. 不完全及び／或いは欠陥のある写像領域内の情報を予測するために、マルコフ確率場（ＭＲＦ）法が用いられることを特徴とする請求項６～１０のいずれか１項に記載の方法。
12. 少なくとも一枚のロウ画像を捕捉し、少なくとも一枚の画像のデジタイル処理のために設けられていて、且つ、構成されている少なくとも一つの光学的捕捉手段、並びに、処理された画像を表示するための表示手段を備え、且つ、請求項１～１１のいずれか１項に記載の方法を実施する画像処理システム。
13. 移動手段の駐車工程を制限された速度内において実施する駐車アシストシステムにおける請求項１２に記載の画像処理システムの使用。
14. 請求項１２に記載のシステムを装備している、又は、請求項１３に記載の使用が採用されている移動手段、特に好ましくは、陸上用車両。

Images