JP2020523703A - ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 - Google Patents

Abstract

本願の実施例はダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器を提供する。そのうち、ダブル視野角画像較正方法は、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得ることと、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得することと、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することと、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正することと、を含む。本願の技術的解決手段を採用すれば、ダブル視野角画像の自動較正を実現し、撮影機器の校正パラメータの誤差による較正誤差を回避することができる。

Description

（関連出願の相互参照）
本願は２０１７年０６月１４日に中国特許局へ提出された、出願番号ＣＮ２０１７１０４４８５４０．Ｘ、出願名称「ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器」の中国特許出願の優先権を主張し、その全ての内容が参照によって本願に組み込まれる。

本願の実施例はコンピュータビジョン技術に関し、特にダブル視野角画像較正方法、装置、記憶媒体や電子機器、および画像処理方法、装置、記憶媒体や電子機器に関する。

ダブル視野角画像較正は、視野角の異なる二つの画像（例えば、デュアルカメラで撮影した二つの画像）に対して処理する重要な工程であり、それは二つの画像における対応する画素点を同一水平線上に位置させるために用いられ、画像の被写界深度計算などの処理を行う前提条件である。

本願の実施例はダブル視野角画像較正の技術的解決手段および画像処理の解決手段を提供する。

本願の実施例の一態様によれば、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得ることと、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得することと、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することと、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正することと、を含むダブル視野角画像較正方法が提供される。

任意選択的に、前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得する前記ステップは、前記第一基礎マトリックスに基づいて前記第一画像対における二つの画像に対してマッピング変換を行うことと、各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、前記第一画像変形情報を取得することと、を含む。

任意選択的に、前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得する前記ステップは、前記第一特徴点対集合内の少なくとも二つの異なる特徴点対サブ集合のそれぞれに基づいて少なくとも二つの第一基礎マトリックスを生成することを含む。

任意選択的に、前記方法はさらに、各特徴点対サブ集合のマッチング誤差情報を特定することを含み、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定する前記ステップは、前記マッチング誤差情報および前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することを含む。

任意選択的に、前記マッチング誤差情報は、特徴点対サブ集合内の所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含む。

任意選択的に、前記方法はさらに、前記第一最適化基礎マトリックスを記憶または更新することを含む。

任意選択的に、前記方法はさらに、前記第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新することを含む。

任意選択的に、特徴点対集合に含まれる全ての特徴点対の数に対して前記記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さい。

任意選択的に、所定のマッチング条件を満たす前記少なくとも一対の特徴点対の情報は、所定のマッチング条件を満たす少なくとも一対の特徴点対の座標を含む。

任意選択的に、前記方法はさらに、前記第一最適化基礎マトリックスに基づいて第二画像対を較正することを含む。

任意選択的に、前記方法はさらに、第二画像対に対して特徴マッチングを行って第二特徴点対集合を得ることと、前記第二特徴点対集合に基づき、前記第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定することと、を含み、前記第一最適化基礎マトリックスに基づいて第二画像対を較正する前記ステップは、前記マッピングコスト情報が所定の閾値条件を満たすことに応じて、前記第一最適化基礎マトリックスに基づいて前記第二画像対を較正することを含む。

任意選択的に、前記方法はさらに、前記マッピングコスト情報が所定の閾値条件を満たさないことに応じて、前記第二画像対の対応する第二最適化基礎マトリックスを取得することと、前記第二最適化基礎マトリックスに基づいて前記第二画像対を較正することと、を含む。

任意選択的に、前記第二画像対の対応する第二最適化基礎マトリックスを取得する前記ステップは、第二画像対に対して特徴マッチングを行って前記第二画像対の第二特徴点対集合を得ることと、前記第二特徴点対集合および記憶された特徴点対に基づき、前記第二画像対の複数の異なる第二基礎マトリックスを取得し、および各前記第二基礎マトリックスの対応する第二画像変形情報を取得することと、少なくとも前記第二画像変形情報に基づいて前記複数の第二基礎マトリックスから前記第二最適化基礎マトリックスを特定することと、を含む。

任意選択的に、前記方法はさらに、前記第二最適化基礎マトリックスを利用して記憶された前記第一最適化基礎マトリックスを更新すること、および／または、前記第二特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を利用して、記憶された特徴点対情報を更新することを含む。

任意選択的に、前記方法はさらに、二つのカメラが設けられた機器によって画像対を撮影することを含む。

任意選択的に、前記両カメラ付きの機器は、デュアルカメラの移動端末、デュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機またはデュアルカメラの無人車を含む。

本願の実施例の別の一態様によれば、前記いずれか一項のダブル視野角画像較正方法を利用して同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正することと、較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理のいずれか一つまたは複数を含む応用処理を行うことと、を含む画像処理方法がさらに提供される。

本願の実施例のさらに別の一態様によれば、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得るための特徴マッチングモジュールと、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得するための第一取得モジュールと、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するための第一特定モジュールと、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正するための第一較正モジュールと、を含むダブル視野角画像較正装置がさらに提供される。

任意選択的に、前記第一取得モジュールは、前記第一基礎マトリックスに基づいて前記第一画像対における二つの画像に対してマッピング変換を行い、そして各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、前記第一画像変形情報を取得するための第一取得ユニットを含む。

任意選択的に、前記第一取得モジュールはさらに、第一特徴点対集合内の少なくとも二つの異なる特徴点対サブ集合のそれぞれに基づいて少なくとも二つの第一基礎マトリックスを生成するための第二取得ユニットを含む。

任意選択的に、前記装置はさらに、各特徴点対サブ集合のマッチング誤差情報を特定するための第二特定モジュールを含み、前記第一特定モジュールは、前記マッチング誤差情報および前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するために用いられる。

任意選択的に、前記マッチング誤差情報は、特徴点対サブ集合内の所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含む。

任意選択的に、前記装置はさらに、前記第一最適化基礎マトリックスを記憶または更新するための第一記憶モジュールを含む。

任意選択的に、前記第一記憶モジュールはさらに、前記第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新するために用いられる。

任意選択的に、特徴点対集合に含まれる全ての特徴点対の数に対して前記記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さい。

任意選択的に、所定のマッチング条件を満たす前記少なくとも一対の特徴点対の情報は、所定のマッチング条件を満たす少なくとも一対の特徴点対の座標を含む。

任意選択的に、前記装置はさらに、前記第一最適化基礎マトリックスに基づいて第二画像対を較正するための第二較正モジュールを含む。

任意選択的に、前記装置はさらに、第二画像対に対して特徴マッチングを行って第二特徴点対集合を得て、そして前記第二特徴点対集合に基づき、前記第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定するための第三特定モジュールを含み、前記第二較正モジュールは、前記マッピングコスト情報が所定の閾値条件を満たすことに応じて、前記第一最適化基礎マトリックスに基づいて前記第二画像対を較正するために用いられる。

任意選択的に、前記装置はさらに、前記マッピングコスト情報が所定の閾値条件を満たさないことに応じて、前記第二画像対の対応する第二最適化基礎マトリックスを取得するための第二取得モジュールと、前記第二最適化基礎マトリックスに基づいて前記第二画像対を較正するための第三較正モジュールと、を含む。

任意選択的に、前記第二取得モジュールは、第二画像対に対して特徴マッチングを行って前記第二画像対の第二特徴点対集合を得るための特徴マッチングユニットと、前記第二特徴点対集合および記憶された特徴点対に基づき、前記第二画像対の複数の異なる第二基礎マトリックスを取得し、および各前記第二基礎マトリックスの対応する第二画像変形情報を取得するための第三取得ユニットと、少なくとも前記第二画像変形情報に基づいて前記複数の第二基礎マトリックスから前記第二最適化基礎マトリックスを特定するための特定ユニットと、を含む。

任意選択的に、前記装置はさらに、前記第二最適化基礎マトリックスを利用して記憶された前記第一最適化基礎マトリックスを更新するための、および／または、前記第二特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を利用して、記憶された特徴点対情報を更新するための第二記憶モジュールを含む。

任意選択的に、前記装置はさらに、二つのカメラが設けられた機器によって画像対を撮影するための撮影モジュールを含む。

任意選択的に、前記両カメラ付きの機器は、デュアルカメラの移動端末、デュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機またはデュアルカメラの無人車を含む。

本願の実施例のさらに別の一態様によれば、前記いずれか一項のダブル視野角画像較正方法を利用して同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正し、および較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理のいずれか一つまたは複数を含む応用処理を行うために用いられる画像処理装置がさらに提供される。

本願の実施例のさらに別の一態様によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令はプロセッサにより実行される時に前記いずれか一項のダブル視野角画像較正方法または前記画像処理方法のステップを実現するコンピュータ読み取り可能記憶媒体がさらに提供される。

本願の実施例のさらに別の一態様によれば、プロセッサ、および前記プロセッサに前記いずれか一項のダブル視野角画像較正方法の対応する動作を実行させ、および／または、前記プロセッサに前記画像処理方法の対応する動作を実行させる少なくとも一つの実行可能命令を格納するためのメモリを含む電子機器がさらに提供される。

任意選択的に、通信バスを介して前記プロセッサと互いに通信する少なくとも二つのカメラをさらに含む。

本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能コードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能コードが機器において実行される時、前記機器内のプロセッサは前記いずれか一項に記載のダブル視野角画像較正方法または前記いずれか一項に記載の画像処理方法におけるステップを実現するための命令を実行するコンピュータプログラムがさらに提供される。

本願の実施例のダブル視野角画像較正方法によれば、異なる視野角で同一シーンを撮影した第一画像対に対して特徴マッチングを行い、第一画像対の第一特徴点対集合を取得し、第一特徴点対集合に基づいて複数の異なる第一基礎マトリックス、および各第一基礎マトリックスの対応する第一画像変形情報を取得し、それにより第一画像変形情報に基づいて第一最適化基礎マトリックスを特定し、第一最適化基礎マトリックスに基づいて第一画像対を較正することで、ダブル視野角画像対の自動較正を実現し、カメラがぶつけられることによって生じた変位がもたらす校正パラメータの誤差による較正誤差を効果的に回避可能である。

以下に図面および実施例により、本願の技術的解決手段をさらに詳細に説明する。

本願の一実施例に係るダブル視野角画像較正方法のフローチャートを示す。 本願の別の実施例に係るダブル視野角画像較正方法のフローチャートを示す。 本願の別の実施例に係る第一画像対の第一画像を示す。 本願の別の実施例に係る第一画像対の第二画像を示す。 本願の別の実施例に係る第一画像対の合成画像を示す。 本願の別の実施例に係る較正後の第一画像対の第一画像を示す。 本願の別の実施例に係る較正後の第一画像対の第二画像を示す。 本願の別の実施例に係る較正後の第一画像対の合成画像を示す。 本願の一実施例に係るダブル視野角画像較正装置の論理ブロック図を示す。 本願の別の実施例に係るダブル視野角画像較正装置の論理ブロック図を示す。 本願の一実施例に係る電子機器の構成模式図を示す。 本願の一実施例に係るデュアルカメラによる携帯電話の構成模式図を示す。

明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。

図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。

以下に図面（複数の図面における同じ符号は同じ要素を表す）と実施例を関連付けて、本願の実施例の実施形態をさらに詳細に説明する。以下の実施例は本願を説明するためのものであり、本願の範囲を限定するものではない。

当業者であれば、本願の実施例における「第一」、「第二」などの用語は異なるステップ、機器またはモジュールなどを区別するためのものに過ぎず、なんらの特定の技術的意味も有さず、またそれらの間の必然的な論理的順序を表すものでもないことを理解できる。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願およびその適用または使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。

なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

本願の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。

図１は本願の一実施例に係るダブル視野角画像較正方法のフローチャートを示す。図１を参照すると、ステップＳ１０２で、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得る。

任意選択的に、第一画像対に含まれる二つの画像は、二つの撮影素子によって二つの異なる視野角に基づいて同一時刻で同一シーンを撮影したもの、例えば、二つのカメラが統合設置されたデュアルカメラによる機器（例えば、デュアルカメラによる携帯電話）によって一回で撮影した画像対であり、前記二つの撮影素子は統合または分離設置してもよい。あるいは、第一画像対に含まれる二つの画像は、同一カメラによって二つの異なる視野角に基づいて異なる時刻で同一シーンを撮影したものである。

本実施例では、第一画像対を取得してから、第一画像対に含まれる二つの画像の特徴検出および抽出を行い、二つの画像から抽出した特徴点をマッチし、二つの画像上のマッチする特徴点対の集合を、第一特徴点対集合として取得する。ここで、第一画像対の特徴検出および抽出を行う場合、畳み込みニューラルネットワーク、色ヒストグラム、勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ、ＨＯＧ）、最小単一値セグメント同化核（Ｓｍａｌｌ ｕｎｉｖａｌｕｅ ｓｅｇｍｅｎｔ ａｓｓｉｍｉｌａｔｉｎｇ ｎｕｃｌｅｕｓ、ＳＵＳＡＮ）アルゴリズムなどの方法を利用してもよいが、これらに限定されない。抽出した特徴点の特徴マッチングを行う場合、濃淡相関マッチング、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）アルゴリズム、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、加速ロバスト特徴）アルゴリズムなどの方法を利用してもよいが、これらに限定されない。

任意選択的な一例では、該ステップＳ１０２はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される特徴マッチングモジュール４０２によって実行してもよい。

ステップＳ１０４で、少なくとも第一特徴点対集合に基づいて第一画像対の複数の異なる第一基礎マトリックスを取得し、および第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得する。

ここで、基礎マトリックス（Ｆｕｎｄａｍｅｎｔａｌ ｍａｔｒｉｘ）は同一の三次元シーンの二つの異なる視点で得られた二つの二次元画像間の幾何関係である。本実施例では、基礎マトリックスは第一画像対の二つの画像上の特徴点対間のマッチング関係を示すことができる。例えば、基礎マトリックスは第一画像と第二画像とのエピポーラ幾何関係を表す３×３のマトリックスであってもよい。

本実施例では、第一基礎マトリックスおよび第一画像変形情報を取得する方法を限定せず、第一画像対の第一特徴点対集合に基づいて複数の第一基礎マトリックスを計算し、および対応する第一画像変形情報を計算することが可能な方法であれば、いずれも本実施例に用いて第一画像変形情報を取得することができる。例えば、基礎マトリックスを線形的に計算する８点法、または基礎マトリックスを非線形的に計算するランダムサンプルコンセンサス（ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｍｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムなどの方法を利用して、第一特徴点対集合に基づいて複数の異なる第一基礎マトリックスを取得してもよい。さらに例えば、第一画像変形情報を計算する場合、第一画像対における二つの画像について、マッピング変換前後の画像上の対応する特徴点対の数の変化、または特徴点対間の距離などに基づき、二つの画像の変形程度をそれぞれ計算し、さらに重み付け、合計などの処理によって第一画像変形情報を総合的に計算するようにしてもよい。

任意選択的な一例では、該ステップＳ１０４はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一取得モジュール４０４によって実行してもよい。

ステップＳ１０６で、少なくとも第一画像変形情報に基づいて複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定する。

ここで、第一最適化基礎マトリックスは取得された複数の第一基礎マトリックスのうち、第一特徴点対集合内の特徴点対のマッチング関係を比較的正確に表現可能な第一基礎マトリックスである。第一画像変形情報に基づいて第一最適化基礎マトリックスを特定することは、画像変形程度に基づいて第一最適化基礎マトリックスを特定することに相当し、例えば、第一画像対の変形程度を小さくする第一基礎マトリックスを第一最適化基礎マトリックスとして特定してもよく、これによって取得された第一最適化基礎マトリックスの正確性を向上させる。

任意選択的に、第一画像変形情報に基づき、複数の第一基礎マトリックスから、第一画像対間の相対変形程度が最も小さい第一基礎マトリックスを、第一最適化基礎マトリックスとして取得する。

実際の応用では、また第一画像変形情報と第一基礎マトリックスとのマッチング誤差、および第一基礎マトリックスのマッチング誤差を満たす特徴点対の割合などの他の要因を組み合わせて、第一最適化基礎マトリックスを特定し、それによって特定された第一最適化基礎マトリックスの正確性をさらに向上させるようにしてもよい。

任意選択的な一例では、該ステップＳ１０６はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一特定モジュール４０６によって実行してもよい。

ステップＳ１０８で、第一最適化基礎マトリックスに基づいて第一画像対を較正する。

任意選択的に、第一最適化基礎マトリックスを第一変換マトリックスおよび第二変換マトリックスとして分解し、第一変換マトリックスおよび第二変換マトリックスに基づき、第一画像対における二つの画像をそれぞれ変換し、第一画像対の較正を実現する。較正後の第一画像対における二つの画像は、マッチする重要点対が同一水平線上に位置し、較正後の第一画像対のマッチする重要点対は、第一画像対の三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理などの後続の画像処理動作を行うために、同一の深度に位置してもよい。

任意選択的な一例では、該ステップＳ１０８はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一較正モジュール４０８によって実行してもよい。

本願の実施例のダブル視野角画像較正方法によれば、異なる視野角で同一シーンを撮影した第一画像対に対して特徴マッチングを行い、第一画像対の第一特徴点対集合を取得し、第一特徴点対集合に基づいて複数の異なる第一基礎マトリックス、および各第一基礎マトリックスの対応する第一画像変形情報を取得し、それにより第一画像変形情報に基づいて第一最適化基礎マトリックスを特定し、第一最適化基礎マトリックスに基づいて第一画像対を較正することで、ダブル視野角画像対の自動較正を実現する。

実際の応用では、本実施例のダブル視野角による較正方法を利用してデュアルカメラによる機器で撮影した画像対の全自動較正を行うことができ、デュアルカメラによるレンズが使用中に衝撃などの要因によって生じた変位がもたらす校正誤差による較正誤差を効果的に回避でき、しかも、デュアルカメラによる機器について、出荷前にプロセスが複雑なデュアルカメラによる校正機器を搭載する必要がなく、専門技術者が格子状画像を撮影して較正する必要もなく、デュアルカメラによる機器の製造難易度を低下させ、生産性を向上させる。

本実施例のダブル視野角画像較正方法はカメラ、プロセッサまたはデュアルカメラによる機器などによって実行できるが、当業者であれば、実際の応用では、対応する画像処理およびデータ処理機能を有する任意の機器またはプロセッサは、いずれも本実施例を参照する上で本願の実施例のダブル視野角画像較正方法を実行できることを理解すべきである。

図２は本願の別の実施例に係るダブル視野角画像較正方法のフローチャートを示す。図２を参照すると、ステップＳ２０２で、第一画像対に対して特徴マッチングを行って第一特徴点対集合を得る。

ここで、第一画像対は同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む。第一画像対は二つの分離設置されたカメラで撮影したものまたは二つのカメラが設けられた機器によって一回で撮影したものであってもよいし、一つのカメラによって異なる視野角で同一シーンを順に撮影したものであってもよい。

本実施例では、二つのカメラが設けられた機器（デュアルカメラによる機器）で撮影した画像対を例にして、本願のダブル視野角画像較正方法を説明する。

例えば、図３および図４はデュアルカメラによる機器で撮影した第一画像対に含まれる第一画像および第二画像を示し、二つの画像は同一の画像主体を有するが、二つの画像上の対応する特徴点対は完全に揃えることができない。図５に示す第一画像対の合成画像を参照すると、男の子の頭の上、衣装および靴などが揃えていない。

任意選択的な一実施形態では、デュアルカメラによる機器で撮影した第一画像対を取得し、畳み込みニューラルネットワークまたはＳＵＳＡＮアルゴリズムなどの画像特徴抽出が可能な任意の方法によって、第一画像対の特徴を抽出し、ＳＩＦＴアルゴリズムまたはＳＵＲＦアルゴリズムなどの特徴マッチングが可能な方法によって、第一画像対の二つの画像から抽出した特徴を対象に特徴マッチングを行い、第一画像対の第一特徴点対集合を取得する。

任意選択的な一例では、該ステップＳ２０２はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される特徴マッチングモジュール５０２によって実行してもよい。

ステップＳ２０４で、それぞれ第一特徴点対集合内の複数の異なる特徴点対サブ集合に基づいて複数の第一基礎マトリックスを生成する。

本実施例では、第一画像対の第一特徴点対集合を取得してから、そこから複数の（複数とは少なくとも二つのことである）特徴点対サブ集合を任意に選択し、それぞれ各特徴点対サブ集合に基づいて対応する第一基礎マトリックスを生成する。即ち、各特徴点対サブ集合に基づいて対応する第一基礎マトリックスをそれぞれ生成する。ここで、特徴点対サブ集合は第一特徴点対集合内の一部の特徴点対を含み、かつ選択された複数の特徴点対サブ集合に含まれる特徴点対は完全に同じではなく、つまり、複数の特徴点対サブ集合に含まれる特徴点対は完全に異なってもよいし、部分的に同じであってもよい。

任意選択的に、第一基礎マトリックスを生成する時、少なくとも８セットの特徴点対を含む特徴点対サブ集合を選択し、ＲＡＮＳＡＣアルゴリズムを採用して対応する少なくとも一つのマッチングマトリックスを計算し、マッチング誤差が最も小さいマッチングマトリックスを第一基礎マトリックスとして特定する。ｘ１およびｘ２がそれぞれ特徴点対サブ集合内の特徴点対の座標である場合、ｘ１およびｘ２は同次座標（ｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅｓ）で表すことができ、つまり、三次元列ベクトルで二次元座標を表す。例えば、ｘ１ ＝ ［ｕ， ｖ， １］’の場合、算出された特徴点対のマッチング誤差はｘ２’Ｆｘ１となり、ここで、「 ’ 」は転置を意味する。マッチング誤差が小さければ小さいほど、対応するマッチングマトリックスが示す特徴点対のマッチング関係が正確になり、マッチング誤差の理想値はゼロである。

任意選択的な一例では、該ステップＳ２０４はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一取得モジュール５０５によって実行してもよい。

ステップＳ２０６で、各特徴点対サブ集合のマッチング誤差情報を特定する。

任意選択的に、各特徴点対サブ集合の対応する第一基礎マトリックスに基づき、対応するマッチング誤差情報を特定する。

任意選択的な一実施形態では、マッチング誤差情報は特徴点対サブ集合内のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含む。例えば、各特徴点対サブ集合（または各第一基礎マトリックス）について、所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を取得する。ここで、所定のマッチング条件は特徴点対サブ集合内の特徴点対のマッチング誤差が予め設定されたマッチング誤差閾値よりも小さいようにしてもよい。例えば、第一特徴点対集合内の特徴点対の総数がＰ、特徴点対サブ集合内のマッチング誤差ｘ２’Ｆｘ１＜ｔ１を満たす重要点対の数がＴである場合、取得される割合は（Ｐ−Ｔ）／Ｐとなる。ここで、ｔ１（例えばｔ１は０．３である）は、特徴点対サブ集合から、第一基礎マトリックスが示すマッチング関係を満たすことが可能な特徴点対をスクリーニングするか、または第一基礎マトリックスが示すマッチング関係を満たすことができない重要点対をフィルタ除去するためのマッチング誤差閾値である。該割合を特徴点対サブ集合のマッチング誤差情報とすることで、対応する第一基礎マトリックスが示すマッチング関係が満たす特徴点対の数を判定し、さらに第一基礎マトリックスの正確度を判定することができる。

ここで説明すべきは、特徴点対サブ集合のマッチング誤差情報は対応する第一基礎マトリックスのマッチング誤差情報と見なしてもよく、マッチング誤差情報の形式は上記割合に限定されず、第一基礎マトリックスが表現するマッチング関係の正確度の判定用に可能な他の形式であってもよいことである。

任意選択的な一例では、該ステップＳ２０６はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第二特定モジュール５１０によって実行してもよい。

ステップＳ２０８で、第一基礎マトリックスに基づいて第一画像対をマッピング変換する。

任意選択的に、第一最適化基礎マトリックスを第一変換マトリックスおよび第二変換マトリックスとして分解し、第一変換マトリックスおよび第二変換マトリックスに基づき、第一画像対における二つの画像をそれぞれマッピング変換する。

任意選択的な一例では、該ステップＳ２０８はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一取得モジュール５０４またはその中の第一取得ユニット５０４２によって実行してもよい。

ステップＳ２１０で、各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、第一画像変形情報を取得する。

任意選択的に、第一画像対のうちの第一画像の第一頂点と、マッピング変換後の第一画像上の対応する第一マッピング点との間の第一距離、および、第一画像対のうちの第二画像の第二頂点と、マッピング変換後の第二画像上の対応する第二マッピング点との間の第二距離を取得し、第一距離および第二距離に基づいて第一画像変形情報を取得する。ここで、第一距離および第二距離はユークリッド距離であってもよいが、これに限定されない。

例えば、第一頂点は第一画像の四つの頂点（０， ０）、（０， ｈ−１）、（ｗ−１， ０）、（ｗ−１， ｈ−１）を含んでもよく、第一距離はこの四つの頂点と対応するマッピング点との間の平均距離Ｄ１であってもよく、それに対して、第二距離は第二画像上の四つの頂点と対応するマッピング点との間の平均距離Ｄ２であってもよく、そうすると、第一画像変形情報はα（Ｄ１＋Ｄ２）としてもよく、ここで、αは重み定数である。

ここで説明すべきは、実際の応用では、まず上記ステップＳ２０８〜Ｓ２１０を実行して第一画像変形情報を取得してから、ステップＳ２０６を実行してマッチング誤差情報を取得するようにしてもよいことである。

任意選択的な一例では、該ステップＳ２１０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一取得モジュール５０４またはその中の第一取得ユニット５０４２によって実行してもよい。

ステップＳ２１２で、マッチング誤差情報および第一画像変形情報に基づいて複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定する。

任意選択的に、マッチング誤差情報および第一画像変形情報に基づき、複数の第一基礎マトリックスから、マッチング誤差が小さくおよび／または画像変形が小さい第一基礎マトリックスを、第一最適化基礎マトリックスとして選択する。例えば、第一画像変形情報を優先的に考慮し、画像変形が最も小さい第一基礎マトリックスを第一最適化基礎マトリックスとして選択し、これは第一画像変形情報のみに基づいて第一最適化基礎マトリックスを特定することに相当し、画像変形が最も小さい第一基礎マトリックスの数が少なくとも二つである場合、さらにマッチング誤差情報からマッチング誤差が最も小さいのを第一最適化基礎マトリックスとして選択する。さらに例えば、マッチング誤差情報および第一画像変形情報に異なる重みを設定することで、両方の要因を考慮して第一最適化基礎マトリックスを選択する。

実行可能な一実施形態では、マッピングコストスコアｃｏｓｔ ＝ （Ｐ−Ｔ）／Ｐ ＋ α（Ｄ１＋Ｄ２）を設定することで、複数の第一基礎マトリックスからマッピングコストスコアｃｏｓｔが最も小さいのを第一最適化基礎マトリックスとして選択する。ここで、ｃｏｓｔの第一項はマッチング誤差情報の任意選択的な一表現形式（Ｐ−Ｔ）／Ｐであり、第二項は画像変形情報の任意選択的な一表現形式α（Ｄ１＋Ｄ２）である。なお、以上は例示に過ぎず、マッチング誤差情報および画像変形情報は上記表現形式に限定されないことを理解すべきである。

任意選択的な一例では、該ステップＳ２１２はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一特定モジュール５０６によって実行してもよい。

ステップＳ２１４で、第一最適化基礎マトリックスに基づいて第一画像対を較正する。

例えば、第一最適化マッチングマトリックスを第一変換マトリックスおよび第二変換マトリックスとして分解し、第一変換マトリックスおよび第二変換マトリックスに基づき、図３および図４に示す第一画像対の第一画像および第二画像をそれぞれマッピング変換し、ここで、変換後の画像は図６および図７に示す較正後の第一画像および第二画像をそれぞれ参照してもよい。図８を参照すると、変換後の第一画像と第二画像を併合してから、変換後の第一画像および第二画像上の特徴点が基本的に同一水平線上にあると特定でき、例えば、図８に示す併合画像における男の子の頭の上、衣装および靴などはいずれも揃えている。

実際の応用では、図３および図４に示す第一画像対を入力とし、上記ステップＳ２０２からステップＳ２１４を実行し、特徴マッチング、計算基礎マトリックス、特定最適化基礎マトリックスおよび較正などの処理によって、図６および図７に示す較正後の第一画像対を出力するようにしてもよい。

任意選択的な一例では、該ステップＳ２１４はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一較正モジュール５０８によって実行してもよい。

ステップＳ２１６で、第一最適化基礎マトリックスを記憶または更新する。

本実施例では、第一最適化基礎マトリックスを特定してから、第一最適化基礎マトリックスを記憶し、それは同一撮影機器で撮影した他の画像対の較正に用いることができる。ここで、前に第一最適化基礎マトリックスが記憶された場合、本回で特定した第一最適化基礎マトリックスによって、記憶された第一最適化基礎マトリックスを更新する。

任意選択的に、第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新する。前に特徴点対が記憶された場合、記憶された特徴点対を更新する。ここで、所定のマッチング条件を満たす特徴点対のマッチング情報は、画像対を撮影する撮影機器の基本属性に適合し、同一撮影機器で撮影した他の画像対を較正する時、他の画像対の特徴点対の情報以外、また記憶された特徴点対の情報に基づいて、他の画像対を較正してもよく、つまり、増分較正の方式で他の画像対を較正する。ここで、記憶された特徴点対の情報は、記憶された特徴点対に基づいて対応する基礎マトリックスを計算するために、少なくとも特徴点対の座標を含むが、これに限定されない。

任意選択的に、特徴点対集合に含まれる全ての特徴点対の数に対して記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さい。つまり、占有される記憶空間が大きくなり過ぎないように、１回あたり記憶される特徴点対の数を制限する。また、記憶された特徴点対の総数が設定数に達した時、前に記憶された一部の特徴点対、例えば記憶された時間が最も早い一部の特徴点対、または座標が重なった一部の特徴点対を削除するように、記憶された特徴点対の総数を制限してもよい。

任意選択的な一例では、該ステップＳ２１６はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第一記憶モジュール５１２によって実行してもよい。

ステップＳ２１８で、第二画像対に対して特徴マッチングを行って第二特徴点対集合を得て、第二特徴点対集合に基づき、第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定する。

ここで、第二画像対と第一画像対は同一のカメラで撮影した二つの画像対であり、かつ第二画像対と第一画像対は異なる時間、異なるシーンで撮影した二つの画像対であってもよい。

任意選択的に、前記ステップＳ２０２で示した第一画像対に対して特徴マッチングを行う方式を参照して、第二画像対に対して特徴マッチングを行い、第二特徴点対集合を取得する。さらに、前記ステップＳ２０４からステップＳ２１０を参照し、第二画像対集合に基づいて第二画像対の第二画像変形情報、および／または特徴点対サブ集合のマッチング誤差情報を取得する。

任意選択的な一実施形態では、マッピングコスト情報は上記マッピングコストスコアｃｏｓｔ ＝ （Ｐ−Ｔ）／Ｐ ＋ α（Ｄ１＋Ｄ２）を含み、ここで、第一項は第二画像対の特徴点対サブ集合のマッチング誤差情報であり、第二項は第二画像対の第二画像変形情報である。ここで説明すべきは、マッピングコスト情報の任意選択的な形態は上記マッピングコストスコアに限定されないことである。

任意選択的な一例では、該ステップＳ２１８はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第三特定モジュール５１４によって実行してもよい。

ステップＳ２２０で、マッピングコスト情報が所定の閾値条件を満たすかどうかを判断する。

マッピングコスト情報が所定の閾値条件を満たす場合、ステップＳ２２２を実行し、マッピングコスト情報が所定の閾値条件を満たさない場合、ステップＳ２２４を実行する。所定の閾値条件によって、第一最適化基礎マトリックスが示すマッチング関係が、第二画像対の特徴点対間のマッチング関係を正確に反映できるかどうかを判断し、さらに第一最適化基礎マトリックスを利用して第二画像対を較正するか、それとも第二最適化基礎マトリックスを改めて計算して第二画像対を較正するかを決定することができる。

任意選択的に、マッピングコスト情報が上記マッピングコストスコアｃｏｓｔである場合、ｃｏｓｔの第二項は画像変形情報α（Ｄ１＋Ｄ２）となり、（Ｄ１＋Ｄ２）は第二画像対における二つの画像の変形程度を評価するために用いられ、一般に画像の対角線長の１０％を超えてはならず、αは第二画像対のうちのどちらかの画像の対角線長の逆数であってもよく、つまり、マッピングコストスコアｃｏｓｔは０．２よりも小さい場合、スコア閾値は０．２と予め設定してもよく、対応する所定の閾値条件はマッピングコストスコアが０．２よりも小さいようにしてもよい。

任意選択的な一例では、該ステップＳ２２０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第三特定モジュール５１４によって実行してもよい。

ステップＳ２２２で、第一最適化基礎マトリックスに基づいて第二画像対を較正する。

マッピングコスト情報が所定の閾値条件を満たすことに応じて、記憶された第一最適化基礎マトリックスに基づいて第二画像対を較正し、その任意選択的な方式は前記ステップＳ２１４での第一画像対の較正方式を参照されたい。

任意選択的な一例では、該ステップＳ２２２はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第二較正モジュール５１６によって実行してもよい。

ステップＳ２２４で、第二画像対の対応する第二最適化基礎マトリックスを取得し、第二最適化基礎マトリックスに基づいて第二画像対を較正する。

マッピングコスト情報が所定の閾値条件を満たさないことに応じて、第二画像対の対応する第二最適化基礎マトリックスを取得し、第二最適化基礎マトリックスに基づいて第二画像対を較正する。

任意選択的に、マッピングコスト情報が所定の閾値条件を満たさない場合、第二画像対に対して特徴マッチングを行って第二画像対の第二特徴点対集合を得て、第二特徴点対集合および記憶された特徴点対に基づき、第二画像対の複数の異なる第二基礎マトリックスを取得し、および各第二基礎マトリックスの対応する第二画像変形情報を取得し、少なくとも第二画像変形情報に基づいて複数の第二基礎マトリックスから第二最適化基礎マトリックスを特定し、特定した第二最適化基礎マトリックスに基づいて第二画像対を較正する。さらに、第二画像対の特徴点対サブ集合のマッチング誤差情報を取得して、第二画像変形情報と組み合わせて第二最適化基礎マトリックスを特定してもよい。

任意選択的な一例では、該ステップＳ２２４はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される第二取得モジュール５１８および第三較正モジュール５２０によって実行してもよい。

以上は本実施例のダブル視野角画像較正方法であり、実際の応用では、該方法はデュアルカメラによる機器（二つのカメラが設けられた機器）で撮影した画像対の較正に用いてもよいし、一般的な撮影機器で同一シーンを順に撮影したダブル視野角画像の較正に用いてもよい。

デュアルカメラによる機器で撮影した画像対について、後期の画像処理プロセスで、該方法を実行して撮影された画像対を較正してもよいし、または、画像対を撮影して画像対を生成するプロセスで、該方法を実行してもよい。

ここで、デュアルカメラによる機器によって画像対を撮影および生成するプロセスで、該方法を実行して取得された画像対を較正し、それによって較正後の画像対を直接生成し、デュアルカメラによる機器を他の応用処理に適合させやすく、画像処理の効率を向上させる。ここで、デュアルカメラによる機器はデュアルカメラの移動端末、デュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機またはデュアルカメラの無人車などを含むが、これらに限定されない。

例えば、デュアルカメラの移動端末（例えば、デュアルカメラによる携帯電話）は画像対を撮影するプロセスで該方法を実行し、較正後の画像対を直接得て、しかも、得られた較正後の画像対の被写界深度計算、画像ぼかし処理などを直接行いやすい。さらに例えば、デュアルカメラの無人機は画像対を撮影するプロセスで該方法を実行し、較正後の画像対を生成し、較正後の画像対からステレオマッチング、三次元シーン再構成などの処理のための情報を直接取得しやすく、立体視システムを高効率に得ることができる。

しかも、本実施例のダブル視野角による較正方法は、デュアルカメラによる機器で撮影した画像対の全自動較正を実現でき、デュアルカメラによるレンズの使用中の移動によって生じた校正誤差による較正誤差を効果的に回避でき、そして、デュアルカメラによる機器について、出荷前にプロセスが複雑なデュアルカメラによる校正機器を搭載する必要がなく、デュアルカメラによる機器の製造難易度を低下させ、生産性を向上させる。

本願の実施例のダブル視野角画像較正方法によれば、異なる視野角で同一シーンを撮影した第一画像対に対して特徴マッチングを行い、第一画像対の第一特徴点対集合を取得し、第一特徴点対集合に基づいて複数の異なる第一基礎マトリックス、および各第一基礎マトリックスの対応する第一画像変形情報を取得し、それにより第一画像変形情報に基づいて第一最適化基礎マトリックスを特定し、第一最適化基礎マトリックスに基づいて第一画像対を較正することで、ダブル視野角画像対の自動較正を実現し、かつ、第一最適化基礎マトリックスおよび第一画像対の特徴点対を記憶し、所定の閾値条件によって第二画像対較正用の最適化基礎マトリックスを選択することで、第二画像対を増分的に較正し、正確度を保証し、処理効率を向上させる。

本実施例のダブル視野角画像較正方法はカメラ、プロセッサまたはデュアルカメラによる機器などによって実行できるが、当業者であれば、実際の応用では、対応する画像処理およびデータ処理機能を有する任意の機器またはプロセッサは、いずれも本実施例を参照する上で本願の実施例のダブル視野角画像較正方法を実行できることを理解すべきである。

本実施例は画像処理方法を提供し、上記実施例１または実施例２におけるダブル視野角画像較正方法を利用し、同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正し、較正後の画像対の応用処理を行う。ここで、応用処理は例えば、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理などのいずれか一つまたは複数を含むことができるが、これらに限定されない。

実際の応用では、本実施例の画像処理方法は撮影機器によって実行し、撮影した画像対をリアルタイムに処理して画像処理の効率を向上させることができる。例えば、ダブル視野角画像較正方法を利用して撮影された画像対の較正処理を行うことで、得られた画像対におけるマッチする特徴点対を同一の深度に位置させ、それによって画像対のオンライン被写界深度計算を行いやすくし、さらにオンライン画像ぼかし処理を行ってぼかし効果を有する画像を生成するか、またはオンラインステレオマッチング、三次元再構成、表示強化などの処理を行い、三次元立体視画像を得ることができる。

本実施例の画像処理方法はまたプロセッサによって画像処理命令またはプログラムを呼び出すように実行し、画像処理プログラムに入力されるダブル視野角画像対の後処理を行うこともできる。例えば、ダブル視野角画像較正方法を利用して画像対の較正処理を行うことで、較正後の画像対の被写界深度計算を行いやすくし、算出された深度情報に基づいて画像をさらに処理することができ、また、画像処理プログラムにマンマシンインタラクション項目をセットし、ユーザがそれを選択して画像処理の項目をセットすることを容易にし、画像処理の作業性を向上させ、ユーザ体験を向上させることもできる。

本願の実施例が提供するいずれかのダブル視野角画像較正方法または画像処理方法は端末機器およびサーバなどに限られないデータ処理能力を有する任意の適当な機器によって実行できる。あるいは、本願の実施例が提供するいずれかのダブル視野角画像較正方法または画像処理方法は、例えばプロセッサがメモリに記憶された対応する命令を呼び出すことで本願の実施例で言及されたいずれかのダブル視野角画像較正方法または画像処理方法を実行するように、プロセッサによって実行できる。以下は説明を省略する。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図９は本願の一実施例に係るダブル視野角画像較正装置の論理ブロック図を示す。図９を参照すると、本実施例のダブル視野角画像較正装置は、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得るための特徴マッチングモジュール４０２と、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得するための第一取得モジュール４０４と、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するための第一特定モジュール４０６と、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正するための第一較正モジュール４０８と、を含む。

本実施例のダブル視野角画像較正装置は前記方法の実施例における対応するダブル視野角画像較正方法を実現するために用いることができ、かつ対応する方法の実施例の有益な効果を有し、ここでは説明を省略する。

図１０は本願の別の実施例に係るダブル視野角画像較正装置の論理ブロック図を示す。図１０を参照すると、本実施例のダブル視野角画像較正装置は、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得るための特徴マッチングモジュール５０２と、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得するための第一取得モジュール５０５と、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するための第一特定モジュール５０６と、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正するための第一較正モジュール５０８と、を含む。

任意選択的に、第一取得モジュール５０４は、前記第一基礎マトリックスに基づいて前記第一画像対における二つの画像に対してマッピング変換を行い、そして各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、前記第一画像変形情報を取得するための第一取得ユニット５０４２を含む。

任意選択的に、第一取得モジュール５０４はさらに、第一特徴点対集合内の少なくとも二つの異なる特徴点対サブ集合のそれぞれに基づいて少なくとも二つの第一基礎マトリックスを生成するための第二取得ユニット５０４４を含む。

任意選択的に、前記装置はさらに、各特徴点対サブ集合のマッチング誤差情報を特定するための第二特定モジュール５１０を含み、第一特定モジュール５０６は前記マッチング誤差情報および前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するために用いられる。

任意選択的に、前記マッチング誤差情報は、特徴点対サブ集合内の所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含む。

任意選択的に、前記装置はさらに、前記第一最適化基礎マトリックスを記憶または更新するための第一記憶モジュール５１２を含む。

任意選択的に、第一記憶モジュール５１２はさらに、前記第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新するために用いられる。

任意選択的に、特徴点対集合に含まれる全ての特徴点対の数に対して前記記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さい。

任意選択的に、所定のマッチング条件を満たす前記少なくとも一対の特徴点対の情報は、所定のマッチング条件を満たす少なくとも一対の特徴点対の座標を含む。

任意選択的に、前記装置はさらに、前記第一最適化基礎マトリックスに基づいて第二画像対を較正するための第二較正モジュール５１６を含む。

任意選択的に、前記装置はさらに、第二画像対に対して特徴マッチングを行って第二特徴点対集合を得て、そして前記第二特徴点対集合に基づき、前記第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定するための第三特定モジュール５１４を含み、第二較正モジュール５１６は前記マッピングコスト情報が所定の閾値条件を満たすことに応じて、前記第一最適化基礎マトリックスに基づいて前記第二画像対を較正するために用いられる。

任意選択的に、前記装置はさらに、前記マッピングコスト情報が所定の閾値条件を満たさないことに応じて、前記第二画像対の対応する第二最適化基礎マトリックスを取得するための第二取得モジュール５１８と、前記第二最適化基礎マトリックスに基づいて前記第二画像対を較正するための第三較正モジュール５２０と、を含む。

任意選択的に、第二取得モジュール５１８は、第二画像対に対して特徴マッチングを行って前記第二画像対の第二特徴点対集合を得るための特徴マッチングユニット（図示せず）と、前記第二特徴点対集合および記憶された特徴点対に基づき、前記第二画像対の複数の異なる第二基礎マトリックスを取得し、および各前記第二基礎マトリックスの対応する第二画像変形情報を取得するための第三取得ユニット（図示せず）と、少なくとも前記第二画像変形情報に基づいて前記複数の第二基礎マトリックスから前記第二最適化基礎マトリックスを特定するための特定ユニット（図示せず）と、を含む。

任意選択的に、前記装置はさらに、前記第二最適化基礎マトリックスを利用して記憶された前記第一最適化基礎マトリックスを更新するための、および／または、前記第二特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を利用して、記憶された特徴点対情報を更新するための第二記憶モジュール５２２を含む。

任意選択的に、前記装置はさらに、二つのカメラが設けられた機器によって画像対を撮影するための撮影モジュール（図示せず）を含む。

任意選択的に、前記両カメラ付きの機器は例えば、デュアルカメラの移動端末、デュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機またはデュアルカメラの無人車などを含むことができるが、これらに限定されない。

本実施例のダブル視野角画像較正装置は前記方法の実施例における対応するダブル視野角画像較正方法を実現するために用いることができ、かつ対応する方法の実施例の有益な効果を有し、ここでは説明を省略する。

本願の実施例は、前記実施例１または実施例２のダブル視野角画像較正方法を利用し、同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正し、そして較正後の画像対の応用処理を行うために用いられる画像処理装置をさらに提供し、前記応用処理は例えば、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理などのいずれか一つまたは複数を含むことができるが、これらに限定されない。

実際の応用では、本実施例の画像処理装置は、前記いずれかの実施例のダブル視野角画像較正装置を含んでもよい。

本実施例の画像処理装置は前記実施例の画像処理方法を実現するために用いることができ、かつ対応する方法の実施例の有益な効果を有し、ここでは説明を省略する。

本願の実施例は電子機器をさらに提供し、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどであってもよい。以下に図１１を参照すると、本願の一実施例の端末機器またはサーバの実現に適する電子機器７００の構成模式図が示される。図１１に示すように、電子機器７００は一つ以上の第一プロセッサ、第一通信要素などを含み、前記一つ以上の第一プロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）７０１、および／または一つ以上の画像処理装置（ＧＰＵ）７１３などであり、第一プロセッサは読み取り専用メモリ（ＲＯＭ）７０２に記憶されている実行可能命令または記憶部分７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。本実施例では、第一読み取り専用メモリ７０２およびランダムアクセスメモリ７０３は総称して第一メモリと言う。第一通信要素は通信コンポーネント７１２および／または通信インタフェース７０９を含む。そのうち、通信コンポーネント７１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、通信インタフェース７０９はＬＡＮカード、モデムのネットワークインタフェースカードなどの通信インタフェースを含み、インターネットのようなネットワークを介して通信処理を行う。

第一プロセッサは読み取り専用メモリ７０２および／またはランダムアクセスメモリ７０３と通信して実行可能命令を実行し、第一通信バス７０４を介して通信コンポーネント７１２と接続し、通信コンポーネント７１２によって他の目標機器と通信し、それにより本願の実施例が提供するいずれか一項のダブル視野角画像較正方法の対応する動作、例えば、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得ることと、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得することと、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することと、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正することと、を完了するか、あるいは、本願の実施例が提供する画像処理方法の対応する動作、例えば、前記実施例１または実施例２のダブル視野角画像較正方法を利用し、同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正することと、較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理のいずれか一つまたは複数を含む応用処理を行うことと、を完了することができる。

また、ＲＡＭ７０３には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ７０１またはＧＰＵ７１３、ＲＯＭ７０２およびＲＡＭ７０３は第一通信バス７０４を介して互いに接続される。ＲＡＭ７０３が存在する場合、ＲＯＭ７０２は任意選択的なモジュールとなる。ＲＡＭ７０３は実行可能命令を記憶するか、または動作時にＲＯＭ７０２へ実行可能命令を書き込み、実行可能命令によって第一プロセッサは上記通信方法の対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース７０５も第一通信バス７０４に接続される。通信コンポーネント７１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつ通信バスリンクに存在する。

キーボード、マウスなどを含む入力部分７０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分７０７、ハードディスクなどを含む記憶部分７０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信インタフェース７０９といった部品は、Ｉ／Ｏインタフェース７０５に接続される。ドライバ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。取り外し可能な媒体７１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ７１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分７０８にインストールされる。

なお、図１１に示すアーキテクチャは任意選択的な一実施形態に過ぎず、任意選択的な実践では、実際の必要に応じて上記図１１の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信要素は分離設置するか、またＣＰＵまたはＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。

特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例が提供するダブル視野角画像較正方法のステップを対応して実行する対応の命令、例えば、同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得ることと、少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得することと、少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することと、前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正することと、を含むか、あるいは、本願の実施例が提供する画像処理方法のステップを対応して実行する対応の命令、例えば、前記実施例１または実施例２のダブル視野角画像較正方法を利用し、同一シーンに対応する二つの視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正することと、較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理のいずれか一つまたは複数を含む応用処理を行うことと、を含んでもよい。このような実施例では、該コンピュータプログラムは通信要素によってネットワークからダウンロードおよびインストールされ、および／または取り外し可能な媒体７１１からインストールされ得る。該コンピュータプログラムは第一プロセッサにより実行される時、本願の実施例の方法で限定された上記機能を実行する。

任意選択的に、電子機器７００は、第一通信バスを介して第一プロセッサ（上記中央処理装置ＣＰＵ７０１、および／または上記画像処理装置ＧＰＵ７１３を含む）との両側間の相互通信を実現する少なくとも二つのカメラをさらに含む。

実際の応用では、電子機器７００は図１２に示す二つのカメラＡが統合設置されたデュアルカメラによる携帯電話であってもよい。図１２はデュアルカメラによる携帯電話の内側に内蔵された第一プロセッサおよび通信バスなどの部材を示していない。ユーザは該携帯電話を使用して画像対を撮影した時、二つのカメラは撮影された画像を第一通信バスによって第一プロセッサに伝送し、第一プロセッサは本願の実施例のダブル視野角画像較正方法を利用して画像対を較正することができ、つまり、デュアルカメラによる携帯電話は撮影された画像対を自動的に較正できる。

当然ながら、実際の応用では、電子機器７００はデュアルカメラによる携帯電話以外の他のデュアルカメラの移動端末、またはデュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機、デュアルカメラの無人車などであってもよい。

任意選択的に、電子機器８００は、第二通信バスを介して第二プロセッサ（上記中央処理装置ＣＰＵ８０１、および／または上記画像プロセッサＧＰＵ７１３を含む）との両側間の相互通信を実現する少なくとも二つのカメラをさらに含む。

実際の応用では、電子機器８００は図１２に示す二つのカメラＡが統合設置されたデュアルカメラによる携帯電話であってもよい。デュアルカメラによる携帯電話が画像対を撮影した時、二つのカメラは撮影された画像を第二通信バスによって第二プロセッサに伝送し、第二プロセッサは本願の実施例の画像処理方法を利用して画像対を処理でき、本願の実施例のダブル視野角画像較正方法に基づいて較正後の画像対を直接処理でき、画像処理の効率が高い。

当然ながら、実際の応用では、電子機器８００はデュアルカメラによる携帯電話以外の他のタイプのデュアルカメラの移動端末、およびデュアルカメラのロボット、デュアルカメラのスマート眼鏡、デュアルカメラの無人機またはデュアルカメラの無人車などの他のデュアルカメラによる機器であってもよい。

本願の方法および装置、機器は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本願の方法および装置、機器を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読命令を含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。

本願の説明は、例示および説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正および変形を加えることができるのは明らかであろう。実施例は本願の原理および実際の適用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した様々な修正を加えた様々な実施例を設計可能にするように選択され説明されたものである。

以上の記載は、本願の実施例の任意選択的な実施形態に過ぎず、本願の実施例の保護範囲はこれに限定されず、当業者が本願の実施例に開示された技術的範囲内で容易に想到し得る変更や置換は、いずれも本願の実施例の保護範囲内に含まれるものとする。従って、本願の実施例の保護範囲は前記請求項の保護範囲に準ずるものとする。

Claims (38)

1. 同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得ることと、
   少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得することと、
   少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することと、
   前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正することと、を含むことを特徴とするダブル視野角画像較正方法。
2. 前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得する前記ステップは、
   前記第一基礎マトリックスに基づいて前記第一画像対における二つの画像に対してマッピング変換を行うことと、
   各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、前記第一画像変形情報を取得することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得する前記ステップは、
   前記第一特徴点対集合内の少なくとも二つの異なる特徴点対サブ集合のそれぞれに基づいて少なくとも二つの第一基礎マトリックスを生成することを含むことを特徴とする請求項１または２に記載の方法。
4. さらに、
   各特徴点対サブ集合のマッチング誤差情報を特定することを含み、
   少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定する前記ステップは、
   前記マッチング誤差情報および前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定することを含むことを特徴とする請求項３に記載の方法。
5. 前記マッチング誤差情報は、特徴点対サブ集合内の所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含むことを特徴とする請求項３または４に記載の方法。
6. さらに、
   前記第一最適化基礎マトリックスを記憶または更新することを含むことを特徴とする請求項１から５のいずれか一項に記載の方法。
7. さらに、
   前記第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新することを含むことを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 特徴点対集合に含まれる全ての特徴点対の数に対して前記記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さいことを特徴とする請求項７に記載の方法。
9. 所定のマッチング条件を満たす前記少なくとも一対の特徴点対の情報は、
   所定のマッチング条件を満たす少なくとも一対の特徴点対の座標を含むことを特徴とする請求項７または８に記載の方法。
10. さらに、
    前記第一最適化基礎マトリックスに基づいて第二画像対を較正することを含むことを特徴とする請求項６から９のいずれか一項に記載の方法。
11. さらに、
    第二画像対に対して特徴マッチングを行って第二特徴点対集合を得ることと、前記第二特徴点対集合に基づき、前記第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定することと、を含み、
    前記第一最適化基礎マトリックスに基づいて第二画像対を較正する前記ステップは、
    前記マッピングコスト情報が所定の閾値条件を満たすことに応じて、前記第一最適化基礎マトリックスに基づいて前記第二画像対を較正することを含むことを特徴とする請求項１０に記載の方法。
12. さらに、
    前記マッピングコスト情報が所定の閾値条件を満たさないことに応じて、前記第二画像対の対応する第二最適化基礎マトリックスを取得することと、
    前記第二最適化基礎マトリックスに基づいて前記第二画像対を較正することと、を含むことを特徴とする請求項１１に記載の方法。
13. 前記第二画像対の対応する第二最適化基礎マトリックスを取得する前記ステップは、
    第二画像対に対して特徴マッチングを行って前記第二画像対の第二特徴点対集合を得ることと、
    前記第二特徴点対集合および記憶された特徴点対に基づき、前記第二画像対の複数の異なる第二基礎マトリックスを取得し、および各前記第二基礎マトリックスの対応する第二画像変形情報を取得することと、
    少なくとも前記第二画像変形情報に基づいて前記複数の第二基礎マトリックスから前記第二最適化基礎マトリックスを特定することと、を含むことを特徴とする請求項１２に記載の方法。
14. さらに、
    前記第二最適化基礎マトリックスを利用して記憶された前記第一最適化基礎マトリックスを更新すること、および／または、
    前記第二特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を利用して、記憶された特徴点対情報を更新することを含むことを特徴とする請求項１３に記載の方法。
15. さらに、
    二つのカメラが設けられた機器によって画像対を撮影することを含むことを特徴とする請求項１から１４のいずれか一項に記載の方法。
16. 前記両カメラ付きの機器は、デュアルカメラの移動端末、デュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機またはデュアルカメラの無人車を含むことを特徴とする請求項１５に記載の方法。
17. 請求項１から１６のいずれか一項に記載のダブル視野角画像較正方法を利用して同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正することと、
    較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理のいずれか一つまたは複数を含む応用処理を行うことと、を含むことを特徴とする画像処理方法。
18. 同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得るための特徴マッチングモジュールと、
    少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記第一画像対の第一基礎マトリックスによるマッピング変換前後の相対変形を示す第一画像変形情報を取得するための第一取得モジュールと、
    少なくとも前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するための第一特定モジュールと、
    前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正するための第一較正モジュールと、を含むことを特徴とするダブル視野角画像較正装置。
19. 前記第一取得モジュールは、前記第一基礎マトリックスに基づいて前記第一画像対における二つの画像に対してマッピング変換を行い、および各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、前記第一画像変形情報を取得するための第一取得ユニットを含むことを特徴とする請求項１８に記載の装置。
20. 前記第一取得モジュールはさらに、第一特徴点対集合内の少なくとも二つの異なる特徴点対サブ集合のそれぞれに基づいて少なくとも二つの第一基礎マトリックスを生成するための第二取得ユニットを含むことを特徴とする請求項１８または１９に記載の装置。
21. さらに、各特徴点対サブ集合のマッチング誤差情報を特定するための第二特定モジュールを含み、
    前記第一特定モジュールは前記マッチング誤差情報および前記第一画像変形情報に基づいて前記複数の第一基礎マトリックスから第一最適化基礎マトリックスを特定するために用いられることを特徴とする請求項２０に記載の装置。
22. 前記マッチング誤差情報は、特徴点対サブ集合内の所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含むことを特徴とする請求項２０または２１に記載の装置。
23. さらに、前記第一最適化基礎マトリックスを記憶または更新するための第一記憶モジュールを含むことを特徴とする請求項１８から２２のいずれか一項に記載の装置。
24. 前記第一記憶モジュールはさらに、前記第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新するために用いられることを特徴とする請求項１８から２３のいずれか一項に記載の装置。
25. 特徴点対集合に含まれる全ての特徴点対の数に対して前記記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さいことを特徴とする請求項２４に記載の装置。
26. 所定のマッチング条件を満たす前記少なくとも一対の特徴点対の情報は、
    所定のマッチング条件を満たす少なくとも一対の特徴点対の座標を含むことを特徴とする請求項２４または２５に記載の装置。
27. さらに、
    前記第一最適化基礎マトリックスに基づいて第二画像対を較正するための第二較正モジュールを含むことを特徴とする請求項２３から２６のいずれか一項に記載の装置。
28. さらに、第二画像対に対して特徴マッチングを行って第二特徴点対集合を得て、そして前記第二特徴点対集合に基づき、前記第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定するための第三特定モジュールを含み、
    前記第二較正モジュールは、前記マッピングコスト情報が所定の閾値条件を満たすことに応じて、前記第一最適化基礎マトリックスに基づいて前記第二画像対を較正するために用いられることを特徴とする請求項２７に記載の装置。
29. さらに、
    前記マッピングコスト情報が所定の閾値条件を満たさないことに応じて、前記第二画像対の対応する第二最適化基礎マトリックスを取得するための第二取得モジュールと、
    前記第二最適化基礎マトリックスに基づいて前記第二画像対を較正するための第三較正モジュールと、を含むことを特徴とする請求項２８に記載の装置。
30. 前記第二取得モジュールは、
    第二画像対に対して特徴マッチングを行って前記第二画像対の第二特徴点対集合を得るための特徴マッチングユニットと、
    前記第二特徴点対集合および記憶された特徴点対に基づき、前記第二画像対の複数の異なる第二基礎マトリックスを取得し、および各前記第二基礎マトリックスの対応する第二画像変形情報を取得するための第三取得ユニットと、
    少なくとも前記第二画像変形情報に基づいて前記複数の第二基礎マトリックスから前記第二最適化基礎マトリックスを特定するための特定ユニットと、を含むことを特徴とする請求項２９に記載の装置。
31. さらに、前記第二最適化基礎マトリックスを利用して記憶された前記第一最適化基礎マトリックスを更新するための、および／または、
    前記第二特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を利用して、記憶された特徴点対情報を更新するための第二記憶モジュールを含むことを特徴とする請求項３０に記載の装置。
32. さらに、二つのカメラが設けられた機器によって画像対を撮影するための撮影モジュールを含むことを特徴とする請求項１８から３１のいずれか一項に記載の装置。
33. 前記両カメラ付きの機器は、デュアルカメラの移動端末、デュアルカメラのスマート眼鏡、デュアルカメラのロボット、デュアルカメラの無人機またはデュアルカメラの無人車を含むことを特徴とする請求項３２に記載の装置。
34. 請求項１から１６のいずれか一項に記載のダブル視野角画像較正方法を利用して同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正し、および較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、表示強化処理のいずれか一つまたは複数を含む応用処理を行うために用いられることを特徴とする画像処理装置。
35. コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令はプロセッサにより実行される時に請求項１から１６のいずれか一項に記載のダブル視野角画像較正方法または請求項１７に記載の画像処理方法のステップを実現することを特徴とするコンピュータ読み取り可能記憶媒体。
36. コンピュータ読み取り可能コードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能コードが機器において実行される時、前記機器内のプロセッサは請求項１から１６のいずれか一項に記載のダブル視野角画像較正方法または請求項１７に記載の画像処理方法における各ステップを実現するための命令を実行することを特徴とするコンピュータプログラム。
37. プロセッサ、および
    前記プロセッサに請求項１から１６のいずれか一項に記載のダブル視野角画像較正方法の対応する動作を実行させ、および／または、前記プロセッサに請求項１７に記載の画像処理方法の対応する動作を実行させる少なくとも一つの実行可能命令を格納するためのメモリを含むことを特徴とする電子機器。
38. さらに、通信バスを介して前記プロセッサと互いに通信する少なくとも二つのカメラを含むことを特徴とする請求項３７に記載の電子機器。