JP2021174554A - 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 - Google Patents

Abstract

【課題】本開示は、画像深度確定方法及び生き物認識方法、回路、装置及び記憶媒体を提供する。【解決手段】かかる画像深度確定方法は、撮影対象上のオブジェクトポイントと関連付けられる特徴点対の画素座標を取得し；第一画素座標及び第一カメラの内部パラメータに基づいて、第一カメラの第一カメラ座標系の原点を通過する第一直線を確定し；第二画素座標及び第二カメラの内部パラメータに基づいて、第二カメラの第二カメラ座標系の原点を通過する第二直線を確定し；及び、第一直線、第二直線、及び、第一カメラと第二カメラとの相対位置関係を記述する外部パラメータに基づいて、オブジェクトポイントの深度を確定することを含む。【選択図】図２

Description

本開示は、画像処理技術分野に関し、特に、画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体に関する。

シーンの深度情報を取得する方法は一般的に２つがある。１つは、レーザー測距などの手段を採用する主動型測距案であり、もう１つは、カメラヘッドに基づく立体視による手法である。カメラヘッドに基づく立体視による手法では、同一シーンの２つの異なる視角の画像中の各対（ペア）のマッチング画素点の間の視差を得ることで視差図を取得し、その後、該視差図に基づいてシーンの深度情報を得ることができる。また、人工ニューラルネットワークの発達に伴い、人工ニューラルネットワークに基づく多くの深度確定方法も出てきている。立体視による手法であれ、人工ニューラルネットワークによる手法であれ、通常、全図又は１つの大きな画像領域の画像データに基づいて操作を行う必要がある。

なお、この部分で説明した方法は、必ずしも以前に考案又は採用された方法ではない。特に明記されない限り、この部分に記載されている方法のいずれかが、この部分に含まれているという理由だけで従来技術と見なされると想定すべきではない。同様に、特に明記されない限り、この部分で言及びされている問題が、従来技術で認識されていると見なされるべきではない。

本開示の目的は、少なくとも、画像深度確定方法及び生き物認識方法を提供することにある。

本開示の１つの側面によれば、画像深度確定方法が提供される。該画像深度確定方法は、
撮影対象（被写体）上の物点（オブジェクトポイント）と関連付けられる特徴点対（ペア）の画素座標を取得し、そのうち、前記特徴点対は、第一画像において該オブジェクトポイントに対応する第一画素点及び第二画像において該オブジェクトポイントに対応する第二画素点を含み、そのうち、前記第一画像は第一カメラが前記撮影対象を撮影することで得る画像であり、前記第二画像は第二カメラが前記撮影対象を撮影することで得る画像であり、そのうち、前記画素座標は、前記第一画素点の前記第一画像における第一画素座標及び前記第二画素点の前記第二画像における第二画素座標を含み；
前記第一画素座標及び前記第一カメラの内部パラメータに基づいて、前記第一カメラの第一カメラ座標系の原点を通過する第一直線を確定し、そのうち、前記オブジェクトポイントの前記第一カメラ座標系における第一座標の表示は、前記第一直線上に位置し；
前記第二画素座標及び前記第二カメラの内部パラメータに基づいて、前記第二カメラの第二カメラ座標系の原点を通過する第二直線を確定し、そのうち、前記オブジェクトポイントの前記第二カメラ座標系における第二座標の表示は、前記第二直線上に位置し；及び
前記第一直線、前記第二直線、及び、前記第一カメラと前記第二カメラとの相対位置関係を記述する外部パラメータに基づいて、前記オブジェクトポイントの深度を確定すること（ステップ）を含む。

本開示のもう１つの側面によれば、チップ回路が提供され、それは、上述の画像深度確定方法のステップを実行するように構成される回路ユニットを含む。

本開示のもう１つの側面によれば、画像深度確定装置が提供され、それは、上述のチップ回路を含む。

本開示のもう１つの側面によれば、計算装置が提供され、それは、１つ又は複数の処理器及び記憶器を含む。記憶器には指令を含むプログラムが記憶されており、前記指令は前記１つ又は複数の処理器により実行されるときに前記１つ又は複数の処理器に上述の方法を実行させることができる。

本開示のもう１つの側面によれば、１つ又は複数の非一時的コンピュータ可読記憶が提供され、その中には指令を含むプログラムが記憶されており、前記指令は計算装置の１つ又は複数の処理器により実行されるときに前記計算装置に上述の方法を実行させることができる。

本開示のもう１つの側面によれば、生き物認識方法が提供される。該生き物認識方法は、
撮影対象上の複数のオブジェクトポイントと関連付けられる複数の特徴点対のうちの各特徴点対に対して上述の画像深度確定方法を実行することにより、前記複数のオブジェクトポイントに対応する深度を確定し、そのうち、各特徴点対の第一画素点は前記第一画像における顔のキーボードであり、各特徴点対の第二画素点は前記第二画像における顔のキーボードであり；及び
前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識すること（ステップ）を含む。

添付した図面は、実施例を例示的に示し且つ明細書の一部を構成し、明細書の文字説明とともに実施例の例示的な実施方式を説明するために使用される。図示した実施例は、例示的みを目的としており、特許請求の範囲を限定するものではない。また、すべての図面では、同じ参照記号は、類似しているが、必ずしも同じでない要素を指す。
カメラと関連付けられるカメラ結像モデルを示す図である。 本開示の例示的な実施例における画像深度確定方法のフローチャートである。 本開示の例示的な実施例における図２の画像深度確定方法のためのデータ準備プロセスのフローチャートである。 本開示の例示的な実施例における図３の方法においてオブジェクトポイントの深度を確定するステップの例示的な操作のフローチャートである。 本開示の例示的な実施例における図４の操作において第一直線及び第二直線に基づいてオブジェクトポイントの深度を確定するステップの例示的な操作のフローチャートである。 第一カメラ座標系において第一直線及び第二直線が異なる面にあること（即ち、非共面であること）を示す図である。 第一カメラ座標系において第一直線及び第二直線が同じ面にあること（即ち、共面であること）を示す図である。 本開示の例示的な実施例における画像深度確定装置の構成を示すブロック図である。 本開示の例示的な実施例における計算装置の構成を示すブロック図である。 本開示の例示的な実施例における生き物認識方法のフローチャートである。 本開示の例示的な実施例における図１０の方法において撮影対象が生き物であるかどうかを認識するステップの例示的なスキームを示す図である。

本開示では、特に明記されない限り、用語「第一」、「第二」などが、各種の要素を説明するために使用されるが、これらの要素の位置関係、タイミング関係又は重要度関係を限定することを意図するものではない。このような用語は、１つの要素をもう１つの要素と区別するためだけに用いられる。幾つかの例示において、第一要素及び第二要素が該要素の同一実例を指向することができるが、幾つかの場合において、コンテキストに基づいて、それらは、異なる実例を指すこともできる。

本開示では、様々な前記例示についての説明に使用する用語は、特定の例示を説明することのみを目的としており、限定を行うことを目的としない。コンテキストに明記されない限り、要素の数が特に限定されない場合、該要素は１つであっても良く、複数であっても良い。また、本開示に使用する用語「及び／又は」は、リストされている項目的うちの任意の１つ及びすべての可能な組み合わせをカバーする。

シーンの深度を取得する関連技術では、通常、全図又は１つの大きな画像領域の画像データに対して操作（例えば、エピポーラ修正（ｅｐｉｐｏｌａｒ ｒｅｃｔｉｆｉｃａｔｉｏｎ）、歪み修正）を行う必要がある。これは、比較的高い計算複雑度を来してしまうため、比較的低い処理効率又は比較的高い計算能力要求を引き起こすことがある。

以下の詳細な説明から分かるように、本開示の実施例による画像深度確定方法は画像中の特徴点対（全図又は画像領域データではない）を用いてシーンの深度を確定することができる。全図又は大きな画像領域の画像データに対して操作を行う必要のある関連技術に比べて、これは、計算量を減少させることができるため、処理効率の向上又は計算能力に対しての要求の低減に有利である。

本開示の実施例をより良く理解するために、以下、まず、カメラと関連付けられるカメラ結像モデルについて紹介する。

図１は、カメラと関連付けられるカメラ結像モデル１００を示す図である。図１に示すように、３次元世界の中の物体（図では、点Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）として示されている）がカメラ結像モデル１００の作用を受けて２次元画像（図では、画素点Ｐ（ｘ，ｙ）として示されている）になる。カメラ結像モデル１００は４つの座標系、即ち、世界座標系、カメラ座標系、画像物理座標系及び画像画素座標系を含み得る。

世界座標系は、物体のリアル世界の中の座標を示す参照系であり、単位は長さの単位（例えば、ｍｍ）である。カメラ座標系は、光中心を原点とする参照系であり、それは、それぞれ画像のｘ方向及びｙ方向に平行なＸｃ軸和Ｙｃ軸、及び光軸に平行なＺｃ軸を有し、そのうち、Ｘｃ、Ｙｃ及びＺｃは互いに垂直であり、単位は長さの単位である。画像物理座標系（画像座標系ともいう）は、光軸と画像平面との交点を原点とする参照系であり、それは、図に示すようなｘ方向及びｙ方向を有し、単位は長さの単位である。画像画素座標系（画素座標系ともいう）は、画像の頂点を原点とする参照系であり、それは、それぞれｘ方向及びｙ方向に平行なｕ方向及びｖ方向を有し、単位は画素である。一般的には、世界座標系は、カメラの外部パラメータによりカメラ座標系に変換することができ、カメラ座標系は、カメラの内部パラメータ（それは、通常、焦点距離対角行列及び画素変換行列を含む）により画像画素座標系に変換することができる。

２つのカメラを含む立体視システムについて言えば、図１に示すカメラ結像モデル１００は、この２つのカメラのうちの何れか１つの結像原理を表すことができる。以下、立体視システムの２つのカメラのうちの１つが第一カメラＣ０と称され、もう１つが第二カメラＣ１と称される。

図２は、本開示の例示的な実施例における画像深度確定方法２００のフローチャートである。図２に示すように、画像深度確定方法２００は、以下のステップを含む。

ステップ２１０：撮影対象（被写体）上のオブジェクトポイントと関連付けられる特徴点対の画素座標を取得し、そのうち、前記特徴点対は、第一画像において該オブジェクトポイントに対応する第一画素点及び第二画像において該オブジェクトポイントに対応する第二画素点を含み、そのうち、前記第一画像は、第一カメラが前記撮影対象を撮影することで得る画像であり、前記第二画像は、第二カメラが前記撮影対象を撮影することで得る画像であり、そのうち、前記画素座標は、前記第一画素点の前記第一画像における第一画素座標及び前記第二画素点の前記第二画像における第二画素座標を含み；
ステップ２３０：前記第一画素座標及び前記第一カメラの内部パラメータに基づいて、前記第一カメラの第一カメラ座標系の原点を通過する第一直線を確定し、そのうち、前記オブジェクトポイントの前記第一カメラ座標系における第一座標表示は、前記第一直線上に位置し；
ステップ２４０：前記第二画素座標及び前記第二カメラの内部パラメータに基づいて、前記第二カメラの第二カメラ座標系の原点を通過する第二直線を確定し、そのうち、前記オブジェクトポイントの前記第二カメラ座標系における第二座標表示は、前記第二直線上に位置し；及び
ステップ２５０：前記第一直線、前記第二直線、及び、前記第一カメラと前記第二カメラとの相対位置関係を記述する外部パラメータに基づいて、前記オブジェクトポイントの深度を確定する。

以下、図１及び図２に基づいて方法２００を具体的に説明する。

ステップ２１０では、撮影対象上のオブジェクトポイントＰと関連付けられる特徴点対の第一画素座標Ｐ０（ｘ０，ｙ０）及び第二画素座標Ｐ１（ｘ１，ｙ１）を取得する。適切な記憶装置（ローカル及び／又はリモート）から記憶又はバッファリングされている第一画素座標Ｐ０（ｘ０，ｙ０）及び第二画素座標Ｐ１（ｘ１，ｙ１）を読み取ることができる。代替として、有線又は無線通信リンクを経由して外部装置から第一画素座標Ｐ０（ｘ０，ｙ０）及び第二画素座標Ｐ１（ｘ１，ｙ１）を受信することもできる。なお、本開示の技術的範囲はこれに限定されない。

幾つかの実施例において、ステップ２１０の前に、図３に示すデータ準備プロセス３００を実行することで、第一画素座標Ｐ０（ｘ０，ｙ０）及び第二画素座標Ｐ１（ｘ１，ｙ１）を得ることができる。図３は、本開示の例示的な実施例における画像深度確定のためのデータ準備プロセス３００のフローチャートである。図３に示すように、プロセス３００は以下のステップを含んでも良い。

ステップ３１０において、第一カメラＣ０及び第二カメラＣ１のキャリブレーションを行う。第一カメラＣ０及び第二カメラＣ１のうちの各々の内部パラメータ及び外部パラメータは、すべて、例えば、Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ法を採用してキャリブレーションを行うことができるが、他のキャリブレーション方法も使用可能である。第一カメラＣ０のシングルショットパラメータが｛Ｋ０，Ｒ０，Ｔ０｝と記され、そのうち、Ｋ０は第一カメラＣ０の内部パラメータであり、Ｒ０及びＴ０は第一カメラＣ０の外部パラメータである。より具体的には、Ｒ０及びＴ０は、それぞれ、世界座標系から第一カメラＣ０のカメラ座標系への回転行列及び平行移動ベクトル（変換ベクトル）であり、Ｋ０は第一カメラＣ０のカメラ座標系から第一カメラＣ０の画素座標系への変換行列である。第二カメラＣ１のシングルショットパラメータが｛Ｋ１，Ｒ１，Ｔ１｝と記され、そのうち、Ｋ１は第一カメラＣ１の内部パラメータであり、Ｒ１及びＴ１は第二カメラＣ１の外部パラメータである。より具体的には、Ｒ１及びＴ１は、それぞれ、世界座標系から第二カメラＣ１のカメラ座標系への回転行列及び平行移動ベクトルであり、Ｋ１は第二カメラＣ１のカメラ座標系から第二カメラＣ１の画素座標系への変換行列である。

一例において、

であり、そのうち、fx⁰=f⁰/dx0、fy⁰=f0/dy0であり、f0は第一カメラＣ０の焦点距離であり、dx0は第一カメラＣ０のシングル画素のｘ方向上のサイズであり、dy0は第一カメラＣ０のシングル画素のｙ方向上のサイズであり、u⁰及びv⁰は、それぞれ、第一カメラＣ０の画像座標系原点の、第一カメラＣ０の画素座標系原点に対してのｘ方向及びｙ方向上の偏移量（画素を単位とする）を表す。同様に、該例では、

であり、そのうち、fx¹=f1/dx1、fy¹=f1/dy1であり、f1は第二カメラＣ１の焦点距離であり、dx1は第二カメラＣ１のシングル画素のｘ方向上のサイズであり、dy1は第二カメラＣ１のシングル画素のｙ方向上のサイズであり、u¹及びv¹は、それぞれ、第二カメラＣ１の画像座標系原点の、第二カメラＣ１の画素座標系原点に対してのｘ方向及びｙ方向上の偏移量（画素を単位とする）である。

理解すべきは、第一カメラＣ０及び第二カメラＣ１は、立体視システムを形成するように適切に配置されても良いということである。幾つかの実施例において、第一カメラＣ０及び第二カメラＣ１は、左右配置又は上下配置することで双眼カメラを形成しても良いが、本開示はこれに限定されない。幾つかの実施例において、第一カメラＣ０及び第二カメラＣ１は、通常の双眼カメラの配置よりも互いに離れるように配置されても良い。

第一カメラＣ０及び第二カメラＣ１配置後、さらに第一カメラＣ０及び第二カメラＣ１の相対位置関係を記述する外部パラメータをキャリブレーションし、（Ｒ，Ｔ）と記しても良い。第一カメラＣ０のシングルショットパラメータ｛Ｋ０，Ｒ０，Ｔ０｝及び第二カメラＣ１のシングルショットパラメータ｛Ｋ１，Ｒ１，Ｔ１｝を用いて、世界座標系の中の座標Ｘｗの第一カメラＣ０のカメラ座標系における座標はＸｃ０＝Ｒ０Ｘｗ＋Ｔ０と表すことができ、また、その第二カメラＣ１のカメラ座標系における座標はＸｃ１＝Ｒ１Ｘｗ＋Ｔ１と表すことができる。これにより、Ｘｃ０＝Ｒ０Ｒ１^−１Ｘｃ１＋Ｔ０−Ｒ０Ｒ１^−１Ｔ１を得ることができる。Ｒ＝Ｒ０Ｒ１^−１及びＴ＝Ｔ０−Ｒ０Ｒ１^−１Ｔ１とすると、第一カメラＣ０と第二カメラＣ１との間の回転行列Ｒ及び平行移動ベクトルＴを取得することができる。外部パラメータ（Ｒ，Ｔ）が第一カメラＣ０と第二カメラＣ１との相対位置関係を記述しているから、外部パラメータ（Ｒ，Ｔ）を用いて、第二カメラＣ１のカメラ座標系の中の座標を第一カメラＣ０のカメラ座標系の中の座標に変換することができる。

第一カメラＣ０及び第二カメラＣ１の内部、外部パラメータを与えた後に、２つのカメラのカメラ座標系における２つの直線に基づいて深度を確定することができる。これは、第一カメラＣ０及び第二カメラＣ１のモデル（製品モデル）について限定しない。換言すると、各実施例では、第一カメラＣ０及び第二カメラＣ１は異なるタイプ（製品モデル）のカメラであっても良い。これにより、可用のカメラのソースを拡大し、潜在的なシステム交換性及びコスト削減を実現することができる。

ステップ３２０において、第一カメラＣ０及び第二カメラＣ１を用いて同一シーンを撮影する。第一カメラＣ０及び第二カメラＣ１が取得した画像は、それぞれ、第一画像ＩＭＧ０及び第二画像ＩＭＧ１と記される。幾つかの実施例において、第一カメラＣ０及び第二カメラＣ１は、シーンを同時に撮影してＩＭＧ０及びＩＭＧ１を取得することができる。幾つかの実施例において、第一カメラＣ０及び第二カメラＣ１は、シーンをほぼ同時に撮影することでＩＭＧ０及びＩＭＧ１を得ることができる。コンテキストにおいて、用語“ほぼ同時”とは、２つの時点の差が例えば１秒、０．５秒、０．１秒であり又はそれよりも多く又は少ないことを指しても良い。これは幾つかの応用シーンにおいて可能であり、例えば、撮影対象自身が静止状態にあり、又は静止を維持するように要求されるときである。

得られた第一画像ＩＭＧ０及び第二画像ＩＭＧ１には、該シーンの中の撮影対象（例えば、図１に示す点Ｐであり、それは以下にオブジェクトポイントと称される）に対応する画素点が存在する。理解すべきは、リアル世界の中の物体が無数のオブジェクトポイントからなると見なされ、また、本文においてオブジェクトポイントの実際のサイズを限定しないということである。コンテキストにおいて、説明の便宜のため、オブジェクトポイントＰの第一画像ＩＭＧ０及び第二画像ＩＭＧ１における表示は、この２つの画像においてそれぞれ対応する画素点に対応する。

ステップ３３０において、第一画像ＩＭＧ０及び第二画像ＩＭＧ１のうちから特徴点を検出し、そして、特徴マッチングを行って少なくとも１つの特徴点対を取得する。各特徴点対は、第一画像ＩＭＧ０の中で画像特徴（例えば、コーナー点、エッジ点、斑点など）を表す第一画素点及び第二画像ＩＭＧ１の中で同一画像特徴を表す第二画素点を含む。図１に示すカメラ結像モデル１００から分かるように、第一画素点はリアル世界の中の或るオブジェクトポイント（例えば、オブジェクトポイントＰ）の第一画像ＩＭＧ０における表示であり、第二画素点は同一オブジェクトポイントの第二画像ＩＭＧ１における表示である。

第一画像ＩＭＧ０及び第二画像ＩＭＧ１の中の特徴点の検出は、任意の既知又は将来の特徴点検出アルゴリズムにより行うことができる。典型的な特徴点検出アルゴリズムは例えばＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ Ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）、ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）などを含んでも良い。第一画像ＩＭＧ０及び第二画像ＩＭＧ１における特徴点を得た後に、任意の既知又は将来の特徴マッチングアルゴリズムにより特徴点対のマッチングを行って特徴点対を取得しても良い。代表的な特徴マッチングアルゴリズムは例えばＢｒｕｔｅ−Ｆｏｒｃｅ Ｍａｔｃｈｅｒ、Ｆｌａｎｎ−ｂａｓｅｄ ｍａｔｃｈｅｒのような方法を含んでも良い。マッチングの正確度を向上させるために、他のルールやアルゴリズムとの組み合わせを採用して、誤ってマッチングされた特徴点対を除去しても良く、例えば、“ハミング距離が最小距離の２倍よりも小さい”というルール、クロスマッチ、Ｋ近傍（ＫＮＮ）マッチング、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などを使用しても良い。なお、ここでは、これらのアルゴリズムなどについての詳しい説明を省略する。

プロセス３００により、世界座標系の中のオブジェクトポイントＰの第一画像ＩＭＧ０における第一画素点とその第一画素座標Ｐ０（ｘ０，ｙ０）及び第二画像ＩＭＧ１における第二画素点とその第二画素座標Ｐ１（ｘ１，ｙ１）を得ることができる。得られた画素座標Ｐ０（ｘ０，ｙ０）及びＰ１（ｘ１，ｙ１）は、後続の利用のために、適切な記憶装置（例えば、ローカル及び／又はリモート）に記憶又はバッファリングされても良い。

その後、プロセス３００は図３に示すようにノードＡに進む。ここで、理解すべきは、ノードＡは実際のステップ又は動作を指示するのでなく、プロセス３００と後続の可能な処理ステップとの間の“インターフェース”として提供されるということである。

また、理解すべきは、プロセス３００は図２及び図３において図２のステップ２１０の前に実行されると示されているが、他の代替可能な実施例においてプロセス３００の各ステップの全部又は幾つかはステップ２１０の中で行われても良いということである。例えば、ステップ２１０はステップ３３０の操作を含んでも良い。幾つかの実施例において、ステップ２１０はステップ３２０、３３０の操作を含んでも良い。幾つかの実施例において、ステップ２１０はさらにステップ３１０の操作を含んでも良い。

ここで、再び図２を参照する。方法２００はオプションとしてステップ２２０を含んでも良く、それは、第一画素座標Ｐ０（ｘ０，ｙ０）及び第二画素座標Ｐ１（ｘ１，ｙ１）の歪みを除去する。画像の歪みは、一般的に、レンズの製造精度及び組み立て時の偏差によるものであり、オリジナル画像のディストーションを引き起こすことがある。各レンズの歪み係数がキャリブレーションにより得られ得る。既知のように、典型的な歪み修正過程は次のとおりであり、即ち、（１）ソース画像の画素座標系を内部パラメータ行列によりカメラ座標系に変換し；（２）歪み係数により画像のカメラ座標を校正し；（３）校正後、内部パラメータ行列によりカメラ座標系を画素座標系に変換し、そして、ソース画像座標の画素値に基づいて（例えば、補間により）新しい画像座標を与える。

通常の深度確定スキームは全図又は画像領域に対して歪み修正を行うことを要する。それに比べて、方法２００は特徴点に基づいて深度を確定するのであり、これは、画素座標Ｐ０（ｘ０，ｙ０）及びＰ１（ｘ１，ｙ１）にのみ対して歪み除去を行っても良いことを意味する。これは、計算量の減少に有利であるため、深度確定の効率を向上させることができる。また、理解しやすくするために、以下、歪み除去後のＰ０及びＰ１を依然としてＰ０（ｘ０，ｙ０）及びＰ１（ｘ１，ｙ１）と記す。

また、理解すべきは、ステップ２２０はオプションであるということであり、なぜならば、幾つかの実施例において、方法２００はステップ２１０から直接ステップ２３０まで実行し、歪み修正を行う必要がないからである。さらに、理解すべきは、ステップ２２０はステップ２１０とステップ２３０との間で実行する必要がないということである。例えば、それは図３のステップ３３０の前に実行されても良い。また、各実施例において、第一カメラＣ０が撮影した第一画像ＩＭＧ０及び第二カメラＣ１が撮影した第二画像ＩＭＧ０はエピポーラ修正（平行校正ともいう）を行わなくても良い。なぜならば、画像マッチングにより特徴点対を得た後に、方法２００は画素値に対して処理を行う必要がないため、厳密に校正された２つの画像を必要としないからである。これは、計算の複雑度の低減に有利であるため、処理の効率を向上させることができる。

ステップ２３０において、第一画素座標Ｐ０（ｘ０，ｙ０）及び第一カメラＣ０の内部パラメータＫ０に基づいて、第一カメラＣ０のカメラ座標系（以下、第一カメラ座標系という）の原点を通過する第一直線Ｌ０を確定する。図１に示すカメラ結像モデル１００によれば、オブジェクトポイントＰの第一カメラ座標系における表示（それは未知量であり、以下、第一座標表示ともいう）が第一直線Ｌ０上に位置する。第一カメラＣ０の内部パラメータＫ０を用いて、第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）と第一画素座標Ｐ０（ｘ０，ｙ０）との関係は以下のように示すことができる。

第一カメラ座標系の原点及び第一座標表示ＰＣ０により第一直線Ｌ０を定義することができ、その方向ベクトルは、

である。言い換えると、第一画像中の第一画素点Ｐ０に対応するオブジェクトポイントは該第一直線Ｌ０上に位置する。また、式（ｅｑ１）によれば、第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）の座標成分ＰＣ０ｘ及びＰＣ０ｙはすべて座標成分ＰＣ０ｚにより表すことができる。

ステップ２４０において、第二画素座標Ｐ１（ｘ１，ｙ１）及び第二カメラＣ１の内部パラメータＫ１に基づいて、第二カメラＣ１のカメラ座標系（以下、第二カメラ座標系という）の原点を通過する第二直線Ｌ１を確定する。図１に示すカメラ結像モデル１００によれば、オブジェクトポイントＰの第二カメラ座標系中の表示（それは未知量であり、以下、第二座標表示ともいう）が第二直線Ｌ１上に位置する。第二カメラＣ１の内部パラメータＫ１を用いて、第二座標表示ＰＣ１（ＰＣ１ｘ，ＰＣ１ｙ，ＰＣ１ｚ）と第二画素座標Ｐ１（ｘ１，ｙ１）との関係は以下のように示すことができる。

第二カメラ座標系の原点及び第二座標表示ＰＣ１（ＰＣ１ｘ，ＰＣ１ｙ，ＰＣ１ｚ）により第二直線Ｌ１を定義することができる。以下に述べるように、第二直線Ｌ１の第二カメラ座標系における表示は第一カメラ座標系に変換することができ、これにより、第一直線Ｌ０（それは第一カメラ座標系において示される）と第二直線Ｌ１との間の相対位置関係を基づいて深度の確定を行うことができる。理解すべきは、第二直線Ｌ１の第二カメラ座標系における表示及び該直線の第一カメラ座標系における表示が表すのは同一直線であるが、異なる座標系が参照として採用されているということである。

ステップ２５０において、第一直線Ｌ０、第二直線Ｌ１、及び、第一カメラＣ０と第二カメラＣ１との相対位置関係を記述する外部パラメータ（Ｒ，Ｔ）に基づいて、オブジェクトポイントＰの深度を確定する。幾つかの実施例において、ステップ２５０は図４に示す例示的な操作を含んでも良い。

ステップ４１０：前記第二直線及び前記外部パラメータに基づいて、前記第二直線の前記第一カメラ座標系における表示を確定し；及び
ステップ４２０：前記第一カメラ座標系において、前記第一直線及び前記第二直線に基づいて、前記オブジェクトポイントの深度を確定する。

図４を参照する。ステップ４１０では、第二直線Ｌ１及び外部パラメータ（Ｒ，Ｔ）に基づいて、第二直線Ｌ１の第一カメラ座標系における表示を確定する。立体視システムにおいて、計算の便宜のため、通常、２つのカメラのうちの１つ（例えば、左カメラ）のカメラ座標系を主座標系として選択し、該主座標系は世界座標系と重なり合う。本文では、第一カメラＣ０のカメラ座標系（即ち、第一カメラ座標系）を世界座標系とし、また、第一カメラ座標系において深度の確定を行うとする。しかし、前述のように、用語“第一”、“第二”は２つのカメラの位置関係又は重要度関係を限定するためのものではない。前にも述べたように、第二カメラ座標系において、第二カメラ座標系の原点及び第二座標表示ＰＣ１（ＰＣ１ｘ，ＰＣ１ｙ，ＰＣ１ｚ）は第二直線Ｌ１を定義している。よって、第二直線Ｌ１の第一カメラ座標系における表示を確定するために、第二カメラ座標系の原点及び第二座標表示ＰＣ１（ＰＣ１ｘ，ＰＣ１ｙ，ＰＣ１ｚ）の両方をすべて第一カメラ座標系に変換することができる。具体的には、外部パラメータ（Ｒ，Ｔ）を用いて、第二座標表示ＰＣ１（ＰＣ１ｘ，ＰＣ１ｙ，ＰＣ１ｚ）を第一カメラ座標系中の表示ＰＣ１０（ＰＣ１０ｘ，ＰＣ１０ｙ，ＰＣ１０ｚ）（以下、第三座標表示という）に変換することができる。変換のプロセスは以下のとおりである。

同様に、第二カメラ座標系の原点の第一カメラ座標系における表示（以下、第四座標表示という）を

と確定し、Ｃ１０（Ｔｘ，Ｔｙ，Ｔｚ）と記す。

そして、第三座標表示ＰＣ１０（ＰＣ１０ｘ，ＰＣ１０ｙ，ＰＣ１０ｚ）及び第四座標表示Ｃ１０（Ｔｘ，Ｔｙ，Ｔｚ）に基づいて、第二直線Ｌ１の第一カメラ座標系における表示を確定する。具体的には、第二直線Ｌ１は現在に、第三座標表示ＰＣ１０及び第四座標表示Ｃ１０により限定され、その方向ベクトルは、

である。

ステップ４２０では、第一カメラ座標系において、第一直線Ｌ０及び第二直線Ｌ１に基づいて、オブジェクトポイントＰの深度を確定する。幾つかの実施例において、ステップ４２０は図５に示す例示的な操作を含んでも良く、即ち、前記第一直線と前記第二直線が異なる面にあることに応じて、前記第一直線と前記第二直線の共通垂線を確定し；前記第一直線と前記共通垂線の第一交点の座標及び前記第二直線と前記共通垂線の第二交点の座標を確定し；及び、前記第一交点の座標の第一深度成分及び前記第二交点の座標の第二深度成分に基づいて、前記オブジェクトポイントの深度を確定する。

図５を参照する。ステップ５１０では、第一直線Ｌ０と第二直線Ｌ１が共面であるかを確定する。幾つかの実施例において、これはベクトル法により実現され得る。既知のように、ベクトル法は平面幾何学及び立体幾何学における共面や共線の問題を解決するための有用なツールである。そのため、行列

を構築し、そのうち、

であり、即ち、第一直線Ｌ０の方向ベクトルであり、

であり、即ち、外部パラメータ（Ｒ，Ｔ）の中の平行移動ベクトルＴであり、

であり、即ち、第二直線Ｌ１の方向ベクトルである。その後、行列Ａの式｜Ａ｜が零（ゼロ）であるかを確定する。｜Ａ｜＝０の場合、第一直線Ｌ０が第二直線Ｌ１と共面であることを表し、そうでない場合、第一直線Ｌ０が第二直線Ｌ１と非共面であると表す。カメラの組み立て精度などが原因で、第一直線Ｌ０及び第二直線Ｌ１は通常非共面である。しかし、幾つかの理想の場合、第一直線Ｌ０及び第二直線Ｌ１は共面になり得る。

（ステップ５１０で）第一直線Ｌ０が第二直線Ｌ１と非共面であると確定した場合、フローがステップ５２０に進み、該ステップでは、第一直線Ｌ０及び第二直線Ｌ１の共通垂線を確定し、Ｌ２と記す。図６は、第一カメラ座標系において非共面の第一直線Ｌ０及び第二直線Ｌ１を示す図である。ベクトルクロス積を用いて、共通垂線Ｌ２の単位方向ベクトルは以下のように計算することができる。

ステップ５３０では、第一直線Ｌ０と共通垂線Ｌ２の交点（以下、第一交点という）の座標及び第二直線Ｌ１と共通垂線Ｌ２の交点（以下、第二交点という）の座標を確定する。第一交点をＸ０とし、その座標がＸ０（Ｘ０ｘ，Ｘ０ｙ，Ｘ０ｚ）であり、第二交点をＸ１とし、その座標がＸ１（Ｘ１ｘ，Ｘ１ｙ，Ｘ１ｚ）である場合、以下のような方程式の組を得ることができる。

方程式の組（ｅｑ５）は、以下の空間関係に基づいて確率されるのである。

（１）第一の方程式は、第一直線Ｌ０の方向ベクトル（Ｌ０）
（外１）

が、第一交点Ｘ０から第一カメラ座標系の原点を指向する方向ベクトルに平行であることを表し；
（２）第二の方程式は、第二直線Ｌ１の方向ベクトル（Ｌ１）
（外２）

が、第二交点Ｘ１から第二カメラ座標系の原点（より具体的には、第二カメラ座標系の原点の第一カメラ座標系における第四座標表示Ｃ１０（Ｔｘ，Ｔｙ，Ｔｚ）である）を指向する方向ベクトルに平行であることを表し；
（３）第三の方程式は、共通垂線Ｌ２の方向ベクトル（Ｌ２）
（外３）

が、第二交点Ｘ１から第一交点Ｘ０を指向する方向ベクトルに平行であることを表す。

ステップ５４０では、第一交点Ｘ０の座標の深度成分Ｘ０ｚ（以下、第一深度成分という）及び第二交点Ｘ１の座標の深度成分Ｘ１ｚ（以下、第二深度成分という）に基づいて、オブジェクトポイントＰの深度を確定する。第一カメラ座標系が世界座標系と重なり合うので、オブジェクトポイントＰの第一カメラ座標系における第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）の深度成分ＰＣ０ｚをオブジェクトポイントＰの深度と見なすことができる。そのため、ステップ５３０で第一交点座標Ｘ０（Ｘ０ｘ，Ｘ０ｙ，Ｘ０ｚ）及び第二交点座標Ｘ１（Ｘ１ｘ，Ｘ１ｙ，Ｘ１ｚ）を確定した上で、第一深度成分Ｘ０ｚ及び第二深度成分Ｘ１ｚの事前定義の関数値をオブジェクトポイントＰの深度として計算することができる。

幾つかの実施例において、前記事前定義の関数値は第一深度成分Ｘ０ｚ及び第二深度成分Ｘ１ｚの加重平均値を含む。幾つかの実施例において、加重平均値は算術平均値を含み、このような場合、オブジェクトポイントＰの深度ＰＣ０ｚは以下のように定義される。

ＰＣ０ｚ＝（Ｘ０ｚ＋Ｘ１ｚ）／２ （ｅｑ６）
方程式の組（ｅｑ５）に基づいて、第一交点Ｘ０と第二交点Ｘ１との中心

を得ることができ、該中心の深度成分はＰＣ０ｚである。ここまで、一対の特徴点対の画素座標Ｐ０（ｘ０，ｙ０）及びＰ１（ｘ１，ｙ１）かっらオブジェクトポイントＰの深度を確定している。

上述の実施例では、式（ｅｑ６）は、深度ＰＣ０ｚを共通垂線Ｌ２上の第一交点Ｘ０と第二交点Ｘ１との間の中点のところの深度成分として定義することを表す。しかし、理解すべきは、深度ＰＣ０ｚを共通垂線Ｌ２上の他の点のところの深度成分として定義しても良いということである。さらに、他の実施例において、深度ＰＣ０ｚは、任意の他の適切な関数値として定義されても良い。

ここで、再び図５を参照する。（ステップ５１０で）第一直線Ｌ０と第二直線Ｌ１が共面であると確定した場合、フローはステップ５５０に進む。このような場合、第一直線Ｌ０と第二直線Ｌ１との交点Ｘ２の座標Ｘ２（Ｘ２ｘ，Ｘ２ｙ，Ｘ２ｚ）の深度成分Ｘ２ｚをオブジェクトポイントＰの深度として確定することができる。もちろん、他の実施例も可能である。

図７は、第一カメラ座標系において共面である第一直線Ｌ０及び第二直線Ｌ１を示す図である。上述のように、第一直線Ｌ０の方向ベクトル（Ｌ０）
（外４）

及び第二直線Ｌ１の方向ベクトル（Ｌ１）
（外５）

は既知であり、そのうち、

であり、また

である。そして、第一直線Ｌ０及び第二直線Ｌ１の空間直線方程式を連立することで、この２つの直線の交点座標Ｘ２（Ｘ２ｘ，Ｘ２ｙ，Ｘ２ｚ）を求めることができる。これは、簡単な空間幾何学の問題であるため、ここではその詳しい説明を省略する。交点座標Ｘ２（Ｘ２ｘ，Ｘ２ｙ，Ｘ２ｚ）を得た後に、交点座標Ｘ２（Ｘ２ｘ，Ｘ２ｙ，Ｘ２ｚ）の深度成分Ｘ２ｚをオブジェクトポイントＰの深度とすることができる。

なお、各操作は図面において特定の順序に従って行われると示されているが、これは、これらの操作が必ずしも示されている特定の順序に従って実行されると限られず、また、示されている全ての操作が必ずしも期待の結果を得るために行われるとも限られない。例えば、ステップ２４０はステップ２３０の前に実行されても良く、又は、ステップ２３０と並列実行されても良い。あるいは、例えば、ステップ２２０は省略されても良い。

図８は、本開示の例示的な実施例における画像深度確定装置８００の構成を示すブロック図である。図８に示すように、画像深度確定装置８００は、第一カメラＣ０及び第二カメラＣ１が撮影した画像データに基づいてシーンの深度を確定する。画像深度確定装置８００は、チップ回路８１０を含み、該チップ回路は、上述の画像深度確定方法２００及びその変形例のステップを実行するように構成される回路ユニット８１２を含む。

なお、本文で使用される用語“回路”とは、次のような回路又はその一部を含むことを指し、即ち、特定用途向け集積回路（ＡＳＩＣ）、電子回路、１つ又は複数のソフトウェア又はファームウェアプログラムを実行する処理器（共通、専用又はグループ）及び／又は記憶器（共通、専用又はグループ）、並びに、前記機能を提供し得る論理回路の組み合わせ及び／又は他の適切なハードウェアコンポネントである。幾つかの実施例において、１つ又は複数のソフトウェア又はファームウェアモジュールにより回路又は回路と関連付けられる機能を実現しても良い。幾つかの実施例において、回路は、ハードウェアの中の少なくとも部分的に操作することが可能なロジックを含んでも良い。また、本文に記載の実施例は、任意の適切な設定を有するハードウェア及び／又はソフトウェアのシステムを使用し得るように実現されても良い。

図８では、画像深度確定装置８００は第一カメラＣ０及び第二カメラＣ１と分離したように示されているが、幾つかの実施例において、画像深度確定装置８００は、第一カメラＣ０及び第二カメラＣ１を含んでも良い。

図９は、本開示の例示的な実施例における計算装置９００の構成を示すブロック図である。計算装置９００は１つ又は複数の処理器及び記憶器を含んでも良い。記憶器は指令を含むプログラムを記憶しており、前記指令は前記１つ又は複数の処理器により実行されるときに前記１つ又は複数の処理器に上述の画像深度確定方法２００及びその変形例を実行させることができる。

図９を参照する。ここで、計算装置９００を説明し、それは、本開示の各側面に応用されるハードウェア装置の例示である。計算装置９００は、処理を行い及び／又は計算するように構成される任意の機器であっても良く、ワークステーション、サーバー、デスクトップコンピュータ、ノートパソコン、タブレットコンピュータ、ＰＤＡ、スマートフォン、車載コンピュータ、アクセス制御システム、勤怠管理装置又はその任意の組み合わせであっても良いが、本開示はこれに限定されない。上述の画像深度確定装置８００は、その全部又は少なくとも一部が計算装置９００又は類似した装置又はシステムにより実現され得る。計算装置９００が若干の類型の計算プラットフォームのうちの１つの例を示しているが、計算装置９００は、図９に示す部品よりも多く又は少ない部品及び／又は異なる部品を含んでも良いが、本開示の技術的範囲はこれに限定されない。

幾つかの実施例において、計算装置９００は、（１つ又は複数のインターフェースを介して）バス９０２に接続され又はバス９０２と通信される部品を含んでも良い。例えば、計算装置９００はバス９０２、１つ又は複数の処理器９０４、１つ又は複数の入力装置９０６及び１つ又は複数の出力装置９０８を含んでも良い。１つ又は複数の処理器９０４は任意の類型の処理器であっても良く、また、１つ又は複数の汎用処理器及び／又は１つ又は複数の専用処理器（例えば、特殊処理チップ）を含んでも良いが、これに限定されない。入力装置９０６は計算装置９００に情報を入力する任意の類型の装置であっても良く、また、マウス、キーボード、タッチパネル、マイクフォン及び／又はリモコンを含んでも良いが、これに限定されない。出力装置９０８は情報を表示し得る任意の類型の装置であっても良く、また、表示器、スピーカー、ビデオ／音声出力端末、振動器及び／又はプリンタを含んでも良いが、これに限定されない。計算装置９００はさらに非一時的記憶装置９１０を含み又は非一時的記憶装置９１０に接続されても良い。非一時的記憶装置は非一時的で且つデータ記憶を実現し得る任意の記憶装置であっても良く、また、ディスクドライブ、光ストレージデバイス、ソリッドステートストレージ、フロッピーディスク、フレキシブルディスク、ハードディスク、テープ又はその他の磁気メディア、光ディスク又はその他の光メディア、ＲＯＭ（読み取り専用メモリ）、ＲＡＭ、高速バッファリング記憶器及び／又は任意の他の記憶器チップ又はボックス、及び／又はコンピュータがその中からデータ、指令及び／又はコードを読み取り可能な任意の他の記憶を含んでも良いが、これに限定されない。非一時的記憶装置９１０はインターフェースから外すことができる。非一時的記憶装置９１０は１つ又は複数の非一時的コンピュータ可読記憶媒体を具現し、その中には指令を含むプログラムが記憶されており、前記指令は計算装置９００の１つ又は複数の処理器により実行されるときに、前記計算装置９００に上述の画像深度確定方法２００及びその変形例を実行させることができる。計算装置９００はさらに通信装置９１２を含んでも良い。通信装置９１２は、外部装置及び／又はネットワークと通信可能なの任意の類型の装置又はシステムであっても良く、また、モデム、ネットワークカード、赤外線通信装置、無線通信装置及び／又はチップ組、例えば、Ｂｌｕｅｔｏｏｔｈ装置、１３０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置及び／又は類似物を含んでも良いが、これに限定されない。

幾つかの実施例において、計算装置９００はさらにワーキング記憶器９１４を含んでも良く、それは処理器９０４のワーキングに有用なプログラム（指令を含む）及び／又はデータを記憶するための任意の類型の記憶器であっても良く、また、ＲＯＭ及び／又はＲＡＭを含んでも良いが、これに限定されない。

ソフトウェアエレメント（プログラム）がワーキング記憶器９１４にあっても良く、また、オペレーティングシステム（ＯＳ）９１６、１つ又は複数の応用プログラム９１８、駆動プログラム及び／又は他のデータ及びコードを含んでも良いが、これに限定されない。上述の方法及びステップを実行するための指令は１つ又は複数の応用プログラム９１８に含まれても良く、また、上述の画像深度確定装置８００のチップ回路８１０は、処理器９０４が１つ又は複数の応用プログラム９１８の指令を読み取って実行することにより実現され得る。ソフトウェアエレメント（プログラム）の指令の実行可能なコード又はソースコードは非一時的コンピュータ可読記憶記憶（例えば、上述の記憶装置９１０）に記憶することができ、また、実行時にワーキング記憶器９１４に格納することができる（コンパイル及び／又はインストールされ得る）。また、ソフトウェアエレメント（プログラム）の指令の実行可能なコード又はソースコードは遠隔からダウンロードすることもできる。

また、理解すべきは、具体的な要求に応じて各種の変形例を行っても良いということである。例えば、カスタマイズハードウェア、及び／又はハードウェア、ソフトウェア、ファームウェア、ミッドウェア、マイクロコード、ハードウェア記述言語又はその任意の組み合わせを用いて特定の素子を実現することができる。例えば、開示の方法及び装置の中の幾つか又は全部は、本開示による論理及びアルゴリズムに基づいて、アセンブリ言語又はハードウェアプログラミング言語（例えば、ＶＥＲＩＬＯＧ（登録商標）、ＶＨＤＬ、Ｃ ＋＋）を用いてハードウェア（例えば、ＦＰＧＡ及び／又はＰＬＡのプログラミング可能な論理回路）に対してプログラミングすることにより実現することもできる。

また、理解すべきは、前述の方法はサーバー−クライアントの方式で実現され得るということである。例えば、クライアントは第一カメラＣ０及び第二カメラＣ１が得た画像データを用いて、前記画像データをサーバーに送って後続の処理をしてもらうことができる。クライアントは、前述の方法における一部の処理を行い、処理により得たデータをサーバーに送信しても良い。サーバーは、クライアントからのデータを受信し、前述の方法又は前述の方法の中の他の一部を実行し、そして、実行結果をクライアントに返すこともできる。クライアントはサーバーから方法の実行結果を受信することができ、そして、例えば、出力装置によりユーザに見せることができる。

さらに理解すべきは、計算装置９００のコンポネントがネットワークに分散しても良いということである。例えば、１つの処理器を用いて幾つかの処理を実行すると同時に、該１つの処理器から離れたもう１つの処理器により他の処理を実行することができる。計算装置９００の他のコンポネントも同様に分散しても良い。このようにして、計算装置９００は、複数の位置で複数の処理器により処理を実行する分散型計算システムと見なすことができる。

上述の画像深度確定方法２００又は画像深度確定装置８００は各種の用途、例えば、顔（典型的に、人間の顔）の認識に適用することができる。顔認識の応用のコンテキストにおいて、第一及び第二画像ＩＭＧ０及びＩＭＧ１のうちから顔領域を確定した後に、顔特徴点検出アルゴリズムによりＭ個の顔特徴点（例えば、眉毛、目、鼻、口、顔輪郭などの位置上の特徴点）を取得する。第一画像ＩＭＧ０上の顔特徴点は（ｘ０ｉ，ｙ０ｉ）と記し，ｉ＝１，…，Ｍである。第二画像ＩＭＧ１上の顔特徴点は（ｘ１ｉ，ｙ１ｉ）と記し，ｉ＝１，…，Ｍである。マッチングの特徴点対はＰＡＩＲｉ（（ｘ０ｉ，ｙ０ｉ），（ｘ１ｉ，ｙ１ｉ））と記し、ｉ＝１，…，Ｍである。上述の画像深度確定方法２００を用いて、各ＰＡＩＲｉに対応する深度情報Ｄｉを得ることができ、ｉ＝１，…，Ｍである。このような深度情報はさらに生き物認識などの各種の具体的な応用に用いることができる。

図１０は、本開示の例示的な実施例における生き物認識方法１０００のフローチャートである。生き物認識方法１０００は以下のステップを含んでも良い。

ステップ１０１０：撮影対象上の複数のオブジェクトポイントと関連付けられる複数の特徴点対のうちの各特徴点対に対して上述の画像深度確定方法２００又はその変形例を実行し、前記複数のオブジェクトポイントに対応する深度を確定し、そのうち、各特徴点対の第一画素点は前記第一画像における顔のキーボードであり、各特徴点対の第二画素点は前記第二画像における顔のキーボードであり；及び
ステップ１０２０：前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識する。

図１０に示すように、ステップ１０１０では、撮影対象上の複数のオブジェクトポイントと関連付けられる複数の特徴点対（例えば、ＰＡＩＲｉ（（ｘ０ｉ，ｙ０ｉ），（ｘ１ｉ，ｙ１ｉ）），ｉ＝１，…，Ｍ）のうちの各特徴点対に対して、画像深度確定方法２００又はその変形例を実行することで、前記複数のオブジェクトポイントに対応する深度（例えば、Ｄｉであり，ｉ＝１，…，Ｍである）を確定することができる。

ステップ１０２０では、前記複数のオブジェクトポイントに対応する深度Ｄｉ（ｉ＝１，…，Ｍ）に基づいて、撮影対象が生き物であるかどうかを認識する。一般的には、ステップ１０２０は例えば、顔深度閾値判断スキーム１０２２、サポートベクトルマシン（ＳＶＭ）スキーム１０２４又は人工ニューラルネットワーク（ＡＮＮ）スキーム１０２６に基づいても良く、例えば、図１１の上位層で例示的に示されてるものである。以下、この３種類のスキームを詳細に説明するが、他の実施例も可能である。

顔深度閾値判断スキーム１０２２では、複数のオブジェクトポイントに対応する深度の関数値と所定閾値の関係に基づいて、撮影対象が生き物であるかどうかを認識する。具体的には、複数のオブジェクトポイントの深度の関数を構築し、各オブジェクトポイントの深度値を該関数に代入する。その後、得られた関数値と所定閾値との比較を行い、そして、比較結果に基づいて撮影対象が生き物であるかどうかを認識する。幾つかの実施例において、これは以下の例示的な操作を含んでも良い。

（１ａ）各特徴点対のうちの深度値最小の特徴点対を確定し、該特徴点対に対応する深度値を取得し；
（１ｂ）それぞれ各特徴点対の深度値から該最小深度値を減算し、各特徴点対の相対深度値を取得し；
（１ｃ）各特徴点対の相対深度値の和又は二乗和を比較値として計算する。前記比較値が所定閾値未満のときに、撮影対象が非生き物であると認識し、そうでない場合、撮影対象が生き物であると認識する。

ＳＶＭスキーム１０２４では、各オブジェクトポイントの深度を用いて入力ベクトルを構築し、そして、訓練済みのサポートベクトルマシンに入力して認識結果を得る。幾つかの実施例において、これは、次のような例示的な操作を含んでも良く、即ち、将各オブジェクトポイントの深度を該オブジェクトポイントの前記第一座標表示に代入して該オブジェクトポイントの空間座標を取得し；前記複数のオブジェクトポイントの対応空間座標と、標準顔（基準顔）の対応キーポイント空間座標とをアラインするためのアラインメントパラメータを確定し；確定されたアラインメントパラメータを利用して、各対応空間座標及び標準顔の対応キーポイント空間座標に対してアラインメントを行ってアラインメント後の各対応空間座標を取得し；アラインメント後の各対応空間座標の深度成分を用いて深度特徴ベクトルを構築し；及び、前記深度特徴ベクトルを訓練済みのサポートベクトルマシンによる分類器に入力して認識結果を取得する。

以下、ＳＶＭスキーム１０２４における操作を詳しく説明する。

（２ａ）各オブジェクトポイントの深度を該オブジェクトポイントの第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）に代入して該オブジェクトポイントの空間座標を取得する。上述の画像深度確定方法２００に関する説明から分かるように、第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）は深度値の関数と見なすことができ、そのうち、ＰＣ０ｚは深度値に等しいと見なされ、ＰＣ０ｘ及びＰＣ０ｙはすべて式（ｅｑ１）に基づいてＰＣ０ｚにより表され得る。よって、Ｍ個の特徴点対について、各自のＭ個の深度値を第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）に代入することで、Ｍ個の空間座標｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，…，Ｍ｝を得ることができる。

（２ｂ）複数のオブジェクトポイントの対応空間座標｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，…，Ｍ｝と、標準顔の対応キーポイント空間座標とのアラインメントのためのアラインメントパラメータを確定する。アラインメントの作用は１つの任意角度の顔を１つの正面視の顔の形状にマッピングすることにある。標準顔は、複数の正目視の顔を撮影して一組のキーポイントの空間座標を取得し、その後、平均を取る方式で得ることができる。標準顔のキーポイント空間座標を｛（ｘｓ_ｉ，ｙｓ_ｉ，ｚｓ_ｉ），ｉ＝１，…，Ｍ｝と記す。アラインメントパラメータは回転ベクトルＲａ、平行移動ベクトルＴａ、及び伸縮（ストレッチ）尺度ｓを含む。この場合、

がある。そして、最小化エネルギー（コスト）関数

を解くことで、アラインメントパラメータＲａ、Ｔａ及びｓを得ることができる。

（２ｃ）確定されたアラインメントパラメータを用いて、各対応空間座標｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，…，Ｍ｝と標準顔の対応キーポイント空間座標｛（ｘｓ_ｉ，ｙｓ_ｉ，ｚｓ_ｉ），ｉ＝１，…，Ｍ｝とのアラインメントを行って、ラインメント後の各対応空間座標を取得する。具体的には、アラインメントパラメータを用いて、アラインメント後のキーポイント空間座標｛（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ），ｉ＝１，…，Ｍ｝を得ることができる。

（２ｄ）アラインメント後の各対応空間座標｛（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ），ｉ＝１，…，Ｍ｝の深度成分を用いて深度特徴ベクトルを構築する。一例において、Ｍ次元の深度特徴ベクトルＦＥＡＴＵＲＥ_ｉ＝｛ｚ’_ｉ，ｉ＝１，…，Ｍ｝を構築することができる。
（２ｅ）深度特徴ベクトルＦＥＡＴＵＲＥ_ｉ＝｛ｚ’_ｉ，ｉ＝１，…，Ｍ｝を訓練済みのサポートベクトルマシンによる分類器に入力して認識結果を取得する。ＳＶＭ分類器は事先訓練されたものである。ＳＶＭ分類器の訓練において、生き物サンプルと非生き物サンプルのキーポイント空間座標を上述の方式でアラインし、そして、深度特徴ベクトルを訓練サンプルとして構築する。その後、訓練サンプルを用いてＳＶＭ分類器を訓練することでＳＶＭ分類器パラメータを得ることができる。

幾つかの実施例において、ＳＶＭスキーム１０２４の認識結果の上で、さらに伸縮尺度ｓを用いて生き物認識を行うことができる。伸縮尺度ｓの大小（サイズ）は、検出された顔と標準顔との大小の比率の関係を表す。大量の顔データを用いて、（例えば、統計の方式で）１つの伸縮尺度ｓの所定範囲を取得し、それを、検出された顔が正常顔であるかを指示するための指標としても良い。ＳＶＭの認識結果により撮影対象が生き物であることを示した場合、伸縮尺度ｓが該所定範囲内にある場合、撮影対象を生き物と認識する。伸縮尺度ｓが該所定範囲内に位置しない（例えば、該所定範囲の下限よりも低く又は該所定範囲の上限を超えた）場合、撮影対象を非生き物と認識する。

幾つかの実施例において、ＳＶＭスキーム１０２４の代わりに、直接、上述の操作（２ａ）及び（２ｂ）で確定されたアラインメントパラメータ（それは伸縮尺度ｓを含む）を用いて生き物認識を行っても良い。即ち、伸縮尺度ｓが所定範囲内にある場合、撮影対象を生き物と認識する。伸縮尺度ｓが該所定範囲内にない（例えば、該所定範囲の下限よりも低く又は該所定範囲の上限を超えた）場合、撮影対象を非生き物と認識する。

ＡＮＮスキーム１０２６では、各オブジェクトポイントの空間座標｛（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ），ｉ＝１，…，Ｍ｝を用いて入力ベクトルを構築し、そして、訓練済みのサポートベクトルマシンに入力して認識結果を取得する。幾つかの実施例において、これは次のような例示的な操作を含んでも、即ち、各オブジェクトポイントの深度を該オブジェクトポイントの前記第一座標表示に代入して該オブジェクトポイントの空間座標を取得し；前記複数のオブジェクトポイントの対応空間座標と標準顔の対応キーポイント空間座標とのアラインメントのためのアラインメントパラメータを確定し；確定されたアラインメントパラメータを用いて各対応空間座標と標準顔の対応キーポイント空間座標とのアラインメントを行い、アラインメント後の各対応空間座標を取得し；アラインメント後の各対応空間座標を用いて入力ベクトルを構築し；及び、前記入力ベクトルを訓練済みの人工ニューラルネットワークに入力して認識結果を取得する。

以下、ＡＮＮスキーム１０２６における操作について説明する。

（３ａ）Ｍ個の特徴点対について、各自のＭ個の深度値を第一座標表示ＰＣ０（ＰＣ０ｘ，ＰＣ０ｙ，ＰＣ０ｚ）に代入し、Ｍ個の空間座標｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，…，Ｍ｝を取得する。

（３ｂ）複数のオブジェクトポイントの対応空間座標｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，…，Ｍ｝と標準顔の対応キーポイント空間座標とのアラインメントのためのアラインメントパラメータを確定する。

（３ｃ）確定されたアラインメントパラメータを基づいて、各対応空間座標｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，…，Ｍ｝と標準顔の対応キーポイント空間座標とのアラインメントを行い、アラインメント後の各対応空間座標を取得する。ここで、操作（３ａ）乃至（３ｃ）は上述のＳＶＭスキーム１０２４について説明した操作（２ａ）乃至（２ｃ）と同じであるため、その説明は省略される。

（３ｄ）アラインメント後の各対応空間座標｛（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ），ｉ＝１，…，Ｍ｝を用いて入力ベクトルを構築する。一例において、｛（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ），ｉ＝１，…，Ｍ｝を直接、入力ベクトルとして構築しても良い。

（３ｅ）前記入力ベクトルを訓練済みのＡＮＮに入力して認識結果を取得する。ＳＶＭスキーム１０２４と同様に、ＡＮＮは事先訓練されたものである。ＡＮＮの訓練において、生き物サンプルと非生き物サンプルのキーポイント空間座標に対して上述の方式でラインメントを行い、そして、訓練サンプルを形成する。その後、訓練サンプルを用いてＡＮＮを訓練し、ＡＮＮのネットワークパラメータを取得する。該実施例では、任意の適切な類型の人工ニューラルネットワークを採用しても良いが、本開示の技術的範囲はこれに限定されない。

幾つかの実施例において、ＡＮＮスキーム１０２６の認識結果をもとに、さらに伸縮尺度ｓを用いて生き物認識を行うことができる。即ち、ＡＮＮの認識結果により撮影対象が生き物であると示した場合、さらに伸縮尺度ｓを用いて認識を行い、伸縮尺度ｓが所定範囲内にある場合、撮影対象を生き物と認識する。伸縮尺度ｓが該所定範囲内に位置しない（例えば、該所定範囲の下限よりも低く又は該所定範囲の上限を超えた場合）、撮影対象を非生き物と認識する。

なお、図面を参照しながら本開示の実施例又は実施方式を説明したが、理解すべきは、上述の方法、システム及び装置は例示的な実施例又は実施方式に過ぎず、本開示の範囲はこれらの実施例又は実施方式により限定されず、特許請求の範囲及びその均等範囲により限定されるということである。実施例又は実施方式における各種の要素は、省略されても良く又は他の均等要素により置換されても良い。また、本開示に述べた順序とは異なる順序に従って各ステップを実行しても良い。さらに、各種の方式で実施例又は実施方式における各種の要素を組み合わせても良い。重要なのは、技術が進化するにつれて、ここで記載されている多くの要素を、本開示の後に現れる均等要素により置き換えることができるということである。

Claims (22)

1. 画像深度確定方法であって、
   撮影対象上のオブジェクトポイントと関連付けられる特徴点対の画素座標を取得し、前記特徴点対は、第一画像において該オブジェクトポイントに対応する第一画素点及び第二画像において該オブジェクトポイントに対応する第二画素点を含み、前記第一画像は、第一カメラが前記撮影対象を撮影することで得る画像であり、前記第二画像は、第二カメラが前記撮影対象を撮影することで得る画像であり、前記画素座標は、前記第一画素点の前記第一画像における第一画素座標及び前記第二画素点の前記第二画像における第二画素座標を含み；
   前記第一画素座標及び前記第一カメラの内部パラメータに基づいて、前記第一カメラの第一カメラ座標系の原点を通過する第一直線を確定し、前記オブジェクトポイントの前記第一カメラ座標系における第一座標表示は、前記第一直線上に位置し；
   前記第二画素座標及び前記第二カメラの内部パラメータに基づいて、前記第二カメラの第二カメラ座標系の原点を通過する第二直線を確定し、前記オブジェクトポイントの前記第二カメラ座標系における第二座標表示は、前記第二直線上に位置し；及び
   前記第一直線、前記第二直線、及び、前記第一カメラと前記第二カメラとの相対位置関係を記述する外部パラメータに基づいて、前記オブジェクトポイントの深度を確定することを含む、画像深度確定方法。
2. 請求項１に記載の画像深度確定方法であって、
   前記前記第一直線、前記第二直線、及び、前記第一カメラと前記第二カメラとの相対位置関係を記述する外部パラメータに基づいて、前記オブジェクトポイントの深度を確定することは、
   前記第二直線及び前記外部パラメータに基づいて、前記第二直線の前記第一カメラ座標系における表示を確定し；及び
   前記第一カメラ座標系において、前記第一直線及び前記第二直線に基づいて、前記オブジェクトポイントの深度を確定することを含む、画像深度確定方法。
3. 請求項２に記載の画像深度確定方法であって、
   前記第二直線及び前記外部パラメータに基づいて、前記第二直線の前記第一カメラ座標系における表示を確定することは、
   前記外部パラメータを用いて、前記第二座標表示を前記第一カメラ座標系における第三座標表示に変換し、前記第二カメラ座標系の原点の前記第一カメラ座標系における第四座標表示を確定し；及び
   前記第三座標表示及び前記第四座標表示に基づいて、前記第二直線の前記第一カメラ座標系における表示を確定することを含む、画像深度確定方法。
4. 請求項２又は３に記載の画像深度確定方法であって、
   前記第一カメラ座標系において、前記第一直線及び前記第二直線に基づいて、前記オブジェクトポイントの深度を確定することは、
   前記第一直線と前記第二直線が非共面であることに応じて、前記第一直線及び前記第二直線の共通垂線を確定し；
   前記第一直線と前記共通垂線との第一交点の座標、及び前記第二直線と前記共通垂線との第二交点の座標を確定し；及び
   前記第一交点の座標の第一深度成分及び前記第二交点の座標の第二深度成分に基づいて、前記オブジェクトポイントの深度を確定することを含む、画像深度確定方法。
5. 請求項４に記載の画像深度確定方法であって、
   前記第一直線と前記共通垂線との第一交点の座標、及び前記第二直線と前記共通垂線との第二交点の座標を確定することは、
   前記第一直線の方向ベクトルが、前記第一交点から前記第一カメラ座標系の原点を指向する方向ベクトルに平行であり；
   前記第二直線の方向ベクトルが、前記第二交点から前記第二カメラ座標系の原点を指向する方向ベクトルに平行であり；及び
   前記共通垂線の方向ベクトルが、前記第二交点から前記第一交点を指向する方向ベクトルに平行である
   という空間関係に基づいて、前記第一交点の座標及び前記第二交点の座標を確定することを含む、画像深度確定方法。
6. 請求項４又は５に記載の画像深度確定方法であって、
   前記第一交点座標の第一深度成分及び前記第二交点座標の第二深度成分に基づいて、前記オブジェクトポイントの深度を確定することは、
   前記第一深度成分及び前記第二深度成分の事前定義の関数値を前記オブジェクトポイントの深度として確定することを含む、画像深度確定方法。
7. 請求項６に記載の画像深度確定方法であって、
   前記事前定義の関数値は加重平均値を含む、画像深度確定方法。
8. 請求項７に記載の画像深度確定方法であって、
   前記加重平均値は算術平均値を含む、画像深度確定方法。
9. 請求項２乃至８のうちの何れか１項に記載の画像深度確定方法であって、
   前記第一カメラ座標系において、前記第一直線及び前記第二直線に基づいて、前記オブジェクトポイントの深度を確定することは、
   前記第一直線と前記第二直線が共面であることに応じて、前記第一直線と前記第二直線との交点の座標の深度成分を前記オブジェクトポイントの深度として確定することを含む、画像深度確定方法。
10. 請求項１乃至９のうちの何れか１項に記載の画像深度確定方法であって、
    前記第一カメラ及び前記第二カメラは異なる製品モデルのカメラである、画像深度確定方法。
11. 請求項１乃至９のうちの何れか１項に記載の画像深度確定方法であって、さらに、
    前記第一画素座標及び前記第一カメラの内部パラメータに基づいて、前記第一カメラの第一カメラ座標系の原点を通過する第一直線を確定する前に、前記第一画素座標に対して歪み除去を行い；及び
    前記第二画素座標及び前記第二カメラの内部パラメータに基づいて、前記第二カメラの第二カメラ座標系の原点を通過する第二直線を確定する前に、前記第二画素座標に対して歪み除去を行うことを含む、画像深度確定方法。
12. チップ回路であって、
    請求項１乃至１１のうちの何れか１項に記載の画像深度確定方法を実行するように構成される回路ユニットを含む、チップ回路。
13. 請求項１２に記載のチップ回路を含む画像深度確定装置。
14. 計算装置であって、
    １つ又は複数の処理器；及び
    指令を含むプログラムを記憶している記憶器を含み、
    前記指令は、前記１つ又は複数の処理器により実行されるときに、前記１つ又は複数の処理器に、請求項１乃至１１のうちの何れか１項に記載の画像深度確定方法を実行させる、計算装置。
15. コンピュータに、請求項１乃至１１のうちの何れか１項に記載の画像深度確定方法を実行させるためのプログラムを記憶している、コンピュータ読み取り可能な記憶媒体。
16. 生き物認識方法であって、
    撮影対象上の複数のオブジェクトポイントと関連付けられる複数の特徴点対のうちの各特徴点対に対して、請求項１乃至１１のうちの何れか１項に記載の画像深度確定方法を実行することにより、前記複数のオブジェクトポイントに対応する深度を確定し、各特徴点対の第一画素点は、前記第一画像における顔のキーボードであり、各特徴点対の第二画素点は、前記第二画像における顔のキーボードであり；及び
    前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識することを含む、生き物認識方法。
17. 請求項１６に記載の生き物認識方法であって、
    前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識することは、
    前記複数のオブジェクトポイントに対応する深度の関数値と、所定閾値との関係に基づいて、前記撮影対象が生き物であるかどうかを認識することを含む、生き物認識方法。
18. 請求項１６に記載の生き物認識方法であって、
    各オブジェクトポイントの前記第一座標表示の各座標成分が該オブジェクトポイントの深度の関数であり、
    前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識することは、
    各オブジェクトポイントの深度を該オブジェクトポイントの前記第一座標表示に代入して、該オブジェクトポイントの空間座標を取得し；
    前記複数のオブジェクトポイントの対応空間座標と、標準顔の対応キーポイント空間座標とのアラインメントのためのアラインメントパラメータを確定し；
    確定されたアラインメントパラメータを用いて、各対応空間座標と、標準顔の対応キーポイント空間座標とのアラインメントを行って、アラインメント後の各対応空間座標を取得し；
    アラインメント後の各対応空間座標の深度成分に基づいて深度特徴ベクトルを形成し；及び
    前記深度特徴ベクトルを訓練済みのサポートベクトルマシンによる分類器に入力して、認識結果を得ることを含む、生き物認識方法。
19. 請求項１８に記載の生き物認識方法であって、
    前記アラインメントパラメータが伸縮尺度を含み、
    前記生き物認識方法は、さらに、
    前記撮影対象が生き物であることを前記認識結果により示したことに応じて、前記伸縮尺度が所定範囲内にあるかを確定し；
    前記伸縮尺度が所定範囲内にあると確定されたことに応じて、前記撮影対象を生き物と認識し；及び
    前記伸縮尺度が所定範囲内にないと確定されたことに応じて、前記撮影対象を非生き物と認識することを含む、生き物認識方法。
20. 請求項１６に記載の生き物認識方法であって、
    各オブジェクトポイントの前記第一座標表示の各座標成分が該オブジェクトポイントの深度の関数であり、
    前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識することは、
    各オブジェクトポイントの深度を該オブジェクトポイントの前記第一座標表示に代入して、該オブジェクトポイントの空間座標を取得し；
    前記複数のオブジェクトポイントの対応空間座標と、標準顔の対応キーポイント空間座標とのアラインメントのためのアラインメントパラメータを確定し、前記アラインメントパラメータは伸縮尺度を含み；
    前記伸縮尺度が所定範囲内にあることに応じて、前記撮影対象を生き物と認識し；及び
    前記伸縮尺度が所定範囲内にないことに応じて、前記撮影対象を非生き物と認識することを含む、生き物認識方法。
21. 請求項１６に記載の生き物認識方法であって、
    各オブジェクトポイントの前記第一座標表示の各座標成分が該オブジェクトポイントの深度の関数であり、
    前記複数のオブジェクトポイントに対応する深度に基づいて、前記撮影対象が生き物であるかどうかを認識することは、
    各オブジェクトポイントの深度を該オブジェクトポイントの前記第一座標表示に代入して、該オブジェクトポイントの空間座標を取得し；
    前記複数のオブジェクトポイントの対応空間座標と、標準顔の対応キーポイント空間座標とのアラインメントのためのアラインメントパラメータを確定し；
    確定されたアラインメントパラメータを用いて、各対応空間座標と、標準顔の対応キーポイント空間座標とのアラインメントを行って、アラインメント後の各対応空間座標を取得し；
    アラインメント後の各対応空間座標を用いて入力ベクトルを形成し；及び
    前記入力ベクトルを訓練済みの人工ニューラルネットワークに入力して認識結果を得ることを含む、生き物認識方法。
22. 請求項２１に記載の生き物認識方法であって、
    前記アラインメントパラメータが伸縮尺度を含み、
    前記生き物認識方法は、さらに、
    前記撮影対象が生き物であることを前記認識結果により示したことに応じて、前記伸縮尺度が所定範囲内にあるかどうかを確定し；
    前記伸縮尺度が所定範囲内にあると確定されたことに応じて、前記撮影対象を生き物と認識し；及び
    前記伸縮尺度が所定範囲内にないと確定されたことに応じて、前記撮影対象を非生き物と認識することを含む、生き物認識方法。

Images