JP2008089402A - 情報処理システム、プログラムおよび情報処理方法 - Google Patents

Abstract

【課題】異なる視点から撮像し取得された複数の画像に基づき必要な被写体部分の３次元情報を精度良く迅速に取得できる情報処理技術を提供する。
【解決手段】ステレオカメラによりステレオ画像を取得した情報処理システムでは、まずＳＡＤ法を用いて高速にステレオ画像間の対応点探索を行い、ステレオカメラからの距離を表す画像全体のレンジデータＧｄを生成する。次に、レンジデータＧｄにおける距離情報を参照し、ステレオカメラから例えば５０ｃｍ〜１５０ｃｍの距離範囲に入る人物Ｍ１に対応した画像領域をステレオ画像において特定する。そして、特定された画像領域のみについてＰＯＣ法を用いた精度の良い対応点探索を行い、認証処理等に必要な人物Ｍ１の３次元情報を取得する。その結果、必要な被写体部分の３次元情報を精度良く迅速に取得できる。
【選択図】図６

Description

本発明は、異なる視点から被写体を撮像する撮像手段によって取得された複数の画像に関する処理を行う情報処理技術に関する。

近年、セキュリティシステムによって入退室の管理を行うオフィスやマンション等が増えている。これは、許可された人物のみを入退室させることで、機密情報の漏洩を防いだり、不審者の侵入を未然に防ぐことが主な目的である。

上記のセキュリティシステムにおいて、入退室が許可された人物であるか否かを認証する手法としては、ＩＤカードスキャンやパスワード入力の他に生体情報識別による方法がある。

この生体情報識別のうち画像処理による顔認識については、非接触で認証処理を行えるため、指紋や指静脈認証のように機器に対して手をかざしたりする必要がなく、出入り口にカメラ等を設置しておくことで停滞なく入退室することができるといった利点がある。

画像処理による顔認識においては、１台のカメラで取得された２次元画像から人物の顔を検出して認証を行う方法もあるが、複数台のカメラで撮影して得られた複数の２次元画像から顔の３次元形状を求めることで、より精度の高い認証を行うことができる。

複数の２次元画像から３次元形状情報を求める手法としてはステレオ法がよく知られているが、そのためには複数の画像上で同一の物体がどこに写っているかの関係（対応点関係）を把握する必要がある(例えば特許文献１参照)。この対応点関係を高精度に求める方法としては、ＰＯＣ法（位相限定相関法）を用いた対応点探索手法がある。

特開２００６−１７７９３７号公報

しかしながら、上記のＰＯＣ法による対応点探索手法では、高精度な３次元情報が得られるものの、演算量が多く処理コストが高いため、撮影された画像全体に適用すると相当な処理時間が必要となる。これでは、上述した顔認識にかかる時間が長くなって、その利便性が損なわれることとなる。

本発明は、上記課題に鑑みてなされたものであり、異なる視点から撮像し取得された複数の画像に基づき、必要な被写体部分の３次元情報を精度良く迅速に取得できる情報処理技術を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、異なる視点から被写体を撮像する撮像手段によって取得された複数の画像に関する処理を行う情報処理システムであって、(a)前記複数の画像間で対応点を探索する第１探索手段と、(b)前記第１探索手段で行われる第１の対応点探索処理と異なる第２の対応点探索処理により、前記複数の画像間で対応点を探索する第２探索手段と、(c)前記第１の対応点探索処理を実行してから前記第２の対応点探索処理を実行することにより、前記複数の画像に写る被写体全体から抽出される特定の被写体部分に関する３次元情報を取得する情報取得手段とを備えるとともに、前記情報取得手段は、(c-1)前記撮像手段によって取得された画像全体について前記第１の対応点探索処理を行い、前記撮像手段から被写体上の各位置までの距離情報を保有するレンジデータを生成するレンジデータ生成手段と、(c-2)前記撮像手段からの距離に関して前記特定の被写体部分を抽出するための距離範囲を設定する設定手段と、(c-3)前記レンジデータにおける前記距離情報に基づき、前記設定手段で設定される距離範囲に属する被写体部分を抽出する抽出手段と、(c-4)前記複数の画像のうち少なくとも１の画像において、前記抽出手段で抽出された被写体部分が写る画像領域を特定する特定手段と、(c-5)前記特定手段で特定された画像領域について前記第２の対応点探索処理を行い、前記特定の被写体部分に関する３次元情報を取得する３次元情報取得手段とを有する。

また、請求項２の発明は、請求項１の発明に係る情報処理システムにおいて、(d)前記距離範囲に関する情報を保持する保持手段をさらに備え、前記設定手段は、前記保持手段で保持される情報に基づき、前記距離範囲を設定する手段を有する。

また、請求項３の発明は、請求項１または請求項２の発明に係る情報処理システムにおいて、(e)画像表示が可能な表示手段と、(f)所定の操作入力に応答し、前記表示手段に表示される画像上の位置を指定する位置指定手段とをさらに備えるとともに、前記設定手段は、前記レンジデータ生成手段で生成されたレンジデータに基づく画像表示を前記表示手段で行うとともに、当該表示画像において前記位置指定手段により指定されるレンジデータ上の位置を特定する位置特定手段と、前記位置特定手段で特定されたレンジデータ上の位置に対応する前記距離情報に基づき、前記距離範囲を設定する手段とを有する。

また、請求項４の発明は、請求項３の発明に係る情報処理システムにおいて、前記撮像手段は、前記複数の画像のうち少なくとも１の画像についてデータサイズを削減する画像圧縮処理を行い、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段で生成された圧縮画像と、前記撮像手段に設けられる前記レンジデータ生成手段で生成されたレンジデータとを送信する送信手段とを有しており、前記位置特定手段は、前記送信手段によって送信されたレンジデータに基づく画像表示とともに、前記送信手段によって送信された圧縮画像に基づく画像表示を前記表示手段で行う手段を有する情報処理システム。

また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る情報処理システムにおいて、前記３次元情報取得手段は、前記レンジデータ生成手段で行われる第１の対応点探索処理によって得られた前記複数の画像間の対応点情報に基づき、前記第２の対応点探索処理に関する各対応点探索の開始位置を決定する決定手段を有する。

また、請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る情報処理システムにおいて、前記第２の対応点探索処理は、位相限定相関法を用いた対応点探索処理である。

また、請求項７の発明は、情報処理システムに搭載されたコンピュータにおいて実行されることにより、当該情報処理システムを請求項１ないし請求項６のいずれかの発明に係る情報処理システムとして機能させるプログラムである。

また、請求項８の発明は、異なる視点から被写体を撮像する撮像手段によって取得された複数の画像に関する処理を行う情報処理方法であって、(a)前記複数の画像間で対応点を探索する第１探索工程と、(b)前記第１探索工程で行われる第１の対応点探索処理と異なる第２の対応点探索処理により、前記複数の画像間で対応点を探索する第２探索工程と、(c)前記第１の対応点探索処理を実行してから前記第２の対応点探索処理を実行することにより、前記複数の画像に写る被写体全体から抽出される特定の被写体部分に関する３次元情報を取得する情報取得工程とを備えるとともに、前記情報取得工程は、(c-1)前記撮像手段によって取得された画像全体について前記第１の対応点探索処理を行い、前記撮像手段から被写体上の各位置までの距離情報を保有するレンジデータを生成するレンジデータ生成工程と、(c-2)前記撮像手段からの距離に関して前記特定の被写体部分を抽出するための距離範囲を設定する設定工程と、(c-3)前記レンジデータにおける前記距離情報に基づき、前記設定工程で設定される距離範囲に属する被写体部分を抽出する抽出工程と、(c-4)前記複数の画像のうち少なくとも１の画像において、前記抽出工程で抽出された被写体部分が写る画像領域を特定する特定工程と、(c-5)前記特定工程で特定された画像領域について前記第２の対応点探索処理を行い、前記特定の被写体部分に関する３次元情報を取得する３次元情報取得工程とを有する。

請求項１から請求項８の発明によれば、異なる視点から被写体を撮像する撮像手段によって取得された複数の画像において第１の対応点探索処理を行い画像全体についてのレンジデータを生成した後、レンジデータにおける距離情報に基づき、設定された距離範囲に属する被写体部分を抽出し、この抽出された被写体部分が写る画像領域について第２の対応点探索処理を行って特定の被写体部分に関する３次元情報を取得する。その結果、必要な被写体部分の３次元情報を精度良く迅速に取得できる。

特に、請求項２の発明においては、保持手段で保持される情報に基づき距離範囲を設定するため、必要な３次元情報を自動的に取得できる。

また、請求項３の発明においては、位置指定手段により指定されるレンジデータ上の位置に対応する距離情報に基づき、距離範囲を設定するため、操作者が所望する３次元情報を取得できる。

また、請求項４の発明においては、撮像手段で取得された複数の画像のうち少なくとも１の画像についてデータサイズを削減する画像圧縮処理を行って生成された圧縮画像と、撮像手段に設けられるレンジデータ生成手段で生成されたレンジデータとを送信し、送信されたレンジデータに基づく画像表示とともに、送信された圧縮画像に基づく画像表示を行うため、撮影した画像とレンジデータとをカメラ等からスムーズに伝送して表示できる。

また、請求項５の発明においては、レンジデータ生成手段で行われる第１の対応点探索処理によって得られた複数の画像間の対応点情報に基づき、第２の対応点探索処理に関する各対応点探索の開始位置を決定するため、第２の対応点探索処理を高速に行える。

また、請求項６の発明においては、第２の対応点探索処理が位相限定相関法を用いた対応点探索処理であるため、必要な被写体部分に関する高精度な３次元情報を取得できる。

＜第１実施形態＞
＜情報処理システムの構成＞
図１は、本発明の第１実施形態に係る情報処理システム１Ａの要部構成を示すブロック図である。

情報処理システム１は、２眼のステレオカメラ(撮像手段)２と電子錠３と、これらと通信可能に接続する情報処理装置４とを備えている。ステレオカメラ２および電子錠３は、例えば図２に示すように通路から１段奥まった位置に設けられたドアＤＲの前面に配置されている。

ステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１、２２が設けられている。これらの撮像系２１、２２では、カメラ正面の被写体をタイミングを同期して異なる視点から撮像できるように構成されており、撮像して取得された各画像データは、データ線Ｃａを介して情報処理装置４に送信される。

電子錠３は、データ線Ｃｂを介して情報処理装置４から送られる制御信号によって、開錠と閉錠との切替えが可能となっている。

情報処理装置４は、ステレオカメラ２からのデータ受信や電子錠３への信号送信を行うためのインターフェース(Ｉ／Ｆ)部４１を備えている。また、情報処理装置４は、記憶部４２と制御部４３とを有している。

記憶部４２には、ドアＤＲを開けて入室が許可されている登録者のデータを記録するデータベースＤＢと、後述する情報処理システム１の動作を行うためのプログラムＰＧとが格納されている。また、記憶部４２は、後述する処理対象の距離範囲に関する情報やステレオ法による３次元形状情報の取得に必要なパラメータ等を記憶している。

制御部４３は、コンピュータとして働くＣＰＵ４３ａおよびメモリ４３ｂを有しており、情報処理装置４の各部を統括的に制御するための部位である。この制御部４３で記憶部４２内のプログラムＰＧが実行されることにより、後述する情報処理システム１の動作が行えることとなる。

また、制御部４３は、図３に示すＳＡＤ処理部４３１と処理範囲指定部４３２とＰＯＣ処理部４３３と３次元再構成部４３４と認証部４３５との機能をソフトウェア的に実現できるように構成されている。これら各部について、以下で説明する。

ＳＡＤ処理部４３１は、ＳＡＤ(Sum of Absolute Difference)法を用いて、ステレオカメラ２で取得したステレオ画像(複数の画像)間の対応点を探索する処理(以下では「対応点探索処理」ともいう)を行い、例えばステレオ法を用いてステレオカメラ２から前方の被写体までの距離を表すレンジデータを生成する。このＳＡＤ処理部４３１での具体的な処理については、後で詳述する。

処理範囲指定部４３２では、予め定められた処理対象の距離範囲、つまりステレオカメラ２からの距離に関して特定の被写体部分を抽出するために設定される距離範囲内に入る物体の画像部分を、ＳＡＤ処理部４３１で生成されたレンジデータから抽出する。この処理対象の距離範囲については、記憶部２４で保持される処理対象の距離範囲の情報に基づき処理範囲指定部４３２で設定されるが、例えば図４に示すようにステレオカメラ２からの距離Ｌａ(例えば５０ｃｍ)から距離Ｌｂ(例えば１５０ｃｍ)までの範囲が指定されている。なお、図４は、図２に示すステレオカメラ２とその付近にいる人物Ｍ１〜Ｍ３を上方から見た図である(図中の矢印は人物の進行方向)。

ＰＯＣ処理部４３３は、位相限定相関(ＰＯＣ：Phase Only Correlation)法を用いた対応点探索処理を行う。ただし、ＰＯＣ処理部４３３では、ステレオカメラ２で取得したステレオ画像のうち、処理範囲指定部４３２で抽出されたレンジデータの画像部分に対応する画像領域についての対応点探索処理が行われる。

３次元再構成部４３４は、ＰＯＣ処理部４３３での対応点探索処理によって得られたステレオ画像間の対応点情報と、ステレオ法で３次元形状を求めるのに必要なパラメータ(カメラパラメータなど)とに基づき、必要な被写体部分の３次元情報を取得して、被写体に関する３次元形状の再構成を行う。

認証部４３５は、ステレオカメラ２で取得した２次元画像と、３次元再構成部４３４で生成された被写体の３次元形状とに基づき、記憶部４２内のデータベースＤＢに記録される登録者のデータを参照して、ステレオカメラ２の前にいる人物の入室を許可するか否かを判断する。ここで、入室を許可する場合には、電子錠３が開錠されることとなる。

なお、認証部４３５において３次元形状を用いた認証処理を行うのは、例えばステレオカメラ２で得られた２次元画像において人物の顔が横向きに写っている場合でも、３次元形状に基づき正面向きの顔に補正できるためである。このように２次元画像に加え３次元形状をも用いた認証処理を行うことにより、２次元画像のみを用いた認証処理より柔軟な認証が可能となる。

以下では、ＳＡＤ処理部４３１とＰＯＣ処理部４３３で行われる対応点探索処理について説明する。

＜ＳＡＤ処理部４３１での対応点探索処理＞
ＳＡＤ処理部４３１では、ＳＡＤ法を用いたステレオ画像間の対応点探索処理が可能となっている。このＳＡＤ法による対応点探索について図５を参照して説明する。

図５は、ＳＡＤ法を用いた対応点探索処理を説明するための図である。

ステレオカメラ２の撮像系２１、２２によって同期して取得された２つの画像を、基準画像ａおよび参照画像Ｇｂとして設定する。そして、参照画像Ｇｂ上での対応画素(対応点)を探索するために基準画像Ｇａ上で指定される画素(指定点)Ｗａｏを中心点として内包するウィンドウＷａを基準画像Ｇａ上に設定するとともに、ウィンドウＷａのサイズと同じサイズを有するウィンドウＷｂを参照画像Ｇｂにおける複数の位置に設定する。

ここで、参照画像Ｇｂにおける複数のウィンドウＷｂは、最大視差ｐmaxの範囲にわたって設定される。例えば、図５に示す参照画像Ｇｂ上における位置（視差ｐ＝０の位置）Ｑoから、最大視差ｐmaxに対応した位置Ｑmaxまで水平方向に１画素ずつずらせた複数のウィンドウＷｂが設定される。

次に、各視差ｐ、つまり参照画像Ｇｂ上に設定されるウィンドウＷｂの各位置において、基準画像ＧａにおけるウィンドウＷａ内の画像と参照画像ＧｂにおけるウィンドウＷｂ内の画像とに関する類似度を示す相関値を演算する。この相関演算では、例えばウィンドウＷａ内の各画素の濃度をImg1(i,j)、視差ｐでのウィンドウＷｂ内の各画素の濃度をImg2(i,j+p)として次の式(１)を用いた相関値ＣＯＲｐが算出される。

上式(１)によって各視差ｐに対する相関値が算出されると、図５のグラフＫｆのように視差ｐと相関値との関係が明らかになる。このグラフＫｆにおいて相関値の最大値をとる視差ｐｓに対応するウィンドウＷｂの中心点が、基準画像Ｇａの指定点Ｗａｏに対応した点となる。

以上のような対応点探索処理を基準画像Ｇａの全画素について実行することにより、ステレオ画像間の対応点情報が取得できるとともに、この対応点情報に基づきステレオカメラ２で撮影された撮影画像の画像全体についてのレンジデータを生成できることとなる。例えば、ステレオカメラ２からの距離を濃度の濃淡として画素毎に表現すると、図６に示すようなレンジデータＧｄが生成できる。なお、レンジデータＧｄにおいては、ステレオカメラ２からの距離が近いほど白く、遠いほど黒くなるように設定されており、図２に示すステレオカメラ２の前方に位置する３人の人物Ｍ１〜Ｍ３のうち、ステレオカメラ２に最も近い人物Ｍ１が他の人物Ｍ２、Ｍ３より白く表されている。

以上で説明したＳＡＤ法を用いた対応点探索処理によれば、次に説明するＰＯＣ法のように高精度な対応点の探索は難しいものの、ＰＯＣ法より高速な対応点の探索が可能である。

＜ＰＯＣ処理部４３３での対応点探索処理＞
ＰＯＣ処理部４３３では、ＳＡＤ処理部４３１で行われる対応点探索処理と異なるＰＯＣ法を用いたステレオ画像間の対応点探索処理(第２の対応点探索処理)が行われる。このＰＯＣ法による対応点探索について図７を参照して説明する。

図７は、ＰＯＣ法を用いた対応点探索処理を説明するための図である。

ＰＯＣ法を用いた対応点探索処理では、まず基準画像上のウィンドウ内の画像と、参照画像上のウィンドウ内の画像とが抽出される。これらの画像については、次の数２のように表されるものとする。

ここで、上記の数２におけるｆ(ｎ₁,ｎ₂)およびｇ(ｎ₁,ｎ₂)は、基準画像上のウィンドウ内の画像および参照画像上のウィンドウ内の画像を示している。また、Ｎ₁およびＮ₂は、例えばＮ₁＝２Ｍ₁＋１、Ｎ₂＝２Ｍ₂＋１と設定されている。

次に、基準画像および参照画像のウィンドウ内の各画像に対し、次の数３に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。

なお、上記の数３のただし書におけるＷの添字Ｐには、Ｎ₁、Ｎ₂が代入され、またｋの添字ｓには、１、２が代入される。

このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数４に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。

規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数５に示す演算式を用いた合成処理Ｔ３が行われるとともに、数６に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。

以上のＰＯＣ法を用いた処理により、例えば図８に示すような結果が得られる。この図８においては、ウィンドウ(Ｎ₁×Ｎ₂)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウィンドウ内の位置が、基準画像上のウィンドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。

以上のようなＰＯＣ法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。

一方、ＰＯＣ法を用いた対応点探索処理は、演算量が多く計算コストが高いため、基準画像の全画素、つまりステレオカメラ２で取得された画像全体について適用すれば、認証時間が増加することとなり好ましくない。

そこで、本実施形態の情報処理装置４では、ＳＡＤ処理部４３１で得られたレンジデータＧｄに基づき処理対象の距離範囲を限定し、この限定された画像範囲についてＰＯＣ法による対応点探索処理を実行して必要な３次元情報を取得するようにする。この処理について具体的に説明する。

図２に示す３人の人物Ｍ１〜Ｍ３については、ドアＤＲから入室しようとしている人物Ｍ１のみが認証対象者であり、この人物Ｍ１に関する認証用の３次元情報があれば十分である。よって、ドアＤＲに接近している人物Ｍ１のみに関する３次元情報を取得するために、ＳＡＤ処理部４３１で生成されたレンジデータにおける距離情報に基づき、処理範囲指定部４３２で設定される処理対象の距離範囲に属する人物(被写体部分)Ｍ１を抽出し、その人物Ｍ１に対応するステレオ画像の画像範囲を特定するようにする。

具体的には、ＳＡＤ処理部４３１で得られたレンジデータＧｄ(図６)における画素毎の距離情報を参照し、図４に示すステレオカメラ２からの距離Ｌａから距離Ｌｂまでの距離範囲に該当する画素を抽出することにより、例えば図９に示すように人物Ｍ１に対応した画像部分(白抜き部分)Ｇｆを特定する。

次に、図９に示す人物Ｍ１の画像部分Ｇｆに対応した画像領域、つまり３次元情報が必要な人物(被写体部分)Ｍ１が写る画像領域を、ステレオカメラ２で得られた２つの画像（基準画像および参照画像）それぞれにおいて特定するとともに、特定された各画像の画像領域のみについてＰＯＣ法による対応点探索処理を行う。そして、このＰＯＣ法による対応点探索処理で得られた対応点の情報に基づき、３次元再構成部４３４において認証対象者である人物(特定の被写体部分)Ｍ１に関する３次元形状情報を取得する。

以上のようにＳＡＤ法による高速な対応点探索処理を実行して、ステレオカメラ２で撮影された画像全体のレンジデータＧｄを迅速に作成してから、このレンジデータＧｄの距離情報に基づき、ステレオ画像(複数の画像)に写る被写体全体から抽出される人物（特定の被写体部分）Ｍ１に関する３次元情報を、ＰＯＣ法による高精度な対応点探索処理を実行することによって取得するため、認証処理に必要な３次元情報が精度良く迅速に取得できることとなる。

＜情報処理システム１の動作＞
図１０は、情報処理システム１の基本的な動作を示すフローチャートである。この情報処理システム１の動作は、制御部４３のＣＰＵ４３ａで記憶部４２内のプログラムＰＧが実行されることにより実施される。

ステップＳ１では、ステレオカメラ２でステレオ画像を取得する。ここでは、ステレオカメラ２において例えば一定の周期で撮影して得られた画像が、順次に情報処理装置４に送信されることとなる。

ステップＳ２では、ステップＳ１で取得し送信されたステレオ画像を、情報処理装置４で受信する。

ステップＳ３では、ステップＳ２で受信したステレオ画像について、ＳＡＤ処理部４３１でＳＡＤ法による対応点探索処理を行い、画像全体のレンジデータＧｄ(図６)を生成する。すなわち、ステレオカメラ２によって取得された画像全体についてＳＡＤ法による対応点探索処理が行われて、ステレオカメラ２から被写体上の各位置までの距離情報を保有するレンジデータが生成される。

ステップＳ４では、ステップＳ３で生成されたレンジデータに基づき、処理対象の距離範囲に物体が存在するかを処理範囲指定部４３２で判定する。具体的には、図４に示すステレオカメラ２からの距離Ｌａから距離Ｌｂまでの範囲において人物等が存在するか否かを判断する。ここで、処理対象の距離範囲に物体が存在する場合には、ステップＳ５に進み、存在しない場合には、ステップＳ１に戻る。

ステップＳ５では、処理範囲指定部４３によって限定された画像範囲についてＰＯＣ法による対応点探索処理を行い、３次元情報を取得する。具体的には、図４に示すステレオカメラ２からの距離Ｌａから距離Ｌｂまでの範囲に存在する人物Ｍ１を、レンジデータＧｄ(図６)に基づき図９のように抽出し、抽出された人物Ｍ１の画像部分Ｇｆ(図９)に対応するステレオ画像の画像領域についてＰＯＣ処理部４３３で対応点の探索を行う。そして、ＰＯＣ処理部４３３で得られた対応点情報に基づき、３次元再構成部４３５において人物Ｍ１に関する３次元形状を求めて、その３次元形状情報を取得する。

ステップＳ６では、ステレオカメラ２で撮影された撮影画像(２次元画像)と、ステップＳ５で生成された３次元形状情報とに基づき、認証部４３５でステレオカメラ２の前にいる認証対象者の認証処理を行う。

ステップＳ７では、ステップＳ６での認証処理の結果に基づき、認証対象者が入室許可されている人物であるか否かを判定する。すなわち、認証部４３５において、記憶部４２内のデータベースＤＢに記録される登録者のデータを参照し、ステレオカメラ２の前にいる人物の入室を許可するか否かを判断する。ここで、入室許可されている人物である場合には、ステップＳ８に進み、そうでない場合には、ステップＳ９に進む。

ステップＳ８では、情報処理装置４からドアＤＲの電子錠３に制御信号を発信し、電子錠３を開錠する。一方、ステップＳ９では、ドアＤＲの電子錠３を開錠しないようにする。

以上の情報処理システム１の動作により、ＳＡＤ法を用いて高速に生成された画像全体のレンジデータＧｄに基づき処理対象の距離範囲（ステレオカメラ２から例えば５０ｃｍ〜１５０ｃｍの範囲）に入る被写体部分を抽出し、この抽出された被写体部分に対応するステレオ画像の画像領域についてＰＯＣ法を用いた高精度な対応点探索を行うため、必要な被写体部分の３次元情報を精度良く迅速に取得できる。

なお、情報処理システム１で得られる被写体部分の３次元情報を、認証処理に利用するのは必須でなく、個人識別処理に利用しても良い。

＜第２実施形態＞
＜情報処理システムの構成＞
図１１は、本発明の第２実施形態に係る情報処理システム５の要部構成を示すブロック図である。

情報処理システム５は、２眼のステレオカメラ６と、ステレオカメラ６とデータ伝送可能に接続する情報処理装置７とを備えている。

ステレオカメラ６には、第１実施形態のステレオカメラ２と同様に、それぞれ撮像素子を有する２つの撮像系６１、６２が設けられている。これらの撮像系６１、６２では、カメラ正面の被写体をタイミングを同期して異なる視点から撮像できるように構成されている。

また、ステレオカメラ６は、第１実施形態のＳＡＤ処理部４３１と同様の機能を有し被写体に係るレンジデータを生成するＳＡＤ処理部６３と、撮像系６２で撮像し取得された画像のサイズや画質を変更してデータサイズを削減する画像圧縮処理を施す画像圧縮部６４とを備えている。これらのＳＡＤ処理部６３および画像圧縮部６４で生成されたレンジデータおよび圧縮画像の各画像データは、データ線Ｃｃを介して情報処理装置７に送信される。

情報処理装置７は、例えばパーソナルコンピュータとして構成されており、ステレオカメラ２からのデータを受信するためのインターフェース(Ｉ／Ｆ)部７１と、マウスやキーボードからなる操作部７２と、例えば液晶ディスプレイとして構成され画像表示が可能な表示部７３とを備えている。この情報処理装置７では、操作部７２(のマウス)に対する操作者の操作入力に応答し、表示部７３に表示される画像上の位置が指定できるようになっている。また、情報処理装置４は、記憶部７４と入出力部７５と制御部７６とを有している。

記憶部７４は、例えばハードディスクとして構成されており、後述する情報処理システム５の動作を行うためのプログラムＰＨなどが格納されている。また、記憶部７４は、後述する処理範囲指定部７６１で利用する指定位置からの距離範囲(例えば前後５ｃｍ)の情報や、ステレオ法による３次元形状情報の取得に必要なパラメータを記憶している。

入出力部７５は、例えばディスクドライブとして構成されており、光ディスク９とのデータ授受を行うための部位である。

制御部７６は、コンピュータとして働くＣＰＵ７６ａおよびメモリ７６ｂを有しており、情報処理装置７の各部を統括的に制御するための部位である。この制御部７６で記憶部７４内のプログラムＰＨが実行されることにより、後述する情報処理システム５の動作が行えることとなる。

制御部７６のメモリ７６ｂには、記録媒体である光ディスク９に記録されているプログラムデータを入出力部７５を介して格納することができる。これにより、この格納したプログラムを情報処理装置７の動作に反映できる。

また、制御部７６は、図１２に示す処理範囲指定部７６１とＰＯＣ処理部７６２と３次元再構成部７６３とをソフトウェア的に実現できるように構成されている。これら各部については、第１実施形態の処理範囲指定部４３２とＰＯＣ処理部４３３と３次元再構成部４３４と同様の機能を有している。ただし、処理範囲指定部７６１においては、第１実施形態のようにＰＯＣ法を適用する画像範囲をレンジデータに基づき自動的に特定するのではなく、操作者によって指定されるレンジデータ上の指定位置に基づきＰＯＣ法を適用する画像範囲が特定される。

すなわち、本実施形態の情報処理システム５では、操作部７２に対する操作者の手動操作により、ＰＯＣ法を適用する画像範囲を限定する処理が行われる。この処理について、具体的に説明する。

まず、ステレオカメラ６のＳＡＤ処理部６３および画像圧縮部６４から情報処理装置７に送信されたレンジデータおよび圧縮画像の各データに基づき、図１３のようにステレオカメラ２で撮影された撮影画像(２次元画像)Ｆａと、ステレオカメラ６からの距離を濃淡として表現したレンジデータＦｂとを表示部７３に並列して表示する。なお、レンジデータＦｂにおいては、ステレオカメラ６からの距離が近いほど白く、遠いほど黒くなるように設定されている。

次に、表示部７３に画像表示されるレンジデータＦｂにおいて、ＰＯＣ法を適用して高精度な３次元形状を取得したい箇所を指定する。例えば、図１４に示すように操作部７２のマウスを操作することで移動するマウスカーソルＰＴによってレンジデータＦｂ上の位置を指定する。これにより、レンジデータＦｂに基づく表示画像において、表示画像において操作部７２のマウスによって指定されるレンジデータＦｂ上の位置が特定されることとなる。

次に、マウスカーソルＰＴ(図１４)で指定されたレンジデータＦｂの位置(指定画素)に関するステレオカメラ６からの距離をレンジデータＦｂの距離情報に基づき把握するとともに、その距離から例えば前後５ｃｍ以内の距離範囲を処理対象の距離範囲として設定する。すなわち、マウスカーソルＰＴで指定されたレンジデータＦｂ上の位置に対応する距離情報に基づき、処理範囲指定部７６１において処理対象の距離範囲が設定される。

このように設定された処理対象の距離範囲に該当するレンジデータＦｂの画像部分を抽出することにより、例えば図１５に示す画像Ｇｅのように人物の頭部ＨＤの画像部分（白抜き部）が特定される。そして、特定された人物の頭部ＨＤの画像部分に対応するステレオ画像の画像領域についてＰＯＣ法を適用することで、第１実施形態と同様に、認証対象者である人物についての高精度な３次元情報が取得できることとなる。

＜情報処理システム５の動作＞
図１６は、情報処理システム５の基本的な動作を示すフローチャートである。この情報処理システム５の動作は、制御部７６のＣＰＵ７６ａで記憶部７４内のプログラムＰＨが実行されることにより実施される。

ステップＳ１１では、ステレオカメラ６でステレオ画像を取得する。ここでは、ステレオカメラ６において例えば一定の周期で撮影し順次にステレオ画像を取得する。

ステップＳ１２では、ステップＳ１１で取得したステレオ画像について、ステレオカメラ６内のＳＡＤ処理部６３でＳＡＤ法による対応点探索処理を行い、画像全体のレンジデータを生成する。このＳＡＤ処理部６３で生成されたレンジデータは、情報処理装置７に送信される。

ステップＳ１３では、ステレオカメラ６の撮像系６２で撮像された画像に対して、ステレオカメラ６内の画像圧縮部６４で圧縮処理を施し、圧縮画像を生成する。この画像圧縮部６４で生成された圧縮画像のデータは、情報処理装置７に送信される。

ステップＳ１４では、ステップＳ１２で生成し送信されたレンジデータと、ステップＳ１３で生成し送信された圧縮画像のデータとを、情報処理装置７で受信する。

ステップＳ１５では、ステップＳ１４で受信したレンジデータと圧縮画像とを情報処理装置７で表示する。例えば、図１３に示すように圧縮画像のデータに基づく撮影画像Ｆａと、レンジデータＦｂとが表示部７３に表示される。

ステップＳ１６では、ステップＳ１５で表示されるレンジデータ上で位置指定の入力が行われたかを判定する。例えば、図１４に示すマウスカーソルＰＴを用いてレンジデータＦｂ上の位置が操作者によって指定入力されたか否かを判断する。ここで、位置指定の入力が行われた場合には、ステップＳ１７に進み、位置指定の入力が行われていない場合には、ステップＳ１１に戻る。

ステップＳ１７では、レンジデータ上の指定位置に関する距離情報に基づき、ＰＯＣ法を適用する画像範囲を限定する。例えば、図１４のようにマウスカーソルＰＴで指定されるレンジデータＦｂ上の位置に対応した被写体までの距離を把握し、この距離から例えば前後５ｃｍ以内の距離範囲に入る被写体の画像部分を処理範囲指定部７６１で抽出する。

ステップＳ１８では、ステレオカメラ６で撮影されたステレオ画像を、データ線Ｃｃを介して情報処理装置４に取り込む。なお、このステレオ画像は、ステップＳ１２でレンジデータを生成する際に用いた画像である。また、ステップＳ１７においてＰＯＣ法を適用する画像範囲を限定しているため、このステップＳ１８で取り込む非圧縮のステレオ画像は画像全体を取り込む必要はなく、限定された画像範囲のみを取り込むようにすれば、通信の高速化が図れることとなる。

ステップＳ１９では、ステップＳ１８で限定された画像範囲のみについて、ＰＯＣ法による対応点探索処理を行い、３次元情報を取得する。具体的には、処理範囲指定部７６１で抽出された画像部分(例えば図１５に示す人物の頭部ＨＤ)に対応するステレオ画像の画像領域についてＰＯＣ処理部７６２で対応点の探索を行う。そして、ＰＯＣ処理部７６２で得られた対応点情報に基づき、３次元再構成部７６３において被写体の３次元形状を求めて、その３次元形状情報を取得する。

ステップＳ２０では、ステップＳ１９で取得した３次元情報に基づき、必要な被写体部分の３次元形状を表示部７３に表示する。ここでは、ステレオカメラ２で撮影された２次元画像を、３次元形状に貼り付けるなどして表示するのが好ましい。

このステップＳ２０で表示される被写体の３次元形状を視認することにより、操作者はステレオカメラ２によって撮影された人物を的確に把握できることとなる。ここで、例えば入室許可を与えられる人物であると判断した場合には、ドアの開錠を行って入室させることができる。

以上の情報処理システム５の動作により、第１実施形態と同様に、必要な被写体部分の３次元情報を精度良く迅速に取得できる。さらに、情報処理システム５においては、ステレオカメラ６の内部で画像圧縮処理が施された撮影画像の圧縮データと、比較的データ量の少ないレンジデータとを情報処理装置７に送信するため、データ線Ｃｃのデータ伝送速度が高くない場合など、通信帯域が狭い場合でも、通信帯域を圧迫することなくスムーズなデータ伝送を行えるとともに、ステレオカメラ６の撮像周期（フレームレート）を相対的に上げることが可能となる。

なお、情報処理システム５においては、マウスを用いてレンジデータ上の位置を入力するのは必須でなく、タッチパネルにおいて操作者の指先が触れたレンジデータ上の位置を入力するようにしても良い。

また、情報処理システム５においては、ステレオカメラ６で取得されるステレオ画像のうちの１つの画像を画像圧縮部６４で圧縮して情報処理装置７に送信するのは必須でなく、ステレオ画像を構成する複数の画像を画像圧縮して送信するようにしても良い。

＜変形例＞
・上記の各実施形態においては、ＰＯＣ法を適用する画像範囲を限定することで対応点探索処理の時間短縮を図ったが、以下で説明する処理によって更なる高速化を図るようにしても良い。

一般にＰＯＣ法を用いてステレオ画像間の対応点探索を行う際には、実サイズの画像上においてステレオ画像間の視差が大きい場合でも対応点探索を確実に行えるように、ピラミッド法が利用される。このピラミッド法は、画像処理の分野でよく使用されている手法であるが、これについて簡単に説明する。

図１７は、ピラミッド法を用いた対応点探索処理を説明するための図である。

ピラミッド法では、まずステレオ画像(基準画像Ｇｓ０および参照画像Ｇｔ０)のサイズを例えば１／８に縮小した縮小画像Ｇｓ３、Ｇｔ３を作成し、この１／８サイズの縮小画像Ｇｓ３、Ｇｔ３の間でのズレ(視差)を検出する。ここで、１画素分のズレが検出されたとすると、このズレは１／４サイズの縮小画像Ｇｓ２、Ｇｔ２では約２画素分のズレに相当する。よって、１／４サイズの縮小画像Ｇｓ２、Ｇｔ２では、約２画素分ずらした位置を開始点として対応点の探索を行うようにする。同様の処理を１／２サイズの縮小画像Ｇｓ１、Ｇｔ１に対しても行うようにすれば、最終的に実サイズの基準画像Ｇｓ０および参照画像Ｇｔ０において、約８画素に相当する画像間のズレの検出が可能となる。

以上のようなピラミッド法によれば、ＰＯＣ法等による対応点探索処理において例えば１画素程度の画像間のズレ(視差)しか検出できないとしても、図１７のように３段のピラミッドを用いることにより、実サイズの画像間においてズレが８画素程度ある場合でも、これを適切に検出できることとなる。

このようなピラミッド法においては、ピラミッドの段数が増えるほど、大きいステレオ画像間のズレに対応できるものの、それだけ処理時間も増加してしまう。

そこで、上記の各実施形態においてＳＡＤ法を適用しレンジデータを生成する際には、ステレオ画像間で、高精度でないが大凡の対応点の情報(位置ズレの情報)が取得されていることを利用し、ＰＯＣ法を用いた対応点探索処理では、上述したピラミッド法を利用せずに、実サイズの参照画像における対応点探索の開始位置をＳＡＤ法で得られた対応点情報(視差情報)に基づき決定するようにする。

例えば、図１７に示す基準画像Ｇｓ０の人物Ｍ１の顔部分については、ＰＯＣ法を用いて参照画像Ｇｔ０で高精度な対応点探索を行う際には、既にＳＡＤ法によって参照画像Ｇｔ０の人物Ｍ１の顔部分に関する大体の位置(１画素単位)が検出されている。すなわち、基準画像Ｇｓ０で画像左端から例えば距離Ｌｓだけ離れた人物Ｍ１の顔部分は、参照画像Ｇｔ０において画像左端から距離Ｌｔだけ離れた位置にあって、両画像間で距離Ｌｄだけ位置ズレが生じていることが、ＳＡＤ法によって検知されている。これは、上述したピラミッド法を用いて画像間の位置ズレを求めた場合と同等の結果であり、ピラミッド法と同様の効果を奏することがわかる。

以上のように、ＳＡＤ法による対応点探索処理によって得られたステレオ画像間の対応点情報に基づき、処理範囲指定部で限定された画像範囲ににおいてＰＯＣ法を用いた対応点探索処理に関する各対応点探索の開始位置を決定すれば、ピラミッド法による処理を省略できるため、ＰＯＣ法を用いた対応点探索処理をより高速に行えることとなる。

・上記の各実施形態におけるレンジデータ生成のための対応点探索処理については、ＳＡＤ法を用いるのは必須でなく、濃度の二乗和を求めるＳＳＤ法や、ＮＣＣ（正規化相互相関）法を用いるようにしても良い。

本発明の第１実施形態に係る情報処理システム１Ａの要部構成を示すブロック図である。 ステレオカメラ２および電子錠３に関する具体的な配置を示す図である。 制御部４３で実現される機能構成を示す図である。 処理対象の距離範囲を説明するための図である。 ＳＡＤ法を用いた対応点探索処理を説明するための図である。 ＳＡＤ処理部４３１で生成されるレンジデータＧｄを示す図である。 ＰＯＣ法を用いた対応点探索処理を説明するための図である。 ＰＯＣ法による対応点の探索を説明するための図である。 処理範囲指定部４３２で抽出される人物Ｍ１の画像部分Ｇｆを示す図である。 情報処理システム１の基本的な動作を示すフローチャートである。 本発明の第２実施形態に係る情報処理システム５の要部構成を示すブロック図である。 制御部７６で実現される機能構成を示す図である。 撮影画像ＦａとレンジデータＦｂとの表示について説明する図である。 レンジデータFｂ上の位置指定について説明するための図である。 処理範囲指定部７６１で抽出される人物の頭部ＨＤの画像部分を示す図である。 情報処理システム５の基本的な動作を示すフローチャートである。 ピラミッド法を用いた対応点探索処理を説明するための図である。

符号の説明

１、５ 情報処理システム
２、６ ステレオカメラ
３ 電子錠
４、７ 情報処理装置
２１〜２２、６１〜６２ 撮像系
４２、７４ 記憶部
４３、７６ 制御部
６３、４３１ ＳＡＤ処理部
６４ 画像圧縮部
７２ 操作部
７３ 表示部
４３２、７６１ 処理範囲指定部
４３３、７６２ ＰＯＣ処理部
４３４、７６３ ３次元再構成部
４３５ 認証部
Ｆａ 撮影画像
Ｆｂ、Ｇｄ レンジデータ
Ｇａ、Ｇｓ０ 基準画像
Ｇｂ、Ｇｔ０ 参照画像
ＨＤ 人物の頭部
Ｍ１〜Ｍ３ 人物
ＰＴ マウスカーソル

Claims (8)

1. 異なる視点から被写体を撮像する撮像手段によって取得された複数の画像に関する処理を行う情報処理システムであって、
   (a)前記複数の画像間で対応点を探索する第１探索手段と、
   (b)前記第１探索手段で行われる第１の対応点探索処理と異なる第２の対応点探索処理により、前記複数の画像間で対応点を探索する第２探索手段と、
   (c)前記第１の対応点探索処理を実行してから前記第２の対応点探索処理を実行することにより、前記複数の画像に写る被写体全体から抽出される特定の被写体部分に関する３次元情報を取得する情報取得手段と、
   を備えるとともに、
   前記情報取得手段は、
   (c-1)前記撮像手段によって取得された画像全体について前記第１の対応点探索処理を行い、前記撮像手段から被写体上の各位置までの距離情報を保有するレンジデータを生成するレンジデータ生成手段と、
   (c-2)前記撮像手段からの距離に関して前記特定の被写体部分を抽出するための距離範囲を設定する設定手段と、
   (c-3)前記レンジデータにおける前記距離情報に基づき、前記設定手段で設定される距離範囲に属する被写体部分を抽出する抽出手段と、
   (c-4)前記複数の画像のうち少なくとも１の画像において、前記抽出手段で抽出された被写体部分が写る画像領域を特定する特定手段と、
   (c-5)前記特定手段で特定された画像領域について前記第２の対応点探索処理を行い、前記特定の被写体部分に関する３次元情報を取得する３次元情報取得手段と、
   を有することを特徴とする情報処理システム。
2. 請求項１に記載の情報処理システムにおいて、
   (d)前記距離範囲に関する情報を保持する保持手段、
   をさらに備え、
   前記設定手段は、
   前記保持手段で保持される情報に基づき、前記距離範囲を設定する手段、
   を有することを特徴とする情報処理システム。
3. 請求項１または請求項２に記載の情報処理システムにおいて、
   (e)画像表示が可能な表示手段と、
   (f)所定の操作入力に応答し、前記表示手段に表示される画像上の位置を指定する位置指定手段と、
   をさらに備えるとともに、
   前記設定手段は、
   前記レンジデータ生成手段で生成されたレンジデータに基づく画像表示を前記表示手段で行うとともに、当該表示画像において前記位置指定手段により指定されるレンジデータ上の位置を特定する位置特定手段と、
   前記位置特定手段で特定されたレンジデータ上の位置に対応する前記距離情報に基づき、前記距離範囲を設定する手段と、
   を有することを特徴とする情報処理システム。
4. 請求項３に記載の情報処理システムにおいて、
   前記撮像手段は、
   前記複数の画像のうち少なくとも１の画像についてデータサイズを削減する画像圧縮処理を行い、圧縮画像を生成する画像圧縮手段と、
   前記画像圧縮手段で生成された圧縮画像と、前記撮像手段に設けられる前記レンジデータ生成手段で生成されたレンジデータとを送信する送信手段と、
   を有しており、
   前記位置特定手段は、
   前記送信手段によって送信されたレンジデータに基づく画像表示とともに、前記送信手段によって送信された圧縮画像に基づく画像表示を前記表示手段で行う手段、
   を有する情報処理システム。
5. 請求項１ないし請求項４のいずれかに記載の情報処理システムにおいて、
   前記３次元情報取得手段は、
   前記レンジデータ生成手段で行われる第１の対応点探索処理によって得られた前記複数の画像間の対応点情報に基づき、前記第２の対応点探索処理に関する各対応点探索の開始位置を決定する決定手段、
   を有することを特徴とする情報処理システム。
6. 請求項１ないし請求項５のいずれかに記載の情報処理システムにおいて、
   前記第２の対応点探索処理は、位相限定相関法を用いた対応点探索処理であることを特徴とする情報処理システム。
7. 情報処理システムに搭載されたコンピュータにおいて実行されることにより、当該情報処理システムを請求項１ないし請求項６のいずれかに記載の情報処理システムとして機能させることを特徴とするプログラム。
8. 異なる視点から被写体を撮像する撮像手段によって取得された複数の画像に関する処理を行う情報処理方法であって、
   (a)前記複数の画像間で対応点を探索する第１探索工程と、
   (b)前記第１探索工程で行われる第１の対応点探索処理と異なる第２の対応点探索処理により、前記複数の画像間で対応点を探索する第２探索工程と、
   (c)前記第１の対応点探索処理を実行してから前記第２の対応点探索処理を実行することにより、前記複数の画像に写る被写体全体から抽出される特定の被写体部分に関する３次元情報を取得する情報取得工程と、
   を備えるとともに、
   前記情報取得工程は、
   (c-1)前記撮像手段によって取得された画像全体について前記第１の対応点探索処理を行い、前記撮像手段から被写体上の各位置までの距離情報を保有するレンジデータを生成するレンジデータ生成工程と、
   (c-2)前記撮像手段からの距離に関して前記特定の被写体部分を抽出するための距離範囲を設定する設定工程と、
   (c-3)前記レンジデータにおける前記距離情報に基づき、前記設定工程で設定される距離範囲に属する被写体部分を抽出する抽出工程と、
   (c-4)前記複数の画像のうち少なくとも１の画像において、前記抽出工程で抽出された被写体部分が写る画像領域を特定する特定工程と、
   (c-5)前記特定工程で特定された画像領域について前記第２の対応点探索処理を行い、前記特定の被写体部分に関する３次元情報を取得する３次元情報取得工程と、
   を有することを特徴とする情報処理方法。